CN104081450B - 用于显示图像的系统 - Google Patents

用于显示图像的系统 Download PDF

Info

Publication number
CN104081450B
CN104081450B CN201280068486.1A CN201280068486A CN104081450B CN 104081450 B CN104081450 B CN 104081450B CN 201280068486 A CN201280068486 A CN 201280068486A CN 104081450 B CN104081450 B CN 104081450B
Authority
CN
China
Prior art keywords
face
working environment
capturing apparatus
relative
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280068486.1A
Other languages
English (en)
Other versions
CN104081450A (zh
Inventor
杰弗里·梅恩
大卫·肖特
丹尼尔·温斯坦
丹·里德勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN104081450A publication Critical patent/CN104081450A/zh
Application granted granted Critical
Publication of CN104081450B publication Critical patent/CN104081450B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了一种用于显示图像的系统和方法。该系统包括在其上显示该图像的面和用于在该面上显示该图像的显示呈递设备。该系统还包括用于检测该面的俘获设备、处理器和包括致使该处理器进行下列操作的指令的非暂时性计算机可读存储介质:确定该面的尺寸、确定该面的第一方向、根据该面的已确定的尺寸和该面的已确定的第一方向转换该图像以在该面上显示、检测该面到第二方向的重新定位、确定该面的该第二方向、以及根据该面的已确定的尺寸和相对于该俘获设备的该面的已确定的第二方向,转换该图像以在该面上显示。

Description

用于显示图像的系统
背景技术
消费者欣赏电子设备的简易操作和灵活性。对消费者的这些需要的适应性也是可取的。因此,商家努力设计指向这些目标中的一个或多个目标的电子设备。
附图说明
下面的详细说明参照附图,附图中:
图1为用于在面上显示图像的系统的示例。
图2为用于在两个面上显示图像的图1的系统的另一个示例。
图3和图4为图1的系统的俘获设备的传感器的校准的示例。
图5为可通过使用深度感测而定位面的角的一种方式的示例。
图6为可通过使用红外(IR)或红、绿和蓝(RGB)感测而定位面的角的另一种方式的示例。
图7示出确定工作环境内面的尺寸和方向的示例。
图8示出确定面与工作环境的角度phi(Ф)的示例。
图9为从图像呈递设备提供的两维图像到屏幕的三维平面的两维反投影的变换的示例。
图10为具有其上可以显示图像的屏幕的楔形物或手持光标的示例。
图11为用于在位于工作环境中的面上显示图像的方法的示例。
图12为图11的方法的另外元素的示例。
图13为图11的方法的更多元素的示例。
具体实施方式
由于诸如增强联络性、专心、关注和理解的感觉等多种原因,人们通常在谈话中很重视目光接触。由于系统摄像机相对于系统显示器的放置,在电视会议系统的环境下,实现这种重视可能是非常具有挑战性的。例如,当一个位置上的电视会议系统的使用者看与系统连接的、在不同位置上的另一个人的图像时,那个用户不能同时直视看着俘获他/她的图像的摄像机。摄像机和显示在特定位置上的被投影的人的显示器之间的距离越大,那个用户和这个人之间可能就越缺乏目光接触。
在涉及仅有一台摄像机的一个场所处的多个用户的电视会议期间,这种情况可能会恶化。例如,在远端地点的显示器上,可能不能同时看见在这一场所的所有的用户。如果在一个场所的多个用户是看得见的,那么他们与在这一场所的摄像机的距离可能不同。这可能导致不同程度地缺乏他们在远端地点的图像的目光接触。
这种电视会议系统可能发生的另一个问题发生在使用共享内容的远程用户的环境下。例如,远程用户的显示图像可能遮蔽其上放置或显示了共享内容的本地工作环境的部分或全部。另外地或者可代替地,远程用户离远程工作环境太远了,他或她的图像在本地显示器上不可见,从而阻碍了通过这种电视会议进行协作的目标。
如在本发明中所使用地,“进行显示”、“显示”和“被显示”被定义为包括,但不限于,进行投影和投影。术语,“图像”,被定义为包括,但不限于,同一或不同内容的一个或多个视频流。这一图像可以来自诸如因特网、计算机、手持设备(例如移动电话、平板电脑或个人数字助理(PDA))等的多种来源。这一图像还可以是诸如MPEG、PDF、WAV、JPEG等的多种格式的。
术语,“显示呈递设备”,被定义为包括,但不限于,投影仪。术语,“摄像机”被定义为包括,但不限于,俘获与一个或多个人或目标有关的可见内容或数据以随后显示的设备。术语,“面”,被定义为包括,但不限于,任何具有其上可以显示图像的面积或体积的两维或三维目标(例如,屏幕)。术语,“方向”,包括,但不限于,工作环境上的X、Y和Z笛卡儿坐标,以及相对于工作环境的角度(例如,θx,θy,和θz或滚动,俯仰和偏航)。术语,“俘获设备”,被定义为包括,但不限于,成像设备、传感器或探测器。
如在本发明中所使用地,术语,“非暂时性存储介质”和“非暂时性计算机可读存储介质”指任何能够包含、存储和保持程序、信息和数据的媒体。非暂时性存储介质和非暂时性计算机可读存储介质可以包括诸如电子的、磁的、光的、电磁的或半导体媒体的多种物理媒体中的任何一种物理媒体。合适的非暂时性存储介质和非暂时性计算机可读存储介质的更具体的例子包括,但不限于,诸如软盘或硬盘的计算机磁盘、磁带、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程序只读存储器、闪存驱动器、光盘(CD)、数字视频光盘(DVD)。
如在本发明中所使用地,术语,“处理器”,指能够从非暂时性存储介质或非暂时性计算机可读存储介质提取或获得逻辑并执行其中包含的指令的、诸如基于计算机/处理器的系统、专用集成电路(ASIC)或硬件和/或软件系统的指令执行系统。
图1中示出了用于处理上述讨论的那些关于电视会议系统的问题的、用于显示图像12的系统10的示例。如可以在图1中看到的,系统10包括其上可以显示图像12的面14。系统10还包括如箭头18、20和22所示的、用于在面14上显示图像12的图像呈递设备16以及如箭头26所示的、用于检测面14的俘获设备24。此外,系统10包括如箭头30所示的、与俘获设备24连接并且如箭头34和36所示的、通过图像转换设备32与图像呈递设备16连接的处理器28。如箭头33所示的,图像转换设备32对图像12进行处理,使得图像12处于将被图像呈递设备16使用的合适格式。
系统10进一步包括非暂时性计算机可读存储介质38。非暂时性计算机可读存储介质38包括当被处理器28执行时,致使处理器28进行下列操作的指令:确定俘获设备24检测的面14的尺寸(例如,长度和宽度)以及确定相对于俘获设备24的面14的空间中的第一方向。非暂时性计算机可读存储介质38包括当被处理器28执行时,致使处理器28进行下列操作的另外的指令:根据面14的已确定的尺寸和相对于俘获设备24的面14的已确定的第一方向,通过使用图像转换设备32来转换图像12以通过图像呈递设备16在面14上显示。
如可以在图1中看到的,如箭头40所示,面14可以被系统10的用户从以实线示出的第一方向移动到以虚线示出的第二方向。系统10的用户可以因为诸如改善该用户和在远端地点的一个或多个用户的目光接触的感觉等的多种原因,把面14从第一方向移动到第二方向。系统10的用户可以把面14从第一方向移动到第二方向的另一个原因是,最小化被面14遮蔽或阻挡的工作环境的量。当正在工作环境中投影或显示共享内容时,这是有益的。
非暂时性计算机可读存储介质38包括当被处理器28执行时,致使处理器28进行下列操作的另外的指令:如虚线箭头42所示,检测相对于俘获设备24的面14到第二方向的此重新定位和确定相对于俘获设备24的面14的空间中的第二方向。非暂时性计算机可读存储介质38还包括当被处理器28执行时,致使处理器28进行下列操作的另外的指令:如虚线箭头44、46和48所示,根据面14的之前已确定的尺寸和相对于俘获设备24的面14的已确定的第二方向,通过使用图像转换设备32来转换图像12以通过图像呈递设备16在面14上显示。
图2中示出了用于在两个面50和52上显示图像12的系统10的另一个示例。可以证明使用这两个面50和52在多种环境下、由于多种原因是有益的。例如,在一个场所可能有太多的用户,使得他们不能被仅在面50和52中的一个面上显示。又例如,如果在一个场所的多个用户在一个面上是看得见的,那么他们与在这一场所的摄像机的距离可能不同。这可能导致不同程度地缺乏他们在远端地点的图像的目光接触。再例如,可以在面50上显示不同于在面52上显示的图像的图像。
如可以在图2中看到的,如箭头54、56和58所示,显示呈递设备16在面50上显示图像12,如箭头60、62和64所示,在面52上显示图像12。如还可以在图2中看到的,如箭头66所示,俘获设备24检测面50,如箭头68所示,检测面52。非暂时性计算机可读存储介质38包括当被处理器28执行时,致使处理器28进行下列操作的指令:确定俘获设备24检测的面50的尺寸(例如,长度和宽度)和确定相对于俘获设备24的面50的空间中的第一方向。非暂时性计算机可读存储介质38还包括当被处理器28执行时,致使处理器28进行下列操作的指令:确定俘获设备24检测的面52的尺寸(例如,长度和宽度)和确定相对于俘获设备24的面52的空间中的第二方向。非暂时性计算机可读存储介质38包括当被处理器28执行时,致使处理器28进行下列操作的另外的指令:根据面50和52的已确定的尺寸和相对于俘获设备24的面50和52的已分别确定的第一和第二方向,通过使用图像转换设备32来转换图像12以通过图像呈递设备16在面50和52上显示。
如还可以在图2中看到的,如箭头70所示,面50和52可以被系统10的一个或多个用户从分别以实线示出的第一和第二方向移动到分别以虚线示出的第三和第四方向。图2中示出的系统10的示例的一个或多个用户可以由于诸如上述联系图1所述的那些原因的多种原因,把面50和52分别从第一和第二方向移动到第三和第四方向。
非暂时性计算机可读存储介质38包括当被处理器28执行时,致使处理器28进行下列操作的另外的指令:如虚线箭头72和74所示,检测相对于俘获设备24的面50和52分别到第三和第四方向的此重新定位和确定相对于俘获设备24的面50和52的分别的空间中的第三和第四方向。非暂时性计算机可读存储介质38还包括当被处理器28执行时,致使处理器28进行下列操作的另外的指令:如面50的虚线箭头76、78和80和面52的虚线箭头82、84和86所示,根据面50和52的之前已确定的尺寸和相对于俘获设备24的面50和52的分别已确定的第三和第四方向,通过使用图像转换设备32来转换图像12以通过图像呈递设备16在面50和52上显示。
图3和图4中示出了俘获设备24的传感器的校准的示例。如可以在图3中看到的,俘获设备24的传感器覆盖的范围88包括宽度90和高度92。如可以在图3中看到的,显示呈递设备16具有角p196、角p298、角p3100和角p4102限制或限定的投影范围94。在图3和图4中示出的示例中,范围88被示出为基本为矩形,而范围94被示出为基本为梯形。然而,需要理解的是,在用于显示图像的系统的其它示例中,这些范围可以具有不同的形状。这是因为,只要被投影图像的至少两个点接触图像在其上被投影的面的外边缘,任何图像形状就都能够被投影到任何面的形状上。
如箭头106所示,可以创建单应矩阵(H)104来如下进行此校准:
宽度90=俘获设备像素宽度/显示呈递设备像素宽度
高度92=俘获设备像素高度/显示呈递设备像素高度
s1={(显示呈递设备像素宽度-1)*宽度90,0}
s2={0,0}
s3={0,(显示呈递设备像素高度-l)*高度92}
s4={(显示呈递设备像素宽度-1)*宽度90,(显示呈递设备像素高度-l)*高度92}
输入={pl,p2,p3,p4}
输出={sl,s2,s3,s4}
H104=perspectiveXfrm(输入,输出)。
当如图3中所示并如上所述,已经确定俘获设备24的传感器覆盖的范围88内的投影范围94的角p1 96、p2 98、p3 100和p4 102并且创建单应矩阵(H)104后,如箭头108所示并如图4中所示,来自俘获设备24的数据以单应矩阵(H)104转换。如图4中所示,这导致显示呈递设备16的基本为梯形形状的范围94到基本为矩形形状的范围110的转换,范围110的基本为矩形的形状更好地适合或填充也基本为矩形形状的、俘获设备24的传感器覆盖的区域88。
需要定位工作环境122中在其上显示图像12的楔形物121的面120的角c1 112、c2114、c3 116和c4 118。图5为通过使用深度感测而由俘获设备24定位角c1、c2、c3和c4的一种方式的示例。具体地说,根据楔形物121分隔的边缘124确定角112、114、116和118。根据角c1、c2、c3和c4从工作环境122起的相对高度,由俘获设备24确定空间中面120的方向。
图6中示出了可以通过使用红外(IR)或红、绿和蓝(RGB)感测而由俘获设备24定位工作环境138中在其上显示图像12的不同楔形物136的面134的角c1 126、c2 128、c3 130和c4 132的另一种方式的示例。这一技术涉及使用分别与角c1、c2、c3和c4相邻的基准点140、142、144和146。在RGB感测情况下,这些基准点可以是被设计来使得分别与角126和130相邻的基准点140和144不同于分别与角128和132相邻的基准点142和146的唯一的标记。在俘获设备24进行IR感测的情况下,这些基准点可以为与角c1、c2、c3和c4中的每一个角相邻的红外LED,其中与角126和130相邻的LED与那些位于角128和132的LED不同。这一不同可以被选择为诸如颜色(即,波长)、强度、尺寸等的多种不同特性中的任何特性。
使用图6中示出的这一示例性技术,俘获设备24定位基准点140、142、144和146。因为顶部基准点142和146与底部基准点140和144不同,所以俘获设备24能够确定空间中楔形物136的方向。这依次允许俘获设备24确定分别与基准点140、142、144和146相邻的角c1、c2、c3和c4的位置。
图7中示出了确定诸如楔形物136的面134的面的尺寸(例如,长度和宽度)和它在空间中的方向的示例。如可以在图7中看到的,角c1 126表示楔形物136的左下角(参见图6)。另外,可由俘获设备24检测或监控的工作环境138的部分被分为四个象限,即象限1148、象限2 150、象限3 152和象限4154。如上所述,角c1 126和c3 130可与角c2 128和c4132有区别,并且角c1 126和c3 130表示楔形物136的面134的前部。非暂时性计算机可读存储介质38上的指令致使处理器28确定角c3相对于被表示为位于坐标原点或所有四个象限148、150、152和154的交点156的角c1位于四个象限中的哪一个象限。从角c1 126到角c3130的向量W160的角度theta(θ)是可由俘获设备24检测或监控的工作环境138中楔形物136的面134的方向的角度。从角c1到角c3的距离表示对应于楔形物136的面134的两个尺寸中的一个尺寸的、向量W160的长度。从角c3到角c4的距离表示对应于楔形物136的面134的两个尺寸中的另一个尺寸的、向量L162的长度。
图8中示出了确定诸如楔形物136的面134的面与工作环境138的角度phi(Ф)的示例。如可以在图8中看到的,可以如下确定角度phi:
Ф=tan-1(z/L),其中
如上文中联系图7所述,L为角c3 130到角c4 132的距离并且等于向量L 162的长度;并且
z为可以通过使用上文中联系图5所述类型的深度传感器而确定的c3到c4的相对“高度”。
图9中示出了从图像呈递设备164提供的两维图像到定位在工作环境168中的面166的三维平面的两维反投影的变换的示例。所用的基本方法是构造从图像呈递设备164到面166的每一个角的向量。在此示例中,向量170从图像呈递设备164到面166的角c1 172,向量174从图像呈递设备164到面166的角c2 176,向量178从图像呈递设备164到面166的角c3180,并且向量182从图像呈递设备164到面166的角c4。接下来,延长(如果需要)向量170、174、178和182中的每一个向量,直到它到达工作环境168(在此情况下,向量174和182)。接下来,每一个向量都被加到图像呈递设备164的对应位置上。此总和提供那个角的三维到两维的变换。
例如,假定:
c1、c2、c3和c4为屏幕166的角的位置;
I186为屏幕166的顶部与工作环境168的距离;
P188=[Px,0,Pz],为显示呈递设备164的左上坐标;以及
h为显示呈递设备164的顶部到工作环境168的偏移;
令C2为c2的三维坐标。
那么,C1=[c1x,c2y+h,I]并且C4=[c4x,c4y+h,I]。
以下列方式构造从显示呈递设备164到屏幕166的每一个角(C)的向量(V):V=C-P。
以下列方式延长每一个向量(V),使得它接触工作环境:V=V*(Pz/(Pz-1))。
然后,以下列方式把每一个向量(V)都加到提供那个角的三维到两维变换的显示呈递设备164的对应位置上:s=P+V。
在图9中示出的示例中,s1=c1,s2位于工作环境168上的点190处,s3=c3,并且s4位于工作环境168中的点192处。
接下来,俘获设备(图9中未示出)的坐标被变换为显示呈递设备164的坐标。例如:
俘获设备宽度=显示呈递设备像素宽度/俘获设备像素宽度
俘获设备高度=显示呈递设备像素高度/俘获设备像素高度
s1={(俘获设备像素宽度-1)*俘获设备宽度,0}
s2={0,0}
s3={0,(俘获设备像素高度-1)*俘获设备高度}
s4={(俘获设备像素宽度-1)*俘获设备宽度,(俘获设备像素高度-1)*俘获设备高度}
p1={(显示呈递设备像素宽度-1)*俘获设备宽度,0}
p2={0,0}
p3={0,(显示呈递设备像素高度-1)*俘获设备高度}
p4={(显示呈递设备像素宽度-1)*俘获设备宽度,(显示呈递设备像素高度-l)*俘获设备高度}
输入={sl,s2,s3,s4}
输出={pl,p2,p3,p4}
单应矩阵(H)=perspectiveXfrm(输入,输出).
S={sl,s2,s3,s4}
W=HxS
W=面166的转换后的两维坐标。
图10中示出了具有其上可以显示图像12的屏幕196的楔形物或手持光标194的示例。如可以在图10中看到的,楔形物194包括可以被放置在一个场所中的工作环境(未示出)中的任何地方的底部198,放置的位置和空间中的方向方便一个或多个用户。如还可以在图10中看到的,屏幕196以相对于底部198的固定预定角度200被定位。在图10中示出的示例中,角度200被选择为在大约40到70度的范围内。在用于与系统10一起使用的楔形物或手持光标的另一个示例中,角度200可以被选择为在大约20到40度的范围内。
如可以在图10中进一步看到的,楔形物或手持光标194包括被定位在与面196相邻的、楔形物或手持光标194上的一个位置的摄像机202。摄像机202被设计来俘获楔形物或手持光标194的一个或多个用户的一个或多个图像,以在远端地点显示。尽管楔形物或手持光标194被示出为具有在相对于底部198预定角度200处的固定面196,但是应该理解,在其它示例中,面196可以在相对于底部198的一个角度范围内移动。
图11中示出了用于在位于工作环境中的面上显示图像的方法204的示例。如可以在图11中看到的,方法204在框206中起头或开始,如框208所示,确定面的尺寸,并且如框210所示,确定相对于工作环境的面的空间中的第一方向。然后,如框212所示,方法204根据面的已确定的尺寸和相对于工作环境的面的已确定的第一方向,转换图像以在面上显示。然后,如框214所示,方法204可以检测面到工作环境中的不同位置的重新定位,并且如框216所示,确定相对于工作环境的不同位置处的面的空间中的第二方向。然后,如框218所示,方法204根据面的已确定的尺寸和相对于工作环境的不同位置处的面的空间中的已确定的第二方向,转换图像以在面上显示。然后,方法204在框220中结束。
如可以在图12中看到的,方法204还可以包括下列另外的元素。如框222所示,方法204可以把俘获设备的坐标校准到显示呈递设备的坐标上,俘获设备在对面的尺寸和相对于工作环境的面的空间中的第一方向的确定中使用,显示呈递设备在面上显示图像,并且如框224所示,确定在俘获设备已校准的坐标中的面的角的坐标。在此情况下,如框226所示,方法204可以另外把面的角的坐标变换到显示呈递设备的坐标上,并且如框228所示,把俘获设备的坐标变换到显示呈递设备的坐标上。
如可以在图13中看到的,方法204可以进一步包括下列另外的元素。如框230所示,方法204可以检测工作环境中的另外的面,并且如框232所示,可以确定另外的面的尺寸。如框234所示,方法204还可以确定相对于工作环境的另外的面的空间中的第三方向,并且如框236所示,根据另外的面的已确定的尺寸和相对于工作环境的另外的面的已确定的第三方向,转换图像以在另外的面上显示。在此情况下,如框238所示,方法204可以进一步检测另外的面到相对于工作环境的第四方向的重新定位,并且如框240所示,确定相对于工作环境的另外的面的空间中的第四方向。然后,如框242所示,方法242根据另外的面的已确定的尺寸和工作环境中不同位置处的另外的面的空间中的已确定的第四方向,转换图像以在另外的面上显示。
尽管已经详细地说明并示出了若干示例,但是应该清楚地理解,这些示例仅用作例证和示例。这些示例不是打算使其成为全面的,或把本发明限制到精确的形式或限制到所公开的示例性实施例。修改和变型对于本领域普通技术人员来说完全是明显的。例如,尽管图2中示出了两个面50和52,但是应该理解,系统10的其它示例可以使用具有相同或另外图像的另外的面,这取决于系统10的一个或多个用户的具体需要。再例如,尽管图1和图2中示出了俘获设备24在面14、50和52以下,但是应该理解,在用于显示图像的系统的其它示例中,俘获设备24可以被设置在别处(例如,在一个或多个面之上和/或侧面)。又例如,尽管在两处场所的环境下示出了用于显示图像的系统,但是应该理解,用于显示图像的系统不被如此限制。相反,用于显示图像的系统的其它示例可以被用于在三或更多场所处的电视会议。本发明的精神和范围仅由下面的权利要求书的内容限定。
另外,提及单数形式的元素不是要表示一个或仅一个,除非明确如此说明,否则,相反地,是表示一个或多个。另外,没有元素或部件是用来专用于公开的,不管该元素或部件是否在接下来的权利要求书中被明确地陈述。

Claims (15)

1.一种用于显示图像的系统,包括:
在其上显示该图像的面;
用于在该面上显示该图像的显示呈递设备;
用于检测该面的俘获设备;
与该俘获设备和该显示呈递设备连接的处理器;和
包括指令的非暂时性计算机可读存储介质,当所述指令被该处理器执行时,致使该处理器:
确定被该俘获设备检测到的该面的尺寸;
确定相对于该俘获设备的该面的空间中的第一方向;
根据该面的已确定的尺寸和相对于该俘获设备的该面的已确定的第一方向,转换该图像以通过该显示呈递设备在该面上显示;
检测该面到相对于该俘获设备的第二方向的重新定位;
确定相对于该俘获设备的重新定位后的面的空间中的该第二方向;
根据重新定位后的面的已确定的尺寸和相对于该俘获设备的重新定位后的面的已确定的第二方向,转换该图像以通过该显示呈递设备在重新定位后的面上显示。
2.根据权利要求1所述的系统,进一步包括被该俘获设备用来检测该面的、与该面相邻的多个基准点。
3.根据权利要求1所述的系统,进一步包括:
工作环境;和
用于记录在该工作环境的一部分内的目标的摄像机,其中该摄像机与该面连接并且能随该面移动。
4.根据权利要求1所述的系统,进一步包括通过该显示呈递设备在其上显示该图像的另外的面,其中该俘获设备检测该另外的面;并且进一步地,其中该非暂时性计算机可读存储介质包括另外的指令,当所述另外的指令被该处理器执行时,致使该处理器:
确定被该俘获设备检测到的该另外的面的尺寸;
确定相对于该俘获设备的该另外的面的空间中的第三方向;和
根据该另外的面的已确定的尺寸和相对于该俘获设备的该另外的面的已确定的第三方向,转换该图像以通过该显示呈递设备在该另外的面上显示。
5.根据权利要求4所述的系统,其中该非暂时性计算机可读存储介质包括另外的指令,当所述另外的指令被该处理器执行时,致使该处理器:
检测该另外的面到相对于该俘获设备的第四方向的重新定位;
确定相对于该俘获设备的重新定位后的另外的面的空间中的该第四方向;和
根据重新定位后的另外的面的已确定的尺寸和相对于该俘获设备的重新定位后的另外的面的已确定的第四方向,转换该图像以通过该显示呈递设备在重新定位后的另外的面上显示。
6.一种用于在位于工作环境中的面上显示图像的方法,包括:
确定该面的尺寸;
确定相对于该工作环境的该面的空间中的第一方向;
根据该面的已确定的尺寸和相对于该工作环境的该面的已确定的第一方向,转换该图像以在该面上显示;
检测该面到该工作环境中的不同位置的重新定位;
确定相对于该工作环境的在该不同位置的重新定位后的面的空间中的第二方向;和
根据重新定位后的面的已确定的尺寸和相对于该工作环境的在该不同位置的重新定位后的面的空间中的已确定的第二方向,转换该图像以在重新定位后的面上显示。
7.根据权利要求6所述的方法,进一步包括:
把俘获设备的坐标校准到显示呈递设备的坐标上,该俘获设备在对该面的所述尺寸和相对于该工作环境的该面的该空间中的第一方向的确定中使用,该显示呈递设备在该面上显示该图像;和
确定在该俘获设备的被校准的坐标中的该面的角的坐标。
8.根据权利要求7所述的方法,其中根据该面的已确定的尺寸和相对于该工作环境的该面的空间中的已确定的第一方向,转换该图像以在该面上显示包括:
把该面的所述角的坐标变换到该显示呈递设备的所述坐标上;和
把该俘获设备的所述坐标变换到该显示呈递设备的所述坐标上。
9.根据权利要求6所述的方法,进一步包括:
检测该工作环境中另外的面;
确定该另外的面的尺寸;
确定相对于该工作环境的该另外的面的空间中的第三方向;和
根据该另外的面的已确定的尺寸和相对于该工作环境的该另外的面的已确定的第三方向,转换该图像以在该另外的面上显示。
10.根据权利要求9所述的方法,进一步包括:
检测该另外的面到相对于该工作环境的第四方向的重新定位;
确定相对于该工作环境的重新定位后的另外的面的空间中的该第四方向;和
根据重新定位后的另外的面的已确定的尺寸和在该工作环境中的该不同位置的重新定位后的另外的面的空间中的已确定的第四方向,转换该图像以在重新定位后的另外的面上显示。
11.根据权利要求6所述的方法,进一步包括记录在该工作环境中的一部分内的目标。
12.一种用于在工作环境中的面上显示图像的装置,该装置包括:
用于确定该面的尺寸的模块;
用于确定相对于该工作环境的该面的空间中的第一方向的模块;
用于根据该面的已确定的尺寸和相对于该工作环境的该面的已确定的第一方向来转换该图像以在该面上显示的模块;
用于检测该面到该工作环境中的不同位置的重新定位的模块;
用于确定相对于该工作环境的在该不同位置的重新定位后的面的空间中的第二方向的模块;和
用于根据重新定位后的面的已确定的尺寸和相对于该工作环境的在该不同位置的重新定位后的面的空间中的已确定的第二方向来转换该图像以在重新定位后的面上显示的模块。
13.根据权利要求12所述的装置,进一步包括:
用于把俘获设备的坐标校准到显示呈递设备的坐标上的模块,该俘获设备在对该面的所述尺寸和相对于该工作环境的该面的该空间中的第一方向的确定中使用,该显示呈递设备在该面上显示该图像;和
用于确定在该俘获设备的被校准的坐标中的该面的角的坐标的模块。
14.根据权利要求12所述的装置,进一步:
用于检测该工作环境中另外的面的模块;
用于确定该另外的面的尺寸的模块;
用于确定相对于该工作环境的该另外的面的空间中的第三方向的模块;和
用于根据该另外的面的已确定的尺寸和相对于该工作环境的该另外的面的已确定的第三方向来转换该图像以在该另外的面上显示的模块。
15.根据权利要求14所述的装置,进一步包括:
用于检测该另外的面到相对于该工作环境的第四方向的重新定位的模块;
用于确定相对于该工作环境的重新定位后的另外的面的空间中的该第四方向的模块;和
用于根据重新定位后的另外的面的已确定的尺寸和在该工作环境中的该不同位置的重新定位后的另外的面的空间中的已确定的第四方向来转换该图像以在重新定位后的另外的面上显示的模块。
CN201280068486.1A 2012-04-24 2012-04-24 用于显示图像的系统 Expired - Fee Related CN104081450B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2012/034787 WO2013162515A1 (en) 2012-04-24 2012-04-24 System for displaying an image

Publications (2)

Publication Number Publication Date
CN104081450A CN104081450A (zh) 2014-10-01
CN104081450B true CN104081450B (zh) 2016-09-07

Family

ID=49483628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280068486.1A Expired - Fee Related CN104081450B (zh) 2012-04-24 2012-04-24 用于显示图像的系统

Country Status (6)

Country Link
US (1) US9565394B2 (zh)
EP (1) EP2842121B1 (zh)
JP (1) JP6084285B2 (zh)
CN (1) CN104081450B (zh)
BR (1) BR112014018565B1 (zh)
WO (1) WO2013162515A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150089453A1 (en) * 2013-09-25 2015-03-26 Aquifi, Inc. Systems and Methods for Interacting with a Projected User Interface
JP6337269B2 (ja) 2014-04-09 2018-06-06 パナソニックIpマネジメント株式会社 車両評価装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001047259A1 (en) * 1999-12-23 2001-06-28 Justsystem Corporation Method and apparatus for automatic keystone correction
JP2004274283A (ja) * 2003-03-07 2004-09-30 Casio Comput Co Ltd 投影システム、及び投影装置、画像供給装置、プログラム

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7209160B2 (en) 1995-09-20 2007-04-24 Mcnelley Steve H Versatile teleconferencing eye contact terminal
JPH11327042A (ja) * 1998-05-20 1999-11-26 Mitsubishi Electric Corp プロジェクタの位置決め装置
JP2002027419A (ja) 2000-07-05 2002-01-25 Hitachi Ltd 画像端末装置及びそれを用いる通信システム
JP4961628B2 (ja) * 2000-08-11 2012-06-27 日本電気株式会社 投射映像補正システム及びその方法
US6520647B2 (en) * 2000-08-17 2003-02-18 Mitsubishi Electric Research Laboratories Inc. Automatic keystone correction for projectors with arbitrary orientation
CN100465995C (zh) * 2001-06-12 2009-03-04 奥普提克斯晶硅有限公司 一种将图像投射到屏幕表面的方法及系统
JP2003153126A (ja) 2001-11-13 2003-05-23 Canon Inc プロジェクションディスプレイ装置
US7203384B2 (en) 2003-02-24 2007-04-10 Electronic Scripting Products, Inc. Implement for optically inferring information from a planar jotting surface
US7110100B2 (en) 2003-11-04 2006-09-19 Electronic Scripting Products, Inc. Apparatus and method for determining an inclination of an elongate object contacting a plane surface
US7038846B2 (en) 2003-11-24 2006-05-02 Electronic Scripting Products, Inc. Solid catadioptric lens with a single viewpoint
US7268956B2 (en) 2003-11-24 2007-09-11 Electronic Scripting Products, Inc. Solid catadioptric lens with two viewpoints
US7088440B2 (en) 2003-12-22 2006-08-08 Electronic Scripting Products, Inc. Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US8542219B2 (en) 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US7826641B2 (en) 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US7729515B2 (en) 2006-03-08 2010-06-01 Electronic Scripting Products, Inc. Optical navigation apparatus using fixed beacons and a centroid sensing device
US7023536B2 (en) 2004-03-08 2006-04-04 Electronic Scripting Products, Inc. Apparatus and method for determining orientation parameters of an elongate object
US7161664B2 (en) 2004-04-13 2007-01-09 Electronic Scripting Products, Inc. Apparatus and method for optical determination of intermediate distances
US8599239B2 (en) 2004-04-21 2013-12-03 Telepresence Technologies, Llc Telepresence systems and methods therefore
US7113270B2 (en) 2004-06-18 2006-09-26 Electronics Scripting Products, Inc. Determination of an orientation parameter of an elongate object with a scan beam apparatus
JP3994290B2 (ja) * 2005-01-17 2007-10-17 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP2006251604A (ja) * 2005-03-14 2006-09-21 Seiko Epson Corp テーブル型ディスプレイ
JP4222420B2 (ja) * 2006-02-21 2009-02-12 パナソニック電工株式会社 映像表示装置、映像表示装置の映像歪み補正方法
JP5110912B2 (ja) * 2007-02-28 2012-12-26 日本放送協会 画像投射システムおよび画像投射方法
JP2010041452A (ja) * 2008-08-06 2010-02-18 Sharp Corp コンテンツ視聴装置、携帯端末、通話方法、プログラム、記録媒体、及び、コンテンツ視聴システム
US8393740B2 (en) * 2009-03-12 2013-03-12 Canon Kabushiki Kaisha Image projection system with keystone correction
US8203595B2 (en) 2009-05-21 2012-06-19 Alcatel Lucent Method and apparatus for enabling improved eye contact in video teleconferencing applications
US8514260B2 (en) 2009-05-28 2013-08-20 Microsoft Corporation Establishing eye contact in video conferencing
US8388146B2 (en) 2010-08-01 2013-03-05 T-Mobile Usa, Inc. Anamorphic projection device
US8970709B2 (en) 2013-03-13 2015-03-03 Electronic Scripting Products, Inc. Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001047259A1 (en) * 1999-12-23 2001-06-28 Justsystem Corporation Method and apparatus for automatic keystone correction
JP2004274283A (ja) * 2003-03-07 2004-09-30 Casio Comput Co Ltd 投影システム、及び投影装置、画像供給装置、プログラム

Also Published As

Publication number Publication date
US20150244983A1 (en) 2015-08-27
BR112014018565B1 (pt) 2021-07-27
JP6084285B2 (ja) 2017-02-22
US9565394B2 (en) 2017-02-07
BR112014018565A8 (pt) 2017-07-11
WO2013162515A1 (en) 2013-10-31
EP2842121B1 (en) 2020-05-27
JP2015517244A (ja) 2015-06-18
CN104081450A (zh) 2014-10-01
EP2842121A4 (en) 2015-12-09
BR112014018565A2 (pt) 2017-06-20
EP2842121A1 (en) 2015-03-04

Similar Documents

Publication Publication Date Title
CN110809786B (zh) 校准装置、校准图表、图表图案生成装置和校准方法
Kang Catadioptric self-calibration
CN105453546B (zh) 图像处理装置、图像处理系统和图像处理方法
US20210150762A1 (en) Camera calibration using depth data
WO2014069247A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
CN113841384A (zh) 校准装置,用于校准的图表和校准方法
JP2023075366A (ja) 情報処理装置、認識支援方法およびコンピュータプログラム
TWI554108B (zh) 電子裝置及影像處理方法
WO2018102990A1 (en) System and method for rectifying a wide-angle image
WO2023273108A1 (zh) 单目测距方法、装置及智能装置
WO2019003796A1 (ja) 画像合成方法、画像合成装置、及び記録媒体
JP2010276433A (ja) 撮像装置、画像処理装置及び距離計測装置
TW201322179A (zh) 街景建立系統及街景建立方法
US10395403B1 (en) Cylindrical panorama
EP2648157A1 (en) Method and device for transforming an image
CN104081450B (zh) 用于显示图像的系统
JP6486603B2 (ja) 画像処理装置
CN106796726B (zh) 运动检测方法和系统
Zhou et al. Multi-projector display with continuous self-calibration
Wang et al. Panoramic image mosaic based on SURF algorithm using OpenCV
Ha et al. Embedded panoramic mosaic system using auto-shot interface
WO2019165612A1 (zh) 可移动平台的定位方法及相关装置、系统
TW201234235A (en) Method and system for calculating calibration information for an optical touch apparatus
KR101996226B1 (ko) 피사체의 3차원 위치 측정 장치 및 그 방법
Kim et al. Camera calibration based on arbitrary parallelograms

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160907