CN101689293B - 扩充用于全景显示的图像 - Google Patents
扩充用于全景显示的图像 Download PDFInfo
- Publication number
- CN101689293B CN101689293B CN200880022521XA CN200880022521A CN101689293B CN 101689293 B CN101689293 B CN 101689293B CN 200880022521X A CN200880022521X A CN 200880022521XA CN 200880022521 A CN200880022521 A CN 200880022521A CN 101689293 B CN101689293 B CN 101689293B
- Authority
- CN
- China
- Prior art keywords
- data
- image
- coordinate
- view data
- context
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003190 augmentative effect Effects 0.000 title abstract 3
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000013213 extrapolation Methods 0.000 claims description 18
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 6
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 244000188472 Ilex paraguariensis Species 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/12—Panospheric to cylindrical image transformations
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
Abstract
提供用于利用图像上下文数据来扩充图像数据(例如,静止图像数据或视频图像数据)以生成全景图像的方法和系统。根据其各实施例,利用所接收到的图像数据的位置和方向来标识基于该相同位置或相对于图像数据的邻近位置呈现的图像上下文数据(例如,来自另一来源的三维模型数据、二维图像数据、和/或360°图像数据),且利用所标识的上下文数据来扩充该图像数据以创建全景图像。可随后显示全景图像(例如,在LCD/CRT屏幕上示出或投影)以创建比原始图像数据所能创建的更身临其境的用户体验。
Description
背景
在从最易得的消费图像捕捉设备接收图像数据时,图像数据具有有限的视角。例如,使用标准消费数码相机摄下的静止图像可包括被高楼环绕的街道上的汽车的图像。然而,由于有限的视角,很难确定该静止图像实际是在哪里拍摄的和/或创造如同处于该静止图像被拍摄的位置的身临其境的感觉。
图像捕捉设备为以比易得的消费图像捕捉设备捕捉具有更开阔的视角的图像而存在。然而,此类设备通常比普通消费者所期望的更贵且更复杂。
概述
提供本概述是为了以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本概述不旨在标识所要求保护的主题的关键特征或必要特征,也不旨在用于帮助确定所要求保护的主题的范围。
本发明的各实施例涉及使用图像或3D上下文数据来扩充图像数据(例如,静止图像数据或视频图像数据)以创建全景图像。利用所接收到的图像数据的位置和方向来标识基于该相同位置或相对于图像数据的邻近位置呈现的图像上下文数据(例如,来自另一来源的三维模型数据、二维图像数据、和/或360°图像数据),且利用所标识的上下文数据来扩充该图像数据以创建全景图像。可随后显示全景图像(例如,在LCD/CRT屏幕上示出或投影)以创建比原始图像数据所能创建的更身临其境的用户体验。
附图简述
以下参考附图详细描述本发明,附图中:
图1是适用于实现本发明的各实施例的示例性计算环境的框图;
图2是适用于实现本发明的各实施例的示例性计算系统体系结构的框图;
图3是示出根据本发明的一实施例的用于生成全景图像的方法的流程图;以及
图4是示出根据本发明的一实施例的用于扩充图像数据的方法的流程图。
详细描述
此处用细节来描述本发明的主题以满足法定要求。然而,描述本身并非旨在限制本专利的范围。相反,发明人设想所要求保护的主题还可结合其它当前或未来技术按照其它方式来具体化,以包括不同的步骤或类似于本文中所描述的步骤的步骤组合。此外,尽管术语“步骤”和/或“框”可在此处用于指示所采用的方法的不同元素,但除非而且仅当明确描述了各个步骤的顺序时,该术语不应被解释为意味着此处公开的各个步骤之中或之间的任何特定顺序。
本发明的各实施例提供用于利用图像上下文数据来扩充图像数据(例如,静止图像数据或视频图像数据)以生成全景图像的方法和系统。根据本发明的各实施例,利用所接收到的图像数据的位置和方向来标识基于该相同位置或相对于图像数据的邻近位置呈现的图像上下文数据(例如,来自另一来源的三维模型数据、二维图像数据、和/或360°图像数据),且利用所标识的上下文数据来扩充该图像数据以创建全景图像。可随后显示全景图像(例如,在LCD/CRT屏幕上示出或投影)以创建比原始图像数据所能创建的更身临其境的用户体验。
因此,在一方面,本发明提供其上包含计算机可执行指令的一个或多个计算机可读介质,这些计算机可执行指令用于执行一种用于生成全景图像的方法。该方法包括接收来自第一来源(例如,图像捕捉设备)的具有已知位置和方向的图像数据、接收来自第二来源的图像上下文数据(例如,三维模型数据)、使用该图像上下文数据来扩充图像数据以生成全景图像、以及存储和/或显示所生成的全景图像。
在另一方面中,本发明提供用于扩充图像数据的方法。该方法包括接收具有已知位置(例如,基于坐标系统)和方向的图像数据,并确定是否有包括该已知位置的图像上下文数据(例如,三维模型数据)可用。如果确定包括该已知位置的图像上下文数据不可用,则该方法还包括接收具有邻近已知位置的位置的图像上下文数据(例如,具有与该图像数据相关联的坐标的预定义邻近范围内的坐标的图像上下文数据)、使用图像上下文数据扩充图像数据以生成经扩充的图像数据、以及存储和/或显示该经扩充的图像数据。
在又一方面,本发明提供一种用于生成全景图像的计算机化系统。该系统包括图像接收组件、图像上下文接收组件、全景外插组件、以及存储组件。图像接收组件被配置成接收具有已知位置和方向的图像数据(例如,静止图像数据和/或视频图像数据)。图像上下文接收组件被配置成接收具有已知位置和方向的图像上下文数据(例如,三维模型数据)。全景外插组件被配置成利用所接收到的图像上下文数据在至少一个方向外插所接收到的图像数据以创建全景图像。存储组件(例如,数据库或数据库集群)被配置成存储图像上下文数据和全景图像中的至少一个。在各实施例中,系统还可包括一个或多个被配置成向至少一个显示设备传送全景图像的全景显示组件,以及被配置成确定包括同与所接收到图像数据相关联的图像坐标相同的上下文坐标的图像上下文数据是否可用的确定组件。
在简要描述了本发明的各实施例的概览后,以下描述适于实现本发明的示例性操作环境。
大体上参考附图,并且首先具体参考图1,示出了用于实现本发明的各实施例的示例性操作环境,并将其概括指定为计算设备100。计算设备100只是合适的计算环境的一个示例,并且不旨在对本发明的使用范围或功能提出任何限制。也不应将计算环境100解释为对所示出的任一组件/模块或其组合有任何依赖性或要求。
本发明可以在计算机代码或机器可使用指令的一般上下文中描述,机器可使用指令包括由计算机或诸如个人数据助理或其它手持式设备等其它机器执行的诸如程序组件等计算机可执行指令。一般而言,包括例程、程序、对象、组件、数据结构等的程序组件指的是执行特定任务或实现特定抽象数据类型的代码。本发明的各实施例可以在各种系统配置中实施,这些系统配置包括手持式设备、消费电子产品、通用计算机、专用计算设备等等。本发明的各实施例也可以在其中任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实现。
继续参考图1,计算设备100包括直接或间接耦合以下设备的总线110:存储器112、一个或多个处理器114、一个或多个呈现组件116、输入/输出(I/O)端口118、I/O组件120、和说明性电源122。总线110可以是一条或多条总线(诸如地址总线、数据总线、或其组合)。尽管为了清楚起见用线条示出了图1的各框,但是在实际上,各组件的轮廓并不是那样清楚,并且按比喻的说法,线条更精确地将是灰色的和模糊的。例如,可以将诸如显示设备等呈现组件认为是I/O组件。同样,处理器具有存储器。发明人关于此点认识到,这是本领域的特性,并且重申,图1的图示只是例示可结合本发明的一个或多个实施例来使用的示例性计算设备。诸如“工作站”、“服务器”、“膝上型计算机”、“手持式设备”等分类之间没有区别,它们全部都被认为是在图1的范围之内的并且被称为“计算机”或“计算设备”。
计算设备100通常包括各种计算机可读介质。作为示例而非限制,计算机可读介质可以包括随机存取存储器(RAM);只读存储器(ROM);电可擦除可编程只读存储器(EEPROM);闪存或其它存储器技术;CDROM、数字多功能盘(DVD)或其它光或全息介质;磁带盒、磁带、磁盘存储或其它磁存储设备;载波或可用于对所需信息进行编码并且可由计算设备100访问的任何其它介质。
存储器112包括易失性和/或非易失性存储器形式的计算机存储介质。存储器可以是可移动的、不可移动的或其组合。示例性硬件设备包括固态存储器、硬盘驱动器、光盘驱动器等。计算设备100包括从诸如存储器112或I/O组件120等各种实体读取数据的一个或更多个处理器。呈现组件116向用户或其它设备呈现数据指示。示例性呈现组件包括显示设备、扬声器、打印组件、振动组件等等。I/O端口118允许计算设备100在逻辑上耦合至包括I/O组件120的其它设备,其中某些设备可以是内置的。说明性组件包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪、打印机、无线设备等等。
现转向图2,示出了显示根据本发明的一实施例的、被配置成生成全景图像的示例性计算系统体系结构200的框图。本领域普通技术人员将理解并认识到,图2所示的计算系统体系结构200仅仅是一个合适的计算系统的示例,并且不旨在对本发明的使用范围或功能提出任何限制。也不应该将计算系统体系结构200解释为对其中所示出的任何单个组件/模块或各组件/模块的组合有任何依赖性或要求。
计算系统体系结构200包括用户设备210、图像捕捉设备212、显示设备213、存储设备214和图像呈现设备216,所有这些都经由网络218彼此通信。网络218可以包括但不限于,一个或多个局域网(LAN)和/或广域网(WAN)。这样的连网环境常见于办公室、企业范围计算机网络、内联网和因特网中。因此,在此不对网络218作进一步描述。
存储设备214(图2中示为一数据库)被配置成存储与图像数据、图像上下文数据、经扩充的图像数据等中的一个或多个相关联的信息。在各实施例中,此类信息可包括但不限于:静止图像数据、视频图像数据、三维模型数据、360°图像数据、全景图像等。在各实施例中,存储设备214被配置成可从中搜索与其相关联地存储的项目中的一个或多个。本领域普通技术人员可以理解和明白,存储在数据库214中的信息可以是可配置的,并可包括与图像数据、图像上下文数据、经扩充的图像数据等相关的任何信息。这一信息的内容和量决不旨在限制本发明的各实施例的范围。此外,虽然作为单个独立的组件示出,但数据库214实际上可以是例如数据库集群等多个数据库,其各部分可以驻留在用户设备210、图像呈现设备216、另一外部计算设备(未示出)、和/或其任何组合上。
图2所示的用户设备210和图像呈现设备216中的每一个都可以是任何类型的计算设备,诸如例如以上参考图1描述的计算设备100。仅作为示例而非限制,用户设备210和图像呈现设备216中的每一个可以是个人计算机、台式计算机、膝上型计算机、手持式设备、移动手机、消费电子设备等。然而,应当注意,本发明不限于在这些计算设备上实现,而是可在处于其各实施例的范围内的各种不同类型的计算设备的任一种上实现。
图像捕捉设备214可以是被配置成捕捉图像数据的、对本领域普通技术人员已知的任何设备。仅作为示例,图像捕捉设备214可以是被配置成捕捉静止图像数据的数码相机、被配置成捕捉视频图像数据的照相摄像机、以及其任何组合。通常,但不作为限制,根据本发明各实施例的图像捕捉设备214将被配置成捕捉相对于根据本发明的教示被扩充的图像数据而言具有有限的视角的图像数据。
显示设备213可以是被配置成接收图像数据并呈现(显示)所接收的图像数据的、对本领域普通技术人员已知的任何设备。作为示例而非限制,显示设备213可以是被配置成将图像投影到一个或多个显示表面上的图像投影设备。
如图2所示,图像呈现设备216包括图像接收组件220、图像上下文接收组件222、全景外插组件224、全景显示组件226、以及确定组件228。在某些实施例中,组件220、222、224、226、228中的一个或多个可被实现为独立应用程序。在其它实施例中,组件220、222、224、226、228中的一个或多个可以直接集成到图像呈现设备216或用户设备210的操作系统中。本领域普通技术人员可以理解,图2所示的组件220、222、224、226、228在本质和数量上是示例性的,并且不应被解释为限制。可以采用任何数量的组件来实现本发明的各实施例的范围内的所需功能。
图像接收组件220被配置成接收具有已知位置和方向的图像数据(例如,静止图像数据和/或视频图像数据)。在一实施例中,可将图像数据及其相关联的位置和方向信息下载(例如,从图像捕捉设备212)到计算设备(例如,用户设备210)并经由网络(例如,网络218)传送到图像接收组件220。在另一实施例中,图像接收组件220可从图像捕捉设备(例如,图像捕捉设备212)直接接收图像数据。申请人构想任何及所有如此的变型、及其任何组合都落在本发明的各实施例的范围内。
在一实施例中,基于坐标系统来定义与图像数据相关联的位置和方向信息。在另一实施例中,可基于一个或多个已知界标来定义已知位置和方向。可按对本领域的技术人员已知的各种方式来获取此类位置和方向信息,仅作为示例包括例如从与图像捕捉设备212相关联的全球定位系统(GPS)系统、由用户(例如,与用户设备210相关联的用户)输入的信息、以及其任何组合中获取全球定位系统(GPS)信息。
图像上下文接收组件222被配置成接收具有已知位置和方向的图像上下文数据。在一实施例中,图像上下文数据是从例如公众可用的数据库接收到的三维模型数据。在另一实施例中,图像上下文数据是与一个或多个存储设备(例如,存储设备214)、图像捕捉设备本身、与图像捕捉设备相关联的设备(例如,用户设备210)、和/或其任何组合相关联地存储的图像数据(例如,静止图像数据、视频图像数据、360°图像数据等)。
可利用如前参考图像数据所述的变型的任何一种来定义和接收与图像上下文数据相关联的位置和方向信息。在一个实施例中,图像上下文数据包括基于在图像数据与图像上下文数据之间通用的坐标系统定义的位置和/或方向信息。(为简明起见,与图像数据相关联的坐标在此有时被称为“图像坐标”,而与图像上下文数据相关联的坐标在此有时被称为“上下文坐标”。)
全景外插组件224被配置成利用图像上下文数据在至少一个方向上外插所接收到的图像数据。在一个实施例中,此类外插通过呈现环绕图像数据的捕捉点(例如由图像坐标所定义)的区域的三维合成视图来达成。在一实施例中,通过生成环绕图像数据的捕捉点的区域的四个合成视图来创建全360°全景视图,合成视图中的每一个具有90°的角度。在该实施例中,合成视图之一具有与图像数据相同的视向,且其余的合成视图被配置成显示周边场景。本领域普通技术人员应该理解,可基于所需输出图像的性质来采用多于或少于四个的合成视图。
一旦合成场景被呈现,就可将图像数据映射到合成视图中的至少一个上,例如,映射到与图像数据具有相同视向的合成视图。在一实施例中,这可通过将图像数据阿尔法合成到合成视图上来执行。阿尔法合成技术对本领域普通技术人员而言是公知的,并且因此在此不做进一步描述。如果需要,如对本领域的普通技术人员已知的,可执行图像数据与图像上下文数据(例如,合成视图)的至少一个边界之间的过渡的羽化。
如果需要,为获取图像数据与其所映射到的合成视图之间的更平滑的过渡,可执行色彩匹配。在一个实施例中,可通过色彩之间的线性映射来完成色彩匹配。在另一实施例中,可执行图像数据与图像上下文数据(例如,合成视图)的色彩直方图的匹配。图像匹配技术对本领域普通技术人员是已知的,且应该理解和明白,可在本发明的各实施例的范围内利用任何和所有此类技术、以及其任何组合。
合成图像可随后变形(warp)成球形坐标以生成其中其水平轴表示相对于图像数据的视向的方位角、而垂直轴表示倾角轴的图像。变形技术对相关领域普通技术人员而言是公知的,并且因此在此不做进一步描述。
全景外插组件还被配置成利用球形坐标生成全景图像,该全景图像具有相对于所接收到的图像数据的视角扩充的视角。
全景显示组件226被配置成将由全景外插组件224生成的全景图像转送到至少一个显示设备。在一实施例中,可经由网络(例如,网络218)将此全景图像转送到诸如显示设备213等独立显示设备。在其它实施例中,显示设备可与计算设备(如计算设备210)或图像捕捉设备本身相关联。任何及所有这样的变型都被构想为落在本发明的各实施例的范围内。
在一实施例中,显示设备可以是投影仪设备。仅作为示例,投影仪设备可以是具有被配置成在设备周围的半球体中显示图像的鱼眼镜头的投影仪。例如,如果将投影仪设备朝向正表面(例如,矩形房间的墙壁)安装,则半球体可被配置成覆盖观看者面前的三面墙壁或表面。尽管一般会为投影仪设备正确地校准来自全景外插组件214的球形图像输出,但是球形图像输出在被显示在房间墙壁上时可能显得失真。可通过针对房间几何结构对图像进行预先变形来纠正此失真。这样的预先变形技术对本领域普通技术人员而言是公知的,并且因此在此不做进一步描述。
确定组件228被配置成确定是否有例如与存储组件214相关联的、包括与图像坐标相同的上下文坐标的图像上下文数据可用。如果确定有这样的图像上下文数据可用的,则其被访问并被提供给图像上下文接收组件222。然而,如果确定这样的图像上下文数据不可用,则确定组件228被配置成表示处于图像数据的预先确定的邻近范围内的可用上下文数据。例如,如果图像数据与图像坐标相关联,且具有与图像坐标相同的上下文坐标的图像上下文数据不可用,则确定组件228被配置成标识具有处于图像坐标附近的上下文坐标的图像上下文数据。这样的图像上下文数据可具有距图像坐标不超过预先确定的距离的上下文坐标,或确定组件228可被配置成不论其间的实际距离而标识具有最接近于图像坐标的坐标的图像上下文数据。申请人构想任何及所有如此的变型、及其任何组合都落在本发明的各实施例的范围内。
现转到图3,示出根据本发明的实施例用于生成全景图像的方法的框图,且其被概括地指定为参考标号300。最初,如框310所示,利用例如图2的图像接收组件220来接收图像数据(例如,静止图像数据或视频图像数据)。随后或基本上同时,如框312所示,例如利用图2的图像上下文接收组件222来接收图像上下文数据。
接着,如框314所示,例如利用图2的全景外插组件224来扩充图像数据以生成全景图像。扩充图像数据的一个实施例在以下参考图4更详细地讨论。随后,如框316所示,例如与图2的存储设备214相关联地存储全景图像。如果需要,可如框318所示地显示该全景图像。在各实施例中,可与图像捕捉设备(例如,图2的图像捕捉设备212)、用户设备(诸如图2的用户设备210)、外部显示设备(图2的显示设备213)、或其任何组合相关联地显示全景图像。
参考图4,显示示出根据本发明的一实施例用于扩充图像数据的方法400的流程图。最初,如框410所示,接收到图像数据,该图像数据包括方位(例如,位置和方向)信息。随后,如框412所示,确定是否存在匹配与该图像数据相关联的方位信息的可用图像上下文信息。可例如利用图2的确定组件228来作出这样的判定。在一实施例中,接收到的与图像数据相关联的方位信息是图像坐标,且将这些图像坐标和与图像上下文数据相关联的上下文坐标作比较以确定是否有匹配可用。
如果在框412确定有匹配图像上下文信息可用,则例如利用图2的图像上下文接收组件222来接收匹配图像上下文信息。这在框416处指示。然而,如果确定匹配图像上下文信息不可用,则如框414所示,接收具有处于所接收到的图像数据附近的上下文信息的图像上下文数据。在一实施例中,如果图像数据与图像坐标相关联,且具有与图像坐标相同的上下文坐标的图像上下文数据不可用,则标识具有处于图像坐标附近的上下文坐标的图像上下文数据。这样的图像上下文数据可具有距图像坐标不超过预先确定的距离的坐标,或可以是无论其间的实际距离而具有最接近于图像坐标的坐标的可用图像上文数据。申请人构想任何及所有如此的变型、及其任何组合都落在本发明的各实施例的范围内。
如框418所示,一旦接收到图像上下文数据,就利用所接收到的图像上下文数据来扩充图像数据。在上文中参考图2讨论了根据此处的各实施例的用于扩充图像数据的实施例。随后,图像数据边界中的一个或多个可被“羽化”以最小化其间的任何过渡的可见性。这在框420处指示。在旋转之后、同时或在之前,如框422所示,如果需要则可执行色彩匹配。
随后,如框424所示,利用对本领域普通技术人员已知的技术来将所得图像变形成球形坐标。如框426所示,随后利用该球形坐标来生成全景图像。随后,可存储(如框428所示)和/或显示(如框430所示)该全景图像。
如可以理解的,本发明的各实施例提供用于利用图像上下文数据来扩充图像数据(例如,静止图像数据或视频图像数据)以生成全景图像的方法和系统(以及其上包含有用于执行此处所述的方法的计算机可执行指令的计算机可读)。根据其各实施例,利用所接收到的图像数据的位置和方向来标识基于该相同位置或相对于图像数据的邻近位置呈现的图像上下文数据(例如,来自另一来源的三维模型数据和/或360°图像数据),且利用所标识的上下文数据来扩充该图像数据以创建全景图像。可随后显示全景图像(例如,投影)以创建比原始图像数据所能创建的更身临其境的用户体验。
参考各具体实施例描述了本发明,各具体实施例在所有方面都旨在是说明性的而非限制性的。在不背离本发明范围的情况下各替换实施例对本发明所属领域的普通技术人员将变得显而易见。
从前述内容可知,本发明很好地适用于实现前述的所有目的和目标,并且具有对于该系统和方式是显而易见且固有的其它优点。可以理解,特定的特征和子组合是有用的,并且可以在不参考其它特征和子组合的情况下使用。这由权利要求书所构想并在其范围之内。
Claims (20)
1.一种用于生成全景图像的方法,所述方法包括:
接收(310)来自第一来源的具有已知位置和方向的图像数据;
接收(312)来自第二来源的图像上下文数据;
使用所述图像上下文数据来扩充(314)所述图像数据以生成全景图像,包括利用所接收到的图像上下文数据在至少一个方向上外插图像数据,这是通过呈现环绕图像数据的捕捉点的区域的三维合成视图,将图像数据阿尔法合成到合成视图中的至少一个上以创建合成图像,以及将合成图像变形成球形坐标来进行的;以及
存储(316)所生成的全景图像。
2.如权利要求1所述的方法,其特征在于,接收具有已知位置和方向的图像数据包括接收具有与其相关联的坐标的静止图像数据和视频图像数据中的至少一个。
3.如权利要求2所述的方法,其特征在于,接收图像上下文数据包括接收具有与其相关联的坐标的三维模型数据,与所接收到的图像数据相关联的坐标和与所述三维模型数据相关联的坐标共享通用坐标系统。
4.如权利要求1所述的方法,其特征在于,接收图像上下文数据包括接收三维模型数据。
5.如权利要求1所述的方法,其特征在于,所接收到的图像数据具有至少一个定义的边界,且其中使用所述图像上下文数据来扩充所述图像数据包括在至少一个方向上在所述至少一个定义的边界外对所述图像数据进行外插。
6.如权利要求1所述的方法,其特征在于,所述方法还包括显示(318)所述所生成的全景图像。
7.如权利要求6所述的方法,其特征在于,显示所述所生成的全景图像包括投影所述所生成的全景图像。
8.一种用于扩充图像数据的方法,所述方法包括:
接收(410)具有已知位置和方向的图像数据;
确定(412)是否有包括所述已知位置的图像上下文数据可用;
如果确定包括所述已知位置的图像上下文数据不可用,则接收(414)具有邻近所述已知位置的位置的图像上下文数据;
使用所述图像上下文数据来扩充(418)所述图像数据以生成经扩充的图像数据;
羽化所述图像数据和所述图像上下文数据之间的图像数据边界;
将经扩充的图像数据变形成球形坐标;以及
存储(428)所述经扩充的图像数据。
9.如权利要求8所述的方法,其特征在于,接收具有已知位置和方向的图像数据包括接收具有与其相关联的坐标的静止图像数据和视频图像数据中的至少一个。
10.如权利要求9所述的方法,其特征在于,接收具有邻近所述已知位置的位置的图像上下文数据包括接收具有与其相关联的坐标的三维模型数据,且与所接收到的图像数据相关联的坐标和与所述三维模型数据相关联的坐标共享通用坐标系统。
11.如权利要求8所述的方法,其特征在于,接收具有邻近所述已知位置的位置的图像上下文数据包括接收三维模型数据。
12.如权利要求11所述的方法,其特征在于,接收具有邻近所述已知位置的位置的图像上下文数据包括接收具有处于与所述图像数据相关联的坐标的预先确定的邻近范围内的坐标的图像上下文数据。
13.如权利要求8所述的方法,其特征在于,所接收到的图像数据包括至少一个定义的边界,且其中使用所述图像上下文数据来扩充所述图像数据包括在至少一个方向上在所述至少一个定义的边界外对所述图像数据进行外插。
14.如权利要求8所述的方法,其特征在于,还包括显示(430)所述经扩充的图像数据。
15.一种用于生成全景图像的计算机化系统,所述系统包括:
被配置成接收具有已知位置和方向的图像数据的图像接收组件(220);
被配置成接收具有已知位置和方向的图像上下文数据的图像上下文接收组件(222);
被配置成利用所接收到的图像上下文数据在至少一个方向上外插所述所接收到的图像数据以创建全景图像的全景外插组件(224),其中所述全景外插组件通过呈现环绕图像数据的捕捉点的区域的三维合成视图,将图像数据阿尔法合成到合成视图中的至少一个上以创建合成图像,以及将合成图像变形成球形坐标来进行外插;以及
被配置成存储所述图像上下文数据和所述全景图像中的至少一个的存储组件(214)。
16.如权利要求15所述的计算机化系统,其特征在于,还包括被配置成将所述全景图像传送到至少一个显示设备(213)的全景显示组件(226)。
17.如权利要求15所述的计算机化系统,其特征在于,所述图像接收组件(220)被配置成接收具有与其相关联的图像坐标的图像数据,且其中所述图像上下文接收组件(222)被配置成接收具有与其相关联的上下文坐标的图像上下文数据。
18.如权利要求17所述的计算机化系统,其特征在于,还包括被配置成确定是否有包括与所述图像坐标相同的上下文坐标的图像上下文数据可用的确定组件(228)。
19.如权利要求18所述的计算机化系统,其特征在于,所述图像上下文接收组件(222)还被配置成接收具有处于所述图像坐标的预先确定的邻近范围内的上下文坐标的图像上下文数据。
20.如权利要求15所述的计算机化系统,其特征在于,所述图像上下文接收组件(222)被配置成接收三维模型数据。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/771,434 US8009178B2 (en) | 2007-06-29 | 2007-06-29 | Augmenting images for panoramic display |
US11/771,434 | 2007-06-29 | ||
PCT/US2008/066228 WO2009005949A1 (en) | 2007-06-29 | 2008-06-07 | Augmenting images for panoramic display |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101689293A CN101689293A (zh) | 2010-03-31 |
CN101689293B true CN101689293B (zh) | 2012-11-28 |
Family
ID=40159851
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200880022521XA Active CN101689293B (zh) | 2007-06-29 | 2008-06-07 | 扩充用于全景显示的图像 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8009178B2 (zh) |
EP (1) | EP2160714B1 (zh) |
CN (1) | CN101689293B (zh) |
TW (1) | TW200912512A (zh) |
WO (1) | WO2009005949A1 (zh) |
Families Citing this family (60)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2559726C (en) | 2004-03-24 | 2015-10-20 | A9.Com, Inc. | System and method for displaying images in an online directory |
US8855856B2 (en) * | 2007-05-08 | 2014-10-07 | GM Global Technology Operations LLC | Vehicle roll control method using controllable friction force of MR dampers |
US9329052B2 (en) * | 2007-08-07 | 2016-05-03 | Qualcomm Incorporated | Displaying image data and geographic element data |
US8994851B2 (en) * | 2007-08-07 | 2015-03-31 | Qualcomm Incorporated | Displaying image data and geographic element data |
US8463020B1 (en) * | 2008-07-08 | 2013-06-11 | Imove, Inc. | Centralized immersive image rendering for thin client |
US20110007134A1 (en) * | 2009-07-13 | 2011-01-13 | Raytheon Company | Synchronizing video images and three dimensional visualization images |
US20110007150A1 (en) * | 2009-07-13 | 2011-01-13 | Raytheon Company | Extraction of Real World Positional Information from Video |
US8558847B2 (en) * | 2009-07-13 | 2013-10-15 | Raytheon Company | Displaying situational information based on geospatial data |
US8331611B2 (en) * | 2009-07-13 | 2012-12-11 | Raytheon Company | Overlay information over video |
US8395547B2 (en) | 2009-08-27 | 2013-03-12 | Hewlett-Packard Development Company, L.P. | Location tracking for mobile computing device |
US8755815B2 (en) | 2010-08-31 | 2014-06-17 | Qualcomm Incorporated | Use of wireless access point ID for position determination |
JP5464955B2 (ja) * | 2009-09-29 | 2014-04-09 | 株式会社ソニー・コンピュータエンタテインメント | パノラマ画像表示装置 |
KR20110052124A (ko) * | 2009-11-12 | 2011-05-18 | 삼성전자주식회사 | 파노라마 이미지 생성 및 조회 방법과 이를 이용한 휴대 단말기 |
CN102088673A (zh) * | 2009-12-03 | 2011-06-08 | 和硕联合科技股份有限公司 | 信息显示系统、信息显示装置及信息显示方法 |
US20110187704A1 (en) * | 2010-02-04 | 2011-08-04 | Microsoft Corporation | Generating and displaying top-down maps of reconstructed 3-d scenes |
US8624902B2 (en) * | 2010-02-04 | 2014-01-07 | Microsoft Corporation | Transitioning between top-down maps and local navigation of reconstructed 3-D scenes |
US8773424B2 (en) * | 2010-02-04 | 2014-07-08 | Microsoft Corporation | User interfaces for interacting with top-down maps of reconstructed 3-D scences |
US8295589B2 (en) | 2010-05-20 | 2012-10-23 | Microsoft Corporation | Spatially registering user photographs |
WO2012050948A1 (en) | 2010-09-29 | 2012-04-19 | Hewlett-Packard Development Company, L.P. | Location tracking for mobile computing device |
JP5250598B2 (ja) * | 2010-10-05 | 2013-07-31 | 株式会社ソニー・コンピュータエンタテインメント | 画像表示装置および画像表示方法 |
CN101984402A (zh) * | 2010-11-16 | 2011-03-09 | 广东威创视讯科技股份有限公司 | 一种图像采集和压缩方法及相关装置 |
US20120300020A1 (en) * | 2011-05-27 | 2012-11-29 | Qualcomm Incorporated | Real-time self-localization from panoramic images |
US9600933B2 (en) * | 2011-07-01 | 2017-03-21 | Intel Corporation | Mobile augmented reality system |
US9104760B2 (en) | 2011-12-21 | 2015-08-11 | The Boeing Company | Panoptic visualization document database management |
US10268761B2 (en) | 2011-12-21 | 2019-04-23 | The Boeing Company | Panoptic visualization document collection |
US9524342B2 (en) | 2011-12-21 | 2016-12-20 | The Boeing Company | Panoptic visualization document navigation |
US9495476B2 (en) | 2012-03-23 | 2016-11-15 | The Boeing Company | Panoptic visualization of an illustrated parts catalog |
JP6006536B2 (ja) | 2012-06-01 | 2016-10-12 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法 |
JP6124517B2 (ja) * | 2012-06-01 | 2017-05-10 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法 |
CN102881006A (zh) * | 2012-08-03 | 2013-01-16 | 吉林禹硕动漫游戏科技股份有限公司 | 多投影显示系统中的图像拼接与融合方法 |
US10268662B2 (en) | 2012-09-10 | 2019-04-23 | The Boeing Company | Panoptic visualization of a document according to the structure thereof |
US9690458B2 (en) | 2012-09-10 | 2017-06-27 | Mediatek Inc. | Image viewing method for displaying portion of selected image based on user interaction input and related image viewing system and machine readable medium |
US10275428B2 (en) | 2012-09-25 | 2019-04-30 | The Boeing Company | Panoptic visualization document differencing |
US10824680B2 (en) | 2012-10-02 | 2020-11-03 | The Boeing Company | Panoptic visualization document access control |
US9875220B2 (en) | 2012-11-09 | 2018-01-23 | The Boeing Company | Panoptic visualization document printing |
US9665557B2 (en) | 2013-01-28 | 2017-05-30 | The Boeing Company | Panoptic visualization of elements of a complex system using localization of a point on a physical instance of the complex system |
US9858245B2 (en) | 2013-01-28 | 2018-01-02 | The Boeing Company | Panoptic visualization of elements of a complex system using a model viewer |
US9734625B2 (en) | 2013-01-28 | 2017-08-15 | The Boeing Company | Panoptic visualization of a three-dimensional representation of a complex system |
US9098593B2 (en) | 2013-04-23 | 2015-08-04 | The Boeing Company | Barcode access to electronic resources for lifecycle tracking of complex system parts |
US8887993B2 (en) | 2013-04-23 | 2014-11-18 | The Boeing Company | Barcode access to electronic resources for complex system parts |
US9646571B1 (en) | 2013-06-04 | 2017-05-09 | Bentley Systems, Incorporated | Panoramic video augmented reality |
US9489597B2 (en) | 2014-08-21 | 2016-11-08 | The Boeing Company | Visualization and analysis of a topical element of a complex system |
US10191997B2 (en) | 2014-08-21 | 2019-01-29 | The Boeing Company | Visualization and diagnostic analysis of interested elements of a complex system |
US9841870B2 (en) | 2014-08-21 | 2017-12-12 | The Boeing Company | Integrated visualization and analysis of a complex system |
US10475113B2 (en) | 2014-12-23 | 2019-11-12 | Ebay Inc. | Method system and medium for generating virtual contexts from three dimensional models |
US9471954B2 (en) * | 2015-03-16 | 2016-10-18 | International Business Machines Corporation | Video sequence assembly |
CN107004261B (zh) * | 2015-09-15 | 2020-01-21 | 华为技术有限公司 | 图像畸变校正方法及装置 |
US10321122B2 (en) * | 2016-04-14 | 2019-06-11 | Gentex Corporation | Vehicle display system providing depth information |
US10523929B2 (en) * | 2016-04-27 | 2019-12-31 | Disney Enterprises, Inc. | Systems and methods for creating an immersive video content environment |
TWI584051B (zh) | 2016-05-18 | 2017-05-21 | Sarmo Tech Inc | Three - dimensional environment system of vehicle and its method |
US9762851B1 (en) | 2016-05-31 | 2017-09-12 | Microsoft Technology Licensing, Llc | Shared experience with contextual augmentation |
US9992429B2 (en) | 2016-05-31 | 2018-06-05 | Microsoft Technology Licensing, Llc | Video pinning |
CN106131581A (zh) * | 2016-07-12 | 2016-11-16 | 上海摩象网络科技有限公司 | 混合图像的全景视频制作技术 |
CN106131535B (zh) * | 2016-07-29 | 2018-03-02 | 传线网络科技(上海)有限公司 | 视频采集方法及装置、视频生成方法及装置 |
US10484643B2 (en) * | 2016-11-10 | 2019-11-19 | Avaya Inc. | Intelligent contact recording in a virtual reality contact center |
KR102557322B1 (ko) | 2017-09-27 | 2023-07-18 | 젠텍스 코포레이션 | 시각 조절 보정을 갖춘 풀 디스플레이 미러 |
US11803664B2 (en) | 2018-10-09 | 2023-10-31 | Ebay Inc. | Distributed application architectures using blockchain and distributed file systems |
US10719920B2 (en) * | 2018-10-12 | 2020-07-21 | Adobe Inc. | Environment map generation and hole filling |
CN110930360A (zh) * | 2019-10-21 | 2020-03-27 | 北京海益同展信息科技有限公司 | 禽蛋检测、图像处理方法、装置、电子设备及存储介质 |
CN112270769B (zh) * | 2020-11-11 | 2023-11-10 | 北京百度网讯科技有限公司 | 一种导游方法、装置、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1333626A (zh) * | 2000-07-07 | 2002-01-30 | 松下电器产业株式会社 | 图像合成装置和方法 |
CN1725857A (zh) * | 2004-07-20 | 2006-01-25 | 奥林巴斯株式会社 | 图像生成装置 |
CN1851555A (zh) * | 2006-05-19 | 2006-10-25 | 李鹏 | 实现二维全景真实成像的方法 |
CN1982934A (zh) * | 2005-12-14 | 2007-06-20 | 索尼株式会社 | 图像拍摄设备、图像处理方法、及图像处理程序 |
Family Cites Families (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4835532A (en) * | 1982-07-30 | 1989-05-30 | Honeywell Inc. | Nonaliasing real-time spatial transform image processing system |
GB8324318D0 (en) * | 1983-09-12 | 1983-10-12 | British Telecomm | Video map display |
US5130794A (en) * | 1990-03-29 | 1992-07-14 | Ritchey Kurtis J | Panoramic display system |
US6301447B1 (en) * | 1991-05-13 | 2001-10-09 | Interactive Pictures Corporation | Method and system for creation and interactive viewing of totally immersive stereoscopic images |
JP3192875B2 (ja) * | 1994-06-30 | 2001-07-30 | キヤノン株式会社 | 画像合成方法および画像合成装置 |
DE69526011T2 (de) * | 1994-09-01 | 2002-08-01 | Aisin Aw Co | Navigationssystem |
US5657073A (en) * | 1995-06-01 | 1997-08-12 | Panoramic Viewing Systems, Inc. | Seamless multi-camera panoramic imaging with distortion correction and selectable field of view |
JPH0962861A (ja) | 1995-08-21 | 1997-03-07 | Matsushita Electric Ind Co Ltd | パノラマ映像装置 |
US6222583B1 (en) * | 1997-03-27 | 2001-04-24 | Nippon Telegraph And Telephone Corporation | Device and system for labeling sight images |
IL136128A0 (en) * | 1998-09-17 | 2001-05-20 | Yissum Res Dev Co | System and method for generating and displaying panoramic images and movies |
US6714249B2 (en) * | 1998-12-31 | 2004-03-30 | Eastman Kodak Company | Producing panoramic digital images by digital camera systems |
US7064783B2 (en) * | 1999-12-31 | 2006-06-20 | Stmicroelectronics, Inc. | Still picture format for subsequent picture stitching for forming a panoramic image |
US7522186B2 (en) * | 2000-03-07 | 2009-04-21 | L-3 Communications Corporation | Method and apparatus for providing immersive surveillance |
US6788333B1 (en) * | 2000-07-07 | 2004-09-07 | Microsoft Corporation | Panoramic video |
KR20020025301A (ko) | 2000-09-28 | 2002-04-04 | 오길록 | 다중 사용자를 지원하는 파노라믹 이미지를 이용한증강현실 영상의 제공 장치 및 그 방법 |
JP2003006680A (ja) * | 2001-06-20 | 2003-01-10 | Zenrin Co Ltd | 3次元電子地図データの生成方法 |
US7010158B2 (en) * | 2001-11-13 | 2006-03-07 | Eastman Kodak Company | Method and apparatus for three-dimensional scene modeling and reconstruction |
JP2003337940A (ja) | 2002-05-17 | 2003-11-28 | Synergy:Kk | 三次元パノラマ画像編集方法および三次元パノラマ画像表示装置 |
AU2003277240A1 (en) * | 2002-10-15 | 2004-06-07 | University Of Southern California | Augmented virtual environments |
US7180529B2 (en) * | 2002-12-19 | 2007-02-20 | Eastman Kodak Company | Immersive image viewing system and method |
JP2004234455A (ja) * | 2003-01-31 | 2004-08-19 | Canon Inc | 情報処理方法および画像再生装置 |
US20040196282A1 (en) * | 2003-02-14 | 2004-10-07 | Oh Byong Mok | Modeling and editing image panoramas |
US6965325B2 (en) * | 2003-05-19 | 2005-11-15 | Sap Aktiengesellschaft | Traffic monitoring system |
US7012669B2 (en) * | 2003-08-18 | 2006-03-14 | Evans & Sutherland Computer Corporation | Reflection barrier for panoramic display |
US7430471B2 (en) * | 2004-10-25 | 2008-09-30 | Payment Protection Systems, Inc. | Method and system for monitoring a vehicle |
WO2006053271A1 (en) * | 2004-11-12 | 2006-05-18 | Mok3, Inc. | Method for inter-scene transitions |
TW200617416A (en) * | 2004-11-23 | 2006-06-01 | Fortuna Electronic Corp | Global positioning system and method |
WO2006074161A2 (en) * | 2005-01-03 | 2006-07-13 | Vumii, Inc. | Systems and methods for night time surveillance |
US7646400B2 (en) * | 2005-02-11 | 2010-01-12 | Creative Technology Ltd | Method and apparatus for forming a panoramic image |
US20060253246A1 (en) * | 2005-04-18 | 2006-11-09 | Cera Christopher D | Data-driven combined traffic/weather views |
US7353114B1 (en) * | 2005-06-27 | 2008-04-01 | Google Inc. | Markup language for an interactive geographic information system |
US7424218B2 (en) * | 2005-07-28 | 2008-09-09 | Microsoft Corporation | Real-time preview for panoramic images |
WO2007127814A2 (en) * | 2006-04-25 | 2007-11-08 | Google, Inc. | Identifying geo-located objects |
US9031964B2 (en) * | 2006-04-25 | 2015-05-12 | Google Inc. | Shared geo-located objects |
WO2007146967A2 (en) * | 2006-06-12 | 2007-12-21 | Google Inc. | Markup language for interactive geographic information system |
US20080143709A1 (en) * | 2006-12-14 | 2008-06-19 | Earthmine, Inc. | System and method for accessing three dimensional information from a panoramic image |
US7990394B2 (en) * | 2007-05-25 | 2011-08-02 | Google Inc. | Viewing and navigating within panoramic images, and applications thereof |
-
2007
- 2007-06-29 US US11/771,434 patent/US8009178B2/en active Active
-
2008
- 2008-05-22 TW TW097118935A patent/TW200912512A/zh unknown
- 2008-06-07 EP EP08770428.4A patent/EP2160714B1/en active Active
- 2008-06-07 WO PCT/US2008/066228 patent/WO2009005949A1/en active Application Filing
- 2008-06-07 CN CN200880022521XA patent/CN101689293B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1333626A (zh) * | 2000-07-07 | 2002-01-30 | 松下电器产业株式会社 | 图像合成装置和方法 |
CN1725857A (zh) * | 2004-07-20 | 2006-01-25 | 奥林巴斯株式会社 | 图像生成装置 |
CN1982934A (zh) * | 2005-12-14 | 2007-06-20 | 索尼株式会社 | 图像拍摄设备、图像处理方法、及图像处理程序 |
CN1851555A (zh) * | 2006-05-19 | 2006-10-25 | 李鹏 | 实现二维全景真实成像的方法 |
Non-Patent Citations (2)
Title |
---|
JP特开平9-62861A 1997.03.07 |
漆弛 等.摄像机图像序列的全景图拼接.《计算机辅助设计与图形学学报》.2001,第13卷(第7期),第605-609页. * |
Also Published As
Publication number | Publication date |
---|---|
EP2160714A1 (en) | 2010-03-10 |
WO2009005949A1 (en) | 2009-01-08 |
EP2160714B1 (en) | 2017-01-04 |
EP2160714A4 (en) | 2013-01-23 |
US20090002394A1 (en) | 2009-01-01 |
US8009178B2 (en) | 2011-08-30 |
CN101689293A (zh) | 2010-03-31 |
TW200912512A (en) | 2009-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101689293B (zh) | 扩充用于全景显示的图像 | |
CN110490916B (zh) | 三维对象建模方法与设备、图像处理装置及介质 | |
US9729787B2 (en) | Camera calibration and automatic adjustment of images | |
US10789717B2 (en) | Apparatus and method of learning pose of moving object | |
EP3218870B1 (en) | Parallax tolerant video stitching with spatial-temporal localized warping and seam finding | |
US7730406B2 (en) | Image processing system and method | |
US8494254B2 (en) | Methods and apparatus for image rectification for stereo display | |
WO2012033768A2 (en) | Efficient information presentation for augmented reality | |
CN108805979A (zh) | 一种动态模型三维重建方法、装置、设备和存储介质 | |
CN114445303A (zh) | 图像失真变换方法和设备 | |
CN112639870B (zh) | 图像处理装置、图像处理方法和图像处理程序 | |
US20200286205A1 (en) | Precise 360-degree image producing method and apparatus using actual depth information | |
CN104102732A (zh) | 图像展现方法及装置 | |
CN112529006B (zh) | 全景图片的检测方法、装置、终端及存储介质 | |
JP2010231741A (ja) | 電子タグ作成表示システム、電子タグ作成表示装置およびそれらの方法 | |
CN111161138B (zh) | 用于二维全景图像的目标检测方法、装置、设备、介质 | |
EP3593323B1 (en) | High speed, high-fidelity face tracking | |
JP2008203991A (ja) | 画像処理装置 | |
KR100897834B1 (ko) | 전방향 카메라의 교정방법 | |
WO2023053317A1 (en) | Image matching apparatus, control method, and non-transitory computer-readable storage medium | |
CN111178300B (zh) | 目标检测方法、装置、设备、介质 | |
WO2021060016A1 (ja) | 画像処理装置、画像処理方法、プログラム、および画像処理システム | |
JP2021086494A (ja) | 画像処理装置、画像処理方法、プログラム | |
TW202145061A (zh) | 遠端建構虛擬場景的系統、方法及非暫存性電腦可讀取記錄媒體 | |
CN104159030A (zh) | 一种图像处理系统及图像处理方法及图像拍摄装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
ASS | Succession or assignment of patent right |
Owner name: MICROSOFT TECHNOLOGY LICENSING LLC Free format text: FORMER OWNER: MICROSOFT CORP. Effective date: 20150506 |
|
C41 | Transfer of patent application or patent right or utility model | ||
TR01 | Transfer of patent right |
Effective date of registration: 20150506 Address after: Washington State Patentee after: Micro soft technique license Co., Ltd Address before: Washington State Patentee before: Microsoft Corp. |