CN102804169A - 用于立体影院的以观看者为中心的用户界面 - Google Patents

用于立体影院的以观看者为中心的用户界面 Download PDF

Info

Publication number
CN102804169A
CN102804169A CN2010800274783A CN201080027478A CN102804169A CN 102804169 A CN102804169 A CN 102804169A CN 2010800274783 A CN2010800274783 A CN 2010800274783A CN 201080027478 A CN201080027478 A CN 201080027478A CN 102804169 A CN102804169 A CN 102804169A
Authority
CN
China
Prior art keywords
parameter
scene
user interface
value
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800274783A
Other languages
English (en)
Inventor
C·L·齐特尼克三世
B·K·雷斯勒
江胜明
M·F·科恩
J·科帕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102804169A publication Critical patent/CN102804169A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4854End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637Control signals issued by the client directed to the server or network components
    • H04N21/6377Control signals issued by the client directed to the server or network components directed to server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Abstract

描述了用户界面,该用户界面显示立体场景的表示,并包括用于改变确定该场景的被感知的外观的参数值的交互式机制。该场景好像被从上面观看那样被建模,包括观看者的眼睛的表示,观看屏幕的表示,以及模拟观看者的每一个眼睛在屏幕上所感知的内容的指示。可变参数可包括聚散度参数、移动摄像参数、视场参数、眼间距离参数以及舞台口拱门参数。

Description

用于立体影院的以观看者为中心的用户界面
背景
立体电影,也被称为3D电影,再次变得相对流行起来,给观看者提供了传统电影所不能提供的观看体验。观看者从立体电影获得的观看体验是由多种因素的组合所产生的,包括摄像机参数、观看位置、放映机屏幕配置,及其他(例如,心理)因素。取决于这些因素,给定观看者的观看体验可能是愉快,注意力分散或者甚至不舒服(例如,由于由某些立体效果所产生的眼睛疲劳)。
立体电影制作者和摄影师已经学会用于避免或故意增强已知的立体效果的各种启发式法,如“加纸板”、“夹紧”、“巨大化”以及“小型化”效果。然而,直到一个场景被拍摄之前,导演实际上不能够可视化该场景如何被展现在观看者面前。如此,相对于拍摄3D场景获得所希望的结果和/或效果通常要求大量的规划、重新拍摄、重新规划、重新拍摄等等。
发明内容
提供本发明内容是为了以简化的形式介绍将在以下详细描述中进一步描述的一些代表性的概念。本发明内容并不旨在标识出所要求保护的主题的关键因素或必要特征,也不旨在以将限定所要求保护的主题的范围的任何方式被使用。
简单来说,此处所描述的主题的各个方面涉及这样一种技术,通过它用户界面显示立体场景的表示,并包括用于改变确定该场景的被感知的外观的参数值的交互式机制。在一种实现中,交互式机制包括相对于场景交互地可移动的点/手柄,其中,它们的位置对应于参数的值。
一方面,该场景好像被从上面观看那样被建模,包括观看者的眼睛的表示,屏幕的表示,以及模拟观看者在屏幕上所感知的内容的指示。交互式机制可以被定位在场景的此“俯视图”内。
用户可以使用用户界面来规划场景,例如,通过从测试场景开始,并通过操纵参数值来确定改变它们的效果。一旦决定,可以将参数值应用到立体摄像机以拍摄实际场景。
用户可以使用用户界面来编辑现有场景。可以交互地改变参数值,并可预览带有经修改的参数的所得的视频场景,以确定参数变化的效果。
通过下面的结合附附图对本发明进行的详细说明,其他优点可以变得显而易见。
附图说明
本发明是作为示例说明的,而不仅限于附图,在附图中,类似的参考编号表示类似的元件,其中:
图1是表示用于实现用于编辑和/或规划立体影院场景的以观看者为中心的用户界面示例组件的框图。
图2是表示通过用户界面来规划立体影院场景的示例步骤的流程图,包括与参数的交互。
图3是表示通过用户界面来编辑立体影院场景的示例步骤的流程图,包括与参数的交互。
图4是用户界面的一个实现的表示,包括从上部观看的透视图(俯视图),示出了从观看者以为中心的视点来看场景如何被感知。
图5是示出了如何在用户界面上可视地指示被耦合在一起的参数的表示。
图6是用户界面的一个实现的表示,包括当在镜头之间过渡时用于控制对象如何被感知的面板。
图7示出了可以将本发明的各个方面集成到其中的计算环境的说明性示例。
具体实施方式
此处所描述的技术的各个方面一般涉及用于编辑和/或规划立体(3D)电影的用户界面。一方面,用户界面允许编辑者调整一组影响电影观看体验的参数。同时,用户界面是以观看者为中心的,因为该界面将被感知的3D体验建模为好像从电影观看者的角度来看的那样。更具体而言,用户界面示出了被从上面(即,从“上面”的视角)感知的世界,这可使电影编辑者/规划者看到电影中的对象的相对于电影观看者和屏幕的被感知的3D深度。
应该理解,此处的任何一个示例都是非限制性的。如此,本发明不仅限于此处所描述的任何特定实施例、方面、概念、结构、功能或示例。相反,此处所描述的任何一个实施例、方面、概念、示例、结构、或功能都是非限制性的,可以以一般而言在计算和视频技术中提供好处和优点的各种方式来使用本发明。
图1示出了包括用于捕捉和与立体视频102(例如,一个或多个视频场景的一组)进行交互的组件的框图。左右立体摄像机104和105拍摄场景。在计算机系统108上运行的用户界面106用于分别通过规划器和/或编辑器110,112来规划和/或编辑与立体视频102相关联的参数。如此,用户界面促进对被感知的场景的规划和“事实之后的”数字操纵。注意,拍摄规划和“事实之后”的数字操纵技术不仅限于视频,而且也适用于立体影片录制;例如,当代胶片摄影机具有“视频帮助”馈送,可以使用这些馈送来馈给本系统,并可以将输出参数应用到胶片摄影机(从而,可以将它们应用到来自摄像机的视频帮助输出,可使带有软件的反馈回路继续)。
参数包括聚散度或水平图像移动(对应于摄像机相对于彼此被转动多少),眼间距离(摄像机之间的距离)、移动摄像(摄像机与目标多远)、摄像机的视场(自释义的)和舞台口拱门(与其中一个观看者的一只眼睛可以看到对另一只眼睛而言由于在屏幕之外而不可见的某种东西的情况的补偿相关联)。下面将描述通过用户界面106对这些参数中的每一个的操纵。
规划和/或编辑的结果是带有经修改的参数116的修改后的视频114。在编辑时,如果结果如希望的那样,则保留修改后的视频114。当在规划时,使用经修改的参数116来重新拍摄对应的场景(例如,利用在规划期间确定的重新配置的摄像机校准参数)。
注意,规划要求知道初始照像机参数,如在图1中通过框118所表示的。然而,如从下面所描述的数学框架可以轻松地理解的,编辑不要求这些参数的绝对值,因为可以对参数进行相对调整。
可以输入的另一种类型的数据对应于剧院参数120,例如,改变屏幕相对于观看者的大小/位置。如果剧院参数120被改变,则可以自动调整其他参数,以提供新观看参数。
就规划而论,拍摄3D电影是困难的,因为想象观众的体验如何与导演的视觉不同是一项挑战。用户界面106通过提供一种规划镜头的方式来解决此问题,给定了场景粗略的拍摄和/或静止图像。通过调整参数,通过界面的自上而下的视图中的点云(如下面参考图4所描述的),可以输出所希望的摄像机参数,例如,作为用来生成粗略拍摄的参数的比率。
图2示出了典型的规划操作的步骤。步骤202表示拍摄测试场景,维持了摄像机校准参数,这些参数是上文所描述的参数的子集,包括摄像机眼间距离、摄像机视场/焦距,以及聚散度角度。规划器选择立体深度(步骤204),并如下面所描述的,通过用户界面来操纵参数值(步骤206)。(注意,立体深度是使用单独的过程预先计算出的,例如,使用在由C.L.Zitnick、S.B.Kang、M.Uyttendaele、S.Winder,以及R.Szeliski所著的论文“High-quality video view interpolation using a layered representation(使用分层表示的高质量视频视图插补)”(SIGGRAPH 2004)中所描述的技术。)这些参数值是以适当的方式维护的(步骤208)并用来校准摄像机以重新拍摄测试场景(步骤214),直到参数值提供所希望的场景,从而,不必重新拍摄场景(或另一个测试场景)(步骤212)。取决于什么正在被拍摄,可以将最后的测试场景用作实际场景,或者可以使用现在已知的所希望的参数值来拍摄实际场景(例如,利用实际演员)。
图3示出了编辑操作的步骤。步骤302、304和306类似于图2的步骤202、204和206,将不再对此进行描述,只是要注意,正在编辑实际场景代替测试场景,并且,如下面所描述的,不需要初始参数。
步骤308允许编辑器只要需要就重新呈现带有新参数值的场景,无论是在单个参数值改变之后或在多个参数值改变之后。步骤310重复操纵/重新呈现,直到编辑器获取了所希望的结果。
为了便于下面所描述的参数操纵,用户界面实现数学框架,该数学框架将抽象将用户交互转换为立体参数值的技术。更具体而言,该框架将摄像机投影仪-屏幕-观看者几何形状抽象为比率,允许由用户进行简单的操纵。
该框架假设与观看者的体验相关联的某些参数是已知的或由用户进行配置,包括屏幕宽度Sw,从观看者到屏幕的距离Sz,以及观看者的眼睛之间的距离Be。在一种实现中,参数共享相同的单位,世界坐标空间的起点位于观看者的眼睛之间的中心。如此,左眼和右眼的位置是{-Be/2,0,0}和{Be/2,0,0}。
通过W来表示左和右图像宽度,使用比率Sr=Sw/W来将像素位置映射到物理屏幕位置。
假设跨左和右图像的对应的点的对分别是pL=(cL,rL)和pR=(cR,rR)。由于两个图像都被纠正,因此,rL=rR。在将两个图像投射到屏幕上之后,对应的屏幕位置是pLS=(cLS,rLS)和pRS=(cRS,rRLS)。注意,pLS和pRS都是以像素为单位指定的。
当将图像放在屏幕上时,可以采取两种方法,即,聚散度配置或并行配置。小屏幕通常使用聚散度配置,其中,图像中心被置于屏幕的中心。较大的屏幕通常使用并行配置,其中,图像中心被假设的眼间距离所抵销。下面的等式对于两者是相同的,被指出的地方除外。由d=(cR-cL)给出图像差异。屏幕差异dS=(cRS-cLS),对于聚散度配置,等于d,或者,对于并行配置,等于dS=d+Be/Sr。在这两种情况下,被感知的深度Ze是:
Z e = B e S z B e - d S s r . - - - ( 1 )
按如下方式来计算从观看者的角度来看的被感知的X坐标Xe
X e = Z e S z [ S r ( c L S - W 2 ) + B e 2 ] - B e 2 . - - - ( 2 )
按类似的方式来计算被感知的Y坐标。注意,下面为了简便起见,没有呈现Y坐标的公式,因为它类似于X坐标。
可以对于观看者的垂直(向前-向后)运动,扩展上面的公式,因为这暗示Sz的新的值。观看者的水平(横向)运动不改变被感知的深度Ze,因为运动平行于屏幕。然而,由于x坐标Xe中的变化,导致场景形状的类似于倾斜的失真。如果Kx是观看者的水平移动,则将修正项添加到公式(2)中的Xe
用户界面允许用户通过改变参数值,包括摄像机视场θc、摄像机眼间距离Bc、摄像机聚散度Vc,以及移动摄像ZS,来改变观看者的对场景的感觉。假设场景与摄像机足够远以改变聚散度,相当于沿着X轴方向全局性地移动图像(这改变图像差异)。只有在摄像机处于并行配置的情况下,这种近似才准确。为简明起见,聚散度Vc可以被描述为水平像素移动,例如,给定Vc,例如,左图像可以被向左移Vc/2像素,右图像被向右移Vc/2像素。
视场和聚散度值的变化分别对应于图像的缩放和移动。然而,操纵眼间距离和移动摄像机要求场景被重新呈现。这是因为,改变眼间距离和移动摄像导致摄像机平移,这必须解决场景视差。
为基于用户指定的/编辑的参数值,即,视场角θc、摄像机聚散度Vc,以及移动摄像ZS,来计算新像素位置,可以按照对应于摄影师在视频捕捉时间执行相同改变的顺序来应用对这些值的更改,即,移动摄像ZS、眼间距离Bc、视场θc,然后,聚散度Vc
当按原样操纵Vc时,作为原始摄像机参数的比率θc0、Bc0和Zs0来操纵其他三个参数:
Figure BPA00001481782000071
Bc=αBBc0,and Zs=αZZs0.                  (3)
根据定义,Vc0=0。根据等式(3),αθ围绕其中心缩放图像,αB是摄像机基线中的相对变化,而αZ是使用单位距离Zs0“标准化”的移动摄像。Zs0是作为如在摄像机空间中重新投射的观看者到屏幕深度的函数来计算的:
Z s 0 = B c 0 S w 2 B e tan ( θ c 0 2 ) . - - - ( 4 )
提供这些数量作为比率在摄像机参数难以量化或是未知的情况下是有用的。实际上,如果只希望生产后的效果,则不需要摄像机参数。然而,为规划一个镜头,需要原始摄像机参数是已知的。通过直接操纵立体效果,用户间接地改变导致这种效果的摄像机参数值。例如,框架以与摄像机眼间距离比率αB成反比的方式来缩放场景。这通过改变场景形状(相当于改变摄像机基线)来实现巨大化和小型化效果。
框架使用公式(1)和(2),使用原始屏幕列位置cLS和像素pLS的屏幕差异dS,来计算任何操纵之前的原始Xe和Ze坐标。应用摄像机眼间距离和移动摄像的变化提供新的一组3D被感知的坐标
Figure BPA00001481782000073
Figure BPA00001481782000074
Z ‾ e = Z e + S z α Z - S z α B , X ‾ e = X e α B . - - - ( 5 )
接下来,将转换的点投射到电影屏幕上,以求出新的一组屏幕坐标
Figure BPA00001481782000077
Figure BPA00001481782000078
和屏幕差异
c ‾ L S = S r ( 2 X ‾ e S z - B e Z ‾ e + B e S z ) 2 Z ‾ e + W 2 . - - - ( 6 )
可以类似地计算的值,此后,框架可以计算新差异
Figure BPA000014817820000712
然后,应用视场和聚散度改变,以求出新屏幕坐标(c′LS,r′LS),和扭曲的屏幕差异d′S
c L S ′ = α θ ( c ‾ L S - W 2 ) + W 2 - V c 2 ,
d S ′ = α θ d ‾ S + V c , and c R S ′ = c L S ′ + d S ′ . - - - ( 7 )
公式(7)假设聚散度配置。如果使用并行配置,在缩放之前和之后在X轴方向另外移动图像(移动Be/(2Sr))。
转向用户界面方面,如图4所表示的,用户可以直接如由观看者感知的那样来操纵世界的形状。这是通过与扫描线461相关联的被感知的场景的点云的自顶而下,“俯视图”来启用的,如标记为440的区域(面板)所示的。注意,此面板中的不规则的线和曲线对应于对象的位于场景中的前端。在给定已编辑的参数的情况下,使用已知算法来自动生成图像差异,并呈现新的一组立体图像。
在一种实现中,作为界面的一部分提供了框窗口小部件(或简称为框442),以允许用户轻松地操纵被感知的世界的形状。更具体而言,框442(或其他合适的二维图)被覆盖在被感知的场景点上。用户操纵框442的各个部分,以实施特定的改变。为此,提供了对应于参数的点/手柄(提供了符号,以帮助用户知道哪一个点控制哪一个参数;在一种实际实现中,点具有不同的颜色以帮助用户识别哪一个参数正在被操纵)。
相对于点操纵,示出了操纵点/手柄444以改变聚散度参数值的鼠标指针。用户可以通过利用点/手柄以各种方式来操纵框,改变被感知的场景形状(随后重新呈现新立体图像)。注意,一般而言,呈现被推迟,直到一个稍后的时间。
框的形状是有意义的,因为它概述了呈现的图像中存在的立体效果。例如,当此框正好是正方形时,表示对于观看者来说为零失真。作为另一个示例,加纸板或夹紧分别对应于此框的平化或延长。注意,图6示出了非矩形框。
操纵框(改变参数值)的一个这样的方式是通过改变视场参数来添加/增强加纸板和夹紧效果。用户可以通过移动(例如,拖动)框的侧面的点/手柄446来改变视场;这也改变原始摄像机焦距。框的失真对例如随较宽的视场发生的夹紧效果进行镜像。
拖动聚散度点/手柄444左右平移图像。如上文所描述的,带有零差异的场景的一部分看起来像位于屏幕的深度。改变聚散度具有改变场景的看起来像位于屏幕中的某些部分的效果。用户通过向上或向下移动位于框442的顶部的点444来改变聚散度。这导致左侧和右侧立体帧在X轴方向移动。注意,此动作不均匀地扭曲3D场景形状。
移动摄像点/手柄448向前或向后平移场景。用户通过拖动位于正方形的中心的点448来移动摄像(即,改变被感知的摄像机-场景距离)。随着场景更靠近观看者,虚拟摄像机移动得更靠近场景。移动摄像不导致失真,因为它解决了视差效应(这是取决于深度的)。用户可以移动摄像的程度取决于立体数据的质量。虽然小的移动也是可以的,但是,它们会导致大的立体体验的变化。
通过拖动框的角落处的点/手柄450,用户改变眼间距离参数值,这使得场景显得大一些或小一些。此效果将改变摄像机基线,并提供已知的小型化和巨大化的效果。
如图4所示的用户界面还包括两个其他区域或面板。一个面板是当场景当前正在被参数化时播放场景的视频播放器面板460;点云(440中的俯视图)是与沿着线461的像素相关联的深度分布。另一个面板462示出了对应于某些或全部参数的当前值。在一种实现中,用户可以直接输入这些值中的至少某些,以便提供例如用户不能通过拖动点/手柄取得的非常准确的值。
除分别地调整参数之外,可以耦合一个或多个参数,以使得改变一个参数的值改变其他一个或多个参数的值。可以提供复选框等等以允许用户将不同的摄像机参数“锁定”在一起,以创建新的立体效果。使用耦合的一个示例是著名的“Hitchcock希区柯克放大”效果(以著名电影导演的名字命名)的立体等效效果,其中,通过调整摄像机焦距,前景对象保持相同大小,而移动摄像车将摄像机移动得与对象更靠近或更远,从而改变背景对象的大小。此效果是通过将移动摄像、视场和聚散度参数耦合在一起来在用户界面中实现的。注意,如果使用并行配置,则只需要将移动摄像和视场参数耦合在一起即可取得此效果。注意,这可以可视地向用户指示,如在图5中通过虚线所表示的,虚线示出哪些参数通过它们的手柄被耦合在一起,例如,三个手柄444、446和448被通过线段耦合在一起,在此示例中,形成三角形550;(如果只耦合了两个,则示出一个线段)。进一步请注意,尽管示出了虚线,但是,在一个实现中使用彩色/实线。
一般而言,希区柯克效果的一个要点是当背景在对象后面移动时使某个对象稳定。此效果在一实现中被扩展,以使对象的深度恒定,而使背景的深度变化。如此,操纵具有对象深度。由于深度在用户界面中是利用点云描绘的,用户可以调用希区柯克效果的一种方式是点击点云中的特定深度(对象深度),并向上或向下拖动。对象深度被保持恒定,而场景的其余部分的深度被改变。
转向另一方面,可以使用用户界面来移动舞台口拱门。更具体而言,在带有出现在屏幕的前面的对象的许多立体镜头中,在屏幕的边缘往往有只能被一只眼睛看到的区域。例如,取对应于图4中的观看者眼睛的观点,被标记为458和459的两条倾斜的线之间的任何东西,如被标记为472的对象,可以被左眼看见,但不能被观看者的右眼看见。
这样的区域与场景边缘不一致,并可能导致某些观看者眼睛疲劳。使用舞台口拱门参数来遮蔽立体帧的一部分,以基本上将屏幕的被感知的边缘移动得与观看者更靠近。通过沿着视线移动黑点(深度标记)470和471来调整其长度。当适当地定位舞台口拱门时,观看者的眼睛/大脑更容易将对象融合得靠近图像边缘。
转向生产后效果的创建,电影编辑者需要在镜头之间剪切,以便通过在形成对比的场景之间切换来以某种方式讲故事。最近的趋势包括使用非常快速的,多次剪切;然而,对于立体内容,这样的快速剪切给用户产生严重的视觉不适的可能性,因为在观看者融合不同深度的场景的能力方面存在滞后时间。
减轻视觉不适的一种方式是在剪切之前和之后混合聚散度,如此,相关的对象在剪切处具有相同深度。例如,考虑场景中的看起来像在屏幕后面的注意的对象。如果场景突然被切换到注意的对象现在在屏幕前面的场景,则观看者感觉到不调和的“跳动”。然而,剪切之前和之后的聚散度的细微的移动可防止深度的跳动,并导致在视觉上更使人愉快的变换;这种细微的聚散度变化一般可以在不被观看者发现的情况下执行。
图6示出了编辑者可以用来控制两个镜头(镜头A和镜头B)之间的聚散度的移动的界面面板660。虚线表示镜头A中的注意的对象的深度将变换到镜头B中的注意的对象的深度,而没有聚散度移动,即,作为象用户可以处理它那样快地被感知的“瞬时”跳动。通过使用用户界面,编辑者/规划者可以获得从前一剪辑中的一个对象到下一剪辑中的另一个对象的深度;移动可以根据各种混合函数中的任何一种(例如,线性、三次样条等等)。可以使用诸如滑动条662之类的机制或其他定时控制机制来控制变换开始和结束的时间。如此,编辑者/规划者可以选择在剪切之前和之后混合的聚散度,以使得在剪切处两个对象具有相同差异。这导致在视觉上更使人愉快的变换。
也可以使用聚散度来引起对对象的注意。注意,聚散度变化通常不被观看者发现,在短时间滞后(在人与人之间不同)之后在观看者中发生完整的图像融合。如果场景比此时间滞后更快地来回切,那么,首先融合带有与当前融合的区域类似的差异的对象。因此,可以通过可另选地使用聚散度变化来调整类似的差异的区域来引起观看者的注意力。
示例性操作环境
图7示出了在其上面可以实现图1-6中的任何一个的示例和实现的合适的计算和联网环境700的示例。计算系统环境700只是合适计算环境的一个示例,而非意在暗示对本发明使用范围或功能有任何限制。也不应该将计算环境700解释为对示例性操作环境700中示出的任一组件或其组合有任何依赖性或要求。
本发明可用各种其他通用或专用计算系统环境或配置来操作。适用于本发明的公知计算系统、环境、和/或配置的示例包括但不限于:个人计算机、服务器计算机、手持式或膝上型设备、平板设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品、网络PC、微型计算机、大型计算机、包括任何以上系统或设备的分布式计算环境等等。
本发明可在诸如程序模块等由计算机执行的计算机可执行指令的通用上下文中描述。一般而言,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。本发明也可以在其中任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实现。在分布式计算环境中,程序模块可以位于包括存储器存储设备在内的本地和/或远程计算机存储介质中。
参考图7,用于实现本发明的各方面的示例性系统可包括计算机710形式的通用计算设备。计算机710的组件可以包括但不限于:处理单元720、系统存储器730和将包括系统存储器在内的各种系统组件耦合至处理单元721的系统总线720。系统总线721可以是若干类型的总线结构中的任一种,包括使用各种总线体系结构中的任一种的存储器总线或存储器控制器、外围总线、以及局部总线。作为示例而非限制,这样的体系结构包括工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)局部总线,以及也称为夹层(Mezzanine)总线的外围部件互连(PCI)总线。
计算机710通常包括各种计算机可读介质。计算机可读介质可以是能由计算机710访问的任何可用介质,并包含易失性和非易失性介质以及可移动、不可移动介质。作为示例而非限制,计算机可读介质可包括计算机存储介质和通信介质。计算机存储介质包括以存储诸如计算机可读的指令、数据结构、程序模块或其他数据之类的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括,但不仅限于,RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁带盒、磁带、磁盘存储或其他磁存储设备,或可以用来存储所需信息并可以被计算机710访问的任何其他介质。通信介质通常以诸如载波或其他传输机制的已调制数据信号来体现计算机可读指令、数据结构、程序模块或其他数据,并包括任意信息传送介质。术语“已调制数据信号”是指其一个或多个特征以这样的方式设置或改变以便在信号中对信息进行编码的信号。作为示例而非限制,通信介质包括诸如有线网络或直接线连接之类的有线介质,以及诸如声学、RF、红外及其他无线介质之类的无线介质。上面各项中的任何项的组合也包括在计算机可读介质的范围内。
系统存储器730包括易失性和/或非易失性存储器形式的计算机存储介质,如只读存储器(ROM)731和随机存取存储器(RAM)732。基本输入/输出系统733(BIOS)包含诸如在启动期间帮助在计算机710内的元件之间传输信息的基本例程,基本输入/输出系统731(BIOS)通常储存储在ROM231中。RAM 732通常包含处理单元720可立即访问和/或目前正在由处理单元420操作的数据和/或程序模块。作为示例而非限制,图7示出了操作系统734、应用程序735、其他程序模块736和程序数据737。
计算机710也可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例,图7示出了从不可移动、非易失性磁介质中读取或向其写入的硬盘驱动器741,从可移动、非易失性磁盘751中读取或向其写入的磁盘驱动器752,以及从诸如CD ROM或其他光学介质等可移动、非易失性光盘755中读取或向其写入的光盘驱动器756。可在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于,磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等。硬盘驱动器741通常由诸如接口740等不可移动存储器接口连接至系统总线721,并且磁盘驱动器751和光盘驱动器755通常由诸如接口750等可移动存储器接口连接至系统总线721。
以上描述并在图7中示出的驱动器及其相关联的计算机存储介质为计算机710提供了对计算机可读指令、数据结构、程序模块和其他数据的存储。例如,在图7中,硬盘驱动器741被示为存储操作系统744、应用程序745、其他程序模块746和程序数据747。注意,这些组件可以与操作系统734、应用程序735、其他程序模块736和程序数据737相同,也可以与它们不同。操作系统744、应用程序745、其他程序模块746和程序数据747在这里被标注了不同的附图标记是为了说明至少它们是不同的副本。用户可通过诸如平板或者电子数字化仪764、话筒763、键盘762和定点设备761(通常指的是鼠标、跟踪球或触摸垫)等输入设备向计算机710输入命令和信息。图7中未示出的其他输入设备可以包括操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些和其他输入设备通常通过耦合至系统总线的用户输入接口760连接至处理单元720,但也可以由其他接口和总线结构,例如并行端口、游戏端口或通用串行总线(USB)来连接。监视器791或其他类型的显示设备也通过诸如视频接口790之类的接口连接至系统总线721。监视器791也可以与触摸屏面板等集成。另外,还可以配备监视器791,以允许通过使用偏振眼镜或其他机制显示立体图像。注意到监视器和/或触摸屏面板可以在物理上耦合至其中包括计算设备710的外壳,诸如在平板型个人计算机中。此外,诸如计算设备710等计算机还可以包括其他外围输出设备,诸如扬声器795和打印机796,它们可以通过输出外围接口794等连接。
计算机710可以使用到一个或多个远程计算机(如远程计算机780)的逻辑连接,以在联网环境中操作。远程计算机780可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见网络节点,并且通常包括许多或所有以上关于计算机710所描述的元件,但在图7中仅示出了存储器存储设备781。图7中所示的逻辑连接包括一个或多个局域网(LAN)771和一个或多个广域网(WAN)773,但也可以包括其他网络。这些联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。
当用于LAN网络环境中时,计算机710通过网络接口或适配器771连接到LAN 770。当在WAN联网环境中使用时,计算机710通常包括调制解调器772或用于通过诸如因特网等WAN 773建立通信的其他手段。可为内置或可为外置的调制解调器772可以经由用户输入接口760或其他合适的机制连接至系统总线721。诸如包括接口和天线的无线联网组件774等无线网络可以通过诸如接入点或对等计算机等合适的设备耦合到WAN或LAN。在联网环境中,相对于计算机710所描述的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制,图7示出了远程应用程序785驻留在存储器设备781上。可以理解,所示的网络连接是示例性的,也可以使用在计算机之间建立通信链路的其他手段。
辅助子系统799(例如,用于内容的辅助显示)可经由用户接口760连接,从而即使计算机系统的主要部分处于低功率状态中,也允许诸如程序内容、系统状态和事件通知等数据被提供给用户。辅助子系统799可连接至调制解调器772和/或网络接口770,从而在主处理单元720处于低功率状态中时,也允许在这些系统之间进行通信。
结论
尽管本发明易于作出各种修改和替换构造,但其某些说明性实施例在附图中示出并在上面被详细地描述。然而应当了解,这不旨在将本发明限于所公开的具体形式,而是相反地,旨在覆盖落入本发明的精神和范围之内的所有修改、替换构造和等效方案。

Claims (15)

1.在一计算环境中,一种系统包括,被配置成操纵与立体视频场景相关联的一个或多个参数值的用户界面(106),所述用户界面包括场景的至少一部分的俯视图表示(440),所述俯视图表示示出了观看者的相对于屏幕位置的视点,所述表示相对于获取用于操纵所述一个或多个参数值的输入是交互式的(444,446,448,450,470,471)。
2.如权利要求1所述的系统,其特征在于,所述参数值中的一个对应于聚散度参数,所述参数值中的一个对应于眼间距离参数,所述参数值中的一个对应于移动摄像参数,所述参数值中的一个对应于视场参数,或者,所述参数值中的一个对应于舞台口参数。
3.如权利要求1所述的系统,其特征在于,存在至少两个参数,并且耦合在一起,以使得对一个参数值的更改改变耦合到对应被改变的值的参数的每个其它参数的参数值。
4.如权利要求3所述的系统,其特征在于,所述移动摄像参数和所述视场参数是耦合的,或者,所述聚散度参数、移动摄像参数,以及视场参数是耦合的。
5.如权利要求1所述的系统,其特征在于,所述表示相对于通过可移动的手柄接收输入是交互式的,其中,该手柄的移动改变对应的参数值。
6.如权利要求5所述的系统,其特征在于,所述表示包括一个框,所述框的形状随着所述可移动的手柄的移动而改变,以改变所述对应的参数值。
7.如权利要求1所述的系统,其特征在于,所述用户界面包括示出至少一个参数的数值的交互式面板,或者,所述用户界面包括用于观看所述立体场景的视频播放器面板,或者,所述用户界面包括示出至少一个参数的数值的交互式面板,并且所述用户界面包括用于观看所述立体场景的视频播放器面板。
8.如权利要求1所述的系统,其特征在于,所述观看者的视点包括表示观看者的眼睛的两个点,并且所述表示包括表示从每一点的视角的信息。
9.如权利要求1所述的系统,其特征在于,所述用户界面包括用于混合剪切之前和之后的聚散度值的装置,或用于改变聚散度以引起对所述场景中的对象的注意的装置,或用于混合剪切之前和之后的聚散度值的装置和用于改变聚散度以引起对所述场景中的对象的注意的装置两者。
10.在一计算环境中,一种方法包括:
提供用户界面(106),所述用户界面显示立体场景的表示(440)并包括用于改变参数值的交互式机制,包括用于改变聚散度参数值的机制(444),用于改变移动摄像参数值的机制(448),用于改变视场参数值的机制(446),以及,用于改变眼间距离的参数值的机制(450);
接收对应与所述机制中的一个的交互的数据,以及
改变对应所述机制的所述参数值。
11.如权利要求10所述的方法,其特征在于,还包括,基于所述参数值改变,输出新立体视频,输出用于重拍视频场景的新参数值,或改变至少一些所述参数值以调整已改变的剧院参数值。
12.如权利要求10所述的方法,其特征在于,所述用户界面包括用于改变舞台口拱门参数值的机制,并且还包括,基于所述舞台口拱门参数的值,遮蔽所述立体场景的一部分。
13.在一计算环境中,一用户界面(106)包括,用于交互(444,446,448,450)以改变对应于立体场景的参数的参数值的装置,包括聚散度参数、移动摄像参数、视场参数,以及眼间距离参数,所述用户界面(106)提供场景的俯视图,包括观看者的眼睛的表示、屏幕的表示,以及模拟观看者的每一个眼睛在屏幕上所感知的内容的指示。
14.如权利要求13所述的用户界面,其特征在于,还包括具有可通过与所述用户界面的交互而改变的值的舞台口拱门参数。
15.如权利要求13所述的用户界面,其特征在于,所述用户界面被配置成通过在所述场景的所述俯视图内显示的手柄进行交互,每一手柄都与一参数相关联,并相对于所述场景可移动,并且,其特征在于,手柄的移动改变其相对于所述场景的位置,并相应地改变该手柄的相关联的参数的所述参数值。
CN2010800274783A 2009-06-16 2010-06-16 用于立体影院的以观看者为中心的用户界面 Pending CN102804169A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/485,179 US9275680B2 (en) 2009-06-16 2009-06-16 Viewer-centric user interface for stereoscopic cinema
US12/485,179 2009-06-16
PCT/US2010/038913 WO2010148154A2 (en) 2009-06-16 2010-06-16 Viewer-centric user interface for stereoscopic cinema

Publications (1)

Publication Number Publication Date
CN102804169A true CN102804169A (zh) 2012-11-28

Family

ID=43307496

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800274783A Pending CN102804169A (zh) 2009-06-16 2010-06-16 用于立体影院的以观看者为中心的用户界面

Country Status (7)

Country Link
US (1) US9275680B2 (zh)
EP (3) EP3091442B1 (zh)
JP (1) JP5734964B2 (zh)
KR (1) KR101686693B1 (zh)
CN (1) CN102804169A (zh)
CA (1) CA2760983C (zh)
WO (1) WO2010148154A2 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8330802B2 (en) * 2008-12-09 2012-12-11 Microsoft Corp. Stereo movie editing
JP5444955B2 (ja) * 2009-08-31 2014-03-19 ソニー株式会社 立体画像表示システム、視差変換装置、視差変換方法およびプログラム
WO2011108276A1 (ja) * 2010-03-05 2011-09-09 パナソニック株式会社 立体撮像装置、および立体撮像方法
JP5444452B2 (ja) 2010-03-05 2014-03-19 パナソニック株式会社 立体撮像装置および立体撮像方法
JP5432365B2 (ja) 2010-03-05 2014-03-05 パナソニック株式会社 立体撮像装置および立体撮像方法
JP5643617B2 (ja) * 2010-11-18 2014-12-17 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理方法、画像処理システム
KR101763263B1 (ko) * 2010-12-24 2017-07-31 삼성전자주식회사 3d 디스플레이 단말 장치 및 그 조작 방법
JP5685079B2 (ja) * 2010-12-28 2015-03-18 任天堂株式会社 画像処理装置、画像処理プログラム、画像処理方法および画像処理システム
CN103563363A (zh) * 2011-05-19 2014-02-05 汤姆逊许可公司 立体视觉图像的自动转换以便允许同时进行图像的立体视觉和平面视觉显示
US9532027B2 (en) * 2011-05-27 2016-12-27 Warner Bros. Entertainment Inc. Methods for controlling scene, camera and viewing parameters for altering perception of 3D imagery
US9390752B1 (en) * 2011-09-06 2016-07-12 Avid Technology, Inc. Multi-channel video editing
US8837847B2 (en) 2012-07-17 2014-09-16 Adobe Systems Incorporated Determining focal lengths of photographs
US9654762B2 (en) * 2012-10-01 2017-05-16 Samsung Electronics Co., Ltd. Apparatus and method for stereoscopic video with motion sensors
US9025051B2 (en) * 2013-02-28 2015-05-05 Nokia Technologies Oy Method and apparatus for automatically rendering dolly zoom effect
CN113709355B (zh) * 2020-05-21 2022-12-02 华为技术有限公司 滑动变焦的拍摄方法及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996015631A1 (en) * 1994-11-10 1996-05-23 Synthonics Incorporated Methods and apparatus for zooming during capture and reproduction of 3-dimensional images
WO2002073980A1 (en) * 2001-03-14 2002-09-19 Koninklijke Philips Electronics N.V. Self adjusting stereo camera system
WO2009015007A1 (en) * 2007-07-23 2009-01-29 Disney Enterprises, Inc. Generation of three-dimensional movies with improved depth control

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5175616A (en) * 1989-08-04 1992-12-29 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of National Defence Of Canada Stereoscopic video-graphic coordinate specification system
GB2250604B (en) * 1990-11-10 1994-05-18 Peng Seng Toh Small standoff one-camera-stereo adaptor
JPH11164328A (ja) * 1997-11-27 1999-06-18 Toshiba Corp 立体映像表示装置
JP3619063B2 (ja) * 1999-07-08 2005-02-09 キヤノン株式会社 立体画像処理装置、その方法、立体視パラメータ設定装置、その方法そしてコンピュータプログラム記憶媒体
JP2002101428A (ja) 2000-09-22 2002-04-05 Toshiba Corp 画像立体視表示装置
US7274800B2 (en) * 2001-07-18 2007-09-25 Intel Corporation Dynamic gesture recognition from stereo sequences
US6911995B2 (en) * 2001-08-17 2005-06-28 Mitsubishi Electric Research Labs, Inc. Computer vision depth segmentation using virtual surface
JP2003209858A (ja) * 2002-01-17 2003-07-25 Canon Inc 立体画像生成方法及び記録媒体
JP3426595B1 (ja) 2002-02-15 2003-07-14 大分県 粉末状に加工した廃木材からなる成型品
JP3957168B2 (ja) 2002-05-23 2007-08-15 日本放送協会 モーション・コントロール・カメラ
EP1387588A2 (en) * 2002-08-02 2004-02-04 KDDI Corporation Image matching device and method for motion estimation
US7277572B2 (en) * 2003-10-10 2007-10-02 Macpearl Design Llc Three-dimensional interior design system
JP4406381B2 (ja) * 2004-07-13 2010-01-27 株式会社東芝 障害物検出装置及び方法
JP4834645B2 (ja) 2007-11-05 2011-12-14 日本放送協会 ロボットカメラパラメータ算出装置、被写体情報算出装置、ロボットカメラパラメータ算出プログラム及び被写体情報算出プログラム
JP4608563B2 (ja) * 2008-03-26 2011-01-12 富士フイルム株式会社 立体画像表示装置および方法並びにプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996015631A1 (en) * 1994-11-10 1996-05-23 Synthonics Incorporated Methods and apparatus for zooming during capture and reproduction of 3-dimensional images
WO2002073980A1 (en) * 2001-03-14 2002-09-19 Koninklijke Philips Electronics N.V. Self adjusting stereo camera system
WO2009015007A1 (en) * 2007-07-23 2009-01-29 Disney Enterprises, Inc. Generation of three-dimensional movies with improved depth control

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KARAN SINGH等: "The IBar: A Perspective-based Camera Widget", 《UIST ’04》 *
KELLY L.MURDOCK: "《3ds MAX 2009 Bible》", 31 December 2008 *
PUPPET KITE: "《Creating a Great, Simple Stereo Camer...》", 4 November 2005 *

Also Published As

Publication number Publication date
CA2760983C (en) 2016-09-13
KR101686693B1 (ko) 2016-12-14
EP2443563A4 (en) 2013-09-11
WO2010148154A2 (en) 2010-12-23
KR20120037400A (ko) 2012-04-19
EP2443563B1 (en) 2016-09-14
EP3091442B1 (en) 2018-10-03
EP2443563A2 (en) 2012-04-25
EP3091443B1 (en) 2017-12-27
EP3091443A2 (en) 2016-11-09
EP3091442A1 (en) 2016-11-09
US9275680B2 (en) 2016-03-01
WO2010148154A3 (en) 2011-03-03
JP5734964B2 (ja) 2015-06-17
US20100318914A1 (en) 2010-12-16
JP2012530326A (ja) 2012-11-29
EP3091443A3 (en) 2017-03-08
CA2760983A1 (en) 2010-12-23

Similar Documents

Publication Publication Date Title
CN102804169A (zh) 用于立体影院的以观看者为中心的用户界面
US10755485B2 (en) Augmented reality product preview
KR101926477B1 (ko) 콘텐츠 재생 방법 및 장치
US9031356B2 (en) Applying perceptually correct 3D film noise
US10403045B2 (en) Photorealistic augmented reality system
US20120099804A1 (en) Generating Three-Dimensional Virtual Tours From Two-Dimensional Images
EP1851727A1 (en) Automatic scene modeling for the 3d camera and 3d video
JP2006325165A (ja) テロップ発生装置、テロップ発生プログラム、及びテロップ発生方法
US20130027389A1 (en) Making a two-dimensional image into three dimensions
US9025007B1 (en) Configuring stereo cameras
WO2015100490A1 (en) Reconfiguration of stereoscopic content and distribution for stereoscopic content in a configuration suited for a remote viewing environment
KR101757765B1 (ko) 모션 캡처 데이터 기반 3차원 애니메이션 제작 시스템 및 그 제어 방법
US9092912B1 (en) Apparatus and method for parallax, panorama and focus pull computer graphics
KR101177058B1 (ko) 마커 기반 3차원 입체 시스템
KR101632514B1 (ko) 깊이 영상 업샘플링 방법 및 장치
Lee et al. A study on virtual studio application using Microsoft Hololens
Koppal et al. A viewer-centric editor for stereoscopic cinema
KR20130081569A (ko) 3d 영상을 출력하기 위한 장치 및 방법
CN111344744A (zh) 用于展示三维物体的方法以及相关计算机程序产品、数字存储介质和计算机系统
WO2016009695A1 (ja) 情報処理装置、情報処理方法、著作物提供システムおよびコンピュータプログラム
JP7395725B2 (ja) メディアリソースの再生およびテキストレンダリング方法、装置、機器および記憶媒体
KR101923640B1 (ko) 가상 현실 방송을 제공하는 방법 및 장치
US20210400255A1 (en) Image processing apparatus, image processing method, and program
CN116883553A (zh) 图像生成方法、装置、电子设备和可读存储介质
KR20150043927A (ko) 깊이정보를 포함하는 점, 선, 면으로 구성된 도형 데이터를 이용한 2차원 일반영상으로부터 3차원 입체영상 생성 장치 및 그 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1177274

Country of ref document: HK

ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150727

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150727

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

RJ01 Rejection of invention patent application after publication

Application publication date: 20121128

RJ01 Rejection of invention patent application after publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1177274

Country of ref document: HK