CN103562791A - 用于与移动计算设备一起进行全景视频成像的装置和方法 - Google Patents

用于与移动计算设备一起进行全景视频成像的装置和方法 Download PDF

Info

Publication number
CN103562791A
CN103562791A CN201280026679.0A CN201280026679A CN103562791A CN 103562791 A CN103562791 A CN 103562791A CN 201280026679 A CN201280026679 A CN 201280026679A CN 103562791 A CN103562791 A CN 103562791A
Authority
CN
China
Prior art keywords
data
shell
computing equipment
orientation
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280026679.0A
Other languages
English (en)
Inventor
M·朗迪奈利
C·格拉斯哥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EYESEE360 Inc
Original Assignee
EYESEE360 Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EYESEE360 Inc filed Critical EYESEE360 Inc
Publication of CN103562791A publication Critical patent/CN103562791A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/06Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/12Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/08Mirrors
    • G02B5/10Mirrors with curved faces
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/12Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G03B17/14Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets interchangeably
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/56Accessories
    • G03B17/565Optical accessories, e.g. converters for close-up photography, tele-convertors, wide-angle convertors
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Accessories Of Cameras (AREA)

Abstract

一种装置包括:外壳;凹形全景反射器;支承结构,被配置为将凹形全景反射器保持在相对于外壳的固定位置上;以及安装设备,用于将外壳安置在相对于计算设备的固定方位上,以使得由凹形全景反射器反射的光被引向计算设备中的光传感器。

Description

用于与移动计算设备一起进行全景视频成像的装置和方法
技术领域
本发明涉及一种用于全景视频成像的装置和方法。
背景技术
在转让给Eyesee360,Inc.的美国专利No.6,963,355、No.6,594,448、No.7,058,239、No.7,399,095、No.7,139,440、No.6,856,472以及No.7,123,777中公开了包括光学设备、去扭曲软件、显示器以及各种应用的全景成像系统。所有这些在先专利都通过引用被并入本文。
发明内容
在一方面中,本发明提供一种装置,该装置包括:外壳;凹形全景反射器;支承结构,被配置为将凹形全景反射器保持在相对于外壳的固定位置上;以及安装设备,用于将外壳安置在相对于计算设备的固定方位上,以使得由凹形全景反射器反射的光被引向计算设备中的光传感器。
在另一方面中,本发明提供一种方法,该方法包括:在计算设备中接收全景图像数据;实时地观看全景图像的区域;以及响应于计算设备的方位和/或用户输入来改变所观看的区域。
在另一方面中,本发明提供一种装置,该装置包括:全景光学设备,被配置为将光反射到照相机;计算设备,用于对来自照相机的图像数据进行处理以生成渲染的图像;以及显示器,用于显示渲染的图像的至少一部分,其中,显示的图像响应于计算设备的方位和/或用户输入而改变。
附图说明
图1A、1B和1C示出全景光学设备。
图2A、2B和2C示出全景光学设备。
图3A、3B、3C、3D、3E和3F示出全景光学设备。
图4A、4B和4C示出附接到移动计算设备的壳体。
图5A、5B、6A、6B、7A、7B、8A、8B、9A、9B、9C、10A和10B示出用于将全景光学设备安装到移动计算设备(诸如iPhone)的结构。
图11A、11B、11C、11D和11E示出另一全景光学设备。
图12A、12B和12C示出附接到移动计算设备的壳体。
图13和14示出全景镜形状。
图15-17是示出本发明的某些实施例的各个方面的流程图。
图18、19A和19B示出根据本发明的各种实施例的交互式显示特征。
图20、21和22示出根据本发明的各种实施例的基于方位的显示特征。
图23是示出本发明的另一方面的流程图。
具体实施方式
图1A、1B和1C示出根据本发明的实施例的附接到计算设备的全景光学设备10(在本文中也被称为光学器件)。在各种实施例中,计算设备可以是移动计算设备,诸如iPhone或包括照相机的其它电话。在其它实施例中,计算设备可以是包括具有执行本文中所描述的至少一些功能所需的信号处理能力的组件的固定设备或便携式设备。计算设备可包括照相机或其它图像传感器,或者可以能够从照相机或其它图像传感器接收图像数据。
图1A是光学设备10的实施例的等角视图,图1B是其侧视图,图1C是其前视图。设备包括外壳12。在该实施例中,外壳包括第一部分14和第二部分18,第一部分14具有第一轴16,第二部分18具有第二轴20。为了方便起见,第一轴可被称为垂直轴,第二轴可被称为水平轴。然而,轴的空间方位将取决于设备在使用时的方位。外壳的第一部分的至少一部分22具有截头锥(frustoconical)的形状。反射器组件24附接到外壳的第一部分,并且沿着外壳的第一轴16居中设置。反射器组件包括从顶部部分28向下延伸的凹形全景镜26。全景镜延伸到外壳中并且超出外壳的端部30以创建缺口(gap)32。进入该缺口的光被凹形全景镜26反射到外壳中。第二镜34被安装在外壳内以将光引向开口36。在一个实施例中,第二镜是相对于第一轴16和第二轴20二者以45°角安置的平面镜。光在外壳的第二部分的端部、在朝向开口36的方向上反射出第二镜。反射器组件还包括沿着轴16被安置并且与透明支承构件40耦接的立柱(post)38。通过以这种方式安装反射器组件,其它支承结构(其可导致眩光)的使用被避免。
外壳12还包括凸出部(projection)42,所述凸出部42从第二部分延伸,并被成形为与壳体或其它安装结构耦接,所述壳体或其它安装结构被用于将光学设备与计算设备耦接并且将光学设备保持(hold)在相对于计算设备的固定方位上。在图1A、1B和1C的实施例中,凸出部具有椭圆形(oblong)形状,该椭圆形形状具有拉长边44、46以及两个弧形端部48和50。在该实施例中,端部48的曲率半径小于端部50的曲率半径。这防止端部50在横向方向上延伸超出光学设备外壳的侧面。然而,凸出部可适合放入壳体或其它安装结构中的椭圆形开口内,并且仍维持光学设备外壳和壳体或其它安装结构的相对方位。
光学设备外壳还包括在第一部分与第二部分的侧面之间延伸的大致三角形形状的部分52。该三角形部分可用作用于插入和移除的扩大的指握部(fingerhold)。
图2A、2B和2C示出图1A、1B和1C的全景光学设备的附加特征。图2A是光学设备的侧视图。图2B是光学设备的下部部分的放大视图。图2C是图2B的沿着线54-54截取的截面图。外壳包括位于相对于图1B的第一轴16和第二轴20二者的45°角处的平面部分56。图2A、2B和2C显示主外壳与安装点之间的隐藏的机械接口58。该接口被设计为提供部件之间的垂直对准,具有一定容限以使得它更容易操作并且更难以损坏。
图3A、3B、3C、3D、3E和3F示出根据本发明的另一实施例的全景光学设备。该实施例与图1A、1B和1C的实施例类似,但是包括不同的用于与计算设备耦接的结构。图3A是光学设备62的实施例的等角视图,图3B是其前视图,图3C是其侧视图,图3D是其后视图,图3E是其俯视图,图3F是其沿着线60-60截取的截面图。该设备包括外壳64。该外壳包括第一部分66和第二部分70,第一部分66具有第一轴68,第二部分70具有第二轴72。为了方便起见,第一轴可被称为垂直轴,第二轴可被称为水平轴。然而,轴的空间方位将取决于该设备在使用时的方位。外壳的第一部分的至少一部分74具有截头锥的形状。反射器组件76附接到外壳的第一部分,并且沿着外壳的第一轴68居中设置。反射器组件包括从顶部部分80向下延伸的凹形全景镜78。全景镜延伸到外壳中并且超出外壳的端部82以创建缺口84。进入该缺口的光被反射到外壳中。第二镜86被安装在外壳内以将光引向开口90。在一个实施例中,第二镜是相对于第一轴68和第二轴72二者以45°角安置的平面镜。光在外壳的第二部分的端部、在朝向开口90的方向上反射出第二镜。反射器组件还包括沿着轴68被安置并且与透明支承构件94耦接的立柱92。
外壳62还包括多个突出部(protrusion)96、98、100和102,这些突出部从第二部分的平整表面104延伸,并且被成形为与壳体或其它安装结构中的多个凹口耦接,所述壳体或其它安装结构用于将光学设备与计算设备耦合并且将光学设备保持在相对于计算设备的固定方位上。外壳还包括在第一部分与第二部分的侧面之间延伸的大致三角形形状的部分106。突出部的旋转对称性允许座架(mount)在多达四个不同的方位上相互作用以用于操作。
全景镜的曲率可被改变以提供不同的视场。缺口84可基于它挡住(occlude)何种光线反射来提供进一步约束。可能的视场可在水平线以下-90度至大约70度以上的范围内,或者介于两者之间的任何范围内。
镜86的大小使计算设备中的照相机的视场所包含的光反射。在一个示例中,照相机垂直视场为24°。然而,可改变光学设备的组件的尺寸和配置来适应具有其它视场的照相机。
图4A、4B和4C示出根据本发明的实施例的附接到移动计算设备的壳体。图4A是壳体110的实施例的侧视图,图4B是其前视图,图4C是其等角视图。壳体110包括两个部分112和114。图4A、4B和4C中所描绘的壳体被设计为用作用于将光学设备与移动计算设备(诸如iPhone)耦接的安装夹具(fixture)。壳体的侧壁116、118、120和122包含小的唇部(lip)124,该唇部124被设计为夹紧(grip)沿着iPhone的屏幕的外侧的斜边(beveled edge)。当壳体的这两个部分滑到iPhone上时,该前唇部抵靠iPhone的背部将壳体的背面保持在张力状态中(in tension)。这两个部分通过一对平行的斜角表面126、128接合,从而当这两个部件滑到iPhone上并然后被按压在一起时形成扣合。壳体中的开口130、132被安置为允许接触背部上的各个按钮和照相机。当光学设备与壳体耦合时,用于照相机的开口132紧贴图1A、1B和1C的光学设备的前部的突出圆筒形成过盈配合,从而当光学设备被附接时使二者保持对准和配对。
壳体包括在两个部件上均对称并且在曲线路径上连续地形成的平滑轮廓唇部。它被设计为当被附接时提供正“按扣”动作,以及提供相等的移除和插入力。平滑轮廓被设计为避免因重复循环而磨损。它还给予将这两个部分拉在一起以在电话周围形成紧密配合的张力,这在保持照相机开口132与iPhone照相机之间的对准上给予帮助。开口132相对于光学器件上的突出圆筒可以略小(slightly undersized)。这提供提高壳体的保持力的过盈配合。另外,圆筒的外形可向外鼓胀(bulge)以适合放入开口中。开口132可朝向电话逐渐尖细,这将提供附加的保持力。
图5A、5B、6A、6B、7A、7B、8A、8B、9A、9B、9C、10A和10B示出根据本发明的各种实施例的用于将全景光学设备安装到移动计算设备(诸如iPhone)的各种结构。
图5A和5B分别是根据本发明的实施例的光学设备140和用于计算设备的壳体142的一部分的示意性前视图和侧视图。在该实施例中,从光学设备140的前面突出的圆筒144包括圆形部分146和从该圆形部分延伸的键(key)148。电话壳体142包括被安置为与电话中的照相机相邻的开口150。开口150包括被安置为容纳全景光学设备的突出圆筒上的键的部分152和154。部分152和154被安置为相隔90°以允许光学设备被安装在两个交替方位中的一个方位上。
图6A和6B分别是根据本发明的实施例的光学设备160和用于计算设备的壳体162的部分示意性前视图和侧视图。在该实施例中,顶部的槽接口包括从光学设备160的前面突出的圆筒164,圆筒164包括U形卡口部分166。电话壳体162包括被安置为与电话中的照相机相邻的开口168。开口168包括被安置为容纳全景光学设备的卡口部分的槽(slot)170。
图7A和7B分别是根据本发明的实施例的光学设备180和用于计算设备的壳体182的部分示意性前视图和侧视图。在该实施例中,磁体对准的接口包括从光学设备180的前面突出的圆筒184,圆筒184包括圆形部分186和与该圆形部分相邻的磁体188。电话壳体182包括被安置为与电话中的照相机相邻的开口190。壳体中的磁体192和194与全景光学设备的磁体耦合。
图8A和8B分别是根据本发明的实施例的光学设备200和用于计算设备的壳体202的部分示意性前视图和侧视图。在该实施例中,利用凸块对准的磁体接口包括从光学设备200的前面突出的圆筒204,圆筒204包括圆形部分206、围绕该圆形部分延伸的磁体208和对准凸块(bump)210。电话壳体202包括被安置为与电话中的照相机相邻的开口212。磁体214被安置为与全景光学设备的磁体耦合,并且凹口216、218被提供以接纳对准凸块。
图9A和9B分别是根据本发明的实施例的光学设备220和用于计算设备的壳体222的部分示意性前视图和侧视图。图9C是示出在光学器件被安装在移动计算设备上之后该光学器件的旋转移动的前视图。在该实施例中,四分之一转接口包括从光学设备220的前面突出的圆筒224,圆筒224包括圆形部分226和从该圆形部分226延伸的凸缘(flange)228、230。电话壳体222包括被安置为与电话中的照相机相邻的开口232。开口232包括被安置为容纳全景光学设备的突出圆筒上的凸缘的部分234。如图9C所示,凸缘包括限制光学器件的旋转移动的挡块(stop)236和238,以使得光学器件可相对于壳体被安置在垂直或水平方位上。
图10A和10B分别是根据本发明的实施例的光学设备240和用于计算设备的壳体242的部分示意性前视图和侧视图。在该实施例中,四销接口包括从光学设备240的前面突出的多个销(pin)244。电话壳体242包括被安置为与靠近电话中的照相机的开口相邻的多个孔246。销相对于孔可以略大(slightly oversized),从而提供将这两个部件保持在一起的过盈配合。另外,这些销的外形可向外鼓胀以适合放入朝向电话逐渐尖细的孔中,这将提供附加的保持力。
图11A是光学设备250的另一实施例的等角视图,图11B是其前视图,图11C是其侧视图,图11D是其后视图,图11E是其截面图。该光学设备包括与上述全景反射器和外壳类似的全景反射器和外壳,但是包括不同的用于将光学设备与计算设备耦接的结构252。该耦接结构包括被成形为适合放入用于计算设备的壳体中的开口内的突出部254。该突出部的端部具有大致椭圆形形状的凸缘256,该凸缘256具有弯曲端部258和具有笔直部分的两边260、262。该凸缘的与弯曲端部258相对的端部包括较小的弯曲端部264。
图12A、12B和12C示出附接到移动计算设备的壳体266。该壳体包括其大小接纳光学设备250上的突出部的开口268。在该实施例中,该突出部将在开口268的右手侧被插入并且在箭头的方向上滑动。然后,围绕开口268的一部分的唇部270将与凸缘啮合,并且将光学设备保持到位。
图13示出进入全景光学器件并且反射出全景镜282的光线280。全景镜282具有凹面284,该凹面284具有可由下述参数限定的形状。光线反射出全景镜282,并且被引向光学设备的底部附近的另一个镜。光学设备的垂直视场是通过外壳的边缘与镜支承结构的顶部之间的开口(例如,图3F中的84)进入光学设备的顶部与底部光线286、288之间的角度。沿着外反射线288的光线会聚于一点。因为该性质减少了从外壳反射的杂散光并且导致外壳具有最小的容积(volume),所以该性质是有益的。
光学器件从360度的水平环境收集光,并且围绕该光学器件的垂直环境的子集(例如,从水平线起±45°)被该光学器件中的曲面镜反射。该反射然后可被照相机记录,或者被能够从照相机接收图像数据的记录设备记录,以捕捉全景静态或运动图像。
一个或多个平整的次镜(secondary mirror)可被包括在光学器件内以适应更方便的形式因素(form factor)或捕捉的方向。出于放大或聚焦的目的,次镜还可以被弯曲。
图14示出可根据本发明的实施例而构造的全景镜形状。沿着照相机轴292安置的照相机290接收从凹形全景镜294反射的光。几个实施例中的镜形状可由以下等式限定。图14包括以下等式中出现的各个参数。
参数:
A = 7 π 9 , R cs = π 60 , R ce = π 15 , r o = 77 , α = - 10
等式:
k = - 1 - α 2
r(Rcs)=ro
∀ θ ∈ [ R cs , R ce ] :
dr d ( θ + A α ) = r cot ( k tan ( θ + A α ) + π 2 - k tan ( R cs ) - R cs 2 ) (实施例#1)
dr d ( θ + A α ) = r cot ( k tan ( θ + A α ) + π 2 ) (实施例#2)
dr dθ = r cot ( k tan ( θ ) + π - A 2 - k tan ( R cs ) - R cs 2 ) (实施例#3)
在等式中,A是以弧度为单位的光线ro的方向与平行于照相机轴294的线之间的角度;Rcs是以弧度为单位的照相机轴与镜上反射光线ro的点之间的角度;Rce是以弧度为单位的照相机轴与镜的边缘之间的角度;ro是以毫米为单位的内径;α是增益因子;θ是以弧度为单位的照相机轴与反射光线r之间的角度;k根据第一等式中的α而限定。
在实施例#1中,镜等式被扩展以考虑照相机起始角度(以弧度为单位表达的Rcs)。在实施例#2镜设计的情况下,照相机起始角度将为零。通过在Rcs被设置为零的情况下对实施例#1的附加项进行评估,该等式简化为:
Rcs=0
dr d ( θ + A α ) = r cot ( k tan ( θ + A α ) + π 2 - k tan ( R cs ) - R cs 2 )
dr d ( θ + A α ) = r cot ( k tan ( θ + A α ) + π 2 - k tan ( 0 ) - 0 2 )
dr d ( θ + A α ) = r cot ( k tan ( θ + A α ) + π 2 - k ( 0 ) - 0 2 )
dr d ( θ + A α ) = r cot ( k tan ( θ + A α ) + π 2 )
图15是示出本发明的各种实施例的信号处理和图像操作特征的框图。在图15的实施例中,光学设备300(诸如上述任一光学设备)可被用于将光引向照相机302。照相机将图像像素数据输出到帧缓冲器304。然后,对图像进行纹理映射306。在被记录312之前,对经过纹理映射的图像进行去扭曲(unwarp)308和压缩310。
麦克风314被提供以检测声音。麦克风输出被存储在音频缓冲器316中,并且在被记录之前被压缩318。计算设备可包括与光学和音频数据同时生成数据320的传感器,包括全球定位系统(GPS)传感器、加速度计、陀螺仪和指南针。该数据被编码322并且被记录。
触摸屏324被提供以感测用户提供的触摸动作326。用户触摸动作和传感器数据被用于选择特定的观看方向,其然后被渲染(render)。计算设备可与用户触摸动作和/或传感器数据组合来交互式地渲染经过纹理映射的视频数据,以生成用于显示330的视频。图15中所示的信号处理可由移动计算设备(诸如智能电话)中的处理器或处理电路执行。处理电路可包括通过使用实现本文中所描述的功能的软件来编程的处理器。
许多移动计算设备(诸如iPhone)包含可用于接收用户命令的内置触摸屏或触摸屏输入传感器。在软件平台不包含内置触摸或触摸屏传感器的使用场景下,可使用外部连接的输入设备。用户输入(诸如触摸、拖动和手指开合(pinching))可通过现成的软件框架的使用而被触摸和触摸屏传感器检测为触摸动作。
许多移动计算设备(诸如iPhone)还包含可接收被全景镜反射的光的内置照相机。在移动计算设备不包含内置照相机的使用情景下,可使用外部连接的现成的照相机。照相机可捕捉被上述光学设备中的一种光学设备中的镜所反射的装置环境的静态或运动图像。这些图像可被递送给视频帧缓冲器以供软件应用使用。
许多移动计算设备(诸如iPhone)还包含内置GPS、加速度计、陀螺仪和指南针传感器。这些传感器可被用于提供用于执行本文中所描述的一些图像处理和显示功能的方位、位置和运动信息。在计算设备不包含这些传感器中的一个或多个的使用情景下,可使用外部连接的现成的传感器。这些传感器提供与装置及其环境相关的地理空间和方位数据,这些数据然后被软件使用。
许多移动计算设备(诸如iPhone)还包含内置麦克风。在移动计算设备不包含内置麦克风的使用情景下,可使用外部连接的现成的麦克风。麦克风可从装置的环境捕捉音频数据,该音频数据然后被递送给音频缓冲器以供软件应用使用。
如果从已知方位的多个麦克风记录多通道的音频数据,可在回放期间旋转音频场(field)以与交互式渲染器显示在空间上同步。
触摸动作形式的用户输入可由软件平台上的硬件抽象框架提供给软件应用。这些触摸动作使得软件应用能够为用户提供预录媒体、从互联网下载或流传输的共享媒体、或当前正被记录或预览的媒体的交互式展示。
视频帧缓冲器是可由现成的软件框架提供的、存储最近被捕捉的静态或运动图像的一个或多个帧的硬件抽象。这些帧可被软件检索(retrieve)以用于各种用途。
音频缓冲器是可由已知的现成的软件框架中的一种软件框架提供的、存储表示最近从麦克风捕捉的音频数据的某一长度的音频的硬件抽象。该数据可被软件检索以用于音频压缩和存储(记录)。
纹理映射是由软件从视频缓冲器检索的单个帧。为了显示视频序列,可周期性地从视频帧缓冲器刷新该帧。
系统可从GPS数据检索位置信息。可从指南针数据检索绝对偏航方位,当计算设备处于静止时通过3轴加速度计可确定由于重力而引起的加速度,并且从陀螺仪数据可确定俯仰(pitch)、滚动(roll)和偏航(yaw)的变化。可从来自软件平台的时钟的时间戳和GPS坐标确定速率(velocity);通过合并在时间上对加速度数据进行积分的结果可实现更精细的精度值。
交互式渲染器328将用户输入(触摸动作)、来自照相机的静态或运动图像数据(经由纹理映射)和移动数据(从地理空间/方位数据编码)组合以提供用户控制的对预录媒体、通过网络下载或流传输的共享媒体或当前正被记录或预览的媒体的观看。用户输入可实时地用于确定观看方位和缩放。如该描述中所使用的,实时意指显示器基本上在图像被设备感测的同时(或以对于用户来说不明显的延迟)显示图像、和/或显示器基本上与用户输入被接收同时地显示响应于该用户输入的图像变化。通过将全景光学器件与具有内置照相机的移动计算设备耦接,内部信号处理带宽可足以实现实时显示。
纹理映射可被应用于球的、圆柱的、立方体的或其它几何形状的顶点网格,提供虚拟的观看场景,将来自纹理的已知的角坐标与每个顶点的期望角坐标相关。另外,可通过使用方位数据来调整视图以考虑装置的俯仰、偏航和滚动的变化。
通过将静态或运动图像纹理映射到将每个顶点的期望角坐标与来自纹理的已知的角坐标相关的平整网格上来生成每个帧的去扭曲版本。
许多软件平台提供通过使用压缩算法来对视频帧序列进行编码的工具。一种常用算法是AVC或H.264压缩。压缩器可被实现为移动计算设备的硬件特征,或者通过在通用CPU上运行的软件来实现,或者通过它们的组合来实现。经过去扭曲的视频的帧可被传递给这样的压缩算法以生成压缩的数据流。该数据流可适合于在设备内部永久存储器上记录、或者通过有线或无线网络被传送到服务器或另一移动计算设备。
许多软件平台提供使用压缩算法对音频数据序列进行编码的工具。一种常用算法是AAC。压缩器可被实现为移动计算设备的硬件特征,或者通过在通用CPU上运行的软件来实现,或者通过它们的组合来实现。音频数据的帧可被传递给这样的压缩算法以生成压缩的数据流。该数据流可适合于记录在计算设备的内部永久存储器上、或者通过有线或无线网络被传送到服务器或另一移动计算设备。该流可被与压缩的视频流交织以生成同步的电影文件。
通过使用集成显示设备(诸如iPhone上的屏幕)或外部连接的显示设备可生成来自交互式渲染的显示视图。此外,如果多个显示设备被连接,则每个显示设备可以它自己不同的场景视图为特征。
视频、音频和地理空间/方位/运动数据可被存储到移动计算设备的本地存储介质、外部连接的存储介质,或者可通过网络被存储到另一计算设备。
图16A、16B和17是示出本发明的某些实施例的方面的流程图。图16A是示出视频和音频信息的获取和传送的框图。在图16A中所示的实施例中,光学器件350、照相机352、视频帧缓冲器354、纹理映射356、去扭曲渲染358、视频压缩360、麦克风362、音频缓冲器364和音频压缩366可以以上对于图15中的相应组件所描述的方式来实现。在图16A的系统中,对纹理映射数据执行交互式渲染368,并显示所渲染的图像以用于预览370。压缩的视频和音频数据被编码372并且被传送374。
图16B是示出视频和音频信息的接收的框图。在图16B中所示的实施例中,块380显示编码的流被接收。视频数据被发送给视频帧缓冲器382,音频数据被发送给音频帧缓冲器384。音频然后被发送给扬声器386。视频数据被进行纹理映射388,并且视角(perspective)被渲染390。然后,在显示器上显示视频数据392。图16A和16B描述实时流传输(live streaming)情景。一个用户(发送者)正在捕捉全景视频,并且将它实时流传输给一个或多个接收者。每个接收者可独立地控制其交互式渲染,从而在任何方向上观看实时放送(feed)。
图17是示出同一参与者获取、传送和接收视频和音频信息的框图。在图17中所示的实施例中,光学器件400、照相机402、视频帧缓冲器404、纹理映射406、去扭曲渲染408、视频压缩410、麦克风412、音频缓冲器414、音频压缩416、流编码418和传送420可以以上对于图16A和16B所描述的方式来实现。块422显示编码的流被接收。编码的流被解码424。视频数据被解压缩426并被发送给视频帧缓冲器428,音频数据被解压缩430并被发送给音频帧缓冲器432。音频然后被发送给扬声器434。视频数据被进行纹理映射436,并且视角被远程渲染438。经过纹理映射的信息被本地渲染440。然后,渲染的视频数据被组合并被显示442。图17表示图16A和16B中的构思对于两个或更多个实时流的扩展。同一参与者可从一个或多个其它参与者接收全景视频以及还可传送他们自己的全景视频。这将用于“全景视频聊天”或群组聊天情形。
用于装置的软件提供交互式显示,从而允许用户实时地改变全景视频的观看区域。交互包括基于触摸的摇动(pan)、倾斜(tilt)和缩放(zoom)、基于方位的摇动和倾斜、以及基于方位的滚动校正。可以使这些交互仅用作触摸输入、仅方位输入或这两者的混合,在这两者的混合中,输入被相加地(additively)处理。这些交互可被应用于实时预览、捕捉预览和预录或流媒体。如该描述中所使用的,“实时预览”是指源自于设备上的照相机的渲染,“捕捉预览”是指当记录发生时该记录的渲染(即,在任何处理之后)。预录媒体可来自驻留在设备上的视频记录,或者被主动地从网络下载到设备。流媒体是指实时地通过网络递送的、仅在设备上短暂存储的全景视频放送。
图18示出响应于用户命令的摇动和倾斜功能。移动计算设备包括触摸屏显示器450。用户可触摸屏幕并且在箭头452所示的方向上移动来改变所显示的图像,以实现摇动和/或倾斜功能。在屏幕454中,图像犹如照相机视场被向左摇动那样变化。在屏幕456中,图像犹如照相机视场被向右摇动那样变化。在屏幕458中,图像犹如照相机向下倾斜那样变化。在屏幕460中,图像犹如照相机向上倾斜那样变化。如图18所示,基于触摸的摇动和倾斜允许用户通过采用单次接触拖动来改变观看区域。来自用户触摸的初始接触点被映射到摇动/倾斜坐标,并且在拖动期间计算摇动/倾斜调整以保持在用户手指的下面的摇动/倾斜坐标。
如图19A和19B所示,基于触摸的缩放允许用户动态地缩小或放大。来自用户触摸的两个接触点被映射到摇动/倾斜坐标,从这些坐标计算角度度量以表示两个接触手指之间的角度。观看视场(模拟缩放)随着用户手指捏合或放开而被调整,以使动态变化的手指位置与初始角度度量匹配。如图19A所示,捏合两个接触手指生成缩小效果。也就是说,屏幕470中的对象在屏幕472中显得更小。如图19B所示,手指放开生成放大效果。也就是说,屏幕474中的对象在屏幕476中显得更大。
图20示出可从由计算设备中的指南针传感器提供的指南针数据导出的基于方位的摇动,允许用户通过转动移动设备来改变显示摇动范围。这可通过在所记录的指南针数据可用的情况下使实时的指南针数据与所记录的指南针数据匹配来实现。在所记录的指南针数据不可用的情况下,可将任意向北的值映射到记录的媒体上。记录的媒体可以是例如如图13中所描述的那样生成的全景视频记录等。当用户480在沿着线484的初始位置上拿着移动计算设备482时,在设备显示器上生成图像486。当用户480在沿着线488的左摇位置(该位置以角度y偏移初始位置)上移动计算设备482时,在设备显示器上生成图像490。当用户480在沿着线492的右摇位置(该位置以角度x偏移初始位置)上移动移动计算设备482时,在设备显示器上生成图像494。实际上,显示器正在显示通过照相机和全景光学设备的组合捕捉的全景图像的不同部分。将要显示的图像的部分由指南针方位数据相对于初始位置的指南针数据的变化确定。
有时候,可取的是,即使当所记录的指南针数据可用时也使用任意向北的值。有时候,不使摇动角度随设备1:1地变化也是可取的。在一些实施例中,渲染的摇动角度可以相对于设备的用户可选择的比率改变。例如,如果用户选择4x运动控制,则将设备旋转90°将允许用户看见视频的全部旋转,当用户不具有完全地转体(spin around)的移动自由时这是方便的。
在基于触摸的输入与方位输入组合的情况下,可将触摸输入作为附加偏移相加到方位输入。通过这样做,有效地避免了两种输入方法之间的冲突。
在陀螺仪数据可用并且提供更好的性能的移动设备上,在之前渲染的帧与当前帧之间的时间间隔上可对测量沿着多个轴的旋转随时间的变化的陀螺仪数据进行积分。该总的方位上的变化可与用于渲染之前的帧的方位相加,以确定用于渲染当前帧的新的方位。在陀螺仪和指南针数据都可用的情况下,陀螺仪数据可周期性与指南针位置同步或作为一次初始偏移。
如图19所示,可从加速度计数据导出基于方位的倾斜,允许用户通过倾斜移动设备来改变显示倾斜范围。这可通过计算相对于移动设备的实时的重力矢量来实现。重力矢量沿着设备的显示平面相对于设备的角度将与设备的倾斜角度匹配。该倾斜数据相对于记录的媒体中的倾斜数据被映射。在所记录的倾斜数据不可用的情况下,可将任意的水平值映射到所记录的媒体上。设备的倾斜可被用于直接指定用于渲染的倾斜角度(即,垂直地拿电话将使视图在水平线上处于居中),或者为了操作者的方便,可以以任意偏移使用它。该偏移可基于当回放开始时设备的初始方位(例如,当回放开始时电话的角度位置可在水平线上处于居中)来确定。当用户500在沿着504的初始位置上拿着移动计算设备502时,在设备显示器上生成图像506。当用户500在沿着线508的向上倾斜位置(该位置以角度x偏移重力矢量)上移动移动计算设备502时,在设备显示器上生成图像510。当用户500在沿着线512的向下倾斜位置(该位置以角度y偏移重力)上移动移动计算设备502时,在设备显示器上生成图像514。实际上,显示器正在显示通过照相机和全景光学设备的组合而捕捉的全景图像的不同部分。将要显示的图像的部分由垂直方位数据相对于初始位置的指南针数据的变化来确定。
在基于触摸的输入与方位输入组合的情况下,可将触摸输入作为附加偏移相加到方位输入。
在陀螺仪数据可用并且提供更好的性能的移动设备上,可在之前渲染的帧与当前帧之间的时间间隔上对测量沿着多个轴的旋转随时间的变化的陀螺仪数据进行积分。该总的方位变化可与用于渲染前一帧的方位相加,以确定用于渲染当前帧的新的方位。在陀螺仪和加速度计数据都可用的情况下,陀螺仪数据可周期性与重力矢量同步或同步为一次初始偏移。
如图20所示,自动滚动校正可被计算为设备的垂直显示轴与来自设备的加速度计的重力矢量之间的角度。当用户在沿着线520的初始位置上拿着移动计算设备时,在设备显示器上生成图像522。当用户沿着线524将移动计算设备移动到x滚动位置(该位置以角度x偏移重力矢量)时,在设备显示器上生成图像526。当用户在沿着线528的y滚动位置(该位置以角度y偏移重力)上移动移动计算设备时,在设备显示器上生成图像530。实际上,显示器正在显示通过照相机和全景光学设备的组合而捕捉的全景图像的倾斜部分。将要显示的图像的部分由垂直方位数据相对于初始重力矢量的变化来确定。
在陀螺仪数据可用并且提供更好的性能的移动设备上,可在之前渲染的帧与当前帧之间的时间间隔上对测量沿着多个轴的旋转随时间的变化的陀螺仪数据进行积分。该总的方位变化可与用于渲染之前的帧的方位相加,以确定用于渲染当前帧的新的方位。在陀螺仪和加速度计数据都可用的情况下,陀螺仪数据可周期性与重力矢量同步或作为一次初始偏移。
图21是本发明的另一实施例的框图。在图21中,媒体源540是压缩的或未被压缩的视频、音频、位置、方位以及速率数据的组合存储。媒体源可从网络连接流传输、下载、或预录。媒体源可与iPhone分离,或者被存储在iPhone中。例如,媒体可驻留在电话上,可处于从服务器到电话的下载的处理中,或者仅来自流的几帧/几秒的视频可以短暂的方式被存储在电话上。
触摸屏542是可见于许多移动计算设备(诸如iPhone)上的显示器。触摸屏包含用于实现触摸动作544的内置触摸屏或触摸屏输入传感器。在软件平台不包含内置触摸屏或触摸屏传感器的使用场景下,可使用外部连接的现成的传感器。触摸、拖动、手指开合等形式的用户输入可通过使用现成的软件框架而被触摸屏和触摸屏传感器检测为触摸动作。
触摸动作形式的用户输入可由软件平台上的硬件抽象框架提供给软件应用,以为用户提供预录媒体、从互联网下载或流传输的共享媒体、或当前正被记录或预览的媒体的交互式展示。
如块546所示,许多软件平台提供使用解压缩算法对视频帧序列进行解码的工具。常用算法包括AVC和H.264。解压缩可被实现为移动计算设备的硬件特征,或者通过在通用CPU上运行的软件来实现,或者通过它们的组合来实现。解压缩的视频帧被传递给视频帧缓冲器548。
如块550所示,许多软件平台提供使用解压缩算法对音频数据序列进行解码的工具。一种常用算法是AAC。解压缩可被实现为移动计算设备的硬件特征,或者通过在通用CPU上运行的软件来实现,或者通过它们的组合来实现。解压缩的音频帧被传递给音频帧缓冲器552并被输出到扬声器554。
视频帧缓冲器548是由多个现成的软件框架中的任何一个软件框架提供的、存储解压缩视频的一个或多个帧的硬件抽象。这些帧可被软件检索以用于各种用途。
音频缓冲器552是可通过使用已知的现成的软件框架实现的、存储某一长度的解压缩音频的硬件抽象。该数据可被软件检索以用于音频压缩和存储(记录)。
纹理映射556是由软件从视频缓冲器检索的单个帧。为了显示视频序列,可周期性地从视频帧缓冲器刷新该帧。
解码位置、方位和速率块558中的功能针对媒体源的视频部分的当前时间偏移从媒体源检索位置、方位和速率数据。
交互式渲染器560将用户输入(触摸动作)、来自媒体源的静态或运动图像数据(经由纹理映射)和来自媒体源的移动数据组合,以提供用户控制的对预录媒体、通过网络下载或流传输的共享媒体的观看。用户输入被实时地使用以确定观看方位和缩放。纹理映射可被应用于球的、圆柱的、立方体的或其它几何形状的顶点网格,提供虚拟的观看场景,将来自纹理的已知的角坐标与每个顶点的期望角坐标相关。最后,通过使用方位数据来调整视图以将原始记录装置的俯仰、偏航和滚动的变化考虑到媒体中。
来自交互式渲染的信息可被用于在集成显示设备562(诸如iPhone上的屏幕)或外部连接的显示设备上生成可见输出。
扬声器通过使用集成扬声器设备(诸如iPhone上的扬声器)或外部连接的扬声器设备来提供从音频缓冲器输出的、与从交互式渲染所显示的视频同步的声音。在从处于已知方位的多个麦克风记录多通道的音频数据的情况下,在回放期间可旋转音频场以与交互式渲染器显示在空间上同步。
根据本发明的实施例的系统的一些应用和使用的示例包括:运动跟踪;社交网络;360映射和巡视(touring);安全和监控;以及军事应用。
对于运动跟踪,处理软件可被编写为检测并跟踪感兴趣的对象(人、交通工具等)的运动并显示跟随这些感兴趣的对象的视图。
对于社交网络和娱乐或体育事件,处理软件可从多个设备提供单个实时事件的多个观看视角。通过使用地理定位数据,软件可在当前时间或之前的时间显示来自邻近的其它设备的媒体。单个的设备可被用于个人媒体的n向共享(很像YouTube或flickr)。事件的一些示例包括音乐会和体育赛事,其中,多个设备的用户可上传他们各自的视频数据(例如,从用户在会场中的位置拍摄的图像),并且各个用户可选择所期望的观看位置以观看视频数据中的图像。还可提供这样的软件,以用于使用装置进行单向(one-way)配置(展示风格—一方或两方音频通信和一方视频发送)、双向(two-way)配置(会议室到会议室)或n向(n-way)配置(多个会议室或会议环境)的电话会议。
对于360°映射和巡视,处理软件可被编写为通过使用地理空间数据和由一个或多个设备和用户随时间供给的多个视角来执行街道、建筑物和场景的360°映射。装置也可被安装在地上或航空器上,或者与自主/半自主无人机结合使用。所得的视频媒体可如被捕捉那样重放,以提供沿着街道路线、建筑物内部的虚拟巡视或飞行巡视。所得的视频媒体基于用户所请求的位置还可被回放为单个的帧,以提供任意360°巡视(帧合并和插值技术可被应用以使不同视频中的帧之间的转换变得容易或者从所显示的帧去除临时的固定物、交通工具和人)。
对于安全和监控,装置可被安装在便携式设备和固定设备中,用作低型(low profile)安全照相机、交通照相机或警车照相机。在犯罪现场也可使用一个或多个设备来收集360°视场中的法医证据。光学器件可与加固的记录设备配对以用作各种交通工具中的视频黑盒的部分;被安装在内部、外部或二者以同时对引入事件的某一预定长度的时间提供视频数据。
对于军事应用,人可便携的系统和车载系统可被用于炮口焰检测以快速地确定敌军的位置。在单个操作区域内可使用多个设备以提供多个感兴趣的目标或位置的多个视角。当被作为人可便携的系统安装时,该装置可被用于为其用户提供他或她的直接环境的更好的情景意识。当被作为固定设备安装时,该装置可被用于在该装置的大部分被隐藏或伪装的情况下进行远程监控。该装置可被构造为适应非可见光谱(诸如用于360度热检测的红外线)中的照相机。
尽管以上已出于说明的目的描述了本发明的特定实施例,但是对于本领域技术人员显而易见的是,可以在不脱离本发明的情况下对本发明的细节进行大量的变化。

Claims (81)

1.一种装置,包括:
外壳;
凹形全景反射器;
支承结构,所述支承结构被配置为将凹形全景反射器保持在相对于外壳的固定位置中;以及
安装设备,所述安装设备用于将外壳安置在相对于计算设备的固定方位上,以使得由所述凹形全景反射器反射的光被引向计算设备中的光传感器。
2.根据权利要求1所述的装置,其中,所述凹形全景反射器的一部分被安置在外壳的外部,并且在轴向方向上从外壳的端部移位以在凹形全景反射器的边缘与外壳的端部之间形成开口。
3.根据权利要求2所述的装置,其中,所述凹形全景反射器的形状限定垂直视场。
4.根据权利要求1所述的装置,还包括:
被安置以将来自凹形全景反射器的光反射到光传感器的镜。
5.根据权利要求4所述的装置,其中,所述镜的大小包含计算设备中的照相机的视场。
6.根据权利要求1所述的装置,其中,所述外壳的至少一部分具有大体上截头锥的形状。
7.根据权利要求1所述的装置,其中,所述支承结构包括:
透明构件,所述透明构件被安置在外壳中与外壳的轴垂直的平面中;以及
中心开口,所述中心开口被配置为容纳与凹形全景反射器耦接的立柱。
8.根据权利要求1所述的装置,其中,所述安装设备包括:
用于移动计算设备的壳体,其中,所述壳体被配置为与所述外壳耦接。
9.根据权利要求8所述的装置,其中,所述壳体包括被配置为与外壳上的大体椭圆形的突出部进行过盈配合的椭圆形开口。
10.根据权利要求8所述的装置,其中,所述壳体包括被配置为接纳外壳上的键接突出部的键接开口。
11.根据权利要求8所述的装置,其中,所述壳体包括被配置为接纳外壳上的突出部的卡口开口。
12.根据权利要求8所述的装置,其中,所述壳体包括被配置为与外壳上的磁体耦合的磁体。
13.根据权利要求8所述的装置,其中,所述壳体包括被配置为接纳外壳上的对准凸块的对准凹槽。
14.根据权利要求8所述的装置,其中,所述壳体包括被配置为接纳外壳上的有翼突出部的开口。
15.根据权利要求8所述的装置,其中,所述壳体包括被配置为接纳外壳上的销的多个开口。
16.根据权利要求8所述的装置,其中,所述壳体包括被配置为夹紧沿着移动计算设备上的屏幕的外缘的斜边的唇部。
17.根据权利要求16所述的装置,其中,所述唇部抵靠移动计算设备的背部将壳体的背面保持在张力状态中。
18.根据权利要求8所述的装置,其中,所述壳体包括滑到移动计算设备上的两个部件。
19.根据权利要求18所述的装置,其中,所述两个部件通过一对平行的斜角表面接合,从而当所述两个部件滑到移动计算设备上、然后被按压在一起时形成过盈配合。
20.根据权利要求8所述的装置,所述壳体包括被配置为接纳外壳上的突出部并且允许所述突出部滑入与照相机开口相邻的位置中的开口。
21.根据权利要求1所述的装置,其中,所述凹形全景反射器具有由以下等式中的一个等式限定的形状:
dr d ( θ + A α ) = r cot ( k tan ( θ + A α ) + π 2 - k tan ( R cs ) - R cs 2 ) ;
dr d ( θ + A α ) = r cot ( k tan ( θ + A α ) + π 2 ) ;
dr dθ = r cot ( k tan ( θ ) + π - A 2 - k tan ( R cs ) - R cs 2 )
其中,A是以弧度为单位的光线ro的方向与平行于照相机轴294的线之间的角度;Rcs是以弧度为单位的照相机轴与镜上反射光线ro的点之间的角度;Rce是以弧度为单位的照相机轴与镜的边缘之间的角度;ro是以毫米为单位的内径;α是增益因子;θ是以弧度为单位的照相机轴与反射光线r之间的角度;k根据第一等式中的α而限定。
22.一种方法,包括:
在计算设备中接收全景图像数据;
实时地观看全景图像的区域;以及
响应于计算设备的方位和/或用户输入来改变所观看的区域。
23.根据权利要求22所述的方法,其中,所述用户输入包括基于触摸的摇动、倾斜和/或缩放。
24.根据权利要求23所述的方法,其中,将来自用户的触摸的初始接触点映射到摇动/倾斜坐标,并且在拖动期间计算摇动/倾斜调整以将摇动/倾斜坐标保持在用户手指的下面。
25.根据权利要求22所述的方法,其中,所述计算设备的方位被用于实现摇动、倾斜和/或基于方位的滚动校正。
26.根据权利要求22所述的方法,其中,用户输入和方位输入被相加地处理。
27.根据权利要求23所述的方法,其中,对于基于触摸的缩放,将来自用户触摸的两个接触点映射到摇动/倾斜坐标,从所述摇动/倾斜坐标计算角度度量以表示两个接触手指之间的角度。
28.根据权利要求27所述的方法,其中,视场模拟缩放随着用户手指捏合或放开而被调整,以将动态改变的手指位置匹配到初始角度度量。
29.根据权利要求27所述的方法,其中,手指捏合两个接触点生成缩小效果。
30.根据权利要求22所述的方法,其中,基于方位的摇动是从由计算设备中的指南针传感器提供的指南针数据导出的。
31.根据权利要求30所述的方法,其中,在记录的指南针数据可用的情况下,将实时的指南针数据与记录的指南针数据进行比较。
32.根据权利要求30所述的方法,其中,将任意向北的值映射到记录的媒体上。
33.根据权利要求30所述的方法,其中,将陀螺仪数据映射到任意向北的值以提供模拟的指南针输入。
34.根据权利要求30所述的方法,其中,陀螺仪数据被周期性地与指南针位置同步或者作为一次初始偏移。
35.根据权利要求22所述的方法,其中,由指南针方位数据相对于初始位置的指南针数据的变化所确定的全景图像的不同部分被示出。
36.根据权利要求22所述的方法,其中,基于方位的倾斜是从加速度计数据导出的。
37.根据权利要求36所述的方法,其中,重力矢量是相对于所述计算设备确定的。
38.根据权利要求37所述的方法,其中,所述重力矢量沿着计算设备的显示平面相对于计算设备的角度与设备的倾斜角度匹配。
39.根据权利要求38所述的方法,其中,倾斜数据相对于记录的媒体中的倾斜数据被映射。
40.根据权利要求38所述的方法,其中,将任意的水平值映射到记录的媒体上。
41.根据权利要求22所述的方法,其中,将被观看的图像的一部分由垂直方位数据相对于初始位置数据的变化来确定。
42.根据权利要求22所述的方法,其中,通过基于触摸的输入作为偏移被相加到方位输入来将基于触摸的输入与方位输入组合。
43.根据权利要求22所述的方法,其中,将陀螺仪数据映射到任意的水平值以提供模拟的重力矢量输入。
44.根据权利要求43所述的方法,其中,陀螺仪数据被周期性地与重力矢量同步或者作为一次初始偏移。
45.根据权利要求22所述的方法,其中,自动滚动校正被计算为计算设备的垂直显示轴与来自计算设备的加速度计的重力矢量之间的角度。
46.根据权利要求22所述的方法,其中,显示器示出通过照相机和全景光学设备的组合而捕捉的全景图像的倾斜部分。
47.根据权利要求22所述的方法,其中,将被观看的图像的区域由垂直方位数据相对于初始重力矢量的变化来确定。
48.根据权利要求22所述的方法,还包括:
检测并跟踪感兴趣的对象的运动,并显示跟随该感兴趣的对象的区域。
49.根据权利要求22所述的方法,还包括:
从多个计算设备提供单个实时事件的多个观看视角。
50.根据权利要求49所述的方法,还包括:
在当前时间或之前的时间显示来自多个计算设备的图像数据。
51.一种装置,包括:
全景光学设备,所述全景光学设备被配置为将光反射到照相机;
计算设备,所述计算设备用于对来自照相机的图像数据进行处理以生成渲染的图像;以及
显示器,所述显示器用于示出渲染的图像的至少一部分,其中,显示的图像响应于计算设备的方位和/或用户输入而改变。
52.根据权利要求51所述的装置,其中,所述用户输入包括基于触摸的摇动、倾斜和/或缩放。
53.根据权利要求52所述的装置,其中,将来自用户的触摸的初始接触点映射到摇动/倾斜坐标,并且在拖动期间计算摇动/倾斜调整以将摇动/倾斜坐标保持在用户手指的下面。
54.根据权利要求51所述的装置,其中,所述计算设备的方位被用于实现摇动、倾斜和/或基于方位的滚动校正。
55.根据权利要求51所述的装置,其中,用户输入和方位输入被相加地处理。
56.根据权利要求51所述的装置,其中,对于基于触摸的缩放,将来自用户触摸的两个接触点映射到摇动/倾斜坐标,从所述摇动/倾斜坐标计算角度度量以表示两个接触手指之间的角度。
57.根据权利要求56所述的装置,其中,视场模拟缩放随着用户手指捏合或放开而被调整,以将动态改变的手指位置匹配到初始角度度量。
58.根据权利要求56所述的装置,其中,手指捏合两个接触点生成缩小效果。
59.根据权利要求56所述的装置,还包括:
在计算设备中的指南针传感器,其中,基于方位的摇动是从指南针数据导出的。
60.根据权利要求59所述的装置,其中,将实时的指南针数据与记录的指南针数据进行比较。
61.根据权利要求59所述的装置,其中,将任意向北的值映射到记录的媒体上。
62.根据权利要求59所述的装置,还包括:
陀螺仪,其中,将陀螺仪数据映射到任意向北的值以提供模拟的指南针输入。
63.根据权利要求59所述的装置,其中,陀螺仪数据被周期性地与指南针位置同步或者作为一次初始偏移。
64.根据权利要求51所述的装置,其中,由指南针方位数据相对于初始位置的指南针数据的变化所确定的渲染的图像的不同部分被示出。
65.根据权利要求51所述的装置,其中,基于方位的倾斜是从加速度计数据导出的。
66.根据权利要求51所述的装置,其中,重力矢量是相对于所述计算设备确定的。
67.根据权利要求66所述的装置,其中,所述重力矢量沿着计算设备的显示平面相对于计算设备的角度与设备的倾斜角度匹配。
68.根据权利要求66所述的装置,其中,倾斜数据相对于记录的媒体中的倾斜数据被映射。
69.根据权利要求66所述的装置,其中,将任意的水平值映射到记录的媒体上。
70.根据权利要求51所述的装置,其中,将被示出的图像的一部分由垂直方位数据相对于初始位置的指南针数据的变化来确定。
71.根据权利要求51所述的装置,其中,通过触摸输入作为偏移被相加到方位输入来将基于触摸的输入与方位输入组合。
72.根据权利要求51所述的装置,其中,将陀螺仪数据映射到任意的水平值以提供模拟的重力矢量输入。
73.根据权利要求72所述的装置,其中,陀螺仪数据被周期性地与重力矢量同步或者作为一次初始偏移。
74.根据权利要求51所述的装置,其中,自动滚动校正被计算为计算设备的垂直显示轴与来自计算设备中的加速度计的重力矢量之间的角度。
75.根据权利要求51所述的装置,其中,显示器示出通过照相机和全景光学设备的组合而捕捉的全景图像的倾斜部分。
76.根据权利要求51所述的装置,其中,将被示出的图像的部分由垂直方位数据相对于初始重力矢量的变化来确定。
77.根据权利要求51所述的装置,其中,将陀螺仪数据映射到任意的向上的值以提供模拟的重力矢量输入。
78.根据权利要求51所述的装置,其中,陀螺仪数据被周期性地与重力矢量同步或者作为一次初始偏移。
79.根据权利要求51所述的装置,其中,所述计算设备检测并跟踪感兴趣的对象的运动,并显示跟随该感兴趣的对象的区域。
80.根据权利要求51所述的装置,还包括:
从多个计算设备提供单个实时事件的多个观看视角。
81.根据权利要求80所述的装置,还包括:
在当前时间或之前的时间显示来自多个计算设备的图像数据。
CN201280026679.0A 2011-04-18 2012-04-17 用于与移动计算设备一起进行全景视频成像的装置和方法 Pending CN103562791A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161476634P 2011-04-18 2011-04-18
US61/476,634 2011-04-18
US13/448,673 US20120262540A1 (en) 2011-04-18 2012-04-17 Apparatus and Method for Panoramic Video Imaging with Mobile Computing Devices
PCT/US2012/033937 WO2012145317A1 (en) 2011-04-18 2012-04-17 Apparatus and method for panoramic video imaging with mobile computing devices
US13/448,673 2012-04-17

Publications (1)

Publication Number Publication Date
CN103562791A true CN103562791A (zh) 2014-02-05

Family

ID=47006120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280026679.0A Pending CN103562791A (zh) 2011-04-18 2012-04-17 用于与移动计算设备一起进行全景视频成像的装置和方法

Country Status (7)

Country Link
US (2) US20120262540A1 (zh)
EP (1) EP2699963A1 (zh)
JP (1) JP2014517569A (zh)
KR (1) KR20140053885A (zh)
CN (1) CN103562791A (zh)
CA (1) CA2833544A1 (zh)
WO (1) WO2012145317A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104639688A (zh) * 2015-02-02 2015-05-20 青岛歌尔声学科技有限公司 一种手机全景镜头
CN104914648A (zh) * 2014-03-16 2015-09-16 吴健辉 一种可拆卸的手机全景镜头
WO2016086494A1 (zh) * 2014-12-05 2016-06-09 钱晓炯 一种智能移动终端的视频呈现方法
CN105739067A (zh) * 2016-03-23 2016-07-06 捷开通讯(深圳)有限公司 广角拍摄的光学镜头配件
CN108459452A (zh) * 2017-02-21 2018-08-28 陈武雄 全景式取像装置
CN109257529A (zh) * 2018-10-26 2019-01-22 成都传视科技有限公司 一种应用于移动终端的360度便携镜头
CN110459246A (zh) * 2014-07-14 2019-11-15 索尼互动娱乐股份有限公司 用于回放全景视频内容的系统和方法
US11089280B2 (en) 2016-06-30 2021-08-10 Sony Interactive Entertainment Inc. Apparatus and method for capturing and displaying segmented content

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8121361B2 (en) 2006-05-19 2012-02-21 The Queen's Medical Center Motion tracking system for real time adaptive imaging and spectroscopy
US9148565B2 (en) * 2011-08-02 2015-09-29 Jeff Glasse Methods and apparatus for panoramic afocal image capture
WO2013032933A2 (en) 2011-08-26 2013-03-07 Kinecticor, Inc. Methods, systems, and devices for intra-scan motion correction
US8989444B2 (en) * 2012-06-15 2015-03-24 Bae Systems Information And Electronic Systems Integration Inc. Scene correlation
US9516229B2 (en) * 2012-11-27 2016-12-06 Qualcomm Incorporated System and method for adjusting orientation of captured video
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9782141B2 (en) 2013-02-01 2017-10-10 Kineticor, Inc. Motion tracking system for real time adaptive motion compensation in biomedical imaging
KR20150037975A (ko) * 2013-08-24 2015-04-08 주식회사 와이드벤티지 사각 이미지 공급 장치를 이용한 파노라마 이미지 생성 장치
US9329750B2 (en) * 2013-09-10 2016-05-03 Google Inc. Three-dimensional tilt and pan navigation using a single gesture
JP2015073216A (ja) * 2013-10-03 2015-04-16 ソニー株式会社 撮像ユニット、撮像装置
CN103747166A (zh) * 2013-10-30 2014-04-23 樊书印 一种手机全景镜头
CN103576424A (zh) * 2013-10-30 2014-02-12 樊书印 一种手机全景镜头
CN103581525A (zh) * 2013-10-30 2014-02-12 樊书印 一种手机全景镜头
CN103581380A (zh) * 2013-10-30 2014-02-12 樊书印 一种手机全景镜头
CN103576422B (zh) * 2013-10-30 2016-05-11 邢皓宇 一种手机全景镜头
CN103581524A (zh) * 2013-10-30 2014-02-12 樊书印 一种手机全景镜头
CN103576423B (zh) * 2013-10-30 2016-08-24 邢皓宇 一种手机全景镜头
CN103581379B (zh) * 2013-10-30 2016-03-09 邢皓宇 一种手机全景镜头
USD727327S1 (en) * 2013-11-22 2015-04-21 Compliance Software, Inc. Compact stand with mobile scanner
US9742995B2 (en) 2014-03-21 2017-08-22 Microsoft Technology Licensing, Llc Receiver-controlled panoramic view video share
US10004462B2 (en) 2014-03-24 2018-06-26 Kineticor, Inc. Systems, methods, and devices for removing prospective motion correction from medical imaging scans
US20150296139A1 (en) * 2014-04-11 2015-10-15 Timothy Onyenobi Mobile communication device multidirectional/wide angle camera lens system
CN106714681A (zh) 2014-07-23 2017-05-24 凯内蒂科尔股份有限公司 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法
US9911022B2 (en) * 2014-10-29 2018-03-06 The Code Corporation Barcode-reading system
US9747367B2 (en) 2014-12-05 2017-08-29 Stages Llc Communication system for establishing and providing preferred audio
US10609475B2 (en) 2014-12-05 2020-03-31 Stages Llc Active noise control and customized audio system
US9508335B2 (en) 2014-12-05 2016-11-29 Stages Pcs, Llc Active noise control and customized audio system
US9654868B2 (en) 2014-12-05 2017-05-16 Stages Llc Multi-channel multi-domain source identification and tracking
US20160307243A1 (en) * 2015-04-17 2016-10-20 Mastercard International Incorporated Systems and methods for determining valuation data for a location of interest
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
US20170064289A1 (en) * 2015-08-26 2017-03-02 Holumino Limited System and method for capturing and displaying images
JP6452702B2 (ja) 2015-09-15 2019-01-16 マイクロネット株式会社 携帯端末機取付アダプタ
US9843724B1 (en) * 2015-09-21 2017-12-12 Amazon Technologies, Inc. Stabilization of panoramic video
US20190004405A1 (en) * 2015-11-06 2019-01-03 Guangdong Sirui Optical Co., Ltd. Holding case for installing handset add-on lens, handset external lens connection structure, and handset installation case
WO2017091479A1 (en) 2015-11-23 2017-06-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
CN105979242A (zh) * 2015-11-23 2016-09-28 乐视网信息技术(北京)股份有限公司 一种视频的播放方法和装置
US9781349B2 (en) * 2016-01-05 2017-10-03 360fly, Inc. Dynamic field of view adjustment for panoramic video content
US9830755B2 (en) 2016-02-17 2017-11-28 Jvis-Usa, Llc System including a hand-held communication device having low and high power settings for remotely controlling the position of a door of a land vehicle and key fob for use in the system
US10284822B2 (en) 2016-02-17 2019-05-07 Jvis-Usa, Llc System for enhancing the visibility of a ground surface adjacent to a land vehicle
US9704397B1 (en) 2016-04-05 2017-07-11 Global Ip Holdings, Llc Apparatus for use in a warning system to notify a land vehicle or a motorist of the vehicle of an approaching or nearby emergency vehicle or train
USD810084S1 (en) 2016-03-23 2018-02-13 Formfox, Inc. Mobile scanner
ES2865328T3 (es) 2016-04-06 2021-10-15 Applikam Devices Sl Un probador que comprende un sistema de fotografía tipo retrato y un programa de ordenador
US11096627B2 (en) * 2016-04-25 2021-08-24 Welch Allyn, Inc. Medical examination system enabling interchangeable instrument operating modes
US10945080B2 (en) 2016-11-18 2021-03-09 Stages Llc Audio analysis and processing system
US9980075B1 (en) 2016-11-18 2018-05-22 Stages Llc Audio source spatialization relative to orientation sensor and output
US9980042B1 (en) 2016-11-18 2018-05-22 Stages Llc Beamformer direction of arrival and orientation analysis system
CN106791326A (zh) * 2017-01-09 2017-05-31 惠州市旭宝光电科技有限公司 一种手机专用全景相机
US20190007672A1 (en) * 2017-06-30 2019-01-03 Bobby Gene Burrough Method and Apparatus for Generating Dynamic Real-Time 3D Environment Projections
KR102130891B1 (ko) * 2018-07-26 2020-07-06 김인우 공기주입식 가상현실 촬영장치
CN116208837B (zh) * 2021-11-30 2024-09-17 晋城三赢精密电子有限公司 一种可随时更换相机模组的电子装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060146009A1 (en) * 2003-01-22 2006-07-06 Hanno Syrbe Image control
CN1878241A (zh) * 2005-06-07 2006-12-13 浙江工业大学 具有全景摄像功能的手机
CN101300840A (zh) * 2005-11-04 2008-11-05 微软公司 多视角视频传递
CN101379461A (zh) * 2005-12-30 2009-03-04 苹果公司 具有多重触摸输入的便携式电子设备
US20100020221A1 (en) * 2008-07-24 2010-01-28 David John Tupman Camera Interface in a Portable Handheld Electronic Device

Family Cites Families (112)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2669786A (en) * 1946-09-17 1954-02-23 Gen Electric Attitude indicator
BE639563A (zh) * 1962-11-05
US3551676A (en) * 1968-04-19 1970-12-29 Russell W Runnels Aircraft collision warning system with panoramic viewing reflections
US3643178A (en) * 1969-11-24 1972-02-15 Trw Inc Electromagnetic radiation beam directing systems
US5777261A (en) * 1993-02-04 1998-07-07 Katz; Joseph M. Assembly for attenuating emissions from portable telephones
US6118474A (en) * 1996-05-10 2000-09-12 The Trustees Of Columbia University In The City Of New York Omnidirectional imaging apparatus
US6202060B1 (en) * 1996-10-29 2001-03-13 Bao Q. Tran Data management system
US6449103B1 (en) * 1997-04-16 2002-09-10 Jeffrey R. Charles Solid catadioptric omnidirectional optical system having central coverage means which is associated with a camera, projector, medical instrument, or similar article
US6552744B2 (en) * 1997-09-26 2003-04-22 Roxio, Inc. Virtual reality camera
EP1798704A2 (en) * 1997-10-27 2007-06-20 Matsushita Electric Industrial Co., Ltd. Three-dimensional map display device and device for creating data used therein
US7023913B1 (en) * 2000-06-14 2006-04-04 Monroe David A Digital security multimedia sensor
US6678631B2 (en) * 1998-11-19 2004-01-13 Delphi Technologies, Inc. Vehicle attitude angle estimator and method
US6456287B1 (en) * 1999-02-03 2002-09-24 Isurftv Method and apparatus for 3D model creation based on 2D images
US20020145610A1 (en) * 1999-07-16 2002-10-10 Steve Barilovits Video processing engine overlay filter scaler
JP2001154295A (ja) * 1999-11-30 2001-06-08 Matsushita Electric Ind Co Ltd 全方位視覚カメラ
JP2001189902A (ja) * 1999-12-28 2001-07-10 Nec Corp ヘッドマウンテッドディスプレイ制御方法及びヘッドマウンテッドディスプレイ装置
DE10000673A1 (de) * 2000-01-11 2001-07-12 Brains 3 Gmbh & Co Kg Software und technische Vorrichtung zur Herstellung von 360>= Rundumansichten aus Foto- und Filmaufnahmen
US20010029523A1 (en) * 2000-01-21 2001-10-11 Mcternan Brennan J. System and method for accounting for variations in client capabilities in the distribution of a media presentation
US7053906B2 (en) * 2000-03-08 2006-05-30 Sony Computer Entertainment Inc. Texture mapping method, recording medium, program, and program executing apparatus
AU2001264723A1 (en) * 2000-05-18 2001-11-26 Imove Inc. Multiple camera video system which displays selected images
JP2001357644A (ja) * 2000-06-13 2001-12-26 Tdk Corp 磁気ヘッド装置の姿勢角調整方法及び装置
US7796162B2 (en) * 2000-10-26 2010-09-14 Front Row Technologies, Llc Providing multiple synchronized camera views for broadcast from a live venue activity to remote viewers
US6546339B2 (en) * 2000-08-07 2003-04-08 3D Geo Development, Inc. Velocity analysis using angle-domain common image gathers
US7030861B1 (en) * 2001-02-10 2006-04-18 Wayne Carl Westerman System and method for packing multi-touch gestures onto a hand
US6856472B2 (en) 2001-02-24 2005-02-15 Eyesee360, Inc. Panoramic mirror and system for producing enhanced panoramic images
US6594448B2 (en) 2001-02-24 2003-07-15 Eyesee360, Inc. Radially-oriented planar surfaces for flare reduction in panoramic cameras
US6963355B2 (en) * 2001-02-24 2005-11-08 Eyesee380, Inc. Method and apparatus for eliminating unwanted mirror support images from photographic images
JP3804766B2 (ja) * 2001-03-15 2006-08-02 シャープ株式会社 画像通信装置および携帯型電話機
JP3297040B1 (ja) * 2001-04-24 2002-07-02 松下電器産業株式会社 車載カメラの画像合成表示方法及びその装置
US20030025726A1 (en) * 2001-07-17 2003-02-06 Eiji Yamamoto Original video creating system and recording medium thereof
AU2002324771A1 (en) 2001-08-25 2003-03-10 Eyesee360, Inc. Method and apparatus for encoding photogrraphic images
US7075513B2 (en) * 2001-09-04 2006-07-11 Nokia Corporation Zooming and panning content on a display screen
US7728870B2 (en) * 2001-09-06 2010-06-01 Nice Systems Ltd Advanced quality management and recording solutions for walk-in environments
AU2002334705A1 (en) 2001-09-27 2003-04-07 Eyesee360, Inc. System and method for panoramic imaging
US7096428B2 (en) * 2001-09-28 2006-08-22 Fuji Xerox Co., Ltd. Systems and methods for providing a spatially indexed panoramic video
US20030071787A1 (en) * 2001-10-12 2003-04-17 Gerstacker Stuart Thomas Foot actuated computer mouse adaptor and electronic modular adaptor
US7058239B2 (en) * 2001-10-29 2006-06-06 Eyesee360, Inc. System and method for panoramic imaging
CA2363775C (en) * 2001-11-26 2010-09-14 Vr Interactive International, Inc. A symmetric, high vertical field of view 360 degree reflector using cubic transformations and method
US20030161622A1 (en) * 2001-12-28 2003-08-28 Zantos Robert D. Mobile telescoping camera mount
US6776042B2 (en) * 2002-01-25 2004-08-17 Kinemetrics, Inc. Micro-machined accelerometer
US20030197595A1 (en) * 2002-04-22 2003-10-23 Johnson Controls Technology Company System and method for wireless control of multiple remote electronic systems
KR200293863Y1 (ko) * 2002-05-23 2002-11-04 김정기 폴더형 핸드폰 케이스
JP2004007117A (ja) * 2002-05-31 2004-01-08 Toshiba Corp 携帯電話機
US6839067B2 (en) * 2002-07-26 2005-01-04 Fuji Xerox Co., Ltd. Capturing and producing shared multi-resolution video
JP4072033B2 (ja) * 2002-09-24 2008-04-02 本田技研工業株式会社 受付案内ロボット装置
SE0203908D0 (sv) * 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
KR100486505B1 (ko) * 2002-12-31 2005-04-29 엘지전자 주식회사 로봇 청소기의 자이로 오프셋 보정방법
DE602004010363T2 (de) * 2003-01-17 2008-10-23 Nippon Telegraph And Telephone Corp. Fernvideoanzeigeverfahren, videoerfassungseinrichtung, verfahren dafür und programm dafür
JP2004248225A (ja) * 2003-02-17 2004-09-02 Nec Corp 携帯端末装置及び移動通信システム
US20040259602A1 (en) * 2003-06-18 2004-12-23 Naomi Zack Apparatus and method for reducing sound in surrounding area resulting from speaking into communication device
US20050003873A1 (en) * 2003-07-01 2005-01-06 Netro Corporation Directional indicator for antennas
US7336299B2 (en) * 2003-07-03 2008-02-26 Physical Optics Corporation Panoramic video system with real-time distortion-free imaging
US7399095B2 (en) 2003-07-09 2008-07-15 Eyesee360, Inc. Apparatus for mounting a panoramic mirror
US7358498B2 (en) * 2003-08-04 2008-04-15 Technest Holdings, Inc. System and a method for a smart surveillance system
US7185858B2 (en) * 2003-11-26 2007-03-06 The Boeing Company Spacecraft gyro calibration system
US20050168937A1 (en) * 2004-01-30 2005-08-04 Yin Memphis Z. Combination computer battery pack and port replicator
JP2005278134A (ja) * 2004-02-23 2005-10-06 Junichiro Kuze 携帯電話用の接写装置
US7059182B1 (en) * 2004-03-03 2006-06-13 Gary Dean Ragner Active impact protection system
JP2005303796A (ja) * 2004-04-14 2005-10-27 Kazumasa Sasaki 放送システムおよび画像再生装置
WO2006011238A1 (ja) * 2004-07-29 2006-02-02 Yamaha Corporation 方位データ演算方法、方位センサユニットおよび携帯電子機器
WO2006083563A2 (en) * 2005-02-01 2006-08-10 Analog Devices, Inc. Camera with acceleration sensor
US7421340B2 (en) * 2005-02-28 2008-09-02 Vectronix Ag Method, apparatus and computer program for azimuth determination e.g. for autonomous navigation applications
JP4999279B2 (ja) * 2005-03-09 2012-08-15 スカラ株式会社 拡大用アタッチメント
WO2007000869A1 (ja) * 2005-06-28 2007-01-04 Sharp Kabushiki Kaisha 情報処理装置、テレビジョン放送受像表示機、テレビジョン放送記録再生機、情報処理プログラム、および、記録媒体
US7576766B2 (en) * 2005-06-30 2009-08-18 Microsoft Corporation Normalized images for cameras
US20070103543A1 (en) * 2005-08-08 2007-05-10 Polar Industries, Inc. Network panoramic camera system
JP2007200280A (ja) * 2005-12-27 2007-08-09 Ricoh Co Ltd ユーザインタフェース装置、画像表示方法、およびその方法をコンピュータに実行させるプログラム
JP4796400B2 (ja) * 2006-02-01 2011-10-19 クラリオン株式会社 車両速度制御装置および同装置における目標速度設定方法ならびにプログラム
US20070200920A1 (en) * 2006-02-14 2007-08-30 Walker Mark R Digital communications adaptor
US7834910B2 (en) * 2006-03-01 2010-11-16 David M. DeLorme Method and apparatus for panoramic imaging
US20100045705A1 (en) * 2006-03-30 2010-02-25 Roel Vertegaal Interaction techniques for flexible displays
US7542668B2 (en) * 2006-06-30 2009-06-02 Opt Corporation Photographic device
JP4800163B2 (ja) * 2006-09-29 2011-10-26 株式会社トプコン 位置測定装置及びその方法
EP2098945B1 (en) * 2006-12-06 2016-07-20 Alps Electric Co., Ltd. Motion-sensing program and electronic compass using the same
US7684028B2 (en) * 2006-12-14 2010-03-23 Spx Corporation Remote sensing digital angle gauge
US7956847B2 (en) * 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
US7768545B2 (en) * 2007-03-06 2010-08-03 Otto Gregory Glatt Panoramic image management system and method
JP2008227877A (ja) * 2007-03-13 2008-09-25 Hitachi Ltd 映像情報処理装置
ES2633742T3 (es) * 2007-03-16 2017-09-25 L-3 Communications Corporation Sistema para procesamiento de imagen panorámica
JP4851412B2 (ja) * 2007-09-27 2012-01-11 富士フイルム株式会社 画像表示装置、画像表示方法、及び画像表示プログラム
JP2009086513A (ja) * 2007-10-02 2009-04-23 Techno Science:Kk デジタルカメラ機又はデジタルカメラ機能付き携帯電話機用の付属機器連結機構
IL189251A0 (en) * 2008-02-05 2008-11-03 Ehud Gal A manned mobile platforms interactive virtual window vision system
KR100934211B1 (ko) * 2008-04-11 2009-12-29 주식회사 디오텍 휴대용 단말기의 파노라마 이미지 생성 방법
US8904430B2 (en) * 2008-04-24 2014-12-02 Sony Computer Entertainment America, LLC Method and apparatus for real-time viewer interaction with a media presentation
WO2009140347A2 (en) * 2008-05-14 2009-11-19 3M Innovative Properties Company Systems and methods for assessing locations of multiple touch inputs
EP2318897B1 (en) * 2008-05-28 2018-05-16 Google LLC Motion-controlled views on mobile computing devices
US8890802B2 (en) * 2008-06-10 2014-11-18 Intel Corporation Device with display position input
US20100009809A1 (en) * 2008-06-26 2010-01-14 Janice Carrington System for simulating a tour of or being in a remote location while exercising
US20100031202A1 (en) * 2008-08-04 2010-02-04 Microsoft Corporation User-defined gesture set for surface computing
JP4640470B2 (ja) * 2008-08-18 2011-03-02 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および撮像装置
US20100045701A1 (en) * 2008-08-22 2010-02-25 Cybernet Systems Corporation Automatic mapping of augmented reality fiducials
FR2937208B1 (fr) * 2008-10-13 2011-04-15 Withings Procede et dispositif de tele-visionnage
GB0820416D0 (en) * 2008-11-07 2008-12-17 Otus Technologies Ltd Panoramic camera
JP2010124177A (ja) * 2008-11-19 2010-06-03 Olympus Imaging Corp 撮像装置および撮像装置の制御方法
JP5058187B2 (ja) * 2009-02-05 2012-10-24 シャープ株式会社 携帯情報端末
US8073324B2 (en) * 2009-03-05 2011-12-06 Apple Inc. Magnet array for coupling and aligning an accessory to an electronic device
US8054556B2 (en) * 2009-03-13 2011-11-08 Young Optics Inc. Lens
JP5158606B2 (ja) * 2009-04-23 2013-03-06 Necカシオモバイルコミュニケーションズ株式会社 端末装置、表示方法、及びプログラム
GB0908228D0 (en) * 2009-05-14 2009-06-24 Qinetiq Ltd Reflector assembly and beam forming
US20110077061A1 (en) * 2009-07-03 2011-03-31 Alex Danze Cell phone or pda compact case
JP2011050038A (ja) * 2009-07-27 2011-03-10 Sanyo Electric Co Ltd 画像再生装置及び撮像装置
US8325187B2 (en) * 2009-10-22 2012-12-04 Samsung Electronics Co., Ltd. Method and device for real time 3D navigation in panoramic images and cylindrical spaces
KR20110052124A (ko) * 2009-11-12 2011-05-18 삼성전자주식회사 파노라마 이미지 생성 및 조회 방법과 이를 이용한 휴대 단말기
US8400548B2 (en) * 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
US20110167350A1 (en) * 2010-01-06 2011-07-07 Apple Inc. Assist Features For Content Display Device
GB201002248D0 (en) * 2010-02-10 2010-03-31 Lawton Thomas A An attachment for a personal communication device
US8874090B2 (en) * 2010-04-07 2014-10-28 Apple Inc. Remote control operations in a video conference
US8548255B2 (en) * 2010-04-15 2013-10-01 Nokia Corporation Method and apparatus for visual search stability
US8934050B2 (en) * 2010-05-27 2015-01-13 Canon Kabushiki Kaisha User interface and method for exposure adjustment in an image capturing device
US8730267B2 (en) * 2010-06-21 2014-05-20 Celsia, Llc Viewpoint change on a display device based on movement of the device
US8605873B2 (en) * 2011-06-28 2013-12-10 Lifesize Communications, Inc. Accessing settings of a videoconference using touch-based gestures
US20130162665A1 (en) * 2011-12-21 2013-06-27 James D. Lynch Image view in mapping

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060146009A1 (en) * 2003-01-22 2006-07-06 Hanno Syrbe Image control
CN1878241A (zh) * 2005-06-07 2006-12-13 浙江工业大学 具有全景摄像功能的手机
CN101300840A (zh) * 2005-11-04 2008-11-05 微软公司 多视角视频传递
CN101379461A (zh) * 2005-12-30 2009-03-04 苹果公司 具有多重触摸输入的便携式电子设备
US20100020221A1 (en) * 2008-07-24 2010-01-28 David John Tupman Camera Interface in a Portable Handheld Electronic Device

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104914648A (zh) * 2014-03-16 2015-09-16 吴健辉 一种可拆卸的手机全景镜头
CN110459246A (zh) * 2014-07-14 2019-11-15 索尼互动娱乐股份有限公司 用于回放全景视频内容的系统和方法
CN110459246B (zh) * 2014-07-14 2021-07-30 索尼互动娱乐股份有限公司 用于回放全景视频内容的系统和方法
US11120837B2 (en) 2014-07-14 2021-09-14 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
WO2016086494A1 (zh) * 2014-12-05 2016-06-09 钱晓炯 一种智能移动终端的视频呈现方法
CN104639688A (zh) * 2015-02-02 2015-05-20 青岛歌尔声学科技有限公司 一种手机全景镜头
CN105739067A (zh) * 2016-03-23 2016-07-06 捷开通讯(深圳)有限公司 广角拍摄的光学镜头配件
WO2017161871A1 (zh) * 2016-03-23 2017-09-28 捷开通讯(深圳)有限公司 广角拍摄的光学镜头配件
US11089280B2 (en) 2016-06-30 2021-08-10 Sony Interactive Entertainment Inc. Apparatus and method for capturing and displaying segmented content
CN108459452A (zh) * 2017-02-21 2018-08-28 陈武雄 全景式取像装置
CN109257529A (zh) * 2018-10-26 2019-01-22 成都传视科技有限公司 一种应用于移动终端的360度便携镜头

Also Published As

Publication number Publication date
EP2699963A1 (en) 2014-02-26
JP2014517569A (ja) 2014-07-17
CA2833544A1 (en) 2012-10-26
WO2012145317A1 (en) 2012-10-26
US20150234156A1 (en) 2015-08-20
US20120262540A1 (en) 2012-10-18
KR20140053885A (ko) 2014-05-08

Similar Documents

Publication Publication Date Title
CN103562791A (zh) 用于与移动计算设备一起进行全景视频成像的装置和方法
US20160286119A1 (en) Mobile Device-Mountable Panoramic Camera System and Method of Displaying Images Captured Therefrom
US8102395B2 (en) Display apparatus, image processing apparatus and image processing method, imaging apparatus, and program
US10277813B1 (en) Remote immersive user experience from panoramic video
US9939843B2 (en) Apparel-mountable panoramic camera systems
WO2014162324A1 (en) Spherical omnidirectional video-shooting system
US20170195568A1 (en) Modular Panoramic Camera Systems
KR20180073327A (ko) 영상 표시 방법, 저장 매체 및 전자 장치
US10681276B2 (en) Virtual reality video processing to compensate for movement of a camera during capture
CN108347556A (zh) 全景图像拍摄方法、全景图像显示方法、全景图像拍摄装置以及全景图像显示装置
US20170195563A1 (en) Body-mountable panoramic cameras with wide fields of view
US20180295284A1 (en) Dynamic field of view adjustment for panoramic video content using eye tracker apparatus
CN109076253A (zh) 信息处理装置和信息处理方法、以及三维图像数据发送方法
JP2024144488A (ja) 撮像装置、画像通信システム、画像処理方法、プログラム
CN108347557A (zh) 全景图像拍摄装置、显示装置、拍摄方法以及显示方法
US20150156481A1 (en) Heads up display (hud) sensor system
CN107835435B (zh) 一种赛事宽视角直播设备和相关联的直播系统和方法
JP5892797B2 (ja) 送受信システム及び送受信方法、受信装置及び受信方法
US20240153226A1 (en) Information processing apparatus, information processing method, and program
JP2018033107A (ja) 動画の配信装置及び配信方法
JP7487464B2 (ja) 画像処理装置、撮像装置、動画再生システム、方法およびプログラム
JP4148252B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
WO2016196825A1 (en) Mobile device-mountable panoramic camera system method of displaying images captured therefrom
TWI674799B (zh) 多媒體互動系統及多媒體互動方法
US20240323537A1 (en) Display terminal, communication system, display method, and recording medium

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1193877

Country of ref document: HK

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20140205

REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1193877

Country of ref document: HK