CN1727991A - 凹形全景照相机系统 - Google Patents

凹形全景照相机系统 Download PDF

Info

Publication number
CN1727991A
CN1727991A CNA2005100884732A CN200510088473A CN1727991A CN 1727991 A CN1727991 A CN 1727991A CN A2005100884732 A CNA2005100884732 A CN A2005100884732A CN 200510088473 A CN200510088473 A CN 200510088473A CN 1727991 A CN1727991 A CN 1727991A
Authority
CN
China
Prior art keywords
camera
visual field
cameras
panoramic
lenss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005100884732A
Other languages
English (en)
Other versions
CN100524017C (zh
Inventor
R·G·卡特勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN1727991A publication Critical patent/CN1727991A/zh
Application granted granted Critical
Publication of CN100524017C publication Critical patent/CN100524017C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

凹形全景照相机系统包括定向的多个照相机，使得各照相机捕捉的各个图像可被组合以形成全景图像。每个照相机包括具有对应于照相机视野的焦距的镜头。一照相机的视野与每个相邻照相机的视野交迭。至少一个照相机具有与其它照相机不同的视野，用于捕捉距该照相机系统比其它照相机捕捉图像更远的图像。结果，在由多个照相机捕捉的所有图像上获取更均匀的分辨率。镜面组合被用来把对象图像反射到多个照相机中以获取该照相机系统的投影近似中心。

Description

凹形全景照相机系统
相关申请
本申请是申请号为10/608,363题为“Omni-Directional Camera Design For VideoConferencing”(“用于视频会议的全方向照相机设计”)的由本发明人于2003年6月26日提交的受让给本发明受让人微软公司的美国专利申请的部分继续。对所述申请声明优先权，在此对其教义和揭示的全部内容引入作为参考。
本申请还是申请号为10/902,675题为“Omni-Directional Camera withCalibration And Up Look Angle Improvements”(“具有校准和仰视角改进的全方向照相机设计”)的由本发明人于2004年7月28日提交的受让给本发明受让人微软公司的美国专利申请的部分持续。对所述申请声明优先权，在此对其教学并揭示的全部引入作为参考。
技术领域
本发明一般涉及图像处理，尤其涉及全景照相机系统和凹形照相机技术。
背景技术
全景图像是跨度达360°的广角照相机图像。全景图像可用具有特殊镜头的照相机来录制，通过使照相机扫描一场景或通过将来自多个照相机的图像组合成单个全景图像来实现。特殊的广角镜头非常昂贵，并且正因为这个而不能用于许多应用。使照相机扫描一场景不能捕捉同一情况下的整个景象。组合来自多个照相机的图像由于缺少多个照相机之间的公共投射中心而产生失真。
全景视频照相机装置在会议室情形中特别有用。单个全景视频照相机可捕捉会议室大范围内的与会者，从而观察者可同时看到大部分或全部的与会者。可捕捉会议室360°视野的全景视频照相机装置可拍摄到所有的与会者。然而因为与会者位于距该装置不同距离处，会产生问题。
附图说明
集合附图参阅以下详细描述，本发明的前述各方面及其附带优点将变得更容易理解和认识，其中：
图1是根据本发明的示例性凹形全景照相机系统的示图。
图2示出相对长桌定向的360°全景照相机配置的示例性镜头配置的示图。
图3示出根据本发明的示例性凹形全景照相机配置。
图4是根据本发明的示例性系统的框图。
具体实施方式
在此描述全景照相机装置，它利用多个照相机来捕捉达到360°的全景图像。全景照相机装置提供一凹形全景图像。当在此使用时，“凹形”指的是多个照相机的至少之一被配置成以比由全景照相机装置中其它多个照相机的一个或多个所捕捉图像更高的象素密度来捕捉图像。
希望在会议桌旁就座的每个人脸上的至少40象素。如果多照相机全景装置中的所有照相机都具有相同的焦距，则为了获取坐于长桌远端(即端部)的人的图像的所需分辨率，对坐于桌子侧面(或近端)的人就获得了过多的分辨率。这造成了构建多照相机全景装置中不必要的附加开销。
在这里给出的一个或多个示例中，全景照相机装置被配置成放置在会议桌上，该会议桌的一个或多个边距全景照相机装置比它的其它一个或多个边远。朝向桌边的较远的照相机包括具有比朝向桌边离全景照相机装置较近的照相机镜头更长的焦距的镜头。结果，桌子远端比桌子近端可获取较高分辨率。
尽管某些照相机获得比其它照相机低的分辨率，这些照相机拍摄距照相机较近的对象(人)。结果可在桌子周围获得统一的分辨率，这允许全景图像的象素的更有效分配。此外，通过利用凹形照相机设计可获得更大的成本功效。
在本说明书中，参照与照相机相关联的视野来描述照相机。较小(或较窄)的视野对应于较长的焦距和较高的分辨率。相反，较大(或较宽)的视野对应于较短的焦距和较低的分辨率。
任一照相机的视野与每一相邻照相机的视野略有交迭。这在“缝合”各个图像以形成全景图像时提供较大准确性。
这样的缝合过程在申请号为10/262,292题为“Foveated Wide-Angle ImagingSystem and Method for Capturing and Viewing Wide-Angle Images in Real Time”(“用于实时捕捉和查看广角图像的凹形广角成像系统和方法”)于2002年9月30日由Zicheng Liu和Michael Cohen提交的受让给本申请受让人微软公司的美国专利中描述。所述申请所教的和揭示的在此全部引入作为参考。
除在前述申请中揭示的缝合系统之外，所述申请还描述了一种实时广角图像校正系统，它利用一翘曲函数来处理缝合桌面以校正在初步凹形广角图像中呈现的失真和感觉问题。这种图像校正系统还可与以下提出的概念一起使用。
示例性摄影装置
图1是根据本发明的示例性凹形全景照相机系统100的示图。注意，该示例性凹形全景照相机系统100仅是可在本发明环境中利用的照相机配置的一个示例。被配置成捕捉大于180°的全景图像的任何多照相机系统都可根据在此提出的凹形设计概念使用。
示例性凹形全景照相机系统100包括具有多个镜面104的镜面组合102。尽管可使用其它配置，图1所示的镜面组合102示例组成一个倒金字塔配置。此外，尽管所示镜面组合102包括6个镜面104，其它实现可包括或更多或更少的镜面。
镜面组合102被排列在具有多个单独照相机108的镜头组合106。对应于每个镜面104都有一个单独照相机108。镜面104将来自对象的光波反射到对应的单独照相机108中，然后该照相机将光波聚焦于一个或多个成像传感器上(未示出)。镜面组合102由支柱110支撑在镜头组合106之上。
示例性凹形全景照相机系统100的特定配置获取了投影近似中心，它减少了照相机系统100产生的图像中的视差错误。
如下将要详细描述的，每个单独照相机108包括一照相机镜头(未示出)。照相机镜头具有与其相关联的焦距。照相机镜头的某些属性(例如尺寸和厚度)影响焦距。特定焦距与镜头所获得的角分辨率以及镜头所捕捉的视野相关联。较长的焦距获取较高的角分辨率但捕捉较小的视野。较短的焦距获取较低的角分辨率但捕捉较大的视野。
示例性镜头配置
图2示出相对长桌202定向的360°全景照相机配置的示例性镜头配置200的示图。示例性镜头配置200包括若干镜头204-208。
两个长镜头204被相对放置，即两个镜头204相对面对。两个长镜头204与长桌202的长轴210平行，从而每个镜头面向桌子202的远端212。两个长镜头204具有提供坐于桌子远端212的人的脸部的足够分辨率(例如脸上约40象素)的焦距。
第一对宽镜头206相对放置并沿第一宽轴214彼此面对，该宽轴以非垂直方式穿过长桌202的两个近端216。第二对宽镜头208相对放置并沿第二宽轴218彼此面对，该宽轴以非垂直方式穿过长桌202的两个近端216。
第一对宽镜头206和第二对宽镜头208沿长桌202的短轴220左右对称，该短轴从桌子202的一个近端216的中点到桌子202的中心(未示出)再到桌子202另一近端216的中点。
两个长镜头204具有足以获取坐于长桌202远端212的人(未示出)的脸上约40象素的分辨率的焦距。尽管不是必需的，在本示例中该焦距是相同的，因为每个长镜头204位于距长桌202相应远端212距离相等。
第一对宽镜头206中的每个宽镜头206具有足以获取坐于长桌202近端216的人脸上约40象素的分辨率的焦距。尽管不是必需的，在本示例中该焦距是相同的，因为第一对宽镜头206中的每一个位于距长桌202相应近端216距离相近。
尽管在本示例中示出了4个宽镜头206、208，注意，根据在此所述技术仅可使用一对宽镜头。在这种配置中，每个宽镜头将面对长桌202的不同近端216。然而，当照相机镜头的视野超过约75°时其成本大大增加。如果仅利用两个宽镜头，则镜头的视野将不得不大于75°；因此，利用上述的包括至少4个宽镜头的配置可能成本和效率更高。
还要注意，在特定配置中仅可使用一个或两个以上长镜头。此外，也可使用4个以上长镜头。根据在此陈述的描述可使用具有不同焦距的三个或多个照相机/镜头的任意组合和大于180°的聚合视野。
众多单一焦距可被组合到单个装置中。尽管各实现在此被示为并描述为具有两个单一焦距，可组合任何可实践数量的单一焦距。装置可组合具有三个、四个或多个单一焦距的镜头。
一般而言，将使用照相机的桌子或房间的形状决定将要实现的镜头的焦距和组合。
示例性凹形全景照相机配置
图3根据本发明示出示例性凹形全景照相机配置300。该示例性配置300仅作为示例示出。与该示例性配置300相关的所示和/或所述的任何装置仅为说明而示出或描述，且并非旨在作出任何限制或特别地提出优选实施例。
示例性配置300包括具有两端304和两侧306的长桌302。每个端部302为5英尺长而每个侧面为16英尺长。示例性配置300还包括具有类似于图1和图2中所示和所述排列的6个镜头(未示出)的凹形全景照相机系统308。
6个视野与凹形全景照相机系统308相关联，对应于每个镜头有一个视野。如图3所示，系统308包括两个56°的视野和4个70°的视野。
两个56°的视野分别朝向长桌302的端部304。如前所述，56°的视野对应于提供坐在桌子302的端部304的人脸上约40象素的分辨率的焦距。
四个70°的视野分别朝向长桌302的侧面306。70°的视野对应于提供坐在桌子302的侧面306的人脸上约40象素的分辨率的焦距。
因而在长桌302的四周实现了基本均匀的分辨率。其它技术-诸如非圆柱全景-可与在此所述其它技术一起使用来提供围绕桌子分辨率的更大均匀性。结果，坐于桌子302的末端304的人脸图像的尺寸将与坐于桌子302的侧面306的人脸图像的尺寸基本相同。
注意每个视野与任一相邻视野都有交迭。如下将要详述的，提供略有交迭的各个图像允许在从各个图像组合全景图像的缝合过程中有更大的灵活性。这种交迭可变化但通常是至少0.5°的交迭。在图3所示示例中，聚合视野是392°，比所需的360°图像还要多32°。因此，每对相邻视野之间的平均交迭是5.33°。
尽管不是必需的，单一焦距的数量可对应于放置照相机装置的桌子的主轴数量。例如，在本例中，方桌具有两个轴，长轴和短轴。本例中所示焦距数量为两个。桌子轴数和单一焦距数量之间的一一对应关系可提供最佳实现。
示例性系统
图4是根据本发明的示例性系统400的框图。在以下讨论中，继续引用前面图中所示和所述的元件和标号。
示例性系统400包括处理器402和存储器404。至少一个长照相机406和至少一个短照相机407被包括在示例性系统400中。术语“长照相机”指具有相对于“短照相机”的较长焦距、较高分辨率和较小视野的照相机。这样参照如图3所示示例，56°的视野可与“长”照相机相关联，而70°的视野可与“短”照相机相关联。
示例性系统400被示为具有一个或多个话筒408、一个或多个扬声器410、一个输入/输出(I/O)模块412、以及可包括用户可操作控件和显示的一个用户界面414。电源模块416向系统400及其组件，以及实现在此所述某些功能可能需要的其它各种硬件418提供电源。
存储器404存储包括用于实现系统400及其组件的操作功能的处理器可执行指令的操作系统420。由照相机406、407检测的多个图像422存储在存储器404中。
一个或多个再映射表格424也被存储在存储器404中，并由图像接收单元426和图像缝合模块428用来确定各个图像422从图像空间到全景空间的正确映射以创建全景图像430。一种或多种再映射技术的细节在申请号为10/262,292先前已经引入作为参考的美国专利中描述。
结论
尽管已说明并描述了一个或多个示例性实现，将理解可作各种改变而不背离所附权利要求的精神和范围。

Claims (20)

1.一种照相机系统，其特征在于，包括：
至少一个第一照相机镜头，具有对应于第一视野的第一焦距；
多个第二照相机镜头，具有对应于第二视野的第二焦距，所述第一视野比所述第二视野小；以及
其中所述至少一个第一照相机镜头和所述多个第二照相机镜头的集聚视野比180°大。
2.如权利要求1所述的照相机系统，其特征在于，所述多个第二照相机镜头还包括多对第二照相机镜头。
3.如权利要求2所述的照相机系统，其特征在于，所述多个第二照相机镜头对还包括两对第二照相机镜头。
4.如权利要求3所述的照相机系统，其特征在于，所述两对第二照相机镜头对的每一个还包括两个相对放置的照相机镜头。
5.如权利要求1所述的照相机系统，其特征在于，还包括：
一图像接收单元，被配置成从所述至少一个第一照相机镜头和所述多个第二照相机镜头中接收图像输入；以及
一图像缝合模块，被配置成把所述图像接收单元接收的图像组合成一全景图像。
6.如权利要求5所述的照相机系统，其特征在于：
所述全景图像跨越一个360°视野；以及
所述集聚视野比360°大。
7.如权利要求5所述的照相机系统，其特征在于：
所述全景图像具有大于180°的视野范围；以及
所述集聚视野比所述全景图像视野范围大。
8.如权利要求1所述的照相机系统，其特征在于，所述至少一个第一照相机镜头还包括两个第一照相机镜头，每个第一照相机镜头与另一所述第一照相机镜头相对放置。
9.如权利要求8所述的照相机系统，其特征在于，所述多个第二照相机镜头还包括两对第二照相机镜头。
10.如权利要求1所述的照相机系统，其特征在于，还包括具有与每个照相机镜头相对应的镜面的一镜面组合，每个镜面被配置成把对象图像反射到所述对应照相机镜头。
11.一种用于捕捉大于180°的广角图像的全景照相机系统，其特征在于，包括：
一个或多个具有第一视野的第一照相机；
至少两个具有第二视野的第二照相机；
其中：
每个视野与至少一个其它视野交迭；以及
从组合所述第一视野和所述第二视野导出的集聚视野等于所述广角图像加上所述诸视野的交迭量。
12.如权利要求11所述的全景照相机系统，其特征在于：
所述一个或多个第一照相机还包括两个相对放置的第一照相机；以及
所述至少两个第二照相机还包括一对或多对第二照相机，每对第二照相机相对放置。
13.如权利要求12所述的全景照相机系统，其特征在于，所述一对或多对第二照相机还包括两对第二照相机。
14.如权利要求11所述的全景照相机系统，其特征在于，还包括一图像缝合模块，它被配置成组合由所述第一照相机和第二照相机记录的各个图像以创建所述广角图像。
15.如权利要求11所述的全景照相机系统，其特征在于，还包括具有与所述第一和第二照相机的每一个相对应的镜面的一镜面组合，其中所述第一和第二照相机被配置成分别记录由各相应镜面反射的图像。
16.如权利要求11所述的全景照相机系统，其特征在于，所述第一和第二视野的每一个还包括小于75°的视野。
17.一种照相机系统，其特征在于，包括：
至少一对具有第一视野的第一照相机；
至少一对具有比所述第一视野大的第二视野的第二照相机；
一缝合模块，被配置成组合来自所述第一和第二照相机的每一个的图像以形成一360°全景图像；以及
其中每个视野与至少另一视野交迭。
18.如权利要求17所述的照相机系统，其特征在于，每对第一照相机和每对第二照相机包括相对放置的两个照相机。
19.如权利要求17所述的照相机系统，其特征在于，每个第一视野和每个第二视野还包括小于75°的视野。
20.如权利要求17所述的照相机系统，其特征在于，还包括相对所述第一照相机和所述第二照相机放置的多个镜面，以便反射由所述第一照相机和所述第二照相机拍摄的对象图像。
CNB2005100884732A 2004-07-28 2005-07-28 凹形全景照相机系统 Expired - Fee Related CN100524017C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/902,675 US7495694B2 (en) 2004-07-28 2004-07-28 Omni-directional camera with calibration and up look angle improvements
US10/902,675 2004-07-28
US11/027,068 2004-12-30

Publications (2)

Publication Number Publication Date
CN1727991A true CN1727991A (zh) 2006-02-01
CN100524017C CN100524017C (zh) 2009-08-05

Family

ID=35731669

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005100884732A Expired - Fee Related CN100524017C (zh) 2004-07-28 2005-07-28 凹形全景照相机系统

Country Status (2)

Country Link
US (2) US7495694B2 (zh)
CN (1) CN100524017C (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101980080A (zh) * 2010-09-19 2011-02-23 华为终端有限公司 共光心摄像机、图像处理方法及装置
CN102508391A (zh) * 2010-09-24 2012-06-20 微软公司 广角视野的活动照明成像系统
CN103338343A (zh) * 2013-05-29 2013-10-02 山西绿色光电产业科学技术研究院（有限公司） 以全景图像为基准的多路图像无缝拼接方法及装置
CN105431330A (zh) * 2013-03-15 2016-03-23 周尔扬(周尔扬可撤销信托之受托人) 具有方向定向导航系统的视觉定位
CN105991904A (zh) * 2015-02-28 2016-10-05 福州瑞芯微电子股份有限公司 具有摄像功能的便携式电子设备与摄像模组
CN106657753A (zh) * 2017-03-08 2017-05-10 信利光电股份有限公司 一种镜头支架及多摄像头模组
CN107272322A (zh) * 2017-08-04 2017-10-20 追光人动画设计（北京）有限公司 基于光反射的双眼全景摄像阵列系统
CN108307675A (zh) * 2015-04-19 2018-07-20 快图凯曼有限公司 用于vr/ar应用中的深度增强的多基线相机阵列系统架构
CN109905571A (zh) * 2017-12-07 2019-06-18 富泰华工业（深圳）有限公司 全景摄像机增强现实系统
US11270110B2 (en) 2019-09-17 2022-03-08 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11302012B2 (en) 2019-11-30 2022-04-12 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
US11525906B2 (en) 2019-10-07 2022-12-13 Intrinsic Innovation Llc Systems and methods for augmentation of sensor systems and imaging systems with polarization
US11580667B2 (en) 2020-01-29 2023-02-14 Intrinsic Innovation Llc Systems and methods for characterizing object pose detection and measurement systems
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
US11797863B2 (en) 2020-01-30 2023-10-24 Intrinsic Innovation Llc Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7576766B2 (en) * 2005-06-30 2009-08-18 Microsoft Corporation Normalized images for cameras
US7822338B2 (en) * 2006-01-20 2010-10-26 Sony Ericsson Mobile Communications Ab Camera for electronic device
US8024189B2 (en) 2006-06-22 2011-09-20 Microsoft Corporation Identification of people using multiple types of input
IL177987A0 (en) * 2006-09-10 2007-07-04 Wave Group Ltd Vision ball - a self contained compact & portable omni - directional monitoring and automatic alarm video device
US8072482B2 (en) 2006-11-09 2011-12-06 Innovative Signal Anlysis Imaging system having a rotatable image-directing device
US10831093B1 (en) * 2008-05-19 2020-11-10 Spatial Cam Llc Focus control for a plurality of cameras in a smartphone
US8355042B2 (en) 2008-10-16 2013-01-15 Spatial Cam Llc Controller in a camera for creating a panoramic image
US20100097444A1 (en) * 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
US8134589B2 (en) * 2008-07-17 2012-03-13 Eastman Kodak Company Zoom by multiple image capture
JP5247356B2 (ja) * 2008-10-29 2013-07-24 キヤノン株式会社 情報処理装置およびその制御方法
JP5483863B2 (ja) * 2008-11-12 2014-05-07 キヤノン株式会社 情報処理装置およびその制御方法
US8108147B1 (en) * 2009-02-06 2012-01-31 The United States Of America As Represented By The Secretary Of The Navy Apparatus and method for automatic omni-directional visual motion-based collision avoidance
WO2010116366A1 (en) * 2009-04-07 2010-10-14 Nextvision Stabilized Systems Ltd Video motion compensation and stabilization gimbaled imaging system
US20100289904A1 (en) * 2009-05-15 2010-11-18 Microsoft Corporation Video capture device providing multiple resolution video feeds
US9430923B2 (en) 2009-11-30 2016-08-30 Innovative Signal Analysis, Inc. Moving object detection, tracking, and displaying systems
US9635251B2 (en) 2010-05-21 2017-04-25 Qualcomm Incorporated Visual tracking using panoramas on mobile devices
US8933986B2 (en) 2010-05-28 2015-01-13 Qualcomm Incorporated North centered orientation tracking in uninformed environments
US9485495B2 (en) 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
US9171384B2 (en) * 2011-11-08 2015-10-27 Qualcomm Incorporated Hands-free augmented reality for wireless communication devices
US8731335B2 (en) * 2011-11-28 2014-05-20 Ati Technologies Ulc Method and apparatus for correcting rotation of video frames
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US9071756B2 (en) 2012-12-11 2015-06-30 Facebook, Inc. Systems and methods for digital video stabilization via constraint-based rotation smoothing
US9124762B2 (en) 2012-12-20 2015-09-01 Microsoft Technology Licensing, Llc Privacy camera
CN107509029A (zh) * 2013-01-07 2017-12-22 华为技术有限公司 一种图像处理方法及装置
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9386222B2 (en) * 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9549107B2 (en) 2014-06-20 2017-01-17 Qualcomm Incorporated Autofocus for folded optic array cameras
US9294672B2 (en) 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US10139819B2 (en) 2014-08-22 2018-11-27 Innovative Signal Analysis, Inc. Video enabled inspection using unmanned aerial vehicles
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
US10216982B2 (en) * 2015-03-12 2019-02-26 Microsoft Technology Licensing, Llc Projecting a virtual copy of a remote object
JP6604831B2 (ja) * 2015-11-30 2019-11-13 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム
US11089265B2 (en) 2018-04-17 2021-08-10 Microsoft Technology Licensing, Llc Telepresence devices operation methods
US10554928B2 (en) 2018-04-17 2020-02-04 Microsoft Technology Licensing, Llc Telepresence device
US10951859B2 (en) 2018-05-30 2021-03-16 Microsoft Technology Licensing, Llc Videoconferencing device and method
US11356586B2 (en) 2019-03-16 2022-06-07 Microsoft Technology Licensing, Llc Panoramic camera system
US11064154B2 (en) 2019-07-18 2021-07-13 Microsoft Technology Licensing, Llc Device pose detection and pose-related image capture and processing for light field based telepresence communications
US11553123B2 (en) 2019-07-18 2023-01-10 Microsoft Technology Licensing, Llc Dynamic detection and correction of light field camera array miscalibration
US11270464B2 (en) 2019-07-18 2022-03-08 Microsoft Technology Licensing, Llc Dynamic detection and correction of light field camera array miscalibration
US11082659B2 (en) 2019-07-18 2021-08-03 Microsoft Technology Licensing, Llc Light field camera modules and light field camera module arrays
US11218632B2 (en) * 2019-11-01 2022-01-04 Qualcomm Incorporated Retractable panoramic camera module
DE102020204108A1 (de) 2020-03-30 2021-09-30 Airbus Operations Gmbh Videoüberwachungssystem für eine Kabine eines Luftfahrzeugs, Verfahren zum Überwachen einer Kabine eines Luftfahrzeugs und Luftfahrzeug
CN113965273B (zh) * 2021-12-23 2022-04-08 国网江西省电力有限公司信息通信分公司 一种能信共传光纤的激光供能方法及其系统

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3118340A (en) * 1964-01-21 Panoramic motion picture camera arrangement
US635697A (en) * 1898-11-01 1899-10-24 Louis G Laureau Aerial advertising device.
US2931267A (en) * 1953-01-27 1960-04-05 Cinerama Inc Means for producing a picture comprising a plurality of adjacent images
US4504857A (en) 1982-09-07 1985-03-12 Martech International Gyro-compass positioning apparatus
US4706119A (en) 1985-09-11 1987-11-10 Shell Offshore Inc. Camera vision axis inclination indication apparatus
US5796426A (en) * 1994-05-27 1998-08-18 Warp, Ltd. Wide-angle image dewarping method and apparatus
JP3458486B2 (ja) 1994-10-25 2003-10-20 松下電器産業株式会社 全方位撮影装置及び全方位画像合成装置
US5745305A (en) * 1995-04-28 1998-04-28 Lucent Technologies Inc. Panoramic viewing apparatus
US5990934A (en) * 1995-04-28 1999-11-23 Lucent Technologies, Inc. Method and system for panoramic viewing
US5539483A (en) * 1995-06-30 1996-07-23 At&T Corp. Panoramic projection apparatus
US5793527A (en) * 1995-06-30 1998-08-11 Lucent Technologies Inc. High resolution viewing system
US6111702A (en) * 1995-11-30 2000-08-29 Lucent Technologies Inc. Panoramic viewing system with offset virtual optical centers
US6115176A (en) * 1995-11-30 2000-09-05 Lucent Technologies Inc. Spherical viewing/projection apparatus
US5969760A (en) * 1996-03-14 1999-10-19 Polaroid Corporation Electronic still camera having mechanically adjustable CCD to effect focus
US5880777A (en) * 1996-04-15 1999-03-09 Massachusetts Institute Of Technology Low-light-level imaging and image processing
US6459451B2 (en) * 1996-06-24 2002-10-01 Be Here Corporation Method and apparatus for a panoramic camera to capture a 360 degree image
US6331869B1 (en) * 1998-08-07 2001-12-18 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
US6373642B1 (en) * 1996-06-24 2002-04-16 Be Here Corporation Panoramic imaging arrangement
US6341044B1 (en) * 1996-06-24 2002-01-22 Be Here Corporation Panoramic imaging arrangement
US6493032B1 (en) * 1996-06-24 2002-12-10 Be Here Corporation Imaging arrangement which allows for capturing an image of a view at different resolutions
JP3198938B2 (ja) * 1996-09-03 2001-08-13 株式会社エフ・エフ・シー 移動カメラ用の画像処理装置
US6466254B1 (en) * 1997-05-08 2002-10-15 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
US6043837A (en) * 1997-05-08 2000-03-28 Be Here Corporation Method and apparatus for electronically distributing images from a panoptic camera system
US6356296B1 (en) * 1997-05-08 2002-03-12 Behere Corporation Method and apparatus for implementing a panoptic camera system
US6011558A (en) * 1997-09-23 2000-01-04 Industrial Technology Research Institute Intelligent stitcher for panoramic image-based virtual worlds
US6552744B2 (en) * 1997-09-26 2003-04-22 Roxio, Inc. Virtual reality camera
US6924832B1 (en) * 1998-08-07 2005-08-02 Be Here Corporation Method, apparatus & computer program product for tracking objects in a warped video image
US6195204B1 (en) * 1998-08-28 2001-02-27 Lucent Technologies Inc. Compact high resolution panoramic viewing system
US6144501A (en) * 1998-08-28 2000-11-07 Lucent Technologies Inc. Split mirrored panoramic image display
US6128143A (en) * 1998-08-28 2000-10-03 Lucent Technologies Inc. Panoramic viewing system with support stand
US6141145A (en) * 1998-08-28 2000-10-31 Lucent Technologies Stereo panoramic viewing system
US6285365B1 (en) * 1998-08-28 2001-09-04 Fullview, Inc. Icon referenced panoramic image display
US6330022B1 (en) * 1998-11-05 2001-12-11 Lucent Technologies Inc. Digital processing apparatus and method to support video conferencing in variable contexts
US6369818B1 (en) * 1998-11-25 2002-04-09 Be Here Corporation Method, apparatus and computer program product for generating perspective corrected data from warped information
US6175454B1 (en) * 1999-01-13 2001-01-16 Behere Corporation Panoramic imaging arrangement
US6597520B2 (en) * 1999-01-13 2003-07-22 Be Here Corporation Panoramic imaging arrangement
US6169858B1 (en) 1999-07-26 2001-01-02 Eastman Kodak Company Panoramic image capture aid
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US7123292B1 (en) * 1999-09-29 2006-10-17 Xerox Corporation Mosaicing images with an offset lens
TW476216B (en) * 2000-08-25 2002-02-11 Elecvision Inc Method for positioning image in a digital image capturing device
US7099510B2 (en) * 2000-11-29 2006-08-29 Hewlett-Packard Development Company, L.P. Method and system for object detection in digital images
US6741250B1 (en) * 2001-02-09 2004-05-25 Be Here Corporation Method and system for generation of multiple viewpoints into a scene viewed by motionless cameras and for presentation of a view path
US6756990B2 (en) * 2001-04-03 2004-06-29 Be Here Corporation Image filtering on 3D objects using 2D manifolds
US6672728B1 (en) 2001-09-04 2004-01-06 Exon Science Inc. Exterior rearview mirror with automatically adjusted view angle
US20040021764A1 (en) * 2002-01-28 2004-02-05 Be Here Corporation Visual teleconferencing apparatus
US20040008423A1 (en) * 2002-01-28 2004-01-15 Driscoll Edward C. Visual teleconferencing apparatus
US20030142402A1 (en) * 2002-01-30 2003-07-31 Be Here Corporation Method and apparatus for triggering a remote flash on a camera with a panoramic lens
US7012757B2 (en) * 2002-05-08 2006-03-14 Be Here Corporation Method for designing a lens system and resulting apparatus
US7031499B2 (en) * 2002-07-22 2006-04-18 Mitsubishi Electric Research Laboratories, Inc. Object recognition system
US7020337B2 (en) * 2002-07-22 2006-03-28 Mitsubishi Electric Research Laboratories, Inc. System and method for detecting objects in images
US20040254982A1 (en) 2003-06-12 2004-12-16 Hoffman Robert G. Receiving system for video conferencing system
US7019918B2 (en) * 2003-06-12 2006-03-28 Be Here Corporation Panoramic imaging system
US7197186B2 (en) * 2003-06-17 2007-03-27 Mitsubishi Electric Research Laboratories, Inc. Detecting arbitrarily oriented objects in images
US7212651B2 (en) * 2003-06-17 2007-05-01 Mitsubishi Electric Research Laboratories, Inc. Detecting pedestrians using patterns of motion and appearance in videos

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101980080B (zh) * 2010-09-19 2012-05-23 华为终端有限公司 共光心摄像机、图像处理方法及装置
CN101980080A (zh) * 2010-09-19 2011-02-23 华为终端有限公司 共光心摄像机、图像处理方法及装置
CN102508391A (zh) * 2010-09-24 2012-06-20 微软公司 广角视野的活动照明成像系统
CN102508391B (zh) * 2010-09-24 2014-11-19 微软公司 广角视野的活动照明成像系统
US10051242B2 (en) 2013-03-15 2018-08-14 Evan Joe Visual positioning with direction orientation navigation system
CN105431330A (zh) * 2013-03-15 2016-03-23 周尔扬(周尔扬可撤销信托之受托人) 具有方向定向导航系统的视觉定位
CN105431330B (zh) * 2013-03-15 2018-09-25 周亦伟 具有方向定向导航系统的视觉定位
CN103338343A (zh) * 2013-05-29 2013-10-02 山西绿色光电产业科学技术研究院（有限公司） 以全景图像为基准的多路图像无缝拼接方法及装置
CN105991904A (zh) * 2015-02-28 2016-10-05 福州瑞芯微电子股份有限公司 具有摄像功能的便携式电子设备与摄像模组
CN105991904B (zh) * 2015-02-28 2019-11-22 福州瑞芯微电子股份有限公司 具有摄像功能的便携式电子设备与摄像模组
CN108307675A (zh) * 2015-04-19 2018-07-20 快图凯曼有限公司 用于vr/ar应用中的深度增强的多基线相机阵列系统架构
US11368662B2 (en) 2015-04-19 2022-06-21 Fotonation Limited Multi-baseline camera array system architectures for depth augmentation in VR/AR applications
CN106657753A (zh) * 2017-03-08 2017-05-10 信利光电股份有限公司 一种镜头支架及多摄像头模组
CN107272322A (zh) * 2017-08-04 2017-10-20 追光人动画设计（北京）有限公司 基于光反射的双眼全景摄像阵列系统
CN109905571A (zh) * 2017-12-07 2019-06-18 富泰华工业（深圳）有限公司 全景摄像机增强现实系统
US11270110B2 (en) 2019-09-17 2022-03-08 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
US11699273B2 (en) 2019-09-17 2023-07-11 Intrinsic Innovation Llc Systems and methods for surface modeling using polarization cues
US11982775B2 (en) 2019-10-07 2024-05-14 Intrinsic Innovation Llc Systems and methods for augmentation of sensor systems and imaging systems with polarization
US11525906B2 (en) 2019-10-07 2022-12-13 Intrinsic Innovation Llc Systems and methods for augmentation of sensor systems and imaging systems with polarization
US11302012B2 (en) 2019-11-30 2022-04-12 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
US11842495B2 (en) 2019-11-30 2023-12-12 Intrinsic Innovation Llc Systems and methods for transparent object segmentation using polarization cues
US11580667B2 (en) 2020-01-29 2023-02-14 Intrinsic Innovation Llc Systems and methods for characterizing object pose detection and measurement systems
US11797863B2 (en) 2020-01-30 2023-10-24 Intrinsic Innovation Llc Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US11683594B2 (en) 2021-04-15 2023-06-20 Intrinsic Innovation Llc Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Also Published As

Publication number Publication date
US7593042B2 (en) 2009-09-22
US20060023075A1 (en) 2006-02-02
US7495694B2 (en) 2009-02-24
US20060023074A1 (en) 2006-02-02
CN100524017C (zh) 2009-08-05

Similar Documents

Publication Publication Date Title
CN1727991A (zh) 凹形全景照相机系统
US7298392B2 (en) Omni-directional camera design for video conferencing
US20050117015A1 (en) Foveated panoramic camera system
TW396292B (en) Stereo panoramic viewing system
CN1700776A (zh) 三维图像显示方法、三维图像捕获方法以及三维显示装置
US6545701B2 (en) Panoramic digital camera system and method
EP1367819A1 (en) Image input device
US9143727B2 (en) Dual-axis image equalization in video conferencing
CN1093177A (zh) 不用摄影胶卷之制作三维照片的方法及装置
KR20150068299A (ko) 다면 영상 생성 방법 및 시스템
CN1922544A (zh) 用于提供组合图像的方法和装置
CN1765133A (zh) 三维电视系统和提供三维电视的方法
JP2008077091A (ja) 自動立体ビデオ画像撮影装置
WO2010130084A1 (zh) 远程呈现系统、方法及视频采集设备
CN1407392A (zh) 剧场视听系统
CA2534947A1 (en) Camera and method for optically capturing a screen
CN102209254A (zh) 一种一维集成成像方法和装置
CN1771740A (zh) 立体全景图像捕捉装置
JPH10504403A (ja) 可視像を作ること
CN1829931A (zh) 三维图象显示系统
CN1788492A (zh) 允许电视会议与会者之间视线接触的装置和方法
US20210314548A1 (en) Device comprising a multi-aperture imaging device for generating a depth map
JP4523538B2 (ja) 立体映像撮影表示装置
JPH1198532A (ja) 立体撮像装置および立体表示装置
JPH08289329A (ja) 立体画像撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150522

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150522

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090805

Termination date: 20190728