CN107439002B - 深度成像 - Google Patents

深度成像 Download PDF

Info

Publication number
CN107439002B
CN107439002B CN201680019956.3A CN201680019956A CN107439002B CN 107439002 B CN107439002 B CN 107439002B CN 201680019956 A CN201680019956 A CN 201680019956A CN 107439002 B CN107439002 B CN 107439002B
Authority
CN
China
Prior art keywords
reflector
subsystem
image
image sensor
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680019956.3A
Other languages
English (en)
Other versions
CN107439002A (zh
Inventor
J·M·胡德曼
M·T·德普伊
A·K·云格尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107439002A publication Critical patent/CN107439002A/zh
Application granted granted Critical
Publication of CN107439002B publication Critical patent/CN107439002B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/19626—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses
    • G08B13/19628—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses of wide angled cameras and camera groups, e.g. omni-directional cameras, fish eye, single units having multiple cameras achieving a wide angle view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本文公开了与360度视野的深度成像相关的示例。一个示例提供了一种深度成像系统，包括：图像传感器、包括被布置成朝向图像传感器反射周围环境的径向视野的一个或多个反射器的反射器子系统、被配置成将光投射到反射器子系统上以供反射到周围环境中的投影仪，以及包括逻辑子系统和存储子系统的计算设备，该存储子系统包括可由逻辑子系统执行以从图像传感器接收图像数据并基于图像数据输出深度图像的指令。

Description

深度成像
背景
被配置成捕捉宽视野的场景的成像系统在许多应用中可能是有用的，包括但不限于在会议室设置中的视听通信。例如，来自多个相机的图像可被拼接在一起，以形成捕捉围绕会议桌就座的多个会议参与者的组合图像。组合图像接着可被发送到远程参与会议的另一方，以使得对方可以在会议期间看见各会议参与者。
概述
本文公开了与360度视野的深度成像相关的示例。一个示例提供了一种深度成像系统，包括：图像传感器、包括被布置成朝向图像传感器反射周围环境的径向视野的一个或多个反射器的反射器子系统、被配置成将光投射到反射器子系统上以供反射到周围环境中的投影仪，以及包括逻辑子系统和存储子系统的计算设备，存储子系统包括可由逻辑子系统执行以从图像传感器接收图像数据并基于图像数据输出深度图像的指令。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。
附图简述
图1示出了360度视听深度成像系统的示例使用场景。
图2示出了经由处理由图1的系统捕捉的深度图像数据而被获得的示例360度深度数据。
图3示出了示例360度视听通信系统的框图。
图4示出了示例360度视听深度成像系统的视图。
图5示出了用于360度深度成像的示例反射器布置。
图6示出了用于360度深度成像的另一示例反射器布置。
图7描绘了在施加失真校正之前和之后从图5和/或图6的(诸)示例反射器布置接收到的360度图像数据的示意性表示。
图8-10示出了描绘用于360度深度成像的单个反射器布置的示例的框图。
图11描绘了从多反射器布置接收到的360度图像数据的示意性表示。
图12和13示出了用于360度深度成像的双反射器布置的框图示例。
图14描绘了从非球形椭球反射器接收到的图像数据的表示。
图15示出了描绘用于360度成像的非球形椭球反射器布置的示例的框图。
图16是描绘用于执行360度视野深度成像的示例方法的流程图。
图17示出了示例计算系统的框图。
详细描述
如以上所提到的，场景的360度视野的图像可通过经由多个相机捕捉不同视野的多个图像并将这些图像一同拼接成一个连续的全景图像来被形成。然而，图像拼接可能会在最终图像中产生伪像。此外，相对于单个图像传感器的使用，多个相机的使用可增加成像设备的费用。广角镜头(例如，鱼眼镜头)也可被用来捕捉宽全景或者半球形图像。然而，这样的镜头可能会使图像显著地失真。
因此，本文公开了与经由单个图像传感器的使用来捕捉具有360度径向视野的图像相关的示例。此外，还公开了利用360度图像采集系统的光学组件中的一个或多个来将被投射的光引导到360度场径向视野中并因此能够实现深度成像的示例。
图1示出了其中360度深度成像被用于会议室100的示例使用场景。更具体而言，图1例示了被置于会议室100的中心由协商会议中的多个参与者(即，人员106、108、110、112和114)围绕的桌子104上的360度视听通信系统102。会议室100还包括对象，即显示器116和窗118。
图2示出了在已针对失真对图像数据进行了校正之后，从360度视听通信系统102所捕捉的深度图像产生的数据200的示例。深度成像可被用来标识环境中的人类图像，并且进一步使骨骼模型适配人类图像106、108、110、112和114。对骨骼模型随时间的变化的分析可允许人类图像的姿势得到标识，从而能够实现对视听通信系统102和/或与视听通信系统102通信的其他计算设备(未示出)的基于姿势的控制。骨骼跟踪还可被用来实现诸如将二维图像传感器数字地变焦朝向正在作出姿势或在环境中到处移动的人员等功能。深度图像数据也可被用来作为整体形成环境(如由桌子104、显示器116和窗118所例示)的深度图，从而允许对象跟踪和其他功能被实现。
视听通信系统102也可被用来获取周围环境的二维图像数据，如上所述。二维图像数据可单独地或者与深度图像数据结合地被流式传输给远程会议参与者以供查看会议、被记录以对会议建档和/或被处理以执行诸如面部识别、对象识别等功能。为了简单起见，例示了图2所描绘的图像表示，并且应当理解，任何附加的数据(包括但不限于参加会议的人员的图像和/或诸如用于被标识出的人员的虚拟标签之类的元数据)可被显示或者以其他方式被包括在图像数据中。
图1和图2的所例示的场景是作为示例来提供的，而不旨在以任何方式进行限制，因为根据本公开的360度视听通信系统可被用于各种不同的应用。除了视频会议系统(如图1和图2所例示的)以外，其他示例可包括游戏系统(例如，作为设置在游戏环境中心的咖啡桌上的深度相机，而不是作为机顶成像设备)、监视系统(例如，架空监视相机系统)以及环境映射系统(例如，被安装到穿过环境的车辆)。
图3示出了示例360度视听通信系统300的框图。360度视听通信系统300包括成像子系统302，其可包括一个或多个深度相机304、一个或多个2D(二维)图像传感器306(诸如RGB(红-绿-蓝)相机和/或红外相机)，和/或任何其他合适的图像传感器。360度视听通信系统300还包括反射器子系统308，其可包括单反射器布置310或多反射器布置312。多反射器实现可采取各种形式。例如，多反射器实现可包括被放置在弯曲基板周围的多个小的平坦反射器。作为另一示例，多反射器实现可包括具有不同半径314的球形反射器。此外，如以下更详细地描述的，一些多反射器布置可被利用以使用公共图像传感器来获取环境的立体图像，以对多个视角进行成像。
360度视听通信系统300还包括被配置成将光投射到反射器子系统308上以供反射到周围环境中的投影仪子系统316。如从环境中的对象反射而来的被投射的光可接着经由反射器子系统308在成像子系统302处被接收到，以形成深度图像。在深度成像利用飞行时间(TOF)技术的情况下，投影仪子系统316可利用被配置成发射光(例如，红外光)脉冲的一个或多个脉冲式光源318，并且光脉冲的发射和接收之间的时间可被测得以确定环境中的对象的深度。在深度成像利用结构化光的情况下，投影仪子系统316可利用被配置成将图案化的光投射到周围环境中的一个或多个结构化光源320。替代地，测量来自投影仪子系统316的经发射的已调光与反射光之间的相移的基于相位的TOF技术可被用于深度成像。如以下更详细地描述的，投影仪和反射器的各种布置可被用来获得立体图像。应当理解，深度成像的这些方法是出于示例的目的而被描述的，且并不旨在以任何方式进行限制。
360度视听通信系统300还包括一个或多个话筒322，其可接收包括来自在周围环境中说话的人员的语音输入的音频数据。系统300可被配置成通过例如在如根据深度图像数据所确定的说话的人员的方向上执行波束成形来隔离说话的人员。
360度视听通信系统300还包括在以下参考图17更详细地讨论的在图3中以简化形式示出的计算设备324。本文所描述的方法可以与任何合适的计算系统(诸如计算设备324)关联。替代地，计算设备324可被定位在系统300的远程。
图4示出了如本文所公开的示例360度视听通信系统400。在该附图中，系统的外部部分被移除以例示内部组件。系统400包括被附接到系统400的反射器402，其中反射器402被配置成将周围环境的360度径向视野反射通过光学窗口404朝向成像子系统406。需要注意，反射器的形状可被选择成在方位角范围内对完整的360度进行成像，同时在极角范围内对较小的范围进行成像。这可有助于避免对其中人员不太可能位于的区域(诸如，在反射器402上方)进行成像，并因此可利用更多的图像传感器区域来对其中人员更有可能位于的区域(诸如，系统400被放置在其上的桌子周围)进行成像。
图5示出了用于360度成像的示例单反射器布置。在图5中，反射器500被描绘成半球形反射器，并且示例光线被示出为虚线。图像传感器(图5中未示出)可面向反射器500的反射区域的中心(例如，在图5的取向中在反射器500的底部)来被放置，并且可被聚焦在平分或以其他方式靠近反射器500定位的焦平面处。以该方式，图像传感器可获取反射表面的图像，从而捕捉反射器周围的环境的图像。反射器500的配置可基于待成像的期望视野来被选择。作为非限制性示例，单反射器布置可被配置成通过周围场景的360度方位角视野来获取180度极视野(polar field of view)。
图6提供了利用半球形反射器600的另一示例反射器布置。然而，与图5不同，图6的配置还利用平坦反射器602来朝向半球形反射器600反射来自环境的光。平坦反射器602可具有任何合适的形状。作为一个非限制性示例，平坦反射器602可具有环形，在中间具有允许光到达图像传感器的开口。图6的布置可提供相比图5的布置而言更低的失真，并且可包括使用波束阻挡来帮助防止不期望的光到达半球形反射器600以朝相机反射。
图5和图6的反射器导致了环形图像在图像传感器上的形成。图7示出了这样的环形图像700的示意性描绘。环形图像700可被处理以减少失真，并由此形成矩形带状图像702以供查看和/或附加的处理(例如，面部识别、骨骼适配等)。任何合适的失真校正方法可被使用。作为一个非限制性示例，来自环形图像700的内部边界704的每个像素可被映射到矩形图像702的底部边界706的每个像素。由此，如714所示的图像702的以像素计的长度可等价于围绕环形图像700的内部边界704的像素的数量。由于环形图像700的外部边界708具有相比内部边界704更大数量的像素，因此外部边界708上的一些像素可被省略，使得仅某些像素被映射到矩形图像702的顶部边界710(例如，每隔一个像素)。顶部和底部边界之间的像素可与其在环形图像的内部和外部边界之间的相对位置成比例地被省略。
其他失真校正方法可利用图像700中的所有像素来映射到矩形图像702。例如，各像素可在图像700中的多个预定义区域中的每一个上被平均。这样的调整大小可导致具有与通过跳过像素得到的图像相比相对较高的信噪比的经校正的图像。在该示例中，矩形图像702的所得到的像素长度714可对应于大于704的像素长度但小于708的像素长度的像素数量。例如，在其中径向长度712包含1,080个像素、内部边界704包含6,785个像素并且外部边界708包含13,570个像素的环形图像700的非限制性示例中，矩形图像702的所得到的尺寸可为1,080个像素乘以7,860个像素。
图8-10示出了单反射器配置的附加示例，并且还例示了可被用于深度成像的相机和投影仪的示例布置。首先，图8示出了示例多投影仪、单相机布置。在该示例中，相机可被配置成作为结构化光深度传感器或飞行时间深度传感器以及作为深度相机的替代或补充的二维相机来操作。
图9示出了利用多个相机和单个光源的另一示例布置。在该示例中，相机可被布置成执行立体成像，其中每个相机捕捉360度视野的重叠部分的不同视角。
图10示出了可提供被捕捉视角的更大分离的多相机、多投影仪布置的示例。在这些示例的每一个中，投射光源可包括红外光源和/或任何其他合适波长的光。
立体成像布置还可通过利用与具有不同半径但具有同一中心轴的两个或更多个360度反射器或反射器布置组合的单个图像传感器来被实现。图11示出了可由这样的两个半球形反射器的布置导致的图像传感器上的图像数据的形状的示意性表示。除了图7的单个环形图像以外，图11示出了外环图像1100和内环图像1102，每个环形图像是通过对相应的球形反射器进行成像来得到的。这些图像可被提取并针对失真来被校正以产生具有场景的不同视角的图像。
图12和图13各自示出了可产生这样一种图像数据图案的双反射器布置的示例。在图12中，具有较小的相对半径的第一球形反射器1200被配置成产生由图11的内环图像1100表示的图像数据。在该配置中，第一球形反射器1200被定位成相比具有较大相对半径的第二球形反射器1202而言相对更靠近相机。第二球形反射器可被定位成反射由图11的外环图像1102表示的图像数据。
相比而言，图13示出了其中具有较大半径的第一反射器1300被定位成相比具有较小半径的第二反射器1302更靠近相机的双反射器布置。这里，具有较小相对半径的第二球形反射器1302被配置成反射由图11的内环图像1100表示的视图。第一反射器1300包括在中间的开口(如由虚线所指示)，以允许第二反射器1302使反射环境的图像反射通过第一反射器1300的开口朝向相机。
图12和13的双反射器配置可具有其他用途。在一些示例中，第一反射器1300可具有红外阻挡涂层(例如，合适的介电涂层)，使得相机不接收反射自1300的被投射的红外光，但的确接收反射自第二反射器1302的被投射的红外光。因此，相机可能能够从第一反射器1300接收具有相对较高分辨率的RGB数据，并第二反射器1302接收深度数据。应当理解，图12和图13的布置是出于示例的目的来被呈现的，并且任何其他合适的反射器、相机和光源布置可被利用。
虽然到此为止所讨论的各示例包括了球形反射器的使用，但是可以使用任何适当成形的反射器。图14示出了从非球形椭球反射器获取的图像数据的示例表示，并且图15示出了可提供图15中所表示的图像数据的示例光学布置。在这样一个示例中，反射器的最大半径与最小半径的比率可有助于利用矩形图像传感器的大部分区域，并从而可有助于提高分辨率。
图16示出了如本文所公开的对周围环境的360度视野进行成像的示例方法1600。方法1600包括在1602处将光投射到反射器子系统上以供反射到周围环境中。这可包括例如投射红外光和/或可见光，其中光可以是脉冲式的，具有适合于结构化光深度感测的结构并且/或者可具有任何其他合适的形式。方法1600还包括在1604处经由反射器子系统在图像传感器处接收来自投影仪的由周围环境的360度视野内的对象反射的光。如以上所讨论的，接收到的光可以按任何合适的方式被分析以获取深度数据，包括但不限于飞行时间分析和结构化光分析。
方法1600还包括在1606处从图像传感器接收图像数据，并且可选地在1608处校正图像数据中的失真。如以上所讨论的，在图像传感器处被接收到的图像可以是径向的形式，例如，环形的。失真校正可允许径向图像被调整大小并转换成可更容易被观看者和下游处理方法所理解的矩形图像。方法1600还包括在1610处在校正图像数据中的失真之后输出深度图像。
如以上所提及的，如本文中所公开的360度视听通信系统可被配置成经由使用任何合适的面部识别方法的面部识别来标识周围环境中的一个或多个人员，如在图16的1612处所示。附加地，用户动作可通过深度数据来跟踪(例如，使用骨骼跟踪)，并且可被用作触发响应动作的执行的输入。
动作可包括但不限于设备控制动作，诸如对作出姿势的用户的变焦拉近或推远、对部分图像进行变焦以在房间的四处跟随用户、对音频传输和/或录制进行静音或解除静音、将图像传输和/或录制打开或关闭等。由此，方法1600可包括在1614处经由姿势识别来确定用户的移动，并且在1616处响应于检测到的姿势来执行动作。
方法1600还包括在1618处接收来自音频传感器的音频数据。如所提及的，360度视听通信系统可包括被配置成获取包括声音、音乐、语音等的音频数据的声学传感器。这样的音频数据可被用来触发动作的执行。例如，方法1600可包括在1620处根据音频数据来确定人员当前正在说话，并且在1622处自动地将图像采集系统变焦到当前正在说话的人员上。此外，深度图像信息可以与声学信息组合使用以执行降噪，例如，通过使用基于正在说话的人员的位置的波束成形技术。
在一些实施例中，本文中描述的方法和过程可以与一个或多个计算设备的计算系统绑定。具体而言，这样的方法和过程可被实现为计算机应用程序或服务、应用编程接口(API)、库和/或其他计算机程序产品。
图1700示意性地示出了可执行上述方法和过程中的一个或多个的计算系统1700的非限制性实施例。以简化形式示出了计算系统1700。计算系统1700可采取以下形式：一个或多个个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能电话)和/或诸如计算设备324之类的其他计算设备。
计算系统1700包括逻辑子系统1702和存储子系统1704。计算系统1700可任选地包括显示子系统1706、输入子系统1708、通信子系统1710和/或在图17中未示出的其他组件。
逻辑子系统1702包括被配置成执行指令的一个或多个物理设备。例如，逻辑机可被配置成执行作为以下各项的一部分的指令：一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其他逻辑构造。这种指令可被实现以执行任务、实现数据类型、转换一个或多个部件的状态、实现技术效果、或以其他方式得到期望结果。
逻辑子系统1702可包括被配置成执行软件指令的一个或多个处理器。附加地或替换地，逻辑子系统1702可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统1702的处理器可以是单核的或多核的，并且其上所执行的指令可被配置成用于串行、并行和/或分布式处理。逻辑子系统1702的各个个体组件可任选地分布在两个或更多个分开的设备中间，这些设备可位于远程并且/或者被配置成用于协同处理。逻辑子系统1702的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。
存储子系统1704包括被配置成保持可由逻辑子系统1702执行以实现本文所描述的方法和过程的指令的一个或多个物理设备。在实现此类方法和过程时，存储子系统1704的状态可以被变换—例如，以保持不同的数据。
存储子系统1704可以包括可移动和/或内置设备。存储子系统1704可以包括光学存储器(例如，CD、DVD、HD-DVD、蓝光碟等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁性存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)、等等。存储子系统1704可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。
可以理解，存储子系统1704包括一个或多个物理设备。然而，本文描述的指令的各方面可替换地通过不由物理设备在有限时长内持有的通信介质(例如，电磁信号、光信号等)来传播。
逻辑子系统1702和存储子系统1704的各方面可以被一起集成到一个或多个硬件逻辑组件中。这种硬件逻辑组件可以包括例如场可编程门阵列(FPGA)、程序和应用专用集成电路(PASIC/ASIC)、程序和应用专用标准产品(PSSP/ASSP)、片上系统(SoC)以及复杂可编程逻辑器件(CPLD)。
术语“程序”可被用来描述被实现来执行特定功能的计算系统1700的一个方面。在某些情况下，可以经由执行存储子系统1704所保持的指令的逻辑子系统1702来实例化程序。将理解，可以从同一应用、服务、代码块、对象、库、例程、API、函数等实例化不同的程序。同样，可以由不同的应用程序、服务、代码块、对象、例程、API、函数等实例化同一模块和/或程序。术语“程序”可涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。
应该理解，在此使用的“服务”是跨多个用户会话可执行的应用程序。服务可用于一个或多个系统组件、程序和/或其他服务。在某些实现中，服务可以在一个或多个服务器计算设备上运行。
当被包括时，显示子系统1706可被用来呈现由存储子系统1704保持的数据的视觉表示。此视觉表示可采用图形用户界面(GUI)的形式。由于本文所描述的方法和过程改变了由存储机保持的数据，并由此变换了存储机的状态，因此同样可以转变显示子系统1706的状态以视觉地表示底层数据的改变。显示子系统1706可包括使用实质上任何类型的技术的一个或多个显示设备。这样的显示设备可以与逻辑子系统1702和/或存储子系统1704一起组合在共享封装中，或者这样的显示设备可以是外围显示设备。
在包括输入子系统1708时，输入子系统1708包括诸如键盘、鼠标、触摸屏或游戏控制器之类的一个或多个用户输入设备或者与其对接。在一些实施例中，输入子系统可以包括所选择的自然用户输入(NUI)部件或与其对接。这种元件部分可以是集成的或外围的，并且输入动作的转导和/或处理可以在板上或板外被处理。NUI部件的示例可包括用于语言和/或语音识别的麦克风；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动的电场感测部件。
当包括通信子系统1710时，通信子系统1710可被配置成将计算系统1700与一个或多个其他计算设备通信地耦合。通信子系统1710可包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，通信子系统可允许计算系统1700经由诸如互联网这样的网络将消息发送至其他设备以及/或者从其他设备接收消息。
将会理解，本文描述的配置和/或方式本质是示例性的，这些具体实施例或本文示例不应被视为限制性的，因为许多变体是可能的。本文描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。
本公开的主题包括本文公开的各种过程、系统和配置以及其他特征、功能、动作和/或性质的所有新颖和非显而易见的组合和子组合，以及其任何和所有等同物。
另一示例提供了一种深度成像系统，包括：图像传感器、包括被布置成朝向图像传感器反射周围环境的径向视野的一个或多个反射器的反射器子系统、被配置成将光投射到反射器子系统上以供反射到周围环境中的投影仪，以及包括逻辑子系统和存储子系统的计算设备，存储子系统包括可由逻辑子系统执行以从图像传感器接收图像数据并输出深度图像的指令。反射器子系统可附加地或替代地包括椭球反射器和/或球形反射器。反射器子系统可附加地或替代地包括被配置成朝向椭球反射器反射周围环境的径向视野的平坦反射器。反射器子系统可附加地或替代地包括第一椭球反射器和第二椭球反射器，第一椭球反射器被定位成相对于第二椭球反射器更靠近图像传感器，并且其中第一椭球反射器和第二椭球反射器被布置成朝向图像传感器反射周围环境的不同视角。在该示例中，第一椭球反射器的半径可小于第二椭球反射器的半径，或者第一椭球反射器的半径可大于第二椭球反射器的半径。第一椭球反射器可附加地或替代地包括开口，并且其中第二椭球反射器被布置成将周围环境的图像反射通过第一椭球反射器的开口朝向图像传感器。第一椭球反射器可附加地或替代地包括红外阻挡涂层。深度成像系统可附加地或替代地包括被布置在反射器子系统周围的不同位置处的一个或多个附加的投影仪。深度成像系统可附加地或替代地包括被布置在反射器子系统周围的不同位置处的一个或多个附加的图像传感器，每个图像传感器被配置成接收径向视野的至少一部分。深度成像系统可附加地或替代地包括被布置在反射器子系统周围的不同位置处的一个或多个附加的图像传感器以及一个或多个附加的投影仪。径向视野可附加地或替代地包括周围环境的360度径向视野。指令可附加地或替代地可执行以校正图像数据中的失真。深度成像系统可附加地或替代地包括音频传感器，并且其中指令还可由逻辑子系统执行以从音频传感器接收音频数据，根据音频数据确定周围环境中的人员当前正在说话，以及将图像传感器动态地变焦朝向当前正在说话的人员。指令可附加地或替代地由逻辑子系统执行，以经由面部识别来标识周围环境中的一个或多个人员，并经由姿势识别来确定一个或多个人员的一个或多个移动。
另一示例提供了一种在包括反射器子系统、投影仪和计算设备的深度成像系统中的对周围环境的360度径向视野进行成像的方法，该方法包括：经由投影仪将光投射到反射器子系统上以供反射到周围环境中，经由反射器子系统在图像传感器处接收来自投影仪的由周围环境的360度径向视野内的对象反射的光，从图像传感器接收图像数据，以及输出深度图像。在该示例中，深度成像系统可附加地或替代地包括音频传感器，并且该方法可附加地或替代地包括经由面部识别来标识周围环境中的一个或多个人员，经由姿势识别来确定一个或多个人员的一个或多个移动，从音频传感器接收音频数据，根据音频数据来确定周围环境中的人员当前正在说话，以及将图像传感器自动地变焦朝向当前正在说话的人员。
另一示例提供了一种视听通信系统，包括：被配置成获取深度图像数据的图像传感器；被布置成朝向图像传感器反射周围环境的360度径向视野的反射器子系统，反射器子系统包括第一椭球反射器和第二椭球反射器，第一椭球反射器被定位成相对于第二椭球反射器更靠近图像传感器，并且第一椭球反射器和第二椭球反射器具有不同的半径；被配置成将光投射到反射器子系统上以供反射到周边环境中的投影仪；以及，包括逻辑子系统和存储子系统的计算设备，存储子系统包括可由逻辑子系统执行以进行以下的指令：从图像传感器接收深度图像数据，深度图像数据包括如由第一椭球反射器反射的周围环境的第一视角以及如由第二反射器反射的周围环境的第二视角；校正深度图像数据中的失真；以及，在校正深度图像数据中的失真之后输出深度图像。第一椭球反射器可附加地或替代地包括开口，并且其中第二椭球反射器被布置成将周围环境的360度径向视野的图像反射通过第一椭球反射器的开口朝向图像传感器。

Claims (19)

1.一种深度成像系统，包括：
图像传感器；
包括被布置成朝向所述图像传感器反射周围环境的径向视野的两个反射器的反射器子系统，其中一个反射器具有红外阻挡涂层；
被配置成将光投射到所述反射器子系统上以供反射到所述周围环境中的投影仪；以及
包括逻辑子系统和存储子系统的计算设备，所述存储子系统包括可由所述逻辑子系统执行以进行以下的指令：
从所述图像传感器接收图像数据，其中所述图像传感器接收来自所述一个反射器的较高分辨率的RGB数据，并接收来自另一个反射器的深度数据；以及
基于所述图像数据输出深度图像。
2.根据权利要求1所述的系统，其特征在于，所述反射器子系统包括椭球反射器。
3.根据权利要求2所述的系统，其特征在于，所述椭球反射器包括球形反射器。
4.根据权利要求2所述的系统，其特征在于，所述反射器子系统还包括被配置成朝向所述椭球反射器反射所述周围环境的径向视野的平坦反射器。
5.根据权利要求1所述的系统，其特征在于，所述反射器子系统包括第一椭球反射器和第二椭球反射器，所述第一椭球反射器被定位成相对于所述第二椭球反射器更靠近所述图像传感器。
6.根据权利要求5所述的系统，其特征在于，所述第一椭球反射器的半径小于所述第二椭球反射器的半径。
7.根据权利要求5所述的系统，其特征在于，所述第一椭球反射器的半径大于所述第二椭球反射器的半径。
8.根据权利要求5所述的系统，其特征在于，所述第一椭球反射器包括开口，并且其中所述第二椭球反射器被布置成将所述周围环境的图像反射通过所述第一椭球反射器的开口朝向所述图像传感器。
9.根据权利要求1所述的系统，其特征在于，还包括被布置在所述反射器子系统周围的不同位置处的一个或多个附加的投影仪。
10.根据权利要求1所述的系统，其特征在于，还包括被布置在所述反射器子系统周围的不同位置处的一个或多个附加的图像传感器，每个图像传感器被配置成接收所述径向视野的至少一部分。
11.根据权利要求1所述的系统，其特征在于，还包括被布置在所述反射器子系统周围的不同位置处的一个或多个附加的图像传感器以及一个或多个附加的投影仪。
12.根据权利要求1所述的系统，其特征在于，所述径向视野包括所述周围环境的360度径向视野。
13.根据权利要求1所述的系统，其特征在于，所述指令进一步能由所述逻辑子系统执行以校正所述图像数据中的失真。
14.根据权利要求1所述的系统，其特征在于，还包括音频传感器，并且其中所述指令进一步能由所述逻辑子系统执行以
从所述音频传感器接收音频数据，
根据所述音频数据确定所述周围环境中的人员当前正在说话，以及
将所述图像传感器动态地变焦朝向当前正在说话的所述人员。
15.根据权利要求1所述的系统，其特征在于，所述指令能够进一步执行以经由面部识别来标识所述周围环境中的一个或多个人员，并经由姿势识别来确定所述一个或多个人员的一个或多个移动。
16.一种在包括反射器子系统、投影仪和计算设备的深度成像系统中的对周围环境的360度径向视野进行成像的方法，所述反射器子系统包括两个反射器，所述方法包括：
经由所述投影仪将光投射到所述反射器子系统上以供反射到所述周围环境中；
经由所述反射器子系统在图像传感器处接收来自所述投影仪的由所述周围环境的360度径向视野内的对象反射的光；
从所述图像传感器接收图像数据，其中一个反射器具有红外阻挡涂层，使得所述图像传感器接收来自所述一个反射器的较高分辨率的RGB数据，并接收来自另一个反射器的深度数据；以及
输出深度图像。
17.根据权利要求16所述的方法，其特征在于，其中所述深度成像系统还包括音频传感器，并且其中所述方法还包括：
经由面部识别来标识所述周围环境中的一个或多个人员；
经由姿势识别来确定所述一个或多个人员的一个或多个移动；
从所述音频传感器接收音频数据；
根据所述音频数据确定所述周围环境中的人员当前正在说话；以及
将所述图像传感器自动地变焦朝向当前正在说话的所述人员。
18.一种视听通信系统，包括：
一个或多个话筒；
包括图像传感器的成像子系统；
被布置成朝向所述图像传感器反射周围环境的360度径向视野的两个反射器的反射器子系统，其中一个反射器包括红外阻挡涂层；
被配置成将光投射到所述反射器子系统上以供反射到所述周围环境中的投影仪子系统；以及
包括逻辑子系统和存储子系统的计算设备，所述存储子系统包括可由所述逻辑子系统执行以进行以下的指令：
从所述图像传感器接收所述图像数据，所述图像传感器接收来自所述一个反射器的较高分辨率的RGB数据，并接收来自另一个反射器的深度数据，以及
基于所述图像数据输出深度图像。
19.根据权利要求18所述的视听通信系统，其特征在于，所述两个反射器为第一椭球反射器和第二椭球反射器，所述第一椭球反射器包括开口，并且其中所述第二椭球反射器被布置成将所述周围环境的360度径向视野的图像反射通过所述第一椭球反射器的开口朝向所述图像传感器。
CN201680019956.3A 2015-04-03 2016-03-21 深度成像 Active CN107439002B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/678,842 2015-04-03
US14/678,842 US10178374B2 (en) 2015-04-03 2015-04-03 Depth imaging of a surrounding environment
PCT/US2016/023378 WO2016160390A1 (en) 2015-04-03 2016-03-21 Depth imaging

Publications (2)

Publication Number Publication Date
CN107439002A CN107439002A (zh) 2017-12-05
CN107439002B true CN107439002B (zh) 2021-04-23

Family

ID=55661613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680019956.3A Active CN107439002B (zh) 2015-04-03 2016-03-21 深度成像

Country Status (4)

Country Link
US (1) US10178374B2 (zh)
EP (1) EP3278163B1 (zh)
CN (1) CN107439002B (zh)
WO (1) WO2016160390A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11494861B2 (en) * 2016-07-19 2022-11-08 Redmon Jeang LLC Mobile legal counsel system and method
US11625799B2 (en) * 2016-07-19 2023-04-11 Redmon Jeang LLC Mobile legal counsel system and method
CN109983765A (zh) * 2016-12-05 2019-07-05 惠普发展公司，有限责任合伙企业 经由全方位相机的视听传输调整
CN106933346B (zh) * 2017-01-20 2019-07-26 深圳奥比中光科技有限公司 车内操控空间的区划方法和设备
JP6485655B2 (ja) * 2017-03-27 2019-03-20 日本電気株式会社 顔認証装置、顔認証方法、および顔認証プログラム
CN108696694B (zh) * 2017-03-31 2023-04-07 钰立微电子股份有限公司 有关深度信息/全景图像的图像装置及其相关图像系统
US10884104B2 (en) * 2017-12-20 2021-01-05 Ecolink Intelligent Technology, Inc. Monitoring device having 360 degree sensing capabilities
US20190236416A1 (en) * 2018-01-31 2019-08-01 Microsoft Technology Licensing, Llc Artificial intelligence system utilizing microphone array and fisheye camera
EP3909238A4 (en) * 2019-03-27 2022-03-09 Guangdong Oppo Mobile Telecommunications Corp., Ltd. THREE-DIMENSIONAL MODELING USING HEMISPHERIC OR SPHERICAL VISIBLE LIGHT DEPTH IMAGES
US11875796B2 (en) 2019-04-30 2024-01-16 Microsoft Technology Licensing, Llc Audio-visual diarization to identify meeting attendees
US10812921B1 (en) 2019-04-30 2020-10-20 Microsoft Technology Licensing, Llc Audio stream processing for distributed device meeting

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1870759A (zh) * 2005-05-26 2006-11-29 韩国科学技术院 用单个相机提供全景立体图像的设备
CN102053475A (zh) * 2010-10-15 2011-05-11 肖继忠 单相机全方位立体视觉系统

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6449103B1 (en) * 1997-04-16 2002-09-10 Jeffrey R. Charles Solid catadioptric omnidirectional optical system having central coverage means which is associated with a camera, projector, medical instrument, or similar article
US6304285B1 (en) * 1998-06-16 2001-10-16 Zheng Jason Geng Method and apparatus for omnidirectional imaging
US6597520B2 (en) * 1999-01-13 2003-07-22 Be Here Corporation Panoramic imaging arrangement
US7176960B1 (en) * 1999-09-20 2007-02-13 The Trustees Of Columbia University In The City Of New York System and methods for generating spherical mosaic images
AU4082801A (en) * 2000-03-16 2001-09-24 Lee Scott Friend Imaging apparatus
US6856472B2 (en) * 2001-02-24 2005-02-15 Eyesee360, Inc. Panoramic mirror and system for producing enhanced panoramic images
US20030160862A1 (en) * 2002-02-27 2003-08-28 Charlier Michael L. Apparatus having cooperating wide-angle digital camera system and microphone array
US7019918B2 (en) * 2003-06-12 2006-03-28 Be Here Corporation Panoramic imaging system
US8323106B2 (en) 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
EP1721202A1 (en) * 2004-02-06 2006-11-15 Interscience, Inc. Integrated panoramic and forward optical device, system and method for omnidirectional signal processing
FR2902592A1 (fr) * 2006-06-12 2007-12-21 Tulip Vision Sarl Systeme de videosurveillance panoramique sans angle mort
US7587109B1 (en) * 2008-09-02 2009-09-08 Spectral Imaging Laboratory Hybrid fiber coupled artificial compound eye
CN101619962B (zh) * 2009-07-30 2011-03-09 浙江工业大学 基于全彩色全景led光源的主动三维立体全景视觉传感器
US8320621B2 (en) * 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US8982182B2 (en) * 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping
JP5126279B2 (ja) * 2010-04-26 2013-01-23 コニカミノルタビジネステクノロジーズ株式会社 画像読取装置
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US8866889B2 (en) * 2010-11-03 2014-10-21 Microsoft Corporation In-home depth camera calibration
US8724887B2 (en) * 2011-02-03 2014-05-13 Microsoft Corporation Environmental modifications to mitigate environmental factors
KR20130001762A (ko) 2011-06-28 2013-01-07 삼성전자주식회사 영상 생성 장치 및 방법
CN103200352A (zh) 2012-01-04 2013-07-10 苏州科泽数字技术有限公司 基于折反射式光学结构的全向摄像现场记录仪
US20140009503A1 (en) * 2012-07-03 2014-01-09 Tourwrist, Inc. Systems and Methods for Tracking User Postures to Control Display of Panoramas
US9696427B2 (en) * 2012-08-14 2017-07-04 Microsoft Technology Licensing, Llc Wide angle depth detection
GB201305800D0 (en) * 2013-03-28 2013-05-15 Univ Manchester Tyre assessment
WO2014169952A1 (de) 2013-04-16 2014-10-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Justieren eines multi-kamerasystems, multi kamerasystem und justierhilfe
CN103248806A (zh) 2013-04-26 2013-08-14 黑龙江科技学院 单摄像机实现空间360度环形全景和局部精确成像装置
US10222596B2 (en) * 2014-09-25 2019-03-05 Sphere Optics Company, Llc Omnidirectional catadioptric lens structure
US10268906B2 (en) * 2014-10-24 2019-04-23 Magik Eye Inc. Distance sensor with directional projection beams
US10070055B2 (en) * 2015-03-25 2018-09-04 Massachusetts Institute Of Technology Devices and methods for optically multiplexed imaging

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1870759A (zh) * 2005-05-26 2006-11-29 韩国科学技术院 用单个相机提供全景立体图像的设备
CN102053475A (zh) * 2010-10-15 2011-05-11 肖继忠 单相机全方位立体视觉系统

Also Published As

Publication number Publication date
EP3278163A1 (en) 2018-02-07
EP3278163B1 (en) 2023-08-23
WO2016160390A1 (en) 2016-10-06
US10178374B2 (en) 2019-01-08
CN107439002A (zh) 2017-12-05
US20160295197A1 (en) 2016-10-06

Similar Documents

Publication Publication Date Title
CN107439002B (zh) 深度成像
US11412108B1 (en) Object recognition techniques
US11995902B2 (en) Facial signature methods, systems and software
US11106275B2 (en) Virtual 3D methods, systems and software
KR101986329B1 (ko) 범용의 구형 캡처 방법들
CN108293103B (zh) 活跃发言者位置检测
US9979953B1 (en) Reflector-based depth mapping of a scene
US20170085790A1 (en) High-resolution imaging of regions of interest
US20160280136A1 (en) Active-tracking vehicular-based systems and methods for generating adaptive image
CN108475180B (zh) 在多个显示区域之间分布视频
US9201499B1 (en) Object tracking in a 3-dimensional environment
US20150256764A1 (en) Active-tracking based systems and methods for generating mirror image
JP2021090208A (ja) プレノプティック・カメラによりキャプチャされた画像をリフォーカシングする方法及びオーディオに基づくリフォーカシング画像システム
JP2020520576A5 (zh)
US10764564B2 (en) User tracking stereoscopic image display system
US9282301B1 (en) System for image projection
CN112673276A (zh) 超声波传感器
US9329679B1 (en) Projection system with multi-surface projection screen
US20230152883A1 (en) Scene processing for holographic displays
GB2565301A (en) Three-dimensional video processing
US20230122149A1 (en) Asymmetric communication system with viewer position indications
US11080874B1 (en) Apparatuses, systems, and methods for high-sensitivity active illumination imaging
US11153481B2 (en) Capturing and transforming wide-angle video information
Nowatzyk et al. Omni-Directional Catadioptric Acquisition System
JP2022158615A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant