CN113424524B - 使用半球形或球形可见光深度图像的三维建模 - Google Patents

使用半球形或球形可见光深度图像的三维建模 Download PDF

Info

Publication number
CN113424524B
CN113424524B CN201980091640.9A CN201980091640A CN113424524B CN 113424524 B CN113424524 B CN 113424524B CN 201980091640 A CN201980091640 A CN 201980091640A CN 113424524 B CN113424524 B CN 113424524B
Authority
CN
China
Prior art keywords
hemispherical
depth image
visible light
light
invisible light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980091640.9A
Other languages
English (en)
Other versions
CN113424524A (zh
Inventor
林袁
邓凡
何朝文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of CN113424524A publication Critical patent/CN113424524A/zh
Application granted granted Critical
Publication of CN113424524B publication Critical patent/CN113424524B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Abstract

三维建模包括获得半球形可见光深度图像(该半球形可见光深度图像捕获用户设备的操作环境)，生成视角转换的半球形可见光深度图像，基于视角转换的半球形可见光深度图像生成操作环境的三维模型，以及输出三维模型。获得半球形可见光深度图像包括获得半球形可见光图像和获得半球形不可见光深度图像。生成视角转换的半球形可见光深度图像包括生成视角转换的半球形可见光图像和生成视角转换的半球形不可见光深度图像。

Description

使用半球形或球形可见光深度图像的三维建模
相关申请的交叉引用
本申请要求于2019年3月27日递交的美国申请No.62/824,635的优先权。
技术领域
本公开涉及用户设备中的三维(three-dimensional，3D)建模，例如使用半球形或球形可见光深度图像的三维建模。
背景技术
相机可以用于捕获图像或视频、物体检测和跟踪、面部识别等。因此，用于使用半球形或球形可见光深度图像的三维建模的方法和装置可以是有益的。
发明内容
本文公开了使用半球形或球形可见光深度图像的三维建模的实施方式。
本文公开的一个方面是使用半球形或球形可见光深度图像的三维建模的方法。使用半球形或球形可见光深度图像的三维建模包括获得半球形可见光深度图像，该半球形可见光深度图像捕获用户设备的操作环境。获得半球形可见光深度图像包括获得半球形可见光图像以及获得半球形不可见光深度图像。使用半球形或球形可见光深度图像的三维建模包括生成视角转换的半球形可见光深度图像。生成视角转换的半球形可见光深度图像包括生成视角转换的半球形可见光图像以及生成视角转换的半球形不可见光深度图像。使用半球形或球形可见光深度图像的三维建模包括基于上述视角转换的半球形可见光深度图像生成上述操作环境的三维模型以及输出该三维模型。
本文公开的另一方面是用于使用半球形或球形可见光深度图像的三维建模的装置。该装置包括半球形不可见光投射器、半球形不可见光传感器、半球形可见光传感器、非暂时性计算机可读介质、以及处理器，该处理器用于执行存储在非暂时性计算机可读介质上的指令，以获得半球形可见光深度图像，该半球形可见光深度图像捕获该装置的操作环境。获得上述半球形可见光深度图像包括控制上述半球形可见光传感器获得半球形可见光图像，控制上述半球形不可见光投射器投射半球形不可见光静态结构光图案，响应于控制所述半球形不可见光投射器投射所述半球形不可见光静态结构光图案，控制上述半球形不可见光传感器获得半球形不可见光深度图像，以及生成视角转换的半球形可见光深度图像。生成视角转换的半球形可见光深度图像包括生成视角转换的半球形可见光图像以及生成视角转换的半球形不可见光深度图像。该处理器用于执行存储在非暂时性计算机可读介质上的指令，以基于上述视角转换的半球形可见光深度图像生成上述操作环境的三维模型并输出该三维模型。
本文公开的另一方面是一种非暂时性计算机可读存储介质，包括可执行指令，当该可执行指令由处理器执行时，使得执行使用半球形或球形可见光深度图像的三维建模，包括获得半球形可见光深度图像，该半球形可见光深度图像捕获用户设备的操作环境。获得半球形可见光深度图像包括获得半球形可见光图像以及获得半球形不可见光深度图像。使用半球形或球形可见光深度图像的三维建模包括生成视角转换的半球形可见光深度图像。生成视角转换的半球形可见光深度图像包括生成视角转换的半球形可见光图像以及生成视角转换的半球形不可见光深度图像。使用半球形或球形可见光深度图像的三维建模包括基于上述视角转换的半球形可见光深度图像生成上述操作环境的三维模型以及输出该三维模型。
附图说明
在结合附图阅读时可以从以下具体实施方式更好地理解本公开。需要强调，按照惯例，附图的各种特征并非按比例绘制。相反，为了清楚起见，各种特征的尺寸被任意放大或缩小。
图1示出了根据本公开的用于数字计算和电子通信的用户设备的示例。
图2示出了根据本公开的用于鱼眼不可见光深度检测的系统的框图。
图3示出了根据本公开的半球形鱼眼不可见光深度检测设备的示例的示意图。
图4示出了根据本公开的半球形鱼眼不可见光深度检测设备的另一示例的示意图。
图5示出了根据本公开的半球形鱼眼不可见光投影单元的示例的示意图。
图6示出了根据本公开的半球形鱼眼不可见光检测单元的示例的示意图。
图7示出了根据本公开的半球形鱼眼不可见泛光投影单元的示例的示意图。
图8示出了根据本公开的球形鱼眼不可见光深度检测设备的示例的示意图。
图9示出了根据本公开的球形鱼眼不可见光深度检测设备的另一示例的示意图。
图10示出了根据本公开的球形鱼眼不可见光投影单元的示例的示意图。
图11示出了根据本公开的球形鱼眼不可见光检测单元的示例的示意图。
图12示出了根据本公开的鱼眼不可见光深度检测的示例的示意图。
图13是根据本公开的使用半球形或球形可见光深度图像的三维建模的示例的示意图。
具体实施方式
诸如摄像机之类的光传感器可以用于多种目的，包括捕获图像或视频、对象检测和跟踪、面部识别等。广角或超广角镜头(例如鱼眼镜头)使摄像机能够捕获全景或半球形场景。沿光轴的相反方向布置的双鱼眼镜头摄像机使摄像机设备能够捕获球形图像。
在一些系统中，诸如摄像机之类的可见光传感器用于确定对应于摄像机设备与所捕获的场景中各个外部对象之间的距离的深度信息。例如，一些摄像机实现了立体视觉或双目深度检测，其中，评估由空间上分离的多个摄像机捕获的多个重叠图像，以基于图像捕获的内容之间的差异确定深度。包括多个摄像机和计算成本在内的资源成本可能很高，并且双目深度检测的精度可能受到限制。摄像机的三维深度检测能力可能受限于各个视场。
球形或半球形不可见光深度检测可以通过以下方式提高非半球形深度检测和可见光深度检测的精度和效率：投射诸如红外光之类的不可见光、球形或半球形静态点云图案，使用球形或半球形不可见光检测器检测反射的不可见光，并基于对应于投射的静态点云图案的接收到的光的函数确定三维深度。
表示用户设备的操作环境的三维地图或模型可以用于例如增强现实或虚拟现实实现。生成使用由具有有限视场(例如直线视场或小于半球形的视场)的摄像机捕获的图像生成的三维地图或模型可能是低效且不准确的。例如，使用由具有有限视场(例如直线视场或小于半球形的视场)的摄像机捕获的图像生成三维地图或模型可以包括：使用多个图像捕获单元或随时间在一系列位置中(例如手动)放置图像捕获单元来生成多个图像，并且合并这多个图像以低效且不准确地生成模型。
使用半球形或球形可见光深度图像的三维建模(可以包括鱼眼深度检测)相对于基于有限图像(例如直线图像或小于半球形的图像)的三维建模可以提高三维建模的效率、速度、精度。使用半球形或球形可见光深度图像的三维建模可以使用更少的图像并且可以包括更少的图像拼接操作。使用半球形或球形可见光深度图像的三维建模可以提高每个图像的特征信息的有效性。
虽然结合了某些实施例描述了本公开，但是应理解，本公开不限于所公开的实施例，相反地，旨在涵盖包括在所附权利要求的范围内的各种修改和等效布置，该范围应给予最广义的解释，以涵盖法律允许的所有此类修改和等效结构。
图1示出了根据本公开的用于数字计算和电子通信的用户设备1000的示例。用于数字计算和电子通信的用户设备1000包括电子处理单元1100、电子通信接口单元1200、数据存储单元1300、传感器单元1400、人机界面单元1500、电源单元1600、以及内部信号分配单元1700。用于数字计算和电子通信的用户设备1000可以实现所描述的方法和系统的一个或多个方面或元素。在一些实施例中，用于数字计算和电子通信的用户设备1000可以包括图1中未示出的其他组件。例如，用于数字计算和电子通信的用户设备1000可以包括壳体或外壳，在壳体中可以包括电子处理单元1100、电子通信接口单元1200、数据存储单元1300、传感器单元1400、人机界面单元1500、电源单元1600、内部信号分配单元1700或其组合。
虽然图1将电子处理单元1100、电子通信接口单元1200、数据存储单元1300、传感器单元1400、人机界面单元1500、电源单元1600、以及内部信号分配单元1700中的每个示为各个单独的单元，但用于数字计算和电子通信的用户设备1000可以包括任意数量的电子处理单元、电子通信接口单元、数据存储单元、传感器单元、人机界面单元、电源单元、以及内部信号分配单元。
电子处理单元1100或处理器可用于接收数据、处理、以及输出数据。例如，电子处理单元1100可以从数据存储单元1300、传感器单元1400、电子通信接口单元1200、人机界面单元1500或其组合接收数据。接收数据可以包括接收计算机指令，例如通过内部信号分配单元1700存储在数据存储单元1300中的计算机指令。处理数据可以包括处理或执行计算机指令，例如实现或执行本文所公开的技术的一个或多个元素或方面。电子处理单元可以通过内部信号分配单元1700将数据输出到数据存储单元1300、传感器单元1400、电子通信接口单元1200、人机界面单元1500或其组合。电子处理单元1100可用于控制用于数字计算和电子通信的用户设备1000的一个或多个操作。
电子通信接口单元1200可以使用有线或无线电子通信协议，例如近场通信(nearfield communication，NFC)电子通信协议、蓝牙电子通信协议、802.11电子通信协议、红外(infrared，IR)电子通信协议、或任何其他电子通信协议与外部设备或系统进行通信，例如接收和/或发送诸如数据信号之类的信号。
数据存储单元1300可以存储数据和/或检索数据。例如，数据存储单元1300可以检索计算机指令和其他数据。数据存储单元1300可以包括持久性存储器，例如硬盘驱动器。数据存储单元1300可以包括易失性存储器，例如一个或多个随机存取存储器单元。
传感器单元1400可以捕获、检测、或确定用于数字计算和电子通信的用户设备1000的操作环境的一个或多个方面。例如，传感器单元1400可以包括一个或多个摄像机或其他可见光或不可见光检测和捕获单元。传感器单元1400可以向内部信号分配单元1700、电源单元1600、数据存储单元1300、电子处理单元1100、电子通信接口单元1200、人机界面单元1500或其组合传送传感器信号，例如捕获的图像数据，这些传感器信号表示用于数字计算和电子通信的用户设备1000的操作环境的感测方面。在一些实施例中，用于数字计算和电子通信的用户设备1000可以包括多个传感器单元，例如摄像头、麦克风、红外接收器、全球定位系统单元、陀螺仪传感器、加速度计、压力传感器、电容传感器、生物识别传感器、磁力计、雷达单元、激光雷达单元、超声波单元、温度传感器、或者能够捕获、检测、或确定用于数字计算和电子通信的用户设备1000的操作环境的一个或多个方面或条件的任何其他传感器。
人机界面单元1500可以接收用户输入。人机界面单元1500可以将表示用户输入的数据传送到内部信号分配单元1700、电源单元1600、数据存储单元1300、电子处理单元1100、传感器单元1400、电子通信接口单元1200或其组合。人机界面单元1500可以例如向用于数字计算和电子通信的用户设备1000的用户输出、呈现、或显示数据或其表示。例如，人机界面单元1500可以包括基于光的显示、基于声音的显示或其组合。
电源单元1600可以例如通过内部信号分配单元1700或通过内部功率信号分配单元(未单独示出)向内部信号分配单元1700、数据存储单元1300、电子处理单元1100、传感器单元1400、电子通信接口单元1200、以及人机界面单元1500供电。例如，电源单元1600可以是电池。在一些实施例中，电源单元1600可以包括与外部电源的接口。
内部信号分配单元1700可以将内部数据信号和/或功率信号携带或分配到例如电子处理单元1100、电子通信接口单元1200、数据存储单元1300、传感器单元1400、人机界面单元1500、电源单元1600或其组合。
可以使用用于数字计算和电子通信的用户设备1000的配置的其他实施方式。例如，用于数字计算和电子通信的用户设备1000可以省略电子通信接口单元1200。
图2示出了根据本公开的用于鱼眼不可见光深度检测的系统2000的框图。如图所示，用于鱼眼不可见光深度检测的系统2000包括用户设备2100，例如图1所示的用于数字计算和电子通信的用户设备1000。在图2中，用户设备2100示为与外部设备2200电子通信，如2300处的虚线所示。除非本文所述或从上下文中另有明确说明，外部设备2200可以类似于图1所示的用于数字计算和电子通信的用户设备1000。在一些实施例中，外部设备2200可以是服务器或其他基础设施设备。
用户设备2100可以通过有线或无线电子通信介质2400直接与外部设备2200通信。用户设备2100可以通过网络2500(例如互联网)或通过组合网络(未单独示出)直接与外部设备2200通信。例如，用户设备2100可以使用第一网络通信链路2600通过网络2500进行通信，外部设备可以使用第二网络通信链路2610通过网络2500进行通信。
图3示出了根据本公开的半球形鱼眼不可见光深度检测设备3000的示例的示意图。除非本文所述或从上下文中另有明确说明，半球形鱼眼不可见光深度检测设备3000或鱼眼深度摄像机可以类似于用户设备，例如图1所示的用于数字计算和电子通信的用户设备1000。半球形鱼眼不可见光深度检测设备3000可以是鱼眼摄像机，其为超广角摄像机，可以捕获全景或半球形图像。半球形鱼眼不可见光深度检测设备3000可以是深度摄像机，其可以捕获或确定捕获场景的深度信息。
半球形鱼眼不可见光深度检测设备3000包括设备外壳3100、半球形鱼眼不可见光投影单元3200、以及鱼眼不可见光检测单元3300。
半球形鱼眼不可见光投影单元3200可以是鱼眼红外点阵投影仪。如从半球形鱼眼不可见光投影单元3200的表面延伸的方向线3210所示，半球形鱼眼不可见光投影单元3200可以投射或发射诸如静态点云图案之类的点阵图案的不可见光，例如红外光。为了简单和清楚，虽然示出了从半球形鱼眼不可见光投影单元3200的表面延伸的五个方向线3210，但半球形鱼眼不可见光投影单元3200可以具有纵向360度和横向180度或更大(例如183度)的投影场。图5中示出了半球形鱼眼不可见光投影单元3200的示例。在一些实施例中，例如全景实施例中，纵向场可以小于360度。
鱼眼不可见光检测单元3300可以是鱼眼红外摄像机。鱼眼不可见光检测单元3300可以检测或接收不可见光，例如会聚在鱼眼不可见光检测单元3300表面上的如方向线3310所示的红外光。例如，鱼眼不可见光检测单元3300可以接收半球形鱼眼不可见光投影单元3200以静态点云图案发射并由环境方面(例如鱼眼不可见光检测单元3300的视场中的对象)反射到鱼眼不可见光检测单元3300的不可见光。为了简单和清楚，虽然示出了会聚在鱼眼不可见光检测单元3300的表面上的五个方向线3210，但鱼眼不可见光检测单元3300可以具有纵向360度和横向180度或更大(例如183度)的视场。图6示出了鱼眼不可见光检测单元3300的示例。
半球形鱼眼不可见光深度检测设备3000可以通过使用半球形鱼眼不可见光投影单元3200发射静态点云图案的不可见光并使用鱼眼不可见光检测单元3300检测相应的反射的不可见光(检测到的反射的不可见光)来执行鱼眼不可见光深度检测。
例如，图3示出了例如在半球形鱼眼不可见光投影单元3200的投影场和鱼眼不可见光检测单元3300的视场内，半球形鱼眼不可见光深度检测设备3000的环境中的外部对象3400。如3212处的方向线所示，不可见光可以由半球形鱼眼不可见光投影单元3200向外部对象3400发射。如3312处的方向线所示，不可见光可以由外部对象3400的表面向鱼眼不可见光检测单元3300反射，并且可以由鱼眼不可见光检测单元3300捕获或记录。
图4示出了根据本公开的半球形鱼眼不可见光深度检测设备4000的另一示例的示意图。除非本文所述或从上下文中另有明确说明，半球形鱼眼不可见光深度检测设备4000可以类似于图3所示的半球形鱼眼不可见光深度检测设备3000。
半球形鱼眼不可见光深度检测设备4000包括设备外壳4100、半球形鱼眼不可见光投影单元4200、半球形鱼眼不可见光检测单元4300、以及半球形鱼眼不可见泛光投影单元4400。
除非本文所述或从上下文中另有明确说明，设备外壳4100可以类似于图3所示的设备外壳3100。除非本文所述或从上下文中另有明确说明，半球形鱼眼不可见光投影单元4200可以类似于图3所示的半球形鱼眼不可见光投影单元3200。除非本文所述或从上下文中另有明确说明，半球形鱼眼不可见光检测单元4300可以类似于图3所示的鱼眼不可见光检测单元3300。
除非本文所述或从上下文中另有明确说明，半球形鱼眼不可见泛光投影单元4400或红外泛光照射器可以类似于图3所示的半球形鱼眼不可见光投影单元3200。如从半球形鱼眼不可见泛光投影单元4400的表面延伸的弧线所示，半球形鱼眼不可见泛光投影单元4400可以发出漫射、均匀的不可见光场，例如红外光。半球形鱼眼不可见泛光投影单元4400发射的不可见光的漫射场可以不可见地照射半球形鱼眼不可见光深度检测设备4000的环境，可以包括照射靠近半球形鱼眼不可见光深度检测设备4000的外部对象。
半球形鱼眼不可见光检测单元4300可以接收由半球形鱼眼不可见泛光投影单元4400发射并由半球形鱼眼不可见光深度检测设备4000的环境中的外部对象反射的不可见光，例如用于面部识别方法的活体测试部分或同时定位和映射(simultaneouslocalization and mapping，SLAM)方法的特征提取部分。基于从半球形鱼眼不可见泛光投影单元4400发射的经反射的接收到的不可见光的深度检测可能不准确和/或低效。
图5示出了根据本公开的半球形鱼眼不可见光投影单元5000的示例的示意图。鱼眼不可见光深度检测设备(例如图3所示的半球形鱼眼不可见光深度检测设备3000或图4所示的半球形鱼眼不可见光深度检测设备4000)可以包括半球形鱼眼不可见光投影单元5000。例如，图3所示的半球形鱼眼不可见光深度检测设备3000的半球形鱼眼不可见光投影单元3200可以实现为半球形鱼眼不可见光投影单元5000。
半球形鱼眼不可见光投影单元5000包括外壳5100、不可见光源5200、一个或多个透镜5300、以及衍射光学元件(diffractive optical element，DOE)5400。半球形鱼眼不可见光投影单元5000具有光轴，如5500处的虚线所示。
不可见光源5200可以是红外光源，例如垂直腔面发射激光器(vertical cavitysurface emitting laser，VCSEL)。由不可见光源5200产生的不可见光被透镜5300折射以形成纵向360度和横向180度或更大(例如183度)的投影场。形成投影场的不可见光被衍射光学元件5400校准以形成静态点云图案，如5600处的点线弧线所示。示例光路的指示由从不可见光源5200延伸穿过透镜5300并且穿过衍射光学元件5400并从衍射光学元件5400延伸的方向线表示。在一些实施例中，衍射光学元件5400可以省略，半球形鱼眼不可见光投影单元5000可以包括点云掩模，该点云掩模可以从由不可见光源5200产生并由透镜5300折射的不可见光形成静态点云图案。
在示例中，不可见光源5200可以是红外光源，该红外光源可以产生具有限定波长(例如940nm)的红外光(光子)。具有940nm波长的红外光可以被大气中的水吸收，使用具有940nm波长的红外光可以例如在室外条件下提高鱼眼不可见光深度感知的性能和精度。可以使用其他波长(例如850nm)或其他红外或近红外波长(例如0.75μm至1.4μm范围内的波长)。在本文中，940nm的限定波长可以表示光在940nm附近窄幅传播。使用940nm的限定波长的光可以降低资源成本并减少相对于可见光的色差。
不可见光源5200在平面内产生不可见光，透镜5300和衍射光学元件5400的组合将不可见光源5200发射的光映射到球形分布的静态点云图案。
为了简单和清楚，示出了图5所示的透镜5300的数量和配置。可以使用其他数量和配置的透镜。透镜5300的光学结构(例如这些透镜5300的相应形状和/或材料)根据不可见光源5200产生的不可见光的折射率进行优化。
图6示出了根据本公开的半球形鱼眼不可见光检测单元6000的示例的示意图。鱼眼不可见光深度检测设备(例如图3所示的半球形鱼眼不可见光深度检测设备3000或图4所示的半球形鱼眼不可见光深度检测设备4000)可以包括半球形鱼眼不可见光检测单元6000。例如，图3所示的半球形鱼眼不可见光深度检测设备3000的鱼眼不可见光检测单元3300可以实现为半球形鱼眼不可见光检测单元6000。
半球形鱼眼不可见光检测单元6000包括外壳6100、不可见光通过滤光片6200、一个或多个透镜6300、以及不可见光接收器6400。半球形鱼眼不可见光检测单元6000具有如6500处的虚线所示的光轴和以光轴6500为中心的纵向360度和横向180度或更大的视场(未示出)。
不可见光通过滤光片6200可以接收光(可以包括不可见光，例如红外光)。例如，不可见光通过滤光片6200可以接收来自从不可见光投影单元(例如图5所示的半球形鱼眼不可见光投影单元5000)发射之后由邻近外部对象(未示出)反射的静态点云图案的红外光。
不可见光通过滤光片6200接收的光由不可见光通过滤光片6200进行滤光以去除可见光并通过不可见光。通过不可见光通过滤光片6200的不可见光由透镜6300聚焦在不可见光接收器6400上。不可见光通过滤光片6200和透镜6300的组合将半球形鱼眼不可见光检测单元6000的半球形视场映射到不可见光接收器6400的平面上。不可见光接收器6400可以是红外光接收器。
为了简单和清楚，示出了图6所示的透镜6300的数量和配置。可以使用其他数量和配置的透镜。透镜6300的光学结构(例如这些透镜6300的相应形状和/或材料)根据不可见光接收器6400接收的不可见光的折射率进行优化。
图7示出了根据本公开的半球形鱼眼不可见泛光投影单元7000的示例的示意图。鱼眼不可见光深度检测设备(例如图3所示的半球形鱼眼不可见光深度检测设备3000或图4所示的半球形鱼眼不可见光深度检测设备4000)可以包括半球形鱼眼不可见泛光投影单元7000。例如，图4所示的半球形鱼眼不可见光深度检测设备4000的半球形鱼眼不可见泛光投影单元4400可以实现为半球形鱼眼不可见泛光投影单元7000。
半球形鱼眼不可见泛光投影单元7000包括外壳7100、不可见光源7200、以及一个或多个透镜7300。半球形鱼眼不可见泛光投影单元7000具有如7400处的虚线所示的光轴。示例光路的指示由从不可见光源7200延伸穿过透镜7300并从透镜7300延伸的方向线表示。
图8示出了根据本公开的球形鱼眼不可见光深度检测设备8000的示例的示意图。除非本文所述或从上下文中另有明确说明，球形鱼眼不可见光深度检测设备8000或鱼眼深度摄像机可以类似于图3所示的半球形鱼眼不可见光深度检测设备3000。球形鱼眼不可见光深度检测设备8000可以是双鱼眼摄像机，其为全向摄像机，可以捕获全景或球形图像。球形鱼眼不可见光深度检测设备8000可以是深度摄像机，其可以捕获或确定捕获场景的深度信息。
球形鱼眼不可见光深度检测设备8000包括设备外壳8100、第一半球形鱼眼不可见光投影单元8200、第二半球形鱼眼不可见光投影单元8210、第一半球形鱼眼不可见光检测单元8300、以及第二半球形鱼眼不可见光检测单元8310。
在一些实施例中，第一半球形鱼眼不可见光投影单元8200可以是球形鱼眼不可见光投影单元的第一部分，第二半球形鱼眼不可见光投影单元8210可以是球形鱼眼不可见光投影单元的第二部分。图10示出了球形鱼眼不可见光投影单元的示例。
在一些实施例中，第一半球形鱼眼不可见光检测单元8300可以是球形鱼眼不可见光检测单元的第一部分，第二半球形鱼眼不可见光检测单元8310可以是球形鱼眼不可见光检测单元的第二部分。图11示出了球形鱼眼不可见光检测单元的示例。
除非本文所述或从上下文中另有明确说明，第一半球形鱼眼不可见光投影单元8200可以类似于图3所示的半球形鱼眼不可见光投影单元3200。除非本文所述或从上下文中另有明确说明，第二半球形鱼眼不可见光投影单元8210可以类似于图3所示的半球形鱼眼不可见光投影单元3200。
第一半球形鱼眼不可见光投影单元8200的投影场由8400处的点划线弧线表示。第二半球形鱼眼不可见光投影单元8210的投影场由8410处的点线弧线表示。第一半球形鱼眼不可见光投影单元8200的投影场可以与第二半球形鱼眼不可见光投影单元8210的投影场部分重叠以形成组合的360度全向投影场。第一半球形鱼眼不可见光投影单元8200和第二半球形鱼眼不可见光投影单元8210可以共同投射或发射360度全向静态点云图案。
在一些实施例中，由第一半球形鱼眼不可见光投影单元8200投射的全向静态点云图案的半球形部分的一部分可以与由第二半球形鱼眼不可见光投影单元8210投射的全向静态点云图案的半球形部分的一部分重叠，如8500所示。为了避免重叠部分中各自投射的静态点云图案之间的模糊或冲突，由第一半球形鱼眼不可见光投影单元8200投射的全向静态点云图案的半球形部分可以不同于由第二半球形鱼眼不可见光投影单元8210投射的全向静态点云图案的半球形部分。例如，由第一半球形鱼眼不可见光投影单元8200投射的全向静态点云图案的半球形部分可以使用不可见光的圆形点，由第二半球形鱼眼不可见光投影单元8210投射的全向静态点云图案的半球形部分可以使用不可见光的方形点。在另一示例中，各个半球形鱼眼不可见光投影单元8200、8210的光投射可以是时分双工复用的。可以使用其他复用技术。
第一半球形鱼眼不可见光检测单元8300的视场可以与第二半球形鱼眼不可见光检测单元8310的视场部分重叠，以形成360度全向组合视场。第一半球形鱼眼不可见光检测单元8300和第二半球形鱼眼不可见光检测单元8310可以共同接收或检测对应于360度全向静态点云图案的反射光，例如由第一半球形鱼眼不可见光投影单元8200和第二半球形鱼眼不可见光投影单元8210投射的360度全向静态点云图案。
图9示出了根据本公开的球形鱼眼不可见光深度检测设备9000的另一示例的示意图。除非本文所述或从上下文中另有明确说明，球形鱼眼不可见光深度检测设备9000可以类似于图9所示的球形鱼眼不可见光深度检测设备9000。
球形鱼眼不可见光深度检测设备9000包括设备外壳9100、第一半球形鱼眼不可见光投影单元9200、第二半球形鱼眼不可见光投影单元9210、第一半球形鱼眼不可见光检测单元9300、第二半球形鱼眼不可见光检测单元9310、第一半球形鱼眼不可见泛光投影单元9400、以及第一半球形鱼眼不可见泛光投影单元9410。
图10示出了根据本公开的球形鱼眼不可见光投影单元10000的示例的示意图。球形或全向鱼眼不可见光深度检测设备(例如图8所示的球形鱼眼不可见光深度检测设备8000或图9所示的球形鱼眼不可见光深度检测设备9000)可以包括球形鱼眼不可见光投影单元10000。例如，图8所示的球形鱼眼不可见光深度检测设备8000的第一半球形鱼眼不可见光投影单元8200和第二半球形鱼眼不可见光投影单元8210可以实现为球形鱼眼不可见光投影单元10000。
球形鱼眼不可见光投影单元10000包括外壳10100、不可见光源10200、一个或多个第一透镜10300、反射镜10400、第一半球形部分10500、以及第二半球形部分10600。不可见光源10200和第一透镜10300沿第一轴10700定向。
第一半球形部分10500包括一个或多个第二透镜10510和第一衍射光学元件10520。第二半球形部分10600包括一个或多个第三透镜10610和第二衍射光学元件10620。第一半球形部分10500和第二半球形部分10600沿如10800处的虚线所示的光轴定向。
由不可见光源10200沿第一轴10700投射的不可见光由反射镜10400分别引导(例如分离和反射)至第一半球形部分10500和第二半球形部分10600。由不可见光源10200发射并由反射镜10400分别引导至第一半球形部分10500和第二半球形部分10600的不可见光分别由透镜10510、10610折射，以形成纵向360度和横向360度的组合投影场。形成投影场的不可见光由相应的衍射光学元件10520、10620校准以形成静态点云图案。相应的示例光路由从不可见光源10200延伸，穿过透镜10300，由反射镜10400引导，穿过透镜10510、10610，穿过衍射光学元件10520、10620，并从衍射光学元件10520、10620延伸的方向线表示。
不可见光源10200在平面内产生不可见光，透镜10300、10510、10610、反射镜10400、以及衍射光学元件10520、10620的组合将不可见光源10200发射的光映射到球形分布的静态点云图案。
图11示出了根据本公开的球形鱼眼不可见光检测单元11000的示例的示意图。球形或全向鱼眼不可见光深度检测设备(例如图8所示的球形鱼眼不可见光深度检测设备8000或图9所示的球形鱼眼不可见光深度检测设备9000)可以包括球形鱼眼不可见光检测单元11000。例如，图8所示的球形鱼眼不可见光深度检测设备8000的第一半球形鱼眼不可见光检测单元8300和第二半球形鱼眼不可见光检测单元8310可以实现为球形鱼眼不可见光检测单元11000。
球形鱼眼不可见光检测单元11000包括外壳11100、第一半球形部分11200、第二半球形部分11300、反射镜11400、一个或多个第一透镜11500、以及不可见光接收器11600。不可见光接收器11600和第一透镜11500沿第一轴11700定向。
第一半球形部分11200包括一个或多个第二透镜11210和第一不可见光通过滤光片11220。第二半球形部分11300包括一个或多个第三透镜11310和第二不可见光通过滤光片11320。第一半球形部分11200和第二半球形部分11300沿如11800处的虚线所示的光轴定向。
不可见光通过滤光片11220、11320可以接收光(可以包括不可见光，例如红外光)。例如，不可见光通过滤光片11220、11320可以接收来自从不可见光投影单元(例如图10所示的球形鱼眼不可见光投影单元10000)发射之后由邻近外部对象(未示出)反射的静态点云图案的红外光。
不可见光通过滤光片11220、11320接收的光由不可见光通过滤光片11220、11320进行滤光以去除可见光并通过不可见光。通过不可见光滤光片11220、11320的不可见光分别由第二和第三透镜11210、11310聚焦在反射镜11400上，并通过第一透镜11500引导至不可见光接收器11600。不可见光滤光片11220、11320、反射镜11400、以及透镜11210、11310、11500的组合将球形鱼眼不可见光检测单元11000的球形视场映射到不可见光接收器11600的平面上。
图12示出了根据本公开的鱼眼不可见光深度检测12000的示例的示意图。鱼眼不可见光深度检测12000可以在基于不可见光的深度检测设备中实现，例如在用户设备中实现，上述用户设备例如是图3所示的半球形鱼眼不可见光深度检测设备3000、图4所示的半球形鱼眼不可见光深度检测设备4000、图8所示的球形鱼眼不可见光深度检测设备8000、或图9所示的球形鱼眼不可见光深度检测设备9000。
鱼眼不可见光深度检测12000包括：在12100投射半球形或球形不可见光静态点云图案；在12200检测不可见光；在12300确定三维深度信息；在12400输出三维深度信息。
在12100投射半球形或球形不可见光静态点云图案包括：从不可见光源(例如图5所示的不可见光源5200或图10所示的不可见光源10200)发射不可见光，例如红外光。在一些实施例中，例如在球形实施例中，在12100投射半球形或球形不可见光静态点云图案包括：例如通过反射镜(例如图10所示的反射镜10400)将发射的不可见光引导至基于不可见光的深度检测设备的第一半球形部分(例如图10所示的第一半球形部分10500)和基于不可见光的深度检测设备的第二半球形部分(例如图10所示的第二半球形部分10600)。在12100投射半球形或球形不可见光静态点云图案包括：例如通过一个或多个透镜(例如图5所示的透镜5300或图6所示的透镜10300、10510、10610)折射发射的不可见光以形成半球形或球形投影场。在12100投射半球形或球形不可见光静态点云图案包括：例如通过衍射光学元件(例如图5所示的衍射光学元件5400或图6所示的衍射光学元件10520、10620)对半球形或球形投影场中的不可见光进行校准或滤光，以形成投射的半球形或球形不可见光静态点云图案。
投射的半球形或球形不可见光静态点云图案的不可见光点阵或其一部分可以由基于不可见光的深度检测设备的环境中的一个或多个外部对象或其一部分反射至基于不可见光的深度检测设备。
在12200检测不可见光包括：接收光(包括在12100投射的经反射的不可见光)。在12200检测不可见光包括：例如通过不可见光通过滤光片(例如图6所示的不可见光通过滤光片6200或图11所示的不可见光通过滤光片11220、111320)对接收到的光进行滤光，以去除不可见光以外的光(例如可见光)并通过不可见光。在12200检测不可见光包括：使用一个或多个透镜(例如图6所示的透镜6300或图11所示的透镜11210、11310、11500)将接收到的不可见光聚焦在不可见光检测器(例如图6所示的不可见光接收器6400或图11所示的不可见光接收器11600)的平面表面上。在一些实施例中，例如在球形实施例中，接收到的光可以由基于不可见光的深度检测设备的第一半球形部分(例如图11所示的第一半球形部分11200)和基于不可见光的深度检测设备的第二半球形部分(例如图11所示的第二半球形部分11300)进行接收和滤光，由相应的半球形部分聚焦在反射镜(例如图11所示的反射镜11400)上，并由反射镜引导至不可见光接收器。
在12300确定三维深度信息可以包括：使用一个或多个映射函数确定相应的结果，其中，θ表示反射光点与摄像机光轴之间的弧度角，f表示镜头的焦距，R表示传感器上的检测到的光对应的径向位置，上述函数例如是等距映射函数(equidistant mappingfunction)(可以表示为R＝f·θ)、球极映射函数(stereographic mapping function)(可以表示为
Figure BDA0003203206680000101
)、正射映射函数(orthographic mapping function)(可以表示为R＝f·sin(θ))、等立体映射函数(equisolid mapping function)(可以表示为
Figure BDA0003203206680000102
)或任何其他半球形或球形映射函数。
虽然在本文基于结构光的鱼眼不可见光深度检测的上下文中描述了鱼眼不可见光深度检测，但也可以使用其他鱼眼不可见光深度检测技术，例如动态图案结构光深度检测和飞行时间(time of flight，ToF)深度检测。在一些实施方式中，结构或动态光图案可以是点云图案、灰色/颜色编码光条纹图案等。
例如，鱼眼不可见光飞行时间深度检测可以包括：使用半球形鱼眼不可见泛光投影单元(例如图4所示的半球形鱼眼不可见泛光投影单元4400或图7所示的半球形鱼眼不可见泛光投影单元7000)投射半球形不可见光；或使用球形鱼眼不可见泛光投影单元投射球形不可见光；识别对应于投射不可见光的时间投影点；使用半球形鱼眼不可见光检测单元(例如图6所示的半球形鱼眼不可见光检测单元6000)或球形鱼眼不可见光检测单元(例如图11所示的球形鱼眼不可见光检测单元11000)接收反射的不可见光；确定对应于接收反射的不可见光的一个或多个时间接收点；基于时间投影点与时间接收点之间的差异确定深度信息。对应于检测或接收反射的不可见光的空间信息可以映射到鱼眼不可见光飞行时间深度检测单元的操作环境，对应于相应的空间位置的时间投影点与时间接收点之间的差异可以识别为对应空间点的深度信息。
在12400可以输出三维深度信息。例如，三维深度信息可以存储在数据存储单元中。在另一示例中，三维深度信息可以发送到设备的另一组件。
图13是根据本公开的使用半球形或球形可见光深度图像的三维建模13000的示例的示意图。使用半球形或球形可见光深度图像的三维建模13000可以在基于不可见光的深度检测设备中实现，例如用户设备，例如图3所示的半球形鱼眼不可见光深度检测设备3000、图4所示的半球形鱼眼不可见光深度检测设备4000、图8所示的球形鱼眼不可见光深度检测设备8000、或者图9所示的球形鱼眼不可见光深度检测设备9000。
使用半球形或球形可见光深度图像的三维建模13000可以包括生成表示用户设备的操作环境或其一部分的三维映射或模型，例如三维增强现实模型或三维虚拟现实模型。使用半球形或球形可见光深度图像的三维建模13000包括在13100的图像获取和预处理以及在13200的三维建模。
在13100的图像获取和预处理包括在13110获得图像以及在13120的视角转换。在13110的获得图像可以包括获得包括深度信息的半球形或球形可见光图像(或多个图像)，例如RGB-D(Red-Green-Blue-Depth，红绿蓝深度)图像。出于简化和清晰，包括深度信息的半球形或球形可见光深度图像(例如，半球形或球形可见光图像以及半球形或球形不可见光深度图像的组合)在本文中可以称为半球形或球形可见光深度(visible light-depth，VL-D)图像。半球形或球形可见光图像以及半球形或球形不可见光深度图像可以时空同步。
半球形VL-D图像可以包括半球形可见光图像和半球形深度图像。例如，用户设备可以包括半球形图像捕获装置，除非本文所述或上下文另有明确说明，否则该装置可以类似于图3所示的半球形鱼眼不可见光深度检测设备3000或图4所示的半球形鱼眼不可见光深度检测设备4000。半球形图像捕获装置可以包括半球形(例如鱼眼)可见光图像捕获单元。除非本文所述或上下文另有明确说明，否则半球形可见光图像捕获单元可以类似于图6所示的半球形鱼眼不可见光检测单元6000。例如，半球形可见光图像捕获单元可以省略图6中所示的不可见光滤光片6200，并且可以被配置为捕获可见光。半球形图像捕获装置可以包括半球形不可见光深度检测单元、设备、或阵列，例如图3所示的半球形鱼眼不可见光深度检测设备3000或图4所示的半球形鱼眼不可见光深度检测设备4000。半球形不可见光深度检测单元、设备、或阵列以及半球形可见光图像捕获单元可以是同步的。半球形可见光图像捕获单元可以获得或捕获半球形可见光图像，并且同时半球形不可见光深度检测单元可以获得或捕获对应的半球形不可见光深度图像。
球形VL-D图像可以包括球形可见光图像和球形深度图像。例如，用户设备可以包括球形图像捕获装置，除非本文所述或上下文另有明确说明，否则该装置可以类似于图8所示的球形鱼眼不可见光深度检测设备8000或图9所示的球形鱼眼不可见光深度检测设备9000。球形图像捕获装置可以包括球形可见光图像捕获单元。除非本文所述或上下文另有明确说明，否则球形可见光图像捕获单元可以类似于图11所示的球形鱼眼不可见光检测单元11000。例如，球形可见光图像捕获单元可以省略图11中所示的不可见光滤光片11200、11300，并且可以被配置为捕获可见光。球形图像捕获装置可以包括球形不可见光深度检测单元、设备、或阵列，例如图8所示的球形鱼眼不可见光深度检测设备8000或图9所示的球形鱼眼不可见光深度检测设备9000。球形不可见光深度检测单元、设备、或阵列以及球形可见光图像捕获单元可以是同步的。球形可见光图像捕获单元可以获得或捕获球形可见光图像，并且同时球形不可见光深度检测单元可以获得或捕获对应的球形不可见光深度图像。
在13120的视角转换可以包括生成视角转换的图像，例如视角转换的可见光图像、视角转换的深度图像、以上二者或其组合，这些图像可以是视角投射图像。例如，用户设备的视角转换单元可以从用户设备的一个或多个半球形或球形图像捕获单元接收半球形或球形VL-D图像，可以基于半球形或球形VL-D图像生成视角转换的图像，并且可以输出该视角转换的图像。例如，基于半球形VL-D图像生成的视角转换的半球形VL-D图像可以类似于全景可见光图像和对应的全景不可见光深度图像。在13120的视角转换可以包括将视角转换的半球形或球形VL-D图像中的每个像素位置映射到半球形或球形VL-D中的对应位置。在13120的视角转换可以包括图像处理，例如可见光图像和/或深度图像的反锯齿(anti-aliasing)。视角转换单元可以输出视角转换的半球形或球形VL-D图像，该图像可以包括视角转换的半球形或球形可见光图像和视角转换的半球形或球形不可见光深度图像。
在13120的视角转换例如可以包括球形视角投射，这可以包括根据直线球形视角投射约束将空间中的线投射成球形视角图像中的曲线。例如，空间中的线可以投射成图像平面中具有半长轴的椭圆曲线。在13120的视角转换可以包括确定与空间中的线对应的椭圆，并确定椭圆曲线的中心(光学中心)和半长轴，这可以基于从VL-D图像确定沿该椭圆曲线的点(i,i)，例如五个点(i＝1,...,5)。
在13120的视角转换可以包括例如使用最小二乘成本函数对点(ui,vi)进行曲线拟合，这可以包括确定系数(b,c,d,e,f)，可以表述成以下公式：
u2+buv+cv2+du+ev+f＝0。
在13120的视角转换可以包括确定椭圆的中心点(xC,yC)和半长轴(a)，中心点可以是半球形图像的光学中心，半长轴可以对应于半径。对于视角转换图像中的每个点(x,y)，例如每个像素，可以确定VL-D图像中的对应位置(u,v)，并且可以例如使用基于VL-D图像中的对应位置(u,v)中的值的双线性插值来确定视角转换图像中的相应点(x,y)的值。
在13120的视角转换可以包括使用内参数(intrinsic parameter)和/或外参数(extrinsic parameters)，这些参数可以使用校准过程来获得。内参数可以对应于透镜畸变。外参数可以对应于半球形或球形可见光图像的坐标系以及半球形或球形不可见光深度图像的坐标系之间的变换。在13120的视角转换可以包括将视角转换的半球形或球形可见光图像与对应的视角转换的半球形或球形不可见光深度图像对齐。
在13200的三维建模可以生成用户设备的操作环境的三维模型，该三维模型与在13100捕获的VL-D图像对应。例如，用户设备的三维建模单元可以从半球形或球形图像捕获装置接收视角转换的半球形或球形VL-D图像，并且可以使用同时定位和映射(simultaneous localization and mapping，SLAM)，基于接收到的视角转换的半球形或球形VL-D图像生成三维模型。在13200的三维建模包括在13210的特征提取、在13220的特征匹配、在13230的位姿估计、在13240的图优化、以及在13250的映射生成。虽然图13中没有单独示出，但在13200的三维建模可以包括输出(例如发送或存储)三维模型、视角转换的半球形或球形VL-D图像、或以上的组合。在一些实施方式中，在13120的视角转换可以省略，并且在13200的三维建模可以基于在13100捕获的半球形或球形VL-D图像或图像序列。
在13210的特征提取可以包括基于视角转换的半球形或球形VL-D图像执行特征提取，例如基于尺度不变特征变换(scale-invariant feature transform，SIFT)的特征提取、基于方向梯度直方图(histogram of oriented gradients，HOG)的特征提取、基于加速鲁棒特征(speeded up robust features，SURF)的特征提取、基于神经网络的特征提取等。可以在视角转换的半球形或球形VL-D图像中识别一个或多个特征，这些特征可以对应于相应图像中捕获的物体的各部分，例如物体的角或边。例如，可以在视角转换的半球形或球形可见光图像中识别一个或多个特征，并且可以在对应的视角转换的半球形或球形不可见光深度图像中识别一个或多个特征。在一些实施例中，可以捕获VL-D图像的时间序列，并且在13210的特征提取可以包括从VL-D图像的时间序列中的两个或多个VL-D图像中识别或提取特征。
在一些实施例中，可以捕获VL-D图像的时间序列，并且在13220的特征匹配可以包括确定在13120从VL-D图像的时间序列中的第一VL-D图像中识别或提取的特征与在13210从VL-D图像的时间序列中的第二(例如后一)VL-D图像识别或提取的特征之间的对应关系，这可以包括将第一VL-D图像与第二VL-D图像对齐。
在13230的位姿估计可以包括识别用户设备(相机)相对于由一个或多个VL-D图像捕获的操作环境或场景的定向，这可以基于在13210提取并在13220匹配的特征。
在13240的图优化可以包括基于在13230的位姿估计生成和/或优化位姿图。例如，可以捕获VL-D图像的时间序列，并且在13230的位姿估计可以包括用户设备(相机)相对于VL-D图像序列中的相应VL-D图像之间的捕获场景的相对定向或位姿。可以在13230针对相应的VL-D图像识别位姿或相对定向，并且该位姿或相对定向可以与在13240的位姿图中的节点相关联，该节点可以与相应的时间点或位置相对应。位姿图中的节点之间的边或连接可以表示相应节点之间的约束。图优化可以包括调节节点的相对定向以最大化与约束的一致性，这可以包括最小化噪声的影响。
在13250的映射生成可以包括基于在13210捕获的VL-D图像以及在13240生成的优化位姿图生成表示操作环境的三维映射。例如，表示相机的操作环境的三维映射可以基于单个VL-D图像生成，这可以省略在13220的特征匹配、在13230的位姿估计、在13240的图优化、或者以上的组合。在另一示例中，可以基于两个或更多个VL-D图像生成物体的三维映射。在另一示例中，可以基于多个VL-D图像生成表示复杂空间(例如多房间建筑)的三维映射。
本文公开的方法、过程、或算法的方面、特征、元素、实施例可以在包含在计算机可读存储介质中的计算机程序、软件、或固件中实现以供计算机或处理器执行，并且可以采用可从例如有形计算机可用或计算机可读介质访问的计算机程序产品的形式。
如本文所用，术语“计算机”或“计算设备”包括能够执行本文公开的任何方法或其任何部分的任何单元或单元的组合。如本文所用，术语“用户设备”、“移动设备”、或“移动计算设备”包括但不限于用户设备、无线发射/接收单元、移动台、固定或移动订户单元、寻呼机、蜂窝电话、个人数字助理(personal digital assistant，PDA)、计算机、或能够在移动环境中操作的任何其他类型的用户设备。
如本文所用，术语“处理器”包括单个处理器或多个处理器，例如一个或多个专用处理器、一个或多个数字信号处理器、一个或多个微处理器、一个或多个控制器、一个或多个微控制器，一个或多个专用集成电路(ASIC)，一个或多个专用标准产品(applicationspecific standard product，ASSP)；一个或多个现场可编程门阵列(field programmablegate array，FPGA)电路、任何其他类型集成电路(integrated circuit，IC)或其组合、一个或多个状态机、或其任意组合。
如本文所用，术语“存储器”包括任何计算机可用或计算机可读介质或设备，其可以例如有形地包含、存储、传送、或传输任何信号或信息以供任何处理器使用或与任何处理器连接。计算机可读存储介质的示例可以包括一个或多个只读存储器、一个或多个随机存取存储器、一个或多个寄存器、一个或多个缓存存储器、一个或多个半导体存储设备、一个或多个磁性介质，例如内部硬盘和可移动磁盘、一个或多个磁光介质、一个或多个光学介质(例如CD-ROM盘)、数字多功能盘(digital versatile disk，DVD)、或其任意组合。
如本文所用，术语“指令”可以包括用于执行本文公开的任何方法或其任何部分的指令，并且可以在硬件、软件或其任何组合中实现。例如，指令可以实现为存储在存储器中的信息，例如计算机程序，其可以由处理器执行以执行如本文所述的相应方法、算法、方面或其组合中的任何一个。在一些实施例中，指令或其一部分可以实现为专用处理器或电路，其可以包括用于执行如本文所述的方法、算法、方面或其组合中的任何一个的专用硬件。指令的各部分可以分布在同一机器或不同机器上的多个处理器上，或分布在诸如局域网、广域网、互联网或其组合之类的网络上。
如本文所用，术语“示例”、“实施例”、“实施方式”、“方面”、“特征”、或“元素”指示用作示例、实例、或说明。除非明确指出，否则任何示例、实施例、实施方式、方面、特征、或元素彼此独立，示例、实施例、实施方式、方面、特征、或元素可以与任何其他示例、实施例、实施方式、方面、特征、或元素结合使用。
如本文所用，术语“确定”和“识别”或其任何变体包括选择、确定、计算、查找、接收、确定、建立、获得或以任何方式使用此处示出和描述的设备的识别或确定。
如本文所用，术语“或”旨在表示包含性的“或”而非排他性的“或”。也就是说，除非另有说明或从上下文中明确指出，否则“X包括A或B”旨在表示任何自然包容性排列。也就是说，如果X包括A；X包括B；或X包括A和B，则在上述任何一种情况下都满足“X包括A或B”。此外，除非另有说明或从上下文清楚指向单数形式，否则本申请和所附权利要求中使用的冠词“一个”和“一个”通常应被解释为表示“一个或多个”。
此外，为了简化解释，虽然本文的附图和描述可以包括步骤或阶段的序列或系列，但本文公开的方法的元素可以以各种顺序发生或同时发生。此外，本文公开的方法的元素可以与本文未明确呈现和描述的其他元素一起出现。此外，本文描述的方法的元素中可能并不是所有元素都是实施根据本公开的方法所需要的。虽然本文以特定的组合描述了方面、特征、元素，但每个方面、特征、或元素可以独立使用或与或不与其他方面、特征、元素以各种组合使用。

Claims (14)

1.一种三维建模方法，所述方法包括：
获得半球形可见光深度图像，所述半球形可见光深度图像捕获用户设备的操作环境，其中，获得所述半球形可见光深度图像包括：
获得半球形可见光图像；以及
从红外光源发射红外光；
将发射的所述红外光折射以形成半球形投射场；
校准所述半球形投射场的所述红外光，以形成半球形不可见光静态结构光图案，从而实现投射半球形不可见光；
响应于投射所述半球形不可见光，检测反射的不可见光；
基于检测到的反射的不可见光和投射的所述半球形不可见光，确定三维深度信息；
生成视角转换的半球形可见光深度图像，所述视角转换包括：根据直线球形视角投射约束将空间中的线投射成球形视角图像中的曲线；其中，生成所述视角转换的半球形可见光深度图像包括：
生成视角转换的半球形可见光图像；以及
生成视角转换的半球形不可见光深度图像；
基于所述视角转换的半球形可见光深度图像生成所述操作环境的三维模型；以及
输出所述三维模型。
2.根据权利要求1所述的方法，其中，所述半球形可见光图像和所述半球形不可见光深度图像是时空同步的。
3.根据权利要求1所述的方法，其中，生成所述三维模型包括：
通过基于所述视角转换的半球形可见光深度图像执行特征提取，获得特征信息。
4.根据权利要求3所述的方法，其中，
获得所述半球形可见光深度图像包括获得半球形可见光深度图像序列，所述半球形可见光深度图像序列包括所述半球形可见光深度图像，其中，所述半球形可见光深度图像序列中的每个半球形可见光深度图像对应于所述操作环境中的相应时空位置；以及
生成所述视角转换的半球形可见光深度图像包括生成视角转换的半球形可见光深度图像序列，其中，所述视角转换的半球形可见光深度图像序列包括所述视角转换的半球形可见光深度图像，并且其中，所述半球形可见光深度图像序列中的每个相应的视角转换的半球形可见光深度图像对应于所述半球形可见光深度图像序列中的相应的半球形可见光深度图像。
5.根据权利要求4所述的方法，其中，获得所述特征信息包括，获得与所述视角转换的半球形可见光深度图像序列中的每个相应的视角转换的半球形可见光深度图像对应的特征信息。
6.根据权利要求5所述的方法，其中，生成所述三维模型包括：
基于与所述视角转换的半球形可见光深度图像序列中的每个相应的视角转换的半球形可见光深度图像对应的特征信息，生成优化的位姿图；以及
基于所述优化的位姿图和所述视角转换的半球形可见光深度图像序列生成所述三维模型。
7.一种非暂时性计算机可读存储介质，包括可执行指令，当所述可执行指令由处理器执行时，使所述处理器执行操作，所述操作包括：
获得半球形可见光深度图像，所述半球形可见光深度图像捕获用户设备的操作环境，其中，获得所述半球形可见光深度图像包括：
获得半球形可见光图像；以及
从红外光源发射红外光；
将发射的所述红外光折射以形成半球形投射场；
校准所述半球形投射场的所述红外光，以形成半球形不可见光静态结构光图案，从而实现投射半球形不可见光；
响应于投射所述半球形不可见光，检测反射的不可见光；
基于检测到的反射的不可见光和投射的所述半球形不可见光，确定三维深度信息；
生成视角转换的半球形可见光深度图像，所述视角转换包括：根据直线球形视角投射约束将空间中的线投射成球形视角图像中的曲线；其中，生成所述视角转换的半球形可见光深度图像包括：
生成视角转换的半球形可见光图像；以及
生成视角转换的半球形不可见光深度图像；
基于所述视角转换的半球形可见光深度图像生成所述操作环境的三维模型；以及
输出所述三维模型。
8.根据权利要求7所述的非暂时性计算机可读存储介质，其中，所述半球形可见光图像和所述半球形不可见光深度图像是时空同步的。
9.根据权利要求7所述的非暂时性计算机可读存储介质，其中，生成所述三维模型包括：
通过基于所述视角转换的半球形可见光深度图像执行特征提取，获得特征信息。
10.根据权利要求9所述的非暂时性计算机可读存储介质，其中：
获得所述半球形可见光深度图像包括获得半球形可见光深度图像序列，所述半球形可见光深度图像序列包括所述半球形可见光深度图像，其中，所述半球形可见光深度图像序列中的每个半球形可见光深度图像对应于所述操作环境中的相应时空位置；以及
生成所述视角转换的半球形可见光深度图像包括生成视角转换的半球形可见光深度图像序列，其中，所述视角转换的半球形可见光深度图像序列包括所述视角转换的半球形可见光深度图像，并且其中，所述半球形可见光深度图像序列中的每个相应的视角转换的半球形可见光深度图像对应于所述半球形可见光深度图像序列中的相应的半球形可见光深度图像。
11.根据权利要求10所述的非暂时性计算机可读存储介质，其中，获得所述特征信息包括，获得与所述视角转换的半球形可见光深度图像序列中的每个相应的视角转换的半球形可见光深度图像对应的特征信息。
12.根据权利要求11所述的非暂时性计算机可读存储介质，其中，生成所述三维模型包括：
基于与所述视角转换的半球形可见光深度图像序列中的每个相应的视角转换的半球形可见光深度图像对应的特征信息，生成优化的位姿图；以及
基于所述优化的位姿图和所述视角转换的半球形可见光深度图像序列生成所述三维模型。
13.一种用于深度检测的装置，所述装置包括：
半球形不可见光投射器；
半球形不可见光传感器；
半球形可见光传感器；
非暂时性计算机可读介质；以及
处理器，用于执行存储在所述非暂时性计算机可读介质上的指令，以：
获得半球形可见光深度图像，所述半球形可见光深度图像捕获所述装置的操作环境，
其中，获得所述半球形可见光深度图像包括：
控制所述半球形可见光传感器获得半球形可见光图像；
控制所述半球形不可见光投射器投射半球形不可见光静态结构光图案；其中，从红外光源发射红外光；将发射的所述红外光折射以形成半球形投射场；校准所述半球形投射场的所述红外光，以形成所述半球形不可见光静态结构光图案；
响应于控制所述半球形不可见光投射器投射所述半球形不可见光静态结构光图案，控制所述半球形不可见光传感器获得半球形不可见光深度图像；
通过以下生成视角转换的半球形可见光深度图像，所述视角转换包括：根据直线球形视角投射约束将空间中的线投射成球形视角图像中的曲线：
生成视角转换的半球形可见光图像；以及
生成视角转换的半球形不可见光深度图像；
基于所述视角转换的半球形可见光深度图像生成所述操作环境的三维模型；以及
输出所述三维模型。
14.根据权利要求13所述的装置，其中，所述处理器用于执行存储在所述暂时性计算机可读介质上的指令以：
通过获得半球形可见光深度图像序列，获得所述半球形可见光深度图像，所述半球形可见光深度图像序列包括所述半球形可见光深度图像，其中，所述半球形可见光深度图像序列中的每个半球形可见光深度图像对应于所述操作环境中的相应时空位置；
通过生成视角转换的半球形可见光深度图像序列，生成所述视角转换的半球形可见光深度图像，其中，所述视角转换的半球形可见光深度图像序列包括所述视角转换的半球形可见光深度图像，并且其中，所述半球形可见光深度图像序列中的每个相应的视角转换的半球形可见光深度图像对应于所述半球形可见光深度图像序列中的相应的半球形可见光深度图像；
通过基于所述视角转换的半球形可见光深度图像执行特征提取，获得特征信息，其中，获得所述特征信息包括获得与所述视角转换的半球形可见光深度图像序列中的每个相应的视角转换的半球形可见光深度图像对应的相应特征信息；
基于与所述视角转换的半球形可见光深度图像序列中的每个相应的视角转换的半球形可见光深度图像对应的相应特征信息，生成优化的位姿图；以及
基于所述优化的位姿图和所述视角转换的半球形可见光深度图像序列生成所述三维模型。
CN201980091640.9A 2019-03-27 2019-09-05 使用半球形或球形可见光深度图像的三维建模 Active CN113424524B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962824635P 2019-03-27 2019-03-27
US62/824,635 2019-03-27
PCT/CN2019/104578 WO2020192022A1 (en) 2019-03-27 2019-09-05 Three-dimensional modeling using hemispherical or spherical visible light-depth images

Publications (2)

Publication Number Publication Date
CN113424524A CN113424524A (zh) 2021-09-21
CN113424524B true CN113424524B (zh) 2023-02-14

Family

ID=72610896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980091640.9A Active CN113424524B (zh) 2019-03-27 2019-09-05 使用半球形或球形可见光深度图像的三维建模

Country Status (4)

Country Link
US (1) US11688086B2 (zh)
EP (1) EP3909238A4 (zh)
CN (1) CN113424524B (zh)
WO (1) WO2020192022A1 (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103081484A (zh) * 2010-09-07 2013-05-01 英特尔公司 3-d摄像机
CN105939440A (zh) * 2015-03-05 2016-09-14 韩华泰科株式会社 拍摄设备和方法
CN107439002A (zh) * 2015-04-03 2017-12-05 微软技术许可有限责任公司 深度成像

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5717518A (en) * 1996-07-22 1998-02-10 Kla Instruments Corporation Broad spectrum ultraviolet catadioptric imaging system
US7176960B1 (en) * 1999-09-20 2007-02-13 The Trustees Of Columbia University In The City Of New York System and methods for generating spherical mosaic images
KR101863626B1 (ko) * 2011-11-02 2018-07-06 삼성전자주식회사 영상 처리 장치 및 방법
CN102799318B (zh) * 2012-08-13 2015-07-29 深圳先进技术研究院 一种基于双目立体视觉的人机交互方法及系统
US9836885B1 (en) * 2013-10-25 2017-12-05 Appliance Computing III, Inc. Image-based rendering of real spaces
US9438891B2 (en) * 2014-03-13 2016-09-06 Seiko Epson Corporation Holocam systems and methods
US10289070B2 (en) * 2014-05-01 2019-05-14 Cell-Optic, Inc. Holograms using birefringent lenses
CA2953337C (en) * 2014-05-06 2023-04-11 Zakariya NIAZI Imaging system, method, and applications
CN105242384B (zh) * 2015-10-30 2020-09-04 深圳乐行天下科技有限公司 深度相机光学系统
TWI570387B (zh) * 2015-11-09 2017-02-11 財團法人工業技術研究院 影像測距系統、光源模組及影像感測模組
US10602126B2 (en) * 2016-06-10 2020-03-24 Lucid VR, Inc. Digital camera device for 3D imaging
US10727685B2 (en) * 2017-01-27 2020-07-28 Otoy, Inc. Drone-based VR/AR device recharging system
US10440349B2 (en) * 2017-09-27 2019-10-08 Facebook Technologies, Llc 3-D 360 degrees depth projector
US11902496B2 (en) * 2018-12-05 2024-02-13 Fotonation Limited Depth sensing camera system
EP3895416A4 (en) * 2019-03-27 2022-03-02 Guangdong Oppo Mobile Telecommunications Corp., Ltd. THREE-DIMENSIONAL LOCATION USING LIGHT DEPTH IMAGERY
WO2020192021A1 (en) * 2019-03-27 2020-10-01 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Three-dimensional tracking using hemispherical or spherical visible light-depth images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103081484A (zh) * 2010-09-07 2013-05-01 英特尔公司 3-d摄像机
CN105939440A (zh) * 2015-03-05 2016-09-14 韩华泰科株式会社 拍摄设备和方法
CN107439002A (zh) * 2015-04-03 2017-12-05 微软技术许可有限责任公司 深度成像

Also Published As

Publication number Publication date
US11688086B2 (en) 2023-06-27
EP3909238A1 (en) 2021-11-17
US20210398303A1 (en) 2021-12-23
EP3909238A4 (en) 2022-03-09
CN113424524A (zh) 2021-09-21
WO2020192022A1 (en) 2020-10-01

Similar Documents

Publication Publication Date Title
CN113412614B (zh) 使用深度图像的三维定位
CN107111598B (zh) 使用超声深度感测的光流成像系统以及方法
KR101666959B1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
CN108734087B (zh) 物体自动识别方法以及系统、购物设备和存储介质
JP4825980B2 (ja) 魚眼カメラの校正方法。
EP3428875A1 (en) Methods and apparatuses for panoramic image processing
US20210368156A1 (en) Three-Dimensional Tracking Using Hemispherical or Spherical Visible Light-Depth Images
JP5631086B2 (ja) 情報処理装置及びその制御方法、プログラム
JP5833507B2 (ja) 画像処理装置
WO2015197026A1 (zh) 一种获取目标物体体征数据的方法、装置及终端
US20220301277A1 (en) Target detection method, terminal device, and medium
WO2016133697A1 (en) Projection transformations for depth estimation
CN114766042A (zh) 目标检测方法、装置、终端设备及介质
CN112837207A (zh) 全景深度测量方法、四目鱼眼相机及双目鱼眼相机
KR20120108256A (ko) 로봇 물고기 위치 인식 시스템 및 로봇 물고기 위치 인식 방법
US11611698B2 (en) Method and apparatus of depth detection, and computer-readable storage medium
CN113424524B (zh) 使用半球形或球形可见光深度图像的三维建模
CN108335329B (zh) 应用于飞行器中的位置检测方法和装置、飞行器
Aliakbarpour et al. Multi-sensor 3D volumetric reconstruction using CUDA
JP7298687B2 (ja) 物体認識装置及び物体認識方法
KR102269088B1 (ko) 동공 추적 장치 및 방법
Mazhar et al. Design and calibration of a specialized polydioptric camera rig
KR102106890B1 (ko) 소형통합제어장치
Nappi et al. Real time 3D face-ear recognition on mobile devices: New scenarios for 3D biometrics “in-the-Wild”
CN117197256A (zh) 一种标定方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant