CN107424186A - 深度信息测量方法及装置 - Google Patents

深度信息测量方法及装置 Download PDF

Info

Publication number
CN107424186A
CN107424186A CN201610352046.9A CN201610352046A CN107424186A CN 107424186 A CN107424186 A CN 107424186A CN 201610352046 A CN201610352046 A CN 201610352046A CN 107424186 A CN107424186 A CN 107424186A
Authority
CN
China
Prior art keywords
depth information
scan
image
mobile object
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610352046.9A
Other languages
English (en)
Other versions
CN107424186B (zh
Inventor
张耀宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wistron Corp
Original Assignee
Wistron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wistron Corp filed Critical Wistron Corp
Publication of CN107424186A publication Critical patent/CN107424186A/zh
Application granted granted Critical
Publication of CN107424186B publication Critical patent/CN107424186B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/514—Depth or shape recovery from specularities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/507—Depth or shape recovery from shading
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种深度信息测量方法及装置。此方法是利用光投射装置投射具有一扫描图像的结构光以扫描至少一个物体，并利用光传感装置检测物体的反射光，以根据反射光的反射图像的形变计算各个物体的深度信息。然后，利用影像撷取装置拍摄包括物体的影像，以获取各个物体的位置信息，并根据此位置信息的变化，找出这些物体中的移动物体。最后，根据移动物体所在区域，调整结构光的扫描区域、扫描频率、扫描解析度、扫描图像及扫描所得数据的处理顺序的至少其中之一，据以计算各个物体的深度信息。

Description

深度信息测量方法及装置
技术领域
本发明是有关于一种测量方法及装置，且特别是有关于一种深度信息测量方法及装置。
背景技术
近年来，三维立体相机(3D camera)的应用日渐普及。其中，双镜头相机可利用两个镜头的视角差来测量所拍摄影像中各个物体与相机之间的距离。飞行时间(Time of Fly，TOP)技术则是在影像传感器上配置光源，利用此光源投射光并利用影像传感器测量投射光碰到物体后的反射光，从而根据光往返所花费的时间来测量物体的距离。另一技术则是在不同位置配置光发射器及光接收器，利用光发射器发射光的发射角，光接收器接收反射光的反射角，以及光发射器与光接收器之间的距离，依据三角测量的原理，计算待测物体的距离。
然而，测得单一物体的距离容易，要测得整个区域中多个物体的距离就需花费许多时间及计算成本。对此，近期发展的结构光(structure lighting)技术利用待测物体表面曲率变化会使得投射于其上的图像产生形变的原理，将具有特定图像的光以已知角度投射在待测物体上，并检测从物体反射的反射图像，从而根据特定图像在反射图像中的变形程度，计算出各个物体的深度。藉此，可以在较少的处理时间及较低的设备成本下，快速测得待测物体的距离。
结构光技术一般会使用平行的多条扫描线(例如直线或横线)的图像来扫描物体，以通过简化图像来减少计算量。然而，即便简化了图像，目前的结构光技术仍需针对整个影像进行扫描，而在为了提高判读精确度而增加图像复杂度(例如增加扫描频率)的情况下，计算量将大幅增加。
发明内容
本发明提供一种深度信息测量方法及装置，可有效节省测量深度信息所需的运算资源及处理时间。
本发明的深度信息测量方法适用于具有光投射装置、光传感装置及影像撷取装置的电子装置。此方法是利用光投射装置投射具有一扫描图像的结构光以扫描至少一个物体，并利用光传感装置检测这些物体的反射光，以根据反射光的反射图像的形变计算各个物体的深度信息。然后，利用影像撷取装置拍摄包括这些物体的影像，以获取各个物体的位置信息，并根据此位置信息的变化，从这些物体中找出移动物体。最后，根据移动物体所在区域，调整结构光的扫描区域、扫描频率、扫描解析度、扫描图像及扫描所得数据的处理顺序的至少其中之一，据以计算各个物体的深度信息。
本发明的深度信息测量装置包括光投射装置、光传感装置及影像撷取装置。其中，光投射装置是用以投射具有一扫描图像的结构光以扫描至少一个物体。光传感装置是用以检测物体的反射光。影像撷取装置是用以拍摄包括上述物体的影像。处理器耦接光投射装置、光传感装置及影像撷取装置，用以控制光投射装置投射结构光，并控制光传感装置检测反射光，以根据反射光的反射图像的形变计算各个物体的深度信息。其中，处理器利用上述的影像获取各个物体的位置信息，并根据此位置信息的变化，从这些物体中找出移动物体。处理器还根据移动物体所在区域，调整光投射装置所投射的结构光的扫描区域、扫描频率、扫描解析度、扫描图像及扫描所得数据的处理顺序的至少其中之一。
基于上述，本发明的深度信息测量方法及装置通过检测所拍摄影像中的移动物体，而根据移动物体所在区域动态调整结构光的扫描区域、扫描频率、扫描解析度、扫描图像，或是优先处理移动物体所在区域的深度信息的运算。藉此，可以节省扫描时间，加快处理速度，或可以在同样的处理时间，增加扫描解析度。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是依照本发明一实施例所绘示的深度信息测量装置的方块图。
图2是依照本发明一实施例所绘示的深度信息测量方法的流程图。
图3A至图3J是依照本发明一实施例所绘示的深度信息测量方法的范例。
图4是依照本发明一实施例所绘示的深度信息测量装置的状态机。
附图标号：
10：深度信息测量装置
12：光投射装置
14：光传感装置
16：影像撷取装置
18：处理器
30：影像
32、46、50：扫描图案
34、36、38、40、42、44、48、52、54、56、58：区域
A～E：物体
40：状态机
42：一般模式
44：追踪模式
S1～S4：状态
S202～S206：本发明一实施例的深度信息测量方法的步骤
具体实施方式
本发明针对结构光(structured light)技术，在所拍摄影像中的物体没有变动时，降低结构光的扫描频率，而在检测到移动物体时，依据移动物体所在区域，动态调整扫描区域的大小或频率。其中，针对影像中只有少数物体有移动的状况，本发明可仅针对移动物体所在区域增加其扫描频率或扫描解析度，并降低其他区域的扫描频率或扫描解析度，或是停止其他区域的扫描。藉此，可以节省扫描时间，加快处理速度，或可以在同样处理时间内，增加扫描解析度。
图1是依照本发明一实施例所绘示的深度信息测量装置的方块图。请参照图1，本实施例的深度信息测量装置10例如是可独立执行深度测量功能的电子装置，或是可整合于数码相机或手机、平板电脑、笔记型电脑等具备拍照功能的装置，而提供其拍照时所需的深度信息。深度信息测量装置10包括光投射装置12、光传感装置14、影像撷取装置16及处理器18，其功能分述如下：
光投射装置12例如是可投射红外线等非可见光的发光装置。为了增加准确性，光投射装置12以使用激光为主，特别是红外线的激光。光投射装置12例如可接收处理器20的控制，而投射具有特定扫描图像(例如横线或直线)的结构光，并可调整所投射结构光的扫描图像、扫描频率、扫描解析度或扫描区域的大小。
光传感装置14例如是与光投射装置12搭配的特殊光的相机，例如红外线相机，其可检测光投射装置12所投射的结构光遇到物体所反射回来的反射光。光传感装置14亦可接收处理器20的控制，调整接收结构光的区域大小。
影像撷取装置16例如是包含光学定焦镜头或光学变焦镜头，以及电荷耦合元件(Charge Coupled Device；CCD)或互补金氧半导体(Complementary Metal-OxideSemiconductor；CMOS)元件等感光元件的相机或摄影机，而可用以撷取深度信息测量装置10所欲测量深度的物体的影像。
处理器18耦接于光投射装置12、光传感装置14与影像撷取装置16，其例如是中央处理单元(Central Processing Unit，CPU)，或是其他可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor，DSP)、可程序化控制器、特殊应用集成电路(Application Specific Integrated Circuits，ASIC)或其他类似装置或这些装置的组合。在本实施例中，处理器18可控制光投射装置12、控制光传感装置14及影像撷取装置16，藉以执行本申请实施例的深度信息测量方法。
值得一提的是，在一实施例中，光投射装置12、光传感装置14、影像撷取装置16可额外连接一个镜头控制器(未绘示)，其可接收处理器18的控制指令，从而控制光投射装置12投射所要图像的结构光、控制光传感装置14检测反射光，以及控制影像撷取装置16拍摄影像，并将光传感装置14所检测到的反射光信息以及影像撷取装置16所拍摄的影像信息传送给处理器18。其中，镜头控制器例如可控制光投射装置12调整其投射结构光的扫描区域大小、扫描频率及扫描图像，也可以控制光传感装置14调整其检测反射光的区域大小，另还可控制影像撷取装置16调整拍摄影像所使用的焦距。此外，深度信息测量装置10例如还包括用以储存处理器18所执行程序的存储器、记忆卡等储存装置(未绘示)，用以接收使用者操作的触控屏幕、触控板、键盘等输入装置(未绘示)，以及用以显示影像撷取装置16的拍摄视野、所拍摄影像及其相关信息，以及使用者操作介面等信息的显示装置(未绘示)。
图2是依照本发明一实施例所绘示的深度信息测量方法的流程图。请同时参照图1及图2，本实施例的方法适用于上述图1的深度信息测量装置10，以下即搭配图1中深度信息测量装置10的各项元件，说明本实施例的深度信息测量方法的详细步骤：
首先，由处理器18利用光投射装置12投射具有一扫描图像的结构光以扫描至少一个物体，并利用光传感装置14检测这些物体的反射光，以根据此反射光的反射图像的形变计算各个物体的深度信息(步骤S202)。其中，处理器18例如是先依照预设的扫描图像控制光投射装置12投射结构光，此扫描图像例如是由多条平行的横线或直线所组成，而这些横线或直线的间隔及宽度例如是由处理器18根据预设的扫描解析度所决定。此外，依据结构光技术的原理，处理器18会分析反射图像相对于扫描图像的形变，从而找出反射图像中像素与扫描图像中像素的对应关系，然后再依据光投射装置12投射结构光至物体上特定位置的投射角、光传感装置14接收自该物体上特定位置反射的反射光的传感角，以及光投射装置12与光传感装置14之间的距离，利用三角测量原理，而计算出物体相对于深度信息测量装置10的深度信息。
然后，由处理器18利用影像撷取装置16拍摄包括上述物体的影像，以获取各个物体的位置信息，并根据位置信息的变化，找出所述物体中的至少一个移动物体(步骤S204)。其中，处理器18例如会将影像撷取装置16所拍摄的目前影像与前一张影像进行比对，从而依据影像中物体的特征，找出两张影像中特征相对应的物体，最后则可根据相对应物体的位置变化找出目前影像中的移动物体。
值得一提的是，通过上述拍摄影像的方式，处理器18可找出在二维方向上有移动的物体，而在另一实施例中，处理器18可进一步将各个物体的位置信息与步骤S202中所计算的该物体的深度信息结合为三维空间信息，而可进一步根据该三维空间信息的变化，找出所述移动物体。藉此，处理器18不仅可找出在二维方向上有移动的物体，还可找出在深度方向上有移动的物体。
在找出移动物体之后，处理器18即会根据这些移动物体所在区域，调整光投射装置12所投射的结构光的扫描区域、扫描频率、扫描解析度、扫描图像及扫描所得数据的处理顺序的至少其中之一(步骤S206)。详言之，原本光投射装置12所投射的结构光是针对整个区域，因此处理器18在计算深度信息时，也是针对整张影像，但其实影像中通常只有少部分区域会发生变动，其余区域则保持不动，此时就没有必要花费时间处理静止区域的数据。
据此，本实施例的处理器18即通过检测扫描区域内的移动物体，从而根据此移动物体所在区域的大小，动态调整光投射装置12所投射的结构光的扫描区域、扫描频率、扫描解析度、扫描图像，或调整光传感装置14所检测的区域及频率，或调整影像撷取装置16撷取影像的区域及大小，又或可调整自身处理数据的顺序，而优先处理移动物体所在区域的数据以计算其深度信息。以上方法可达到节省扫描时间、加快处理速度等功效，以下将分别举实施例详细说明。
图3A至图3J是依照本发明一实施例所绘示的深度信息测量方法的范例。其中，图3A中绘示的影像30是本发明实施例的深度信息测量装置利用影像撷取装置所拍摄的影像，其中包括物体A～E，而扫描图案32则是深度信息测量装置利用光投射装置所投射的结构光的图案，其是由多条平行的直线所构成。
第一实施例
请同时参照图3A及图3B，当深度信息测量装置通过比对图3A影像30中各物体的二维或三维空间信息，而检测到影像30中的物体C有移动时，即会根据物体C所在区域34(如图3B所示)的位置及大小，控制光投射装置仅针对物体C所在区域34增加其所投射的结构光的扫描解析度，并停止投射结构光于物体C所在区域34以外的其他区域。藉此，不仅可提升深度信息测量装置测量区域34的深度信息的精确度，还可节省持续运算其他区域的深度信息所需花费的时间及运算成本。
需说明的是，在另一实施例中，当深度信息测量装置检测到影像30中的物体C有移动时，亦可根据物体C所在区域34(如图3B所示)的位置及大小，控制光投射装置仅针对物体C所在区域34增加其所投射的结构光的扫描频率，并停止投射结构光于物体C所在区域34以外的其他区域。藉此，可达到提升深度信息测量装置测量区域34的深度信息的灵敏度(即在时间上的变化)。
第二实施例
请同时参照图3A及图3C，当深度信息测量装置通过比对图3A影像30中各物体的二维或三维空间信息，而检测到影像30中的物体C有移动时，即会根据物体C所在区域36(如图3C所示)的位置及大小，控制光投射装置仅针对物体C所在区域36投射结构光，并维持所投射结构光的扫描解析度，同时也停止投射结构光于物体C所在区域36以外的其他区域。藉此，可节省扫描时间，加快处理速度。
第三实施例
请同时参照图3A及图3D，当深度信息测量装置通过比对图3A影像30中各物体的二维或三维空间信息，而检测到影像30中的物体C有移动时，即会根据物体C所在区域40(如图3D所示)的位置及大小，控制光投射装置针对物体C所在区域40增加其所投射的结构光的扫描解析度，但仍针对物体C所在区域40以外的其他区域38维持所投射的结构光的扫描解析度。藉此，可增加测量区域40的深度信息的精确度，且可持续检测其他区域38的深度变化。
值得一提的是，针对上述针对物体C所在区域40增加扫描解析度的实施方式，在另一实施例中，深度信息测量装置可在执行完整个影像30的扫描后，控制光投射装置针对移动物体所在区域额外执行一次扫描，并控制光投射装置增加在该次扫描中投射于移动物体所在区域的结构光的扫描解析度。举例来说，深度信息测量装置可控制光投射装置先针对整个影像30进行N阶的扫描之后，再针对物体C所在区域40额外进行N+1阶的扫描，其中N+1阶的扫描例如是比N阶的扫描多一倍的扫描线，而可增加提升深度信息测量装置测量区域40的深度信息的精确度。
需说明的是，在另一实施例中，当深度信息测量装置检测到影像30中的物体C有移动时，则会根据物体C所在区域40(如图3D所示)的位置及大小，控制光投射装置针对物体C所在区域40增加其所投射的结构光的扫描频率，但仍针对物体C所在区域40以外的其他区域38维持所投射的结构光的扫描频率。藉此，可增加测量区域40的深度信息的灵敏度。
第四实施例
请同时参照图3A及图3E、图3F，当深度信息测量装置通过比对图3A影像30中各物体的二维或三维空间信息，而检测到影像30中的物体C有移动时，可控制光投射装置维持原有投射的扫描图像32的扫描解析度，但只针对反射图像中物体C所在区域的数据进行处理，或优先处理物体C所在区域的数据，以计算移动物体C的深度信息。其中，上述的物体C所在区域例如是影像30中由物体C所涵括的所有行像素所形成的区域42(如图3E所示)，或是由物体C周围一定范围内的像素所形成的区域44(如图3F所示)。通过以上处理方式，可帮助深度信息测量装置在有限的时间或运算资源内，快速获取移动物体的动态运动。
需说明的是，在另一实施例中，当深度信息测量装置检测到影像30中的物体C有移动时，可控制光投射装置维持原有投射的扫描图像32的扫描频率，但只针对反射图像中物体C所在区域(如图3E的区域42或图3F的区域44)的数据进行处理，或优先处理物体C所在区域的数据，以计算移动物体C的深度信息。藉此，可节省扫描时间，加快处理速度。
第五实施例
请同时参照图3A及图3G、图3H，当深度信息测量装置通过比对图3A影像30中各物体的二维或三维空间信息，而检测到影像30中的物体C有移动时，则可根据移动物体C的位置及大小，控制控制光投射装置增加所投射的扫描图像的扫描解析度，但只针对所检测的反射图像中物体C所在区域的数据进行处理，或优先处理物体C所在区域的数据，以计算移动物体C的深度信息。其中，深度信息测量装置例如会控制光投射装置增加所投射的扫描图像的扫描解析度(如图3G的扫描图像46)，并优先处理反射图像中物体C所在区域48(影像30中物体C周围一定范围内的像素所形成的区域)的数据，以计算移动物体C的深度信息。或者，深度信息测量装置会控制光投射装置增加所投射的扫描图像的扫描解析度(如图3H的扫描图像50)，并优先处理反射图像中物体C所在区域52(影像30中物体C所涵括的所有行像素所形成的区域)的数据，以计算移动物体C的深度信息。通过以上处理方式，可帮助深度信息测量装置在有限的时间或运算资源内，快速获取移动物体的动态运动，并增加扫描的解析度，而提升所测量深度信息的精确度。
需说明的是，在另一实施例中，当深度信息测量装置检测到影像30中的物体C有移动时，可仅控制光投射装置增加所投射的扫描图像的扫描解析度，而提升所测量深度信息的精确度。待深度信息测量装置检测到物体C不再移动时，再控制光投射装置回复原先所投射的扫描图像的扫描解析度。通过仅在检测到移动物体时增加扫描解析度，即可在增加所测量移动物体的深度信息的精确度的同时，也节省扫描时间。
在又一实施例中，当深度信息测量装置检测到影像30中的物体C有移动时，则可仅控制光投射装置增加所投射的扫描图像的扫描频率，而提升所测量深度信息的灵敏度。待深度信息测量装置检测到物体C不再移动时，再控制光投射装置回复原先所投射的扫描图像的扫描频率。通过仅在检测到移动物体时增加扫描频率，即可在增加所测量移动物体的深度信息的灵敏度的同时，也节省扫描时间。
第六实施例
请同时参照图3A及图3I，当深度信息测量装置通过比对图3A影像30中各物体的二维或三维空间信息，而检测到影像30中的物体B、C有移动时，则会根据移动物体B、C的位置及大小(例如移动物体B、C之间的距离)，判断其所在区域彼此相邻。据此，深度信息测量装置会将移动物体B、C所在区域合并为区域54，并据以将光投射装置投射结构光的扫描区域调整为区域54，以获取移动物体B、C的深度信息。另一方面，请同时参照图3A及图3J，当深度信息测量装置通过比对图3A影像30中各物体的二维或三维空间信息，而检测到影像30中的物体A、C有移动时，则会根据移动物体A、C的位置及大小(例如移动物体A、C之间的距离)，判断其所在区域56、58彼此不相邻。据此，深度信息测量装置会控制光投射装置分别投射结构光至区域56、58，并分别处理区域56、58中的数据，以获取移动物体A、C的深度信息。
需说明的是，上述实施例的测量方法是应用在有检测到移动物体的情况下。在另一实施例中，深度信息测量装置在检测到移动物体并据以调整结构光之后，还会持续检测这些移动物体是否移动，而在持续未检测到移动物体的时间超过预设时间时，则会结束上述对于结构光的调整。
举例来说，图4是依照本发明一实施例所绘示的深度信息测量装置的状态机。请参照图4，状态机40包括一般模式42及追踪模式44。其中，在状态S1中，深度信息测量装置持续未检测到有物体移动，因此会持续处于一般模式42。此时，为了省电，深度信息测量装置例如会适度降低扫描频率或解析度。在状态S2中，深度信息测量装置检测到移动物体，此时会进入追踪模式44，从对移动物体所在区域加强扫描频率或解析度，并停止对其它区域的检测或降低对其他区域的扫描率或解析度。在状态S3中，深度信息测量装置持续检测到有物体移动，因此也会持续地对移动物体所在区域加强扫描频率或解析度。在状态S4中，深度信息测量装置持续一段时间未检测到移动物体，此时将会回到一般模式，而结束上述对于结构光的扫描区域、扫描频率、扫描解析度、扫描图像及/或扫描所得数据的处理顺序的调整，藉此达到省电的功效。
综上所述，本发明的深度信息测量方法及装置通过检测拍摄物体影像以检测移动物体，并根据移动物体所在区域的位置及大小，动态调整光投射装置投射结构光的扫描区域、扫描频率、扫描解析度、扫描图像及/或处理扫描所得数据的顺序。藉此，可以节省扫描时间，加快处理速度，或者可以在同样的处理时间内，增加扫描解析度。
虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何所属技术领域中相关技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视权利要求为准。

Claims (20)

1.一种深度信息测量方法，其特征在于，适用于具有光投射装置、光传感装置及影像撷取装置的电子装置，该方法包括下列步骤：
利用该光投射装置投射具有一扫描图像的结构光以扫描至少一物体，并利用该光传感装置检测所述物体的反射光，以根据该反射光的反射图像的形变计算各所述物体的深度信息；
利用该影像撷取装置拍摄包括所述物体的影像，以获取各所述物体的位置信息，并根据该位置信息的变化，找出所述物体中的至少一移动物体；以及
根据所述移动物体所在区域，调整该结构光的扫描区域、扫描频率、扫描解析度、该扫描图像及扫描所得数据的处理顺序的至少其中之一，据以计算各所述物体的该深度信息。
2.如权利要求1所述的深度信息测量方法，其特征在于，根据该位置信息的变化，找出所述物体中的移动物体的步骤更包括：
结合各所述物体的该位置信息及该深度信息为三维空间信息；以及
根据该三维空间信息的变化，找出所述移动物体。
3.如权利要求1所述的深度信息测量方法，其特征在于，调整该结构光的该扫描区域、该扫描频率、该扫描解析度、该扫描图像及扫描所得数据的该处理顺序的至少其中之一的步骤包括：
控制该光投射装置增加投射于所述移动物体所在区域的该结构光的该扫描频率或该扫描解析度。
4.如权利要求3所述的深度信息测量方法，其特征在于，调整该结构光的该扫描区域、该扫描频率、该扫描解析度、该扫描图像及扫描所得数据的该处理顺序的至少其中之一的步骤更包括：
控制该光投射装置停止投射该结构光于所述移动物体所在区域以外的其他区域。
5.如权利要求3所述的深度信息测量方法，其特征在于，控制该光投射装置增加投射于所述移动物体所在区域的该结构光的该扫描频率的步骤包括：
针对所述移动物体所在区域额外执行一次扫描，并控制该光投射装置增加该次扫描中投射于所述移动物体所在区域的该结构光的该扫描解析度。
6.如权利要求1所述的深度信息测量方法，其特征在于，调整该结构光的该扫描区域、该扫描频率、该扫描解析度、该扫描图像及扫描所得数据的该处理顺序的至少其中之一的步骤包括：
控制该光投射装置仅投射该结构光于所述移动物体所在区域，并维持所投射该结构光的该扫描频率。
7.如权利要求1所述的深度信息测量方法，其特征在于，调整该结构光的该扫描区域、该扫描频率、该扫描解析度、该扫描图像及扫描所得数据的该处理顺序的至少其中之一，据以计算各所述物体的该深度信息的步骤包括：
优先处理该反射图像中所述移动物体所在区域的数据，以计算所述移动物体的所述深度信息。
8.如权利要求1所述的深度信息测量方法，其特征在于，调整该结构光的该扫描区域、该扫描频率、该扫描解析度、该扫描图像及扫描所得数据的该处理顺序的至少其中之一，据以计算各所述物体的该深度信息的步骤包括：
根据所述移动物体的位置及大小，控制该光投射装置增加所投射该结构光的该扫描解析度；以及
优先处理该反射图像中所述移动物体所在区域的数据，以计算所述移动物体的所述深度信息。
9.如权利要求1所述的深度信息测量方法，其特征在于，调整该结构光的该扫描区域、该扫描频率、该扫描解析度、该扫描图像及扫描所得数据的该处理顺序的至少其中之一的步骤包括：
合并相邻的所述移动物体所在区域，据以调整该结构光的该扫描区域、该扫描频率、该扫描解析度、该扫描图像及扫描所得数据的该处理顺序的至少其中之一。
10.如权利要求1所述的深度信息测量方法，其特征在于，在调整该结构光的该扫描区域、该扫描频率、该扫描解析度、该扫描图像及扫描所得数据的该处理顺序的至少其中之一的步骤之后，更包括：
持续检测所述移动物体，并在未检测到所述移动物体的时间超过预设时间时，结束调整该结构光的该扫描区域、该扫描频率、该扫描解析度、该扫描图像及扫描所得数据的该处理顺序的至少其中之一。
11.一种深度信息测量装置，其特征在于，包括：
光投射装置，投射具有一扫描图像的结构光以扫描至少一物体；
光传感装置，检测所述物体的反射光；
影像撷取装置，拍摄包括所述物体的影像；以及
处理器，耦接该光投射装置、该光传感装置及该影像撷取装置，控制该光投射装置投射该结构光，并控制该光传感装置检测该反射光，以根据该反射光的反射图像的形变计算各所述物体的深度信息，其中
该处理器利用所述影像获取各所述物体的位置信息，并根据该位置信息的变化，找出所述物体中的至少一移动物体；以及
该处理器根据所述移动物体所在区域，调整该光投射装置所投射的该结构光的扫描区域、扫描频率、扫描解析度、该扫描图像及扫描所得数据的处理顺序的至少其中之一。
12.如权利要求11所述的深度信息测量装置，其特征在于，该处理器包括结合各所述物体的该位置信息及该深度信息为三维空间信息，并根据该三维空间信息的变化，找出所述移动物体。
13.如权利要求11所述的深度信息测量装置，其特征在于，该处理器包括控制该光投射装置增加投射于所述移动物体所在区域的该结构光的该扫描频率或该扫描解析度。
14.如权利要求13所述的深度信息测量装置，其特征在于，该处理器更控制该光投射装置停止投射该结构光于所述移动物体所在区域以外的其他区域。
15.如权利要求13所述的深度信息测量装置，其特征在于，该处理器包括控制该光投射装置针对所述移动物体所在区域额外执行一次扫描，并控制该光投射装置增加该次扫描中投射于所述移动物体所在区域的该结构光的该扫描解析度。
16.如权利要求11所述的深度信息测量装置，其特征在于，该处理器包括控制该光投射装置仅投射该结构光于所述移动物体所在区域，并维持所投射该结构光的该扫描频率。
17.如权利要求11所述的深度信息测量装置，其特征在于，该处理器包括优先处理该反射图像中所述移动物体所在区域的数据，以计算所述移动物体的所述深度信息。
18.如权利要求11所述的深度信息测量装置，其特征在于，该处理器包括根据所述移动物体的位置及大小，控制该光投射装置增加所投射该结构光的该扫描解析度，并优先处理该反射图像中所述移动物体所在区域的数据，以计算所述移动物体的所述深度信息。
19.如权利要求11所述的深度信息测量装置，其特征在于，该处理器包括合并相邻的所述移动物体所在区域，据以调整该光投射装置所投射的该结构光的该扫描区域、该扫描频率、该扫描解析度、该扫描图像及扫描所得数据的该处理顺序的至少其中之一。
20.如权利要求11所述的深度信息测量装置，其特征在于，该处理器更持续检测所述移动物体，并在未检测到所述移动物体的时间超过预设时间时，结束调整该结构光的该扫描区域、该扫描频率、该扫描解析度、该扫描图像及扫描所得数据的该处理顺序的至少其中之一。
CN201610352046.9A 2016-05-19 2016-05-25 深度信息测量方法及装置 Active CN107424186B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW105115425A TWI585436B (zh) 2016-05-19 2016-05-19 深度資訊量測方法及裝置
TW105115425 2016-05-19

Publications (2)

Publication Number Publication Date
CN107424186A true CN107424186A (zh) 2017-12-01
CN107424186B CN107424186B (zh) 2020-03-13

Family

ID=59688225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610352046.9A Active CN107424186B (zh) 2016-05-19 2016-05-25 深度信息测量方法及装置

Country Status (3)

Country Link
US (1) US10008001B2 (zh)
CN (1) CN107424186B (zh)
TW (1) TWI585436B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107944422A (zh) * 2017-12-08 2018-04-20 业成科技（成都）有限公司 三维摄像装置、三维摄像方法及人脸识别方法
CN109059795A (zh) * 2018-06-29 2018-12-21 歌尔股份有限公司 深度测量方法、深度测量装置及拍摄设备
CN109661683A (zh) * 2017-12-15 2019-04-19 深圳配天智能技术研究院有限公司 基于图像内容的投射结构光方法、深度检测方法及结构光投射装置
CN109819238A (zh) * 2019-02-22 2019-05-28 北京旷视科技有限公司 Tof图像采集模块的工作频率调节方法、装置和电子系统
TWI668411B (zh) * 2018-10-12 2019-08-11 國立交通大學 位置檢測方法及其電腦程式產品
CN110687516A (zh) * 2018-07-06 2020-01-14 江苏慧光电子科技有限公司 光束扫描的控制方法、装置、系统及相应的介质
WO2020192503A1 (zh) * 2019-03-26 2020-10-01 华为技术有限公司 一种物体深度信息的确定方法、电子设备和电路系统
WO2021022775A1 (zh) * 2019-08-05 2021-02-11 歌尔股份有限公司 深度图像生成方法、装置、设备及计算机可读存储介质
CN112446277A (zh) * 2019-09-04 2021-03-05 原相科技股份有限公司 物体侦测系统以及物体侦测方法
CN113341737A (zh) * 2021-05-18 2021-09-03 珠海格力电器股份有限公司 智能家居设备的控制方法、系统、装置、设备及存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978932B (zh) * 2017-12-27 2023-03-21 宁波舜宇光电信息有限公司 利用结构光获取检测对象的深度信息的系统和方法
US11061234B1 (en) * 2018-02-01 2021-07-13 Facebook Technologies, Llc Depth camera assembly based on near infra-red illuminator
TWI725522B (zh) * 2018-08-28 2021-04-21 鈺立微電子股份有限公司 具有校正功能的影像擷取系統
US11340456B1 (en) 2019-05-22 2022-05-24 Facebook Technologies, Llc Addressable crossed line projector for depth camera assembly
EP4040108A4 (en) * 2019-10-01 2022-11-23 Panasonic Intellectual Property Management Co., Ltd. DISTANCE MEASURING DEVICE AND CONTROL METHOD
TWI755697B (zh) * 2020-03-19 2022-02-21 澔鴻科技股份有限公司 倉儲與貨運用的飛時測距辨識系統及其辨識方法
TWI786403B (zh) * 2020-05-14 2022-12-11 瑞士商Ａｍｓ國際有限公司 光學接近性感測器模組及包含該模組的設備，以及減少顯示螢幕之失真的方法
CN116593282B (zh) * 2023-07-14 2023-11-28 四川名人居门窗有限公司 一种基于结构光的玻璃抗冲击反应测试系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942802A (zh) * 2014-04-29 2014-07-23 西安电子科技大学 基于随机模板的结构光动态场景深度获取方法
US20150204970A1 (en) * 2014-01-22 2015-07-23 Samsung Electronics Co., Ltd. Time of flight camera device and method of driving the same
CN105069789A (zh) * 2015-08-05 2015-11-18 西安电子科技大学 基于编码网格模板的结构光动态场景深度获取方法
US20160116990A1 (en) * 2013-11-05 2016-04-28 Wistron Corporation Depth determining method and depth determining device of operating body

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2591329B1 (fr) * 1985-12-10 1992-05-22 Canon Kk Appareil et procede de traitement d'informations tridimensionnelles
US7274800B2 (en) * 2001-07-18 2007-09-25 Intel Corporation Dynamic gesture recognition from stereo sequences
TWI435051B (zh) 2011-03-15 2014-04-21 Largan Precision Co Ltd 位置及深度之檢出裝置及其方法
TWI465960B (en) * 2011-08-30 2014-12-21 Three-dimensional human interface system and method thereof
CN103345301B (zh) * 2013-06-18 2016-08-10 华为技术有限公司 一种深度信息获取方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160116990A1 (en) * 2013-11-05 2016-04-28 Wistron Corporation Depth determining method and depth determining device of operating body
US20150204970A1 (en) * 2014-01-22 2015-07-23 Samsung Electronics Co., Ltd. Time of flight camera device and method of driving the same
CN103942802A (zh) * 2014-04-29 2014-07-23 西安电子科技大学 基于随机模板的结构光动态场景深度获取方法
CN105069789A (zh) * 2015-08-05 2015-11-18 西安电子科技大学 基于编码网格模板的结构光动态场景深度获取方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107944422A (zh) * 2017-12-08 2018-04-20 业成科技（成都）有限公司 三维摄像装置、三维摄像方法及人脸识别方法
CN107944422B (zh) * 2017-12-08 2020-05-12 业成科技（成都）有限公司 三维摄像装置、三维摄像方法及人脸识别方法
CN109661683A (zh) * 2017-12-15 2019-04-19 深圳配天智能技术研究院有限公司 基于图像内容的投射结构光方法、深度检测方法及结构光投射装置
WO2019113968A1 (zh) * 2017-12-15 2019-06-20 深圳配天智能技术研究院有限公司 基于图像内容的投射结构光方法、深度检测方法及结构光投射装置
CN109059795A (zh) * 2018-06-29 2018-12-21 歌尔股份有限公司 深度测量方法、深度测量装置及拍摄设备
CN109059795B (zh) * 2018-06-29 2020-11-03 歌尔光学科技有限公司 深度测量方法、深度测量装置及拍摄设备
CN110687516A (zh) * 2018-07-06 2020-01-14 江苏慧光电子科技有限公司 光束扫描的控制方法、装置、系统及相应的介质
TWI668411B (zh) * 2018-10-12 2019-08-11 國立交通大學 位置檢測方法及其電腦程式產品
CN109819238A (zh) * 2019-02-22 2019-05-28 北京旷视科技有限公司 Tof图像采集模块的工作频率调节方法、装置和电子系统
WO2020192503A1 (zh) * 2019-03-26 2020-10-01 华为技术有限公司 一种物体深度信息的确定方法、电子设备和电路系统
WO2021022775A1 (zh) * 2019-08-05 2021-02-11 歌尔股份有限公司 深度图像生成方法、装置、设备及计算机可读存储介质
CN112446277A (zh) * 2019-09-04 2021-03-05 原相科技股份有限公司 物体侦测系统以及物体侦测方法
CN113341737A (zh) * 2021-05-18 2021-09-03 珠海格力电器股份有限公司 智能家居设备的控制方法、系统、装置、设备及存储介质
CN113341737B (zh) * 2021-05-18 2023-11-10 珠海格力电器股份有限公司 智能家居设备的控制方法、系统、装置、设备及存储介质

Also Published As

Publication number Publication date
US20170337702A1 (en) 2017-11-23
US10008001B2 (en) 2018-06-26
CN107424186B (zh) 2020-03-13
TWI585436B (zh) 2017-06-01
TW201741685A (zh) 2017-12-01

Similar Documents

Publication Publication Date Title
CN107424186A (zh) 深度信息测量方法及装置
US11328446B2 (en) Combining light-field data with active depth data for depth map generation
US10334151B2 (en) Phase detection autofocus using subaperture images
US10242454B2 (en) System for depth data filtering based on amplitude energy values
US9852495B2 (en) Morphological and geometric edge filters for edge enhancement in depth images
JP6299983B2 (ja) 複数の光源を有するモーションセンサ装置
JP6302414B2 (ja) 複数の光源を有するモーションセンサ装置
US10277889B2 (en) Method and system for depth estimation based upon object magnification
US10545215B2 (en) 4D camera tracking and optical stabilization
CN112005548B (zh) 生成深度信息的方法和支持该方法的电子设备
RU2626051C2 (ru) Способ определения дальностей до объектов по изображениям с цифровых видеокамер
CN104469112A (zh) 大视场的成像方法及装置
JP2015049200A (ja) 計測装置、方法及びプログラム
US20220358679A1 (en) Parameter Calibration Method and Apparatus
JPWO2016135856A1 (ja) ３次元形状計測システムおよびその計測方法
US20230252666A1 (en) Systems and methods of measuring an object in a scene of a captured image
KR101996226B1 (ko) 피사체의 3차원 위치 측정 장치 및 그 방법
US20180124381A1 (en) Structured-light-based three-dimensional scanning method, apparatus and system thereof
TW201833510A (zh) 物體尺寸計算系統
JP2019022147A (ja) 光源方向推定装置
TW201710772A (zh) 影像擷取裝置及方法
TW202113305A (zh) 三維量測裝置與其操作方法
JP2015207862A (ja) 撮像装置および撮像方法
WO2022113877A1 (ja) 三次元計測装置及び三次元計測プログラム
JP2023010392A (ja) 画像処理装置、画像処理装置の制御方法および画像処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant