CN107687818B - 三维量测方法及三维量测装置 - Google Patents

三维量测方法及三维量测装置 Download PDF

Info

Publication number
CN107687818B
CN107687818B CN201610701949.3A CN201610701949A CN107687818B CN 107687818 B CN107687818 B CN 107687818B CN 201610701949 A CN201610701949 A CN 201610701949A CN 107687818 B CN107687818 B CN 107687818B
Authority
CN
China
Prior art keywords
scan
scanning
area
resolution
dimensional measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610701949.3A
Other languages
English (en)
Other versions
CN107687818A (zh
Inventor
张耀宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wistron Corp
Original Assignee
Wistron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wistron Corp filed Critical Wistron Corp
Publication of CN107687818A publication Critical patent/CN107687818A/zh
Application granted granted Critical
Publication of CN107687818B publication Critical patent/CN107687818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

一种三维量测方法及三维量测装置。该三维量测方法包括：通过一视线检测单元，检测使用者的一面部朝向以及一眼球注视方向；通过一运算控制单元，依据该面部朝向以及该眼球注视方向决定一视线关注区，并依据该视线关注区设定一第一组扫描参数；以及通过一扫描检测单元，基于该第一组扫描参数对相应于该视线关注区的一第一扫描区执行一第一结构光扫描，并选择性地基于一第二组扫描参数针对该第一扫描区以外的一第二扫描区执行一第二结构光扫描。本发明可以节省扫描时间、加快处理速度，并提升针对使用者的视线关注区的扫描分辨率。

Description

三维量测方法及三维量测装置
技术领域
本发明涉及一种三维量测方法及三维量测装置。
背景技术
近年来，三维量测技术的应用日渐普及，如具备双镜头的三维照相装置，其利用两镜头之间的视角差来测量物体与相机之间的距离。又如飞时测距(Time of Fly)技术，其藉由发射一检测光(如激光)，再量测该检测光从发射到接收所需的时间，以测得与物体的光反射处的距离。
另有一结构光(structured light)扫描技术，其利用光投影设备将具有间隔光条的扫描线图样投射至物体表面，再通过光接收设备撷取被投影该扫描线图样的物体影像，从而分析并获得该物体的三维形貌信息。进一步说，由于物体的表面起伏通常会使投影于其上的光条产生形状畸变，故可从光条的畸变情况估测出物体的三维形貌。
然而，虽然目前的三维量测技术大多可检测出场景的三维形貌，但相对的后端设备往往需花费相当的运算资源来计算出场景中各对象的每一点的三维信息，使得运算时间增加、硬件需求提高，进而增加时间及设备成本。
因此，如何提出一种有效率的三维量测方法及应用其的三维量测装置，是目前业界所致力的课题之一。
因此，需要提供一种三维量测方法及三维量测装置来解决上述问题。
发明内容
本发明是关于一种三维量测方法及应用其的三维量测装置，其藉由检测使用者当前所注视的区域，动态调整执行结构光扫描的扫描区域范围、扫描分辨率和/或扫描频率，以减少花费运算资源在处理不必要的扫描数据上、加快处理速度、或是在同样处理时间内，提升针对使用者的视线关注区的扫描分辨率。
根据本发明的一方面，提出一种三维量测方法，该三维量测方法包括：通过一视线检测单元，检测使用者的一面部朝向以及一眼球注视方向；通过一运算控制单元，依据该面部朝向以及该眼球注视方向决定一视线关注区，并依据该视线关注区设定一第一组扫描参数；以及通过一扫描检测单元，基于该第一组扫描参数对相应于该视线关注区的一第一扫描区执行一第一结构光扫描，并选择性地基于一第二组扫描参数针对该第一扫描区以外的一第二扫描区执行一第二结构光扫描。
根据本发明的另一方面，提出一种三维量测装置，该三维量测装置包括：一视线检测单元、一运算控制单元以及一扫描检测单元；该视线检测单元用以检测使用者的一面部朝向以及一眼球注视方向；该运算控制单元用以依据该面部朝向以及该眼球注视方向决定一视线关注区，并依据该视线关注区设定一第一组扫描参数；该扫描检测单元用以基于该第一组扫描参数对相应于该视线关注区的一第一扫描区执行一第一结构光扫描，并选择性地基于一第二组扫描参数针对该第一扫描区以外的一第二扫描区执行一第二结构光扫描。
为了对本发明的上述及其他方面有更佳的了解，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
图1绘示依据本发明一实施例的三维量测装置的框图。
图2绘示依据本发明的一实施例的三维量测方法的流程图。
图3绘示针对不同区域进行差异化结构光扫描的一例示意图。
图4绘示针对不同区域进行差异化结构光扫描的另一例示意图。
图5绘示针对不同区域进行差异化结构光扫描的另一例示意图。
图6绘示针对不同区域的扫描数据进行差异化处理的一例示意图。
图7绘示针对不同区域的扫描数据进行差异化处理的另一例示意图。
图8绘示针对不同区域的扫描数据进行差异化处理的另一例示意图。
图9绘示针对不同区域的扫描数据进行差异化处理的另一例示意图。
图10绘示依据包含多个被注视物体的视线关注区来定义第一扫描区的示意图。
图11绘示依据本发明的一实施例的三维量测装置的一例操作状态图。
主要组件符号说明：
100 三维量测装置
102 视线检测单元
104 运算控制单元
106 扫描检测单元
108 输入输出单元
110 显示单元
1022 位置检测单元
1024 眼球检测单元
1042 处理器
1044 镜头控制单元
1046 储存单元
1062 投射光单元
1064 反射光单元
1066 照相单元
202、204、206 步骤
SS 场景
OB1～OB5 物体
IA、IA' 视线关注区
302、402、502、602、702、802、902、1002 第一扫描区
504、604 第二扫描区
S1 追踪模式
S2 省电模式
具体实施方式
在本文中，参照所附附图仔细地描述本公开的一些实施例，但不是所有实施例都有表示在图示中。实际上，这些发明可使用多种不同的变形，且并不限于本文中的实施例。相对的，本公开提供这些实施例以满足应用的法定要求。附图中相同的参考符号用来表示相同或相似的组件。
图1绘示依据本发明一实施例的三维量测装置100的框图。三维量测装置100例如是三维照相装置或是其他具备距离/深度感测能力的电子装置，其主要包括视线检测单元102、运算控制单元104以及扫描检测单元106。视线检测单元102可检测使用者眼睛所注视的区域，并将测得的信息提供给运算控制单元104以决定一视线关注区。运算控制单元104可依据视线关注区调整扫描检测单元106执行结构光扫描时所涉及的扫描参数，例如扫描区域范围、扫描分辨率、扫描频率、扫描线图样类型等，使扫描检测单元106基于调整后的扫描参数针对视线关注区进行结构光扫描。
在一实施例中，三维量测装置100还包括输入输出单元108以及显示单元110。输入输出单元108可提供一人机界面以供使用者操作。显示单元110例如是一显示屏幕，以三维照相装置为例，显示单元110可用来显示相机窗口瞄准的影像、拍摄的相片、人机界面以及三维影像信息等。
视线检测单元102包括位置检测单元1022以及眼球检测单元1024。位置检测单元1022例如是一动作传感器，可检测使用者的所在位置/姿态，以得知使用者脸部所面对的方向(即面部朝向)。位置检测单元1022可装设于使用者的穿戴式装置当中，如虚拟现实(Virtual Reality,VR)眼镜、增强现实(Augmented Reality,AR)眼镜或混合现实(MixedReality,MR)眼镜。当使用者穿戴时，位置检测单元1022可测知使用者的面部朝向，藉此提高判断使用者的视线关注区的准确度。
眼球检测单元1024例如是一眼球检测传感器，可藉由检测使用者的眼球活动以判断一眼球注视方向。在一实施例中，当使用者瞳孔被检测到维持在同一视角一段时间以上(例如3秒以上)，即可判定使用者目前正在注视某处，而该视角所对应的方向即眼球注视方向。
在一实施例中，位置检测单元1022与眼球检测单元1024可整合在同一装置上，或是由单一组件来实现两者的功能。举例来说，可通过高分辨相机撷取使用者影像，再通过影像辨识技术自该影像分析使用者的姿态及眼球注视方向，进而判断使用者当前的所注视的区域，即视线关注区。
运算控制单元104例如包括处理器1042、镜头控制单元1044以及储存单元1046。
处理器1042可设定扫描检测单元106执行拍摄及结构光扫描时所涉及的参数，例如扫描区域、影像拍摄区域、扫描分辨率、扫描频率、扫描线图像等。处理器1042亦可依据照相单元1066所撷取的二维影像及各影像点所对应的距离/深度信息，取得物体的三维形貌信息。
镜头控制单元1044可依据处理器1042所设定的一组扫描参数，控制投射光单元1062及反射光检测单元1064执行特定形式的结构光扫描，再将获得的扫描数据传送给处理器1042作后续处理。镜头控制单元1044亦可响应处理器1042的控制，驱动照相单元1066拍摄二维照片和/或缩放镜头。镜头控制单元1044可以是硬件电路、软件程序或两者的结合，其可实现于处理器1042内部，亦可实现于耦接处理器1042的外部电路。
储存单元1046耦接处理器1042，其例如是存储器或其他可供处理器1042存取的储存媒体，可储存控制程序以及影像数据。
扫描检测单元106例如包括投射光单元1062、反射光单元1064以及照相单元1066。
投射光单元1062例如是编码结构光(structured code light)的投影设备，可投射一连串被编码的扫描线图样以进行结构光扫描。投射光单元1062所投射的光可以是可见光或非可见光，较佳地为红外线激光。投射光单元1062可响应镜头控制单元1044的控制，调整执行结构光扫描的相关设定，例如扫描线图样的形式(如横向、直向或其他方向的扫描线)、扫描线的粗细、扫描频率及扫描区域的范围等。
反射光检测单元1064受控于镜头控制单元1044，可检测投射光单元1062所投射的光遇到物体所反射回来的反射光。反射光检测单元1064可以是一个与投射光搭配的特殊光相机，例如红外线相机(若投射光为红外线)。当投射光单元1062以一扫描频率连续投射M张不同的扫描线图样至物体表面，反射光检测单元1064将对应地撷取到M张被投影物体影像。通过分析该M张被投影物体影像，可知光投射角及光反射感测角等信息，进而计算出反射此投射光的物体的距离。
基于结构光扫描的原理，一个被结构光扫描的物体点可能会在M张被投影物体影像中的特定几张依序出现。若有出现该物体点的影像以位“1”(或位“0”)表示，未出现该物体点的影像以位“0”(或位“1”)表示，将可得到一笔M位数据，此笔M位数据对应一特定扫描线。举例来说，若M＝7，且一物体点只在第1、4、7张被投影物体影像出现，则表示该物体点对应位数据为“1001001”的扫描线。由于各条扫描线的光投射角是已知的，故配合对应的光接收信息(如光反射感测角)，即可基于三角测量法计算出该物体点的距离。此外通过上述方式，投射光单元1062可藉由投射M张不同的被编码扫描线图样至物体表面来达到2M条扫描线的扫描分辨率。
照相单元1066例如是一般的照相机，可拍摄二维影像。运算控制单元104可依此二维影像获取物体的二维形貌信息，包括X、Y轴信息及色彩信息，再加上前述基于投射光与反射光所计算出的距离信息，即可获取物体的三维形貌信息。
图2绘示依据本发明的一实施例的三维量测方法的流程图。所述的三维量测方法适用，但不限于，图1所示的三维量测装置100。
在步骤202，视线检测单元102检测使用者的面部朝向以及眼球注视方向。举例来说，视线检测单元102可藉由检测使用者的头部姿态，以判断其面部朝向，并判断使用者的瞳孔是否朝向一特定方向持续一段时间，若是，则判断使用者正在进行注视，且定义该特定方向即眼球注视方向。在一实施例中，视线检测单元102可依据瞳孔位置相对于一参考点之间的位移以及维持时间，推算眼球注视方向。
在步骤204，运算控制单元104依据测得的面部朝向以及眼球注视方向决定视线关注区，并依据该视线关注区决定第一组扫描参数。举例来说，运算控制单元104会结合面部朝向以及眼球注视方向的角度信息，经过坐标转换以转换至同一坐标系后，针对一场景定义出使用者所注视的区域范围，即视线关注区。在一些实际的应用中，视线关注区大约对应1至2度的视角范围。
在检测出使用者的视线关注区后，运算控制单元104将针对视线关注区建立一第一扫描区，并依据视线关注区的范围、视线关注区中被注视物体的位置、大小等信息，设定针对第一扫描区的第一组扫描参数。第一组扫描参数例如包括第一扫描区的大小、形状及位置、针对第一扫描区的第一扫描分辨率、针对第一扫描区的第一扫描频率以及针对第一扫描区的第一扫描线图样至少其一。
在步骤206，扫描检测单元106基于第一组扫描参数对相应于视线关注区的第一扫描区执行第一结构光扫描，并选择性地基于第二组扫描参数针对第一扫描区以外的第二扫描区执行第二结构光扫描。第二组扫描参数例如包括第二扫描区的大小、形状及位置、针对第二扫描区的第二扫描分辨率、针对第二扫描区的第二扫描频率以及针对第二扫描区的第二扫描线图样至少其一。
在一实施例中，若扫描检测单元106分别对第一扫描区以及第二扫描区执行第一结构光扫描以及第二结构光扫描，也就是第二结构光有被执行，运算控制单元104可设定第一组扫描参数与第二组扫描参数至少部分相异，以控制扫描检测单元106针对不同的区域执行差异化的结构光扫描。
进一步说，由于第一扫描区以外的区域可能不是使用者所关注的区域，故运算控制单元104可藉由调整第一组扫描参数与第二组扫描参数，使扫描检测单元106对第一扫描区执行较精细(例如具有较高扫描分辨率、较高扫描频率)的第一结构光扫描，并对于第一扫描区以外的区域(如第二扫描区)执行较粗糙的第二结构光扫描，藉此提升扫描效率。
或者，扫描检测单元106可基于相同扫描参数对整个场景(包括第一扫描区及第二扫描区)进行结构光扫描，但运算控制单元104仅针对第一扫描区的扫描数据进行处理，以有效利用运算资源。也就是说，运算控制单元104亦可对获得的扫描数据进行差异化处理，以集中运算资源在处理对应视线关注区的扫描数据上。
又一实施例中，扫描检测单元106可仅针对第一扫描区进行第一结构光扫描，并暂停对第一扫描区以外的区域进行扫描，藉此提高扫描速度、降低后端电路所需处理的数据量。
为方便理解本发明，以下将配合图3至图11说明本发明实施例的三维量测装置的不同扫描方式。但需注意的是，此些扫描方式仅为说明之用，而非用以限制本发明，亦非表示三维量测装置的所有可能扫描方式。
图3绘示针对不同区域进行差异化结构光扫描的一例示意图。在图3的例子中，场景SS包括五个物体OB1～OB5。假设使用者正注视物体OB5，运算控制单元104可基于眼球追踪技术，利用视线检测单元102测得的使用者面部朝向以及眼球注视方向等信息，定义出视线关注区IA。
在确认视线关注区IA的范围后，运算控制单元104将建立对应视线关注区IA的第一扫描区302。如图3所示，假设扫描检测单元106的预设扫描范围可涵盖整个场景SS，扫描检测单元106将响应于运算控制单元104的控制，调整预设扫描范围的尺寸，使第一扫描区302适当地涵盖视线关注区IA，或是在视线关注区IA内。
在此例中，运算控制单元104控制扫描检测单元106只针对第一扫描区302执行第一结构光扫描(图中以间隔条纹作表示)，并暂停对第一扫描区302外的其他区域作结构光扫描，藉此提高扫描效率。
在一实施例中，运算控制单元104可进一步调整针对第一扫描区302的第一组扫描参数来增加对第一扫描区302的扫描质量。如图3所示，假定扫描检测单元106具有一预设扫描分辨率(如2M条扫描线)，运算控制单元104在从视线关注区IA中辨识出被注视物体(如物体OB5)后，将依据该被注视物体的位置及轮廓信息(如大小、形状等信息)，增加预设扫描分辨率(例如提高至2N条扫描线，其中N>M)，以作为针对第一扫描区302的第一扫描分辨率。扫描分辨率的增加幅度可以是一定值，也可以是和被注视物体的细节程度呈正相关。
图4绘示针对不同区域进行差异化结构光扫描的另一例示意图。在此例中，扫描检测单元106基于预设扫描分辨率(即第一分辨率等于预设分辨率，图中以较粗间隔条纹作表示)对第一扫描区402作第一结构光扫描，并暂停对第一扫描区402以外的区域作扫描。且扫描检测单元106可仅调整其预设扫描范围的长、宽其中之一以作为第一扫描区402，藉此涵盖视线关注区IA。
图5绘示针对不同区域进行差异化结构光扫描的另一例示意图。在此例中，扫描检测单元106基于第一扫描分辨率对第一扫描区502作第一结构光扫描(以较细间隔条纹表示)，并基于第二扫描分辨率对第一扫描区502以外的第二扫描区504作第二结构光扫描(以较粗间隔条纹表示)，其中第一扫描分辨率大于第二扫描分辨率。在一些实施例中，运算控制单元104亦可将针对第一扫描区502的第一组扫描参数全部或部分地设定成优于针对第二扫描区504的第二组扫描参数(例如使第一扫描频率大于第二扫描频率)，以相对地提高针对第一扫描区502的扫描质量。
图6绘示针对不同区域的扫描数据进行差异化处理的一例示意图。在此例中，扫描检测单元106基于单一扫描分辨率(如预设扫描分辨率)对整个场景SS作结构光扫描，但运算控制单元104只会对相应于视线关注区IA的第一扫描区602的扫描数据作深度估测处理，以得到第一扫描区602的物体三维形貌信息，藉此减少所需处理的数据量。
如图6所示，扫描检测单元106基于第一扫描分辨率对第一扫描区602作第一结构光扫描，并基于第二扫描分辨率对第一扫描区502以外的第二扫描区604作第二结构光扫描，其中第一扫描分辨率等于第二扫描分辨率。
对第一扫描区602执行第一结构光扫描将取得第一扫描数据(如M张被投影场景影像中，对应第一扫描区602的影像部分)，而对第二扫描区604执行第二结构光扫描将取得第二扫描数据(如M张被投影场景影像中，对应第二扫描区604的影像部分)。在此例中，运算控制单元104只会采用第一扫描数据作深度估测处理，而不采用第二扫描数据，以取得物体三维形貌信息。举例来说，运算控制单元104会先将撷取到的M张被投影场景影像裁切至剩下第一扫描区602的影像部分，再对其作后续的深度估测处理，以取得第一扫描区602的物体三维形貌信息。
另一实施例中，运算控制单元104会对第一扫描数据以及第二扫描数据作深度估测处理，以取得场景SS的三维形貌信息，不过第一扫描数据相较于第二扫描数据优先被运算控制单元104处理。也就是说，对运算控制单元104而言，第一扫描区602的扫描数据相较于第二扫描区的扫描数据有较优先的处理顺序。
图7绘示针对不同区域的扫描数据进行差异化处理的另一例示意图。与图6实施例的主要差别在于，本实施例中第一扫描区702的大小更贴近视线关注区IA。
图8绘示针对不同区域的扫描数据进行差异化处理的另一例示意图。与图7实施例的主要差别在于，本实施例中扫描检测单元106基于较高的扫描分辨率(例如大于预设分辨率)对场景SS作结构光扫描，而运算控制单元104只会对相应于视线关注区IA的第一扫描区802的扫描数据作深度估测处理。
图9绘示针对不同区域的扫描数据进行差异化处理的另一例示意图。与图8实施例的主要差别在于，本实施例中第一扫描区902的范围仅在一个方向上(如水平方向)作调整。
前述的多个实施例中虽以视线关注区IA中仅包含一个被注视物体OB5为例，但本发明并不以此为限。如图10所示，其绘示依据包含多个被注视物体的视线关注区IA'来定义第一扫描区1002的示意图。
进一步说，当运算控制单元104自视线关注区IA'中辨识出多个被注视物体(如物体OB3及OB5)，将依据此些被注视物体OB3、OB5的位置及轮廓信息(如大小、形状)调整第一扫描区1002，使第一扫描区1002的范围至少包括此些被注视物体OB3、OB5。
图11绘示依据本发明的一实施例的三维量测装置的一例操作状态图。此处所述的三维量测装置可例如是图1的三维量测装置100，但并不以此为限。
在此例中，三维量测装置100可藉由判断使用者是否在注视物体，以决定操作于追踪模式S1或省电模式S2。
举例来说，三维量测装置100可通过视线检测单元102检测使用者的眼球注视时间，例如瞳孔停留在相对于一固定参考点的位置所持续的时间，并通过运算控制单元104判断该眼球注视时间是否大于一时间阀值。
当眼球注视时间大于该时间阀值，表示检测到使用者有注视物体，此时三维量测装置100将进入追踪模式S1。在追踪模式S1，三维量测装置100将针对第一、二扫描区作不同形式的差异化扫描和/或差异化数据处理，如包括增加针对第一扫描区的第一扫描分辨率。
另一方面，当眼球注视时间小于该时间阀值，表示未检测到使用者有注视物体，此时三维量测装置100将进入省电模式S2。在省电模式S2，三维量测装置100可不执行差异化扫描，并以较低的扫描分辨率和/或扫描频率来执行整个场景的结构光扫描，如包括降低针对第一扫描区的第一扫描分辨率。
综上所述，本发明提出的三维量测方法及应用其的三维量测装置，可通过检测使用者当前所注视的区域，动态调整执行结构光扫描的扫描参数，以针对不同区域作差异化扫描，或是针对不同区域的扫描数据作差异化处理，藉此节省扫描时间、加快处理速度，并提升针对使用者的视线关注区的扫描分辨率。
虽然本发明已以较佳实施例公开如上，然而其并非用以限定本发明。本发明所属技术领域中的普通技术人员，在不脱离本发明的精神和范围的情况下，应当可作各种的更动与润饰，并自由地结合各实施例。因此，本发明的保护范围应当视所附的权利要求书所界定者为准。

Claims (16)

1.一种三维量测方法，该三维量测方法包括：
通过一视线检测单元，检测使用者的一面部朝向以及一眼球注视方向；
通过一运算控制单元，依据该面部朝向以及该眼球注视方向决定一视线关注区，并依据该视线关注区设定一第一组扫描参数；以及
通过一扫描检测单元，基于该第一组扫描参数对相应于该视线关注区的一第一扫描区执行一第一结构光扫描，并选择性地基于一第二组扫描参数针对该第一扫描区以外的一第二扫描区执行一第二结构光扫描；
检测该使用者的一眼球注视时间；
判断该眼球注视时间是否大于一时间阀值；
当该眼球注视时间大于该时间阀值，进入一追踪模式，以增加针对该第一扫描区的一第一扫描分辨率；
当该眼球注视时间小于该时间阀值，进入一省电模式，以降低针对该第一扫描区的该第一扫描分辨率；以及
基于自该视线关注区中辨识一或多个被注视物体来调整该第一扫描区的该第一扫描分辨率以及该第一扫描区的范围。
2.如权利要求1所述的三维量测方法，其中该第一组扫描参数与该第二组扫描参数至少部分相异。
3.如权利要求2所述的三维量测方法，其中该第一组扫描参数包括该第一扫描区的大小、形状及位置、针对该第一扫描区的一第一扫描分辨率、针对该第一扫描区的一第一扫描频率以及针对该第一扫描区的一第一扫描线图样至少其一，该第二组扫描参数包括该第二扫描区的大小、形状及位置、针对该第二扫描区的一第二扫描分辨率、针对该第二扫描区的一第二扫描频率以及针对该第二扫描区的一第二扫描线图样至少其一。
4.如权利要求3所述的三维量测方法，其中当该第二结构光扫描被执行，针对该第一扫描区的该第一扫描分辨率大于针对该第二扫描区的该第二扫描分辨率。
5.如权利要求3所述的三维量测方法，其中当该第二结构光扫描被执行，且针对该第一扫描区的该第一扫描分辨率等于针对该第二扫描区的该第二扫描分辨率，该三维量测方法还包括：
对该第一扫描区执行该第一结构光扫描以取得一第一扫描数据；
对该第二扫描区执行该第二结构光扫描以取得一第二扫描数据；以及
只采用该第一扫描数据作深度估测处理，而不采用该第二扫描数据，以取得一物体三维形貌信息。
6.如权利要求3所述的三维量测方法，其中当该第二结构光扫描被执行，且针对该第一扫描区的该第一扫描分辨率等于针对该第二扫描区的该第二扫描分辨率，该三维量测方法还包括：
对该第一扫描区执行该第一结构光扫描以取得一第一扫描数据；
对该第二扫描区执行该第二结构光扫描以取得一第二扫描数据；以及
对该第一扫描数据以及该第二扫描数据作深度估测处理，以取得一物体三维形貌信息，其中该第一扫描数据相较于该第二扫描数据优先被该运算控制单元处理。
7.如权利要求1所述的三维量测方法，其中该扫描检测单元具有一预设扫描分辨率，该三维量测方法还包括：
依据该一或多个被注视物体的位置及轮廓信息，增加该预设扫描分辨率，以作为针对该第一扫描区的该第一扫描分辨率。
8.如权利要求1所述的三维量测方法，还包括：
依据该一或多个被注视物体的位置及轮廓信息，调整该第一扫描区，使该第一扫描区的范围至少包括该一或多个被注视物体。
9.一种三维量测装置，该三维量测装置包括：
一视线检测单元，该视线检测单元用以检测使用者的一面部朝向以及一眼球注视方向；
一运算控制单元，该运算控制单元用以依据该面部朝向以及该眼球注视方向决定一视线关注区，并依据该视线关注区设定一第一组扫描参数；以及
一扫描检测单元，该扫描检测单元用以基于该第一组扫描参数对相应于该视线关注区的一第一扫描区执行一第一结构光扫描，并选择性地基于一第二组扫描参数针对该第一扫描区以外的一第二扫描区执行一第二结构光扫描；
其中该视线检测单元检测该使用者的一眼球注视时间，以供该运算控制单元判断该眼球注视时间是否大于一时间阀值；
其中当该眼球注视时间大于该时间阀值，该三维量测装置进入一追踪模式，以增加针对该第一扫描区的一第一扫描分辨率；
当该眼球注视时间小于该时间阀值，该三维量测装置进入一省电模式，以降低针对该第一扫描区的该第一扫描分辨率；以及
该第一扫描区的该第一扫描分辨率以及该第一扫描区的范围基于自该视线关注区中辨识一或多个被注视物体被调整。
10.如权利要求9所述的三维量测装置，其中该第一组扫描参数与该第二组扫描参数至少部分相异。
11.如权利要求10所述的三维量测装置，其中该第一组扫描参数包括该第一扫描区的大小、形状及位置、针对该第一扫描区的一第一扫描分辨率、针对该第一扫描区的一第一扫描频率以及针对该第一扫描区的一第一扫描线图样至少其一，该第二组扫描参数包括该第二扫描区的大小、形状及位置、针对该第二扫描区的一第二扫描分辨率、针对该第二扫描区的一第二扫描频率以及针对该第二扫描区的一第二扫描线图样至少其一。
12.如权利要求11所述的三维量测装置，其中当该第二结构光扫描被执行，针对该第一扫描区的该第一扫描分辨率大于针对该第二扫描区的该第二扫描分辨率。
13.如权利要求11所述的三维量测装置，其中当该第二结构光扫描被执行，且针对该第一扫描区的该第一扫描分辨率等于针对该第二扫描区的该第二扫描分辨率，
该扫描检测单元对该第一扫描区执行该第一结构光扫描以取得一第一扫描数据，并对该第二扫描区执行该第二结构光扫描以取得一第二扫描数据；以及
该运算控制单元只采用该第一扫描数据作深度估测处理，而不采用该第二扫描数据，以取得一物体三维形貌信息。
14.如权利要求11所述的三维量测装置，其中当该第二结构光扫描被执行，且针对该第一扫描区的该第一扫描分辨率等于针对该第二扫描区的该第二扫描分辨率；
该扫描检测单元对该第一扫描区执行该第一结构光扫描以取得一第一扫描数据，并对该第二扫描区执行该第二结构光扫描以取得一第二扫描数据；以及
该运算控制单元对该第一扫描数据以及该第二扫描数据作深度估测处理，以取得一物体三维形貌信息，其中该第一扫描数据相较于该第二扫描数据优先被该运算控制单元处理。
15.如权利要求9所述的三维量测装置，其中该扫描检测单元具有一预设扫描分辨率，该运算控制单元自该视线关注区中辨识该一或多个被注视物体，并依据该一或多个被注视物体的位置及轮廓信息增加该预设扫描分辨率，以作为针对该第一扫描区的该第一扫描分辨率。
16.如权利要求9所述的三维量测装置，其中该运算控制单元自该视线关注区中辨识该一或多个被注视物体，并依据该一或多个被注视物体的位置及轮廓信息调整该第一扫描区，使该第一扫描区的范围至少包括该一或多个被注视物体。
CN201610701949.3A 2016-08-04 2016-08-22 三维量测方法及三维量测装置 Active CN107687818B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW105124767 2016-08-04
TW105124767A TWI610059B (zh) 2016-08-04 2016-08-04 三維量測方法及應用其之三維量測裝置

Publications (2)

Publication Number Publication Date
CN107687818A CN107687818A (zh) 2018-02-13
CN107687818B true CN107687818B (zh) 2020-07-10

Family

ID=61069738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610701949.3A Active CN107687818B (zh) 2016-08-04 2016-08-22 三维量测方法及三维量测装置

Country Status (3)

Country Link
US (1) US10630890B2 (zh)
CN (1) CN107687818B (zh)
TW (1) TWI610059B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108269279B (zh) * 2017-07-17 2019-11-08 先临三维科技股份有限公司 基于单目三维扫描系统的三维重构方法和装置
CN108874148A (zh) * 2018-07-16 2018-11-23 北京七鑫易维信息技术有限公司 一种图像处理方法及装置
US10627516B2 (en) * 2018-07-19 2020-04-21 Luminar Technologies, Inc. Adjustable pulse characteristics for ground detection in lidar systems
CN109582141B (zh) * 2018-11-23 2022-05-10 华为技术有限公司 根据眼球焦点控制显示屏的方法和头戴电子设备
CN113932733B (zh) * 2021-10-13 2023-06-09 桂林理工大学 一种大型密封圈三维外形尺寸视觉测量系统
CN115164849A (zh) * 2022-06-16 2022-10-11 中兵勘察设计研究院有限公司 扫描仪扫描的方法、装置、扫描仪设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102150072A (zh) * 2008-07-10 2011-08-10 实景成像有限公司 宽视角显示和用户接口
CN103576857A (zh) * 2012-08-09 2014-02-12 托比技术股份公司 凝视跟踪系统的快速唤醒
US8848201B1 (en) * 2012-10-20 2014-09-30 Google Inc. Multi-modal three-dimensional scanning of objects
CN105352482A (zh) * 2015-11-02 2016-02-24 北京大学 基于仿生复眼微透镜技术的3-3-2维目标检测方法及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6503195B1 (en) * 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US8564534B2 (en) * 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US8913004B1 (en) * 2010-03-05 2014-12-16 Amazon Technologies, Inc. Action based device control
WO2012107892A2 (en) * 2011-02-09 2012-08-16 Primesense Ltd. Gaze detection in a 3d mapping environment
US9625258B2 (en) * 2011-06-06 2017-04-18 3Shape A/S Dual-resolution 3D scanner
US9897805B2 (en) * 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
US9104467B2 (en) * 2012-10-14 2015-08-11 Ari M Frank Utilizing eye tracking to reduce power consumption involved in measuring affective response
US9846522B2 (en) * 2014-07-23 2017-12-19 Microsoft Technology Licensing, Llc Alignable user interface
US10401952B2 (en) * 2016-03-31 2019-09-03 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102150072A (zh) * 2008-07-10 2011-08-10 实景成像有限公司 宽视角显示和用户接口
CN103576857A (zh) * 2012-08-09 2014-02-12 托比技术股份公司 凝视跟踪系统的快速唤醒
US8848201B1 (en) * 2012-10-20 2014-09-30 Google Inc. Multi-modal three-dimensional scanning of objects
CN105352482A (zh) * 2015-11-02 2016-02-24 北京大学 基于仿生复眼微透镜技术的3-3-2维目标检测方法及系统

Also Published As

Publication number Publication date
CN107687818A (zh) 2018-02-13
TW201809591A (zh) 2018-03-16
US10630890B2 (en) 2020-04-21
TWI610059B (zh) 2018-01-01
US20180041694A1 (en) 2018-02-08

Similar Documents

Publication Publication Date Title
CN107687818B (zh) 三维量测方法及三维量测装置
KR101278430B1 (ko) 실시간으로 몇몇 사람들의 눈을 인식하고 추적하기 위한 방법 및 회로 장치
US9432593B2 (en) Target object information acquisition method and electronic device
US10715824B2 (en) System and method for data compressing optical sensor data prior to transferring to a host system
EP3195595B1 (en) Technologies for adjusting a perspective of a captured image for display
CN104380338B (zh) 信息处理器以及信息处理方法
CN107424186B (zh) 深度信息测量方法及装置
US6075557A (en) Image tracking system and method and observer tracking autostereoscopic display
KR101643496B1 (ko) 카메라 파라미터의 컨텍스트 기반 조절
US7682026B2 (en) Eye location and gaze detection system and method
US20180341329A1 (en) Dynamic camera or light operation
KR20190026030A (ko) 눈 추적 정보에 기반하는 이미지 영역에서의 적응형 파라미터
JP4452833B2 (ja) 視線移動検出方法及び視線移動検出装置
KR101769177B1 (ko) 시선 추적 장치 및 방법
KR101697286B1 (ko) 사용자 스타일링을 위한 증강현실 제공 장치 및 방법
WO2016027627A1 (ja) 角膜反射位置推定システム、角膜反射位置推定方法、角膜反射位置推定プログラム、瞳孔検出システム、瞳孔検出方法、瞳孔検出プログラム、視線検出システム、視線検出方法、視線検出プログラム、顔姿勢検出システム、顔姿勢検出方法、および顔姿勢検出プログラム
US10634918B2 (en) Internal edge verification
US20160259402A1 (en) Contact detection apparatus, projector apparatus, electronic board apparatus, digital signage apparatus, projector system, and contact detection method
JP6870474B2 (ja) 視線検出用コンピュータプログラム、視線検出装置及び視線検出方法
Ko et al. A robust gaze detection method by compensating for facial movements based on corneal specularities
EP3042341A1 (en) Method and apparatus for eye detection from glints
EP4320499A1 (en) Gaze-tracking system and method employing selective glints
JP5004099B2 (ja) カーソル移動制御方法及びカーソル移動制御装置
Miyake et al. Image based eye-gaze estimation irrespective of head direction
US20240045498A1 (en) Electronic apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant