CN111742239B - 用于被动扫描对象或情景的设备和方法 - Google Patents

用于被动扫描对象或情景的设备和方法 Download PDF

Info

Publication number
CN111742239B
CN111742239B CN201880084987.6A CN201880084987A CN111742239B CN 111742239 B CN111742239 B CN 111742239B CN 201880084987 A CN201880084987 A CN 201880084987A CN 111742239 B CN111742239 B CN 111742239B
Authority
CN
China
Prior art keywords
distance
user
sensing unit
measured
passive scanning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880084987.6A
Other languages
English (en)
Other versions
CN111742239A (zh
Inventor
帕维尔·扎哈罗夫
迈克尔·姆罗亨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weiweier
Original Assignee
Weiweier
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP18150805.2A external-priority patent/EP3508882A1/en
Application filed by Weiweier filed Critical Weiweier
Publication of CN111742239A publication Critical patent/CN111742239A/zh
Application granted granted Critical
Publication of CN111742239B publication Critical patent/CN111742239B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本公开涉及一种用于被动扫描对象的设备(100)。该设备包括:距离感知单元(110),适用于测量距对象的多个点的距离;方位感知单元(120),适用于确定距离感知单元(110)的方位;以及处理器(140),适用于基于所测量的距离和距离感知单元(110)的方位得出关于该对象或在其中使用该对象的情景的信息。

Description

用于被动扫描对象或情景的设备和方法
技术领域
本公开总体涉及扫描对象或情景的领域。更具体地,本公开涉及用于被动扫描对象或情景的设备和方法。
背景技术
现今,主动扫描对象越来越受关注。主动扫描对象在未来技术中组成重大比例。例如,自动驾驶汽车可使用在汽车中设置的主动扫描装置主动扫描路程中的对象,诸如,人和障碍物。
当使用这种主动扫描装置时,精确操作很重要。另外,在自动驾驶汽车利用主动扫描装置的情况下,这种装置引起故障,诸如,造成事故。因此,这些扫描装置在技术上通常很复杂。此外,常见的主动扫描装置不考虑人类对扫描对象的实际关注。
主动扫描意味着对促进到对象的多个点或情景的一组对象的距离测量(测距)的主动部件的控制。通常,需要布置在空间中的多个传感器(如相机)或者以控制方式或(例如,在RADAR、LIDAR或光学相干断层扫描技术获得的)对象的暴露点中的诱导易变性的在空间中的检测器的移动和/或旋转。
可选地,可以通过从与扫描活动不直接相关且不在扫描设备的直接控制下的探测波束或传感器的运动受益来执行扫描。例如,该检测器可以放置在用户的移动身体部位上并且由于用户和/或身体部位的自然运动从各个角度和位置执行采样。这是被动扫描的概念/可被认为是被动扫描。
因此,本公开的目标是提供有效的扫描装置。
发明内容
根据本公开的方面,提供了用于被动扫描至少一个对象的设备(即,被动扫描装置)。该设备还可被称为被动扫描装置,反之亦然。该设备包括(i)距离感知单元、(ii)方位感知单元和/或位置感知单元和(iii)处理器。距离感知单元适用于测量距多个点的距离或至少一个对象上的距离。方位感知单元适用于确定距离感知单元的方位。位置感知单元适用于确定距离感知单元的位置。处理器适用于基于所测量的距多个点的距离和所确定的距离感知单元的方位和/或位置得出关于至少一个对象的信息。
在本文中,该对象可包括或由诸如对象表面的至少一个几何图元组成。至少一个对象可以是情景的一部分,其中,该情景可包括或者由一个或多个对象组成。该情景可被理解为放置和使用一个或多个对象的背景。
通过上述被动扫描的方法,可以降低该设备的复杂性,同时还可以确定该对象或情景的理想信息。
至少一个对象(在下文中,简言之,有时称为“对象”)(例如,情景)的信息可包括对象的位置、形状、倾角和大小中的至少一个。或者该信息可包括或者是围绕或关于该对象的拓扑图。例如,该对象的信息可包括对象的移动。
在距离感知单元测量该距离时/同时,可以通过方位感知单元确定距离感知单元的方位。例如,在距离感知单元测量该距离时/同时,可以通过方位感知单元确定距离感知单元的移动。
方位感知单元可以由位置感知单元代替、带有位置感知单元或包括在位置感知单元中,或者以其他方式在位置感知单元周围。位置感知单元可以适用于测量距离感知单元或被动扫描装置的位置。在距离感知单元测量该距离时/同时,可以通过位置感知单元确定距离感知单元的位置。例如,在距离感知单元测量该距离时/同时,可以通过位置感知单元确定距离感知单元的移动或位置。
在本文中,在距离感知单元测量该距离时/同时,被动扫描可以被理解为相对于距离感知单元的移动扫描对象和/或被理解为确定距离感知单元的方位或位置。例如,在距离感知单元测量该距离时/同时,被动扫描可被理解为确定距离感知单元的移动。距离感知单元或被动扫描装置的移动可以由不受系统或被动扫描装置本身控制的因素引起。例如,由于被动扫描装置装备在其上的用户的移动可导致距离感知单元或被动扫描装置的移动。
被动扫描依赖与扫描的任务不一定相关的传感器的移动。在这种情况下,为了使测量与扫描对象或情景的坐标空间相关,必须获得关于装置位置和/或方位的信息。这可以利用方向传感器完成,诸如,加速器、陀螺仪、磁力计或位置传感器。
距离感知单元可被配置为测量被动扫描装置和对象之间的一个或多个距离。例如,距离感知单元可以设置在设备上,使得该距离可以与作为用户的眼睛和对象之间的距离的观察距离对应或有关。为此,可以合适的方式校准距离感知单元。距离感知单元可被配置为测量从距离感知单元到至少一个对象的一个或多个点或者至少一个对象上的一个或多个点的一个或多个距离。距离感知单元可被配置为测量某个方向的距离。距离感知单元的移动可包括距离感知单元的旋转。以此方式,距离感知单元可被配置为测量从距离感知单元到对象或情景的其他点的距离。如果距离感知单元安装在用户的头部上,可由用户的头部运动/移动引起移动。可以多次执行测量距离以测量被动扫描装置(例如,用户的眼睛)与至少一个对象(例如,情景)的多个点或至少一个对象(例如,情景)上的多个点之间的距离。
距离感知单元可使用激光为基础的技术、超声为基础的技术或任何其他测距技术。距离感知单元甚至可以是3D相机。通过距离感知单元执行的距离测量可以与由可包括运动传感器或位置传感器的方位感知单元执行的方位/位置测量相关。
方位感知单元可被配置为测量距离感知单元相对于起点的角度。该角度可被命名为方位并且被定义为包括竖直角(垂直方位)和/或水平角(水平方位)。可以不同的方式定义起点。作为一个实例,当通电时,被动扫描装置的位置可以是起点。可选地,用户可手动设置起点,例如,通过按压按钮或者将控制命令提供至被动扫描装置。可以从测量的统计量,如测量点的重量中值或重量中心来定义起点是可能的。可以相对于如地球磁场的绝对坐标系来定义起点。该起点可解释为3维坐标系的起点。在这些实例中,被动扫描装置在起点处的正向可以利用为用于测量水平和/或垂直方位的基线。方位感知单元可以实现为或包括加速计、陀螺仪传感器、磁力计、测高仪和指南针中的至少一者。
位置感知单元可被配置为测量距离感知单元或被动扫描装置的位置。该位置可以源自直接测量,如,来自地理位置、室内地点或高度(例如,由测高仪测量的)的至少单个坐标。位置感知单元可适用于测量距离感知单元相对于起点的位置。可以上述相同方式定义起点。可以通过感知距离感知单元或被动扫描装置的运动并且基于运动(例如,航位推算法/路径整合)执行位置估计间接得出该位置。位置感知单元可以是或者包括可利用用于航位推算法或路径整合的惯性(运动)传感器实现的地理定位传感器、室内(本地)定位系统、混合定位系统和间接位置估计单元中的一者。地理定位传感器可以是基于地点的传感器,诸如,GPS、GLONASS或GNSS传感器。
该设备还可包括存储单元。存储单元可包括被动扫描过程所需要的任何合适的校准数据。例如,存储器可包括诸如参考距离和参考方位(和/或位置)的参考数据。
存储单元可以是记录对象(即,示例性对象)、情景(即、示例性情景)和/或用户活动的各种情况的数据库。例如,用于不同对象的一般数据可作为参考数据存储在存储单元中。在通常使用该对象的情况下,参考数据可与对象的点的坐标或拓扑图对应。对象的点的坐标可被定义为作为一些坐标系中的一组数据点的点云。在三维坐标系中,这些点通常由X、Y和Z坐标定义,并且通常旨在表示对象的外表面。例如,一般使用的台式个人计算机(PC)的参考数据可包括用于监测器的坐标点,其中,用于监测器的坐标点主要可位于被动扫描装置前方的0.5m和1.5m之间的范围内并且形成与监测器相似的形状。进一步地,用于键盘的坐标点可包括在参考数据中,位于比监测器的坐标点更靠近被动扫描装置且向下至监测器的坐标点。以此方式,一般使用的智能电话、笔记本电脑、书、TV和投影屏的参考数据可以存储在存储单元中,仅举几个实例,不限于此。参考数据可以存储为示例性对象的参考距离(例如,ρ)和参考定位(例如,θ)。可以以本领域已知的方式进行球面坐标中的点和3维笛卡尔坐标中的点之间的转换。因此,参考数据可以存储为球面坐标点和3维笛卡尔坐标点中的任一者。参考数据可以具有3维的任何其他方法的形式,诸如,网格模型、表面边缘顶点模型、广义圆柱模型、八叉树、超二次模型等,然而,不限于这些实例。存储单元可被配置为存储测量的距离和方位和/或位置。例如,用于存储参考数据的存储单元可以在被动扫描装置中实现,或者实现为例如与被动扫描装置不同的装置中的独立实体。
处理器可被配置为管理被动扫描装置的操作。处理器可得出关于至少一个对象(例如,情景)的信息。该信息可包括对象的位置、形状、姿势、倾角和/或大小或者至少一个对象的其他测量。对于得出该信息,处理器可被配置为将为其测量距离和方位(和/或位置)的对象分类为示例性对象或情景中的一个。可以通过比较参考数据的点和测量的数据(测量的距离、方位和/或位置)来执行分类。例如,处理器可被配置为通过找出与测量的数据最相关的参考数据对对象分类。更具体地,处理器可被配置为将测量的距离和方位(和/或位置)转换为坐标点并且将转换的坐标点与每一个示例性对象(例如,情景)的参考坐标点(参考数据)进行比较。然后,如果一个示例性对象在转换的坐标点和参考坐标点之间具有最多数量的匹配,则处理器可将所测量的对象确定为示例性对象中的一个。以此方式,处理器可确定哪个示例性对象具有与所测量的对象最大相似度。处理器执行分类可以在被动扫描装置中或者与被动扫描装置不同的装置(诸如,用于在线处理的云服务器)中实现。
距离感知单元可包括能够测量从例如主要单元(例如,传感器)的单元的相同方位和位置的多个距离的多个距离传感器或者传感器(诸如,相机)。距离传感器可测量被动扫描装置的正向上的距离,同时其他距离传感器可测量其他方向,即,与正向不同的方向上的距离。例如,一个或多个距离传感器可以实现为测量倾向于向下、向侧面和/或向上方向的方向。因此即使在对象包括或由独立部分组成的情况下,所公开的被动扫描装置能够测量多个对象的多个距离或者一种对象的多个点的多个距离。
被动扫描装置可直接或间接装备至用户的身体部位或者装备在用户的身体部位上。例如,被动扫描装置可安装在用户的头部上或者护目镜、眼镜等上。
位置感知单元可以包括在被动扫描装置中以测量被动扫描装置的地点和/或位置。位置感知单元可以是方位感知单元的一部分或者在其中实现或者可以是独立单元。位置感知单元可适用于测量空间中的被动扫描装置的至少一个坐标。位置感知单元可包括地理位置系统(诸如,全球定位系统(GPS)、GLONASS或GNSS传感器)、测高仪系统、室内定位系统和混合定位系统中的至少一者。也可以从地理定位传感器或者利用测高仪测量高度。位置感知单元可适用于当被动扫描装置装备在用户的身体部位上时测量被动扫描装置的移动,并且因此测量用户的移动。所测量的位置可用作来自距离感知单元的输入测量数据的输入以用于至少一个对象(例如,情景)的分类。可以与使用来自方位感知单元的测量数据一样的方式定义用于分类的测量位置的应用。
室内定位系统(IPS)可被理解为使用无线电波、磁场、声信号或者由移动装置收集的其他感觉信息将对象或人定位在建筑物内部的系统。在市场上存在几个商业系统,但是不存在IPS系统的标准。IPS使用不同的技术,包括附近锚节点(具有已知位置的节点,例如,WiFi接入点)的距离测量、磁定位、航位推算法等。它们主动定位移动装置和标记或者为装置提供获得感测的周围地点或环境背景。该系统可包括来自其他系统的信息已处理物理模糊并且允许误差补偿。可以通过检测实时拍摄的图像内部的地标或者通过使用具有信标的三边测量来实现检测装置的方位(通常被称为指南针方向,以便将其与智能电话垂直方位区分开)。
处理器可基于关于至少一个对象的测量的移动或得出的信息对用户的活动分类。例如,如果从测量的移动确定的平均速度在3km/h和5km/h之间,则处理器可确定用户正在行走。对于5km/h至20km/h的平均速度,可以推断奔跑是用户的活动。对于20km/h以上的平均速度,处理器可指定用户正在骑自行车或乘车等。以上可被称为活动识别。
可以从利用惯性传感器测量的移动得出被动扫描装置的相对位置,这被称为航位推算法。例如,能够利用加速计检测装置的加速度允许相对于起始点估计空间中的装置的期望位置。结合距离测量的相对位置可用于构造坐标点云。
处理器可被配置为从测量的距离和方位(和/或位置)得出对象的位置、形状、倾角、姿势和大小中的至少一者。处理器可被配置为基于/从得出的对象的位置、形状、倾角和大小中的至少一者确定用户的活动或者用户所在的环境。对象的位置、形状、倾角、姿势和/或大小可以从测量的距离和方位(和/或位置)的坐标点得出。当在3维坐标中绘制坐标点时,坐标点的集合可从可得出位置、形状、倾角、姿势和/或大小形成对象的轮廓。可以补充测量的被动扫描装置的位置或移动以确定用户的活动。例如,对象的位置的轨迹可为确定用户是否在室内或室外提供提示。轨迹的直线长度可以比常见的室内活动的长度更长。由此,可得出用户在室外或室内。如另一实例,与用户或身体部位的移动相关的传感器的特征移动可以用作活动识别的输入,诸如,行走、奔跑甚至骑行期间的具体加速度/旋转模式可以有助于更好地对活动分类。因此,所公开的被动扫描装置能够有效地对用户的活动分类。
在被动扫描装置中可包括运动传感器,例如,惯性传感器。运动传感器可被配置为测量设备/被动扫描装置的运动量。例如,运动传感器可被配置为测量被动扫描装置的移动的加速度。例如,运动传感器可以是方位感知单元的一部分或者在方位感知单元中实现或者可以是独立的实体。当被动扫描装置测量距离和方位(和/或位置)时,当/在运动传感器测量的运动量和/或加速度高于阈值时,处理器可丢弃在预定时间段中测量的距离和方位(和/或位置)。例如,考虑到台式PC的用户,当他/她听到打电话声音时,他/她的头部可能以相当大的加速度突然移动。即使用户的注意力被吸引到电话上,因为它不是用户感兴趣的对象,所以他/她可将他/她的头部迅速转回到台式PC。因此,因为将头部移动到电话方向的加速度高于利用台式PC的常见加速度,所以处理器可丢弃相对于电话测量的距离和方位(和/或位置)。可以由用户、装置设置或如需要被动扫描的结果的外科医生的专家自由选择阈值和预定时间段。阈值可被定义为在距离和方位(和/或位置)的测量的时间段被动扫描装置的平均加速度值的“N”多倍(例如,N倍,其中,N大于1,优选地,2或3)。预定时间段可被定义为被动扫描装置中的距离和方位(和/或位置)的测量的总时间段的“M”多倍(例如,M倍,其中,M小于1且大于0,优选地,0.01至0.05)。因此所公开的被动扫描装置能够节省处理无意义数据的装置资源并且提高对象的被动扫描的结果的精确度。
直接从运动传感器提取的活动信息,如头部/身体运动、行走、阅读等的一般模式可用作独立输入以对至少一个对象(例如,情景)分类。另外,可以通过用户经由装置的用户界面或从诸如用户穿戴且例如通过身体区域网连接至扫描装置的智能电话或智能手表的其他传感器或装置直接提供活动信息。
处理器可被配置为当测量的距离和方位(或位置)和存储的参考距离和参考方位(和/或位置)之间的差值少于/小于预定量时,将对象或情景分类为示例性对象或情景中的一个。因为不同的用户使用相同的对象的情况可发生改变,所以存在根据用户的特征和情况的一些种类的对象或一些变化的数据不可以被存储为参考数据的可能性。因此,即使在测量数据(距离和方位(和/或位置))和参考数据之间存在差值,偏置值也可被称为一定量的范围内的差值。可以由用户、装置设置或专家自由选择偏置值(预定量)的上限。可以基于对象的常见距离不同地设置上限。例如,可以在离用户相当近的位置处使用的诸如笔记本电脑、PC、书或智能电话的对象的上限可被设置为小于诸如通常可位于更远离用户的TV或投影屏的对象的上限。例如,台式PC的偏移可以高达60cm,而60英寸TV的偏移可以高达3m。
另外,例如,当用户在执行这种活动期间、前后经由用户界面手动指示(标记)活动类型时,可以从在已知活动期间收集的测量统计量得出对象或活动的限制。例如,在通过智能电话app或通过网页界面检查测量的同时,用户能够标记活动。利用该信息,可以监督或无人监督的方式训练一种算法以从测量中自动识别类似的活动。可以对测量期间的实时数据或者过去收集的记录数据执行这种识别。算法可结合来自多个用户的数据,以便更加准确地识别和对活动分类。
该处理器可被配置为使用从测量的数据得出的形态学信息对对象或情景分类。形态学信息可以是或者包括对象的形状、对象的组合和/或对象在情景上的地点。
该处理器可被配置为将所测量的距离和方位(和/或位置)转换为坐标点,将转换的坐标点与存储的参考距离和方位(和/或位置)进行比较,并且当一个对象的参考距离和方位(和/或位置)与转换的坐标点具有最大数量的匹配点(与其他示例性对象相比)时,将该对象分类为示例性对象中的一个对象。可以球面坐标点和/或笛卡尔坐标点的格式存储每一个示例性对象的参考距离和方位(和/或位置)。该处理器可被配置为将所测量的距离和方位(和/或位置)转换为球面坐标点和/或笛卡尔坐标点,然后核查有多少测量的数据点与每一个示例性对象的参考球面坐标点和/或笛卡尔坐标点匹配。当一个对象的参考球面坐标点和/或笛卡尔坐标点具有与转换的坐标点匹配的最大数量的点时,该处理器可确定示例性对象中的一个对象。
该处理器可被配置为将所测量的距离和方位(和/或位置)和/或至少一个坐标转换为对象或情景的(几何)空间模型,将该空间模型与存储的参考空间模型进行比较,当一个示例性对象或情景的参考空间模型与空间模型具有最大匹配得分(与其他参考空间模型相比)时,将对象或情景分类为示例性对象或情景中的一者。
存储单元可被配置为存储参考空间模型。
根据本公开的另一方面,提供了用于被动扫描至少一个对象的方法。该方法包括测量离多个点的距离或者指示一个对象上的距离、确定被动扫描装置的方位和/或位置、以及基于所测量的距离和所确定的方位和/或位置得出关于至少一个对象的信息的步骤。可由被动扫描装置执行该方法。被动扫描装置可以是或包括根据本文中描述的第一方面的设备。
在测量距离的同时可以确定方位和/或位置。
关于对象或情景的信息可包括对象的位置、形状、倾角和大小中的至少一者。例如,关于该对象的信息可包括对象的移动。
该方法还可包括将参考距离和参考方位(和/或位置)存储在多个示例性对象或参考空间模型上。该方法还可包括通过将所测量的数据与存储的参考数据进行比较来得出关于对象的信息。
可以通过多个距离传感器测量距离。
可以通过装备在用户的身体部位上或装备至用户的身体部位的被动扫描装置测量和确定距离和方位(和/或位置)。
该方法还可包括通过使用全球、室内和混合定位系统等测量被动扫描装置的位置或移动。
该方法还可包括从得出的关于对象的信息分类或确定用户的活动或用户周围的环境。
该方法还可包括测量被动扫描装置的运动量或移动的加速度,并且当测量的运动量或加速度高于阈值时丢弃在预定时间段中测量的距离和方位(和/或位置)。
在该方法中,分类步骤可包括分别确定所测量的距离和方位(和/或位置)和存储的参考距离和参考定位(和/或位置)之间的差值,并且当差值小于预定量时将对象分类为示例性对象中的一个。
该方法还可包括将所测量的距离和确定的方位(和/或位置)转换为坐标点。该方法还可包括将转换的坐标点与存储的参考距离和参考方位(和/或位置)进行比较。该方法还可包括当一个对象的参考距离和参考方位(和/或位置)与转换的坐标点具有最大数量的匹配点时将对象分类为示例性对象中的一个对象。
该方法还可包括将所测量的距离和确定的方位(和/或位置)和/或至少一个坐标转换为对象或情景的(几何)空间模型,将该空间模型与参考空间模型进行比较,当一个示例性对象或情景的参考空间模型与空间模型具有最大匹配得分时将该对象或情景分类为示例性对象或情景中的一者。
该方法还可包括通过将统计方法应用至所得出的关于至少一个对象的信息来估计用户的与活动相关的观察距离。
该方法还可包括通过将统计方法应用至得出的关于对象或情景的信息识别用户的目视要求。
识别目视要求可包括基于得出的关于至少一个对象的信息识别用户活动,并且基于用户活动识别目视要求。
识别目视要求可包括基于得出的关于至少一个对象的信息识别用户活动性,基于用户活动识别用户的观察距离,并且基于用户的观察距离识别目视要求。
该方法还可包括基于目视要求确定用户的屈光方案,其中,屈光方案是屈光手术的烧蚀剖面、眼科植入物和眼科镜片中的一者,其中,眼科镜片是人工晶体、角膜接触镜和眼镜镜片中的一者。
可以通过对于本公开中的被动扫描装置的上述说明补充对于该方法的具体实例或说明。
附图说明
在下文中,将参考附图中示出的示例性实现方式进一步描述本公开,在附图中:
图1示出了根据本公开的被动扫描装置的实例;
图2示出了与本公开的方法对应的流程图;
图3示出了根据本公开的距离感知单元110的实例;
图4示出了与可通过距离感知单元110执行的方法对应的流程图;
图5示出了被动扫描对象的概念;
图6示出了通过测量对象的方位和/或位置被动扫描的实例;
图7示出了对象或情景的测量数据的绘制点(或点云)的实例;
图8示出了利用台式个人计算机的用户活动的测量的实例;
图9示出了利用便携式计算机的用户活动的测量的实例;
图10示出了使用距离感知单元110中包括的多个距离传感器被动扫描对象的实例;
图11示出了使用多个距离传感器110a、110b被动扫描对象520的实例;
图12示出了通过结合来自被动扫描装置100的距离和方位(和/或位置)的测量利用安装在眼镜腿上的可穿戴装置被动扫描获得的对象(对象的表面)的映射的实例;
图13示出了可以通过被动扫描装置100或方位感知单元120测量的被动扫描装置100或距离感知单元110的方位的类型;
图14示出了对对象或情景分类的示例性流程;
图15示出了示例性对象的参考数据的2维坐标中的绘制点的实例;以及
图16示出了示例性对象的参考数据的2维坐标中的允许偏移的实例。
具体实施方式
在以下描述中,为了说明而不是限制的目的,阐述了具体细节以便提供对本公开的完全理解。对于本领域的技术人员来说将显而易见的是,可以在背离这些具体细节的其他实现方式中实践本公开。
本领域技术人员还应理解,可以使用单独的硬件电路、使用结合例如编程微处理器或通用计算机的一个或多个处理器的软件功能、使用专用集成电路(ASIC)和/或使用一个或多个数字信号处理器(DSPD)实现以下本文中说明的功能。还应理解,当本公开被描述为方法时,还可以体现在耦接至处理器排列的计算机处理器排列和存储排列中,其中,存储排列利用一个或多个程序或相应的代码被编码或存储一个或多个程序或相应的代码以使得当由处理器排列执行时处理器排列执行或控制本文中公开的方法。
图1示出了根据本公开的被动扫描装置的实例。在本实例中,被动扫描装置100包括距离感知单元110、方位感知单元120和/或处理器140。可选地,被动扫描装置100还可包括存储单元130、位置感知单元150和/或运动传感器160。代替或除了方位感知单元120之外,位置感知单元150可以是强制部件,而在前一种情况下方位感知单元120可以是可选部件。被动扫描装置100可装备在用户的身体部位上。被动扫描装置100可以安装在用户的头部上或者护目镜/眼镜等上。方位感知单元120可以由位置感知单元150代替、带有位置感知单元150或包括在位置感知单元150中。如在下文中说明的,运动传感器160可以作为移动传感器20包括在距离感知单元110中。
距离感知单元110可被配置为测量离对象的多个点的距离。距离感知单元110可被配置为测量被动扫描装置100和对象之间的距离。例如,距离感知单元110可以装备在被动扫描装置100中,使得该距离可以与作为用户的眼睛和对象之间的距离的观察距离对应或有关。距离感知单元110可被配置为测量从距离感知单元110到对象或情景的一个或多个点或对象或情景上的一个或多个点的一个或多个距离。距离感知单元110可被配置为测量某个方向上的距离。在本实例中,移动包括距离感知单元的旋转和/或位移。因此,距离感知单元110可被配置为测量从距离感知单元110到对象或情景的其他点的距离。如果距离感知单元110安装在用户的头部上,可由用户的自然头部运动引起移动。可以多次执行测量距离以测量被动扫描装置100(例如,用户的眼睛)与对象或情景的多个点之间的距离。
距离感知单元110可包括多个距离传感器或能够测量多个距离的传感器(诸如,相机)。距离传感器可测量被动扫描装置100的正向上的距离,同时其他距离传感器可测量与正向不同的其他方向上的距离。例如,一个或多个距离传感器可以实现为测量向下、向侧面和/或向上方向上的距离。因此即使当对象由独立部分组成时,所公开的被动扫描装置100也能够测量多个对象的多个距离或者一种对象的多个点的多个距离。
方位感知单元120可被配置为确定距离感知单元110的方位。方位感知单元120可被配置为测量距离感知单元110相对于起点的角度。该角度可被定义为包括垂直角(垂直方位)和/或水平角(水平方位)。可以不同的方式定义起点。作为一个实例,当通电时,被动扫描装置100的位置可以是起点。或者,用户可以手动设置起点,例如,通过按压按钮或者将控制命令提供至被动扫描装置100。可以在统计上从一组点得出起点。可以相对于如地球磁场的绝对坐标系来定义起点。该起点可解释为3维坐标系的起点。在这些实例中,被动扫描装置100在起点处的正向可以利用为用于测量水平和/或垂直方位的基线。方位感知单元120可以实现为或包括加速计、陀螺仪传感器、磁力计、测高仪和指南针中的至少一者。
存储单元130可包括被动扫描过程所需要的任何合适的校准数据。例如,存储单元130可包括诸如参考距离和参考方位(和/或参考位置)的参考数据。存储单元130可以是记录对象(即,示例性对象)、情景(即、示例性情景)和/或用户活动的各种情况的数据库。例如,用于不同对象或情景的一般数据可作为参考数据存储在存储单元130中。在通常使用该对象的情况下,参考数据可与对象的点的坐标或拓扑图对应。对象的点的坐标可被定义为作为一些坐标系中的一组数据点的点云。在三维坐标系中,这些点通常由X、Y和Z坐标定义,并且通常旨在表示对象的外表面。例如,一般使用的台式个人计算机(PC)的参考数据可包括用于监测器的坐标点,其中,用于监测器的坐标点主要可位于被动扫描装置前方的0.5m和1.5m之间的范围内并且形成与监测器形状相似的形状。进一步地,用于键盘的坐标点可包括在参考数据中,位于比监测器的坐标点更靠近被动扫描装置100且向下至监测器的坐标点。以此方式,一般使用的智能电话、笔记本电脑、书、TV和投影屏的参考数据可以存储在存储单元130。参考数据可以存储为可与球面坐标点对应的示例性对象的参考距离(例如,ρ)和参考定位(例如,θ)。球面坐标点可以利用已知的数学方法转换为3维笛卡尔坐标中的点。存储单元130可以存储测量的距离和方位(和/或位置)。存储单元130可以在与被动扫描装置100不同的装置中或者在被动扫描装置100的一部分中/作为被动扫描装置100的一部分实现。参考数据可以具有3维的任何其他方法的形式,诸如,网格模型、表面边缘顶点模型、广义圆柱模型、八叉树、超二次模型等,然而,不限于列举的形式。存储单元130可被配置为存储参考空间模型。
处理器140可管理被动扫描装置100的操作。处理器140可得出关于对象或情景的信息。该信息可包括对象或情景的位置、形状、倾角、大小、姿势和/或种类。或者该信息可包括或者是围绕或关于该对象的拓扑图。对于得出该信息,处理器140可将为其测量距离和方位(和/或位置)的对象分类为示例性对象或情景中的一个。可以通过比较参考数据的点和所测量的数据(即,测量的距离和方位(和/或位置))来执行分类。例如,处理器140可通过找出与所测量的距离和方位(和/或位置)最相关的参考数据对对象分类。更具体地,处理器140可将所测量的距离和方位(和/或位置)转换为坐标点并且将转换的坐标点与每一个示例性对象或情景的参考坐标点(参考数据)进行比较,然后如果一个示例性对象或情景在转换的坐标点和参考坐标点之间具有最多数量的匹配,则处理器140将测量对象或情景确定为一个示例性对象或情景。处理器140可将坐标点转换为对象的几何模型并且通过使所测量的对象与来自校准数据的模板匹配来确定对象或情景。处理器140执行分类可以在与被动扫描装置100不同的装置(诸如,用于在线处理的云服务器)中或者在被动扫描装置100的一部分中/作为被动扫描装置100的一部分实现。
处理器140可从所测量的距离和方位(和/或位置)得出对象或情景的位置、形状、倾角、姿势和大小中的至少一者。处理器140可基于得出的对象或情景的位置、形状、倾角、姿势和大小中的至少一者确定用户的活动或者用户所在的环境。对象的位置、形状、倾角和/或大小可以从测量的距离和方位(和/或位置)的坐标点得出。当在3维坐标中绘制坐标点时,坐标点的集合可形成对象的轮廓,从对象的轮廓可得出位置、形状、倾角、姿势和/或大小。
当所测量的距离和方位(和/或位置)和存储的参考距离和参考方位(和/或位置)之间的差值小于预定量时,处理器140可将对象或情景分类为示例性对象或情景中的一个。因为不同的用户使用相同的对象的情况可发生改变,所以存在根据用户的特征和情况的一些种类的对象或一些变化的数据不可以被存储为参考数据的可能性。因此,即使在所测量的数据(距离和方位(和/或位置))和参考数据之间存在差值,偏置值也可被称为一定量的范围内的差值。可以由用户、装置设置、医生或外科医生自由选择偏置值(预定量)的上限。可以基于对象的常见距离不同地设置上限。例如,可以在离用户相当近的位置处使用的诸如笔记本电脑、PC、书或智能电话的对象的上限可被设置为小于诸如通常可位于远离用户的TV或投影屏的对象的上限。例如,台式PC的偏移可以高达60厘米,而60英寸TV的偏移可以高达3米。
处理器140可被配置为使用从所测量的数据得出的形态学信息对对象或情景分类。形态学信息可以是或者包括对象的形状、对象的组合和/或对象在情景上的地点。
处理器140可将所测量的距离和方位(和/或位置)转换为坐标点,将转换的坐标点与存储的参考距离和方位(和/或位置)进行比较,并且当一个对象的参考距离和方位(和/或位置)与转换的坐标点具有最大数量的匹配点时,将对象或情景分类为示例性对象或情景中的一个对象。可以球面坐标点和/或笛卡尔坐标点的格式存储每一个示例性对象或情景的参考距离和方位(和/或位置)。处理器140可将所测量的距离和方位(和/或位置)转换为球面坐标点和/或笛卡尔坐标点。然后,处理器140可核对有多少测量的数量点与每一个示例性对象或情景的参考球面坐标点和/或笛卡尔坐标点匹配。当一个对象或情景的参考球面坐标点和/或笛卡尔坐标点具有与转换的坐标点匹配的最多数量的点时,处理器140可确定示例性对象或情景中的一个对象。当被动扫描装置100核对与转换的坐标点匹配的点的数量时,以上描绘的偏移可以被称为参考数据。
处理器140可被配置为将所测量的距离和方位(和/或位置)和/或至少一个坐标转换为对象或情景的空间模型,将空间模型与存储的参考空间模型进行比较,当一个示例性对象或情景的参考空间模型与该空间模型具有最大的匹配得分时,将对象或情景分类为示例性对象或情景中的一个。
示例性情景或对象可以被定义为坐标系中的云点。云点(或点云)可以是一组几何图元(例如,具有它们的参数的圆柱、立方体)、位置、姿势和/或对象(例如,具有它们的位置、姿势等的笔记本电脑、桌面等)。
被动扫描装置100可选地包括位置感知单元150以测量被动扫描装置100的地点和/或位置。位置感知单元150可以是方位感知单元120的一部分或者在其中实现或者可以是独立单元。位置感知单元150可适用于测量空间中的被动扫描装置的至少一个坐标。位置感知单元150可包括诸如全球定位系统(GPS)、GLONASS或GNSS传感器、室内定位系统和混合定位系统的地理位置系统中的至少一者。也可以从定位传感器或者利用测高仪测量高度。位置感知单元150可适用于当被动扫描装置100装备在用户的身体部位上时测量用户的移动。位置感知单元150可被配置为测量距离感知单元110或被动扫描装置100的位置。该位置可以源自直接测量,如,来自地理位置、室内地点或高度(来自测高仪)的至少单个坐标。位置感知单元150可适用于测量距离感知单元110相对于起点的位置。可以以上描述的相同方式定义起点。可以通过感知距离感知单元110或被动扫描装置100的运动并且基于运动(例如,航位推算法/路径整合)执行位置估计间接得出该位置。位置感知单元150可以是或者包括可利用用于航位推算法或路径整合的惯性(运动)传感器实现的地理定位传感器、室内(本地)定位系统、混合定位系统和间接位置估计单元中的一者。地理定位传感器可以是基于地点的传感器,诸如,GPS、GLONASS或GNSS传感器。测量位置可用作从距离感知单元输入的测量数据用于对象或情景的分类。可以与使用来自方位感知单元120的测量数据一样的方式定义用于分类的测量位置的应用。
位置感知单元150可适用于测量距离感知单元110或被动扫描装置100的位置。在距离感知单元110测量该距离时/同时,可以通过位置感知单元150确定距离感知单元110的位置。例如,在距离感知单元110测量该距离时/同时,可以通过位置感知单元150确定距离感知单元110的移动或位置。
处理器140可以基于测量的移动或从测量得出的信息对用户的活动分类。例如,如果从测量的移动确定的平均速度在3km/h和5km/h之间,则处理器140可确定用户正在行走。对于5km/h至20km/h的平均速度,奔跑可以是用户的活动。对于20km/h以上的平均速度,处理器140可指定用户正在乘车等。可以补充测量的地点或位置以确定用户的活动。例如,对象的地点或位置的轨迹可为确定用户是否在室内或室外环境中提供提示。比常见的室内活动的长度更长的轨迹的直线的长度可被认为是用户的活动是室外活动的指示。因此,所公开的被动扫描装置100能够有效且精确地对用户的活动分类。可以从利用惯性传感器测量的移动得出被动扫描装置100的相对位置,这被称为航位推算法。例如,能够利用加速计或运动传感器160检测装置的加速度允许估计空间中的装置相对于起始点的期望位置。结合距离测量的相对位置可用于构造坐标点云。
被动扫描装置100可以可选地包括运动传感器160以测量被动扫描装置100的移动的加速度。例如,运动传感器160可以是方位感知单元120或距离感知单元110的一部分或者在方位感知单元120或距离感知单元110中实现。当被动扫描装置100测量距离和方位(和/或位置)时,处理器140可丢弃在由运动传感器160测量的加速度或运动量高于阈值的预定时间段中测量的距离和方位(和/或位置)。例如,设想当台式PC的用户听到电话的声音时,他/她的头部以相当大的加速度突然移动的情况。即使用户的注意力被吸引到电话上,因为它不是用户感兴趣的对象,所以他/她可在此后突然将他/她的头部转回到台式PC。因此,因为凝视电话的方向的移动的加速度高于利用台式PC期间发生的常见加速度,所以处理器140可丢弃关于电话测量的距离和方位(和/或位置)。可以由用户、装置设置、医生或旨在评估被动扫描的结果的外科医生自由选择阈值和预定时间段。阈值可被定义为在距离和方位(和/或位置)的测量的时间段的被动扫描装置100的平均加速度值的“N”多倍(例如,N倍,其中,N大于1,优选地,2或3)。预定时间段可被定义为被动扫描装置100中的距离和方位(和/或位置)的测量的总时间段的“M”多倍(例如,M倍,其中,M小于1且大于0,优选地,0.01至0.05)。因此所公开的被动扫描装置100能够节省处理无意义数据的装置资源并且提高对象的被动扫描的结果的精确度。直接从运动传感器提取的活动信息,如头部/身体运动、行走、阅读等的一般模式可用作独立输入以对对象或情景分类。
图2示出了与本公开的方法对应的流程图。在该方法中,可以测量到对象或情景的多个点的距离(S210)。可以在测量距离之前、之后或同时确定被动扫描装置100的方位(和/或位置)(S220)。基于测量数据(测量距离和方位(和/或位置)),可以得出关于对象的信息(S250)。
通过装备在用户的身体部位上的被动扫描装置100测量和确定距离和方位(和/或位置)。
关于对象的信息包括或者是对象或情景的位置、形状、倾角、姿势和大小中的至少一者,例如,对象的移动。
所测量的距离和方位(和/或位置)可记录在存储单元130中。所测量的数据可记录为球面坐标的距离(例如,ρ)和方位(例如,θ)。因此,所测量的距离和方位(和/或位置)的组合可以形成空间上的绘制点。包括示例性对象或情景的参考距离和参考方位(和/或位置)的参考数据可以存储(S230)在存储单元130中。可以在距离和方位(和/或位置)的测量之前将参考数据存储在存储单元130中也是可行的。
可选地,可以执行测量被动扫描装置100的位置(S242)。测量位置可使得结合测量的持续时间测量被动扫描装置100的速度。位置的测量可以提供被动扫描装置100的移动的轨迹。除了测量数据之外,可以使用测量地点、速度和/或轨迹对对象分类或者指定被动扫描装置100周围的环境。因此,可以提高分类的精确性。
可选地,可以基于对象的测量数据的绘制点执行关于对象或情景的位置、形状、倾角、姿势和大小中的至少一者的信息的推导,例如,对象的移动。除了测量数据之外,得出的对象或情景的信息可用于对用户的活动或被动扫描装置100或用户周围的环境分类(S245)。
可选地,可以执行测量被动扫描装置100的移动量(S247)。所测量的移动量可用作用于丢弃测量数据的指示符(S248)。如上所述,当测量了更高的加速度时,比被动扫描装置100的阈值更高的加速度可以是在预定持续时间期间丢弃测量数据的必要性的指示。
可选地,得出关于对象或情景的信息可包括或由以下步骤代替,这些步骤包括将所测量的距离和确定的方位(和/或位置)转换为坐标点,将转换的坐标点与存储的参考距离和参考方位(和/或位置)进行比较,并且当一个对象或情景的参考距离和参考方位(和/或位置)与转换的坐标点具有最大数量的匹配点时将对象或情景分类为示例性对象或情景的一个对象。
可选地,得出关于对象或情景的信息可包括或由以下步骤代替,这些步骤包括将测量距离和确定的方位(和/或位置)和/或至少一个坐标转换为对象或情景的空间模型,将空间模型与存储的参考空间模型进行比较,并且当一个示例性对象或情景的参考空间模型与该空间模型具有最大数量的匹配得分时,将对象或情景分类为示例性对象或情景中的一个。
可选地,该方法还可包括通过将统计方法应用至得出的关于对象或情景的信息识别(S252)用户的目视要求。该方法还可包括通过将统计方法应用至所确定的用户的活动或环境识别(S252)用户的目视要求。在统计方法中,当源自其频率高于或等于预定值的测量时,大于或等于1的权重可应用于得出的信息,而当源自其频率低于预定值的测量时,等于0或大于0且小于1的权重可以应用于得出的信息。
可选地,该方法还可包括基于情景或由用户进行的活动的点和/或几何模型的坐标确定(S246)观察距离。例如,如果情景被识别为具有个人计算机的台式机并且活动被分类为计算机工作,相关观察距离是从用户眼睛至计算机显示器由几何模型或空间中的点集表示的距离。
可选地,该方法还可包括基于目视要求确定(S254)用户的屈光方案,其中,屈光方案是屈光手术的烧蚀剖面、眼科植入物和眼科镜片中的一者,其中,眼科镜片是人工晶体、角膜接触镜和眼镜镜片中的一者。
连同可选地描述的步骤(S242、S245、S246、S247和/或S248)的结果,可以更精确地完成对象的分类(S250)。
图3示出了根据本公开的距离感知单元110的实例。距离感知单元110可包括距离传感器(或多个距离传感器)5、存储单元7和/或处理单元10。可以通过以上描述的被动扫描装置100的处理器130和存储器140执行存储单元7和/或处理单元10的功能,并且在距离感知单元1中可以省去存储单元7和/或处理单元10。可选地,距离感知单元110可包括眼睛监测单元15、移动传感器20、环境光传感器和/或用户界面30。距离感知单元110的不同单元5、7、10、15、20、25可以在一个或相同的装置110中实现或者可以分配在两个或更多个单独装置中以形成距离感知单元110。现在将相对于图4描述距离感知单元110的更多细节。
图4示出了与可通过距离感知单元110执行的以便加权、优先考虑或丢弃特定的观察距离测量的方法对应的流程图。在步骤S10中,距离传感器5可测量一个或多个观察距离。这些距离是主体(即,用户)和主体的观察方向上的一个或多个对象之间的距离。在步骤S7中,存储单元7可将测量的观察距离存储在一组测量的观察距离中。在步骤S11中,处理单元10从该组测量的观察距离确定测量的观察距离的统计分布。
在下文中,将描述在图4中示出的一些可选步骤。这些可选步骤通常引起提高的例如更加精确的评估。例如,在可选步骤S15中,眼睛监测单元15检测相对于测量传感器的方向的距离的主体的目光方向,例如,观察方向。在可选步骤S16中,处理单元10基于相对于测量传感器的方向的距离的主体的目光方向,例如,观察方向,在统计上从该组测量的观察距离加权、选择或丢弃测量的观察距离。代替丢弃测量的观察距离,处理单元10可选择认为有价值的特定的观察距离或者选择主体的优选的观察距离或者利用小于或大于1的权重因数加权测量的观察距离。在可选步骤S20中,在步骤S20中,移动传感器20测量主体的身体的移动。在本实例中,移动传感器20可以或不可以包括加速计和/或陀螺仪,但是还可以或不可以包括不同的传感器,例如,像磁力计、测高仪、计步仪或地理定位装置。在可选步骤S21中,处理单元10基于测量的移动在统计上加权、选择或丢弃来自该组测量的观察距离的测量的观察距离。如果主体的头部至少基本上稳定地指向测量的对象,则计算到对象的距离并且由1或高于1的因数加权。如果主体的注意力被分散,例如,当主体的头部至少基本上不断围绕对象移动时,测量距离由小于1的因数加权或丢弃,并且因此在总的统计分布中不予以考虑。
在可选步骤S25中,可通过使用额外的颜色传感器延伸的环境光传感器25测量主体的观察方向上的环境光和/或光强度和/或光谱含量。在可选步骤S26中,处理单元10基于测量的环境光、光强度和/或光谱含量在统计上加权、选择或丢弃来自该组测量的观察距离的测量的观察距离。环境光影响主体的眼睛调节和焦点深度。在明亮照明下,当主体的瞳孔收缩且主体的焦点深度明显增加时,测量的观察距离不优先考虑且由低于1的值加权。当考虑暗光时,例如,当主体读书并且主体的瞳孔扩张时,这与黯淡照明相关联的环境光对应,测量的观察距离优先考虑且由高于1的值加权。
在可选步骤S30中,用户界面30接收用户输入。在可选步骤S31中,处理单元10基于用户输入加权、选择或丢弃来自该组测量的观察距离的测量的观察距离。主体可使用在距离感知单元110上、附接装置上或包括距离感知单元110的眼镜上轻敲,以便加权、选择或丢弃测量的观察距离。主体的输入还可以是由头部运动传感器检测到的像点头或摇头的头部姿势、由眼睛监测装置检测到的主体或眼睛移动等。例如,因为如此调节的眼睛监测装置,主体可通过从待测量的对象看向一侧、直接引导至丢弃的测量结果来丢弃测量的观察距离。另一实例可以是主体以挥动手势将他或她的手放在传感器前方或者将他或她的手在距离感知单元110前方保持几秒以丢弃或加权测量的观察距离。
可以通常处理步骤中彼此独立地或者一起执行一个或多个(例如,全部)上述加权或丢弃步骤。
在可选步骤S35中,处理单元10可通过将统计方法应用到来自该组测量的观察距离的测量的观察距离来计算目标屈光。
图5示出了被动扫描对象的概念。在附图中,描述了使用人体或身体的一部分,诸如头部(装置所在的地点)的自然移动利用距离感知单元110扫描对象520或环境(即,情景)的概念。至于被动扫描对象(或情景),可以使用除了来自距离感知单元110的测量之外的来自方位感知单元120和/或位置感知单元150的测量。可选地,可以在方位感知单元120内部或外部实现诸如加速计、陀螺仪和磁力计的运动传感器以及位置传感器。位置感知单元150可以实现为地理定位装置、室内和混合定位系统中的至少一者。方位感知单元120在起点处可测量垂直和/或水平相对于基线530的方位。
在附图中,举例说明的是读书的用户。图5的(a)示出了测量到对象520的多个点的距离和到相对于基线530的多个点的垂直方位。图5的(b)示出了测量到对象520的多个点的距离和到相对于基线530的多个点的水平方位。
因为被动扫描装置100装备在用户的头部处,所以在阅读期间头部的自然移动将传感器暴露于情景的各个点和对象520。记录测量距离以及传感器100的方位和/或位置。例如,当用户读书时,他/她通常且稍微将头部移动(旋转)以追随文本或页面。可以通过被动扫描装置100中的距离感知单元估计到书的不同点的距离。如图5的(a)所示,可以通过方位感知单元120估计每一个距离的垂直方位(角度)。例如,可以使用可测量相对于重力场的角度的加速计估计垂直方位。在图5的(b)中,可以通过方位感知单元120估计每一个距离的水平方位(角度)。例如,可以使用可测量相对于地球磁场的角度的磁力计(或指南针)测量水平方位。通过结合距离和方位的测量,书的扫描点可以位于3D空间中(相对于用户或被动扫描装置)。3D空间(坐标)中所在的点可以提供关于书的形状、书的角度(倾角)、到书的距离和/或书的大小的信息。从该信息,可以使距离测量与物理世界相关,使得测量的数据用于表示或使感兴趣的对象或用户的活动,例如感兴趣的活动或读书的活动分类。通过了解装置100相对于用户眼睛的位置,可以估计距对象520的观察距离。由于预定义的穿戴条件或从校准数据了解装置100相对于用户眼睛的位置。
估计距初始兴趣(例如,书)的观察距离不用考虑不是用于分类的活动的用户直接感兴趣的对象(例如,墙壁)的点。然而,到其他对象的距离可以提供关于情景的额外信息。在描述的附图中,当被动扫描装置100对情景分类时,可以考虑由于墙壁测量的坐标点。例如,连同分类的对象(在附图中可以是书),墙壁的坐标点可以为在室内读书的用户的情景分类。
图6示出了通过测量对象的方位和/或位置被动扫描的实例。为了获得对象的扫描,需要测量对象(表面)相对于对象(表面)上的位置的性质。如果扫描对象的几何形状,到对象的距离与对象和/或测量装置的坐标系相关。在3D空间中,可能需要测量被动扫描装置100或距离感知单元110相对于对象(例如,情景)的方位和/或位置以被动扫描该对象。
参考图6的(a),当距离感知单元110的方向(即,方位)受到限制(或者假设保持不变)时,可以通过距离感知单元110的测量位置(例如,位置0、1、2)扫描该对象。如所描述的,可以通过距离感知单元110和位置感知单元150测量对象的点。可以在坐标系中绘制测量的点。
参考图6的(b),当距离感知单元110的位置受到限制(或者假设保持不变)时,可以通过距离感知单元110的测量方位(例如,方位0、1、2)扫描该对象。这是安装在用户头部上的装置用于许多直观活动的最自然的情形,因为人类倾向于旋转头部以便研究该情景。如所描述的,可以通过距离感知单元110和方位感知单元120测量对象的点。可以在坐标系中绘制测量的点。
参考图6的(c),当距离感知单元110的位置和方位受到限制(或者假设保持不变)时,可以通过测量距离感知单元110的方位(例如,方位0、1、2)和位置(例如,位置0、1、2)来扫描该对象。如所描述的,可以通过距离感知单元110、方位感知单元120和位置感知单元150测量对象的点。可以在坐标系中绘制测量的点。
如所示出的,在对被动扫描装置100或距离感知单元110的方位和/或位置的限制的任何条件下,监测或扫描对象(例如,情景)仍然是可行的。即,可以省略用于监测对象或情景的传感器的主动控制。
可以利用惯性传感器(例如,加速计给出到地球的重力场的方向,即垂直角;磁力计给出到地球磁场的方向,大部分为水平角并且部分是垂直的)监测方位。在方位的测量期间,陀螺仪可用于减少假象。多个运动传感器的测量可以结合所谓的融合算法的帮助,以便提高准确度。位置可以从直接测量,如来自地理位置、室内地点或测高仪的至少单个坐标得出,或者可以通过感测传感器运动且从运动执行位置估计(航位推算法/路径整合)间接得出。
还可以测量包括关于反射的光谱信息作为额外信息的对象光反射性质且用于对象识别(被动扫描对象)。
图7示出了对象或情景的测量数据的绘制点(或点云)的实例。在附图中,在情景的垂直横切的2维坐标中绘制从包括距离和方位(和/或位置)的测量数据得出的点。基于结合利用加速计测量的重力场的方位的距离测量映射这些点。附图示出了使用平板电脑和台式计算机为活动绘制的点的结果。至于使用平板电脑的活动,绘制的点反映平板电脑的屏幕的倾角和从用户的距离。使用台式计算机为用户的活动绘制的点反映垂直站立的计算机显示器和从/距用户相对远的距离。
在附图中,不重要的绘制点也被呈现为灰白色和半透明的,而重要的绘制点被呈现为清晰的。即,根据绘制点的出现频率,绘制点的颜色可以是浅灰色或清晰的。为了简化被动扫描,为了对象或环境的分类可以考虑重要的绘制点,而对于分类可以忽视不重要的绘制点。例如,如果绘制点在坐标中的预定区域中的频率小于绘制点在其他区域中的频率的平均值,则对于分类可以不予考虑预定区域中的绘制点。
根据本公开,一旦对象或者组成情景的对象被建模和/或分类,也可以对用户的活动分类,诸如读书、使用智能电话、使用PC、看电视、与其他人对话等。
图8示出了利用台式个人计算机的用户活动的测量的实例。图8的(a)示出了可以在被动扫描装置中执行的各种测量的结果。图8的(b)示出了通过反映台式PC的点的测量距离和测量的垂直方位的2维坐标中的点云(或绘制点)。
参考图8的(a),可以通过被动扫描装置100测量距离和每个距离的出现率。因为0.6m和0.7m之间的距离的出现率在测量距离中组成重要的百分比,所以0.6m和0.7m之间的距离可以被确定为对象的工作距离(用户和感兴趣对象之间的距离)。可以测量组成重要百分比的距离的垂直方位并且表示在测量期间用户大多数向前看。垂直方位和组成重要百分百的距离的结合还可以表示对象的倾角。在本附图中描述的实例示出了对象是垂直平坦的。可以测量对象所在的环境中的环境光和头部的移动量并且被考虑为对对象(或情景)和用户的活动分类。
参考图8的(b),与图7相似,在情景的2维垂直横切中绘制基于测量数据的点。x轴表示对象的点的水平坐标并且y轴表示垂直坐标。绘制点指示垂直站立的计算机显示器和桌子上的键盘。
图9示出了利用便携式计算机的用户活动的测量的实例。绘制的意义与图8相似。图9的(a)示出了可以在被动扫描装置100中执行的各种测量的结果。图9的(b)示出了通过反映便携式计算机的点的测量距离和测量的垂直方位的2维坐标中的绘制点。
参考图9的(a),可以通过被动扫描装置100测量距离和每个距离的出现率。因为0.4m和0.5m之间的距离的出现率在测量距离中组成重要的百分比,所以0.4m和0.5m之间的距离可以被确定为工作距离(用户和感兴趣对象之间的距离)。可以测量头部屈曲角度(装置俯仰)并且指示在测量期间用户大多数看向下20度。垂直方位和组成重要百分百的距离的结合还可以表示对象的倾角。在本附图中描述的实例示出了对象的一部分倾斜约30度。可以测量对象所在的环境中的环境光和头部的移动量并且被考虑为对对象和用户的活动分类。
参考图9的(b),在装置的2维坐标系中绘制基于测量数据的点。x轴表示对象的点的水平坐标并且y轴表示垂直坐标。绘制点指示诸如书或便携式计算机的屏幕的倾斜面。
图10示出了使用距离感知单元110中包括的多个(在这个实例中,两个)距离传感器被动扫描对象的实例。距离感知单元110可以由单个传感器或者用于同时执行多个测量的传感器阵列组成。传感器阵列可包括或者由多个距离传感器形成。例如,可以通过具有用于测距的九个区的激光为基础的飞行时间(ToF)传感器实现传感器阵列。可以结合传感器阵列的测量以加强关于被动扫描装置100所在环境的信息。距离感知单元110可使用激光为基础的技术、超声为基础的技术或任何其他测距技术。距离感知单元110甚至可以是3D相机。通过距离感知单元110执行的距离测量可以与由可包括运动传感器或位置传感器的方位感知单元120执行的方位/位置测量相关。
参考附图,被动扫描装置100示例性地包括两个距离传感器。第一距离传感器110a可被配置和布置为测量装置100的正向上的距离,使得通过第一距离传感器110a测量的距离可以与用户和对象之间的距离对应。因为第一对象520a位于用户的视线上,所以第一距离传感器110a可以测量从装置100(或用户)至第一对象520a的点的距离。第二距离传感器110b可以实现和布置为测量装置100的稍微向下方向的距离,使得可以通过第二距离传感器110b测量没有精确地在用户的视线上的第二对象520b。例如,使用便携式计算机的用户通常大多数注视屏幕。因此,被动扫描装置100的距离感知单元110可以主要测量距可能导致具有倾斜屏幕的轮廓的点云(或绘制点)的便携式计算机的屏幕的距离。便携式计算机还可以具有键盘部分,然而,仅可以通过距离传感器110偶尔测量距键盘的距离,因为用户可能向下看几次。因此,可能通过距离传感器110测量的数据被忽略,因为距第二对象520b的距离不重要。在这种情况下,即使用户的注意力注意被吸引至便携式计算机的屏幕,第二距离传感器110b也可测量距便携式计算机的键盘的点的距离。因此,包括多个距离传感器110a、110b的被动扫描装置100能够测量位于环境中或者用户周围的对象,使得可以实现用于建模和使情景(或对象)或者用户的活动分类的更加精确的结果。
图11示出了使用多个距离传感器110a、110b被动扫描对象520的实例。当待扫描(测量)的对象在尺寸上相对较大时,包括多于一个距离传感器的距离感知单元110可以是有利的。参考附图,用于测量正向距离的第一距离传感器110a可以测量用户凝视的对象520的点。同时,用于测量稍微向下方向距离的第二距离传感器110b可以测量对象520的其他点。通过简单的几何评估,例如,可以计算在图像上示出的对象/表面的角度。因此,具有多于一个距离传感器的被动扫描装置100能够提高对象520(或情景)的被动扫描、建模和分类的精确度和速度。
图11的(a)示出了通过使用被动扫描装置100或者具有多个距离传感器110a和110b扫描(水平对象的)表面的实例。图11的(b)示出了通过使用被动扫描装置100或者具有多个距离传感器110a和110b扫描(垂直对象的)表面的实例。
图12示出了通过结合来自被动扫描装置100的距离和方位(和/或位置)的测量利用安装在眼镜腿上的可穿戴装置被动扫描获得的对象(对象的表面)的映射的实例。附图中的水平尺寸指示以米为单位的水平距离且垂直尺寸指示以米为单位的垂直距离。虚线相交上的中心是被动扫描装置100或距离感知单元110的地点。黑线圆圈示出了距离传感器110a的TOF的测量并且无线圆圈示出了距离传感器110b的TOF的测量。
在许多应用中,重要的是能够理解用户的目视要求。例如,为了更好地设计眼镜或人工晶体,必须理解用户的目视生活方式:用户看书、看电视、用计算机工作等花费多长时间。到这种活动的感兴趣对象的一般观察距离是多少?可以使用安装在用户眼睛附近且能够扫描用户观察到的情景的高度可携带的不明显的可穿戴装置研究目视行为,以便得出观察距离、时间、条件的统计以及关于用户移动、环境光、颜色等的额外信息。可以在用户日常活动期间连续收集这种信息且和以特定方式分析的这种信息可用于设计个性化的目视方案,诸如,眼科和人工晶体、屈光处理等。
本文中描述的设备和装置便于收集和评估这种信息的有效方式。
参考图11的(a),描述了垂直表面(例如,墙壁)的测量的映射。参考图11的(b),描述了水平表面(例如,桌子)的测量的映射。
参考图11的(c),描述了办公室中的台式计算机的测量的映射。参考图11的(d),描述了利用靠近墙壁的屏幕的台式计算机的测量的映射。在图11的(d)中,还扫描了台式计算机的显示器后面的墙壁。
参考图11的(e),描述了便携式计算机的测量的映射。参考图11的(f),描述了书的测量的映射。
图13示出了可以通过被动扫描装置100或方位感知单元120测量的被动扫描装置100或距离感知单元110的方位的类型。当被动扫描装置100安装在用户的头部上时,偏航方位(旋转)可被定义为围绕垂直轴的旋转并且反映头部旋转。当被动扫描装置100安装在用户的头部上时,俯仰方位(旋转)可被定义为围绕俯仰轴的旋转并且反映头部屈曲。俯仰轴可被定义为其重心处的起点并且指向右方,与从被动扫描装置100的侧面绘制的线平行。当被动扫描装置100安装在用户的头部上时,滚动方位(旋转)可被定义为围绕滚动轴的旋转并且反映头部侧弯曲。滚动轴可被定义为在重心处具有其起点并且指向前方,与被动扫描装置100平行。
图14示出了对对象或情景分类的示例性流程。
可以通过被动扫描装置100测量或者从被动扫描装置100的测量得出点云(S1410)。该测量可包括到被动扫描装置100(或者距离感知单元110)的情景和方位(和/或位置)中的一个或多个对象的距离。该测量可被转换为与一个或多个对象相关的坐标系中的点云。
点云可被转换为由几何图元组成的模型(S1420)。几何图元可指示情景中的一个或多个对象的表面。
在情景中,可识别一个或多个对象,并且然后可以基于识别的一个或多个对象对情景分类(S1440)。该情景可被定义为用户的活动和/或用户的环境。
可选地,可以通过被动扫描装置100或者连接至被动扫描装置100的辅助设备进一步测量关于运动模式、环境光、对象反射率、对象轮廓、对象颜色和头部屈曲中的至少一个的信息(S1430)。然后,当对情景分类时可以考虑该信息(S1440)。
基于几何图元或分类的情景,可以得出诸如工作距离、观察距离和/或工作环境的信息。该信息可以利用统计方法校准并且用于识别用户的屈光方案(S1450)。
图15示出了示例性对象的参考数据的2维坐标中的绘制点的实例。可以为各种类型的示例性对象定义参考数据。在附图中,在2维坐标中绘制示例性对象的参考数据。例如,在附图中,绘制针对书1110、台式PC屏幕1120、30英寸电视1130、40英寸电视1140、50英寸电视1150和投影屏幕1160的参考数据。因为参考数据可包括参考距离、参考垂直方位和参考垂直方位,还可以在3维坐标中绘制参考数据的点。在附图中,然而,为了便于表示和说明,在2维坐标中表示参考数据。
在附图中在0.2m和0.6m之间的距离处绘制测量数据。绘制点大部分与台式PC1120的参考数据匹配。因此,通过被动扫描装置100测量的对象可被分类为台式PC。
通过被动扫描装置100感知的3D对象可以由多个表面组成。因为被动扫描装置100的位置围绕3D对象改变,所以可以扫描3D对象的表面并且可以测量表面的点。3D对象的测量可包括表面的点以及表面的相互布置。在这种情况下,参考数据可包括表面的对象形状和表面的相互布置的实例。
从被动扫描装置100的测量,可以获取关于组成对象的形状的对象、对象的姿势和/或对象的位置的信息。用于复杂对象的模型可以由3D图元(刚性对象)和它们的空间关系组成。例如,如果对象是人体,则模型可以由头部、躯干、手臂、腿等的图元组成。然后通过生理限制定义空间关系(自由度)。这种空间关系可以考虑参考数据。因此从作为对象的人体得出的信息可以是距离、姿势、方位等,并且作为参考数据的相应数据可以存储在存储单元130中。
复杂对象的另一实例可以是便携式计算机。便携式计算机通常由刚性显示器和刚性主体组成,基于用户的偏好,在刚性显示器和刚性主体之间可具有可变角。在这种情况下,模型可以利用(显示器和主体的)那两个图元表示并且作为角度的单个变量关系。得出的信息将是显示器的大小和长宽比,显示器和主体之间的角度,以及笔记本电脑的位置和姿势。
3D情景由3D对象组(图元或复合物)组成。情景模型包括对象的存在、对象的形状、对象的姿势和对象的空间关系。在此,术语“姿势”包括对象位置和方位。因此,情景识别需要组成对象组及其在空间中的排列的识别。
情景识别还允许得出用户的活动。例如,利用特定姿势(显示器转向用户)在特定条件下(笔记本电脑盖打开)识别视图空间的特定区域内(在手臂到达的范围内)的笔记本电脑可建议用户正在笔记本电脑上工作。在另一实例中,对象在用户的头部周围的近距离(阅读距离)的存在,以20×30cm的大小,利用被动扫描装置100在相对有限的范围内的旋转可以将该对象识别为书并且情景(或活动)识别为阅读活动。
图16示出了示例性对象的参考数据的2维坐标中的允许偏移的实例。因为用户的特征和用户周围的情况可发生变化,所以根据变化的特征和情况可能参考数据不可以包括所有示例性对象的足够数据。因此,当被动扫描装置100的测量数据与参考数据进行比较时,可以允许测量数据和参考数据之间的偏移并且在偏移范围内的测量数据可被确定为与参考数据匹配。因此,可以补充示例性对象的某些变化特征和情况的缺乏的参考数据。
例如,位于距离0.4m和0.6m之间的对象的参考数据在水平方向上可具有偏移“a”,且在垂直方向上可具有偏移“b”。可以基于为特定用户以及多个用户收集的统计来确定情景上的对象地点的允许的变化。与位于更远离用户的示例性对象的变化相比,根据变化的特征和情况通常位于靠近用户的示例性对象的变化可能相当小。通常位于远离用户6m的示例性对象的允许的偏移可以是“c”,其可大于值“a”。位于远离用户6m的示例性对象的垂直偏移还可以大于值“b”。
通过本文中描述的技术,在不需要复杂装置和处理器中的过度计算的情况下,可以扫描用户感兴趣的对象。可以利用所公开的装置估计用户的日常生活中的他/她的环境或者活动。可以利用关于用户的环境或活动的消息得出用于建议屈光方案的用户的视力需求。
应理解,以上描述的实施方式仅是示例性的,而且本公开的原理可在其他实现方式中实践。
一般认为将从以上描述中全面理解本文中呈现的技术的优点,并且显而易见的是在不背离本公开的范围或不牺牲其所有有益效果的情况下可以在其示例性方面的形式、构造和排列上做出各种变化。因为本文中呈现的技术可以许多方式发生变化,将认识到的是本公开仅局限于所附权利要求的范围。

Claims (17)

1.一种用于被动扫描至少一个对象的设备(100),所述设备(100)包括:
距离感知单元(110),适用于测量距所述至少一个对象的多个点的距离;
方位感知单元(120),适用于确定所述距离感知单元(110)的方位,和/或位置感知单元(150),适用于确定所述距离感知单元(110)的位置;以及
处理器(140),适用于基于所测量的距离和所确定的所述距离感知单元(110)的方位和/或位置得出关于所述至少一个对象的信息,
其中,所述处理器(140)适用于:
将所测量的距离和方位和/或位置转换为所述至少一个对象的空间模型;
将所述空间模型与所存储的参考空间模型进行比较;
当用于示例性对象中的一个示例性对象的参考空间模型与所述空间模型具有最大的匹配得分时,将所述至少一个对象分类为所述一个示例性对象。
2.根据权利要求1所述的设备(100),其中,关于所述至少一个对象的信息包括或者是所述对象的位置、形状、倾角和大小中的至少一个。
3.根据权利要求1或2所述的设备(100),其中,所述距离感知单元(110)包括多个距离传感器(110a,110b)。
4.根据权利要求1或2所述的设备(100),其中,所述设备(100)适用于装备在用户的身体部位上。
5.根据权利要求1或2所述的设备(100),其中,所述位置感知单元(150)适用于测量在空间中的所述设备(100)的至少一个坐标,其中,所述位置感知单元(150)包括地理位置、测高仪、室内定位系统和混合定位系统中的至少一个。
6.根据权利要求1或2所述的设备(100),其中,所述处理器(140)适用于:
从得出的关于所述至少一个对象的信息对用户的活动或用户周围的环境分类。
7.根据权利要求1或2所述的设备(100),还包括:
运动传感器(160),适用于测量所述设备(100)的运动量,
其中,所述处理器(140)还适用于当通过所述运动传感器(160)测量的运动量高于阈值时,丢弃在预定时间段中测量的距离和方位和/或位置。
8.根据权利要求1或2所述的设备(100),其中,所述处理器(140)适用于当所测量的距离和方位和/或位置与所存储的参考距离和参考方位和/或位置之间的差值小于预定量时将所述至少一个对象分类为所述示例性对象中的一个示例性对象。
9.根据权利要求1所述的设备(100),还包括:
存储单元(130),适用于存储所述参考空间模型。
10.一种由被动扫描装置被动扫描至少一个对象的方法,所述方法包括:
测量(S210)距所述至少一个对象的多个点的距离;
确定(S220)所述被动扫描装置的方位和/或位置;并且
基于所测量的距离和所确定的方位和/或位置得出(S250)关于所述至少一个对象的信息,
得出(S250)信息包括:
将所测量的距离和所确定的方位和/或位置转换为所述至少一个对象的空间模型;
将所述空间模型与所存储的参考空间模型进行比较;
当用于示例性对象中的一个示例性对象的所述参考空间模型与所述空间模型具有最大的匹配得分时,将所述至少一个对象分类为所述一个示例性对象。
11.根据权利要求10所述的方法,其中,在测量所述距离的同时,确定所述方位和/或位置。
12.根据权利要求10和11中任一项所述的方法,其中,关于所述至少一个对象的信息包括或者是所述至少一个对象的位置、形状、倾角和大小中的至少一个。
13.根据权利要求10和11中任一项所述的方法,还包括:
从得出的关于所述至少一个对象的信息确定(S245)用户的活动或用户周围的环境。
14.根据权利要求10和11中任一项所述的方法,还包括:
通过将统计方法应用至得出的关于所述至少一个对象的信息来估计用户的与活动相关的观察距离。
15.根据权利要求10和11中任一项所述的方法,还包括:
通过将统计方法应用至得出的关于所述至少一个对象的信息来识别用户的目视要求。
16.根据权利要求15所述的方法,其中,识别目视要求包括:
基于得出的关于所述至少一个对象的信息识别用户活动,并且基于所述用户活动识别所述目视要求;或者
基于得出的关于所述至少一个对象的信息识别用户活动,基于所述用户活动识别用户的观察距离,并且基于所述用户的所述观察距离识别所述目视要求。
17.根据权利要求15所述的方法,还包括:
基于所述目视要求确定用户的屈光方案,
其中,所述屈光方案是屈光手术的烧蚀剖面、眼科植入物和眼科镜片中的一个,
其中,所述眼科镜片是人工晶体、角膜接触镜和眼镜镜片中的一个。
CN201880084987.6A 2018-01-09 2018-12-07 用于被动扫描对象或情景的设备和方法 Active CN111742239B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18150805.2A EP3508882A1 (en) 2018-01-09 2018-01-09 An apparatus and a method for passive scanning of an object or a scene
EP18150805.2 2018-01-09
PCT/EP2018/083970 WO2019137709A1 (en) 2018-01-09 2018-12-07 An apparatus and a method for passive scanning of an object or a scene

Publications (2)

Publication Number Publication Date
CN111742239A CN111742239A (zh) 2020-10-02
CN111742239B true CN111742239B (zh) 2024-07-02

Family

ID=

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3228237A1 (en) * 2016-04-08 2017-10-11 IROC Science to Innovation AG A device and method for measuring distances

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3228237A1 (en) * 2016-04-08 2017-10-11 IROC Science to Innovation AG A device and method for measuring distances

Similar Documents

Publication Publication Date Title
US11727625B2 (en) Content positioning in extended reality systems
US11540747B2 (en) Apparatus and a method for passive scanning of an object or a scene
US10937191B2 (en) Predictive simultaneous localization and mapping system using prior user session positional information
KR102612347B1 (ko) 장치 위치 측정을 위한 다중 동기화 통합 모델
US9728010B2 (en) Virtual representations of real-world objects
US9779512B2 (en) Automatic generation of virtual materials from real-world materials
US9135508B2 (en) Enhanced user eye gaze estimation
JP5436574B2 (ja) ポインティングによって現実世界のオブジェクトとオブジェクト表現とをリンクさせるシステム及び方法
KR20170065573A (ko) 눈 추적 시스템들을 위한 개선된 교정
CN105917292A (zh) 利用多个光源和传感器的眼睛注视检测
US10782780B2 (en) Remote perception of depth and shape of objects and surfaces
JP2018099174A (ja) 瞳孔検出装置及び瞳孔検出方法
US10891769B2 (en) System and method of scanning two dimensional floorplans using multiple scanners concurrently
JP6870474B2 (ja) 視線検出用コンピュータプログラム、視線検出装置及び視線検出方法
WO2019156990A1 (en) Remote perception of depth and shape of objects and surfaces
CN111742239B (zh) 用于被动扫描对象或情景的设备和方法
US10819883B2 (en) Wearable scanning device for generating floorplan
Narcizo et al. Remote eye tracking systems: technologies and applications
US20230300314A1 (en) Information processing apparatus, information processing system, and information processing method
JP2023136237A (ja) ウエアラブル機器、作業支援装置、情報処理システム、及び作業支援システム
WO2020185115A1 (ru) Способ и система сбора информации для устройства совмещенной реальности в режиме реального времени

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant