CN116745649A - 基于接收器中图像捕获模块的定位系统 - Google Patents
基于接收器中图像捕获模块的定位系统 Download PDFInfo
- Publication number
- CN116745649A CN116745649A CN202180084444.6A CN202180084444A CN116745649A CN 116745649 A CN116745649 A CN 116745649A CN 202180084444 A CN202180084444 A CN 202180084444A CN 116745649 A CN116745649 A CN 116745649A
- Authority
- CN
- China
- Prior art keywords
- receiver
- module
- transmitter
- emitter
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 47
- 239000013598 vector Substances 0.000 claims description 49
- 239000011159 matrix material Substances 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 23
- 238000005259 measurement Methods 0.000 claims description 20
- 238000007476 Maximum Likelihood Methods 0.000 claims description 14
- 230000033001 locomotion Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000036316 preload Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
- G01S3/782—Systems for determining direction or deviation from predetermined direction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/77—Determining position or orientation of objects or cameras using statistical methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
- H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
- H04B10/114—Indoor or close-range type systems
- H04B10/116—Visible light communication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Geometry (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本文描述了一种用于确定接收器在封闭空间中的位置的系统,其中,所述接收器的位置是根据与设置在所述封闭空间内的至少两个发射器关联的信息获取的。具体地,一旦所述发射器的图像被设置在所述接收器内的图像捕获模块捕获,所述接收器用于处理所述捕获的图像,并根据此过程的结果确定所述接收器在所述封闭空间中的位置。
Description
技术领域
本申请涉及一种用于确定接收器在封闭空间中的位置的系统,其中,接收器的位置是根据与设置在封闭空间内的至少三个发射器关联的信息获取的。具体地,一旦发射器的图像被设置在接收器内的图像捕获模块捕获,接收器就用于处理捕获的图像,并根据此过程的结果确定接收器在封闭空间中的位置。
背景技术
与室外定位系统相比,实现室内定位系统具有挑战性,因为室内系统的精度要求相对较高(<1m)。此外,室内定位系统没有专用的基础设施来支持信标传输定位信号,不像室外定位系统可能依赖GPS及其等效信号进行室外定位。
为了解决这个问题,本领域技术人员提出了使用采用滚动快门方法的系统,例如卢克萨普(Luxapose)系统。在该系统中,发光二极管(light emitting diode,LED)光用于以人眼不注意的速度快速打开和关闭(例如,约200Hz)。但是,当此图像被摄像头捕获时,它可能看起来像条纹图案。这是因为摄像头中的CMOS传感器逐列扫描图像。因此,当光源产生不同的开/关信号时,摄像头可以捕获不同的条纹图案。通过利用此属性,然后可以识别不同的光源。
但是,当光源位于远离摄像头的地方时,由于摄像头的焦距有限,光源会变得模糊。当这种情况发生时,捕获的图案可能会变得不清楚。此外,该系统通常需要三个或三个以上信标(理想情况下至少四个)由摄像头单独捕获。换句话说,所有信标都必须在摄像头的视野(field of view,FoV)内,才能发生这种情况。由于摄像头的视野有限,此条件可能不容易满足。
本领域技术人员还提出,可以通过使用具有足够大表面积的LED来改进上述系统,例如直径为17.5cm、输出功率为18W的LED。这是为了确保LED可以被摄像头清楚地看到。然而,由于摄像头的FoV有限,LED直径的增大是有问题的,因为整个LED可能无法被摄像头捕获。与这种方法有关的另一个问题是,摄像头的设计必须更加复杂,因为必须采用图像处理技术从条纹图案中提取所需的信息。此外,摄像头必须满足各种情况,例如当摄像头远离光源时,捕获的图像会被压缩,导致条纹变得紧密。此外,如果图像超出摄像头的焦点,摄像头处理这些条纹可能会更加困难。
在本领域技术人员提出的又一种方法中,所提出的方法要求摄像头捕获参考光源的图像,并随后在捕获的图像上找到五个参考点。但是,只有当光源始终在摄像头的焦点中时,此方法才有效,如果图像失焦,则此方法将不起作用。正如预期的那样,这种方法需要更复杂的图像处理技术,并假定全局坐标系和摄像头坐标系之间的方位角是已知的。
出于上述原因,本领域技术人员不断寻找一种不需要复杂摄像头/接收器的摄像头定位系统,该系统利用简单的低成本发射器设计,其中发射器之间不需要通信链路。
发明内容
为了解决上述和其他问题,本申请实施例提供了一种先进的装置和方法。
本申请实施例的第一个优点是,本申请可以利用现有智能手机作为系统的接收器,而不对所述智能手机进行任何硬件修改。
本申请实施例的第二个优点是,本申请使用简单的到达角(angle of arrival,AOA)方法,而不是复杂的图像处理技术来计算接收器的位置。
本申请实施例的第三个优点是,发射器是独立的,并且不需要在发射器和接收器之间建立和维护双向通信装置,从而简化了系统的实现。
本申请实施例的第四个优点是,排列中的主要较大发射器可以利用房间中的现有照明装置,例如房间的现有照明源,并且不需要对现有照明装置进行较大的硬件修改。此外,通过使用现有的照明装置,这意味着应用的用户不会因为在封闭空间中引入挡视线的额外光源而分心。
本申请实施例的第五个优点是,一旦主发射器已经被所述接收器检测到,则排列中的辅助较小发射器随后可以容易地被检测到,因为所述发射器的位置靠近所述主发射器。
本申请实施例的第六个优点是,所述发射器排列可与其镜像区分,因此避免了发射器的错误识别。
上述优点由按照以下方式操作的根据本申请的装置和方法的实施例提供。
根据本申请的第一方面,公开了一种设置在接收器内的模块,用于确定所述接收器在封闭空间中的位置,所述模块包括:图像捕获模块,用于捕获设置在所述封闭空间内的至少两个发射器的图像;处理模块,用于:根据从设置在所述接收器内的预校准惯性测量单元(inertial measurement unit,IMU)获取的测量值,生成旋转矩阵;从所述捕获的图像中识别与所述至少两个发射器关联的唯一排列,其中,所述唯一排列用于确定每个发射器在所述封闭空间中的位置;对于所述每个发射器,根据所述发射器在图像平面上的位置和根据所述图像捕获模块的焦距,计算作为从所述接收器到所述发射器在所述图像捕获模块的所述图像平面上的位置的视线(line of sight,LOS)单位矢量的AOA;使用所述旋转矩阵将所述LOS单位矢量从所述接收器的坐标系转换为全局坐标系;使用最大似然估计方案、所述每个发射器的位置以及与所述每个发射器关联的LOS单位矢量来估计所述接收器的位置。
根据本申请的所述第一方面,所述至少两个发射器包括第一发射器,其中,所述第一发射器的尺寸大于第二发射器。
根据本申请的所述第一方面,所述第一发射器包括用于发射单色光的发射器,其中,所述第二发射器用于发射彩色光。
根据本申请的所述第一方面,所述处理模块用于识别与所述至少两个发射器关联的唯一排列,其中,所述处理模块还用于:从以通信方式链接到所述模块的数据库中确定发射器排列,其中,所述发射器排列与所述至少两个发射器关联的所识别的唯一排列匹配;从所述数据库中获取所述确定的发射器排列中所有发射器的位置。
根据本申请的所述第一方面,每个表示从所述接收器到所述发射器的AOA的LOS单位矢量定义为:
其中,V=(x,y,z),z为所述图像捕获模块的焦距,x和y为所述发射器在所述图像捕获模块的图像平面上相对于所述图像平面的中心的位置。
根据本申请的所述第一方面,最大似然估计方案包括最小二乘法。
根据本申请的第二方面,公开了一种用于使用设置在接收器内的模块确定接收器在封闭空间中的位置的方法,其中,所述方法包括:通过设置在所述模块内的图像捕获模块捕获设置在所述封闭空间内的至少两个发射器的图像;通过设置在所述模块内的处理模块,根据从设置在所述接收器内的预校准惯性测量单元(inertial measurement unit,IMU)获取的测量值,生成旋转矩阵;通过所述处理模块从所述捕获的图像中识别与所述至少两个发射器关联的唯一排列,其中,所述唯一排列用于确定每个发射器在所述封闭空间中的位置;通过所述处理模块为所述每个发射器计算:根据所述发射器在图像平面上的位置和根据所述图像捕获模块的焦距,作为从所述接收器到所述发射器在所述图像捕获模块的所述图像平面上的位置的视线(line of sight,LOS)单位矢量的到达角(angle ofarrival,AOA);通过所述处理模块,使用所述旋转矩阵将所述LOS单位矢量从所述接收器的坐标系转换为全局坐标系;通过所述处理模块,使用最大似然估计方案、所述每个发射器的位置以及与所述每个发射器关联的LOS单位矢量来估计所述接收器的位置。
根据本申请的所述第二方面,所述至少两个发射器包括第一发射器,其中,所述第一发射器的尺寸大于第二发射器。
根据本申请的所述第二方面,所述第一发射器包括用于发射单色光的发射器,其中,所述第二发射器用于发射彩色光。
根据本申请的所述第二方面,所述识别与所述至少两个发射器关联的唯一排列还包括:从以通信方式链接到所述模块的数据库中确定发射器排列,其中,所述发射器排列与所述至少两个发射器关联的所识别的唯一排列匹配;从所述数据库中获取所述确定的发射器排列中所有发射器的位置。
根据本申请的所述第二方面,从所述接收器到所述发射器的每个LOS单位矢量定义为:
其中,V=(x,y,z),z为所述图像捕获模块的焦距,x和y为所述发射器在所述图像捕获模块的图像平面上相对于所述图像平面的中心的位置。
根据本申请的所述第二方面,最大似然估计方案包括最小二乘法。
附图说明
在以下详细描述中描述并在以下图式中示出根据本申请的以上优点和特征:
图1示出了本申请实施例提供的由接收器执行的确定接收器位置的过程;
图2示出了本申请实施例提供的表示发射器的框图;
图3示出了本申请实施例提供的基于接收器坐标系的接收器透视摄像头模型。
具体实施方式
现在将参考附图中所示的几个实施例详细描述本申请。在下面的描述中,为了提供对本申请实施例的透彻理解,提出了许多具体特征。然而,对于本领域技术人员来说,显而易见的是,实施例可以在没有一些或全部特定特征的情况下实现。这些实施例也应在当前申请的范围内。此外,下文中的某些过程步骤和/或结构可能没有详细描述,读者将参考相应的引文,以便不会不必要地模糊本申请。
此外,本领域技术人员将认识到接收器可以包括许多功能单元,例如图像捕获模块、处理模块和/或惯性测量单元,这些功能单元可以在整个说明书中被标记为模块/单元。本领域技术人员还将认识到,模块可以实现为电路、逻辑芯片或任何类型的分立组件,并且接收器可以由许多不同的模块组成。此外,本领域技术人员还将认识到,模块可以在软件中实现,然后可以由各种处理器执行。在本申请的实施例中,模块还可以包括计算机指令或可执行代码,其可以指示计算机处理器根据接收到的指令执行一系列事件。模块的实现方式的选择留给本领域技术人员作为设计选择,并且不以任何方式限制本申请的范围。
图1示出了本申请实施例提供的用于使用设置在接收器内的图像捕获模块捕获发射器的图像并根据识别的发射器确定接收器的位置的过程100的示例性流程图。由设置在接收器内的模块执行的过程100包括图像捕获模块和处理模块,这两个模块用于执行以下步骤:
步骤105:捕获发射器的图像;
步骤110:从惯性测量单元(inertial measurement unit,IMU)中获取读数;
步骤115:根据从IMU获取的测量生成旋转矩阵,以从接收器坐标系转换为全局坐标系;
步骤120:确定发射器在捕获图像中的位置;
步骤125:确定AOA为从接收器指向发射器的视线矢量,并使用步骤115中获取的旋转矩阵对齐视线矢量;
步骤130:根据发射器的颜色和/或位置识别发射器;
步骤135:确定发射器在全局坐标系中的位置;
步骤140:确定接收器的位置。
通常,用于确定接收器在封闭区域(例如房间)中的位置的系统包括设置在接收器内的模块,其中,该模块还包括图像捕获模块和处理模块。该系统还包括至少两个发射器,设置在封闭区域内。在本申请的实施例中,发射器是独立的,不需要同步或以通信方式链接到接收器,并且连接到房间的上表面,例如天花板或墙壁的上部。此外,排列中的主发射器可以包括用于封闭区域的现有照明装置,例如但不限于发光二极管(light emittingdiode,LED)、灯泡、聚光灯和任何其他光源。通过使用现有的照明装置,不需要在封闭空间内安装挡视线的光发射器。
发射器的示例性框图如图2所示。图2示出了可以包括发光二极管(lightemitting diode,LED)的发射器205和可以包括较小LED(相对于发射器205)的另外两个发射器210和215。在本申请的实施例中,发射器205还可以包括白色LED,而发射器210和215可以包括彩色LED。本领域技术人员将认识到,在不脱离本申请的范围的情况下,发射器205可以包括任何单色彩色LED。发射器205和发射器210、215之间的尺寸差异确保了这些发射器的镜像是可区分的。还应注意,发射器相对于彼此的排列和这些发射器的颜色组合可用于区分各种发射器排列。例如,当使用三(3)个不同的发射器时,这意味着可以有72种不同的发射器排列,即,数字“7”是从可以设置彩色发射器(例如,RGB LED)的8种状态导出的,其中“全部关闭”状态从8种状态中移除,而数字“2”是指彩色发射器的数量(其中第三发射器用于发射单色)。本领域技术人员还将认识到,至少需要两个发射器,并且可以在不脱离应用的情况下将任何额外数量的发射器添加到系统中。此外,在图像中检测主发射器205有助于缩小图像中用于发射器210或215的搜索空间,因为发射器210和/或215在该排列中设置在发射器205附近。
发射器205、210和215可以用于输出恒定的光强度,或者如果需要,它们可以用于通过向发射器之一添加驱动器来传输关于它们位置的信息,以便可以添加可见光通信方案以控制发射器发射的光的强度。在本申请的实施例中,驱动器可以被添加到三个发射器中最大的一个,即发射器205。
在本申请的实施例中,发射器205可以包括发射单色光的LED,例如消耗约5瓦的白色LED,并且该LED可以用于照明和作为用于定位的锚。至于发射器210和/或215,这些彩色LED总是打开的,并且通常包括普通的低功耗LED,每个LED消耗约60mW,并且通常具有约120°的宽视角。
在本申请的实施例中,接收器可以包括但不限于具有惯性测量单元(inertialmeasurement unit,IMU)模块的典型智能手机,图像捕获模块可以包括智能手机的前置摄像头和/或后置摄像头。IMU模块包括一个用于测量和报告施加于智能手机的力、智能手机的角速度和方向的电子设备,通常使用加速度计、陀螺仪和/或磁力计的组合来完成。为了简洁起见,IMU模块的详细工作流程被省略,因为其详细工作流程是本领域技术人员已知的。
参考图1,过程100示出了捕获连接到房间上表面的发射器的图像和根据识别的发射器的图像确定接收器在房间中的位置的过程。过程100可以使用图像捕获模块和/或处理模块来执行,所述图像捕获模块和/或处理模块都设置在接收器中的模块内。
过程100从步骤105开始。在此步骤中,过程105将首先捕获发射器的图像。接收器内的图像捕获模块可设置为至少1/8000秒或更快的快门速度,以便即使在捕获发射器的图像时接收器没有保持在静态位置,也可以保持捕获图像的质量。有了这种快门速度,由于发射器周围的其他物体在捕获的图像中会显得模糊和昏暗,所以确保不会捕获这些物体。在本申请的实施例中,摄像头的ISO将被设置为50-100之间的低范围,以便发射器从捕获图像的背景中突出。
然后,过程100进行到步骤110,由此获取来自接收器的IMU的读数,该读数已经通过接收器预先校准。在本申请的实施例中,在此步骤中,可以从IMU获取包括但不限于接收器的角速率和方向的读数。在下一步骤中,即步骤115,过程100然后根据从IMU获取的读数生成旋转矩阵。旋转矩阵是必需的,因为它用于将接收器坐标系中定义的矢量转换为全局坐标系中定义的矢量,即房间坐标系中定义的矢量。在本申请的实施例中,旋转矩阵可以直接从接收器的IMU中生成的测量中建立和获取。
如上所述,旋转矩阵可用于将接收器的坐标系转换为房间的坐标系,该矩阵通常由三个组成部分组成:上下移动、左右移动以及侧向移动。上下移动和左右移动可以从设置在接收器内的加速度计获得,而侧向移动可以从设置在接收器内的磁力计获得。在接收器和发射器之间获得的表示AOA的视线(line of sight,LOS)矢量可以使用该旋转矩阵旋转,并且为了简洁起见,省略了该旋转的细节,如本领域技术人员所知。
磁力计读数可能会受到房间中周围金属物体的局部磁扰的影响。因此,根据本申请的实施例,仅接收器中的加速度计可用于计算旋转矩阵的上下移动和左右移动。在这种情况下,当使用这样的旋转矩阵旋转LOS矢量时,它将不会在侧向移动维度中对齐。因此,在整个侧向移动范围(即0ˉ2*π)中进行网格搜索,作为接收器位置计算的一部分。对于从0ˉ2*π的精细网格中选择的每个侧向移动值,计算接收器的位置和残差,从而选择产生残差和平方最小的解作为最终位置。最小二乘法用作最大似然估计方案,以获取最终位置的接近近似值。
在步骤120中,过程100然后将确定发射器在捕获的图像中相对于彼此的位置。过程100将搜索捕获的图像,以识别图像中可以包括与系统关联的发射器的点。在本申请的实施例中,这可以通过将捕获图像中识别的点的排列与已知发射器配置或包括设置在接收器内的预加载数据库中的唯一发射器排列的图像进行比较来完成。该数据库也可以位于服务器或远程数据库上,并且接收器可以用于通过无线通信装置或有线通信装置与该数据库交换信息。一旦发射器在捕获的图像中被识别,过程400然后进行到步骤125。
在此步骤中,过程100将确定到达角作为从接收器指向每个发射器的LOS单位矢量。应当指出,这些矢量最初会基于接收器的坐标系,此后必须转换为全局坐标系,这可以使用上文所述的旋转矩阵来完成。(请注意,假设接收器知道IMU和接收器内部的图像捕获模块之间的内在关系,并且在接收器坐标系和全局坐标系之间的总旋转中考虑到这种内在旋转)
参考图3,接收器坐标系中的LOS矢量被定义为从接收器的焦点(即,从图像捕获模块的焦点)到发射器320在图像平面310上的位置的矢量。因此,坐标(x,y)表示发射器320在图像平面310处相对于图像平面310的中心(Cx,Cy)的位置。由于接收器到图像平面310的焦距是已知的(即,该参数是接收器的固有参数),接收器坐标系中到发射器320的LOS矢量可以定义为V=(x,y,z)。然后,LOS矢量可以被归一化以产生单位矢量定义为:
其中,|V|为V的范数。
本领域技术人员将认识到,在不脱离本申请范围的情况下,可以类似地应用用于生成发射器320的LOS单位矢量的计算来获取其他发射器(例如发射器205、210和215)的LOS单位矢量。
然后,将旋转矩阵应用于这些LOS单位矢量,以将接收器坐标系中定义的LOS单位矢量转换为全局坐标系(即房间坐标系)中定义的矢量。
然后,过程100进行到步骤130,过程100将根据发射器的颜色和位置/排列(相对于彼此)在步骤135中确定发射器在全局坐标系中的位置。这些发射器的位置将根据全局坐标系或房间的坐标系确定。在本申请的实施例中,接收器会预加载数据库,该数据库包括所有发射器配置(即它们的排列和颜色组合)以及每个发射器在房间中的关联位置。例如,对于如图2中所示的发射器配置200,发射器205可以与特定位置(x1,y1,z1)关联,发射器210可以与特定位置(x2,y2,z2)关联,发射器215可以与特定位置(x3,y3,z3),这些位置都以房间的坐标系为基础。在本申请的其他实施例中,发射器可以用于通过无线通信装置,例如但不限于蓝牙、WI-Fi和/或蜂窝网络,将发射器的位置广播到接收器。
一旦确定了发射器在全局坐标系中的位置,过程100然后进行到步骤140,以通过根据使用LOS单位矢量和发射器位置计算的最大似然估计方案估计接收器的位置来确定接收器在全局坐标系中的位置。在本申请实施例中,可以使用最小二乘法获取接收器的估计位置,以求解LOS单位矢量,以得出接收器位置的最大似然估计值。
换句话说,如果是从接收器到发射器205的LOS单位矢量,则位置t205=(x205,y205,z205)是从上一步骤中获取的;如果/>是从接收器到发射器210的LOS单位矢量,则位置t210=(x210,y210,z210)是从上一步骤中获取的;如果/>是从接收器中心到发射器215的LOS单位矢量,则位置t215=(x215,y215,z215)是从上一步骤中获取的,可以通过使用具有上述值的最大似然估计方案获取接收器的估计位置。可使用的最大似然估计方案包括但不限于最小二乘法或任何其他类似的非线性/线性回归方法。为了简洁起见,最大似然估计方案的详细工作流程被省略,因为其详细工作流程是本领域技术人员已知的。
此外,本领域技术人员将认识到,过程100中的步骤是可互换的,并且不限于图1中所示的顺序。
步骤140最好使用以下示例来解释。
例如,假设“z”被定义为接收器在具有三个发射器T1、T2和T3的房间中的未知位置,并且t1、t2和t3分别是发射器T1、T2和T3在全局坐标系中的位置,是全局坐标系中分别从接收器指向发射器T1、T2和T3的LOS单位矢量,r1、r2和r3分别是接收器到发射器T1、T2和T3的未知距离。因此,可以定义以下几点:
由于t1、z和在同一平面上,
该等式是有效的,因为在没有测量噪声的情况下,其交叉积函数为零。需要说明的是,“×”指的是交叉积函数。
因此,当等式重新排列时,结果为:
因此,对于发射器T1,a1=B1·z,其中,a1是的矢量积的输出,B1·z是矢量积b1×z,B1是/>的斜对称矩阵的转置。
对于发射器T2,a2=B2·z,其中,a2是的矢量积的输出,B2·z是矢量积b2×z,B2是/>的斜对称矩阵的转置。
对于发射器T3,a3=B3·z,其中,a3是的矢量积的输出,B3·z是矢量积b3×z,B3是/>的斜对称矩阵的转置。
基于上文,
因此,当A=B·z时,接收器的结果位置z可以从最小二乘估计中获取为z=invetse(B′·B)·B′·A,其中inverse()是逆矩阵,B′是B的转置。
以上是对根据本申请的系统和方法的实施例的描述,如权利要求中所述。虽然本文已经说明和描述了本申请的某些特征,但本领域普通技术人员现会进行许多修改、替换、变化和等效物。因此,应理解,所附权利要求旨在涵盖本申请真正精神范围内的所有这些修改和变化。
Claims (12)
1.一种设置在接收器内的模块,其特征在于,用于确定所述接收器在封闭空间中的位置,所述模块包括:
图像捕获模块,用于捕获设置在所述封闭空间内的至少两个发射器的图像;
处理模块,用于:
根据从设置在所述接收器内的预校准惯性测量单元(inertial measurement unit,IMU)获取的测量值,生成旋转矩阵;
从所述捕获的图像中识别与所述至少两个发射器关联的唯一排列,其中,所述唯一排列用于确定每个发射器在所述封闭空间中的位置;
对于所述每个发射器,根据所述发射器在图像平面上的位置和根据所述图像捕获模块的焦距,计算作为从所述接收器到所述发射器在所述图像捕获模块的所述图像平面上的位置的视线(line of sight,LOS)单位矢量的到达角(angle of arrival,AOA);
使用所述旋转矩阵将所述LOS单位矢量从所述接收器的坐标系转换为全局坐标系;
根据最大似然估计方案、所述每个发射器的位置以及与所述每个发射器关联的LOS单位矢量来估计所述接收器的位置。
2.根据权利要求1所述的模块,其特征在于,所述至少两个发射器包括第一发射器,其中,所述第一发射器的尺寸大于第二发射器的尺寸。
3.根据权利要求2所述的模块,其特征在于,所述第一发射器包括用于发射单色光的发射器,其中,所述第二发射器用于发射彩色光。
4.根据权利要求1所述的模块,其特征在于,所述处理模块用于识别与所述至少两个发射器关联的唯一排列,其中,所述处理模块还用于:
从以通信方式链接到所述模块的数据库中确定发射器排列,其中,所述发射器排列与所述至少两个发射器关联的所识别的唯一排列匹配;
从所述数据库中获取所述确定的发射器排列中所有发射器的位置。
5.根据权利要求1所述的模块,其特征在于,从所述接收器到所述发射器的每个LOS单位矢量定义为:
其中,V=(x,y,z),z为所述图像捕获模块的焦距,x和y为所述发射器在所述图像捕获模块的图像平面上相对于所述图像平面的中心的位置。
6.根据权利要求1所述的模块,其特征在于,所述最大似然估计方案包括最小二乘法。
7.一种用于使用设置在接收器内的模块确定接收器在封闭空间中的位置的方法,其特征在于,所述方法包括:
通过设置在所述模块内的图像捕获模块捕获设置在所述封闭空间内的至少两个发射器的图像;
通过设置在所述模块内的处理模块,根据从设置在所述接收器内的预校准惯性测量单元(inertial measurement unit,IMU)获取的测量值,生成旋转矩阵;
通过所述处理模块从所述捕获的图像中识别与所述至少两个发射器关联的唯一排列,其中,所述唯一排列用于确定每个发射器在所述封闭空间中的位置;
通过所述处理模块为所述每个发射器计算:
根据所述发射器在图像平面上的位置和根据所述图像捕获模块的焦距,作为从所述接收器到所述发射器在所述图像捕获模块的所述图像平面上的位置的视线(line of sight,LOS)单位矢量的到达角(angle of arrival,AOA);
通过所述处理模块,使用所述旋转矩阵将所述LOS单位矢量从所述接收器的坐标系转换为全局坐标系;
通过所述处理模块,根据最大似然估计方案、所述每个发射器的位置以及与所述每个发射器关联的LOS单位矢量来估计所述接收器的位置。
8.根据权利要求7所述的方法,其特征在于,所述至少两个发射器包括第一发射器,其中,所述第一发射器的尺寸大于第二发射器的尺寸。
9.根据权利要求8所述的方法,其特征在于,所述第一发射器包括用于发射单色光的发射器,其中,所述第二发射器用于发射彩色光。
10.根据权利要求7所述的方法,其特征在于,所述识别与所述至少两个发射器关联的唯一排列还包括:
从以通信方式链接到所述模块的数据库中确定发射器排列,其中,所述发射器排列与所述至少两个发射器关联的所识别的唯一排列匹配;
从所述数据库中获取所述确定的发射器排列中所有发射器的位置。
11.根据权利要求7所述的方法,其特征在于,从所述接收器到所述发射器的每个LOS单位矢量定义为:
其中,V=(x,y,z),z为所述图像捕获模块的焦距,x和y为所述发射器在所述图像捕获模块的图像平面上相对于所述图像平面的中心的位置。
12.根据权利要求7所述的方法,其特征在于,所述最大似然估计方案包括最小二乘法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
SG10202012843X | 2020-12-21 | ||
SG10202012843X | 2020-12-21 | ||
PCT/CN2021/139347 WO2022135306A1 (en) | 2020-12-21 | 2021-12-17 | A positioning system based on an image capturing module within a receiver |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116745649A true CN116745649A (zh) | 2023-09-12 |
Family
ID=82157367
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180084444.6A Pending CN116745649A (zh) | 2020-12-21 | 2021-12-17 | 基于接收器中图像捕获模块的定位系统 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230342971A1 (zh) |
EP (1) | EP4248586A4 (zh) |
CN (1) | CN116745649A (zh) |
WO (1) | WO2022135306A1 (zh) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9369677B2 (en) * | 2012-11-30 | 2016-06-14 | Qualcomm Technologies International, Ltd. | Image assistance for indoor positioning |
US11528452B2 (en) * | 2015-12-29 | 2022-12-13 | Current Lighting Solutions, Llc | Indoor positioning system using beacons and video analytics |
SG10201706797SA (en) * | 2017-08-21 | 2019-03-28 | Certis Cisco Security Pte Ltd | System and method for determining a location of a mobile device based on audio localization techniques |
EP3598176A1 (en) * | 2018-07-20 | 2020-01-22 | Trimble Nantes S.A.S. | Methods for geospatial positioning and portable positioning devices thereof |
CN110261823B (zh) * | 2019-05-24 | 2022-08-05 | 南京航空航天大学 | 基于单个led灯的可见光室内通信定位方法及系统 |
CN111413670B (zh) * | 2020-04-02 | 2022-05-13 | 北京邮电大学 | 一种增强型相机辅助的基于接收信号强度比的定位方法 |
-
2021
- 2021-12-17 CN CN202180084444.6A patent/CN116745649A/zh active Pending
- 2021-12-17 EP EP21909302.8A patent/EP4248586A4/en active Pending
- 2021-12-17 WO PCT/CN2021/139347 patent/WO2022135306A1/en active Application Filing
-
2023
- 2023-06-21 US US18/338,995 patent/US20230342971A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4248586A4 (en) | 2024-05-15 |
EP4248586A1 (en) | 2023-09-27 |
US20230342971A1 (en) | 2023-10-26 |
WO2022135306A1 (en) | 2022-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Maheepala et al. | Light-based indoor positioning systems: A review | |
Hassan et al. | Indoor positioning using visible led lights: A survey | |
Li et al. | A VLC smartphone camera based indoor positioning system | |
JP6110962B2 (ja) | 距離又は位置の決定 | |
US7957007B2 (en) | Apparatus and method for illuminating a scene with multiplexed illumination for motion capture | |
Yamazato et al. | Image sensor based visible light communication and its application to pose, position, and range estimations | |
US20070268481A1 (en) | System and method for measuring scene reflectance using optical sensors | |
EP3472637A1 (en) | Wireless beacon-enabled luminaire identification system and method for determining the position of a portable device | |
Shahjalal et al. | An implementation approach and performance analysis of image sensor based multilateral indoor localization and navigation system | |
US20070268366A1 (en) | System and method for sensing geometric and photometric attributes of a scene with multiplexed illumination and solid state optical devices | |
Xu et al. | Experimental indoor visible light positioning systems with centimeter accuracy based on a commercial smartphone camera | |
US8009192B2 (en) | System and method for sensing geometric and photometric attributes of a scene with multiplexed illumination and solid states optical devices | |
US20190215654A1 (en) | A method of locating a mobile device in a group of mobile devices | |
JP2013185851A (ja) | 測位装置、該測位装置を備えた測位システム、及び測位方法 | |
Nakazawa et al. | LED-tracking and ID-estimation for indoor positioning using visible light communication | |
CN109343000B (zh) | 一种室内可见光成像定位系统和定位方法 | |
CN106568420A (zh) | 一种基于室内可见光的定位方法及系统 | |
KR101542947B1 (ko) | 이동체의 자세 인식 장치 및 위치기반 부가 서비스 제공 시스템 | |
CN116745649A (zh) | 基于接收器中图像捕获模块的定位系统 | |
JP2006313111A (ja) | 測位装置、識別情報発信装置、受信装置、測位システム、測位方法及びコンピュータプログラム並びに記録媒体 | |
Zhang et al. | Visual-inertial fusion based positioning systems | |
US20190154428A1 (en) | Position estimation program, recording medium, position estimation device, and position estimation method | |
Shahjalal et al. | Error mitigation in optical camera communication based indoor positioning system | |
KR20150031703A (ko) | 실내위치인식모듈을 통한 사용자 실내위치인식 장치 및 방법 | |
Hosseinianfar et al. | GOPA: Geometrical Optics Positioning Algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |