CN113870317A - 基于增强型视觉目标跟踪的可见光定位方法及系统 - Google Patents

基于增强型视觉目标跟踪的可见光定位方法及系统 Download PDF

Info

Publication number
CN113870317A
CN113870317A CN202111226958.9A CN202111226958A CN113870317A CN 113870317 A CN113870317 A CN 113870317A CN 202111226958 A CN202111226958 A CN 202111226958A CN 113870317 A CN113870317 A CN 113870317A
Authority
CN
China
Prior art keywords
led
tracking
visible light
visual target
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111226958.9A
Other languages
English (en)
Other versions
CN113870317B (zh
Inventor
刘翔宇
郭磊
郝婧羽
宋嵩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202111226958.9A priority Critical patent/CN113870317B/zh
Publication of CN113870317A publication Critical patent/CN113870317A/zh
Application granted granted Critical
Publication of CN113870317B publication Critical patent/CN113870317B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Optical Communication System (AREA)

Abstract

本发明请求保护一种基于增强型视觉目标跟踪的可见光定位方法及系统,属于通信网络技术领域。所述方法包括以下步骤:首先,本发明设计了新型识别/解调机制,用于确定跟踪LED的有效感兴趣区域,消除LED误判的可能性同时消除了非定位光源的干扰。其次,本发明设计了融合高斯混合模型的增强性视觉目标跟踪算法,使接收机在不同的运动状态下能够实时跟踪LED,解决了接收机的运动状态突变导致系统无法定位的问题。本发明实现了可见光定位系统在定位精度、实时性和鲁棒性之间的平衡。

Description

基于增强型视觉目标跟踪的可见光定位方法及系统
技术领域
本发明属于通信网络技术领域,涉及室内LED(Light Emitting Diode)灯下的可见光定位(Visible Light Positioning)图像处理算法和视觉目标跟踪算法。
背景技术
近年来,随着人们在室内工作和学习的时间越来越多,对室内定位技术的需求正在增加。Wi-Fi(Wireless-Fidelity)、蓝牙、红外线、超宽带(Ultra Wide Band,UWB)、射频识别(Radio Frequency Identification,RFID)、ZigBee和超声波等是目前常见的室内定位技术。然而,这些定位技术很难在定位精度和系统部署成本之间找到平衡。
发光二极管(Light Emitting Diode,LED)为照明和通信领域的带来了新革命。LED是一种广泛用于室内照明的基础设施,其成本较低。通过设置建立合理的驱动电路,实现LED在“on”和“off”状态之间的快速切换,用于高速数据通信。此外,用于信号传输的光链路拥有丰富的频谱资源,且不受无线信号干扰,使室内采用LED作为发射器的可见光定位(Visible Light Positioning)技术实现了高精度定位。
评价可见光定位系统性能的三个指标分别为:定位精度、实时性能和鲁棒性。然而,大多数学者更多注重定位精度,而忽略了实时性和鲁棒性。实时性能指的是当被定位的智能手机改变自身位置时,定位系统更新位置信息消耗的时间。对于基于成像型的系统,实时性主要与捕捉图像、图像处理和定位计算的时间有关。如果接收器的位置没有改变,系统重复执行图像处理和定位计算将变得毫无意义。鲁棒性是指定位系统的性能是否容易受到内部和外部因素的影响。例如,当智能手机突然移动时,定位系统捕获图片存在模糊效应,可能导致定位失败;当有人或障碍物挡住光源,定位系统的视线链路受到影响,可能也会造成定位失败。
在现有的成像型可见光定位系统中,接收机的移动或光源被遮挡会引起捕获图像出现模糊效应及阴影效应。现存的处理方式采用视觉目标跟踪算法,但该算法仅能实现LED的追踪,不能对LED进行识别/解调,当LED被遮挡再次出现后,可能引起LED被误判的可能性。进一步地,由于接收机运动状态的突变,目标跟踪算法的跟踪窗口无法及时更新,导致无法获取准确的LED感兴趣区域,进而定位失效。因此,设计一种新型目标跟踪可见光定位技术,以解决移动状态下LED识别误判、接收机的运动状态突变导致系统无法定位的问题具有重要研究意义。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种能够提高动态定位系统的鲁棒性的基于增强型视觉目标跟踪的可见光定位方法及系统。本发明的技术方案如下:
一种基于增强型视觉目标跟踪的可见光定位方法,其包括以下步骤:
捕获初始帧后,采用基于等距采样的轻量级图像处理算法提取LED的感兴趣区域;
设计新型识别/解调机制,获得初始帧中或有新LED出现的帧中LED感兴趣区域明、暗条纹序列,并与数据库中的LED进行匹配,判断捕获的LED是否为有效编码光源,弥补了视觉目标跟踪算法只能进行LED追踪而无法进行LED识别/解调的问题,用于确定跟踪LED的有效感兴趣区域并消除非定位光源的干扰;
结合高斯混合模型GMM和目标颜色特征匹配算法来检测移动目标LED;设计融合高斯混合模型的增强性视觉目标跟踪算法,使接收机在不同的运动状态下能够实时跟踪LED,所述目标颜色特征匹配算法是利用初始帧中目标LED感兴趣区域的颜色特征,使用基于颜色特征匹配的视觉目标跟踪算法来获取后续帧中的LED的感兴趣区域。
进一步的,可见光系统由LED作为光源和一部Android智能手机作为接收机组成;LED通过传输调制的二进制信号作为地标信息,传输的信号是高频的,人眼无法感知LED闪烁;使用智能手机的前置摄像头捕获LED传输的二进制信号,在设置合理的相机参数后之后,捕获的信息是每帧都包含LED的明暗条纹的视频序列。
进一步的,所述基于等距采样的轻量级图像处理算法具体包括:首先,将捕获的图像变为灰度图像,并对灰度图像进行二值化处理;然后,对二值化后的图像按像素的行、列分别进行等距离的像素强度采样,获得LED大致的感兴趣区域;最后,对该区域附近所有像素按照行、列进行像素强度采样,以获得准确的LED感兴趣区域边界。
进一步的,所述设计的新型识别/解调机制具体包括:首先,采用基于等距采样的轻量级图像处理算法获取初始帧中的LED感兴趣区域;然后,取LED感兴趣区域的中线,计算该中线上所有点的灰度值,每点的灰度值按照垂直于该点所在中线的上下10个像素点取平均进行计算;根据计算出的灰度值,判别此点是属于明条纹还是暗条纹,并将所有明条纹和暗条纹的起始点横坐标从小到大排序,即得到每个条纹起始点的横坐标值;遍历每个条纹的宽度,得到感兴趣区域的明、暗条纹序列;最后,将该序列与数据库中的LED进行匹配,判断捕获的LED是否为有效编码光源。
进一步的,所述基于颜色特征匹配的视觉目标跟踪算法具体包括:
步骤4-1:根据初始帧中获取的LED感兴趣区域的尺寸和颜色信息,分别创建目标LED感兴趣区域的跟踪窗口和颜色直方图,其中,颜色直方图中代表了不同颜色出在整幅图像中所占的比例;
步骤4-2:根据反向投影原理,将后续帧中每点像素值用目标LED感兴趣区域中颜色出现的概率替换,得到颜色概率分布图;颜色概率分布图是一个灰度图像,如果某像素点越亮,就说明此点属于目标LED感兴趣区域的概率越大;
步骤4-3:在当前帧中,跟踪窗口利用迭代方式找到目标颜色概率最大的位置,并不断调整跟踪窗口的尺寸,将跟踪窗口的中心移动到概率最大位置的质心,得到当前帧捕获的LED的位置和尺寸,实现对LED的跟踪;同时,实时更新跟踪窗口参数;
步骤4-4:对后续帧进行迭代,并使用当前帧中的跟踪窗口参数作为下一帧跟踪窗口的初始值,从而实现在视频序列中的LED跟踪,快速获得后续帧的LED感兴趣区域。
进一步的,所述融合高斯混合模型的增强型视觉目标跟踪算法具体包括:
摄像机在一个固定的场景中捕捉移动的目标,移动的目标称为前景,而固定的场景称为背景;在动态可见光定位系统中,需要从某一帧图像中提取关于前景LED的信息;首先,使用m个分布的高斯混合模型进行训练估计背景模型,并且选择时间窗口,通过增加新的样本来替换旧的样本来建立样本训练集;然后,根据背景模型,使用贝叶斯决策因子来确定该像素是前景还是背景;最后,根据空间连续性对前景LED进行分割。
进一步的,除了考虑应用高斯混合模型外,还需要使用卡尔曼滤波对存在光链路遮挡情形下的LED的感兴趣区域进行预测;
将当前帧中跟踪窗口的颜色直方图与目标LED的颜色直方图比较,当两直方图的相似度小于根据设定的阈值时,认为LED发生遮挡,使用卡尔曼滤波预测当前帧感兴趣区域的位置。LED发生完全遮挡时,再次出现时,使用新型识别/解调机制再次确定LED。
进一步的,在跟踪过程中,接收机处于静止或低速移动状态,跟踪窗口主要由目标颜色特征匹配算法确定;接收机处于快速或者突然移动时,跟踪窗口主要由高斯混合模型确定。最后,对每一帧执行摄影测量算法实现高精度的可见光定位。
一种计算机可读存储介质,其该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现如权利要求1~8任一项所述的基于增强型视觉目标跟踪的可见光定位方法。
一种基于增强型视觉目标跟踪的可见光定位系统,其包括;
感兴趣区域提取模块:用于捕获初始帧后,采用基于等距采样的轻量级图像处理算法提取LED的感兴趣区域;设计新型识别/解调机制,获得初始帧中或有新LED出现的帧中LED感兴趣区域明、暗条纹序列,并与数据库中的LED进行匹配,判断捕获的LED是否为有效编码光源,弥补了视觉目标跟踪算法只能进行LED追踪而无法进行LED识别/解调的问题,用于确定跟踪LED的有效感兴趣区域并消除非定位光源的干扰;
移动目标检测模块:结合高斯混合模型GMM和目标颜色特征匹配算法来检测移动目标LED;设计融合高斯混合模型的增强性视觉目标跟踪算法,使接收机在不同的运动状态下能够实时跟踪LED。
本发明的优点及有益效果如下:
本发明设计了基于增强型视觉目标跟踪的可见光定位方法及系统。与传统可见光定位系统需对每一张图片都进行完整的图像处理相比,本发明利用增强型视觉目标跟踪算法获取视频序列中的LED感兴趣区域,进行实时性的定位。在初始帧或有首次出现的LED的帧中,本发明提出了新型识别/解调机制,该机制弥补了视觉目标跟踪算法在后续帧只能进行LED追踪而无法进行LED识别/解调的问题,消除了被遮挡后再次出现的LED被误判的可能性,确保识别匹配最新的、有效的LED。在后续帧中,本发明利用融合高斯混合模型的视觉目标跟踪算法动态跟踪LED,当采集视频序列的接收机忽然移动时,高斯混合模型将被分配大额权值,用于稳定跟踪窗口,使接收机能够在不同运动状态下实时跟踪LED,能够提高动态定位系统的鲁棒性。
附图说明
图1是本发明提供优选实施例基于增强型视觉目标跟踪的可见光定位系统的系统架构图;
图2为本发明设计的基于等距采样的轻量级图像处理算法原理图;
图3为本发明设计的新型识别/解调机制原理图;
图4为本发明设计的基于颜色特征匹配的视觉目标跟踪算法原理图;
图5为本发明设计融合高斯混合模型的增强型视觉目标跟踪算法的工作流程图;
图6为本发明在LED被不同程度地遮挡时LED的跟踪效果图;
图7为本发明在接收机以低速移动状态下LED的跟踪效果图;
图8为本发明在接收机以快速移动状态下LED的跟踪效果图;
图9为本发明在不同的定位距离下的系统解码率统计图;
图10为本发明计算出的测试定位坐标点和真实世界坐标点对比图;
图11为本发明所设计的系统定位精度累积分布函数(CDF)曲线。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是:
一种基于增强型视觉目标跟踪的可见光定位方法,首先,天花板上多盏LED经过配置后发送独一无二的信标,智能手机作为接收机进行捕获。捕获初始帧后,采用基于等距采样的轻量级图像处理算法快速提取LED的感兴趣区域,对感兴趣区域采用新型识别/解调机制获得LED准确的信标。在后续帧中,利用增强型视觉目标跟踪算法,获取当前帧中的LED的感兴趣区域的位置信息。在跟踪过程中,接收机处于静止或低速移动状态,跟踪窗口主要由目标颜色特征匹配算法确定;接收机处于快速或者突然移动时,跟踪窗口主要由高斯混合模型确定。最后,对每一帧执行摄影测量算法实现高精度的可见光定位。1)该定位技术确保跟踪最新的、有效的LED,消除了LED误判的可能性,提高整个系统的可靠性。
2)该定位技术使接收机在不同的移动状态下能够实时跟踪LED,同时计算得到接收机的实时位置。
3)该定位技术实现了系统在定位精度、实时性和鲁棒性之间的平衡。
所述的新型识别/解调机制,补充了可见光定位系统中的目标跟踪算法的识别、解调和匹配的功能。
1)该机制是轻量级计算,计算耗时为μm级别,不会影响系统的实时性。
2)该机制允许智能手机作为接收机在正常手持高度下进行100%解码。
3)该机制用于判断捕获的LED是否为有效编码光源,消除非定位光源的干扰。
4)该机制为融合高斯混合模型的视觉目标跟踪方法的初始化做了准备,确保跟踪有效的LED感兴趣区域,消除了LED被误判的可能性。
所述的融合高斯混合模型的增强型视觉目标跟踪算法,在跟踪过程中,对高斯混合模型和目标颜色特征匹配算法赋予不同的权值共同确定跟踪窗口,该权重值的分配由所采集的视频序列中LED的感兴趣区域位置的变化速度决定。接收机处于快速或者突然移动状态时,位置的变化速度足够快,高斯混合模型将主要确定跟踪窗口;接收机处于静止或低速移动状态时,颜色特征匹配图像处理算法将主要确定跟踪窗口。
1)该目标跟踪算法能够很好地检测和捕获动态目标(LED)。接收机的快速或突然移动会导致视频序列中LED的感兴趣区域位置的变化速度加快,高斯混合模型将主要确定跟踪窗口,避免捕捉到的图像会出现模糊效果,从而导致定位系统失效。
2)该目标跟踪算法使接收机在不同的移动状态下能够检测实时跟踪天花板LED,能够提高动态定位系统的鲁棒性。
图1是本发明所基于增强型视觉目标的可见光定位系统的系统架构图。基于增强型视觉目标跟踪的可见光系统由LED作为光源和一部Android智能手机作为接收机组成。首先,LED通过传输调制的二进制信号作为地标信息。本发明传输的信号是高频的,人眼无法感知LED闪烁。然后,本发明使用智能手机的前置摄像头捕获LED传输的二进制信号。在设置合理的相机参数后之后,捕获的信息是每帧都包含LED的明暗条纹的视频序列。接着,本发明使用新型识别/解调机制确定初始帧中的LED的感兴趣区域,消除非定位光源的干扰。在后续帧中,本发明使用融合高斯混合模型的视觉目标跟踪算法有效地跟踪和预测视频帧中LED的感兴趣区域。最后,本发明使用摄影测量算法来计算接收机的实时世界坐标。
图2是本发明设计的基于等距采样的轻量级图像处理算法原理图。首先,本发明将捕获的图像变为灰度图像,并对灰度图像进行二值化处理。然后,本发明对二值化后的图像按像素的行、列分别进行等距离的像素强度采样,获得LED大致的感兴趣区域。最后,本发明对该区域附近所有像素按照行、列进行像素强度采样,以获得准确的LED感兴趣区域边界。
图3是本发明设计的新型识别/解调机制原理图。首先,本发明采用基于等距采样的轻量级图像处理算法获取初始帧中的LED感兴趣区域。然后,取LED感兴趣区域的中线,计算该中线上所有点的灰度值,每点的灰度值按照垂直于该点所在中线的上下10个像素点取平均进行计算。根据计算出的灰度值,判别此点是属于明条纹还是暗条纹,并将所有明条纹和暗条纹的起始点横坐标从小到大排序,即得到每个条纹起始点的横坐标值。进一步,遍历每个条纹的宽度,得到感兴趣区域的明、暗条纹序列。最后,将该序列与数据库中的LED进行匹配,判断捕获的LED是否为有效编码光源。本发明设计的新型识别/解调机制补充了视觉目标跟踪方法只能进行LED追踪而无法进行LED识别/解调的问题。同时,该机制为跟踪LED的感兴趣区域的初始化做了准备,消除了非定位光源的干扰。
图4是本发明设计的基于颜色特征匹配的视觉目标跟踪算法原理图。本发明利用初始帧中目标LED感兴趣区域的颜色特征,使用基于颜色特征匹配的视觉目标跟踪算法来获取后续帧中的LED的感兴趣区域,避免每一帧图像重复的进行采样,影响系统实时性。
基于颜色特征匹配的视觉目标跟踪算法的核心思想是不断迭代并搜索与前一帧颜色特征相匹配的目标区域。具体执行步骤如下:
步骤4-1:根据初始帧中获取的LED感兴趣区域的尺寸和颜色信息,分别创建目标LED感兴趣区域的跟踪窗口和颜色直方图。其中,颜色直方图中代表了不同颜色出在整幅图像中所占的比例;
步骤4-2:根据反向投影原理,将后续帧中每点像素值用目标LED感兴趣区域中颜色出现的概率替换,得到颜色概率分布图。颜色概率分布图是一个灰度图像,如果某像素点越亮,就说明此点属于目标LED感兴趣区域的概率越大;
步骤4-3:在当前帧中,跟踪窗口利用迭代方式找到目标颜色概率最大的位置,并不断调整跟踪窗口的尺寸,将跟踪窗口的中心移动到概率最大位置的质心,得到当前帧捕获的LED的位置和尺寸,实现对LED的跟踪。同时,实时更新跟踪窗口参数;
步骤4-4:对后续帧进行迭代,并使用当前帧中的跟踪窗口参数作为下一帧跟踪窗口的初始值,从而实现在视频序列中的LED跟踪,快速获得后续帧的LED感兴趣区域。
图5是本发明设计的融合高斯混合模型的增强型视觉目标跟踪算法的工作流程。高斯混合模型的工作原理为:摄像机在一个固定的场景中捕捉移动的目标,移动的目标称为前景,而固定的场景称为背景。在动态可见光定位系统中,需要从某一帧图像中提取关于前景(LED)的信息。首先,本发明使用m个分布的高斯混合模型进行训练估计背景模型,并且选择合适的时间窗口,通过增加新的样本来替换旧的样本来建立样本训练集。然后,根据背景模型,本发明使用贝叶斯决策因子来确定该像素是前景还是背景。最后,本发明根据空间连续性对前景(LED)进行分割。除了考虑应用高斯混合模型外,本发明还需要使用卡尔曼滤波对存在光链路遮挡情形下的LED的感兴趣区域进行预测。增强型视觉目标跟踪算法具体步骤如下:
步骤5-1:卡尔曼滤波参数初始化。设置卡尔曼滤波器所有初始值,包括位置、速度和误差协方差为零;
步骤5-2:使用新型识别/解调机制来确定LED,并创建目标LED感兴趣区域的跟踪窗口和颜色直方图;
步骤5-3:确定目标跟踪窗口。本发明使用高斯混合模型和目标颜色特征匹配算法共同确定当前帧中的跟踪窗口,两者权重值的分配由所采集的视频序列中LED的感兴趣区域位置的变化速度决定。接收机处于快速或者突然移动状态时,位置的变化速度足够快,高斯混合模型将主要确定跟踪窗口;接收机处于静止或低速移动状态时,目标颜色特征匹配算法将主要确定跟踪窗口。同时,本发明将当前帧的跟踪窗口参数作为下一帧窗口参数的初始值;
步骤5-4:应对LED在不同程度上发生遮挡的情况。将当前帧中跟踪窗口的颜色直方图与步骤5-2中的目标LED的颜色直方图比较,当两直方图的相似度小于根据设定的阈值时,本发明认为LED发生遮挡,使用卡尔曼滤波预测当前帧感兴趣区域的位置。LED发生完全遮挡时,再次出现时,使用新型识别/解调机制再次确定LED。
图6是本发明在LED被不同程度地遮挡时LED的跟踪效果图。
图6(a)展示了在接收机静止且LED未被遮挡时,增强型视觉目标跟踪算法可以准确跟踪LED。
图6(b)、图6(c)和图6(d)展示了当接收机保持静止时,本发明使用遮阳板在LED和智能手机之间的光路阻挡三次,使捕获的视频帧分别出现“3/4LED”、“1/2LED”和“无LED”时,增强型视觉目标跟踪算法仍然可以准确地预测和跟踪LED。
图6(e)和图6(f)展示了当LED被遮挡一段时间后,原来的/新的LED再次出现,通过使用本发明设计的新型识别/解调机制,定位系统可以准确判断重新出现的LED是否是新的LED。
图7是本发明在接收机以低速移动状态下LED的跟踪效果图。
图8是本发明在接收机以快速移动状态下LED的跟踪效果图。
通过图7和图8可以看出,无论接收机处于低速或快速移动状态,本发明设计的增强型视觉目标跟踪算法都可以准确地跟踪LED。
图9是本发明在不同的定位距离下的系统解码率统计图。在定位系统中,随着LED与智能手机摄像头之间距离的增加,接收机接收到的信号强度和捕获图像中LED的大小会发生变化。因此,不同的定位距离会影响新型识别/解调机制的效果。从图9中可以看出,当智能手机与LED为0.5m-2m,系统解码率为100%。当距离增加到2.5m时,系统解码率下降。这表明本发明设计的新型识别/解调机制可以允许智能手机作为接收机在正常手持高度下进行100%解码。
图10是本发明计算出的测试定位坐标点和真实世界坐标点对比图。图中使用方块、星号、五角星图标和十字符号分别来表示智能手机静止、低速、变速,LED被遮挡的情况下的测试定位坐标点。可以看出,在不同的测试条件下,系统的定位精度几乎相同,真实世界坐标与计算出的测试定位坐标之间的定位误差为6cm到12cm。这表明本发明提出的增强型视觉目标跟踪算法可以提高系统的鲁棒性。
图11为本发明所设计的系统定位精度累积分布函数(CDF)曲线。系统最大定位误差为12cm,平均定位误差为8cm。这表明本发明所设计的系统可以实现室内高精度定位应用。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后,技术人员可以对本发明作各种改动或修改,这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (9)

1.一种基于增强型视觉目标跟踪的可见光定位方法,其特征在于,包括以下步骤:
捕获初始帧后,采用基于等距采样的轻量级图像处理算法提取LED的感兴趣区域;
设计新型识别/解调机制,获得初始帧中或有新LED出现的帧中的LED感兴趣区域明、暗条纹序列,并与数据库中的LED进行匹配,判断捕获的LED是否为有效编码光源,用于确定跟踪LED的有效感兴趣区域并消除非定位光源的干扰;
结合高斯混合模型GMM和目标颜色特征匹配算法来检测移动目标LED;设计融合高斯混合模型的增强性视觉目标跟踪算法,使接收机在不同的运动状态下能够实时跟踪LED,所述目标颜色特征匹配算法是利用初始帧中目标LED感兴趣区域的颜色特征,使用基于颜色特征匹配的视觉目标跟踪算法来获取后续帧中的LED的感兴趣区域。
2.根据权利要求1所述的一种基于增强型视觉目标跟踪的可见光定位方法,其特征在于,可见光系统由LED作为光源和一部Android智能手机作为接收机组成;LED通过传输调制的二进制信号作为地标信息,传输的信号是高频的,人眼无法感知LED闪烁;使用智能手机的前置摄像头捕获LED传输的二进制信号,在设置合理的相机参数后之后,捕获的信息是每帧都包含LED的明暗条纹的视频序列。
3.根据权利要求1或2所述的一种基于增强型视觉目标跟踪的可见光定位方法,其特征在于,所述基于等距采样的轻量级图像处理算法具体包括:首先,将捕获的图像变为灰度图像,并对灰度图像进行二值化处理;然后,对二值化后的图像按像素的行、列分别进行等距离的像素强度采样,获得LED大致的感兴趣区域;最后,对该区域附近所有像素按照行、列进行像素强度采样,以获得准确的LED感兴趣区域边界。
4.根据权利要求3所述的一种基于增强型视觉目标跟踪的可见光定位方法,其特征在于,所述设计的新型识别/解调机制具体包括:首先,采用基于等距采样的轻量级图像处理算法获取初始帧中的LED感兴趣区域;然后,取LED感兴趣区域的中线,计算该中线上所有点的灰度值,每点的灰度值按照垂直于该点所在中线的上下10个像素点取平均进行计算;根据计算出的灰度值,判别此点是属于明条纹还是暗条纹,并将所有明条纹和暗条纹的起始点横坐标从小到大排序,即得到每个条纹起始点的横坐标值;遍历每个条纹的宽度,得到感兴趣区域的明、暗条纹序列;最后,将该序列与数据库中的LED进行匹配,判断捕获的LED是否为有效编码光源。
5.根据权利要求4所述的一种基于增强型视觉目标跟踪的可见光定位方法,其特征在于,所述基于颜色特征匹配的视觉目标跟踪算法具体包括:
步骤4-1:根据初始帧中获取的LED感兴趣区域的尺寸和颜色信息,分别创建目标LED感兴趣区域的跟踪窗口和颜色直方图,其中,颜色直方图中代表了不同颜色出现在整幅图像中所占的比例;
步骤4-2:根据反向投影原理,将后续帧中每点像素值用目标LED感兴趣区域中颜色出现的概率替换,得到颜色概率分布图;颜色概率分布图是一个灰度图像,如果某像素点越亮,就说明此点属于目标LED感兴趣区域的概率越大;
步骤4-3:在当前帧中,跟踪窗口利用迭代方式找到目标颜色概率最大的位置,并不断调整跟踪窗口的尺寸,将跟踪窗口的中心移动到概率最大位置的质心,得到当前帧捕获的LED的位置和尺寸,实现对LED的跟踪;同时,实时更新跟踪窗口参数;
步骤4-4:对后续帧进行迭代,并使用当前帧中的跟踪窗口参数作为下一帧跟踪窗口的初始值,从而实现在视频序列中的LED跟踪,快速获得后续帧的LED感兴趣区域。
6.根据权利要求5所述的一种基于增强型视觉目标跟踪的可见光定位方法,其特征在于,所述融合高斯混合模型的增强型视觉目标跟踪算法具体包括:
摄像机在一个固定的场景中捕捉移动的目标,移动的目标称为前景,而固定的场景称为背景;在动态可见光定位系统中,需要从某一帧图像中提取关于前景LED的信息;首先,使用m个分布的高斯混合模型进行训练估计背景模型,并且选择时间窗口,通过增加新的样本来替换旧的样本来建立样本训练集;然后,根据背景模型,使用贝叶斯决策因子来确定该像素是前景还是背景;最后,根据空间连续性对前景LED进行分割。
7.根据权利要求6所述的一种基于增强型视觉目标跟踪的可见光定位方法,其特征在于,除了考虑应用高斯混合模型外,还需要使用卡尔曼滤波对存在光链路遮挡情形下的LED的感兴趣区域进行预测;
将当前帧中跟踪窗口的颜色直方图与目标LED的颜色直方图比较,当两直方图的相似度小于根据设定的阈值时,认为LED发生遮挡,使用卡尔曼滤波预测当前帧感兴趣区域的位置。LED发生完全遮挡时,再次出现时,使用新型识别/解调机制再次确定LED。
8.根据权利要求6所述的一种基于增强型视觉目标跟踪的可见光定位方法,其特征在于,在跟踪过程中,接收机处于静止或低速移动状态,跟踪窗口主要由目标颜色特征匹配算法确定;接收机处于快速或者突然移动时,跟踪窗口主要由高斯混合模型确定。最后,对每一帧执行摄影测量算法实现高精度的可见光定位。
9.一种基于增强型视觉目标跟踪的可见光定位系统,其特征在于,包括;
感兴趣区域提取模块:用于捕获初始帧后,采用基于等距采样的轻量级图像处理算法提取LED的感兴趣区域;设计新型识别/解调机制,获得初始帧中或有新LED出现的帧中LED感兴趣区域明、暗条纹序列,并与数据库中的LED进行匹配,判断捕获的LED是否为有效编码光源,用于确定跟踪LED的有效感兴趣区域并消除非定位光源的干扰;
移动目标检测模块:结合高斯混合模型GMM和目标颜色特征匹配算法来检测移动目标LED;设计融合高斯混合模型的增强性视觉目标跟踪算法,使接收机在不同的运动状态下能够实时跟踪LED。
CN202111226958.9A 2021-10-21 2021-10-21 基于增强型视觉目标跟踪的可见光定位方法及系统 Active CN113870317B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111226958.9A CN113870317B (zh) 2021-10-21 2021-10-21 基于增强型视觉目标跟踪的可见光定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111226958.9A CN113870317B (zh) 2021-10-21 2021-10-21 基于增强型视觉目标跟踪的可见光定位方法及系统

Publications (2)

Publication Number Publication Date
CN113870317A true CN113870317A (zh) 2021-12-31
CN113870317B CN113870317B (zh) 2022-08-23

Family

ID=78996942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111226958.9A Active CN113870317B (zh) 2021-10-21 2021-10-21 基于增强型视觉目标跟踪的可见光定位方法及系统

Country Status (1)

Country Link
CN (1) CN113870317B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117177418A (zh) * 2023-10-31 2023-12-05 宝邑(深圳)照明科技有限公司 一种建筑室内智慧照明控制方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013016439A1 (en) * 2011-07-26 2013-01-31 ByteLight, Inc. Self identifying modulater light source
CN106597374A (zh) * 2016-11-09 2017-04-26 北京大学 一种基于摄像帧分析的室内可见光定位方法及系统
CN108288289A (zh) * 2018-03-07 2018-07-17 华南理工大学 一种用于可见光定位的led视觉检测方法及其系统
CN111551181A (zh) * 2020-05-29 2020-08-18 深圳市南科信息科技有限公司 基于智能手机航位推算以及LiFi识别的室内定位方法
CN112183526A (zh) * 2020-09-18 2021-01-05 深圳市南科信息科技有限公司 可见光定位方法、装置、设备及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013016439A1 (en) * 2011-07-26 2013-01-31 ByteLight, Inc. Self identifying modulater light source
CN106597374A (zh) * 2016-11-09 2017-04-26 北京大学 一种基于摄像帧分析的室内可见光定位方法及系统
CN108288289A (zh) * 2018-03-07 2018-07-17 华南理工大学 一种用于可见光定位的led视觉检测方法及其系统
CN111551181A (zh) * 2020-05-29 2020-08-18 深圳市南科信息科技有限公司 基于智能手机航位推算以及LiFi识别的室内定位方法
CN112183526A (zh) * 2020-09-18 2021-01-05 深圳市南科信息科技有限公司 可见光定位方法、装置、设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIANGYU LIU 等: "Indoor Visible Light Applications for Communication, Positioning, and Security", 《WIRELESS COMMUNICATIONS AND MOBILE COMPUTING》 *
刘晓伟: "基于可见光通信的室内高精度三维定位算法研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117177418A (zh) * 2023-10-31 2023-12-05 宝邑(深圳)照明科技有限公司 一种建筑室内智慧照明控制方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113870317B (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
US9542751B2 (en) Systems and methods for reducing a plurality of bounding regions
CN109035304B (zh) 目标跟踪方法、介质、计算设备和装置
US11908149B2 (en) Pattern-triggered object modification in augmented reality system
Levinson et al. Traffic light mapping, localization, and state detection for autonomous vehicles
Naimark et al. Circular data matrix fiducial system and robust image processing for a wearable vision-inertial self-tracker
CN111753757B (zh) 一种图像识别处理方法及装置
CN114677554A (zh) 一种基于YOLOv5与Deepsort的统计滤波红外小目标检测跟踪方法
CN108765452A (zh) 一种复杂背景下运动目标检测与跟踪方法
CN111784737B (zh) 一种基于无人机平台的目标自动跟踪方法及系统
US9280703B2 (en) Apparatus and method for tracking hand
CN111541511B (zh) 复杂电磁环境下基于目标检测的通信干扰信号识别方法
US10032285B1 (en) Multi-hypothesis moving object detection system
CN110296707A (zh) 基于vlc技术的室内服务机器人
CN105160649A (zh) 基于核函数非监督聚类的多目标跟踪方法及系统
CN110544268B (zh) 一种基于结构光及SiamMask网络的多目标跟踪方法
CN113870317B (zh) 基于增强型视觉目标跟踪的可见光定位方法及系统
Mao et al. High precision indoor positioning method based on visible light communication using improved Camshift tracking algorithm
CN115393681A (zh) 一种目标融合方法、装置、电子设备及存储介质
CN113959439A (zh) 稀疏光源下的室内高精度可见光定位方法及系统
CN114264297B (zh) Uwb和视觉slam融合算法的定位建图方法及系统
Wu et al. Visible light positioning system based on CMOS image sensor using particle filter tracking and detecting algorithm
CN111899279A (zh) 一种目标对象的运动速度检测方法及装置
Yuan et al. High Speed Safe Autonomous Landing Marker Tracking of Fixed Wing Drone Based on Deep Learning
CN117808689A (zh) 基于毫米波雷达与摄像头融合的深度补全方法
CN111428626A (zh) 一种移动物体的识别方法、装置、及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant