CN114092523A - 一种灯光追踪人手的矩阵阅读灯及其控制方法 - Google Patents

一种灯光追踪人手的矩阵阅读灯及其控制方法 Download PDF

Info

Publication number
CN114092523A
CN114092523A CN202111562444.0A CN202111562444A CN114092523A CN 114092523 A CN114092523 A CN 114092523A CN 202111562444 A CN202111562444 A CN 202111562444A CN 114092523 A CN114092523 A CN 114092523A
Authority
CN
China
Prior art keywords
image
matrix
hand
passenger
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111562444.0A
Other languages
English (en)
Inventor
王金磊
邓亮
金瑞鸣
陈津义
宋旋漩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Xingyu Automotive Lighting Systems Co Ltd
Original Assignee
Changzhou Xingyu Automotive Lighting Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Xingyu Automotive Lighting Systems Co Ltd filed Critical Changzhou Xingyu Automotive Lighting Systems Co Ltd
Priority to CN202111562444.0A priority Critical patent/CN114092523A/zh
Publication of CN114092523A publication Critical patent/CN114092523A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
    • H05B45/30—Driver circuits
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/125—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using cameras
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/175—Controlling the light source by remote control
    • H05B47/18—Controlling the light source by remote control via data-bus transmission
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种灯光追踪人手的矩阵阅读灯及其控制方法，灯光追踪人手的矩阵阅读灯包括摄像头模块、图像处理模块、矩阵阅读灯控制模块和矩阵LED模块，所述摄像头模块与图像处理模块的输入端相连，所述图像处理模块的输出端与矩阵阅读灯控制模块的输入端相连，所述矩阵阅读灯控制模块的输出端与矩阵LED模块相连。本发明提供一种灯光追踪人手的矩阵阅读灯及其控制方法，首先解决了车内阅读灯照明效果不佳的问题，照射亮度比传统阅读灯更强。其次是极大地提升了人机交互体验，当乘客进行读书看报寻物时，车内阅读灯可以实现追踪人手的交互效果，而且旁边的乘客不被打扰。

Description

一种灯光追踪人手的矩阵阅读灯及其控制方法
技术领域
本发明涉及一种灯光追踪人手的矩阵阅读灯及其控制方法，属于汽车智能照明领域。
背景技术
目前，汽车座舱的发展方向是智能座舱，即在座舱内融入大量的摄像头视觉感知、语音感知以及其他交互体验，使座舱变成一个移动的智慧空间。然而车内阅读灯一直是一个被忽视的点，无论从照明效果还是人机交互方面，现有阅读灯的设计都非常单一。首先从照明效果来看，传统的阅读灯往往只在左右两侧各布置一颗LED，分别照射座舱左侧和右侧的空间，照明效果不佳，在乘客寻找物品或者读书看报的过程中，起不到很好的照明指示作用。其次从人机交互方式来看，大多数阅读灯的控制方式还停留在机械开关的操作，只有少量车型开始使用触摸开关，但是在智能座舱中依旧显得缺乏人机交互。
发明内容
本发明所要解决的技术问题是，克服现有技术的不足，提供一种灯光追踪人手的矩阵阅读灯及其控制方法，首先解决了车内阅读灯照明效果不佳的问题，照射亮度比传统阅读灯更强。其次是极大地提升了人机交互体验，当乘客进行读书看报寻物时，车内阅读灯可以实现追踪人手的交互效果，而且旁边的乘客不被打扰。
为了解决上述技术问题，本发明的技术方案是：
一种灯光追踪人手的矩阵阅读灯，它包括摄像头模块、图像处理模块、矩阵阅读灯控制模块和矩阵LED模块，所述摄像头模块与图像处理模块的输入端相连，所述图像处理模块的输出端与矩阵阅读灯控制模块的输入端相连，所述矩阵阅读灯控制模块的输出端与矩阵LED模块相连。
进一步，所述摄像头模块包括：
可见光RGB摄像头，所述可见光RGB摄像头用于采集乘客手部的可见光RGB图像；
近红外摄像头，所述近红外摄像头用于采集乘客手部的近红外图像；
近红外补光LED，所述近红外补光LED用于为近红外摄像头进行补光。
进一步，所述可见光RGB摄像头的输出端和近红外摄像头的输出端均与所述图像处理模块的输入端相连。
进一步，所述矩阵LED模块包括左LED矩阵阵列和右LED矩阵阵列，所述左LED矩阵阵列和右LED矩阵阵列中分别排布多颗LED灯；
所述矩阵阅读灯控制模块用于控制不同位置的LED灯点亮或关闭。
一种灯光追踪人手的矩阵阅读灯的控制方法，它包括：
步骤S1、导入可见光RGB摄像头采集的乘客手部的可见光RGB图像，将可见光RGB图像在YUV通道上进行展开，YUV色彩空间分别保存了图像的Y通道亮度和U、V通道色彩信息；同时打开近红外补光LED，导入近红外摄像头采集的乘客手部的近红外图像，并对所述乘客手部的近红外图像使用SURF特征实现图像配准；
步骤S2、将图像配准后的乘客手部的近红外图像与可见光RGB图像在YUV通道上进行像素级的图像融合，完成图像融合后将YUV图像转换为RGB图像；
步骤S3、此时判断车内环境是否为夜间环境，如果为夜间环境，则通过对比度拉伸的方法对步骤S2中融合转换后的RGB图像进行RGB图像增强，然后将增强后的RGB图像裁剪为640*640的分辨率并输入到YOLO检测器中进行手部目标的检测，同时调用DeepSORT多目标跟踪算法进行乘客手部目标的运动跟踪，获得实时的乘客手部坐标信息，最后通过CAN总线将坐标信息发送至矩阵阅读灯控制模块，由所述矩阵阅读灯控制模块控制乘客手部所在区域对应的LED灯点亮。
进一步，所述步骤S1中，对所述乘客手部的近红外图像使用SURF特征实现图像配准，包括：
步骤S11、在日间光照好的条件下，将乘客手部的近红外图像结合可见光RGB图像进行SURF特征点检测及特征点匹配，获取近红外图像和可见光RGB图像之间的透视变换矩阵；
步骤S12、所述近红外摄像头后续采集的乘客手部的近红外图像，则通过所述透视变换矩阵进行转化，完成图像配准。
进一步，所述步骤S11中，将乘客手部的近红外图像结合可见光RGB图像进行SURF特征点检测及特征点匹配，获取近红外图像和可见光RGB图像之间的透视变换矩阵，包括：
步骤S111、通过Hessian矩阵分别获取乘客手部的近红外图像和可见光RGB图像的SURF特征点，所述乘客手部的近红外图像和可见光RGB图像中每个像素的p(x,y)在图像金字塔不同尺度σ下的Hsssian矩阵为：
Figure BDA0003420758570000031
其中，Lxx(x，y，σ)为二维高斯函数核函数对x的二阶偏导
Figure BDA0003420758570000032
Lxy(x，y，σ)为二维高斯函数核函数对x和y的二阶混合偏导，Lyy(x，y，σ)为二维高斯函数核函数对y的二阶偏导；
步骤S112、所述乘客手部的近红外图像和可见光RGB图像的SURF特征点采集完成后，建立一个基准可见光RGB图像的特征点数据库，使用FLANN快速最近邻搜索方法对需配准的近红外图像的每个SURF特征点在基准可见光RGB图像的特征点数据库中进行逐个匹配，匹配过程包括：
根据所述乘客手部的近红外图像的SURF特征点的欧氏距离，在所述基准可见光RGB图像的特征点数据库中寻找最近邻距离和次近邻距离特征点，若最近邻距离或次近邻距离大于某一阙值，则特征匹配成功；
步骤S113、采用单应性变换的透视方法，对所述乘客手部的近红外图像按照基准可见光RGB图像进行配准，获取近红外图像和可见光RGB图像之间的透视变换矩阵，所述透视变换矩阵为：
Figure BDA0003420758570000033
其中，(x，y)为乘客手部的近红外图像特征点的位置，(x’，y’)为配准后乘客手部的近红外图像的位置，s为尺度参数；
其中，
Figure BDA0003420758570000034
为单应性矩阵，h33一般设为1，求解该矩阵至少需要4个特征点，采用RANSAC算法计算单应性矩阵H，包括：
从所述基准可见光RGB图像的特征点数据库中随机抽出4个不共线的样本，然后利用初步计算结果测试所有需配准数据，得到配准数据与基准数据误差，多次选择直到选中误差最小的结果；
获取所述透视变换矩阵后，导入每一帧的乘客手部的近红外图像，计算乘客手部的近红外图像的SURF特征点，然后使用透视变换矩阵进行特征点的配准。
进一步，步骤S2中，将图像配准后的乘客手部的近红外图像与可见光RGB图像在YUV通道上进行像素级的图像融合，包括：
将乘客手部的可见光RGB图像转为YUV图像后，U、V两通道的色彩信息保留，将Y通道的亮度信息进行小波变换，同时将乘客手部的近红外图像进行小波变换，将Y通道的亮度信息和乘客手部的近红外图像的小波变换结果进行融合并进行小波逆变换，获得新的Y通道的亮度信息，与保留的U、V两通道的色彩信息组成新的YUV图像，实现了在YUV通道上的图像融合。
进一步，所述步骤S3中，调用DeepSORT多目标跟踪算法进行乘客手部目标的运动跟踪，获得实时的乘客手部坐标信息，包括：
所述DeepSORT多目标跟踪算法是通过所述YOLO检测器获得检测结果，结合卡尔曼滤波器与匈牙利算法来进行跟踪，并且引入了深度学习，利用卷积神经网络提取乘客手部目标的外观特征信息，将基于马式距离的运动信息和基于最小余弦距离的外观特征信息进行加权融合，通过级联匹配的方式得到新的匹配信息；
所述DeepSORT多目标跟踪算法核心在于级联匹配过程，包括卡尔曼滤波器和匈牙利算法：
所述级联匹配中，级联匹配中卡尔曼滤波器包括预测阶段和更新阶段；
在预测阶段，所述卡尔曼滤波器根据上一次最优估计的结果，预测当前时刻的估计值，所述估计值为增强后的RGB图像帧当中乘客手部目标的轨迹位置；
所述卡尔曼滤波器的状态由以下两个变量表示：先验估计预测值
Figure BDA0003420758570000041
和先验估计误差协方差矩阵
Figure BDA0003420758570000042
计算公式如下：
Figure BDA0003420758570000043
Figure BDA0003420758570000044
其中，k-1代表前一状态的参数，k代表当前状态的参数，A为转化矩阵，B是将输入转化为状态的矩阵，u为系数输入的控制函数，Q为过程噪声的协方差矩阵；
在更新阶段，所述卡尔曼滤波器利用当前状态的观测值，来优化在预测阶段获得的预测值，并进入下一次迭代过程，处理增强后的RGB图像的下一帧图像。计算公式如下：
Figure BDA0003420758570000045
Figure BDA0003420758570000046
Figure BDA0003420758570000047
其中，K为卡尔曼增益，H为测量矩阵，R为测量噪声的协方差矩阵，z为观测向量，I为单位矩阵。
所述级联匹配中，通过匈牙利算法求解一个代价矩阵，所述代价矩阵是通过对乘客手部目标的运动信息和外观特征信息进行整合而得，所述运动信息是基于马式距离获得，所述外观特征信息基于最小余弦距离获得，通过对运动信息和外观特征信息进行加权融合来关联匹配检测框与跟踪框的信息，得出匹配结果。
采用了上述技术方案，本发明在左右两侧各排布多达9颗LED的矩阵光源阵列，大幅提升了照明效果；同时在左右LED矩阵阵列的中间放置两颗摄像头，分别是可见光RGB摄像头和近红外摄像头，用于捕捉乘客的手部图像。通过图像融合算法、手部目标检测算法及多目标跟踪算法，可以高效地实现灯光随着人手移动而不断追踪的交互效果。这样的设计可以使乘客在读书看报及寻物时，灯光实时对人手做出针对性的追踪，而其他区域不会被点亮，不影响身边乘客休息
附图说明
图1为本发明的一种灯光追踪人手的矩阵阅读灯的系统原理框图；
图2为本发明的一种灯光追踪人手的矩阵阅读灯的控制方法的算法流程图；
图3为本发明的图像融合过程图；
图4为本发明的DeepSort多目标跟踪算法的流程图；
图5为本发明的矩阵LED模块排布及摄像头模块的布局图；
图6为本发明的矩阵阅读灯的安装位置示意图。
具体实施方式
为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明。
实施例一
如图1所示，本实施例提供一种灯光追踪人手的矩阵阅读灯7，它包括摄像头模块、图像处理模块、矩阵阅读灯控制模块和矩阵LED模块，摄像头模块与图像处理模块的输入端相连，图像处理模块的输出端与矩阵阅读灯控制模块的输入端相连，矩阵阅读灯控制模块的输出端与矩阵LED模块相连。
如图5、6所示，本实施例的摄像头模块包括可见光RGB摄像头1、近红外摄像头2和近红外补光LED3，可见光RGB摄像头1用于采集乘客手部的可见光RGB图像，近红外摄像头2用于采集乘客手部的近红外图像，近红外补光LED3用于为近红外摄像头2进行补光。
如图1所示，本实施例的可见光RGB摄像头1的输出端和近红外摄像头2的输出端均与图像处理模块的输入端相连。图像处理模块负责图像融合算法、手部目标检测算法及多目标跟踪算法的实现，首先接收摄像头模块采集到的原始图像信息，对可见光RGB图像和近红外图像进行图像融合，然后采用YOLO检测器和DeepSORT多目标跟踪算法，实现对车内乘客手部位置坐标的实时计算，最后将位置坐标信息通过CAN总线发送给矩阵阅读灯控制模块。图像处理模块所用的处理芯片为拥有高算力的AI处理芯片，可以是但不限于英伟达Xavier系列芯片、地平线J2/J3系列芯片等。
如图5所示，本实施例的矩阵LED模块包括左LED矩阵阵列4和右LED矩阵阵列5，每侧的LED矩阵阵列排布9颗LED灯6，可根据实际需要增加LED灯6颗数，每颗LED灯6对应照射不同的区域，通过控制不同的LED灯6点亮或关闭，可以实现不同的区域被点亮。矩阵阅读灯控制模块根据接收到的CAN指令解析出实时的手部坐标，而后分析出负责点亮该区域的LED灯6是哪几颗，从而控制对应的LED灯6点亮，其他LED不点亮。实现的效果是车内乘客手部所在的区域被点亮，其他区域不被点亮。矩阵阅读灯控制模块使用的恒流驱动芯片为TI的TLC5C6724，最多支持24路恒流LED输出。
实施例二
如图2所示，本实施例提供一种灯光追踪人手的矩阵阅读灯的控制方法，它包括：
步骤S1、导入可见光RGB摄像头1采集的乘客手部的可见光RGB图像，将可见光RGB图像在YUV通道上进行展开，YUV色彩空间分别保存了图像的亮度和色彩信息，Y通道为亮度，U、V通道为色彩；同时打开近红外补光LED3，导入近红外摄像头2采集的乘客手部的近红外图像，并对乘客手部的近红外图像使用SURF特征实现图像配准，由于可见光RGB摄像头1和近红外摄像头2安装的位置与角度存在偏差，所以需要先对两图像实施图像特征点配准，才能实现准确的图像融合；
步骤S2、考虑使用的环境包括日间和夜间，为提升夜间或者低照度下目标的可识别度，将图像配准后的乘客手部的近红外图像与可见光RGB图像在YUV通道上进行像素级的图像融合，以达到互相补偿的目的，完成图像融合后将YUV图像转换为RGB图像；
步骤S3、此时判断车内环境是否为夜间环境，如果为夜间环境，则通过对比度拉伸的方法对步骤S2中融合转换后的RGB图像进行RGB图像增强，然后将增强后的RGB图像裁剪为640*640的分辨率并输入到YOLO检测器中进行手部目标的检测，同时调用DeepSORT多目标跟踪算法进行乘客手部目标的运动跟踪，获得实时的乘客手部坐标信息，通过CAN总线将坐标信息发送至矩阵阅读灯控制模块，由矩阵阅读灯控制模块控制乘客手部所在区域对应的LED灯6点亮。其中，YOLO检测器采用YOLOv5目标检测算法。
如图2所示，本实施例的步骤S1中，对乘客手部的近红外图像使用SURF特征实现图像配准，包括：
为了提升特征匹配的准确性，拿光照条件好的可见光RGB图像和近红外图像做SURF特征点检测，求得透视变换矩阵，透视变换矩阵代表可见光RGB摄像头1和近红外摄像头2之间的关系，因为两个摄像头之间存在光轴差，透视变换矩阵可以消除光轴差带来的影响。后续近红外摄像头2采集到新的近红外图像，直接通过透视变换矩阵转化，进行图像配准，就可以和新的可见光RGB图像进行融合。
步骤S11、在日间光照好的条件下，将乘客手部的近红外图像结合可见光RGB图像进行SURF特征点检测及特征点匹配，获取近红外图像和可见光RGB图像之间的透视变换矩阵；
步骤S12、近红外摄像头2后续采集的乘客手部的近红外图像，则通过透视变换矩阵进行转化，完成图像配准。
在本实施例的步骤S11中，将乘客手部的近红外图像结合可见光RGB图像进行SURF特征点检测及特征点匹配，获取近红外图像和可见光RGB图像之间的透视变换矩阵，包括：
步骤S111、通过Hessian矩阵分别获取乘客手部的近红外图像和可见光RGB图像的SURF特征点，乘客手部的近红外图像和可见光RGB图像中每个像素的p(x,y)在图像金字塔不同尺度σ下的Hsssian矩阵为：
Figure BDA0003420758570000072
其中，Lxx(x,y,σ)为二维高斯函数核函数对x的二阶偏导
Figure BDA0003420758570000071
Lxy(x,y,σ)为二维高斯函数核函数对x和y的二阶混合偏导，Lyy(x,y,σ)为二维高斯函数核函数对y的二阶偏导；
步骤S112、乘客手部的近红外图像和可见光RGB图像的SURF特征点采集完成后，建立一个基准可见光RGB图像的特征点数据库，由于实际图像容易受到光线、噪声影响导致像素迁移，从而产生额外的多余特征点，所以使用FLANN快速最近邻搜索方法对需配准的近红外图像的每个SURF特征点在基准可见光RGB图像的特征点数据库中进行逐个匹配，匹配过程包括：
根据乘客手部的近红外图像的SURF特征点的欧氏距离，在基准可见光RGB图像的特征点数据库中寻找最近邻距离和次近邻距离特征点，若最近邻距离或次近邻距离大于某一阙值，则特征匹配成功；
步骤S113、采用单应性变换的透视方法，对乘客手部的近红外图像按照基准可见光RGB图像进行配准，获取近红外图像和可见光RGB图像之间的透视变换矩阵，透视变换矩阵为：
Figure BDA0003420758570000081
其中，(x,y)为乘客手部的近红外图像特征点的位置，(x’,y’)为配准后乘客手部的近红外图像的位置，s为尺度参数；
其中，
Figure BDA0003420758570000082
为单应性矩阵，h33一般设为1，求解该矩阵至少需要4个特征点，采用RANSAC算法计算单应性矩阵H，包括：
从基准可见光RGB图像的特征点数据库中随机抽出4个不共线的样本，然后利用初步计算结果测试所有需配准数据，得到配准数据与基准数据误差，多次选择直到选中误差最小的结果；
通过上述方法，可以获得阅读灯上可见光RGB摄像头1与近红外摄像头2采集的图像间的透视变换矩阵。
获取透视变换矩阵后，导入每一帧的乘客手部的近红外图像，计算乘客手部的近红外图像的SURF特征点，然后使用透视变换矩阵进行特征点的配准，配准后的近红外图像可以消除与可见光RGB图像的位置及角度偏差。
如图3所示，本实施例的步骤S2中，将图像配准后的乘客手部的近红外图像与可见光RGB图像在YUV通道上进行像素级的图像融合，包括：
将乘客手部的可见光RGB图像转为YUV图像后，U、V两通道的色彩信息保留，将Y通道的亮度信息进行小波变换，同时将乘客手部的近红外图像进行小波变换，将Y通道的亮度信息和乘客手部的近红外图像的小波变换结果进行融合并进行小波逆变换，获得新的Y通道的亮度信息，与保留的U、V两通道的色彩信息组成新的YUV图像，实现了在YUV通道上的图像融合。
如图4所示，本实施例的步骤S3中，调用DeepSORT多目标跟踪算法进行乘客手部目标的运动跟踪，获得实时的乘客手部坐标信息，包括：
DeepSORT多目标跟踪算法是通过YOLO检测器获得检测结果，结合卡尔曼滤波器与匈牙利算法来进行跟踪，并且引入了深度学习，利用卷积神经网络提取乘客手部目标的外观特征信息，将基于马式距离的运动信息和基于最小余弦距离的外观特征信息进行加权融合，通过级联匹配的方式得到新的匹配信息。DeepSORT多目标跟踪算法具有速度快、计算资源消耗小的优点，并且解决了较长时间遮挡的目标跟踪难题，减少了ID的频繁切换，使得跟踪效果大大提升。
DeepSORT多目标跟踪算法核心在于级联匹配过程，级联匹配中，卡尔曼滤波器包括预测阶段和更新阶段；
在预测阶段，卡尔曼滤波器根据上一次最优估计的结果，预测当前时刻的估计值，估计值为增强后的RGB图像帧当中乘客手部目标的轨迹位置；
卡尔曼滤波器的状态由以下两个变量表示：先验估计预测值
Figure BDA0003420758570000091
和先验估计误差协方差矩阵
Figure BDA0003420758570000092
计算公式如下：
Figure BDA0003420758570000093
Figure BDA0003420758570000094
其中，k-1代表前一状态的参数，k代表当前状态的参数，A为转化矩阵，B是将输入转化为状态的矩阵，u为系数输入的控制函数，Q为过程噪声的协方差矩阵；
在更新阶段，卡尔曼滤波器利用当前状态的观测值，来优化在预测阶段获得的预测值，并进入下一次迭代过程，处理增强后的RGB图像的下一帧图像。计算公式如下：
Figure BDA0003420758570000095
Figure BDA0003420758570000096
Figure BDA0003420758570000097
其中，K为卡尔曼增益，H为测量矩阵，R为测量噪声的协方差矩阵，z为观测向量，I为单位矩阵。
级联匹配中，通过匈牙利算法求解一个代价矩阵，代价矩阵是通过对乘客手部目标的运动信息和外观特征信息进行整合而得，运动信息是基于马式距离获得，外观特征信息基于最小余弦距离获得，通过对运动信息和外观特征信息进行加权融合来关联匹配检测框与跟踪框的信息，得出匹配结果。
以上的具体实施例，对本发明解决的技术问题、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种灯光追踪人手的矩阵阅读灯，其特征在于：它包括摄像头模块、图像处理模块、矩阵阅读灯控制模块和矩阵LED模块，所述摄像头模块与图像处理模块的输入端相连，所述图像处理模块的输出端与矩阵阅读灯控制模块的输入端相连，所述矩阵阅读灯控制模块的输出端与矩阵LED模块相连。
2.根据权利要求1所述的一种灯光追踪人手的矩阵阅读灯，其特征在于，所述摄像头模块包括：
可见光RGB摄像头(1)，所述可见光RGB摄像头(1)用于采集乘客手部的可见光RGB图像；
近红外摄像头(2)，所述近红外摄像头(2)用于采集乘客手部的近红外图像；
近红外补光LED(3)，所述近红外补光LED(3)用于为近红外摄像头(2)进行补光。
3.根据权利要求2所述的一种灯光追踪人手的矩阵阅读灯，其特征在于：所述可见光RGB摄像头(1)的输出端和近红外摄像头(2)的输出端均与所述图像处理模块的输入端相连。
4.根据权利要求1所述的一种灯光追踪人手的矩阵阅读灯，其特征在于：
所述矩阵LED模块包括左LED矩阵阵列(4)和右LED矩阵阵列(5)，所述左LED矩阵阵列(4)和右LED矩阵阵列(5)中分别排布多颗LED灯(6)；
所述矩阵阅读灯控制模块用于控制不同位置的LED灯(6)点亮或关闭。
5.一种灯光追踪人手的矩阵阅读灯的控制方法，其特征在于，它包括：
步骤S1、导入可见光RGB摄像头(1)采集的乘客手部的可见光RGB图像，将可见光RGB图像在YUV通道上进行展开，YUV色彩空间分别保存了图像的Y通道亮度和U、V通道色彩信息；同时打开近红外补光LED(3)，导入近红外摄像头(2)采集的乘客手部的近红外图像，并对所述乘客手部的近红外图像使用SURF特征实现图像配准；
步骤S2、将图像配准后的乘客手部的近红外图像与可见光RGB图像在YUV通道上进行像素级的图像融合，完成图像融合后将YUV图像转换为RGB图像；
步骤S3、此时判断车内环境是否为夜间环境，如果为夜间环境，则通过对比度拉伸的方法对步骤S2中融合转换后的RGB图像进行RGB图像增强，然后将增强后的RGB图像裁剪为640*640的分辨率并输入到YOLO检测器中进行手部目标的检测，将检测结果传入DeepSORT多目标跟踪算法中进行乘客手部目标的运动跟踪，获得实时的乘客手部坐标信息，最后通过CAN总线将坐标信息发送至矩阵阅读灯控制模块，由所述矩阵阅读灯控制模块控制乘客手部所在区域对应的LED灯(6)点亮。
6.根据权利要求5所述的一种灯光追踪人手的矩阵阅读灯的控制方法，其特征在于，所述步骤S1中，对所述乘客手部的近红外图像使用SURF特征实现图像配准，包括：
步骤S11、在日间光照好的条件下，将乘客手部的近红外图像结合可见光RGB图像进行SURF特征点检测及特征点匹配，获取近红外图像和可见光RGB图像之间的透视变换矩阵；
步骤S12、所述近红外摄像头(2)后续采集的乘客手部的近红外图像，则通过所述透视变换矩阵进行转化，完成图像配准。
7.根据权利要求6所述的一种灯光追踪人手的矩阵阅读灯，其特征在于，所述步骤S11中，将乘客手部的近红外图像结合可见光RGB图像进行SURF特征点检测及特征点匹配，获取近红外图像和可见光RGB图像之间的透视变换矩阵，包括：
步骤S111、通过Hessian矩阵分别获取乘客手部的近红外图像和可见光RGB图像的SURF特征点，所述乘客手部的近红外图像和可见光RGB图像中每个像素的p(x,y)在图像金字塔不同尺度σ下的Hsssian矩阵为：
Figure FDA0003420758560000021
其中，Lxx(x,y,σ)为二维高斯函数核函数对x的二阶偏导
Figure FDA0003420758560000022
Lxy(x,y,σ)为二维高斯函数核函数对x和y的二阶混合偏导，Lyy(x,y,σ)为二维高斯函数核函数对y的二阶偏导；
步骤S112、所述乘客手部的近红外图像和可见光RGB图像的SURF特征点采集完成后，建立一个基准可见光RGB图像的特征点数据库，使用FLANN快速最近邻搜索方法对需配准的近红外图像的每个SURF特征点在基准可见光RGB图像的特征点数据库中进行逐个匹配，匹配过程包括：
根据所述乘客手部的近红外图像的SURF特征点的欧氏距离，在所述基准可见光RGB图像的特征点数据库中寻找最近邻距离和次近邻距离特征点，若最近邻距离或次近邻距离大于某一阙值，则特征匹配成功；
步骤S113、采用单应性变换的透视方法，对所述乘客手部的近红外图像按照基准可见光RGB图像进行配准，获取近红外图像和可见光RGB图像之间的透视变换矩阵，所述透视变换矩阵为：
Figure FDA0003420758560000031
其中，(x,y)为乘客手部的近红外图像特征点的位置，(x’,y’)为配准后乘客手部的近红外图像的位置，s为尺度参数；
其中，
Figure FDA0003420758560000032
为单应性矩阵，h33一般设为1，求解该矩阵至少需要4个特征点，采用RANSAC算法计算单应性矩阵H，包括：
从所述基准可见光RGB图像的特征点数据库中随机抽出4个不共线的样本，然后利用初步计算结果测试所有需配准数据，得到配准数据与基准数据误差，多次选择直到选中误差最小的结果；
获取所述透视变换矩阵后，导入每一帧的乘客手部的近红外图像，计算乘客手部的近红外图像的SURF特征点，然后使用透视变换矩阵进行特征点的配准。
8.根据权利要求5所述的一种灯光追踪人手的矩阵阅读灯，其特征在于，步骤S2中，将图像配准后的乘客手部的近红外图像与可见光RGB图像在YUV通道上进行像素级的图像融合，包括：
将乘客手部的可见光RGB图像转为YUV图像后，U、V两通道的色彩信息保留，将Y通道的亮度信息进行小波变换，同时将乘客手部的近红外图像进行小波变换，将Y通道的亮度信息和乘客手部的近红外图像的小波变换结果进行融合并进行小波逆变换，获得新的Y通道的亮度信息，与保留的U、V两通道的色彩信息组成新的YUV图像，实现了在YUV通道上的图像融合。
9.根据权利要求5所述的一种灯光追踪人手的矩阵阅读灯，其特征在于，所述步骤S3中，调用DeepSORT多目标跟踪算法进行乘客手部目标的运动跟踪，获得实时的乘客手部坐标信息，包括：
所述DeepSORT多目标跟踪算法是通过所述YOLO检测器获得检测结果，结合卡尔曼滤波器与匈牙利算法来进行跟踪，并且引入了深度学习，利用卷积神经网络提取乘客手部目标的外观特征信息，将基于马式距离的运动信息和基于最小余弦距离的外观特征信息进行加权融合，通过级联匹配的方式得到新的匹配信息；
所述级联匹配中，所述卡尔曼滤波器包括预测阶段和更新阶段；
在预测阶段，所述卡尔曼滤波器根据上一次最优估计的结果，预测当前时刻的估计值，所述估计值为增强后的RGB图像帧当中乘客手部目标的轨迹位置；
所述卡尔曼滤波器的状态由以下两个变量表示：先验估计预测值
Figure FDA0003420758560000033
和先验估计误差协方差矩阵Pk -，计算公式如下：
Figure FDA0003420758560000041
Pk -＝APk-1AT+Q；
其中，k-1代表前一状态的参数，k代表当前状态的参数，A为转化矩阵，B是将输入转化为状态的矩阵，u为系数输入的控制函数，Q为过程噪声的协方差矩阵；
在更新阶段，所述卡尔曼滤波器利用当前状态的观测值，来优化在预测阶段获得的预测值，并进入下一次迭代过程，处理增强后的RGB图像的下一帧图像。计算公式如下：
Figure FDA0003420758560000042
Figure FDA0003420758560000043
Figure FDA0003420758560000044
其中，K为卡尔曼增益，H为测量矩阵，R为测量噪声的协方差矩阵，z为观测向量，I为单位矩阵。
所述级联匹配中，通过匈牙利算法求解一个代价矩阵，所述代价矩阵是通过对乘客手部目标的运动信息和外观特征信息进行整合而得，所述运动信息是基于马式距离获得，所述外观特征信息基于最小余弦距离获得，通过对运动信息和外观特征信息进行加权融合来关联匹配检测框与跟踪框的信息，得出匹配结果。
CN202111562444.0A 2021-12-20 2021-12-20 一种灯光追踪人手的矩阵阅读灯及其控制方法 Pending CN114092523A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111562444.0A CN114092523A (zh) 2021-12-20 2021-12-20 一种灯光追踪人手的矩阵阅读灯及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111562444.0A CN114092523A (zh) 2021-12-20 2021-12-20 一种灯光追踪人手的矩阵阅读灯及其控制方法

Publications (1)

Publication Number Publication Date
CN114092523A true CN114092523A (zh) 2022-02-25

Family

ID=80307687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111562444.0A Pending CN114092523A (zh) 2021-12-20 2021-12-20 一种灯光追踪人手的矩阵阅读灯及其控制方法

Country Status (1)

Country Link
CN (1) CN114092523A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663743A (zh) * 2012-03-23 2012-09-12 西安电子科技大学 一种复杂场景中多摄影机协同的人物追踪方法
CN103400380A (zh) * 2013-07-25 2013-11-20 河海大学 融合图像矩阵偏移的单摄像机水下目标三维轨迹模拟方法
CN103679677A (zh) * 2013-12-12 2014-03-26 杭州电子科技大学 一种基于模型互更新的双模图像决策级融合跟踪方法
US20160019421A1 (en) * 2014-07-15 2016-01-21 Qualcomm Incorporated Multispectral eye analysis for identity authentication
CN106875431A (zh) * 2017-02-10 2017-06-20 深圳前海大造科技有限公司 具有移动预测的图像追踪方法及扩增实境实现方法
CN108198221A (zh) * 2018-01-23 2018-06-22 平顶山学院 一种基于肢体动作的舞台灯光自动跟踪系统及方法
CN110766720A (zh) * 2019-09-23 2020-02-07 盐城吉大智能终端产业研究院有限公司 一种基于深度学习的多摄像头车辆跟踪系统
CN112561845A (zh) * 2020-12-21 2021-03-26 阜阳强松航空科技有限公司 基于红外和可见光融合的长期跟踪方法
CN112954292A (zh) * 2021-01-26 2021-06-11 北京航天创智科技有限公司 一种基于增强现实的数字博物馆导览系统和方法
WO2021120408A1 (zh) * 2019-12-17 2021-06-24 大连理工大学 一种基于双层优化的红外和可见光融合方法
CN216352395U (zh) * 2021-12-20 2022-04-19 常州星宇车灯股份有限公司 一种灯光追踪人手的矩阵阅读灯

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663743A (zh) * 2012-03-23 2012-09-12 西安电子科技大学 一种复杂场景中多摄影机协同的人物追踪方法
CN103400380A (zh) * 2013-07-25 2013-11-20 河海大学 融合图像矩阵偏移的单摄像机水下目标三维轨迹模拟方法
CN103679677A (zh) * 2013-12-12 2014-03-26 杭州电子科技大学 一种基于模型互更新的双模图像决策级融合跟踪方法
US20160019421A1 (en) * 2014-07-15 2016-01-21 Qualcomm Incorporated Multispectral eye analysis for identity authentication
CN106875431A (zh) * 2017-02-10 2017-06-20 深圳前海大造科技有限公司 具有移动预测的图像追踪方法及扩增实境实现方法
CN108198221A (zh) * 2018-01-23 2018-06-22 平顶山学院 一种基于肢体动作的舞台灯光自动跟踪系统及方法
CN110766720A (zh) * 2019-09-23 2020-02-07 盐城吉大智能终端产业研究院有限公司 一种基于深度学习的多摄像头车辆跟踪系统
WO2021120408A1 (zh) * 2019-12-17 2021-06-24 大连理工大学 一种基于双层优化的红外和可见光融合方法
CN112561845A (zh) * 2020-12-21 2021-03-26 阜阳强松航空科技有限公司 基于红外和可见光融合的长期跟踪方法
CN112954292A (zh) * 2021-01-26 2021-06-11 北京航天创智科技有限公司 一种基于增强现实的数字博物馆导览系统和方法
CN216352395U (zh) * 2021-12-20 2022-04-19 常州星宇车灯股份有限公司 一种灯光追踪人手的矩阵阅读灯

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
欧阳格;王家序;徐超;邹凯;: "无标定视觉伺服系统在灵巧手抓取目标时的应用", 机械工程与自动化, no. 06, 15 December 2012 (2012-12-15) *

Similar Documents

Publication Publication Date Title
CN110175576B (zh) 一种结合激光点云数据的行驶车辆视觉检测方法
CN110598654B (zh) 多粒度交叉模态特征融合行人再识别方法和再识别系统
CN105046196B (zh) 基于级联卷积神经网络的前车车辆信息结构化输出方法
US10445602B2 (en) Apparatus and method for recognizing traffic signs
CN108062569B (zh) 一种基于红外和雷达的无人车驾驶决策方法
CN109583345B (zh) 道路识别方法、装置、计算机装置及计算机可读存储介质
Anishiya et al. Number plate recognition for indian cars using morphological dilation and erosion with the aid of ocrs
CN107506760A (zh) 基于gps定位与视觉图像处理的交通信号检测方法及系统
CN110119726A (zh) 一种基于YOLOv3模型的车辆品牌多角度识别方法
CN113920097B (zh) 一种基于多源图像的电力设备状态检测方法及系统
CN111965636A (zh) 一种基于毫米波雷达和视觉融合的夜间目标检测方法
CN107038442A (zh) 一种基于深度学习的车牌检测和整体识别方法
CN115311241B (zh) 一种基于图像融合和特征增强的煤矿井下行人检测方法
Liu et al. Multi-type road marking recognition using adaboost detection and extreme learning machine classification
CN104915642A (zh) 前方车辆测距方法及装置
Kale et al. A road sign detection and the recognition for driver assistance systems
CN116704273A (zh) 一种自适应红外可见光双模融合检测方法
CN111462140A (zh) 一种基于区块拼接的实时图像实例分割方法
CN110837769B (zh) 一种图像处理与深度学习的嵌入式远红外行人检测方法
CN115170792A (zh) 红外图像处理方法、装置及设备、存储介质
CN107045630B (zh) 一种基于rgbd的行人检测和身份识别方法及系统
CN112528994A (zh) 一种自由角度车牌检测方法、车牌识别方法和识别系统
CN112581502A (zh) 一种基于孪生网络的目标跟踪方法
CN116721398A (zh) 一种基于跨阶段路由注意力模块和残差信息融合模块的Yolov5目标检测方法
CN114092523A (zh) 一种灯光追踪人手的矩阵阅读灯及其控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination