CN110309715B - 基于深度学习的灯具识别的室内定位方法、装置及系统 - Google Patents
基于深度学习的灯具识别的室内定位方法、装置及系统 Download PDFInfo
- Publication number
- CN110309715B CN110309715B CN201910429230.2A CN201910429230A CN110309715B CN 110309715 B CN110309715 B CN 110309715B CN 201910429230 A CN201910429230 A CN 201910429230A CN 110309715 B CN110309715 B CN 110309715B
- Authority
- CN
- China
- Prior art keywords
- image
- reference image
- brightness
- processed
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000013135 deep learning Methods 0.000 title claims abstract description 36
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 77
- 125000001475 halogen functional group Chemical group 0.000 claims abstract description 40
- 238000007781 pre-processing Methods 0.000 claims abstract description 30
- 230000006870 function Effects 0.000 claims description 36
- 238000012549 training Methods 0.000 claims description 36
- 238000003384 imaging method Methods 0.000 claims description 32
- 238000000605 extraction Methods 0.000 claims description 30
- 239000011159 matrix material Substances 0.000 claims description 30
- 238000013528 artificial neural network Methods 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 19
- 238000010606 normalization Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 3
- 241001465382 Physalis alkekengi Species 0.000 claims 2
- 238000004891 communication Methods 0.000 description 24
- 238000004590 computer program Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000000717 retained effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000000737 periodic effect Effects 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000005316 response function Methods 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/36—Indoor scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供了一种基于深度学习的灯具识别的室内定位方法、装置与系统,所述方法包括:客户端获取待识别的包含可见光特征信息的第一图像,并对所述第一图像依次进行光晕及亮度补偿预处理,得到第二图像,将所述第二图像发送至服务器;服务器接收客户端发送的第二图像,将所述第二图像输入预先训练的卷积神经网络中,得到所述第二图像对应的分类结果,并将所述分类结果与数据库中预先存储的类别信息匹配,当所述分类结果与所述类别信息匹配成功时,将所匹配的类别信息对应的位置信息发送至客户端;客户端接收服务器返回的位置信息,并根据所述位置信息进行定位。本发明实施例,能够提高可见光特征识别的准确性,进一步提高定位的准确性。
Description
技术领域
本发明涉及室内定位技术领域,特别是涉及一种基于深度学习的灯具识别的室内定位方法、装置与系统。
背景技术
随着科学技术的进步,定位技术在备受关注的同时发展迅速。精准的室内定位技术可以广泛的服务于人类,为人类生活带来巨大的影响,如零售商店的用户导航和定向广告,移动增强现实游戏,医院自动化物流等。
现有VLP(visible light positioning,可见光定位)技术为:将可见光作为传输信号,在接收到包含该信号的信息之后,识别该信息中的可见光特征,进而将识别的结果进行数据匹配,以实现基于可见光的定位。目前可应用于VLP技术中进行可见光识别的方法为:美国加州大学圣地亚哥分校推出的iLAMP方法,人工设计一种称为SRP(SpaceRadiation Pattern,空间辐射模式)的特征识别算法来区分不同灯,SRP从统计学上描述了光在物体上的辐射分布,该方法制作成本低,易于部署。
但SRP在实际应用中,特征识别能力不足,无法识别许多灯具模型,如没有栅格的FLs(flsorescence,荧光灯),小的圆形LED灯等。此外,SRP的该特性会被相机伪影严重扭曲,比如:JPEG(Joint Photographic Experts Group,联合图像专家组)压缩和传感器轻微的方向变化,此处的传感器可以是手机摄像头等。该SRP使得特征识别的准确性较低,进而影响定位的准确性。
发明内容
本发明实施例的目的在于提供一种基于深度学习的灯具识别的室内定位方法、装置及系统,以提高可见光特征识别的准确性,进一步提高定位的准确性。具体技术方案如下:
第一方面,本发明实施例提供了一种基于深度学习的灯具识别的室内定位方法,应用于客户端,所述方法包括:
获取待识别的包含可见光特征信息的第一图像,所述第一图像包括:第一基准图像和第一非基准图像;所述第一基准图像为使用基准成像设备所拍摄得到的图像,所述第一非基准图像为使用非基准成像设备所拍摄得到的图像;
对所述第一图像依次进行光晕及亮度补偿预处理,得到第二图像;
将所述第二图像发送至服务器,以使所述服务器返回针对所述第二图像的位置信息;
接收所述服务器返回的所述位置信息,并根据所述位置信息进行定位。
可选地,所述对所述第一图像依次进行光晕及亮度补偿预处理,得到第二图像的步骤,包括:
基于预设的第二基准图像,对所述第一图像进行光晕补偿,得到第三基准图像和第二非基准图像;
将所述第二非基准图像的亮度均值,与所述第三基准图像的亮度均值的比值,确定为伽马补偿的伽马参数值;
利用第一预设表达式,对所述第二非基准图像进行伽马补偿,得到第三非基准图像;
分别计算所述第三非基准图像对应的RGB三通道的每一通道的亮度均值,以及所述第三基准图像对应的RGB三通道的每一通道的亮度均值;
针对RGB三通道的每一通道,计算该通道下所述第三非基准图像的亮度均值与所述第三基准图像的亮度均值的比值,将所得比值作为第一比值;
针对所述第三非基准图像,将该图像在RGB三个通道下各通道的亮度值分别与所述第一比值相乘,得到处理后的第三非基准图像;
判断所述处理后的第三非基准图像的最大亮度值是否在预设数组中;
如果所述处理后的第三非基准图像的最大亮度值在预设数组中,则将所述处理后的第三非基准图像确定为第二图像;
如果所述处理后的第三非基准图像的最大亮度值不在预设数组中,则利用第二预设表达式,对所述处理后的第三非基准图像进行亮度归一化处理,得到第二图像。
可选地,所述第一预设表达式为:
式中,Gout表示伽马补偿后所述第三非基准图像的像素值,Gin表示伽马补偿前所述第二非基准图像的像素值,c表示预设的常数值,γ表示伽马补偿的伽马参数值;
所述第二预设表达式为:
式中,Vout为亮度归一化处理后第二图像的颜色矩阵,Bin为处理后的第三非基准图像的颜色矩阵,minBin为处理后的第三非基准图像颜色矩阵中的最小值,maxBin为处理后的第三非基准图像颜色矩阵中的最大值,maxAin为第三基准图像颜色矩阵中的最大值,minAin为第三基准图像颜色矩阵中的最小值,所述颜色矩阵中包含的元素为:RGB三个通道下各通道的亮度值。
第二方面,本发明实施例提供了一种基于深度学习的灯具识别的室内定位方法,应用于服务器,所述方法包括:
接收客户端发送的第二图像;
将所述第二图像输入预先训练的卷积神经网络中,得到所述第二图像对应的分类结果;所述卷积神经网络,是根据循环生成对抗网络所生成的第一样本图像、所述第一样本图像对应的类别标签、各第一样本图像对应的标准样本图像、以及所述标准样本图像对应的类别标签训练得到的;
将所述分类结果与数据库中预先存储的类别信息匹配,不同的所述类别信息用于标识不同的位置信息,所述位置信息中携带有定位参数;
当所述分类结果与所述类别信息匹配成功时,将所匹配的类别信息对应的位置信息发送至所述客户端,以使所述客户端根据所述位置信息进行定位。
可选地,所述卷积神经网络的训练过程,包括:
构建初始卷积神经网络;其中,所述初始卷积神经网络包括:第一特征提取模块,多个残差模块、第二特征提取模块和分类器;所述第一特征提取模块包括:第一卷积层、第一批量归一化BN层和第一非线性单元激活函数ReLU层;所述残差模块包括:第二卷积层、第二BN层和第二ReLU层;所述第二特征提取模块包括:第三卷积层、第三BN层、第三ReLU层、第一全局平均池化GAP层、第一全连接FC层;
获取第一样本图像,以及所述第一样本图像对应的类别标签;
将所述第一样本图像,以及所述第一样本图像对应的类别标签,输入所述初始卷积神经网络;
利用所述初始卷积神经网络,得到各所述第一样本图像对应的分类结果;
基于所述分类结果与所述标准样本图像对应的类别标签的差异,计算损失函数;
对损失函数进行最小化处理,得到最小化损失函数;
根据最小化损失函数,确定初始卷积神经网络中各模块的权重参数;
基于所述权重参数对所述初始卷积神经网络中的参数进行更新,训练得到所述卷积神经网络。
可选地,在接收客户端发送的第二图像之前,所述方法还包括:
利用预先训练好的循环生成对抗网络生成第一样本图像。
可选地,所述利用预先训练好的循环生成对抗网络生成第一样本图像的步骤,包括:
获取不同方向的包含可见光特征信息的第三图像和第四图像;
将所述第三图像和所述第四图像分别输入预先训练好的循环生成对抗网络,分别得到第一预测图像和第二预测图像,所述循环生成对抗网络包括两个并行的子神经网络,两个并行的子神经网络用于分别处理所述第三图像和第四图像;
将所述第一预测图像和所述第二预测图像确定为第一样本图像。
第三方面,本发明实施例提供了一种基于深度学习的灯具识别的室内定位装置,应用于客户端,所述装置包括:
获取模块,用于获取待识别的包含可见光特征信息的第一图像,所述第一图像包括:第一基准图像和第一非基准图像;所述第一基准图像为使用基准成像设备所拍摄得到的图像,所述第一非基准图像为使用非基准成像设备所拍摄得到的图像;
预处理模块,用于对所述第一图像依次进行光晕及亮度补偿预处理,得到第二图像;
发送模块,用于将所述第二图像发送至服务器,以使所述服务器返回针对所述第二图像的位置信息;
第一定位模块,用于接收所述服务器返回的所述位置信息,并根据所述位置信息进行定位。
第四方面,本发明实施例提供了一种基于深度学习的灯具识别的室内定位装置,应用于服务器,所述装置包括:
接收模块,用于接收客户端发送的第二图像;
获得模块,用于将所述第二图像输入预先训练的卷积神经网络中,得到所述第二图像对应的分类结果;所述卷积神经网络,是根据循环生成对抗网络所生成的第一样本图像、所述第一样本图像对应的类别标签、各第一样本图像对应的标准样本图像、以及所述标准样本图像对应的类别标签训练得到的;
匹配模块,用于将所述分类结果与数据库中预先存储的类别信息匹配,不同的所述类别信息用于标识不同的位置信息,所述位置信息中携带有定位参数;
第二定位模块,用于当所述分类结果与所述类别信息匹配成功时,将所匹配的类别信息对应的位置信息发送至所述客户端,以使所述客户端根据所述位置信息进行定位。
第五方面,本发明实施例提供了一种基于深度学习的灯具识别的室内定位系统,所述系统包括:客户端和服务器,所述客户端和所述服务器通过网络连接;
所述客户端,用于获取待识别的包含可见光特征信息的第一图像,对所述第一图像依次进行光晕及亮度补偿预处理,得到第二图像,将所述第二图像发送至服务器;
所述服务器,用于接收客户端发送的第二图像,将所述第二图像输入预先训练的卷积神经网络中,得到所述第二图像对应的分类结果,并将所述分类结果与数据库中预先存储的类别信息匹配,当所述分类结果与所述类别信息匹配成功时,将所匹配的类别信息对应的位置信息发送至所述客户端;其中不同的所述类别信息用于标识不同的位置信息,所述位置信息中携带有定位参数;所述卷积神经网络,是根据循环生成对抗网络所生成的第一样本图像、所述第一样本图像对应的类别标签、各第一样本图像对应的标准样本图像、以及所述标准样本图像对应的类别标签训练得到的;
所述客户端,还用于接收所述服务器返回的所述位置信息,并根据所述位置信息进行定位。
第六方面,本发明实施例还提供了一种客户端设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述第一方面所述的一种基于深度学习的灯具识别的室内定位方法。
第七方面,本发明实施例还提供了一种服务器设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述第二方面所述的一种基于深度学习的灯具识别的室内定位方法。
第八方面,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面所述的一种基于深度学习的灯具识别的室内定位方法。
第九方面,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第二方面所述的一种基于深度学习的灯具识别的室内定位方法。
本发明实施例有益效果:
本发明实施例提供的一种基于深度学习的灯具识别的室内定位方法、装置及系统,客户端对待识别的包含可见光特征信息的第一图像依次进行光晕及亮度补偿预处理,弥补获取图像的亮度失真现象,图像的可见光特征信息对比度强,再将预处理后的第二图像发送至服务器,当服务器返回针对第二图像的位置信息时,接收该位置信息,并根据该位置信息进行定位。本发明实施例中,客户端对所获取的图像进行光晕及亮度补偿预处理之后,弥补了所获取图像的亮度失真现象,且图像的可见光特征信息对比度强,使得服务器侧能够返回更准确的位置信息,进而提高客户端定位的准确性。
本发明实施例提供的另一种基于深度学习的灯具识别的室内定位方法、装置及系统,服务器接收客户端发送的预处理后的第二图像,将该第二图像输入预先训练好的卷积神经网络中,得到该第二图像对应的分类结果,将该分类结果与数据库中预先存储的类别信息匹配,当分类结果与类别信息匹配成功时,将所匹配的类别信息对应的位置信息发送至客户端。因卷积神经网络可以很好的提取并保留第二图像中的特征信息,可以提高图像中可见光识别的准确性,且训练该卷积神经网络的第一样本图像是通过循环生成对抗网络所生成的,相对于人工收集的样本图像,提高了样本生成效率,并且降低了成本。本发明实施例,使用卷积神经网络提取并保留第二图像中的特征信息,提高了可见光特征识别的准确性,再将分类结果与数据库中预先存储的类别信息匹配,当匹配成功时,将匹配的类别信息所对应的位置信息,确定为第二图像的定位信息,进一步提高定位的准确性。
当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的第一种基于深度学习的灯具识别的室内定位方法流程图;
图2为本发明实施例提供的一种图像预处理实施方式流程图;
图3为本发明实施例提供的第二种基于深度学习的灯具识别的室内定位方法流程图;
图4为本发明实施例提供的一种卷积神经网络结构示意图;
图5为本发明实施例提供的一种网络训练实施方式流程图;
图6为本发明实施例提供的一种残差模块结构示意图;
图7为本发明实施例提供的第三种基于深度学习的灯具识别的室内定位方法流程图;
图8为本发明实施例提供的生成样本图像实施方式流程图;
图9为本发明实施例提供的另一种网络训练实施方式流程图;
图10为本发明实施例提供的第一种基于深度学习的灯具识别的室内定位装置结构示意图;
图11为本发明实施例提供的第二种基于深度学习的灯具识别的室内定位装置结构示意图;
图12为本发明实施例提供的一种基于深度学习的灯具识别的室内定位系统信令交互示意图;
图13为本发明实施例提供的一种客户端设备的结构示意图;
图14为本发明实施例提供的一种服务器设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的第一种基于深度学习的灯具识别的室内定位方法的流程示意图,应用于客户端,如图1所示,该方法可以包括:
S101、获取待识别的包含可见光特征信息的第一图像。
客户端需要进行室内定位时,可以获取待识别的包含可见光特征信息的第一图像,该第一图像可以包括:第一基准图像和第一非基准图像。具体的,第一基准图像可以为使用基准成像设备所拍摄得到的图像,第一非基准图像可以为使用非基准成像设备所拍摄得到的图像。
示例性的,可见光特征信息可以为灯光信息,具体可以为:LED灯、荧光灯等灯光的信息,具体可见光特征信息的形式本发明实施例在此不作限定。在实际应用中,本领域技术人员可以将某一成像设备预设为基准成像设备或非基准成像设备,例如,智能手机、摄像机等可以成像的设备,本发明实施例对具体的成像设备类型不作限定。
作为本发明实施例一种可选的实施方式,待识别的包含可见光特征信息的第一图像可以是在对成像设备参数调整之后所获取的,可选的,可以对成像设备的白平衡以及对比度进行调整。
白平衡主要影响图像的成像色温,如果缺乏白平衡调整,则在较高色温时,图像整体会偏向蓝色,在低色温时,图像整体会偏向红色,而图像偏红或偏蓝都会影响对图像特征的识别。在实际应用中,大多数荧光灯和LED灯为冷光源,其色温相对一致。示例性的,可以将成像设备中的“白平衡调整”设置为“荧光”模式,使得在不同灯体发射的光束处于急剧变化的情况下,该模式也能确保图片成像颜色与人眼感知到的色彩相一致。
在实际应用中,灯体周围的背景信号会对光线信号产生噪声,该背景信号可以是被灯罩反射的杂光等,因此,需要对成像设备进行相应的调整,以减少背景信号对光线信号产生的噪声。可选的,可以调整光圈大小和曝光时间来增加背景光和灯体光的对比度。示例性的,可以将光圈大小值调整为100,使得灯体光和背景光的对比度更强;将曝光时间设定为一个较小值,使得背景部分像素变暗灯体部分保持明亮,该较小值本领域技术人员可根据实际需求进行设置,本发明实施例在此不作限定。
S102、对第一图像依次进行光晕及亮度补偿预处理,得到第二图像。
在获取到待识别的包含可见光特征信息的第一图像之后,可以对该第一图像依次进行光晕及亮度补偿预处理,进而得到第二图像,具体的对第一图像依次进行光晕及亮度补偿预处理的实现过程在下文进行详细介绍。
S103、将第二图像发送至服务器,以使服务器返回针对第二图像的位置信息。
将第一图像依次进行光晕及亮度补偿预处理之后得到的第二图像发送至服务器,以使服务器返回针对该第二图像的位置信息。
S104、接收服务器返回的位置信息,并根据位置信息进行定位。
当服务器返回针对第二图像的位置信息时,接收该位置信息,并根据该位置信息进行定位。
作为本发明实施例一种可选的实施方式,如图2所示,对第一图像依次进行光晕及亮度补偿预处理的实施方式,可以包括:
S1021、基于预设的第二基准图像,对第一图像进行光晕补偿,得到第三基准图像和第二非基准图像。
本发明实施例中,获取预设的第二基准图像,该预设的第二基准图像可以为:使用基准成像设备所拍摄的一个光照均匀的平面,且在拍摄时尽量保证成像设备的镜头与平面平行。示例性的,该光照均匀的平面可以是白色的墙壁等。
在获取预设的第二基准图像之后,可以使用如下表达式得到处理后该第二基准图像的颜色矩阵,该颜色矩阵中包含的元素可以为:RGB三个通道下各通道的亮度值子矩阵,亮度值子矩阵中包含的元素可以为:该通道下的亮度值。
式中,Xout为处理后第二基准图像的颜色矩阵,Xin为处理前第二基准图像的颜色矩阵,meanXin为处理前第二基准图像的颜色矩阵中RGB三个通道下每一通道对应像素值的均值,maxXin为处理前第二基准图像的颜色矩阵中的最大值。
针对第一图像中的第一基准图像和第一非基准图像,将第一基准图像的颜色矩阵中的元素值和第一非基准图像的颜色矩阵中的元素值,分别与处理后第二基准图像的颜色矩阵中的元素值对应相除,进行光晕补偿,得到第三基准图像和第二非基准图像。
S1022、将第二非基准图像的亮度均值,与第三基准图像的亮度均值的比值,确定为伽马补偿的伽马参数值。
计算第二非基准图像的亮度均值,以及第三基准图像的亮度均值,然后,将第二非基准图像的亮度均值,与第三基准图像的亮度均值的比值,确定为伽马补偿的伽马参数值。示例性的,计算第二非基准图像的亮度均值可以是,计算该第二非基准图像的所有亮度值的均值,计算第三基准图像的亮度均值可以是,计算该第三基准图像的所有亮度值的均值。
S1023、利用第一预设表达式,对第二非基准图像进行伽马补偿,得到第三非基准图像。
在计算得到伽马参数值之后,可以利用第一预设表达式,对第二非基准图像进行伽马补偿。该第一预设表达式可以为:
式中,Gout表示伽马补偿后第三非基准图像的像素值,Gin表示伽马补偿前第二非基准图像的像素值,c表示预设的常数值,γ表示伽马补偿的伽马参数值。示例性的,c所表示的预设的常数值可以是成像设备的厂商所设置的。
S1024、分别计算第三非基准图像对应的RGB三通道的每一通道的亮度均值,以及第三基准图像对应的RGB三通道的每一通道的亮度均值。
S1025、针对RGB三通道的每一通道,计算该通道下第三非基准图像的亮度均值与第三基准图像的亮度均值的比值,将所得比值作为第一比值。
实际应用中,在单位曝光时间下,成像设备的响应函数可以反映像素的颜色亮度与场景辐照度之间严格的非线性映射关系,该关系可以表示为:
式中,E表示图像的亮度,L表示场景辐照度,d和h分别表示成像设备镜头的直径和焦距,φ表示从光源到成像设备的光线入射角度。
对于理想的成像设备,图像的辐照度可以表示为:
I=E×t
式中,I表示图像的辐照度,t表示曝光周期。根据该表达式,在曝光时间较短的情况下,可以得到在理想成像设备下亮度值的线性关系,并可以利用它近似替代成像设备的响应函数在像素级别上的非线性差异。进一步,可以使用如下表达式计算针对RGB三通道的每一通道下,该通道第三非基准图像的亮度均值与第三基准图像的亮度均值的比值:
式中,ratioRGB表示第一比值,avgB表示第三非基准图像的亮度均值,avgA表示第三基准图像的亮度均值。
S1026、针对第三非基准图像,将该图像在RGB三个通道下各通道的亮度值分别与第一比值相乘,得到处理后的第三非基准图像。
S1027、判断处理后的第三非基准图像的最大亮度值是否在预设数组中。
针对第三非基准图像,将该第三非基准图像在RGB三个通道下各通道的亮度值分别与第一比值相乘,得到处理后的第三非基准图像,进而判断该处理后的第三非基准图像的最大亮度值是否在预设数组中,当判断结果为是时,执行步骤S1028,当判断结果为否是,执行步骤S1029。该预设数组中的元素可以为:所有第三基准图像中每一第三基准图像对应的最大亮度值。
S1028、如果处理后的第三非基准图像的最大亮度值在预设数组中,则将处理后的第三非基准图像确定为第二图像。
S1029、如果处理后的第三非基准图像的最大亮度值不在预设数组中,则利用第二预设表达式,对处理后的第三非基准图像进行亮度归一化处理,得到第二图像。
当处理后的第三非基准图像的最大亮度值不在预设数组中时,可以利用第二预设表达式,对处理后的第三非基准图像进行亮度归一化处理,该第二预设表达式可以为:
式中,Vout为亮度归一化处理后第二图像的颜色矩阵,Bin为处理后的第三非基准图像的颜色矩阵,minBin为处理后的第三非基准图像颜色矩阵中的最小值,maxBin为处理后的第三非基准图像颜色矩阵中的最大值,maxAin为第三基准图像颜色矩阵中的最大值,minAin为第三基准图像颜色矩阵中的最小值,颜色矩阵中包含的元素可以为:RGB三个通道下各通道的亮度值子矩阵,亮度值子矩阵中包含的元素可以为:该通道下的亮度值。
本发明实施例中,客户端针对待识别的包含可见光特征信息的第一图像,基于预设的第二基准图像,对该第一图像进行光晕补偿,以弥补不同成像设备所拍摄图像的亮度失真现象,进一步对光晕补偿后的图像进行伽马补偿和亮度归一化处理,对图像中亮度异常区域进行归一化处理,使得图像相邻像素之间的匹配关系可以更好的保留,以减少干扰。
本发明实施例提供的一种基于深度学习的灯具识别的室内定位方法,客户端对待识别的包含可见光特征信息的第一图像依次进行光晕及亮度补偿预处理,弥补获取图像的亮度失真现象,图像的可见光特征信息对比度强,再将预处理后的第二图像发送至服务器,当服务器返回针对第二图像的位置信息时,接收该位置信息,并根据该位置信息进行定位。本发明实施例中,客户端对所获取的图像进行光晕及亮度补偿预处理之后,弥补了所获取图像的亮度失真现象,且图像的可见光特征信息对比度强,使得服务器侧能够返回更准确的位置信息,进而提高客户端定位的准确性。
图3为本发明实施例提供的第二种基于深度学习的灯具识别的室内定位方法的流程示意图,应用于服务器,如图3所示,该方法可以包括:
S201、接收客户端发送的第二图像。
S202、将第二图像输入预先训练的卷积神经网络中,得到第二图像对应的分类结果。
本发明实施例中,服务器在接收客户端发送的第二图像之后,将该第二图像输入预先训练的卷积神经网络中,得到该第二图像对应的分类结果,如图4所示。示例性的,该分类结果可以表示为1、2、3……N等,具体分类结果的表示形式本发明实施例在此不作限定。
其中,上述的卷积神经网络,是根据循环生成对抗网络所生成的第一样本图像、第一样本图像对应的类别标签、各第一样本图像对应的标准样本图像、以及标准样本图像对应的类别标签训练得到的。
作为本发明实施例一种可选的实施方式,如图5所示,对上述卷积神经网络进行训练的实施过程,可以包括:
S2021、构建初始卷积神经网络。
作为本发明实施例一种可选的实施方式,所构建的初始卷积神经网络模型如图4所示,可以包括:第一特征提取模块,多个残差模块、第二特征提取模块和分类器。其中,第一特征提取模块可以包括:第一卷积层、第一BN(Batch Normalization,批量归一化)层和第一ReLU(Rectified Linear Unit,线性整流函数)层;残差模块可以包括:第二卷积层、第二BN层和第二ReLU层;第二特征提取模块可以包括:第三卷积层、第三BN层、第三ReLU层、第一GAP(Global Average Pooling,全局平均池化)层、第一FC(Fully Connected,全连接)层。
S2022、获取第一样本图像,以及第一样本图像对应的类别标签。
S2023、将第一样本图像,以及第一样本图像对应的类别标签,输入初始卷积神经网络。
S2024、利用初始卷积神经网络,得到各第一样本图像对应的分类结果。
示例性的,将所获取的第一样本图像,以及第一样本图像对应的类别标签输入到如图4所示的初始卷积神经网络中。其中,卷积层用于提取图像的特征信息,BN层通过降低梯度对参数的依赖程度,可加快整个模型的训练速度,ReLU层增加卷积神经网络各层之间的非线性关系,有助于完成卷积神经网络待解决的复杂任务,GAP层可进行特征的降维和优化处理,FC层可对特征进行整合。
对于一张第一样本图像,首先,将该第一样本图像输入到一个卷积核大小为3×3的第一卷积层,再依次输入一个第一BN层和一个第一ReLU层,对第一样本图像进行特征提取,得到特征图像数量为64个;将得到的64个特征图像再依次输入一个卷积核大小为3×3的第一卷积层,一个第一BN层和一个第一ReLU层进行特征提取,得到特征图像数量为128个;再将得到的128个特征图像再依次输入一个卷积核大小为3×3的第一卷积层,一个第一BN层和一个第一ReLU层进行特征提取,得到特征图像数量为256个。
其次,得到的256个特征图像进入到残差模块,该残差模块的模型可参见图6所示。示例性的,该残差模块的个数可以为5个,具体残差模块的个数本领域技术人员可根据实际需求进行设置。将256个特征图像依次输入到残差模块中的一个卷积核大小为3×3的第二卷积层,一个第二BN层和一个第二ReLU层,之后再依次输入一个卷积核大小为3×3的第二卷积层和一个第二BN层,进一步提取图像中更细致的特征,在残差模块中,特征图像的数量保持256个。
再次,将该256个特征图像依次输入一个卷积核大小为5×5的第三卷积层,一个第三BN层和一个第三ReLU层进行特征提取,得到特征图像数量为512个;将得到的512个特征图像再依次输入一个卷积核大小为7×7的第三卷积层,一个第三BN层和一个第三ReLU层进行特征提取,得到特征图像数量为1024个。接着,再将所得到的1024个特征图像输入到第一GAP层,进行特征降维和优化处理,得到一个特征图像。将得到的一个特征图像输入到第一FC层,进一步对特征进行整合,进而将该特征图像输入到分类器中,得到第一样本图像对应的分类结果。示例性的,该第一样本图像对应的分类结果,可以是该第一样本图像对应的类别标签,该类别标签可以是该第一样本图像所对应的可见光特征信息所对应的标号,该标号可以是1、2、3……N等,具体标号的形式本发明实施例在此不作限定。
S2025、基于分类结果与标准样本图像对应的类别标签的差异,计算损失函数。
S2026、对损失函数进行最小化处理,得到最小化损失函数。
S2027、根据最小化损失函数,确定初始卷积神经网络中各模块的权重参数。
S2028、基于权重参数对初始卷积神经网络中的参数进行更新,训练得到卷积神经网络。
上述步骤S2025~S2028中,利用得到的分类结果与标准样本图像对应的类别标签的差异,计算损失函数,进而对损失函数进行最小化处理,得到最小化损失函数,再根据最小化损失函数,确定初始卷积神经网络中各模块的权重参数,最后,利用权重参数对初始卷积神经网络中的参数进行更新,训练得到卷积神经网络。此过程的详细实现过程,可参见现有技术的实现,本发明实施例在此不再赘述。
参见图3,S203、将分类结果与数据库中预先存储的类别信息匹配,不同的类别信息用于标识不同的位置信息,位置信息中携带有定位参数。
在得到第二图像对应的分类结果之后,将该分类结果与数据库中预先存储的类别信息匹配,其中,数据库中预先存储的类别信息中不同的类别信息用于标识不同的位置信息,该位置信息中携带有定位参数。示例性的,数据库中预先存储的类别信息可以为1、2、3……N,每一个类别信息都对应有一个位置信息,该位置信息中所携带的定位参数可以是具体的坐标信息,也可以是经纬度信息,具体类别信息以及定位参数的形式,本发明实施例在此不作限定。
S204、当分类结果与类别信息匹配成功时,将所匹配的类别信息对应的位置信息发送至客户端,以使客户端根据位置信息进行定位。
当分类结果与类别信息匹配成功时,将所匹配的类别信息对应的数据库中预先存储的该类别信息所对应的位置信息发送至客户端,以使得客户端根据该位置信息进行定位。
本发明实施例提供的一种基于深度学习的灯具识别的室内定位方法,服务器接收客户端发送的预处理后的第二图像,将该第二图像输入预先训练好的卷积神经网络中,得到该第二图像对应的分类结果,将该分类结果与数据库中预先存储的类别信息匹配,当分类结果与类别信息匹配成功时,将所匹配的类别信息对应的位置信息发送至客户端。因卷积神经网络可以很好的提取并保留第二图像中的特征信息,可以提高图像中可见光识别的准确性,且训练该卷积神经网络的第一样本图像是通过循环生成对抗网络所生成的,相对于人工收集的样本图像,提高了样本生成效率,并且降低了成本。本发明实施例,使用卷积神经网络提取并保留第二图像中的特征信息,提高了可见光特征识别的准确性,再将分类结果与数据库中预先存储的类别信息匹配,当匹配成功时,将匹配的类别信息所对应的位置信息,确定为第二图像的定位信息,进一步提高定位的准确性。
在上述图3所示实施例的基础上,如图7所示,本发明实施例还提供了一种基于深度学习的灯具识别的室内定位方法的流程示意图,应用于服务器,其中步骤S201-S204的具体实现过程可参见上述描述,该方法还可以包括:
S200、利用预先训练好的循环生成对抗网络生成第一样本图像。
本发明实施例中,在接收客户端发送的第二图像之前,即图3所示实施例中的步骤S201前,还可以利用预先训练好的循环生成对抗网络生成第一样本图像,具体的,利用预先训练好的循环生成对抗网络生成第一样本图像的实施方式可参见图8,该实施方式可以包括:
S2001、获取不同方向的包含可见光特征信息的第三图像和第四图像。
本发明实施例中,在利用预先训练好的循环生成对抗网络生成第一样本图像时,需要获取一定数量的样本图像,然后在样本图像的基础上再生成第一样本图像,具体的,可以获取不同方向的包含可见光特征信息的第三图像和第四图像。
示例性的,可见光特征信息可以为灯光信息,具体可以为:LED灯、荧光灯等灯光的信息,具体可见光特征信息的形式本发明实施例在此不作限定。
示例性的,所获取的不同方向的包含可见光特征信息的第三图像和第四图像可以为:获取水平方向的包含可见光特征信息的第三图像和获取倾斜方向的包含可见光特征信息的第四图像,或者,获取倾斜方向的包含可见光特征信息的第三图像和获取水平方向的包含可见光特征信息的第四图像。该第三图像和第四图像都为拍摄得到的真实图像,且经过相同大小的预处理,例如,图像中双管灯的大小都处理成100cm×700cm,圆形灯的大小都处理成128cm×128cm等,具体预处理的大小本领域技术人员可根据实际需求进行设置。
S2002、将第三图像和第四图像分别输入预先训练好的循环生成对抗网络,分别得到第一预测图像和第二预测图像。
将所获取的第三图像和第四图像分别输入预先训练好的循环生成对抗网络中,该循环生成对抗网络包括两个并行的子神经网络,两个并行的子神经网络用于分别处理第三图像和第四图像,分别得到第一预测图像和第二预测图像。
作为本发明实施例一种可选的实施方式,循环生成对抗网络可以为:具有身份保持的循环生成对抗网络。对该具有身份保持的循环生成对抗网络进行训练的实施方式如图9所示,该实施方式可以包括:
S20021、获取不同方向的包含可见光特征信息的第二样本图像、第二样本图像对应的类别标签、第三样本图像、以及第三样本图像对应的类别标签。
示例性的,可见光特征信息可以为灯光信息,具体可以为:LED灯、荧光灯等灯光的信息,具体可见光特征信息的形式本发明实施例在此不作限定。
示例性的,所获取的不同方向的包含可见光特征信息的第二样本图像和第三样本图像可以为:获取水平方向的包含可见光特征信息的第二样本图像和获取倾斜方向的包含可见光特征信息的第三样本图像,或者,获取倾斜方向的包含可见光特征信息的第二样本图像和获取水平方向的包含可见光特征信息的第三样本图像,则第二样本图像对应的类别标签可以为水平域或倾斜域,第三样本图像对应的类别标签可以为倾斜域或水平域。该第二样本图像和第三样本图像都为拍摄得到的真实图像,且经过相同大小的预处理,例如,图像中双管灯的大小都处理成100cm×700cm,圆形灯的大小都处理成128cm×128cm等,具体预处理的大小本领域技术人员可根据实际需求进行设置。该第二样本图像和第三样本图像的数量可以分别设置为预设数量个,比如该预设数量可以为4张,具体的本领域技术人员可根据实际需求进行设置,本发明实施例在此不作限定。
S20022、将所获取的第二样本图像、第二样本图像对应的类别标签、第三样本图像、以及第三样本图像对应的类别标签分别输入初始循环生成对抗网络的两个并行子神经网络中进行训练,分别得到第一预测图像和第二预测图像。
作为本发明实施例一种可选的实施方式,两个并行子神经网络可以为相同的两个构建的初始神经网络,该初始神经网络可以包括:第三特征提取模块,多个残差模块、图像生成模块和损失计算模块。其中,第三特征提取模块包括:第四卷积层、第一实例标准化IN(Instance Normalization,实例标准化)层和第四ReLU层;残差模块包括:第五卷积层、第二IN层和第五ReLU层;图像生成模块包括:第一转置卷积层、第三IN层、第六ReLU层、Tanh激活函数层;损失计算模块包括:第六卷积层、第四BN层、第七ReLU层、第二GAP层、第二FC层。
示例性的,两个并行子神经网络结构相同,可以分别标识为网络G和网络F。下面以其中一个样本图像及该样本图像对应的标签输入一个子神经网络为例进行说明。其中,卷积层用于提取图像的特征信息,转置卷积层使得特征图像逐渐变大至变成输入图像的大小,BN层通过降低梯度对参数的依赖程度,可加快整个模型的训练速度,IN层本质上与BN层的作用相同,ReLU层增加卷积神经网络各层之间的非线性关系,有助于完成卷积神经网络待解决的复杂任务,GAP层可进行特征的降维和优化处理,FC层可对特征进行整合。
针对第二样本图像,第二样本图像对应的类别标签,以及网络G。对于一张第二样本图像,将第二样本图像、及第二样本图像对应的类别标签输入到网络G的一个卷积核大小为7×7的第四卷积层,再依次输入一个第二IN层和一个和第五ReLU层,对第二样本图像进行特征提取,得到特征图像数量为64个。将得到的64个特征图像再依次输入一个卷积核大小为3×3的第四卷积层,一个第一BN层和一个第一ReLU层进行特征提取,得到特征图像数量为256个。
将得到的256个特征图像进入到残差模块,示例性的,该残差模块的个数可以为6个,具体残差模块的个数本领域技术人员可根据实际需求进行设置。将256个特征图像依次输入到残差模块中的一个卷积核大小为3×3的第五卷积层,一个第二IN层和一个第五ReLU层,之后再依次输入一个卷积核大小为7×3的第五卷积层和一个第二IN层,进一步提取图像中更细致的特征,在残差模块中,特征图像的数量保持256个。
将该256个特征图像依次输入一个卷积核大小为3×3的第一转置卷积层,一个第三IN层和一个第六ReLU层进行特征提取,得到特征图像数量为64个;将得到的64个特征图像再依次输入一个卷积核大小为3×3的第一转置卷积层,一个第三IN层,一个卷积核大小为3×3的第一转置卷积层和Tanh层进行特征提取,得到特征图像数量为3个,该3个特征图像为第一预测图像。
将该256个特征图像依次输入一个卷积核大小为3×3的第六卷积层,一个第四BN层和一个第七ReLU层进行特征提取,得到特征图像数量为512个;将得到的512个特征图像再依次输入一个卷积核大小为3×3的第六卷积层,一个第四BN层进行特征提取,得到特征图像数量为1024个。接着,再将所得到的1024个特征图像输入到第二GAP层,进行特征处理,特征图像个数维持1024个。将得到的1024个特征图像输入到第二FC层,进一步对特征进行整合,进而将特征图像输入到分类器中,得到第二样本图像对应的分类结果,以便于判别器网络基于该分类结果计算对应的对抗损失函数。
S20023、将第一预测图像和第二预测图像分别输入两个判别器网络中,得到第一预测图像对应的第一判别结果和第二预测图像对应的第二判别结果。
作为本发明实施例一种可选的实施方式,两个判别器网络结构相同,该判别器网络,可以包括:第七卷积层、第四IN层、第八ReLU层、第一LeakyReLU激活函数层。
示例性的,两个判别器网络结构相同,可以将其标识为网络D,下面以其中一个预测图像输入一个判别器网络为例进行说明。
针对第一预测图像,以及网络D。将第一预测图像输入到网络D的一个卷积核大小为3×3的第七卷积层,再输入一个第八ReLU层,对第一预测图像进行特征提取,得到特征图像数量为64个。将得到的64个特征图像再依次输入一个卷积核大小为4×4的第七卷积层,一个第四IN层和一个第一LeakyReLU层进行特征提取,得到特征图像数量为128个。将得到的128个特征图像再依次输入一个卷积核大小为4×4的第七卷积层,一个第四IN层和一个第一LeakyReLU层进行特征提取,得到特征图像数量为256个。将得到的256个特征图像再依次输入一个卷积核大小为4×4的第七卷积层,一个第四IN层和一个第一LeakyReLU层进行特征提取,得到特征图像数量为512个。将得到的512个特征图像输入一个卷积核大小为4×4的第七卷积层进行特征提取,得到特征图像数量为1个,对该1个特征图像进行真假的判别。
S20024、基于判别结果,计算判别器网络对应的对抗损失函数。
作为本发明实施例一种可选的实施方式,基于步骤20023得到的样本图像的判别结果,可以利用第三预设表达式计算判别器网络对应的对抗损失函数,该第三预设表达式可以为:
LGAN(G,D,a,b)=Ea~Pdata(a)[(D(a)-1)2]+Eb~Pdata(b)[(D(G(a))2]
式中,G表示子神经网络G,D表示判别器网络,a表示第二样本图像,b表示第三样本图像,Ea~Pdata(a)表示样本图像a服从data的概率密度所取的期望值,Eb~Pdata(b)表示样本图像b服从data的概率密度所取的期望值,D(a)表示第二样本图像在判别器网络D中的样本图像,G(a)表示第二样本图像在子神经网络G中的样本图像。
S20025、分别计算子神经网络对应的周期一致性损失函数,以及子神经网络对应的身份保持损失函数。
作为本发明实施例一种可选的实施方式,可以利用第四预设表达式计算子神经网络对应的周期一致性损失函数,利用第五预设表达式计算子神经网络对应的身份保持损失函数。
该第四预设表达式可以为:
Lcycle(G,F,a,b)=Ea~Pdata(a)[||F(G(a))-a||1]+Eb~Pdata(b)[||G(F(b))-b||1]
式中,G表示子神经网络G,F表示子神经网络F,F(b)表示第三样本图像在子神经网络F中的样本图像,Ea~Pdata(a)表示样本图像a服从data的概率密度所取的期望值,Eb~Pdata(b)表示样本图像b服从data的概率密度所取的期望值。
该第五预设表达式可以为:
式中,表示计算与(W(ai))ident的交叉熵,表示计算与(W(bi))ident的交叉熵,i表示第i个第二样本图像或第i个第三样本图像,表示带身份信息的第i个样本图像a,表示带身份信息的第i个样本图像b,(W(ai))ident表示子神经网络G训练过程中带有身份信息的最小特征图像,(W(bi))ident表示子神经网络F训练过程中带有身份信息的最小特征图像。
S20026、计算判别器网络对应的对抗损失函数、子神经网络对应的身份保持损失函数以及子神经网络对应的周期一致性损失函数的加权和。
作为本发明实施例一种可选的实施方式,可以利用第六预设表达式计算判别器网络对应的对抗损失函数、子神经网络对应的身份保持损失函数以及子神经网络对应的周期一致性损失函数的加权和。该第六预设表达式可以为:
Lsum=λ1LGAN(G,D,a,b)+λ2Lcycle(G,F,a,b)+λ3Lident(W,a,b)
式中,λ1表示对抗损失函数对应的权重,λ2表示周期一致性损失函数对应的权重,λ3表示身份保持损失函数对应的权重。
S20027、利用子神经网络、以及判别器网络中的优化器,分别对两个并行子神经网络和两个判别器网络中的参数进行优化。
作为本发明实施例一种可选的实施方式,基于所计算得到的各损失函数的值,可以利用子神经网络、以及判别器网络中的优化器,分别对两个并行子神经网络和两个判别器网络中的参数进行优化,具体参数优化的过程可参见现有技术的实现,本发明实施例在此不再赘述。
S20028、判断加权和是否满足第一预设结束条件。
判断加权和是否满足第一预设结束条件,如果加权和满足第一预设结束条件,则执行步骤S20029,如果加权和不满足第一预设结束条件,则返回执行S20022的步骤。该第一预设结束条件可以是预设的一个阈值,也可以是预设的训练结束次数。示例性的,该预设的一个阈值可以是0.01或0.001等,该训练结束次数可以是100次或200次等,具体的本领域技术人员可根据实际需求进行设置。
S20029、如果加权和满足第一预设结束条件,则训练完成。
当加权和满足第一预设结束条件时,说明网络训练生成的预测图像满足要求,则训练完成。
如果加权和不满足第一预设结束条件,则返回执行S20022的步骤,直到加权和满足第一预设结束条件。
当加权和不满足第一预设结束条件时,说明网络训练生成的预测图像还不满足要求,则返回执行S20022的步骤,直到加权和满足第一预设结束条件。
参见图8,S2003、将第一预测图像和第二预测图像确定为第一样本图像。
本发明实施例提供的一种基于深度学习的灯具识别的室内定位方法,服务器接收客户端发送的预处理后的第二图像,将该第二图像输入预先训练好的卷积神经网络中,得到该第二图像对应的分类结果,将该分类结果与数据库中预先存储的类别信息匹配,当分类结果与类别信息匹配成功时,将所匹配的类别信息对应的位置信息发送至客户端。因卷积神经网络可以很好的提取并保留第二图像中的特征信息,可以提高图像中可见光识别的准确性,且训练该卷积神经网络的第一样本图像是通过循环生成对抗网络所生成的,相对于人工收集的样本图像,提高了样本生成效率,并且降低了成本。本发明实施例,使用卷积神经网络提取并保留第二图像中的特征信息,提高了可见光特征识别的准确性,再将分类结果与数据库中预先存储的类别信息匹配,当匹配成功时,将匹配的类别信息所对应的位置信息,确定为第二图像的定位信息,进一步提高定位的准确性。
相应于上述第一种基于深度学习的灯具识别的室内定位方法实施例,本发明实施例提供了第一种基于深度学习的灯具识别的室内定位装置,如图10所示,该装置可以包括:
获取模块301,用于获取待识别的包含可见光特征信息的第一图像,第一图像包括:第一基准图像和第一非基准图像;第一基准图像为使用基准成像设备所拍摄得到的图像,第一非基准图像为使用非基准成像设备所拍摄得到的图像。
预处理模块302,用于对第一图像依次进行光晕及亮度补偿预处理,得到第二图像;
发送模块303,用于将第二图像发送至服务器,以使服务器返回针对第二图像的位置信息;
第一定位模块304,用于接收服务器返回的位置信息,并根据位置信息进行定位。
本发明实施例提供的一种基于深度学习的灯具识别的室内定位装置,客户端对待识别的包含可见光特征信息的第一图像依次进行光晕及亮度补偿预处理,弥补获取图像的亮度失真现象,图像的可见光特征信息对比度强,再将预处理后的第二图像发送至服务器,当服务器返回针对第二图像的位置信息时,接收该位置信息,并根据该位置信息进行定位。本发明实施例中,客户端对所获取的图像进行光晕及亮度补偿预处理之后,弥补了所获取图像的亮度失真现象,且图像的可见光特征信息对比度强,使得服务器侧能够返回更准确的位置信息,进而提高客户端定位的准确性。
需要说明的是,本发明实施例的装置是与图1所示的第一种基于深度学习的灯具识别的室内定位方法对应的装置,图1所示的第一种基于深度学习的灯具识别的室内定位方法的所有实施例均适用于该装置,且均能达到相同的有益效果。
相应于上述第二种基于深度学习的灯具识别的室内定位方法实施例,本发明实施例提供了第二种基于深度学习的灯具识别的室内定位装置,如图11所示,该装置可以包括:
接收模块401,用于接收客户端发送的第二图像。
获得模块402,用于将第二图像输入预先训练的卷积神经网络中,得到第二图像对应的分类结果;卷积神经网络,是根据循环生成对抗网络所生成的第一样本图像、第一样本图像对应的类别标签、各第一样本图像对应的标准样本图像、以及标准样本图像对应的类别标签训练得到的。
匹配模块403,用于将分类结果与数据库中预先存储的类别信息匹配,不同的类别信息用于标识不同的位置信息,位置信息中携带有定位参数。
第二定位模块404,用于当分类结果与类别信息匹配成功时,将所匹配的类别信息对应的位置信息发送至客户端,以使客户端根据位置信息进行定位。
本发明实施例提供的一种基于深度学习的灯具识别的室内定位装置,服务器接收客户端发送的预处理后的第二图像,将该第二图像输入预先训练好的卷积神经网络中,得到该第二图像对应的分类结果,将该分类结果与数据库中预先存储的类别信息匹配,当分类结果与类别信息匹配成功时,将所匹配的类别信息对应的位置信息发送至客户端。因卷积神经网络可以很好的提取并保留第二图像中的特征信息,可以提高图像中可见光识别的准确性,且训练该卷积神经网络的第一样本图像是通过循环生成对抗网络所生成的,相对于人工收集的样本图像,提高了样本生成效率,并且降低了成本。本发明实施例,使用卷积神经网络提取并保留第二图像中的特征信息,提高了可见光特征识别的准确性,再将分类结果与数据库中预先存储的类别信息匹配,当匹配成功时,将匹配的类别信息所对应的位置信息,确定为第二图像的定位信息,进一步提高定位的准确性。
需要说明的是,本发明实施例的装置是与图3所示的第二种基于深度学习的灯具识别的室内定位方法对应的装置,图3所示的第二种基于深度学习的灯具识别的室内定位方法的所有实施例均适用于该装置,且均能达到相同的有益效果。
相应于上述第一和第二种基于深度学习的灯具识别的室内定位方法实施例,本发明实施例提供了一种基于深度学习的灯具识别的室内定位系统,该系统可以包括:客户端和服务器,客户端和服务器通过网络连接,该系统的信令交互示意图如图12所示。
客户端,用于获取待识别的包含可见光特征信息的第一图像,对第一图像依次进行光晕及亮度补偿预处理,得到第二图像,将第二图像发送至服务器。
服务器,用于接收客户端发送的第二图像,将第二图像输入预先训练的卷积神经网络中,得到第二图像对应的分类结果,并将分类结果与数据库中预先存储的类别信息匹配,当分类结果与类别信息匹配成功时,将所匹配的类别信息对应的位置信息发送至客户端;其中不同的类别信息用于标识不同的位置信息,位置信息中携带有定位参数;卷积神经网络,是根据循环生成对抗网络所生成的第一样本图像、第一样本图像对应的类别标签、各第一样本图像对应的标准样本图像、以及标准样本图像对应的类别标签训练得到的。
客户端,还用于接收服务器返回的位置信息,并根据位置信息进行定位。
本发明实施例提供的一种基于深度学习的灯具识别的室内定位系统,客户端对待识别的包含可见光特征信息的第一图像依次进行光晕及亮度补偿预处理,弥补获取图像的亮度失真现象。然后,客户端将预处理后的第二图像发送至服务器,服务器进而将该第二图像输入预先训练好的卷积神经网络中,得到该第二图像对应的分类结果,将该分类结果与数据库中预先存储的类别信息匹配,当分类结果与类别信息匹配成功时,将所匹配的类别信息对应的位置信息发送至客户端。因卷积神经网络可以很好的提取并保留第二图像中的特征信息,可以提高图像中可见光识别的准确性,且训练该卷积神经网络的第一样本图像是通过循环生成对抗网络所生成的,相对于人工收集的样本图像,提高了样本生成效率,并且降低了成本。本发明实施例,使用卷积神经网络提取并保留第二图像中的特征信息,提高了可见光特征识别的准确性,再将分类结果与数据库中预先存储的类别信息匹配,当匹配成功时,将匹配的类别信息所对应的位置信息,确定为第二图像的定位信息,进一步提高定位的准确性。
本发明实施例还提供了一种客户端设备,如图13所示,包括处理器501、通信接口502、存储器503和通信总线504,其中,处理器501,通信接口502,存储器503通过通信总线504完成相互间的通信,
存储器503,用于存放计算机程序;
处理器501,用于执行存储器503上所存放的程序时,实现本发明实施例所提供的第一种基于深度学习的灯具识别的室内定位方法。
本发明实施例提供的一种客户端设备,对待识别的包含可见光特征信息的第一图像依次进行光晕及亮度补偿预处理,弥补获取图像的亮度失真现象,图像的可见光特征信息对比度强,再将预处理后的第二图像发送至服务器,当服务器返回针对第二图像的位置信息时,接收该位置信息,并根据该位置信息进行定位。本发明实施例中,客户端对所获取的图像进行光晕及亮度补偿预处理之后,弥补了所获取图像的亮度失真现象,且图像的可见光特征信息对比度强,使得服务器侧能够返回更准确的位置信息,进而提高客户端定位的准确性。
本发明实施例还提供了一种服务器设备,如图14所示,包括处理器601、通信接口602、存储器603和通信总线604,其中,处理器601,通信接口602,存储器603通过通信总线604完成相互间的通信,
存储器603,用于存放计算机程序;
处理器601,用于执行存储器603上所存放的程序时,实现本发明实施例所提供的第二种基于深度学习的灯具识别的室内定位方法。
本发明实施例提供的一种服务器设备,接收客户端发送的预处理后的第二图像,将该第二图像输入预先训练好的卷积神经网络中,得到该第二图像对应的分类结果,将该分类结果与数据库中预先存储的类别信息匹配,当分类结果与类别信息匹配成功时,将所匹配的类别信息对应的位置信息发送至客户端。因卷积神经网络可以很好的提取并保留第二图像中的特征信息,可以提高图像中可见光识别的准确性,且训练该卷积神经网络的第一样本图像是通过循环生成对抗网络所生成的,相对于人工收集的样本图像,提高了样本生成效率,并且降低了成本。本发明实施例,使用卷积神经网络提取并保留第二图像中的特征信息,提高了可见光特征识别的准确性,再将分类结果与数据库中预先存储的类别信息匹配,当匹配成功时,将匹配的类别信息所对应的位置信息,确定为第二图像的定位信息,进一步提高定位的准确性。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一第一种基于深度学习的灯具识别的室内定位方法的步骤。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一第二种基于深度学习的灯具识别的室内定位方法的步骤。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一第一种基于深度学习的灯具识别的室内定位方法。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一第二种基于深度学习的灯具识别的室内定位方法。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置/系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (9)
1.一种基于深度学习的灯具识别的室内定位方法,其特征在于,应用于客户端,所述方法包括:
获取待识别的包含可见光特征信息的第一图像,所述第一图像包括:第一基准图像和第一非基准图像;所述第一基准图像为使用基准成像设备所拍摄得到的图像,所述第一非基准图像为使用非基准成像设备所拍摄得到的图像;
对所述第一图像依次进行光晕及亮度补偿预处理,得到第二图像;
将所述第二图像发送至服务器,以使所述服务器返回针对所述第二图像的位置信息;
接收所述服务器返回的所述位置信息,并根据所述位置信息进行定位;
其中,所述对所述第一图像依次进行光晕及亮度补偿预处理,得到第二图像的步骤,包括:
基于预设的第二基准图像,对所述第一图像进行光晕补偿,得到第三基准图像和第二非基准图像;
将所述第二非基准图像的亮度均值,与所述第三基准图像的亮度均值的比值,确定为伽马补偿的伽马参数值;
利用第一预设表达式,对所述第二非基准图像进行伽马补偿,得到第三非基准图像;
分别计算所述第三非基准图像对应的RGB三通道的每一通道的亮度均值,以及所述第三基准图像对应的RGB三通道的每一通道的亮度均值;
针对RGB三通道的每一通道,计算该通道下所述第三非基准图像的亮度均值与所述第三基准图像的亮度均值的比值,将所得比值作为第一比值;
针对所述第三非基准图像,将该图像在RGB三个通道下各通道的亮度值分别与所述第一比值相乘,得到处理后的第三非基准图像;
判断所述处理后的第三非基准图像的最大亮度值是否在预设数组中;
如果所述处理后的第三非基准图像的最大亮度值在预设数组中,则将所述处理后的第三非基准图像确定为第二图像;
如果所述处理后的第三非基准图像的最大亮度值不在预设数组中,则利用第二预设表达式,对所述处理后的第三非基准图像进行亮度归一化处理,得到第二图像。
2.根据权利要求1所述的方法,其特征在于,所述第一预设表达式为:
式中,Gout表示伽马补偿后所述第三非基准图像的像素值,Gin表示伽马补偿前所述第二非基准图像的像素值,c表示预设的常数值,γ表示伽马补偿的伽马参数值;
所述第二预设表达式为:
式中,Vout为亮度归一化处理后第二图像的颜色矩阵,Bin为处理后的第三非基准图像的颜色矩阵,minBin为处理后的第三非基准图像颜色矩阵中的最小值,maxBin为处理后的第三非基准图像颜色矩阵中的最大值,maxAin为第三基准图像颜色矩阵中的最大值,minAin为第三基准图像颜色矩阵中的最小值,所述颜色矩阵中包含的元素为:RGB三个通道下各通道的亮度值。
3.一种基于深度学习的灯具识别的室内定位方法,其特征在于,应用于服务器,所述方法包括:
接收客户端发送的第二图像,所述第二图像为:客户端对所获取的第一图像依次进行光晕及亮度补偿预处理得到的;
将所述第二图像输入预先训练的卷积神经网络中,得到所述第二图像对应的分类结果;所述卷积神经网络,是根据循环生成对抗网络所生成的第一样本图像、所述第一样本图像对应的类别标签、各第一样本图像对应的标准样本图像、以及所述标准样本图像对应的类别标签训练得到的;
将所述分类结果与数据库中预先存储的类别信息匹配,不同的所述类别信息用于标识不同的位置信息,所述位置信息中携带有定位参数;
当所述分类结果与所述类别信息匹配成功时,将所匹配的类别信息对应的位置信息发送至所述客户端,以使所述客户端根据所述位置信息进行定位;
其中,客户端对所获取的第一图像依次进行光晕及亮度补偿预处理,得到第二图像的步骤,包括:
基于预设的第二基准图像,对所述第一图像进行光晕补偿,得到第三基准图像和第二非基准图像;
将所述第二非基准图像的亮度均值,与所述第三基准图像的亮度均值的比值,确定为伽马补偿的伽马参数值;
利用第一预设表达式,对所述第二非基准图像进行伽马补偿,得到第三非基准图像;
分别计算所述第三非基准图像对应的RGB三通道的每一通道的亮度均值,以及所述第三基准图像对应的RGB三通道的每一通道的亮度均值;
针对RGB三通道的每一通道,计算该通道下所述第三非基准图像的亮度均值与所述第三基准图像的亮度均值的比值,将所得比值作为第一比值;
针对所述第三非基准图像,将该图像在RGB三个通道下各通道的亮度值分别与所述第一比值相乘,得到处理后的第三非基准图像;
判断所述处理后的第三非基准图像的最大亮度值是否在预设数组中;
如果所述处理后的第三非基准图像的最大亮度值在预设数组中,则将所述处理后的第三非基准图像确定为第二图像;
如果所述处理后的第三非基准图像的最大亮度值不在预设数组中,则利用第二预设表达式,对所述处理后的第三非基准图像进行亮度归一化处理,得到第二图像。
4.根据权利要求3所述的方法,其特征在于,所述卷积神经网络的训练过程,包括:
构建初始卷积神经网络;其中,所述初始卷积神经网络包括:第一特征提取模块,多个残差模块、第二特征提取模块和分类器;所述第一特征提取模块包括:第一卷积层、第一批量归一化BN层和第一非线性单元激活函数ReLU层;所述残差模块包括:第二卷积层、第二BN层和第二ReLU层;所述第二特征提取模块包括:第三卷积层、第三BN层、第三ReLU层、第一全局平均池化GAP层、第一全连接FC层;
获取第一样本图像,以及所述第一样本图像对应的类别标签;
将所述第一样本图像,以及所述第一样本图像对应的类别标签,输入所述初始卷积神经网络;
利用所述初始卷积神经网络,得到各所述第一样本图像对应的分类结果;
基于所述分类结果与所述标准样本图像对应的类别标签的差异,计算损失函数;
对损失函数进行最小化处理,得到最小化损失函数;
根据最小化损失函数,确定初始卷积神经网络中各模块的权重参数;
基于所述权重参数对所述初始卷积神经网络中的参数进行更新,训练得到所述卷积神经网络。
5.根据权利要求3所述的方法,其特征在于,在接收客户端发送的第二图像之前,所述方法还包括:
利用预先训练好的循环生成对抗网络生成第一样本图像。
6.根据权利要求5所述的方法,其特征在于,所述利用预先训练好的循环生成对抗网络生成第一样本图像的步骤,包括:
获取不同方向的包含可见光特征信息的第三图像和第四图像;
将所述第三图像和所述第四图像分别输入预先训练好的循环生成对抗网络,分别得到第一预测图像和第二预测图像,所述循环生成对抗网络包括两个并行的子神经网络,两个并行的子神经网络用于分别处理所述第三图像和第四图像;
将所述第一预测图像和所述第二预测图像确定为第一样本图像。
7.一种基于深度学习的灯具识别的室内定位装置,其特征在于,应用于客户端,所述装置包括:
获取模块,用于获取待识别的包含可见光特征信息的第一图像,所述第一图像包括:第一基准图像和第一非基准图像;所述第一基准图像为使用基准成像设备所拍摄得到的图像,所述第一非基准图像为使用非基准成像设备所拍摄得到的图像;
预处理模块,用于对所述第一图像依次进行光晕及亮度补偿预处理,得到第二图像;
发送模块,用于将所述第二图像发送至服务器,以使所述服务器返回针对所述第二图像的位置信息;
第一定位模块,用于接收所述服务器返回的所述位置信息,并根据所述位置信息进行定位;
其中,所述预处理模块包括:
第一补偿子模块,用于基于预设的第二基准图像,对所述第一图像进行光晕补偿,得到第三基准图像和第二非基准图像;
第一确定子模块,用于将所述第二非基准图像的亮度均值,与所述第三基准图像的亮度均值的比值,确定为伽马补偿的伽马参数值;
第二补偿子模块,用于利用第一预设表达式,对所述第二非基准图像进行伽马补偿,得到第三非基准图像;
第一计算子模块,用于分别计算所述第三非基准图像对应的RGB三通道的每一通道的亮度均值,以及所述第三基准图像对应的RGB三通道的每一通道的亮度均值;
第二计算子模块,用于针对RGB三通道的每一通道,计算该通道下所述第三非基准图像的亮度均值与所述第三基准图像的亮度均值的比值,将所得比值作为第一比值;
第三计算子模块,用于针对所述第三非基准图像,将该图像在RGB三个通道下各通道的亮度值分别与所述第一比值相乘,得到处理后的第三非基准图像;
判断子模块,用于判断所述处理后的第三非基准图像的最大亮度值是否在预设数组中;
第二确定子模块,用于在所述判断子模块判断出所述处理后的第三非基准图像的最大亮度值在预设数组中,将所述处理后的第三非基准图像确定为第二图像;
归一化处理子模块,用于在所述判断子模块判断出所述处理后的第三非基准图像的最大亮度值不在预设数组中,利用第二预设表达式,对所述处理后的第三非基准图像进行亮度归一化处理,得到第二图像。
8.一种基于深度学习的灯具识别的室内定位装置,其特征在于,应用于服务器,所述装置包括:
接收模块,用于接收客户端发送的第二图像,所述第二图像为:客户端对所获取的第一图像依次进行光晕及亮度补偿预处理得到的;
其中,客户端对所获取的第一图像依次进行光晕及亮度补偿预处理得到第二图像,包括:基于预设的第二基准图像,对所述第一图像进行光晕补偿,得到第三基准图像和第二非基准图像;将所述第二非基准图像的亮度均值,与所述第三基准图像的亮度均值的比值,确定为伽马补偿的伽马参数值;利用第一预设表达式,对所述第二非基准图像进行伽马补偿,得到第三非基准图像;分别计算所述第三非基准图像对应的RGB三通道的每一通道的亮度均值,以及所述第三基准图像对应的RGB三通道的每一通道的亮度均值;针对RGB三通道的每一通道,计算该通道下所述第三非基准图像的亮度均值与所述第三基准图像的亮度均值的比值,将所得比值作为第一比值;针对所述第三非基准图像,将该图像在RGB三个通道下各通道的亮度值分别与所述第一比值相乘,得到处理后的第三非基准图像;判断所述处理后的第三非基准图像的最大亮度值是否在预设数组中;如果所述处理后的第三非基准图像的最大亮度值在预设数组中,则将所述处理后的第三非基准图像确定为第二图像;如果所述处理后的第三非基准图像的最大亮度值不在预设数组中,则利用第二预设表达式,对所述处理后的第三非基准图像进行亮度归一化处理,得到第二图像;
获得模块,用于将所述第二图像输入预先训练的卷积神经网络中,得到所述第二图像对应的分类结果;所述卷积神经网络,是根据循环生成对抗网络所生成的第一样本图像、所述第一样本图像对应的类别标签、各第一样本图像对应的标准样本图像、以及所述标准样本图像对应的类别标签训练得到的;
匹配模块,用于将所述分类结果与数据库中预先存储的类别信息匹配,不同的所述类别信息用于标识不同的位置信息,所述位置信息中携带有定位参数;
第二定位模块,用于当所述分类结果与所述类别信息匹配成功时,将所匹配的类别信息对应的位置信息发送至所述客户端,以使所述客户端根据所述位置信息进行定位。
9.一种基于深度学习的灯具识别的室内定位系统,其特征在于,所述系统包括:客户端和服务器,所述客户端和所述服务器通过网络连接;
所述客户端,用于获取待识别的包含可见光特征信息的第一图像,对所述第一图像依次进行光晕及亮度补偿预处理,得到第二图像,将所述第二图像发送至服务器;
所述服务器,用于接收客户端发送的第二图像,将所述第二图像输入预先训练的卷积神经网络中,得到所述第二图像对应的分类结果,并将所述分类结果与数据库中预先存储的类别信息匹配,当所述分类结果与所述类别信息匹配成功时,将所匹配的类别信息对应的位置信息发送至所述客户端;其中不同的所述类别信息用于标识不同的位置信息,所述位置信息中携带有定位参数;所述卷积神经网络,是根据循环生成对抗网络所生成的第一样本图像、所述第一样本图像对应的类别标签、各第一样本图像对应的标准样本图像、以及所述标准样本图像对应的类别标签训练得到的;
所述客户端,还用于接收所述服务器返回的所述位置信息,并根据所述位置信息进行定位;
其中,所述客户端对所述第一图像依次进行光晕及亮度补偿预处理得到第二图像,包括:基于预设的第二基准图像,对所述第一图像进行光晕补偿,得到第三基准图像和第二非基准图像;将所述第二非基准图像的亮度均值,与所述第三基准图像的亮度均值的比值,确定为伽马补偿的伽马参数值;利用第一预设表达式,对所述第二非基准图像进行伽马补偿,得到第三非基准图像;分别计算所述第三非基准图像对应的RGB三通道的每一通道的亮度均值,以及所述第三基准图像对应的RGB三通道的每一通道的亮度均值;针对RGB三通道的每一通道,计算该通道下所述第三非基准图像的亮度均值与所述第三基准图像的亮度均值的比值,将所得比值作为第一比值;针对所述第三非基准图像,将该图像在RGB三个通道下各通道的亮度值分别与所述第一比值相乘,得到处理后的第三非基准图像;判断所述处理后的第三非基准图像的最大亮度值是否在预设数组中;如果所述处理后的第三非基准图像的最大亮度值在预设数组中,则将所述处理后的第三非基准图像确定为第二图像;如果所述处理后的第三非基准图像的最大亮度值不在预设数组中,则利用第二预设表达式,对所述处理后的第三非基准图像进行亮度归一化处理,得到第二图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910429230.2A CN110309715B (zh) | 2019-05-22 | 2019-05-22 | 基于深度学习的灯具识别的室内定位方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910429230.2A CN110309715B (zh) | 2019-05-22 | 2019-05-22 | 基于深度学习的灯具识别的室内定位方法、装置及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110309715A CN110309715A (zh) | 2019-10-08 |
CN110309715B true CN110309715B (zh) | 2021-05-25 |
Family
ID=68074804
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910429230.2A Active CN110309715B (zh) | 2019-05-22 | 2019-05-22 | 基于深度学习的灯具识别的室内定位方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110309715B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111160453B (zh) * | 2019-12-27 | 2024-06-21 | 联想(北京)有限公司 | 一种信息处理方法、设备及计算机可读存储介质 |
CN112164113B (zh) * | 2020-09-17 | 2022-02-25 | 北京邮电大学 | 一种室内定位中新颖的可见光通信辅助的透视四线方法 |
CN112183526B (zh) * | 2020-09-18 | 2024-04-09 | 深圳市南科信息科技有限公司 | 可见光定位方法、装置、设备及介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105790837A (zh) * | 2016-03-04 | 2016-07-20 | 南京邮电大学 | 基于图像匹配和指纹库的led可见光室内定位方法和系统 |
CN108197619A (zh) * | 2017-12-27 | 2018-06-22 | 百度在线网络技术(北京)有限公司 | 一种基于招牌图像的定位方法、装置、设备和存储介质 |
CN108460801A (zh) * | 2017-06-12 | 2018-08-28 | 炬大科技有限公司 | 一种通过图像识别方式达成室内任务目标位置确定的系统和方法 |
CN108548539A (zh) * | 2018-06-28 | 2018-09-18 | Oppo广东移动通信有限公司 | 基于图像识别的导航方法和装置、终端、可读存储介质 |
CN109190620A (zh) * | 2018-09-03 | 2019-01-11 | 苏州科达科技股份有限公司 | 车牌样本生成方法、系统、设备及存储介质 |
-
2019
- 2019-05-22 CN CN201910429230.2A patent/CN110309715B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105790837A (zh) * | 2016-03-04 | 2016-07-20 | 南京邮电大学 | 基于图像匹配和指纹库的led可见光室内定位方法和系统 |
CN108460801A (zh) * | 2017-06-12 | 2018-08-28 | 炬大科技有限公司 | 一种通过图像识别方式达成室内任务目标位置确定的系统和方法 |
CN108197619A (zh) * | 2017-12-27 | 2018-06-22 | 百度在线网络技术(北京)有限公司 | 一种基于招牌图像的定位方法、装置、设备和存储介质 |
CN108548539A (zh) * | 2018-06-28 | 2018-09-18 | Oppo广东移动通信有限公司 | 基于图像识别的导航方法和装置、终端、可读存储介质 |
CN109190620A (zh) * | 2018-09-03 | 2019-01-11 | 苏州科达科技股份有限公司 | 车牌样本生成方法、系统、设备及存储介质 |
Non-Patent Citations (3)
Title |
---|
Indoor Visual Positioning Aided by CNN-Based Image Retrieval: Training-Free, 3D Modeling-Free;Yujin Chen等;《Sensors》;20180816;第18卷;第1-20页 * |
The Detection and Recognition of RGB-LED-ID Based on Visible Light Communication using Convolutional Neural Network;Weipeng Guan等;《Applied Sciences》;20190403;第9卷;第1-12页 * |
一种基于可见光的简易图像定位系统设计与实现;邹益民 等;《电子测试》;20181231(第24期);第28、33-34页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110309715A (zh) | 2019-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
KR102629380B1 (ko) | 실제 3차원 객체를 실제 객체의 2-차원 스푸프로부터 구별하기 위한 방법 | |
CN110309715B (zh) | 基于深度学习的灯具识别的室内定位方法、装置及系统 | |
CN108256547B (zh) | 生成用于基于机器学习的对象识别系统的训练图像 | |
US10708525B2 (en) | Systems and methods for processing low light images | |
CN111292264A (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
CN108509892B (zh) | 用于生成近红外图像的方法和装置 | |
CN110956080B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
CN103617432A (zh) | 一种场景识别方法及装置 | |
CN109871821B (zh) | 自适应网络的行人重识别方法、装置、设备及存储介质 | |
US11281939B2 (en) | Method and apparatus for training an object identification neural network, and computer device | |
CN113792827B (zh) | 目标对象识别方法、电子设备和计算机可读存储介质 | |
US20220345685A1 (en) | Method and apparatus for camera calibration | |
CN110503149B (zh) | 一种图像中局部特征分类方法及系统 | |
CN112651468A (zh) | 一种多尺度轻量化图像分类方法及其存储介质 | |
CN111179270A (zh) | 基于注意力机制的图像共分割方法和装置 | |
CN112115979A (zh) | 一种红外图像和可见图像的融合方法及设备 | |
CN114170654A (zh) | 年龄识别模型的训练方法、人脸年龄识别方法及相关装置 | |
CN112862713B (zh) | 一种基于注意力机制的低光图像增强方法及系统 | |
CN114373195A (zh) | 光照场景自适应的手掌防伪方法、装置、设备和存储介质 | |
CN116403064A (zh) | 图片处理方法、模型、基本块结构、设备及介质 | |
CN116152542A (zh) | 图像分类模型的训练方法、装置、设备及存储介质 | |
CN113642353B (zh) | 一种人脸检测模型的训练方法、存储介质及终端设备 | |
CN114332993A (zh) | 人脸识别方法、装置、电子设备及计算机可读存储介质 | |
CN110059746A (zh) | 一种创建目标检测模型的方法、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |