CN111832503B - 一种基于联邦学习的分心驾驶识别方法 - Google Patents

一种基于联邦学习的分心驾驶识别方法 Download PDF

Info

Publication number
CN111832503B
CN111832503B CN202010698360.9A CN202010698360A CN111832503B CN 111832503 B CN111832503 B CN 111832503B CN 202010698360 A CN202010698360 A CN 202010698360A CN 111832503 B CN111832503 B CN 111832503B
Authority
CN
China
Prior art keywords
neural network
model
local
deep neural
federal learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010698360.9A
Other languages
English (en)
Other versions
CN111832503A (zh
Inventor
王耀杰
崔翛龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Engineering University of Chinese Peoples Armed Police Force
Original Assignee
Engineering University of Chinese Peoples Armed Police Force
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Engineering University of Chinese Peoples Armed Police Force filed Critical Engineering University of Chinese Peoples Armed Police Force
Priority to CN202010698360.9A priority Critical patent/CN111832503B/zh
Publication of CN111832503A publication Critical patent/CN111832503A/zh
Application granted granted Critical
Publication of CN111832503B publication Critical patent/CN111832503B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/602Providing cryptographic facilities or services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于联邦学习的分心驾驶识别方法,采用联邦学习和浅层卷积神经网络两种机器学习技术,联邦学习主要利用分布式数据,通过深度神经网络(DNN)构建全局统计模型,提高识别的准确率,同时在同态加密条件下上传关键参数,不泄露本地产生的数据;卷积神经网络(CNN)主要利用对图像特征提取的优势,负责提取用户端差异化的特征,即本地模型的个性化;通过联邦学习和同态加密技术,解决在云环境下个人隐私的保护问题,有效解决数据孤岛的问题,提高识别的效率,从而满足实际应用的需求。

Description

一种基于联邦学习的分心驾驶识别方法
技术领域
本发明属于计算机技术领域,涉及基于图像的物体检测技术,具体涉及一种基于联邦学习的分心驾驶识别方法。
背景技术
随着经济的飞速发展,交通事故发生的频率也在逐年增加,驾驶员出现注意力分散的现象是发生交通事故的主要原因之一,基于分心驾驶的识别是当前亟需解决的问题。分心驾驶是在驾驶过程中进行的另一种活动,例如编辑短信,接听电话等,严重威胁道路的行车安全。由于汽车行驶速度快,当驾驶员行驶途中编辑一条微信,他的视线会离开道路约4秒钟,在60迈时速情况下几乎要覆盖足球场的长度。
随着机器学习的深入研究,国内外许多专家学者利用机器学习算法,对分心驾驶行为的识别方法进行了一些研究,其核心是从特征指标中挖掘潜藏的关联信息从而识别分心。虽然模拟实验取得较好的效果,但这些研究都是在驾驶条件受限或模拟驾驶环境下采集的数据,有一定的局限性,实际效果并不理想。具体来说,当今的分心驾驶面临三个关键的挑战:
1、在现实生活中,驾驶行为数据涉及到个人隐私问题,往往以孤岛的形式存在,大量用户不愿共享。
2、每天产生的数据量较大,又受限于移动驾驶的这一环境,导致交互性较差,数据拥有者与数据分析者通信不畅通。
3、硬件性能较低。每天采集的图像数据量大,利用常规的深度学习进行处理,硬件性能要求较高,与当前的驾驶硬件相矛盾。
基于以上三个挑战,分心驾驶识别在实际应用中不可能获得海量用户的驾驶行为数据,从而严重制约了此项研究的发展。
综上,当前的研究主要考虑了针对分心驾驶识别的准确性,基本上没有考虑隐私保护问题,特别是个人隐私上传云端,它也带来了严重的安全问题:存储在云中的数据可能会被云提供商和其他云客户端窃取。随着人们越来越重视隐私安全问题,如何兼顾隐私保护和高效识别的分心驾驶研究方法成为一个亟待解决的热点问题之一。
随着2018年GDPR法案的提出,原有隐私数据的共享方式被禁止使用,而大量孤岛数据不能充分享受到大数据和云计算带来的红利,造成了极大的资源浪费。在这个背景下,联邦学习,一种新的分布式机器学习框架,被谷歌提出,既满足了隐私保护的需求,又能充分参与到大样本的机器学习中。在此之后,多家研究机构也开始进入这一领域,特别是针对金融、医疗、广告等方向的研究,取得了许多不俗的成果。
发明内容
针对现有技术存在的不足,本发明目的在于提供一种基于联邦学习的分心驾驶识别方法,在保护个人隐私的前提下,保证安全驾驶,识别准确率高,扩展性好。
为实现上述目的,本发明采用如下技术申请:
一种基于联邦学习的分心驾驶识别方法,包括如下步骤:
步骤1:搜集有关驾驶员分心行为识别的图像集,本地用户通过深度神经网络和浅层卷积神经网络分别独立执行识别学习任务,构建私有模型;
步骤2:以同态加密形式传输本地深度神经网络私有模型的参数到云服务器;
步骤3:在云服务器中联合学习,建立全局统计深度神经网络模型;
步骤4:当有本地用户的请求时从云服务器下载变更的深度神经网络模型参数,更新本地深度神经网络模型;
步骤5:融合本地深度神经网络和浅层卷积神经网络全连接层,建立最终混合识别模型,对本地驾驶员驾驶图像进行识别。
进一步,所述步骤5中融合本地深度神经网络和浅层卷积神经网络全连接层,建立最终混合识别模型,对于任意用户端u来说,本地混合模型的目标优化过程表示为:
其中,f( )表示网络输出,softmax是输出运算,<|>表示网络融合层,λ表示网络融合层和输出层之间需要学习的参数矩阵,l(·,·)表示损失函数。
进一步,所述步骤1中图像集为开源数据集,包括ImageNet,Open Images,ImageV5。
进一步,所述步骤1中基于TensorFlowFederated框架构建深度神经网络模型,通过TensorFlow系统投建浅层卷积神经网络模型。
本发明具有以下有益效果:
本发明基于联邦学习的分心驾驶识别方法,主要采用联邦学习和浅层卷积神经网络两种机器学习技术,联邦学习主要利用分布式数据,通过深度神经网络(DNN)构建全局统计模型,提高识别的准确率,同时在同态加密条件下上传关键参数,不泄露本地产生的数据;卷积神经网络(CNN)主要利用对图像特征提取的优势,负责提取用户端差异化的特征,即本地模型的个性化。
首次利用在模型融合领域,利用算法嫁接的方法直接融合,提高模型的识别性能。通过联邦学习和同态加密技术,解决在云环境下个人隐私的保护问题,在满足隐私保护的前提下,建立全局云模型,有效解决数据孤岛的问题,同时,利用浅层混合模型分析驾驶员是否分心,从而给出必要的警告,以防止发生交通事故的潜在风险。而且对比于现有识别方法准确率更高,为分心驾驶的研究提供了一个新的研究思路,对于安全驾驶领域有重要的应用价值。
本发明基于联邦学习的分心驾驶识别方法,在保证识别准确率的基础上,考虑到移动驾驶的loT的硬件条件,利用浅层卷积网络(SCNN),减少算力依赖,满足当前驾驶室的现实需要,提高识别的效率,从而满足实际应用的需求。
本发明方法是一个动态学习过程,不仅在保护隐私数据的基础上不断增强分心驾驶的识别能力,同时还可以友好的支持用户加入,扩展性较好。
附图说明
图1本发明模型的整体框架图
图2浅层融合模型的基本原理图
图3数据集样例
图4浅层网络融合模型示意图
图5识别准确率对比图
图6识别效率对比图
具体实施方式
下面结合具体实施例对本发明作进一步详细描述,但不作为对本发明的限定。
如图1所示,本发明基于联邦学习的分心驾驶识别方法,包括以下步骤:
步骤1:本地用户通过深度神经网络(DNN)和浅层卷积神经网络(SCNN)分别独立执行识别学习任务;
步骤2:以同态加密形式传输本地深度神经网络(DNN)私有模型的参数;
步骤3:在云服务器中联合学习,建立全局统计模型;
步骤4:当有本地用户的请求时更新本地DNN参数;
步骤5:融合本地DNN和SCNN全连接层,建立最终混合识别模型。
以上是该方法对分心驾驶识别过程的简要介绍,可根据实际需求,可考虑定时更新本地参数,例如每天夜里更新一次。
对步骤5进行详细说明。由于受限于驾驶环境和硬件水平,采用浅层卷积神经网络(SCNN)。在更新本地深度神经网络(DNN)模型后,对两个网络模型进行深度融合,实现本地混合模型。以两层卷积层为例,具体融合方式如图2所示(浅层卷积神经网络层数不固定)。本地DNN网络中的隐藏层最后一层与SCNN的全连接层合并,之后再连接输出层。通过两个模型融合的方式,不断迭代优化训练,最终实现局部最优预测,输出预测结果和训练参数值。
对于任意用户端u来说,本地混合模型的目标优化过程可以表示为:
其中,f()表示网络输出,softmax是输出运算,<|>表示网络融合层,λ表示网络融合层和输出层之间需要学习的参数矩阵,l(·,·)表示损失函数。通过本地混合模型的适当训练和优化,即可得到用户端最终的识别模型。
采用联邦学习和浅层卷积神经网络两种机器学习技术,联邦学习主要利用分布式数据,通过深度神经网络(DNN)构建全局统计模型,提高识别的准确率,同时在同态加密条件下上传关键参数,不泄露本地产生的数据;卷积神经网络(CNN)主要利用对图像特征提取的优势,负责提取用户端差异化的特征,即本地模型的个性化。
为了兼顾到loT硬件水平,采用浅层CNN(SCNN)满足当前驾驶室的现实需要,提高识别的效率。在驾驶途中,通过内置高清摄像探头获取以驾驶员为主体对象的RGB图像作为输入,智能车载系统预定都可以与云端通信。
实例1
1、获取开源数据集:从ImageNet,Open Images,Image V5等公开数据集中获取分心驾驶的相关图片及标注信息,如图3所示。
数据集设置主要包含三个关键步骤:
(1)搜集有关驾驶员分心行为识别的图像集;
(2)对数据集中的图像进行预处理,例如旋转、平移、放缩等,以此增加数据的多样性;
(3)分类和标注数据图形。
2、构建模型:在实例中云服务器和用户端均基于TensorFlowFederated(TFF)框架执行DNN。同时,对于用户端而言,SCNN是通过TensorFlow实施的。
3、浅层混合模型具体时间设置如图4所示。
为了验证本发明在分心驾驶识别方面的优越性,本发明提出的算法与传统的机器学习算法进行了比较。如图5所示,经典分类算法(如决策树,支持向量机,朴素贝叶斯、MLP)的准确性均低于60%,CNN方案的准确率可以达到97%,但对硬件性能要求较高,部署成本高,而本发明Fed-SCNN方案的准确率可达到98.73%,充分体现了本发明在分心驾驶识别方面的优势,弥补了传统的机器学习算法的不足。
如图6所示,在准确率相似的情况下,本发明Fed-SCNN方案与CNN方案比较学习训练的效率。充分说明本发明Fed-SCNN方案在效率方面优于CNN方案,更适应移动驾驶硬件环境。
参照上述实施例对本发明进行了详细说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明要求范围当中。

Claims (3)

1.一种基于联邦学习的分心驾驶识别方法,其特征在于包括如下步骤:
步骤1:搜集有关驾驶员分心行为识别的图像集,本地用户通过深度神经网络和浅层卷积神经网络分别独立执行识别学习任务,构建私有模型;
步骤2:以同态加密形式传输本地深度神经网络私有模型的参数到云服务器;
步骤3:在云服务器中联合学习,建立全局统计深度神经网络模型;
步骤4:当有本地用户的请求时从云服务器下载变更的深度神经网络模型参数,更新本地深度神经网络模型;
步骤5:融合本地深度神经网络和浅层卷积神经网络全连接层,建立最终混合识别模型,对本地驾驶员驾驶图像进行识别;
所述步骤5中融合本地深度神经网络和浅层卷积神经网络全连接层,建立最终混合识别模型,对于任意用户端u来说,本地混合模型的目标优化过程表示为:
其中,f()表示网络输出,softmax是输出运算,<|>表示网络融合层,λ表示网络融合层和输出层之间需要学习的参数矩阵,l(·,·)表示损失函数。
2.根据权利要求1所述的基于联邦学习的分心驾驶识别方法,其特征在于:所述步骤1中图像集为开源数据集,包括ImageNet,Open Images,Image V5。
3.根据权利要求1所述的基于联邦学习的分心驾驶识别方法,其特征在于:所述步骤1中基于TensorFlowFederated框架构建深度神经网络模型,通过TensorFlow系统投建浅层卷积神经网络模型。
CN202010698360.9A 2020-07-20 2020-07-20 一种基于联邦学习的分心驾驶识别方法 Active CN111832503B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010698360.9A CN111832503B (zh) 2020-07-20 2020-07-20 一种基于联邦学习的分心驾驶识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010698360.9A CN111832503B (zh) 2020-07-20 2020-07-20 一种基于联邦学习的分心驾驶识别方法

Publications (2)

Publication Number Publication Date
CN111832503A CN111832503A (zh) 2020-10-27
CN111832503B true CN111832503B (zh) 2023-12-19

Family

ID=72924222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010698360.9A Active CN111832503B (zh) 2020-07-20 2020-07-20 一种基于联邦学习的分心驾驶识别方法

Country Status (1)

Country Link
CN (1) CN111832503B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112660141A (zh) * 2020-12-29 2021-04-16 长安大学 一种通过驾驶行为数据的驾驶员驾驶分心行为识别方法
CN112863175B (zh) * 2020-12-31 2022-11-22 平安科技(深圳)有限公司 汽车道路监测数据处理方法、装置、设备及存储介质
CN112926126B (zh) * 2021-03-31 2023-04-25 南京信息工程大学 一种基于马尔可夫随机场的联邦学习方法
CN113298191B (zh) * 2021-04-01 2022-09-06 山东大学 基于个性化半监督在线联邦学习的用户行为识别方法
CN114241453B (zh) * 2021-12-20 2024-03-12 东南大学 一种利用关键点注意力的驾驶员分心驾驶监测方法
CN114401079B (zh) * 2022-03-25 2022-06-14 腾讯科技(深圳)有限公司 多方联合信息价值计算方法、相关设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108345869A (zh) * 2018-03-09 2018-07-31 南京理工大学 基于深度图像和虚拟数据的驾驶人姿态识别方法
CN108875674A (zh) * 2018-06-29 2018-11-23 东南大学 一种基于多列融合卷积神经网络的驾驶员行为识别方法
KR20190103088A (ko) * 2019-08-15 2019-09-04 엘지전자 주식회사 연합학습을 통한 단말의 명함을 인식하는 방법 및 이를 위한 장치
KR102096617B1 (ko) * 2018-12-12 2020-04-02 충남대학교산학협력단 이미지와 ppg 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108345869A (zh) * 2018-03-09 2018-07-31 南京理工大学 基于深度图像和虚拟数据的驾驶人姿态识别方法
CN108875674A (zh) * 2018-06-29 2018-11-23 东南大学 一种基于多列融合卷积神经网络的驾驶员行为识别方法
KR102096617B1 (ko) * 2018-12-12 2020-04-02 충남대학교산학협력단 이미지와 ppg 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템
KR20190103088A (ko) * 2019-08-15 2019-09-04 엘지전자 주식회사 연합학습을 통한 단말의 명함을 인식하는 방법 및 이를 위한 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于级联卷积神经网络的驾驶员分心驾驶行为检测;陈军;张黎;周博;罗维平;马双宝;;科学技术与工程(第14期);全文 *
深度卷积神经网络在计算机视觉中的应用研究综述;卢宏涛;张秦川;;数据采集与处理(第01期);全文 *

Also Published As

Publication number Publication date
CN111832503A (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
CN111832503B (zh) 一种基于联邦学习的分心驾驶识别方法
Chen et al. Edge intelligence empowered vehicle detection and image segmentation for autonomous vehicles
Ma et al. Fine-grained vehicle classification with channel max pooling modified CNNs
CN109829443B (zh) 基于图像增强与3d卷积神经网络的视频行为识别方法
CN106803301A (zh) 一种基于深度学习的人脸识别门禁方法及系统
WO2021016873A1 (zh) 基于级联神经网络的注意力检测方法、计算机装置及计算机可读存储介质
CN111310026A (zh) 一种基于人工智能的涉黄涉恐监测方法
Ruan et al. Deep learning for real-time image steganalysis: a survey
CN111008639B (zh) 一种基于注意力机制的车牌字符识别方法
US20220148194A1 (en) Image foreground segmentation algorithm based on edge knowledge transformation
CN113139501B (zh) 一种联合局部区域检测与多级特征抓取的行人多属性识别方法
CN112861671A (zh) 一种对深度伪造人脸图像和视频的鉴别方法
CN111860316A (zh) 一种驾驶行为的识别方法、装置及存储介质
CN113589938A (zh) 具备弹幕功能的车载终端信息分享系统
CN114187581B (zh) 一种基于无监督学习的驾驶员分心细粒度检测方法
CN116092134A (zh) 一种基于深度学习和特征融合的指纹活体检测方法
Wei et al. Special issue on situation awareness in intelligent human-computer interaction for time critical decision making
Liu et al. Toward visual quality enhancement of dehazing effect with improved Cycle-GAN
Song et al. Identification of dangerous driving state based on lightweight deep learning model
Siddiqui et al. A novel lightweight defense method against adversarial patches-based attacks on automated vehicle make and model recognition systems
CN111091102A (zh) 一种视频分析装置、服务器、系统及保护身份隐私的方法
Pan et al. A hybrid deep learning algorithm for the license plate detection and recognition in vehicle-to-vehicle communications
Sankaranarayanan et al. Virtual mono-layered continuous containers for vehicle detection applications in intelligent transportation systems
Wang et al. Research on road adhesion condition identification based on an improved ALexNet model
Wang et al. Application of license plate number recognition based on deep learning method in intelligent building security system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant