CN109243021A - 基于用户体验分析的深度强化学习式智能门锁系统及装置 - Google Patents
基于用户体验分析的深度强化学习式智能门锁系统及装置 Download PDFInfo
- Publication number
- CN109243021A CN109243021A CN201810980348.XA CN201810980348A CN109243021A CN 109243021 A CN109243021 A CN 109243021A CN 201810980348 A CN201810980348 A CN 201810980348A CN 109243021 A CN109243021 A CN 109243021A
- Authority
- CN
- China
- Prior art keywords
- learning
- door lock
- state
- formula
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000006870 function Effects 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 23
- 230000008569 process Effects 0.000 claims abstract description 12
- 230000006399 behavior Effects 0.000 claims description 30
- 238000004891 communication Methods 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 8
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 claims description 6
- 230000005611 electricity Effects 0.000 claims description 6
- 229910052744 lithium Inorganic materials 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 239000000725 suspension Substances 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 4
- 229910021421 monocrystalline silicon Inorganic materials 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 239000013078 crystal Substances 0.000 claims description 2
- 230000000977 initiatory effect Effects 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000010295 mobile communication Methods 0.000 claims description 2
- 230000008447 perception Effects 0.000 claims description 2
- 238000012797 qualification Methods 0.000 claims description 2
- 230000000452 restraining effect Effects 0.000 claims description 2
- 230000007704 transition Effects 0.000 claims description 2
- 230000017105 transposition Effects 0.000 claims description 2
- RWSOTUBLDIXVET-UHFFFAOYSA-N Dihydrogen sulfide Chemical group S RWSOTUBLDIXVET-UHFFFAOYSA-N 0.000 claims 1
- 229940101532 meted Drugs 0.000 claims 1
- 230000000087 stabilizing effect Effects 0.000 claims 1
- 238000013461 design Methods 0.000 abstract description 7
- 230000009467 reduction Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
- G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
- G07C9/00571—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated by interacting with a central unit
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Lock And Its Accessories (AREA)
Abstract
本发明公开了一种基于用户体验分析的深度强化学习式智能门锁系统及装置。首先，我们设计出智能门锁系统的强化学习模型，并提出改进的线上线下强化学习算法，该算法对用户体验质量(QoE)分析，通过分析将搜索空间的状态‑行为对降维；其次，为克服强化学习带有的延迟奖励或者惩罚，而影响到后续学习过程，为此，我们采用带有临时记录功能的资格迹进行信用评分，从而避免强化学习中具有的延迟赏罚的弊端。最后，该算法作为核心模块，设计出智能门锁系统的装置，从而实现多元化、智能化学习式的开/关锁系统。避免了用户用人脸/指纹/密码开锁的费时费心的操作，增强门锁的智能化和人性化。
Description
技术领域
本发明涉及一种基于用户体验分析的深度强化学习式智能门锁系统及装置，尤其涉及无人工参与下的智能学习式门锁开关系统，属于人工智能决策领域。
背景技术
随着5G无线系统的发展和应用，机器-对-机器(machine to machine)的世界也即将在强“人工智能+”时代的催生下涌现在人们的日常生活中如：智能家居、车联网、无人机、时控机器人等，无线世界已经实现了与人类的互联互通，自动化和智能化已被视为是面向行业应用一种新趋势。例如，由谷歌深灵(DeepMind)公司打造出的具有深度强化学习技术的围棋冠军AlphaGo，其智能化的学习技术为人工智能时代带来新的契机，其实现了类似人脑的功能：智能的实现学习。因此这种学习式的方法对智能门锁系统展现出巨大的潜力和应用价值。
目前，现有的门锁系统有存的弊端如下：
(1)采用钥匙手动开锁的门锁系统，本身不依赖与电子系统，使用的时间较长，然而，其潜藏着钥匙易丢、易盗和易复制的安全隐患，是安全系数较低的一种锁具，并且用户出门携带钥匙，用户体验质量较差。随着科技化、智能化的逆袭，以及人们对家居智能化的体验要求与日俱增，因此此种门锁系统将会逐渐淡出应用市场。
(2)采用人脸识别/指纹/密码手动开锁的门锁系统，此种形式的门锁系统已经在市场上屡见不鲜，但目前的人脸识别或指纹或密码的形式开锁仍然需要门锁主人或者预先设定的门锁家属或者已知密码的家人手动开锁，其仍然具有手动性质即：开锁者需要点击相应的锁具开锁按钮，人为的参与其识别验证等开锁过程，并且若为密码验证，还需要记住设定的密码等，这种形式的门锁系统，不免有费时费心之嫌，用户体验质量的评价自然不高。
(3)采用WIFI的远程控制终端APP进行开锁的门锁系统，此种形式因为需要周期性的更换电池或者给电池充电，一定程度上依赖于装有开锁APP的设备。在断网的情况下遥控开锁或者远程终端开锁则在系统上不起作用，并且仍然需要用户随身携带和保管，易丢失和窃取之嫌。用户体验质量自然会大打折扣。
目前，没有相关工作考虑带有用户体验质量(QoE)分析的智能学习式的开/关门锁系统及装置。该系统是具有QoE分析的线上线下式的学习算法，实现了智能学习式开关锁系统，避免了人工干预的开锁的繁琐过程。
发明内容
技术问题：本发明针对上述方案中尚存的空白，提出了一种基于用户体验分析的深度强化学习式智能门锁系统及装置。该系统是具有用户体验质量(QoE)分析的线上线下式的学习算法，对用户行为进行综合判断，智能决策，并设计出智能门锁系统的装置，从而实现多元化、智能化学习式的开/关锁系统。增强用户的体验质量。
技术方案：本发明提出一种基于用户体验分析的深度强化学习式智能门锁系统及装置。首先，我们设计智能门锁系统的强化学习模型，并提出改进的线上线下强化学习算法，该算法对用户的QoE分析，通过分析将搜索空间：状态-行为对的空间降维；此外，为克服强化学习带有的延迟奖励或者惩罚，而影响到后续学习过程，即根据此奖励或者惩罚计算下一时刻状态的值函数或者根据此奖励或者惩罚决定下一时刻行为的选择，为此，我们采用带有临时记录功能的资格迹进行信用评分，从而避免强化学习中具有的延迟赏罚的弊端。最后，该算法作为核心模块，设计出智能门锁系统的装置，从而实现多元化、智能化学习式的开/关锁系统。增强用户的体验质量。
进一步地，所述的强化学习模型，其是在没有指导的情况下，通过探索和利用进行不断地累计经验的学习，尽管会遇到各种环境的各种不确定性。整个学习过程是通过经验回放池对经验数据进行存储，从而增加先验知识。这个过程也称为带有延迟奖励或者惩罚的试错学习。
所述的基于用户体验分析的深度强化学习式智能门锁系统及装置，包括微处理器、环境识别模块、智能学习模块、供电模块、语音通信模块、带人脸/指纹/密码锁芯、步进电机和反锁臂。其特征在于：环境识别模块，用于对环境的感知和检测，如开锁人的人脸、语音以及指纹等信息的识别和记录，以及周围环境的探测，将开锁人的行为传入到智能学习模块。
所述的智能学习模块，包括深度强化学习单元和用户体验质量分析决策单元构成。其采用深度强化学习机制，通过用户行为、当前时刻门锁系统的状态和移动边缘云的状态，即学习环境的Q函数值，反馈给深度强化学习单元，根据用户对所采取的行为(开/关锁)反馈，采用线上线下学习算法对下一时刻的动作进行预测评估，如下次智能开/关门锁会得到期望的回报，通过在经验池中经验数据的搜索学习，找到最优的Q函数值，从而对打开/关闭门锁进行决策，并将信息反馈给微处理器，由微处理器发出指令，驱动步进电机，由电机执行开 /关门锁的动作。
所述的Q函数值,即强化学习中的Q学习的函数值，其目标是在某个策略(学习机制)π下，将学习环境的状态转换成最优的行为，从而对不同用户的状态，在这种状态-动作空间做出开/关锁的智能决策。Q函数目标函数值表示为式(1)：
其中，θ表示QΩ(s,a)函数的权重，QΩ(s,a)表示改进的低维度的Q函数，表示矩阵转置。s表示系统当前的状态，a表示系统执行的动作。在式(1)中，θ由改进的权重式(2)计算得出：
其中，ξ是Q函数更新的学习率，ξ∈[0,1)，其根据经典的贝尔曼方程 (3)可以得到ξ的经验值，ξ＝0.99。
E[.]表示从长期看，所获得的期望的奖励。R是在下一时刻(t+1)的立即回报，s′是下一状态。Pr(.)是转移概率。Q函数是当系统处于状态s，采用相应的行为a的期望折扣累计代价(或者回报)。和分别是状态和行为的可行解集。β是折扣因子，表示其学习率，其范围是[0, 1)。Q函数学习的最优策略通过式(4)获得。
所述的(2)式中δ表示：时间差分误差(TD error)，即下一时刻的近似Q函数的近似值与当前值的差，其通常用式(5)进行估计：
所述的(2)式中的表示资格迹函数。由于强化学习具有延迟赏罚的特点，即时收益R，在所有后续时隙中，当前行为可能对当前即刻奖赏(惩罚)和后续的奖赏(惩罚)有影响。因此，我们引入一个资格迹的方法。该方法通过对先前已达的状态和行为分配信用或者惩罚，临时记录已达到的Q函数的历史，从而提供更高效的权值参考。其原理是：资格迹的每一步都积累已达的状态和行为，若该步的状态值已达到Q值，则资格迹增加；若该步的状态值未达到Q值，则资格迹将会逐渐下降，意味着当前已达的状态和行为更有资格参加学习过程。
我们用表示在瞬时t时刻关于U个用户资格迹的特征向量。资格迹的更新方程如式(6)表示，
其中，l∈[0,1)，表示迹-延迟参数。l＝0，它将更新为当前达到的Q 值。
所述的改进的线上线下学习算法的步骤如下：
1)线上学习阶段：
S1：初始化参数
S2：若t<T；其中T表示一个周期，即最大的时隙数，t∈{1,2,…,T}；若成立，则转T3，若不成立，则转T8，
S3：
利用概率ε贪婪选择下一时刻的行为。获得相应的回报和下一时刻的状态信息；
S4：观测学习环境状态和即刻代价或者回报R(t)；
S5：将四元组(s,a,R(t),s′)保存到经验回放池；
S6：判断Q函数是否收敛，若没有收敛，则根据式(7)更新Q函数, 转S7；若收敛，则转到R1；
S7：返回Q函数值；
S8:从新进入下一周期。
2)线下学习阶段：
R1：权重参数赋初值；
R2：计算MEC端累计折扣回报或者代价R；
R3：判断经验池样本是否为空；若为空，转R4；若不为空，根据式 (2)、(5)和(6)计算当前时刻误差权重值，并利用最小二乘法迭代更新下一时刻的权重误差函数值；
R4：判断权重误差是否小于收敛阈值，若是，则转R5；若不是，则转R6。
R5：利用梯度下降法更新参数集Ω，计算并返回Q函数值。
R6：根据式(5)和(6)更新资格迹和TD误差，根据式(8)更新 Q函数。转R7；
所述的式(8)如下：
R7：t++；转S2。
有益效果：本发明对一种基于用户体验分析的深度强化学习式智能门锁系统及装置。该系统是具有用户QoE分析的线上线下式的学习算法，对学习环境进行综合判断，智能决策，并设计出智能门锁系统的装置，从而实现多元化、智能化学习式的开/关锁系统。增强用户的体验质量。
附图说明
图1为基于用户体验分析的深度强化学习式智能门锁系统及装置的结构示意图；
图2为智能学习模块的结构示意图；
图3为智能学习模块学习机制示意图；
图4为低复杂度的线上线下学习算法流程图。
具体实施方式
下面结合附图和具体实施方式，对本发明作进一步说明。
基本思想：本发明基于用户体验分析的深度强化学习式智能门锁系统及装置。首先，我们设计智能门锁系统的强化学习模型，并提出改进的线上线下强化学习算法，该算法对用户的QoE分析，通过分析将搜索空间：状态-行为对的空间降维；此外，为克服强化学习带有的延迟奖励或者惩罚，而影响到后续学习过程，即：根据此奖励或者惩罚计算下一时刻状态的值函数或者根据此奖励或者惩罚决定下一时刻行为的选择，为此，我们采用带有临时记录功能的资格迹进行信用评分，从而避免强化学习中具有的延迟赏罚的弊端。最后，该算法作为核心模块，设计出智能门锁系统的装置，从而实现多元化、智能化学习式的开/关锁系统。避免了用户用人脸/指纹/密码开锁的费时费心的操作，增强门锁的智能化和人性化。
所述的基于用户体验分析的深度强化学习式智能门锁系统及装置的结构示意图，如图1所示，该系统包括微处理器1，环境识别模块2，智能学习模块9，供电模块6、语音通信模块13、存储装置12、人脸/指纹/密码锁芯19、步进电机21和反锁臂20组成。
进一步地，所述的微处理器1是有CPU芯片，flash缓存等构成，用于协调并控制各个模块的运营；所述的环境识别模块2，由环境感知单元3，语音输入单元4，人脸检测单元5构成，其作为输入模块，为智能学习模块提供数据源；所述的智能学习模块9，由深度强化学习单元10和用户体验质量分析决策单元11构成。其用于对用户的一些日常开锁行为和语言行为的判断和处理，并根据用户的信息状态给予的反馈，在不需要用户人工干预的情况下，智能地对开/关锁功能进行决策。
进一步地，所述的语音通信系统13由ZIGBEE芯片、GSM器件18和网关设备接口16构成。ZIGBEE芯片单元15集成ZIGBEE RF前段，Flash存储器和对应的线路板。GSM单元14用于断网的情况下智能的向存储器中有关家人的手机号发送短信。网关设备接口是 RJ-45标准接口或者USB接口，用于连接网线的水晶插头。采用有线或无线两种通信技术与移动边缘计算云(MEC)23、智能手机22等连接。无线技术采用5G通信协议，当没有网络的情况下，依然可采用手机通信协议进行发送短信进行开锁或者关锁；
进一步地，所述的供电模块6包括单晶硅光能蓄电单元8、可充电锂电池、低压差线性稳压装置7以及太阳能蓄电板18。所述的单晶硅光能蓄电单元8贴附于微处理器1外壳表面，其导线与太阳能蓄电板18的第一接口连接，所述的太阳能蓄电板18的第二接口与低压差线性稳压装置7连接，所述的低压差线性稳压装置7与可充电锂电池的正极连接，可充电锂电池的负极与太阳能蓄电板18的第三个接口连接。低压差线性稳压装置7用于保护电路。紧急情况：如在断网断电情况下，采用太阳能板蓄电单元可进行自行蓄电。
进一步地，所述的存储装置12，用于对智能学习模块，学习后的样本数据的存储，并作为语音通信模块13的语音播报装置17的数据源。
所述的智能学习模块的结构如图2所示，智能学习模块9是采用强化学习中的Q学习机制。学习机制001相当于智能体，其通过与学习环境002(学习对象)不断的交互，观测当前t时刻，学习环境的状态006：用户行为004和门锁系统状态005以及MEC003的状态，这三个状态分别附加以不同的权重θ，并对三种对象分别记录相应的状态值，在采取某个策略下将所获得的即时奖励007，比如用户体验质量QoE上升，同时，计算下一时刻采取某个动作008，如在下一时刻，某种场景(样本中的学习环境的相似状态值)下，进行开/关门锁，分别能够获得的期望的累计最大收益，如QoE的平均提升多少个量级等。则采用相应的行为008。并同时形成控制指令通过链路发送给微处理器1，微处理器1发送控制指令给步进电机21或者反锁臂20，由电机21执行是否开/ 关锁。
所述的智能学习模块的学习机制过程如图3所示：学习机制001 观察学习环境101的当前时刻的状态s和采取某个策略的即刻奖励值 (s,R)102,将当前时刻的行为a和状态s对：(s,a)114保存到经验回放池112中，并将下一时刻的元组(s,a,R(t),s′)113，保存到113中，从 113中计算当前Q值04，从113中获取下一时刻的状态和动作(s′,a′)110，作为目标值111，利用误差函数梯度106，将目标值111和当前值104，计算误差函数的期望105，其结果利用梯度法调整权重106，利用双改进的线上线下学习算法107，将调整参数后的108返回给104，当前的Q值104返回最优的 Q103arg mina′ 给学习环境101。从而完成学习过程。
所述的低复杂度的线上线下学习算法流程图如图4所示。该算法线上采用一步更新模式，线下进行调整学习的参数，从而降低线上边学习边调整参数这种传统学习模式的复杂度。在线上阶段，首先检测当前时刻的时间t是否小于预设定的周期T，否则，则重新开始下一个周期；若是，则采用贪婪算法选择下一时刻的动作a，获得相应的即时回报R(t)和下一时刻的状态s′信息，观察环境状态和即刻回报或者代价R(t)，将四元组(a,s,R(t),s′)样本保存到经验回放池。判断Q函数是否收敛，若否，根据式(7)更新Q函数，返回Q函数值；若是，转到线下学习阶段：对于权重参数赋初值，计算MEC端的总代价或者总回报R。判断经验池样本是否为空，若是，返回当前的Q函数值；否则，根据式(2)、(5)和(6)计算当前时刻误差权重值，利用最小二乘法，迭代更新下一时刻的权重误差函数值。判断权重误差是否小于收敛阈值，若是，利用梯度下降法更新参数Ω，否则，根据式(5)和(6)更新资格迹和TD误差，根据式(8)和更新低复杂度的Q函数，t++，重新判断，回到步骤t<T的判断。
上述描述仅作为本发明可实施的技术方案提出，不作为对其技术方案本身的单一限制条件。
Claims (7)
1.基于用户体验分析的深度强化学习式智能门锁系统及装置，其特征在于，包括微处理器、环境识别模块、智能学习模块、供电模块、语音通信模块、带人脸/指纹/密码锁芯、步进电机和反锁臂。所述的环境识别模块，用于对环境的感知和检测，如开锁人的人脸、语音以及指纹等信息的识别和记录，以及周围环境的探测，将开锁人的行为传入到智能学习模块。
2.根据权利要求1所述的基于用户体验分析的深度强化学习式智能门锁系统及装置，其特征在于，所述的智能学习模块包括深度强化学习单元和用户体验质量分析决策单元构成。其采用深度强化学习机制，通过用户行为、当前时刻门锁系统的状态和移动边缘云的状态，即学习环境的Q函数值，反馈给深度强化学习单元，根据用户对所采取的行为(开/关锁)反馈，采用线上线下学习算法对下一时刻的动作进行预测评估，如下次智能开/关门锁会得到期望的回报，通过在经验池中经验数据的搜索学习，找到最优的Q函数值，从而对打开/关闭门锁进行决策，并将信息反馈给微处理器，由微处理器发出指令，驱动步进电机，由电机执行开/关门锁的动作。
3.根据权利要求1所述的基于用户体验分析的深度强化学习式智能门锁系统及装置，其特征在于，所述的Q函数值,即强化学习中的Q学习的函数值，其目标是在某个策略(学习机制)π下，将学习环境的状态转换成最优的行为，从而对不同用户的状态，在这种状态-动作空间做出开/关锁的智能决策，Q函数目标函数值表示为式(1)：
其中，θ表示QΩ(s,a)函数的权重，QΩ(s,a)表示改进的低维度的Q函数，表示矩阵转置，s表示系统当前的状态，a表示系统执行的动作，在式(1)中，θ由改进的权重式(2)计算得出：
其中，ξ是Q函数更新的学习率，ξ∈[0,1)，其根据经典的贝尔曼方程(3)可以得到ξ的经验值，ξ＝0.99。
E[.]表示从长期看，所获得的期望的奖励；R是在下一时刻(t+1)的立即回报，s′是下一状态；Pr(.)是转移概率；Q函数是当系统处于状态s，采用相应的行为a的期望折扣累计代价(或者回报)；和分别是状态和行为的可行解集；β是折扣因子，表示其学习率，其范围是[0,1)；Q函数学习的最优策略通过式(4)获得。
所述的(2)式中δ表示：时间差分误差(TD error)，即下一时刻的近似Q函数的近似值与当前值的差，其通常用式(5)进行估计：
所述的(2)式中的表示资格迹函数。由于强化学习具有延迟赏罚的特点，即时收益R，在所有后续时隙中，当前行为可能对当前即刻奖赏(惩罚)和后续的奖赏(惩罚)有影响。因此，我们引入一个资格迹的方法。该方法通过对先前已达的状态和行为分配信用或者惩罚，临时记录已达到的Q函数的历史，从而提供更高效的权值参考。其原理是：资格迹的每一步都积累已达的状态和行为，若该步的状态值已达到Q值，则资格迹增加；若该步的状态值未达到Q值，则资格迹将会逐渐下降，意味着当前已达的状态和行为更有资格参加学习过程；我们用表示在瞬时t时刻关于U个用户资格迹的特征向量，资格迹的更新方程如式(6)表示，
其中，l∈[0,1)，表示迹-延迟参数，l＝0，它将更新为当前达到的Q值。
4.根据权利要求1所述的基于用户体验分析的深度强化学习式智能门锁系统及装置，其特征在于，采用带有临时记录功能的资格迹进行信用评分，从而避免强化学习中具有的延迟赏罚的弊端以克服强化学习带有的延迟奖励或者惩罚，而影响到后续学习过程，即根据此奖励或者惩罚计算下一时刻状态的值函数或者根据此奖励或者惩罚决定下一时刻行为的选择。
5.根据权利要求1所述的基于用户体验分析的深度强化学习式智能门锁系统及装置，其特征在于，所述的改进的线上线下学习算法的步骤如下：
1)线上学习阶段：
S1：初始化参数
S2：若t<T；其中T表示一个周期，即最大的时隙数，t∈{1,2,…,T}；若成立，则转T3，若不成立，则转T8，
S3：利用概率ε贪婪选择下一时刻的行为。获得相应的回报和下一时刻的状态信息；
S4：观测学习环境状态和即刻代价或者回报R(t)；
S5：将四元组(s,a,R(t),s′)保存到经验回放池；
S6：判断Q函数是否收敛，若没有收敛，则根据式(7)更新Q函数,转S7；若收敛，则转到R1；
S7：返回Q函数值；
S8:从新进入下一周期。
2)线下学习阶段：
R1：权重参数赋初值；
R2：计算移动边缘云端的累计折扣回报或者代价R；
R3：判断经验池样本是否为空；若为空，转R4；若不为空，根据式(2)、(5)和(6)计算当前时刻误差权重值，并利用最小二乘法迭代更新下一时刻的权重误差函数值；
R4：判断权重误差是否小于收敛阈值，若是，则转R5；若不是，则转R6；
R5：利用梯度下降法更新参数集Ω，计算并返回Q函数值；
R6：根据式(5)和(6)更新资格迹和TD误差，根据式(8)更新低复杂度的新Q函数，转R7；
所述的式(8)如下：
R7：t++，转T2。
6.根据权利要求1所述的基于用户体验分析的深度强化学习式智能门锁系统及装置，其特征在于，所述的语音通信系统由ZIGBEE芯片单元、GSM单元和网关设备接口构成。ZIGBEE芯片单元集成ZIGBEE RF前段，Flash存储器和对应的线路板。GSM单元用于断网时、智能的向存储器中有关家人的手机号发送短信进行应急开/关锁。网关设备接口是RJ-45标准接口或者USB接口，用于连接网线的水晶插头。采用有线或无线两种通信技术与移动边缘计算云(MEC)、智能手机等连接；无线技术采用5G通信协议，当没有网络的情况下，依然可采用手机通信协议进行发送短信进行开锁或者关锁。
7.根据权利要求1所述的基于用户体验分析的深度强化学习式智能门锁系统及装置，其特征在于，所述的供电模块包括单晶硅光能蓄电单元、可充电锂电池、低压差线性稳压装置以及太阳能蓄电板。所述的单晶硅光能蓄电单元贴附于微处理器外壳表面，其导线与太阳能蓄电板的第一接口连接，所述的太阳能蓄电板的第二接口与低压差线性稳压装置连接，所述的低压差线性稳压装置与可充电锂电池的正极连接，可充电锂电池的负极与太阳能蓄电板的第三个接口连接；低压差线性稳压装置用于保护电路；在紧急情况：如断网断电时，采用太阳能板蓄电单元可进行自行蓄电。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810980348.XA CN109243021B (zh) | 2018-08-28 | 2018-08-28 | 基于用户体验分析的深度强化学习式智能门锁系统及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810980348.XA CN109243021B (zh) | 2018-08-28 | 2018-08-28 | 基于用户体验分析的深度强化学习式智能门锁系统及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109243021A true CN109243021A (zh) | 2019-01-18 |
| CN109243021B CN109243021B (zh) | 2021-09-17 |
Family
ID=65068328
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810980348.XA Expired - Fee Related CN109243021B (zh) | 2018-08-28 | 2018-08-28 | 基于用户体验分析的深度强化学习式智能门锁系统及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109243021B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111338227A (zh) * | 2020-05-18 | 2020-06-26 | 南京三满互联网络科技有限公司 | 基于强化学习的电子电器控制方法及控制设备、存储介质 |
| WO2021006972A1 (en) * | 2019-07-10 | 2021-01-14 | Microsoft Technology Licensing, Llc | Reinforcement learning in real-time communications |
| CN114187680A (zh) * | 2020-08-25 | 2022-03-15 | 浙江宇视科技有限公司 | 一种智能锁的开锁信息识别方法、装置、介质及设备 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101393660A (zh) * | 2008-10-15 | 2009-03-25 | 中山大学 | 一种基于脚步声识别的智能门禁系统 |
| CN102312616A (zh) * | 2010-06-29 | 2012-01-11 | 马瑞利汽车电子(广州)有限公司 | 用于智能进入和智能启动的方法和系统 |
| US9268990B2 (en) * | 2010-03-16 | 2016-02-23 | Carlo Trugenberger | Apparatus and method for producing an identification device |
| KR20160136632A (ko) * | 2015-05-20 | 2016-11-30 | 윤덕하 | 스마트 전자문 |
| CN106598058A (zh) * | 2016-12-20 | 2017-04-26 | 华北理工大学 | 内在动机驱动的极限学习机自发育系统及其运行方法 |
| CN106803301A (zh) * | 2017-03-28 | 2017-06-06 | 广东工业大学 | 一种基于深度学习的人脸识别门禁方法及系统 |
| CN106842925A (zh) * | 2017-01-20 | 2017-06-13 | 清华大学 | 一种基于深度强化学习的机车智能操纵方法与系统 |
| CN107038477A (zh) * | 2016-08-10 | 2017-08-11 | 哈尔滨工业大学深圳研究生院 | 一种非完备信息下的神经网络与q学习结合的估值方法 |
| CN107690176A (zh) * | 2017-09-30 | 2018-02-13 | 南京南瑞集团公司 | 一种基于q学习算法的网络选择方法 |
| CN107833328A (zh) * | 2017-11-20 | 2018-03-23 | 北京奇虎科技有限公司 | 基于人脸识别的门禁验证方法及装置、计算设备 |
| CN108230526A (zh) * | 2018-04-17 | 2018-06-29 | 济南浪潮高新科技投资发展有限公司 | 一种基于深度学习的智能门禁方法 |
| CN108364374A (zh) * | 2017-12-28 | 2018-08-03 | 武汉烽火众智数字技术有限责任公司 | 基于深度学习的人脸门禁控制装置及方法 |
-
2018
- 2018-08-28 CN CN201810980348.XA patent/CN109243021B/zh not_active Expired - Fee Related
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101393660A (zh) * | 2008-10-15 | 2009-03-25 | 中山大学 | 一种基于脚步声识别的智能门禁系统 |
| US9268990B2 (en) * | 2010-03-16 | 2016-02-23 | Carlo Trugenberger | Apparatus and method for producing an identification device |
| CN102312616A (zh) * | 2010-06-29 | 2012-01-11 | 马瑞利汽车电子(广州)有限公司 | 用于智能进入和智能启动的方法和系统 |
| KR20160136632A (ko) * | 2015-05-20 | 2016-11-30 | 윤덕하 | 스마트 전자문 |
| CN107038477A (zh) * | 2016-08-10 | 2017-08-11 | 哈尔滨工业大学深圳研究生院 | 一种非完备信息下的神经网络与q学习结合的估值方法 |
| CN106598058A (zh) * | 2016-12-20 | 2017-04-26 | 华北理工大学 | 内在动机驱动的极限学习机自发育系统及其运行方法 |
| CN106842925A (zh) * | 2017-01-20 | 2017-06-13 | 清华大学 | 一种基于深度强化学习的机车智能操纵方法与系统 |
| CN106803301A (zh) * | 2017-03-28 | 2017-06-06 | 广东工业大学 | 一种基于深度学习的人脸识别门禁方法及系统 |
| CN107690176A (zh) * | 2017-09-30 | 2018-02-13 | 南京南瑞集团公司 | 一种基于q学习算法的网络选择方法 |
| CN107833328A (zh) * | 2017-11-20 | 2018-03-23 | 北京奇虎科技有限公司 | 基于人脸识别的门禁验证方法及装置、计算设备 |
| CN108364374A (zh) * | 2017-12-28 | 2018-08-03 | 武汉烽火众智数字技术有限责任公司 | 基于深度学习的人脸门禁控制装置及方法 |
| CN108230526A (zh) * | 2018-04-17 | 2018-06-29 | 济南浪潮高新科技投资发展有限公司 | 一种基于深度学习的智能门禁方法 |
Non-Patent Citations (2)
| Title |
|---|
| 倪建军，任黎: "《复杂系统控制与决策中的智能计算》", 31 October 2016, 国防工业出版社 * |
| 陈雪松: "强化学习及其在机器人系统中的应用研究", 《中国博士学位论文全文数据库信息科技辑》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021006972A1 (en) * | 2019-07-10 | 2021-01-14 | Microsoft Technology Licensing, Llc | Reinforcement learning in real-time communications |
| US11373108B2 (en) | 2019-07-10 | 2022-06-28 | Microsoft Technology Licensing, Llc | Reinforcement learning in real-time communications |
| CN111338227A (zh) * | 2020-05-18 | 2020-06-26 | 南京三满互联网络科技有限公司 | 基于强化学习的电子电器控制方法及控制设备、存储介质 |
| CN111338227B (zh) * | 2020-05-18 | 2020-12-01 | 南京三满互联网络科技有限公司 | 基于强化学习的电子电器控制方法及控制设备、存储介质 |
| CN114187680A (zh) * | 2020-08-25 | 2022-03-15 | 浙江宇视科技有限公司 | 一种智能锁的开锁信息识别方法、装置、介质及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109243021B (zh) | 2021-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103390116B (zh) | 采用分步方式的光伏电站发电功率预测方法 | |
| CN109243021A (zh) | 基于用户体验分析的深度强化学习式智能门锁系统及装置 | |
| CN107808212B (zh) | 基于灰色神经网络的太阳能收集功率预测方法 | |
| CN113572157B (zh) | 一种基于近端策略优化的用户实时自治能量管理优化方法 | |
| CN105590174A (zh) | 基于k-均值聚类rbf神经网络的企业用电负荷预测方法 | |
| CN104699051B (zh) | 一种温控设备需求响应控制方法 | |
| CN109242212A (zh) | 一种基于变模式分解与长短记忆网络的风电预测方法 | |
| CN105117975A (zh) | 一种光伏输出功率值的分频预测方法 | |
| CN112100841A (zh) | 盾构机姿态预测方法、装置、终端设备以及存储介质 | |
| Khaki et al. | Nonparametric user behavior prediction for distributed ev charging scheduling | |
| CN113344283B (zh) | 基于边缘智能的能源互联网新能源消纳能力评估方法 | |
| CN110133511A (zh) | 一种基于长短时记忆网络的锂电池组剩余电量实时预测方法 | |
| CN106127612A (zh) | 水电站非弃水期下游水位变化过程预测方法 | |
| CN103679292B (zh) | 一种智能微电网双电池电能协同优化方法 | |
| Zhou et al. | Deep reinforcement learning for microgrid operation optimization: A review | |
| CN110011424A (zh) | 一种智能微电网分布式云储能系统安全稳定控制方法 | |
| CN110503301A (zh) | 一种基于Cox比例风险模型的电动汽车传导充电安全影响因素评价方法 | |
| CN115036952A (zh) | 一种基于mpc的电动汽车参与负荷平抑的实时功率控制方法 | |
| CN112003279B (zh) | 层次化微电网新能源消纳能力的评估方法 | |
| Ye et al. | Multi-scenario stochastic optimal scheduling for power systems with source-load matching based on pseudo-inverse Laguerre polynomials | |
| CN106094554A (zh) | 智能家居监测系统 | |
| Zhou et al. | Mean field game-based decentralized optimal charging control for large-scale of electric vehicles | |
| Zhu et al. | Resilience-Oriented Extreme Weather Conditional Renewable Scenario Generation Based on Diffusion Models and Few-shot Learning | |
| Tao et al. | Predictive analysis of indoor temperature and humidity based on BP neural network single-step prediction method | |
| Li et al. | A Q-learning-based solar energy prediction algorithm with energy data association |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210917 |