CN107122692A - 基于开关门图像识别的语音智能播放系统 - Google Patents

Abstract

本发明提出一种基于开关门图像识别的语音智能播放系统，其特征是预置用户图像特征信息与用户对应关系；建立用户个人信息列表或兴趣爱好信息列表；通过开门信号触发智能监控装置拍摄开门人图像信息，通过开关门过程中的图像识别进门或出门用户，根据进出门用户信息或兴趣列表，自动播放相关语音信息。本发明把语音播放融入到用户进出家门场景中，充分利用进出家门过程中的碎片化时间，针对用户喜好播放语音信息，带来智慧生活的体验。

Description

基于开关门图像识别的语音智能播放系统

技术领域

本发明涉及电子技术领域，尤其涉及一种基于开关门图像识别的语音智能播放系统。

背景技术

人们日常生活中频繁进出家门，如果在用户进出家门的过程中，根据用户需要，自动播放一些语音信息，如歌曲、新闻快讯、天气预报、家人问候等，可以充分利用用户进出家门的琐碎时间，带来智慧生活的体验。

发明内容

本发明的目的是提供一种基于开关门图像识别的语音智能播放系统，通过图像分析识别进出门用户，根据用户兴趣，自动播放相关语音信息。

本发明提出的一种基于开关门图像识别的语音智能播放系统，包括门测装置、智能监控装置以及语音输出装置，门测装置检测门的开关信号，智能监控装置拍摄门口区域，其特征是预置用户图像特征信息与用户对应关系；建立用户个人信息列表或兴趣爱好信息列表；当门测装置检测到开门信号，发送智能监控装置；智能监控装置根据开门信号拍摄门口区域图像，如果通过开门时的图像信息识别到门内用户，判断该用户出门，控制语音输出装置播放与出门用户信息或兴趣列表相关的语音信息；或智能监控装置根据开门信号拍摄门口区域图像，如果通过开门时的图像信息未识别到门内用户，判断用户从外进门，通过开门后到关门过程的图像信息识别进门用户，控制语音输出装置播放与进门用户信息或兴趣列表相关的语音信息。

本发明通过开门信号触发智能监控装置拍摄开门人图像信息，通过开关门过程中的图像识别进门或出门用户，根据进出门用户信息或兴趣列表，自动播放相关语音信息。本发明把语音播放融入到用户进出家门场景中，充分利用进出家门过程中的碎片化时间，针对用户喜好播放语音信息，带来智慧生活的体验。

结合以下实施例，分别描述本发明的技术方案。

附图说明

图1是本发明一实施例的系统结构框图。

图2是本发明另一实施例的系统结构框图。

图3是本发明一实施例的布置图。

图4是本发明另一实施例的布置图。

图5是一种语音播放控制方法流程图。

具体实施方式

在图1所示的系统结构框图中，包括门测装置、智能监控装置以及语音输出装置，其中，门测装置监测门的开关状态，通过有线或无线方式把检测信息发送智能监控装置；门测装置包括智能门锁、门磁，或接触传感器等其它装置，比如RFID射频装置，在门或门框上设置RFID标签，在门框或门上设置RFID阅读器，当门关闭，两者贴近，RFID阅读器接收到RFID标签反馈信号，当门打开，两者远离，RFID阅读器接收不到RFID标签信号，通过RFID阅读器是否接收到RFID标签信号，判断门的开关状态。门测装置还可以是一个触点开关，当门关闭，触点接通（或断开），当门打开，触点断开（或接通），根据触点的接通断开，判断门的开关状态。

智能监控装置中设置智能摄像头、存储器和微处理器，根据开门信号触发智能摄像头拍摄开门人图像，通过图像分析，识别开门用户，并通过有线或无线方式控制语音输出装置如扬声器，播放语音信息。所述语音输出装置中设置语音转换器，把文字信息转换成语音信息播放。

在图3所示的一种实施例布置图中，左图为门内面的正示图，右图为门的侧示图。门测装置1的一部分布置在门2上，另一部分布置在门框3上，以监测门2和门框3的开关状态，智能监控装置4与语音输出装置5一起设置在门框3上，朝向门内，拍摄门口区域，通过有线或无线方式接收门测装置1发送的门的开关检测信号，控制语音输出装置5播放语音信息。

在图4所示的另一种实施例布置图中，左图为门内面的正示图，右图为门的侧示图。门测装置1的一部分布置在门2上，另一部分布置在门框3上，以监测门2和门框3的开关状态，智能监控装置4与语音输出装置5整合在一起，设置在屋内某处设定位置，朝向门外，拍摄门口区域，通过有线或无线方式接收门测装置1发送的门的开关检测信号，控制语音输出装置5播放语音信息。

进一步，在门内侧设置人体检测装置，检测开关门时人体信号，通过有线或无线方式发送智能监控装置，系统结构框图如图2所示。所述人体检测装置包括触摸感应器、人体红外感应器、光电感应器、超声波发射接收器、激光发射接收器、指纹识别仪、虹膜识别仪中任一种，当用户开关门时，采集检测人体信号。比如设置在内侧门把手上的触摸感应器，当用户开门触摸该门把手时，触摸感应器检测到用户触摸信号。

在门内侧设置人体检测装置，当门打开时检测到门内人体信号，智能监控装置判断用户欲从内出门，当门打开时未检测到门内人体信号，判断用户欲从外进门；当门关闭时检测到门内人体信号，智能监控装置判断用户已进门，当门关闭时未检测到门内人体信号，判断用户已出门。

智能监控装置根据人体检测装置检测的人体信号，拍摄门口区域图像信息，通过图像分析，识别开关门用户。

在智能监控装置中设置存储单元，存储用户图像信息，通过图像比对分析识别该用户。系统可以通过外部设备比如智能手机，传入用户图像信息，或是系统通过用户单独进门或出门时采集的图像信息，人工建立用户信息与采集的图像信息关系。系统自动分析处理用户图像信息，提前图像特征信息。用户图像信息最好包括正面和背向图像信息，以满足智能监控装置的不同安装位置，识别进门出门场景。

图5所示的一种语音播放控制方法流程图中，在系统中预置用户图像特征信息与用户对应关系，建立用户个人信息列表或兴趣爱好信息列表；智能监控装置根据开关门检测信号拍摄门口区域图像，通过图像分析识别进出门用户，根据进出门用户兴趣列表，控制语音输出装置播放相关语音信息，具体过程如下：

（1）预置用户图像特征信息与用户对应关系；

（2）建立用户个人信息列表或兴趣爱好信息列表；

（3）门测装置检测门的开关信号，发送智能监控装置；

（4）是否检测到开门信号，如果是，进入下一步，如果否，转入步骤（3）；

（5）拍摄门口区域图像信息，通过图像分析，识别门内用户；

（6）是否识别到门内用户，如果是，判断用户出门，进入下一步，如果否，判断用户进门，转入步骤（10）；

（7）通过图像信息识别出门用户；

（8）根据出门用户信息或兴趣列表，控制语音输出装置播放相关的语音信息；

（9）是否检测到关门信号，如果是，转入步骤（3），如果否，拍摄门口区域图像信息，转入步骤（7）；

（10）拍摄门口区域图像信息，通过图像分析，是否识别到门内用户，如果是，进入下一步，如果否，转入步骤（10）；

（11）通过图像分析识别进门用户；

（12）根据进门用户信息或兴趣列表，控制语音输出装置播放相关的语音信息；

（13）是否检测到关门信号，如果是，转入步骤（3），如果否，拍摄门口区域图像信息，转入步骤（11）。

在系统中预置用户个人信息列表，所述个人信息如性别、年龄、职业等等，根据个人信息可以推测其兴趣爱好，或是在系统中直接置入个人兴趣爱好信息列表，用户兴趣列表是用户在进出门过程中希望听到的语音内容，比如每日要闻、体育快讯、生活常识、健康咨询、当地打折促销等等，系统根据用户信息列表，播放相关语音内容。

可以在智能监控装置中设置存储单元，存储用户个人信息列表或兴趣爱好列表，也可以在网络服务器中存储用户个人信息列表或兴趣爱好列表。用户个人信息列表或兴趣爱好列表可以在手机APP应用中，通过预设的选项输入系统，使用过程中可以不断更改。

用户兴趣列表可以分为进门列表或出门列表，也可以是一个共用列表，系统根据信息内容的长短，选择进门播放长信息，出门播放短信息，或是根据信息内容的时间性，比如新闻快讯，以最靠近时间选择进门或出门播放。

用户兴趣列表中可以设置兴趣级别，把用户最感兴趣的内容列在前面，按照兴趣程度依次排列，优先播放列表中靠前的信息内容。

当门打开，智能监控装置根据开门检测信号触发拍摄门口区域图像信息，如果通过图像信息识别到门内有人，判断用户从内出门，智能监控装置根据开门时图像信息识别出门用户；如果通过图像信息识别到门内没有人，判断用户从外进门，智能监控装置进一步继续拍摄门口区域图像，直达关门后设定时段如3、5秒后停止拍摄，智能监控装置根据开门到关门后的过程中图像信息识别进门用户。

所述智能监控装置根据拍摄方向与家门的相对关系，通过人脸信息或人体背部图像信息识别进门出门用户。

如果智能监控装置设置在门口朝向门内拍摄，如图3所示，智能监控装置设置在门口的墙壁或门框上，朝向门内，拍摄门口区域，当门打开时，拍摄到出门人的正面图像信息，通过人脸图像识别出门用户，在开门后到关门后的过程，拍摄到进门人的人体背部图像信息，通过人体图像几何特征，如身高、身宽、头发等简单信息区分家人，识别进门用户，或在关门时拍摄到进门人的正面图像信息，通过人脸图像识别进门用户。

如果智能监控装置设置在屋内朝向门外拍摄，如图4所示，智能监控装置设置在屋内某处选定位置，朝向门外，拍摄门口区域，当检测到开门信号时，拍摄到出门人的人体背部图像信息，通过人体图像几何特征识别出门用户，在开门后到关门后的过程，拍摄到进门人的正面信息，通过人脸图像识别进门用户。

当门打开，智能监控装置通过开门时图像信息识别出门用户，根据该用户信息或兴趣列表信息，控制语音输出装置播放语音信息，比如，天气预报、上班路线的交通状况、备忘录中的提示事情等等。

当门打开，智能监控装置通过开门后到关门过程的图像信息识别进门用户，根据该用户信息或兴趣列表内容，控制语音输出装置播放语音信息，比如基于个人兴趣的新闻快讯、个人喜欢的歌曲、健康生活常识等等。对进门用户，智能监控装置可以选择在识别出进门用户后的开门后时段，或是关门后播放语音信息。

进一步，在门内侧设置人体检测装置，通过开关门时人体检测信号判断用户进门或出门，并触发智能监控装置对门口区域拍摄。智能监控装置根据开门时人体检测信号拍摄门口区域，通过门内用户图像信息识别出门用户，或智能监控装置根据关门时人体检测信号拍摄门口区域，通过门内用户图像信息识别进门用户。

用户出门过程相比用户进门过程要短暂，甚至有的用户出门非常迅速，没有播放语音的时间，为此，可以统计用户出门过程的时长，比如从开门到关门时间长度的均值或众数或中位数等统计值，判断用户出门的速度，根据出门时间统计结果调整语音播放长度或速度，比如对出门速度快的用户，语音播放速度也适当快一些或播放内容短一些，或是当统计值大于设定阈值，说明在用户出门过程慢，可以播放语音信息，当统计值小于设定阈值，说明在用户出门过程快，不播放语音信息，等等。

对于进门用户，也可以统计进门过程的时长，进而调整进门过程的语音播放长度或速度，与出门过程不同的是，进门过程在关门后，仍然可以继续语音播放，或是选择在关门后进行语音播放。

用户进门或出门有时是单独进出，有时是家人一起进出，通过图像识别用户是单人或多人进出家门，进而控制播放相应语音信息，比如，单人进出家门，可以播放针对该用户的个性较强的内容，如果是多个家人一起进出，播放适合家人共享的内容。

在播放内容的设定上还可以结合进出门的时间，比如在夜晚与白天、上午与下午、上班与下班等有所区别，可以在夜晚禁止播放，以免影响他人休息。

进一步，播放控制中还可以考虑已经进门的家人，比如通过图像识别已回家的人员，当有新的用户进门时，可以根据家中人员情况选择播放内容，保护进门用户隐私。

进一步，为了使用户随时控制系统停止语音播放，可以通过图像识别用户手势，智能监控装置根据用户手势控制语音输出装置停止播放语音信息。当用户想要使语音播放停止，可以通过手势发出停止命令，比如向语音输出装置伸出手掌或招手或晃晃手或握成拳头等等特定手势，智能监控装置拍摄用户的手势图像，通过处理分析，识别到用户的停止手势信息，发送智能监控装置，智能监控装置控制语音输出装置停止播放。

优选智能监控装置与语音输出装置整合在一起，用户可以通过声音来源判断智能监控装置位置方向，向智能监控装置做出手势指令。

进一步，关门后，智能监控装置根据出门用户，记录出门用户和出门时间，或根据进门用户，记录进门用户和进门时间。

进一步，系统还包括联网单元，如WIFI模块，连接系统到网络服务器，存储用户个人信息或兴趣列表，并根据用户个人信息或兴趣列表，不断搜索更新语音信息。

本发明是基于家门通常处于关闭状态，也就是说在用户进出时才开门，然后关闭。

Claims (10)

1.一种基于开关门图像识别的语音智能播放系统，包括门测装置、智能监控装置以及语音输出装置，门测装置检测门的开关信号，智能监控装置拍摄门口区域，其特征是：

预置用户图像信息与用户对应关系；

建立用户个人信息列表或兴趣爱好信息列表；

当门测装置检测到开门信号，发送智能监控装置；

智能监控装置根据开门信号拍摄门口区域图像，如果通过开门时的图像信息识别到门内用户，判断该用户出门，控制语音输出装置播放与出门用户信息列表相关的语音信息；或

智能监控装置根据开门信号拍摄门口区域图像，如果通过开门时的图像信息未识别到门内用户，判断用户从外进门，通过开门后到关门过程的图像信息识别进门用户，控制语音输出装置播放与进门用户信息列表相关的语音信息。

2.根据权利要求1所述系统，其特征是：所述智能监控装置根据拍摄方向与家门的相对关系，通过人脸信息或人体背部图像信息识别进门出门用户。

3.根据权利要求2所述系统，其特征是：所述智能监控装置设置在屋内朝向门外拍摄，通过开门时的人体背部图像信息识别出门用户，或通过开门后的人脸图像信息识别进门用户，或通过关门时的人体背部图像信息识别进门用户；或是

智能监控装置设置在门口朝向门内拍摄，通过开门时的人脸图像信息识别出门用户，或通过开门后的人体背部图像信息识别进门用户，或通过关门时的人脸图像信息识别进门用户。

4.根据权利要求1或2所述系统，其特征是：所述智能监控装置根据开门时的图像信息识别出门用户或出门人数；或

所述智能监控装置根据开门到关门过程的图像信息识别进门用户或进门人数。

5.根据权利要求1所述系统，其特征是：在门内侧设置人体检测装置，检测开关门人体信号，发送智能监控装置，智能监控装置根据开门时所述门侧人体检测信号判断用户出门，或根据关门时所述门侧人体检测信号判断用户进门。

6.根据权利要求5所述系统，其特征是：智能监控装置根据开门时人体检测信号拍摄门口区域，通过门内用户图像信息识别出门用户，或智能监控装置根据关门时人体检测信号拍摄门口区域，通过门内用户图像信息识别进门用户。

7.根据权利要求1或2或6所述系统，其特征是：所述智能监控装置统计出门用户从开门到关门的出门过程时长，根据出门时长统计值控制语音播放长度或速度。

8.根据权利要求1或2或6所述系统，其特征是：所述智能监控装置根据用户开门时间控制语音输出装置播放语音信息。

9.根据权利要求1所述系统，其特征是：所述智能监控装置通过图像识别用户手势，根据用户手势控制语音输出装置停止语音信息播放。

10.根据权利要求1所述系统，其特征是：所述系统通过外部设备输入用户图像信息，或是通过用户单独进门或出门时采集用户图像信息，人工建立用户信息与采集的图像信息关系；

系统自动分析处理用户图像信息，提前图像特征信息。