CN101860986A - 一种监视用户安全的方法、移动终端及服务器 - Google Patents

一种监视用户安全的方法、移动终端及服务器 Download PDF

Info

Publication number
CN101860986A
CN101860986A CN 201010160807 CN201010160807A CN101860986A CN 101860986 A CN101860986 A CN 101860986A CN 201010160807 CN201010160807 CN 201010160807 CN 201010160807 A CN201010160807 A CN 201010160807A CN 101860986 A CN101860986 A CN 101860986A
Authority
CN
China
Prior art keywords
traffic information
road conditions
portable terminal
server
visible
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201010160807
Other languages
English (en)
Other versions
CN101860986B (zh
Inventor
荆宇
朱鹏翔
邹飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Transsion Holdings Co Ltd
Original Assignee
Yulong Computer Telecommunication Scientific Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yulong Computer Telecommunication Scientific Shenzhen Co Ltd filed Critical Yulong Computer Telecommunication Scientific Shenzhen Co Ltd
Priority to CN2010101608073A priority Critical patent/CN101860986B/zh
Publication of CN101860986A publication Critical patent/CN101860986A/zh
Application granted granted Critical
Publication of CN101860986B publication Critical patent/CN101860986B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Abstract

本发明实施例提出一种监视用户安全的方法,包括:第一移动终端通过摄像设备采集周边的路况,所述路况包括所述第一移动终端周边的路况信息,并将所述路况发送到服务器;所述服务器识别所述路况,并根据所述路况判断所述第一移动终端的用户是否处于危险状态;当所述服务器判断所述第一移动终端的用户处于危险状态时,向所述第一移动终端和与所述第一移动终端绑定的第二移动终端发送预警信息。相应地,本发明实施例还提出一种监视用户安全的系统。实施本发明实施例,可以及时向小孩提供预警信息以及向家长提示小孩的安全状况,保障小孩的安全。

Description

一种监视用户安全的方法、移动终端及服务器
技术领域
本发明涉及通信领域,尤其涉及一种监视用户安全的方法、移动终端及服务器。
背景技术
随着移动终端越来越普及,目前很多家长都给自己的小孩购买一台移动终端,在需要的时候家长可以通过本人使用的移动终端呼叫小孩的移动终端,即可以方便地与小孩取得联系,在家长与小孩取得联系后,家长可以询问小孩的附近的路况信息,以根据该路况信息确定小孩是否处于安全状态或者是否向小孩发出预警,例如家长询问小孩附近的路况信息后得知小孩正在横穿马路,则家长会向小孩发出注意来往车辆的预警。目前家长只有在与小孩取得联系后,通过询问小孩才能获得小孩附近的路况信息,根据小孩描述的路况信息确定小孩是否处于安全状态或者是否向小孩发出预警,在家长未与小孩取得联系或不能与小孩取得联系时,家长便不能获取小孩附近的路况信息,以及向小孩及时发出预警,给小孩带来安全隐患。
发明内容
鉴于现有技术存在的技术问题,本发明提出一种监视用户安全的方法移动终端及服务器,可以及时向小孩提供预警信息以及向家长提示小孩的安全状况,保障小孩的安全。
为了解决上述技术问题,本发明实施例提供一种监视用户安全的方法,包括:
第一移动终端通过摄像设备采集周边的路况信息,并将所述路况信息发送到服务器;
所述服务器识别所述路况信息,并根据所述路况信息判断所述第一移动终端的用户是否处于危险状态;
当所述服务器判断所述第一移动终端的用户处于危险状态时,向所述第一移动终端和/或与所述第一移动终端绑定的第二移动终端发送预警信息;
所述第一移动终端和/或第二移动终端根据所述预警信息进行提示。
优选的,所述第一移动终端通过摄像设备采集周边的路况信息,并将所述路况信息发送到服务器的步骤具体包括:
所述第一移动终端通过可见光摄像设备采集周边的可见路况信息,所述可见路况信息包括所述第一移动终端周边路况的可见的路况信息和/或声音信息,并将所述可见路况信息发送到服务器;和/或
所述第一移动终端通过红外线摄像设备采集周边的不可见路况信息,所述不可见路况信息包括所述第一移动终端周边路况的不可见的路况信息和/或声音信息,并将所述不可见路况信息发送到服务器。
优选的,当所述第一移动终端通过摄像设备采集周边的路况信息,并将所述路况信息发送到服务器时,
所述服务器识别所述路况信息,并根据所述路况信息判断所述第一移动终端的用户是否处于危险状态步骤还包括:
所述服务器合并所述可见的路况信息和所述不可见路况信息,生成合并的路况信息;
所述服务器识别所述合并的路况信息中各个物体的物体种类和/或物体运动状态,
并根据所述合并的路况信息中各个物体的物体种类和/或物体运动状态判断所述第一移动终端的用户是否处于危险状态。
优选的,所述服务器识别所述路况信息,并根据所述路况信息判断所述第一移动终端的用户是否处于危险状态的步骤具体包括:优选的,
所述服务器识别所述声音信息,根据所述声音信息对应的各个物体的物体种类和/或物体运动状态判断所述第一移动终端的用户是否处于危险状态;
和/或
所述服务器识别所述合并的路况信息中各个物体的物体种类和/或物体运动状态,
并根据所述合并的路况信息中各个物体的物体种类和/或物体运动状态判断所述第一移动终端的用户是否处于危险状态。
优选的,当所述第一移动终端通过可见光摄像设备采集周边的可见的路况信息,并将所述可见的路况信息发送到服务器,或所述第一移动终端通过红外线摄像设备采集周边的不可见的路况信息,并将所述可见的路况信息或不可见的路况信息发送到服务器时,
所述服务器识别所述路况信息,并根据所述路况信息判断所述第一移动终端的用户是否处于危险状态的步骤具体为:
所述服务器识别所述第一移动终端采集的可见的路况信息或不可见的路况信息中各个物体的物体种类和/或物体运动状态,
并根据所述可见的路况信息或不可见的路况信息中各个物体的物体种类和/或物体运动状态判断所述第一移动终端的用户是否处于危险状态。
相应地,本发明实施例还提出一种移动终端,包括:
采集模块,用于通过摄像设备采集周边的路况信息,所述路况信息包括所述移动终端周边的路况信息;
发送模块,用于将所述采集模块采集到的路况信息发送到服务器;
预警信息接收模块,用于接收当所述服务器识别所述路况信息,并根据所述路况信息判断所述移动终端的用户处于危险状态时下发的预警信息,并根据所述预警信息进行提示。
优选的,所述采集模块具体包括:
可见路况采集单元,用于通过可见光摄像设备采集周边的可见路况,所述可见路况包括所述移动终端周边的可见路况信息;和/或
红外路况采集单元,用于通过红外线摄像设备采集周边的红外路况,所述红外路况包括所述移动终端周边的不可见路况信息。
相应地,本发明实施例还提出一种服务器,包括:识别模块,用于识别第一移动终端发送的路况信息和/或声音信息;
判断模块,用于根据所述路况识别模块识别的路况信息和/或声音信息判断所述第一移动终端的用户是否处于危险状态;
预警模块,用于当所述判断模块判断所述第一移动终端的用户处于危险状态时,向所述第一移动终端和/或与所述第二移动终端发送预警信息。
优选的,所
所述第一移动终端通过可见光摄像设备采集周边的可见路况信息,所述可见路况信息路况包括所述第一移动终端周边路况的可见路况信息和/或声音信息,和/或通过红外线摄像设备采集周边的不可见的路况信息,所述不可见路况信息包括所述第一移动终端周边的不可见的路况信息和/或声音信息;
所述识别模块具体包括:
第一识别单元,用于识别所述第一移动终端采集的路况中各个物体的物体种类和/或物体运动状态;
所述判断模块具体包括:
第一判断单元,用于根据所述第一识别单元识别到的各个物体的物体种类和/或物体运动状态判断所述第一移动终端的用户是否处于危险状态。
优选的,所述第一移动终端通过可见光摄像设备采集周边的可见路况信息,所述可见路况包括所述第一移动终端周边可见的路况信息和/或声音信息,还通过红外线摄像设备采集周边的的不可见路况信息,所述不可见路况信息包括所述第一移动终端周边路况的不可见的路况信息和/或声音信息;
所述识别模块具体包括:
合并单元,用于合并所述第一移动终端采集的可见路况信息和不可见路况信息,生成合并的路况信息;
第二识别单元,用于识别合并单元生成的所述合并的路况信息中各个物体的物体种类和/或物体运动状态;
所述判断模块具体包括:
第二判断单元,用于根据所述第二识别单元识别到的各个物体的物体种类和/或物体运动状态判断所述第一移动终端的用户是否处于危险状态。
实施本发明实施例,第一移动终端通过摄像设备采集周边的路况,所述路况包括所述第一移动终端周边的路况信息,并将所述路况发送到服务器,所述服务器识别所述路况,并根据所述路况判断所述第一移动终端的用户是否处于危险状态,当所述服务器判断所述第一移动终端的用户处于危险状态时,向所述第一移动终端和与所述第一移动终端绑定的第二移动终端发送预警信息,使用时第一移动终端分配给小孩使用,第二移动终端分配给家长使用,从而实现及时向小孩提供预警信息以及向家长提示小孩的安全状况,保障小孩的安全。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例中监视用户安全的方法的第一实施例的流程示意图;
图2是本发明实施例中监视用户安全的方法的第二实施例的流程示意图;
图3是本发明实施例中监视用户安全的方法采集的可见光路况图像示意图;
图4是本发明实施例中监视用户安全的方法采集的红外路况图像示意图;
图5是本发明实施例中监视用户安全的方法的识别红外路况中各个物体的物体种类的方法的实施例的流程示意图;
图6是本发明实施例中监视用户安全的方法的第三实施例流程示意图;
图7本发明实施例中监视用户安全的方法的融合可见光路况和红外路况的方法的实施例流程示意图;
图8是本发明实施例中监视用户安全的方法采集的合并路况图像示意图;
图9是本发明实施例中监视用户安全的方法的识别合并路况中各个物体的物体种类的过程的实施例示意图;
图10是本发明实施例中移动终端的实施例原理示意图;
图11是本发明实施例中服务器的实施例原理示意图;
图12是本发明实施例中监视用户安全的系统的第一实施例原理示意图;
图13是本发明实施例中监视用户安全的系统的第二实施例原理示意图。
具体实施方式
本发明提出一种监视用户安全的方法及系统,可以及时向小孩提供预警信息以及向家长提示小孩的安全状况,保障小孩的安全。
图1是本发明实施例中监视用户安全的方法的第一实施例的流程示意图,本发明实施例中监视用户安全的方法包括:
步骤101,第一移动终端通过摄像设备采集周边的路况信息,并将所述路况信息发送到服务器;
此处,第一移动终端是小孩等被监视的人员所使用的移动终端,第一移动终端周边的路况信息包括第一移动终端周边的车辆、人员、建筑物和公共设施等的物体信息,具体实施时,第一移动终端可以周期性通过摄像设备拍摄路况,该路况大多数情况下包括有第一移动终端周边的车辆、人员、建筑物和公共设施等的路况信息,第一移动终端可以通过可见光摄像设备采集周边的可见光路况,所述可见光路况包括所述第一移动终端周边路况的可见的路况信息和/或声音信息,也可以通过红外线摄像设备采集周边的不可见路况信息,所述不可见路况信息包括所述第一移动终端周边的不可见的路况信息和/或声音信息,还可以通过可见光摄像设备和红外线摄像设备同步采集可见光路况和红外不可见路况。第一移动终端采集到周边的路况后,将所述路况发送到服务器,当第一移动终端仅拍摄可见光路况或红外不可见路况时,第一移动终端将该可见光路况或红外不可见路况发送到服务器,当第一移动终端同步拍摄可见光路况或红外不可见路况时,第一移动终端将该可见光路况和红外不可见路况发送到服务器。第一移动终端与服务器的通信模式可以是GSM、CDMA2000、CDMA-EVDO、CDMA2000-1X、WCDMA、TD-SCDMA、WIFI、WIMAX等中的任意一种。
步骤102,所述服务器识别所述路况信息,并根据所述路况信息判断所述第一移动终端的用户是否处于危险状态;
此处,具体实施时,当所述第一移动终端通过摄像设备采集周边的可见光路况和红外不可见路况,并将所述可见光路况和红外不可见路况发送到服务器时,步骤102还包括融合所述可见光路况和所述红外不可见路况,生成合并路况,此时服务器识别所述合并路况中的物体种类和/或物体运动状态,根据所述合并路况中的物体种类和/或物体运动状态判断所述第一移动终端的用户是否处于危险状态。当所述第一移动终端通过可见光摄像设备采集周边的可见光路况,并将所述路况发送到服务器,或所述第一移动终端通过红外线摄像设备采集周边的红外不可见路况,并将所述路况信息发送到服务器时,所述服务器识别所述第一移动终端采集的可见光路况或红外不可见路况中各个物体的物体种类和/或物体运动状态,并根据所述路况中各个物体的物体种类和/或物体运动状态判断所述第一移动终端的用户是否处于危险状态。
步骤103,当所述服务器判断所述第一移动终端的用户处于危险状态时,向所述第一移动终端和/或与所述第一移动终端绑定的第二移动终端发送预警信息。
此处,第二移动终端是父母等监视人员所使用的移动终端,该移动终端与小孩等被监视的人员所使用的移动终端相互绑定,具体实施时,第二移动终端和第一移动终端的绑定关系可以预先设定和更改。当所述服务器判断所述第一移动终端的用户处于危险状态时,向所述第一移动终端发送预警信息,提示小孩等被监视的人员注意可能出现的危险,同时也可以向第二移动终端发送预警信息,提示父母等监视人员关于小孩等被监视的人员可能出现的危险,以便确定是否需要进行进一步行动。另外,也可以选择仅向第一移动终端或第二移动终端发送预警信息。进一步,服务器还可以将第一移动终端发送的路况转发到第二移动终端,以使父母等监视人员可以了解到小孩等被监视的人员当前遇到的具体情况。
步骤104,所述第一移动终端和/或第二移动终端根据所述预警信息进行提示。
此处,当第一移动终端或第二移动终端接收到服务器发送的预警信息时,根据预警信息进行声、光提示,预警信息可包括有文字信息,也可以对该文字信息进行显示。
此处,需要说明的是,作为另一种实施方式,第一移动终端采集的路况信息也可以不向服务器发送,直接发送到第二移动终端,由第二移动终端的监护人自行判断第一移动终端的用户是否处于危险状态。另外,作为另一种实施方式,第一移动终端采集了路况信息后,也可以在本地自行识别所述路况信息,并根据所述路况信息判断所述第一移动终端的用户是否处于危险状态,当所述第一移动终端判断所述第一移动终端的用户处于危险状态时,除了及时对第一移动终端的用户进行提示外,还可以先服务器发送预警信息,服务器将该预警信息转发到第二移动终端。
图2是本发明实施例中监视用户安全的方法的第二实施例的流程示意图,本实施例中的监视用户安全的方法包括:
步骤201,第一移动终端通过可见光摄像设备采集周边的可见光路况,所述可见光路况包括所述第一移动终端周边的可见的路况信息和/或声音信息,并将所述可见光路况发送到服务器;或者通过红外线摄像设备采集周边的不可见路况信息,所述红外不可见路况包括所述第一移动终端周边的不可见路况信息和/或声音信息,并将所述不可见路况信息发送到服务器。
此处,具体实施时,第一移动终端可以仅通过可见光摄像设备拍摄可见光路况图像,该可见光路况图像仅包括周边的可见的车辆、人员、建筑物和公共设施等的路况信息,而周边被如建筑物等阻挡的其他物体则不包括在该可见光路况图像中,第一移动终端通过可见光摄像设备拍摄的可见光路况图像的示例可以参见图3,该可见光路况图像示出了一街角的拐弯处,拐弯处有物体A(物体A是建筑物)、物体B(物体B是道路)和物体C(物体C是行驶在道路上汽车)。或者,第一移动终端可以仅通过红外线摄像设备拍摄红外不可见路况图像,该红外不可见路况图像不仅包括周边的可见的车辆、人员、建筑物和公共设施等的路况信息,还包括周边被如建筑物等阻挡的其他路况信息。第一移动终端通过红外线摄像设备拍摄的红外不可见线路况图像的示例可以参见图4,图4不仅示出了图3中的物体A、物体B和物体C,还示出了被物体A阻挡的物体D(物体D此处也是行驶在道路上汽车)。
第一移动终端采集到周边的可见光路况或不可见路况后,将所述可见光路况或不可见路况发送到服务器,第一移动终端与服务器的通信模式可以是GSM、CDMA2000、CDMA-EVDO、CDMA2000-1X、WCDMA、TD-SCDMA、WIFI、WIMAX等中的任意一种。
步骤202,所述服务器识别第一移动终端采集的可见或不可见路况信息中各个物体的物体种类和/或物体运动状态,并根据所述可见或不可见路况信息中各个物体的物体种类和/或物体运动状态判断所述第一移动终端的用户是否处于危险状态;
此处,以服务器接收到第一移动终端发送的红外不可见路况图像为例进行说明,服务器接收到第一移动终端发送的红外不可见路况图像后,需要识别出路况中各个物体的物体种类,还可以进一步识别各个物体的运动状态,上述各个物体的物体种类和运动状态都可以作为判断第一移动终端的用户是否处于危险状态的判断依据。具体实施时,服务器识别所述红外不可见路况中各个物体的物体种类的过程可以参见图5,具体包括以下步骤:
步骤2021,预先设置各个物体种类的特征信息;
此处,例如服务器中预先设置车辆、人员、建筑物和公共设施等的物体的形状特征信息。
步骤2022,在接收到红外不可见路况后,根据红外不可见路况中包括的轮廓和/或声音特征信息提取红外不可见路况中存在的物体;
此处,例如图4所示的红外不可见路况图像示意图,服务器提取出其中的物体A、物体B、物体C和物体D。
步骤2023,将在红外不可见路况中提取的物体与预先设置的各个物体种类的特征信息相比较,确定该物体的物体种类;
此步骤具体实施时,可以将在红外不可见路况中提取的物体与预先设置的各个物体种类的形状特征信息作相关运算,获取该物体与各个物体种类的形状特征的相关程度,将形状特征的相关程度最高的物体种类作为该物体的物体种类,例如将物体A与车辆、人员、建筑物和公共设施等的物体的形状特征信息相比较,得出物体A是建筑物,同理也可以确定物体B是道路,物体C和物体D是汽车。
当需要进一步识别各个物体的运动状态时,还可以包括以下步骤:
步骤2024,获取预定数量的红外不可见路况;
此处,具体实施时,可以获取指定数量的连续的红外不可见路况图像,如3幅连续的红外不可见路况图像,也可以获取指定数量的非连续的红外不可见路况图像,如3幅各相隔0.5秒的红外不可见路况图像。
步骤2025,根据所述预定数量的红外不可见路况中各个物体的变化识别各个物体的运动状态。
此处,物体的运动状态包括物体的运动方向和运动速度,根据所述预定数量的红外不可见路况中各个物体的位置变化可以获取各个物体的运动方向,例如根据物体C的位置变化可以确定物体C是靠近或是远离。另外,在所述预定数量的红外不可见路况中物体的位置变化的距离与物体在实际环境中变化的距离存在一定的比例关系,则可以根据例所述预定数量的红外不可见路况中物体的位置变化的距离与每幅红外不可见路况获取的时间计算物体的运动速度,现假设该比例关系为1∶1000,现测得物体C在3幅各相隔0.5秒的红外不可见路况图像中总共移动了1厘米,则物体C的在1.5秒内移动了10米,则物体C的运动速度为24公里/小时。
以下同样以红外不可见路况为例说明根据所述路况中各个物体的物体种类和/或物体运动状态判断所述第一移动终端的用户是否处于危险状态的步骤,作为基本的判断方式,可以仅根据所述红外不可见路况中各个物体的物体种类判断所述第一移动终端的用户是否处于危险状态,例如当红外不可见路况中出现了汽车,因为对于小孩等被监护人可以认为是导致潜在危险的物体,所以当红外不可见路况中出现了汽车时即可判断所述第一移动终端的用户处于危险状态。作为另一种基本的判断方式,也可以仅根据所述红外不可见路况中各个物体的物体运动状态判断所述第一移动终端的用户是否处于危险状态,例如当预定数量的红外不可见路况中检测到有物体以高于某个速度靠近,则此时判断所述第一移动终端的用户处于危险状态。作为一种高级的判断方式,可以根据所述红外不可见路况中各个物体的物体种类和物体运动状态判断所述第一移动终端的用户是否处于危险状态,例如当预定数量的红外不可见路况中检测到有汽车以高于某个速度靠近,则此时判断所述第一移动终端的用户处于危险状态。
当服务器接收到第一移动终端发送的可见光路况时,其路况识别过程与上述过程相似,在此不再详述,需要说明的是,由于可见光路况中未包括红外不可见路况中被阻挡的物体的路况信息,在使用可见光路况作为判断第一移动终端的用户是否处于危险状态的依据时,考虑范围稍窄,因此预警效果未如使用红外不可见路况时优良。
步骤203,当所述服务器判断所述第一移动终端的用户处于危险状态时,向所述第一移动终端和/或与所述第一移动终端绑定的第二移动终端发送预警信息。
此处,服务器可以根据不同的判断方式发送相应的预警信息,当仅根据所述红外不可见路况中各个物体的物体种类判断所述第一移动终端的用户处于危险状态,可以发送提示物体种类的预警信息,如“前方有车辆”;当仅根据所述红外不可见路况中各个物体的物体运动状态判断所述第一移动终端的用户处于危险状态,可以发送提示运动状态的预警信息,如“注意前方高速物体”;当根据所述红外不可见路况中各个物体的物体种类和物体运动状态判断所述第一移动终端的用户处于危险状态时,可以发送物体种类和运动状态相结合的预警信息,如“注意前方高速车辆”等。另外,也可以选择仅向第一移动终端或第二移动终端发送预警信息。进一步,服务器还可以将第一移动终端发送的红外不可见路况发送到第二移动终端,以使父母等监视人员可以了解到小孩等被监视的人员当前遇到的具体情况。
步骤204,所述第一移动终端和/或第二移动终端根据所述预警信息进行提示。
此处,第一移动终端和第二移动终端收到服务器发送的预警信息后,可以进行声光提示,服务器在预警信息中还可添加具体的文字提示信息,第一移动终端和第二移动终端收到服务器发送的预警信息后,提取并显示该文字提示信息。
另外,作为另一种实施方式,第一移动终端采集了路况信息后,也可以在本地自行识别所述路况信息,并根据所述路况信息判断所述第一移动终端的用户是否处于危险状态,当所述第一移动终端判断所述第一移动终端的用户处于危险状态时,除了及时对第一移动终端的用户进行提示外,还可以先服务器发送预警信息,服务器将该预警信息转发到第二移动终端。
图6是本发明实施例中监视用户安全的方法的第三实施例流程示意图,本实施例中的监视用户安全的方法包括:
步骤301,第一移动终端通过可见光摄像设备采集周边的可见光路况,所述可见光路况包括所述第一移动终端周边的可见路况信息,第一移动终端通过红外不可见线摄像设备采集周边的红外不可见路况,所述红外不可见路况包括所述第一移动终端周边的不可见路况信息,并将所述可见光路况和所述红外不可见路况发送到服务器;
此处,具体实施时,第一移动终端通过可见光摄像设备拍摄可见光图像,该可见光图像仅包括周边的可见的车辆、人员、建筑物和公共设施等的路况信息,而周边被如建筑物等阻挡的其他物体则不包括在该可见光图像中,第一移动终端通过可见光摄像设备拍摄的可见光路况图像的示例可以参见图3,该可见光路况图像示出了一街角的拐弯处,拐弯处有物体A(物体A是建筑物)、物体B(物体B是道路)物体C(物体C是行驶在道路上汽车)。另外,第一移动终端通过红外线摄像设备拍摄与该可见光路况同步的红外不可见路况图像,该红外不可见路况图像不仅包括周边的可见的车辆、人员、建筑物和公共设施等的路况信息,还包括周边被如建筑物等阻挡的其他路况信息。第一移动终端通过红外线摄像设备拍摄的红外不可见线路况图像的示例可以参见图4,图4不仅示出了图3中的物体A、物体B和物体C,还示出了被物体A阻挡的物体D(物体D此处也是行驶在道路上汽车)。
第一移动终端采集到周边的可见光路况和同步的红外不可见路况后,将所述可见光路况和红外不可见路况发送到服务器,第一移动终端与服务器的通信模式可以是GSM、CDMA2000、CDMA-EVDO、CDMA2000-1X、WCDMA、TD-SCDMA、WIFI、WIMAX等中的任意一种。
步骤302,所述服务器融合所述可见光路况和所述红外不可见路况,生成合并路况;
此处,具体实施时,有时红外不可见路况的路况质量不够理想,其中的物体特征较为模糊,在仅使用红外不可见路况作为判断第一移动终端的用户是否处于危险状态的依据时给路况识别带来较大的困难,此时则需要对可见光路况和所述红外不可见路况进行融合,以利用同步的可见光路况提升红外不可见路况中的物体特征,另外由于可见光路况和红外不可见路况是由不同的摄像设备采集的,融合操作可以对可见光路况和红外不可见路况中的物体进行统一的识别,融合的方式通常是对可见光路况图像和红外不可见路况图像进行小波变换,参考图7,其步骤具体如下:
步骤3021,对可见光路况图像和红外不可见路况图像分别进行小波(Wavelet)变换,生成可见光路况图像和红外不可见路况图像在各个子频带(方向)上的路况图像信息;
此处,可见光路况图像在各个子频带上的路况图像信息具体可以是可见光路况图像在各个子频带(方向)上的投影路况图像,红外不可见路况图像在各个子频带上的路况图像信息具体可以是红外不可见路况图像在各个子频带(方向)上的投影路况图像。
步骤3022,将可见光路况图像和红外不可见路况图像的对应子频带上的路况图像信息进行融合,生成合并各个子频带上的融合路况图像;
此处,将可见光路况图像各个子频带上的投影路况图像与红外不可见路况图像的对应子频带上投影路况图像按一定的规则进行融合,生成各个子频带上的融合路况图像。
步骤3023,对该各个子频带上的融合路况图像进行反小波变换,生成最终的合并路况图像。
此处,由于可见光路况图像和红外不可见路况图像是同步采集的,因此合并路况是在可见光路况图像的基础上合并了被阻挡的物体,合并路况图像的一个示例可以参见图8,图8是在图3的基础上,合并了被物体A阻挡的物体D(物体D此处也是行驶在道路上汽车)。
步骤303,所述服务器识别所述合并路况中的物体种类和/或物体运动状态,并根据所述合并路况中的物体种类和/或物体运动状态判断所述第一移动终端的用户是否处于危险状态;
此处,服务器在获得合并路况后,需要识别出合并路况中各个物体的物体种类,还可以进一步识别各个物体的运动状态,上述各个物体的物体种类和运动状态都可以作为判断第一移动终端的用户是否处于危险状态的判断依据。具体实施时,识别所述合并路况中各个物体的物体种类的过程可以参见图9,包括以下步骤:
步骤3031,预先设置各个物体种类的特征信息;
此处,例如服务器中预先设置车辆、人员、建筑物和公共设施等的物体的形状特征信息。
步骤3032,提取合并路况中存在的物体;
此处,例如图8所示的合并路况,服务器提取出其中的物体A、物体B、物体C和物体D。
步骤3033,将在合并路况中提取的物体与预先设置的各个物体种类的特征信息相比较,确定该物体的物体种类;
此步骤具体实施时,可以将在合并路况中提取的物体与预先设置的各个物体种类的形状特征信息作相关运算,获取该物体与各个物体种类的形状特征的相关程度,将形状特征的相关程度最高的物体种类作为该物体的物体种类,例如将物体A与车辆、人员、建筑物和公共设施等的物体的形状特征信息相比较,得出物体A是建筑物,同理也可以确定物体B是道路,物体C和物体D是汽车。
当需要进一步识别各个物体的运动状态时,还可以包括以下步骤:
步骤3034,获取预定数量的合并路况;
此处,具体实施时,可以获取指定数量的连续的合并路况图像,如3幅连续的合并路况图像,也可以获取指定数量的非连续的合并路况图像,如3幅各相隔0.5秒的合并路况图像。
步骤3035,根据所述预定数量的合并路况中各个物体的变化识别各个物体的运动状态。
此处,物体的运动状态包括物体的运动方向和运动速度,根据所述预定数量的合并路况图像中各个物体的位置变化可以获取各个物体的运动方向,例如根据物体C的位置变化可以确定物体C是靠近或是远离。另外,在所述预定数量的合并路况中物体的位置变化的距离与物体在实际环境中变化的距离存在一定的比例关系,则可以根据例所述预定数量的合并路况中物体的位置变化的距离与每幅合并路况获取的时间计算物体的运动速度,现假设该比例关系为1∶1000,现测得物体C在3幅各相隔0.5秒的合并路况中总共移动了1厘米,则物体C的在1.5秒内移动了10米,则物体C的运动速度为24公里/小时。
作为基本的判断方式,可以仅根据所述合并路况中各个物体的物体种类判断所述第一移动终端的用户是否处于危险状态,例如当合并路况中出现了汽车,因为对于小孩等被监护人可以认为是导致潜在危险的物体,所以当合并路况中出现了汽车时即可判断所述第一移动终端的用户处于危险状态。作为另一种基本的判断方式,也可以仅根据所述合并路况中各个物体的物体运动状态判断所述第一移动终端的用户是否处于危险状态,例如当预定数量的合并路况中检测到有物体以高于某个速度靠近,则此时判断所述第一移动终端的用户处于危险状态。作为一种高级的判断方式,可以根据所述合并路况中各个物体的物体种类和物体运动状态判断所述第一移动终端的用户是否处于危险状态,例如当预定数量的合并路况中检测到有汽车(物体C或物体D)以高于某个速度靠近,则此时判断所述第一移动终端的用户处于危险状态。
步骤304,当所述服务器判断所述第一移动终端的用户处于危险状态时,向所述第一移动终端和/或与所述第一移动终端绑定的第二移动终端发送预警信息;
此处,服务器可以根据不同的判断方式发送相应的预警信息,当仅根据所述合并路况中各个物体的物体种类判断所述第一移动终端的用户处于危险状态,可以发送提示物体种类的预警信息,如“前方有车辆”;当仅根据所述合并路况中各个物体的物体运动状态判断所述第一移动终端的用户处于危险状态,可以发送提示运动状态的预警信息,如“注意前方高速物体”;当根据所述合并路况中各个物体的物体种类和物体运动状态判断所述第一移动终端的用户是否处于危险状态时,可以发送物体种类和运动状态相结合的预警信息,如“注意前方高速车辆”等。另外,也可以选择仅向第一移动终端或第二移动终端发送预警信息。进一步,服务器还可以将融合后的合并路况发送到第二移动终端,以使父母等监视人员可以了解到小孩等被监视的人员当前遇到的具体情况。
步骤305,所述第一移动终端和/或第二移动终端根据所述预警信息进行提示。
此处,第一移动终端和第二移动终端收到服务器发送的预警信息后,可以进行声光提示,服务器在预警信息中还可添加具体的文字提示信息,第一移动终端和第二移动终端收到服务器发送的预警信息后,提取并显示该文字提示信息。
需要说明的是,作为另一种实施方式,第一移动终端采集了路况信息后,也可以在本地自行进行红外不可见路况和可见光路况的融合和识别,并根据所述路况信息判断所述第一移动终端的用户是否处于危险状态,当所述第一移动终端判断所述第一移动终端的用户处于危险状态时,除了及时对第一移动终端的用户进行提示外,还可以先服务器发送预警信息,服务器将该预警信息转发到第二移动终端。
需要说明的是,作为另一种实施方式,第一移动终端也可以拍摄与可见光路况异步的红外不可见路况图像,此时可以将可见光路况图像与红外不可见路况图像进行对比,根据对比的结果中物体种类和/或物体运动状态判断所述第一移动终端的用户是否处于危险状态。
需要说明的是,图1、图2和图6所示的方法可以与全球定位系统(GlobalPositioning System,GPS)的导航过程相结合,在对第一移动终端对用户进行导航的过程中同时监视用户安全,在发送预警信息时可以同时将被监视用户的位置信息发送到第二移动终端。图1、图2和图6所示的方法还可以在第一移动终端待机的过程中周期性地启动,从而可以密切监视用户安全。
图10是本发明实施例中移动终端的实施例原理示意图,该移动终端包括:
采集模块41,用于通过摄像设备42采集周边的路况信息,所述路况信息包括所述移动终端周边的路况信息;
此处,移动终端的摄像设备42具体实施时可以仅包括可见光摄像设备421或仅包括红外摄像设备422,也可以同时包括可见光摄像设备421和红外摄像设备422(图10中仅示出同时包括可见光摄像设备421和红外摄像设备422的情况),相应地,采集模块41具体实施时可以仅包括可见路况采集单元411,或仅包括红外路况采集单元412,也可以同时包括可见路况采集单元411和红外路况采集单元412(图10中仅示出同时包括可见路况采集单元411和红外路况采集单元412),其中:
可见路况采集单元411,用于通过可见光摄像设备421采集周边的可见路况信息,所述可见路况信息包括所述移动终端周边路况的可见的路况信息和/或声音信息。
此处,可见光摄像设备421拍摄可见光路况,该可见光路况仅包括周边的可见的车辆、人员、建筑物和公共设施等的路况信息,而周边被如建筑物等阻挡的其他物体则不包括在该可见光路况中,移动终端通过可见光摄像设备421拍摄的可见光路况的示例可以参见图3,该可见光路况图像示出了一街角的拐弯处,拐弯处有物体A(物体A是建筑物)、物体B(物体B是道路)物体C(物体C是行驶在道路上汽车)。
红外路况采集单元412,用于通过红外线摄像设备422采集周边的不可见路况信息,所述不可见路况信息包括所述移动终端周边路况的不可见的路况信息和/或声音信息。
此处,具体实施时,红外路况采集单元412通过红外线摄像设备422拍摄与该可见光路况同步的红外不可见路况,该红外不可见路况不仅包括周边的可见的车辆、人员、建筑物和公共设施等的路况信息,还包括周边被如建筑物等阻挡的其他路况信息,红外线摄像设备422拍摄的红外不可见路况的示例可以参见图4,图4不仅示出了图3中的物体A、物体B和物体C,还示出了被物体A阻挡的物体D(物体D此处也是行驶在道路上汽车)。
发送模块43,用于将所述采集模块41采集到的路况信息发送到服务器;
此处,移动终端采集到周边的可见光路况和/或红外不可见路况后,将所述可见光路况和/或红外不可见路况发送到服务器,移动终端与服务器的通信模式可以是GSM、CDMA2000、CDMA-EVDO、CDMA2000-1X、WCDMA、TD-SCDMA、WIFI、WIMAX等中的任意一种。
预警信息接收模块44,用于接收当所述服务器识别所述路况信息,并根据所述路况信息判断所述移动终端的用户处于危险状态时下发的预警信息,并根据所述预警信息进行提示。
此处,所述服务器识别所述红外不可见路况和/或可见光路况,并根据所述红外不可见路况和/或可见光路况判断所述移动终端的用户是否处于危险状态,当判断所述移动终端的用户处于危险状态时,服务器会向移动终端发送预警信息,移动终端收到服务器发送的预警信息后,可以进行声光提示,服务器还可在预警信息中添加具体的文字提示信息,移动终端接收到服务器发送的预警信息后,提取并显示该文字提示信息。
图11是本发明实施例中服务器的实施例原理示意图,本发明实施例中服务器包括:
识别模块51,用于识别第一移动终端发送的路况信息;
此处,当所述第一移动终端通过可见光摄像设备采集周边的可见光路况,所述可见光路况包括所述第一移动终端周边的可见路况信息,和/或通过红外线摄像设备采集周边的红外不可见路况,所述红外不可见路况包括所述第一移动终端周边的不可见路况信息时,所述路况识别模块51包括:
第一识别单元511,用于识别所述第一移动终端采集的路况中各个物体的物体种类和/或物体运动状态;
此处,以服务器接收到第一移动终端发送的红外不可见路况为例,其识别过程可以可以参见图5中的步骤2021到步骤2025,在此不再详述。当服务器接收到第一移动终端发送的可见光路况时,其路况识别过程与上述过程相似,在此不再详述,需要说明的是,由于可见光路况中未包括红外不可见路况中被阻挡的物体的路况信息,在使用可见光路况作为判断第一移动终端的用户是否处于危险状态的依据时,考虑范围稍窄,因此预警效果未及使用红外不可见路况时优秀。
当所述第一移动终端通过可见光摄像设备采集周边的可见光路况,所述可见光路况包括所述第一移动终端周边的可见路况信息,还通过红外线摄像设备采集周边的红外不可见路况,所述红外不可见路况包括所述第一移动终端周边的不可见路况信息时;
所述识别模块51具体包括:
合并单元512,用于融合所述第一移动终端采集的可见光路况和红外不可见路况,生成合并路况;
此处,合并单元512具体实施时,有时红外不可见路况的路况质量不够理想,其中的物体特征较为模糊,在仅使用红外不可见路况作为判断第一移动终端的用户是否处于危险状态的依据时给路况识别带来较大的困难,此时则需要对可见光路况和所述红外不可见路况进行融合,以利用同步的可见光路况提升红外不可见路况中的物体特征,另外由于可见光路况和红外不可见路况是由不同的摄像设备采集的,融合操作可以对可见光路况和红外不可见路况中的物体进行统一的识别,融合的方式通常是对可见光路况和红外不可见路况进行小波变换,具体可以参考图7中的步骤3021到步骤3023,在此不再详述。
第二识别单元513,用于识别路况融合单元512生成的合并路况中各个物体的物体种类和/或物体运动状态;
此处,识别所述合并路况中各个物体的物体种类的过程可以参见图9的步骤3031到步骤3034。
需要说明的是,路况识别模块51可以根据需要仅包括第一识别单元511或仅包括路况融合单元512和第二识别单元513,还可以同时包括第一识别单元511、路况融合单元512和第二识别单元513(图11中仅示出同时包括第一识别单元511、路况融合单元512和第二识别单元513的情况)。
判断模块52,用于根据所述路况识别模块51识别的路况信息判断所述第一移动终端的用户是否处于危险状态;
此处,对路况识别模块51中配置的单元对应,当路况识别模块51仅包括第一识别单元511时,所述判断模块52具体包括:
第一判断单元521,用于根据所述第一识别单元511识别到的各个物体的物体种类和/或物体运动状态判断所述第一移动终端的用户是否处于危险状态。
此处,第一判断单元521的判断过程与步骤202中的判断过程相同,具体不再详述。
当路况识别模块51仅包括仅包括路况融合单元512和第二识别单元513时,所述判断模块52具体包括:
第二判断单元522,用于根据所述第二识别单元512识别到的各个物体的物体种类和/或物体运动状态判断所述第一移动终端的用户是否处于危险状态。
此处,第二判断单元522的判断过程与步骤303中的判断过程相同,在此不再详述。
需要说明的是,判断模块52可以根据需要仅包括第一判断单元521或仅包括第二判断单元522,也可以同时包括第一判断单元521和第二判断单元522(图11仅示出了同时包括第一判断单元521和第二判断单元522的情况)。
预警模块53,用于当所述判断模块判断所述第一移动终端的用户处于危险状态时,向所述第一移动终端和/或与所述第二移动终端发送预警信息。
此处,服务器可以根据不同的判断方式发送相应的预警信息,以使用合并路况为例,当仅根据所述合并路况中各个物体的物体种类判断所述第一移动终端的用户处于危险状态,可以发送提示物体种类的预警信息,如“前方有车辆”;当仅根据所述合并路况中各个物体的物体运动状态判断所述第一移动终端的用户处于危险状态,可以发送提示运动状态的预警信息,如“注意前方高速物体”;当根据所述合并路况中各个物体的物体种类和物体运动状态判断所述第一移动终端的用户是否处于危险状态时,可以发送物体种类和运动状态相结合的预警信息,如“注意前方高速车辆”等。另外,也可以选择仅向第一移动终端或第二移动终端发送预警信息。进一步,服务器还可以将融合后的合并路况发送到第二移动终端,以使父母等监视人员可以了解到小孩等被监视的人员当前遇到的具体情况。
需要说明的是,第一移动终端也可以拍摄与可见光路况异步的红外不可见路况,此时服务器可以将可见光路况与红外不可见路况进行对比,根据对比的结果中物体种类和/或物体运动状态判断所述第一移动终端的用户是否处于危险状态。
图12是本发明实施例中监视用户安全的系统第一实施例原理图,本实施例中监视用户安全的系统第一移动终端61、服务器62以及与所述第一移动终端61绑定的第二移动终端63,其中:
所述第一移动终端61包括:
采集模块611,用于通过摄像设备612采集周边的路况信息,所述路况信息包括所述第一移动终端61周边的路况信息;
此处,具体实施时,摄像设备612是红外摄像设备或者可见光摄像设备,相应地采集模块611具体包括红外采集单元6111或者可见光采集单元6112(此处以采集模块611包括红外采集单元6111为例),其中:
红外采集单元6111,用于通过红外摄像设备612采集周边的红外不可见路况,所述红外不可见路况包括所述第一移动终端61周边的可见路况信息。
此处,红外不可见摄像设备拍摄红外不可见路况,该红外不可见路况不仅包括周边的可见的车辆、人员、建筑物和公共设施等的路况信息,还包括周边被如建筑物等阻挡的其他路况信息,红外不可见线摄像设备612拍摄的红外不可见线路况的示例可以参见图4,图4不仅示出了图3中的物体A、物体B和物体C,还示出了被物体A阻挡的物体D(物体D此处也是行驶在道路上汽车)。
发送模块613,用于将所述采集模块611采集到的路况信息发送到服务器62;
此处,第一移动终端61采集到周边的红外不可见路况后,将所述红外不可见路况发送到服务器62,第一移动终端61与服务器62的通信模式可以是GSM、CDMA2000、CDMA-EVDO、CDMA2000-1X、WCDMA、TD-SCDMA、WIFI、WIMAX等中的任意一种。
预警信息接收模块614,用于接收当所述服务器62识别所述路况信息,并根据所述路况信息判断所述第一移动终端61的用户处于危险状态时下发的预警信息,并根据所述预警信息进行提示;
所述服务器62包括:
路况识别模块621,用于识别所述发送模块613发送的路况信息;
此处,服务器接收到第一移动终端61发送的红外不可见路况后,需要识别出路况中各个物体的物体种类,还可以进一步识别各个物体的运动状态,上述各个物体的物体种类和运动状态都可以作为判断第一移动终端61的用户是否处于危险状态的判断依据。具体实施时,路况识别模块621包括:
第一识别单元6211,用于识别红外不可见采集单元6111采集的红外不可见路况中各个物体的物体种类和/或物体运动状态;
此处,第一识别单元6211识别所述红外不可见路况中各个物体的物体种类的过程包括以下步骤:
步骤2021,预先设置各个物体种类的形状特征信息;
此处,例如预先设置车辆、人员、建筑物和公共设施等的物体的形状特征信息。
步骤2022,在接收到红外不可见路况后,根据红外不可见路况中的轮廓提取红外不可见路况中存在的物体;
此处,例如图3所示的红外不可见路况,提取出其中的物体A、物体B、物体C和物体D。
步骤2023,将在红外不可见路况中提取的物体与预先设置的各个物体种类的形状特征信息相比较,确定该物体的物体种类;
此步骤具体实施时,可以将在红外不可见路况中提取的物体与预先设置的各个物体种类的形状特征信息作相关运算,获取该物体与各个物体种类的形状特征的相关程度,将形状特征的相关程度最高的物体种类作为该物体的物体种类,例如将物体A与车辆、人员、建筑物和公共设施等的物体的形状特征信息相比较,得出物体A是建筑物,同理也可以确定物体B是道路,物体C和物体D是汽车。
当第一识别单元6211需要进一步识别各个物体的运动状态时,还可以执行以下步骤:
步骤2024,获取预定数量的红外不可见路况;
此处,具体实施时,可以获取指定数量的连续的红外不可见路况,如3幅连续的红外不可见路况,也可以获取指定数量的非连续的红外不可见路况,如3幅各相隔0.5秒的红外不可见路况。
步骤2025,根据所述预定数量的红外不可见路况中各个物体的位置变化识别各个物体的运动状态。
此处,物体的运动状态包括物体的运动方向和运动速度,根据所述预定数量的红外不可见路况中各个物体的位置变化可以获取各个物体的运动方向,例如根据物体C的位置变化可以确定物体C是靠近或是远离。另外,在所述预定数量的红外不可见路况中物体的位置变化的距离与物体在实际环境中变化的距离存在一定的比例关系,则可以根据例所述预定数量的红外不可见路况中物体的位置变化的距离与每幅红外不可见路况获取的时间计算物体的运动速度,现假设该比例关系为1∶1000,现测得物体C在3幅各相隔0.5秒的红外不可见路况中总共移动了1厘米,则物体C的在1.5秒内移动了10米,则物体C的运动速度为24公里/小时。
判断模块622,用于根据所述路况识别模块621识别的路况信息判断所述第一移动终端61的用户是否处于危险状态;
此处,判断单元622具体包括:
第一判断单元6221,用于根据所述第一识别单元6211识别到的各个物体的物体种类和/或物体运动状态判断所述第一移动终端61的用户是否处于危险状态。
此处,作为基本的判断方式,可以仅根据所述红外不可见路况中各个物体的物体种类判断所述第一移动终端的用户是否处于危险状态,例如当红外不可见路况中出现了汽车,因为对于小孩等被监护人可以认为是导致潜在危险的物体,所以当红外不可见路况中出现了汽车时即可判断所述第一移动终端的用户处于危险状态。作为另一种基本的判断方式,也可以仅根据所述红外不可见路况中各个物体的物体运动状态判断所述第一移动终端的用户是否处于危险状态,例如当预定数量的红外不可见路况中检测到有物体以高于某个速度靠近,则此时判断所述第一移动终端的用户处于危险状态。作为一种高级的判断方式,可以根据所述红外不可见路况中各个物体的物体种类和物体运动状态判断所述第一移动终端的用户是否处于危险状态,例如当预定数量的红外不可见路况中检测到有汽车以高于某个速度靠近,则此时判断所述第一移动终端的用户处于危险状态。
预警模块623,用于当所述判断模块622判断所述第一移动终端61的用户处于危险状态时,向所述第一移动终端61和/或与所述第二移动终端63发送预警信息。
此处,第一移动终端61和第二移动终端63收到服务器发送的预警信息后,可以进行声光提示,预警模块623还可以在预警信息中添加具体的文字提示信息,第一移动终端61和第二移动终端63收到预警模块623发送的预警信息后,提取并显示该文字提示信息。预警模块623可以根据不同的判断方式发送相应的预警信息,当仅根据所述红外不可见路况中各个物体的物体种类判断所述第一移动终端的用户是否处于危险状态,可以发送提示物体种类的预警信息,如“前方有车辆”;当仅根据所述红外不可见路况中各个物体的物体运动状态判断所述第一移动终端的用户是否处于危险状态,可以发送提示运动状态的预警信息,如“注意前方高速物体”;当根据所述红外不可见路况中各个物体的物体种类和物体运动状态判断所述第一移动终端的用户是否处于危险状态时,可以发送物体种类和运动状态相结合的预警信息,如“注意前方高速车辆”等。进一步,预警模块623还可以将第一移动终端61发送的红外不可见路况发送到第二移动终端63,以使父母等监视人员可以了解到小孩等被监视的人员当前遇到的具体情况。
图13是本发明实施例中监视用户安全的系统的第二实施例原理示意图,本实施例中监视用户安全的系统第一移动终端71、服务器72以及与所述第一移动终端71绑定的第二移动终端73,其中:
所述第一移动终端71包括:
采集模块711,用于通过摄像设备712采集周边的路况信息,所述路况信息包括所述第一移动终端71周边的路况信息;
此处,具体实施时,摄像设备712包括可见光摄像设备7121和红外不可见摄像设备7122,采集模块711具体包括:
可见光路况采集单元7111,用于通过可见光摄像设备7121采集周边的可见光路况,所述可见光路况包括所述第一移动终端71周边的可见路况信息。
此处,可见光摄像设备7121拍摄可见光路况,该可见光路况仅包括周边的可见的车辆、人员、建筑物和公共设施等的路况信息,而周边被如建筑物等阻挡的其他物体则不包括在该可见光路况中,第一移动终端通过可见光摄像设备7121拍摄的可见光路况的示例可以参见图3,该可见光路况示出了一街角的拐弯处,拐弯处有物体A(物体A是建筑物)、物体B(物体B是道路)物体C(物体C是行驶在道路上汽车)。
红外不可见采集单元7112,用于通过红外不可见线摄像设备7122采集周边的红外不可见路况,所述红外不可见路况包括所述第一移动终端71周边的不可见路况信息。
此处,具体实施时,红外不可见采集单元7112通过红外不可见线摄像设备7122拍摄与该可见光路况同步的红外不可见路况,该红外不可见路况不仅包括周边的可见的车辆、人员、建筑物和公共设施等的路况信息,还包括周边被如建筑物等阻挡的其他路况信息,红外不可见线摄像设备7122拍摄的红外不可见线路况的示例可以参见图4,图4不仅示出了图3中的物体A、物体B和物体C,还示出了被物体A阻挡的物体D(物体D此处也是行驶在道路上汽车)。
发送模块713,用于将所述采集模块711采集到的路况信息发送到服务器72;
此处,第一移动终端采集到周边的可见光路况和同步的红外不可见路况后,将所述可见光路况和红外不可见路况发送到服务器,第一移动终端与服务器的通信模式可以是GSM、CDMA2000、CDMA-EVDO、CDMA2000-1X、WCDMA、TD-SCDMA、WIFI、WIMAX等中的任意一种。
预警信息接收模块714,用于接收当所述服务器72识别所述路况信息,并根据所述路况信息判断所述第一移动终端71的用户处于危险状态时下发的预警信息,并根据所述预警信息进行提示;
所述服务器72包括:
识别模块721,用于识别所述发送模块713发送的路况信息;
此处,具体实施时,有时红外不可见路况的路况质量不够理想,其中的物体特征较为模糊,在仅使用红外不可见路况作为判断第一移动终端的用户是否处于危险状态的依据时给路况识别带来较大的困难,此时则需要对可见光路况和所述红外不可见路况进行融合,以利用同步的可见光路况提升红外不可见路况中的物体特征,另外由于可见光路况和红外不可见路况是由不同的摄像设备采集的,融合操作可以对可见光路况和红外不可见路况中的物体进行统一的识别,此处需要对可见光路况和所述红外不可见路况进行融合,因此路况识别模块721具体包括:
合并单元7211,用于融合所述可见光路况采集单元7111采集的可见光路况和所述红外不可见采集单元7112采集的红外不可见路况,生成合并路况;
此处,合并单元7211融合可见光路况和红外不可见路况的方式通常是对可见光路况图像和红外不可见路况图像进行小波变换,其步骤具体如下:
步骤3021,对可见光路况图像和红外不可见路况图像分别进行小波(Wavelet)变换,生成可见光路况图像和红外不可见路况图像在各个子频带(方向)上的路况信息图像;
此处,可见光路况图像在各个子频带上的路况信息具体可以是可见光路况图像在各个子频带(方向)上的投影路况图像,红外不可见路况图像在各个子频带上的路况信息图像具体可以是红外不可见路况图像在各个子频带(方向)上的投影路况图像。
步骤3022,将可见光路况图像和红外不可见路况图像的对应子频带上的路况信息图像进行融合,生成合并各个子频带上的融合路况图像;
此处,将可见光路况图像各个子频带上的投影路况图像与红外不可见路况图像的对应子频带上投影路况图像按一定的规则进行融合,生成各个子频带上的融合路况图像。
步骤3023,对该各个子频带上的融合路况图像进行反小波变换,生成最终的合并路况图像。
此处,由于可见光路况图像和红外不可见路况图像是同步采集的,因此合并路况图像是在可见光路况图像的基础上合并了被阻挡的物体,合并路况图像的一个示例可以参见图8,图8是在图3的基础上,合并了被物体A阻挡的物体D(物体D此处也是行驶在道路上汽车)。
第二识别单元7212,用于识别合并单元7211生成的合并路况中各个物体的物体种类和/或物体运动状态;
此处,第二识别单元7212在获得合并路况后,需要识别出合并路况中各个物体的物体种类,还可以进一步识别各个物体的运动状态,上述各个物体的物体种类和运动状态都可以作为判断第一移动终端的用户是否处于危险状态的判断依据。具体实施时,第二识别单元7212识别所述合并路况中各个物体的物体种类的过程包括以下步骤:
步骤3031,预先设置各个物体种类的形状特征信息;
此处,例如预先设置车辆、人员、建筑物和公共设施等的物体的形状特征信息。
步骤3032,提取合并路况中存在的物体;
此处,例如图8所示的合并路况,提取出其中的物体A、物体B、物体C和物体D。
步骤3033,将在合并路况中提取的物体与预先设置的各个物体种类的特征信息相比较,确定该物体的物体种类;
此步骤具体实施时,可以将在合并路况中提取的物体与预先设置的各个物体种类的形状特征信息作相关运算,获取该物体与各个物体种类的形状特征的相关程度,将形状特征的相关程度最高的物体种类作为该物体的物体种类,例如将物体A与车辆、人员、建筑物和公共设施等的物体的形状特征信息相比较,得出物体A是建筑物,同理也可以确定物体B是道路,物体C和物体D是汽车。
当第二识别单元7212需要进一步识别各个物体的运动状态时,还可以包括以下步骤:
步骤3034,获取预定数量的合并路况;
此处,具体实施时,可以获取指定数量的连续的合并路况图像,如3幅连续的合并路况图像,也可以获取指定数量的非连续的合并路况图像,如3幅各相隔0.5秒的合并路况图像。
步骤3035,根据所述预定数量的合并路况中各个物体的变化识别各个物体的运动状态。
此处,物体的运动状态包括物体的运动方向和运动速度,根据所述预定数量的合并路况中各个物体的变化可以获取各个物体的运动方向,例如根据物体C的位置变化可以确定物体C是靠近或是远离。另外,在所述预定数量的合并路况中物体的位置变化的距离与物体在实际环境中变化的距离存在一定的比例关系,则可以根据例所述预定数量的合并路况中物体的位置变化的距离与每幅合并路况获取的时间计算物体的运动速度,现假设该比例关系为1∶1000,现测得物体C在3幅各相隔0.5秒的合并路况中总共移动了1厘米,则物体C的在1.5秒内移动了10米,则物体C的运动速度为24公里/小时。
判断模块722,用于根据所述路况识别模块721识别的路况信息判断所述第一移动终端71的用户是否处于危险状态;
此处,判断模块722具体包括:
第二判断单元7221,用于根据所述第二识别单元7212识别到的各个物体的物体种类和/或物体运动状态判断所述第一移动终端的用户是否处于危险状态。
此处,作为基本的判断方式,可以仅根据所述合并路况中各个物体的物体种类判断所述第一移动终端的用户是否处于危险状态,例如当合并路况中出现了汽车,因为对于小孩等被监护人可以认为是导致潜在危险的物体,所以当合并路况中出现了汽车时即可判断所述第一移动终端的用户处于危险状态。作为另一种基本的判断方式,也可以仅根据所述合并路况中各个物体的物体运动状态判断所述第一移动终端的用户是否处于危险状态,例如当预定数量的合并路况中检测到有物体以高于某个速度靠近,则此时判断所述第一移动终端的用户处于危险状态。作为一种高级的判断方式,可以根据所述合并路况中各个物体的物体种类和物体运动状态判断所述第一移动终端的用户是否处于危险状态,例如当预定数量的合并路况中检测到有汽车(物体C或物体D)以高于某个速度靠近,则此时判断所述第一移动终端的用户处于危险状态。
预警模块723,用于当所述判断模块722判断所述第一移动终端71的用户处于危险状态时,向所述第一移动终端71和/或与所述第二移动终端73发送预警信息。
此处,第一移动终端71和第二移动终端73收到服务器发送的预警信息后,可以进行声光提示,预警模块723还可以在预警信息中添加具体的文字提示信息,第一移动终端71和第二移动终端73收到预警模块723发送的预警信息后,提取并显示该文字提示信息。预警模块723可以根据不同的判断方式发送相应的预警信息,当仅根据所述可见光路况中各个物体的物体种类判断所述第一移动终端的用户是否处于危险状态,可以发送提示物体种类的预警信息,如“前方有车辆”;当仅根据所述可见光路况中各个物体的物体运动状态判断所述第一移动终端的用户是否处于危险状态,可以发送提示运动状态的预警信息,如“注意前方高速物体”;但根据所述可见光路况中各个物体的物体种类和物体运动状态判断所述第一移动终端的用户是否处于危险状态时,可以发送物体种类和运动状态相结合的预警信息,如“注意前方高速车辆”等。另外,也可以选择仅向第一移动终端或第二移动终端发送预警信息。进一步,预警模块723还可以将融合后的合并路况发送到第二移动终端73,以使父母等监视人员可以了解到小孩等被监视的人员当前遇到的具体情况。
需要说明的是,图6和图7所示的系统可以与全球定位系统(GlobalPositioning System,GPS)的导航过程相结合,在对第一移动终端对用户进行导航的过程中同时监视用户安全,在发送预警信息时可以同时将被监视用户的位置信息发送到第二移动终端。图6和图7所示的系统还可以周期性地启动,从而可以密切监视用户安全。
需要说明的是,作为另一种实施方式,第一移动终端采集了路况信息后,也可以在本地自行进行红外不可见路况和可见光路况的融合和识别,并根据所述路况信息判断所述第一移动终端的用户是否处于危险状态,当所述第一移动终端判断所述第一移动终端的用户处于危险状态时,除了及时对第一移动终端的用户进行提示外,还可以先服务器发送预警信息,服务器将该预警信息转发到第二移动终端。
综上所述,实施本发明实施例,第一移动终端通过摄像设备采集周边的路况,所述路况包括所述第一移动终端周边的路况信息,并将所述路况发送到服务器,所述服务器识别所述路况,并根据所述路况判断所述第一移动终端的用户是否处于危险状态,当所述服务器判断所述第一移动终端的用户处于危险状态时,向所述第一移动终端和与所述第一移动终端绑定的第二移动终端发送预警信息,使用时第一移动终端分配给小孩使用,第二移动终端分配给家长使用,从而实现及时向小孩提供预警信息以及向家长提示小孩的安全状况,反映小孩所处的当前路况和位置,保障小孩的安全。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (10)

1.一种监视用户安全的方法,其特征在于,包括:
第一移动终端通过摄像设备采集周边的路况信息,并将所述路况信息发送到服务器;
所述服务器识别所述路况信息,并根据所述路况信息判断所述第一移动终端的用户是否处于危险状态;
当所述服务器判断所述第一移动终端的用户处于危险状态时,向所述第一移动终端和/或与所述第一移动终端绑定的第二移动终端发送预警信息;
所述第一移动终端和/或第二移动终端根据所述预警信息进行提示。
2.如权利要求1所述的监视用户安全的方法,其特征在于,所述第一移动终端通过摄像设备采集周边的路况信息,并将所述路况信息发送到服务器的步骤具体包括:
所述第一移动终端通过可见光摄像设备采集周边的可见路况信息,所述可见路况信息包括所述第一移动终端周边路况的可见的路况信息和/或声音信息,并将所述可见路况信息发送到服务器;和/或
所述第一移动终端通过红外线摄像设备采集周边的不可见路况信息,所述不可见路况信息包括所述第一移动终端周边路况的不可见的路况信息和/或声音信息,并将所述不可见路况信息发送到服务器。
3.如权利要求2所述的监视用户安全的方法,其特征在于,当所述第一移动终端通过摄像设备采集周边的路况信息,并将所述路况信息发送到服务器时,
所述服务器识别所述路况信息,并根据所述路况信息判断所述第一移动终端的用户是否处于危险状态步骤还包括:
所述服务器合并所述可见的路况信息和所述不可见路况信息,生成合并的路况信息;
所述服务器识别所述合并的路况信息中各个物体的物体种类和/或物体运动状态,
并根据所述合并的路况信息中各个物体的物体种类和/或物体运动状态判断所述第一移动终端的用户是否处于危险状态。
4.如权利要求3所述的监视用户安全的方法,其特征在于,
所述服务器识别所述路况信息,并根据所述路况信息判断所述第一移动终端的用户是否处于危险状态的步骤具体包括:
所述服务器识别所述声音信息,根据所述声音信息对应的各个物体的物体种类和/或物体运动状态判断所述第一移动终端的用户是否处于危险状态;
和/或
所述服务器识别所述合并的路况信息中各个物体的物体种类和/或物体运动状态,
并根据所述合并的路况信息中各个物体的物体种类和/或物体运动状态判断所述第一移动终端的用户是否处于危险状态。
5.如权利要求2所述的监视用户安全的方法,其特征在于,
当所述第一移动终端通过可见光摄像设备采集周边的可见的路况信息,并将所述可见的路况信息发送到服务器,或所述第一移动终端通过红外线摄像设备采集周边的不可见的路况信息,并将所述可见的路况信息或不可见的路况信息发送到服务器时,
所述服务器识别所述路况信息,并根据所述路况信息判断所述第一移动终端的用户是否处于危险状态的步骤具体为:
所述服务器识别所述第一移动终端采集的可见的路况信息或不可见的路况信息中各个物体的物体种类和/或物体运动状态,
并根据所述可见的路况信息或不可见的路况信息中各个物体的物体种类和/或物体运动状态判断所述第一移动终端的用户是否处于危险状态。
6.一种移动终端,其特征在于,包括:
采集模块,用于通过摄像设备采集周边的路况信息,所述路况信息包括所述移动终端周边的路况信息;
发送模块,用于将所述采集模块采集到的路况信息发送到服务器;
预警信息接收模块,用于接收当所述服务器识别所述路况信息,并根据所述路况信息判断所述移动终端的用户处于危险状态时下发的预警信息,并根据所述预警信息进行提示。
7.如权利要求6所述的移动终端,其特征在于,所述采集模块具体包括:
可见路况采集单元,用于通过可见光摄像设备采集周边的可见路况,所述可见路况包括所述移动终端周边的可见路况信息;和/或
红外路况采集单元,用于通过红外线摄像设备采集周边的红外路况,所述红外路况包括所述移动终端周边的不可见路况信息。
8.一种服务器,其特征在于,包括:
识别模块,用于识别第一移动终端发送的路况信息和/或声音信息;
判断模块,用于根据所述路况识别模块识别的路况信息和/或声音信息判断所述第一移动终端的用户是否处于危险状态;
预警模块,用于当所述判断模块判断所述第一移动终端的用户处于危险状态时,向所述第一移动终端和/或与所述第二移动终端发送预警信息。
9.如权利要求8所述的服务器,其特征在于,
所述第一移动终端通过可见光摄像设备采集周边的可见路况信息,所述可见路况信息路况包括所述第一移动终端周边路况的可见的路况信息和/或声音信息,和/或通过红外线摄像设备采集周边的不可见的路况信息,所述不可见路况信息包括所述第一移动终端周边的不可见的路况信息和/或声音信息;
所述识别模块具体包括:
第一识别单元,用于识别所述第一移动终端采集的路况中各个物体的物体种类和/或物体运动状态;
所述判断模块具体包括:
第一判断单元,用于根据所述第一识别单元识别到的各个物体的物体种类和/或物体运动状态判断所述第一移动终端的用户是否处于危险状态。
10.如权利要求8所述的服务器,其特征在于,
所述第一移动终端通过可见光摄像设备采集周边的可见路况信息,所述可见路况包括所述第一移动终端周边可见的路况信息和/或声音信息,还通过红外线摄像设备采集周边的的不可见路况信息,所述不可见路况信息包括所述第一移动终端周边路况的不可见的路况信息和/或声音信息;
所述识别模块具体包括:
合并单元,用于合并所述第一移动终端采集的可见路况信息和不可见路况信息,生成合并的路况信息;
第二识别单元,用于识别合并单元生成的所述合并的路况信息中各个物体的物体种类和/或物体运动状态;
所述判断模块具体包括:
第二判断单元,用于根据所述第二识别单元识别到的各个物体的物体种类和/或物体运动状态判断所述第一移动终端的用户是否处于危险状态。
CN2010101608073A 2010-04-26 2010-04-26 一种监视用户安全的方法、移动终端及服务器 Active CN101860986B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010101608073A CN101860986B (zh) 2010-04-26 2010-04-26 一种监视用户安全的方法、移动终端及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010101608073A CN101860986B (zh) 2010-04-26 2010-04-26 一种监视用户安全的方法、移动终端及服务器

Publications (2)

Publication Number Publication Date
CN101860986A true CN101860986A (zh) 2010-10-13
CN101860986B CN101860986B (zh) 2012-11-14

Family

ID=42946554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010101608073A Active CN101860986B (zh) 2010-04-26 2010-04-26 一种监视用户安全的方法、移动终端及服务器

Country Status (1)

Country Link
CN (1) CN101860986B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103152483A (zh) * 2013-03-04 2013-06-12 广东欧珀移动通信有限公司 一种利用移动设备监测靠近物体的方法和装置
CN103731551A (zh) * 2013-12-16 2014-04-16 深圳市金立通信设备有限公司 一种为用户护航的方法及移动终端
CN104079867A (zh) * 2013-03-28 2014-10-01 深圳先进技术研究院 一种基于空间信息的多视频关联监控定位装置与方法
CN105046876A (zh) * 2015-07-23 2015-11-11 中山大学深圳研究院 一种基于图像识别的儿童安全监测系统
WO2016008210A1 (zh) * 2014-07-15 2016-01-21 北京小鱼儿科技有限公司 一种通信终端及安装于移动终端的工具
CN105894728A (zh) * 2016-05-05 2016-08-24 广东欧珀移动通信有限公司 一种危险报警方法及移动设备
CN106327920A (zh) * 2016-08-31 2017-01-11 深圳天珑无线科技有限公司 路况检测方法和路况检测系统
CN106846723A (zh) * 2017-03-20 2017-06-13 广东小天才科技有限公司 一种交通安全隐患提示方法及装置
CN108230617A (zh) * 2018-03-06 2018-06-29 京东方科技集团股份有限公司 基于无人机的监护预警方法及无人机
CN112116782A (zh) * 2020-11-23 2020-12-22 广东招才通信息科技有限公司 一种基于大数据的报警系统及方法
CN114569416A (zh) * 2020-12-01 2022-06-03 中移(成都)信息通信科技有限公司 一种导盲系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0614230A (ja) * 1992-06-29 1994-01-21 Isuzu Motors Ltd 車両の逸脱警報装置
CN1658190A (zh) * 2004-02-17 2005-08-24 逄晓虎 一种获取交通信息的方法及系统
CN101083018A (zh) * 2006-12-28 2007-12-05 项明慧 一种具路况提示的汽车防护系统与装置
CN101170616A (zh) * 2006-10-27 2008-04-30 环达电脑(上海)有限公司 一种可以对环境急速变化发出警告的儿童移动电话
CN101453636A (zh) * 2007-12-07 2009-06-10 深圳富泰宏精密工业有限公司 手机停车预警系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0614230A (ja) * 1992-06-29 1994-01-21 Isuzu Motors Ltd 車両の逸脱警報装置
CN1658190A (zh) * 2004-02-17 2005-08-24 逄晓虎 一种获取交通信息的方法及系统
CN101170616A (zh) * 2006-10-27 2008-04-30 环达电脑(上海)有限公司 一种可以对环境急速变化发出警告的儿童移动电话
CN101083018A (zh) * 2006-12-28 2007-12-05 项明慧 一种具路况提示的汽车防护系统与装置
CN101453636A (zh) * 2007-12-07 2009-06-10 深圳富泰宏精密工业有限公司 手机停车预警系统及方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103152483B (zh) * 2013-03-04 2015-07-08 广东欧珀移动通信有限公司 一种利用移动设备监测靠近物体的方法和装置
CN103152483A (zh) * 2013-03-04 2013-06-12 广东欧珀移动通信有限公司 一种利用移动设备监测靠近物体的方法和装置
CN104079867B (zh) * 2013-03-28 2017-04-05 深圳先进技术研究院 一种基于空间信息的多视频关联监控定位装置与方法
CN104079867A (zh) * 2013-03-28 2014-10-01 深圳先进技术研究院 一种基于空间信息的多视频关联监控定位装置与方法
CN103731551A (zh) * 2013-12-16 2014-04-16 深圳市金立通信设备有限公司 一种为用户护航的方法及移动终端
WO2016008210A1 (zh) * 2014-07-15 2016-01-21 北京小鱼儿科技有限公司 一种通信终端及安装于移动终端的工具
CN105046876A (zh) * 2015-07-23 2015-11-11 中山大学深圳研究院 一种基于图像识别的儿童安全监测系统
CN105894728A (zh) * 2016-05-05 2016-08-24 广东欧珀移动通信有限公司 一种危险报警方法及移动设备
CN106327920A (zh) * 2016-08-31 2017-01-11 深圳天珑无线科技有限公司 路况检测方法和路况检测系统
CN106846723A (zh) * 2017-03-20 2017-06-13 广东小天才科技有限公司 一种交通安全隐患提示方法及装置
CN108230617A (zh) * 2018-03-06 2018-06-29 京东方科技集团股份有限公司 基于无人机的监护预警方法及无人机
CN112116782A (zh) * 2020-11-23 2020-12-22 广东招才通信息科技有限公司 一种基于大数据的报警系统及方法
CN114569416A (zh) * 2020-12-01 2022-06-03 中移(成都)信息通信科技有限公司 一种导盲系统及方法
CN114569416B (zh) * 2020-12-01 2024-03-12 中移(成都)信息通信科技有限公司 一种导盲系统及方法

Also Published As

Publication number Publication date
CN101860986B (zh) 2012-11-14

Similar Documents

Publication Publication Date Title
CN101860986B (zh) 一种监视用户安全的方法、移动终端及服务器
US9319860B2 (en) Mobile terminal that determine whether the user is walking while watching the mobile terminal
JP5646086B2 (ja) 歩行者用通信装置およびこれを備えたナビゲーション装置、歩車間通信システム
KR101451768B1 (ko) 주행 영상 획득을 위한 전자 기기 및 전자 기기의 주행 영상 획득 방법 및 주행 영상 제공을 위한 서버 및 서버의 주행 영상 제공 방법
Xiao et al. Transportation activity analysis using smartphones
US10997430B1 (en) Dangerous driver detection and response system
US10089877B2 (en) Method and device for warning other road users in response to a vehicle traveling in the wrong direction
CN111524381B (zh) 一种停车位置的推送方法、装置、系统及电子设备
CN106846125A (zh) 基于生物识别的共享车辆及其使用方法、客户端及系统
WO2017155740A1 (en) System and method for automated recognition of a transportation customer
KR102119496B1 (ko) 구원 시스템 및 구원 방법, 및 그것에 사용되는 서버
CN107645703B (zh) 行走安全监控方法和装置
CN103366565A (zh) 一种基于Kinect的行人闯红灯检测方法及其系统
CN106652539B (zh) 共享车辆及其停靠位置指示方法、客户端及系统
CN109017554A (zh) 行驶提醒方法、装置及计算机可读存储介质
CN102915618A (zh) 一种适用于校车的安全监控方法及其系统
CN105280000A (zh) 预警处理方法和装置
JP4436814B2 (ja) 通信装置およびサーバ
CN103996311A (zh) 一种基于移动物联网移动咨询系统及方法
CN103612614A (zh) 汽车的防盗追踪装置
CN201061173Y (zh) 设备防盗装置
WO2018092577A1 (ja) 車両用物体検知装置及び車両用物体検知システム
JP5917173B2 (ja) 情報処理システム、及び情報処理方法
JP5657084B2 (ja) 移動体監視装置
CN107025803A (zh) 一种智能停车场管理系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190124

Address after: 518057 Desai Science and Technology Building, 9789 Shennan Avenue, Yuehai Street, Nanshan District, Shenzhen City, Guangdong Province, 17th Floor (15th Floor of Natural Floor) 1702-1703

Patentee after: Shenzhen acoustic Cmi Holdings Ltd

Address before: 518057 High-tech Industrial Park, Nanshan District, Shenzhen City, Guangdong Province, No. 2 Cool Information Port, Mengxi Road (Building 1)

Patentee before: Yulong Computer and Communication Sci. & Tech. (Shenzhen) Co., Ltd.