CN105761423A - 侦测手持式电子设备的用户的行为的装置及方法 - Google Patents

侦测手持式电子设备的用户的行为的装置及方法 Download PDF

Info

Publication number
CN105761423A
CN105761423A CN201610084207.0A CN201610084207A CN105761423A CN 105761423 A CN105761423 A CN 105761423A CN 201610084207 A CN201610084207 A CN 201610084207A CN 105761423 A CN105761423 A CN 105761423A
Authority
CN
China
Prior art keywords
user
electronic equipment
hand
held electronic
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610084207.0A
Other languages
English (en)
Other versions
CN105761423B (zh
Inventor
陈蕾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Kaitian Technology Co Ltd
Original Assignee
Hefei Lianbao Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Lianbao Information Technology Co Ltd filed Critical Hefei Lianbao Information Technology Co Ltd
Priority to CN201610084207.0A priority Critical patent/CN105761423B/zh
Publication of CN105761423A publication Critical patent/CN105761423A/zh
Application granted granted Critical
Publication of CN105761423B publication Critical patent/CN105761423B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0469—Presence detectors to detect unsafe condition, e.g. infrared sensor, microphone

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Telephone Function (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本发明提供一种侦测手持式电子设备的用户的行为的装置及方法。该装置包括：工作状态判断模块，用于判断手持式电子设备是否处于工作状态；用户行走状态判断模块，用于判断用户是否处于行走状态；使用状态判断模块，用于判断用户是否处于使用手持式电子设备的状态；图像采集模块，用于当用户处于行走状态并且用户处于使用手持式电子设备的状态时，启动手持式电子设备的后置摄像头以采集图像；图像识别模块，用于对后置摄像头采集的图像中的障碍物进行识别；以及预警模块，当判断出障碍物妨碍用户行走时发出警报。本发明的方案能够避免用户在行走并同时使用手持式电子设备的过程中由于忽视前方的障碍物而引起的危险或伤害。

Description

侦测手持式电子设备的用户的行为的装置及方法
技术领域
本发明涉及电子技术领域，具体涉及一种侦测手持式电子设备的用户的行为的装置及方法。
背景技术
手持式电子设备(例如，手机、平板电脑、掌上型电脑等)已经成为当下人们必不可少的一种随身设备，在路途中，例如公交站旁、地铁上或者在马路上，人们会随时拿出手持式电子设备进行娱乐、查询信息等活动。但是如果用户在一边行走一边使用手持式电子设备时，很可能会由于注意力不够集中而忽视前方，从而不小心撞到障碍物或被绊倒，由此带来不可预知的安全隐患。
目前还没有很好的解决方案能解决上述问题。
发明内容
本发明的目的在于提供一种侦测手持式电子设备的用户的行为的装置及方法，用于避免用户在行走并同时使用手持式电子设备的过程中由于忽视前方的障碍物而引起的危险或伤害。
为了实现上述目的，本发明一方面提供一种侦测手持式电子设备的用户的行为的装置，包括：工作状态判断模块，其配置为判断手持式电子设备是否处于工作状态，并且如果判断出手持式电子设备处于工作状态，则触发用户行走状态判断模块和使用状态判断模块；所述用户行走状态判断模块，其配置为判断用户是否处于行走状态；所述使用状态判断模块，其配置为判断用户是否处于使用手持式电子设备的状态；图像采集模块，其配置为当用户处于行走状态并且用户处于使用手持式电子设备的状态时，启动手持式电子设备的后置摄像头以采集图像；图像识别模块，其配置为对后置摄像头采集的图像中的障碍物进行识别；以及预警模块，其判断所识别的障碍物是否妨碍用户行走，并且当判断出障碍物妨碍用户行走时发出警报。
优选地，所述工作状态判断模块通过判断手持式电子设备处于非锁屏状态或锁屏状态来判断手持式电子设备是否处于工作状态。
优选地，所述用户行走状态判断模块利用手持式电子设备的三维加速度传感器来判断用户是否处于行走状态。
优选地，所述使用状态判断模块具体配置为：利用手持式电子设备的红外传感器侦测用户是否处在通话状态，如果侦测到用户没有处在通话状态，则判断出用户处于使用手持式电子设备的状态。
优选地，所述预警模块具体配置为通过障碍物的高度、大小、以及障碍物在所采集的图像中所处的位置中的至少一者来判断障碍物是否妨碍用户行走。
本发明另一方面还提供了一种侦测手持式电子设备的用户的行为的方法，包括：判断手持式电子设备是否处于工作状态；如果判断出手持式电子设备处于工作状态，则进一步判断用户是否处于行走状态以及判断用户是否处于使用手持式电子设备的状态；当用户处于行走状态并且用户处于使用手持式电子设备的状态时，启动手持式电子设备的后置摄像头以采集图像；对后置摄像头采集的图像中的障碍物进行识别；判断所识别的障碍物是否妨碍用户行走；以及当判断出障碍物妨碍用户行走时发出警报。
优选地，通过判断手持式电子设备处于非锁屏状态或锁屏状态来判断手持式电子设备是否处于工作状态。
优选地，利用手持式电子设备的三维加速度传感器来判断用户是否处于行走状态。
优选地，利用手持式电子设备的红外传感器侦测用户是否处在通话状态，如果侦测到用户没有处在通话状态，则判断出用户处于使用手持式电子设备的状态。
优选地，通过障碍物的高度、大小、以及障碍物在所采集的图像中所处的位置中的至少一者来判断障碍物是否妨碍用户行走。
本发明的方案能够很好地避免用户在行走并同时使用手机的过程中由于忽视前方的障碍物而引起的危险或伤害。
附图说明
图1为本发明实施例的一种侦测手持式电子设备的用户的行为的装置的框图。
图2为本发明实施例的一种侦测手持式电子设备的用户行为的方法的流程示意图。
图3为本发明优选实施例的一种侦测手持式电子设备的用户行为的方法的流程示意图。
具体实施方式
为使本领域技术人员更好地理解本发明，下面参照附图对本发明的实施例进行详细说明。
图1为本发明实施例的一种侦测手持式电子设备的用户的行为的装置的框图。本实施例中，手持式电子设备具体为手机。参照图1，本实施例的侦测手机的用户的行为的装置(以下简称“本装置”)100包括工作状态判断模块11、用户行走状态判断模块12、使用状态判断模块13、图像采集模块14、图像识别模块15以及预警模块16。
工作状态判断模块11用于判断手机是否处于工作状态，如果判断出手机处于工作状态，则触发用户行走状态判断模块12和使用状态判断模块13，否则，因此不触发用户行走状态判断模块12和使用状态判断模块13这两个模块。
作为一种具体实现方式，工作状态判断模块11可以通过判断手机处于非锁屏状态或锁屏状态来判断手机是否处于工作状态。如果电子设备处于非锁屏状态，则工作状态判断模块11判定手机正处于工作状态中。
如上，用户行走状态判断模块12由工作状态判断模块11所触发，并用于判断用户是否处于行走状态。具体而言，用户行走状态判断模块12可以利用手机的三维加速度传感器来判断用户是否处于行走状态。本装置能够启动手机上加载的三维加速度传感器，当用户处于行走状态时，手机的三维加速度传感器会产生连续的输出数据(x,y,z)，该输出数据能够用于表示手机的运动状态，比如在第一预定时间(例如，20秒甚至更长的时间)内，该输出数据的数值变化幅度与第一预定时间之比超过了第一预定阈值(例如，大于或等于0.2米/秒)，则判定用户处于行走状态。该第一预定时间和第一预定阈值的具体取值可以由本领域技术人员根据实际需要而设定，也可以由用户指定。
同样如上，使用状态判断模块13也由工作状态判断模块11所触发，并用于判断用户是否处于使用手机的状态。作为一种具体实现方式，使用状态判断模块13利用手机的红外传感器侦测用户是否处在通话状态，如果侦测到用户没有处在通话状态，则判断出用户处于使用手机的状态。目前手机上常规地配备有红外传感器，其位于听筒附近，能够用于侦测用户是否处于通话状态(即，用户耳部靠近听筒的状态)。
当用户处于行走状态并且用户处于使用手机的状态时(即，存在潜在安全隐患的状态时)，图像采集模块14启动手机的后置摄像头以采集手机前方的图像。在一优选实施例中，图像采集模块14在判断出用户处于行走状态并且用户处于使用手机的状态达到第一预定时间时，启动手机的后置摄像头采集图像。
接下来，图像识别模块15对后置摄像头采集的图像中的障碍物进行识别，本领域技术人员能够理解的是，可以利用常规的图像识别方法(或算法)识别所采集的图像中的障碍物，例如基于目标特征值识别的图像识别算法、基于支持向量机的图像识别算法、基于模板匹配的图像识别算法等。
预警模块16用于判断所识别的障碍物是否妨碍用户行走，并且当判断出障碍物妨碍用户行走时发出警报。具体而言，预警模块16可以通过障碍物的高度、大小和/或障碍物在所采集的图像中所处的位置来判断障碍物是否妨碍用户行走。例如，如果识别出的障碍物的大小(可以估算障碍物的面积)与所采集的图像的面积之比大于第二预定阈值(例如，大于或等于1/5)，并且识别出的障碍物的位置(如可以使用识别出的障碍物的最小x坐标值与最大x坐标值的平均值)落入所采集的图像的长度的预定范围(如1/3～2/3)之内，则判定障碍物妨碍用户行走。显然，本领域技术人员可以在本发明公开的精神和原理的范围内调整判断障碍物是否妨碍用户行走的具体判断方式，此外，还可以通过用户的手动输入来调整判断过程所使用的参数，如第二预定阈值、预定范围等。接下来，当判断出障碍物妨碍用户行走时，预警模块16发出声音警报和/或在屏幕上显示文字、图像警报等，以提示用户注意前方。
本实施例能够很好地避免用户在行走并同时使用手机的过程中由于忽视前方的障碍物而引起的危险或伤害。
图2为本发明实施例的一种侦测手持式电子设备的用户行为的方法的流程示意图。下面参照图2，说明本实施例的方法的各步骤。
步骤S201：判断手持式电子设备是否处于工作状态；
步骤S202：如果判断出手持式电子设备处于工作状态，则进一步判断用户是否处于行走状态以及判断用户是否处于使用手持式电子设备的状态；否则，不做判断。
步骤S203：当用户处于行走状态并且用户处于使用手持式电子设备的状态时，启动手持式电子设备的后置摄像头以采集图像；
步骤S204：对后置摄像头采集的图像中的障碍物进行识别；
步骤S205：判断所识别的障碍物是否妨碍用户行走；
步骤S206：当判断出障碍物妨碍用户行走时发出警报。
本实施例提供的方法能够避免用户在行走并使用手持式电子设备的状态下由于忽视前方的障碍物而引起的危险或伤害。
图3是本发明优选实施例的一种侦测手持式电子设备的用户行为的方法的流程示意图。参照图3，本优选实施例的方法包括下列步骤：
步骤S301：判断手持式电子设备处于非锁屏状态或锁屏状态；如果手持式电子设备处于非锁屏状态，则分别进入步骤S302和S303；
步骤S302：利用手持式电子设备的三维加速度传感器来判断用户是否处于行走状态；
步骤S303：利用手持式电子设备的红外传感器侦测用户是否处在通话状态；
步骤S304：如果步骤S302的判断结果为是，并且步骤S303的判断结果为否，则启动手持式电子设备的后置摄像头以采集图像；
步骤S305：对步骤S304中采集的图像信息经过相关变换处理，分析提取出有效的数据，对图像中的障碍物进行图像识别；
步骤S306：通过障碍物的高度、大小和/或障碍物在所采集的图像中所处的位置来判断障碍物是否妨碍用户行走，如果是，则进入步骤S307。
步骤S307：发出声音或文字警报。
本优选实施例的方法能够很好地避免用户在行走的同时使用手持式电子设备进行娱乐、查询信息等活动的过程中被前方的障碍物绊倒。
本发明不局限于上述特定实施例，在不背离本发明精神及其实质情况下，熟悉本领域的技术人员可根据本发明作出各种相应改变和变形，但这些相应改变和变形都应属于本发明所附权利要求的保护范围之内。

Claims (10)

1.一种侦测手持式电子设备的用户的行为的装置，包括：
工作状态判断模块，其配置为判断手持式电子设备是否处于工作状态，并且如果判断出手持式电子设备处于工作状态，则触发用户行走状态判断模块和使用状态判断模块；
所述用户行走状态判断模块，其配置为判断用户是否处于行走状态；
所述使用状态判断模块，其配置为判断用户是否处于使用手持式电子设备的状态；
图像采集模块，其配置为当用户处于行走状态并且用户处于使用手持式电子设备的状态时，启动手持式电子设备的后置摄像头以采集图像；
图像识别模块，其配置为对后置摄像头采集的图像中的障碍物进行识别；以及
预警模块，其判断所识别的障碍物是否妨碍用户行走，并且当判断出障碍物妨碍用户行走时发出警报。
2.如权利要求1所述的侦测手持式电子设备的用户的行为的装置，其中所述工作状态判断模块通过判断手持式电子设备处于非锁屏状态或锁屏状态来判断手持式电子设备是否处于工作状态。
3.如权利要求1所述的侦测手持式电子设备的用户的行为的装置，其中所述用户行走状态判断模块利用手持式电子设备的三维加速度传感器来判断用户是否处于行走状态。
4.如权利要求1所述的侦测手持式电子设备的用户的行为的装置，其中所述使用状态判断模块具体配置为：利用手持式电子设备的红外传感器侦测用户是否处在通话状态，如果侦测到用户没有处在通话状态，则判断出用户处于使用手持式电子设备的状态。
5.如权利要求1所述的侦测手持式电子设备的用户的行为的装置，其中所述预警模块具体配置为通过障碍物的高度、大小、以及障碍物在所采集的图像中所处的位置中的至少一者来判断障碍物是否妨碍用户行走。
6.一种侦测手持式电子设备的用户的行为的方法，包括：
判断手持式电子设备是否处于工作状态；
如果判断出手持式电子设备处于工作状态，则进一步判断用户是否处于行走状态以及判断用户是否处于使用手持式电子设备的状态；
当用户处于行走状态并且用户处于使用手持式电子设备的状态时，启动手持式电子设备的后置摄像头以采集图像；
对后置摄像头采集的图像中的障碍物进行识别；
判断所识别的障碍物是否妨碍用户行走；以及
当判断出障碍物妨碍用户行走时发出警报。
7.如权利要求6所述的侦测手持式电子设备的用户的行为的方法，其中
通过判断手持式电子设备处于非锁屏状态或锁屏状态来判断手持式电子设备是否处于工作状态。
8.如权利要求6所述的侦测手持式电子设备的用户的行为的方法，其中
利用手持式电子设备的三维加速度传感器来判断用户是否处于行走状态。
9.如权利要求6所述的侦测手持式电子设备的用户的行为的方法，其中
利用手持式电子设备的红外传感器侦测用户是否处在通话状态，如果侦测到用户没有处在通话状态，则判断出用户处于使用手持式电子设备的状态。
10.如权利要求6所述的侦测手持式电子设备的用户的行为的方法，其中
通过障碍物的高度、大小、以及障碍物在所采集的图像中所处的位置中的至少一者来判断障碍物是否妨碍用户行走。
CN201610084207.0A 2016-02-04 2016-02-04 侦测手持式电子设备的用户的行为的装置及方法 Active CN105761423B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610084207.0A CN105761423B (zh) 2016-02-04 2016-02-04 侦测手持式电子设备的用户的行为的装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610084207.0A CN105761423B (zh) 2016-02-04 2016-02-04 侦测手持式电子设备的用户的行为的装置及方法

Publications (2)

Publication Number Publication Date
CN105761423A true CN105761423A (zh) 2016-07-13
CN105761423B CN105761423B (zh) 2018-04-06

Family

ID=56330094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610084207.0A Active CN105761423B (zh) 2016-02-04 2016-02-04 侦测手持式电子设备的用户的行为的装置及方法

Country Status (1)

Country Link
CN (1) CN105761423B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106953977A (zh) * 2017-03-22 2017-07-14 北京字节跳动科技有限公司 一种基于移动终端的监测方法及系统
CN108122372A (zh) * 2018-01-04 2018-06-05 上海闻泰电子科技有限公司 电子设备及警示用户在行走时不要使用电子设备的方法
CN108921098A (zh) * 2018-07-03 2018-11-30 百度在线网络技术（北京）有限公司 人体运动分析方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005209028A (ja) * 2004-01-23 2005-08-04 Matsushita Electric Ind Co Ltd 携帯端末装置及び衝突危険判定報知方法
CN203400301U (zh) * 2013-07-12 2014-01-22 宁波大红鹰学院 一种导盲棒
CN104127302A (zh) * 2014-07-31 2014-11-05 青岛歌尔声学科技有限公司 一种视障人士行路安全导航方法
CN105046880A (zh) * 2015-05-28 2015-11-11 西安交通大学 一种智能移动终端基于多普勒效应进行危险监测及预警的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005209028A (ja) * 2004-01-23 2005-08-04 Matsushita Electric Ind Co Ltd 携帯端末装置及び衝突危険判定報知方法
CN203400301U (zh) * 2013-07-12 2014-01-22 宁波大红鹰学院 一种导盲棒
CN104127302A (zh) * 2014-07-31 2014-11-05 青岛歌尔声学科技有限公司 一种视障人士行路安全导航方法
CN105046880A (zh) * 2015-05-28 2015-11-11 西安交通大学 一种智能移动终端基于多普勒效应进行危险监测及预警的方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106953977A (zh) * 2017-03-22 2017-07-14 北京字节跳动科技有限公司 一种基于移动终端的监测方法及系统
CN106953977B (zh) * 2017-03-22 2019-02-12 北京字节跳动科技有限公司 一种基于移动终端的监测方法及系统
CN108122372A (zh) * 2018-01-04 2018-06-05 上海闻泰电子科技有限公司 电子设备及警示用户在行走时不要使用电子设备的方法
CN108921098A (zh) * 2018-07-03 2018-11-30 百度在线网络技术（北京）有限公司 人体运动分析方法、装置、设备及存储介质
CN108921098B (zh) * 2018-07-03 2020-08-18 百度在线网络技术（北京）有限公司 人体运动分析方法、装置、设备及存储介质
US10970528B2 (en) 2018-07-03 2021-04-06 Baidu Online Network Technology (Beijing) Co., Ltd. Method for human motion analysis, apparatus for human motion analysis, device and storage medium

Also Published As

Publication number Publication date
CN105761423B (zh) 2018-04-06

Similar Documents

Publication Publication Date Title
KR102270401B1 (ko) 스마트폰을 소지한 산만한 보행자를 위한 실시간 경고
AU2014101406B4 (en) A portable alerting system and a method thereof
US8253786B2 (en) Site monitoring systems and methods
CN105516463B (zh) 一种移动终端提醒方法及系统
WO2007070738A3 (en) Methods and systems for enabling depth and direction detection when interfacing with a computer program
CN106934787B (zh) 一种智能门禁控制方法、系统、服务器及设备
KR101218257B1 (ko) 레이더를 이용한 야생동물 침입 탐지 방법 및 그 시스템
KR20160088224A (ko) 객체 인식 방법 및 장치
CN104881949A (zh) 一种基于移动终端的路况监测方法及装置
KR101858396B1 (ko) 지능형 침입 탐지 시스템
JPWO2007138811A1 (ja) 不審行動検知装置および方法、プログラムおよび記録媒体
KR101751032B1 (ko) 이미지 센서를 이용한 위험 감지 장치
Wen et al. We help you watch your steps: Unobtrusive alertness system for pedestrian mobile phone users
CN105761423A (zh) 侦测手持式电子设备的用户的行为的装置及方法
KR101609914B1 (ko) 물리적충격 및 심리적충격에 대응한 긴급상황감지방법과 이를 이용한 긴급상황감지장치
CN103152483A (zh) 一种利用移动设备监测靠近物体的方法和装置
KR20160074208A (ko) 비콘신호를 이용한 안전 서비스 제공 시스템 및 방법
CN106470277A (zh) 一种安全提示方法及装置
CN115762138A (zh) 路面状况的提醒方法、装置、电子设备及存储介质
KR101147212B1 (ko) 주변상황 인식을 이용한 개인안전 장치, 시스템 및 방법
KR101966198B1 (ko) 스마트 방범창을 위한 IoT 기반 충격패턴 분석 시스템
US20200372779A1 (en) Terminal device, risk prediction method, and recording medium
CN107730830B (zh) 一种路障告警方法、移动终端以及计算机可读存储介质
CN112767647A (zh) 危险预警方法、装置、设备及计算机可读存储介质
US20160335916A1 (en) Portable device and control method using plurality of cameras

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20201217

Address after: 601-g6-1, 6th floor, building 2, No. 6, Shangdi West Road, Haidian District, Beijing 100085

Patentee after: Lenovo Kaitian Technology Co., Ltd

Address before: 230601 418, 4 building, Hai Heng mansion 6, Cui Wei Road, Hefei economic and Technological Development Zone, Anhui

Patentee before: HEFEI LCFC INFORMATION TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right