CN105761423B - 侦测手持式电子设备的用户的行为的装置及方法 - Google Patents

侦测手持式电子设备的用户的行为的装置及方法 Download PDF

Info

Publication number
CN105761423B
CN105761423B CN201610084207.0A CN201610084207A CN105761423B CN 105761423 B CN105761423 B CN 105761423B CN 201610084207 A CN201610084207 A CN 201610084207A CN 105761423 B CN105761423 B CN 105761423B
Authority
CN
China
Prior art keywords
user
hand
electronic equipment
held electronic
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610084207.0A
Other languages
English (en)
Other versions
CN105761423A (zh
Inventor
陈蕾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Kaitian Technology Co Ltd
Original Assignee
Hefei Lianbao Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Lianbao Information Technology Co Ltd filed Critical Hefei Lianbao Information Technology Co Ltd
Priority to CN201610084207.0A priority Critical patent/CN105761423B/zh
Publication of CN105761423A publication Critical patent/CN105761423A/zh
Application granted granted Critical
Publication of CN105761423B publication Critical patent/CN105761423B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0469—Presence detectors to detect unsafe condition, e.g. infrared sensor, microphone

Landscapes

  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Telephone Function (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本发明提供一种侦测手持式电子设备的用户的行为的装置及方法。该装置包括：工作状态判断模块，用于判断手持式电子设备是否处于工作状态；用户行走状态判断模块，用于判断用户是否处于行走状态；使用状态判断模块，用于判断用户是否处于使用手持式电子设备的状态；图像采集模块，用于当用户处于行走状态并且用户处于使用手持式电子设备的状态时，启动手持式电子设备的后置摄像头以采集图像；图像识别模块，用于对后置摄像头采集的图像中的障碍物进行识别；以及预警模块，当判断出障碍物妨碍用户行走时发出警报。本发明的方案能够避免用户在行走并同时使用手持式电子设备的过程中由于忽视前方的障碍物而引起的危险或伤害。

Description

侦测手持式电子设备的用户的行为的装置及方法
技术领域
本发明涉及电子技术领域，具体涉及一种侦测手持式电子设备的用户的行为的装置及方法。
背景技术
手持式电子设备(例如，手机、平板电脑、掌上型电脑等)已经成为当下人们必不可少的一种随身设备，在路途中，例如公交站旁、地铁上或者在马路上，人们会随时拿出手持式电子设备进行娱乐、查询信息等活动。但是如果用户在一边行走一边使用手持式电子设备时，很可能会由于注意力不够集中而忽视前方，从而不小心撞到障碍物或被绊倒，由此带来不可预知的安全隐患。
目前还没有很好的解决方案能解决上述问题。
发明内容
本发明的目的在于提供一种侦测手持式电子设备的用户的行为的装置及方法，用于避免用户在行走并同时使用手持式电子设备的过程中由于忽视前方的障碍物而引起的危险或伤害。
为了实现上述目的，本发明一方面提供一种侦测手持式电子设备的用户的行为的装置，包括：工作状态判断模块，其配置为判断手持式电子设备是否处于工作状态，并且如果判断出手持式电子设备处于工作状态，则触发用户行走状态判断模块和使用状态判断模块；所述用户行走状态判断模块，其配置为判断用户是否处于行走状态；所述使用状态判断模块，其配置为判断用户是否处于使用手持式电子设备的状态；图像采集模块，其配置为当用户处于行走状态并且用户处于使用手持式电子设备的状态时，启动手持式电子设备的后置摄像头以采集图像；图像识别模块，其配置为对后置摄像头采集的图像中的障碍物进行识别；以及预警模块，其判断所识别的障碍物是否妨碍用户行走，并且当判断出障碍物妨碍用户行走时发出警报。
优选地，所述工作状态判断模块通过判断手持式电子设备处于非锁屏状态或锁屏状态来判断手持式电子设备是否处于工作状态。
优选地，所述用户行走状态判断模块利用手持式电子设备的三维加速度传感器来判断用户是否处于行走状态。
优选地，所述使用状态判断模块具体配置为：利用手持式电子设备的红外传感器侦测用户是否处在通话状态，如果侦测到用户没有处在通话状态，则判断出用户处于使用手持式电子设备的状态。
优选地，所述预警模块具体配置为通过障碍物的高度、大小、以及障碍物在所采集的图像中所处的位置中的至少一者来判断障碍物是否妨碍用户行走。
本发明另一方面还提供了一种侦测手持式电子设备的用户的行为的方法，包括：判断手持式电子设备是否处于工作状态；如果判断出手持式电子设备处于工作状态，则进一步判断用户是否处于行走状态以及判断用户是否处于使用手持式电子设备的状态；当用户处于行走状态并且用户处于使用手持式电子设备的状态时，启动手持式电子设备的后置摄像头以采集图像；对后置摄像头采集的图像中的障碍物进行识别；判断所识别的障碍物是否妨碍用户行走；以及当判断出障碍物妨碍用户行走时发出警报。
优选地，通过判断手持式电子设备处于非锁屏状态或锁屏状态来判断手持式电子设备是否处于工作状态。
优选地，利用手持式电子设备的三维加速度传感器来判断用户是否处于行走状态。
优选地，利用手持式电子设备的红外传感器侦测用户是否处在通话状态，如果侦测到用户没有处在通话状态，则判断出用户处于使用手持式电子设备的状态。
优选地，通过障碍物的高度、大小、以及障碍物在所采集的图像中所处的位置中的至少一者来判断障碍物是否妨碍用户行走。
本发明的方案能够很好地避免用户在行走并同时使用手机的过程中由于忽视前方的障碍物而引起的危险或伤害。
附图说明
图1为本发明实施例的一种侦测手持式电子设备的用户的行为的装置的框图。
图2为本发明实施例的一种侦测手持式电子设备的用户行为的方法的流程示意图。
图3为本发明优选实施例的一种侦测手持式电子设备的用户行为的方法的流程示意图。
具体实施方式
为使本领域技术人员更好地理解本发明，下面参照附图对本发明的实施例进行详细说明。
图1为本发明实施例的一种侦测手持式电子设备的用户的行为的装置的框图。本实施例中，手持式电子设备具体为手机。参照图1，本实施例的侦测手机的用户的行为的装置(以下简称“本装置”)100包括工作状态判断模块11、用户行走状态判断模块12、使用状态判断模块13、图像采集模块14、图像识别模块15以及预警模块16。
工作状态判断模块11用于判断手机是否处于工作状态，如果判断出手机处于工作状态，则触发用户行走状态判断模块12和使用状态判断模块13，否则，因此不触发用户行走状态判断模块12和使用状态判断模块13这两个模块。
作为一种具体实现方式，工作状态判断模块11可以通过判断手机处于非锁屏状态或锁屏状态来判断手机是否处于工作状态。如果电子设备处于非锁屏状态，则工作状态判断模块11判定手机正处于工作状态中。
如上，用户行走状态判断模块12由工作状态判断模块11所触发，并用于判断用户是否处于行走状态。具体而言，用户行走状态判断模块12可以利用手机的三维加速度传感器来判断用户是否处于行走状态。本装置能够启动手机上加载的三维加速度传感器，当用户处于行走状态时，手机的三维加速度传感器会产生连续的输出数据(x,y,z)，该输出数据能够用于表示手机的运动状态，比如在第一预定时间(例如，20秒甚至更长的时间)内，该输出数据的数值变化幅度与第一预定时间之比超过了第一预定阈值(例如，大于或等于0.2米/秒)，则判定用户处于行走状态。该第一预定时间和第一预定阈值的具体取值可以由本领域技术人员根据实际需要而设定，也可以由用户指定。
同样如上，使用状态判断模块13也由工作状态判断模块11所触发，并用于判断用户是否处于使用手机的状态。作为一种具体实现方式，使用状态判断模块13利用手机的红外传感器侦测用户是否处在通话状态，如果侦测到用户没有处在通话状态，则判断出用户处于使用手机的状态。目前手机上常规地配备有红外传感器，其位于听筒附近，能够用于侦测用户是否处于通话状态(即，用户耳部靠近听筒的状态)。
当用户处于行走状态并且用户处于使用手机的状态时(即，存在潜在安全隐患的状态时)，图像采集模块14启动手机的后置摄像头以采集手机前方的图像。在一优选实施例中，图像采集模块14在判断出用户处于行走状态并且用户处于使用手机的状态达到第一预定时间时，启动手机的后置摄像头采集图像。
接下来，图像识别模块15对后置摄像头采集的图像中的障碍物进行识别，本领域技术人员能够理解的是，可以利用常规的图像识别方法(或算法)识别所采集的图像中的障碍物，例如基于目标特征值识别的图像识别算法、基于支持向量机的图像识别算法、基于模板匹配的图像识别算法等。
预警模块16用于判断所识别的障碍物是否妨碍用户行走，并且当判断出障碍物妨碍用户行走时发出警报。具体而言，预警模块16可以通过障碍物的高度、大小和/或障碍物在所采集的图像中所处的位置来判断障碍物是否妨碍用户行走。例如，如果识别出的障碍物的大小(可以估算障碍物的面积)与所采集的图像的面积之比大于第二预定阈值(例如，大于或等于1/5)，并且识别出的障碍物的位置(如可以使用识别出的障碍物的最小x坐标值与最大x坐标值的平均值)落入所采集的图像的长度的预定范围(如1/3～2/3)之内，则判定障碍物妨碍用户行走。显然，本领域技术人员可以在本发明公开的精神和原理的范围内调整判断障碍物是否妨碍用户行走的具体判断方式，此外，还可以通过用户的手动输入来调整判断过程所使用的参数，如第二预定阈值、预定范围等。接下来，当判断出障碍物妨碍用户行走时，预警模块16发出声音警报和/或在屏幕上显示文字、图像警报等，以提示用户注意前方。
本实施例能够很好地避免用户在行走并同时使用手机的过程中由于忽视前方的障碍物而引起的危险或伤害。
图2为本发明实施例的一种侦测手持式电子设备的用户行为的方法的流程示意图。下面参照图2，说明本实施例的方法的各步骤。
步骤S201：判断手持式电子设备是否处于工作状态；
步骤S202：如果判断出手持式电子设备处于工作状态，则进一步判断用户是否处于行走状态以及判断用户是否处于使用手持式电子设备的状态；否则，不做判断。
步骤S203：当用户处于行走状态并且用户处于使用手持式电子设备的状态时，启动手持式电子设备的后置摄像头以采集图像；
步骤S204：对后置摄像头采集的图像中的障碍物进行识别；
步骤S205：判断所识别的障碍物是否妨碍用户行走；
步骤S206：当判断出障碍物妨碍用户行走时发出警报。
本实施例提供的方法能够避免用户在行走并使用手持式电子设备的状态下由于忽视前方的障碍物而引起的危险或伤害。
图3是本发明优选实施例的一种侦测手持式电子设备的用户行为的方法的流程示意图。参照图3，本优选实施例的方法包括下列步骤：
步骤S301：判断手持式电子设备处于非锁屏状态或锁屏状态；如果手持式电子设备处于非锁屏状态，则分别进入步骤S302和S303；
步骤S302：利用手持式电子设备的三维加速度传感器来判断用户是否处于行走状态；
步骤S303：利用手持式电子设备的红外传感器侦测用户是否处在通话状态；
步骤S304：如果步骤S302的判断结果为是，并且步骤S303的判断结果为否，则启动手持式电子设备的后置摄像头以采集图像；
步骤S305：对步骤S304中采集的图像信息经过相关变换处理，分析提取出有效的数据，对图像中的障碍物进行图像识别；
步骤S306：通过障碍物的高度、大小和/或障碍物在所采集的图像中所处的位置来判断障碍物是否妨碍用户行走，如果是，则进入步骤S307。
步骤S307：发出声音或文字警报。
本优选实施例的方法能够很好地避免用户在行走的同时使用手持式电子设备进行娱乐、查询信息等活动的过程中被前方的障碍物绊倒。
本发明不局限于上述特定实施例，在不背离本发明精神及其实质情况下，熟悉本领域的技术人员可根据本发明作出各种相应改变和变形，但这些相应改变和变形都应属于本发明所附权利要求的保护范围之内。

Claims (6)

1.一种侦测手持式电子设备的用户的行为的装置，包括：
工作状态判断模块，其配置为通过判断手持式电子设备处于非锁屏状态或锁屏状态来判断手持式电子设备是否处于工作状态，并且如果判断出手持式电子设备处于工作状态，则触发用户行走状态判断模块和使用状态判断模块；
所述用户行走状态判断模块，其配置为利用手持式电子设备的三维加速度传感器来判断用户是否处于行走状态；
所述使用状态判断模块，其配置为利用手持式电子设备的红外传感器侦测用户是否处在通话状态来判断用户是否处于使用手持式电子设备的状态；
图像采集模块，其配置为当用户处于行走状态并且用户处于使用手持式电子设备的状态时，启动手持式电子设备的后置摄像头以采集图像；
图像识别模块，其配置为对后置摄像头采集的图像中的障碍物进行识别；以及
预警模块，其判断所识别的障碍物是否妨碍用户行走，并且当判断出障碍物妨碍用户行走时发出警报。
2.如权利要求1所述的侦测手持式电子设备的用户的行为的装置，其中所述使用状态判断模块具体配置为：如果侦测到用户没有处在通话状态，则判断出用户处于使用手持式电子设备的状态。
3.如权利要求1所述的侦测手持式电子设备的用户的行为的装置，其中所述预警模块具体配置为通过障碍物的高度、大小、以及障碍物在所采集的图像中所处的位置中的至少一者来判断障碍物是否妨碍用户行走。
4.一种侦测手持式电子设备的用户的行为的方法，包括：
通过判断手持式电子设备处于非锁屏状态或锁屏状态来判断手持式电子设备是否处于工作状态；
如果判断出手持式电子设备处于工作状态，则进一步利用手持式电子设备的三维加速度传感器来判断用户是否处于行走状态以及利用手持式电子设备的红外传感器侦测用户是否处在通话状态来判断用户是否处于使用手持式电子设备的状态；
当用户处于行走状态并且用户处于使用手持式电子设备的状态时，启动手持式电子设备的后置摄像头以采集图像；
对后置摄像头采集的图像中的障碍物进行识别；
判断所识别的障碍物是否妨碍用户行走；以及
当判断出障碍物妨碍用户行走时发出警报。
5.如权利要求4所述的侦测手持式电子设备的用户的行为的方法，其中如果侦测到用户没有处在通话状态，则判断出用户处于使用手持式电子设备的状态。
6.如权利要求4所述的侦测手持式电子设备的用户的行为的方法，其中通过障碍物的高度、大小、以及障碍物在所采集的图像中所处的位置中的至少一者来判断障碍物是否妨碍用户行走。
CN201610084207.0A 2016-02-04 2016-02-04 侦测手持式电子设备的用户的行为的装置及方法 Active CN105761423B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610084207.0A CN105761423B (zh) 2016-02-04 2016-02-04 侦测手持式电子设备的用户的行为的装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610084207.0A CN105761423B (zh) 2016-02-04 2016-02-04 侦测手持式电子设备的用户的行为的装置及方法

Publications (2)

Publication Number Publication Date
CN105761423A CN105761423A (zh) 2016-07-13
CN105761423B true CN105761423B (zh) 2018-04-06

Family

ID=56330094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610084207.0A Active CN105761423B (zh) 2016-02-04 2016-02-04 侦测手持式电子设备的用户的行为的装置及方法

Country Status (1)

Country Link
CN (1) CN105761423B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106953977B (zh) * 2017-03-22 2019-02-12 北京字节跳动科技有限公司 一种基于移动终端的监测方法及系统
CN108122372A (zh) * 2018-01-04 2018-06-05 上海闻泰电子科技有限公司 电子设备及警示用户在行走时不要使用电子设备的方法
CN108921098B (zh) 2018-07-03 2020-08-18 百度在线网络技术（北京）有限公司 人体运动分析方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203400301U (zh) * 2013-07-12 2014-01-22 宁波大红鹰学院 一种导盲棒
CN104127302A (zh) * 2014-07-31 2014-11-05 青岛歌尔声学科技有限公司 一种视障人士行路安全导航方法
CN105046880A (zh) * 2015-05-28 2015-11-11 西安交通大学 一种智能移动终端基于多普勒效应进行危险监测及预警的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005209028A (ja) * 2004-01-23 2005-08-04 Matsushita Electric Ind Co Ltd 携帯端末装置及び衝突危険判定報知方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203400301U (zh) * 2013-07-12 2014-01-22 宁波大红鹰学院 一种导盲棒
CN104127302A (zh) * 2014-07-31 2014-11-05 青岛歌尔声学科技有限公司 一种视障人士行路安全导航方法
CN105046880A (zh) * 2015-05-28 2015-11-11 西安交通大学 一种智能移动终端基于多普勒效应进行危险监测及预警的方法

Also Published As

Publication number Publication date
CN105761423A (zh) 2016-07-13

Similar Documents

Publication Publication Date Title
KR101766305B1 (ko) 침입 탐지 장치
EP2037426B1 (en) Device and method for detecting suspicious activity, program, and recording medium
CN102323822B (zh) 一种避免工业机器人碰撞工人的方法
US8253786B2 (en) Site monitoring systems and methods
CN105761423B (zh) 侦测手持式电子设备的用户的行为的装置及方法
CN104680525A (zh) 基于Kinect深度图像的人体摔倒自动检测方法
CN104464144A (zh) 安装具有摄像机的pir传感器的方法
CN103576660A (zh) 智能家居监控系统及方法
KR101609914B1 (ko) 물리적충격 및 심리적충격에 대응한 긴급상황감지방법과 이를 이용한 긴급상황감지장치
CN105354956B (zh) 基于数据挖掘和大数据分析的云计算平台及方法
CN105427518B (zh) 一种数据化危险判决系统及方法
CN111241913A (zh) 一种检测人员摔倒的方法、装置及系统
KR20160074208A (ko) 비콘신호를 이용한 안전 서비스 제공 시스템 및 방법
CN113506416A (zh) 一种基于智能视觉分析的工程异常预警方法及系统
KR102411052B1 (ko) 안전모 기반의 근로자의 동작을 감지하는 장치 및 방법
CN105957169A (zh) 一种基于ibeacon技术的检测方法、装置及系统
KR20080044812A (ko) 컴퓨터 영상 분석기술을 이용한 범죄 및 사고예방 자동경비 시스템
KR20210086829A (ko) 스마트 cctv 관제 및 경보 시스템
JP2007089105A (ja) 歩行監視システム
CN110633652A (zh) 意外状况确定方法、装置和电子设备
CN117238100A (zh) 一种基于图像识别的仓储安全智能监控的方法及系统
JP6977607B2 (ja) 安全判定装置、安全判定システム、安全判定方法
CN203733245U (zh) 防火逃生门智慧型警报系统
CN213458397U (zh) 一种基于图像识别的施工警戒区监测预警系统
CN112191353B (zh) 一种用于提升碎石机作业区域安全性的装置及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20201217

Address after: 601-g6-1, 6th floor, building 2, No. 6, Shangdi West Road, Haidian District, Beijing 100085

Patentee after: Lenovo Kaitian Technology Co., Ltd

Address before: 230601 418, 4 building, Hai Heng mansion 6, Cui Wei Road, Hefei economic and Technological Development Zone, Anhui

Patentee before: HEFEI LCFC INFORMATION TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right