CN106774857A - 智能腕戴式设备控制方法和智能腕戴式设备 - Google Patents
智能腕戴式设备控制方法和智能腕戴式设备 Download PDFInfo
- Publication number
- CN106774857A CN106774857A CN201611080010.6A CN201611080010A CN106774857A CN 106774857 A CN106774857 A CN 106774857A CN 201611080010 A CN201611080010 A CN 201611080010A CN 106774857 A CN106774857 A CN 106774857A
- Authority
- CN
- China
- Prior art keywords
- illumination
- camera
- intensity
- intelligent wrist
- worn device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G04—HOROLOGY
- G04G—ELECTRONIC TIME-PIECES
- G04G21/00—Input or output devices integrated in time-pieces
-
- G—PHYSICS
- G04—HOROLOGY
- G04G—ELECTRONIC TIME-PIECES
- G04G21/00—Input or output devices integrated in time-pieces
- G04G21/02—Detectors of external physical values, e.g. temperature
- G04G21/025—Detectors of external physical values, e.g. temperature for measuring physiological data
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Physiology (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种智能腕戴式设备控制方法和智能腕戴式设备,解决现有智能腕带产品在手部被占用情况下操作难度高的技术问题。包括:判断智能腕戴式设备是否被抬起;若是,启动第一摄像头,接收第一摄像头获取的第一摄像信息;以及启动第二摄像头,接收第二摄像头获取的第二摄像信息;判断智能腕戴式设备所处环境的光照强度;基于光照强度、第一摄像信息和第二摄像信息,判断用户是否眨眼;若否,激活智能腕戴式设备的显示屏,并显示智能腕戴式设备的控制界面。用户在手部被占用情况下,只需抬起智能腕戴式设备或抬起佩戴智能腕戴式设备的手腕,通过两个摄像头的配合识别用户眼部状态来实现对智能腕戴式设备的控制,无需两只手配合实现对智能腕戴式设备的控制。
Description
技术领域
本发明属于可穿戴设备技术领域,具体地说,是涉及一种智能腕戴式设备控制方法和智能腕戴式设备。
背景技术
可穿戴设备,例如智能手表、智能手环、智能眼镜等等,普及程度越来越高,用户对其使用便捷性和精度也就提出了更高的要求。
现有的例如智能手表、智能手环等智能腕戴式设备,控制方式都是使用机械按键或者触摸来实现,以智能手表为例,在需要操作智能手表时,需要抬起一只胳膊,同时,用另一只手对智能手表进行操作,但这种方式的操作在某些例如手提重物、骑车等特殊情况下,由于用户至少一只手已经被占用,无法使用两只手配合对智能腕戴式设备进行操作,增加了智能腕戴式设备的使用难度,影响使用体验。
发明内容
本申请提供了一种智能腕戴式设备控制方法和智能腕戴式设备,解决现有智能腕带产品在手部被占用情况下操作难度高的技术问题。
为解决上述技术问题,本申请采用以下技术方案予以实现:
提出一种智能腕戴式设备控制方法,包括:判断智能腕戴式设备是否被抬起;若是,启动第一摄像头,接收第一摄像头获取的第一摄像信息;以及启动第二摄像头,接收所述第二摄像头获取的第二摄像信息;判断所述智能腕戴式设备所处环境的光照强度;基于所述光照强度、所述第一摄像信息和所述第二摄像信息,判断用户是否眨眼;若否,激活所述智能腕戴式设备的显示屏,并显示所述智能腕戴式设备的控制界面。
进一步的,若判断所述智能腕戴式设备所处环境的光照强度大于第一光照强度,则基于所述光照强度、所述第一摄像信息和所述第二摄像信息,判断用户是否眨眼,具体为:接收所述第一摄像头获取的第一摄像信息,并基于所述第一摄像信息判断用户眼部是否位于所述第一摄像头的第一拍摄范围内;若是,接收所述第二摄像头获取的第二摄像信息,并基于所述第二摄像信息获取所述智能腕戴式设备的第二环境干扰信号;基于所述第一摄像信息和所述第二环境干扰信号,识别用户眼部状态;基于所述眼部状态判断用户是否眨眼。
进一步的,若判断所述智能腕戴式设备所述环境的光照强度小于第二光照强度,则基于所述光照强度、所述第一摄像信息和所述第二摄像信息,判断用户是否眨眼,具体为:接收所述第二摄像头获取的第二摄像信息,并基于所述第二摄像信息判断用户眼部是否位于所述第二摄像头的第二拍摄范围内;若是,接收所述第一摄像头获取的第一摄像信息,并基于所述第一摄像信息获取所述智能腕戴式设备的第一环境干扰信号;基于所述第二摄像信息和所述第一环境干扰信号,识别用户眼部状态;基于所述眼部状态判断用户是否眨眼。
进一步的,若判断所述智能腕戴式设备所述环境的光照强度大于第二光照强度且小于第一光照强度,则基于所述光照强度、所述第一摄像信息和所述第二摄像信息,判断用户是否眨眼,具体为:接收所述第一摄像头获取的第一摄像信息,并基于所述第一摄像信息判断用户眼部是否位于所述第一摄像头的第一摄像范围内;接收所述第二摄像头获取的第二摄像信息,并基于所述第二摄像信息判断用户脸部是否位于所述第二摄像头的第二摄像范围内;若都是,基于所述第一摄像信息和所述第二摄像信息,识别用户眼部状态;基于所述眼部状态判断用户是否眨眼。
进一步的,在显示所述智能腕戴式设备的控制界面之后,所述方法还包括:基于所述第一摄像信息和所述第二摄像信息,识别用户的眼部状态;基于所述眼部状态调节所述控制界面,和/或控制所述智能腕戴式设备的操作。
提出一种智能腕戴式设备,包括控制模块、判断模块、第一摄像头、第二摄像头、光照强度判断模块、眼部状态识别模块和显示屏;所述判断模块,用于判断所述智能腕戴式设备是否被抬起;若是,所述控制模块,用于启动所述第一摄像头和所述第二摄像头;所述第一摄像头,用于在第一摄像范围内获取第一摄像信息;所述第二摄像头,用于在第二摄像范围内获取第二摄像信息;所述光照强度判断模块,用于判断所述智能腕戴式设备所处环境的光照强度;所述眼部状态识别模块,用于基于所述光照强度、所述第一摄像信息和所述第二摄像信息,判断用户是否眨眼;若否,所述控制模块,还用于激活所述显示屏,并在所述显示屏上显示所述智能腕戴式设备的控制界面。
进一步的,所述眼部状态识别模块具体包括眼部定位单元、环境干扰信号提取单元和眼部状态识别单元;所述眼部定位单元,用于在所述光照强度判断模块判断所述智能腕戴式设备所处环境的光照强度大于第一光照强度时,接收所述第一摄像头获取的第一摄像信息,并基于所述第一摄像信息判断用户眼部是否位于所述第一摄像头的第一拍摄范围内;若是,则所述环境干扰信号提取单元,用于在所述光照强度判断模块判断所述智能腕戴式设备所处环境的光照强度大于第一光照强度时,接收所述第二摄像头获取的第二摄像信息,并基于所述第二摄像信息获取所述智能腕戴式设备的第二环境干扰信号;所述眼部状态识别单元,用于基于所述第一摄像信息和所述第二环境干扰信号,识别用户眼部状态,并基于所述眼部状态判断用户是否眨眼。
进一步的,所述眼部定位单元,还用于在所述光照强度判断模块判断所述智能腕戴式设备所处环境的光照强度小于第二光照强度时,接收所述第二摄像头获取的第二摄像信息,并基于所述第二摄像信息判断用户眼部是否位于所述第二摄像头的第二拍摄范围内;所是,则所述环境干扰信号提取单元,还用于在所述光照强度判断模块判断所述智能腕戴式设备所处环境的光照强度小于第二光照强度时,接收所述第一摄像头获取的第一摄像信息,并基于所述第一摄像信息获取所述智能腕戴式设备的第一环境干扰信号;所述眼部状态识别单元,用于基于所述第二摄像信息和所述第一环境干扰信号,识别用户眼部状态,并基于所述眼部状态判断用户是否眨眼。
进一步的,所述眼部状态识别模块还包括脸部定位单元;所述脸部定位单元,用于在所述光照强度判断模块判断所述智能腕戴式设备所述环境的光照强度大于第二光照强度且小于第一光照强度时,接收所述第二摄像头获取的第二摄像信息,并基于所述第二摄像信息判断用户脸部是否位于所述第二摄像头的第二摄像范围内; 所述眼部定位单元,还用于在所述光照强度判断模块判断所述智能腕戴式设备所述环境的光照强度大于第二光照强度且小于第一光照强度时,接收所述第一摄像头获取的第一摄像信息,并基于所述第一摄像信息判断用户眼部是否位于所述第一摄像头的第一摄像范围内;若判断用户脸部位于所述第二摄像范围内,且判断用户眼部位于所述第一摄像范围内,则所述眼部状态识别单元,用于基于所述第一摄像信息和所述第二摄像信息,识别用户眼部状态;基于所述眼部状态判断用户是否眨眼。
进一步的,所述控制模块,还用于基于所述眼部状态调节所述控制界面,和/或控制所述智能腕戴式设备的操作。
与现有技术相比,本申请的优点和积极效果是:本申请提出的智能腕戴式设备控制方法和智能腕戴式设备,在判断智能腕戴式设备被抬起后开启第一摄像头和第二摄像头,在判断智能腕戴式设备所处环境的光照强度后,结合光照强度,第一摄像头获取的第一摄像信息和第二摄像头获取的第二摄像信息,判断用户的眼部状态,若用户没有眨眼,则控制激活显示屏,并在显示屏上显示控制界面,以便于通过识别眼部状态来实现对控制界面的调节和对智能腕戴式设备的操作,相比现有技术中需要使用两手配合来完成对智能腕戴式设备的调节,本申请提出的智能腕戴式设备控制方法和智能腕带,只需抬起智能腕戴式设备或抬起佩戴智能腕戴式设备的手腕,通过两个摄像头的配合识别用户眼部状态来实现对智能腕戴式设备的控制,无需两只手配合完成控制,解决了现有智能腕戴式产品在手部被占用情况下操作难度高的技术问题。
结合附图阅读本申请实施方式的详细描述后,本申请的其他特点和优点将变得更加清楚。
附图说明
图1 为本申请提出的智能腕戴式设备控制方法的流程图;
图2为本申请提出的智能腕戴式设备组成框架图。
具体实施方式
下面结合附图对本申请的具体实施方式作进一步详细地说明。
本申请提出的智能腕戴式设备控制方法,如图1所示,包括如下步骤:
步骤S11:判断智能腕戴式设备是否被抬起。
本申请实施例适用于两种情况下实施:用户没有佩戴智能腕戴式设备,使用单手将智能腕戴式设备抬起至眼前,以及,用户佩戴有智能腕戴式设备,移动手腕将智能腕戴式设备抬起至眼前。佩戴在用户手腕上或者没有佩戴在用户手腕上,可以通过使用例如电容传感的方式来确认。
判断智能腕戴式设备是否被抬起,可以通过例如加速度传感器等能够检测智能腕带产品运动状态的装置来实现,在判断智能腕戴式设备被抬起后,
步骤S12:启动第一摄像头,接收第一摄像头获取的第一摄像信息;以及,
步骤S13:启动第二摄像头,接收第二摄像头获取的第二摄像信息。
步骤S12和步骤S13不区分前后执行关系。第一摄像头和第二摄像头可以安装在智能腕戴式设备的显示屏边侧,两个摄像头的视角叠加,覆盖用户眼镜的全部采集范围。
第一摄像头在其第一摄像范围内获取第一摄像信息,第二摄像头在其第二摄像范围内获取第二摄像信息。在用户抬起智能腕戴式设备后,两个摄像头从待机状态被启动,并各自开始获取第一摄像信息和第二摄像信息,用户需调整智能腕戴式设备的位置,使自身的脸部、眼部落于第一摄像头和第二摄像头的摄像范围内。
步骤S14:判断智能腕戴式设备所处环境的光照强度。
本申请实施例中,旨在通过判断智能腕戴式设备所处环境的光照强度来区分第一摄像头和第二摄像头的使用情况,在光照强度很高时,使用第一摄像头来获取用户眼部信息,而第二摄像头用来获取对用户眼部信息形成干扰的环境干扰信息;在光照强度很弱时,使用第二摄像头来获取用户眼部信息,而用第一摄像头来获取对用户眼部信息形成干扰的环境干扰信息;而在正常光照强度情况下,使用第一摄像头获取用户眼部信息,使用第二摄像头获取用户脸部信息;而为了适应不同光照强度情况使用情况,第一摄像头设定为能够在正常亮度下获取图像的高清摄像头,第二摄像头设定为能够在较暗环境下获取图像的红外摄像头,具体的使用情况在下面的实施例中详述。
光照强度可以从第一摄像头获取的第一摄像信息中解析出来,或从第二摄像头获取的第二摄像信息中解析出来,或使用光照强度传感器获取得到,本申请实施例不予限制。
步骤S15:基于光照强度、第一摄像信息和第二摄像信息,判断用户是否眨眼。若否,
步骤S16:激活智能腕戴式设备的显示屏,并显示智能腕戴式设备的控制界面。
步骤S17:基于第一摄像信息和第二摄像信息,识别用户的眼部状态。
步骤S18:基于眼部状态调节控制界面,和/或控制智能腕戴式设备的操作。
以下实施例中,均以第一摄像头为高清摄像头,第二摄像头为红外摄像头为例。
实施例一
实施例一适用于例如室外、正午、灯光下等光照较强的情况下。
若判断智能腕戴式设备所处环境的光照强度大于第一光照强度,则基于光照强度、第一摄像信息和第二摄像信息,判断用户是否眨眼,具体实施为:接收高清摄像头获取的第一摄像信息,在用户调节脸部落入高清摄像头的第一摄像范围内后,第一摄像信息包含有用户眼部信息,则可以基于第一摄像信息来判断用户眼部是否位于高清摄像头的第一拍摄范围内,或者说,判断用户眼部是否正对高清摄像头;若是,接收红外摄像头获取的第二摄像信息,从第二摄像信息中解析出第二环境干扰信号,也即,在光照强度较大的情况下,该第二摄像信息偏重于包含对用户脸部信息造成干扰的环境干扰信号;然后基于第一摄像信息和第二环境干扰信号识别用户眼部状态,也即,通过例如用户眼部信息与环境干扰信号的迭代、滤波等处理,识别得到最佳的用户眼部状态来进行分析和后续操作。
在得到最佳的用户眼部状态后,基于眼部状态判断用户是否眨眼,并在没有眨眼时,激活显示屏,并在显示屏上显示控制界面。
在显示控制界面后,继续从高清摄像头获取用户眼部信息,从红外摄像头获取环境干扰信息,基于用户眼部信息和环境干扰信号,识别得到最佳的用户眼部状态,并根据眼部状态的不同实施对控制界面的调节,和/或实施对智能腕戴式设备的操作。
具体的例如,在识别出用户左眼眨动后,调节控制界面上滑动,在识别出用户右眼眨动后,调节控制界面下滑动;上滑动或下滑动一次显示一个控制选项,在识别出用户闭左眼或闭右眼后,调节控制选项进入子控制选项。结合眨眼和闭眼,实现对控制界面的滑动、进入子控制选项,直至达到控制选项底层,通过闭眼实现确认,从而控制实现与确认的控制选项相对应的操作。在识别出用户双眼同闭时,调节当前控制界面进入上一层控制界面,若结合有用户放下智能腕戴式设备的检测结果,则控制关闭显示屏、第一摄像头、以及第二摄像头。
实施例二
实施例二适用于例如傍晚等光线很暗的情况下。
若判断智能腕戴式设备环境的光照强度小于第二光照强度,则基于光照强度、第一摄像信息和第二摄像信息,判断用户是否眨眼,具体实施为:接收红外摄像头获取的第二摄像信息,在用户调节脸部落入红外摄像头的第二摄像范围内后,第二摄像信息包含有用户眼部信息,则可以基于第二摄像信息来判断用户眼部是否位于红外摄像头的第二拍摄范围内,或者说,判断用户眼部是否正对红外摄像头;若是,接收高清摄像头获取的第一摄像信息,从第一摄像信息中解析出第一环境干扰信号,也即,在光照强度较弱的情况下,该第一摄像信息偏重于包含对用户脸部信息造成干扰的环境干扰信号;然后基于第二摄像信息和第一环境干扰信号识别用户眼部状态,也即,通过例如用户眼部信息与环境干扰信号的迭代、滤波等处理,识别得到最佳的用户眼部状态来进行分析和后续操作。
在得到最佳的用户眼部状态后,基于眼部状态判断用户是否眨眼,并在没有眨眼时,激活显示屏,并在显示屏上显示控制界面。
在显示控制界面后,继续从红外摄像头获取用户眼部信息,从高清摄像头获取环境干扰信息,基于用户眼部信息和环境干扰信号,识别得到最佳的用户眼部状态,并根据眼部状态的不同实施对控制界面的调节,和/或实施对智能腕戴式设备的操作。
具体的例如,在识别出用户左眼眨动后,调节控制界面上滑动,在识别出用户右眼眨动后,调节控制界面下滑动;上滑动或下滑动一次显示一个控制选项,在识别出用户闭左眼或闭右眼满足1秒时间后,调节控制选项进入子控制选项。结合眨眼和闭眼,实现对控制界面的滑动、进入子控制选项,直至达到控制选项底层,通过闭眼1秒时间实现确认,从而控制实现与确认的控制选项相对应的操作。在识别出用户双眼同闭1秒时间时,调节当前控制界面进入上一层控制界面,若结合有用户放下智能腕戴式设备的检测结果,则控制关闭显示屏、第一摄像头、以及第二摄像头。
实施三
实施例三适用于光线不强也不弱,即正常光照强度情况下。
若判断智能腕戴式设备环境的光照强度大于第二光照强度且小于第一光照强度,则基于光照强度、第一摄像信息和第二摄像信息,判断用户是否眨眼,具体实施为:接收高清摄像头获取的第一摄像信息,在用户调节脸部落入高清摄像头的第一摄像范围内后,第一摄像信息包含有用户眼部信息,则可以基于第一摄像信息来判断用户眼部是否位于高清摄像头的第一拍摄范围内,也即,判断用户眼部是否正对高清摄像头;并且,接收红外摄像头获取的第二摄像信息,在用户调节脸部落入红外摄像头的第二摄像范围内后,第二摄像信息包含有用户脸部信息,则可以基于第二摄像信息来判断用户脸部是否位于红外摄像头的第二拍摄范围内,也即,判断用户脸部是否正对红外摄像头,在眼部正对高清摄像头、脸部正对红外摄像头后,基于第一摄像信息和第二摄像信息,通过例如迭代、滤波等处理,识别得到最佳的用户眼部状态来进行分析和后续处理。
在得到最佳的用户眼部状态后,基于眼部状态判断用户是否眨眼,并在没有眨眼时,激活显示屏,并在显示屏上显示控制界面。
在显示控制界面后,继续从高清摄像头获取用户眼部信息,从红外摄像头获取用户脸部信息,基于用户眼部信息和用户脸部信息,识别得到最佳的用户眼部状态,并根据眼部状态的不同实施对控制界面的调节,和/或实施对智能腕戴式设备的操作。
以上三个实施例,根据智能腕戴式设备所处环境的光照强度不同,基于第一摄像头和第二摄像头的自身功能特点区分主次应用,在光照强度较强时,高清摄像头基于其高清摄像能力用于获取用户眼部信息,而红外摄像头获取例如光线等的环境干扰信号,然后通过迭代、滤波等方式能够识别得到最佳用户眼部状态,保证识别的准确性;在光照强度较弱时,主要采用适用于暗环境中获取图像的红外摄像头获取用户眼部信息,而高清摄像头受光线暗的影响无法发挥高清摄像功能,则用于获取环境干扰信号,通过迭代、滤波等方式识别得到最佳用户眼部状态,保证识别的准确性;在光照强度不强也不弱的正常情况下,采用高清摄像头获取用户眼部信息,采用红外摄像头获取用户脸部信息,通过两种信息的融合、迭代等处理能够识别得到最佳用户眼部状态,保证识别的准确性。
以上实施例中,第一光照强度和第二光照强度均根据实际应用情况设定。
基于上述提出的智能腕戴式设备控制方法,本申请还提出一种智能腕戴式设备,例如智能手表、智能手环等,如图2所示,包括控制模块21、判断模块22、第一摄像头23、第二摄像头24、光照强度判断模块25、眼部状态识别模块26和显示屏27。
第一摄像头23和第二摄像头24可以安装在显示屏27模组边缘位置,不影响原有显示区域,两个摄像头采集覆盖的区域越80°,可以完全覆盖人眼范围。
判断模块22用于判断智能腕戴式设备是否被抬起;若是,控制模块21启动第一摄像头23和第二摄像头24;第一摄像头23在第一摄像范围内获取第一摄像信息;第二摄像头24在第二摄像范围内获取第二摄像信息;光照强度判断模块25判断智能腕戴式设备所处环境的光照强度;眼部状态识别模块26用于基于光照强度、第一摄像信息和第二摄像信息,判断用户是否眨眼;若否,控制模块21还用于激活显示屏27,并在显示屏27上显示智能腕戴式设备的控制界面。
判断模块22的判断数据可以来自于例如加速度传感器等能够获取智能腕戴式设备运动状态的传感器。光照强度判断模块25可以基于第一摄像头或第二摄像头获取的摄像信息中解析出智能腕戴式设备所处环境的光照强度,也可以从光照强度传感器采集的传感数据中判断出智能腕戴式设备所处环境的光照强度。
眼部状态识别模块26具体包括眼部定位单元261、环境干扰信号提取单元262和眼部状态识别单元263;眼部定位单元261用于在光照强度判断模块25判断智能腕戴式设备所处环境的光照强度大于第一光照强度时,接收第一摄像头23获取的第一摄像信息,并基于第一摄像信息判断用户眼部是否位于第一摄像头23的第一拍摄范围内;若是,则环境干扰信号提取单元262在光照强度判断模块25判断智能腕戴式设备所处环境的光照强度大于第一光照强度时,接收第二摄像头24获取的第二摄像信息,并基于第二摄像信息获取智能腕戴式设备的第二环境干扰信号;此时,眼部状态识别单元263基于第一摄像信息和第二环境干扰信号识别用户眼部状态,并基于眼部状态判断用户是否眨眼,若没有眨眼,则控制模块21激活显示屏27,并在显示屏27上显示智能腕戴式设备的控制界面,在显示控制界面后,眼部状态识别模块26继续从第一摄像头23获取用户眼部信息,从第二摄像头24获取第二环境干扰信号,基于用户眼部信息和第二环境干扰信号,识别得到最佳的用户眼部状态,控制模块21根据眼部状态的不同实施对控制界面的调节,和/或实施对智能腕戴式设备的操作。
眼部定位单元261还用于在光照强度判断模块25判断智能腕戴式设备所处环境的光照强度小于第二光照强度时,接收第二摄像头24获取的第二摄像信息,并基于第二摄像信息判断用户眼部是否位于第二摄像头的第二拍摄范围内;所是,则环境干扰信号提取单元262还用于在光照强度判断模块25判断智能腕戴式设备所处环境的光照强度小于第二光照强度时,接收第一摄像头23获取的第一摄像信息,并基于第一摄像信息获取智能腕戴式设备的第一环境干扰信号;此时,眼部状态识别单元263用于基于第二摄像信息和第一环境干扰信号,识别用户眼部状态,并基于眼部状态判断用户是否眨眼,若没有眨眼,则控制模块21激活显示屏27,并在显示屏27上显示智能腕戴式设备的控制界面,在显示控制界面后,眼部状态识别模块26继续从第二摄像头24获取用户眼部信息,从第一摄像头23获取第一环境干扰信号,基于用户眼部信息和第一环境干扰信号,识别得到最佳的用户眼部状态,控制模块21根据眼部状态的不同实施对控制界面的调节,和/或实施对智能腕戴式设备的操作。
判断模块22还包括脸部定位单元264;脸部定位单元264用于在光照强度判断模块25判断智能腕戴式设备环境的光照强度大于第二光照强度且小于第一光照强度时,接收第二摄像头24获取的第二摄像信息,并基于第二摄像信息判断用户脸部是否位于第二摄像头的第二摄像范围内; 眼部定位单元261还用于在光照强度判断模块25判断智能腕戴式设备环境的光照强度大于第二光照强度且小于第一光照强度时,接收第一摄像头23获取的第一摄像信息,并基于第一摄像信息判断用户眼部是否位于第一摄像头的第一摄像范围内;若判断用户脸部位于第二摄像范围内,且判断用户眼部位于第一摄像范围内,此时,眼部状态识别单元263用于基于第一摄像信息和第二摄像信息,识别用户眼部状态;基于眼部状态判断用户是否眨眼,若没有眨眼,则控制模块21激活显示屏27,并在显示屏27上显示智能腕戴式设备的控制界面,在显示控制界面后,眼部状态识别模块26继续从第一摄像头23获取用户眼部信息,从第二摄像头24获取用户脸部信息,基于用户眼部信息和用户脸部信息,识别得到最佳的用户眼部状态,控制模块21根据眼部状态的不同实施对控制界面的调节,和/或实施对智能腕戴式设备的操作。
具体的智能腕戴式设备的控制方法已经在上述的智能腕戴式设备控制方法中详述,此处不予赘述。
上述本申请提出的智能腕戴式设备控制方法和智能腕戴式设备,在判断智能腕戴式设备被抬起后开启第一摄像头和第二摄像头,在判断智能腕戴式设备所处环境的光照强度后,结合光照强度,第一摄像头获取的第一摄像信息和第二摄像头获取的第二摄像信息,判断用户的眼部状态,若用户没有眨眼,则控制激活显示屏,并在显示屏上显示控制界面,以便于通过识别眼部状态来实现对控制界面的调节和对智能腕戴式设备的操作,相比现有技术中需要使用两手配合来完成对智能腕戴式设备的调节,本申请提出的智能腕戴式设备控制方法和智能腕戴式设备,只需抬起智能腕戴式设备或抬起佩戴智能腕戴式设备的手腕,通过两个摄像头的配合识别用户眼部状态来实现对智能腕戴式设备的控制,无需两只手配合完成控制,解决了现有智能腕带产品在手部被占用情况下操作难度高的技术问题。
并且,通过对智能腕戴式设备抬起或放下的检测,在抬起后启动第一摄像头和第二摄像头,在识别用户眼部状态后才激活显示屏,避免了误动作导致亮屏,能够降低设备功耗,延长设备工作使用时间。
根据智能腕戴式设备所处环境的光照强度的不同,第一摄像头和第二摄像头根据自身功能特点切换主次应用,在光照强度较高或较低时,采用其中一个摄像头主要获取用户眼部信息,而另一个摄像头获取环境干扰信息,以此来提高眼部状态的识别效果,在光照强度正常时,采用一个摄像头获取眼部信息,一个摄像头获取脸部信息,根据两种信息的迭代、融合等处理,获得最佳眼部状态识别效果,提升了用户的体验。
应该指出的是,上述说明并非是对本发明的限制,本发明也并不仅限于上述举例,本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换,也应属于本发明的保护范围。
Claims (10)
1.智能腕带设备控制方法,其特征在于,包括:
判断智能腕戴式设备是否被抬起;若是,
启动第一摄像头,接收第一摄像头获取的第一摄像信息;以及启动第二摄像头,接收所述第二摄像头获取的第二摄像信息;
判断所述智能腕戴式设备所处环境的光照强度;
基于所述光照强度、所述第一摄像信息和所述第二摄像信息,判断用户是否眨眼;若否,
激活所述智能腕戴式设备的显示屏,并显示所述智能腕戴式设备的控制界面。
2.根据权利要求1所述的智能腕戴式设备控制方法,其特征在于,若判断所述智能腕戴式设备所处环境的光照强度大于第一光照强度,则基于所述光照强度、所述第一摄像信息和所述第二摄像信息,判断用户是否眨眼,具体为:
接收所述第一摄像头获取的第一摄像信息,并基于所述第一摄像信息判断用户眼部是否位于所述第一摄像头的第一拍摄范围内;若是,
接收所述第二摄像头获取的第二摄像信息,并基于所述第二摄像信息获取所述智能腕戴式设备的第二环境干扰信号;
基于所述第一摄像信息和所述第二环境干扰信号,识别用户眼部状态;
基于所述眼部状态判断用户是否眨眼。
3.根据权利要求1所述的智能腕戴式设备控制方法,其特征在于,若判断所述智能腕戴式设备所述环境的光照强度小于第二光照强度,则基于所述光照强度、所述第一摄像信息和所述第二摄像信息,判断用户是否眨眼,具体为:
接收所述第二摄像头获取的第二摄像信息,并基于所述第二摄像信息判断用户眼部是否位于所述第二摄像头的第二拍摄范围内;若是,
接收所述第一摄像头获取的第一摄像信息,并基于所述第一摄像信息获取所述智能腕戴式设备的第一环境干扰信号;
基于所述第二摄像信息和所述第一环境干扰信号,识别用户眼部状态;
基于所述眼部状态判断用户是否眨眼。
4.根据权利要求1所述的智能腕戴式设备控制方法,其特征在于,若判断所述智能腕戴式设备所述环境的光照强度大于第二光照强度且小于第一光照强度,则基于所述光照强度、所述第一摄像信息和所述第二摄像信息,判断用户是否眨眼,具体为:
接收所述第一摄像头获取的第一摄像信息,并基于所述第一摄像信息判断用户眼部是否位于所述第一摄像头的第一摄像范围内;
接收所述第二摄像头获取的第二摄像信息,并基于所述第二摄像信息判断用户脸部是否位于所述第二摄像头的第二摄像范围内;
若都是,基于所述第一摄像信息和所述第二摄像信息,识别用户眼部状态;
基于所述眼部状态判断用户是否眨眼。
5.根据权利要求1-4任一项权利要求所述的智能腕戴式设备控制方法,其特征在于,在显示所述智能腕戴式设备的控制界面之后,所述方法还包括:
基于所述第一摄像信息和所述第二摄像信息,识别用户的眼部状态;
基于所述眼部状态调节所述控制界面,和/或控制所述智能腕戴式设备的操作。
6.一种智能腕戴式设备,包括控制模块,其特征在于,还包括判断模块、第一摄像头、第二摄像头、光照强度判断模块、眼部状态识别模块和显示屏;
所述判断模块,用于判断所述智能腕戴式设备是否被抬起;若是,
所述控制模块,用于启动所述第一摄像头和所述第二摄像头;
所述第一摄像头,用于在第一摄像范围内获取第一摄像信息;
所述第二摄像头,用于在第二摄像范围内获取第二摄像信息;
所述光照强度判断模块,用于判断所述智能腕戴式设备所处环境的光照强度;
所述眼部状态识别模块,用于基于所述光照强度、所述第一摄像信息和所述第二摄像信息,判断用户是否眨眼;若否,
所述控制模块,还用于激活所述显示屏,并在所述显示屏上显示所述智能腕戴式设备的控制界面。
7.根据权利要求6所述的智能腕戴式设备,其特征在于,所述眼部状态识别模块具体包括眼部定位单元、环境干扰信号提取单元和眼部状态识别单元;
所述眼部定位单元,用于在所述光照强度判断模块判断所述智能腕戴式设备所处环境的光照强度大于第一光照强度时,接收所述第一摄像头获取的第一摄像信息,并基于所述第一摄像信息判断用户眼部是否位于所述第一摄像头的第一拍摄范围内;若是,
则所述环境干扰信号提取单元,用于在所述光照强度判断模块判断所述智能腕戴式设备所处环境的光照强度大于第一光照强度时,接收所述第二摄像头获取的第二摄像信息,并基于所述第二摄像信息获取所述智能腕戴式设备的第二环境干扰信号;
所述眼部状态识别单元,用于基于所述第一摄像信息和所述第二环境干扰信号,识别用户眼部状态,并基于所述眼部状态判断用户是否眨眼。
8.根据权利要求7所述的智能腕戴式设备,其特征在于,所述眼部定位单元,还用于在所述光照强度判断模块判断所述智能腕戴式设备所处环境的光照强度小于第二光照强度时,接收所述第二摄像头获取的第二摄像信息,并基于所述第二摄像信息判断用户眼部是否位于所述第二摄像头的第二拍摄范围内;所是,则
所述环境干扰信号提取单元,还用于在所述光照强度判断模块判断所述智能腕戴式设备所处环境的光照强度小于第二光照强度时,接收所述第一摄像头获取的第一摄像信息,并基于所述第一摄像信息获取所述智能腕戴式设备的第一环境干扰信号;
所述眼部状态识别单元,用于基于所述第二摄像信息和所述第一环境干扰信号,识别用户眼部状态,并基于所述眼部状态判断用户是否眨眼。
9.根据权利要求7所述的智能腕戴式设备,其特征在于,所述眼部状态识别模块还包括脸部定位单元;
所述脸部定位单元,用于在所述光照强度判断模块判断所述智能腕戴式设备所述环境的光照强度大于第二光照强度且小于第一光照强度时,接收所述第二摄像头获取的第二摄像信息,并基于所述第二摄像信息判断用户脸部是否位于所述第二摄像头的第二摄像范围内;
所述眼部定位单元,还用于在所述光照强度判断模块判断所述智能腕戴式设备所述环境的光照强度大于第二光照强度且小于第一光照强度时,接收所述第一摄像头获取的第一摄像信息,并基于所述第一摄像信息判断用户眼部是否位于所述第一摄像头的第一摄像范围内;
若判断用户脸部位于所述第二摄像范围内,且判断用户眼部位于所述第一摄像范围内,则所述眼部状态识别单元,用于基于所述第一摄像信息和所述第二摄像信息,识别用户眼部状态;基于所述眼部状态判断用户是否眨眼。
10.根据权利要求6-9任一项权利要求所述的智能腕戴式设备,其特征在于,
所述控制模块,还用于基于所述眼部状态调节所述控制界面,和/或控制所述智能腕戴式设备的操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611080010.6A CN106774857B (zh) | 2016-11-30 | 2016-11-30 | 智能腕戴式设备控制方法和智能腕戴式设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611080010.6A CN106774857B (zh) | 2016-11-30 | 2016-11-30 | 智能腕戴式设备控制方法和智能腕戴式设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106774857A true CN106774857A (zh) | 2017-05-31 |
CN106774857B CN106774857B (zh) | 2019-12-06 |
Family
ID=58901259
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611080010.6A Active CN106774857B (zh) | 2016-11-30 | 2016-11-30 | 智能腕戴式设备控制方法和智能腕戴式设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106774857B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108737720A (zh) * | 2018-04-11 | 2018-11-02 | 努比亚技术有限公司 | 可穿戴设备拍摄方法、可穿戴设备及计算机可读存储介质 |
CN110554768A (zh) * | 2018-05-31 | 2019-12-10 | 努比亚技术有限公司 | 一种智能穿戴设备控制方法、设备和计算机可读存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201517010A (zh) * | 2013-10-31 | 2015-05-01 | Pegatron Corp | 電子裝置及其螢幕控制方法 |
CN105245775A (zh) * | 2015-09-25 | 2016-01-13 | 小米科技有限责任公司 | 摄像头成像方法、移动终端及装置 |
US20160025971A1 (en) * | 2014-07-25 | 2016-01-28 | William M. Crow | Eyelid movement as user input |
CN105302308A (zh) * | 2015-11-05 | 2016-02-03 | 上海卓易科技股份有限公司 | 智能手腕佩戴设备及其屏幕自动点亮方法、系统 |
CN105677040A (zh) * | 2016-02-17 | 2016-06-15 | 深圳创维数字技术有限公司 | 一种终端控制方法、装置及可穿戴设备 |
CN105759945A (zh) * | 2014-12-17 | 2016-07-13 | 富泰华工业(深圳)有限公司 | 穿戴设备控制系统及方法 |
-
2016
- 2016-11-30 CN CN201611080010.6A patent/CN106774857B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201517010A (zh) * | 2013-10-31 | 2015-05-01 | Pegatron Corp | 電子裝置及其螢幕控制方法 |
US20160025971A1 (en) * | 2014-07-25 | 2016-01-28 | William M. Crow | Eyelid movement as user input |
CN105759945A (zh) * | 2014-12-17 | 2016-07-13 | 富泰华工业(深圳)有限公司 | 穿戴设备控制系统及方法 |
CN105245775A (zh) * | 2015-09-25 | 2016-01-13 | 小米科技有限责任公司 | 摄像头成像方法、移动终端及装置 |
CN105302308A (zh) * | 2015-11-05 | 2016-02-03 | 上海卓易科技股份有限公司 | 智能手腕佩戴设备及其屏幕自动点亮方法、系统 |
CN105677040A (zh) * | 2016-02-17 | 2016-06-15 | 深圳创维数字技术有限公司 | 一种终端控制方法、装置及可穿戴设备 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108737720A (zh) * | 2018-04-11 | 2018-11-02 | 努比亚技术有限公司 | 可穿戴设备拍摄方法、可穿戴设备及计算机可读存储介质 |
CN110554768A (zh) * | 2018-05-31 | 2019-12-10 | 努比亚技术有限公司 | 一种智能穿戴设备控制方法、设备和计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN106774857B (zh) | 2019-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10962808B2 (en) | Contact lens with image pickup control | |
US10495904B2 (en) | Pair of contact lenses, contact lens and storage medium | |
US10955689B2 (en) | Contact lens and storage medium | |
CN109793498B (zh) | 一种皮肤检测方法及电子设备 | |
CN101470460B (zh) | 一种应用计算机时对视力进行保护的方法和计算机 | |
CN101090482B (zh) | 一种基于图象处理和信息融合技术的驾驶员疲劳监测系统及方法 | |
CN103885589B (zh) | 眼动追踪方法及装置 | |
CN104090659B (zh) | 基于人眼图像和视线追踪的操作指针指示控制设备 | |
CN102841354B (zh) | 一种具有显示屏幕的电子设备的保护视力实现方法 | |
CN103839054B (zh) | 一种支持虹膜识别的多功能移动智能终端传感器 | |
CN103916579B (zh) | 一种图像摄取方法、装置和电子设备 | |
CN109271875B (zh) | 一种基于眉部和眼部关键点信息的疲劳检测方法 | |
KR101645084B1 (ko) | 실외 및 실내에서 홍채인식이 가능한 손 부착형 웨어러블 장치 | |
CN107231529A (zh) | 图像处理方法、移动终端及存储介质 | |
CN110188658A (zh) | 身份识别方法、装置、电子设备及存储介质 | |
CN103294198B (zh) | 一种基于移动终端的人机交互方法及系统 | |
CN106355169A (zh) | 红外活体人脸图像采集装置、识别装置及其处理方法 | |
CN106325479A (zh) | 触控响应方法及移动终端 | |
CN106325575B (zh) | 触控响应方法及装置 | |
CN106941588B (zh) | 一种数据处理方法及电子设备 | |
CN106774857A (zh) | 智能腕戴式设备控制方法和智能腕戴式设备 | |
CN102662470A (zh) | 一种实现眼部操作的方法及系统 | |
CN108508634A (zh) | 一种智能语音眼镜及其智能识别方法 | |
CN107396170A (zh) | 一种基于虹膜控制视频播放的方法及系统 | |
CN110516635A (zh) | 人脸识别比对装置、门禁系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |