CN104978011B - 电子设备及其控制方法 - Google Patents

电子设备及其控制方法 Download PDF

Info

Publication number
CN104978011B
CN104978011B CN201410132557.0A CN201410132557A CN104978011B CN 104978011 B CN104978011 B CN 104978011B CN 201410132557 A CN201410132557 A CN 201410132557A CN 104978011 B CN104978011 B CN 104978011B
Authority
CN
China
Prior art keywords
target object
module
pattern
area
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410132557.0A
Other languages
English (en)
Other versions
CN104978011A (zh
Inventor
李翔
周阳霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201410132557.0A priority Critical patent/CN104978011B/zh
Publication of CN104978011A publication Critical patent/CN104978011A/zh
Application granted granted Critical
Publication of CN104978011B publication Critical patent/CN104978011B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明提供一种电子设备及其控制方法。电子设备包括壳体、投影模块、红外结构光发射模块和红外光感测模块。投影模块在参考平面的第一区域中投影预设的第一图案。红外结构光发射模块在参考平面的第二区域中投射具有第二图案的红外结构光。红外光感测模块与红外结构光发射模块分离地设置,并且拍摄所述红外结构光的反射光,从而生成第一图像数据。该第一图像数据用于确定第二区域上是否存在目标对象、以及目标对象的深度和目标对象在所述第二区域内的位置。

Description

电子设备及其控制方法
技术领域
本发明涉及电子设备及其控制方法,特别涉及能够获取深度信息的电子设备及其控制方法。
背景技术
在现有技术中,用于获取深度信息的计算机视觉技术越来越受到关注。通过获取深度信息,例如能够捕捉该目标对象的位置和移动。此外,能够利用深度信息来形成三维的图像数据。因此,获取深度信息的计算机视觉技术被广泛应用到军事、娱乐、体育、医学等诸多领域。当前,在计算机视觉中获取深度信息的方法有很多种,例如结构光、TOF(Time ofFlight)和立体视觉等等。
此外,在智能手机、平板电脑等移动终端中,低功耗、轻薄化成为主流。因此,在这样的电子设备中,在有限的空间内难以集成更多的模块,从而难以实现电子设备的用户更多的功能需求。具体地,现有的结构光、TOF(Time of Flight)和立体视觉的模块尺寸都比较大,并且在电子设备中还未能利用所获取的深度信息来进行功能的扩展。
发明内容
本发明鉴于上述问题而完成,其目的在于提供一种集成了用于获取深度信息的模块并且利用所获取的深度信息扩展了功能的电子设备、及其控制方法。
根据本发明的一个方面,提供一种电子设备。所述电子设备包括:壳体,在其第一侧面上设置有至少一个通孔;投影模块,设置在所述壳体内的第一侧,并且配置来经由所述至少一个通孔之一投影预设的第一图案,其中在投影到参考平面时,所述投影模块在所述参考平面的第一区域上形成第一图案;红外结构光发射模块,设置在所述壳体内的第一侧,并且配置来经由所述至少一个通孔之一投射具有第二图案的红外结构光,其中在投射到所述参考平面时,所述红外结构光发射模块在所述参考平面的第二区域上形成第二图案;以及红外光感测模块,设置在所述壳体内的第一侧,与所述红外结构光发射模块分离地设置,并且配置来经由所述至少一个通孔之一拍摄所述红外结构光的反射光,从而生成第一图像数据,其中所述第一图像数据用于通过相对于所述第二图案的变形确定所述第二区域上是否存在目标对象、以及所述目标对象的深度和所述目标对象在所述第二区域内的位置。
此外,根据本发明的另一方面,提供一种电子设备的控制方法。所述电子设备包括:壳体,在其第一侧面上设置有至少一个通孔;投影模块,设置在所述壳体内的第一侧,并且配置来经由所述至少一个通孔之一投影预设的第一图案;红外结构光发射模块,设置在所述壳体内的第一侧,并且配置来经由所述至少一个通孔之一投射具有第二图案的红外结构光;以及红外光感测模块,设置在所述壳体内的第一侧,与所述红外结构光发射模块分离地设置。所述控制方法包括:在满足预设条件时,利用所述投影模块将所述第一图案投影到参考平面,其中所述投影模块在所述参考平面的第一区域上形成第一图案;利用所述红外结构光发射模块将所述第二图案投影到所述参考平面,其中所述红外结构光发射模块在所述参考平面的第二区域上形成第二图案;利用所述红外光感测模块经由所述至少一个通孔之一拍摄所述红外结构光的反射光,从而生成第一图像数据,其中所述第一图像数据用于通过相对于所述第二图案的变形确定所述第二区域上是否存在目标对象、以及所述目标对象的深度和所述目标对象在所述第二区域内的位置。
根据本发明的电子设备及其控制方法,能够集成用于获取深度信息的模块,并且利用所获取的深度信息来扩展电子设备的功能。
附图说明
图1是表示本发明的实施例的电子设备的功能框图。
图2是表示本发明的实施例的电子设备的外观的例示图。
图3是表示在本发明中应用的红外结构光发射模块的尺寸的例示图。
图4是表示在本发明中应用的红外光感测模块的尺寸的例示图。
图5是表示本发明的实施例的电子设备的控制方法的流程图。
具体实施方式
下面,参照附图对本发明的实施方式进行描述。提供以下参照附图的描述,以帮助对由权利要求及其等价物所限定的本发明的示例实施方式的理解。其包括帮助理解的各种具体细节,但它们只能被看作是示例性的。因此,本领域技术人员将认识到,可对这里描述的实施方式进行各种改变和修改,而不脱离本发明的范围和精神。而且,为了使说明书更加清楚简洁,将省略对本领域熟知功能和构造的详细描述。
首先,对本发明的实施方式的电子设备进行说明。
本发明的实施方式的电子设备包括壳体、投影模块、红外结构光发射模块和红外光感测模块。所述壳体在其第一侧面上设置有至少一个通孔。所述投影模块设置在所述壳体内的第一侧,并且配置来经由所述至少一个通孔之一投影预设的第一图案,其中在投影到参考平面时,所述投影模块在所述参考平面的第一区域上形成第一图案。所述红外结构光发射模块设置在所述壳体内的第一侧,并且配置来经由所述至少一个通孔之一投射具有第二图案的红外结构光,其中在投射到所述参考平面时,所述红外结构光发射模块在所述参考平面的第二区域上形成第二图案。所述红外光感测模块设置在所述壳体内的第一侧,与所述红外结构光发射模块分离地设置,并且配置来经由所述至少一个通孔之一拍摄所述红外结构光的反射光,从而生成第一图像数据,其中所述第一图像数据用于确定所述第二区域上是否存在目标对象、以及所述目标对象的深度和所述目标对象在所述第二区域内的位置。
其中,所述电子设备中的红外结构光发射模块和红外光感测模块被用来获取目标对象的深度信息。即,在本发明的电子设备中集成了用于获取深度信息的模块。此外,所述电子设备中的投影模块被用来扩展利用了所获取的深度数据的功能。例如,能够利用所获取的深度信息,电子设备的用户能够进行输入操作等等。
因此,根据本发明的电子设备,能够集成用于获取深度信息的模块,并且利用所获取的深度信息来扩展电子设备的功能。
图1是表示本发明的电子设备1的功能框图。如图1所示,电子设备1包括投影模块11、红外结构光发射模块12、红外光感测模块13和控制模块14。此外,图2是表示本发明的电子设备1的外观的例示图。
电子设备1还包括壳体。如图2所示,在壳体的第一侧面上设置有至少一个通孔。从而,如后所述,能够经由所述至少一个通孔,在所述壳体内的第一侧设置的投影模块11能够投影预设的第一图案、在所述壳体内的第一侧设置的红外结构光发射模块12能够投射具有第二图案的红外结构光、并且在所述壳体内的第一侧设置的红外光感测模块13能够拍摄红外结构光的反射光。
优选地,如图2所示,所述第一侧面为电子设备1的底部侧面,所述第一侧为电子设备1的底侧,从而方便利用所获取的深度信息来扩展功能。
此外,在底部侧面上,可以连续地仅设置一个通孔,也可以针对不同的模块分别设置通孔,也可以针对特定的模块设置共同设置一个通孔,其数目和位置不受限定,只要投影模块11、红外结构光发射模块12、红外光感测模块13能够经由所设置的通孔来投射或拍摄图像即可。
投影模块11设置在所述壳体内的第一侧,并且配置来经由所述至少一个通孔之一投影预设的第一图案。在投影到参考平面时,所述投影模块在所述参考平面的第一区域上形成第一图案。
具体地,如图2所示,投影模块11设置于壳体内的底侧。投影模块11经由通孔例如将数字键盘(即第一图案)投影到桌面(即参考平面)。在投影模块11将数字键盘投影到桌面时,在桌面的第一区域中形成数字键盘。
其中,投影模块11所投影的数据键盘对于用户来说是可见的,因此用户能够视认该数字键盘,从而能够结合下述所获取的深度信息进行功能的扩展。
红外结构光发射模块12设置在所述壳体内的第一侧,并且配置来经由所述至少一个通孔之一投射具有第二图案的红外结构光。在投射到所述参考平面时,红外结构光发射模块12在所述参考平面的第二区域上形成第二图案。
红外光感测模块13设置在所述壳体内的第一侧,与红外结构光发射模块12分离地设置,并且配置来经由所述至少一个通孔之一拍摄所述红外结构光的反射光,从而生成第一图像数据。其中所述第一图像数据用于确定所述第二区域上是否存在目标对象、以及所述目标对象的深度和所述目标对象在所述第二区域内的位置。
其中,红外结构光发射模块12和红外光感测模块13被配置来通过结构光技术来获取目标对象的深度信息。
具体地,红外结构光发射模块12例如图2所示被设置于电子设备1的底侧,并且将具有网格图案(或条纹图案等等)(即第二图案)的红外结构光投射到桌面。在桌面上,由红外结构光发射模块12投射的网格图案形成于桌面的第二区域。
红外光感测模块13例如图2所示被设置于电子设备1的底侧,拍摄所述红外结构光在桌面反射后的反射光,从而生成第一图像数据。在所述第一图像数据中,根据各个位置点的深度的不同而网格图案被变形。因此,能够通过分析第一图像数据,从而能够确定在第二区域上是否存在目标对象、以及目标对象的深度和目标对象的位置。
红外结构光发射模块12和红外光感测模块13物理上被分离地配置。在空间受限的电子设备1中,难以设置尺寸大的模块。通过分离地配置红外结构光发射模块12和红外光感测模块13,从而能够在电子设备1中容易地集成用于获取深度信息的模块,方便进行结构设计。
此外,红外结构光发射模块12和红外光感测模块13在底侧配置成,在参考平面中,第一区域和第二区域相互重叠。由此,能够利用投影模块11来扩展利用了所获取的深度数据的功能。例如,用户利用目标对象在第一区域中进行操作的情况下,该目标对象通常也处于第二区域。优选地,可以将红外结构光发射模块12和红外光感测模块13在底侧配置成,在设定范围内的深度的参考平面中,第一区域和第二区域基本一致。该设定范围可以根据利用了所获取的深度数据的功能的应用场景,不同地设置。
在本发明的实施方式中,红外结构光发射模块12和红外光感测模块13的尺寸比较小,以便能够容易地集成到空间受限的电子设备1。下面,参照图3和图4来分别说明红外结构光发射模块12和红外光感测模块13的尺寸。
图3是表示在本发明中应用的红外结构光发射模块12的尺寸的例示图。红外结构光发射模块12的尺寸主要受限于红外光发射部件的大小。在图3中例示了能够在本发明的红外结构光发射模块12中选用的红外光发射部件的尺寸。如图3所示,在该红外光发射部件中,与底部侧面的宽度对应的尺寸为5.6(mm),并且最长处的长度为6.5+1.2+2.37(mm),因此即使将该红外光发射部件进行封装后,也可以方便地集成到空间受限的电子设备1。
此外,在本发明的红外结构光发射模块12中选用的红外光发射部件的最低功率可以达到170(mW),因此也有利于电子设备1的低功耗化。
图4是表示在本发明中应用的红外光感测模块13的尺寸的例示图。在图3中例示的红外光感测模块13中,由小尺寸的CMOS传感器和镀红外膜的定焦镜头构成。小尺寸的CMOS传感器的功耗一般小于100mW,因此非常有利于电子设备1的低功耗化。
如图4所示,在红外光感测模块中,与底部侧面的宽度对应的尺寸为6(mm),并且其厚度仅为3.42(mm),因此可以方便地集成到空间受限的电子设备1。
此外,优选地,红外结构光发射模块12和红外光感测模块13的光轴方向相互倾斜。通过如此设置红外结构光发射模块12和红外光感测模块13,在空间受限的电子设备1中,红外结构光发射模块12和红外光感测模块13的物理配置位置的要求(在现有技术中,要求红外结构光发射模组和红外光感测模组的光轴方向平行)降低,因此能够在电子设备1中容易地集成用于获取深度信息的模块,方便进行结构设计。
控制模块14配置来在满足预设条件时,激活投影模块11、红外结构光发射模块12以及红外光感测模块13。
具体地,控制模块14在电子设备1处于特定的状态且接受到用户的特定的输入时,利用投影模块11将第一图案投影到参考平面,利用红外结构光发射模块12将具有第二图案的红外结构光投射到参考平面,并且利用红外光感测模块13拍摄红外结构光的反射光,从而生成第一图像数据。例如,在电子设备1在进行通话的状态下,用户按下预设的按钮时,判定为满足预设条件。从而,用户能够视认投影到参考平面的数字键盘,进而进行操作。此外,也可以根据利用深度信息的扩展的功能,设置适当的预设条件。
控制模块14根据由红外光感测模块13生成的第一图像数据判断在第二区域中是否存在目标对象,在判断为存在目标对象的情况下,通过比较第一图像数据与所述第二图案的标准图像,计算所述目标对象相对于所述参考平面的高度,如果所述高度小于阈值,则计算所述目标对象在所述第二区域中的位置信息(即第一位置信息)。
具体地,如上所述,在第一图像数据中,根据各个位置点的深度的不同而网格图案被变形。因此,在第二区域中不存在目标对象的情况下,在红外结构光发射模块12将具有网格图案的红外结构光投射到参考平面,并由红外光感测模块13拍摄从参考平面反射的反射光时,由于在参考平面中各个位置点的深度基本一致,因此在第一图像数据中网格图案不会变形。另一方面,在第二区域中存在目标对象(例如手指、手写笔等等)的情况下,在目标对象的位置点的深度与周围的深度存在明显的差别,因此在第一图像数据中的网格图案变形。因此,控制模块12能够根据在第一图像数据中网格图案是否变形,来判断在参考平面的第二区域中是否存在目标对象。如此,在用户视认参考平面中的数字键盘并且通过手机等的目标对象进行操作的情况下,控制模块14能够判断在第二区域中是否存在手指等的目标对象。
优选地,控制模块14在判断为存在目标对象的情况下,进一步判断目标对象的形状是否对应于特定对象的形状,在目标对象的形状对应于特定对象的形状的情况下,比较第一图像数据与第二图案的标准图像。
具体地,在第二区域中存在目标对象的情况下,目标对象的轮廓处的深度差别比较大,因此在目标对象的轮廓处的网格图案的变形比较大。从而,根据第一图像数据中的网格图案能够判断目标对象的形状。因此,例如控制模块14在判断为存在目标对象的情况下,进一步判断目标对象的形状是否对应于特定对象(例如手指、手写笔)的形状,在目标对象的形状对应于特定对象的形状的情况下,比较第一图像数据与第二图案的标准图像。
进而,控制模块14通过比较第一图像数据中的网格图案和第二图案的标准图像中的网格图案,计算目标对象相对于参考平面的高度(即深度的差别)。其中,可以预先将参考平面设置成预设的深度,并且将拍摄从该预设深度的参考平面反射的反射光而获得的图像数据设为第二图案的标准图像。
优选地,控制模块14在判断为在第二区域中不存在目标对象的情况下,将所生成的第一图像数据设为第二图案的标准图像。由此,能够适应性地实时调整第二图案的标准图像,并且能够提高计算目标对象相对于参考平面的高度的精度。
进而,控制模块14判断目标对象相对于参考平面的高度是否小于阈值,由此来判断目标对象是否与参考平面接触。例如,手指与桌面接触的情况下,认为进行了有效的输入操作(点击、滑动等等)。因此,如果目标对象相对于参考平面的高度小于阈值,则控制模块14计算目标对象在第二区域中的位置信息。换句话说,仅在手指进行了有效的输入操作的情况下,控制模块计算手指在第二区域中的位置信息。
此外,也可以通过其他的方法,根据第一图像数据来计算目标对象在第二区域中的位置信息,只要在用户进行了有效操作的情况下的目标对象在第二区域中的位置信息即可。
控制模块14还可以基于投影模块11、红外结构光发射模块12之间的相对位置关系,将目标对象在第二区域中的位置信息进行坐标变换从而求出所述目标对象在所述第一区域中的位置信息(即第二位置信息)。
其中,投影模块11所投影的第一区域中的数字键盘对于用户是可见的,但是用户无法视认红外结构光发射模块12透射的第二区域中的具有网格图案的红外结构光。在用户利用目标对象进行操作时,根据数字键盘在期望的位置进行点击、滑动等操作。因此,需要将目标对象在第二区域中的第一位置信息变换为目标对象在第一区域中的第二位置信息。第一位置信息与第二位置信息与投影模块11、红外结构光发射模块12之间的相对位置关系相关联,因此控制模块基于投影模块11、红外结构光发射模块12之间的相对位置关系,将目标对象在第二区域中的第一位置信息进行坐标变换从而求出所述目标对象在所述第一区域中的第二位置信息。
此外,上述的从第一位置信息到第二位置信息的转换不是必须的。例如在参考平面处于适当的深度的情况下,参考平面中的第一区域和第二区域是基本重叠的,因此可以近似地将第一位置信息直接确定为第二位置信息。
控制模块14还可以根据第二位置信息,计算目标对象在第一图案中的位置,并生成对应于所述位置的输入信号。
具体地,控制模块14根据第二位置信息,计算在数字键盘(第一图案)中第二位置信息所对应的数字符号,并生成对应于该数字符号的输入信号。由此,能够确定用户所期望的输入操作,从而利用了所获得的深度信息来扩展了输入操作的功能。
在以上的说明中,以用户视认参考平面中投影的第一图案进行输入操作为具体的应用场景,说明了利用所获得的深度信息来扩展电子设备的功能的方法,但是并非限定于此,能够应用于利用所获得的深度信息来扩展功能的任何应用场景。
下面,参照图5来说明本发明的电子设备的控制方法。图5是表示本发明的电子设备的控制方法的流程图。
该控制方法能够应用于电子设备1。电子设备1包括:壳体,在其第一侧面上设置有至少一个通孔;投影模块11,设置在壳体内的第一侧,并且配置来经由所述至少一个通孔之一投影预设的第一图案;红外结构光发射模块12,设置在所述壳体内的第一侧,并且配置来经由所述至少一个通孔之一投射具有第二图案的红外结构光;以及红外光感测模块13,设置在所述壳体内的第一侧,与所述红外结构光发射模块分离地设置。
其中,红外结构光发射模块12和红外光感测模块13被配置来通过结构光技术来获取目标对象的深度信息。
在步骤S11,在满足预设条件时,利用投影模块11将所述第一图案投影到参考平面。其中投影模块11在参考平面的第一区域上形成第一图案。
具体地,控制模块14在电子设备1处于特定的状态且接受到用户的特定的输入时,利用投影模块11将第一图案投影到参考平面。例如,在电子设备1在进行通话的状态下,用户按下预设的按钮时,判定为满足预设条件,将用户能够视认的数字键盘(第一图案)投影到参考平面。从而,用户能够视认数字键盘进而利用目标对象进行操作。
在步骤S12,利用红外结构光发射模块12将具有第二图案的红外结构光投射到所述参考平面。其中,红外结构光发射模块12在所述参考平面的第二区域上形成第二图案。
具体地,控制模块14控制红外结构光发射模块12将具有网格图案(即第二图案)的红外结构光投射到参考平面。在参考平面上,由红外结构光发射模块12投射的网格图案形成于桌面的第二区域。其中,如上所述,在参考平面中,第一区域和第二区域相互重叠,因此在用户利用目标对象在第一区域中进行操作的情况下,目标对象也处于第二区域。
在步骤S13,利用所红外光感测模块13经由所述至少一个通孔之一拍摄红外结构光的反射光,从而生成第一图像数据。其中第一图像数据用于确定所述第二区域上是否存在目标对象、以及所述目标对象的深度和所述目标对象在所述第二区域内的位置。
其中,在第一图像数据中,根据各个位置点的深度的不同而网格图案被变形。因此,能够通过分析第一图像数据,从而能够确定在第二区域上是否存在目标对象、以及目标对象的深度和目标对象的位置。
所述控制方法可以进一步包括步骤S14。在步骤S14中,根据由红外光感测模块13生成的第一图像数据判断在第二区域中是否存在目标对象,在判断为存在目标对象的情况下,通过比较第一图像数据与第二图案的标准图像,计算目标对象相对于参考平面的高度,如果所述高度小于阈值,则计算所述目标对象在所述第二区域中的第一位置信息。
具体地,控制模块12根据在第一图像数据中网格图案是否变形,来判断在参考平面的第二区域中是否存在目标对象。如此,在用户视认参考平面中的数字键盘并且通过手机等的目标对象进行操作的情况下,控制模块14能够判断在第二区域中是否存在手指等的目标对象。
进而,控制模块14通过比较第一图像数据中的网格图案和第二图案的标准图像中的网格图案,计算目标对象相对于参考平面的高度(即深度的差别)。并且,控制模块14判断目标对象相对于参考平面的高度是否小于阈值,由此来判断目标对象是否与参考平面接触。例如,手指与桌面接触的情况下,认为进行了有效的输入操作(点击、滑动等等)。因此,如果目标对象相对于参考平面的高度小于阈值,则控制模块14计算目标对象在第二区域中的位置信息。
此外,也可以通过其他的方法,根据第一图像数据来计算目标对象在第二区域中的位置信息,只要在用户进行了有效操作的情况下的目标对象在第二区域中的位置信息即可。
其中,关于第二图案的标准图像,可以预先将参考平面设置成预设的深度,并且将拍摄从该预设深度的参考平面反射的反射光而获得的图像数据设为第二图案的标准图像。优选地,电子设备1的控制方法进一步包括如下步骤:在判断为在第二区域中不存在目标对象的情况下,将所生成的第一图像数据作为第二图案的标准图像。由此,能够适应性地实时调整第二图案的标准图像,并且能够提高计算目标对象相对于参考平面的高度的精度。
此外,优选地,在步骤S14中进一步包括如下步骤:在判断为存在目标对象的情况下,进一步判断所述目标对象的形状是否对应于特定对象的形状,在所述目标对象的形状对应于特定对象的形状的情况下,比较第一图像数据与所述第二图案的标准图像。
具体地,根据第一图像数据中的网格图案能够判断目标对象的形状。因此,例如控制模块14在判断为存在目标对象的情况下,进一步判断目标对象的形状是否对应于特定对象(例如手指、手写笔)的形状,在目标对象的形状对应于特定对象的形状的情况下,比较第一图像数据与第二图案的标准图像。
电子设备1的控制方法可以进一步包括步骤S15。在步骤S15中,基于投影模块11、红外结构光发射模块12之间的相对位置关系,将目标对象在第二区域中的第一位置信息进行坐标变换从而求出目标对象在第一区域中的第二位置信息。
其中,在本发明中,由于红外光感测模块13只能感测红外光,因此基于第一图像数据而计算出的位置信息是第二区域中的位置信息。但是,用户视认第一区域中的第一图案而进行操作,因此需要将第二区域中的位置信息转换为第一区域中的位置信息。第一位置信息与第二位置信息与投影模块11、红外结构光发射模块12之间的相对位置关系相关联,因此控制模块基于投影模块11、红外结构光发射模块12之间的相对位置关系,将目标对象在第二区域中的第一位置信息进行坐标变换从而求出所述目标对象在所述第一区域中的第二位置信息。此外,上述的从第一位置信息到第二位置信息的转换不是必须的。例如在参考平面处于适当的深度的情况下,参考平面中的第一区域和第二区域是基本重叠的,因此可以近似地将第一位置信息直接确定为第二位置信息。
电子设备1的控制方法可以进一步包括步骤S16。在步骤S16中,根据第二位置信息,计算目标对象在第一图案中的位置,并生成对应于所述位置的输入信号。
具体地,在第一图案为数字键盘的情况下,控制模块14根据第二位置信息,计算在数字键盘中第二位置信息所对应的数字符号,并生成对应于该数字符号的输入信号。由此,能够确定用户所期望的输入操作,从而利用了所获得的深度信息来扩展了输入操作的功能。
在以上的说明中,以用户视认参考平面中投影的第一图案进行输入操作为具体的应用场景,说明了利用所获得的深度信息来扩展电子设备的功能的方法,但是并非限定于此,能够应用于利用所获得的深度信息来扩展功能的任何应用场景。
如上所述,根据本发明的电子设备及其控制方法,能够集成用于获取深度信息的模块,并且利用所获取的深度信息来扩展电子设备的功能。
需要说明的是,在本说明书中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
最后,还需要说明的是,上述一系列处理不仅包括以这里所述的顺序按时间序列执行的处理,而且包括并行或分别地、而不是按时间顺序执行的处理。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现,当然也可以全部通过软件来实施。基于这样的理解,本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上对本发明进行了详细介绍,本文中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (14)

1.一种电子设备,包括:
壳体,在其第一侧面上设置有至少一个通孔;
投影模块,设置在所述壳体内的第一侧,并且配置来经由所述至少一个通孔之一投影预设的第一图案,其中在投影到参考平面时,所述投影模块在所述参考平面的第一区域上形成第一图案;
红外结构光发射模块,设置在所述壳体内的第一侧,并且配置来经由所述至少一个通孔之一投射具有第二图案的红外结构光,其中在投射到所述参考平面时,所述红外结构光发射模块在所述参考平面的第二区域上形成第二图案;以及
红外光感测模块,设置在所述壳体内的第一侧,与所述红外结构光发射模块分离地设置,并且配置来经由所述至少一个通孔之一拍摄所述红外结构光的反射光,从而生成第一图像数据,其中所述第一图像数据用于根据所述第二图案的变形确定所述第二区域上是否存在目标对象、以及所述目标对象的深度和所述目标对象在所述第二区域内的位置。
2.如权利要求1所述的电子设备,进一步包括:
控制模块,配置来在满足预设条件时,激活所述投影模块、红外结构光发射模块以及红外光感测模块。
3.如权利要求2所述的电子设备,其中,
所述控制模块根据由所述红外光感测模块生成的第一图像数据判断在所述第二区域中是否存在目标对象;
在判断为存在所述目标对象的情况下,通过比较第一图像数据与所述第二图案的标准图像,计算所述目标对象相对于所述参考平面的高度;
如果所述高度小于阈值,则计算所述目标对象在所述第二区域中的第一位置信息。
4.如权利要求3所述的电子设备,其中,
所述控制模块在判断为在所述第二区域中不存在目标对象的情况下,将所生成的第一图像数据作为所述第二图案的标准图像。
5.如权利要求3所述的电子设备,其中,
所述控制模块基于所述投影模块、所述红外结构光发射模块之间的相对位置关系,将所述目标对象在所述第二区域中的第一位置信息进行坐标变换从而求出所述目标对象在所述第一区域中的第二位置信息。
6.如权利要求5所述的电子设备,其中,
所述控制模块根据所述第二位置信息,计算所述目标对象在所述第一图案中的位置,并生成对应于所述位置的输入信号。
7.如权利要求3所述的电子设备,其中,
所述控制模块在判断为存在目标对象的情况下,进一步判断所述目标对象的形状是否对应于特定对象的形状,在所述目标对象的形状对应于特定对象的形状的情况下,比较第一图像数据与所述第二图案的标准图像。
8.如权利要求1所述的电子设备,其中,
所述结构光发射模块与所述感测模块的光轴方向相互倾斜。
9.一种电子设备的控制方法,其中,
所述电子设备包括:壳体,在其第一侧面上设置有至少一个通孔;投影模块,设置在所述壳体内的第一侧,并且配置来经由所述至少一个通孔之一投影预设的第一图案;红外结构光发射模块,设置在所述壳体内的第一侧,并且配置来经由所述至少一个通孔之一投射具有第二图案的红外结构光;以及红外光感测模块,设置在所述壳体内的第一侧,与所述红外结构光发射模块分离地设置,
所述控制方法包括:
在满足预设条件时,利用所述投影模块将所述第一图案投影到参考平面,其中所述投影模块在所述参考平面的第一区域上形成第一图案;
利用所述红外结构光发射模块将具有所述第二图案的红外结构光投射到所述参考平面,其中所述红外结构光发射模块在所述参考平面的第二区域上形成第二图案;
利用所述红外光感测模块经由所述至少一个通孔之一拍摄所述红外结构光的反射光,从而生成第一图像数据,
其中所述第一图像数据用于根据所述第二图案的变形确定所述第二区域上是否存在目标对象、以及所述目标对象的深度和所述目标对象在所述第二区域内的位置。
10.如权利要求9所述的控制方法,进一步包括:
根据由所述红外光感测模块生成的第一图像数据判断在所述第二区域中是否存在目标对象;
在判断为存在所述目标对象的情况下,通过比较第一图像数据与所述第二图案的标准图像,计算所述目标对象相对于所述参考平面的高度;
如果所述高度小于阈值,则计算所述目标对象在所述第二区域中的第一位置信息。
11.如权利要求10所述的控制方法,还包括:
在判断为在所述第二区域中不存在目标对象的情况下,将所生成的第一图像数据作为所述第二图案的标准图像。
12.如权利要求10所述的控制方法,还包括:
基于所述投影模块、所述红外结构光发射模块之间的相对位置关系,将所述目标对象在所述第二区域中的第一位置信息进行坐标变换从而求出所述目标对象在所述第一区域中的第二位置信息。
13.如权利要求12所述的控制方法,还包括:
根据所述第二位置信息,计算所述目标对象在所述第一图案中的位置,并生成对应于所述位置的输入信号。
14.如权利要求10所述的控制方法,其中,
在判断为存在所述目标对象的情况下,通过比较第一图像数据与所述第二图案的标准图像,计算所述目标对象相对于所述参考平面的高度的步骤中,
在判断为存在目标对象的情况下,进一步判断所述目标对象的形状是否对应于特定对象的形状,在所述目标对象的形状对应于特定对象的形状的情况下,比较第一图像数据与所述第二图案的标准图像。
CN201410132557.0A 2014-04-02 2014-04-02 电子设备及其控制方法 Active CN104978011B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410132557.0A CN104978011B (zh) 2014-04-02 2014-04-02 电子设备及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410132557.0A CN104978011B (zh) 2014-04-02 2014-04-02 电子设备及其控制方法

Publications (2)

Publication Number Publication Date
CN104978011A CN104978011A (zh) 2015-10-14
CN104978011B true CN104978011B (zh) 2018-07-06

Family

ID=54274592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410132557.0A Active CN104978011B (zh) 2014-04-02 2014-04-02 电子设备及其控制方法

Country Status (1)

Country Link
CN (1) CN104978011B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106937105B (zh) * 2015-12-29 2020-10-02 宁波舜宇光电信息有限公司 基于结构光的三维扫描装置及目标物体的3d图像建立方法
CN106774850B (zh) * 2016-11-24 2020-06-30 深圳奥比中光科技有限公司 一种移动终端及其交互控制方法
CN107343122A (zh) * 2017-08-02 2017-11-10 深圳奥比中光科技有限公司 3d成像装置
CN107743186B (zh) * 2017-11-01 2020-11-06 信利光电股份有限公司 一种一体式摄像头及其操作方法
CN108055524A (zh) * 2017-12-22 2018-05-18 深圳市金立通信设备有限公司 一种结构光模组、组装方法及终端
JP2020076619A (ja) * 2018-11-07 2020-05-21 ソニーセミコンダクタソリューションズ株式会社 投光制御装置、投光制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101702103A (zh) * 2009-11-19 2010-05-05 上海思佗科自动化科技有限公司 光学式轨迹捕捉输入装置
WO2011046541A1 (en) * 2009-10-12 2011-04-21 Hewlett-Packard Development Company, L.P. Display with an optical sensor
CN102419657A (zh) * 2010-09-27 2012-04-18 南京芒冠光电科技股份有限公司 一种交互式投影机系统
CN102622131A (zh) * 2011-01-28 2012-08-01 联想(北京)有限公司 电子设备和定位方法
CN102791509A (zh) * 2010-03-11 2012-11-21 丰田自动车株式会社 图像位置调节装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011046541A1 (en) * 2009-10-12 2011-04-21 Hewlett-Packard Development Company, L.P. Display with an optical sensor
CN101702103A (zh) * 2009-11-19 2010-05-05 上海思佗科自动化科技有限公司 光学式轨迹捕捉输入装置
CN102791509A (zh) * 2010-03-11 2012-11-21 丰田自动车株式会社 图像位置调节装置
CN102419657A (zh) * 2010-09-27 2012-04-18 南京芒冠光电科技股份有限公司 一种交互式投影机系统
CN102622131A (zh) * 2011-01-28 2012-08-01 联想(北京)有限公司 电子设备和定位方法

Also Published As

Publication number Publication date
CN104978011A (zh) 2015-10-14

Similar Documents

Publication Publication Date Title
CN104978011B (zh) 电子设备及其控制方法
US10311378B2 (en) Depth from time-of-flight using machine learning
CN107862292B (zh) 人物情绪分析方法、装置及存储介质
CN109325967A (zh) 目标跟踪方法、装置、介质以及设备
US20110093820A1 (en) Gesture personalization and profile roaming
CN102693007A (zh) 姿势检测和识别
CN107466411A (zh) 二维红外深度感测
CN109597481A (zh) Ar虚拟人物绘制方法、装置、移动终端及存储介质
CN109224437A (zh) 一种应用场景的交互方法和终端以及存储介质
CN108200334A (zh) 图像拍摄方法、装置、存储介质及电子设备
CN110517340B (zh) 一种基于人工智能的脸部模型确定方法和装置
CN105917386A (zh) 信息处理设备、信息处理系统、块系统和信息处理方法
CN112292690A (zh) 增强现实深度手势网络
CN109308437B (zh) 动作识别纠错方法、电子设备、存储介质
US20170140215A1 (en) Gesture recognition method and virtual reality display output device
CN110286754A (zh) 基于眼球追踪的投射方法及相关设备
CN110443190A (zh) 一种对象识别方法和装置
CN103729622A (zh) 一种手指静脉三维点云获取方法、装置及一种终端
CN112492517A (zh) 基于uwb的交互方法及装置、设备、存储介质和系统
CN105491307A (zh) 深度传感系统
US11450010B2 (en) Repetition counting and classification of movements systems and methods
Murray et al. Bio-inspired human action recognition with a micro-Doppler sonar system
CN107292221B (zh) 一种轨迹处理方法和装置、一种用于轨迹处理的装置
CN116580211B (zh) 关键点检测方法、装置、计算机设备及存储介质
CN108833791A (zh) 一种拍摄方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant