CN110213407A - 一种电子装置的操作方法、电子装置和计算机存储介质 - Google Patents
一种电子装置的操作方法、电子装置和计算机存储介质 Download PDFInfo
- Publication number
- CN110213407A CN110213407A CN201910451017.1A CN201910451017A CN110213407A CN 110213407 A CN110213407 A CN 110213407A CN 201910451017 A CN201910451017 A CN 201910451017A CN 110213407 A CN110213407 A CN 110213407A
- Authority
- CN
- China
- Prior art keywords
- electronic device
- camera
- projection plane
- display interface
- corresponding relationship
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
- H04M1/026—Details of the structure or mounting of specific components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
- H04M1/026—Details of the structure or mounting of specific components
- H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
- H04M1/026—Details of the structure or mounting of specific components
- H04M1/0266—Details of the structure or mounting of specific components for a display module assembly
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Environmental & Geological Engineering (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
一种电子装置的操作方法、电子装置和计算机存储介质,在电子装置投影的过程中,通过电子装置的第一摄像头采集经投影平面反射的红外激光阵列,得到目标图像;获取目标图像和投影平面上的显示界面的位置对应关系;基于目标图像,确定红外激光阵列中的操作主体在目标图像中的目标位置,以及操作主体的形状;在该目标位置以及之前得到的位置对应关系的基础上,确定操作主体映射在显示界面上的位置,将操作主体的形状映射为电子装置上的显示界面的触控手势,由电子装置响应触控手势,这种对电子装置的操作方式基于结构光原理实现,无需用户直接操作电子装置的触控屏或操作键,为用户在电子装置投影场景下提供了一种新的操作方式,有利于提升用户体验。
Description
技术领域
本申请涉及终端技术领域,尤其涉及一种电子装置的操作方法、电子装置和计算机存储介质。
背景技术
目前,为了扩展手机服务,市面上出现了很多手机微型投影仪,通过手机与微型投影仪连接,可以将手机上的显示内容进行投影。但是此类投影仪仅可以把手机的显示内容投影到墙面、桌面或投影画布上,用户在观看投影的过程中,若是需要使用手机的其他功能,或者切换显示界面,还是需要直接对手机进行操作。
发明内容
本申请实施例提供一种电子装置的操作方法、电子装置和计算机存储介质,在电子装置通过投影仪投影的过程中,可以无需触摸电子装置就实现对电子装置的操作。
本申请实施例第一方面提供一种电子装置的操作方法,包括:
通过电子装置的第一摄像头采集经投影平面反射的红外激光阵列,得到目标图像,其中,所述第一摄像头具有采集红外光的功能,所述电子装置与投影仪连接,正通过所述投影仪向所述投影平面投影自身的显示界面,照射在所述投影平面的所述红外激光阵列至少覆盖投影在所述投影平面上的所述显示界面;
获取所述目标图像和所述投影平面上的显示界面的位置对应关系;
基于所述目标图像,确定所述红外激光阵列中的操作主体在所述目标图像中的目标位置,以及所述操作主体的形状;
基于所述目标位置以及所述位置对应关系,将所述形状映射为所述电子装置上的所述显示界面的触控手势,响应所述触控手势。
本申请实施例第二方面提供一种电子装置,包括:
拍摄模块,用于通过电子装置的第一摄像头采集经投影平面反射的红外激光阵列,得到目标图像,其中,所述第一摄像头具有采集红外光的功能,所述电子装置与投影仪连接,正通过所述投影仪向所述投影平面投影自身的显示界面,照射在所述投影平面的所述红外激光阵列至少覆盖投影在所述投影平面上的所述显示界面;
第一获取模块,用于获取所述目标图像和所述投影平面上的显示界面的位置对应关系;
图像分析模块,用于基于所述目标图像,确定所述红外激光阵列中的操作主体在所述目标图像中的目标位置,以及所述操作主体的形状;
处理模块,用于基于所述目标位置以及所述位置对应关系,将所述形状映射为所述电子装置上的所述显示界面的触控手势,响应所述触控手势。
本申请实施例第三方面提供一种电子装置,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现本申请实施例第一方面提供的方法中的步骤。
本申请实施例第四方面提供一种计算机存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现本申请实施例第一方面提供的方法中的步骤。
本申请实施例提供了一种电子装置的操作方法、电子装置和计算机存储介质,在投影仪将电子装置的显示界面投影在投影平面的过程中,通过电子装置的第一摄像头采集经投影平面反射的红外激光阵列,得到目标图像;获取所述目标图像和所述投影平面上的显示界面的位置对应关系;基于所述目标图像,确定所述红外激光阵列中的操作主体在所述目标图像中的目标位置,以及所述操作主体的形状;在操作主体的目标位置以及之前得到的位置对应关系的基础上,可以明确确定操作主体映射在显示界面上的位置,将形状映射为电子装置上的显示界面的触控手势,由电子装置响应触控手势,这种对电子装置的操作方式基于结构光原理实现,无需用户直接操作电子装置的触控屏或操作键,为用户在电子装置投影场景下提供了一种新的操作方式,有利于提升用户体验。
附图说明
图1为本申请提供的一种电子装置的硬件结构示意图;
图2为本申请第一实施例提供的电子装置的操作方法的流程示意图;
图3为本申请第一实施例中,第一摄像头、第二摄像头和红外激光发射器在电子装置上的位置关系示意图;
图4为本申请第一实施例中,电子装置的投影示意图;
图5为本申请第二实施例提供的细化的电子装置的操作方法的流程示意图;
图6为本申请第三实施例提供的一种电子装置的结构示意图;
图7为本申请第三实施例提供的另一种电子装置的结构示意图。
具体实施方式
为使得本申请的发明目的、特征、优点能够更加的明显和易懂,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而非全部实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
参照图1,图1示出了一种电子装置的结构框图。本发明实施例提供的电子装置的操作方法可应用于如图1所示的电子装置10中,电子装置10包括但不限于:移动终端如智能手机、笔记本及穿戴智能设备等,以及固定终端如台式电脑及智能电视等等。
如图1所示,电子装置10包括存储器101、存储控制器102,一个或多个(图中仅示出一个)处理器103、外设接口104及触控屏幕105。这些组件通过一条或多条通讯总线/信号线106相互通讯。
可以理解,图1所示的结构仅为示意,其并不对电子装置的结构造成限定。电子装置10还可包括比图1所示更多或者更少的组件,或者具有与图1所示不同的配置。图1所示的各组件可以采用硬件、软件或其组合实现。
存储器101可用于存储软件程序以及模块,如本发明实施例中的电子装置的操作方法及电子装置对应的程序指令/模块,处理器103通过运行存储在存储器101内的软件程序以及模块,从而执行各种功能应用以及数据处理,例如实现上述的电子装置的操作方法。
存储器101可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器101可进一步包括相对于处理器103远程设置的存储器,这些远程存储器可以通过网络连接至电子装置10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。处理器103以及其他可能的组件对存储器101的访问可在存储控制器102的控制下进行。
外设接口104将各种输入/输入装置耦合至CPU以及存储器101。处理器103运行存储器101内的各种软件、指令以执行电子装置10的各种功能以及进行数据处理。
在一些实施例中,外设接口104,处理器103以及存储控制器102可以在单个芯片中实现。在其他一些实例中,他们可以分别由独立的芯片实现。
触控屏幕105在电子装置与用户之间同时提供一个输出及输入界面。具体地,触控屏幕105向用户显示视频输出,这些视频输出的内容可包括文字、图形、视频、及其任意组合。例如,触控屏幕105向用户输出本发明实施例中输出至显示模块的显示内容。触控屏幕105的一些输出结果是对应于一些用户界面对象。触控屏幕105还接收用户的输入,例如用户的点击、滑动等手势操作,以便用户界面对象对这些用户的输入做出响应。检测用户输入的技术可以是基于电阻式、电容式或者其他任意可能的触控检测技术。触控屏幕105显示单元的具体实例包括但并不限于液晶显示器或发光聚合物显示器。
基于上述电子装置描述本发明实施例中的电子装置的操作方法。
第一实施例:
对于电子装置通过投影仪进行投影的场景,为了切换显示界面或者暂停正在播放的视频等等,需要对电子装置进行操作,目前,相关技术中,用户一般是通过直接对电子装置的显示屏进行操作,但是这种操作方式也存在不便之处。本实施例提出了一种电子装置的操作方法,适用于电子装置的投影场景,该方法结合了结构光技术,无需直接接触电子装置的屏幕,就可以实现对电子装置的操作。
参见图2,该电子装置的操作方法包括:
步骤201、通过电子装置的第一摄像头采集经投影平面反射的红外激光阵列,得到目标图像,其中,第一摄像头具有采集红外光的功能,电子装置与投影仪连接,正通过投影仪向投影平面投影自身的显示界面,照射在投影平面的红外激光阵列至少覆盖投影在投影平面上的显示界面;
本实施例中的电子装置不仅具有第一摄像头,还具有第二摄像头,该第二摄像头具有采集可见光的功能,可以满足用户的常规拍摄需求。通过第二摄像头可以采集投影平面上的显示界面的图像。
本实施例中的电子装置可以是任何具有第一摄像头、第二摄像头以及显示功能的电子装置,如智能手机以及智能手环等等,本实施例对此没有限制。
本实施例中,第一摄像头可以是红外摄像头。本实施例中,第一摄像头和第二摄像头可以位于电子装置的同一面上,至于该第一摄像头和第二摄像头在电子装置的具体位置则没有限制,可以根据实际情况设置,例如,如图3所示,第一摄像头A和第二摄像头B均为电子装置的前置摄像头;或者第一摄像头和第二摄像头均为电子装置的后置摄像头。
本示例中,为了第一摄像头和第二摄像头拍摄准确,第一摄像头、第二摄像头和投影仪的投影镜头尽量沿竖直方向分布,例如在图4中,第一摄像头A位于投影仪镜头正上方。
本实施例的操作方法基于结构光原理实现,投射在投影平面的红外激光阵列为结构光,该红外激光阵列的发射器可以位于本实施例的电子装置上(参见图3或图4,C为红外激光发射器),或者位于独立于电子装置的外部设备上,例如位于投影仪上,本实施例对此没有限制。
本实施例中的第一摄像头采集的红外激光阵列中,红外光点的数量没有限制,例如红外激光阵列可以由超过30000个肉眼不可见的红外光点形成。可以理解的是,红外光点的数量越多,则后续步骤中操作主体的形状识别和目标位置确定的精确度越高。电子装置可以通过捕捉红外激光阵列经投影平面的反射的光点,绘制位于红外激光阵列中的各个物体的形状,例如绘制用户手部的形状。本实施例中位于红外激光阵列中的需要识别的物体统称为操作主体。
步骤202、获取目标图像和投影平面上的显示界面的位置对应关系;
可以理解的是,在电子装置固定以及投影仪调试好之后,电子装置投影在投影平面的显示界面位置和大小都不会发生变化,而只要不对摄像头的拍摄参数进行修改,第一摄像头在投影平面的拍摄范围也是不会发生变化的,基于这两种不变,可以在本实施例步骤201之前,在电子装置和投影仪安装以及调试好之后,在电子装置通过投影仪投影的过程中,可以基于第一摄像头和第二摄像头采集的测试图像,第一摄像头和第二摄像头的拍摄参数,第一摄像头和第二摄像头之间的距离以及电子装置到投影平面的距离,计算第一摄像头采集的图像与投影平面的位置对应关系,进而确定投影平面上的显示界面与第一摄像头采集的图像的位置对应关系。可选的,在预先建立位置对应关系后,可以存储该位置对应关系,在需要时获取使用。
本实施例中,目标图像和投影平面上的显示界面的位置对应关系,指示了目标图像上的区域如何对应在显示界面上。
步骤203、基于目标图像,确定红外激光阵列中的操作主体在目标图像中的目标位置,以及操作主体的形状;
本实施例中,目标图像是基于结构光的原理采集得到,对于结构光技术,通过近红外激光器将具有一定结构特征的光线投射到被拍摄物体上,再由专门的红外摄像头进行采集。这种具备一定结构的光线,会因被摄物体的不同深度区域,而采集不同的图像相位信息,通过运算可以将这种结构的变化换算成深度信息,以此来获得物体三维信息。一个示例中,本实施例的目标图像可以为三维图,其中包含操作主体的三维信息包括深度信息。在步骤201前,电子装置可以获取投射在投影平面的红外激光阵列在发射时的信息,在通过第一摄像头采集经投影平面反射的红外激光阵列后,可以比较发射时的红外激光阵列,和接收的红外激光阵列,生成三维图,得到目标图像。若红外激光阵列不是由电子装置发射,则电子装置可以通过有线或无线的方式获取红外激光阵列发射时的信息,本实施例对获取的方式没有限制。
所以目标图像中存在操作主体的三维信息,根据该三维信息可以得到操作主体在目标图像上的目标位置以及操作主体的形状。
步骤204、基于目标位置以及位置对应关系,将形状映射为电子装置上的显示界面的触控手势,响应触控手势。
本实施例中,基于目标位置以及位置对应关系,可以确定操作主体映射在显示界面上的位置。
可以理解的是,若操作主体不在投影平面上的显示界面对应的区域内,则步骤204中,将形状映射为电子装置上的显示界面的触控手势的步骤将失败,电子装置不会响应操作主体的本次操作。
采用本实施例的电子装置的操作方法,在投影仪将电子装置的显示界面投影在投影平面的过程中,通过电子装置的第一摄像头采集经投影平面反射的红外激光阵列,得到目标图像;获取目标图像和投影平面上的显示界面的位置对应关系;基于目标图像,确定红外激光阵列中的操作主体在目标图像中的目标位置,以及操作主体的形状;在操作主体的目标位置以及之前得到的位置对应关系的基础上,可以明确确定操作主体映射在显示界面上的位置,将形状映射为电子装置上的显示界面的触控手势,由电子装置响应触控手势,这种对电子装置的操作方式基于结构光原理实现,无需用户直接操作电子装置的触控屏或操作键,为用户在电子装置投影场景下提供了一种新的操作方式,有利于提升用户体验
第二实施例
本实施例提出一种细化的电子装置的操作方法,参见图5,该方法包括:
步骤501、通过电子装置的红外激光发射器向投影平面投射红外激光阵列。
本实施例中,电子装置的红外激光发射器发射的红外激光阵列中,红外光点的数量不限,例如可以是超过30000个,也可以是其他的任意整数。
步骤502、通过电子装置的第一摄像头采集经投影平面反射的红外激光阵列,得到目标图像,其中,第一摄像头具有采集红外光的功能,电子装置与投影仪连接,通过投影仪正向投影平面投影自身的显示界面,照射在投影平面的红外激光阵列至少覆盖投影在投影平面上的显示界面;
可选的,本实施例中,第一摄像头与红外激光发射器在电子装置上位于同一水平线上。例如,如图4所示,电子装置上红外(第一)摄像头A与红外激光发射器C分别位于听筒的两边。可以理解的是,在其他示例中,若有设计需要,可以将第一摄像头与红外激光发射器设置在电子装置的其他位置,例如,将第一摄像头与红外激光发射器设置与电子装置的背部或屏幕底部,本实施例对此没有限制。
步骤503、获取目标图像和投影平面上的显示界面的位置对应关系;
可选的,本实施例中,目标图像和投影平面上的显示界面的位置对应关系可以是预先设置好的,也可以是实时计算得到的,本实施例对此没有限制。
一个示例中,对于前一种方案,可选的在通过电子装置的第一摄像头采集经投影平面反射的红外激光阵列,得到目标图像前,还包括:
获取电子装置到投影平面的距离,并作为第一距离;获取第一摄像头到第二摄像头的距离,并作为第二距离,其中,第二摄像头具有采集可见光的功能;通过第一摄像头采集经投影平面反射的红外激光阵列,得到第一测试图像;通过第二摄像头采集投影平面上的显示界面的图像,并作为第二测试图像;基于第一摄像头与第二摄像头的拍摄参数,以及第一距离和第二距离,确定第一测试图像与第二测试图像中对应于投影平面同一位置的点,建立对应于投影平面同一位置的点的第一位置对应关系;基于显示界面在第二测试图像中的位置以及第一位置对应关系,确定第一测试图像与第二测试图像中的显示界面的第二位置对应关系;
可选的,获取目标图像和第二图像的位置对应关系包括:获取所述第二位置对应关系,作为所述目标图像和所述投影平面上的显示界面的位置对应关系。
另一示例中,对于实时计算的方案,可选的,获取目标图像和投影平面上的显示界面的位置对应关系包括:获取电子装置到投影平面的距离,并作为第一距离;获取第一摄像头到电子装置的第二摄像头的距离,并作为第二距离,其中,第二摄像头具有采集可见光的功能;通过第二摄像头采集投影平面上的显示界面的图像,并作为第二测试图像,将目标图像作为第一测试图像;基于第一摄像头与第二摄像头的拍摄参数,以及第一距离和第二距离,确定第一测试图像与第二测试图像中对应于投影平面同一位置的点,建立对应于投影平面同一位置的点的第一位置对应关系;基于显示界面在第二测试图像中的位置以及第一位置对应关系,确定第一测试图像与第二测试图像中的显示界面的第二位置对应关系,将该第二位置对应关系作为目标图像和投影平面上的显示界面的位置对应关系。
可选的,本实施例中,拍摄参数包括但不限于焦距以及摄像头与被拍摄物的距离。一个示例中,该摄像头与被拍摄物的距离为上述描述的电子装置与投影平面的距离。
进一步的,获取电子装置到投影平面的距离包括:通过第一摄像头采集经由投影平面反射的红外激光阵列,获取所述红外激光阵列发射时候的信息(例如发射时间),基于采集到的红外激光阵列以及发射的红外激光阵列,确定第一摄像头到投影平面的距离,作为电子装置到投影平面的距离。
本实施例中,确定第一测试图像与第二测试图像中对应于投影平面同一位置的点,建立对应于投影平面同一位置的点的第一位置对应关系,可以通过建立坐标系实现,例如,对于第一测试图像建立一个坐标系,对于第二测试图像建立一坐标系,在第一测试图像和第二测试图像中分别确定对应于投影平面的点A和点B的两个点,通过第一测试图像和第二测试图像中这两个点的坐标,确定第一测试图像的坐标系和第二测试图像的坐标系的转换关系,该转换关系即可以作为对应于投影平面同一位置的点的第一位置对应关系。
可选的,一个示例中,第一摄像头与第二摄像头的焦距和视场角相同,这两种参数相同,可以保证两摄像头对投影平面的拍摄范围的大小相同,便于计算目标图像和投影平面上的显示界面的位置对应关系。例如,若投影过程中,第一摄像头位于第二摄像头正下方,在第一摄像头与第二摄像头的焦距和视场角相同时,在获取第一测试图像与第二测试图像之后,将第一测试图像中的点的坐标下移第二距离,则得到该点在第二测试图像中对应的坐标。
可选的,一个示例中,若第一摄像头和第二摄像头的焦距不同,可以通过对图像的放大或缩小处理,使得第一测试图像和第二测试图像等同于同一焦距下拍摄的图像,之后,再计算第一测试图像和第二测试图像的第一位置对应关系。
步骤504、基于目标图像,确定红外激光阵列中的操作主体在目标图像中的目标位置,以及操作主体的形状;
步骤505、基于预设的触控手势识别方式识别形状对应的触控手势;
步骤506、基于目标位置以及位置对应关系,确定触控手势在显示界面上的操作位置;
步骤507、在电子装置的显示界面的操作位置上响应触控手势。
其中,上述步骤505-507是第一实施例的步骤204的细化步骤。
可选的,本实施例中,触控手势包括但不限于点击、放大、缩小、左滑、右滑以及下滑等等,预设的触控手势识别方式中限定了各种触控手势满足的条件,例如触控手势的形状。可以理解的是,在基于预设的触控手势识别方式识别形状对应的触控手势时,结合当前时刻之前一定时长内,操作主体的形状的变化,可以更准确地识别用户手势。
在一个示例中,基于预设的触控手势识别方式识别形状对应的触控手势包括:
获取当前时刻之前的预设时长内操作主体的形状;
基于当前时刻该操作主体的形状,以及预设时长内操作主体的形状,确定操作主体的形状对应的触控手势。
其中,该预设时长可以设置为1s、1.5s或者2s等等数据,本实施例对此没有限制。
可选的,在一个示例中,在通过电子装置的第一摄像头采集经投影平面反射的红外激光阵列,得到目标图像前,还包括:
获取电子装置到投影平面的距离,并作为第一距离;获取第一摄像头到第二摄像头的距离,并作为第二距离,其中,第二摄像头具有采集可见光的功能;通过第二摄像头采集投影平面上的显示界面的图像,并作为第三测试图像;基于第一摄像头和第二摄像头的拍摄参数,以及第一距离、第二距离和第三测试图像,判断第一摄像头在投影平面上的拍摄范围是否覆盖投影平面上的显示界面,若否,则调整第一摄像头的拍摄参数,或者提示用户调整电子装置的位置。
上述的调整方案,可以保证第一摄像头采集到从电子装置的显示界面对应的投影平面反射的图像,避免采集不完全导致的电子装置操作失败的情况发生。
可选的,本实施例中,调整第一摄像头的拍摄参数包括但不限于,调整第一摄像头的焦距和视场角,例如,若第一摄像头在投影平面上的拍摄范围未覆盖投影平面上的显示界面,则缩短焦距或者增大视场角。
可选的,一个示例中,在基于目标图像,确定红外激光阵列中的操作主体在目标图像中的位置,以及操作主体的形状之后,还包括:
基于形状识别操作主体是否为预设操作主体,若是,则继续执行基于位置以及位置对应关系,将形状映射为电子装置上的显示界面的触控手势,响应触控手势的步骤,否则,不执行基于位置以及位置对应关系,将形状映射为电子装置上的显示界面的触控手势,响应触控手势的步骤。
上述预设的操作主体包括但不限于人体手部或者特定的操作件,本实施例对此没有限制。
采用本实施例的电子装置的操作方法,在投影仪将电子装置的显示界面投影在投影平面的过程中,通过电子装置的第一摄像头采集经投影平面反射的红外激光阵列,得到目标图像;获取目标图像和投影平面上的显示界面的位置对应关系;基于目标图像,确定红外激光阵列中的操作主体在目标图像中的目标位置,以及操作主体的形状;在操作主体的目标位置以及之前得到的位置对应关系的基础上,可以明确确定操作主体映射在显示界面上的位置,将形状映射为电子装置上的显示界面的触控手势,由电子装置响应触控手势,这种对电子装置的操作方式基于结构光原理实现,无需用户直接操作电子装置的触控屏或操作键,为用户在电子装置投影场景下提供了一种新颖酷炫的操作方式,有利于提升用户体验。
第三实施例
参见图6,本实施例提供一种电子装置,该电子装置包括:
拍摄模块601,用于通过电子装置的第一摄像头采集经投影平面反射的红外激光阵列,得到目标图像,其中,第一摄像头具有采集红外光的功能,电子装置与投影仪连接,通过投影仪正向投影平面投影自身的显示界面,照射在投影平面的红外激光阵列至少覆盖投影在投影平面上的显示界面;
第一获取模块602,用于获取目标图像和投影平面投影上的显示界面的位置对应关系;
图像分析模块603,用于基于目标图像,确定红外激光阵列中的操作主体在目标图像中的目标位置,以及操作主体的形状;
处理模块604,用于基于目标位置以及位置对应关系,将形状映射为电子装置上的显示界面的触控手势,响应触控手势。
可选的,该电子装置还包括:第二获取模块,用于获取电子装置到投影平面的距离,并作为第一距离;第三获取模块,用于获取第一摄像头到第二摄像头的距离,并作为第二距离,其中,第二摄像头具有采集可见光的功能;
可选的,拍摄模块601,还用于通过第一摄像头采集经投影平面反射的红外激光阵列,得到第一测试图像。
拍摄模块601,还用于通过第二摄像头采集投影平面上的显示界面的图像,并作为第二测试图像。
处理模块604,还用于基于所述第一摄像头和所述第二摄像头的拍摄参数,以及所述第一距离和第二距离,确定所述第一测试图像与第二测试图像中对应于所述投影平面同一位置的点,建立所述对应于所述投影平面同一位置的点的第一位置对应关系;基于所述显示界面在所述第二测试图像中的位置以及所述第一位置对应关系,确定所述第一测试图像与所述第二测试图像中的显示界面的第二位置对应关系;
第一获取模块602,具体用于获取所述第二位置对应关系,作为所述目标图像和所述投影平面上的显示界面的位置对应关系。
可选的,电子装置还包括激光发射模块,用于在拍摄模块601通过电子装置的第一摄像头采集经投影平面反射的红外激光阵列,得到目标图像前,通过电子装置的红外激光发射器向投影平面投射(覆盖投影平面上的显示界面)红外激光阵列。
可选的,拍摄模块还用于通过第二摄像头采集投影平面上的显示界面的图像,并作为第三测试图像;
可选的处理模块,还基于第一摄像头和第二摄像头的拍摄参数,以及第一距离、第二距离和第三测试图像,判断第一摄像头在投影平面上的拍摄范围是否覆盖投影平面上的显示界面,若否,则调整第一摄像头的拍摄参数,或者提示用户调整电子装置的位置。
其中,处理模块可以通过显示或音频的方式提示用户调整电子装置的位置。
可选的,一个示例中,处理模块604还用基于预设的触控手势识别方式识别形状对应的触控手势;基于目标位置以及位置对应关系,确定触控手势在显示界面上的操作位置;在电子装置的显示界面的操作位置上响应触控手势。
可选的,处理模块604还用于在图像分析模块603基于目标图像,确定红外激光阵列中的操作主体在目标图像中的目标位置,以及操作主体的形状之后,基于形状识别操作主体是否为预设操作主体,若是,则继续执行基于目标位置以及位置对应关系,将形状映射为电子装置上的显示界面的触控手势,响应触控手势的步骤,否则,不执行基于目标位置以及位置对应关系,将形状映射为电子装置上的显示界面的触控手势,响应触控手势的步骤。
请参阅图7,图7为本发明第三实施例提供的一种电子装置。该电子装置可用于实现图2和图5所示实施例中的电子装置的操作方法。如图7所示,该电子装置主要包括:
存储器701、处理器702、总线703及存储在存储器701上并可在处理器702上运行的计算机程序,存储器701和处理器702通过总线703连接。处理器702执行该计算机程序时,实现图2或图5所示实施例中的电子装置的操作方法。其中,处理器的数量可以是一个或多个,本实施例对此没有限制。
可选的,电子装置还包括第一摄像头、第二摄像头以及红外激光发射器,该第一摄像头、第二摄像头以及红外激光发射器通过总线703连接存储器701和处理器702。
进一步的,电子装置还包括通过总线与处理器和存储器连接的显示模块,该显示模块中的显示屏可以在第一摄像头在投影平面上的拍摄范围未覆盖投影平面上的显示界面时,显示对用户的提示。
存储器701可以是高速随机存取记忆体(RAM,Random Access Memory)存储器,也可为非不稳定的存储器(non-volatile memory),例如磁盘存储器。存储器701用于存储可执行程序代码,处理器702与存储器701耦合。
进一步的,本申请实施例还提供了一种计算机存储介质,该计算机存储介质可以是设置于上述各实施例中的电子装置中,该计算机存储介质可以是前述图7所示实施例中的存储器。
该计算机存储介质上存储有计算机程序,该程序被处理器执行时实现图2或图5所示实施例中的电子装置的操作方法。进一步的,该计算机可存储介质还可以是U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例的电子装置基于结构光原理,在电子装置通过投影仪投影时,无需用户直接操作电子装置的触控屏或操作键,即可实现对电子装置的操作,例如实现投影内容的切换等,为用户在电子装置投影场景下提供了一种新颖酷炫的操作方式,有利于提升用户体验。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个可读存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的可读存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上为对本申请所提供的电子装置的操作方法、电子装置及计算机存储介质的描述,对于本领域的技术人员,依据本申请实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种电子装置的操作方法,其特征在于,包括:
通过电子装置的第一摄像头采集经投影平面反射的红外激光阵列,得到目标图像,其中,所述第一摄像头具有采集红外光的功能,所述电子装置与投影仪连接,正通过所述投影仪向所述投影平面投影自身的显示界面,照射在所述投影平面的所述红外激光阵列至少覆盖投影在所述投影平面上的所述显示界面;
获取所述目标图像和所述投影平面上的显示界面的位置对应关系;
基于所述目标图像,确定所述红外激光阵列中的操作主体在所述目标图像中的目标位置,以及所述操作主体的形状;
基于所述目标位置以及所述位置对应关系,将所述形状映射为所述电子装置上的所述显示界面的触控手势,响应所述触控手势。
2.根据权利要求1所述的电子装置的操作方法,其特征在于,在所述通过电子装置的第一摄像头采集经投影平面反射的红外激光阵列,得到目标图像前,还包括:
获取所述电子装置到所述投影平面的距离,并作为第一距离;
获取所述第一摄像头到所述电子装置的第二摄像头的距离,并作为第二距离,其中,所述第二摄像头具有采集可见光的功能;
通过所述第一摄像头采集经投影平面反射的红外激光阵列,得到第一测试图像;
通过所述第二摄像头采集所述投影平面上的显示界面的图像,并作为第二测试图像;
基于所述第一摄像头和所述第二摄像头的拍摄参数,以及所述第一距离和第二距离,确定所述第一测试图像与第二测试图像中对应于所述投影平面同一位置的点,建立所述对应于所述投影平面同一位置的点的第一位置对应关系;
基于所述显示界面在所述第二测试图像中的位置以及所述第一位置对应关系,确定所述第一测试图像与所述第二测试图像中的显示界面的第二位置对应关系;
所述获取所述目标图像和所述第二图像的位置对应关系包括:
获取所述第二位置对应关系,作为所述目标图像和所述投影平面上的显示界面的位置对应关系。
3.根据权利要求1所述的电子装置的操作方法,其特征在于,包括:在所述通过电子装置的第一摄像头采集经投影平面反射的红外激光阵列,得到目标图像前,还包括:
通过所述电子装置的红外激光发射器向所述投影平面投射所述红外激光阵列。
4.根据权利要求1所述的电子装置的操作方法,其特征在于,在所述通过电子装置的第一摄像头采集经投影平面反射的红外激光阵列,得到目标图像前,还包括:
获取所述电子装置到所述投影平面的距离,并作为第一距离;
获取所述第一摄像头到所述电子装置的第二摄像头的距离,并作为第二距离,其中,所述第二摄像头具有采集可见光的功能;
通过所述第二摄像头采集所述投影平面上的显示界面的图像,并作为第三测试图像;
基于所述第一摄像头和所述第二摄像头的拍摄参数,以及所述第一距离、第二距离和所述第三测试图像,判断所述第一摄像头在所述投影平面上的拍摄范围是否覆盖所述投影平面上的所述显示界面,若否,则调整所述第一摄像头的拍摄参数,或者提示用户调整所述电子装置的位置。
5.根据权利要求1-4任一项所述的电子装置的操作方法,其特征在于,所述基于所述目标位置以及所述位置对应关系,将所述形状映射为所述电子装置上的所述显示界面的触控手势,响应所述触控手势包括:
基于预设的触控手势识别方式识别所述形状对应的触控手势;
基于所述目标位置以及所述位置对应关系,确定所述触控手势在所述显示界面上的操作位置;
在所述电子装置的显示界面的所述操作位置上响应所述触控手势。
6.根据权利要求1-4任一项所述的电子装置的操作方法,其特征在于,在所述基于所述目标图像,确定所述红外激光阵列中的操作主体在所述目标图像中的目标位置,以及所述操作主体的形状后,还包括:
基于所述形状识别所述操作主体是否为预设操作主体,若是,则继续执行所述基于所述目标位置以及所述位置对应关系,将所述形状映射为所述电子装置上的所述显示界面的触控手势,响应所述触控手势的步骤,否则,不执行所述基于所述目标位置以及所述位置对应关系,将所述形状映射为所述电子装置上的所述显示界面的触控手势,响应所述触控手势的步骤。
7.一种电子装置,其特征在于,包括:
拍摄模块,用于通过电子装置的第一摄像头采集经投影平面反射的红外激光阵列,得到目标图像,其中,所述第一摄像头具有采集红外光的功能,所述电子装置与投影仪连接,正通过所述投影仪向所述投影平面投影自身的显示界面,照射在所述投影平面的所述红外激光阵列至少覆盖投影在所述投影平面上的所述显示界面;
第一获取模块,用于获取所述目标图像和所述投影平面上的显示界面的位置对应关系;
图像分析模块,用于基于所述目标图像,确定所述红外激光阵列中的操作主体在所述目标图像中的目标位置,以及所述操作主体的形状;
处理模块,用于基于所述目标位置以及所述位置对应关系,将所述形状映射为所述电子装置上的所述显示界面的触控手势,响应所述触控手势。
8.根据权利要求7所述的电子装置,其特征在于,还包括:
第二获取模块,用于获取所述电子装置到所述投影平面的距离,并作为第一距离;
第三获取模块,用于获取所述第一摄像头到所述电子装置的第二摄像头的距离,并作为第二距离,其中,所述第二摄像头具有采集可见光的功能;
所述拍摄模块,还用于通过所述第一摄像头采集经投影平面反射的红外激光阵列,得到第一测试图像;
所述拍摄模块,还用于通过所述第二摄像头采集所述投影平面上的显示界面的图像,并作为第二测试图像;
所述处理模块,还用于基于所述第一摄像头和所述第二摄像头的拍摄参数,以及所述第一距离和第二距离,确定所述第一测试图像与第二测试图像中对应于所述投影平面同一位置的点,建立所述对应于所述投影平面同一位置的点的第一位置对应关系;基于所述显示界面在所述第二测试图像中的位置以及所述第一位置对应关系,确定所述第一测试图像与所述第二测试图像中的显示界面的第二位置对应关系;
所述第一获取模块,用于获取所述第二位置对应关系,作为所述目标图像和所述投影平面上的显示界面的位置对应关系。
9.一种电子装置,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时,实现权利要求1-6中任意一项所述方法中的步骤。
10.一种计算机存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现权利要求1-6中的任意一项所述方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910451017.1A CN110213407B (zh) | 2019-05-28 | 2019-05-28 | 一种电子装置的操作方法、电子装置和计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910451017.1A CN110213407B (zh) | 2019-05-28 | 2019-05-28 | 一种电子装置的操作方法、电子装置和计算机存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110213407A true CN110213407A (zh) | 2019-09-06 |
CN110213407B CN110213407B (zh) | 2021-06-08 |
Family
ID=67789034
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910451017.1A Active CN110213407B (zh) | 2019-05-28 | 2019-05-28 | 一种电子装置的操作方法、电子装置和计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110213407B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112000241A (zh) * | 2020-07-31 | 2020-11-27 | 青岛海尔科技有限公司 | 操作识别方法和装置、存储介质及电子装置 |
CN112486394A (zh) * | 2020-12-17 | 2021-03-12 | 南京维沃软件技术有限公司 | 信息处理方法、装置、电子设备及可读存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110267316A1 (en) * | 2010-05-03 | 2011-11-03 | Lg Electronics Inc. | Mobile terminal and method of controlling the same |
CN104076914A (zh) * | 2013-03-28 | 2014-10-01 | 联想(北京)有限公司 | 一种电子设备和投影显示方法 |
CN104902036A (zh) * | 2015-03-27 | 2015-09-09 | 上海理鑫光学科技有限公司 | 一种手机实现投影画面具有触控交互功能的投影装置 |
CN106371594A (zh) * | 2016-08-31 | 2017-02-01 | 李姣昂 | 一种双目红外视觉便携式手势操控投影系统和方法 |
CN106814963A (zh) * | 2016-12-15 | 2017-06-09 | 苏州大学 | 一种基于3d传感器定位技术的人机互动系统及方法 |
CN107506055A (zh) * | 2017-08-25 | 2017-12-22 | 遵义博文软件开发有限公司 | 幻灯片演示控制装置 |
-
2019
- 2019-05-28 CN CN201910451017.1A patent/CN110213407B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110267316A1 (en) * | 2010-05-03 | 2011-11-03 | Lg Electronics Inc. | Mobile terminal and method of controlling the same |
CN104076914A (zh) * | 2013-03-28 | 2014-10-01 | 联想(北京)有限公司 | 一种电子设备和投影显示方法 |
CN104902036A (zh) * | 2015-03-27 | 2015-09-09 | 上海理鑫光学科技有限公司 | 一种手机实现投影画面具有触控交互功能的投影装置 |
CN106371594A (zh) * | 2016-08-31 | 2017-02-01 | 李姣昂 | 一种双目红外视觉便携式手势操控投影系统和方法 |
CN106814963A (zh) * | 2016-12-15 | 2017-06-09 | 苏州大学 | 一种基于3d传感器定位技术的人机互动系统及方法 |
CN107506055A (zh) * | 2017-08-25 | 2017-12-22 | 遵义博文软件开发有限公司 | 幻灯片演示控制装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112000241A (zh) * | 2020-07-31 | 2020-11-27 | 青岛海尔科技有限公司 | 操作识别方法和装置、存储介质及电子装置 |
CN112000241B (zh) * | 2020-07-31 | 2023-11-28 | 青岛海尔科技有限公司 | 操作识别方法和装置、存储介质及电子装置 |
CN112486394A (zh) * | 2020-12-17 | 2021-03-12 | 南京维沃软件技术有限公司 | 信息处理方法、装置、电子设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110213407B (zh) | 2021-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102664688B1 (ko) | 가상 캐릭터 기반 촬영 모드를 제공하는 전자 장치 및 이의 동작 방법 | |
KR101453815B1 (ko) | 사용자의 시점을 고려하여 동작인식하는 인터페이스 제공방법 및 제공장치 | |
TWI701941B (zh) | 圖像處理方法及裝置、電子設備及儲存介質 | |
US9632592B1 (en) | Gesture recognition from depth and distortion analysis | |
US10878285B2 (en) | Methods and systems for shape based training for an object detection algorithm | |
CN111970456B (zh) | 拍摄控制方法、装置、设备及存储介质 | |
US9304582B1 (en) | Object-based color detection and correction | |
CN110035218A (zh) | 一种图像处理方法、图像处理装置及拍照设备 | |
US10607069B2 (en) | Determining a pointing vector for gestures performed before a depth camera | |
CN110213491B (zh) | 一种对焦方法、装置及存储介质 | |
CN114138121B (zh) | 用户手势识别方法、装置、系统、存储介质及计算设备 | |
CN108668086A (zh) | 自动对焦方法、装置、存储介质及终端 | |
CN110471580B (zh) | 基于光标签的信息设备交互方法及系统 | |
CN105262538B (zh) | 一种光信息定位系统 | |
US9558563B1 (en) | Determining time-of-fight measurement parameters | |
CN110213407A (zh) | 一种电子装置的操作方法、电子装置和计算机存储介质 | |
KR102077665B1 (ko) | 혼합 현실에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법 | |
CN113870213A (zh) | 图像显示方法、装置、存储介质以及电子设备 | |
CN111913560A (zh) | 虚拟内容的显示方法、装置、系统、终端设备及存储介质 | |
CN115278084A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN114756162B (zh) | 触控系统及方法、电子设备及计算机可读存储介质 | |
JP7293362B2 (ja) | 撮影方法、装置、電子機器及び記憶媒体 | |
CN106127858B (zh) | 一种信息处理方法及电子设备 | |
CN111009035B (zh) | 模拟场景的创建方法及装置 | |
CN111857461B (zh) | 图像显示方法、装置、电子设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |