CN116193243B - 拍摄方法和电子设备 - Google Patents

拍摄方法和电子设备 Download PDF

Info

Publication number
CN116193243B
CN116193243B CN202111460030.7A CN202111460030A CN116193243B CN 116193243 B CN116193243 B CN 116193243B CN 202111460030 A CN202111460030 A CN 202111460030A CN 116193243 B CN116193243 B CN 116193243B
Authority
CN
China
Prior art keywords
image
electronic device
user
gesture
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111460030.7A
Other languages
English (en)
Other versions
CN116193243A (zh
Inventor
朱世宇
王永华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to EP22856863.0A priority Critical patent/EP4210312A4/en
Priority to PCT/CN2022/115046 priority patent/WO2023093167A1/zh
Publication of CN116193243A publication Critical patent/CN116193243A/zh
Application granted granted Critical
Publication of CN116193243B publication Critical patent/CN116193243B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Abstract

一种拍摄方法。实施本申请实施例提供的拍摄方法,智能手机、智能电视等终端电子设备可以通过识别到的用户做出的手势确定变更拍摄模式。其中,电子设备可根据图像帧序列中用户手的位置的变化轨迹,通过位置变化中是否有两个方向的手部运动来更加精确地识别用户的挥手或滑动手势,降低挥手与滑动这两个极为相识的手势误识别率,进而提升用户使用体验。

Description

拍摄方法和电子设备
技术领域
本申请涉及终端领域,尤其涉及拍摄方法和电子设备。
背景技术
手机等电子设备提供了多种拍摄模式,用户可以在不同的场景下选择适合当前场景的拍摄模式以获得更好的拍摄体验。然而,现有的切换拍摄模式的过程需要用户点击屏幕上的控件完成。通过用户点击屏幕实现切换拍摄模式的方法对用户而言是不方便的。
发明内容
本申请提供了一种拍摄方法。实施上述方法,电子设备可以更加准确地识别用户做出的手势为挥手手势或滑动手势。
第一方面,本申请实施例提供了一种拍摄方法,该方法可应用于电子设备,该电子设备包括第一摄像头和第二摄像头,该方法包括:显示第一界面,第一界面包括第一预览窗和第二预览窗,第一预览窗显示第一摄像头实时采集的图像,第二预览窗显示第二摄像头实时采集的图像;检测到用户的第一手势;响应于第一手势,显示第二界面,第二界面包括第三预览窗,第三预览窗显示第一摄像头或第二摄像头实时采集的图像;其中,检测到用户的第一手势,包括:采集第一图像,第一图像为第一摄像头或第二摄像头所采集的图像,第一图像包括手部图像,手部图像位于第一图像的第一位置;采集第二图像,第二图像为第一摄像头或第二摄像头所采集的图像,第二图像包括手部图像,手部图像位于第二图像的第二位置,第二位置与第一位置不同;基于第一位置和第二位置,确定第一手势。
实施第一方面提供的方法,电子设备可以根据识别到的用户的手势,控制切换不同的拍摄模式。其中,电子设备可根据两帧图像中手部图像所处的位置,确定用户做出的手势的运动轨迹,然后,根据识别到的运动轨迹识别用户做出的手势。
结合第一方面提供的实施例,在一些实施例中,基于第一位置和第二位置,确定第一手势,包括:基于第一位置确定第一位移向量,第一位移向量包括第一方向信息,第一方向信息用于标识第一位移向量的方向;基于第二位置确定第二位移向量,第二位移向量包括第二方向信息,第二方向信息用于标识第二位移向量的方向;基于第一位置和第二位置,包括:基于第一位移向量和第二位移向量,确定第一手势。
实施上述实施例提供的方法,电子设备可根据采集到的两帧图像中的手部图像所处的位置确定指示这两帧图像中手的运动方向的向量。通过比较两向量的方向是否相同,电子设备可确定用户做出的手势是否为预设的某一手势。
结合第一方面提供的实施例,在一些实施例中,该方法还包括:采集第三图像,第三图像是在采集第一图像之后、采集第二图像之前采集的图像;第三图像包括手部图像,手部图像位于第三图像的第三位置,第三位置与第一位置和第二位置均不同;基于第一位置确定第一位移向量,包括:基于第一位置和第三位置确定第一位移向量;基于第二位置确定第二位移向量,包括:基于第二位置和第三位置确定第二位移向量。
实施上述实施例提供的方法,电子设备还可获取第一图像和第二图像之间的图像,即第三图像。利用第三图像和第一图像中手部图像所处的位置,电子设备可确定第一位移向量;利用第三图像和第二图像中手部图像所处的位置,电子设备可确定第二位移向量。进而,电子设备可以通过第一位移向量和第二位移向量的方向确定用户做出的手势是否为预设的某一手势。
结合第一方面提供的实施例,在一些实施例中,基于第一位移向量和第二位移向量,确定第一手势,包括:当第一方向信息和第二方向信息相同时,确定第一手势为滑动手势。
实施上述实施例提供的方法,在得到第一位移向量、第二位移向量之后,电子设备可以通过第一位移向量和第二位移向量包含的第一方向信息和第二方向信息,确定上述两位移向量的方向是否相同。在确定上述两位移向量的方向相同时,电子设备可确认识别到用户做出预设的滑动手势。
结合第一方面提供的实施例,在一些实施例中,该方法还包括:当第一方向信息和第二方向信息不同时,确定第一手势为挥手手势。
实施上述实施例提供的方法,挥手手势也可作为预设的控制拍摄模式切换的手势。如果第一方向信息和第二方向信息不同,则电子设备可确认识别到用户做出预设的挥手手势。
结合第一方面提供的实施例,在一些实施例中,第一位置为:手部图像在第一图像的第一坐标轴上的对应位置,其中,第一坐标轴与地面平行;第二位置为:手部图像的特征点在第二图像的第一坐标轴上的位置;第三位置为:手部图像的特征点在第三图像的第一坐标轴上的位置;第一方向信息为第一坐标轴的正方向或负方向;第二方向信息为第一坐标轴的正方向或负方向。
实施上述实施例提供的方法,电子设备可以在图像帧中建立水平坐标轴,并利用上述水平坐标轴确定各个图像帧中手部图像的在整个图像帧的位置。进而,利用上述位置,电子设备可确定图像帧序列中手部图像的运动轨迹,即用户完成手势过程中手的运动轨迹。
结合第一方面提供的实施例,在一些实施例中,第一坐标轴的正方向为水平从左向右的方向,在确定第一手势为滑动手势之后,该方法还包括:当第一方向信息为第一坐标轴的正方向时,确定第一手势为滑动手势中的右滑手势;当第一方向信息为第一坐标轴的负方向时,确定第一手势为滑动手势中的左滑手势。
实施上述实施例提供的方法,在识别到滑动手势的基础上,电子设备还可根据第一位移向量和第二位移向量的方向,确定用户做出的手势具体为左滑手势还是右滑手势。这样,左滑和右滑均可以预设的特定手势供用户控制切换拍摄模式。
结合第一方面提供的实施例,在一些实施例中,基于第一位置和第三位置确定第一位移向量,包括:第一位置和第三位置之间的位置差为第一位移向量的模,第一位置指向第三位置的方向为第一位移向量的第一方向信息。
实施上述实施例提供的方法,电子设备可以通过前后两帧图像中手部图像的位置,确定表征上述两帧图像中手部图像的运动轨迹的第一位移向量。
结合第一方面提供的实施例,在一些实施例中,基于第一位置和第三位置确定第一位移向量,包括:利用第一位置和第三位置确定第四位置,第四位置和第三位置之间的位置差为第一位移向量的模,第四位置指向第三位置的方向为第一位移向量的第一方向信息。
实施上述实施例提供的方法,电子设备可利用帧图像中手部图像的位置确定每帧图像中手部图像的平滑位置。该平滑位置是虚拟的,可延缓两帧图像中手部图像的运动位移。然后,电子设备利用该图像帧中手部图像的平滑位置和实际位置,确定第一位移向量。这样,当某一帧图像相对于前一帧图像存在略微的反方向的运动时,电子设备不会因为上述略微的反方向的运动而发生误识别。
结合第一方面提供的实施例,在一些实施例中,利用第一位置和第三位置确定第四位置,包括:确定第一位置对应的第五位置,计算第五位置和第三位置的中间位置,确定中间位置为第四位置。
实施上述实施例提供的方法,电子设备可根据前一图像中手部图像的平滑位置和后一帧图像中手部图像的实际位置确定该后一帧图像中手部图像的平滑位置。
结合第一方面提供的实施例,在一些实施例中,在检测到用户的第一手势之前,该方法还包括:检测到第一操作;响应于第一操作,开始拍摄。
实施上述实施例提供的方法,电子设备可以在拍摄视频的过程中识别用户的手势,同时切换拍摄模式,从而使得切换后的拍摄过程更加符合用户需求或当前拍摄场景的需求,进而提升用户使用体验。
结合第一方面提供的实施例,在一些实施例中,第一操作包括:作用于第一控件的操作,第一控件显示在第一界面上;或者,识别到用户做出第二手势的操作,第二手势与第一控件对应。
实施上述实施例提供的方法,电子设备可以通过作用于用户界面的控件开启拍摄,也可以通过识别到控制拍摄的特定手势来开启拍摄。
结合第一方面提供的实施例,在一些实施例中,第一摄像头为前置摄像头,第二摄像头为后置摄像头;或者,第一摄像头为前置摄像头,第二摄像头为前置摄像头;或者,第一摄像头为后置摄像头,第二摄像头为后置摄像头。
实施上述实施例提供的方法,电子设备实现双景或多景拍摄所使用的摄像头可以同时为前置摄像头和后置摄像头,也可以同时为前置摄像头或同时为后置摄像头。
第二方面,本申请提供了一种电子设备,该电子设备包括一个或多个处理器和一个或多个存储器;其中,一个或多个存储器与一个或多个处理器耦合,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当一个或多个处理器执行计算机指令时,使得电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
第三方面,本申请提供一种计算机可读存储介质,包括指令,当上述指令在电子设备上运行时,使得上述电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
第四方面,本申请提供一种包含指令的计算机程序产品,当上述计算机程序产品在电子设备上运行时,使得上述电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
可以理解地,上述第二方面提供的电子设备、第三方面提供的计算机存储介质、第四方面提供的计算机程序产品均用于执行本申请第一方面提供的方法。因此,其所能达到的有益效果可参考对应方法中的有益效果,此处不再赘述。
附图说明
图1A-图1B为本申请实施例提供的一组设置双景拍摄模式的用户界面;
图2A-图2I为本申请实施例提供的一组识别左滑手势切换双景拍摄模式的用户界面;
图3A-图3F为本申请实施例提供的一组识别右滑手势切换双景拍摄模式的用户界面;
图4A-图4D为本申请实施例提供的一组识别翻手手势切换双景拍摄模式的用户界面;
图5A-图5B为本申请实施例提供的一组识别握拳手势切换双景拍摄模式的用户界面;
图6A为本申请实施例提供的挥手手势的运动轨迹示意图;
图6B为本申请实施例提供的右滑手势的运动轨迹示意图;
图7为本申请实施例提供的一种电子设备识别挥手手势或滑动(左滑或右滑)手势的流程图;
图8A为本申请实施例提供的电子设备识别到挥手手势的示意图;
图8B为本申请实施例提供的电子设备识别到右滑手势的示意图;
图9为本申请实施例提供的另一种电子设备识别挥手手势或滑动(左滑或右滑)手势的流程图;
图10A为本申请实施例提供的电子设备识别到挥手手势的示意图;
图10B为本申请实施例提供的电子设备计算第一帧图像的平滑位置的示意图;
图10C为本申请实施例提供的电子设备识别到右滑手势的示意图;
图10D为本申请实施例提供的电子设备识别到右滑手势的示意图;
图11为本申请实施例提供电子设备的软件架构图;
图12为本申请实施例提供电子设备的硬件架构图。
具体实施方式
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。
手机等电子设备提供了多种拍摄模式,用户可以在不同的场景下选择适合当前场景的拍摄模式以获得更好的拍摄体验。然而,现有的切换拍摄模式的过程需要用户点击屏幕上的控件完成。通过用户点击屏幕实现切换拍摄模式的方法对用户而言是不方便的。
为了方便用户切换拍摄视频时的拍摄模式,本申请实施例提供了一种拍摄方法。实施本申请实施例提供了拍摄方法,智能手机、智能电视等终端电子设备(电子设备100)可以在显示预览图像时或拍摄视频时,识别用户做出的特定手势。在确认识别到特定手势之后,电子设备100可依据识别到的手势的类型切换拍摄模式。本申请方法不仅适用于拍摄视频或者图片时的预览阶段,也适用于开始视频拍摄后,视频拍摄过程中的拍摄阶段。
在本申请实施例中,上述拍摄模式是指电子设备100开启多个摄像头进行多景拍摄时的不同组合和显示类型,包括使用多个后置摄像头进行拍摄的模式、同时使用前置摄像头和后置摄像头进行拍摄的模式以及使用多个前置摄像头进行拍摄的模式等。
上述特定的手势包括滑动手势。上述滑动手势包括左滑手势和右滑手势。其中,滑动手势(左滑手势和右滑手势)与挥手手势手的运动轨迹相似,因此,电子设备容易将滑动手势识别为挥手手势,从而发生识别错误。这里,挥手手势是指手掌张开左右来回摆动的手势,例如用户在见面打招呼时或告别再见时左右挥手的动作。滑动包括左滑和右滑。以左滑为例,左滑手势是指手掌张开向左滑动的动作。
实施本申请实施例提供的拍摄方法,电子设备100可以根据图像帧序列中用户手的位置的变化轨迹,更加精确地识别用户的挥手或滑动手势,降低挥手与滑动这两个极为相识的手势误识别率,进而提升用户使用体验。
不限于手机、智能电视,电子设备100还可以是平板电脑、桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本,以及蜂窝电话、个人数字助理(personal digital assistant,PDA)、增强现实(augmented reality,AR)设备、虚拟现实(virtual reality,VR)设备、人工智能(artificial intelligence,AI)设备、可穿戴式设备、车载设备、智能家居设备和/或智慧城市设备,本申请实施例对该电子设备的具体类型不作特殊限制。
图1A-图1B、图2A-图2I、图3A-图3F、图4A-图4D以及图5A-图5B示例性示出了一组电子设备100实施本申请实施例提供的拍摄方法的用户界面。下面,结合上述用户界面,具体介绍电子设备100实施本申请实施例提供的拍摄方法场景。
首先,图1A示例性示出了电子设备100上运行相机应用进行双景拍摄的用户界面。相机应用是指调用电子设备100的摄像头为用户提供拍摄照片或视频服务的应用程序。双景拍摄是指同时调用电子设备100的多个摄像头,并在预览界面中显示上述多个摄像头采集的图像,以使得用户可以同时拍摄包括多个视野的视频。
如图1A所示,该用户界面可包括预览窗101、预览窗102。预览窗101、预览窗102可用于显示电子设备100的前置或后置摄像头采集的图像。预览窗可用于实时显示电子设备100的摄像头采集的图像。当检测到拍摄操作(如拍摄照片)时,电子设备100可将预览窗中显示的图像保存为图片;或,当检测到拍摄操作(如拍摄视频)时,电子设备100可在预览窗101和/或预览窗102中显示正在拍摄的视频,停止拍摄后,保存为视频。预览窗101和/或预览窗102(其他预览窗同理)不仅仅显示预览时摄像头采集的图像,也显示拍摄视频时的预览画面(即摄像头采集的图像)。本申请方法中所指的预览窗可以指的是拍摄视频或者图片时的预览阶段的预览窗,也可以指的是开始视频拍摄后,视频拍摄过程中的预览窗口(可以理解为,点击图1A的控件115开始拍摄,预览窗101和预览窗102显示视频拍摄过程中的预览画面,再次点击控件115,结束拍摄)。
默认的,在进入双景拍摄模式后,电子设备100可执行双景拍摄中的“前/后”模式。上述“前/后”模式是指:同时调用电子设备100的一个前置摄像头和一个后置摄像头进行双景拍摄,并且均分显示上述两个摄像头采集的图像的拍摄模式。如图1A所示,此时,预览窗101显示后置摄像头采集的图像,预览窗102显示前置摄像头采集的画面;也可以,预览窗101显示前置摄像头采集的图像,预览窗102显示后置摄像头采集的画面。
图1A所示的用户界面还包括控件111。控件111可用于切换双景拍摄的拍摄模式。上述拍摄模式除前述介绍的“前/后”模式之外,还包括“后/后”、“前/前”“画中画”、“后”、“前”等模式。
上述“后/后”模式是指:同时调用电子设备100的两个不同的后置摄像头进行双景拍摄,并且均分显示上述两个摄像头采集的图像的拍摄模式。上述两个不同的后置摄像头例如普通后置摄像头和广角后置摄像头。上述“画中画”模式是指:同时调用电子设备100的一个前置摄像头和一个后置摄像头进行双景拍摄,并且将前置摄像头采集的图像以窗口的形式嵌入到后置摄像头采集的图像中的拍摄模式,例如:图1B中窗口117中所示的“画中画”:屏幕中主要显示的为后置摄像头采集的风景;前置摄像头采集的人像以小的浮窗的形式嵌入在后置摄像头采集的图像的左上方。上述“后”模式是指:调用电子设备100的一个前置摄像头和一个后置摄像头进行双景拍摄,但是仅显示后置摄像头采集的图像的拍摄模式。上述“前”模式是指:调用电子设备100的一个前置摄像头和一个后置摄像头进行双景拍摄,但是仅显示前置摄像头采集的图像的拍摄模式。可以理解的,上述“后”模式也可以指示调用一个后置摄像头进行拍摄的拍摄模式。同样的,上述“前”模式也可以指示调用一个前置摄像头的进行拍摄的拍摄模式。上述“后”模式切换为“前”模式即为后置摄像头切换前置摄像头的切换操作;相应地,“前”模式切换为“后”模式即为前置摄像头切换后置摄像头的切换操作。
此外,该用户界面还可包括控件112、控件113、控件114、控件115、控件116。控件112可用于控制开启/关闭电子设备100的闪光灯。控件113可用于调节前置摄像头的焦距。控件114可用于显示已拍摄的照片或视频。控件115可用于控制开始/结束双景拍摄。控件116可用于为用户提供更多的设置拍摄参数的功能,这里不再赘述。
电子设备100可检测到作用于控件111的用户操作,上述用户操作例如是点击操作。响应于上述操作,电子设备100可显示图1B所示的用户界面。该用户界面中显示有窗口117。窗口117中显示有上述“前/后”、“后/后”等拍摄模式。此时,电子设备100可检测到作用于任一拍摄模式的用户操作,并将当前使用的双景拍摄的模式设置为上述用户选择的拍摄模式。
在图1A和图1B所示的用户界面中,上述切换双景拍摄的拍摄模式的过程需要用户点击屏幕的操作。在多数双景拍摄的场景下,通过用户点击屏幕实现切换拍摄模式的方法对用户而言是不方便的。为例避免上述问题,在本申请实施例中,电子设备100可以通过识别用户的手势,切换双景拍摄不同拍摄模式。
例如,在图1A所示的拍摄场景下,用户可伸出手掌左滑以控制电子设备100关闭预览窗101,从而实现将图1A所示的“前/后”模式切换到“前”或“后”拍摄模式。
在用户可伸出手掌左滑时,电子设备100可采集到包含上述手势的图像帧序列,参考图2A中预览窗102。识别上述图像帧序列,电子设备100可确定用户执行了左滑手势。响应于识别到上述左滑手势,电子设备100可关闭预览窗101,参考图2B。此时,电子设备100可全屏显示原预览窗102中前置摄像头采集的图像,即将图1A所示的“前/后”模式切换到“前”模式。
在图2B所示的拍摄场景下,用户可执行左滑手势以控制电子设备100重新显示两个预览窗,从而将图2B所示的“前”模式切换到“前/后”拍摄模式。
同样的,在用户执行左滑手势时,电子设备100可采集到包含上述手势的图像帧序列,参考图2C中预览窗102。响应于识别到上述左滑手势,电子设备100可重新显示预览窗101,参考图2D。此时,预览窗101可显示前置摄像头采集的图像,预览窗102可显示后置摄像头采集的图像。
在图2D所示的拍摄场景下,电子设备100可再次识别到用户执行左滑手势,响应于识别到上述左滑手势,电子设备100可再次关闭预览窗101,参考图2E。电子设备100可全屏显示原预览窗102中后置摄像头采集的图像,即将图2D所示的“前/后”模式切换到“后”拍摄模式。然后,在检测到用户执行左滑手势后,电子设备100又可重新显示预览窗101,即回到“前/后”的双景拍摄模式,参考图2F。此时,预览窗101可显示后置摄像头采集的图像,预览窗102可显示后置摄像头采集的图像。
可以理解的,在图2E所示的场景下,虽然电子设备100没有显示前置摄像头采集的图像,但是,前置摄像头仍然处于工作状态。电子设备100可以识别前置摄像采集的图像。因此,在图2E所示的场景下,在识别到前置摄像头采集的图像包含左滑手势时,电子设备100可执行图2E-图2F的切换。
此外,不限于前置摄像头,电子设备100还可识别后置摄像头采集的图像。当识别到后置摄像头采集的图像包含左滑手势时,电子设备100也可执行图2E-图2F的切换。
此时,图2F与图2A所示的拍摄状态相同。即在图2E所示的拍摄状态下,在检测到左滑手势后,电子设备100可回到图2A所示的“前/后”模式中,且预览窗101显示后置摄像头采集的图像,预览窗102显示后置摄像头采集的图像。
依次类推,在多次识别到用户的左滑手势的过程中,电子设备100可重复图2A-图2E所示的过程,以供用户通过左滑手势控制切换双景拍摄模式。
上述重复图2A-图2E所示控制方法可以概括为:在上下分屏显示的“前/后”模式中,每识别到依次用户的左滑手势,电子设备100可以关闭在上的预览窗(预览窗101),从而全屏显示在下的预览窗(预览窗102)所对应的摄像头采集的图像。在“前”或“后”拍摄模式中,每识别到依次用户的左滑手势,电子设备100会将一个全屏预览窗分割为上下两个预览窗(预览窗101和预览窗102),并在预览窗101中显示当前全屏显示的图像,在预览窗102中显示前一过程中被关闭的预览窗101对应的摄像头采集的图像。
可以理解的,以图2A为例,在图2A所示识别到用户左滑手势的过程中,在检测到用户举起手掌之后,电子设备100可显示图2G所示的用户界面。该用户界面中可包括控件21。控件21可标识检测到用户举起手掌的动作。控件21包括环形的加载圈(如图中的黑色部分标识进度,灰色部分标识剩余时间)。该加载圈可表示一个计时器。该加载圈可提示用户在该加载圈加载完成之前完成手势。这时,电子设备100识别到用户举起手掌的图像帧到加载圈加载完成时采集的图像帧为电子设备100识别用户手势的图像帧。
在一些实施例中,上述控件21还可指示用户在加载圈加载完成之后完成手势。这时,电子设备100可获取加载圈加载完成之后的一段时间内的图像帧作为电子设备100识别用户手势的图像帧。可选的,该控件21也可以不显示,识别到用户举起手掌的动作开始,电子设备获取开始后的一段时间内的图像帧作为电子设备100识别用户手势的图像帧。
后续的,图2C、图2E等检测到作用做出左滑手势的用户界面中,电子设备100也会相应的在检测到用户举起手掌后显示控件21,指示用户完成手势,并获取用户完成手势时图像帧用于识别用户完成的手势。参考图2H、图2I后续实施例不再赘述。
电子设备100还可识别用户的右滑手势,进而控制变更双景拍摄的拍摄模式。
例如,在图1A所示的拍摄场景下,用户可伸出手掌右滑以控制电子设备100关闭预览窗102,以不同于图2A-图2E所示的方式,实现将图1A所示的“前/后”模式切换到“前”或“后”拍摄模式。
在用户可伸出手掌右滑时,电子设备100可采集到包含上述手势的图像帧序列,参考图3A中预览窗102。识别上述图像帧序列,电子设备100可确定用户执行了右滑手势。响应于识别到上述右滑手势,电子设备100可关闭预览窗102,参考图3B。此时,电子设备100可全屏显示原预览窗101中后置摄像头采集的图像,即将图1A所示的“前/后”模式切换到“后”拍摄模式。
在图3B所示的拍摄场景下,用户可执行右滑手势以控制电子设备100重新显示两个预览窗,从而将图3B所示的“后”模式切换到“前/后”拍摄模式。
在电子设备100显示图3B所示的用户界面时,即未显示前置摄像头采集的包含人像的图像时,电子设备100的前置摄像头可采集图像,并识别用户会否执行右滑手势。响应于识别到用户执行的右滑手势,电子设备100可重新显示预览窗102,即回到“前/后”模式的双景拍摄模式,参考图3C。此时,预览窗101可显示前置摄像头采集的图像,预览窗102可显示后置摄像头采集的图像。
在图3C所示的拍摄场景下,电子设备100可再次识别到用户的右滑手势,参考图3D。响应于识别到上述右滑手势,电子设备100可再次关闭预览窗102,参考图3E。此时,电子设备100可全屏显示原预览窗101中前置摄像头采集的图像,即将图3D所示的“前/后”模式切换到“前”模式。
然后,在检测到用户执行右滑手势后,电子设备100又可重新显示预览窗102,参考图3F。此时,预览窗101可显示后置摄像头采集的图像,预览窗102可显示后置摄像头采集的图像。此时,图3F与图3A所示的拍摄状态相同。即在图3E所示的拍摄状态下,在检测到左滑手势后,电子设备100可回到图3A所示的“前/后”模式中,且预览窗101显示后置摄像头采集的图像,预览窗103显示后置摄像头采集的图像。
依次类推,在多次识别到用户的右滑手势的过程中,电子设备100可重复图3A-图3E所示的过程,以供用户通过右滑手势控制切换双景拍摄模式。
电子设备100还可识别翻手手势。上述翻手手势是指:手掌张开、手心面对电子设备100翻转为手掌张开、手背面对电子设备100,或者手掌张开、手背面对电子设备100翻转为手掌张开、手心面对电子设备。翻手手势可用于控制电子设备100将切换预览窗中显示的图像。
例如,在图1A所示的拍摄场景下,用户可执行翻手手势以控制电子设备100交换预览窗101和预览102中显示的图像。
具体的,在用户执行翻手手势时,电子设备100可采集到包含上述手势的图像帧序列,参考图4A中预览窗102。响应于识别到上述翻手手势,参考图4B,电子设备100可在预览窗101中显示前置摄像头采集的包含用户人像的图像(原预览窗102中显示的图像),在预览窗102中显示前置摄像头采集的图像(原预览窗101中显示的图像),即交换预览窗101和预览102中显示的图像。
如图4C-图4D所示,在电子设备100正在全屏显示前置摄像头采集的图像的场景下,当检测到用户执行翻手手势时,电子设备100可将当前正在屏幕中显示前置摄像头采集的图像切换为后置摄像头采集的图像。
反之,在电子设备100正在全屏显示后置摄像头采集的图像的场景下,当检测到用户执行翻手手势时,电子设备100可将当前正在屏幕中显示后置摄像头采集的图像切换为前置摄像头采集的图像。
电子设备100还可识别握拳手势。上述握拳手势是指:手指向掌心弯曲使得五指张开的手掌变为拳头的手势。握拳手势可用于控制电子设备100切换“画中画”模式的双景拍摄。
在图1A所示的拍摄场景下,用户可执行握拳手势。在用户执行翻手手势时,电子设备100可采集到包含上述手势的图像帧,参考图5A中预览窗102。响应于识别到上述握拳手势,参考图5B,电子设备100可以将前置摄像头采集的图像以小窗口的形式嵌入到全屏显示的后置摄像头采集的图像中,即“画中画”。
不限于前述实施例介绍的“前/后”、“后/后”、“画中画”等双景拍摄模式,电子设备100还可支持其他类型的双景拍摄,或多景拍摄。相应地,不限于前述实施例介绍的左滑、右滑、翻转、握拳手势,电子设备100还可识别其他形式的手势,本申请实施例对此不作限制。
在前述介绍的多个手势中,左滑、右滑手势与用户见面或再见时打招呼的挥手手势十分相似。因此,电子设备100容易将用户做出的挥手手势识别为左滑或右滑手势。在一些实施例中,挥手手势没有关联特定的控制操作。这时,将挥手手势识别为左滑或右滑手势会引起非用户意图的控制切换操作,即用户不需要电子设备100执行任何动作,而电子设备100自行执行了一些操作。在一些实施例中,挥手手势也可以关联有特定的控制操作。这时,将挥手手势识别为左滑或右滑手势会导致:用户想要电子设备100执行的动作未执行,而电子设备100执行了用户不需要的操作。
为例避免上述情况,电子设备100可识别图像帧序列中用户手的位置的变化轨迹,更精确地判断用户做出的是挥手手势,还是滑动(左滑或右滑,后续以右滑为例)手势。
具体的,图6A和图6B分别示出了:在执行挥手与左滑手势时,用户手的位置的变化轨迹示意图。
首先,参考图6A,图6A为执行挥手手势时用户手的位置的变化轨迹示意图。图6A示出了电子设备100采集到的用户执行挥手手势的4帧图像,记为S1、S2、S3、S4。其中,S1为上述4帧图像中电子设备100首先采集到的,其次为S2、S3,最后为S4。
上述S1、S2、S3、S4可以是相邻的4帧图像,也可以是不相邻的。例如,上述S1、S2、S3、S4可以分别为电子设备100采集的第N帧、第N+1帧、第N+2帧、第N+3帧图像。或者,上述S1、S2、S3、S4可以分别为电子设备100采集的第N帧、第N+Q帧、第N+2Q帧、第N+3Q帧图像。或者,上述S1、S2、S3、S4还可以分别为电子设备100采集的第N帧、第N+Q1帧、第N+Q2帧、第N+Q3帧图像,其中Q1<Q2<Q3。同理图6B中,H1、H2、H3、H4也同样适用,后续不再进行赘述。
在识别图像帧中用户的手之后,电子设备100可定位图像帧中手的水平位置。上述水平位置可通过水平X轴表示。其X轴的原点可以为图像帧左端像素点起始位置,也可以为用户头部中心点位置等,本申请实施例对此不作限制。
例如,以S1为例,以图像帧左侧起始像素点为原点,从左到右的方法为X轴正方向,此时用户手的水平位置可表示为X(S1)。依次类推,S2、S3、S4中用户手的水平位置依次为X(S2)、X(S3)、X(S4)。
电子设备100采集到S1、S2、S3、S4的顺序依次为:S1、S2、S3、S4,即电子设备100最先采集到S1、其次为S2、S3,最后为S4。电子设备100采集的S1、S2、S3、S4可分别记为T(S1)、T(S2)、T(S3)、T(S4)。其中,较早采集的图像在时间轴上距离时间轴原点的距离越近。于是,T(S1)<T(S2)<T(S3)<T(S4)。
以图像帧出现的时间为坐标纵轴,手的水平位置为坐标横轴,可建立图6A中的二维空间坐标系。以图像帧出现时间的先后顺序,将图像帧中手的水平位置输入到上述二维空间坐标系中,可得到手的位置的变化轨迹示意图,参考图6A中右侧附图。如图6A所示,T(S1)时刻获得的图像帧S1中手在水平轴上的位置为X(S1);T(S2)时刻获得的图像帧S2中手在水平轴上的位置为X(S2);T(S3)时刻获得的图像帧S3中手在水平轴上的位置为X(S3);T(S4)时刻获得的图像帧S4中手在水平轴上的位置为X(S4)。该图可表示用户在执行挥手手势时用户的手在图像帧中的运动轨迹。
在上述右侧附图中,X(S1)、X(S2)、X(S3)依次增加。这一过程可表示用户的手正在向右运动。X(S3)到X(S4)则骤降。这一过程可表示用户的手的运动方向发生了变化,即从X(S3)所示的位置向左运动到了X(S4)所示的位置。用户的手可继续向左运动,当到达某一位置时,用户的手又会改变方向向右运动。如此左右往复的手部运动即组成了用户的挥手手势。
参考图6B,图6B为执行右滑手势时用户手的位置的变化轨迹示意图。图6B示出了电子设备100采集到的用户执行挥手手势的4帧图像,记为H1、H2、H3、H4。其中,H1为上述4帧图像中电子设备100首先采集到的,其次为H2、H3,最后为H4。电子设备100采集的H1、H2、H3、H4可分别记为T(H1)、T(H2)、T(H3)、T(H4)。其中,较早采集的图像在时间轴上距离时间轴原点的距离越近。于是,T(H1)<T(H2)<T(H3)<T(H4)。
同样的,在识别图像帧中用户的手之后,电子设备100可定位图像帧中手的水平位置X。此时,H1、H2、H3、H4中用户手的水平位置可分别表示为X(H1)、X(H2)、X(H3)、X(H4)。
同样,以图像帧出现的时间为坐标纵轴,手的水平位置为坐标横轴,建立二维空间坐标系。以图像帧出现时间的先后顺序,将图像帧中手的水平位置输入到上述二维空间坐标系中,可得到手的位置的变化轨迹示意图,参考图6B中右侧附图。如图6B所示,T(H1)时刻获得的图像帧H1中手在水平轴上的位置为X(H1);T(H2)时刻获得的图像帧H2中手在水平轴上的位置为X(H2);T(H3)时刻获得的图像帧H3中手在水平轴上的位置为X(H3);T(H4)时刻获得的图像帧H4中手在水平轴上的位置为X(H4)。该图可表示用户在执行挥手手势时用户的手在图像帧中的运动轨迹。
在上述右侧附图中,X(H1)、X(H2)、X(H3)、X(H4)均依次增加。这一过程可表示用户的手正在向右运动。在图像帧H1、H2、H3、H4示出的用户完成某一手势的过程中,用户手的运动发现一直向右,且未发生变化。因此,上述H1、H2、H3、H4示出的轨迹即为右滑手势的运动轨迹。
左滑手势与图6B所示的向右的运动轨迹相反,这里不再赘述。
图6A所示的挥手手势运动轨迹和图6B所示的右滑手势运动轨迹示出了:挥手手势与滑动(左滑或右滑)手势的区别在于挥手手势包括水平向左和水平向右两个方向的运动,而滑动为单向的(左滑中手的运动方法向左;右滑中手的运动方法向右)。基于上述规则,电子设备100可通过是否存在两个方向的运动来判断用户执行手势是挥手手势还是滑动手势。
图7示出了一种利用运动方向识别挥手手势与滑动手势的方法流程图。
假设用户完成挥手或滑动手势的时长为1秒;电子设备100在1秒内可采集30帧图像。于是,电子设备100可利用上述30帧图像识别用户做出的手势。可以理解的,在实践中,电子设备100可以持续的采集图像,这时,电子设备100可将每30帧图像作为一组图像,利用上述每一组图像识别用户是否做出了挥手、滑动等手势。
上述1秒可称为手势时长。上述30帧可称为帧数量Q。帧数量Q不限于30帧,还可以是60帧等。帧数量Q的具体取值可依据拍摄视频时的帧率的变化而变化。
下面,以帧数量为30帧的一组图像帧序列(原始图像序列)为例,具体介绍电子设备100识别上述原始图像序列,确定用户做出挥手手势或滑动手势的过程。
S701:确定第M帧图像中手的位置HandLocal[M]和第M-1帧图像中手的位置HandLocal[M-1]。
在本申请实施例中,图像帧中的手的位置是指图像帧中包括用户手部图像的区域在该图像帧中的水平方向的位置(水平位置/X轴上的位置)。参考图6A中图像帧S1,X(S1)可称为图像帧S1中手的位置,记为HandLocal[S1]。
第一帧图像中手的位置可表示为HandLocal[1]。依次类推,确定第M帧图像中手的位置可表示为HandLocal[M]。
电子设备100可从帧数量为Q(Q=30帧)的原始图像序列中获取第M帧图像帧和第M-1帧图像,上述M为2到Q的正整数。然后,电子设备100可确定上述第M帧图像帧和第M-1帧图像中手的位置HandLocal[M]和HandLocal[M-1]。
结合图2G所示的用户界面,在电子设备100识别用户的举起手掌之后,电子设备100采集的预设时长内的视频帧可以作为上述第M帧图像,选择上述的采集的预设时长内的视频帧中的哪些帧作为第M帧图像根据前述进行选择,在此不进行赘述。例如,在显示图2G所示的指示用户完成手势的过程中,电子设备100采集的图像帧序列中的任意帧图像可作为上述第M帧图像。
S702:确定第M帧图像与第M-1帧图像中手的位置差OffSet[M]。
在确定HandLocal[M]和HandLocal[M-1]之后,电子设备100可利用上述HandLocal[M]和HandLocal[M-1]确定第M帧图像与第M-1帧图像中手的位置差,记为OffSet[M]。其中:
OffSet[M]=HandLocal[M]-HandLocal[M-1]
假设:第M帧图像中手在X轴上的位置X=1000,即HandLocal[M]=1000;第M-1帧图像中手在X轴上的位置X=899,即HandLocal[M-1]=899,此时,第M帧图像与第M-1帧图像中手的位置差OffSet[M]为:
OffSet[M]=HandLocal[M]-HandLocal[M-1]
=1000-899
=101。
S703:计算相邻两次位置差的乘积并判断上述乘积是否大于等于0。
在确定第M帧图像与第M-1帧图像中手的位置差OffSet[M]之后,电子设备100可确定OffSet[M]与OffSet[M-1]的乘积,即OffSet[M]*OffSet[M-1],并判断上述乘积是否大于等于0。上述OffSet[M-1]为第M-1帧图像中手的位置与第M-2帧图像中手的位置之间的位置差。其计算过程可参考前述S701和S702,这里不再赘述。
OffSet[M]*OffSet[M-1]≥0可表示OffSet[M]>0,OffSet[M-1]>0,或者OffSet[M]<0,OffSet[M-1]<0,即第M-2帧到第M-1帧中手的运动方向与第M-1帧和第M帧中手的运动方向相同。这也就是说,第M-2帧、第M-1帧和第M帧构成的两次运动中未表现出左右往返的运动状态。
当OffSet[M]*OffSet[M-1]<0时,OffSet[M]<0,OffSet[M-1]>0,或者OffSet[M]>0,OffSet[M-1]<0。这意味着,用户的手从第M-2帧图像中的位置移动到第M-1帧图像中的位置的移动方向与从第M-1帧图像中的位置移动到第M帧图像中的位置的移动方向相反。此时,第M-2帧、第M-1帧和第M帧图像中手的运动轨迹表现出左右往返的运动状态。
因此,通过判断上述两个位置差的乘积(OffSet[M]*OffSet[M-1])是否大于等于0,电子设备100可确定原始图像序列中是否出现了左右往返的运动状态,进而确定用户做出的手势是挥手手势还是滑动手势。
S704:如果OffSet[M]*OffSet[M-1]≥0不成立,则电子设备100可确定用户做出挥手手势。
OffSet[M]*OffSet[M-1]≥0不成立表示:以第M-2帧、第M-1帧和第M帧图像反应出的手部的运动轨迹中,前后两次的运动方向不一致,这意味着原始图像序列中至少存在一组左右往返的运动状态。参考图6A和图6B所示的挥手与滑动手势的运动轨迹示意图可知,挥手与滑动手势的区别就在于:滑动手势不否包括运动方法不同的运动状态。因此,当出现一组左右往返的运动状态时,电子设备100可确定用户做出的手势不是左滑或右滑的滑动手势,而是挥手手势。
S705:如果OffSet[M]*OffSet[M-1]≥0成立,则电子设备100可进一步确定M是否小于帧数量Q。
当OffSet[M]*OffSet[M-1]≥0成立时,电子设备100还不能确定用户做出的一定是滑动手势。这时因为,OffSet[M]*OffSet[M-1]≥0仅能证明第M-2帧、第M-1帧和第M帧图像中没有左右往返的运动状态,而并不能指示原始图像序列中都不存在左右往返的运动状态。因此,在OffSet[M]*OffSet[M-1]≥0成立的情况下,电子设备100还需确定第M帧图像是否是最后一帧图像,即M是否小于帧数量Q。
当第M帧图像是最后一帧图像(一般为M=Q)时,即M<Q不成立,电子设备100可确定已识别原始图像序列中全部图像帧,且上述全部图像帧中均不存在左右往返的运动状态。于是,电子设备100可确定用户做出的手势是滑动手势。
当第M帧图像不是最后一帧图像(M=Q)时,即M<Q成立,电子设备100仅能确定从第1帧图像至第M帧图像中不存在一组左右往返的运动状态,而不能从第M帧图像至第Q张图像中不会出现左右往返的运动状态,即不能确定原始图像序列(30帧)中一定不存在左右往返的运动状态。这也就是为什么当确认OffSet[M]*OffSet[M-1]≥0后,电子设备100还需进一步判断当前M是否小于帧数量Q。
如果M<Q成立,则电子设备100当前还无法确定出用户的手势,还需进一步识别第M帧图像后续的图像帧,确认后续图像中是否出现左右往返的运动状态。
具体的,电子设备100可执行M=M+1,即增加M的取值,进而计算第M+1帧图像与第M帧图像之间的位置差OffSet[M+1],然后利用OffSet[M+1]*OffSet[M]>0判断M+1帧、M帧、M-1帧中是否仍然保持同一方向,依次类推,直至最后一帧图像。
可选的,电子设备100可以M=M+N的方式增加M的取值,上述1≤N<Q,N为正整数。例如,以N=5为例,电子设备100可以M=M+5的方式增加M的取值,即前一帧与后一帧间隔4个图像帧(抽帧)。
例如,结合图2G所示的用户界面,在显示控件21的过程中,电子设备100采集的图像帧序列可以为上述Q帧图像。上述S1、S2、S3、S4可以是上述Q帧图像中的第N帧、第N+1帧、第N+2帧、第N+3帧图像。或者,上述S1、S2、S3、S4可以是上述Q帧图像中的第N帧、第N+Q帧、第N+2Q帧、第N+3Q帧图像。或者,上述S1、S2、S3、S4还可以是上述Q帧图像中的第N帧、第N+Q1帧、第N+Q2帧、第N+Q3帧图像,其中Q1<Q2<Q3。
相应地,在以M=M+N的方式增加M的取值的方法中,S701所示的步骤变更为:确定第M帧图像中手的位置HandLocal[M]和第M-N帧图像中手的位置HandLocal[M-N];S702所示的步骤变更为:确定第M帧图像与第M-N帧图像中手的位置差OffSet[M];前后两次位置差的乘积为OffSet[M]*OffSet[M-N]。
S706:确认位置差OffSet[M]是否大于0。
在确认用户做出滑动手势后,进一步的,电子设备100可根据位置差OffSet[M]的方向,确定上述滑动手势具体为左滑手势还是右滑手势。
参考图6A、图6B中的二维坐标系,假设从左到右的水平方向为X轴的正方向,那么OffSet[M]>0可表示前后两帧图像中手的位置发生了从左到右的运动,即右滑。反之,OffSet[M]<0可表示前后两帧图像中手的位置发生了从右到左的运动,即左滑。
可以理解的,如果前述HandLocal[M]、HandLocal[M-1]等描述图像中手的位置的数据是基于从右到左的X轴正方向得到的,那么OffSet[M]>0则表示前后两帧图像中手的位置发生了左滑。反之,OffSet[M]<0则表示前后两帧图像中手的位置发生了右滑。
S707:如果OffSet[M]>0成立,则电子设备100可确认用户做出右滑手势。
在图6A、图6B所示的以从左到右的水平方向为X轴的正方向坐标体系中,当确认OffSet[M]>0时,电子设备100可确认用户做出的滑动手势具体为右滑手势。
S708:如果OffSet[M]>0不成立,则电子设备100可确认用户做出左滑手势。
反之,当OffSet[M]<0时,电子设备100可确认用户做出的滑动手势具体为左滑手势。
在实施图7所示的利用运动方向识别挥手手势与滑动手势的过程中,电子设备100识别到用户的挥手手势的具体过程可参考图8A。
假设:图6A中图像帧S1、S2、S3、S4分为对应第M-2帧、第M-1帧、第M帧、第M+1帧图像。其中,S4为帧数量为Q的原始图像序列中的最后一帧图像,即第M+1帧图像为最后一帧图像。图像帧S1、S2、S3、S4中用户手在图像帧中的水平位置X(S1)、X(S2)、X(S3)、X(S4)即HandLocal[M-2]、HandLocal[M-1]、HandLocal[M]、HandLocal[M+1]。
执行S701所示的步骤:电子设备100可获取第M-1帧、第M帧图像,并分别确定上述两帧图像中用户手在各图像帧中的位置HandLocal[M-1]、HandLocal[M]。
执行S702所示的步骤:电子设备100可利用HandLocal[M-1]、HandLocal[M]确定出第M-1帧、第M帧中用户的手在图像帧中所处位置的位置差OffSet[M]。
执行S703所示的步骤:电子设备100可确定OffSet[M]和OffSet[M-1]的乘积OffSet[M]*OffSet[M-1]。其中,OffSet[M-1]是电子设备100利用HandLocal[M-2]、HandLocal[M-1]按S702所示的步骤计算出的。
如图8A所示,OffSet[M]的方向与X轴正方向相同,即OffSet[M]>0。同样的OffSet[M-1]>0。于是,OffSet[M]*OffSet[M-1]≥0成立。
这时,电子设备100可增加M的取值,重新执行S701所示的步骤。以M=M+1所示的增加M取值的方法为例,重新执行S701时,电子设备100可获取第M帧、第M+1帧图像,并分别确定上述两帧图像中用户手在各图像帧中的位置HandLocal[M]、HandLocal[M+1]。
然后,执行S702所示的步骤:电子设备100可利用HandLocal[M]、HandLocal[M+1]确定出第M帧、第M+1帧图像中用户的手在图像帧中所处位置的位置差OffSet[M+1]。
执行S703所示的步骤:电子设备100可确定OffSet[M+1]和OffSet[M]的乘积OffSet[M+1]*OffSet[M]。其中,OffSet[M]是上一循环中已经确定出的。
如图8A所示,此时,OffSet[M+1]方向与X轴正方向相反,即OffSet[M+1]<0,而OffSet[M]的方向与X轴正方向相同,即OffSet[M]>0。这时,OffSet[M+1]*OffSet[M]<0成立。这意味着,第M-1帧、第M帧和第M+1帧图像构成的用户手的两次运动的运动方向不同,即发生了运动方向改变。于是,电子设备100可识别到用户做出了挥手手势。
在实施图7所示的利用运动方向识别挥手手势与滑动手势的过程中,电子设备100识别到用户的挥手手势的具体过程可参考图8B。
假设:图6B中图像帧T1、T2、T3、T4分为对应第M-2帧、第M-1帧、第M帧、第M+1帧图像。其中,T4为帧数量为Q的原始图像序列中最后一帧图像,即第M+1帧图像为最后一帧图像。图像帧T1、T2、T3、T4中用户手在图像帧中的水平位置X(T1)、X(T2)、X(T3)、X(T4)即HandLocal[M-2]、HandLocal[M-1]、HandLocal[M]、HandLocal[M+1]。
执行S701所示的步骤:电子设备100可获取第M-1帧、第M帧图像,并分别确定上述两帧图像中用户手在各图像帧中的位置HandLocal[M-1]、HandLocal[M]。
执行S702所示的步骤:电子设备100可利用HandLocal[M-1]、HandLocal[M]确定出第M-1帧、第M帧中用户的手在图像帧中所处位置的位置差OffSet[M]。
执行S703所示的步骤:电子设备100可确定OffSet[M]和OffSet[M-1]的乘积OffSet[M]*OffSet[M-1]。其中,OffSet[M-1]是电子设备100利用HandLocal[M-2]、HandLocal[M-1]按S702所示的步骤计算出的。
如图8B所示,OffSet[M]的方向与X轴正方向相同,即OffSet[M]>0。同样的OffSet[M-1]>0。于是,OffSet[M]*OffSet[M-1]≥0成立。
这时,电子设备100可增加M的取值,重新执行S701所示的步骤。同样以M=M+1所示的增加M取值的方法为例,重新执行S701时,电子设备100可获取第M帧、第M+1帧图像,并分别确定上述两帧图像中用户手在各图像帧中的位置HandLocal[M]、HandLocal[M+1]。
执行S703所示的步骤:电子设备100可确定OffSet[M+1]和OffSet[M]的乘积OffSet[M+1]*OffSet[M]。其中,OffSet[M]是上一循环中已经确定出的。
如图8B所示,OffSet[M+1]方向与X轴正方向相同,即OffSet[M+1]>0,同时OffSet[M]的方向与X轴正方向也相同,即OffSet[M]>0。这时,OffSet[M+1]*OffSet[M]≥0仍然成立。但是,此时第M+1帧为原始图像序列中最后一帧图像(M+1=Q),即M+1<Q不成立。
在M+1<Q不成立时,执行S706所示的步骤:电子设备100可确定OffSet[M+1]>0成立。在图8B所示的场景中,当OffSet[M+1]>0成立时,电子设备100可确定用户做出了右滑手势。
然而,在用户完成左滑或右滑手势的过程中,用户最终往往要将手收回、落下。这时,左滑或右滑手势的原始图像序列的后几帧中手的运动方向可能会出现与前一运动状态相反的情况。于是,执行图7所示的利用运动方向识别挥手手势与滑动手势的方法,电子设备100将无法识别上述由于用户自然收回或落下手臂而引起的运动方向相反的情况,进而将左滑或右滑的滑动手势识别为挥手手势。
基于上述问题,进一步的,图9示出了另一种利用运动方向识别挥手手势与滑动手势的方法流程图。相比于图7所示的方法,图9所示的方法中增加了图像帧中手的平滑位置,记为HandOriLocal。不同于前述介绍的图像中的手的位置HandLocal,平滑位置HandOriLocal是计算的中间结果,不指示具体的图像内容,具体参考后续介绍。
S901:确定第M帧图像中手的位置HandLocal[M]。
这里,仍然假设:原始图像序列中图像帧的数量Q=30。电子设备100可从帧数量为Q的原始图像序列中获取第M帧图像帧,上述M为2到Q的正整数。电子设备100可确定上述第M帧图像帧中手的位置HandLocal[M]。
上述确定第M帧图像中手的位置HandLocal[M]的方法可参考图6A、图6B的介绍,这里不再赘述。
S902:确定第M帧图像中手的平滑位置HandOriLocal[M]。
视频帧中的手的平滑位置是该视频帧中手的位置(HandLocal)与前一图像帧中的手的平滑位置的加权均值。因此,第M帧图像中手的平滑位置HandOriLocal[M]可表示为:
HandOriLocal[M]=(W1*HandLocal[M]+W2*HandOriLocal[M-1])/(W1+W2)
上述W1、W2可分别表示HandLocal与HandOriLocal的权重。优选的,W1=1,W2=1,即HandOriLocal[M]为HandLocal[M]与HandOriLocal[M-1]的平均值。后续实施例以W1=1,W2=1为例,展开说明。
当M=1时,第1帧图像中手的平滑位置HandOriLocal[1]=HandLocal[1]。此后,以M=2为例,第2帧图像中手的平滑位置HandOriLocal[2]=(HandLocal[2]+HandOriLocal[1])/2。
S903:确定第M帧图像的位置差OffSet[M]。
在确定第M帧图像中手的位置HandLocal[M]和手的平滑位置HandOriLocal[M]之后,电子设备100可利用上述HandLocal[M]和HandOriLocal[M]确定第M帧图像的位置差OffSet[M]。
OffSet[M]=HandLocal[M]-HandOriLocal[M]
这里,位置差OffSet[M]实际指示的位置差为:第M帧图像中手的位置与第M帧图像中手的平滑位置之间的位置差。其中,第M帧图像的平滑位置是通过第M帧图像中手的位置与第M-1帧图像中手的平滑位置得到的。
S904:计算相邻两次位置差的乘积并判断上述乘积是否大于等于0。
在确定第M帧图像的位置差OffSet[M]之后,电子设备100可确定OffSet[M]与OffSet[M-1]的乘积,即OffSet[M]*OffSet[M-1],并判断上述乘积是否大于等于0。
上述OffSet[M-1]为第M-1帧图像的位置差。上述OffSet[M-1]可通过第M-1帧图像中手的位置与第M-1帧图像中手的平滑位置得到的。其中,第M-1帧图像中手的平滑位置可以通过第M-1帧图像中手的位置与第M-2帧图像中手的平滑位置得到的,这里不再赘述。
后续同图7所示的方法:OffSet[M]*OffSet[M-1]≥0可表示第M-2帧、第M-1帧中手的运动方向与第M-1帧和第M帧中手的运动方向相同。OffSet[M]*OffSet[M-1]<0可表示第M-2帧、第M-1帧中手的运动方向与第M-1帧和第M帧中手的运动方向不同,也就是说,第M-2帧~第M帧图像中手的运动轨迹表现出了左右往返的运动状态。
S905:如果OffSet[M]*OffSet[M-1]≥0不成立,则电子设备100可确定用户做出挥手手势。
S906:如果OffSet[M]*OffSet[M-1]≥0成立,则电子设备100可进一步确定M是否小于帧数量Q。
如果M<Q成立,则电子设备100当前还无法确定出用户的手势,还需进一步识别第M帧图像后续的图像帧,确认后续图像中是否出现左右往返的运动状态。
于是,电子设备100可增加M的取值,重复S901~S904所示的步骤,确定第M帧图像之后的图像帧之间的位置差和位置差乘积,判断第M帧图像之后的图像帧中用户的手的运动是否出现了左右往返的运动状态。
如果M<Q不成立,即第M帧图像是最后一帧图像,则电子设备100可确定原始图像序列中不存在左右往返的运动状态。进一步的,电子设备100可确定用户做出的手势是滑动手势。
S907:确认位置差OffSet[M]是否大于0。
S908:如果OffSet[M]>0成立,则电子设备100可确定用户做出的滑动手势具体为右滑手势。
S909:如果OffSet[M]>0不成立,则电子设备100可确定用户做出的滑动手势具体为左滑手势。
上述S905~S909的具体介绍可参考图7中S704~S708,这里不再赘述。
在实施图9所示的利用运动方向识别挥手手势与滑动手势的过程中,电子设备100识别到用户的挥手手势的具体过程可参考图10A。
同样假设:图6A中图像帧S1、S2、S3、S4分为对应第M-2帧、第M-1帧、第M帧、第M+1帧图像。其中,S4为帧数量为Q的原始图像序列中的最后一帧图像,即第M+1帧图像为最后一帧图像。图像帧S1、S2、S3、S4中用户手在图像帧中的水平位置X(S1)、X(S2)、X(S3)、X(S4)即HandLocal[M-2]、HandLocal[M-1]、HandLocal[M]、HandLocal[M+1]。
如图10A所示,其中,白色矩形框在X坐标轴上的位置可表示上述用户手在该图像帧中的水平位置。因此,白色矩形框在X坐标轴上的位置可记为HandLocal。图10A中,与白色矩形框同一时间(即T轴上的取值相等)的灰色矩形框为该白色矩形框对应的平滑位置。灰色矩形框在X坐标轴上的位置可记为HandOriLocal。上述平滑位置是利用当前图像帧中手部图像在该图像帧中的水平位置和前一图像帧的中手部图像在该图像帧中的平滑位置计算得到的,后续实施例将会详细介绍,这里先不展开。
执行S901所示的步骤:电子设备100可获取第M帧图像,并确定第M帧图像中手在该图像帧中的位置HandLocal[M]。
执行S902所示的步骤:电子设备100可利用HandLocal[M]和HandOriLocal[M-1]确定出第M帧中手的平滑位置HandOriLocal[M]。
HandOriLocal[M]=(HandLocal[M]+HandOriLocal[M-1])/2
其中,HandOriLocal[M-1]=(HandLocal[M-1]+HandOriLocal[M-2])/2。
特别的,当M=1时,HandOriLocal[1]=HandLocal[M]。参考图10B,当M=1时,第M帧图像即为第一帧图像,所以,第M帧图像中手的平滑位置即第M帧图像中手的水平位置。此后,当M=2时,HandOriLocal[2]=(HandLocal[2]+HandOriLocal[1])/2;当M=3时,HandOriLocal[3]=(HandLocal[3]+HandOriLocal[2])/2,依次类推,直至最后一帧图像。
回到图10A中,在电子设备100确定第M帧图像中手的水平位置HandLocal[M]之后,电子设备100可获取HandOriLocal[M-1]。上述HandOriLocal[M-1]为电子设备100利用HandLocal[M-1]、HandOriLocal[M-2]按S902所示的步骤计算出的。
于是,执行HandOriLocal[M]=(HandLocal[M]+HandOriLocal[M-1])/2,电子设备100可得到第M帧图像中手的平滑位置HandOriLocal[M]。
然后,执行S903所示的步骤:OffSet[M]=HandLocal[M]-HandOriLocal[M],电子设备100可得到第M帧图像的位置差OffSet[M]。如图10A所示,此时,OffSet[M]的方向与X轴正方向相同,即OffSet[M]>0。
同时,电子设备100可确定第M-1帧图像的位置差OffSet[M-1]。OffSet[M-1]可通过HandLocal[M-1]和HandOriLocal[M-2]计算得到。OffSet[M-1]的具体计算过程可参考上述OffSet[M]的计算方法,这里不再赘述。如图10A所示,此时,OffSet[M-1]的方向与X轴正方向相同,即OffSet[M-1]>0。
于是,OffSet[M]*OffSet[M-1]≥0成立。
这时,电子设备100可增加M的取值,重新执行S901所示的步骤。同样以M=M+1所示的增加M取值的方法为例,重新执行S901时,电子设备100可获取第M+1帧图像,并确定第M+1帧图像中手在该图像帧中的位置HandLocal[M+1]。
再次执行S902所示的步骤:电子设备100可利用HandLocal[M+1]和HandOriLocal[M]确定出第M+1帧图像中手的平滑位置HandOriLocal[M+1]。
HandOriLocal[M+1]=(HandLocal[M+1]+HandOriLocal[M])/2。
其中,HandOriLocal[M]是上一循环中已经确定出的。
然后,再次执行S903所示的步骤:电子设备100可利用HandLocal[M+1]和HandOriLocal[M+1]确定出第M+1帧图像的位置差OffSet[M+1]。
OffSet[M+1]=HandLocal[M+1]-HandOriLocal[M+1]
如图10A所示,此时,OffSet[M+1]的方向与X轴正方向相反。这时,OffSet[M]<0。而前一循环中,OffSet[M]>0。于是,OffSet[M+1]*OffSet[M]≥0不成立。这意味着,第M-1帧、第M帧和第M+1帧图像构成的用户手的两次运动的运动方向不同,即发生了运动方向改变。于是,电子设备100可识别到用户做出了挥手手势。
在实施图9所示的利用运动方向识别挥手手势与滑动手势的过程中,电子设备100识别到用户的滑动手势的具体过程可参考图10C。
同样的,图6B中图像帧T1、T2、T3、T4分为对应第M-2帧、第M-1帧、第M帧、第M+1帧图像。其中,T4为帧数量为Q的原始图像序列中的最后一帧图像,即第M+1帧图像为最后一帧图像。图像帧T1、T2、T3、T4中用户手在图像帧中的水平位置X(T1)、X(T2)、X(T3)、X(T4)即HandLocal[M-2]、HandLocal[M-1]、HandLocal[M]、HandLocal[M+1]。
执行S901所示的步骤:电子设备100可获取第M帧图像,并确定第M帧图像中手在该图像帧中的位置HandLocal[M]。
执行S902所示的步骤:电子设备100可利用HandLocal[M]和HandOriLocal[M-1]确定出第M帧中手的平滑位置HandOriLocal[M]。
HandOriLocal[M]=(HandLocal[M]+HandOriLocal[M-1])/2
上述HandOriLocal[M-1]为电子设备100利用HandLocal[M-1]、HandOriLocal[M-2]按S902所示的步骤计算出的,这里不再赘述。
然后,执行S903所示的步骤:电子设备100可得到第M帧图像的位置差OffSet[M]。
OffSet[M]=HandLocal[M]-HandOriLocal[M]
如图10C所示,此时,OffSet[M]的方向与X轴正方向相同,即OffSet[M]>0。
同时,电子设备100可确定第M-1帧图像的位置差OffSet[M-1]。OffSet[M-1]可通过HandLocal[M-1]和HandOriLocal[M-2]计算得到。OffSet[M-1]的具体计算过程可参考上述OffSet[M]的计算方法,这里不再赘述。如图10A所示,此时,OffSet[M-1]的方向与X轴正方向相同,即OffSet[M-1]>0。
于是,OffSet[M]*OffSet[M-1]≥0成立。
这时,电子设备100可增加M的取值,重新执行S901所示的步骤。同样以M=M+1所示的增加M取值的方法为例,重新执行S901时,电子设备100可获取第M+1帧图像,并确定第M+1帧图像中手在该图像帧中的位置HandLocal[M+1]。
再次执行S902所示的步骤:电子设备100可利用HandLocal[M+1]和HandOriLocal[M]确定出第M+1帧图像中手的平滑位置HandOriLocal[M+1]。
HandOriLocal[M+1]=(HandLocal[M+1]+HandOriLocal[M])/2。
其中,HandOriLocal[M]是上一循环中已经确定出的。
然后,再次执行S903所示的步骤:电子设备100可利用HandLocal[M+1]和HandOriLocal[M+1]确定出第M+1帧图像的位置差OffSet[M+1]。
OffSet[M+1]=HandLocal[M+1]-HandOriLocal[M+1]
如图10C所示,此时,OffSet[M+1]的方向与X轴正方向仍然相同。这时,OffSet[M]>0。结合前一循环中确定的OffSet[M]>0,OffSet[M+1]*OffSet[M]≥0仍然成立。但是,由于第M+1帧为原始图像序列中最后一帧图像,即M+1=Q,于是M+1<Q不成立。此时,电子设备100可确定用户做出的手势为滑动手势。
进一步的,执行S907~S909所示的步骤,电子设备100可进一步确定上述滑动手势具体为左滑手势或右滑手势。在图10C所示的场景中,OffSet[M+1]>0,这时,电子设备100可确定用户做出了右滑手势。
实施图9所示的利用运动方向识别挥手手势与滑动手势的方法,电子设备100可避免由于用户自然收回或落下手臂而引起的运动方向相反的情况,进而避免将左滑或右滑的滑动手势识别为挥手手势,从而提升手势识别的准确率。
具体的,图10D示出了电子设备100规避由于用户自然收回或落下手臂而引起的运动方向相反的示意图。
如图10D所示,第M-2帧、第M-1帧、第M帧、第M+1帧图像为用户做出右滑手势的一组图像帧。此时,由于用户自然收回或落下手臂,最后一帧图像(第M+1帧图像)中用户手的水平位置,相比于第M帧图像中用户手的水平位置有折回的现象。
若按照图7所示的方法,此时,第M-1帧、第M帧图像之间的位置差OffSet[M]>0,而第M帧、第M+1帧图像之间的位置差OffSet[M+1]<0。于是,OffSet[M+1]*OffSet[M]≥0不成立。进而,电子设备100会将图10D所示手势识别为挥手手势。
若按照图9所示的方法,第M+1帧图像中手的平滑位置HandOriLocal[M+1]是由HandLocal[M+1]和HandOriLocal[M]得到的。
如图10D所示,此时,第M+1帧图像中手的平滑位置HandOriLocal[M+1]仍然在HandLocal[M+1]之前,即HandOriLocal[M+1]≤HandLocal[M+1]。
于是,OffSet[M+1]>0。进一步的,OffSet[M+1]*OffSet[M]≥0仍然成立。
这时,电子设备100可识别到图10D所示手势识别为滑动手势。进一步的,根据OffSet[M+1]>0或OffSet[M+1]<0,电子设备100可确定上述滑动手势具体为右滑手势还是左滑手势,这里不再赘述。
在本申请实施例中,图2A所示的用户界面可称为第一界面;图2A中预览窗101可称为第一预览窗;图2A中预览窗102可称为第二预览窗;图2A中,用户做出的左滑手势可称为第一手势;图2B所示的用户界面可称为第三界面;图2B中预览窗102可称为第三预览窗。
图6A中S2可称为第一图像、S3可称为第三图像、S4可称为第二图像;S2、S3、S4中手所处的图像区域(虚线框覆盖的图像区域)可称为手部图像。或者,图6B中H2可称为第一图像、H3可称为第三图像、H4可称为第二图像等等。
以H2、H3、H4分别为第一图像、第三图像、第二图像为例,结合参考图8B,H2(第M-1帧图像)中手部图像在X轴的坐标HandLocal[M-1]可称为第一位置;H3(第M帧图像)中手部图像在X轴的坐标HandLocal[M]可称为第三位置;H4(第M+1帧图像)中手部图像在X轴的坐标HandLocal[M+1]可称为第二位置。
利用HandLocal[M-1]和HandLocal[M]确定出的OffSet[M]可称为第一位移向量。OffSet[M]的方向可称为第一方向信息。利用HandLocal[M]和HandLocal[M+1]确定出的OffSet[M+1]可称为第二位移向量。OffSet[M+1]的方向可称为第二方向信息。
以H2、H3、H4分别为第一图像、第三图像、第二图像为例,结合参考图10C,H2(第M-1帧图像)中手部图像在X轴的坐标HandLocal[M-1]可称为第一位置;H3(第M帧图像)中手部图像在X轴的坐标HandLocal[M]可称为第三位置。HandLocal[M-1]对应的HandOriLocal[M-1]可称为第五位置。利用HandOriLocal[M-1]和HandLocal[M]确定出的HandOriLocal[M]可称为第四位置。利用HandOriLocal[M]和HandLocal[M]确定出的OffSet[M]可称为第一位移向量。
图6A-图6B、图8A-图8B、图10A-图10C中X轴可称为第一坐标轴。参考图6A中S1,手部图像的中心点可称为手部图像的特征点。
图1A中控件115可称为第一控件。
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本发明实施例以分层架构的Android系统为例,示例性说明电子设备100的软件结构。图11示例性示出了电子设备100的软件架构图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。如图11所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
本申请实施例提供的利用运动轨迹识别用户挥手或滑动手势的方法,可在相机应用中实施。图1A-图1B、图2A-图2I、图3A-图3F、图4A-图4D以及图5A-图5B所示的用户界面可以为相机应用提供的应用界面。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。如图11所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。在本申请实施例中,电子设备100显示图1A-图1B、图2A-图2I、图3A-图3F、图4A-图4D以及图5A-图5B所示的用户界面依赖于窗口管理器。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。在本申请实施例中,摄像头采集后生成的视频数据、音频数据等数据可缓存在内容提供器中。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。在本申请实施例中,视图系统可包括图1A-图1B、图2A-图2I、图3A-图3F、图4A-图4D以及图5A-图5B所示的用户界面中的各个控件,视图系统还记录有包括上述各个控件、图形等界面元素的布局。利用上述控件、图形资源以及控件、图形的布局资源,电子设备100可显示图1A-图1B、图2A-图2I、图3A-图3F、图4A-图4D以及图5A-图5B所示的用户界面。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。在运行相机应用时,资源管理器可以为相机应用提供视频、音频、相机应用的布局文件等等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。应用程序层和应用程序框架层运行在虚拟机中。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。电子设备100显示图1A-图1B、图2A-图2I、图3A-图3F、图4A-图4D以及图5A-图5B所示的用户界面依赖于表面管理器提供了2D和3D图层的融合能力。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。在本申请实施例中,在使用双景模式拍摄视频时,电子设备100可利用媒体库提供的音视频编码能力编码并保存视频。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。2D图形引擎是2D绘图的绘图引擎。电子设备100调用窗口管理器、视图系统等框架层接口实现显示图1A-图1B、图2A-图2I等用户界面的功能,依赖于三维图形处理库、2D图形引擎是提供的图绘制和渲染服务。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
显示驱动可用于驱动显示屏显示资源管理器提供的相机应用的布局文件、视频、控件等,从而显示图1A-图1B、图2A-图2I所示的相机应用的用户界面。摄像头驱动可用于驱动摄像头采集图像,将光信号转变为电信号,从而生成图像及视频流。
图12示例性示出了电子设备100的硬件架构图。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serialbus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD)。显示面板还可以采用有机发光二极管(organic light-emitting diode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode,AMOLED),柔性发光二极管(flex light-emitting diode,FLED),miniled,microled,micro-oled,量子点发光二极管(quantum dot light emitting diodes,QLED)等制造。在一些实施例中,电子设备可以包括1个或N个显示屏194,N为大于1的正整数。
在本申请实施例中,电子设备100显示图1A-图1B、图2A-图2I、图3A-图3F、图4A-图4D以及图5A-图5B所示的用户界面依赖于GPU,显示屏194,以及应用处理器等提供的显示功能。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
在本申请实施例中,电子设备100在图1A-图1B、图2A-图2I、图3A-图3F、图4A-图4D以及图5A-图5B所示的用户界面中显示摄像头采集的图像、生成视频的过程,依赖于上述ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器提供的拍摄能力。
触摸传感器180K,也称“触控器件”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
在本申请实施例中,电子设备100可利用触摸传感器180K提供的触控检测,确定是否检测到作用于图1A中控件111、控件112等控件的用户操作。
本申请的说明书和权利要求书及附图中的术语“用户界面(user interface,UI)”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。应用程序的用户界面是通过java、可扩展标记语言(extensible markup language,XML)等特定计算机语言编写的源代码,界面源代码在终端设备上经过解析,渲染,最终呈现为用户可以识别的内容,比如图片、文字、按钮等控件。控件(control)也称为部件(widget),是用户界面的基本元素,典型的控件有工具栏(toolbar)、菜单栏(menu bar)、文本框(text box)、按钮(button)、滚动条(scrollbar)、图片和文本。界面中的控件的属性和内容是通过标签或者节点来定义的,比如XML通过<Textview>、<ImgView>、<VideoView>等节点来规定界面所包含的控件。一个节点对应界面中一个控件或属性,节点经过解析和渲染之后呈现为用户可视的内容。此外,很多应用程序,比如混合应用(hybrid application)的界面中通常还包含有网页。网页,也称为页面,可以理解为内嵌在应用程序界面中的一个特殊的控件,网页是通过特定计算机语言编写的源代码,例如超文本标记语言(hyper text markup language,GTML),层叠样式表(cascading style sheets,CSS),java脚本(JavaScript,JS)等,网页源代码可以由浏览器或与浏览器功能类似的网页显示组件加载和显示为用户可识别的内容。网页所包含的具体内容也是通过网页源代码中的标签或者节点来定义的,比如GTML通过<p>、<img>、<video>、<canvas>来定义网页的元素和属性。
用户界面常用的表现形式是图形用户界面(graphic user interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式,除非其上下文中明确地有相反指示。还应当理解,本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。上述实施例中所用,根据上下文,术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地,根据上下文,短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (10)

1.一种拍摄方法,应用于电子设备,所述电子设备包括前置摄像头和后置摄像头,其特征在于,所述方法包括:
显示第一界面,所述第一界面包括第一窗口、第二窗口;所述第一窗口中显示所述后置摄像头采集的图像,所述第二窗口中显示所述前置摄像头采集的图像;
在检测到用户举起手掌之后,显示第二控件,所述第二控件包括环形计时圈,所述环形计时圈随第一倒计时的减少而缩短;
在所述第一倒计时内,检测到用户的滑动手势;
响应于所述滑动手势,关闭所述第一窗口,停止显示所述后置摄像头采集的图像;保留所述第二窗口,所述第二窗口中继续显示所述前置摄像头采集的图像;
在第二次检测到所述滑动手势后,开启所述第一窗口,在所述第一窗口中显示所述后置摄像头采集的图像;所述第一窗口与所述第二窗口的位置交换,所述第二窗口中继续显示所述前置摄像头采集的图像;
在第三次检测到所述滑动手势后,关闭所述第二窗口,停止显示所述前置摄像头采集的图像;保留所述第一窗口,所述第一窗口中继续显示所述后置摄像头采集的图像;
其中,所述检测到用户的滑动手势,包括:
通过所述前置摄像头,依次采集第一图像、第三图像、第二图像,所述第一图像中用户的手处于第一位置,所述第三图像中用户的手处于第三位置,所述第二图像中用户的手处于第二位置,所述第一位置、第二位置、第三位置各不相同;一个图像中用户手的位置通过所述图像中手部图像的中心点在水平坐标轴的距离表示;
基于所述第一位置和所述第三位置确定第一位移向量;基于所述第三位置和所述第二位置确定第二位移向量;
当所述第一倒计时内的所述第一位移向量和所述第二位移向量的方向均相同时,确定检测到滑动手势。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:当所述第一倒计时内存在所述第一位移向量和所述第二位移向量的向量方向不同时,确定检测到挥手手势。
3.根据权利要求1所述的方法,其特征在于,当所述第一位移向量和所述第二位移向量的方向均指向右时,所述滑动手势具体为右滑手势;当所述第一位移向量和所述第二位移向量的方向均指向左时,所述滑动手势具体为左滑手势。
4.根据权利要求3所述的方法,其特征在于,所述第一窗口与所述第二窗口的位置交换,包括:所述第一窗口在所述第二窗口的上方,变换为所述第二窗口在所述第一窗口的上方。
5.根据权利要求1所述的方法,其特征在于,所述基于所述第一位置和所述第三位置确定第一位移向量,包括:所述第三位置减所述第一位置。
6.根据权利要求1所述的方法,其特征在于,所述基于所述第一位置和所述第三位置确定第一位移向量,包括:确定所述第一位置对应的第五位置,计算所述第五位置和所述第三位置的中间位置,所述第三位置减所述中间位置。
7.根据权利要求1所述的方法,其特征在于,在检测到用户的滑动手势之前,所述方法还包括:
检测到第一操作;
响应于所述第一操作,开始拍摄。
8.根据权利要求7所述的方法,其特征在于,所述第一操作包括:作用于第一控件的操作,所述第一控件显示在所述第一界面上;或者,识别到用户做出第二手势的操作,所述第二手势与所述第一控件对应。
9.一种电子设备,其特征在于,包括一个或多个处理器和一个或多个存储器;其中,所述一个或多个存储器与所述一个或多个处理器耦合,所述一个或多个存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述一个或多个处理器执行所述计算机指令时,使得执行如权利要求1-8任一项所述的方法。
10.一种计算机可读存储介质,包括指令,其特征在于,当所述指令在电子设备上运行时,使得执行如权利要求1-8任一项所述的方法。
CN202111460030.7A 2021-11-25 2021-12-01 拍摄方法和电子设备 Active CN116193243B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP22856863.0A EP4210312A4 (en) 2021-11-25 2022-08-26 PHOTOGRAPHY METHOD AND ELECTRONIC DEVICE
PCT/CN2022/115046 WO2023093167A1 (zh) 2021-11-25 2022-08-26 拍摄方法和电子设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111415560 2021-11-25
CN202111415560X 2021-11-25

Publications (2)

Publication Number Publication Date
CN116193243A CN116193243A (zh) 2023-05-30
CN116193243B true CN116193243B (zh) 2024-03-22

Family

ID=86446695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111460030.7A Active CN116193243B (zh) 2021-11-25 2021-12-01 拍摄方法和电子设备

Country Status (3)

Country Link
EP (1) EP4210312A4 (zh)
CN (1) CN116193243B (zh)
WO (1) WO2023093167A1 (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140113314A (ko) * 2013-03-14 2014-09-24 삼성전자주식회사 전자 장치에서 제스처를 인식하는 방법 및 장치
KR101500412B1 (ko) * 2013-12-19 2015-03-09 현대자동차 주식회사 차량용 제스처 인식 장치
JP2015184841A (ja) * 2014-03-21 2015-10-22 株式会社デンソー ジェスチャ入力装置
CN106231175A (zh) * 2016-07-09 2016-12-14 东莞市华睿电子科技有限公司 一种终端手势拍照的方法
KR20190135794A (ko) * 2018-05-29 2019-12-09 엘지이노텍 주식회사 이동 단말기
JP2020118024A (ja) * 2019-01-23 2020-08-06 株式会社ミツバ 装置操作システムおよび装置制御方法
CN111857356A (zh) * 2020-09-24 2020-10-30 深圳佑驾创新科技有限公司 识别交互手势的方法、装置、设备和存储介质
CN112394811A (zh) * 2019-08-19 2021-02-23 华为技术有限公司 一种隔空手势的交互方法及电子设备
CN112637515A (zh) * 2020-12-22 2021-04-09 维沃软件技术有限公司 拍摄方法、装置和电子设备
CN112818857A (zh) * 2021-02-02 2021-05-18 深圳市汇春科技股份有限公司 隔空手势识别方法、装置、设备及存储介质
CN112947755A (zh) * 2021-02-24 2021-06-11 Oppo广东移动通信有限公司 手势控制方法与装置、电子设备及存储介质
WO2021169399A1 (zh) * 2020-02-25 2021-09-02 华为技术有限公司 一种暂存应用界面的方法及电子设备
CN113536864A (zh) * 2020-04-22 2021-10-22 深圳市优必选科技股份有限公司 手势识别方法、装置、计算机可读存储介质及终端设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4172793B2 (ja) * 2004-06-08 2008-10-29 株式会社東芝 ジェスチャ検出方法、ジェスチャ検出プログラムおよびジェスチャ検出装置
KR20110003146A (ko) * 2009-07-03 2011-01-11 한국전자통신연구원 제스쳐 인식 장치, 이를 구비한 로봇 시스템 및 이를 이용한 제스쳐 인식 방법
JP5604279B2 (ja) * 2010-12-08 2014-10-08 日本システムウエア株式会社 ジェスチャー認識装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体
US20120281129A1 (en) * 2011-05-06 2012-11-08 Nokia Corporation Camera control
KR102010955B1 (ko) * 2013-01-07 2019-08-14 삼성전자 주식회사 프리뷰 제어 방법 및 이를 구현하는 휴대 단말
WO2014111947A1 (en) * 2013-01-21 2014-07-24 Pointgrab Ltd. Gesture control in augmented reality
CN106648078B (zh) * 2016-12-05 2020-06-02 北京光年无限科技有限公司 应用于智能机器人的多模态交互方法及系统
CN110045819B (zh) * 2019-03-01 2021-07-09 华为技术有限公司 一种手势处理方法及设备
CN113596316B (zh) * 2020-04-30 2023-12-08 华为技术有限公司 拍照方法及电子设备
CN115643485B (zh) * 2021-11-25 2023-10-24 荣耀终端有限公司 拍摄的方法和电子设备

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140113314A (ko) * 2013-03-14 2014-09-24 삼성전자주식회사 전자 장치에서 제스처를 인식하는 방법 및 장치
KR101500412B1 (ko) * 2013-12-19 2015-03-09 현대자동차 주식회사 차량용 제스처 인식 장치
JP2015184841A (ja) * 2014-03-21 2015-10-22 株式会社デンソー ジェスチャ入力装置
CN106231175A (zh) * 2016-07-09 2016-12-14 东莞市华睿电子科技有限公司 一种终端手势拍照的方法
KR20190135794A (ko) * 2018-05-29 2019-12-09 엘지이노텍 주식회사 이동 단말기
JP2020118024A (ja) * 2019-01-23 2020-08-06 株式会社ミツバ 装置操作システムおよび装置制御方法
CN112394811A (zh) * 2019-08-19 2021-02-23 华为技术有限公司 一种隔空手势的交互方法及电子设备
WO2021169399A1 (zh) * 2020-02-25 2021-09-02 华为技术有限公司 一种暂存应用界面的方法及电子设备
CN113536864A (zh) * 2020-04-22 2021-10-22 深圳市优必选科技股份有限公司 手势识别方法、装置、计算机可读存储介质及终端设备
CN111857356A (zh) * 2020-09-24 2020-10-30 深圳佑驾创新科技有限公司 识别交互手势的方法、装置、设备和存储介质
CN112637515A (zh) * 2020-12-22 2021-04-09 维沃软件技术有限公司 拍摄方法、装置和电子设备
CN112818857A (zh) * 2021-02-02 2021-05-18 深圳市汇春科技股份有限公司 隔空手势识别方法、装置、设备及存储介质
CN112947755A (zh) * 2021-02-24 2021-06-11 Oppo广东移动通信有限公司 手势控制方法与装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN116193243A (zh) 2023-05-30
EP4210312A4 (en) 2024-03-06
EP4210312A1 (en) 2023-07-12
WO2023093167A1 (zh) 2023-06-01

Similar Documents

Publication Publication Date Title
US11968447B2 (en) Long-focus shooting method and electronic device
WO2021244295A1 (zh) 拍摄视频的方法和装置
WO2023093169A1 (zh) 拍摄的方法和电子设备
US20230043815A1 (en) Image Processing Method and Electronic Device
CN115689963B (zh) 一种图像处理方法及电子设备
CN113099146A (zh) 一种视频生成方法、装置及相关设备
WO2024031879A1 (zh) 显示动态壁纸的方法和电子设备
CN113536866A (zh) 一种人物追踪显示方法和电子设备
WO2022057384A1 (zh) 拍摄方法和装置
CN113709355B (zh) 滑动变焦的拍摄方法及电子设备
CN116193243B (zh) 拍摄方法和电子设备
US20230377306A1 (en) Video Shooting Method and Electronic Device
CN115802148A (zh) 一种获取图像的方法及电子设备
WO2023035868A1 (zh) 拍摄方法及电子设备
CN116847194B (zh) 一种对焦方法及电子设备
WO2023072113A1 (zh) 显示方法及电子设备
US20240064397A1 (en) Video Shooting Method and Electronic Device
US20240040235A1 (en) Video shooting method and electronic device
WO2023078133A1 (zh) 视频播放方法和装置
US20240062392A1 (en) Method for determining tracking target and electronic device
WO2023231696A1 (zh) 一种拍摄方法及相关设备
CN117119285A (zh) 一种拍摄方法
CN117499526A (zh) 拍摄方法、电子设备、芯片系统及计算机可读存储介质
CN116071523A (zh) 显示方法及电子设备
CN117689545A (zh) 图像处理方法、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant