CN102365613A - 用于改变触摸屏功能的系统和方法 - Google Patents

用于改变触摸屏功能的系统和方法 Download PDF

Info

Publication number
CN102365613A
CN102365613A CN2009801583391A CN200980158339A CN102365613A CN 102365613 A CN102365613 A CN 102365613A CN 2009801583391 A CN2009801583391 A CN 2009801583391A CN 200980158339 A CN200980158339 A CN 200980158339A CN 102365613 A CN102365613 A CN 102365613A
Authority
CN
China
Prior art keywords
camera
touch
user
electronic equipment
visual field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801583391A
Other languages
English (en)
Other versions
CN102365613B (zh
Inventor
卡尔·奥拉·索恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Mobile Communications AB
Original Assignee
Sony Ericsson Mobile Communications AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Ericsson Mobile Communications AB filed Critical Sony Ericsson Mobile Communications AB
Publication of CN102365613A publication Critical patent/CN102365613A/zh
Application granted granted Critical
Publication of CN102365613B publication Critical patent/CN102365613B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145Handheld terminals

Abstract

一种根据在摄像头操作期间是否检测到用户来改变触摸屏功能的系统和方法。第一摄像头生成包含所述第一摄像头的视野内的至少一部分场景的表示的视频信号。控制器分析视频信号,以确定所述电子设备的用户的一个或更多个身体特征是否出现在所述第一摄像头的视野内。触摸输入装置包括用于接收用户输入的一个或更多个触摸点,每个触摸点都与控制所述第二摄像头的多个功能的相应功能相关联。至少一个触摸点与控制第二摄像头的快门功能相关联,并且触摸点的总数取决于由所述控制器进行的视频信号分析的结果。

Description

用于改变触摸屏功能的系统和方法
技术领域
本公开的技术总体上涉及用于电子设备的触摸输入装置,更明确地,涉及一种用于改变在摄像头操作期间触摸屏的功能的系统和方法。
背景技术
移动和/或无线电子设备(例如,移动电话、便携式媒体播放器和便携式游戏装置)现在被广泛地使用。此外,与特定类型的电子设备有关的特性变得越来越多样化。例如,许多移动电话包括能够采集静态图像和运动图像的摄像头。
某些便携式电子设备(例如,移动电话)依靠触摸屏技术来接收用户输入。触摸屏技术通常依靠位于显示器上面的透明的触敏传感器。触敏传感器能够检测用户的手指或者指间触及传感器表面或者在在传感器表面附近的出现和移动。用户可以通过触摸传感器上的点来控制电子设备的特定功能。可以通过显示的内容来指定触摸点。例如,为了采集图像,用户可以触摸触摸屏的与出现在显示器上的快门符号相交叠的区域。
利用触摸屏技术的某些电子设备可能具有专门的快门键,其允许用户通过按下单个独立的按钮来容易地采集图像。专门的快门键允许用户立即进入电子设备的摄像头功能,而不是滚动菜单选项来达到摄像头特性。然而,电子设备上的各个专门的按钮增加了设备的制造成本。因此,希望减少电子设备上的机械按钮的数目。
发明内容
本公开确认了在某些情况下难以使用或达到触摸。例如,许多具有触摸屏功能的移动电话在电话的一侧包括内置的摄像头,并且在电话的相对侧包括显示器。因而,当给自己拍照时,可能要求用户将电话置于用户的脸前,所以用户看不见显示/触摸屏。如果移动电话不包括专用的快门按键(如通常情况),则用户很难在不看显示器的情况下试图触摸触摸屏上的快门符号。如将要理解的,快门符号越小,用户就更难于盲地接近(例如,不用看而触摸)触摸屏上的对应点。另一方面,快门符号越大,用于显示与摄像头和/或移动电话的其它特征相关的内容的屏幕空间就越少。例如,在触摸屏的照相操作期间可以显示与调整摄像头的闪光灯、变焦或者聚焦功能相关的内容。
为了增强在具有触摸屏功能的电子设备上的快门功能,本公开描述了用于在摄像头工作期间根据是否检测到用户面对触摸屏来改变触摸屏的功能的系统和方法。在一个实施方式中,如果没有检测到用户面对触摸屏,则可以将整个触摸屏配置为控制摄像头的快门功能,使得用户可以在把脸转离触摸屏时(例如,当面对摄像头时)通过盲地触摸触摸屏的任何位置来采集图像。如果检测到用户面对触摸屏,则可以将触摸屏配置为充当通常的用于控制摄像头操作的图形用户界面。因而,根据本公开,在摄像头操作期间的触摸屏的功能可以被配置为满足用户在采集图像时的操作需要。
根据本公开的另一方面,一种电子设备包括:第一摄像头,其生成包含第一摄像头的视野内的至少一部分场景的表示的视频信号;第二摄像头,其在接收到与控制第二摄像头的快门功能相关的用户输入时采集图像,图像表示了第二摄像头的视野内的至少一部分场景;控制器,其从第一摄像头获取视频信号并分析视频信号,以确定电子设备的用户的一个或更多个身体特征是否出现在第一摄像头的视野内;以及触摸输入装置,其可操作地耦接至控制器,并且被配置为包括用于接收在触摸输入装置的表面上的用户输入的一个或更多个触摸点,各个触摸点与控制第二摄像头的多个功能的每一个功能相关。根据本公开的该方面,在触摸输入装置上的至少一个触摸点与控制第二摄像头的快门功能相关,并且在触摸输入装置上的触摸点的总数取决于由控制器进行的视频信号分析的结果。
根据电子设备的一个实施方式,在确定在第一摄像头的视野内没有出现身体特征时,控制器将触摸输入装置的整个表面区域配置为作为与控制快门功能相关的至少一个触摸点来进行操作。
根据电子设备的一个实施方式,在确定在第一摄像头的视野内没有出现身体特征时,控制器将触摸输入装置的大部分表面区域配置为作为与控制快门功能相关的至少一个触摸点来进行操作,并且将触摸输入装置的表面区域的剩余的小部分配置为包括触摸点的选择。
根据电子设备的一个实施方式,电子设备还包括数据库,其包括针对触摸输入装置上的各个触摸点的摄像头特征信息,其中,在所选择的触摸点接收到用户触摸输入时,将与所选择的触摸点有关的摄像头特征信息语音地表达给用户。
根据电子设备的一个实施方式,在确定在第一摄像头的视野内出现身体特征时,控制器将触摸输入装置配置为包括多个与控制第二摄像头的各个功能相关的触摸点。
根据电子设备的一个实施方式,身体特征包括用户的一个或更多个面部特征。
根据电子设备的一个实施方式,电子设备还包括存储器,其存储之前获得的包括用户的一个或更多个面部特征的用户身份信息,其中,在确定面部特征出现在第一摄像头的视野内时控制器从存储器得到用户身份信息,以确定出现在第一摄像头的视野内的面部特征是否与包括在用户身份信息中的一个或更多个面部特征相匹配。
根据电子设备的一个实施方式,如果不匹配,则控制器将触摸输入装置的整个表面配置为作为与控制快门功能相关的至少一个触摸点进行操作。
根据电子设备的一个实施方式,电子设备还包括布置在触摸输入装置下面的显示器,显示器被配置为取景器,以显示包括在第二摄像头的视野内的至少一部分场景的表示的预览视频信号。根据该实施方式,控制器被配置为分析预览视频信号,以确定用户的一个或更多个身体特征是否出现在第二摄像头的视野内。
根据电子设备的一个实施方式,在确定身体特征没有出现在第一摄像头的视野内、并且在确定身体特征出现在第二摄像头的视野内时,控制器将触摸输入装置的整个表面配置为作为与控制快门功能相关的至少一个触摸点进行操作。
根据电子设备的一个实施方式,在确定身体特征没有出现在第一摄像头的视野内、并且在确定身体特征没有出现在第二摄像头的视野内时,控制器将触摸输入装置配置为包括与控制第二摄像头的各个功能相关的多个触摸点。
根据电子设备的一个实施方式,电子设备还包括存储器,其存储之前获得的包括用户的一个或更多个面部特征的用户身份信息。
根据电子设备的一个实施方式,在确定身体特征出现在第二摄像头的视野内时,控制器得到用户身份信息并且确定出现在第二摄像头的视野内的身体特征是否与包括在用户身份信息内的一个或更多个面部特征相匹配,如果匹配,则控制器将触摸输入装置的整个表面配置为作为与控制快门功能相关的至少一个触摸点进行操作。
根据电子设备的一个实施方式,第一摄像头的视野通常具有与第二摄像头的视野相反的方向。
根据电子设备的一个实施方式,在接收到用户指令以开始第二摄像头的操作时,控制器自动地开始第一摄像头的操作并且分析由第一摄像头所生成的视频信号。
根据电子设备的一个实施方式,第二摄像头的功能包括摄像头模式、视频模式、闪光灯设置、变焦功能或者聚焦设置的至少一个。
根据本公开的另一方面,一种改变包括第一摄像头、第二摄像头和触摸输入装置的电子设备的触摸屏功能的方法包括以下步骤:获取包括第一摄像头的视野内的至少一部分场景的表示的视频信号;分析视频信号以确定电子设备的用户的一个或更多个身体特征是否出现在第一摄像头的视野内;以及根据视频信号分析的结果,在触摸输入装置上提供一个或更多个触摸点以在触摸输入装置的表面区域上接收用户输入,各个触摸点与控制第二摄像头的多个功能的各个功能相关。根据本公开的该方面,触摸输入装置上的至少一个触摸点与控制第二摄像头的快门功能相关,以采集表示第二摄像头的视野内的至少一部分场景的图像。
根据该方法的一个实施方式,该方法还包括:在确定身体特征出现在第一摄像头的视野内时,将触摸输入装置的整个表面配置为作为与控制快门功能相关的至少一个触摸点进行操作。
根据该方法的一个实施方式,该方法还包括:在确定在第一摄像头的视野内没有出现身体特征时,控制器将触摸输入装置的大部分表面区域配置为作为与控制快门功能相关的至少一个触摸点来进行操作,并且将触摸输入装置的表面区域的剩余的小部分配置为包括触摸点的选择。
根据该方法的一个实施方式,该方法还包括:存储针对触摸输入装置上的各个触摸点的摄像头特征信息,在所选择的触摸点接收到用户触摸输入时,将与所选择的触摸点有关的摄像头特征信息语音地表达给用户。
根据该方法的一个实施方式,该方法还包括:在确定在第一摄像头的视野内出现身体特征时,将触摸输入装置配置为包括多个与控制第二摄像头的各个功能相关的触摸点。
根据该方法的一个实施方式,身体特征包括用户的一个或更多个面部特征。
根据该方法的一个实施方式,该方法还包括以下步骤:存储之前获得的包括用户的一个或更多个面部特征的用户身份信息;在确定面部特征出现在第一摄像头的视野内时,确定出现的面部特征是否与包括在用户身份信息中的一个或更多个面部特征相匹配;以及,如果不匹配,则将触摸输入装置的整个表面配置为作为与控制快门功能相关的至少一个触摸点进行操作。
根据该方法的一个实施方式,该方法还包括:显示包括在第二摄像头的视野内的至少一部分场景的表示的预览视频信号,并且分析预览视频信号,以确定用户的一个或更多个身体特征是否出现在第二摄像头的视野内。
根据该方法的一个实施方式,该方法还包括:在确定身体特征没有出现在第一摄像头的视野内、并且在确定身体特征出现在第二摄像头的视野内时,将触摸输入装置的整个表面配置为作为与控制快门功能相关的至少一个触摸点进行操作。
根据该方法的一个实施方式,该方法还包括:在确定身体特征没有出现在第一摄像头的视野内、并且在确定身体特征没有出现在第二摄像头的视野内时,将触摸输入装置配置为包括与控制第二摄像头的各个功能相关的多个触摸点。
根据该方法的一个实施方式,该方法还包括:存储之前获得的包括用户的一个或更多个面部特征的用户身份信息。
根据该方法的一个实施方式,该方法还包括:在确定身体特征出现在第二摄像头的视野内时,确定出现在第二摄像头的视野内的身体特征是否与包括在用户身份信息内的一个或更多个面部特征相匹配,如果确定匹配,则将触摸输入装置的整个表面配置为作为与控制快门功能相关的至少一个触摸点进行操作。
根据该方法的一个实施方式,第一摄像头的视野通常具有与第二摄像头的视野相反的方向。
根据该方法的一个实施方式,该方法还包括:在接收到用户指令以开始第二摄像头的操作时,自动地开始第一摄像头的操作并且分析由第一摄像头所生成的视频信号。
根据该方法的一个实施方式,第二摄像头的功能包括摄像头模式、视频模式、闪光灯设置、变焦功能或者聚焦设置的至少一个。
参照以下描述和附图,这些特征和进一步的特征将变得明显。在描述和附图中,具体地公开了本发明的特定的实施方式,指示了可以利用本发明的原理的某些方法,但是应理解的是,不发明不限于相应的范围。而且,本发明包括落入所附权利要求范围内的所有改变、修改和等价。
针对一个实施方式所描述的和/或所例示的特征可以以相同的或相似的方式用于一个或更多个其它实施方式并且/或者与其它实施方式的特征组合或者代替其它实施方式的特征。
当在该说明书中使用措辞“包含”和“包括”时,其指示特定的特征、要素、步骤或组件的存在,但是不排除一个或更多个其它特征、要素、步骤、组件或其组合的存在或添加。
附图说明
图1A是根据本公开的作为示例性电子设备的移动电话的示意图;
图1B是图1A的示例性电子设备的背面的示意图;
图2是作为通信系统的一部分进行操作时图1A的示例性电子设备的示意图;
图3是已被处理以确定用户是否面对触摸屏的用户脸部图像的示意图;
图4是表示在摄像头操作期间利用图1A的示例性电子设备来改变触摸屏的功能的示例性方法的流程图;
图5是图1A的移动电话的示意图,其中,显示器呈现出根据本公开的示例性用户界面。
具体实施方式
现在将参照附图来描述实施方式,其中,相同的标号将贯穿附图表示相同的要素。应理解的是,图不必一定是按照比例绘制的。
在本文档中,主要在移动电话的背景下描述某些实施方式。然而,应理解的是,移动电话的示例性背景并不是可以使用公开的系统和方法的唯一的操作环境。因此,在该文档中所描述的技术可以应用于任何合适类型的电子设备,其示例包括移动电话、媒体播放器、游戏装置、计算机(例如,膝上型计算机、上网本、超级移动个人计算机(PC)等)、寻呼机、通信器、电子记事簿、个人数字助理(PDA)、智能电话、便携式通信装置、数字摄像机(例如,摄像头、摄像机、袖珍相机等)、全球定位系统(GPS)设备等。
首先参照图1A、图1B和图2,示出了电子设备10。具体地,图1A例示了电子设备10的前视图,而图1B例示了电子设备10的后视图。如所见的,电子设备10包括摄像头接口功能12(图2)、位于电子设备10正面的触摸屏14(图1A)以及位于电子设备10背面的摄像头16(图1B)。将摄像头接口功能12配置为在摄像头16的操作期间根据是否检测到用户面对触摸屏14来改变与触摸屏14相关的功能和操作。例如,当用户面对摄像头16想要采集自己的图像(例如,自己的肖像)时,摄像头接口功能12可以识别用户没有面对触摸屏14。在一个实施方式中,根据这种识别,摄像头接口功能12可以使触摸屏14在优化的摄像头模式下工作,在这种模式下,整个触摸屏14可以用于控制摄像头16的快门功能。根据该实施方式,用户可以“盲”触摸(例如,不必寻找特定点)触摸屏14的任何位置来选择快门功能,由此使用摄像头16来采集图像。
下面将更加详细地描述关于摄像头接口功能12的操作的额外的细节。摄像头接口功能12可以具体实施为常驻在电子设备10中并且由电子设备10执行的可执行代码。在一个实施方式中,摄像头接口功能12可以是存储在计算机或机器可读介质中的程序。摄像头接口功能12可以是独立的软件应用或者形成执行与电子设备10相关的附加功能的部分的软件应用。
如图1A所例示的,电子设备10的触摸屏14可以包括显示器18和位于显示器18上面的触摸输入装置20。显示器18向用户显示信息(例如,工作状态、时间、电话号码、联系人信息、各种菜单等),使得用户可以利用电子设备10的各种特性。显示器18也可以用于视觉地显示由电子设备10所接收的内容和/或从电子设备10的存储器22(图2)得到的内容。显示器18可以用于向用户显示图像、视频、和其它图形,例如(但不限于)照片、移动电视内容、因特网网页和与游戏相关的视频。
触摸输入装置20可以包括能够识别用户的触摸输入的透明的触敏传感器,以解释由触摸输入所表示的命令,并且通过对应的输出信号将命令传送至适当的装置和/或电子设备10的应用。触摸输入可以用于各种输入目的,例如选择、书写、导航、滚动、移动显示的项目等。用户触摸输入可以包括利用一个或更多个手指或者指尖的各种触摸动作,例如,轻敲、捏、长按(保持手指或指尖在一点上持续预定长度的时间)、释放、和/或在穿过触摸输入装置20的一部分传感器组件的方向上拖动手指或指尖,或其任何的组合。
如图1A所指示的,显示器18和触摸输入装置20可以彼此接合使用来实现触摸屏功能。可以认为触摸输入装置20的表面包括一个或更多个触摸点(未示出)以接收与控制电子设备10的一个或更多个功能相关的用户触摸输入。显示器18可以向用户显示以菜单、字母数字按键、链接等形式的、来自图形用户界面的内容,以控制电子设备10的各种功能。所显示的内容的各个项目可以向用户指定在触摸输入装置20上的相关的触摸点的位置以及与此相关的特定内容。由此,用户可以通过触摸输入装置20的直接位于所显示内容的期望项目上面的点来控制电子设备10的特定功能。例如,触摸屏14可以用于提供用于控制摄像头16的基于触摸的图形用户界面。
显示内容的项目的形状和大小可以确定相关的触摸点的形状和大小。在给定的时间包括在触摸输入装置20中的触摸点的数目可以取决于在该时间通过显示在触摸屏14上的图形用户界面可以控制的功能的数目。并且电子设备10的当前操作模式(例如,摄像头模式)可以确定在给定的时间显示哪个图形用户界面。在一个实施方式中,触摸输入装置20包括针对通过当前显示的图形用户界面可以控制的各个功能的触摸点。例如,如果图形用户界面仅控制电子设备10的一个功能,则触摸输入装置20可以仅包括一个触摸点。
图1A的示例性图示示出了显示器18和触摸输入装置20以加框方式(bezel-set)设置在电子设备10的外壳中的情况。应理解的是,显示器18和触摸输入装置20可以保持为没有框,以与电子设备10的外壳充分地齐平。而且,所例示的电子设备10被示出为具有“砖”或“块”形状的外壳,但是应理解的是,可以使用其它外壳类型,例如“翻开”形状(例如,“翻盖”外壳)或者滑动型形状(例如,“滑盖”外壳)。
图1A的示例性图示还示出了电子设备10不具有任何用于文本输入或导航输入的用户输入按钮或者按键。例如,电子设备10上仅有的按钮可以是开/关电源按钮,它在图1A的视图是不可见的。在一个实施方式中,可以通过滑动、旋转或者反转电子设备10的外壳部分以露出由电子设备10的另一部分所容纳的按键来达到按钮。当没有以该方式打开电子设备10时,这些按键会被覆盖。在另一实施方式中,电子设备10可以包括接近触摸屏14的键盘(未示出)和/或按钮(未示出),使得触摸屏14仅占据电子设备10的一部分正面。呈现在某些实施方式中的按键、键盘和/或按钮可以提供各种用户输入操作,包括呼叫操作、消息操作、因特网浏览、菜单导航、玩游戏、多媒体内容回放等。例如,按键可以包括字母数字按键,允许输入例如电话号码、电话列表、联系人信息、便笺、文本等的字母数字信息。此外,或者另选地,按键和/或按钮可以包括特殊功能按键,例如用于发起或应答呼叫的“发送呼叫”按键以及用于结束或“挂断”呼叫的“结束呼叫”按键。与移动电话相关的其它按键可以包括音量按键、静音按键、开/关电源按键、启动网络浏览器按键等。
摄像头16可以是任何适合的图像和/或视频采集装置。摄像头16可以被设置为典型的摄像头组件,其包括成像光学组件,以将来自在摄像头16的视野内的一部分场景的光聚焦至传感器上。传感器将入射光转换为图像数据。摄像头16可以包括各种光学组件,例如透镜组件,以及其它通常与摄像头相关的组件,例如聚焦机构、光学缩放机构、闪光灯、曝光计等。可以使用存储器22或者其它电子存储装置(未示出)来存储与通过摄像头16所采集的图片和/或电影相对应的静态图像和/或视频文件。
在摄像头工作期间,触摸屏14可以显示表示各种通常与摄像头操作相关的菜单项目的内容,例如包括,快门功能、照相/视频模式、用于记录视频的开始/结束功能、闪光设置、变焦量、品质等级等。用户可以通过触摸触摸屏14上的适当触摸点来控制摄像头16的各种特性。例如,在识别到与摄像头16的快门功能的控制相关的触摸点处的触摸输入时,触摸输入装置20可以指示摄像头16在那时采集表示在摄像头16的视野内的场景的图像。在一个实施方式中,可以利用触摸-聚焦(touch-to-focus)特性来控制聚焦功能,该特性允许用户设置在通过触摸触摸屏14上的期望图像区域时应当聚焦的图像区域。
应理解的是,摄像头16可以按预定帧速率来生成输出图像数据、以生成供应至用于作为电子取景器来工作的显示器18的预览视频信号。由摄像头16所生成并显示在显示器18上的预览视频信号向用户提供了在摄像头16的视野内的场景的图像的动态更新的再现。因而,用户可以在选择摄像头16的快门功能之前能够预览要采集的图像。在一个实施方式中,可以在显示器18上显示预览视频信号以及图形用户界面,以控制摄像头操作。例如,与图形用户界面相关的内容可以显示在显示器18的一个或更多个外围区域中,使得大多数显示区域被电子取景器图像所占据。另选地,至少部分的图形用户界面可以以半透明的方式与电子取景器图像交叠。
如图1A和图1B所例示的,显示器18通常位于电子设备10的与摄像头16相反的一侧。通过这种方式,用户可以以期望的方向指向摄像头16,并且在显示器18上观察摄像头16的视野的再现。因而,摄像头16可以具有视点或者透视。视点是摄像头16的位置和摄像头16通过用户所对准方向的组合。摄像头16的视点与摄像头16的成像光学元件的特征和光学设置(例如变焦的量)相结合,确定了摄像头16的视野。
如图1A和图1B所例示的,除了摄像头16以外,电子设备10可以包括位于触摸屏14附近的成像装置24。所例示的实施方式的成像装置24是当用户观看触摸屏14时指向用户的摄像头。这些类型的摄像头在某些移动电话上是可用的,以帮助进行视频电话呼叫(也称为视频通话(telephony))。因此,在本文中也将成像装置24称为视频通话摄像头24。成像装置24可以生成包含在成像装置24的视野中的对象的表示的视频信号。通常,成像装置24的视野具有与摄像头16的视野相反的方向。
在一个实施方式中,可以通过摄像头接口功能12来分析由视频通话摄像头24所生成的视频信号,以利用用户检测算法、根据所检测到的身体特征(例如,面容或其它)来识别用户。用户检测算法可以包括面部检测算法、面部识别算法、轮廓检测算法和/或能够检测用户的出现的任何其它类型的技术。身体特征的识别可以指示用户正面对触摸屏14。相反地,如果没有检测到身体特征,则可以假定用户没有面对触摸屏14。例如,当用户在电子设备10的背面面对摄像头16时,摄像头接口功能12可能无法识别任何面部特征或其它身体特征。下面将参照图3来描述关于用户检测技术的额外细节。
在所例示的实施方式中,示出摄像头16以及成像装置24被嵌在电子设备10内部。在一个实施方式中,摄像头16和/或成像装置24可以是通过例如有线连接(例如,USB、电缆等)或无线连接来连接至电子设备10的设备附件。例如,成像装置24可以是身体地安装在电子设备10上并且耦接至电子设备10的网络摄像头等。另选地,成像装置24可以是无线网络摄像头,其有效地耦接至电子设备10。作为另一示例,摄像头14和/或成像装置24可以作为对于设备10的售后添加而安装在电子设备10上。
继续参照图2,将描述当实现为移动电话时的电子设备10的特征。电子设备10包括使得电子设备10能够与另一设备建立通信的通信电路。通信可以包括呼叫、数据传送等。呼叫可以采取例如(但不限于)语音呼叫和视频呼叫的任何适合的形式。例如,可以通过蜂窝电路交换网络、或者可以以通过蜂窝网络的分组交换业务所建立的IP话音(VoIP)的形式、或者通过另选的分组交换网络(例如,与IEEE 802.11(通常称为WiFi)兼容的网络、或者与IEEE 802.16(通常称为WiMAX)兼容的网络)来执行呼叫。数据传送可以包括(但不限于)接收流内容(例如,音频流、视频流等)、接收数据供应(例如,推入数据、播客、聚合内容(RSS:really simple syndication)数据供应)、下载和/或上传数据(例如,图像文件、视频文件、音频文件、电话铃音、因特网内容等)、接收或发送消息(例如,文本消息、即时消息、电子邮件消息、多媒体消息)等。可以通过电子设备10来处理给数据,包括在存储器22中存储数据、执行应用以允许用户与数据进行交互、显示与数据相关的视频和/或图像内容、输出与数据相关的声音等。
在图2的示例性实施方式中,通信电路可以包括耦接至无线电路28的天线26。无线电路28包括用于通过天线26发射和接收信号的射频发射器和接收器。通过这种方式,无线电路28可以被配置为在无线通信系统30中进行操作。用于与移动无线网络和/或广播网络进行交互的无线电路类型包括(但不限于)全球移动通信系统(GSM)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用分组无线业务(GPRS)、WiFi、WiMAX、数字视频广播-手持型(DVB-H)、综合业务数字广播(ISDB)、高速分组接入(HSPA)等,以及这些标准或者任何其它合适的标准的高级的版本。应理解的是,电子设备10可以能够利用多于一个标准进行通信。因此,天线26和无线电路28可以表示一个或多于一个无线接收器。
如图2所例示的,无线通信系统30可以包括具有服务器34(或者多个服务器)的通信网络32,其中,服务器34用于管理由电子设备10所发出并去往电子设备10的呼叫,以及发送数据并从电子设备10接收数据,并且执行任何其它支持功能。服务器34通过传输介质与电子设备10进行通信。传输介质可以是任何适合的装置或部件,例如包括通信基站(例如,蜂窝服务塔、或者“小区”塔)、无线接入点、卫星等。通信网络32可以支持多个电子设备10和其它类型的终端用户装置的通信活动。将理解的是,服务器34可以被配置为用于执行服务器功能的典型的计算机系统,并且可以包括配置为执行包含实现服务器34的功能的逻辑指令的软件的处理器以及存储这种软件的存储器。在另选的配置中,电子设备10可以无需中间网络与另一电子设备10(例如,另一无线电话或计算机)直接地进行无线通信。
继续参照图2,电子设备10可以包括主控制电路36,其被配置为对电子设备10的功能和操作进行总体控制。控制电路36可以包括处理装置38,例如中央处理单元(CPU)、微控制器或者微处理器。处理装置38执行存储在控制电路36中的存储器(未示出)或者单独存储器(例如存储器22)中的代码,以执行电子设备10的操作。例如,处理装置38可以执行实现摄像头接口功能12的代码。例如,存储器22可以是一个或更多个缓冲器、闪存存储器、硬盘驱动器、可移动媒介、易失性存储器、非易失性存储器、随机存取存储器(RAM)或者其它合适的装置。在通常的配置中,存储器22可以包括用于长期数据存储的非易失性存储器以及充当控制电路36的系统内存的易失性存储器。存储器22可以通过数据总线与控制电路36交换数据。伴随控制线也可能存在位于存储器22与控制电路36之间的地址总线。
电子设备10还可以包括声音信号处理电路40,以处理通过无线电路28所传送的并且从无线电路28所接收的音频信号。耦接至声音信号处理电路40的是扬声器42和麦克风44,其使用户通过电子设备10能够进行听说。无线电路28和声音信号处理电路40各自耦接至控制电路36,以进行总体操作。音频信号可以从控制电路36传送至声音信号处理电路40以向用户进行回放。音频数据可以包括例如来自由存储器22所存储的、并且由控制电路36得到的音频文件,或者所接收的例如以来自移动无线装置的语音通信或音频流数据的形式的音频数据。声音信号处理电路40可以包括任何合适的缓冲器、解码器、放大器等。
显示器18可以通过视频处理电路46来耦接至控制电路36,视频处理电路46将视频信号转换为用于驱动显示器18的视频信号。视频处理电路46可以包括任何合适的缓冲器、解码器、视频数据处理器等。可以通过控制电路36来生成视频数据、从存储在存储器22中的视频文件得到数据、源于由无线电路28所接收的传入的视频数据流得到数据、或者通过任何其它适合的方法得到数据流。
如在图2中所指示的,电子设备10还可以包括一个或更多个输入/输出(I/O)接口48。I/O接口48可以是典型的无线电话I/O接口的形式,并且可以包括一个或更多个电连接器。I/O接口48可以形成一个或更多个数据端口,其用于将电子设备10通过电缆连接至另一设备(例如,计算机)或者配件(例如,个人免持(PHF)设备)。此外,可以通过I/O接口48接收工作电源,并且可以通过I/O接口48接收对电源供应单元(PSU)50的电池进行充电的电源。
电子设备10也可以包括各种其它组件。例如,位置数据接收器(例如全球定位系统(GPS)接收器52)可以包括确定电子设备10的位置。本地无线接口装置54(例如红外收发器和/或RF收发器(例如,蓝牙芯片组))可以用于与附近的设备(例如,附件(例如,PHF设备)、另一移动无线终端、计算机或者另一设备)建立通信。电子设备10也可以包括系统时钟56,以对电子设备10的各种部件(例如,控制电路36和存储器22)进行定时。
回来参照摄像头接口功能12,可以使用多种用户检测技术中的任何一个来实现本文所述的功能和操作。例如,根据本发明,任何适合的面部检测和/或面部识别技术都可以部分地用于检测用户是否面对触摸屏14。例如,可以利用二进制模式分类来进行脸部检测,其中,将视频电话摄像头24的输出转变为特征,并且分类器确定图像是否包括脸部或某些其它身体部分(例如,躯干或者手)。
另外参照图3,示例性脸部检测技术通过分析来自由视频电话摄像头24所生成的视频流的图像数据来识别脸60,以检测关于鼻梁64对称的一双眼睛62的出现。一种用于确定眼睛62关于鼻子64的对称性的技术是形成在所检测的面部特征之间的结构关系。图3示意性地表示了通过这些特征检测到用户的脸60的存在。在所例示的实施方式中,通过连接眼睛62的位置和鼻子64的尖端,可以形成三角形66。例如,如果三角形66是等腰三角形,则摄像头接口功能12可以确定眼睛62关于鼻子64对称,因而,脸60存在于视频电话摄像头24的视野中。
在一个实施方式中,来自视频电话摄像头24的视频信号可以用于脸部识别(例如,确定用户的身份)。可以在初始化处理期间通过摄像头接口功能12得到电子设备10的用户的身份。例如,用户的身份可以存储在存储器22中,并且可以取出以执行本文所描述的摄像头接口功能12。可以使用的示例性脸部识别技术包括:特征脸、渔夫脸(fisherface)、隐马尔可夫模型(Hidden Markov Model)、神经元激发动态链接匹配(neuronal motivated dynamic link matching)以及三维脸部识别。将脸部识别用作用户检测技术在某些情况下是首选的。例如,脸部识别技术可以用于验证或者确认被识别为用户的对象实际上是用户,而不是第三方。例如,在拥挤的区域,即使用户面对摄像头16,摄像头接口功能12也会对视频电话摄像头24视野内的作为拥挤人群的一员的用户进行错误地识别。
然而,或者除了脸部检测和/或脸部识别以外,可以根据身体特征和/或身体部分(例如,脸的一部分、脖子、肩膀和/或身体上部)的识别来确定用户是否面对触摸屏14。在一个实施方式中,摄像头接口功能12可以使用轮廓检测方法来分析由视频电话摄像头24所生成的视频信号。通过识别用户的身体特征和/或身体部分,即使当用户的脸转过去或者相对于视频电话摄像头24的视野的光轴呈一角度时,摄像头接口功能12也能够检测到用户。例如,用户在观看触摸屏14时可能会倾斜摄像头远离用户的脸。或者用户可能会将摄像头的位置定位在没有直接居中在用户的脸的前面。
应理解的是,可以使用其它技术来确定用户是否面对触摸屏14。例如,根据由视频电话摄像头24生成的视频信号,摄像头接口功能12可以测量例如面部表情、眼睛的形状、嘴的形状、眼部运动、用户眼睛周围的皮肤改变、眼睛特征等,以确定用户是否面对视频电话摄像头24,并由此面对触摸屏14。此外,或者另选地,摄像头接口功能12可以分析由视频电话摄像头24生成的视频信号,以识别图像视野内的具有人的特征的运动对象,因而指示在视频电话摄像头24的视野内的用户的出现。另选地,根据由视频电话摄像头24生成的视频信号,当通过视频信号所采集的对象占据了视频电话摄像头24的预定量的视野时,摄像头接口功能12能够确定用户面对着触摸屏14。例如,当用户观看触摸屏14时,用户的脸通常将占据视频电话摄像头24的大多数视野(例如,一半以上),这是因为用户是最接近视频电话摄像头24的对象。
根据是否检测到用户出现在图像视野内,摄像头接口功能12可以控制触摸屏14的操作模式。在一个实施方式中,如果用户没有被检测为面对摄像头16,则可以将触摸屏14设置为工作在优化的摄像头模式下,在该模式下,例如,触摸屏14上的所有触摸点都可以与仅控制摄像头16的快门功能相关。另一方面,如果通过摄像头接口功能12检测到了用户,则可以将触摸屏14设置为工作在一般的摄像头模式下,在该模式下,例如,触摸屏14上的触摸点可以与控制摄像头16的各种特征相关。
通过以下描述,描述了用于利用具有基于用户检测的功能的触摸屏装置来采集图像的示例性技术。应理解的是,通过示例性技术的描述,描述了通过执行软件可以部分地执行步骤的描述。所描述的步骤是程序员或本领域技术人员可以编写代码来实现所描述的功能的基础。因而,为了简明省略了计算机程序表。然而,可以将所描述的步骤认为是对应的装置被配置为执行的算法。
而且,应理解的是,如何对电子设备10编程以运转并执行与摄像头接口功能12相关的逻辑功能,对于计算机编程领域的技术人员、特别是对于针对摄像头、移动电话、和/或其它电子设备的应用编程领域的技术人员将是明显的。因此,为了简明省略了对于特定的程序代码的细节。而且,当通过各个处理装置根据实施方式来执行功能时,也可以通过专用的硬件或固件、或者硬件、固件和/或软件的某些组合来执行这种功能。
另外参照图4,所例示的是实现改变触摸屏在摄像头操作期间的功能的示例性方法的逻辑操作。可以通过执行例如摄像头接口功能12的实施方式来实现示例性方法。因而,图4的流程图可以被认为描述由电子设备10所实现的方法的步骤。尽管图4示出执行功能性逻辑块的特定的步骤,但是可以相对于所示的顺序改变执行块的顺序。本领域普通技术人员将理解的是,逻辑操作可以被配置为自动地发生并且/或者可以根据用户交互来启动和关闭。而且,连续示出的两个或更多个块可以同时执行或者部分同时地执行。某些块也可以被省略。
如图4所例示的,针对摄像头接口功能12的逻辑流程可以从块70开始,其中,接收到打开摄像头16的用户指令。用户可以通过例如触摸电子设备10的触摸屏14上的指定的触摸点来输入打开摄像头16的指令。在一个实施方式中,触摸屏14的触摸输入装置20可以接收用户触摸输入并且向控制电路36提供指令信号。响应于控制信号,控制电路36可以激活摄像头16并且将所接收的指令通知给摄像头接口功能12。一旦激活,摄像头16就可以生成可以提供至显示器18的用于电子取景器操作的预览视频信号。
在框72,在接收到打开摄像头16的指令时,摄像头接口功能12可以自动地打开视频电话摄像头24。一旦激活,视频电话摄像头24就可以被配置为生成包括在视频电话摄像头24的视野内的部分场景的动态更新的表示的视频信号。摄像头接口功能12获取由视频电话摄像头24所生成的视频信号。如以上所指出的,通过视频电话摄像头24所生成的视频信号可以表示通常与由摄像头16所生成并且显示在电子取景器上的预览视频信号的视野方向相反的视野。因而,如果用户面对视频电话摄像头24,则由视频电话摄像头24所生成的视频信号可以包括用户的表示。相反地,如果用户面对着摄像头16,则由摄像头16所生成的预览视频信号可以包括用户的表示。
在框74,通过摄像头接口功能12的用户检测算法来分析由视频电话摄像头24所生成的视频信号,以确定在图像域中是否可以识别任何身体特征(例如,面部或其它)。身体特征的识别可以指示用户出现在图像域中并因此例如面对位于电子设备10正面的触摸屏14。另一方面,缺乏可识别的身体特征可以指示用户不在图像域中,并且因此例如面对位于电子设备10的与触摸屏14相反的面上的摄像头16。
在一个实施方式中,框74的用户检测处理可以持续预定时间,直至摄像头接口功能12识别到在图像域中存在用户为止,或者直至确定在图像域中不存在用户为止。可以对框74的确定进行定期的更新。例如,每五秒,或者更少,可以执行用户检测处理来修改用户检测确定。而且,执行框74的用户检测处理所需的时间可以足够短,使得用户在输入打开摄像头16的指令和在与摄像头16的当前操作模式(例如,一般摄像头模式或者优化摄像头模式)相对应的触摸屏14上显示图形用户界面之间察觉到很小的延迟或者察觉不到延迟。
在框76,如果确定身体特征出现在图像域中,则摄像头接口功能12可以通过将触摸屏14设置为工作在一般摄像头模式来控制触摸屏14的功能。在一个实施方式中,在一般摄像头模式的操作期间,触摸屏14允许用户控制摄像头16的各种特性,所述特性包括:例如快门功能、闪光灯、变焦量、聚焦设置和/或其它与通常的摄像头操作相关的特性。摄像头接口功能12可以控制显示在显示器18上的内容,从而将用于控制摄像头16的各种功能的图形用户界面显示给用户。并且摄像头接口功能12可以根据适当的显示内容的形状和大小来控制触摸屏14上的触摸点的形状和大小。因而,当触摸屏14在一般摄像头模式下工作时,用户可以通过触摸在触摸屏14上的、指定为表示期望摄像头特性的特定点来控制多个摄像头特性中的一个特性。
在框78,如果确定身体特征没有出现在图像域中,则摄像头接口功能12可以通过将触摸屏14设置为工作在优化的摄像头模式下来控制触摸屏14的功能。在一个实施方式中,在优化的摄像头模式下的操作期间,整个触摸屏14充当用于控制摄像头16的快门功能的触摸点。例如,摄像头接口功能12可以控制显示在显示器18上的内容,使得向用户显示仅用于控制快门功能的图形用户界面。并且摄像头接口功能12可以将触摸屏14配置为仅包括覆盖触摸屏14的整个区域的一个触摸点。因而,当触摸屏14工作在优化的摄像头模式时,用户可以通过“盲”触摸(即,不需要看)触摸屏14上的任何区域来控制快门功能。
另外参照图5,在一个实施方式中,摄像头接口功能12可以被配置为对触摸屏14进行设置,使得除了快门功能以外的一个或更多个摄像头特性(例如,闪光灯开/光、视频/摄像头模式等)在工作在优化的摄像头模式时通过用户触摸输入可以是可控的。如图5所示,可以将触摸输入装置20视为具有被划分为几个触摸区域(例如,80、82、84)的表面面积,其中,各个触摸区域被配置为接收与特定摄像头特性相关的用户输入。例如,至少一个触摸区域(例如,80)被指定为包括与控制快门功能相关的触摸点。并且一个或更多个触摸区域(例如,82、84)可以被指定为包括与控制一个或更多个附加摄像头特性相关的触摸点。图5示出了电子设备10的示例性实施方式,其中,将触摸输入装置20的表面面积分为快门触摸区域80、闪光灯触摸区域82和摄像头/视频触摸区域84。如图所示,快门触摸区域80明显大于其它两个区域82、84。这使得即使当通过触摸屏14控制其它摄像头特征时,用户也能够容易地定位快门触摸区域80。例如,快门触摸区域80可以构成触摸输入装置20的表面区域的至少四分之三(3/4)。
可以用文本、图像和/或符号或者其任意的组合来标明各个触摸区域,以标识相关摄像头特性。标签也可以指示摄像头特性的当前设置。例如,在闪光灯触摸区域82中,所显示的文本可以指示闪光灯是打开的还是关闭的。在摄像头/视频触摸区域84,所显示的文本可以指示摄像头16是工作在静态照相模式还是工作在视频摄像模式。在一个实施方式中,当摄像头16工作在摄像头模式时,闪光灯触摸区域82可以从触摸屏14上消失。例如,闪光灯触摸区域82可以和摄像头/视频触摸区域84合并,以生成一个用于接收与控制摄像头16的摄像头/视频模式相关的用户输入的触摸区域。一旦摄像头16变回至静态照相模式,则闪光灯触摸区域82可以再次出现在触摸屏14上。
应理解的是,触摸屏14的各个触摸区域都可以与摄像头16的任何一个摄像头特性相关、或者与电子设备10的任何其它操作相关。此外,触摸区域可以是触摸屏14的大小内的任何形状或大小,而不限于如图5所示的触摸区域80、82和84的特定特征。在一个实施方式中,给定的触摸区域的形状和尺寸可以取决于表示触摸区域的标签的形状和尺寸。仅为了说明性的目的,虚线用于表示触摸区域80、82和84的边界;然而,应理解的是,这些线不作为图形用户界面的部分向用户显示。
在一个实施方式中,在与呈现在触摸屏14上的一个或更多个摄像头特性相对应的触摸点接收到用户输入时,摄像头接口功能12可以向用户语音地呈现(例如,说出)关于对应摄像头特性的信息。用户输入可以是如上所述的触摸输入。此外或者另选地,触摸输入装置20可以被配置为识别手指在触摸点上面或附近的悬停作为用户输入。可以通过利用例如文转声应用程序来实现信息的语音表述。可以建立数据库(例如,查找表)以包括针对触摸屏14上的各个触摸点的摄像头特性信息。摄像头特性信息可以包括例如摄像头特性的名字(例如,闪光灯)和/或与摄像头特性相关的选项(例如,闪光灯开/关)。在特定的触摸点接收到用户输入时,摄像头接口功能12可以得到与所选择的触摸点相关的摄像头特性信息、并且将该信息提供至文转声应用程序。例如,在将手指放在闪光灯触摸区域82时,用户可以听到“闪光灯开”,从而指示用户摄像头16的闪光灯被打开。同样地,在将手指放在照相/视频触摸区域82时,用户可以听到“摄像头模式”,从而指示用户摄像头16工作在静态摄像头模式。因而,摄像头接口功能12可以使得用户能够在显示在触摸屏14上的摄像头特性之间进行导航而不需看着显示器18。这进一步方便了用户不需观看而使用触摸屏14的能力。
在某些情况下,用户可能不想使用处于优化的摄像头模式的触摸屏14并且/或者希望当不需要优化的摄像头模式时通过关闭视频电话摄像头24来保存电池电量。在一个实施方式中,为了在控制摄像头操作中向用户提供更大的灵活性,在启动摄像头16时,触摸屏14可以自动地向用户显示在正常的摄像头操作和基于用户检测的摄像头操作之间进行选择的图形用户界面。在正常的摄像头操作期间,电子设备10可以不使用本文所描述的摄像头接口功能12的用户检测技术,因此,可以不激活视频电话摄像头24直至进一步接收到用户输入。另一方面,在基于用户检测的摄像头操作期间,电子设备10可以自动地激活视频电话摄像头24用以执行本文所述的用户检测技术。另选地或者附加地,在使用摄像头16时,用户可以通过从菜单项的列表选择选项在正常的摄像头操作和基于用户检测的摄像头操作之间进行切换。
在一个实施方式中,除了上述的用户检测技术以外,通过摄像头接口功能12可以对由摄像头16所生成的预览视频信号进行分析,以确认或核实用户实际上面对摄像头16而不是显示器18。例如,在图4的框74,根据由视频电话摄像头24所生成的视频信号的分析结果,摄像头接口功能12可以确定在视频电话摄像头24的图像域中没有可识别的身体信息,从而指示用户没有面对显示器18。根据本实施方式,摄像头接口功能12也可以分析由摄像头16所生成的预览视频信号,以确定在摄像头16的图像域中是否可以识别身体特征。在摄像头16的图像域中的身体特征的识别可以确认用户没有面对显示器18,而是面对摄像头16。因而,通过根据来自相反的视点的两个不同的视频信号来进行用户检测处理,摄像头接口功能12能够证实用户实际上正在试图例如利用摄像头16给自己拍照。
在用户不在视频电话摄像头24的视野内但是仍然希望观察并使用当触摸屏14工作在一般的摄像头模式时可用的、具有丰富特性的用户界面的情况下,以上实施方式是首选的。例如,当举起电子设备10超过用户的头时,用户的身体特征不在视频电话摄像头24的视野内;然而,从电子设备10下面的用户的立场来看,显示在触摸屏14上的摄像头用户界面可以仍然是可见的并可使用的。在这种情况下,用户可能更喜欢使触摸屏工作在一般的摄像头模式下,而不是工作在仅可以使用快门功能的优化的摄像头模式下。通过分析摄像头16的视频信号和视频电话摄像头24的视频信号,摄像头接口功能12能够确定用户不在摄像头的视野内。根据该确定,摄像头接口功能12可以将触摸屏14设置为工作在一般的摄像头模式下。
在另一实施方式中,摄像头接口功能12可以利用脸部识别技术来确认用户在摄像头16的视野内。例如,摄像头接口功能12可以分析由摄像头16所生成的预览视频信号,以确定在摄像头16的视野内的对象是否可以被识别为用户的脸。在拥挤的区域中为了确保拥挤的人群中的一员不会意外地被识别为用户,将脸部识别用作用户检测处理的一部分是首选的。而且,本实施方式可以防止摄像头接口功能12将要被拍摄的对象识别为用户,其中,用户不在视频电话摄像头24的视野内。
在一个实施方式中,当触摸屏14工作在优化的摄像头模式时,摄像头接口功能12可以使整个触摸屏14充当用于控制摄像头16的视频记录功能的触摸点。例如,用户可以通过触摸触摸屏14上的任何区域来开始记录视频,并且可以通过第二次触摸触摸屏14来停止记录视频。因而,本文所描述的用于例如帮助采集自画像的技术可以用于帮助记录例如“自己的视频”或者其它视频,其中,用户不能观看触摸屏14或者另外不能确定与视频记录功能相关的触摸点的位置。
总而言之,本公开提供了用于利用具有触摸屏功能的电子设备10来拍照的改进技术。如本文所描述的,这种改进技术允许用户在不能观看触摸屏14以确定相关触摸点的位置的情况下,容易地使用触摸屏14上的快门功能。此外,本公开使得用户能够在拍摄照片和/或视频时以通常的方式(例如,当面对触摸屏14时)使用功能丰富的摄像头菜单,同时也使用户能够在面对摄像头16时迅速地并容易地给自己拍照。因而,如本文所述,在利用摄像头16采集图像时,可以自动地配置触摸屏14的功能以满足用户的操作需要。
尽管示出并描述了特定的实施方式,但是应理解的是,在阅读并理解了该说明书后,本领域技术人员将会想到落入所附权利要求范围内的等价和修改。

Claims (20)

1.一种电子设备,该电子设备包括:
第一摄像头,其生成包含所述第一摄像头的视野内的至少一部分场景的表示的视频信号;
第二摄像头,其在接收到与控制所述第二摄像头的快门功能相关的用户输入时采集图像,所述图像表示了所述第二摄像头的视野内的至少一部分场景;
控制器,其从所述第一摄像头获取视频信号并分析所述视频信号,以确定所述电子设备的用户的一个或更多个身体特征是否出现在所述第一摄像头的视野内;以及
触摸输入装置,其可操作地耦接至所述控制器,并且被配置为包括用于接收在所述触摸输入装置的表面上的用户输入的一个或更多个触摸点,各个触摸点与控制所述第二摄像头的多个功能的每一个功能相关,
其中,在所述触摸输入装置上的至少一个触摸点与控制所述第二摄像头的所述快门功能相关,并且在所述触摸输入装置上的触摸点的总数取决于由所述控制器进行的视频信号分析的结果。
2.根据权利要求1所述的电子设备,其中,在确定在所述第一摄像头的视野内没有出现身体特征时,所述控制器将所述触摸输入装置的整个表面区域配置为作为与控制所述快门功能相关的至少一个触摸点来进行操作。
3.根据权利要求1所述的电子设备,其中,在确定在所述第一摄像头的视野内没有出现身体特征时,所述控制器将触摸输入装置的大部分表面区域配置为作为与控制所述快门功能相关的至少一个触摸点来进行操作,并且将所述触摸输入装置的表面区域的剩余的小部分配置为包括触摸点的选择。
4.根据权利要求3所述的电子设备,还包括数据库,其包括针对所述触摸输入装置上的各个触摸点的摄像头特征信息,
其中,在所选择的触摸点接收到用户触摸输入时,将与所选择的触摸点有关的所述摄像头特征信息语音地表达给所述用户。
5.根据权利要求1所述的电子设备,其中,在确定在所述第一摄像头的视野内出现身体特征时,所述控制器将所述触摸输入装置配置为包括多个与控制所述第二摄像头的各个功能相关的触摸点。
6.根据权利要求1至5中任意一项所述的电子设备,其中,所述身体特征包括所述用户的一个或更多个面部特征。
7.根据权利要求6所述的电子设备,还包括存储器,其存储之前获得的包括所述用户的一个或更多个面部特征的用户身份信息,
其中,在确定面部特征出现在所述第一摄像头的视野内时,所述控制器从所述存储器得到所述用户身份信息,以确定出现在所述第一摄像头的视野内的所述面部特征是否与包括在所述用户身份信息中的所述一个或更多个面部特征相匹配。
8.根据权利要求7所述的电子设备,其中,如果不匹配,则所述控制器将所述触摸输入装置的整个表面配置为作为与控制所述快门功能相关的至少一个触摸点进行操作。
9.根据权利要求1至8中任意一项所述的电子设备,还包括布置在触摸输入装置下面的显示器,所述显示器被配置为取景器,以显示包括在第二摄像头的视野内的至少一部分场景的表示的预览视频信号,
其中,所述控制器被配置为分析所述预览视频信号,以确定所述用户的一个或更多个身体特征是否出现在所述第二摄像头的视野内。
10.根据权利要求9所述的电子设备,其中,在确定身体特征没有出现在所述第一摄像头的视野内、并且在确定身体特征出现在所述第二摄像头的视野内时,所述控制器将所述触摸输入装置的所述整个表面配置为作为与控制所述快门功能相关的至少一个触摸点进行操作。
11.根据权利要求9所述的电子设备,其中,在确定所述身体特征没有出现在所述第一摄像头的视野内、并且在确定身体特征没有出现在所述第二摄像头的视野内时,所述控制器将所述触摸输入装置配置为包括与控制所述第二摄像头的各个功能相关的多个触摸点。
12.根据权利要求9所述的电子设备,还包括存储器,其存储之前获得的包括所述用户的一个或更多个面部特征的用户身份信息,
其中,在确定身体特征出现在所述第二摄像头的视野内时,
所述控制器得到所述用户身份信息并且确定出现在所述第二摄像头的视野内的所述身体特征是否与包括在所述用户身份信息内的所述一个或更多个面部特征相匹配,并且
如果匹配,则所述控制器将所述触摸输入装置的整个表面配置为作为与控制所述快门功能相关的至少一个触摸点进行操作。
13.根据权利要求1至12中任意一项所述的电子设备,其中,所述第一摄像头的所述视野通常具有与所述第二摄像头的所述视野相反的方向。
14.根据权利要求1至13中任意一项所述的电子设备,其中,在接收到用户指令以开始所述第二摄像头的操作时,所述控制器自动地开始所述第一摄像头的操作并且分析由所述第一摄像头所生成的视频信号。
15.根据权利要求1至14中任意一项所述的电子设备,其中,所述第二摄像头的功能包括摄像头模式、视频模式、闪光灯设置、变焦功能或者聚焦设置的至少一个。
16.一种改变包括第一摄像头、第二摄像头和触摸输入装置的电子设备的触摸屏功能的方法,该方法包括以下步骤:
获取包括所述第一摄像头的视野内的至少一部分场景的表示的视频信号;
分析所述视频信号以确定所述电子设备的用户的一个或更多个身体特征是否出现在所述第一摄像头的视野内;以及
根据所述视频信号分析的结果,在所述触摸输入装置上提供一个或更多个触摸点以在所述触摸输入装置的表面区域上接收用户输入,各个触摸点与控制所述第二摄像头的多个功能的各个功能相关,
其中,所述触摸输入装置上的至少一个触摸点与控制所述第二摄像头的快门功能相关,以采集表示所述第二摄像头的视野内的至少一部分场景的图像。
17.根据权利要求16所述的方法,该方法还包括以下步骤:在确定身体特征没有出现在所述第一摄像头的所述视野内时,将所述触摸输入装置的整个表面配置为作为与控制所述快门功能相关的至少一个触摸点进行操作。
18.根据权利要求16所述的方法,该方法还包括以下步骤:
在确定在所述第一摄像头的所述视野内没有出现身体特征时,
将所述触摸输入装置的大部分表面区域配置为作为与控制所述快门功能相关的至少一个触摸点来进行操作,并且
将所述触摸输入装置的表面区域的剩余的小部分配置为包括触摸点的选择。
19.根据权利要求18所述的方法,该方法还包括以下步骤:
存储针对所述触摸输入装置上的各个触摸点的摄像头特征信息;并且
在所选择的触摸点接收到用户触摸输入时,将与所选择的触摸点有关的所述摄像头特征信息语音地表达给所述用户。
20.根据权利要求16所述的方法,该方法还包括以下步骤:在确定在所述第一摄像头的视野内出现身体特征时,将所述触摸输入装置配置为包括多个与控制所述第二摄像头的各个功能相关的触摸点。
CN2009801583391A 2009-03-27 2009-09-16 用于改变触摸屏功能的系统和方法 Expired - Fee Related CN102365613B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/412,583 US8111247B2 (en) 2009-03-27 2009-03-27 System and method for changing touch screen functionality
US12/412,583 2009-03-27
PCT/IB2009/006882 WO2010109264A1 (en) 2009-03-27 2009-09-16 System and method for changing touch screen functionality

Publications (2)

Publication Number Publication Date
CN102365613A true CN102365613A (zh) 2012-02-29
CN102365613B CN102365613B (zh) 2013-01-23

Family

ID=41481325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801583391A Expired - Fee Related CN102365613B (zh) 2009-03-27 2009-09-16 用于改变触摸屏功能的系统和方法

Country Status (5)

Country Link
US (1) US8111247B2 (zh)
EP (1) EP2411900B1 (zh)
JP (1) JP5358733B2 (zh)
CN (1) CN102365613B (zh)
WO (1) WO2010109264A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722321A (zh) * 2012-05-22 2012-10-10 中兴通讯股份有限公司 双摄像头切换的方法及装置
CN105183261A (zh) * 2015-10-09 2015-12-23 携程计算机技术(上海)有限公司 触控显示器及触控显示系统
CN106464679A (zh) * 2014-05-13 2017-02-22 谷歌技术控股有限责任公司 电子设备及用于控制对其访问的方法
CN106575147A (zh) * 2014-03-31 2017-04-19 脸谱公司 使用单个界面元件选择性地捕获视觉媒体的技术
CN107509037A (zh) * 2014-11-28 2017-12-22 广东欧珀移动通信有限公司 使用不同视场角摄像头拍照的方法和终端
CN112199016A (zh) * 2020-09-30 2021-01-08 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备及计算机可读存储介质

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090158309A1 (en) * 2007-12-12 2009-06-18 Hankyu Moon Method and system for media audience measurement and spatial extrapolation based on site, display, crowd, and viewership characterization
JP5331887B2 (ja) * 2008-09-15 2013-10-30 ヒューレット−パッカード デベロップメント カンパニー エル.ピー. 複数のカメラを有するタッチスクリーンディスプレイ
TWI393037B (zh) * 2009-02-10 2013-04-11 Quanta Comp Inc 光學觸控顯示裝置及其操作方法
US20100302393A1 (en) * 2009-05-26 2010-12-02 Sony Ericsson Mobile Communications Ab Self-portrait assistance in image capturing devices
KR20110015745A (ko) * 2009-08-10 2011-02-17 삼성전자주식회사 휴대용 단말기에서 터치 감도 조절 방법 및 장치
KR101589501B1 (ko) * 2009-08-24 2016-01-28 삼성전자주식회사 터치 스크린을 이용한 줌 제어 방법 및 장치
JP2011107899A (ja) * 2009-11-16 2011-06-02 Sony Corp 情報処理装置、設定変更方法及び設定変更プログラム
JP5457217B2 (ja) * 2010-02-02 2014-04-02 オリンパスイメージング株式会社 カメラ
CN101833403B (zh) * 2010-04-26 2012-09-19 鸿富锦精密工业(深圳)有限公司 基于图像识别的触摸系统
FR2960087B1 (fr) * 2010-05-12 2013-08-30 Compagnie Ind Et Financiere Dingenierie Ingenico Dispositif portable comprenant un ecran tactile et procede d'utilisation correspondant.
US9582166B2 (en) * 2010-05-16 2017-02-28 Nokia Technologies Oy Method and apparatus for rendering user interface for location-based service having main view portion and preview portion
US20110302491A1 (en) * 2010-06-04 2011-12-08 Research In Motion Limited Portable electronic device and method of controlling same
KR20120010764A (ko) * 2010-07-27 2012-02-06 엘지전자 주식회사 이동 단말기 및 3차원 영상 제어 방법
US9118832B2 (en) 2010-08-17 2015-08-25 Nokia Technologies Oy Input method
JP2014502070A (ja) * 2010-10-20 2014-01-23 ヨタ デバイセズ アイピーアール リミテッド 入力手段を有する携帯機器
KR101691833B1 (ko) 2010-11-04 2017-01-09 엘지전자 주식회사 이동 단말기 및 이것의 영상 촬영 제어 방법
US8988512B2 (en) 2011-04-14 2015-03-24 Mediatek Inc. Method for adjusting playback of multimedia content according to detection result of user status and related apparatus thereof
JP2012244526A (ja) * 2011-05-23 2012-12-10 Sony Corp 情報処理装置、情報処理方法及びコンピュータプログラム
KR101314679B1 (ko) * 2011-09-14 2013-10-07 엘지전자 주식회사 이동 단말기 및 그 동작 제어 방법
KR101322465B1 (ko) * 2011-11-17 2013-10-28 삼성전자주식회사 셀프 카메라 촬영을 위한 방법 및 장치
CN103999446B (zh) * 2011-12-30 2019-01-01 英特尔公司 电子设备的用户界面
JP5563108B2 (ja) * 2012-03-27 2014-07-30 富士フイルム株式会社 撮影装置、撮影方法およびプログラム
JP6055794B2 (ja) * 2012-03-27 2016-12-27 富士フイルム株式会社 自分撮り撮影装置、自分撮り撮影方法およびプログラム
JP5970937B2 (ja) * 2012-04-25 2016-08-17 ソニー株式会社 表示制御装置および表示制御方法
US20130322705A1 (en) * 2012-05-30 2013-12-05 Google Inc. Facial and fingerprint authentication
CN102984494B (zh) * 2012-12-06 2015-11-25 小米科技有限责任公司 一种视频通讯方法及装置
KR20140112911A (ko) * 2013-03-14 2014-09-24 삼성전자주식회사 표시부 미확인 모드에서 액션을 실행하는 모바일 장치 및 그 제어 방법
CN104702833B (zh) * 2013-12-04 2018-02-27 联想(北京)有限公司 一种信息处理的方法及一种电子设备
CN103795864B (zh) 2014-01-29 2016-09-28 华为技术有限公司 移动终端前后摄像头的选择方法和移动终端
WO2015143665A1 (en) * 2014-03-27 2015-10-01 Intel Corporation System and method to control a touchscreen user interface
JP2016015009A (ja) * 2014-07-02 2016-01-28 ソニー株式会社 情報処理システム、情報処理端末、および情報処理方法
CN104469144B (zh) * 2014-10-31 2017-06-09 广东欧珀移动通信有限公司 拍照方法和电子设备
CN106648361A (zh) * 2016-12-13 2017-05-10 深圳市金立通信设备有限公司 一种拍照方法及终端
WO2020170318A1 (ja) * 2019-02-19 2020-08-27 三菱電機株式会社 半導体装置、および、半導体装置の製造方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5617407A (en) * 1995-06-21 1997-04-01 Bareis; Monica M. Optical disk having speech recognition templates for information access
US5794205A (en) * 1995-10-19 1998-08-11 Voice It Worldwide, Inc. Voice recognition interface apparatus and method for interacting with a programmable timekeeping device
US7019778B1 (en) * 1999-06-02 2006-03-28 Eastman Kodak Company Customizing a digital camera
US6531999B1 (en) * 2000-07-13 2003-03-11 Koninklijke Philips Electronics N.V. Pointing direction calibration in video conferencing and other camera-based system applications
US6842652B2 (en) * 2002-02-22 2005-01-11 Concord Camera Corp. Image capture device
JP3948387B2 (ja) * 2002-10-24 2007-07-25 松下電器産業株式会社 ディジタルカメラおよびディジタルカメラ付き携帯電話装置
WO2004080064A1 (ja) * 2003-03-06 2004-09-16 Fujitsu Limited 情報処理装置、情報処理方法及び情報処理プログラム
JP2004302958A (ja) * 2003-03-31 2004-10-28 Kyocera Mita Corp 情報入力装置及び画像形成装置
CN100504487C (zh) * 2003-09-29 2009-06-24 联想(北京)有限公司 一种数码相机选择对焦区域的方法
KR100677303B1 (ko) * 2003-12-26 2007-02-05 엘지전자 주식회사 휴대 단말기
CN100461212C (zh) * 2004-06-04 2009-02-11 松下电器产业株式会社 显示控制方法及装置以及便携设备
JP2006186589A (ja) * 2004-12-27 2006-07-13 Olympus Imaging Corp 表示制御装置及び表示制御方法
JP4479962B2 (ja) * 2005-02-25 2010-06-09 ソニー エリクソン モバイル コミュニケーションズ, エービー 入力処理プログラム、携帯端末装置、及び入力処理方法
JP2007006413A (ja) * 2005-06-27 2007-01-11 Sony Corp 撮像装置
US20070040810A1 (en) * 2005-08-18 2007-02-22 Eastman Kodak Company Touch controlled display device
JP2007072578A (ja) * 2005-09-05 2007-03-22 Denso Corp 入力装置
US20070140532A1 (en) * 2005-12-20 2007-06-21 Goffin Glen P Method and apparatus for providing user profiling based on facial recognition
US8004555B2 (en) * 2006-05-31 2011-08-23 Motorola Mobility, Inc. Methods and devices for simultaneous dual camera video telephony
US7860382B2 (en) * 2006-10-02 2010-12-28 Sony Ericsson Mobile Communications Ab Selecting autofocus area in an image
KR101144423B1 (ko) * 2006-11-16 2012-05-10 엘지전자 주식회사 휴대 단말기 및 휴대 단말기의 화면 표시 방법
US9794348B2 (en) * 2007-06-04 2017-10-17 Todd R. Smith Using voice commands from a mobile device to remotely access and control a computer
US20090102805A1 (en) * 2007-10-18 2009-04-23 Microsoft Corporation Three-dimensional object simulation using audio, visual, and tactile feedback
US20090322671A1 (en) * 2008-06-04 2009-12-31 Cybernet Systems Corporation Touch screen augmented reality system and method

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013174076A1 (zh) * 2012-05-22 2013-11-28 中兴通讯股份有限公司 双摄像头切换的方法及装置
US9420180B2 (en) 2012-05-22 2016-08-16 Zte Corporation Method and device for switching between double cameras
CN102722321A (zh) * 2012-05-22 2012-10-10 中兴通讯股份有限公司 双摄像头切换的方法及装置
CN110784615A (zh) * 2014-03-31 2020-02-11 脸谱公司 使用单个界面元件选择性地捕获视觉媒体的技术
US11758268B1 (en) 2014-03-31 2023-09-12 Meta Platforms, Inc. Techniques to selectively capture visual media using a single interface element
US11297233B1 (en) 2014-03-31 2022-04-05 Meta Platforms, Inc. Techniques to selectively capture visual media using a single interface element
CN106575147A (zh) * 2014-03-31 2017-04-19 脸谱公司 使用单个界面元件选择性地捕获视觉媒体的技术
CN110784615B (zh) * 2014-03-31 2021-07-27 脸谱公司 使用单个界面元件选择性地捕获视觉媒体的技术
US10367999B1 (en) 2014-03-31 2019-07-30 Facebook, Inc. Techniques to selectively capture visual media using a single interface element
CN106575147B (zh) * 2014-03-31 2019-11-12 脸谱公司 使用单个界面元件选择性地捕获视觉媒体的技术
CN106464679B (zh) * 2014-05-13 2021-01-26 谷歌技术控股有限责任公司 电子设备及用于控制对其访问的方法
CN106464679A (zh) * 2014-05-13 2017-02-22 谷歌技术控股有限责任公司 电子设备及用于控制对其访问的方法
CN107509037B (zh) * 2014-11-28 2019-10-18 Oppo广东移动通信有限公司 使用不同视场角摄像头拍照的方法和终端
CN107509037A (zh) * 2014-11-28 2017-12-22 广东欧珀移动通信有限公司 使用不同视场角摄像头拍照的方法和终端
CN105183261A (zh) * 2015-10-09 2015-12-23 携程计算机技术(上海)有限公司 触控显示器及触控显示系统
CN112199016A (zh) * 2020-09-30 2021-01-08 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
US8111247B2 (en) 2012-02-07
WO2010109264A1 (en) 2010-09-30
US20100245287A1 (en) 2010-09-30
JP5358733B2 (ja) 2013-12-04
CN102365613B (zh) 2013-01-23
JP2012522415A (ja) 2012-09-20
EP2411900B1 (en) 2014-07-23
EP2411900A1 (en) 2012-02-01

Similar Documents

Publication Publication Date Title
CN102365613B (zh) 用于改变触摸屏功能的系统和方法
CN106341522B (zh) 移动终端及其控制方法
US9052751B2 (en) Visual laser touchpad for mobile telephone and method
CN102714698B (zh) 用于拍摄图像的电子设备和方法
CN102291485B (zh) 移动终端和在该移动终端中生成组的方法
US20090324098A1 (en) Mobile phone with selective photographic system and method
CN108234873A (zh) 一种获取图像的方法和装置
CN104811609A (zh) 拍摄参数调整方法和装置
CN104301610A (zh) 图像拍摄控制方法及装置
CN107426489A (zh) 拍摄图像时的处理方法、装置及终端
CN112822388B (zh) 拍摄模式的触发方法、装置、设备及存储介质
JP5125979B2 (ja) 画像表示装置及びプログラム
CN112217987B (zh) 一种拍摄控制方法、装置及存储介质
JP6062892B2 (ja) 移動端末機及びその制御方法
KR101539466B1 (ko) 이동 통신 단말기에서의 메뉴얼 표시 방법 및 이를 적용한 이동 통신 단말기
CN106128415B (zh) 屏幕亮度调节方法及装置
CN110968155A (zh) 全面屏终端、基于全面屏终端的操作执行方法及装置
CN106020699B (zh) 一种输入法切换方法、装置及终端
KR101635208B1 (ko) 이동 단말기에서의 터치 신호 처리 방법 및 이를 이용한 이동 단말기
KR101587099B1 (ko) 단말기 및 그 제어 방법
KR20110003705A (ko) 이동 단말기에서의 정보 표시 방법 및 이를 이용한 이동 단말기
CN114296628A (zh) 显示页面控制方法、装置、键盘、电子设备和存储介质
CN114327206A (zh) 一种消息显示方法及电子设备
EP3826282B1 (en) Image capturing method and device
CN111538450B (zh) 主题背景显示方法、装置及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130123

Termination date: 20190916

CF01 Termination of patent right due to non-payment of annual fee