CN114415906A - 用户界面相机效果 - Google Patents

用户界面相机效果 Download PDF

Info

Publication number
CN114415906A
CN114415906A CN202210063070.6A CN202210063070A CN114415906A CN 114415906 A CN114415906 A CN 114415906A CN 202210063070 A CN202210063070 A CN 202210063070A CN 114415906 A CN114415906 A CN 114415906A
Authority
CN
China
Prior art keywords
image data
representation
filter
input
lighting effect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210063070.6A
Other languages
English (en)
Other versions
CN114415906B (zh
Inventor
A·C·戴伊
J·P·艾夫
A·苏扎多斯桑托斯
A·贝扎蒂
B·J·曼扎里
B·索伦帝诺三世
C·赫尔曼斯
C·D·伊拉尼
D·T·普里斯通
E·哈里斯
E·金
F·曹
G·约翰逊
G·保罗
J·A·布拉斯克特
J·A·玛丽亚
M·比瑞扎
P·皮沃卡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DKPA201770563A external-priority patent/DK201770563A1/en
Application filed by Apple Inc filed Critical Apple Inc
Priority to CN202210063070.6A priority Critical patent/CN114415906B/zh
Priority claimed from PCT/US2018/015591 external-priority patent/WO2018226264A1/en
Publication of CN114415906A publication Critical patent/CN114415906A/zh
Application granted granted Critical
Publication of CN114415906B publication Critical patent/CN114415906B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • G06T5/94
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6027Correction or control of colour gradation or colour contrast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • H04N23/651Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus

Abstract

本公开整体涉及用户界面相机效果。在一些示例中,电子设备提供模拟照明效果之间的过渡。在一些示例中,该电子设备将模拟照明效果应用于图像。在一些示例中,该电子设备提供用于向图像应用滤波器的用户界面。在一些示例中,该电子设备提供减小的滤波器界面。在一些示例中,该电子设备提供显示在取景器中的视觉辅助。

Description

用户界面相机效果
本申请是国际申请日为2018年1月26日、国家申请号为201880036400.4(国际申请号为PCT/US2018/015591)、发明名称为“用户界面相机效果”的发明专利申请的分案申请。
本专利申请要求2017年10月9日提交的标题为“USER INTERFACE CAMERAEFFECTS”的美国专利申请No.15/728,147的优先权,该美国专利申请要求2017年9月9日提交的标题为“USER INTERFACE CAMERA EFFECTS”的美国临时专利申请No.62/556,414以及2017年6月4日提交的标题为“USER INTERFACE CAMERA EFFECTS”的美国临时专利申请No.62/514,947的优先权。本专利申请还要求2017年7月10日提交的标题为“USERINTERFACE CAMERA EFFECTS”的丹麦专利申请No.PA201770563和2017年9月22日提交的标题为“USER INTERFACE CAMERA EFFECTS”的丹麦专利申请No.PA201770719的优先权。这些专利申请的内容据此全文以引用方式并入以用于所有目的。
技术领域
本公开整体涉及电子设备的计算机用户界面,特别是涉及具有内置相机的设备的计算机用户界面。
背景技术
近年来,电子设备在录制视频和拍摄照片方面的使用显著增加。用于录制视频和拍摄照片的示例性电子设备包括智能电话和手持式相机。此类设备通常包括用户可使用以用于在拍摄照片或录制视频之前进行预览的取景器。
发明内容
然而,用于使用电子设备来管理相机效果的一些技术通常很麻烦且效率低下。例如,修改取景器中的视觉效果,使得所捕获的图像和所录制的视频表现出视觉效果,该视觉效果通常需要广泛的用户输入并且不精确。现有技术需要比所需更多的时间,这导致浪费用户的时间和设备能量。这后一考虑在电池驱动的设备中是特别重要的。
因此,本技术为电子设备提供了更快、更有效的方法和界面,用于管理相机效果。此类方法和界面任选地补充或替换用于管理相机效果的其他方法。此类方法和界面减少对用户所造成的认知负担,并且产生更有效的人机界面。对于电池驱动的计算设备,此类方法和界面节省功率,并且增大电池充电之间的时间间隔。在一些示例中,这些技术在相机取景器和所捕获的图像中提供模拟视觉效果,而不需要附加的硬件部件。在一些示例中,这些技术提供了以受限的用户输入在用户界面之间快速过渡的能力。在一些示例中,这些技术有效地提供增强的图像编辑能力,这使得所显示的数字取景器和所捕获的视频得到视觉愉悦的结果。在一些示例中,这些技术有效地提供用于以最少输入在不同选项集之间过渡的用户界面。在一些示例中,这些技术有效地提供用于在没有任何直接输入的情况下提供附加功能的用户界面。此类技术减少了所需的用户输入数量并节省电池电量。
示例性方法包括在具有一个或多个相机、一个或多个输入设备和显示器的电子设备处:在显示器上同时显示相机应用程序用户界面,其中相机应用程序用户界面包括:数字取景器,该数字取景器包括一个或多个相机的视场的实时预览;以及覆盖在数字取景器上的滤波器选择器用户界面的表示;在同时显示数字取景器和滤波器选择器用户界面的表示时,经由该一个或多个输入设备检测在与实时预览的相应部分对应的位置处开始的第一输入;并且响应于检测到第一输入:根据确定第一标准得到满足,将第一滤波器的预览应用于在检测到第一输入之前未应用的相机视场的实时预览,其中第一标准包括要求在检测到第一输入时滤波器选择器用户界面覆盖在实时预览的相应部分上;并且根据确定在检测到第一输入时滤波器选择器用户界面未覆盖在实时预览的相应部分上,在相机应用程序中执行相应操作,而不将第一滤波器的预览应用于实时预览。
示例性非暂态计算机可读存储介质存储被配置为由具有一个或多个相机、一个或多个输入设备和显示器的电子设备的一个或多个处理器执行的一个或多个程序。该一个或多个程序包括用于以下操作的指令:在显示器上同时显示相机应用程序用户界面,其中相机应用程序用户界面包括:数字取景器,该数字取景器包括一个或多个相机的视场的实时预览;以及覆盖在数字取景器上的滤波器选择器用户界面的表示;在同时显示数字取景器和滤波器选择器用户界面的表示时,经由该一个或多个输入设备检测在与实时预览的相应部分对应的位置处开始的第一输入;并且响应于检测到第一输入:根据确定第一标准得到满足,将第一滤波器的预览应用于在检测到第一输入之前未应用的相机视场的实时预览,其中第一标准包括要求在检测到第一输入时滤波器选择器用户界面覆盖在实时预览的相应部分上;并且根据确定在检测到第一输入时滤波器选择器用户界面未覆盖在实时预览的相应部分上,在相机应用程序中执行相应操作,而不将第一滤波器的预览应用于实时预览。
示例性暂态计算机可读存储介质存储被配置为由具有一个或多个相机、一个或多个输入设备和显示器的电子设备的一个或多个处理器执行的一个或多个程序。该一个或多个程序包括用于以下操作的指令:在显示器上同时显示相机应用程序用户界面,其中相机应用程序用户界面包括:数字取景器,该数字取景器包括一个或多个相机的视场的实时预览;以及覆盖在数字取景器上的滤波器选择器用户界面的表示;在同时显示数字取景器和滤波器选择器用户界面的表示时,经由该一个或多个输入设备检测在与实时预览的相应部分对应的位置处开始的第一输入;并且响应于检测到第一输入:根据确定第一标准得到满足,将第一滤波器的预览应用于在检测到第一输入之前未应用的相机视场的实时预览,其中第一标准包括要求在检测到第一输入时滤波器选择器用户界面覆盖在实时预览的相应部分上;并且根据确定在检测到第一输入时滤波器选择器用户界面未覆盖在实时预览的相应部分上,在相机应用程序中执行相应操作,而不将第一滤波器的预览应用于实时预览。
示例性电子设备包括一个或多个相机、一个或多个输入设备、显示器、一个或多个处理器、以及存储被配置为由该一个或多个处理器执行的一个或多个程序的存储器。该一个或多个程序包括用于以下操作的指令:在显示器上同时显示相机应用程序用户界面,其中相机应用程序用户界面包括:数字取景器,该数字取景器包括一个或多个相机的视场的实时预览;以及覆盖在数字取景器上的滤波器选择器用户界面的表示;在同时显示数字取景器和滤波器选择器用户界面的表示时,经由该一个或多个输入设备检测在与实时预览的相应部分对应的位置处开始的第一输入;并且响应于检测到第一输入:根据确定第一标准得到满足,将第一滤波器的预览应用于在检测到第一输入之前未应用的相机视场的实时预览,其中第一标准包括要求在检测到第一输入时滤波器选择器用户界面覆盖在实时预览的相应部分上;并且根据确定在检测到第一输入时滤波器选择器用户界面未覆盖在实时预览的相应部分上,在相机应用程序中执行相应操作,而不将第一滤波器的预览应用于实时预览。
示例性电子设备包括:一个或多个相机;一个或多个输入设备;显示器;用于在显示器上同时显示相机应用程序用户界面的装置,其中相机应用程序用户界面包括:数字取景器,该数字取景器包括一个或多个相机的视场的实时预览;以及覆盖在数字取景器上的滤波器选择器用户界面的表示;用于在同时显示数字取景器和滤波器选择器用户界面的表示时,经由该一个或多个输入设备检测在与实时预览的相应部分对应的位置处开始的第一输入的装置;以及用于以下操作的装置:响应于检测到第一输入:根据确定第一标准得到满足,将第一滤波器的预览应用于在检测到第一输入之前未应用的相机视场的实时预览,其中第一标准包括要求在检测到第一输入时滤波器选择器用户界面覆盖在实时预览的相应部分上;并且根据确定在检测到第一输入时滤波器选择器用户界面未覆盖在实时预览的相应部分上,在相机应用程序中执行相应操作,而不将第一滤波器的预览应用于实时预览。
示例性方法包括在具有一个或多个输入设备和显示器的电子设备处:在显示器上显示与深度图信息相关联的图像数据的表示;在显示器上显示图像数据的表示时:经由该一个或多个输入设备来检测第一输入;根据检测到第一输入,将第一照明效果应用于图像数据的表示,其中第一照明效果基于深度图信息;经由该一个或多个输入设备检测第二输入;并且根据检测到第二输入,将不同于第一照明效果的第二照明效果应用于图像数据的表示,其中第二照明效果基于深度图信息。
示例性非暂态计算机可读存储介质存储被配置为由具有一个或多个输入设备和显示器的电子设备的一个或多个处理器执行的一个或多个程序。该一个或多个程序包括用于进行以下操作的指令:在显示器上显示与深度图信息相关联的图像数据的表示;在显示器上显示图像数据的表示时:经由该一个或多个输入设备来检测第一输入;根据检测到第一输入,将第一照明效果应用于图像数据的表示,其中第一照明效果基于深度图信息;经由该一个或多个输入设备检测第二输入;并且根据检测到第二输入,将不同于第一照明效果的第二照明效果应用于图像数据的表示,其中第二照明效果基于深度图信息。
示例性暂态计算机可读存储介质存储被配置为由具有一个或多个输入设备和显示器的电子设备的一个或多个处理器执行的一个或多个程序。该一个或多个程序包括用于进行以下操作的指令:在显示器上显示与深度图信息相关联的图像数据的表示;在显示器上显示图像数据的表示时:经由该一个或多个输入设备来检测第一输入;根据检测到第一输入,将第一照明效果应用于图像数据的表示,其中第一照明效果基于深度图信息;经由该一个或多个输入设备检测第二输入;并且根据检测到第二输入,将不同于第一照明效果的第二照明效果应用于图像数据的表示,其中第二照明效果基于深度图信息。
示例性电子设备包括:一个或多个输入设备;显示器;一个或多个处理器;以及存储器,该存储器存储被配置为由该一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于进行以下操作的指令:在显示器上显示与深度图信息相关联的图像数据的表示;在显示器上显示图像数据的表示时:经由该一个或多个输入设备来检测第一输入;根据检测到第一输入,将第一照明效果应用于图像数据的表示,其中第一照明效果基于深度图信息;经由该一个或多个输入设备检测第二输入;并且根据检测到第二输入,将不同于第一照明效果的第二照明效果应用于图像数据的表示,其中第二照明效果基于深度图信息。
示例性电子设备包括:一个或多个相机;一个或多个输入设备;显示器;用于在显示器上显示与深度图信息相关联的图像数据的表示的装置;用于以下操作的装置:在显示器上显示图像数据的表示时,经由该一个或多个输入设备来检测第一输入;根据检测到第一输入,将第一照明效果应用于图像数据的表示,其中第一照明效果基于深度图信息;经由该一个或多个输入设备检测第二输入;并且根据检测到第二输入,将不同于第一照明效果的第二照明效果应用于图像数据的表示,其中第二照明效果基于深度图信息。
示例性方法包括在具有一个或多个输入设备和显示器的电子设备处:经由该一个或多个输入设备来检测与对具有第一外观的图像数据的表示的第一图像滤波器的选择对应的第一输入;并且响应于检测到第一输入,将第一图像滤波器应用于图像数据的表示,包括:根据确定图像数据已经与深度信息相关联,其中深度信息使图像数据的表示的前景区域能够与图像数据的表示的背景区域区分开:将第一图像滤波器应用于图像数据的表示的前景区域,进行第一级调整以改变图像数据的表示的前景区域的外观,其中第一级调整指示第一图像滤波器改变图像数据的表示的外观的第一程度;将第一图像滤波器应用于图像数据的表示的背景区域,进行第二级调整以改变图像数据的表示的背景区域的外观,其中第二级调整指示第一图像滤波器改变图像数据的表示的外观的第二程度,其中第一级调整和第二级调整不同;并且在将第一图像滤波器应用于图像数据的表示之后,在显示器上显示相应图像的表示,其中第一滤波器应用于图像数据的表示。
示例性非暂态计算机可读存储介质存储被配置为由具有一个或多个输入设备和显示器的电子设备的一个或多个处理器执行的一个或多个程序。该一个或多个程序包括用于进行以下操作的指令:经由该一个或多个输入设备来检测与对具有第一外观的图像数据的表示的第一图像滤波器的选择对应的第一输入;并且响应于检测到第一输入,将第一图像滤波器应用于图像数据的表示,包括:根据确定图像数据已经与深度信息相关联,其中深度信息使图像数据的表示的前景区域能够与图像数据的表示的背景区域区分开:将第一图像滤波器应用于图像数据的表示的前景区域,进行第一级调整以改变图像数据的表示的前景区域的外观,其中第一级调整指示第一图像滤波器改变图像数据的表示的外观的第一程度;将第一图像滤波器应用于图像数据的表示的背景区域,进行第二级调整以改变图像数据的表示的背景区域的外观,其中第二级调整指示第一图像滤波器改变图像数据的表示的外观的第二程度,其中第一级调整和第二级调整不同;并且在将第一图像滤波器应用于图像数据的表示之后,在显示器上显示相应图像的表示,其中第一滤波器应用于图像数据的表示。
示例性暂态计算机可读存储介质存储被配置为由具有一个或多个输入设备和显示器的电子设备的一个或多个处理器执行的一个或多个程序。该一个或多个程序包括用于进行以下操作的指令:经由该一个或多个输入设备来检测与对具有第一外观的图像数据的表示的第一图像滤波器的选择对应的第一输入;并且响应于检测到第一输入,将第一图像滤波器应用于图像数据的表示,包括:根据确定图像数据已经与深度信息相关联,其中深度信息使图像数据的表示的前景区域能够与图像数据的表示的背景区域区分开:将第一图像滤波器应用于图像数据的表示的前景区域,进行第一级调整以改变图像数据的表示的前景区域的外观,其中第一级调整指示第一图像滤波器改变图像数据的表示的外观的第一程度;将第一图像滤波器应用于图像数据的表示的背景区域,进行第二级调整以改变图像数据的表示的背景区域的外观,其中第二级调整指示第一图像滤波器改变图像数据的表示的外观的第二程度,其中第一级调整和第二级调整不同;并且在将第一图像滤波器应用于图像数据的表示之后,在显示器上显示相应图像的表示,其中第一滤波器应用于图像数据的表示。
示例性电子设备包括:一个或多个输入设备;显示器;一个或多个处理器;和存储器,该存储器存储被配置为由该一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于进行以下操作的指令:经由该一个或多个输入设备来检测与对具有第一外观的图像数据的表示的第一图像滤波器的选择对应的第一输入;并且响应于检测到第一输入,将第一图像滤波器应用于图像数据的表示,包括:根据确定图像数据已经与深度信息相关联,其中深度信息使图像数据的表示的前景区域能够与图像数据的表示的背景区域区分开:将第一图像滤波器应用于图像数据的表示的前景区域,进行第一级调整以改变图像数据的表示的前景区域的外观,其中第一级调整指示第一图像滤波器改变图像数据的表示的外观的第一程度;将第一图像滤波器应用于图像数据的表示的背景区域,进行第二级调整以改变图像数据的表示的背景区域的外观,其中第二级调整指示第一图像滤波器改变图像数据的表示的外观的第二程度,其中第一级调整和第二级调整不同;并且在将第一图像滤波器应用于图像数据的表示之后,在显示器上显示相应图像的表示,其中第一滤波器应用于图像数据的表示。
示例性电子设备包括:一个或多个输入设备;显示器;用于经由该一个或多个输入设备来检测与对具有第一外观的图像数据的表示的第一图像滤波器的选择对应的第一输入的装置;以及用于响应于检测到第一输入,将第一图像滤波器应用于图像数据的表示的装置,该装置又包括用于以下操作的装置:根据确定图像数据已经与深度信息相关联,其中深度信息使图像数据的表示的前景区域能够与图像数据的表示的背景区域区分开:将第一图像滤波器应用于图像数据的表示的前景区域,进行第一级调整以改变图像数据的表示的前景区域的外观,其中第一级调整指示第一图像滤波器改变图像数据的表示的外观的第一程度;将第一图像滤波器应用于图像数据的表示的背景区域,进行第二级调整以改变图像数据的表示的背景区域的外观,其中第二级调整指示第一图像滤波器改变图像数据的表示的外观的第二程度,其中第一级调整和第二级调整不同;并且在将第一图像滤波器应用于图像数据的表示之后,在显示器上显示相应图像的表示,其中第一滤波器应用于图像数据的表示。
示例性方法包括在具有一个或多个输入设备和显示器的电子设备处:在显示器上显示滤波器选择界面,该滤波器选择界面包括一组滤波器中的多个滤波器的表示;在显示器上同时显示图像数据的表示和滤波器选择界面时,经由该一个或多个输入设备在与滤波器选择界面对应的位置处检测第一输入,同时该组滤波器中的第一滤波器满足选择标准;并且响应于检测到第一输入:停止显示该组滤波器中的滤波器的表示的第一子集,其中该组滤波器中的滤波器的表示的第一子集包括相对于滤波器选择用户界面中的第一滤波器的表示在第一方向上的一个或多个滤波器以及相对于第一滤波器的表示在第二方向上的一个或多个滤波器;并且保持显示该组滤波器中的滤波器的表示的第二子集,这些滤波器的表示的第二子集至少包括第一滤波器的表示。
示例性非暂态计算机可读存储介质存储被配置为由具有一个或多个输入设备和显示器的电子设备的一个或多个处理器执行的一个或多个程序。该一个或多个程序包括用于进行以下操作的指令:在显示器上显示包括一组滤波器中的多个滤波器的表示的滤波器选择界面;在显示器上同时显示图像数据的表示和滤波器选择界面时,经由该一个或多个输入设备在与滤波器选择界面对应的位置处检测第一输入,同时该组滤波器中的第一滤波器满足选择标准;并且响应于检测到第一输入:停止显示该组滤波器中的滤波器的表示的第一子集,其中该组滤波器中的滤波器的表示的第一子集包括相对于滤波器选择用户界面中的第一滤波器的表示在第一方向上的一个或多个滤波器以及相对于第一滤波器的表示在第二方向上的一个或多个滤波器;并且保持显示该组滤波器中的滤波器的表示的第二子集,这些滤波器的表示的第二子集至少包括第一滤波器的表示。
示例性暂态计算机可读存储介质存储被配置为由具有一个或多个输入设备和显示器的电子设备的一个或多个处理器执行的一个或多个程序。该一个或多个程序包括用于进行以下操作的指令:在显示器上显示包括一组滤波器中的多个滤波器的表示的滤波器选择界面;在显示器上同时显示图像数据的表示和滤波器选择界面时,经由该一个或多个输入设备在与滤波器选择界面对应的位置处检测第一输入,同时该组滤波器中的第一滤波器满足选择标准;并且响应于检测到第一输入:停止显示该组滤波器中的滤波器的表示的第一子集,其中该组滤波器中的滤波器的表示的第一子集包括相对于滤波器选择用户界面中的第一滤波器的表示在第一方向上的一个或多个滤波器以及相对于第一滤波器的表示在第二方向上的一个或多个滤波器;并且保持显示该组滤波器中的滤波器的表示的第二子集,这些滤波器的表示的第二子集至少包括第一滤波器的表示。
示例性电子设备包括:一个或多个输入设备;显示器;一个或多个处理器;和存储器,该存储器存储被配置为由该一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于进行以下操作的指令:在显示器上显示包括一组滤波器中的多个滤波器的表示的滤波器选择界面;在显示器上同时显示图像数据的表示和滤波器选择界面时,经由该一个或多个输入设备在与滤波器选择界面对应的位置处检测第一输入,同时该组滤波器中的第一滤波器满足选择标准;并且响应于检测到第一输入:停止显示该组滤波器中的滤波器的表示的第一子集,其中该组滤波器中的滤波器的表示的第一子集包括相对于滤波器选择用户界面中的第一滤波器的表示在第一方向上的一个或多个滤波器以及相对于第一滤波器的表示在第二方向上的一个或多个滤波器;并且保持显示该组滤波器中的滤波器的表示的第二子集,这些滤波器的表示的第二子集至少包括第一滤波器的表示。
示例性电子设备包括:一个或多个输入设备;显示器;用于在显示器上显示包括一组滤波器中的多个滤波器的表示的滤波器选择界面的装置;用于以下操作的装置:在显示器上同时显示图像数据的表示和滤波器选择界面时,经由该一个或多个输入设备在与滤波器选择界面对应的位置处检测第一输入,同时该组滤波器中的第一滤波器满足选择标准;以及用于以下操作的装置:响应于检测到第一输入:停止显示该组滤波器中的滤波器的表示的第一子集,其中该组滤波器中的滤波器的表示的第一子集包括相对于滤波器选择用户界面中的第一滤波器的表示在第一方向上的一个或多个滤波器以及相对于第一滤波器的表示在第二方向上的一个或多个滤波器;并且保持显示该组滤波器中的滤波器的表示的第二子集,这些滤波器的表示的第二子集至少包括第一滤波器的表示。
示例性方法包括在具有相机、传感器、一个或多个输入设备和显示器的电子设备处:在显示器上显示用于捕获媒体的相机取景器;并且在显示相机取景器时:根据基于来自传感器的数据确定设备满足对准引导件显示标准,在显示器上显示相机取景器中的对准引导件,其中对准引导件显示标准包括要求相机的焦点平面的取向和预先确定的取向之间的相对差在相应对准阈值内,以便对准引导件显示标准得到满足,其中对准引导件的外观随相机的焦点平面的取向相对于预先确定的取向变化而变化;并且根据基于来自传感器的数据确定对准引导件显示标准未得到满足,放弃在相机取景器中显示对准引导件。
示例性非暂态计算机可读存储介质存储被配置为由具有相机、传感器、一个或多个输入设备和显示器的电子设备的一个或多个处理器执行的一个或多个程序。该一个或多个程序包括用于以下操作的指令:在显示器上显示用于捕获媒体的相机取景器;并且在显示相机取景器时:根据基于来自传感器的数据确定设备满足对准引导件显示标准,在显示器上显示相机取景器中的对准引导件,其中对准引导件显示标准包括要求相机的焦点平面的取向和预先确定的取向之间的相对差在相应对准阈值内,以便对准引导件显示标准得到满足,其中对准引导件的外观随相机的焦点平面的取向相对于预先确定的取向变化而变化;并且根据基于来自传感器的数据确定对准引导件显示标准未得到满足,放弃在相机取景器中显示对准引导件。
示例性暂态计算机可读存储介质存储被配置为由具有相机、传感器、一个或多个输入设备和显示器的电子设备的一个或多个处理器执行的一个或多个程序。该一个或多个程序包括用于以下操作的指令:在显示器上显示用于捕获媒体的相机取景器;并且在显示相机取景器时:根据基于来自传感器的数据确定设备满足对准引导件显示标准,在显示器上显示相机取景器中的对准引导件,其中对准引导件显示标准包括要求相机的焦点平面的取向和预先确定的取向之间的相对差在相应对准阈值内,以便对准引导件显示标准得到满足,其中对准引导件的外观随相机的焦点平面的取向相对于预先确定的取向变化而变化;并且根据基于来自传感器的数据确定对准引导件显示标准未得到满足,放弃在相机取景器中显示对准引导件。
示例性电子设备包括:相机;传感器;一个或多个输入设备;显示器;一个或多个处理器;和存储器,该存储器存储被配置为由该一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于进行以下操作的指令:在显示器上显示用于捕获媒体的相机取景器;并且在显示相机取景器时:根据基于来自传感器的数据确定设备满足对准引导件显示标准,在显示器上显示相机取景器中的对准引导件,其中对准引导件显示标准包括要求相机的焦点平面的取向和预先确定的取向之间的相对差在相应对准阈值内,以便对准引导件显示标准得到满足,其中对准引导件的外观随相机的焦点平面的取向相对于预先确定的取向变化而变化;并且根据基于来自传感器的数据确定对准引导件显示标准未得到满足,放弃在相机取景器中显示对准引导件。
示例性电子设备包括:相机;传感器;一个或多个输入设备;显示器;用于在显示器上显示用于捕获媒体的相机取景器的装置;以及用于以下操作的装置:在显示相机取景器时:根据基于来自传感器的数据确定设备满足对准引导件显示标准,在显示器上显示相机取景器中的对准引导件,其中对准引导件显示标准包括要求相机的焦点平面的取向和预先确定的取向之间的相对差在相应对准阈值内,以便对准引导件显示标准得到满足,其中对准引导件的外观随相机的焦点平面的取向相对于预先确定的取向变化而变化;并且根据基于来自传感器的数据确定对准引导件显示标准未得到满足,放弃在相机取景器中显示对准引导件。
示例性方法包括在具有一个或多个输入设备、一个或多个相机和显示器的电子设备处:在显示器上显示与深度图信息相关联的图像数据的表示;在显示器上显示图像数据的表示时:经由该一个或多个输入设备来检测第一输入,该第一输入选择基于深度图信息的多个照明效果的相应滤波器;在检测到第一输入之后,检测与请求捕获对应于该一个或多个相机的视场的图像数据对应的第二输入;并且响应于检测到第二输入,捕获对应于该一个或多个相机的视场的图像数据,包括:根据确定基于第一输入选择的相应照明效果是第一照明效果,捕获对应于该一个或多个相机的视场的图像数据,并将第一照明效果与图像数据的表示相关联,其中第一照明效果基于深度图信息;并且根据确定基于第一输入选择的相应照明效果是不同于第一照明效果的第二照明效果,捕获对应于该一个或多个相机的视场的图像数据,并且将第二照明效果与图像数据的表示相关联,其中第二照明效果基于深度图信息。
示例性非暂态计算机可读存储介质存储被配置为由具有一个或多个输入设备、一个或多个相机和显示器的电子设备的一个或多个处理器执行的一个或多个程序。该一个或多个程序包括用于进行以下操作的指令:在显示器上显示与深度图信息相关联的图像数据的表示;在显示器上显示图像数据的表示时:经由该一个或多个输入设备来检测第一输入,该第一输入选择基于深度图信息的多个照明效果的相应滤波器;在检测到第一输入之后,检测与请求捕获对应于该一个或多个相机的视场的图像数据对应的第二输入;并且响应于检测到第二输入,捕获对应于该一个或多个相机的视场的图像数据,包括:根据确定基于第一输入选择的相应照明效果是第一照明效果,捕获对应于该一个或多个相机的视场的图像数据,并将第一照明效果与图像数据的表示相关联,其中第一照明效果基于深度图信息;并且根据确定基于第一输入选择的相应照明效果是不同于第一照明效果的第二照明效果,捕获对应于该一个或多个相机的视场的图像数据,并且将第二照明效果与图像数据的表示相关联,其中第二照明效果基于深度图信息。
示例性暂态计算机可读存储介质存储被配置为由具有一个或多个输入设备、一个或多个相机和显示器的电子设备的一个或多个处理器执行的一个或多个程序。该一个或多个程序包括用于进行以下操作的指令:在显示器上显示与深度图信息相关联的图像数据的表示;在显示器上显示图像数据的表示时:经由该一个或多个输入设备来检测第一输入,该第一输入选择基于深度图信息的多个照明效果的相应滤波器;在检测到第一输入之后,检测与请求捕获对应于该一个或多个相机的视场的图像数据对应的第二输入;并且响应于检测到第二输入,捕获对应于该一个或多个相机的视场的图像数据,包括:根据确定基于第一输入选择的相应照明效果是第一照明效果,捕获对应于该一个或多个相机的视场的图像数据,并将第一照明效果与图像数据的表示相关联,其中第一照明效果基于深度图信息;并且根据确定基于第一输入选择的相应照明效果是不同于第一照明效果的第二照明效果,捕获对应于该一个或多个相机的视场的图像数据,并且将第二照明效果与图像数据的表示相关联,其中第二照明效果基于深度图信息。
示例性电子设备包括:一个或多个输入设备;一个或多个相机;显示器;一个或多个处理器;以及存储器,该存储器存储被配置为由该一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于进行以下操作的指令:在显示器上显示与深度图信息相关联的图像数据的表示;在显示器上显示图像数据的表示时:经由该一个或多个输入设备来检测第一输入,该第一输入选择基于深度图信息的多个照明效果的相应滤波器;在检测到第一输入之后,检测与请求捕获对应于该一个或多个相机的视场的图像数据对应的第二输入;并且响应于检测到第二输入,捕获对应于该一个或多个相机的视场的图像数据,包括:根据确定基于第一输入选择的相应照明效果是第一照明效果,捕获对应于该一个或多个相机的视场的图像数据,并将第一照明效果与图像数据的表示相关联,其中第一照明效果基于深度图信息;并且根据确定基于第一输入选择的相应照明效果是不同于第一照明效果的第二照明效果,捕获对应于该一个或多个相机的视场的图像数据,并且将第二照明效果与图像数据的表示相关联,其中第二照明效果基于深度图信息。
示例性电子设备包括:一个或多个输入设备;一个或多个相机;显示器;用于在显示器上显示与深度图信息相关联的图像数据的表示的装置;用于以下操作的装置:在显示器上显示图像数据的表示时,在显示器上显示与深度图信息相关联的图像数据的表示;在显示器上显示图像数据的表示时:经由该一个或多个输入设备来检测第一输入,该第一输入选择基于深度图信息的多个照明效果的相应滤波器;在检测到第一输入之后,检测与请求捕获对应于该一个或多个相机的视场的图像数据对应的第二输入;并且响应于检测到第二输入,捕获对应于该一个或多个相机的视场的图像数据,包括:根据确定基于第一输入选择的相应照明效果是第一照明效果,捕获对应于该一个或多个相机的视场的图像数据,并将第一照明效果与图像数据的表示相关联,其中第一照明效果基于深度图信息;并且根据确定基于第一输入选择的相应照明效果是不同于第一照明效果的第二照明效果,捕获对应于该一个或多个相机的视场的图像数据,并且将第二照明效果与图像数据的表示相关联,其中第二照明效果基于深度图信息。
用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的暂态计算机可读存储介质或其他计算机程序产品中。
因此,为设备了提供更快、更有效的用于管理相机效果的方法和界面,从而提高此类设备的有效性、效率和用户满意度。此类方法和界面可补充或替换用于管理相机效果的其他方法。
附图说明
为了更好地理解各种所述实施方案,应结合以下附图参考下面的具体实施方式,其中类似的附图标号在所有附图中指示对应的部分。
图1A是示出了根据一些实施方案的具有触敏显示器的便携式多功能设备的框图。
图1B是示出根据一些实施方案的用于事件处理的示例性部件的框图。
图2示出了根据一些实施方案的具有触摸屏的便携式多功能设备。
图3是根据一些实施方案的具有显示器和触敏表面的示例性多功能设备的框图。
图4A示出了根据一些实施方案的针对便携式多功能设备上应用程序的菜单的示例性用户界面。
图4B示出了根据一些实施方案的针对具有与显示器分开的触敏表面的多功能设备的示例性用户界面。
图5A示出了根据一些实施方案的个人电子设备。
图5B是示出了根据一些实施方案的个人电子设备的框图。
图5C至图5D示出了根据一些实施方案的具有触敏显示器和强度传感器的个人电子设备的示例性部件。
图5E至图5H示出了根据一些实施方案的个人电子设备的示例性部件和用户界面。
图6A至图6N示出了根据一些实施方案的用于管理相机照明效果的示例性设备和用户界面。
图7A至图7F是示出根据一些实施方案的用于管理相机照明效果的方法的流程图。
图8A至图8J示出了根据一些实施方案的用于应用相机照明效果的示例性设备和用户界面。
图9A至图9D是示出根据一些实施方案的用于应用相机照明效果的方法的流程图。
图10A至图10N示出了根据一些实施方案的用于管理滤波器效果的示例性设备和用户界面。
图11A至图11C是示出根据一些实施方案的用于管理滤波器效果的方法的流程图。
图12A至图12P示出了根据一些实施方案的用于管理滤波器用户界面的示例性设备和用户界面。
图13A至图13F是示出根据一些实施方案的用于管理滤波器用户界面的方法的流程图。
图14A至图14K示出了根据一些实施方案的用于捕获图像的示例性设备和用户界面。
图15A至图15E是示出根据一些实施方案的用于捕获图像的方法的流程图。
图16A至图16J示出了根据一些实施方案的用于捕获图像的示例性设备和用户界面。
图17A至图17G是示出根据一些实施方案的用于捕获图像的方法的流程图。
具体实施方式
以下描述阐述了示例性方法、参数等。然而,应当认识到,此类描述并非意在限制本公开的范围,而是作为对示例性实施方案的描述来提供。
正在设计和制造具有更先进的相机特征和传感器的电子设备。然而,一些电子设备因其设计的性质,在没有其他硬件的情况下,无法实现点光摄影的丰富性。许多点光摄影技术需要将多个昂贵的光源定位在被摄体周围并且需要单独的背景。然而,许多电子设备在一个方向上仅具有发射光的单个闪光灯。因此,许多点光摄影技术无法简单地通过传统的电子设备来实现。
本文所述的实施方案包括利用深度图信息来提供改进的相机功能的电子设备。在一些实施方案中,在向图像应用滤波器时,使用深度图信息。在一些实施方案中,提供视觉辅助来帮助用户捕获完美的图像。所述实施方案还包括能够实现这些改进的相机功能的补充用户界面。
所述实施方案一起允许有效地包装和生产薄而轻的设备,同时提高设备的相机功能的性能。使用固定焦距相机是有益的,因为这些相机较薄且较小。
下面图1A至1B、图2、图3、图4A至图4B和图5A至图5H提供了对用于执行管理事件通知的技术的示例性设备的描述。图6A至图6N示出了用于管理用户界面的示例性用户界面。图7是示出根据一些实施方案的用于管理用户界面的方法的流程图。图6A至图6G中的用户界面用于示出下文描述的包括图7中的过程的过程。
图8A至图8J示出了用于应用模拟照明效果的示例性用户界面。图9是示出根据一些实施方案的模拟照明效果的方法的流程图。图8A至图8D中的用户界面用于示出下文描述的包括图9中的过程的过程。
图10A至图10N示出了用于将滤波器应用于图像的示例性用户界面。图11是示出根据一些实施方案的将滤波器应用于图像的方法的流程图。图10A至图10D中的用户界面用于示出下文描述的包括图11中的过程的过程。
图12A至图12P示出了用于显示减小的滤波器用户界面的示例性用户界面。图13是示出根据一些实施方案的显示减小的滤波器用户界面的方法的流程图。图12A至图12D中的用户界面用于示出下文描述的包括图13中的过程的过程。
图14A至图14K示出了用于提供视觉辅助的示例性用户界面。图15是示出根据一些实施方案的提供视觉辅助的方法的流程图。图14A至图14D中的用户界面用于示出下文描述的包括图15中的过程的过程。
图16A至图16J示出了用于在应用模拟光学效果时提供视觉辅助的示例性用户界面。图17是示出根据一些实施方案的在应用模拟光学效果时提供视觉辅助的方法的流程图。图16A至图16J中的用户界面用于示出下文描述的包括图17中的过程的过程。
尽管以下描述使用术语“第一”、“第二”等来描述各种元件,但这些元件不应受术语的限制。这些术语只是用于将一个元件与另一元件区分开。例如,第一触摸可被命名为第二触摸并且类似地第二触摸可被命名为第一触摸,而不脱离各种所述实施方案的范围。第一触摸和第二触摸两者均为触摸,但是它们不是同一触摸。
在本文中对各种所述实施方案的描述中所使用的术语只是为了描述特定实施方案的目的,而并非旨在进行限制。如在对各种所述实施方案中的描述和所附权利要求书中所使用的那样,单数形式“一个”和“该”旨在也包括复数形式,除非上下文另外明确地指示。还将理解的是,本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是,术语“包括”(“includes”、“including”、“comprises”和/或“comprising”)在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其分组。
根据上下文,术语“如果”任选地被解释为意指“当......时”、“在......时”或“响应于确定”或“响应于检测到”。类似地,根据上下文,短语“如果确定……”或“如果检测到[所陈述的条件或事件]”任选地被解释为是指“在确定……时”或“响应于确定……”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
本文描述了电子设备、此类设备的用户界面和使用此类设备的相关过程的实施方案。在一些实施方案中,该设备为还包含其他功能诸如PDA和/或音乐播放器功能的便携式通信设备,诸如移动电话。便携式多功能设备的示例性实施方案包括但不限于来自AppleInc.(Cupertino,California)的
Figure BDA0003479108690000181
设备、iPod
Figure BDA0003479108690000182
设备、和
Figure BDA0003479108690000183
设备。任选地使用其他便携式电子设备,诸如具有触敏表面(例如,触摸屏显示器和/或触控板)的膝上型电脑或平板电脑。还应当理解的是,在一些实施方案中,该设备并非便携式通信设备,而是具有触敏表面(例如,触摸屏显示器和/或触控板)的台式计算机。
在下面的讨论中,描述了一种包括显示器和触敏表面的电子设备。然而,应当理解,该电子设备任选地包括一个或多个其他物理用户界面设备,诸如物理键盘、鼠标和/或操纵杆。
该设备通常支持各种应用程序,诸如以下中的一者或多者:绘图应用程序、呈现应用程序、文字处理应用程序、网站创建应用程序、盘编辑应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息应用程序、健身支持应用程序、照片管理应用程序、数字相机应用程序、数字视频摄像机应用程序、网页浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。
在设备上执行的各种应用程序任选地使用至少一个通用的物理用户界面设备,诸如触敏表面。触敏表面的一种或多种功能以及被显示在设备上的对应信息任选地对于不同应用程序被调整和/或变化,和/或在相应应用程序内被调整和/或变化。这样,设备的共用物理架构(诸如触敏表面)任选地利用对于用户而言直观且清楚的用户界面来支持各种应用程序。
现在将注意力转到具有触敏显示器的便携式设备的实施方案。图1A是示出了根据一些实施方案的具有触敏显示器系统112的便携式多功能设备100的框图。触敏显示器112有时为了方便被叫做“触摸屏”,并且有时被称为或被叫做“触敏显示器系统”。设备100包括存储器102(其任选地包括一个或多个计算机可读存储介质)、存储器控制器122、一个或多个处理单元(CPU)120、外围设备接口118、RF电路108、音频电路110、扬声器111、麦克风113、输入/输出(I/O)子系统106、其他输入控制设备116和外部端口124。设备100任选地包括一个或多个光学传感器164。设备100任选地包括用于检测设备100(例如,触敏表面,诸如设备100的触敏显示器系统112)上的接触的强度的一个或多个接触强度传感器165。设备100任选地包括用于在设备100上生成触觉输出的一个或多个触觉输出发生器167(例如,在触敏表面诸如设备100的触敏显示器系统112或设备300的触控板355上生成触觉输出)。这些部件任选地通过一个或多个通信总线或信号线103进行通信。
如在本说明书和权利要求书中所使用的,术语触敏表面上的接触的“强度”是指触敏表面上的接触(例如,手指接触)的力或压力(每单位面积的力),或是指触敏表面上的接触的力或压力的替代物(代用物)。接触的强度具有值范围,该值范围包括至少四个不同的值并且更典型地包括上百个不同的值(例如,至少256个)。接触的强度任选地使用各种方法和各种传感器或传感器的组合来确定(或测量)。例如,在触敏表面下方或相邻于触敏表面的一个或多个力传感器任选地用于测量触敏表面上的不同点处的力。在一些具体实施中,来自多个力传感器的力测量值被组合(例如,加权平均)以确定所估计的接触力。类似地,触笔的压敏顶端任选地用于确定触笔在触敏表面上的压力。另选地,在触敏表面上检测到的接触区域的大小和/或其变化、接触附近的触敏表面的电容和/或其变化以及/或者接触附近的触敏表面的电阻和/或其变化任选地被用作触敏表面上的接触的力或压力的替代物。在一些具体实施中,接触力或压力的替代物测量直接用于确定是否已经超过强度阈值(例如,强度阈值以对应于替代物测量的单位来描述)。在一些具体实施中,接触力或压力的替代物测量被转换成估计的力或压力,并且估计的力或压力用于确定是否已超过强度阈值(例如,强度阈值是以压力的单位进行测量的压力阈值)。使用接触的强度作为用户输入的属性,从而允许用户访问用户在实地面积有限的尺寸更小的设备上本来不可访问的附加设备功能,该尺寸更小的设备用于(例如,在触敏显示器上)显示示能表示和/或接收用户输入(例如,经由触敏显示器、触敏表面或物理控件/机械控件,诸如旋钮或按钮)。
如本说明书和权利要求书中所使用的,术语“触觉输出”是指将由用户利用用户的触感检测到的设备相对于设备的先前位置的物理位移、设备的部件(例如,触敏表面)相对于设备的另一个部件(例如,外壳)的物理位移、或部件相对于设备的质心的位移。例如,在设备或设备的部件与用户对触摸敏感的表面(例如,手指、手掌或用户手部的其他部分)接触的情况下,通过物理位移生成的触觉输出将由用户解释为触感,该触感对应于设备或设备的部件的物理特征的所感知的变化。例如,触敏表面(例如,触敏显示器或触控板)的移动任选地由用户解释为对物理致动按钮的“按下点击”或“松开点击”。在一些情况下,用户将感觉到触感,诸如“按下点击”或“松开点击”,即使在通过用户的移动而物理地被按压(例如,被移位)的与触敏表面相关联的物理致动按钮没有移动时。又如,即使在触敏表面的光滑度无变化时,触敏表面的移动也会任选地由用户解释或感测为触敏表面的“粗糙度”。虽然用户对触摸的此类解释将受到用户的个体化感官知觉的限制,但是对触摸的许多感官知觉是大多数用户共有的。因此,当触觉输出被描述为对应于用户的特定感官知觉(例如,“按下点击”、“松开点击”、“粗糙度”)时,除非另外陈述,否则所生成的触觉输出对应于设备或其部件的物理位移,该物理位移将会生成典型(或普通)用户的所述感官知觉。
应当理解,设备100仅仅是便携式多功能设备的一个示例,并且设备100任选地具有比所示出的部件更多或更少的部件,任选地组合两个或更多个部件,或者任选地具有这些部件的不同配置或布置。图1A中所示的各种部件以硬件、软件、或硬件与软件两者的组合来实现,包括一个或多个信号处理和/或专用集成电路。
存储器102任选地包括高速随机存取存储器,并且还任选地包括非易失性存储器,诸如一个或多个磁盘存储设备、闪存存储器设备、或其他非易失性固态存储器设备。存储器控制器122任选地控制设备100的其他部件访问存储器102。
外围设备接口118可用于将设备的输入外围设备和输出外围设备耦接到CPU 120和存储器102。一个或多个处理器120运行或执行存储器102中所存储的各种软件程序和/或指令集以执行设备100的各种功能并处理数据。在一些实施方案中,外围设备接口118、CPU120和存储器控制器122任选地被实现在单个芯片诸如芯片104上。在一些其他实施方案中,它们任选地在独立的芯片上实现。
RF(射频)电路108接收和发送也被称作电磁信号的RF信号。RF电路108将电信号转换为电磁信号/将电磁信号转换为电信号,并且经由电磁信号与通信网络及其他通信设备进行通信。RF电路108任选地包括用于执行这些功能的熟知的电路,包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码芯片组、用户身份模块(SIM)卡、存储器等等。RF电路108任选地通过无线通信来与网络和其他设备进行通信,这些网络为诸如互联网(也被称为万维网(WWW))、内联网和/或无线网络(诸如,蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))。RF电路108任选地包括用于检测近场通信(NFC)场的熟知的电路,诸如通过近程通信无线电部件来进行检测。无线通信任选地使用多种通信标准、协议和技术中的任一者,包括但不限于全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、演进、纯数据(EV-DO)、HSPA、HSPA+、双单元HSPA(DC-HSPDA)、长期演进(LTE)、近场通信(NFC)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、蓝牙低功耗(BTLE)、无线保真(Wi-Fi)(例如,IEEE802.11a、IEEE 802.11b、IEEE 802.11g、IEEE802.11n和/或IEEE802.11ac)、互联网协议语音(VoIP)、Wi-MAX、电子邮件协议(例如,互联网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息(例如,可扩展消息处理和存在协议(XMPP)、用于即时消息和存在利用扩展的会话发起协议(SIMPLE)、即时消息和存在服务(IMPS))、和/或短消息服务(SMS),或者包括在本文档提交日期时还未开发出的通信协议的任何其他适当的通信协议。
音频电路110、扬声器111和麦克风113提供用户与设备100之间的音频接口。音频电路110从外围设备接口118接收音频数据,将音频数据转换为电信号,并将电信号传输到扬声器111。扬声器111将电信号转换为人类可听到的声波。音频电路110还接收由麦克风113从声波转换的电信号。音频电路110将电信号转换为音频数据,并且将音频数据传输到外围设备接口118以用于处理。音频数据任选地由外围设备接口118检索自和/或传输至存储器102和/或RF电路108。在一些实施方案中,音频电路110还包括耳麦插孔(例如,图2中的212)。耳麦插孔提供音频电路110和可移除的音频输入/输出外围设备之间的接口,该可移除的音频输入/输出外围设备诸如仅输出的耳机或者具有输出(例如,单耳耳机或双耳耳机)和输入(例如,麦克风)两者的耳麦。
I/O子系统106将设备100上的输入/输出外围设备诸如触摸屏112和其他输入控制设备116耦接到外围设备接口118。I/O子系统106任选地包括显示控制器156、光学传感器控制器158、强度传感器控制器159、触觉反馈控制器161、深度相机控制器169和用于其他输入或控制设备的一个或多个输入控制器160。一个或多个输入控制器160从其他输入控制设备116接收电信号/将电信号发送到其他输入控制设备116。其他输入控制设备116任选地包括物理按钮(例如,下压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击式转盘等。在一些另选实施方案中,输入控制器160任选地耦接至以下各项中的任一者(或不耦接至以下各项中的任一者):键盘、红外线端口、USB端口以及指向设备诸如鼠标。一个或多个按钮(例如,图2中的208)任选地包括用于扬声器111和/或麦克风113音量控制的增大/减小按钮。一个或多个按钮任选地包括下压按钮(例如,图2中的206)。
快速按下下压按钮任选地脱离触摸屏112的锁定或者任选地开始使用触摸屏上的手势来对设备进行解锁的过程,如在2005年12月23日提交的名称为“Unlocking a Deviceby Performing Gestures on an Unlock Image”的美国专利申请11/322,549(即,美国专利No.7,657,849)中所述的,该美国专利申请据此全文以引用方式并入本文。长按下压按钮(例如206)任选地使设备100开机或关机。一个或多个按钮的功能任选地为用户可定制的。触摸屏112用于实现虚拟按钮或软按钮以及一个或多个软键盘。
触敏显示器112提供设备和用户之间的输入接口和输出接口。显示控制器156从触摸屏112接收电信号和/或将电信号发送至触摸屏112。触摸屏112向用户显示视觉输出。视觉输出任选地包括图形、文本、图标、视频以及它们的任何组合(统称为“图形”)。在一些实施方案中,一些视觉输出或全部的视觉输出任选地与用户界面对象对应。
触摸屏112具有基于触觉和/或触感接触来接受来自用户的输入的触敏表面、传感器或传感器组。触摸屏112和显示控制器156(与存储器102中的任何相关联的模块和/或指令集一起)检测触摸屏112上的接触(和该接触的任何移动或中断),并且将所检测到的接触转换为与被显示在触摸屏112上的用户界面对象(例如,一个或多个软键、图标、网页或图像)的交互。在示例性实施方案中,触摸屏112与用户之间的接触点对应于用户的手指。
触摸屏112任选地使用LCD(液晶显示器)技术、LPD(发光聚合物显示器)技术或LED(发光二极管)技术,但是在其他实施方案中使用其他显示技术。触摸屏112和显示控制器156任选地使用现在已知的或以后将开发出的多种触摸感测技术中的任何技术以及其他接近传感器阵列或用于确定与触摸屏112接触的一个或多个点的其他元件来检测接触及其任何移动或中断,该多种触摸感测技术包括但不限于电容性的、电阻性的、红外线的、和表面声波技术。在示例性实施方案中,使用投射式互电容感测技术,诸如在来自Apple Inc.(Cupertino,California)的
Figure BDA0003479108690000231
和iPod
Figure BDA0003479108690000232
中使用的技术。
触摸屏112的一些实施方案中的触敏显示器任选地类似于以下美国专利中描述的多点触敏触控板:6,323,846(Westerman等人)、6,570,557(Westerman等人)和/或6,677,932(Westerman等人)和/或美国专利公开2002/0015024A1,该每个专利据此全文以引用方式并入。然而,触摸屏112显示来自设备100的视觉输出,而触敏触控板不提供视觉输出。
在一些实施方案中,触摸屏112的触敏显示器如以下专利申请所述:(1)提交于2006年5月2日的名称为“Multipoint Touch Surface Controller”的美国专利申请No.11/381,313;(2)2004年5月6日提交的名称为“Multipoint Touchscreen”的美国专利申请No.10/840,862;(3)2004年7月30日提交的名称为“Gestures For Touch Sensitive InputDevices”的美国专利申请No.10/903,964;(4)2005年1月31日提交的名称为“Gestures ForTouch Sensitive Input Devices”的美国专利申请No.11/048,264;(5)2005年1月18日提交的名称为“Mode-Based Graphical User Interfaces For Touch Sensitive InputDevices”的美国专利申请No.11/038,590;(6)2005年9月16日提交的名称为“VirtualInput Device Placement On A Touch Screen User Interface”的美国专利申请No.11/228,758;(7)2005年9月16日提交的名称为“Operation Of A Computer With A TouchScreen Interface”的美国专利申请No.11/228,700;(8)2005年9月16日提交的名称为“Activating Virtual Keys Of A Touch-Screen Virtual Keyboard”的美国专利申请No.11/228,737;以及(9)2006年3月3日提交的名称为“Multi-Functional Hand-HeldDevice”的美国专利申请No.11/367,749。所有这些申请全文以引用方式并入本文。
触摸屏112任选地具有超过100dpi的视频分辨率。在一些实施方案中,触摸屏具有约160dpi的视频分辨率。用户任选地使用任何合适的物体或附加物诸如触笔、手指等等来与触摸屏112接触。在一些实施方案中,将用户界面设计为主要通过基于手指的接触和手势来工作,由于手指在触摸屏上的接触区域较大,因此这可能不如基于触笔的输入精确。在一些实施方案中,设备将基于手指的粗略输入转化为精确的指针/光标位置或命令以用于执行用户所期望的动作。
在一些实施方案中,除了触摸屏之外,设备100任选地包括用于激活或去激活特定功能的触控板(未示出)。在一些实施方案中,触控板是设备的触敏区域,与触摸屏不同,该触敏区域不显示视觉输出。触控板任选地是与触摸屏112分开的触敏表面,或者是由触摸屏形成的触敏表面的延伸部分。
设备100还包括用于为各种部件供电的电力系统162。电力系统162任选地包括电力管理系统、一个或多个电源(例如,电池、交流电(AC))、再充电系统、电力故障检测电路、功率转换器或逆变器、电源状态指示符(例如,发光二极管(LED))以及与便携式设备中的电力的生成、管理和分配相关联的任何其他部件。
设备100任选地还包括一个或多个光学传感器164。图1A示出了耦接到I/O子系统106中的光学传感器控制器158的光学传感器。光学传感器164任选地包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光电晶体管。光学传感器164从环境接收通过一个或多个透镜而投射的光,并且将光转换为表示图像的数据。结合成像模块143(也叫做相机模块),光学传感器164任选地捕获静态图像或视频。在一些实施方案中,光学传感器位于设备100的后部上,与设备前部上的触摸屏显示器112相背对,使得触摸屏显示器能够用作用于静态图像和/或视频图像采集的取景器。在一些实施方案中,光学传感器位于设备的前部上,使得在用户在触摸屏显示器上查看其他视频会议参与者的同时任选地获取该用户的图像以用于视频会议。在一些实施方案中,光学传感器164的位置可由用户改变(例如,通过旋转设备外壳中的透镜和传感器),使得单个光学传感器164与触摸屏显示器一起使用,以用于视频会议和静态图像和/或视频图像采集两者。
设备100任选地还包括一个或多个接触强度传感器165。图1A示出了耦接到I/O子系统106中的强度传感器控制器159的接触强度传感器。接触强度传感器165任选地包括一个或多个压阻应变仪、电容式力传感器、电气力传感器、压电力传感器、光学力传感器、电容式触敏表面、或其他强度传感器(例如,用于测量触敏表面上的接触的力(或压力)的传感器)。接触强度传感器165从环境接收接触强度信息(例如,压力信息或压力信息的代用物)。在一些实施方案中,至少一个接触强度传感器与触敏表面(例如,触敏显示器系统112)并置排列或邻近。在一些实施方案中,至少一个接触强度传感器位于设备100的后部上,与位于设备100的前部上的触摸屏显示器112相背对。
设备100任选地还包括一个或多个接近传感器166。图1A示出了耦接到外围设备接口118的接近传感器166。另选地,接近传感器166任选地耦接到I/O子系统106中的输入控制器160。接近传感器166任选地如以下美国专利申请中所述的那样执行:No.11/241,839,名称为“Proximity Detector In Handheld Device”;No.11/240,788,名称为“ProximityDetector In Handheld Device”;No.11/620,702,名称为“Using Ambient Light SensorTo Augment Proximity Sensor Output”;No.11/586,862,名称为“Automated ResponseTo And Sensing Of User Activity In Portable Devices”;以及No.11/638,251,名称为“Methods And Systems For Automatic Configuration Of Peripherals”,这些美国专利申请据此全文以引用方式并入本文。在一些实施方案中,当多功能设备被置于用户的耳朵附近时(例如,当用户正在进行电话呼叫时),接近传感器关闭并且禁用触摸屏112。
设备100任选地还包括一个或多个触觉输出发生器167。图1A示出了耦接到I/O子系统106中的触觉反馈控制器161的触觉输出发生器。触觉输出发生器167任选地包括一个或多个电声设备,诸如扬声器或其他音频部件;和/或将能量转换成线性运动的机电设备,诸如马达、螺线管、电活性聚合器、压电致动器、静电致动器或其他触觉输出生成部件(例如,将电信号转换成设备上的触觉输出的部件)。接触强度传感器165从触觉反馈模块133接收触觉反馈生成指令,并且在设备100上生成能够由设备100的用户感觉到的触觉输出。在一些实施方案中,至少一个触觉输出发生器与触敏表面(例如,触敏显示器系统112)并置排列或邻近,并且任选地通过竖直地(例如,向设备100的表面内/外)或侧向地(例如,在与设备100的表面相同的平面中向后和向前)移动触敏表面来生成触觉输出。在一些实施方案中,至少一个触觉输出发生器传感器位于设备100的后部上,与位于设备100的前部上的触摸屏显示器112相背对。
设备100任选地还包括一个或多个加速度计168。图1A示出了耦接到外围设备接口118的加速度计168。另选地,加速度计168任选地耦接到I/O子系统106中的输入控制器160。加速度计168任选地如以下美国专利公开中所述的那样执行:美国专利公开No.20050190059,名称为“Acceleration-based Theft Detection System for PortableElectronic Devices”和美国专利公开No.20060017692,名称为“Methods AndApparatuses For Operating A Portable Device Based On An Accelerometer”,这两个美国专利公开均全文以引用方式并入本文。在一些实施方案中,基于对从一个或多个加速度计接收的数据的分析来在触摸屏显示器上以纵向视图或横向视图显示信息。设备100任选地除了一个或多个加速度计168之外还包括磁力仪(未示出)和GPS(或GLONASS或其他全球导航系统)接收器(未示出),以用于获取关于设备100的位置和取向(例如,纵向或横向)的信息。
设备100任选地还包括一个或多个深度相机传感器175。图1A示出了耦接到I/O子系统106中的深度相机控制器169的深度相机传感器。深度相机传感器175从环境中接收通过传感器投射的数据。结合成像模块143(也被称为相机模块)、深度相机传感器175相机任选地用于确定由成像模块143捕获的图像的不同部分的深度图。在一些实施方案中,深度相机传感器位于设备100的前部,使得在用户在触摸屏显示器上查看其他视频会议参与者的同时任选地获取具有深度信息的用户图像以用于视频会议,并且捕捉具有深度图数据的自拍。在一些实施方案中,深度相机传感器175的位置可由用户改变(例如,通过旋转设备外壳中的透镜和传感器),使得深度相机传感器175与触摸屏显示器一起使用以用于视频会议和静态图像和/或视频图像采集两者。
在一些实施方案中,存储于存储器102中的软件部件包括操作系统126、通信模块(或指令集)128、接触/运动模块(或指令集)130、图形模块(或指令集)132、文本输入模块(或指令集)134、全球定位系统(GPS)模块(或指令集)135以及应用程序(或指令集)136。此外,在一些实施方案中,存储器102(图1A)或370(图3)存储设备/全局内部状态157,如图1A和图3中所示。设备/全局内部状态157包括以下中的一者或多者:活动应用程序状态,其指示哪些应用程序(如果有的话)当前是活动的;显示状态,其指示什么应用程序、视图或其他信息占据触摸屏显示器112的各个区域;传感器状态,包括从设备的各个传感器和输入控制设备116获取的信息;以及关于设备的位置和/或姿态的位置信息。
操作系统126(例如,Darwin、RTXC、LINUX、UNIX、OS X、iOS、WINDOWS、或嵌入式操作系统诸如VxWorks)包括用于控制和管理一般系统任务(例如,存储器管理、存储设备控制、功率管理等)的各种软件部件和/或驱动程序,并且促进各种硬件部件和软件部件之间的通信。
通信模块128便于通过一个或多个外部端口124来与其他设备进行通信,并且还包括用于处理由RF电路108和/或外部端口124所接收的数据的各种软件部件。外部端口124(例如,通用串行总线(USB)、火线等)适于直接耦接到其他设备,或间接地通过网络(例如,互联网、无线LAN等)进行耦接。在一些实施方案中,外部端口是与
Figure BDA0003479108690000271
(Apple Inc.的商标)设备上所使用的30针连接器相同的或类似的和/或与其兼容的多针(例如,30针)连接器。
接触/运动模块130任选地检测与触摸屏112(结合显示控制器156)和其他触敏设备(例如,触控板或物理点击式转盘)的接触。接触/运动模块130包括各种软件部件以用于执行与接触检测相关的各种操作,诸如确定是否已经发生了接触(例如,检测手指按下事件)、确定接触强度(例如,接触的力或压力,或者接触的力或压力的替代物)、确定是否存在接触的移动并跟踪在触敏表面上的移动(例如,检测一个或多个手指拖动事件),以及确定接触是否已经停止(例如,检测手指抬起事件或者接触断开)。接触/运动模块130从触敏表面接收接触数据。确定接触点的移动任选地包括确定接触点的速率(量值)、速度(量值和方向)和/或加速度(量值和/或方向的改变),所述接触点的移动由一系列接触数据表示。这些操作任选地被应用于单点接触(例如,单指接触)或者多点同时接触(例如,“多点触摸”/多个手指接触)。在一些实施方案中,接触/运动模块130和显示控制器156检测触控板上的接触。
在一些实施方案中,接触/运动模块130使用一组一个或多个强度阈值来确定操作是否已由用户执行(例如,确定用户是否已“点击”图标)。在一些实施方案中,根据软件参数来确定强度阈值的至少一个子集(例如,强度阈值不是由特定物理致动器的激活阈值来确定的,并且可在不改变设备100的物理硬件的情况下被调节)。例如,在不改变触控板或触摸屏显示器硬件的情况下,触控板或触摸屏的鼠标“点击”阈值可被设定成预定义的阈值的大范围中的任一个阈值。另外,在一些具体实施中,向设备的用户提供用于调节一组强度阈值中的一个或多个强度阈值(例如,通过调节各个强度阈值和/或通过利用对“强度”参数的系统级点击来一次调节多个强度阈值)的软件设置。
接触/运动模块130任选地检测用户的手势输入。触敏表面上的不同手势具有不同的接触模式(例如,所检测到的接触的不同运动、计时和/或强度)。因此,任选地通过检测特定接触模式来检测手势。例如,检测手指轻击手势包括检测手指按下事件,然后在与手指按下事件相同的位置(或基本上相同的位置)处(例如,在图标的位置处)检测手指抬起(抬离)事件。作为另一个示例,在触敏表面上检测手指轻扫手势包括检测手指按下事件,然后检测一个或多个手指拖动事件,并且随后检测手指抬起(抬离)事件。
图形模块132包括用于在触摸屏112或其他显示器上呈现和显示图形的各种已知的软件部件,包括用于改变所显示的图形的视觉冲击(例如,亮度、透明度、饱和度、对比度或其他视觉特征)的部件。如本文所用,术语“图形”包括可被显示给用户的任何对象,其非限制性地包括文本、网页、图标(诸如包括软键的用户界面对象)、数字图像、视频、动画等。
在一些实施方案中,图形模块132存储表示待使用的图形的数据。每个图形任选地被分配有对应的代码。图形模块132从应用程序等接收用于指定待显示的图形的一个或多个代码,在必要的情况下还一起接收坐标数据和其他图形属性数据,并且然后生成屏幕图像数据,以输出至显示控制器156。
触觉反馈模块133包括用于生成指令的各种软件部件,该指令由触觉输出发生器167使用,以便响应于用户与设备100的交互而在设备100上的一个或多个位置处产生触觉输出。
任选地为图形模块132的部件的文本输入模块134提供用于在各种应用程序(例如,联系人137、电子邮件140、IM 141、浏览器147和需要文本输入的任何其他应用程序)中输入文本的软键盘。
GPS模块135确定设备的位置,并提供该信息以供在各种应用程序中使用(例如提供给电话138以供在基于位置的拨号中使用;提供给相机143作为图片/视频元数据;以及提供给提供基于位置的服务的应用,诸如天气桌面小程序、本地黄页桌面小程序和地图/导航桌面小程序)。
应用程序136任选地包括以下模块(或指令集)或者其子集或超集:
·联系人模块137(有时称为通讯录或联系人列表);
·电话模块138;
·视频会议模块139;
·电子邮件客户端模块140;
·即时消息(IM)模块141;
·健身支持模块142;
·用于静态图像和/或视频图像的相机模块143;
·图像管理模块144;
·视频播放器模块;
·音乐播放器模块;
·浏览器模块147;
·日历模块148;
·桌面小程序模块149,其任选地包括以下各项中的一者或多者:天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4、词典桌面小程序149-5、和由用户获取的其他桌面小程序、以及用户创建的桌面小程序149-6;
·用于形成用户创建的桌面小程序149-6的桌面小程序创建器模块150;
·搜索模块151;
·视频和音乐播放器模块152,其合并视频播放器模块和音乐播放器模块;
·记事本模块153;
·地图模块154;以及/或者
·在线视频模块155。
任选地存储在存储器102中的其他应用程序136的示例包括其他文字处理应用程序、其他图像编辑应用程序、绘图应用程序、呈现应用程序、支持JAVA的应用程序、加密、数字权益管理、语音识别和语音复制。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132、和文本输入模块134,联系人模块137任选地用于管理通讯录或联系人列表(例如,存储在存储器102或存储器370中的联系人模块137的应用程序内部状态192中),包括:向通讯录添加一个或多个姓名;从地址簿删除姓名;将电话号码、电子邮件地址、物理地址或其他信息与姓名关联;将图像与姓名关联;对姓名进行归类和分类;提供电话号码或电子邮件地址来发起和/或促进通过电话138、视频会议模块139、电子邮件140或IM 141进行的通信;等等。
结合RF电路108、音频电路110、扬声器111、麦克风113、触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134,电话模块138任选地用于输入与电话号码对应的字符序列、访问联系人模块137中的一个或多个电话号码、修改已输入的电话号码、拨打相应的电话号码、进行会话,以及当会话完成时断开或挂断。如上所述,无线通信任选地使用多种通信标准、协议和技术中的任一种。
结合RF电路108、音频电路110、扬声器111、麦克风113、触摸屏112、显示控制器156、光学传感器164、光学传感器控制器158、接触/运动模块130、图形模块132、文本输入模块134、联系人模块137和电话模块138,视频会议模块139包括根据用户指令来发起、进行和终止用户与一个或多个其他参与方之间的视频会议的可执行指令。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134,电子邮件客户端模块140包括响应于用户指令来创建、发送、接收和管理电子邮件的可执行指令。结合图像管理模块144,电子邮件客户端模块140使得非常容易创建和发送具有由相机模块143拍摄的静态图像或视频图像的电子邮件。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134,即时消息模块141包括用于以下操作的可执行指令:输入与即时消息对应的字符序列、修改先前输入的字符、传输相应即时消息(例如,使用短消息服务(SMS)或多媒体消息服务(MMS)协议以用于基于电话的即时消息或者使用XMPP、SIMPLE、或IMPS以用于基于互联网的即时消息)、接收即时消息以及查看所接收的即时消息。在一些实施方案中,所传输和/或接收的即时消息任选地包括图形、照片、音频文件、视频文件和/或MMS和/或增强消息服务(EMS)中所支持的其他附件。如本文所用,“即时消息”是指基于电话的消息(例如,使用SMS或MMS发送的消息)和基于互联网的消息(例如,使用XMPP、SIMPLE或IMPS发送的消息)两者。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134、GPS模块135、地图模块154和音乐播放器模块,健身支持模块142包括用于创建健身(例如,具有时间、距离和/或卡路里燃烧目标)的可执行指令;与健身传感器(运动设备)进行通信;接收健身传感器数据;校准用于监视健身的传感器;为健身选择和播放音乐;以及显示、存储和传输健身数据。
结合触摸屏112、显示控制器156、光学传感器164、光学传感器控制器158、接触/运动模块130、图形模块132和图像管理模块144,相机模块143包括用于以下操作的可执行指令:捕获静态图像或视频(包括视频流)并且将它们存储到存储器102中、修改静态图像或视频的特征,或从存储器102删除静态图像或视频。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134、和相机模块143,图像管理模块144包括用于排列、修改(例如,编辑)、或以其他方式操控、加标签、删除、呈现(例如,在数字幻灯片或相册中)、以及存储静态图像和/或视频图像的可执行指令。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134,浏览器模块147包括用于根据用户指令来浏览互联网,包括搜索、链接至、接收和显示网页或其部分,以及链接至网页的附件和其他文件的可执行指令。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134、电子邮件客户端模块140和浏览器模块147,日历模块148包括根据用户指令来创建、显示、修改和存储日历以及与日历相关联的数据(例如,日历条目、待办事项等)的可执行指令。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134和浏览器模块147,桌面小程序模块149是任选地由用户下载和使用的微型应用程序(例如,天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4和词典桌面小程序149-5)或由用户创建的微型应用程序(例如,用户创建的桌面小程序149-6)。在一些实施方案中,桌面小程序包括HTML(超文本标记语言)文件、CSS(层叠样式表)文件和JavaScript文件。在一些实施方案中,桌面小程序包括XML(可扩展标记语言)文件和JavaScript文件(例如,Yahoo!桌面小程序)。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134和浏览器模块147,桌面小程序创建器模块150任选地被用户用于创建桌面小程序(例如,将网页的用户指定部分转变为桌面小程序)。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134,搜索模块151包括用于根据用户指令来搜索存储器102中与一个或多个搜索条件(例如,一个或多个用户指定的搜索词)匹配的文本、音乐、声音、图像、视频和/或其他文件的可执行指令。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132、音频电路110、扬声器111、RF电路108、和浏览器模块147,视频和音乐播放器模块152包括允许用户下载和回放以一种或多种文件格式诸如MP3或AAC文件存储的所记录的音乐和其他声音文件的可执行指令,以及用于显示、呈现或以其他方式回放视频(例如,在触摸屏112上或在经由外部端口124连接的外部显示器上)的可执行指令。在一些实施方案中,设备100任选地包括MP3播放器诸如iPod(Apple Inc.的商标)的功能。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134,记事本模块153包括根据用户指令来创建和管理记事本、待办事项等的可执行指令。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134、GPS模块135和浏览器模块147,地图模块154任选地用于根据用户指令接收、显示、修改和存储地图以及与地图相关联的数据(例如,驾驶方向、与特定位置处或附近的商店及其他兴趣点有关的数据,以及其他基于位置的数据)。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132、音频电路110、扬声器111、RF电路108、文本输入模块134、电子邮件客户端模块140和浏览器模块147,在线视频模块155包括用于执行以下操作的指令:允许用户访问、浏览、接收(例如,通过流式传输和/或下载)、回放(例如在触摸屏上或在经由外部端口124所连接的外部显示器上)、发送具有至特定在线视频的链接的电子邮件,以及以其他方式管理一种或多种文件格式诸如H.264的在线视频。在一些实施方案中,使用即时消息模块141而不是电子邮件客户端模块140来发送特定在线视频的链接。在线视频应用程序的其他描述可见于2007年6月20日提交的名称为“Portable Multifunction Device,Method,and Graphical User Interfacefor Playing Online Videos”的美国临时专利申请No.60/936,562和2007年12月31日提交的名称为“Portable Multifunction Device,Method,and Graphical User Interfacefor Playing Online Videos”的美国专利申请No.11/968,067,这两个专利申请的内容据此全文以引用方式并入本文。
上述每个模块和应用程序对应于用于执行上述一种或多种功能以及在本专利申请中所述的方法(例如,本文所述的计算机实现的方法和其他信息处理方法)的可执行指令集。这些模块(例如,指令集)不必以独立的软件程序、过程或模块实现,因此这些模块的各种子集任选地在各种实施方案中组合或以其他方式重新布置。例如,视频播放器模块任选地与音乐播放器模块组合成单个模块(例如,图1A中的视频和音乐播放器模块152)。在一些实施方案中,存储器102任选地存储上述模块和数据结构的子组。此外,存储器102任选地存储上文未描述的另外的模块和数据结构。
在一些实施方案中,设备100是该设备上的预定义的一组功能的操作唯一地通过触摸屏和/或触控板来执行的设备。通过使用触摸屏和/或触控板作为用于操作设备100的主要输入控制设备,任选地减少设备100上的物理输入控制设备(例如,下压按钮、拨盘等等)的数量。
唯一地通过触摸屏和/或触控板来执行的预定义的一组功能任选地包括在用户界面之间的导航。在一些实施方案中,触控板在被用户触摸时将设备100从设备100上显示的任何用户界面导航到主菜单、home菜单或根菜单。在此类实施方案中,使用触控板来实现“菜单按钮”。在一些其他实施方案中,菜单按钮是物理下压按钮或者其他物理输入控制设备,而不是触控板。
图1B是示出根据一些实施方案的用于事件处理的示例性部件的框图。在一些实施方案中,存储器102(图1A)或存储器370(图3)包括事件分类器170(例如,在操作系统126中)以及相应的应用程序136-1(例如,前述应用程序137至151、155、380至390中的任一个应用程序)。
事件分类器170接收事件信息并确定要将事件信息递送到的应用程序136-1和应用程序136-1的应用程序视图191。事件分类器170包括事件监视器171和事件分配器模块174。在一些实施方案中,应用程序136-1包括应用程序内部状态192,该应用程序内部状态指示当应用程序是活动的或正在执行时被显示在触敏显示器112上的一个或多个当前应用程序视图。在一些实施方案中,设备/全局内部状态157被事件分类器170用来确定哪个(哪些)应用程序当前是活动的,并且应用程序内部状态192被事件分类器170用来确定要将事件信息递送到的应用程序视图191。
在一些实施方案中,应用程序内部状态192包括附加信息,诸如以下各项中的一者或多者:当应用程序136-1恢复执行时将被使用的恢复信息、指示信息正被显示或准备好用于被应用程序136-1显示的用户界面状态信息、用于使得用户能够返回到应用程序136-1的前一状态或视图的状态队列,以及用户采取的先前动作的重复/撤销队列。
事件监视器171从外围设备接口118接收事件信息。事件信息包括关于子事件(例如,触敏显示器112上的用户触摸,作为多点触摸手势的一部分)的信息。外围设备接口118传输其从I/O子系统106或传感器诸如接近传感器166、一个或多个加速度计168和/或麦克风113(通过音频电路110)接收的信息。外围设备接口118从I/O子系统106接收的信息包括来自触敏显示器112或触敏表面的信息。
在一些实施方案中,事件监视器171以预先确定的间隔将请求发送至外围设备接口118。作为响应,外围设备接口118传输事件信息。在其他实施方案中,外围设备接口118仅当存在显著事件(例如,接收到高于预先确定的噪声阈值和/或接收到超过预先确定的持续时间的输入)时才传输事件信息。
在一些实施方案中,事件分类器170还包括命中视图确定模块172和/或活动事件识别器确定模块173。
当触敏显示器112显示多于一个视图时,命中视图确定模块172提供用于确定子事件已在一个或多个视图内的什么地方发生的软件过程。视图由用户能够在显示器上看到的控件和其他元素构成。
与应用程序相关联的用户界面的另一方面是一组视图,本文中有时也称为应用程序视图或用户界面窗口,在其中显示信息并且发生基于触摸的手势。在其中检测到触摸的(相应应用程序的)应用程序视图任选地对应于在应用程序的程序化或视图分级结构内的程序化水平。例如,在其中检测到触摸的最低水平视图任选地被称为命中视图,并且被识别为正确输入的事件集任选地至少部分地基于初始触摸的命中视图来确定,所述初始触摸开始基于触摸的手势。
命中视图确定模块172接收与基于触摸的手势的子事件相关的信息。当应用程序具有以分级结构组织的多个视图时,命中视图确定模块172将命中视图识别为应当对子事件进行处理的分级结构中的最低视图。在大多数情况下,命中视图是发起子事件(例如,形成事件或潜在事件的子事件序列中的第一子事件)在其中发生的最低水平视图。一旦命中视图被命中视图确定模块172识别,命中视图便通常接收与其被识别为命中视图所针对的同一触摸或输入源相关的所有子事件。
活动事件识别器确定模块173确定视图分级结构内的哪个或哪些视图应接收特定子事件序列。在一些实施方案中,活动事件识别器确定模块173确定仅命中视图应接收特定子事件序列。在其他实施方案中,活动事件识别器确定模块173确定包括子事件的物理位置的所有视图是活跃参与的视图,并因此确定所有活跃参与的视图都应接收特定子事件序列。在其他实施方案中,即使触摸子事件完全被局限到与一个特定视图相关联的区域,分级结构中的较高视图将仍然保持为活跃参与的视图。
事件分配器模块174将事件信息分配到事件识别器(例如,事件识别器180)。在包括活动事件识别器确定模块173的实施方案中,事件分配器模块174将事件信息递送到由活动事件识别器确定模块173确定的事件识别器。在一些实施方案中,事件分配器模块174在事件队列中存储事件信息,该事件信息由相应事件接收器182进行检索。
在一些实施方案中,操作系统126包括事件分类器170。另选地,应用程序136-1包括事件分类器170。在又一个实施方案中,事件分类器170是独立模块,或者是存储在存储器102中的另一个模块(诸如,接触/运动模块130)的一部分。
在一些实施方案中,应用程序136-1包括多个事件处理程序190和一个或多个应用程序视图191,其中的每一个都包括用于处理发生在应用程序的用户界面的相应视图内的触摸事件的指令。应用程序136-1的每个应用程序视图191包括一个或多个事件识别器180。通常,相应应用程序视图191包括多个事件识别器180。在其他实施方案中,事件识别器180中的一个或多个事件识别器是独立模块的一部分,该独立模块为诸如用户界面工具包(未示出)或应用程序136-1从中继承方法和其他属性的较高级别的对象。在一些实施方案中,相应事件处理程序190包括以下各项中的一者或多者:数据更新器176、对象更新器177、GUI更新器178、和/或从事件分类器170接收的事件数据179。事件处理程序190任选地利用或调用数据更新器176、对象更新器177或GUI更新器178来更新应用程序内部状态192。另选地,应用程序视图191中的一个或多个应用程序视图包括一个或多个相应事件处理程序190。另外,在一些实施方案中,数据更新器176、对象更新器177和GUI更新器178中的一者或多者包括在相应应用程序视图191中。
相应的事件识别器180从事件分类器170接收事件信息(例如,事件数据179),并且从事件信息识别事件。事件识别器180包括事件接收器182和事件比较器184。在一些实施方案中,事件识别器180还包括元数据183和事件传递指令188(其任选地包括子事件递送指令)的至少一个子集。
事件接收器182接收来自事件分类器170的事件信息。事件信息包括关于子事件例如触摸或触摸移动的信息。根据子事件,事件信息还包括附加信息,诸如子事件的位置。当子事件涉及触摸的运动时,事件信息任选地还包括子事件的速率和方向。在一些实施方案中,事件包括设备从一个取向旋转到另一取向(例如,从纵向取向旋转到横向取向,或反之亦然),并且事件信息包括关于设备的当前取向(也被称为设备姿态)的对应信息。
事件比较器184将事件信息与预定义的事件或子事件定义进行比较,并且基于该比较来确定事件或子事件,或者确定或更新事件或子事件的状态。在一些实施方案中,事件比较器184包括事件定义186。事件定义186包含事件的定义(例如,预定义的子事件序列),例如事件1(187-1)、事件2(187-2)以及其他。在一些实施方案中,事件(187)中的子事件例如包括触摸开始、触摸结束、触摸移动、触摸取消和多点触摸。在一个示例中,事件1(187-1)的定义是被显示对象上的双击。例如,双击包括被显示对象上的预先确定时长的第一触摸(触摸开始)、预先确定时长的第一抬离(触摸结束)、被显示对象上的预先确定时长的第二触摸(触摸开始)以及预先确定时长的第二抬离(触摸结束)。在另一个示例中,事件2(187-2)的定义是被显示对象上的拖动。例如,拖动包括被显示对象上的预先确定时长的触摸(或接触)、触摸在触敏显示器112上的移动、以及触摸的抬离(触摸结束)。在一些实施方案中,事件还包括用于一个或多个相关联的事件处理程序190的信息。
在一些实施方案中,事件定义187包括对用于相应用户界面对象的事件的定义。在一些实施方案中,事件比较器184执行命中测试以确定哪个用户界面对象与子事件相关联。例如,在触敏显示器112上显示三个用户界面对象的应用程序视图中,当在触敏显示器112上检测到触摸时,事件比较器184执行命中测试以确定这三个用户界面对象中的哪一个用户界面对象与该触摸(子事件)相关联。如果每个所显示对象与相应事件处理程序190相关联,则事件比较器使用该命中测试的结果来确定哪个事件处理程序190应当被激活。例如,事件比较器184选择与子事件和触发该命中测试的对象相关联的事件处理程序。
在一些实施方案中,相应事件(187)的定义还包括延迟动作,所述延迟动作延迟事件信息的递送,直到已确定子事件序列确实对应于或不对应于事件识别器的事件类型。
当相应事件识别器180确定子事件序列不与事件定义186中的任何事件匹配时,该相应事件识别器180进入事件不可能、事件失败或事件结束状态,在此之后忽略基于触摸的手势的后续子事件。在这种情况下,对于命中视图保持活动的其他事件识别器(如果有的话)继续跟踪并处理持续进行的基于触摸的手势的子事件。
在一些实施方案中,相应事件识别器180包括具有指示事件递送系统应当如何执行对活跃参与的事件识别器的子事件递送的可配置属性、标记和/或列表的元数据183。在一些实施方案中,元数据183包括指示事件识别器彼此如何交互或如何能够交互的可配置属性、标志和/或列表。在一些实施方案中,元数据183包括指示子事件是否递送到视图或程序化分级结构中的不同层级的可配置属性、标志和/或列表。
在一些实施方案中,当事件的一个或多个特定子事件被识别时,相应事件识别器180激活与事件相关联的事件处理程序190。在一些实施方案中,相应事件识别器180将与事件相关联的事件信息递送到事件处理程序190。激活事件处理程序190不同于将子事件发送(和延期发送)到相应命中视图。在一些实施方案中,事件识别器180抛出与所识别的事件相关联的标记,并且与该标记相关联的事件处理程序190获取该标记并执行预定义过程。
在一些实施方案中,事件递送指令188包括递送关于子事件的事件信息而不激活事件处理程序的子事件递送指令。相反,子事件递送指令将事件信息递送到与子事件序列相关联的事件处理程序或者递送到活跃参与的视图。与子事件序列或与活跃参与的视图相关联的事件处理程序接收事件信息并执行预先确定的过程。
在一些实施方案中,数据更新器176创建并更新在应用程序136-1中使用的数据。例如,数据更新器176对联系人模块137中所使用的电话号码进行更新,或者对视频播放器模块中所使用的视频文件进行存储。在一些实施方案中,对象更新器177创建和更新在应用程序136-1中使用的对象。例如,对象更新器177创建新的用户界面对象或更新用户界面对象的位置。GUI更新器178更新GUI。例如,GUI更新器178准备显示信息,并且将显示信息发送到图形模块132用以显示在触敏显示器上。
在一些实施方案中,事件处理程序190包括数据更新器176、对象更新器177和GUI更新器178或者具有对它们的访问权限。在一些实施方案中,数据更新器176、对象更新器177和GUI更新器178被包括在相应应用程序136-1或应用程序视图191的单个模块中。在其他实施方案中,它们被包括在两个或更多个软件模块中。
应当理解,关于触敏显示器上的用户触摸的事件处理的上述论述还适用于利用输入设备来操作多功能设备100的其他形式的用户输入,并不是所有用户输入都是在触摸屏上发起的。例如,任选地与单次或多次键盘按下或按住协作的鼠标移动和鼠标按钮按下;触控板上的接触移动,诸如轻击、拖动、滚动等;触笔输入;设备的移动;口头指令;检测到的眼睛移动;生物特征输入;和/或它们的任何组合任选地被用作对应于限定要识别的事件的子事件的输入。
图2示出了根据一些实施方案的具有触摸屏112的便携式多功能设备100。触摸屏任选地在用户界面(UI)200内显示一个或多个图形。在本实施方案以及下文所述的其他实施方案中,用户能够通过例如利用一根或多根手指202(在图中未按比例绘制)或一支或多支触笔203(在图中未按比例绘制)在图形上作出手势来选择这些图形中的一个或多个图形。在一些实施方案中,当用户中断与一个或多个图形的接触时,将发生对一个或多个图形的选择。在一些实施方案中,手势任选地包括一次或多次轻击、一次或多次轻扫(从左向右、从右向左、向上和/或向下)和/或已与设备100发生接触的手指的滚动(从右向左、从左向右、向上和/或向下)。在一些具体实施中或在一些情况下,不经意地与图形接触不会选择图形。例如,当与选择对应的手势是轻击时,在应用程序图标上方扫动的轻扫手势任选地不会选择对应的应用程序。
设备100任选地还包括一个或多个物理按钮,诸如“home”或菜单按钮204。如前所述,菜单按钮204任选地用于导航到任选地在设备100上被执行的一组应用程序中的任何应用程序136。另选地,在一些实施方案中,菜单按钮被实现为被显示在触摸屏112上的GUI中的软键。
在一些实施方案中,设备100包括触摸屏112、菜单按钮204、用于使设备开机/关机和用于锁定设备的下压按钮206、一个或多个音量调节按钮208、用户身份模块(SIM)卡槽210、耳麦插孔212和对接/充电外部端口124。下压按钮206任选地用于通过压下该按钮并且将该按钮保持在压下状态持续预定义的时间间隔来对设备进行开/关机;通过压下该按钮并在该预定义的时间间隔过去之前释放该按钮来锁定设备;和/或对设备进行解锁或发起解锁过程。在另选的实施方案中,设备100还通过麦克风113接受用于激活或去激活某些功能的语音输入。设备100还任选地包括用于检测触摸屏112上的接触的强度的一个或多个接触强度传感器165,和/或用于为设备100的用户生成触觉输出的一个或多个触觉输出发生器167。
图3是根据一些实施方案的具有显示器和触敏表面的示例性多功能设备的框图。设备300不必是便携式的。在一些实施方案中,设备300是膝上型电脑、台式计算机、平板电脑、多媒体播放器设备、导航设备、教育设备(诸如儿童学习玩具)、游戏系统或控制设备(例如,家用控制器或工业用控制器)。设备300通常包括一个或多个处理单元(CPU)310、一个或多个网络或其他通信接口360、存储器370和用于使这些部件互连的一个或多个通信总线320。通信总线320任选地包括使系统部件互连并且控制系统部件之间的通信的电路(有时称作芯片组)。设备300包括具有显示器340的输入/输出(I/O)接口330,该显示器通常是触摸屏显示器。I/O接口330还任选地包括键盘和/或鼠标(或其他指向设备)350和触控板355、用于在设备300上生成触觉输出的触觉输出发生器357(例如,类似于以上参考图1A所述的一个或多个触觉输出发生器167)、传感器359(例如,光学传感器、加速度传感器、接近传感器、触敏传感器和/或接触强度传感器(类似于以上参考图1A所述的一个或多个接触强度传感器165))。存储器370包括高速随机存取存储器,诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备;并且任选地包括非易失性存储器,诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器370任选地包括远离CPU310定位的一个或多个存储设备。在一些实施方案中,存储器370存储与便携式多功能设备100(图1A)的存储器102中存储的程序、模块和数据结构类似的程序、模块和数据结构或其子集。此外,存储器370任选地存储在便携式多功能设备100的存储器102中不存在的附加程序、模块和数据结构。例如,设备300的存储器370任选地存储绘图模块380、呈现模块382、文字处理模块384、网站创建模块386、盘编辑模块388、和/或电子表格模块390,而便携式多功能设备100(图1A)的存储器102任选地不存储这些模块。
图3中的上述元素中的每个元素任选地存储于先前提到的存储器设备的一个或多个存储器设备中。上述模块中的每个模块对应于用于执行上述功能的指令集。上述模块或程序(例如,指令集)不必被实现为单独的软件程序、过程或模块,并且因此这些模块的各种子集任选地在各种实施方案中被组合或以其他方式重新布置。在一些实施方案中,存储器370任选地存储上述模块和数据结构的子集。此外,存储器370任选地存储上面未描述的另外的模块和数据结构。
现在将注意力转到任选地在例如便携式多功能设备100上实现的用户界面的实施方案。
图4A示出了根据一些实施方案的便携式多功能设备100上的应用程序菜单的示例性用户界面。类似的用户界面任选地在设备300上实现。在一些实施方案中,用户界面400包括以下元件或者其子集或超集:
·一个或多个无线通信诸如蜂窝信号和Wi-Fi信号的一个或多个信号强度指示器402;
·时间404;
·蓝牙指示器405;
·电池状态指示器406;
·具有针对常用应用程序的图标的托盘408,该图标诸如:
ο电话模块138的被标记为“电话”的图标416,该图标416任选地包括未接来电或语音留言的数量的指示符414;
ο电子邮件客户端模块140的被标记为“邮件”的图标418,该图标418任选地包括未读电子邮件的数量的指示符410;
ο浏览器模块147的标记为“浏览器”的图标420;以及
ο视频和音乐播放器模块152(也称为iPod(Apple Inc.的商标)模块152)的被标记为“iPod”的图标422;以及
·其他应用的图标,诸如:
οIM模块141的被标记为“消息”的图标424;
ο日历模块148的被标记为“日历”的图标426;
ο图像管理模块144的被标记为“照片”的图标428;
ο相机模块143的被标记为“相机”的图标430;
ο在线视频模块155的被标记为“在线视频”的图标432;
ο股市桌面小程序149-2的被标记为“股市”的图标434;
ο地图模块154的被标记为“地图”的图标436;
ο天气桌面小程序149-1的被标记为“天气”的图标438;
ο闹钟桌面小程序149-4的被标记为“时钟”的图标440;
ο健身支持模块142的被标记为“健身支持”的图标442;
ο记事本模块153的标记为“记事本”的图标444;以及
ο设置应用程序或模块的被标记为“设置”的图标446,该图标提供对设备100及其各种应用程序136的设置的访问。
应当指出的是,图4A中示出的图标标签仅是示例性的。例如,视频和音乐播放器模块152的图标422被标记“音乐”或“音乐播放器”。对于各种应用程序图标任选地使用其他标签。在一些实施方案中,相应应用程序图标的标签包括与该相应应用程序图标对应的应用程序的名称。在一些实施方案中,特定应用程序图标的标签不同于与该特定应用程序图标对应的应用程序的名称。
图4B示出了具有与显示器450(例如,触摸屏显示器112)分开的触敏表面451(例如,图3的平板或触控板355)的设备(例如,图3的设备300)上的示例性用户界面。设备300还任选地包括用于检测触敏表面451上的接触的强度的一个或多个接触强度传感器(例如,传感器359中的一个或多个传感器)和/或用于为设备300的用户生成触觉输出的一个或多个触觉输出发生器357。
尽管将参考触摸屏显示器112(其中组合了触敏表面和显示器)上的输入给出以下示例中的一些示例,但是在一些实施方案中,设备检测与显示器分开的触敏表面上的输入,如图4B中所示。在一些实施方案中,触敏表面(例如,图4B中的451)具有与显示器(例如,450)上的主轴(例如,图4B中的453)对应的主轴(例如,图4B中的452)。根据这些实施方案,设备检测在与显示器上的相应位置对应的位置(例如,在图4B中,460对应于468并且462对应于470)处与触敏表面451的接触(例如,图4B中的460和462)。这样,在触敏表面(例如,图4B中的451)与多功能设备的显示器(图4B中的450)分开时,由设备在触敏表面上检测到的用户输入(例如,接触460和462以及它们的移动)被该设备用于操控显示器上的用户界面。应当理解,类似的方法任选地用于本文所述的其他用户界面。
另外,虽然主要是参考手指输入(例如,手指接触、单指轻击手势、手指轻扫手势)来给出下面的示例,但是应当理解的是,在一些实施方案中,这些手指输入中的一个或多个手指输入由来自另一输入设备的输入(例如,基于鼠标的输入或触笔输入)替代。例如,轻扫手势任选地由鼠标点击(例如,而不是接触),之后是光标沿着轻扫的路径的移动(例如,而不是接触的移动)替代。又如,轻击手势任选地由在光标位于轻击手势的位置上方时的鼠标点击(例如,代替对接触的检测,之后是停止检测接触)替代。类似地,当同时检测到多个用户输入时,应当理解的是,多个计算机鼠标任选地被同时使用,或鼠标和手指接触任选地被同时使用。
图5A示出了示例性个人电子设备500。设备500包括主体502。在一些实施方案中,设备500可包括相对于设备100和300(例如,图1A至图4B)所述的特征中的一些或全部特征。在一些实施方案中,设备500具有在下文中称为触摸屏504的触敏显示屏504。作为触摸屏504的替代或补充,设备500具有显示器和触敏表面。与设备100和300的情况一样,在一些实施方案中,触摸屏504(或触敏表面)任选地包括用于检测所施加的接触(例如,触摸)强度的一个或多个强度传感器。触摸屏504(或触敏表面)的一个或多个强度传感器可提供表示触摸的强度的输出数据。设备500的用户界面可基于触摸的强度来对触摸作出响应,这意味着不同强度的触摸可调用设备500上的不同用户界面操作。
用于检测和处理触摸强度的示例性技术见于例如以下相关专利申请中:2013年5月8日提交的名称为“Device,Method,and Graphical User Interface for DisplayingUser Interface Objects Corresponding to an Application”的国际专利申请序列No.PCT/US2013/040061,发布为WIPO专利公开No.WO/2013/169849;以及2013年11月11日提交的名称为“Device,Method,and Graphical User Interface for TransitioningBetween Touch Input to Display Output Relationships”的国际专利申请序列No.PCT/US2013/069483,发布为WIPO专利公开No.WO/2014/105276,该每个专利申请据此全文以引用方式并入。
在一些实施方案中,设备500具有一个或多个输入机构506和508。输入机构506和508(如果包括的话)可以是物理形式的。物理输入机构的示例包括下压按钮和可旋转机构。在一些实施方案中,设备500具有一个或多个附接机构。此类附接机构(如果包括的话)可允许将设备500与例如帽子、眼镜、耳环、项链、衬衣、夹克、手镯、表带、手链、裤子、皮带、鞋子、钱包、背包等附接。这些附接机构允许用户穿戴设备500。
图5B示出了示例性个人电子设备500。在一些实施方案中,设备500可包括参考图1A、图1B和图3所述的部件中的一些或全部部件。设备500具有总线512,该总线将I/O部分514与一个或多个计算机处理器516和存储器518操作性地耦接。I/O部分514可连接到显示器504,该显示器可具有触敏部件522并且任选地具有强度传感器524(例如,接触强度传感器)。此外,I/O部分514可与通信单元530连接,用于使用Wi-Fi、蓝牙、近场通信(NFC)、蜂窝和/或其他无线通信技术来接收应用程序和操作系统数据。设备500可包括输入机构506和/或508。例如,输入机构506任选地是可旋转输入设备或者可按压输入设备以及可旋转输入设备。在一些示例中,输入机构508任选地是按钮。
在一些示例中,输入机构508任选地是麦克风。个人电子设备500任选地包括各种传感器,诸如GPS传感器532、加速度计534、定向传感器540(例如,罗盘)、陀螺仪536、运动传感器538和/或其组合,所有这些设备均可操作地连接到I/O部分514。
个人电子设备500的存储器518可包括用于存储计算机可执行指令的一个或多个非暂态计算机可读存储介质,该计算机可执行指令在由一个或多个计算机处理器516执行时例如可使得计算机处理器执行下述技术,包括过程700、900、1100、1300、1500和1700(图7、图9、图11、图13、图15和图17)。计算机可读存储介质可以是可有形地包含或存储计算机可执行指令以供指令执行系统、装置和设备使用或与其结合的任何介质。在一些示例中,存储介质是暂态计算机可读存储介质。在一些示例中,存储介质是非暂态计算机可读存储介质。非暂态计算机可读存储介质可包括但不限于磁存储装置、光学存储装置、和/或半导体存储装置。此类存储装置的示例包括磁盘、基于CD、DVD或蓝光技术的光盘,以及持久性固态存储器诸如闪存、固态驱动器等。个人电子设备500不限于图5B的部件和配置,而是可包括多种配置中的其他部件或附加部件。
如本文所用,术语“示能表示”是指任选地在设备100、300和/或500(图1A、图3和图5A至图5B)的显示屏上显示的用户交互式图形用户界面对象。例如,图像(例如,图标)、按钮和文本(例如,超链接)任选地各自构成示能表示。
如本文所用,术语“焦点选择器”是指用于指示用户正与之进行交互的用户界面的当前部分的输入元件。在包括光标或其他位置标记的一些具体实施中,光标充当“焦点选择器”,使得当光标在特定用户界面元素(例如,按钮、窗口、滑块或其他用户界面元素)上方时在触敏表面(例如,图3中的触控板355或图4B中的触敏表面451)上检测到输入(例如,按压输入)的情况下,该特定用户界面元素根据所检测到的输入而被调节。在包括能够实现与触摸屏显示器上的用户界面元素的直接交互的触摸屏显示器(例如,图1A中的触敏显示器系统112或图4A中的触摸屏112)的一些具体实施中,在触摸屏上所检测到的接触充当“焦点选择器”,使得当在触摸屏显示器上在特定用户界面元素(例如,按钮、窗口、滑块或其他用户界面元素)的位置处检测到输入(例如,由接触进行的按压输入)时,该特定用户界面元素根据所检测到的输入而被调节。在一些具体实施中,焦点从用户界面的一个区域移动到用户界面的另一个区域,而无需光标的对应移动或触摸屏显示器上的接触的移动(例如,通过使用制表键或箭头键将焦点从一个按钮移动到另一个按钮);在这些具体实施中,焦点选择器根据焦点在用户界面的不同区域之间的移动而移动。不考虑焦点选择器所采取的具体形式,焦点选择器通常是由用户控制的以便递送与用户界面的用户预期的交互(例如,通过向设备指示用户界面的用户期望与其进行交互的元素)的用户界面元素(或触摸屏显示器上的接触)。例如,在触敏表面(例如,触控板或触摸屏)上检测到按压输入时,焦点选择器(例如,光标、接触或选择框)在相应按钮上方的位置将指示用户期望激活相应按钮(而不是设备显示器上示出的其他用户界面元素)。
如说明书和权利要求中所使用的,接触的“特征强度”这一术语是指基于接触的一个或多个强度的接触的特征。在一些实施方案中,特征强度基于多个强度样本。特征强度任选地基于相对于预定义事件(例如,在检测到接触之后,在检测到接触抬离之前,在检测到接触开始移动之前或之后,在检测到接触结束之前,在检测到接触的强度增大之前或之后和/或在检测到接触的强度减小之前或之后)而言在预先确定的时间段(例如,0.05秒、0.1秒、0.2秒、0.5秒、1秒、2秒、5秒、10秒)期间采集的预定义数量的强度样本或一组强度样本。接触的特征强度任选地基于以下各项中的一者或多者:接触的强度的最大值、接触的强度的均值、接触的强度的平均值、接触的强度的前10%处的值、接触的强度的半最大值、接触的强度的90%最大值等。在一些实施方案中,在确定特征强度时使用接触的持续时间(例如,在特征强度是接触的强度在时间上的平均值时)。在一些实施方案中,将特征强度与一组一个或多个强度阈值进行比较,以确定用户是否已执行操作。例如,该组一个或多个强度阈值任选地包括第一强度阈值和第二强度阈值。在该示例中,特征强度未超过第一阈值的接触导致第一操作,特征强度超过第一强度阈值但未超过第二强度阈值的接触导致第二操作,而特征强度超过第二阈值的接触导致第三操作。在一些实施方案中,使用特征强度与一个或多个阈值之间的比较来确定是否要执行一个或多个操作(例如,是执行相应操作还是放弃执行相应操作)而不是用于确定执行第一操作还是第二操作。
图5C示出了利用多个强度传感器524A-524D检测触敏显示屏504上的多个接触552A-552E。图5C还包括强度图,其相对于强度单位示出了强度传感器524A-524D的当前强度测量值。在该示例中,强度传感器524A和524D的强度测量值均是9个强度单位,并且强度传感器524B和524C的强度测量值均是7个强度单位。在一些具体实施中,累积强度是多个强度传感器524A-524D的强度测量值之和,在该示例中是32个强度单位。在一些实施方案中,每个接触都被分配了相应强度,即累积强度的一部分。图5D示出了基于其与力554中心的距离而向接触552A-552E分配累积强度。在该示例中,接触552A、552B和552E中的每个接触都被分配以累积强度的8个强度单位的接触的强度,并且接触552C和552D的中每个接触都被分配以累积强度的4个强度单位的接触的强度。更一般地,在一些具体实施中,每个接触j都根据预定义的数学函数Ij=A·(Dj/ΣDi)被分配相应强度Ij,其为累积强度A的一部分,其中Dj是相应接触j距力中心的距离,并且ΣDi是所有相应接触(例如,i=1到最后)距力中心的距离之和。可以利用类似于或等同于设备100、300或500的电子设备执行参考图5C至图5D所述的操作。在一些实施方案中,接触的特征强度基于接触的一个或多个强度。在一些实施方案中,强度传感器用于确定单个特征强度(例如,单个接触的单个特征强度)。应当指出,强度图不是所显示用户界面的部分,而是包括在图5C至图5D中以辅助读者。
在一些实施方案中,识别手势的一部分以用于确定特征强度。例如,触敏表面任选地接收连续的轻扫接触,该连续的轻扫接触从起始位置过渡并到达结束位置,在该结束位置处,接触强度增加。在该示例中,接触在结束位置处的特征强度任选地仅基于连续轻扫接触的一部分,而不是整个轻扫接触(例如,仅结束位置处的轻扫接触的部分)。在一些实施方案中,在确定接触的特征强度之前任选地向轻扫接触的强度应用平滑算法。例如,平滑化算法任选地包括以下各项中的一种或多种:不加权滑动平均平滑化算法、三角平滑化算法、中值滤波器平滑化算法和/或指数平滑化算法。在一些情况下,这些平滑化算法消除了轻扫接触的强度中的窄的尖峰或凹陷,以实现确定特征强度的目的。
任选地相对于一个或多个强度阈值诸如接触检测强度阈值、轻按压强度阈值、深按压强度阈值和/或一个或多个其他强度阈值来表征触敏表面上的接触强度。在一些实施方案中,轻按压强度阈值对应于这样的强度:在该强度下设备将执行通常与点击物理鼠标或触控板的按钮相关联的操作。
在一些实施方案中,深按压强度阈值对应于这样的强度:在该强度下设备将执行与通常与点击物理鼠标或触控板的按钮相关联的操作不同的操作。在一些实施方案中,当检测到特征强度低于轻按压强度阈值(例如,并且高于标称接触检测强度阈值,比标称接触检测强度阈值低的接触不再被检测到)的接触时,设备将根据接触在触敏表面上的移动来移动焦点选择器,而不执行与轻按压强度阈值或深按压强度阈值相关联的操作。一般来讲,除非另有陈述,否则这些强度阈值在不同组的用户界面附图之间是一致的。
接触特征强度从低于轻按压强度阈值的强度增大到介于轻按压强度阈值与深按压强度阈值之间的强度有时被称为“轻按压”输入。接触特征强度从低于深按压强度阈值的强度增大到高于深按压强度阈值的强度有时被称为“深按压”输入。接触特征强度从低于接触检测强度阈值的强度增大到介于接触检测强度阈值与轻按压强度阈值之间的强度有时被称为检测到触摸表面上的接触。接触特征强度从高于接触检测强度阈值的强度减小到低于接触检测强度阈值的强度有时被称为检测到接触从触摸表面抬离。在一些实施方案中,接触检测强度阈值为零。在一些实施方案中,接触检测强度阈值大于零。
在本文中所述的一些实施方案中,响应于检测到包括相应按压输入的手势或响应于检测到利用相应接触(或多个接触)执行的相应按压输入来执行一个或多个操作,其中至少部分地基于检测到该接触(或多个接触)的强度增大到高于按压输入强度阈值而检测到相应按压输入。在一些实施方案中,响应于检测到相应接触的强度增大到高于按压输入强度阈值(例如,相应按压输入的“向下冲程”)来执行相应操作。在一些实施方案中,按压输入包括相应接触的强度增大到高于按压输入强度阈值以及该接触的强度随后减小到低于按压输入强度阈值,并且响应于检测到相应接触的强度随后减小到低于按压输入阈值(例如,相应按压输入的“向上冲程”)来执行相应操作。
图5E至图5H示出了对手势的检测,手势包括与接触562的强度从低于图5E中的轻按压强度阈值(例如,“ITL”)的强度增大到高于图5H中的深按压强度阈值(例如,“ITD”)的强度对应的按压输入。在所显示的包括预定义区域574中显示的应用图标572A-572D的用户界面570上,在与应用2对应的应用图标572B上方显示光标576时,在触敏表面560上检测利用接触562执行的手势。在一些实施方案中,在触敏显示器504上检测到手势。强度传感器检测触敏表面560上的接触的强度。该设备确定接触562的强度在深按压强度阈值(例如,“ITD”)以上达到峰值。在触敏表面560上保持接触562。响应于检测到手势,并且根据在手势期间强度升高到深按压强度阈值(例如,“ITD”)以上的接触562,显示最近为应用2打开的文档的缩比表示578A-578C(例如,缩略图),如图5F至图5H所示。在一些实施方案中,与一个或多个强度阈值相比,强度是接触的特征强度。应当指出,针对接触562的强度图不是所显示用户界面的部分,而是包括在图5E至图5H中以辅助读者。
在一些实施方案中,表示578A-578C的显示包括动画。例如,表示578A一开始显示于应用图标572B的附近,如图5F所示。随着动画的进行,表示578A向上移动,并在应用图标572B附近显示表示578B,如图5G中所示。然后,表示578A向上移动,578B朝表示578A向上移动,并且在应用图标572B附近显示表示578C,如图5H中所示。表示578A-578C在图标572B上方形成阵列。在一些实施方案中,动画根据接触562的强度进展,如图5F至图5G中所示,其中表示578A-578C出现并随着接触562的强度向深按压强度阈值(例如,“ITD”)增大而向上移动。在一些实施方案中,动画进展所依据的强度是接触的特征强度。可以利用类似于或等同于设备100、300或500的电子设备执行参考图5E至图5H所述的操作。
在一些实施方案中,设备采用强度滞后以避免有时被称为“抖动”的意外输入,其中设备限定或选择与按压输入强度阈值具有预定义关系的滞后强度阈值(例如,滞后强度阈值比按压输入强度阈值低X个强度单位,或滞后强度阈值是按压输入强度阈值的75%、90%或某个合理比例)。因此,在一些实施方案中,按压输入包括相应接触的强度增大到高于按压输入强度阈值以及该接触的强度随后减小到低于对应于按压输入强度阈值的滞后强度阈值,并且响应于检测到相应接触的强度随后减小到低于滞后强度阈值(例如,相应按压输入的“向上冲程”)来执行相应操作。类似地,在一些实施方案中,仅在设备检测到接触强度从等于或低于滞后强度阈值的强度增大到等于或高于按压输入强度阈值的强度并且任选地接触强度随后减小到等于或低于滞后强度的强度时才检测到按压输入,并且响应于检测到按压输入(例如,根据环境,接触强度增大或接触强度减小)来执行相应操作。
为了容易解释,任选地,响应于检测到以下各种情况中的任一种情况而触发对响应于与按压输入强度阈值相关联的按压输入或响应于包括按压输入的手势而执行的操作的描述:接触强度增大到高于按压输入强度阈值、接触强度从低于滞后强度阈值的强度增大到高于按压输入强度阈值的强度、接触强度减小到低于按压输入强度阈值、和/或接触强度减小到低于与按压输入强度阈值对应的滞后强度阈值。另外,在将操作描述为响应于检测到接触的强度减小到低于按压输入强度阈值而执行的示例中,任选地响应于检测到接触的强度减小到低于对应于并且小于按压输入强度阈值的滞后强度阈值来执行操作。
现在将注意力转到在电子设备(诸如便携式多功能设备100、设备300或设备500)上实现的用户界面(“UI”)以及相关联的过程的实施方案。
图6A至图6N示出了根据一些实施方案的用于管理相机效果的示例性用户界面。这些附图中的用户界面用于示出下文描述的包括图7中的过程的过程。
图6A示出了具有多个相机602和603(例如,在电子设备600的后部上)的电子设备600。在一些实施方案中,设备600包括设备100、300和/或500的一个或多个特征。在一些示例中,电子设备(例如,600)具有焦距固定但不同的多个相机。在一些示例中,该多个相机在电子设备(例如,600)的正面、背面或两侧上。在一些实施方案中,除了具有不同的固定焦距之外,该多个相机还具有不同的固定视场和不同的固定光学放大特性。在一些实施方案中,相机(例如,602)利用多个焦距来捕获图像数据。在一些实施方案中,一个相机(例如,602)捕获多个焦距,从而产生与焦距固定但不同的多个相机相同的结果。在一些示例中,电子设备包括深度相机,诸如红外相机、热成像相机或它们的组合。在一些示例中,该设备还包括光发射设备(例如,光投射器),诸如IR泛光灯、结构化光投影仪或其组合。可选地,光发射设备用于在通过可见光相机和深度相机(例如,IR相机)捕获图像期间照亮对象,并且来自深度相机和可见光相机的信息用于确定由可见光相机捕获的对象的不同部分的深度图。在一些实施方案中,使用来自两个相机(例如,两个可见光相机)的视差信息显示本文所述的照明效果以用于后向图像,并且使用来自深度相机的深度信息结合来自可见光相机的图像数据以用于前向图像(例如,自拍图像)。在一些实施方案中,当使用两个可见光相机确定深度信息时以及使用深度相机确定深度信息时,使用相同的用户界面,从而即使在使用截然不同的技术确定产生照明效果时使用的信息时,也为用户提供一致的体验。在一些实施方案中,在显示应用了所述照明效果之一的相机用户界面时,设备检测相机切换示能表示的选择并且从前向相机(例如,深度相机和可见光相机)切换到后向相机(例如,彼此间隔开的两个可见光相机)(或反之亦然),同时保持用户界面控件的显示以应用照明效果并且将前向相机的视场显示替换为后向相机的视场(反之亦然)。
如图6B所示,电子设备600包括触敏显示器604(例如,触摸屏),并且显示器显示从相机602接收到的图像数据。在一些实施方案中,显示器不同于触敏表面。
图6B进一步示出了在显示器604上显示用于利用相机602和/或603捕获图像的相机应用程序用户界面606的电子设备600。相机应用程序用户界面606还包括数字取景器608,该数字取景器包括相机602的视场的实时预览。如图6B所示,相机的视场包括前景中的被摄体(例如,人)和背景中的被摄体(例如,栅栏)。
此外,在图6B中,相机应用程序用户界面包括被表示为覆盖在数字取景器608上的六边形的滤波器容器610。在一些示例中,滤波器容器(例如,610)被表示为圆形、三角形或任何其他几何形状。在一些示例中,滤波器容器(例如,610)是向用户提供关于当前滤波器的指示的图像、图标或文本表示。在图6B的实施方案中,滤波器容器(例如,610)是对象的透明表示(例如,六边形),允许各种滤波器表示看起来好像正在移动穿过透明对象一样。在一些实施方案中,滤波器容器可显示在数字取景器(例如,608)的上方、下方、左侧或右侧(例如,不与取景器重叠)。
图6B的用户界面还示出了处于塌缩(例如,最小化)状态下的滤波器选择器用户界面612。塌缩的滤波器选择器用户界面612沿数字取景器608的边缘定位。在一些示例中,塌缩的滤波器选择器用户界面任选地显示在数字取景器(例如,608)的上方、下方、左侧或右侧。在一些示例中,塌缩的滤波器选择器用户界面(例如,612)包括与布置成一个或多个行和列的多个滤波器表示对应的一个或多个图标或定位成圆形取向的图标。在一些示例中,塌缩的滤波器选择器用户界面(例如,612)显示在与数字取景器对应的任何位置处。在一些示例中,用轮廓(例如,边界)来描绘塌缩的滤波器选择器用户界面(例如,612),以将滤波器选择器用户界面与数字取景器(例如,608)区分开。在一些实施方案中,塌缩的滤波器选择器用户界面(例如,612)是半透明的(或部分地半透明的),并且不具有可见边界。因此,在一些示例中,塌缩的滤波器选择器用户界面的边界与数字取景器(例如,608)混合(例如,无法区分开)。
如图6B所示,塌缩的滤波器选择器用户界面612包括显示在显示器604上的一个或多个滤波器表示(例如,614A、614B、614C、614D、614E)。在一些示例中,塌缩的滤波器选择器用户界面(例如,612)任选地包括未显示在显示器上的滤波器表示(例如,它们在屏幕外)。未显示在塌缩的滤波器选择器用户界面(例如,612)内的滤波器表示任选地显示在检测将导致滤波器表示滚动通过滤波器容器(例如,610)的输入(例如,轻扫手势)的设备上。
如图6B进一步所示,电子设备600在滤波器容器(例如,610)内显示滤波器表示(例如,614A),以指示应用于数字取景器608内显示的实时预览的滤波器。在一些实施方案中,滤波器表示614A对应于“自然光”照明(例如,滤波器)选项。因此,在不对图像应用任何附加照明效果的情况下,显示数字取景器608内的被摄体(例如,人)。在一些示例中,滤波器表示(例如,614A)对应于“摄影室灯光”照明效果滤波器、“轮廓光”照明效果滤波器、“舞台光”照明效果滤波器或“单色舞台光”照明效果滤波器。前述照明效果滤波器中的每一者均影响在数字取景器608内显示的图像的视觉特性(例如,通过模拟基于被摄体面部的深度图将不同光源组照在数字取景器内的被摄体的面部上的效果)。在一些实施方案中,“自然光”照明选项包括基于深度信息修改图像,但不应用附加照明效果,例如,使图像的背景模糊,但不使图像的前景的至少一部分模糊。
如图6B进一步所示,当滤波器选择器处于塌缩状态下时,使用与显示在滤波器容器内的滤波器表示(例如,614A)不同的视觉特性(例如,阴影)来显示未显示在滤波器容器内的滤波器表示(例如,614B、614C、614D、614E)。在一些示例中,不同的视觉特性包括颜色、形状和尺寸。如图6B进一步所示,基于未显示在滤波器容器内的滤波器表示(例如,614B、614C、614D、614E)在塌缩的滤波器选择器用户界面(例如,612)中的滤波器表示列表内的位置,将这些滤波器表示显示为彼此相距变化的距离(例如,逐渐变短,逐渐变长)。因此,在一些示例中,在列表中,滤波器表示(例如,614E)离滤波器容器(例如,610)越远,则在显示器上将该滤波器表示定位成离相邻滤波器表示(例如,614D)越近。
在一些示例中,响应于在与塌缩的滤波器选择器用户界面(例如,612)内的滤波器表示(例如,614B、614C、614D、614E)中的一者对应的位置处接收到输入(例如,轻击),电子设备(例如,600)应用与对应于输入位置的滤波器表示对应的滤波器。因此,用户轻击不在滤波器容器中的滤波器中的一者将导致被轻击的滤波器表示滚动到滤波器容器,并且电子设备600将应用与滤波器容器(例如,610)中的滤波器表示对应的滤波器。在一些示例中,轻扫输入将导致滚动输入,并且滤波器表示将滚动通过滤波器容器。因此,如果滤波器容器中的滤波器已经更换,则电子设备将应用当前在滤波器容器(例如,610)内的滤波器。
图6C至图6E示出了显示展开的滤波器选择器用户界面的激活的用户界面。如图6C所示,电子设备600在滤波器容器610的位置处接收轻击输入616。在一些示例中,轻击输入在沿数字取景器608的边缘的任何区域上方。在一些示例中,轻击输入在与塌缩的滤波器选择器用户界面612对应的任何区域上方。在一些示例中,输入与轻扫手势、轻击并保持(例如,轻击并保持预先确定的时间段)手势、或具有高于相应强度阈值的特征强度的输入对应。
如图6D所示,响应于接收到轻击输入616,电子设备600显示图6B的先前塌缩(例如,最小化)的滤波器选择器用户界面(例如,612)到展开的滤波器选择器用户界面613的转换。在一些实施方案中,在图6B中以塌缩状态显示的滤波器选择器用户界面开始转换为图6D中的弧形(例如,轮子)形状的对象。在一些示例中,当展开的滤波器选择器用户界面(例如,613)展开到显示器上(例如,覆盖更多的数字取景器)时,该展开的滤波器选择器用户界面转换成轮子或矩形的形状。在一些示例中,展开的滤波器选择器用户界面(例如,613)从数字取景器(例如,608)的边缘朝向显示器604的中心展开,使得滤波器选择器用户界面(例如,612)与数字取景器608重叠。在一些示例中,展开的滤波器选择器用户界面(例如,613)是半透明的、部分半透明的、透明的或部分透明的。在一些示例中,展开的滤波器选择器用户界面(例如,613)被显示为不透明的或部分不透明的。在图6D中,当展开的滤波器选择器用户界面(例如,613)开始展开时,滤波器容器610向上移位以与正在展开的滤波器选择器用户界面(例如,613)对应。
如图6E所示,当展开的滤波器选择器用户界面(例如,613)完全展开时,滤波器容器610已向上移位到展开的滤波器选择器用户界面613的顶部。在一些实施方案中,关于与滤波器表示(例如,614A)对应的滤波器的附加信息(例如,618)显示在滤波器容器(例如,610)内。在一些示例中,附加信息显示在展开的滤波器选择器用户界面内。在一些示例中,附加信息(例如,618)显示在滤波器选择器用户界面附近的位置处(例如,在上文中,在下文中)。在一些示例中,附加信息被表示为图标、文本或图形。
如图6F所示,电子设备600在与不在滤波器容器内的滤波器中的一者(例如,614B)的表示对应的位置处接收输入(例如,轻击620)。响应于轻击输入,在一些实施方案中,电子设备应用与对应于轻击输入在显示器604上的位置的滤波器表示(例如,614B)对应的滤波器。在一些示例中,输入任选地为轻扫、按压并保持、或具有高于相应强度阈值的特征强度的输入。在一些示例中,在滤波器中一者的表示(614A至614F)上的具有高于相应强度阈值的特征强度的输入任选地导致显示用于与具有高于相应强度阈值的特征强度的该输入的位置相关联的对应滤波器表示的附加功能。
图6G至图6H示出了由电子设备600接收到图6F中的输入(例如,轻击620)导致的滤波器容器610的过渡。如图6G所示,滤波器容器610被显示为看起来随滤波器表示(例如,614A至614E)滚动通过该滤波器容器而旋转。如图6G所示,滤波器容器610在旋转期间看起来是三维对象(例如,立方体)。在一些实施方案中,当滤波器容器(例如,610)静止时,将其表示为二维图像(例如,六边形)。在一些示例中,滤波器容器的三维表示任选地是球体或圆锥体。在一些示例中,当滤波器表示穿过滤波器容器时,该滤波器容器看起来是二维的。如图6G进一步所示,当滤波器表示滚动通过滤波器容器时,电子设备600将与滤波器表示614B对应的滤波器逐步地应用于在数字取景器中显示的实时预览。
如图6H进一步所示,当滤波器(例如,614B)的新表示显示在容器内时,滤波器容器在视觉上改变。在一些实施方案中,滤波器容器610的视觉变化基于滤波器容器内的滤波器类型(例如,应用于数字取景器中的实时预览的视觉/照明效果的类型)。在一些示例中,滤波器容器(例如,610)的不同侧面(例如,面)将反映与滤波器表示614B对应的滤波器的视觉(例如,照明)效果。在一些示例中,滤波器容器(例如,610)的容积(例如,内部部分)将反映与滤波器表示614B对应的滤波器的视觉效果。
在一些示例中,滤波器表示(例如,图标614A至614E)与电子设备600通过应用与点光源对应的各种照明效果来模拟的滤波器对应。因此,滤波器容器(例如,610)的视觉特性将改变以模拟对应滤波器的点光源。在一些示例中,显示在滤波器容器(例如,610)内的滤波器与模拟多个点光源的模拟摄影室灯光视觉效果(例如,614B)对应。因此,在视觉上修改滤波器容器,以模拟与摄影室照明滤波器效果对应的多个点光源。在一些示例中,在滤波器选择过渡期间,模拟多个点光源并将其并显示在三维对象面上。在一些示例中,当在滤波器容器(例如,610)内显示对应滤波器时,在二维对象(例如,六边形)的面上显示点光源。在一些示例中,与滤波器表示614E在滤波器容器(例如,610)的边界之外时相比,当该滤波器表示在滤波器容器的边界内时,该滤波器表示在视觉上是不同的(例如,不同的表示)。
如图6F至图6H进一步所示,在一些实施方案中,电子设备600在过渡期间将与新选择的滤波器表示614B对应的滤波器逐步地应用于数字取景器。如图6G所示,电子设备600最初以50%的强度将与滤波器表示614B对应的滤波器应用于数字取景器。在图6H中,电子设备完全应用(例如,100%的强度)与滤波器表示614B对应的滤波器。在一些示例中,电子设备在滤波器过渡期间以强度增量(例如,10%、25%、50%、75%)应用滤波器,直到过渡完成。
如图6I至图6J所示,在电子设备处接收到的输入(例如,轻扫622)将导致滤波器的表示(614A至614E)滚动通过滤波器容器(例如,610)。在一些实施方案中,响应于轻扫手势(例如,622),所显示的滤波器的表示将跨滤波器选择器用户界面的顶部滚动到左侧。在一些示例中,单个轻扫手势将导致滤波器表示的逐步滚动(例如,滤波器逐个移动)。在一些实施方案中,滚动的滤波器表示的数量将取决于轻扫手势的量值。因此,在一些示例中,与较短的轻扫相比,较长的轻扫引起更长的滚动。图6J示出了图6I中的轻扫手势的结果,其中,将“单色舞台光”照明滤波器应用于数字取景器中的实时预览(例如,通过基于被摄体的面部的深度图,模拟将与“单色舞台光”对应的一组光照在相机的视场中的被摄体的面部上)。
在一些示例中,电子设备600必须连续检测与滤波器选择器用户界面(例如,613)的接触,以将滤波器选择器用户界面(例如,613)保持在展开模式下。在一些示例中,如果电子设备检测到接触的抬离,则展开的滤波器选择器用户界面(例如,613)将开始塌缩,直到达到塌缩的滤波器选择器用户界面状态(例如,612)(例如,最小化)。在一些示例中,展开的滤波器选择器用户界面(例如,613)将保持以展开模式显示,直到已达到预先确定的时间段,而不需要附加接触。当电子设备600检测到已达到预先确定的时间段时,展开的滤波器选择器用户界面将被显示为正在收缩,直到其达到塌缩的滤波器选择器用户界面状态(例如,612)(例如,最小化)。
在图6K中,滤波器选择器用户界面再次处于塌缩状态(例如,612)。如图6K所示,电子设备在与在展开的滤波器选择器用户界面(例如,613)覆盖在数字取景器上时该展开的滤波器选择器用户界面所处的位置对应的位置处接收输入(例如,轻击624)。由于未显示展开的滤波器选择器用户界面,如图6L所示,电子设备将输入解释为焦点命令,并且在与轻击输入(例如,624)的位置对应的位置处显示边界框(例如,626)。如图6L所示,在滤波器应用程序或滤波器表示的呈现不发生任何变化的情况下,发生对焦点命令的处理。
如图6M所示,电子设备在与在展开的滤波器选择器用户界面(例如,613)覆盖在数字取景器上时该展开的滤波器选择器用户界面所处的位置对应的位置处接收轻扫输入628。由于未显示展开的滤波器选择器用户界面,如图6N所示,电子设备将轻扫手势628解释为模式改变命令,并且电子设备(例如,600)将相机选择用户界面(例如,606)改变为不同的相机模式(例如,“方形”相机模式630、摄影相机模式、非人像相机模式、慢动作相机模式、延时相机模式或全景相机模式)。
图7A至图7F是示出根据一些实施方案的使用电子设备将模拟照明效果改变为图像数据的表示的方法的流程图。方法900在具有一个或多个输入设备(例如,触敏表面、键盘、鼠标)和显示器的设备(例如,100、300、500、600)处执行。在一些实施方案中,显示器是触敏显示器。在一些实施方案中,显示器不是触敏显示器。在一些实施方案中,电子设备包括多个相机。在一些实施方案中,电子设备仅具有一个相机。方法700中的一些操作任选地被组合,一些操作的次序任选地被改变,并且一些操作任选地被省略。
如下文所述,方法700提供了用于将模拟照明效果改变为图像数据的表示的直观方式。该方法减少了用户提供与功能对应的输入的认知负担,从而创建更有效的人机界面。对于电池驱动的电子设备,使用户能够更快且更有效地发起各种功能节省了功率并且增加了电池充电之间的时间间隔。
在框702至706处,电子设备(例如,600)在显示器(例如,604)上同时显示相机应用程序用户界面(例如,606),其中相机应用程序用户界面(例如,606)包括:数字取景器(例如,608)(例如,其包括实时或近实时预览图像),该数字取景器包括一个或多个相机(例如,602和603)的视场的实时预览;以及覆盖在数字取景器(例如,608)上的滤波器选择器用户界面(例如,610、612)(在第一位置处)的表示(例如,指示当前应用于实时预览的相应滤波器的图像、图标、文本表示)。在一些实施方案中,滤波器选择器用户界面(例如,610)的表示在第一位置处。在一些实施方案中,滤波器选择器用户界面(例如,610)的表示最初在第一位置处开始并且过渡到第二位置。在一些实施方案中,滤波器选择器用户界面(例如,610)用于基于深度图信息在滤波器中选择对图像应用不同照明效果的滤波器(例如,如下文参考方法900更详细地描述的)。同时显示数字取景器(例如,608)和滤波器选择器用户界面(例如,613)向用户提供了关于相机(例如,602、603)的视场中的对象和可应用于预览的滤波器的视觉反馈。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输出的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在框708至710处,滤波器选择器用户界面(例如,612)的表示包括第一滤波器(例如,614A)的表示、第二滤波器(例如,614B)的表示和第三滤波器(例如,614C)的表示,并且第一滤波器的表示的视觉特性(例如,尺寸、阴影、颜色)的值与第二滤波器的表示的视觉特性的值和第三滤波器的表示的视觉特性的值不同。在一些实施方案中,滤波器表示显示在滤波器选择器用户界面(例如,612)内,并且使用与显示在滤波器选择器用户界面(例如,612)内的第一滤波器的表示不同的视觉特性来显示这些滤波器表示(例如,他们更小、具有不同的阴影、具有不同的颜色)。在一些实施方案中,第二滤波器和第三滤波器具有相同的视觉特性值。在视觉上区分滤波器的各种表示向用户提供了有关当前选择哪个滤波器的反馈,或者附加地或另选地,向用户提供了有关相应滤波器提供的滤波器效果的类型的反馈。提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输入的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在框712处,滤波器选择器用户界面(例如,610)的表示是具有多个面的第一三维对象(例如,610)的表示。
在框714至716处,在同时显示数字取景器(例如,608)和滤波器选择器用户界面(例如,612)的表示时,电子设备(例如,600)经由该一个或多个输入设备检测在与实时预览的相应部分对应的位置处(例如,在滤波器指示符图标上或附近)开始的第一输入(例如,616)(例如,轻扫、轻击并保持、轻击、按钮按压)。在一些实施方案中,输入可以在沿数字取景器(例如,608)的整个边缘的任何位置处。在一些实施方案中,在框718处,第一输入(例如,616)是轻击手势。
在框720至724处,响应于检测到第一输入(例如,616),根据确定第一标准(例如,滤波器应用程序标准)得到满足,电子设备(例如,600)将第一滤波器的预览应用于在检测到第一输入之前未应用的相机(例如,602、603)的视场的实时预览(例如,用于指示当第一滤波器是当前选择的滤波器时,第一滤波器将应用于所捕获的媒体),其中第一标准包括要求在检测到第一输入时滤波器选择器用户界面覆盖在实时预览的相应部分上(例如,滤波器选择器用户界面(例如,613)处于展开操作模式下,与处于塌缩操作模式下时相比,在展开操作模式下,滤波器选择器用户界面进一步延伸到实时预览中)。
在框720和框726至728处,响应于检测到第一输入(例如,616),根据确定在检测到第一输入时滤波器选择器用户界面(例如,613)未覆盖在实时预览的相应部分上(例如,滤波器选择器用户界面(例如,613)处于塌缩操作模式下,与展开状态相比,在塌缩操作模式下,滤波器选择器用户界面不会延伸到实时预览中),电子设备(例如,600)在相机应用程序中执行相应操作,而不将第一滤波器的预览应用于实时预览。基于第一标准得到满足执行操作(将滤波器应用于预览,或执行相应操作而不应用滤波器)为用户提供了有关发起图像捕获和/或视频录制是否将包括滤波器的视觉反馈(以取景器中的更新的形式)。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输出的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。在需要访问更少或更多的滤波器时使滤波器用户界面塌缩和展开移除了取景器中的障碍物,这使用户能够对在相机视场中捕获的更多取景器元素执行相机操作(例如,聚焦、亮度调节、相机模式切换),同时提供可轻松地在滤波器之间切换的界面。在用户正在使用滤波器用户界面时使该滤波器用户界面展开让用户操纵滤波器起来更容易;在用户未正在使用滤波器用户界面时使滤波器用户界面塌缩让用户执行相机操作(例如,聚焦、亮度调节、相机模式切换)起来更容易。提供附加控制同时限制相关用户界面的障碍物增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在框730处,执行相应操作包括:在实时预览的检测到输入的相应部分处,针对在位于相机(例如,602、603)的视场中的对象处进行的媒体捕获选择焦点(例如,并且任选地更新数字取景器(例如,608)的显示,以聚焦(例如,由框626表示)在一个或多个相机(例如,602、603)的视场中的一个或多个对象中的相应对象的表示上)。接收靶向要聚焦的对象的轻击手势为用户提供了用于选择要聚焦的对象的精确靶向机制,并且不需要提供多个或扩展的输入来改变焦点直到期望对象置于焦点上,从而减少了选择焦点所需的输入的数量。减少选择焦点所需的输入的数量增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输入的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在框732至734处,在显示滤波器选择器用户界面(例如,613)并使其覆盖在实时预览的相应部分上时(例如,在将滤波器选择器用户界面(例如,613)显示为处于展开状态下时),并且在将第一滤波器应用于相机(例如,602、603)的视场的实时预览时,电子设备(例如,600)检测在与滤波器选择器用户界面(例如,613)对应的位置处开始的第三输入(例如,620)(例如,轻扫或轻击)。
在一些实施方案中,在框736至740处,响应于检测到第三输入(例如,620),电子设备(例如,600)将多个滤波器的表示中的第二滤波器表示(例如,614B)移动到显示器(例如,604)上与当前选择的滤波器对应的位置(例如,不同的滤波器表示显示在滤波器选择器UI的表示内),并且电子设备(例如,600)将第二滤波器(例如,614B)的预览应用于视场的实时预览(例如,用于指示当第二滤波器是当前选择的滤波器时,第二滤波器将应用于所捕获的媒体)。将所选滤波器的表示移动到与当前选择的滤波器对应的位置为用户提供了有关设备状态的视觉反馈,该设备状态包括应用于(或将应用于)实时预览的滤波器。提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输入的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在框742处,电子设备(例如,600)提供触觉输出(例如,当将当前选择的滤波器从一个滤波器切换到另一个滤波器时,提供触觉输出)。
在一些实施方案中,在框744至746处,当滤波器选择器用户界面(例如,613)被显示并且未覆盖在实时预览的相应部分上时(例如,当滤波器选择器被显示为处于塌陷状态下时),电子设备(例如,600)检测在与滤波器选择器用户界面(例如,612)对应的位置处开始的第二输入(例如,616)。在一些示例中,与塌陷的滤波器选择器用户界面的任何显示部分对应的输入使界面展开。
在框748处,响应于检测到第二输入,电子设备(例如,600)使滤波器选择器用户界面(例如,613)展开以覆盖实时预览的相应部分。使滤波器选择器用户界面(例如,613)展开让用户能够通过例如展开滤波器的单个表示使得可使用不那么精确的输入来准确地选择期望目标,更准确地靶向期望滤波器。提供更准确的靶向控制增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输入的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在框750至752处,当滤波器选择器用户界面(例如,610)的表示与多个滤波器的表示中的第六表示相关联时,并且当滤波器选择器用户界面(例如,610)的表示呈现多个面中的第一面时,检测在与滤波器选择器用户界面(例如,613)对应的位置处开始的第六输入(例如,620)(例如,轻扫或轻击)。
在一些实施方案中,在框754至760处,响应于检测到第六输入(例如,620),电子设备(例如,600)使容器对象旋转以呈现多个面中在检测到第六输入之前未显示的第二面,从第一滤波器是当前选择的滤波器的状态切换到不同于第一滤波器的第二滤波器是当前选择的滤波器的状态,并将第二滤波器的预览应用于视场的实时预览。在一些示例中,三维对象(例如,610)看起来是二维对象,直到其开始以动画方式显示(例如,旋转)。在一些实施方案中,如果滤波器的量大于三维对象(例如,610)上可用的面的量,则可使用单个面来显示两个或更多个不同的滤波器。作为一个示例,立方体的第一面(例如,610)显示第一滤波器,并且在立方体旋转四圈之后,第一面将显示多个滤波器中的第五滤波器。旋转容器对象以呈现当前选择的滤波器为用户提供了有关设备状态的视觉反馈,该设备状态包括所应用的滤波器正在改变。提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输入的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,滤波器选择器用户界面(例如,613)包括滤波器选择器用户界面(例如,610)的表示以及多个滤波器的表示。在一些实施方案中,滤波器选择器用户界面(例如,613)与数字取景器(例如,608)重叠。在一些实施方案中,滤波器选择器用户界面(例如,613)被显示为转盘、拨盘、半拨盘、拨盘的一部分、或滑块。在一些实施方案中,滤波器选择器用户界面(例如,613)是矩形的。
在一些实施方案中,在不将滤波器的预览应用于在检测到第二输入之前未应用的相机(例如,602、603)的视场的实时预览的情况下,发生使滤波器选择器用户界面(例如,613)展开以覆盖实时预览的相应部分。
在一些实施方案中,滤波器选择器用户界面(例如,610)的表示在处于第一状态下(例如,运动中、展开)时是容器对象(例如,610)的表示,该容器对象具有包封容纳第二三维对象的表示的内部容积的多个面。在一些实施方案中,滤波器选择器用户界面(例如,610)的表示在不运动时看起来像2D对象(例如,该表示是被定位成使得其看起来像六边形的模拟立方体)。将处于第一状态下的容器对象表示为具有容纳三维对象的内部容积为用户提供有关源(诸如,光源)在与正在被预览的环境对应的虚拟三维环境内的定位的反馈。提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输入的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,滤波器选择器用户界面(例如,610)的表示处于与第一状态不同的第二状态下(例如,静止、最小化),容器对象的表示被改变以去除阴影和/或照明效果(例如,使得容器对象的表示看起来变平为2D对象诸如六边形)。改变容器对象的表示以去除阴影和/或照明效果减少了对用户的视觉干扰,并且有助于避免使用户的注意力离开相机的取景器。此外,在不需要效果时去除此类效果减少了所需的计算处理的数量。减少视觉干扰和减少计算处理增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果并减少操作设备/与设备进行交互时的用户错误),并且另外减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,滤波器选择器用户界面(例如,610)的表示处于第一状态下(例如,运动中、展开),该多个面中的一个或多个面或内部容积具有视觉外观,该视觉外观基于代表该多个滤波器的当前所选滤波器。(例如,在立方体的侧面上显示照明以指示照明的变化)在一些实施方案中,当立方体旋转时,在滤波器选择器UI的表示内显示不同的滤波器表示。使处于第一状态下的容器对象表示的多个面或内部容积的视觉外观基于当前选择的滤波器为用户提供了有关源(诸如光源)在与正在被预览的环境对应的虚拟三维环境内的定位的反馈,并且向用户提供了有关光源状态(启用、禁用、亮度级别)的反馈。提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输入的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
根据一些实施方案,滤波器选择器用户界面(例如,610)的表示处于不同于第一状态的第二状态下(例如,静止、最小化),滤波器选择器用户界面(例如,610)的表示的视觉外观不基于显示在内部容积内的多个滤波器中的当前所选滤波器。在一些实施方案中,当滤波器选择器UI的表示最小化或静止时,不显示滤波器的效果,但在滤波器选择器展开并且被显示为3D表示时,显示滤波器的效果。
在一些实施方案中,当滤波器选择器用户界面(例如,613)被显示并且未覆盖在实时预览的相应部分上时(例如,当滤波器选择器被显示为处于塌缩状态下时),滤波器选择器用户界面(例如,610)的表示和多个滤波器的表示沿基本上平行于显示器(例如,604)的边缘的线定位。沿基本上平行于显示器(例如,604)的边缘的线定位滤波器选择器用户界面(例如,610)的表示和多个滤波器的表示增大了被摄体在实时预览中的可见性,同时向用户提供有关可用照明效果的提醒,并且使用户能够更轻松地对取景器元素执行相机操作(例如,聚焦、亮度调节、相机模式切换)。提供附加控制同时保持相关取景器元素的可见性增强了设备的可操作性,并且使用户-取景器更有效(例如,通过帮助用户实现预期结果并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。在一些实施方案中,附加的滤波器选项沿显示器(例如,604)的远离滤波器选择器用户界面(例如,610)的表示在两个方向上延伸的边缘定位,在一些实施方案中,附加的滤波器选项沿显示器(例如,604)的相对于滤波器选择器用户界面(例如,610)的表示在一个方向上延伸的边缘定位。在一些实施方案中,在实时预览的边缘附近显示滤波器选择器用户界面(例如,610)的表示。
在一些实施方案中,当滤波器选择器用户界面(例如,613)覆盖在实时预览的相应部分上时(例如,当滤波器选择器用户界面(例如,613)被显示为处于塌缩状态下时),滤波器选择器用户界面(例如,610)的表示和多个滤波器的表示沿曲线(例如,不平行于显示器(例如,604)的边缘的线)定位。在一些实施方案中,移位的位置将看起来是弧形或轮子形。在一些实施方案中,交互包括沿显示器(例如,604)的底部边缘的任何部分使用手势(轻扫或轻击)。使移位的位置看起来是弧形或轮子形,并沿显示器(例如,604)的底部边缘使用手势(轻扫或轻击)以与弧形或轮子形进行交互在用户界面中提供了连续性以减少用户困惑,这导致用户提供较少的输入来执行期望操作。减少执行操作所需的输入的数量增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,第一输入是轻击手势,并且其中与实时预览的相应部分对应的位置是与该多个滤波器的表示中的第一滤波器的表示对应的位置。在一些实施方案中,展开的滤波器选择器UI将被显示为处于展开状态下。在一些实施方案中,滤波器选择器用户界面(例如,613)将被显示为处于塌缩状态下。
在一些实施方案中,第二滤波器的表示相对于第一滤波器的表示在第一方向上,第三滤波器的表示相对于第二滤波器的表示在第一方向上,并且从第一滤波器的表示到第二滤波器的表示再到第三滤波器的表示,视觉特性值在第一方向上逐渐变化(例如,单调增加或单调减小)(例如,滤波器的表示逐渐变小,并且/或者随着该滤波器表示距当前所选滤波器的表示越来越远,它们的不透明度降低)。从第一滤波器的表示到第二滤波器的表示再到第三滤波器的表示,视觉特性值在第一方向上逐渐变化,这减少了用户分心的情况、提高了实时预览的可见性、并提供使得能够更容易识别和访问滤波器的结构化系统。提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。在一些实施方案中,滤波器表示显示在滤波器选择器用户界面(例如,613)内,并且基于每个对应滤波器表示与滤波器选择器用户界面(例如,610)的表示之间的距离而使用不同的视觉特性来显示这些滤波器表示。
在一些实施方案中,滤波器选择器用户界面(例如,613)覆盖在实时预览的相应部分上(例如,当滤波器选择器用户界面(例如,613)被显示为处于展开状态下时),滤波器选择器用户界面(例如,613)包括有关与第一滤波器的表示相关联地显示的第一滤波器的附加信息(例如,显示滤波器的名称)。
根据一些实施方案,第一输入是轻扫手势(例如,628),并且其中执行相应操作包括改变电子设备的相机捕获模式(例如,600)(例如,该模式被改变为视频模式、照片模式、人像模式、正方形模式、全景模式、慢动作模式、延时模式中的任一者)。
在一些实施方案中,应用第二滤波器的预览包括在应用第一滤波器的预览和应用第二滤波器的预览之间逐渐过渡。在一些实施方案中,逐渐过渡包括在第一时间处,一开始为100%、其后为0%;在第二时间处,一开始为90%、其后为10%;等等。
需注意,上文相对于方法700所述的过程(例如,图7A至图7F)的详情也可以类似方式适用于下文所述的方法。例如,方法900、1100、1300、1500和1700任选地包括上面参考方法700所述的各种方法的一个或多个特征。例如,可对来自各种方法的滤波器用户界面、示能表示和控件的元素进行组合。对于另一示例,方法700中的取景器类似于方法900、1100、1300、1500和1700中的取景器。为了简明起见,这些详情在下文中不再重复。
在一些实施方案中,电子设备800包括设备600的部件中的一些或全部,如图6A所示。在一些实施方案中,设备800包括多个相机602和603(例如,在电子设备800的后部上)。在一些实施方案中,设备800包括设备100、300和/或500的一个或多个特征。在一些示例中,电子设备(例如,800)具有焦距固定但不同的多个相机。在一些示例中,该多个相机在电子设备(例如,800)的正面、背面或两侧上。在一些实施方案中,除了具有不同的固定焦距之外,该多个相机还具有不同的固定视场和不同的固定光学放大特性。在一些实施方案中,相机(例如,602)利用多个焦距来捕获图像数据。在一些实施方案中,一个相机(例如,602)捕获多个焦距,从而产生与焦距固定但不同的多个相机相同的结果。在一些示例中,电子设备(例如,800)包括深度相机,诸如红外相机、热成像相机或它们的组合。在一些示例中,该设备还包括光发射设备(例如,光投射器),诸如IR泛光灯、结构化光投影仪或其组合。可选地,光发射设备用于在通过可见光相机和深度相机(例如,IR相机)捕获图像期间照亮对象,并且来自深度相机和可见光相机的信息用于确定由可见光相机捕获的对象的不同部分的深度图。在一些实施方案中,使用来自两个相机(例如,两个可见光相机)的视差信息显示本文所述的照明效果以用于后向图像,并且使用来自深度相机的深度信息结合来自可见光相机的图像数据以用于前向图像(例如,自拍图像)。在一些实施方案中,当使用两个可见光相机确定深度信息时以及使用深度相机确定深度信息时,使用相同的用户界面,从而即使在使用截然不同的技术确定产生照明效果时使用的信息时,也为用户提供一致的体验。在一些实施方案中,在显示应用了所述照明效果之一的相机用户界面时,设备检测相机切换示能表示的选择并且从前向相机(例如,深度相机和可见光相机)切换到后向相机(例如,彼此间隔开的两个可见光相机)(或反之亦然),同时保持用户界面控件的显示以应用照明效果并且将前向相机的视场显示替换为后向相机的视场(反之亦然)。
如图8A所示,电子设备800包括触敏显示器804(例如,触摸屏),并且显示器显示从相机(例如,602)接收到的图像数据。在一些实施方案中,显示器不同于触敏表面。在一些示例中,多个相机(例如,602和603)定位在电子设备(例如,800)的正面、背面或两侧上。
图8A进一步示出了在显示器804上显示用于利用相机(例如,602)捕获图像的相机应用程序用户界面805的电子设备800。相机应用程序用户界面805还包括数字取景器810,该数字取景器包括相机(例如,602或603)的视场的实时预览。在一些实施方案中,相机实时捕获与图像数据相关联的深度信息。图8A进一步示出了在视场中捕获不同的深度水平的相机;这些深度水平包括在前景区域(例如,808)中的被摄体(例如,女性)和背景区域中的栅栏(例如,811)。在一些示例中,相机(例如,602)在视场中捕获3个、4个、5个、10个、20个或更多个深度水平。在将滤波器应用于在数字取景器(例如,810)内显示的图像数据的表示(例如,806)时,电子设备800利用该多个深度水平,如下文更详细地讨论的。
此外,图8A示出了将滤波器选择器用户界面813显示为处于展开状态下的电子设备800。滤波器选择器用户界面813沿数字取景器810的边缘定位。在一些示例中,滤波器选择器用户界面(例如,813)任选地显示在数字取景器(例如,810)的上方、下方、左侧或右侧。在一些示例中,滤波器选择器用户界面(例如,813)包括布置成一个或多个行和列或定位成圆形取向的滤波器的一个或多个表示(例如,视觉效果的表示)。
在一些示例中,展开的滤波器选择器用户界面(例如,813)显示在与数字取景器对应的任何位置处。在一些示例中,用轮廓(例如,边界)来描绘滤波器选择器用户界面(例如,813),以将滤波器选择器用户界面与数字取景器区分开。在一些实施方案中,滤波器选择器用户界面(例如,813)在处于塌缩状态下时是半透明的(或部分地半透明的),并且不具有可见边界。因此,在一些示例中,滤波器选择器用户界面(例如,813)看起来与数字取景器混合(例如,无法区分开)。
如图8A所示,电子设备800显示包括与视觉效果对应的一个或多个滤波器表示(例如,814A、814B、814C、814D、814E)的滤波器选择器用户界面813。在一些示例中,滤波器选择器用户界面(例如,813)任选地包括未显示在显示器上的滤波器表示(例如,它们在屏幕外)。在一些示例中,当电子设备接收到将导致滤波器表示滚动通过滤波器容器(例如,816)的输入(例如,轻扫手势)时,显示未显示的滤波器表示。
如图8A进一步所示,在一些实施方案中,电子设备800在展开的滤波器选择器用户界面(例如,813)内显示滤波器表示(例如,814A)以指示当前选择的视觉效果。在一些实施方案中,滤波器表示814A对应于“自然光”照明效果滤波器。因此,利用“自然光”照明效果滤波器(例如,使用来自场景的自然照明)显示前景区域808和背景区域809。由于在不使用任何合成光的情况下描绘了图8A中的图像表示,来自场景的自然光会在被摄体(例如,面部、颈部和衣服)上形成变化的阴影。在一些示例中,与照明效果对应的可能滤波器表示(例如,814A至814E)包括“摄影室灯光”照明效果、“轮廓光”照明效果、“舞台光”照明效果和“单色舞台光”照明效果。前述照明效果中的每一者在应用于图像数据的表示(例如,806)时,影响显示在显示器804上的图像数据的表示的视觉特性。
在一些实施方案中,当电子设备800应用自然照明效果时,不向图像添加合成照明(例如,显示原始图像)。相比之下,摄影室照明效果包括对围绕被摄体均匀定位的多个离散点光源(例如,摄影室内的灯)进行建模(例如,形成明亮的填充照明效果)。轮廓照明效果包括对沿被摄体的周长定位的多个离散点光源进行建模(例如,形成瘦身效果、在被摄体面部的一侧上和/或在被摄体的颏部上方形成阴影)。舞台光照明效果包括对定位在被摄体上方的单个离散点光源进行建模(例如,形成聚光灯效果)。单色舞台光照明效果包括以黑色和白色对定位在被摄体上方的单个离散点光源进行建模(例如,形成黑色和白色的聚光灯效果)。
在一些示例中,电子设备(例如,800)在图像数据的表示中检测到被摄体的面部。因此,电子设备在应用照明效果时使用图像数据的深度图信息以及对应的面部特征。因此,以更精确的方式将照明效果应用在被摄体面部周围,并且可基于所选择的照明效果(例如,增大或减小被摄体的颏部和/或颧骨周围的阴影)以不同方式照亮某些面部特征。在一些示例中,图像数据包括深度图信息,该深度图信息包括对象的深度轮廓。因此,电子设备使用轮廓数据来更准确地在被摄体周围应用照明效果。
如图8B所示,电子设备800在与展开的滤波器选择器用户界面(例如,813)对应的位置处接收输入(例如,轻扫818)。如图8C所示,输入(例如,轻扫818)使滤波器表示(814A至814E)滚动通过滤波器容器(例如,816)。在一些实施方案中,响应于输入(例如,轻扫818),滤波器表示将跨滤波器选择器用户界面(例如,813)的顶部边界滚动到左侧。在一些示例中,单个轻扫手势将导致滤波器表示的逐步滚动。在一些实施方案中,滚动的滤波器表示的数量将取决于轻扫手势的量值。因此,在一些示例中,与较短的轻扫相比,较长的轻扫引起更长的滚动。
响应于输入(例如,818轻扫),在一些实施方案中,电子设备800应用与对应于轻击输入在显示器804上的位置的滤波器表示(例如,814B)对应的照明效果。在一些示例中,输入为轻扫、按压并保持、或具有高于相应强度阈值的特征强度的输入。在一些示例中,在滤波器中一者的表示(814A至814F)上检测到的具有高于相应强度阈值的特征强度的输入任选地导致显示用于与具有高于相应强度阈值的特征强度的该输入的位置相关联的对应滤波器表示的附加功能。
在一些实施方案中,在应用与滤波器表示(例如,814B)对应的照明效果之前,可向图像数据的整个表示(例如,806)应用附加视觉效果。例如,在应用舞台照明滤波器之前,可向图像数据的表示(例如,806)应用轻微渐变填充,以便更流畅地从无滤波器过渡到照明效果滤波器。
图8C至图8D示出了因电子设备接收到图8B中的输入(例如,轻扫818)而逐渐应用照明效果的电子设备800。在一些实施方案中,将与新选择的滤波器表示814B对应的照明效果逐渐应用于实时预览中的图像数据的表示(例如,806)。由于所选择的照明效果是“摄影室灯光”,对应的视觉效果模拟影响前景区域808中的被摄体的多个点光源。因此,在过渡阶段(图8C),以50%的强度将与滤波器表示814B对应的照明效果应用于实时预览。在图8D中,完全应用(例如,100%)与滤波器表示814B对应的滤波器。在一些示例中,以增量(10%、25%、50%、75%)应用滤波器,同时电子设备800应用照明效果直到过渡完成。在一些示例中,当电子设备800将“摄影室灯光”照明效果应用于图像数据的表示时,背景区域(例如,809)完全变暗。在一些实施方案中,当电子设备800将“摄影室灯光”照明效果应用于图像数据的表示时,背景区域(例如,809)部分地变暗。
如图8C至图8D所示,由于相机(例如,602)捕获的图像数据包括与图像数据相关联的深度图信息,电子设备能够使用可用的深度图信息,并且能够在图像数据表示806上模拟各种点光源的效果。在一些实施方案中,基于与图像数据相关联的深度图信息以与前景区域相比不同的方式在背景区域中应用相同的照明效果。因此,前景中的被摄体可能看起来更突出,并且背景中的被摄体可经由变暗效果而变得不那么突出。另外,如图8D所示,由于照明效果模拟点光源,深度图信息用于将变化的阴影投射到前景区域(例如,808)中的被摄体面部上。如图8D所示,由于“摄影室灯光”照明效果模拟多个点光源,电子设备800使用深度图信息来相对于“自然光”照明效果减少被摄体面部上的阴影。
如图8E至图8F所示,电子设备800接收输入(例如,轻击820),并且将导致滤波器的表示(814A至814E)滚动通过滤波器容器(例如,816)。在一些实施方案中,响应于与滤波器表示(例如,814E)对应的轻击手势(例如,820),滤波器的表示将跨展开的滤波器选择器用户界面(例如,813)的顶部周边滚动到左侧。图8F示出了图8E的轻击手势(例如,820)的结果,其中电子设备800向数字取景器应用“单色舞台光”滤波器。“单色舞台光”照明效果模拟单个点光源,并且因此类似于聚光灯效果。使用深度图信息,电子设备800从在前景区域(例如,808)中的被摄体上方应用“单色舞台光”效果。在一些示例中,可将点光源模拟为源自任何方向。在一些示例中,将“单色舞台光”效果模拟为源自前部,并且因此,突出显示特定焦点(例如,面部),但图像数据的表示的其余部分变暗。如图8F所示,由于点光源的模拟源自被摄体上方,电子设备能够使用图像数据的深度图信息来将更深的阴影投射到被摄体(例如,面部和颈部)上。在一些实施方案中,去除图像的背景,并用纯色(诸如,黑色或白色)或用户选择的颜色替换该背景,以进一步吸引对前景中被摄体的注意,并模拟其中可在坚实背景下为用户拍照的摄影室设置。
如图8G所示,电子设备可能未处于用于捕获深度信息的合适状态下。图8G示出了在从用户在操作图8F中的电子设备时所处的位置退后几步之后正在操作电子设备800的用户。作为用户后退的结果,电子设备不再能够捕获深度信息(例如,不再检测到供相机捕获深度信息的条件)。在一些实施方案中,当用于捕获深度效果的条件不再得到满足时,先前应用的照明效果逐渐淡出。在一些示例中,当用于捕获深度效果的条件不再得到满足时,先前应用的照明效果突然消失(例如,设备在没有过渡的情况下恢复到不应用照明滤波器)。在一些实施方案中,当滤波器突然消失时,将任选地为照明效果滤波器的一部分的临时滤波器(例如,渐变)应用于图像表示。当重新应用照明效果时,临时滤波器有助于平滑过渡(例如,减小震动)。
在一些实施方案中,当电子设备未检测到捕获深度图数据的必要条件时,电子设备800显示图形指示(例如,822),用于指导用户要采取什么动作才能使电子设备(例如,800)捕获深度图信息。在一些示例中,电子设备检测到被摄体但被摄体太远(例如,焦距在2.5m和10m之间),电子设备指导用户(例如,使用图形指示)移动得更靠近相机(例如,移动到8英尺内)。在一些示例中,该电子设备确定光的量太低(例如,400勒克斯或更少),并且因此指导用户(例如,使用图形指示)提供更多的光。在一些示例中,在取景器中显示用于允许用户禁用或启用此类指令的示能表示。在一些示例中,当捕获深度效果图的条件得到满足时,电子设备800放弃显示指导用户的图形指示。因此,在一些示例中,当用户动作对于应用照明效果没有帮助时,电子设备800不指导用户。
如图8H所示,当用户向前迈出几步并且电子设备再次检测到用于捕获深度图信息的必要条件时,照明效果突然出现(例如,在没有过渡的情况下)。在一些示例中,当用于捕获深度图信息的条件再次得到满足时,电子设备800将照明效果逐渐应用于图像数据表示。
如图8I所示,电子设备在与照片查看器应用程序(例如,826)对应的位置处检测输入(例如,轻击824)。响应于接收到输入(例如,826),电子设备800切换到如图8J所示的图像查看模式(例如,用于查看先前捕获的图像而不是相机数据的实时预览的模式)。
图8J示出了用于照片查看器应用程序的用户界面。照片查看器应用程序包括先前捕获的图像(例如,828A至828D)的缩略图,其中,828D是最后捕获的图像。在一些示例中,使用与电子设备(例如,800)对应的相机捕获先前捕获的图像。在一些示例中,电子设备(例如,800)从远程源(例如,服务器)接收先前捕获的图像(例如,828A至828D),并且任选地,先前捕获的图像是由不同的电子设备(例如,不是800)捕获的。
图8J进一步示出了,利用视觉效果(例如,模拟的深度效果(散景)830,在该深度效果中,背景被模糊并且前景的一部分未被模糊,以模拟拍摄具有其中前景在焦点平面中的浅景深的照片;以及照明效果832)的组合来捕获最后捕获的图像(例如,828D)。在一些实施方案中,电子设备在显示器的顶部处显示“人像”视觉指示器(例如,834),以向用户指示先前捕获的图像数据包括深度图信息。在一些示例中,电子设备(例如,800)在与视觉指示器对应的位置处接收输入,以将模拟深度效果(例如,散景)切换为打开和关闭。在一些实施方案中,如果模拟深度效果被切换为关闭,则照明效果将保留。在一些示例中,视觉指示器在被激活时将模拟的深度效果和照明效果一起切换。在一些示例中,电子设备任选地接收用于使用滤波器选择器用户界面(如上所述)将照片查看器应用程序内的照明效果改变为不同照明效果的输入。在一些示例中,如果先前捕获的图像数据不具有深度图信息;则电子设备(例如,800)将不提供用于应用模拟深度效果或照明效果的选项。在一些示例中,如果先前捕获的图像数据不具有与图像数据相关联的深度图信息,则电子设备将不显示视觉指示器(例如,834)。
在一些示例中,电子设备(例如,800)将深度图信息与图像数据存储在一个文件中。在一些示例中,电子设备(例如,800)将深度图信息与图像数据分开存储。在一些实施方案中,一旦电子设备将具有深度图信息的图像存储为平面图像(例如,不具有深度图信息),则电子设备(例如,800)将不再能够向图像数据的表示应用照明效果。
图9A至图9D是示出根据一些实施方案的使用电子设备将模拟视觉效果应用于图像数据表示的方法的流程图。方法900在具有一个或多个输入设备(例如,触敏表面、键盘、鼠标)和显示器的设备(例如,100、300、500、800)处执行。在一些实施方案中,显示器是触敏显示器。在一些实施方案中,显示器不是触敏显示器。在一些实施方案中,电子设备包括多个相机。在一些实施方案中,电子设备仅具有一个相机。方法900中的一些操作任选地被组合,一些操作的次序任选地被改变,并且一些操作任选地被省略。
如下文所述,方法900提供了用于将模拟照明效果应用于图像数据表示的直观方式。该方法减少了用户提供与功能对应的输入的认知负担,从而创建更有效的人机界面。对于电池驱动的电子设备,使用户能够更快且更有效地发起各种功能节省了功率并且增加了电池充电之间的时间间隔。
在一些实施方案中,在框902处,在显示图像数据表示(例如,806)之前,电子设备(例如,800)在设备处接收(例如,从相机、从存储器、从服务器)图像数据及与图像数据相关联的深度图信息。在一些实施方案中,图像数据包括RGB和深度图值。在一些实施方案中,从电子设备(例如,800)外部的源接收图像数据和深度图(例如,从服务器接收数据)。在一些实施方案中,以允许在单个文件中分开深度信息(例如,深度图)和RGB数据的文件格式保存图像。在一些实施方案中,图像数据包括深度图信息。在一些实施方案中,深度图信息和深度图信息是分开的。在显示图像数据表示(例如,806)之前接收图像数据及与图像数据对应的深度图信息使设备能够经由与深度图信息的内容有关的图像数据表示(例如,806)向用户提供视觉反馈,例如,项目是在场景的背景(例如,809)中还是在场景的前景(例如,808)中。提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输入的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在框904处,电子设备(例如,800)在显示器(例如,804)上显示与深度图信息相关联的图像数据的表示。在一些实施方案中,图像或照片显示在设备的显示器(例如,804)上。在一些实施方案中,图像数据的实时预览显示在数字取景器(例如,810)中。在数字取景器(例如,810)中显示图像数据的实时预览使用户能够快速且有效地拍摄照片,而无需重复捕获照片,从而减少捕获预期照片所需的输入的数量,减少存储照片的内存需求,并使用户界面更有效。减少捕获期望图像所需的输入的数量并减少内存需求增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在框906处,电子设备(例如,800)还包括一个或多个相机(例如,602和/或603),并且其中图像数据表示(例如,806)是在数字取景器(例如,810)中显示的该一个或多个相机(例如,602和/或603)的视场内捕获的图像数据的实时预览。在一些实施方案中,该设备包括具有变化的焦距的多个相机(例如,602和/或603)。
在一些实施方案中,在框908处,与图像数据相关联的深度图信息包括与至少三个不同深度水平对应的信息。例如,图像数据包括与至少背景深度水平、前景深度水平和中间深度水平对应的信息。包括三个或更多个不同深度水平的深度图信息为用户提供了用于应用深度特定滤波器的框架并且向用户提供了更精确的关于对象在相机(例如,602和/或603)的视场中的深度定位的反馈。提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输入的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在框910处,与图像数据相关联的深度图信息包括标识对象在图像数据的表示(例如,806)中的深度轮廓的信息。
在框912处,在显示器(例如,804)上显示图像数据表示(例如,806)时,电子设备(例如,800)任选地执行框914至936的技术。在框914处,电子设备(例如,800)经由该一个或多个输入设备来检测第一输入(例如,818)(例如,轻扫、轻击并保持、轻击、按钮按压;手势可位于表示照明滤波器的图标或用于选择滤波器的另一用户界面系统的顶部)。
在一些实施方案中,在框916处,第一输入(例如,818)是在第一标准(例如,照明效果应用标准的集)得到满足时接收到的输入,其中,第一标准包括要求在距电子设备(例如,800)的预先确定的距离内的视场中检测到被摄体(该集中的其他条件包括:第一相机(例如,602或603)的焦距超过最小距离阈值,第一相机(例如,602或603)的焦距不超过最大距离阈值,在距设备的预先确定的最小距离外检测到被摄体,检测到的光的量超过最小光阈值,检测到的光的量不超过最大光阈值)。在一些实施方案中,如果第一标准未得到满足,则放弃应用第一照明效果或第二照明效果。在接收到第一输入(例如,818)时确定被摄体在预先确定的距离内时应用照明效果为用户提供了对象已正确定位使得可利用滤波器实现最佳(或近最佳)效果的视觉反馈。类似地,在被摄体不在预先确定的距离内时不应用照明效果向用户提供了被摄体未正确定位的反馈,并向用户指示需要纠正措施。提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输入的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在框918处,第一输入(例如,818)是在第一标准(例如,照明效果应用标准的集)未得到满足时接收到的输入,其中,第一标准包括在距电子设备(例如,800)的预先确定的距离内的视场中检测到被摄体时满足的要求(该集中的其他条件/标准包括:第一相机(例如,602或603)的焦距超过最小距离阈值,第一相机(例如,602或603)的焦距不超过最大距离阈值,在距设备的预先确定的最小距离外检测到被摄体,检测到的光的量超过最小光阈值,检测到的光的量不超过最大光阈值)。在一些实施方案中,如果第一标准未得到满足,则电子设备(例如,800)放弃应用第一照明效果或第二照明效果。
在一些实施方案中,在框920处,响应于第一输入(例如,818),电子设备(例如,800)向实时预览应用占位滤波器(例如,调暗或去饱和背景(例如,809)),而不向实时预览应用第一照明效果)。在一些实施方案中,响应于检测到第一标准已经得到满足,电子设备(例如,800)将第一照明效果应用于实时预览,同时继续将占位滤波器应用于实时预览(例如,占位滤波器是第一照明效果的一部分,该部分不考虑到深度图信息,并因此在不考虑第一标准是否已得到满足的情况下被显示)。在不考虑第一标准是否得到满足的情况下应用占位滤波器向用户提供了关于与取景器(例如,810)内容对应的深度图的视觉反馈,例如,与前景(例如,808)相比,图像的哪些部分与背景(例如,809)中的深度图的部分对应。提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输入的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在框922处,在不将第一照明效果应用于实时预览的情况下显示实时预览之后,电子设备(例如,800)检测到第一标准已经得到满足。响应于检测到第一标准已经得到满足,电子设备(例如,800)将第一照明效果应用于实时预览。在第一标准得到满足时应用照明效果为用户提供了第一标准已得到满足(例如,被摄体正确定位)并且可利用滤波器来实现最佳(或近最佳)效果的视觉反馈。类似地,在第一标准未得到满足时不应用照明效果向用户提供了第一标准未得到满足的反馈,并且向用户指示需要纠正措施。提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输入的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在框924处,根据检测到第一输入(例如,818),电子设备(例如,800)将第一照明效果(例如,自然光、摄影室灯光、轮廓光、舞台光、单色舞台光)应用于图像数据表示(例如,806),其中第一照明效果基于深度图信息(例如,基于深度传感器的测量结果,或者基于从不同位置同时拍摄的两个图像之间的视差映射)。基于深度图信息显示照明效果为用户提供了关于深度图信息的视觉反馈。例如,放置(或增强)和去除(或减轻)阴影为用户提供了关于与深度图信息对应的对象的特殊取向的反馈。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输出的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在框926处,应用第一照明效果包括向在数字取景器(例如,810)中显示的图像数据表示(例如,806)应用占位滤波器(例如,调暗或去饱和背景(例如,809)),其中占位滤波器基于第一照明效果(例如,被选择),并且在不考虑第一标准是否得到满足的情况下被应用。应用占位滤波器使得能够更平滑/愉快地过渡到照明滤波器。在不考虑第一标准是否得到满足的情况下应用占位滤波器向用户提供了关于与取景器(例如,810)内容对应的深度图的视觉反馈,例如,与前景(例如,808)相比,图像的哪些部分与背景(例如,809)中的深度图的部分对应。提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输入的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在框928处,应用第一照明效果包括:基于与图像数据相关联的深度图信息,向在取景器(例如,810)中显示的图像数据表示(例如,806)应用对空间中的一个或多个点光源的模拟。照明选项包括自然光、摄影室灯光、轮廓光、舞台光和单色舞台光。每个照明效果基于图像数据的深度图对空间中的一个或多个点光源的结果进行建模(例如,模拟)。自然照明选项不向图像应用合成照明(例如,显示原始图像或显示原始图像的一部分,并对原始效果的不同部分应用模糊以模拟散景效果)。摄影室照明效果包括对围绕被摄体定位的多个离散点光源进行建模(例如,形成明亮的填充光效果)。轮廓照明效果包括对定位在被摄体周围的较少点处的多个离散点光源进行建模,以在被摄体面部上形成阴影(例如,形成瘦身效果,在被摄体面部的一侧上和/或在被摄体的颏部上方形成阴影)。舞台光照明效果包括对定位在被摄体上方的单个离散点光源进行建模(例如,形成聚光灯效果)。单色舞台光照明效果包括以黑色和白色对定位在被摄体上方周围的单个离散点光源进行建模(例如,形成黑色和白色的聚光灯效果)。在一些实施方案中,照明滤波器模拟点光源。在一些实施方案中,当第一标准(例如,照明效果应用标准)得到满足时,照明效果突然出现,如上文更详细地描述的。在一些实施方案中,如果系统检测到面部,则在应用照明效果时考虑面部特征。因此,照明效果基于被摄体的特定面部特征和面部形状来改变图像数据表示(例如,806)的外观。应用点光源的模拟为用户提供了深度图信息的内容的视觉表示,并使设备能够为用户提供关于相机(例如,602和/或603)的视场中的对象的形状和深度位置的视觉反馈。提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输入的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。此外,与需要实际摄影室灯光和背景时相比,在不需要实际物理摄影室灯光的情况下应用对点光源的模拟使电子设备更便宜且更小,从而提高设备的便携性并降低制造成本。
在框930处,电子设备(例如,800)经由该一个或多个输入设备来检测第二输入(例如,轻扫、轻击并保持、轻击;按钮按压,手势可位于表示照明滤波器(例如,814A)的图标或用于选择滤波器的另一用户界面系统的顶部)。
在框932处,根据检测到第二输入,电子设备(例如,800)将不同于第一照明效果的第二照明效果(例如,自然光、摄影室灯光、轮廓光、舞台光、单色舞台光)应用于图像数据表示(例如,806),其中第二照明效果基于深度图信息(例如,基于深度传感器的测量结果,或者基于从不同位置同时拍摄的两个图像之间的视差映射)。基于深度图信息显示第二照明效果为用户提供了关于深度图信息的附加视觉反馈。例如,第二照明效果可包括处于不同位置处、具有不同强度、或者具有不同类型(定向、环境、点)的一个或多个光源,这些光源为用户提供了关于与深度图信息对应的对象的特殊取向的反馈。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输出的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在框934处,应用第二照明效果包括:基于与图像数据相关联的深度图信息,向在数字取景器(例如,810)中显示的图像数据表示(例如,806)应用对空间中的一个或多个点光源的模拟。照明选项包括自然光、摄影室灯光、轮廓光、舞台光和单色舞台光。每个照明效果基于图像数据的深度图对空间中的一个或多个点光源的结果进行建模(例如,模拟)。自然照明选项不向图像应用合成照明(例如,显示原始图像或显示原始图像的一部分,并对原始效果的不同部分应用模糊以模拟散景效果)。摄影室照明效果包括对围绕被摄体定位的多个离散点光源进行建模(例如,形成明亮的填充光效果)。轮廓照明效果包括对定位在被摄体周围的较少点处的多个离散点光源进行建模,以在被摄体面部上形成阴影(例如,形成瘦身效果,在被摄体面部的一侧上和/或在被摄体的颏部上方形成阴影)。舞台光照明效果包括对定位在被摄体上方的单个离散点光源进行建模(例如,形成聚光灯效果)。单色舞台光照明效果包括以黑色和白色对定位在被摄体上方周围的单个离散点光源进行建模(例如,形成黑色和白色的聚光灯效果)。在一些实施方案中,照明滤波器模拟点光源。在一些实施方案中,当第一标准得到满足时,照明效果突然出现,如上文更详细地描述的。在一些实施方案中,如果系统检测到面部,则在应用照明效果时考虑面部特征。因此,照明效果基于被摄体的特定面部特征和面部形状来改变图像数据表示(例如,806)的外观。应用点光源的模拟为用户提供了深度图信息的内容的视觉表示,并使设备能够为用户提供关于相机(例如,602和/或603)的视场中的对象的形状和深度位置的视觉反馈。提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输入的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在框936处,照明效果基于对象的轮廓的位置和曲率来改变图像数据表示(例如,806)的外观。在深度图信息中包括对象的深度轮廓使得设备能够向用户提供更精确的关于对象在相机(例如,602或603)的视场中的形状和深度定位的视觉反馈。提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输入的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。此外,在深度图信息中包括对象的深度轮廓使得能够在不需要实际物理摄影室灯光的情况下预览并应用对光源的模拟,与需要实际摄影室灯光和背景时相比,这使电子设备更便宜且更小,从而提高设备的便携性并降低制造成本。
在一些实施方案中,在应用第一照明效果(或第二滤波器)时,电子设备(例如,800):确定第一标准未得到满足,并且响应于确定第一标准未得到满足(例如,在距电子设备(例如,800)的预先确定的距离内的视场中未检测到被摄体):停止将第一(或第二)照明效果应用于图像数据表示(例如,806)(在一些实施方案中,减小滤波器的视觉效果,但仍然应用滤波器),在显示器(例如,804)上显示未应用第一照明效果的图像数据表示(例如,未应用滤波器或部分地应用滤波器的未改变图像),并在显示器(例如,804)上显示未得到满足的第一标准(例如,照明条件应用标准)的图形指示(例如,822)(例如,文本、图标、图像)。在一些实施方案中,当条件再次得到满足时,再次重新应用滤波器。
在一些实施方案中,图像数据表示是先前捕获的图像数据。(例如,从存储器/存储装置检索的图像,不是由一个或多个相机(例如,602和/或603)捕获的图像数据的实时预览)。在一些实施方案中,为存储的图像保存深度图信息,使得在已经捕获图像之后可改变和/或去除应用于图像的照明效果。为存储的图像保存深度图信息使得能够在已经捕获图像之后修改照明,从而减少用户为实现期望效果而必须拍摄的照片的数量,减少捕获预期照片所需的输入的数量,减少存储照片的内存需求,并使用户界面更有效。减少捕获期望图像所需的输入的数量并减少内存需求增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在显示图像数据表示(例如,806)时,电子设备(例如,800)在显示器(例如,804)上显示图像数据包括深度图信息的视觉指示(例如,834)(例如,任选地显示“人像模式”徽章以指示深度图信息的可用性)。
在一些实施方案中,在应用第一照明效果时,电子设备(例如,800)保持先前应用的视觉效果(例如,散景、照明)的至少一个值。因此,能够在图像数据的一个表示中实现光效果和散景效果。
在一些实施方案中,先前应用的视觉效果是滤色器。
在一些实施方案中,第二输入是在将第一照明效果应用于图像数据表示(例如,806)时接收到的输入,并且应用第二照明效果包括在第一照明效果和应用第二照明效果之间逐渐过渡(在一些实施方案中,逐渐过渡包括:在第一时间处,一开始为100%、其后为0%;在第二时间处,一开始为90%、其后为10%;等等)。照明效果之间的逐渐过渡减少了因滤波器闪开/闪关而使用户分心的情况,从而使用户专注于拍摄期望照片,减少捕获期望照片所需的输入的数量,减少存储照片的内存需求。减少捕获期望图像所需的输入的数量并减少内存需求增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
需注意,上文相对于方法900所述的过程(例如,图9A至图9D)的详情也可以类似方式适用于下文和上文所述的方法。例如,方法700、1100、1300、1500和1700任选地包括上面参考方法900所述的各种方法的一个或多个特征。例如,可对来自各种方法的滤波器用户界面、示能表示和控件的元素进行组合。对于另一示例,方法900中的取景器类似于方法900、1100、1300、1500和1700中的取景器。为了简明起见,这些详情在下文中不再重复。
在一些实施方案中,电子设备1000包括设备600的部件中的一些或全部,如图6A所示。在一些实施方案中,设备1000包括多个相机602和603(例如,在电子设备1000的后部上)。在一些实施方案中,设备1000包括设备100、300和/或500的一个或多个特征。在一些示例中,电子设备(例如,1000)具有焦距固定但不同的多个相机602和603。在一些示例中,该多个相机在电子设备(例如,1000)的正面、背面或两侧上。在一些实施方案中,除了具有不同的固定焦距之外,该多个相机还具有不同的固定视场和不同的固定光学放大特性。在一些实施方案中,相机(例如,602)利用多个焦距来捕获图像数据。在一些实施方案中,一个相机(例如,602)捕获多个焦距,从而产生与焦距固定但不同的多个(例如,多于一个)相机相同的结果。在一些示例中,电子设备(例如,1000)包括深度相机,诸如红外相机、热成像相机或它们的组合。在一些示例中,该设备还包括光发射设备(例如,光投射器),诸如IR泛光灯、结构化光投影仪或其组合。可选地,光发射设备用于在通过可见光相机和深度相机(例如,IR相机)捕获图像期间照亮对象,并且来自深度相机和可见光相机的信息用于确定由可见光相机捕获的对象的不同部分的深度图。在一些实施方案中,使用来自两个相机(例如,两个可见光相机)的视差信息显示本文所述的照明效果以用于后向图像,并且使用来自深度相机的深度信息结合来自可见光相机的图像数据以用于前向图像(例如,自拍图像)。在一些实施方案中,当使用两个可见光相机确定深度信息时以及使用深度相机确定深度信息时,使用相同的用户界面,从而即使在使用截然不同的技术确定产生照明效果时使用的信息时,也为用户提供一致的体验。在一些实施方案中,在显示应用了滤波器中一者的相机用户界面时,设备检测对相机切换示能表示的选择并且从前向相机(例如,深度相机和可见光相机)切换到后向相机(例如,彼此间隔开的两个可见光相机)(或反之亦然),同时保持显示用户界面控件以应用滤波器并将显示前向相机的视场替换为显示后向相机的视场(反之亦然)。
如图10A所示,电子设备1000包括触敏显示器1004(例如,触摸屏),并且显示器显示从相机(例如,602)接收到的信息。在一些实施方案中,显示器不同于触敏表面。在一些示例中,相机(例如,602)定位在电子设备(例如,1000)的正面、背面或两侧上。
如图10A所示,电子设备1000在显示器1004上显示用于利用相机(例如,602)捕获图像的相机应用程序用户界面。相机应用程序用户界面还包括图像数据表示(例如,1006),该图像数据表示包括相机(例如,602)的视场的实时预览。在一些实施方案中,包括图10A的实施方案,相机的视场实时捕获与图像数据相关联的深度信息。图10A进一步示出了在视场中捕获深度水平的相机;这些深度水平包括前景区域(例如,1008)中的被摄体(例如,女性)和背景区域(例如,1010)中的被摄体(例如,女性)与围绕被摄体(例如,女性)的树。在一些实施方案中,图像数据表示1006由背景区域(例如,1008和1006)和前景区域组成。如图10A所见,由于图像数据包括深度图信息,电子设备1000在应用任何其他滤波器之前将模拟深度效果(例如,散景)(以被摄体和树的表示为例)应用于图像数据表示(例如,1006)。
此外,在图10A中,电子设备1000在图像数据表示1006下方显示滤波器选择界面1012。在一些实施方案中,滤波器选择界面与图像数据表示重叠。在一些实施方案中,滤波器选择界面1012沿图像数据表示1006的边缘定位。在一些示例中,滤波器选择界面由电子设备1000显示在图像数据表示(例如,1006)的上方、下方(如图10A所见)、左侧或右侧。如图10A所见,滤波器选择界面(例如,1012)包括布置成一个或多个行和列或定位成圆形取向的一个或多个滤波器表示(例如,1014A至1014C)(例如,视觉效果)。
在一些示例中,以轮廓(例如,边界)来描绘滤波器选择界面,以将滤波器选择界面与图像数据表示区分开。在一些实施方案中,滤波器选择界面(例如,1012)被显示为半透明、部分半透明、透明或部分透明,并且如不具有可见边界。因此,在一些示例中,滤波器选择界面(例如,1012)在显示器1004上看起来与图像数据表示(例如,1006)混合(例如,无法区分开)。
如图10A所示,滤波器选择界面1012包括显示在显示器1004上的与视觉效果对应的一个或多个滤波器表示(例如,1014A、1014B、1014C、1014D)。在一些示例中,滤波器选择界面(例如,1012)任选地包括未显示的滤波器表示(例如,它们在屏幕外)。在进行将导致滤波器表示滚动通过滤波器选择界面(例如,1012)的滤波器选择位置的输入(例如,轻扫手势)时任选地显示不是显示的滤波器表示的滤波器表示。
如图10B所示,电子设备1000接收与滤波器选择界面1012内的滤波器表示中的一者的位置对应的输入(例如,轻击1016)。在图10B中,与轻击输入的位置对应的滤波器是“鲜暖色”。响应于接收到输入,如图10所示,电子设备1000将对应滤波器(例如,“鲜暖色”)应用于图像数据表示(例如,1006)。
如图10C所示,使用深度图信息,电子设备1000以与前景区域(例如,1008)不同的方式将所选择的滤波器(例如,1014C)应用于背景区域(例如,1010)。使用与背景区域1010(例如,女性和树)不同的滤波器值来修改前景区域1008(包括前面的女性)。如图10C所见,电子设备1000使用比前景区域更暖(描绘为更暗)的阴影来显示背景区域。
如图10C进一步所示,所选择的滤波器(例如,“鲜暖色”)包括色调保护算法。在应用滤波器时,电子设备1000使用与图像相关联的深度图信息来最小化与预先确定的颜色(或色调的预先确定的范围)的色差。例如,在应用“鲜暖色”滤波器之后,在没有色调保护算法的情况下,前景区域(1008)中的被摄体的皮肤色调将潜在地大幅度偏离原始色调。为了解决非期望的色调偏差问题,电子设备1000将滤波器应用于图像表示,但是将变化限制为预先确定的色调(或色调的预先确定的范围)。因此,在一些示例中,与皮肤色调对应的色调可保持在某个预先确定的范围内。相比之下,可通过所选择的滤波器更大程度地修改不与皮肤相关联的色调(例如,蓝色或绿色)。
图10C进一步示出了,色调保护算法以不同方式对背景区域和前景区域中的色调应用算法。例如,背景区域(例如,1010)中的被摄体看起来与前景中的被摄体具有类似的皮肤色调,并且在没有任何颜色校正的情况下应用“鲜暖色”滤波器将潜在地大幅度偏离原始皮肤色调(例如,会使图像看起来失真)。为了校正色调偏差,电子设备1000将滤波器应用于图像表示,但是将变化限制为预先确定的色调。因此,在一些示例中,与皮肤色调对应的色调可保持在某个预先确定的范围内。然而,用于背景中的色调保护的可接受范围与用于前景中的颜色保护的可接受范围不同(例如,用于背景中的色调的色调保护较少,甚至没有,因为它不是焦点)。因此,如图10C所示,用于背景区域1010中的被摄体的肤色将改变为比用于前景区域1008中的被摄体的肤色更暖的色调。
如图10D所示,电子设备在与照片查看器应用程序对应的位置1020处检测轻击1018。响应于接收到轻击1018,电子设备切换到如图10E所示的图像查看模式。
图10E示出了针对照片查看器应用程序显示的用户界面。照片查看器应用程序包括先前捕获的图像(例如,1020A至1020D)的表示的缩略图,其中,1020D是最后捕获的。与最后捕获的图像(1020D)对应的图像数据表示(例如,1006)显示在显示器1004上。在一些示例中,使用与电子设备(例如,1000)对应的相机捕获先前捕获的图像。在一些示例中,电子设备从远程源(例如,服务器)接收先前捕获的图像(例如,1020A至1020D)。在一些示例中,利用不同的电子设备(例如,不是1000)捕获先前捕获的图像。图10E进一步示出了,最后捕获的图像不具有与其相关联的任何深度图信息(例如,不存在用于指示深度图的视觉指示器,没有视觉散景效果)。
如图10F所示,电子设备在与照片查看器编辑模式(例如,1024)对应的位置1024处检测轻击1022。响应于接收到轻击1022,电子设备切换到如图10G所示的图像查看模式。
图10G示出了,如上文相对于图10A所描述的,在图像数据表示1006下方显示滤波器选择界面1012。在一些示例中,滤波器选择界面(例如,1012)包括布置成一个或多个行和列或定位成圆形取向的一个或多个滤波器表示(例如,1014A至1014C)(例如,视觉效果)。
如图10H所示,设备1000在“鲜暖色”滤波器表示1014C的位置处检测轻击1026。响应于接收到轻击1026,电子设备将与滤波器表示1014C对应的鲜暖色滤波器应用于图像表示,并在图10I中显示结果。
如图10I所示,由于图像数据不具有与其相关联的深度信息,电子设备将“鲜暖色”滤波器均匀地应用于背景区域1010和前景区域1008。另外,即使图像数据不与图像具有深度信息关联,色调保护算法仍将算法应用于图像中的色调(例如,它将颜色保护算法均匀地应用于整个图像)。例如,电子设备1000使用相同的值将颜色保护算法应用于两个(例如,前景和背景中)被摄体的皮肤色调。因此,如图10C所示,在电子设备将滤波器应用于图像数据的重新取向之后,在一些实施方案中,使用相同的滤波器值来显示被摄体(例如,前景和背景)的皮肤色调,该滤波器值是不同于应用于图像其余部分的滤波器值的滤波器值。
如图10J所示,电子设备1000显示覆盖在图像数据表示1006上的色轮指示器示能表示1028。
如图10K所示,设备1000在色轮指示器示能表示1028的位置处检测轻击1030。响应于检测到轻击1030,如图10L所示,电子设备在图像数据表示上方显示展开的色轮。色轮允许用户轻扫以使轮旋转,并在轮中表示的任何颜色上轻击,以便将所选择的滤色器应用于图像数据表示。
如图10M所示,设备1000在与色轮内的颜色的表示对应的位置处检测到轻击1034。响应于接收到轻击1032,电子设备1000将所选择的滤色器应用于如图10N所示的图像数据表示1006。如图10N所示,视觉指示器1034被显示在所选择滤色器的上方,用于指示当前选择的滤波器。
图11A至图11C是示出根据一些实施方案的使用电子设备将模拟视觉效果应用于图像数据表示的方法的流程图。方法1100在具有一个或多个输入设备(例如,触敏表面、鼠标、键盘)和显示器(例如,1004)(在一些实施方案中,设备具有一个相机。在一些实施方案中,该设备具有多个相机,其中每个相机具有不同的焦距)的设备(例如,100、300、500、1000)处执行。方法1100中的一些操作任选地被组合,一些操作的次序任选地被改变,并且一些操作任选地被省略。
如下文所述,方法1100提供了用于将模拟视觉效果应用于图像数据表示的直观方式。该方法减少了用户提供与功能对应的输入的认知负担,从而创建更有效的人机界面。对于电池驱动的电子设备,使用户能够更快且更有效地发起各种功能节省了功率并且增加了电池充电之间的时间间隔。
在一些实施方案中,在框1102处,电子设备(例如,1000)在显示器(例如,1104)上同时显示:图像数据表示(例如,1006)(例如,在设备的显示器(例如,1104)上显示图像或照片)和滤波器选择界面(例如,1012)。
在框1104处,电子设备(例如,1000)经由该一个或多个输入设备检测与对第一图像滤波器(例如,1014C)的选择对应的第一输入(例如,1016)(例如,在与具有第一外观的图像数据表示(例如,1006)的第一图像滤波器(例如,1014C)(例如,照明滤波器、鲜明滤波器、鲜暖色滤波器、鲜冷色滤波器,反差滤波器、反差暖色滤波器、反差冷色滤波器、单色滤波器、银色调滤波器、黑白滤波器)对应的位置处(例如,在该位置上或附近)轻扫、轻击并保持、轻击、按钮按压)。
在一些实施方案中,在框1106处,电子设备(例如,1000)还包括一个或多个相机(例如,602和/或603),并且图像数据表示(例如,1006)是在该一个或多个相机的视场内捕获的图像数据的实时预览。在一些实施方案中,该设备包括具有变化的焦距的多个相机。在一些实施方案中,在电子设备(例如,1000)处利用该一个或多个相机捕获图像数据和深度信息。在一些实施方案中,该设备包括具有变化的焦距的多个相机。
在一些实施方案中,在框1108处,在显示滤波器选择用户界面(例如,1012)时检测第一输入。
在一些实施方案中,在框1110处,滤波器选择用户界面(例如,1012)包括多个滤波器表示(例如,1014A至1014D),该多个滤波器表示包括第一图像滤波器的表示(例如,1014C),其中第一输入与对第一图像滤波器的表示(例如,1014C)的选择对应。第一滤波器被显示为沿显示器(例如,1004)的边缘定位成行的一个或多个滤波器表示的集的一部分。在一些实施方案中,一个或多个滤波器表示(例如,1014A至1014D)的集直接与显示器(例如,1004)的边缘邻接。在一些实施方案中,滤波器表示(例如,1014A至1014D)邻近但不邻接显示器(例如,1004)的边缘。在一些实施方案中,该行沿显示器(例如,1004)的短边缘定位。在一些实施方案中,该行沿显示器(例如,1004)的长边缘定位。显示多个滤波器表示为用户提供了以下视觉反馈:可将不同的可选滤波器应用于图像数据表示(例如,1006)并且任选地不同滤波器提供用于可视化与图像数据表示(例如,1006)对应的深度图信息的不同技术,从而为用户提供关于图像数据表示(例如,1006)中的对象的形状和定位的附加信息。提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输入的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在框1112处,响应于检测到第一输入,电子设备(例如,1000)将第一图像滤波器(例如,1014C)应用于图像数据表示(例如,1006),这任选地包括框1114至1126的技术。
在框1114处,根据确定图像数据已经与深度信息相关联,其中深度信息使图像数据表示(例如,1006)的前景区域(例如,1008)能够与图像数据表示(例如,1006)(例如,深度图)的背景区域(例如,1010)区分开,任选地执行框1116至1120的技术。在一些实施方案中,深度信息被存储为图像文件的单独轨道。在一些实施方案中,使用从具有不同焦距的至少两个相机接收到的图像数据来计算深度信息。
在框1116处,电子设备(例如,1000)将第一图像滤波器(例如,1014C)应用于图像数据表示(例如,1006)的前景区域,进行第一级调整以改变图像数据表示(例如,1006)的前景区域(例如,1008)的外观,其中第一级调整指示第一图像滤波器(例如,1014C)改变图像数据表示(例如,1006)的外观的第一程度。在一些实施方案中,滤波器改变以下各项中的一者或多者:颜色暖度、去饱和度、颜色渐变度、光强度、对比度、色调偏移、亮度。
在一些实施方案中,在框1118处,将第一图像滤波器(例如,1014C)应用于前景区域(例如,1008)还包括:根据确定与前景区域(例如,1008)对应的图像数据包括第一色值(例如,色相值、色调值、与肤色相关联的一个或多个颜色)并且与背景对应的图像数据包括第一色值,使用第一级色值调整来变换(例如,更改、修改、替换)背景区域(例如,1010)的第一色值,并且使用不同于第一级色值调整的第二级色值调整来变换(例如,更改、修改、替换)前景区域(例如,1008)的第一色值。在一些实施方案中,背景中的皮肤的颜色与前景中的皮肤的颜色不同。在一些示例中,对肤色进行了修改,以避免大幅度改变肤色的外观。在一些示例中,完全不修改肤色。在一些实施方案中,即使背景中的区域具有与肤色对应的色调,也将滤波器均匀地应用于背景。滤波器的不同应用包括:从前景或背景中消除对滤波器的约束(例如,去除对背景的皮肤保护要求)。基于类似(或相同)颜色的对象是在前景中还是在背景中向该对象应用不同级别的颜色调整向用户提供了关于与图像数据对应的深度信息的视觉反馈(例如,指示特定对象在前景中,并且与其不同的对象在背景中),并向用户提供了用于将前景中的对象与背景中的类似对象区分开的视觉反馈。提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输入的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在框1120处,电子设备(例如,1000)将第一图像滤波器(例如,1014C)应用于图像数据表示(例如,1006)的背景区域(例如,1010),进行第二级调整以改变图像数据表示(例如,1006)的背景区域(例如,1010)的外观。第二级调整指示第一图像滤波器(例如,1014C)改变图像数据表示(例如,1006)的外观的第二程度,其中第一级调整和第二级调整不同。
在框1122处,在将第一图像滤波器(例如,1014C)应用于图像数据表示(例如,1006)之后,电子设备(例如,1000)在显示器(例如,1004)上显示相应图像表示,其中第一滤波器应用于该图像数据表示(例如,1006)。在一些实施方案中,结果显示在显示器(例如,1004)上。在一些实施方案中,电子设备(例如,1000)响应于接收到将第一图像滤波器(例如,1014C)应用于相应图像的请求而显示结果。将图像滤波器应用于前景和背景进行不同级别的调整,并显示图像数据的更新的表示(例如,1006),这为用户提供了关于深度信息以及尤其是哪些对象被识别为位于前景中和哪些对象被识别为位于背景中的视觉反馈。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输出的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。此外,将图像滤波器应用于前景和背景进行不同级别的调整,并显示图像数据的更新的表示(例如,1006),这使得电子设备能够在不使取景器中的被摄体的肤色失真的情况下自动应用滤波器以形成更戏剧化的效果,用户原本在应用滤波器之后必须手动校正这种肤色失真情况。将滤波器应用于图像的相关部分并且在无需另外用户输入的情况下自动避免使被摄体的肤色失真增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果并减少用户输入的数量),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在框1124处,将第一图像滤波器(例如,1014C)应用于图像数据表示(例如,1006)还包括:根据确定图像数据包括第三色值(例如,色相值、色调值、与肤色相关联的一个或多个颜色),使用第三级色值调整(例如,用于肤色保护的某些颜色分级)来变换(例如,更改、修改、替换)第三色值。在一些示例中,皮肤的颜色与图像其余部分的颜色不同。在一些示例中,对肤色进行了修改,以避免大幅度改变肤色的外观。在一些示例中,完全不修改肤色。在一些示例中,滤波器的不同应用包括从图像中消除对滤波器的约束(例如,去除对背景的皮肤保护要求)。例如,当深度信息不可用时,设备在针对整个图像而不是仅针对图像的前景调整图像颜色时任选地应用皮肤保护算法。因此,图像背景中与皮肤保护算法保护的肤色接近的某些特征将不会发生色移。使用不同(例如,第三级颜色调整)技术来变换图像数据各部分的颜色为用户提供了关于图像的哪些部分不与特定颜色对应(或,另选地与其对应)的视觉反馈,例如,通过以与背景不同的方式变换肤色,使得与其他对象相比,更容易区分出具有特定肤色的人。提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输入的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。此外,使用不同(例如,第三级颜色调整)技术来变换图像数据各部分的颜色使得能够在深度信息可用时为滤波器启用更戏剧化的效果,同时在无论深度信息是否可用的情况下均避免使被摄体的肤色失真,从而避免用户随后手动校正肤色的需求。将滤波器应用于图像的相关部分并且在无需另外用户输入的情况下自动避免使被摄体的肤色失真增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果并减少用户输入的数量),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在框1126处,响应于检测到第一输入,将第一图像滤波器(例如,1014C)应用于图像数据表示(例如,1006):根据确定图像数据不与其深度信息相关联,电子设备(例如,1000)将第一图像滤波器(例如,1014C)均匀地应用于图像数据表示(例如,1006),进行第一级调整(例如,用于均匀地改变图像数据表示(例如,1006)的前景区域(例如,1008)和图像数据表示(例如,1006)的背景区域(例如,1010)的外观)。将图像滤波器均匀地应用于图像数据表示(例如,1006)向用户提供了关于设备状态并且特别是关于深度信息不可用于图像数据的视觉反馈。提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输入的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。此外,将图像滤波器均匀地应用于图像数据表示(例如,1006)使得能够在深度信息可用时为滤波器启用更戏剧化的效果,同时在无论深度信息是否可用的情况下均避免使被摄体的肤色失真,从而避免用户随后手动校正肤色的需求。将滤波器应用于图像的相关部分并且在无需另外用户输入的情况下自动避免使被摄体的肤色失真增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果并减少用户输入的数量),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在检测到第一输入之前,电子设备(例如,1000)在电子设备(例如,1000)处接收(例如,从相机、从存储器、从服务器)由图像数据表示(例如,1006)表示的图像数据。在一些实施方案中,图像数据包括RGB和深度图值。在一些实施方案中,从电子设备(例如,1000)外部的源接收图像数据和深度信息(例如,从服务器接收数据)。
在一些实施方案中,在应用第一图像滤波器(例如,1014C)时,电子设备(例如,1000)保持先前应用的视觉效果(例如,散景、照明)的至少一个值。因此,能够在图像数据的一个表示(例如,1006)中实现光效果和散景效果。在应用第一图像滤波器(例如,1014C)时保持先前应用的视觉效果(例如,散景、照明)的至少一个值减轻了对用于形成散景效果的笨重透镜和设备的需求。
在一些实施方案中,电子设备(例如,1000)在显示器(例如,1004)上显示相机应用程序用户界面,其中相机应用程序用户界面包括:数字取景器(其包括实时或近实时预览图像),该数字取景器包括一个或多个相机的视场的实时预览;以及在覆盖在数字取景器上的第一位置处的色轮用户界面(例如,1028)的表示(例如,指示滤波器的图像、图标、文本表示)。在一些实施方案中,响应于用户输入(例如,色轮示能表示上的轻击,或在色轮示能表示上检测到的触摸并保持手势)来显示色轮界面的表示。
在一些实施方案中,响应于检测到与色轮用户界面的表示对应的第二用户输入(例如,1030),电子设备(例如,1000)停止显示(例如,1004)色轮用户界面(例如,1030)的表示,并且在显示器(例如,1004)上显示色轮用户界面(例如,1031),其中色轮用户界面(例如,1031)显示多个滤色器表示。在一些实施方案中,色轮被显示为弧形、轮子形、部分椭圆形/全椭圆形、或圆形。
在一些实施方案中,响应于检测到对应于与在色轮用户界面内显示的滤色器的表示中的至少一个表示对应的区域的第三用户输入,电子设备(例如,1000)将对应的滤色器应用于图像数据,以修改图像数据表示(例如,1006)(背景,前景,或背景和前景两者)的颜色外观(color appearance)。
例如,方法700、900、1300、1500和1700任选地包括上面参考方法1100所述的各种方法的一个或多个特征。例如,可对来自各种方法的滤波器用户界面、示能表示和控件的元素进行组合。对于另一示例,方法1100中的取景器类似于方法700、900、1300、1500和1700中的取景器。为了简明起见,这些详情在下文中不再重复。
如图12A所示,在一些实施方案中,电子设备1200包括触敏显示器1204(例如,触摸屏),并且显示器显示从相机(例如,1202)接收到的信息。在一些实施方案中,设备1200包括设备100、300和/或500的一个或多个特征。在一些实施方案中,显示器不同于触敏表面。在一些示例中,相机(例如,1202)定位在电子设备(例如,1200)的正面、背面或两侧上。在一些实施方案中,电子设备1200包括设备600的部件中的一些或全部,如图6A所示。在一些实施方案中,设备1200包括多个相机602和603(例如,在电子设备1200的后部上)。
在一些示例中,电子设备(例如,1200)具有焦距固定但不同的多个相机。在一些示例中,该多个相机在电子设备(例如,1200)的正面、背面或两侧上。在一些实施方案中,除了具有不同的固定焦距之外,该多个相机还具有不同的固定视场和不同的固定光学放大特性。在一些实施方案中,相机(例如,1202)利用多个焦距来捕获图像数据。在一些实施方案中,相机(例如,1202)在单个时间处捕获多个焦距,从而产生与焦距固定但不同的两个或更多个相机相同的结果。
图12A进一步示出了显示用于利用相机(例如,1202)捕获图像的相机应用程序用户界面的电子设备1200。相机应用程序用户界面还包括图像数据表示1210,该图像数据表示包括相机的视场的实时预览。在一些实施方案中,相机的视场实时捕获与图像数据相关联的深度信息。图12A进一步示出了,电子设备已经向图像数据表示应用了“反差”滤波器。
图12A进一步示出了,电子设备1200在图像表示(例如,1210)下方显示滤波器选择界面1206。在一些实施方案中,滤波器选择界面(例如,1206)与图像数据表示(例如,1210)重叠。在一些实施方案中,滤波器选择界面(例如,1206)沿图像数据表示(例如,1210)的边缘显示。在一些示例中,滤波器选择界面显示在图像数据表示(例如,1210)的上方、下方(如图12A所示)、左侧或右侧。在一些示例中,滤波器选择界面(例如,1206)包括布置成一个或多个行和列或定位成圆形取向的一个或多个滤波器表示(例如,1208A至1208G)(例如,视觉效果)。
如图12A所示,显示滤波器选择界面(例如,1206),并以轮廓(例如,边界)来描绘该滤波器选择界面,以将滤波器选择界面(例如,1206)与图像数据表示(例如,1210)区分开。在一些实施方案中,滤波器选择界面(例如,1206)被显示为半透明、部分半透明、透明或部分透明,并且在一些实施方案中,该滤波器选择界面不具有可见边界。因此,在一些示例中,滤波器选择界面(例如,1206)看起来与数字取景器混合(例如,无法区分开)。
如图12A所示,电子设备1202显示包括与视觉效果对应的滤波器表示1208A至1208G的滤波器选择界面1206。在一些示例中,滤波器选择界面(例如,1206)任选地包括未显示在显示器上的滤波器表示(例如,它们在屏幕外)。在一些实施方案中,当电子设备检测到将导致滤波器表示滚动通过滤波器选择界面(例如,1006)的滤波器选择位置(例如,1212)的输入(例如,轻扫手势)时,显示未显示在显示器上的滤波器表示。
如图12A进一步所示,电子设备将滤波器表示1208A至1208G显示为图标(例如,缩略图),其以图标(例如,较小)形式描绘图像数据表示1210。例如,显示在显示器的主要部分中的图像数据表示(例如,1210)被描绘为在每个滤波器表示内。另外,在一些实施方案中,滤波器表示包括与电子设备1200向每个相应缩略图图像应用的每个相应滤波器表示相关联的滤波器。因此,用户能够在激活相应滤波器之前在相应缩略图图像上预览相应滤波器效果。在一些实施方案中,在滤波器选择界面(例如,1212)上方显示与滤波器选择位置(例如,1212)内的滤波器表示相关联的滤波器的名称(例如,图10A中的“反差”)。在一些实施方案中,在覆盖图像表示的滤波器表示(例如,1208A至1208G)内显示与滤波器表示相关联的滤波器的名称。在一些实施方案中,与滤波器表示相关联的图标(例如,1208A至1208G)包括与没有图像表示的滤波器表示内的相应滤波器表示相关联的滤波器的相应名称。
如图12A进一步所示,电子设备1200在多个滤波器表示中的至少一个滤波器表示(例如,1208B)上方显示滤波器标记1214(例如,视觉指示器),以指定最近滤波器。在一些实施方案中,最近滤波器是电子设备1200基于当前选择模式(例如,捕获模式或后捕获编辑模式)下的最后使用滤波器预先选择的至少一个滤波器。在一些示例中,最近使用滤波器是电子设备1200在不考虑特定模式(例如,捕获模式或编辑模式)的情况下基于最后使用的滤波器预先确定的滤波器。在一些实施方案中,可与用户最频繁使用(例如,在预先确定的时间段内使用的次数)的滤波器相关联地显示视觉指示器。在一些实施方案中,与用户指定滤波器(例如,收藏滤波器)相关联地显示视觉指示器。在一些示例中,多个滤波器被指定为收藏滤波器,并且多个视觉指示器被显示在相应滤波器表示的上方。在一些示例中,视觉指示器由电子设备显示在滤波器表示的上方、下方、周围或内部。在一些实施方案中,对于实时预览,滤波器表示包括相机视场的比例缩小的实时预览,其中,对应滤波器应用于实时预览。在一些实施方案中,对于先前捕获的图像,滤波器表示包括图像的比例缩小的副本,其中,对应滤波器应用于图像。在一些实施方案中,视觉指示器是图像、文本或示能表示。在一些示例中,多个视觉指示器的颜色和/或形状基于预先确定的标准而变化。
图12A进一步示出了由设备1200检测到的接触(例如,触摸输入)特征强度的表示1216。表示1216包括分别与初始强度阈值IT0、中间强度阈值IT1和高强度阈值IT2对应的指示器。如下文将描述的,在一些实施方案中,滤波器选择界面中的滤波器表示的量将基于输入的强度而变化。
图12B示出了在与滤波器表示1208C对应的位置处检测按压输入1218的电子设备。如图12B所示,按压输入1218具有大于初始强度阈值IT0的特征强度。
图12C至图12F示出了在电子设备检测到在滤波器表示(例如,1208A至1208G)中的一者上的具有足够特征强度的输入时一些滤波器表示的塌缩效果(例如,压缩效果)。与在塌缩效果之前相比,由于塌缩效果,滤波器选择界面1206被显示为具有较少的滤波器表示。滤波器选择界面中较少的滤波器表示可允许用户更快地遍历滤波器表示。在一些示例中,响应于电子设备1200接收到轻击并保持输入(例如,超过预先确定的时间量的输入)而发生塌缩效果。
如图12C所示,设备1200继续在与滤波器表示1208C对应的位置处检测输入1218。此外,图12C示出了,输入的特征强度已经超过中间强度阈值IT1。由于输入已被解释为具有大于IT1的足够特征强度,一些滤波器表示(例如,1208C、1208E、1208F、1208G)看起来朝向滤波器选择位置(例如,1212)塌缩,并且看起来好像正在从显示器中移除这些滤波器表示。在一些实施方案中,一些滤波器表示(例如,1208C)向右塌缩。在一些实施方案中,一些滤波器表示(例如,1208E)向左塌缩。在一些示例中,当从显示器中移除滤波器表示时,该滤波器表示看起来淡出。在一些示例中,滤波器表示开始滑离显示器,而不是朝向滤波器选择位置(例如,1212)塌缩。在一些示例中,滤波器表示朝向与输入的位置(例如,滤波器表示1208C的位置)对应的滤波器表示塌缩,而不是朝向滤波器选择位置1212塌缩。
图12C进一步示出了,即使电子设备已经开始塌缩效果,应用于图像数据表示1210的滤波器也不会与图12B中应用的滤波器不同。在一些示例中,滤波器选择位置1212中的滤波器表示在滤波器表示开始塌缩时改变。在一些示例中,与输入位置对应的滤波器表示将开始移动到选择位置(例如,1212)中。当选择位置中的滤波器改变时,应用于图像数据表示1210的滤波器将改变为与滤波器选择位置1212中的新滤波器表示相关联的滤波器。
图12C进一步示出了,电子设备1200在塌缩效果的激活期间经由触觉输出发生器生成触觉反馈(例如,一个或多个触觉输出的序列)1220。在一些实施方案中,电子设备在塌缩效果的激活期间不生成任何触觉反馈。在一些实施方案中,生成触觉反馈以指示塌缩效果的完成。
图12D示出了检测输入1218的特征强度的增大的电子设备。在一些实施方案中,随着按压输入的特征强度增大,塌缩效果增大,并且一些滤波器表示继续朝向选择位置(例如,1212)移动。图12D进一步示出了在塌缩效果期间继续生成触觉反馈(例如,触觉输出的序列)的电子设备。
图12E示出了继续检测输入1218的特征强度的增大的电子设备。在图12E中,一些滤波器表示看起来几乎完全塌缩(例如,几乎不可见)。在图12E中,电子设备不再生成触觉反馈(例如,一个或多个触觉输出的序列),因为输入的强度几乎已经达到高强度阈值IT2。在一些实施方案中,电子设备继续生成触觉反馈(例如,一个或多个触觉输出的序列)。
在一些示例中,如果电子设备(例如,1200)在过渡塌缩效果(例如,如图12C至图12E所表示的塌缩效果)期间停止检测输入(例如,1218),并且输入的特征强度低于特定阈值(例如,高强度阈值IT2),则电子设备将执行展开效果(例如,与塌缩效果相反的效果),从而使滤波器选择界面恢复到其展开状态(例如,如图12A所见)。因此,在一些实施方案中,如果电子设备检测到抬离,则电子设备将停止塌缩效果,并且用户界面将恢复到如图12A所示的状态(例如,展开状态)。
如图12F所示,电子设备1200检测到输入的特征强度已经超过高强度阈值IT2。因此,电子设备已经完成塌缩效果,并且在滤波器选择界面1206中仅显示三个滤波器表示。在一些实施方案中,由于在接收到初始输入(例如,图12B中的1218)时在滤波器选择位置1212内的滤波器表示不与“无滤波器”选项或最后使用滤波器选项相关联,在滤波器选择界面中显示的三个滤波器表示是当前选择滤波器表示(例如,滤波器选择位置1212中的滤波器表示)、最后使用滤波器(例如,1208B)或收藏滤波器表示、及“无滤波器”表示(例如,1208H)。在一些实施方案中,如果滤波器界面包括多个最近使用或收藏的滤波器表示,则压缩的滤波器界面将包括对应的最后使用的滤波器表示,并且压缩的滤波器界面中的滤波器表示的总量将超过三个。
在一些示例中,当在电子设备1200处接收到初始输入(例如,图12B中的1218)时在滤波器选择位置1212内的滤波器表示与“无滤波器”表示相关联时,两个滤波器表示因此显示在减小的滤波器选择界面(例如,塌缩界面)中。这两个滤波器表示包括最后使用的滤波器表示(例如,1208B)和“无滤波器”表示(例如,1208H)。
在一些示例中,当在电子设备1200处接收到初始输入(例如,图12B中的1218)时在滤波器选择位置1212内的滤波器表示与最后使用滤波器表示相关联时,两个滤波器表示因此显示在减小的滤波器选择界面(例如,塌缩界面)中。这两个滤波器表示包括最后使用的滤波器表示(例如,1208B)和“无滤波器”表示(例如,1208H)。因此,在一些实施方案中,设备以完全塌缩状态仅保持满足以下参数中的一者或多者的滤波器表示:当前选择滤波器表示、“无滤波器”表示、或最后使用或收藏滤波器表示。
如图12G所示,当滤波器选择界面处于塌缩状态下时,电子设备1200在与最近使用滤波器1208B对应的位置处检测轻扫1222,以改变在滤波器选择位置1212中显示的滤波器表示。如图12G所示,轻扫输入1222是输入1218的延续(例如,在中间未抬离的情况下发生)。在一些实施方案中,即使轻扫输入1222保持在显示器上,输入1222的特征强度也下降到低于高阈值IT2,但仍然高于初始强度阈值IT0。在一些实施方案中,即使输入1222的特征强度低于高强度阈值IT2,滤波器选择界面也保持在压缩(例如,塌缩)模式下,直到电子设备检测到抬离事件(例如,强度下降到低于初始强度阈值IT0)。在一些实施方案中,轻扫输入1222是单独的输入,并且滤波器保持处于塌缩模式下,直到用户再次轻击或按压。
图12H至图12I示出了电子设备接收图12G中的轻扫输入1222的结果。图12H示出了在电子设备1200检测到轻扫输入1222时的过渡用户界面。在一些实施方案中,当轻扫输入1222沿显示器移动时,显示在滤波器选择位置1212内的滤波器表示逐渐改变。在一些示例中,当选择位置中的滤波器表示改变时,与滤波器选择位置对应的滤波器逐渐被应用于图像数据表示(例如,1210)。在一些示例中,当滤波器表示切换到选择位置(例如,1212)时,电子设备输出触觉反馈。
图12I示出了在改变选择位置(例如,1212)中的滤波器表示之后的用户界面。因此,最后使用的滤波器(例如,1208B)现在被显示在选择位置内。另外,与最后使用滤波器对应的滤波器(例如,“鲜暖色”1208B)由电子设备应用于图像数据表示1210。图12I进一步示出了,电子设备继续检测输入(例如,1222)。
图12J示出了当电子设备1200停止检测图12I中的输入(例如,1222)时的用户界面。在一些实施方案中,当用户从触敏显示器抬离其手指时,电子设备1200检测到输入的特征强度下降到低于初始强度阈值IT0。因此,如图12J所示,在一些实施方案中,在电子设备检测到抬离命令时,滤波器表示开始在滤波器选择界面1206内在视觉上展开。
图12K示出了在电子设备完成图12J中的展开过程之后的用户界面。一旦滤波器表示展开,则所有滤波器表示均显示在滤波器选择界面内。在一些实施方案中,当在图12K中所有滤波器完全显示时,在滤波器选择界面被压缩时(例如,如图12I所示)显示在滤波器选择位置1212中的滤波器表示保持显示在滤波器选择位置1212内。在一些实施方案中,当所有滤波器表示展开时,一些滤波器保持在显示器1204的可见部分之外。在一些实施方案中,用户可在与滤波器选择界面对应的位置处进行轻扫,以将滤波器表示的列表从不在显示器上滚动为在显示器上。
如图12L所示,电子设备1200在与滤波器选择界面1206的位置对应的位置处检测轻扫输入1226。作为轻扫输入1226的结果,如图12M所示,滤波器表示滚动通过滤波器选择位置1212。如图12L所示,从选择位置逐渐移除先前显示的滤波器表示“鲜暖色”,并且在选择位置处显示新滤波器表示“无”。在一些实施方案中,滤波器表示“无”不与任何特定滤波器对应,而是与未向图像数据表示1210应用滤波器对应。在一些示例中,当滤波器表示从“鲜暖色”改变为“无”时,电子设备1200逐渐移除“鲜暖色”滤波器,使其不再应用于图像数据表示1210。
如图12N所示,电子设备1200检测具有超过高阈值IT2的特征强度的输入。作为检测到具有特征强度的输入的结果,一些滤波器表示在用户界面上已经塌缩(例如,压缩),使得它们不再可见。在一些实施方案中,两个滤波器表示保持显示在滤波器选择位置1212内。如图12N所示,由于电子设备在“无”滤波器表示显示在滤波器选择位置1212内时检测到输入,除最近使用滤波器(例如,其上方具有视觉指示器的滤波器)的表示之外,“无”滤波器表示位置也在滤波器塌缩时保留在选择界面中。
如图12O所示,电子设备1200在与滤波器选择界面1206的位置对应的位置处检测轻扫输入1228。在一些实施方案中,作为轻扫输入1228的结果,如图12O所示,滤波器表示滚动通过滤波器选择位置1212。如图12O所示,从滤波器选择位置逐渐移除先前显示的滤波器表示“无”。如图12O所示,在滤波器选择位置1212中显示新滤波器表示“鲜暖色”。在一些示例中,当滤波器滚动到滤波器选择位置1212中时,与新滤波器表示“鲜暖色”对应的滤波器逐渐应用于图像数据表示(例如,1210)。
在一些示例中,如上文参考图12A至图12P所述的塌缩效果任选地由电子设备1200在图像查看器应用程序和/或图像编辑应用程序内实现,并且将与上文所述类似地发挥作用。
图13A至图13F是示出了根据一些实施方案的用于使用电子设简化用户界面的方法的流程图。方法1300在具有一个或多个输入设备(例如,触敏表面、键盘、鼠标)和显示器(例如,触敏显示器)的设备(例如,100、300、500、1200)处执行。在一些实施方案中,该设备包括触敏显示器。方法1300中的一些操作任选地被组合,一些操作的次序任选地被改变,并且一些操作任选地被省略。
如下所述,方法1300提供了用于简化用户界面的直观方式。该方法减少了用户提供与功能对应的输入的认知负担,从而创建更有效的人机界面。对于电池驱动的电子设备,使用户能够更快且更有效地发起各种功能节省了功率并且增加了电池充电之间的时间间隔。
在框1302处,电子设备(例如,1200)在显示器(例如,1204)上显示滤波器选择界面(例如,1206),该界面包括一组滤波器中的多个滤波器的表示(例如,1208A至1208G)(例如,滤波器选择模式显示所有滤波器)。
在一些实施方案中,在框1304处,第一滤波器的表示(例如,1208A)与无滤波器选项对应,并且其中滤波器表示的第一子集包括该多个滤波器中的两个或更多个(例如,所有)滤波器,但不包括第一滤波器的表示(例如,1208C)和与最近应用的滤波器对应的第四滤波器的表示(例如,1208B)。减少响应于与对第一滤波器的选择对应的用户输入而显示的滤波器表示的数量向用户提供了将滤波器限制为基于第一滤波器的类型而创建的子集的反馈,从而通过移除用户不太可能使用的滤波器的显示并使得能够以较少用户输入更容易地访问用户可能使用的滤波器,来使显示不会杂乱。为用户提供改进的视觉反馈并减少执行操作所需的输入的数量增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在框1306处,第一滤波器的表示(例如,1208B)与最近使用滤波器选项对应,并且其中滤波器表示的第一子集包括该多个滤波器中的两个或更多个(例如,所有)滤波器,但不包括第一滤波器的表示(例如,1208B)和与无滤波器选项对应的第五滤波器的表示(例如,1208A)。减少响应于与对第一滤波器的选择对应的用户输入而显示的滤波器表示的数量向用户提供了将滤波器限制为基于第一滤波器的类型而创建的子集的反馈,从而通过移除用户不太可能使用的滤波器的显示并使得能够以较少用户输入更容易地访问用户可能使用的滤波器,来使显示不会杂乱。为用户提供改进的视觉反馈并减少执行操作所需的输入的数量增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在框1308处,第一滤波器(1208C)的表示不与最近应用的滤波器对应并且不与无滤波器选项对应,并且其中滤波器表示的第一子集包括该多个滤波器中的两个或更多个(例如,所有)滤波器,但不包括第一滤波器的表示(例如,1208C)、与最近应用的滤波器对应的第六滤波器的表示(例如,1208B)、以及与无滤波器选项对应的第七滤波器的表示(例如,1208A)。在一些实施方案中,滤波器表示的第二子集包括来自在激活第二子集时显示的滤波器收藏列表的滤波器。在一些实施方案中,基于最频繁使用的滤波器来确定滤波器收藏列表。在一些实施方案中,滤波器的收藏列表是可定制的滤波器列表。减少响应于与对第一滤波器的选择对应的用户输入而显示的滤波器表示的数量向用户提供了将滤波器限制为基于第一滤波器的类型而创建的子集的反馈,从而通过移除用户不太可能使用的滤波器的显示并使得能够以较少用户输入更容易地访问用户可能使用的滤波器,来使显示不会杂乱。为用户提供改进的视觉反馈并减少执行操作所需的输入的数量增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在框1310处,滤波器选择界面(例如,1206)中的第一滤波器的表示包括设备的一个或多个相机(例如,1202)的视场的实时预览(例如,1210),其中该实时预览应用了第一滤波器(例如,色移、照明效果、锐化、模糊)。将实时预览包括为滤波器表示的一部分为用户提供了关于在应用滤波器时将产生的效果的视觉反馈,从而减少用户提供大量输入来选择各种滤波器以接收反馈的需求。为用户提供改进的视觉反馈并减少执行操作所需的输入的数量增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在框1312处,滤波器选择界面(例如,1206)中的第二滤波器的表示包括设备的一个或多个相机(例如,1202)的视场的实时预览(例如,1210),其中该实时预览应用了第二滤波器。在一些实施方案中,如果第一滤波器与无滤波器选项对应,则向图像应用视觉效果将不会改变图像的外观。将实时预览包括为滤波器表示的一部分为用户提供了关于在应用滤波器时将产生的效果的视觉反馈,从而减少用户提供大量输入来选择各种滤波器以接收反馈的需求。为用户提供改进的视觉反馈并减少执行操作所需的输入的数量增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在框1314处,滤波器选择界面(例如,1206)还包括标识第三滤波器的表示的视觉指示器(例如,1214)(例如,点)(例如,在滤波器上方),其中第三滤波器是最近使用的滤波器。在一些实施方案中,视觉指示器(例如,1214)表示最频繁使用的滤波器(例如,基于已被应用于设备的照片库或相机胶卷中的图像的滤波器)。在一些实施方案中,显示多个指示器,这些指示器表示预先确定的数量的最近使用或收藏(例如,用户明确标记为用户最频繁使用的收藏滤波器或滤波器的滤波器)的滤波器。在一些实施方案中,基于当前选择的相机模式来确定最近使用的滤波器(例如,最近使用的滤波器是在以当前选择的相机模式捕获的照片上最近使用的滤波器,或在以当前选择的相机模式捕获照片时最近使用的滤波器)。在一些实施方案中,最近使用的滤波器基于任何相机模式下的最近使用滤波器,并且因此即使设备从一个相机模式切换到另一相机模式,最近使用滤波器也是相同的。包括标识最近使用滤波器的视觉指示器向用户提供了关于最近应用的滤波技术的视觉反馈,使得用户不太可能需要在多个滤波器之间进行切换以识别最近使用滤波器,从而减少识别并激活最近使用滤波器所需的输入的数量。为用户提供改进的视觉反馈并减少执行操作所需的输入的数量增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在框1316处,当在显示器(例如,1204)上同时显示图像数据(例如,先前捕获的照片、基于从第一相机接收到的数据的预览、从服务器接收到的图像)的表示(例如,1210)和滤波器选择界面(例如,1206)时,电子设备(例如,1200)在框1318处,经由该一个或多个输入设备在与滤波器选择界面(例如,1206)对应的位置处(例如,在滤波器指示器示能表示上或附近)检测第一输入(例如,1228)(例如,轻扫、轻击并保持、轻击、用力按压(3-D触摸)、按钮按压),同时该组滤波器中的第一滤波器满足选择标准。
在一些实施方案中,在框1320处,当在与第一滤波器对应的位置处检测到第一输入(例如,1218)时,第一滤波器满足选择标准。当输入位于与第一滤波器对应的位置处时第一滤波器满足选择标准(例如,当输入不在与第一滤波器对应的位置处时,第一滤波器不满足选择标准)使用户能够提供目标输入,以使设备减少显示的滤波器表示的数量,从而减少选择滤波器所需输入的数量。减少执行操作所需的输入的数量增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输入的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在框1322处,当在检测到第一输入(例如,1218)时(例如,在检测到接触的强度的增大时)第一滤波器的表示在选择位置(例如,1212)(例如,与当前正应用于图像数据的表示的滤波器对应的位置,焦点位置(例如,1210))处时,第一滤波器满足选择标准。当在检测到输入时选择第一滤波器的表示时,第一滤波器满足选择标准(例如,当在接收到输入时未选择第一滤波器的表示时,第一滤波器不满足选择标准),这使用户能够提供目标信息,以使设备减少显示的滤波器表示的数量,从而减少选择滤波器所需输入的数量。减少执行操作所需的输入的数量增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输入的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在框1324处,第一输入(例如,1218)与触敏显示器上的接触对应,并且在框1326处,接触具有大于第一强度阈值的特征强度(例如,用力按压)。设备确定第一输入(例如,1218)的特征强度超过第一强度阈值,并且作为响应,在继续显示滤波器的第二子集的同时停止显示滤波器的第一子集,这使得该设备能够消除对在触敏显示器上的相同位置处接收到的各种输入的歧义并且能够执行适当的操作,从而减少所需输入的数量。减少执行操作所需的输入的数量增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输入的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在框1328处,响应于检测到第一输入(例如,1218),电子设备(例如,1200)任选地执行框1330至1338的技术。
在框1330处,电子设备(例如,1200)停止显示(例如,完全/部分地从全集中移除,缩小)这该滤波器中的滤波器(例如,至少一个)的表示的第一子集。在框1332处,该组滤波器中的滤波器的表示的第一子集包括在框1334处相对于滤波器选择用户界面中的第一滤波器的表示在第一方向上的一个或多个滤波器(例如,在第一滤波器的表示的右侧的一个或多个滤波器表示)以及在框1336处相对于第一滤波器的表示在第二方向上的一个或多个滤波器(例如,在第一滤波器的表示的左侧的一个或多个滤波器表示)。响应于检测到第一输入,通过停止显示滤波器的第一子集并保持显示滤波器表示的第二子集来减少所显示的滤波器表示的数量,这为用户提供了相关滤波器选项的视觉反馈、减少了用户界面上的杂乱、并且需要较少的用户输入来在滤波器之间导航以找到期望滤波器。提供视觉反馈并减少执行操作所需的输入的数量增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输入的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在框1338处,电子设备(例如,1200)保持显示该组滤波器中的滤波器的表示的第二子集,这些滤波器的表示的第二子集至少包括第一滤波器的表示。在一些实施方案中,初始的一组滤波器的子集保持在屏幕上。在一些实施方案中,将滤波器保持在屏幕上涉及在将滤波器保持在屏幕上的同时移位滤波器的位置。
在一些实施方案中,在框1340处,滤波器表示的第一子集包括该多个滤波器中的两个或更多个(例如,全部)滤波器,但不包括框1342至1346处的那些滤波器。在框1342处,滤波器表示的第一子集包括该多个滤波器中的两个或更多个(例如,所有)滤波器,但不包括第一滤波器的表示和与最近应用的滤波器对应的第四滤波器的表示。
在一些实施方案中,在框1344处,滤波器表示的第一子集包括该多个滤波器中的两个或更多个(例如,所有)滤波器,但不包括第一滤波器的表示和与无滤波器选项对应的第五滤波器的表示。
在一些实施方案中,在框1346处,滤波器表示的第一子集包括该多个滤波器中的两个或更多个(例如,所有)滤波器,但不包括第一滤波器的表示、与最近应用的滤波器对应的第六滤波器的表示以及与无滤波器选项对应的第七滤波器的表示。
在一些实施方案中,电子设备(例如,1200)包括触敏显示器,第一输入(例如,1218)与触敏显示器上的第一接触对应,并且在框1348处,在检测到第一输入(例如,1218)之后继续检测显示器(例如,1204)上的第一接触时,执行框1350和1352的技术。在框1350处,电子设备(例如,1200)检测第一接触的移动。在框1352处,电子设备(例如,1200)在显示器(例如,1204)上显示应用了与第二滤波器对应的视觉效果(例如,色移、照明效果、锐化、模糊)的图像数据的表示(例如,并且停止在显示器(例如,1204)上显示向图像数据应用了与第一滤波器对应的视觉效果的图像数据的表示)。响应于检测到接触的移动而更新图像数据的表示以反映第二滤波器,这向用户提供了关于设备状态的反馈,并且特别地,提供了与激活的滤波器对应的视觉反馈。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输出的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,响应于检测到第一接触的移动,电子设备(例如,1200)停止在第二选择位置(例如,1212)处显示第一滤波器的表示,并且在第二选择位置(例如,1212)处显示第二滤波器的表示。(例如,将第二滤波器的表示移动到显示器(例如,1204)上的“当前选择”滤波器位置处,并从显示器(例如,1204)上的“当前选择”滤波器位置移除第一滤波器的表示)
在一些实施方案中,电子设备(例如,1200)包括触敏显示器,在框1354处,第一输入(例如,1218)与触敏显示器上的接触的特征强度(例如,1216)的增大对应,并且响应于检测到接触的特征强度的增大,电子设备(例如,1200)朝向焦点动态地移位第一滤波器表示在显示器(例如,1204)上的位置。在一些实施方案中,当第一滤波器表示的位置朝向焦点移动时,不在滤波器表示的第二子集中的其他滤波器的表示随接触强度增大而淡出并且/或者减小尺寸。在一些实施方案中,不在滤波器表示的第二子集中的其他滤波器的表示在一个或多个维度上缩小(例如,通过在滤波器表示的第二子集中的滤波器表示朝向焦点移动时,该其他滤波器表示在水平方向上被拉伸或被压缩)。在用户增大接触的特征强度时朝向焦点动态地移位第一滤波器表示的位置为用户提供了关于设备基于用户输入检测到的强度水平的反馈,并向用户提供视觉反馈,该视觉反馈指示更用力按压将导致设备执行与用户界面元素相关联的操作。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,第一输入(例如,1218)与触敏显示器上的具有第一接触部分和第二接触部分的接触对应;第一接触部分具有第一特征强度;第二接触部分具有第二特征强度;并且该方法还包括:根据确定第一特征强度大于第二强度阈值(例如,滤波器选择界面(例如,1206)的压缩开始时的塌缩阈值)并且小于第三强度阈值,逐渐移位第一滤波器表示在显示器上(例如,1204)上的位置(例如,滤波器表示朝向焦点移动);并且根据确定第二特征强度大于第三强度阈值(例如,滤波器选择界面(例如,1206)的压缩结束时(例如,停止显示第一子集时)的塌缩阈值),停止移位第一滤波器表示的位置。
在一些实施方案中,在框1356处,电子设备(例如,1200)检测接触的特征强度的减小,同时继续检测触敏显示器上的接触。在一些实施方案中,在框1358处,响应于检测到接触的特征强度的减小,任选地执行框1360至1362。
在一些实施方案中,在框1360处,根据确定在检测到接触的特征强度的减小之前接触的特征强度达到相应强度阈值(例如,1216)(例如,用于停止显示滤波器的第一子集的阈值强度),电子设备(例如,1200)保持显示滤波器表示的第二子集,而不显示滤波器表示的第一子集。
在一些实施方案中,在框1362处,根据确定在检测到接触的特征强度的减小之前接触的特征强度未达到相应强度阈值(例如,1216)(例如,用于停止显示滤波器的第一子集的阈值强度),电子设备(例如,1200)远离焦点动态地移位第一滤波器表示在显示器(例如,1204)上的位置。在一些实施方案中,当第一滤波器表示的位置远离焦点移动时,它们的尺寸增大。
在用户减小接触的特征强度时保持显示滤波器的第二子集或动态移位第一滤波器的位置为用户提供了关于设备基于达到相应强度阈值(例如,1216)的用户输入检测到的强度水平的反馈,并向用户提供视觉反馈,该视觉反馈指示用户是否需要更用力按压以使设备执行与用户界面元素相关联的操作。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在显示图像数据的表示之前,在电子设备(例如,1200)处接收(例如,从相机、从存储器、从服务器)图像数据,其中图像数据与图像数据的表示(例如,1210)对应。在一些实施方案中,图像数据包括RGB和深度图值。在一些实施方案中,从电子设备(例如,1200)外部的源接收图像数据和深度信息(例如,从服务器接收数据)。
在一些实施方案中,进一步响应于检测到接触的移动,电子设备(例如,1200)提供指示应用于图像数据的滤波器已被改变的触觉输出。在一些示例中,当在不同滤波器之间切换时,电子设备(例如,1200)提供触觉输出。当在不同滤波器之间切换时执行触觉输出为用户提供了关于所选滤波器的状态的变化的附加反馈,并且有助于用户更有效地执行操作。提供改进的反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果并减少操作设备/与设备进行交互时的用户错误),并且另外减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在检测到第一输入(例如,1218)之前,在第三滤波器在第二选择位置(例如,1212)处时,并且在显示表示的第一子集时,电子设备(例如,1200)检测第二接触在触敏显示器上的移动。响应于检测到第二接触的移动,电子设备(例如,1200):停止在第二选择位置(例如,1212)处显示第三滤波器的表示,在第二选择位置(例如,1212)处显示第四滤波器的表示,将与第四滤波器对应的视觉效果应用于图像数据(例如,色移、照明效果、锐化、模糊),并在显示器(例如,1204)上显示具有应用的视觉效果的图像数据的表示,其中第一接触是第二接触。响应于检测到第二接触的移动而在滤波器之间进行过渡使得用户能够在无需用力按压的情况下容易地在滤波器(不仅仅是收藏或最近的滤波器)之间进行切换,从而提高准确地靶向期望滤波器的能力。提供改进的靶向能力增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果并减少操作设备/与设备进行交互时的用户错误),并且另外减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,电子设备(例如,1200)包括触敏显示器,并且其中第一输入(例如,1218)与触敏显示器上的接触对应。在不显示滤波器表示的第一子集的情况下保持显示滤波器表示的第二子集时,电子设备(例如,1200)检测接触的抬离。响应于检测到接触的抬离,电子设备(例如,1200)恢复显示滤波器表示的第一子集。响应于检测到接触的抬离而恢复显示滤波器表示的第一子集减少了访问滤波器表示的第一子集所需的用户输入的数量。减少执行操作所需的输入的数量增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果并减少操作设备/与设备进行交互时的用户错误),并且另外减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,电子设备(例如,1200)包括触敏显示器。在不显示滤波器表示的第一子集时,并且在保持显示滤波器表示的第二子集时,电子设备(例如,1200)检测包括接触强度的增大的输入。响应于检测到该输入,根据确定该输入包括接触的特征强度从低于第四强度阈值的特征强度增大到高于具有大于第四强度阈值的特征强度的第四强度阈值接触的特征强度,电子设备(例如,1200)恢复显示滤波器表示的第一子集。响应于检测到该输入,根据确定该输入不包括接触的特征强度从低于第四强度阈值的特征强度增大到高于具有大于第四强度阈值的特征强度的第四强度阈值接触的特征强度,电子设备(例如,1200)保持显示滤波器表示的第二子集,而不显示滤波器表示的第一子集。当输入的特征强度增大到高于阈值时,恢复显示滤波器表示的第一子集;当输入的特征强度未增大到高于阈值时,保持显示滤波器表示的第二子集,这为用户提供了操作预览(当用户稍微按压时),并让用户通过更用力按压锁定操作,使得用户在滤波器之间进行切换时不需要保持较高的输入特征强度,从而增强设备的可操作性并使用户-设备界面更有效。
在一些实施方案中,停止显示(例如,完全/部分地从全集中移除,缩小)滤波器表示的第一子集还包括:逐渐缩小第一滤波器的表示的尺寸,同时第一滤波器的表示继续显示设备的一个或多个相机的视场的实时预览(例如,1210)的至少一部分,其中应用了第一滤波器;以及逐渐缩小第二滤波器的表示的尺寸,同时第二滤波器的表示继续显示设备的一个或多个相机的视场的实时预览(例如,1210)的至少一部分,其中应用了第二滤波器。
在一些实施方案中,进一步响应于检测到第二接触的移动:根据确定第四滤波器是第一类型的滤波器(例如,预先确定的收藏滤波器、最频繁使用的滤波器、最常用的滤波器),电子设备(例如,1200)生成相应触觉输出;并根据确定第四滤波器是第二类型的滤波器(例如,除预先确定的收藏滤波器、最频繁使用的滤波器、最常用的滤波器之外的滤波器),电子设备(例如,1200)放弃生成相应触觉输出(例如,放弃生成任何触觉输出或生成具有不同触觉输出模式的触觉输出)。在一些实施方案中,每当在滤波器选择界面(例如,1206)内显示新的滤波器时,提供触觉输出。当在不同滤波器之间切换时执行触觉输出(并且基于滤波器执行不同触觉输入)为用户提供了关于所选滤波器的状态的变化的附加反馈,并且有助于用户更有效地执行操作。提供改进的反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果并减少操作设备/与设备进行交互时的用户错误),并且另外减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,电子设备(例如,1200)包括触敏显示器,并且其中第一输入(例如,1218)与触敏显示器上保持预先确定的时间段的接触对应。在一些实施方案中,保持时间大于预先确定的时间段。在输入的保持时间大于预先确定的时间段时执行操作使用户能够在无需显示遮挡取景器或使显示杂乱的附加用户界面元素的情况下访问他们可进行选择的附加(例如,所有)滤波器。在不使用户界面因附加显示的控件而杂乱的情况下提供附加控件选项增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果并减少操作设备/与设备进行交互时的用户错误),并且另外减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,响应于检测到第一输入(例如,1218),电子设备(例如,1200)在电子设备(例如,1200)处提供触觉输出(例如,1220)。在一些实施方案中,响应于接触的特征强度达到相应强度阈值(例如,1216)生成触觉输出(例如,1220)(例如,如上文相对于其中已停止显示除滤波器表示的第二子集之外的滤波器表示的过程所描述的)。在一些实施方案中,在重新显示滤波器的子集时(例如,响应于接触的抬离或者响应于后续的用力按压(例如,如上所述)),提供触觉输出。在重新显示滤波器的子集时执行触觉输出为用户提供了关于所选滤波器的状态的反馈,并且有助于用户更有效地执行操作。提供改进的反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果并减少操作设备/与设备进行交互时的用户错误),并且另外减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,该组滤波器中的多个滤波器的表示包括在检测到第一输入(例如,1218)时未显示在显示器(例如,1204)上的滤波器表示的第三子集。在一些实施方案中,包括接触沿滤波器选择界面(例如,1206)的移动的输入使滤波器选择界面(例如,1206)滚动并显露滤波器的第三子集中的滤波器的一个或多个表示。
需注意,上文相对于方法1300所述的过程(例如,图13A至图13F)的详情也可以类似方式适用于下文/上文所述的方法。例如,方法700、900、1100、1500和1700任选地包括上面参考方法1300所述的各种方法的一个或多个特征。例如,可对来自各种方法的滤波器用户界面、示能表示和控件的元素进行组合。对于另一示例,方法1300中的取景器类似于方法700、900、1100、1500和1700中的取景器。为了简明起见,这些详情在下文中不再重复。
如图14A所示,电子设备1400包括触敏显示器1404(例如,触摸屏),并且显示器显示从相机(例如,1402)接收到的信息。在一些实施方案中,设备1400包括设备100、300和/或500的一个或多个特征。在一些实施方案中,显示器不同于触敏表面。在一些示例中,相机(例如,1402)定位在电子设备(例如,1400)的正面、背面或两侧上。
图14A进一步示出了,在显示器1404上显示相机应用程序用户界面,用于利用相机(例如,1402)捕获图像。相机应用程序用户界面还包括图像数据表示1410,该图像数据表示包括相机的视场的实时预览。图14A进一步示出了,在相机应用程序内启用网格模式,并且在显示器上显示对应网格,以辅助用户对图像进行取景。
图14A进一步示出了用于相机的焦点平面1406、水平平面1408以及焦点平面1406和水平平面1412之间的相对角度。在图14A中,焦点平面1406是在相机前方的与焦点相交的假想二维平面。图14A还包括桌子的表示以及被显示为搁置在桌子的表示上的馅饼的表示1411。在一些实施方案中,使用不同的取向平面(例如,垂直)而不是水平平面来确定相对角度(例如,1412)。在一些示例中,预先确定的取向对于桌子而言是水平的,并且水平取向提供用于以自上而下的视角捕获图像的最佳取向。
图14B示出了朝桌子的表示(例如,朝向)向前倾斜的电子设备。当电子设备朝向桌子倾斜时,焦点平面和水平平面(其平行于桌子)之间的相对角度从图14A中的90度减小为图14B中的70度。
当用户继续朝向桌子向前倾斜时,如图14C所示,水平平面和焦点平面之间的相对角度减小为45度。如图14C中进一步所示的,在某些角度(例如,45度或更小)下,水平平面和焦点平面之间的相对角度(例如,相对差)在预先确定的对准阈值(例如,预先确定的相应对准阈值)(例如,45度)内(例如,等于或小于预先确定的对准阈值)。因此,显示视觉指示器(例如,1414A和1414B)。在一些示例中,预先确定的对准阈值是35度、30度、25度、20度、15度、10度或5度。
在一些示例中,视觉指示器被表示为两个单独的图形对象1414A和1414B。在一些实施方案中,两个图形对象中的一者(例如,1414A)保持静止在显示器的中间。在一些实施方案中,第二图形对象(例如,1414B)基于电子设备的取向来改变位置。视觉指示器能够引导用于相对于预先确定的取向定位设备。如下所述,当焦点平面1406和水平平面1408之间的相对角度继续减小(例如,它们越来越接近,最终变为平行)时,图形对象1414B逐渐朝向图形对象1414B变化。在一些实施方案中,当焦点平面1406和水平平面1408之间的相对角度是零时(例如,它们是平行的),图形对象(例如,1414A和1414B)看起来完全重叠(例如,看起来是一个图形对象)。
在一些实施方案中,当电子设备确定焦点平面和水平平面之间的相对角度在预先确定的对准阈值(例如,45度)内时,视觉指示器看起来逐渐淡入。在一些实施方案中,当电子设备确定焦点平面和水平平面之间的相对角度在预先确定的对准阈值(例如,45度)内时,视觉指示器被显示为完全不透明度。
在一些示例中,仅在电子设备确定水平平面和焦点平面之间的相对角度在预先确定的时间段(例如,2秒、5秒、10秒)内保持在对准阈值(例如,45度)内之后,才显示视觉指示器。因此,在一些示例中,电子设备必须保持取向为使得在显示视觉指示器之前,相对角度在预先确定的时间段内保持在预先确定的对准阈值内。在一些示例中,当电子设备确定电子设备在预先确定的时间段(例如,2秒、5秒、10秒)内未保持在对准阈值(例如,45度)内时,不显示视觉指示器。在一些示例中,时间不是确定是否显示视觉指示器的因素。
图14D至图14E示出了电子设备继续向前倾斜时的用户界面。如图14D所示,当电子设备1400确定水平平面和焦点平面之间的相对角度继续减小时,图形对象1414B继续朝向图形对象1414A逐渐变化。另外,当电子设备1400确定水平平面和焦点平面之间的相对角度(例如,图14D中的20度)继续减小时,图形对象1414A和1414B继续淡入。另外,在一些实施方案中,一旦电子设备确定水平平面和焦点平面之间的相对角度(例如,图14E中的11度)达到预先确定的淡化阈值(例如,15度),则图形对象1414A和1414B被显示为完全不透明。在一些示例中,淡化阈值是30度、25度、20度、15度、10度、5度或2度。
如图14F所示,电子设备1400现在定位成与水平平面所成角度在五度内。因此,图形对象1414A和1414B突然出现在中心显示位置处,因为水平平面和焦点平面之间的相对角度在突然变化阈值(例如,10度)内。在一些实施方案中,突然变化阈值是25度、20度、15度、10度、5度、4度、3度、2度或1度。因此,在一些实施方案中,即使焦点平面不完全平行于水平平面,如果确定水平平面和焦点平面之间的相对角度(例如,5度)在突然变化阈值(例如,10度)内,图形对象1414A和1414B也以预先确定的对准方式显示(例如,突然出现在)显示器的中间。在一些实施方案中,图形对象在突然出现在显示器的中心位置时呈现为动画。在一些实施方案中,动画包括颜色区分、形状区分或位置区分(例如,轻微的弹跳效果)中的一者或多者。
如图14G所示,即使电子设备1400继续向前倾斜,由电子设备确定的水平平面和焦点平面之间的相对角度(例如,9度)也保持在突然变化阈值(例如,10度)内。因此,在一些实施方案中,图形对象(例如,1414A和1414B)保持显示在显示器的中心处。
如图14H所示,一旦电子设备1400确定水平平面和焦点平面之间的相对角度(例如,11度)高于突然变化阈值(例如,10度),则图形对象(例如,1414A和1414B)被显示为彼此分开。在一些实施方案中,一旦发生初始突然变化,则初始突然变化阈值(例如,10度)则增大(例如,15度),以考虑轻微的意外手部移动。因此,在一些实施方案中,只要电子设备确定水平平面和焦点平面之间的相对角度在增大的突然变化阈值(例如,15度)内,则图形对象(例如,1414A和1414B)将保持突然出现在显示器上的中心位置处。
如图14I至图14K所示,当电子设备继续检测到水平平面和焦点平面之间的相对角度正在增大时,图形对象1414B继续被显示为进一步远离图形对象1414A移动。此外,如图14I至图14J所示,当电子设备继续检测到水平平面和焦点平面之间的相对角度正在增大时,视觉指示器逐渐淡出。如图14K所示,当电子设备确定水平平面和焦点平面之间的相对角度不再在预先确定的对准阈值内时,停止显示视觉指示器。
图15A至图15E是示出根据一些实施方案的使用电子设备(例如,1400)构成图像的方法的流程图。方法700在具有相机、传感器(陀螺仪、加速度计、罗盘)、一个或多个输入设备(例如,触敏表面、键盘、鼠标)和显示器的设备(例如,100、300、500、1400)处执行。在一些实施方案中,该设备具有多个相机,其中每个相机任选地具有不同的焦距。方法1500中的一些操作任选地被组合,一些操作的次序任选地被改变,并且一些操作任选地被省略。
如下文所述,方法1500提供用于构成图像的直观方式。该方法减少了用户提供与功能对应的输入的认知负担,从而创建更有效的人机界面。对于电池驱动的电子设备,使用户能够更快且更有效地发起各种功能节省了功率并且增加了电池充电之间的时间间隔。
在框1502处,电子设备(例如,1400)在显示器(例如,1404)上显示相机取景器(例如,1410)(例如,其包括相机的视场中的内容的实时或近实时预览图像),用于捕获媒体。
在框1504处,在显示相机取景器(例如,1410)时,任选地执行框1506至1550的技术。
在框1506处,根据基于来自传感器的数据确定设备满足对准引导件显示标准,执行框1516至1524的技术,其中,在框1508处,对准引导件显示标准包括:要求相机(例如,1402)的焦点平面(例如,1406)的取向与预先确定的取向(例如,1408)(例如,相对于预先确定的平面的取向)之间的相对差(例如,1412)在相应对准阈值内,以便对准引导件显示标准得到满足。在一些实施方案中,相应对准阈值基于相机(例如,1402)的焦点平面(例如,1406)是否在平行于或垂直于预先确定的平面的预定义角度范围内(例如,小于5度、小于10度、或小于15度)。在对准阈值得到满足时在相机取景器(例如,1410)中显示对准引导件,这在用户试图将设备定位成特定取向时,为用户提供对准引导件形式的反馈,从而使用户能够更准确地将设备定位成特定取向。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在框1510处,对准引导件显示标准包括要求:相机(例如,1402)的焦点平面(例如,1406)的取向与预先确定的取向(例如,1408)之间的相对差(例如,1412)保持在相应对准阈值内达至少阈值时间量,以便对准引导件显示标准得到满足(例如,对准引导件显示标准要求将设备保持与显示对准引导件(例如,1414A和1414B)达至少预定时间量对应的取向范围内以便显示对准引导件(例如,1414A和1414B),使得如果设备短暂地移动通过与显示对准引导件(例如,1414A和1414B)对应的取向范围,则不会显示对准引导件(例如,1414A和1414B)。当对准阈值得到满足达阈值时间量时,在相机取景器(例如,1410)中显示对准引导件,这在用户将设备定位成特定取向时而不是在用户仅仅对设备进行重新取向时(不将设备保持为特定取向),向用户提供对准引导件形式的反馈。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在框1512处,对准引导件显示标准包括要求:设备的取向在阈值时间量内变化不超过阈值量,同时相机(例如,1402)的焦点平面(例如,1406)的取向和预先确定的取向(例如,1408)之间的相对差(例如,1412)保持在相应对准阈值内,以便对准引导件显示标准得到满足时(例如,对准引导件显示标准要求设备相对于预先确定的取向(例如,1408)保持在基本上静止的取向下,同时在与显示对准引导件(例如,1414A和1414B)对应的取向范围内,以便显示对准引导件(例如,1414A和1414B),使得如果设备在与显示对准引导件(例如,1414A和1414B)对应的取向范围内移动过多,则不会显示对准引导件(例如,1414A和1414B))。
在框1514处,根据来自传感器的数据确定对准引导件显示标准未得到满足(例如,相机(例如,1402)的预先确定的平面和焦点平面(例如,1406)之间的角度大于阈值)(例如,相机镜头不充分平行于水平/垂直平面),电子设备(例如,1400)放弃在相机取景器(例如,1410)中显示对准引导件(例如,1414A和1414B)。放弃在相机取景器中显示对准引导件(例如,1414A和1414B)减少了对用户的视觉干扰,有助于避免使用户的注意力离开相机取景器,并避免妨碍相机取景器中的被摄体。减少视觉干扰和避免妨碍取景器增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果并减少操作设备/与设备进行交互时的用户错误),并且另外减少了电力使用并且延长了设备的电池寿命。
在框1516处,电子设备(例如,1400)在显示器(例如,1404)上显示相机取景器(例如,1410)中的对准引导件(例如,1414A和1414B)(例如,十字准线、矩形、椭圆形、三角形)(例如,覆盖在相机(例如,1402)的视场的实时预览的至少一部分上)。在框1518处,对准引导件(例如,1414A和1414B)的外观随着相机(例如,1402)的焦点平面(例如,1406)的取向相对于预先确定的取向(例如,1408)变化而变化(例如,对准引导件(例如,1414A和1414B)显示未对准)。基于对准引导件显示标准是否得到满足来在相机取景器中显示(和放弃显示)对准引导件向用户提供了关于设备的取向状态的反馈。例如,用户试图利用笔直指向下方的设备的相机(例如,1402)拍照,这在设备基本上指向下方时,向用户提供对准引导件形式的视觉反馈,从而使用户能够更好地对准设备(使用对准引导件),以便使设备更准确地指向下方。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,传感器是相机(例如,1402)的一部分。在一些实施方案中,传感器独立于相机(例如,1402)。在一些实施方案中,相机(例如,1402)的焦点平面(例如,1406)必须充分平行于水平平面,诸如,地球表面或垂直于地球重力场的平面。平行对准允许完美或近完美对准,以从上方捕获照片。在一些实施方案中,相机(例如,1402)的焦点平面(例如,1406)必须充分垂直于水平平面,诸如,地球表面或平行于地球重力场的平面。垂直对准允许完美或近完美对准,以直接捕获照片。
在一些实施方案中,焦点平面(例如,1406)是在相机(例如,1402)前方的穿过焦点的假想二维平面。
在一些实施方案中,当引导件显示模式处于活动状态(并且其他标准得到满足)时,显示对准引导件(例如,1414A和1414B);当引导件显示模式处于非活动状态时(即使其他标准得到满足),不显示对准引导件。在一些实施方案中,引导件显示模式是其中显示永久引导件(例如,网格)的模式。在启用引导件显示模式时永久地显示引导件避免因重复地显示引导件并从显示器移除引导件而使用户分心的情况。减少视觉干扰增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果并减少操作设备/与设备进行交互时的用户错误),并且另外减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在框1520处,对准引导件(例如,1411A和1411B)包括至少两个(例如,一个指示器独立于另一指示器改变在显示器(例如,1404)上的位置)视觉指示器。
在一些实施方案中,在框1522处,该至少两个(例如,一个指示器独立于另一指示器改变在显示器(例如,1404)上的位置)视觉指示器中的至少一者在相机(例如,1402)的焦点平面(例如,1406)的取向相对于预先确定的取向(例如,1408)改变时保持静止。在设备的显示器(例如,1404)上显示保持静止的视觉指示器向用户提供了关于当将静止视觉指示器的位置与非静止视觉指示器的位置进行比较时设备接近预先确定的取向(例如,1408)的程度的视觉反馈。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在框1524处,这两个视觉指示器之间的距离动态地基于相机(例如,1402)的焦点平面(例如,1406)的取向和预先确定的取向(例如,1408)之间的相对差(例如,1412)。在一些实施方案中,指示器间隔得越远,设备距被定位成用于拍摄一个或多个相机的视场的自上而下的照片的位置就越远。动态更新两个视觉指示器之间的距离为用户提供了关于实现预先确定的取向(例如,1408)所需的设备取向变化的程度的视觉反馈,并且向用户提供了指示改变设备取向将导致两个视觉指示器之间的距离发生变化的视觉反馈。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在框1526处,在显示对准引导件(例如,1414A和1414B)时并且在相机(例如,1402)的焦点平面(例如,1406)的取向是第一取向时,电子设备(例如,1400)基于来自传感器的数据,检测相机(例如,1402)的焦点平面(例如,1406)从第一取向到第二取向的取向变化。
在一些实施方案中,在框1528处,响应于检测到相机(例如,1402)的焦点平面(例如,1406)从第一取向到第二取向的取向变化,在框1530处,电子设备(例如,1400)改变该至少两个视觉指示器中的第一视觉指示器(例如,移动或非静止的指示器)的显示位置(例如,基于取向变化程度计算出的位置,不基于静止指示器的位置的位置),其中,基于第一取向和第二取向之间的相对差(例如,1412)来改变第一视觉指示器的显示位置。(例如,一个指示器独立于另一指示器改变在显示器(例如,1404)上的位置)。在一些实施方案中,当设备改变位置超过预先确定的阈值时,这两个单独的视觉指示器中的至少一者解冻。
在一些实施方案中,进一步响应于检测到相机(例如,1402)的焦点平面(例如,1406)从第一取向到第二取向的取向变化,在框1532处,根据确定相机(例如,1402)的焦点平面(例如,1406)的第二取向和预先确定的取向(例如,1408)之间的相对差(例如,1412)不在第一视觉指示器对准阈值(例如,指示器突然变化阈值;相对差(例如,1412)值的范围(例如,0度到5度),在该范围内,将以预先确定的对准布置显示指示器)内,电子设备(例如,1400)在更新的显示位置处显示第一视觉指示器。在一些实施方案中,进一步响应于检测到相机(例如,1402)的焦点平面(例如,1406)从第一取向到第二取向的取向变化,在框1534处,根据确定相机(例如,1402)的焦点平面(例如,1406)的第二取向和预先确定的取向(例如,1408)之间的相对差(例如,1412)在第一视觉指示器对准阈值内,电子设备(例如,1400)在预先确定的显示位置(例如,突然变化位置,诸如与静止指示器完全对准)处显示第一视觉指示器。在设备的当前取向在预先确定的取向(例如,1408)的阈值量内时使指示器突然变化为对准为用户提供了关于设备取向状态并且特别是关于设备基本上与预先确定的取向(例如,1408)对准的视觉反馈。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在框1536处,当第一视觉指示器显示在预先确定的显示位置(例如,突然变化位置,诸如与静止指示器完全对准)处时,电子设备(例如,1400)基于来自传感器的数据,检测相机(例如,1402)的焦点平面(例如,1406)从第三取向到第四取向的取向变化,其中,第三取向与预先确定的取向(例如,1408)的相对差(例如,1412)在第一视觉指示器对准阈值内。在一些实施方案中,在相机(例如,1402)的焦点平面(例如,1406)的取向是第三取向时,相机(例如,1402)的焦点平面(例如,1406)开始取向变化。在一些实施方案中,第四取向与在第一视觉指示器对准阈值之外的预先确定的取向(例如,1408)具有相对差(例如,1412)。
在一些实施方案中,在框1538处,响应于检测到相机(例如,1402)的焦点平面(例如,1406)从第三取向到第四取向的取向变化,执行框1540至1542的技术。
在一些实施方案中,在框1540处,根据确定相机(例如,1402)的焦点平面(例如,1406)的第四取向与预先确定的取向(例如,1408)之间的相对差(例如,1412)不在第二视觉指示器对准阈值(例如,指示器突然变化阈值;相对差(例如,1412)值的范围(例如,0度至5度),在该范围内,将以预先确定的对准布置显示指示器)之外,电子设备(例如,1400)保持在预先确定的显示位置处显示第一视觉指示器。在一些实施方案中,第二视觉指示器对准阈值与第一视觉指示器对准阈值相同。在一些实施方案中,第二视觉指示器对准阈值不同于第一视觉指示器对准阈值(例如,用于在用户将设备保持在第一视觉指示器对准阈值附近时,避免视觉指示器意外地突然脱离对准)。
在一些实施方案中,在框1542处,根据确定相机(例如,1402)的焦点平面(例如,1406)的第四取向与预先确定的取向(例如,1408)之间的相对差(例如,1412)在第二视觉指示器对准阈值之外,在第二更新的显示位置处显示第一视觉指示器,其中第二更新的显示位置的位置基于相机(例如,1402)的焦点平面(例如,1406)的取向和预先确定的取向(例如,1408)之间的相对差(例如,1412)。在一些实施方案中,在将移动视觉指示器突然变化为静止视觉指示器时,导致相机(例如,1402)的焦点平面(例如,1406)的取向和超出(例如,大于)视觉指示器对准阈值的预先确定的取向(例如,1408)之间出现相对差(例如,1412)的取向变化将使移动视觉指示器显示在基于取向变化程度且不基于静止指示器位置的新位置处。相比之下,导致出现小于视觉指示器对准阈值的相对差(例如,1412)的取向变化不会导致移动视觉指示器的位置发生更新(例如,它保持与静止视觉指示器一致)。在设备的当前取向与预先确定的取向(例如,1408)相比差异超出阈值量时使指示器突然变化为不对准为用户提供了关于设备取向状态并且特别是关于设备基本上不与预先确定的取向(例如,1408)对准的视觉反馈。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在框1544处,当相机(例如,1402)的焦点平面(例如,1406)的取向处于与预先确定的取向(例如,1408)的相对差(例如,1412)在相应对准阈值内的第七取向时,并且当显示该至少两个视觉指示器中的第三视觉指示器时,电子设备(例如,1400)基于来自传感器的数据,检测相机(例如,1402)的焦点平面(例如,1406)从第七取向到第八取向的取向变化。
在一些实施方案中,在框1546处,响应于检测到相机(例如,1402)的焦点平面(例如,1406)从第七取向到第八取向的取向变化,执行框1548至1550的技术。
在一些实施方案中,在框1548处,根据确定相机(例如,1402)的焦点平面(例如,1406)的第八取向与预先确定的取向(例如,1408)之间的相对差(例如,1412)在视觉指示器对准阈值内,电子设备(例如,1400)保持显示第三视觉指示器(例如,保持显示在相同位置或不同位置处;以类似的视觉特性(例如,显示强度)或不同的视觉特性保持显示)。
在一些实施方案中,在框1550处,根据确定相机(例如,1402)的焦点平面(例如,1406)的第八取向与预先确定的取向(例如,1408)之间的相对差(例如,1412)不在视觉指示器对准阈值内,电子设备(例如,1400)停止显示第三视觉指示器。在设备的当前取向和预先确定的取向之间的差超过阈值量时停止在相机取景器中显示对准引导件(例如,1414A和1414B)使得用户能够在显示对准引导件(例如,1414A和1414B)和不显示对准引导件(例如,1414A和1414B)之间过渡,从而在附加控件有用时显示附加控件并且在附加控件无用时不显示附加控件。在附加控件有用时提供附加控件选项并且在附加控件无用时不使UI因附加显示的控件选项而杂乱增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,预先确定的取向(例如,1408)对应于水平取向(例如,地球表面,或垂直于地球重力场的平面)。
在一些实施方案中,预先确定的取向(例如,1408)是垂直取向(例如,平行于地球重力场)。
在一些实施方案中,该至少两个(例如,一个指示器独立于另一指示器改变在显示器(例如,1404)上的位置)视觉指示器中的至少一者被显示为靠近相机取景器(例如,1410)的中心(例如,在中心处或附近)。显示靠近相机取景器的中心的视觉指示器中的一者在居中的视觉指示器的所有方向上提供了附加空间用于显示另一视觉指示器,从而最大化作为视觉反馈向用户提供预先确定的取向和当前设备取向之间的差的粒度。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在预先确定的显示位置处显示第一视觉指示器包括在一个或多个视觉指示器的位置处显示相应的(例如,预定义的)动画(例如,在固定视觉指示器的位置处显示高亮、闪烁、闪光,并且/或将移动视觉指示器从第一位置平移到预先确定的显示位置)。在一些实施方案中,动画允许用户理解图像是对准的。动画会让用户注意到该事实。
在一些实施方案中,当相机(例如,1402)的焦点平面(例如,1406)的取向处于与预先确定的取向(例如,1408)的相对差(例如,1412)在相应对准阈值内的第五取向时,并且当利用第一视觉特性值(例如,第一视觉强度、第一颜色、第一尺寸)显示该至少两个视觉指示器中的第二视觉指示器时,电子设备(例如,1400)基于来自传感器的数据,检测相机(例如,1402)的焦点平面(例如,1406)从第五取向到第六取向的取向变化,其中相机(例如,1402)的焦点平面(例如,1406)的第六取向与预先确定的取向(例如,1408)之间的相对差(例如,1412)在视觉指示器对准阈值内。响应于检测到相机(例如,1402)的焦点平面(例如,1406)从第五取向到第六取向的取向变化,利用不同于第一值的第二视觉特性值(例如,具有更大(或更小)的视觉或显示强度、不同的颜色、不同的尺寸)显示第二视觉指示器。显示具有不同视觉特性的视觉指示器向用户提供了关于设备的对准的附加视觉反馈。提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果并减少操作设备/与设备进行交互时的用户错误),并且另外减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,相机(例如,1402)的焦点平面(例如,1406)的第五取向在相机(例如,1402)的焦点平面(例如,1406)的取向和预先确定的取向(例如,1408)之间具有第一相对差(例如,1412)。在一些实施方案中,相机(例如,1402)的焦点平面(例如,1406)的第六取向在相机(例如,1402)的焦点平面(例如,1406)的取向和预先确定的取向(例如,1408)之间具有第二相对差(例如,1412),第二相对差大于第一相对差(例如,1412)(例如,第六取向相对于预先确定的取向(例如,1408)(例如,水平)进一步不对准)。在一些实施方案中,视觉特性是显示强度(例如,相对于最大显示强度的淡化程度)。在一些实施方案中,第一值大于第二值(例如,当相机取向较接近预先确定的取向(例如,1408)时,第一视觉指示器被显示为更突出(例如,淡化较少),并且当相机取向与预先确定的取向(例如,1408)相差较远时,第一视觉指示器被显示为淡化程度更高,直到视觉指示器完全淡出)。当相机取向朝向预先确定的取向移动时增强取向引导件,并且当相机取向远离预先确定的取向移动时淡化取向引导件,这为用户提供了视觉反馈,该视觉反馈指示设备正在移入或移出在其中将显示取向引导件的范围。提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果并减少操作设备/与设备进行交互时的用户错误),并且另外减少了电力使用并且延长了设备的电池寿命。
需注意,上文相对于方法1500(例如,图15A至图15E)所述的过程的详情也以类似方式适用于上文和下文所述的方法。例如,方法700、900、1100、1300和1700任选地包括上面参考方法1500所述的各种方法的一个或多个特征。例如,可对来自各种方法的对准界面、示能表示和控件的元素进行组合。对于另一示例,方法1500中的取景器类似于方法700、900、1100、1300和1700中的取景器。为了简明起见,这些详情在下文中不再重复。
图16A示出了设备1600。在一些实施方案中,电子设备1600包括设备600的一些或全部部件。在一些实施方案中,设备1600包括多个相机602和603(例如,在电子设备1600的后部上)。在一些实施方案中,设备1600包括设备100、300和/或500的一个或多个特征。在一些示例中,电子设备(例如,1600)具有焦距固定但不同的多个相机。在一些示例中,该多个相机在电子设备(例如,1600)的正面、背面或两侧上。在一些实施方案中,除了具有不同的固定焦距之外,该多个相机还具有不同的固定视场和不同的固定光学放大特性。在一些实施方案中,相机(例如,602)利用多个焦距来捕获图像数据。在一些实施方案中,一个相机(例如,602)捕获多个焦距,从而产生与焦距固定但不同的多个相机相同的结果。在一些示例中,电子设备(例如,1600)包括深度相机(例如,1690),诸如红外相机、热成像相机或它们的组合。在一些示例中,该设备还包括光发射设备(例如,光投射器),诸如IR泛光灯、结构化光投影仪或其组合。光发射设备任选地用于在通过可见光相机和深度相机(例如,IR相机)捕获图像期间照亮被摄体,并且来自深度相机(例如,1690)和可见光相机的信息用于确定由可见光相机捕获的被摄体的不同部分的深度图。在一些实施方案中,使用来自两个相机(例如,两个可见光相机)的视差信息显示本文所述的照明效果以用于后向图像,并且使用来自深度相机的深度信息结合来自可见光相机(例如,1692)的图像数据显示本文所述的照明效果以用于前向图像(例如,自拍图像)。在一些实施方案中,当使用两个可见光相机确定深度信息时以及使用深度相机确定深度信息时,使用相同的用户界面,从而即使在使用截然不同的技术确定产生照明效果时使用的信息时,也为用户提供一致的体验。在一些实施方案中,当在应用了照明效果中的一者的情况下显示相机用户界面时,设备检测对相机切换示能表示的选择并从前向相机(例如,深度相机1690和可见光相机1692)切换到后向相机(例如,彼此间隔开的两个可见光相机)(反之亦然),同时保持对用于应用照明效果并将显示前向相机的视场替换为显示后向相机的视场(反之亦然)的用户界面控件的显示。
如图16A所示,电子设备1600包括触敏显示器1604(例如,触摸屏),并且显示器显示从相机(例如,602)接收到的图像数据。在一些实施方案中,显示器不同于触敏表面。在一些示例中,多个相机(例如,602和603)定位在电子设备(例如,1600)的正面、背面或两侧上。
图16A进一步示出了在显示器1604上显示用于利用相机(例如,602)捕获图像的相机应用程序用户界面1605的电子设备1600。相机应用程序用户界面1605还包括数字取景器1610,该数字取景器包括相机(例如,602或603)的视场的实时预览。在一些实施方案中,相机实时捕获与图像数据相关联的深度信息。图16A进一步示出了在视场中捕获不同的深度水平的相机;这些深度水平包括前景区域(例如,1608)中的被摄体(例如,女性)和背景区域(例如,1609)中的栅栏。在一些示例中,相机(例如,602)在视场中捕获3个、4个、5个、10个、20个或更多个深度水平。在将滤波器应用于在数字取景器(例如,1610)内显示的图像数据的表示(例如,1606)时,电子设备1600使用该多个深度水平,如下文更详细地讨论的。
此外,图16A示出了将滤波器选择器用户界面1613显示为处于展开状态下的电子设备1600。滤波器选择器用户界面1613沿数字取景器1610的边缘定位。在一些示例中,滤波器选择器用户界面(例如,1613)任选地显示在数字取景器(例如,1610)的上方、下方、左侧或右侧。在一些示例中,滤波器选择器用户界面(例如,1613)包括布置成一个或多个行和列或定位成圆形取向的滤波器的一个或多个表示(例如,视觉效果的表示)。
在一些示例中,展开的滤波器选择器用户界面(例如,1613)显示在与数字取景器对应的任何位置处。在一些示例中,用轮廓(例如,边界)来描绘滤波器选择器用户界面(例如,1613),以将滤波器选择器用户界面与数字取景器区分开。在一些实施方案中,滤波器选择器用户界面(例如,1613)在处于塌缩状态下时是半透明的(或部分地半透明的),并且不具有可见边界。因此,在一些示例中,滤波器选择器用户界面(例如,1613)看起来与数字取景器混合(例如,无法区分开)。
如图16A所示,电子设备1600显示包括与视觉效果对应的一个或多个滤波器表示(例如,1614A、1614B、1614C、1614D、1614E)的滤波器选择器用户界面1613。在一些示例中,滤波器选择器用户界面(例如,1613)任选地包括未显示在显示器上的附加滤波器表示(例如,它们在屏幕外)。在一些示例中,当电子设备接收到将导致滤波器表示滚动通过滤波器容器(例如,1616)的输入(例如,轻扫手势)时,显示未显示的滤波器表示。
如图16A进一步所示,在一些实施方案中,电子设备1600在展开的滤波器选择器用户界面(例如,1613)内显示滤波器表示1614A以指示当前选择的视觉效果。在一些实施方案中,滤波器表示1614A对应于“自然光”照明效果滤波器。因此,利用“自然光”照明效果滤波器(例如,使用来自场景的自然照明)显示前景区域1608和背景区域1609。由于在不使用任何合成(例如,模拟)光的情况下描绘了图16A中的图像表示,来自场景的自然光会在被摄体(例如,面部、颈部和衣服)上形成变化的阴影。在一些示例中,与照明效果对应的可能滤波器表示(例如,1614A至1614E)包括“摄影室灯光”照明效果、“轮廓光”照明效果、“舞台光”照明效果和“单色舞台光”照明效果。前述照明效果在应用于图像数据的表示(例如,1606)时,影响显示在显示器1604上的图像数据的表示的视觉特性。
在一些实施方案中,当电子设备1600应用自然照明效果时,不向图像添加合成照明(例如,显示原始图像)。相比之下,摄影室照明效果包括对围绕被摄体均匀定位的多个离散点光源(例如,摄影室内的灯)进行建模(例如,形成明亮的填充照明效果)。轮廓照明效果包括对沿被摄体的周长定位的多个离散点光源进行建模(例如,形成瘦身效果、在被摄体面部的一侧上和/或在被摄体的颏部上方形成阴影)。舞台光照明效果包括对定位在被摄体上方的单个离散点光源进行建模(例如,形成聚光灯效果)。单色舞台光照明效果包括以黑色和白色对定位在被摄体上方的单个离散点光源进行建模(例如,形成黑色和白色的聚光灯效果)。
在一些示例中,电子设备(例如,1600)在图像数据的表示中检测到被摄体的面部。因此,电子设备在应用照明效果时使用图像数据的深度图信息以及对应的面部特征。因此,以更精确的方式将照明效果应用在被摄体面部周围,并且可基于所选择的照明效果(例如,增大或减小被摄体的颏部和/或颧骨周围的阴影)以不同方式照亮某些面部特征。在一些示例中,图像数据包括深度图信息,该深度图信息包括对象的深度轮廓。因此,电子设备使用轮廓数据来更准确地在被摄体周围应用照明效果。
如图16B所示,电子设备1600在与展开的滤波器选择器用户界面(例如,1613)对应的位置处接收输入(例如,轻扫1618)。如图16C所示,输入(例如,轻扫1618)使滤波器表示(1614A至1614E)滚动通过滤波器容器1616。在一些实施方案中,响应于输入(例如,轻扫1618),滤波器表示将跨滤波器选择器用户界面(例如,1613)的顶部边界滚动到左侧。在一些示例中,单个轻扫手势将导致滤波器表示的逐步滚动。在一些实施方案中,滚动的滤波器表示的数量将取决于轻扫手势的量值。因此,在一些示例中,与较短的轻扫相比,较长的轻扫引起更长的滚动。
响应于输入(例如,1618轻扫),在一些实施方案中,电子设备1600应用与对应于轻击输入在显示器1604上的位置的滤波器表示(例如,1614B)对应的照明效果。在一些示例中,输入为轻扫、按压并保持或具有高于相应强度阈值的特征强度的输入。在一些示例中,在滤波器中的一个滤波器的表示(1614A至1614F)上检测到的具有高于相应强度阈值的特征强度的输入任选地导致显示用于与具有高于相应强度阈值的特征强度的该输入的位置相关联的对应滤波器表示的附加功能。
在一些实施方案中,在应用与滤波器表示(例如,1614B)对应的照明效果之前,可向图像数据的整个表示(例如,1606)应用附加视觉效果。例如,在应用舞台照明滤波器之前,可向图像数据的表示(例如,1606)应用轻微渐变填充,以便更流畅地从无滤波器过渡到照明效果滤波器。
图16C至图16D示出了因电子设备接收到图16B中的输入(例如,轻扫1618)而逐渐应用照明效果的电子设备1600。在一些实施方案中,将与新选择的滤波器表示1614B对应的照明效果逐渐应用于实时预览中的图像数据的表示(例如,1606)。由于所选择的照明效果是“摄影室灯光”,对应的视觉效果模拟影响前景区域1608中的被摄体的多个点光源。因此,在过渡阶段(图16C),以50%的强度将与滤波器表示1614B对应的照明效果应用于实时预览。在图16D中,完全应用(例如,100%)与滤波器表示1614B对应的滤波器。在一些示例中,以增量(10%、25%、50%、75%)应用滤波器,同时电子设备1600应用照明效果直到过渡完成。在一些示例中,当电子设备1600将“摄影室灯光”照明效果应用于图像数据的表示时,背景区域(例如,1609)完全变暗。在一些实施方案中,当电子设备1600将“摄影室灯光”照明效果应用于图像数据的表示时,背景区域(例如,1609)部分地变暗。
如图16C至图16D所示,由于相机(例如,602)捕获的图像数据包括与图像数据相关联的深度图信息,电子设备能够使用可用的深度图信息,并且能够在图像数据表示1606上模拟各种点光源的效果。在一些实施方案中,基于与图像数据相关联的深度图信息以与前景区域相比不同的方式在背景区域中应用相同的照明效果。因此,前景中的被摄体可能看起来更突出,并且背景中的被摄体可经由变暗效果而变得不那么突出。另外,如图16D所示,由于照明效果模拟点光源,深度图信息用于将变化的阴影投射到前景区域(例如,1608)中的被摄体面部上。如图16D所示,由于“摄影室灯光”照明效果模拟多个点光源,电子设备1600使用深度图信息来相对于“自然光”照明效果减少被摄体面部上的阴影。
在一些实施方案中,在捕获图像时,将照明效果应用于数字取景器以用于预览。在一些实施方案中,照明效果与图像后捕获相关联。
如图16E所示,电子设备在与快门按钮示能表示1630对应的位置处接收手势(例如,轻击1632)。在一些实施方案中,响应于接收到手势(例如,轻击1632),电子设备1600将捕获与一个或多个相机(例如,602和603)的视场对应的图像数据,并且电子设备将当前选择(例如,激活)的照明效果与图像数据的表示相关联。应用了照明效果的结果图像将存储在电子设备的相机胶卷中,并且可在相机胶卷应用程序(例如,如示能表示1634所表示的)中查看该结果图像。
如图16F所示,电子设备1600接收输入(例如,轻击1620),并且将导致滤波器的表示(1614A至1614E)滚动通过滤波器容器(例如,1616)。在一些实施方案中,响应于与滤波器表示(例如,1614E)对应的轻击手势(例如,1620),滤波器的表示将跨展开的滤波器选择器用户界面(例如,1613)的顶部周边滚动到左侧。图16F进一步示出了,用于相机胶卷应用程序(例如,1634)的示能表示改变外观以与最后捕获的图像(例如,图16E中捕获的摄影室灯光图像)对应。在一些实施方案中,用于相机胶卷应用程序的示能表示(例如,1634)被显示为与图像的表示对应的所捕获图像的缩略图表示。在一些实施方案中,用于相机胶卷应用程序的示能表示(例如,1634)被显示为不类似于与图像的表示对应的所捕获图像的缩略图图标。
图16G示出了图16F的轻击手势(例如,1620)的结果。响应于该轻击手势,电子设备1600过渡到“单色舞台光”照明效果模式。如图16G所示,当电子设备1600处于“单色舞台光”模式下时,在显示器1604上,对准引导件1640被显示为圆形,并且在垂直方向上被定位成略微偏离中心。在一些实施方案中,对准引导件(例如,1640)被表示为六边形、椭圆形或三角形形状。在一些实施方案中,对准引导件在垂直方向和水平方向上均被定位在显示器(例如,1604)的中间。在一些实施方案中,对准引导件(例如,1640)在垂直方向和水平方向中的一者或两者上在显示器(例如,1604)上被定位成偏离中心。
在一些实施方案中,对准引导件用于帮助用户将被摄体的身体部位(例如,他们的面部)对准在数字取景器的特定部分内。如图16F所示,由于电子设备确定某些标准未得到满足(例如,被摄体的面部未正确对准在对准引导件1640内),电子设备显示消息1622以提示用户采取适当的动作。在一些实施方案中,照明效果将不被应用于图像数据的表示(例如,1606),除非电子设备确定适当的标准已经得到满足(例如,被摄体的面部与对准引导件正确对准,被摄体与设备相距适当的距离)。
如图16G进一步所示,对准引导件1640之外的区域略有阴影,而对准引导件1640内的区域保持不变。在一些实施方案中,对准引导件(例如,1640)之外的区域未加阴影,并且对准引导件(例如,1640)内的区域同样未加阴影。
图16H示出了,用户朝向设备迈出几步,使得被摄体面部正确对准在对准引导件1640内。如图16H所示,当被摄体面部与对准引导件1640正确对准时,以较暗的颜色向对准引导件(例如,1640)之外的区域加上阴影,并且对准引导件1640内的区域未加阴影(例如,不应用人工照明)。在一些实施方案中,加深阴影充当“锁定”指示器并且向用户提供用于所选择的照明效果(例如,单色舞台光)的标准已得到满足的指示。在一些实施方案中,将当前选择的照明效果(例如,单色舞台光)应用于对准引导件(例如,1640)内的区域。在一些实施方案中,附加标准(例如,被摄体与电子设备相距要求距离,照明条件)必须得到满足,才能使对准引导件外部的加深阴影发生。
另外,如图16H进一步所示,针对图像数据的整个表示1606(例如,对准引导件内和外的区域两者),向图像数据的表示1606的背景(例如,栅栏)应用模糊光学效果(例如,散景,如虚线所示)。在一些实施方案中,当对准标准得到满足时,模糊光学效果不成比例地应用于显示在显示器(例如,1604)上的图像数据的表示(例如,1606)的不同部分。
在一些实施方案中,以需要去除(例如,模糊)背景的其他(例如,不是单色舞台光)照明效果显示对准引导件(例如,1640)。
在一些示例中,当对准引导件的条件不再得到满足时(例如,被摄体面部不再与对准引导件对准,被摄体从设备向后移动得太远并且不再与设备相距适当的距离,照明条件不正确),则先前应用的照明效果突然消失(例如,在对准引导件之外,电子设备恢复到轻微/无变暗状态,如图16G所示)。在一些实施方案中,当深阴影突然消失时,将任选地为照明效果滤波器的一部分的临时滤波器(例如,渐变)应用于图像表示。当重新应用阴影时,临时滤波器有助于平滑过渡(例如,减小震动)。
如图16H进一步所示,电子设备1600在与快门按钮示能表示1630对应的位置处接收手势(例如,轻击1636)。在一些实施方案中,响应于接收到手势(例如,轻击1636),电子设备1600捕获与一个或多个相机(例如,602和603)的视场对应的图像数据,并且电子设备将当前选择(例如,激活)的照明效果与图像数据的表示相关联。在此类实施方案中,应用了照明效果的结果图像然后存储在电子设备的相机胶卷中,并且可在相机胶卷应用程序(例如,如示能表示1634所表示的)中查看该结果图像。在一些实施方案中,即使在捕获期间未将照明效果应用于数字取景器,也将在捕获之后将该照明效果应用于图像数据(例如,所捕获的图像将看起来与用户在数字取景器中看到的图像不同)。
如图16I所示,电子设备在与照片查看器应用程序(例如,1634)对应的位置处检测输入(例如,轻击1645)。响应于接收到输入(例如,1645),电子设备1600切换到如图16J所示的图像查看模式(例如,用于查看先前捕获的图像而不是相机数据的实时预览的模式)。
图16J示出了用于照片查看器应用程序的用户界面。照片查看器应用程序包括先前捕获的图像(例如,1628A至1628C)的缩略图,其中,1628C是最后捕获的图像。在一些示例中,使用与电子设备(例如,1600)对应的相机捕获先前捕获的图像。在一些示例中,电子设备(例如,1600)从远程源(例如,服务器)接收先前捕获的图像(例如,1628A至1628C),并且任选地,先前捕获的图像是由不同的电子设备(例如,不是1600)捕获的。
图16J还示出了,使用单色舞台光照明来捕获最后捕获的图像(例如,1628C)。“单色舞台光”照明效果模拟单个点光源,并且因此类似于聚光灯效果。使用深度图信息,电子设备1600从在前景区域(例如,1608)中的被摄体上方应用“单色舞台光”效果。在一些示例中,可将点光源模拟为源自任何方向。在一些示例中,将“单色舞台光”效果模拟为源自前部,并且因此,突出显示特定焦点(例如,面部),但图像数据的表示的其余部分变暗。如图16J所示,由于点光源的模拟源自被摄体上方,电子设备能够使用图像数据的深度图信息来将更深的阴影投射到被摄体(例如,面部和颈部)上。在一些实施方案中,去除图像的背景,并用纯色(诸如,黑色或白色)或用户选择的颜色替换该背景,以进一步吸引对前景中被摄体的注意,并模拟其中可在坚实背景下为用户拍照的摄影室设置。
在一些实施方案中,电子设备在显示器的顶部处显示“人像”视觉指示器(例如,1638),以向用户指示先前捕获的图像数据包括深度图信息。在一些示例中,电子设备(例如,1600)在与视觉指示器对应的位置处接收输入,以将模拟深度效果(例如,散景)切换为打开和关闭。在一些实施方案中,如果模拟深度效果被切换为关闭,则照明效果将保留。在一些示例中,视觉指示器在被激活时将模拟的深度效果和照明效果一起切换。在一些示例中,电子设备任选地接收用于使用滤波器选择器用户界面(如上所述)将照片查看器应用程序内的照明效果改变为不同照明效果的输入。在一些示例中,如果先前捕获的图像数据不具有深度图信息;则电子设备(例如,1600)将不提供用于应用模拟深度效果或照明效果的选项。在一些示例中,如果先前捕获的图像数据不具有与图像数据相关联的深度图信息,则电子设备将不显示视觉指示器(例如,1638)。
在一些示例中,电子设备(例如,1600)将深度图信息与图像数据存储在一个文件中。在一些示例中,电子设备(例如,1600)将深度图信息与图像数据分开存储。在一些实施方案中,一旦电子设备将具有深度图信息的图像存储为平面图像(例如,不具有深度图信息),则电子设备(例如,1600)将不再能够向图像数据的表示应用照明效果。
图17A至图17G是示出根据一些实施方案的用于将模拟照明效果应用于图像数据的表示(例如,1606)并且使用电子设备(例如,1600)来显示对准引导件(例如,1640)的方法的流程图。方法1700在具有一个或多个输入设备(例如,触敏表面、键盘、鼠标)、一个或多个相机(例如,具有变化焦距的相机,和/或深度感测相机及捕获彩色图像的相机)和显示器(例如,1604)的设备(例如,100、300、500、1700)处执行。在一些实施方案中,显示器(例如,1604)是触敏显示器。在一些实施方案中,显示器(例如,1604)不是触敏显示器。在一些实施方案中,电子设备(例如,1600)包括多个相机。在一些实施方案中,电子设备(例如,1600)仅具有一个相机。方法1700中的一些操作任选地被组合,一些操作的次序任选地被改变,并且一些操作任选地被省略。
如下文所述,方法1700提供了用于在某标准得到满足时显示对准引导件并将模拟照明效果应用于图像数据的表示的直观方式。该方法减少了用户提供与功能对应的输入的认知负担,从而创建更有效的人机界面。对于电池驱动的电子设备,使用户能够更快且更有效地发起各种功能节省了功率并且增加了电池充电之间的时间间隔。
在框1702处,电子设备(例如,1600)在显示器(例如,1604)上显示与深度图信息相关联的图像数据的表示(例如,1606)(例如,图像或照片显示在设备的显示器(例如,1604)上)。在一些实施方案中,图像数据的实时预览显示在数字取景器(例如,1610)中。
在一些实施方案中,在框1704处,图像数据的表示是在数字取景器(例如,1610)中显示的一个或多个相机的视场内捕获的图像数据的实时预览。
在一些实施方案中,在框1706处,与图像数据相关联的深度图信息包括与至少三个不同深度水平(例如,至少背景深度水平、前景深度水平和中间深度水平)对应的信息。包括三个或更多个不同深度水平的深度图信息为用户提供了用于应用深度特定滤波器的框架并且向用户提供了更精确的关于对象在相机的视场中的深度定位的反馈。提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输入的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在框1708处,与图像数据相关联的深度图信息包括标识对象在图像数据的表示中的深度轮廓的信息;并且照明效果基于对象的轮廓的位置和曲率来改变图像数据的表示的外观。在深度图信息中包括对象的深度轮廓使得设备能够向用户提供更精确的关于对象在相机的视场中的形状和深度定位的视觉反馈。提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输入的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。基于对象的轮廓的位置和曲率来改变图像数据的表示的外观使得生成在不需要外部照明设备的情况下模拟使用外部照明设备的照明效果。在不需要外部照明设备的情况下生成这些照明效果减少了生成具有指定照明效果的图像所需的设备的尺寸和成本。
在框1710处,在显示器(例如,1604)上显示图像数据的表示时,电子设备(例如,1600)在框1712处经由该一个或多个输入设备来检测第一输入(例如,轻扫、轻击并保持、轻击(例如,1620)、按钮按压;手势可以在表示照明滤波器的图标(例如,滤波器表示1614A、1614B、1614C、1614D、1614E)(或用于选择滤波器的另一用户界面系统)的顶部上,该图标选择基于深度图信息(例如,基于深度传感器的测量结果或基于从不同位置同时拍摄的两个图像之间的视差映射)的多个照明效果(例如,自然光、摄影室灯光、轮廓光、舞台光、单色舞台光中的一者或多者,如下文在段落[0499]中更详细地描述的)的相应滤波器。同时显示图像数据的表示(例如,1606)并提供滤波器选择界面(例如,滤波器选择器用户界面1613)向用户提供了关于相机视场中的对象和可被应用于预览的滤波器的视觉反馈。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输出的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在框1714处,第一输入是在第一标准(例如,一组照明效果应用标准)得到满足时接收到的输入,其中第一标准包括要求在距电子设备(例如,1600)的预先确定的距离内的视场中检测到被摄体以便第一标准得到满足。其他标准包括以下中的一者或多者:第一相机的焦距超过最小距离阈值;第一相机的焦距不超过最大距离阈值;在距设备的预先确定的最小距离之外检测到被摄体;所检测到的光的量超过最小光阈值;所检测到的光的量不超过最大光阈值。在一些实施方案中,如果第一标准未得到满足,则放弃应用第一照明效果或第二照明效果。在接收到第一输入时确定被摄体在预先确定的距离内时应用照明效果为用户提供了对象已正确定位使得可利用滤波器实现最佳(或近最佳)效果的视觉反馈。类似地,在被摄体不在预先确定的距离内时不应用照明效果向用户提供了被摄体未正确定位的反馈,并向用户指示需要纠正措施。提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输入的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在框1716处,第一输入是在第一标准未得到满足时接收到的输入,其中第一标准包括要求在距电子设备(例如,1600)的预先确定的距离内的视场中检测到被摄体以便第一标准得到满足;该方法包括:在不将第一外观变化应用于实时预览的情况下显示实时预览之后,检测第一标准已经得到满足;以及响应于检测到第一标准已经得到满足,将第一外观变化应用于实时预览。在一些实施方案中,该组中的其他条件包括以下中的一者或多者:第一相机的焦距超过最小距离阈值;第一相机的焦距不超过最大距离阈值;在距设备的预先确定的最小距离之外检测到被摄体;所检测到的光的量超过最小光阈值;所检测到的光的量不超过最大光阈值。在一些实施方案中,如果第一标准未得到满足,则放弃应用第一照明效果或第二照明效果。在第一标准得到满足时应用照明效果为用户提供了照明效果应用标准已得到满足(例如,被摄体正确定位)并且可利用滤波器来实现最佳(或近最佳)效果的视觉反馈。类似地,在第一标准未得到满足时不应用照明效果向用户提供了第一标准未得到满足的反馈,并且向用户指示需要纠正措施。提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输入的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在框1710处,在显示器(例如,1604)上显示图像数据的表示时,电子设备(例如,1600)任选地执行框1718至1742的技术。
在一些实施方案中,在框1718处,响应于检测到第一输入,电子设备(例如,1600)准备使用相应滤波器来捕获图像数据。
在一些实施方案中,在框1720处,根据确定相应照明效果是第一照明效果(例如,舞台光,或包括背景去除的另一照明效果),电子设备(例如,1600)显示用于第一照明效果的捕获用户界面(例如,对准引导件(例如,1640)),当该一个或多个相机的视场中的被摄体满足第一标准(例如,照明效果应用标准)时,该第一照明效果使得图像数据的表示的一部分的外观发生第一变化(例如,对准用户界面在第一标准得到满足时改变外观)。
在一些实施方案中,在框1722处,根据确定相应照明效果是第二照明效果(例如,自然光、摄影室灯光或轮廓光,或不包括背景去除的另一照明效果),电子设备(例如,1600)显示用于第二照明效果的捕获用户界面,当该一个或多个相机的视场中的被摄体满足第一标准(例如,照明效果应用标准)时,该第二照明效果使得图像数据的表示的一部分的外观发生第二变化。(例如,3D照明效果的预览)。
在一些实施方案中,在框1724处,显示用于第一照明效果的捕获用户界面包括同时显示:图像数据的表示;以及对准引导件(例如,1640)(例如,圆形、椭圆形、六边形),该对准引导件显示在图像数据的表示内的第一区域处,并且其中第一标准包括要求在图像数据的表示中显示的被摄体的面部的表示在对准引导件(例如,1640)内以便第一标准得到满足。在一些实施方案中,对准引导件(例如,1640)覆盖在图像数据的表示上。在一些实施方案中,用户将其身体的一部分(例如,面部)对准在对准引导件(例如,1640)内。在一些实施方案中,被摄体的面部与对准引导件(例如,1640)的周边基本上对准。在一些实施方案中,在一些模式(例如,人像模式、摄影室灯光模式)期间不显示对准引导件(例如,1640)。在一些实施方案中,对准引导件(例如,1640)定位在实时预览的中心。在一些实施方案中,对准引导件(例如,1640)偏离中心定位。在一些实施方案中,如果检测到多个被摄体,则在实时预览中显示多个对准引导件。在图像数据的表示内显示对准引导件(例如,1640)向用户提供了关于在何处定位被摄体面部以便捕获具有期望光学效果的图像的视觉反馈。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输出的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在框1726处,第一标准包括要求在图像数据的表示内的第一区域中检测到被摄体的面部的表示(例如,当在实时预览中的对准引导件(例如,1640)内检测到用户面部时)以便第一标准得到满足。
在一些实施方案中,在框1728处,将第一外观变化应用于图像数据包括:与在图像数据的表示内的第一区域中显示的图像数据的表示的外观相比,改变在图像数据的表示内的第二区域(例如,在对准引导件(例如,1640)之外)中显示的图像数据的表示的外观,其中第二区域不同于第一区域(例如,不与其重叠,与其分开)。在一些实施方案中,与在第一区域中显示的图像数据的表示相比改变在第二区域中显示的图像数据的表示的外观包括将滤波器(例如,对准滤波器)应用于第二区域。在一些实施方案中,不将对准滤波器应用于第一区域。在一些实施方案中,将对准滤波器均匀地应用于对准引导件(例如,1640)之外的区域。在一些实施方案中,对准滤波器的强度逐渐变化(例如,与如何在对准引导件(例如,1640)的边缘附近应用对准滤波器相比,越靠近实时预览的边缘,就越暗/越亮)。在一些实施方案中,对准滤波器是奇异光学效果(例如,散景、饱和度、颜色)。在一些实施方案中,对准滤波器包括多个光学效果(例如,散景、饱和度、颜色)(例如,是它们的组合)。在一些实施方案中,多个光学效果中的每一者被不同地应用于实时预览的不同部分。
在一些实施方案中,在框1732至1742处,电子设备(例如,1600)确定第一标准未得到满足;并且响应于确定第一标准未得到满足(例如,在距电子设备(例如,1600)的预先确定的距离内的视场中未检测到被摄体;在对准引导件(例如,1640)内未对准面部):停止将第一外观变化应用于图像数据的表示;在显示器(例如,1604)上显示图像数据的表示(例如,1606),而不应用第一外观变化(例如,未应用滤波器或部分地应用滤波器的未改变图像);并且在显示器(例如,1604)上显示未得到满足的照明条件应用标准的图形指示。在一些实施方案中,设备显示用于使面部置于对准引导件(例如,1640)内(例如,移动得更靠近、移动得更远)的指令。在一些实施方案中,当条件再次得到满足时,再次重新应用滤波器。
在框1710处,当在显示器(例如,1604)上显示图像数据的表示时,电子设备(例如,1600)进一步执行框1744至1750的技术。
在框1744处,在检测到第一输入之后,电子设备(例如,1600)检测第二输入(例如,1636)(例如,轻扫、轻击并保持、轻击、按钮按压;手势可位于表示快门按钮的图标的顶部上),该第二输入与请求捕获对应于一个或多个相机的视场的图像数据对应。
在框1746处,根据确定基于第一输入选择的相应照明效果是第一照明效果(例如,自然光、摄影室灯光、轮廓光、舞台光、单色舞台光中的一者或多者,如下文在段落[0499]中更详细地描述的),在框1748处,电子设备(例如,1600)捕获与一个或多个相机的视场对应的图像数据,并将第一照明效果与图像数据的表示(例如,1606)相关联(例如,将第一照明效果应用于图像数据、准备将第一照明效果应用于图像数据、或者将所捕获的图像数据标记为当请求查看图像数据时默认要对其应用第一照明效果的图像数据),其中第一照明效果基于深度图信息;以及(例如,基于深度传感器的测量结果或基于从不同位置同时拍摄的两个图像之间的视差映射)。将基于深度图信息的第一照明效果与图像数据的表示(例如,1606)相关联为用户提供了关于深度图信息的附加视觉反馈。例如,第一照明效果可包括处于不同位置处、具有不同强度、或者具有不同类型(定向、环境、点)的一个或多个光源,这些光源为用户提供了关于与深度图信息对应的对象的特殊取向的反馈。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输出的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在框1750处,根据确定基于第一输入选择的相应照明效果是不同于第一照明效果的第二照明效果(例如,自然光、摄影室灯光、轮廓光、舞台光、单色舞台光中的一者或多者,如下文在段落[0499]中更详细地描述的),电子设备(例如,1600)捕获与一个或多个相机的视场对应的图像数据,并将第二照明效果与图像数据的表示(例如,1606)相关联(例如,将第二照明效果应用于图像数据、准备将第二照明效果应用于图像数据、或者将所捕获的图像数据标记为当请求查看图像数据时默认要对其应用第二照明效果的图像数据),其中第二照明效果基于深度图信息。(例如,基于深度传感器的测量结果或基于从不同位置同时拍摄的两个图像之间的视差映射)。将基于深度图信息的第二照明效果与图像数据的表示(例如,1606)相关联为用户提供了关于深度图信息的附加视觉反馈。例如,第二照明效果可包括处于不同位置处、具有不同强度、或者具有不同类型(定向、环境、点)的一个或多个光源,这些光源为用户提供了关于与深度图信息对应的对象的特殊取向的反馈。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输出的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在框1752处,在捕获与一个或多个相机的视场对应的图像数据之后,电子设备(例如,1600)接收用于显示响应于第二输入(例如,选择相机胶卷示能表示(例如,1634)或激活照片查看器应用程序)而捕获的图像数据的请求。
在框1754至1758处,响应于接收到用于显示响应于第二输入(例如,响应于快门示能表示正在被激活)而捕获的图像数据的请求:根据确定在选择第一照明效果时捕获了图像数据,电子设备(例如,1600)在应用了第一照明效果的情况下显示图像数据的表示(例如,1606)(例如,在应用了舞台光滤波器的情况下显示图像数据的表示);并且根据确定在选择第二照明效果(例如,不是舞台光)时捕获了图像数据,电子设备(例如,1600)在应用了第二照明效果的情况下显示图像数据表示(例如,1606)。
在一些实施方案中,显示用于第一照明效果的捕获用户界面包括:电子设备(例如,1600)向在数字取景器(例如,1610)中显示的图像数据的表示应用占位滤波器(调暗或去饱和背景),其中占位滤波器基于第一照明效果并且在不考虑第一标准是否得到满足的情况下被应用。应用占位滤波器使得到照明滤波器的过渡更加平滑、更直观(更不容易令人混淆)。在不考虑第一标准是否得到满足的情况下应用占位滤波器为用户提供了关于与取景器内容对应的深度图的视觉反馈,例如,图像的哪些部分与背景(例如,1609)中的深度图的部分对应,与前景相比(例如,1608)相比。提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输入的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,响应于第一输入,电子设备(例如,1600)向实时预览应用占位滤波器(例如,调暗或去饱和背景),而不向实时预览应用第一外观变化;并且响应于检测到第一标准已经得到满足,电子设备(例如,1600)将第一外观变化应用于实时预览,同时继续将占位滤波器应用于实时预览(例如,占位滤波器是第一照明效果的一部分,该部分不考虑到深度图信息,并因此在不考虑第一标准是否已得到满足的情况下被显示)。在不考虑第一标准是否得到满足的情况下应用占位滤波器向用户提供了关于与取景器内容对应的深度图的视觉反馈,例如,与前景(例如,1608)相比,图像的哪些部分与背景(例如,1609)中的深度图的部分对应。提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输入的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在显示图像数据的表示时,电子设备(例如,1600)在显示器(例如,1604)上显示图像数据包括深度图信息的视觉指示(例如,1638)。(例如,任选地显示“人像模式”徽章以指示深度图信息的可用性)。
在一些实施方案中,电子设备(例如,1600)应用第一照明效果或第二照明效果包括:基于与图像数据相关联的深度图信息,向在数字取景器(例如,1610)中显示的图像数据的表示应用对空间中的一个或多个点光源的模拟。照明选项包括自然光、摄影室灯光、轮廓光、舞台光和单色舞台光。不同的照明效果基于图像数据的深度图对空间中的一个或多个点光源的结果进行建模(例如,模拟)。自然照明选项不向图像应用合成照明(例如,显示原始图像或显示原始图像的一部分,并对原始效果的不同部分应用模糊以模拟散景效果)。摄影室照明效果包括对围绕被摄体定位的多个离散点光源进行建模(例如,形成明亮的填充光效果)。轮廓照明效果包括对定位在被摄体周围的较少点处的多个离散点光源进行建模,以在被摄体面部上形成阴影(例如,形成瘦身效果,在被摄体面部的一侧上和/或在被摄体的颏部上方形成阴影)。舞台光照明效果包括对定位在被摄体上方的单个离散点光源进行建模(例如,形成聚光灯效果)。单色舞台光照明效果包括以黑色和白色对定位在被摄体上方周围的单个离散点光源进行建模(例如,形成黑色和白色的聚光灯效果)。在一些实施方案中,照明滤波器模拟点光源。在一些实施方案中,当第一标准得到满足时,照明效果突然出现,如上文更详细地描述的。在一些实施方案中,如果系统检测到面部,则在应用照明效果时考虑面部特征。因此,照明效果基于被摄体的特定面部特征和面部形状来改变图像数据的表示的外观。应用点光源的模拟为用户提供了深度图信息的内容的视觉表示,并使设备能够为用户提供关于相机的视场中的对象的形状和深度位置的视觉反馈。提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输入的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。向在取景器(例如,1610)中显示的图像数据的表示应用对一个或多个点光源的模拟使得生成在不需要外部照明设备的情况下模拟使用外部照明设备的照明效果。在不需要外部照明设备的情况下生成这些照明效果减少了生成具有指定照明效果的图像所需的设备的尺寸和成本。
在一些实施方案中,在应用第一照明效果时,电子设备(例如,1600)保持先前应用的视觉效果的至少一个值。(例如,散景、照明)。因此,能够在图像数据的一个表示中实现光效果和散景效果。
在一些实施方案中,先前应用的视觉效果是滤色器。
在一些实施方案中,第二输入是在将第一照明效果应用于图像数据的表示(例如,1606)时接收到的输入,并且其中,应用第二照明效果包括:在第一照明效果和应用第二照明效果之间逐渐过渡。在一些实施方案中,逐渐过渡包括:在第一时间处,一开始为100%、其后为0%;在第二时间处,一开始为90%、其后为10%;等等。照明效果之间的逐渐过渡减少了因滤波器闪开/闪关而使用户分心的情况,从而使用户专注于拍摄期望照片,减少捕获期望照片所需的输入的数量,减少存储照片的内存需求。减少捕获期望图像所需的输入的数量并减少内存需求增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
需注意,上文相对于方法1700所述的过程(例如,图17A至图17G)的详情也以类似方式适用于上文所述的方法。例如,方法700、900、1100、1300和1500任选地包括上文参考方法1700所述的各种方法的一个或多个特征。例如,可对来自各种方法的滤波器用户界面、示能表示和控件的元素进行组合。对于另一示例,方法1700中的取景器类似于方法700、900、1100、1300和1500中的取景器。对于另一示例,方法700中所述的第一滤波器的预览可显示在显示器(例如,1604)上。对于另一示例,如方法900中所述的将第一照明效果应用于图像数据表示的结果可显示在显示器(例如,1604)上。对于另一示例,如方法1100中所述的将第一图像滤波器应用于图像数据的前景区域的结果可显示在显示器(例如,1604)上。对于另一示例,如方法1300中所述的显示包括一组滤波器中的多个滤波器的表示的滤波器选择界面也可被显示在显示器(例如,1604)上。对于另一示例,如方法1500中所述的显示对准引导件也可被显示在显示器(例如,1604)上。为简明起见,这些细节不再重复。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实现,该信息处理装置诸如为通用处理器(例如,如相对于图1A、图3、图5A所描述的)或特定于应用的芯片。此外,上文参考图17A至图17G描述的操作任选地由图1A至图1B中所描绘的部件来实现。例如,显示操作1702、检测操作1712、显示操作1720、显示操作1722、显示操作1724和应用操作1728任选地由事件分类器170、事件识别器180和事件处理程序190来实现。事件分类器170中的事件监视器171检测在触敏显示器604上的接触,并且事件分配器模块174将事件信息递送到应用程序136-1。应用程序136-1的相应事件识别器180将事件信息与相应事件定义186进行比较,并且确定触敏表面上第一位置处的第一接触是否与预定义的事件或子事件对应,预定义的事件或子事件诸如为对用户界面上的对象的选择。当检测到相应的预定义的事件或子事件时,事件识别器180激活与对该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地利用或调用数据更新器176或对象更新器177来更新应用内部状态192。在一些实施方案中,事件处理程序190访问相应GUI更新器178来更新应用程序所显示的内容。类似地,本领域的普通技术人员会清楚地知道可如何基于图1A至图1B中描绘的部件来实现其他过程。
出于解释的目的,前面的描述是通过参考具体实施方案来描述的。然而,上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容,很多修改形式和变型形式都是可能的。选择并描述这些实施方案是为了最好地解释这些技术的原理及其实际应用程序。本领域的其他技术人员由此能够最好地利用这些技术以及具有适合于所预期的特定用途的各种修改的各种实施方案。
虽然参照附图对本公开以及示例进行了全面的描述,但应当注意,各种变化和修改对于本领域内的技术人员而言将变得显而易见。应当理解,此类变化和修改被认为被包括在由权利要求书所限定的本公开和示例的范围内。
如上所述,本公开技术的一个方面在于采集和使用得自各种来源的数据,以改进向用户递送其可能感兴趣的启发内容或任何其他内容。本公开预期,在一些实例中,这些所采集的数据可包括唯一地识别或可用于联系或定位特定人员的个人信息数据。此类个人信息数据可包括人口数据、基于位置的数据、电话号码、电子邮件地址、家庭地址或任何其他识别信息。
本公开认识到在本公开技术中使用此类个人信息数据可用于使用户受益。例如,该个人信息数据可用于递送用户较感兴趣的目标内容。因此,使用此类个人信息数据使得能够对所递送的内容进行有计划的控制。此外,本公开还预期个人信息数据有益于用户的其他用途。
本公开还设想负责此类个人信息数据的收集、分析、公开、传输、存储或其他用途的实体将遵守已确立的隐私政策和/或隐私做法。具体地,此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。例如,来自用户的个人信息应当被收集用于实体的合法且合理的用途,并且不在这些合法用途之外共享或出售。另外,此类收集应当仅在用户知情同意之后进行。另外,此类实体应采取任何所需的步骤,以保障和保护对此类个人信息数据的访问,并且确保能够访问个人信息数据的其他人遵守他们的隐私政策和程序。另外,这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。
不管前述情况如何,本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件,以防止或阻止对此类个人信息数据的访问。例如,就广告递送服务而言,本公开技术可被配置为在注册服务期间允许用户选择“加入”或“退出”参与对个人信息数据的收集。又如,用户可选择不为目标内容递送服务提供位置信息。再如,用户可选择不提供精确的位置信息,但准许传输位置区域信息。
因此,虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案,但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即,本公开技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如,可通过基于非个人信息数据或绝对最小量的个人信息诸如与用户相关联的设备所请求的内容、对内容递送服务可用的其他非个人信息或公开可用信息来推断偏好,从而选择内容并递送至用户。

Claims (15)

1.一种方法,包括:
在具有一个或多个输入设备、一个或多个相机(602、603)和显示器的电子设备(1600)处:
在所述显示器上显示与深度图信息相关联的图像数据的表示,其中所述图像数据的所述表示是在数字取景器中显示的所述一个或多个相机的视场内捕获的图像数据的实时预览;
当在所述显示器上显示所述图像数据的所述表示(1606)时:
经由所述一个或多个输入设备检测第一输入,所述第一输入选择基于所述深度图信息的多个预先确定的照明效果(1614A-1614F)的相应滤波器,其中来自所述多个预先确定的照明效果的第一照明效果模拟相对于图像数据的所述表示内的被摄体(1608)处于第一位置的至少一个光源,并且其中来自所述多个预先确定的照明效果的第二照明效果模拟相对于图像数据的所述表示内的所述被摄体(1608)处于不同于所述第一位置的第二位置的至少一个光源,并且其中所述第一输入是在第一标准得到满足时接收到的输入,其中所述第一标准包括要求在所述视场中距所述电子设备的预先确定的距离内检测到被摄体(1608)以便所述第一标准得到满足;
响应于检测到所述第一输入,准备使用所述相应滤波器捕获图像数据,包括:
根据确定相应照明效果是所述第一照明效果,显示用于所述第一照明效果的捕获用户界面,当所述一个或多个相机的所述视场中的被摄体(1608)满足所述第一标准时,所述第一照明效果导致所述图像数据的所述表示的一部分的第一外观变化;以及
根据确定相应照明效果是所述第二照明效果,显示用于所述第二照明效果的捕获用户界面,当所述一个或多个相机的所述视场中的被摄体(1608)满足所述第一标准时,所述第二照明效果导致所述图像数据的所述表示的一部分的第二外观变化;
其中显示用于所述第一照明效果的所述捕获用户界面包括同时显示:
所述图像数据的所述表示;以及
在所述图像数据的所述表示内的第一区域处显示的对准引导件(1640),并且其中所述第一标准包括要求在所述图像数据的所述表示中显示的所述被摄体(1608)的面部的表示在所述对准引导件内以便所述第一标准得到满足;
在检测到所述第一输入之后,检测第二输入,所述第二输入与要捕获与所述一个或多个相机的视场对应的图像数据的请求对应;以及
响应于检测到所述第二输入,捕获与所述一个或多个相机的视场对应的图像数据,包括:
根据确定基于所述第一输入而选择的相应照明效果是第一照明效果,捕获与所述一个或多个相机的视场对应的图像数据并将所述第一照明效果与图像数据的所述表示相关联,其中所述第一照明效果基于所述深度图信息;以及
根据确定基于所述第一输入而选择的相应照明效果是不同于所述第一照明效果的第二照明效果,捕获与所述一个或多个相机的视场对应的图像数据并将所述第二照明效果与图像数据的所述表示相关联,其中所述第二照明效果基于所述深度图信息。
2.根据权利要求1所述的方法,其中:
其中所述第一标准包括要求所述被摄体的面部的表示在所述图像数据的所述表示内的第一区域中被检测到以便所述第一标准得到满足;以及
将所述第一外观变化应用于所述图像数据包括:与在所述图像数据的所述表示内的第一区域中显示的所述图像数据的所述表示的外观相比,改变在所述图像数据的所述表示内的第二区域中显示的所述图像数据的所述表示的外观,其中所述第二区域不同于所述第一区域。
3.根据权利要求1-2中任一项所述的方法,其中显示用于所述第一照明效果的所述捕获用户界面包括:
向在所述数字取景器中显示的所述图像数据的所述表示应用占位滤波器,其中所述占位滤波器基于所述第一照明效果并且在不考虑所述第一标准是否得到满足的情况下被应用。
4.根据权利要求3所述的方法,还包括,其中显示用于所述第一照明效果的所述捕获用户界面包括,当正在将所述第一外观变化应用于图像数据的所述表示时:
确定所述第一标准未得到满足;以及
响应于确定所述第一标准未得到满足:
停止将所述第一外观变化应用于图像数据的所述表示;
在所述显示器上显示图像数据的所述表示,而不应用第一外观变化;以及
在所述显示器上显示未得到满足的所述第一标准的图形指示。
5.根据权利要求1所述的方法,包括:
响应于所述第一输入,向所述实时预览应用占位滤波器,而不将所述第一外观变化应用于所述实时预览;以及
响应于检测到所述第一标准已经得到满足,将所述第一外观变化应用于所述实时预览,同时继续向所述实时预览应用所述占位滤波器。
6.根据权利要求1所述的方法,包括:
在捕获与所述一个或多个相机的所述视场对应的图像数据之后,接收要显示响应于所述第二输入而捕获的图像数据的请求;以及
响应于接收到要显示响应于所述第二输入而捕获的图像数据的所述请求:
根据确定所述图像数据在所述第一照明效果被选择时被捕获,在应用所述第一照明效果的情况下显示图像数据的所述表示;以及
根据确定所述图像数据在所述第二照明效果被选择时被捕获,在应用所述第二照明效果的情况下显示图像数据的所述表示。
7.根据权利要求6所述的方法,还包括:
当显示图像数据的所述表示时,在所述显示器上显示所述图像数据包括深度图信息的视觉指示。
8.根据权利要求1-7中任一项所述的方法,其中与所述图像数据相关联的所述深度图信息包括与至少三个不同深度水平对应的信息。
9.根据权利要求1-8中任一项所述的方法,其中与所述图像数据相关联的所述深度图信息包括标识所述图像数据的所述表示中的对象的深度轮廓的信息;以及
所述照明效果基于所述对象的所述轮廓的位置和曲率来改变所述图像数据的所述表示的所述外观。
10.根据权利要求1-9中任一项所述的方法,其中应用所述第一照明效果或所述第二照明效果包括:
基于与所述图像数据相关联的所述深度图信息,向在所述取景器中显示的所述图像数据的所述表示应用对空间中的一个或多个点光源的模拟。
11.根据权利要求1-10中任一项所述的方法,还包括:
在应用所述第一照明效果时,保持先前应用的视觉效果的至少一个值。
12.根据权利要求11所述的方法,其中所述先前应用的视觉效果是滤色器。
13.根据权利要求1-12中任一项所述的方法,其中与要捕获与所述一个或多个相机的视场对应的图像数据的请求对应的所述第二输入是在正将所述第一照明效果应用于图像数据的所述表示时接收到的输入,并且其中将所述第二照明效果进行关联包括:
在所述第一照明效果和应用所述第二照明效果之间逐渐地过渡。
14.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由具有一个或多个输入设备、一个或多个相机和显示器的电子设备的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求1-13中任一项所述的方法的指令。
15.一种电子设备,包括:
一个或多个输入设备;
一个或多个相机;
显示器;
一个或多个处理器;以及
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求1-13中任一项所述的方法的指令。
CN202210063070.6A 2017-06-04 2018-01-26 用户界面相机效果 Active CN114415906B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210063070.6A CN114415906B (zh) 2017-06-04 2018-01-26 用户界面相机效果

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US201762514947P 2017-06-04 2017-06-04
US62/514,947 2017-06-04
DKPA201770563 2017-07-10
DKPA201770563A DK201770563A1 (en) 2017-06-04 2017-07-10 USER INTERFACE CAMERA EFFECTS
US201762556414P 2017-09-09 2017-09-09
US62/556,414 2017-09-09
DKPA201770719 2017-09-22
DKPA201770719A DK180859B1 (en) 2017-06-04 2017-09-22 USER INTERFACE CAMERA EFFECTS
US15/728,147 US10528243B2 (en) 2017-06-04 2017-10-09 User interface camera effects
US15/728,147 2017-10-09
PCT/US2018/015591 WO2018226264A1 (en) 2017-06-04 2018-01-26 User interface camera effects
CN201880036400.4A CN111034164A (zh) 2017-06-04 2018-01-26 用户界面相机效果
CN202210063070.6A CN114415906B (zh) 2017-06-04 2018-01-26 用户界面相机效果

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201880036400.4A Division CN111034164A (zh) 2017-06-04 2018-01-26 用户界面相机效果

Publications (2)

Publication Number Publication Date
CN114415906A true CN114415906A (zh) 2022-04-29
CN114415906B CN114415906B (zh) 2023-08-01

Family

ID=64459659

Family Applications (5)

Application Number Title Priority Date Filing Date
CN202111323807.5A Active CN113821140B (zh) 2017-06-04 2018-01-26 用户界面相机效果
CN202310883061.6A Pending CN116661666A (zh) 2017-06-04 2018-01-26 用户界面相机效果
CN202210063070.6A Active CN114415906B (zh) 2017-06-04 2018-01-26 用户界面相机效果
CN202010218168.5A Active CN111399734B (zh) 2017-06-04 2018-01-26 用户界面相机效果
CN201880036400.4A Pending CN111034164A (zh) 2017-06-04 2018-01-26 用户界面相机效果

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202111323807.5A Active CN113821140B (zh) 2017-06-04 2018-01-26 用户界面相机效果
CN202310883061.6A Pending CN116661666A (zh) 2017-06-04 2018-01-26 用户界面相机效果

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202010218168.5A Active CN111399734B (zh) 2017-06-04 2018-01-26 用户界面相机效果
CN201880036400.4A Pending CN111034164A (zh) 2017-06-04 2018-01-26 用户界面相机效果

Country Status (7)

Country Link
US (4) US10528243B2 (zh)
EP (3) EP4287606A2 (zh)
JP (2) JP7033152B2 (zh)
KR (5) KR102596399B1 (zh)
CN (5) CN113821140B (zh)
AU (3) AU2022218463B2 (zh)
DK (1) DK180859B1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024041417A1 (zh) * 2022-08-23 2024-02-29 脸萌有限公司 信息显示方法、装置、电子设备及存储介质

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11681422B2 (en) * 2010-02-16 2023-06-20 John W. Rowles Methods for a user selectable digital mirror
US9854156B1 (en) 2016-06-12 2017-12-26 Apple Inc. User interface for camera effects
WO2017222522A1 (en) * 2016-06-22 2017-12-28 Intel Corporation Image/video capturing method and apparatus
JP1588677S (zh) * 2016-09-08 2017-10-23
USD860244S1 (en) * 2016-09-08 2019-09-17 Canon Kabushiki Kaisha Display screen with animated graphical user interface
USD820303S1 (en) 2016-10-27 2018-06-12 Apple Inc. Display screen or portion thereof with graphical user interface
USD815137S1 (en) * 2016-10-27 2018-04-10 Apple Inc. Display screen or portion thereof with graphical user interface
KR102316024B1 (ko) * 2017-03-02 2021-10-26 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 사용자 인터페이스 표시 방법
USD819077S1 (en) * 2017-06-04 2018-05-29 Apple Inc. Display screen or portion thereof with icon
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
USD908728S1 (en) * 2017-08-22 2021-01-26 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
USD851111S1 (en) * 2017-09-09 2019-06-11 Apple Inc. Electronic device with graphical user interface
US11848899B2 (en) * 2017-11-17 2023-12-19 Ip Investment Holdings, Llc Electronic reader and method of operation
US10463307B2 (en) 2018-01-12 2019-11-05 The Aga Khan University Anatomical-imaging communication device
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
USD847847S1 (en) * 2018-03-05 2019-05-07 Gaming and Content, LLC Display screen with graphical user interface
USD847846S1 (en) * 2018-03-05 2019-05-07 Gaming and Content, LLC Display screen with graphical user interface
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
CN108765537A (zh) * 2018-06-04 2018-11-06 北京旷视科技有限公司 一种图像的处理方法、装置、电子设备和计算机可读介质
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
USD998631S1 (en) 2018-10-11 2023-09-12 Masimo Corporation Display screen or portion thereof with a graphical user interface
US11406286B2 (en) 2018-10-11 2022-08-09 Masimo Corporation Patient monitoring device with improved user interface
USD998630S1 (en) 2018-10-11 2023-09-12 Masimo Corporation Display screen or portion thereof with a graphical user interface
USD999246S1 (en) 2018-10-11 2023-09-19 Masimo Corporation Display screen or portion thereof with a graphical user interface
USD916135S1 (en) 2018-10-11 2021-04-13 Masimo Corporation Display screen or portion thereof with a graphical user interface
USD917550S1 (en) 2018-10-11 2021-04-27 Masimo Corporation Display screen or portion thereof with a graphical user interface
USD917564S1 (en) 2018-10-11 2021-04-27 Masimo Corporation Display screen or portion thereof with graphical user interface
US11218639B1 (en) * 2018-10-12 2022-01-04 Staples, Inc. Mobile interface for marking and organizing images
USD917529S1 (en) * 2018-10-23 2021-04-27 Yoox Net-A-Porter Group Spa Display screen with graphical user interface
US11146763B1 (en) * 2018-10-31 2021-10-12 Snap Inc. Artistic and other photo filter light field effects for images and videos utilizing image disparity
USD920373S1 (en) * 2018-12-21 2021-05-25 Mitsubishi Electric Corporation Display screen with graphical user interface
USD916890S1 (en) * 2018-12-31 2021-04-20 Andritz Inc. Display panel portion with a computer icon
KR102633221B1 (ko) * 2019-01-11 2024-02-01 엘지전자 주식회사 카메라 장치 및 이를 구비하는 전자 장치
CN111541840B (zh) * 2019-02-06 2022-03-22 佳能株式会社 确定照明效果候选的信息处理设备、方法及存储介质
USD956772S1 (en) * 2019-02-18 2022-07-05 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
USD915446S1 (en) * 2019-02-19 2021-04-06 Beijing Xiaomi Mobile Software Co., Ltd. Mobile phone with animated graphical user interface
EP3700190A1 (en) * 2019-02-19 2020-08-26 Samsung Electronics Co., Ltd. Electronic device for providing shooting mode based on virtual character and operation method thereof
USD915452S1 (en) * 2019-03-29 2021-04-06 Snap Inc. Display screen or portion thereof with a graphical user interface
USD914744S1 (en) * 2019-03-29 2021-03-30 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
USD913315S1 (en) * 2019-05-31 2021-03-16 Apple Inc. Electronic device with graphical user interface
USD956775S1 (en) * 2019-10-02 2022-07-05 Meta Platforms, Inc. Display screen with a graphical user interface
USD927510S1 (en) * 2019-10-21 2021-08-10 Troutwood, LLC Display screen or portion thereof with animated graphical user interface
USD928181S1 (en) * 2019-10-21 2021-08-17 Troutwood, LLC Display screen or portion thereof with animated graphical user interface
USD938442S1 (en) * 2020-03-20 2021-12-14 Vyaire Medical, Inc. Display screen with graphical user interface for communicating health-related messages regarding ventilated patients
USD967155S1 (en) * 2020-03-26 2022-10-18 Panasonic Intellectual Property Corporation Of America Display screen with graphical user interface
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
USD938982S1 (en) * 2020-06-12 2021-12-21 China-Germany(Zhuhai)Artificial Intelligence Institute Co., Ltd Mobile device with graphical user interface for shooting, modeling, and editing of scenes
US20210397751A1 (en) * 2020-06-19 2021-12-23 Apple Inc. Software initiated camera and microphone indicator
USD1024115S1 (en) * 2020-09-11 2024-04-23 Google Llc Display screen of portion thereof with a transitional graphical user interface
CN112153288B (zh) * 2020-09-25 2023-10-13 北京字跳网络技术有限公司 用于发布视频或图像的方法、装置、设备和介质
US11212449B1 (en) * 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
CN112114925B (zh) * 2020-09-25 2021-09-21 北京字跳网络技术有限公司 用于用户引导的方法、装置、设备和存储介质
USD977505S1 (en) * 2020-10-12 2023-02-07 Apple Inc. Display screen or portion thereof with animated graphical user interface
CN112689088A (zh) * 2020-12-21 2021-04-20 维沃移动通信(杭州)有限公司 图像显示方法、装置和电子设备
USD992593S1 (en) * 2021-01-08 2023-07-18 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD1023040S1 (en) * 2021-03-22 2024-04-16 Hyperconnect Inc. Display screen or portion thereof with transitional graphical user interface
USD983819S1 (en) * 2021-03-26 2023-04-18 Beijing Xiaomi Mobile Software Co., Ltd. Display screen or portion thereof with graphical user interface
US11893668B2 (en) 2021-03-31 2024-02-06 Leica Camera Ag Imaging system and method for generating a final digital image via applying a profile to image information
USD1013716S1 (en) * 2021-04-01 2024-02-06 Instasize, Inc. Display screen or portion thereof with a graphical user interface
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11845347B2 (en) 2021-05-12 2023-12-19 David Alan Copeland Precision charging control of an untethered vehicle with a modular vehicle charging roadway
US20220382440A1 (en) * 2021-06-01 2022-12-01 Apple Inc. User interfaces for managing media styles

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060228040A1 (en) * 2003-02-28 2006-10-12 Simon Richard A Method and system for enhancing portrait image that are processed in a batch mode
US8405680B1 (en) * 2010-04-19 2013-03-26 YDreams S.A., A Public Limited Liability Company Various methods and apparatuses for achieving augmented reality
US20130222663A1 (en) * 2012-02-24 2013-08-29 Daniel Tobias RYDENHAG User interface for a digital camera
US20150067513A1 (en) * 2012-05-09 2015-03-05 Apple Inc. Device, Method, and Graphical User Interface for Facilitating User Interaction with Controls in a User Interface
US9001226B1 (en) * 2012-12-04 2015-04-07 Lytro, Inc. Capturing and relighting images using multiple devices
US20150109417A1 (en) * 2013-10-21 2015-04-23 Nokia Corporation Method, apparatus and computer program product for modifying illumination in an image
US20150208001A1 (en) * 2013-09-03 2015-07-23 Olympus Corporation Imaging device, imaging method, and program
CN104903834A (zh) * 2012-12-29 2015-09-09 苹果公司 用于在触摸输入到显示输出关系之间过渡的设备、方法和图形用户界面
JP2015180987A (ja) * 2014-03-03 2015-10-15 株式会社東芝 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US20160307324A1 (en) * 2015-04-15 2016-10-20 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data
US20160366323A1 (en) * 2015-06-15 2016-12-15 Mediatek Inc. Methods and systems for providing virtual lighting
US20170061635A1 (en) * 2015-08-27 2017-03-02 Lytro, Inc. Depth-based application of image effects

Family Cites Families (763)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3859005A (en) 1973-08-13 1975-01-07 Albert L Huebner Erosion reduction in wet turbines
JPS58190931A (ja) 1982-04-30 1983-11-08 Olympus Optical Co Ltd オ−トストロボの露光適否表示装置
US4826405A (en) 1985-10-15 1989-05-02 Aeroquip Corporation Fan blade fabrication system
JPH0812318B2 (ja) 1988-02-19 1996-02-07 富士写真光機株式会社 カメラの夜景撮影装置
SU1610470A1 (ru) 1988-12-05 1990-11-30 Предприятие П/Я Г-4046 Устройство дл контрол работы видоискател - дальномера фотоаппарата
JPH02179078A (ja) 1988-12-28 1990-07-12 Olympus Optical Co Ltd 電子カメラ
US5557358A (en) 1991-10-11 1996-09-17 Minolta Camera Kabushiki Kaisha Camera having an electronic viewfinder for displaying an object image under different photographic conditions
US5463443A (en) 1992-03-06 1995-10-31 Nikon Corporation Camera for preventing camera shake
JP2813728B2 (ja) 1993-11-01 1998-10-22 インターナショナル・ビジネス・マシーンズ・コーポレイション ズーム/パン機能付パーソナル通信機
US6891563B2 (en) 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
JPH09116792A (ja) 1995-10-19 1997-05-02 Sony Corp 撮像装置
JPH09198224A (ja) 1995-11-13 1997-07-31 Internatl Business Mach Corp <Ibm> グラフィカル・ユーザ・インターフェース内で値を指定する方法および装置
US6621524B1 (en) 1997-01-10 2003-09-16 Casio Computer Co., Ltd. Image pickup apparatus and method for processing images obtained by means of same
US6262769B1 (en) 1997-07-31 2001-07-17 Flashpoint Technology, Inc. Method and system for auto rotating a graphical user interface for managing portrait and landscape images in an image capture unit
KR100595917B1 (ko) 1998-01-26 2006-07-05 웨인 웨스터만 수동 입력 통합 방법 및 장치
US6148113A (en) 1998-02-03 2000-11-14 Micrografx, Inc. System for stimulating the depth of field of an image in two dimensional space and method of operation
JPH11355617A (ja) 1998-06-05 1999-12-24 Fuji Photo Film Co Ltd 画像表示器付きカメラ
US6268864B1 (en) 1998-06-11 2001-07-31 Presenter.Com, Inc. Linking a video and an animation
US6278466B1 (en) 1998-06-11 2001-08-21 Presenter.Com, Inc. Creating animation from a video
JP2000207549A (ja) 1999-01-11 2000-07-28 Olympus Optical Co Ltd 画像処理装置
JP2000244905A (ja) 1999-02-22 2000-09-08 Nippon Telegr & Teleph Corp <Ntt> 映像観察システム
US20060033831A1 (en) 1999-09-14 2006-02-16 Nikon Corporation Electronic still camera
US6677981B1 (en) 1999-12-31 2004-01-13 Stmicroelectronics, Inc. Motion play-back of still pictures comprising a panoramic view for simulating perspective
JP2001298649A (ja) 2000-02-14 2001-10-26 Hewlett Packard Co <Hp> タッチスクリーンを有するデジタル画像形成装置
JP3752951B2 (ja) 2000-03-01 2006-03-08 カシオ計算機株式会社 撮像装置および輝度分布表示方法
US6900840B1 (en) 2000-09-14 2005-05-31 Hewlett-Packard Development Company, L.P. Digital camera and method of using same to view image in live view mode
US7218226B2 (en) 2004-03-01 2007-05-15 Apple Inc. Acceleration-based theft detection system for portable electronic devices
US7688306B2 (en) 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
JP4608766B2 (ja) 2000-11-27 2011-01-12 ソニー株式会社 固体撮像素子の駆動方法、及びカメラ
JP2002175538A (ja) 2000-12-08 2002-06-21 Mitsubishi Electric Corp 似顔絵生成装置及び似顔絵生成方法及び似顔絵生成プログラムを記録した記録媒体及び通信用端末及び通信用端末による通信方法
US6570557B1 (en) 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
JP3780178B2 (ja) 2001-05-09 2006-05-31 ファナック株式会社 視覚センサ
JP2003008964A (ja) 2001-06-27 2003-01-10 Konica Corp 電子カメラ
JP2003018438A (ja) 2001-07-05 2003-01-17 Fuji Photo Film Co Ltd 画像撮像装置
JP2003032597A (ja) 2001-07-13 2003-01-31 Mega Chips Corp 撮像再生システム、撮像装置、再生装置及び撮像再生方法
US6539177B2 (en) 2001-07-17 2003-03-25 Eastman Kodak Company Warning message camera and method
US6930718B2 (en) 2001-07-17 2005-08-16 Eastman Kodak Company Revised recapture camera and method
DE10152008B4 (de) 2001-10-22 2011-12-08 Zf Sachs Ag Hydraulische Kupplung mit einem Turbinentorsionsschwingungsdämpfer
CN1190053C (zh) 2002-02-04 2005-02-16 华为技术有限公司 一种通信设备的数据离线配置方法
JP3788942B2 (ja) 2002-02-22 2006-06-21 株式会社東芝 情報処理装置およびコンピュータの操作支援方法
JP4006347B2 (ja) 2002-03-15 2007-11-14 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
US7271838B2 (en) 2002-05-08 2007-09-18 Olympus Corporation Image pickup apparatus with brightness distribution chart display capability
JP3977684B2 (ja) * 2002-05-21 2007-09-19 株式会社東芝 デジタルスチルカメラ
JP2004015595A (ja) 2002-06-10 2004-01-15 Minolta Co Ltd デジタルカメラ
JP3754943B2 (ja) 2002-08-19 2006-03-15 キヤノン株式会社 画像処理方法、装置、記憶媒体及びプログラム
US7035462B2 (en) 2002-08-29 2006-04-25 Eastman Kodak Company Apparatus and method for processing digital images having eye color defects
JP2004128584A (ja) 2002-09-30 2004-04-22 Minolta Co Ltd 撮像装置
JP2004135074A (ja) 2002-10-10 2004-04-30 Calsonic Kansei Corp 撮像装置
KR100506199B1 (ko) 2002-11-11 2005-08-05 삼성전자주식회사 무선 모바일 단말기에서 인디케이터 표시 제어 방법
JP2003241293A (ja) 2002-12-16 2003-08-27 Fuji Photo Film Co Ltd リモコン装置付きカメラ
JP3872041B2 (ja) 2003-06-24 2007-01-24 埼玉日本電気株式会社 カメラ付き携帯電話機およびその撮影停止方法ならびにプログラム
US9692964B2 (en) * 2003-06-26 2017-06-27 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
JP2005031466A (ja) 2003-07-07 2005-02-03 Fujinon Corp 撮像装置および撮像方法
US20050024517A1 (en) * 2003-07-29 2005-02-03 Xerox Corporation. Digital camera image template guide apparatus and method thereof
JP3926316B2 (ja) 2003-10-31 2007-06-06 松下電器産業株式会社 撮像装置
WO2005046221A1 (ja) 2003-11-11 2005-05-19 Seiko Epson Corporation 画像処理装置、画像処理方法、そのプログラムおよび記録媒体
JP4342926B2 (ja) 2003-12-24 2009-10-14 三菱電機株式会社 画像入力方法および画像入力装置
JP4387183B2 (ja) 2003-12-26 2009-12-16 京セラ株式会社 デジタルカメラ
JP2005269604A (ja) 2004-02-20 2005-09-29 Fuji Photo Film Co Ltd 撮像装置、撮像方法、及び撮像プログラム
US7616834B2 (en) 2004-03-03 2009-11-10 Virtual Iris Studios, Inc. System for delivering and enabling interactivity with images
TWI246847B (en) 2004-03-16 2006-01-01 Benq Corp Method and apparatus for improving quality of a scanned image through a preview operation
US7328411B2 (en) 2004-03-19 2008-02-05 Lexmark International, Inc. Scrollbar enhancement for browsing data
JP4446787B2 (ja) 2004-04-21 2010-04-07 富士フイルム株式会社 撮像装置、および表示制御方法
US7555717B2 (en) 2004-04-30 2009-06-30 Samsung Electronics Co., Ltd. Method for displaying screen image on mobile terminal
US8045009B2 (en) 2004-05-10 2011-10-25 Hewlett-Packard Development Company, L.P. Image-exposure systems and methods using detecting motion of a camera to terminate exposure
US20050270397A1 (en) 2004-06-02 2005-12-08 Battles Amy E System and method for indicating settings
JP4707368B2 (ja) 2004-06-25 2011-06-22 雅貴 ▲吉▼良 立体視画像作成方法および装置
KR20070086037A (ko) 2004-11-12 2007-08-27 목3, 인크. 장면 간 전환 방법
US8537224B2 (en) 2005-01-31 2013-09-17 Hewlett-Packard Development Company, L.P. Image capture device having a shake metter
US7796179B2 (en) 2005-02-03 2010-09-14 Nikon Corporation Display device, electronic apparatus and camera
US20060187322A1 (en) 2005-02-18 2006-08-24 Janson Wilbert F Jr Digital camera using multiple fixed focal length lenses and multiple image sensors to provide an extended zoom range
US7427986B2 (en) 2005-03-03 2008-09-23 Pixar Hybrid hardware-accelerated relighting system for computer cinematography
KR100740189B1 (ko) 2005-05-13 2007-07-16 노키아 코포레이션 그래픽 사용자 인터페이스를 지닌 장치
JP2006345172A (ja) 2005-06-08 2006-12-21 Olympus Imaging Corp ファインダ装置及びカメラ
JP2007028211A (ja) 2005-07-15 2007-02-01 Canon Inc 撮像装置及びその制御方法
KR100630190B1 (ko) 2005-07-22 2006-10-02 삼성전자주식회사 이동 통신 단말의 기본화면 설정 방법
CA2553473A1 (en) 2005-07-26 2007-01-26 Wa James Tam Generating a depth map from a tw0-dimensional source image for stereoscopic and multiview imaging
US7424218B2 (en) 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
US7460730B2 (en) 2005-08-04 2008-12-02 Microsoft Corporation Video registration and image sequence stitching
WO2007031808A1 (en) 2005-09-14 2007-03-22 Nokia Corporation System and method for implementing motion-driven multi-shot image stabilization
US20070228259A1 (en) 2005-10-20 2007-10-04 Hohenberger Roger T System and method for fusing an image
JP4665718B2 (ja) 2005-10-28 2011-04-06 株式会社ニコン 撮影装置
US20070097088A1 (en) 2005-10-31 2007-05-03 Battles Amy E Imaging device scrolling touch pad with tap points
KR100725356B1 (ko) 2005-11-03 2007-06-07 삼성전자주식회사 컨텐츠를 동적으로 표현하는 장치 및 방법
JP4793179B2 (ja) * 2005-11-14 2011-10-12 オムロン株式会社 認証装置及び携帯端末
CN100581219C (zh) 2005-12-06 2010-01-13 松下电器产业株式会社 数字相机
US20100066895A1 (en) 2005-12-06 2010-03-18 Panasonic Corporation Digital camera
US20100066890A1 (en) 2005-12-06 2010-03-18 Panasonic Corporation Digital camera
US8223242B2 (en) 2005-12-06 2012-07-17 Panasonic Corporation Digital camera which switches the displays of images with respect to a plurality of display portions
JP4956988B2 (ja) 2005-12-19 2012-06-20 カシオ計算機株式会社 撮像装置
US7657849B2 (en) 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
JP5083855B2 (ja) 2006-01-30 2012-11-28 ソニー株式会社 撮影装置
US7792355B2 (en) 2006-03-30 2010-09-07 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and image capturing apparatus
US20070248330A1 (en) 2006-04-06 2007-10-25 Pillman Bruce H Varying camera self-determination based on subject motion
JP5007523B2 (ja) 2006-05-02 2012-08-22 カシオ計算機株式会社 撮像装置及びそのプログラム
JP4457358B2 (ja) * 2006-05-12 2010-04-28 富士フイルム株式会社 顔検出枠の表示方法、文字情報の表示方法及び撮像装置
US8189100B2 (en) 2006-07-25 2012-05-29 Qualcomm Incorporated Mobile device with dual digital camera sensors and methods of using the same
US20080030592A1 (en) 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
JP4483841B2 (ja) 2006-09-06 2010-06-16 カシオ計算機株式会社 撮像装置
US8106856B2 (en) * 2006-09-06 2012-01-31 Apple Inc. Portable electronic device for photo management
JP2008096584A (ja) 2006-10-10 2008-04-24 Nikon Corp カメラ
WO2008047664A1 (fr) 2006-10-19 2008-04-24 Panasonic Corporation Dispositif de création d'image et procédé de création d'image
JP2008116823A (ja) 2006-11-07 2008-05-22 Nikon Corp カメラ
US8559705B2 (en) 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
KR100835956B1 (ko) 2006-12-04 2008-06-09 삼성전자주식회사 이동통신 단말기의 이미지 처리 방법
CA2706695C (en) 2006-12-04 2019-04-30 Lynx System Developers, Inc. Autonomous systems and methods for still and moving picture production
US20080143840A1 (en) 2006-12-19 2008-06-19 Texas Instruments Incorporated Image Stabilization System and Method for a Digital Camera
KR100785071B1 (ko) 2007-02-08 2007-12-12 삼성전자주식회사 터치스크린을 갖는 휴대 단말기에서 터치 입력에 대한 정보표시 방법
WO2008109644A2 (en) 2007-03-05 2008-09-12 Fotonation Vision Limited Two stage detection for photographic eye artifacts
KR101406289B1 (ko) 2007-03-08 2014-06-12 삼성전자주식회사 스크롤 기반 아이템 제공 장치 및 방법
US7859588B2 (en) 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
JP4760742B2 (ja) 2007-03-22 2011-08-31 カシオ計算機株式会社 デジタルカメラ、及び情報表示方法、情報表示制御プログラム
US9544563B1 (en) 2007-03-23 2017-01-10 Proximex Corporation Multi-video navigation system
EP2326079B1 (en) 2007-04-02 2015-07-15 BlackBerry Limited Camera with multiple viewfinders
US8253770B2 (en) 2007-05-31 2012-08-28 Eastman Kodak Company Residential video communication system
JP4954800B2 (ja) 2007-06-06 2012-06-20 オリンパス株式会社 顕微鏡撮像システム
US8185839B2 (en) 2007-06-09 2012-05-22 Apple Inc. Browsing or searching user interfaces and other aspects
JP2009027298A (ja) 2007-07-18 2009-02-05 Ricoh Co Ltd 撮像装置および撮像装置の制御方法
US8717412B2 (en) 2007-07-18 2014-05-06 Samsung Electronics Co., Ltd. Panoramic image production
US8068693B2 (en) 2007-07-18 2011-11-29 Samsung Electronics Co., Ltd. Method for constructing a composite image
JP5039786B2 (ja) 2007-07-23 2012-10-03 パナソニック株式会社 撮像装置
JP2009033469A (ja) 2007-07-26 2009-02-12 Olympus Imaging Corp 撮像装置
JP4845832B2 (ja) 2007-08-07 2011-12-28 キヤノン株式会社 撮像装置および制御方法
US20090046097A1 (en) 2007-08-09 2009-02-19 Scott Barrett Franklin Method of making animated video
KR101341095B1 (ko) 2007-08-23 2013-12-13 삼성전기주식회사 야경 환경에서 최적의 화질을 갖는 영상 획득 장치 및 방법
US11126321B2 (en) * 2007-09-04 2021-09-21 Apple Inc. Application menu user interface
JP4930297B2 (ja) 2007-09-10 2012-05-16 株式会社ニコン 撮像装置
US8390628B2 (en) 2007-09-11 2013-03-05 Sony Computer Entertainment America Llc Facial animation using motion capture data
JP4466702B2 (ja) 2007-09-12 2010-05-26 カシオ計算機株式会社 撮像装置、及び撮像制御プログラム
JP4930302B2 (ja) 2007-09-14 2012-05-16 ソニー株式会社 撮像装置、その制御方法およびプログラム
US8381086B2 (en) 2007-09-18 2013-02-19 Microsoft Corporation Synchronizing slide show events with audio
JP4989730B2 (ja) 2007-10-15 2012-08-01 パナソニック株式会社 カメラ本体および撮像装置
US8395661B1 (en) 2009-02-16 2013-03-12 Seektech, Inc. Pipe inspection system with selective image capture
JP2009111844A (ja) 2007-10-31 2009-05-21 Fujifilm Corp 撮影装置
US7391442B1 (en) 2007-11-01 2008-06-24 International Business Machines Corporation Digital camera including a distortion correction system
US8892999B2 (en) 2007-11-30 2014-11-18 Nike, Inc. Interactive avatar for social network services
US8179363B2 (en) 2007-12-26 2012-05-15 Sharp Laboratories Of America, Inc. Methods and systems for display source light management with histogram manipulation
US8207932B2 (en) 2007-12-26 2012-06-26 Sharp Laboratories Of America, Inc. Methods and systems for display source light illumination level selection
KR101411910B1 (ko) 2008-01-04 2014-06-26 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
US20130085935A1 (en) 2008-01-18 2013-04-04 Mitek Systems Systems and methods for mobile image capture and remittance processing
JP5036599B2 (ja) 2008-03-05 2012-09-26 株式会社リコー 撮像装置
JP4483962B2 (ja) 2008-03-25 2010-06-16 ソニー株式会社 撮像装置、撮像方法
US20090251484A1 (en) 2008-04-03 2009-10-08 Motorola, Inc. Avatar for a portable device
JP4544332B2 (ja) 2008-04-07 2010-09-15 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US20090276700A1 (en) 2008-04-30 2009-11-05 Nokia Corporation Method, apparatus, and computer program product for determining user status indicators
JP4980982B2 (ja) 2008-05-09 2012-07-18 富士フイルム株式会社 撮像装置、撮像方法、合焦制御方法及びプログラム
WO2009150793A1 (ja) 2008-06-09 2009-12-17 パナソニック株式会社 撮像装置、撮像方法
US20090319897A1 (en) 2008-06-20 2009-12-24 Microsoft Corporation Enhanced user interface for editing images
US8035728B2 (en) 2008-06-27 2011-10-11 Aptina Imaging Corporation Method and apparatus providing rule-based auto exposure technique preserving scene dynamic range
US8237807B2 (en) 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
JP5153512B2 (ja) 2008-08-08 2013-02-27 キヤノン株式会社 表示処理装置、表示処理方法、プログラム及び記憶媒体
CN101651775B (zh) 2008-08-14 2011-08-24 鸿富锦精密工业(深圳)有限公司 影像撷取装置及其曝光方法
US8930817B2 (en) 2008-08-18 2015-01-06 Apple Inc. Theme-based slideshows
US8400518B2 (en) 2008-09-10 2013-03-19 Panasonic Corporation Imaging apparatus
US9250797B2 (en) 2008-09-30 2016-02-02 Verizon Patent And Licensing Inc. Touch gesture interface apparatuses, systems, and methods
KR101555055B1 (ko) * 2008-10-10 2015-09-22 엘지전자 주식회사 이동단말기 및 그 디스플레이방법
JP2010117444A (ja) 2008-11-11 2010-05-27 Sigma Corp レンズ鏡筒
KR101450580B1 (ko) 2008-11-19 2014-10-14 삼성전자주식회사 이미지 합성 방법 및 장치
US8493408B2 (en) 2008-11-19 2013-07-23 Apple Inc. Techniques for manipulating panoramas
JP4395808B2 (ja) 2008-12-04 2010-01-13 富士フイルム株式会社 画面表示部を有する機器の操作装置、デジタルカメラおよびタッチパネル操作方法
US20100153847A1 (en) 2008-12-17 2010-06-17 Sony Computer Entertainment America Inc. User deformation of movie character images
KR20100078295A (ko) 2008-12-30 2010-07-08 삼성전자주식회사 이종의 터치영역을 이용한 휴대단말의 동작 제어 방법 및 장치
JP2010160581A (ja) 2009-01-06 2010-07-22 Olympus Imaging Corp ユーザインタフェース装置、カメラ、ユーザインタフェース方法およびユーザインタフェース用プログラム
JP2010176170A (ja) 2009-01-27 2010-08-12 Sony Ericsson Mobilecommunications Japan Inc 表示装置、表示制御方法および表示制御プログラム
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
JP5185150B2 (ja) 2009-02-04 2013-04-17 富士フイルム株式会社 携帯機器および操作制御方法
JP5620928B2 (ja) 2009-02-20 2014-11-05 コーニンクレッカ フィリップス エヌ ヴェ 装置をアクティブモードにするシステム、方法及び装置
US8532346B2 (en) 2009-03-11 2013-09-10 Sony Corporation Device, method and computer program product
JP5259464B2 (ja) 2009-03-13 2013-08-07 オリンパスイメージング株式会社 撮像装置およびそのモード切換え方法
WO2010108119A2 (en) 2009-03-19 2010-09-23 Flextronics Ap, Llc Dual sensor camera
US8413054B2 (en) 2009-04-13 2013-04-02 Cisco Technology, Inc. Graphical user interface for still image capture from video footage
US9377857B2 (en) 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
US20100277470A1 (en) 2009-05-01 2010-11-04 Microsoft Corporation Systems And Methods For Applying Model Tracking To Motion Capture
US9144714B2 (en) 2009-05-02 2015-09-29 Steven J. Hollinger Ball with camera for reconnaissance or recreation and network for operating the same
JP5775659B2 (ja) * 2009-05-07 2015-09-09 オリンパス株式会社 撮像装置および撮像装置におけるモード切換え方法
US8669945B2 (en) 2009-05-07 2014-03-11 Microsoft Corporation Changing of list views on mobile device
JP5478935B2 (ja) 2009-05-12 2014-04-23 キヤノン株式会社 撮像装置
KR101857564B1 (ko) 2009-05-15 2018-05-15 삼성전자 주식회사 휴대 단말기의 이미지 처리 방법
JP5326802B2 (ja) 2009-05-19 2013-10-30 ソニー株式会社 情報処理装置、画像拡大縮小方法及びそのプログラム
US8340654B2 (en) 2009-05-26 2012-12-25 Lextech Labs Llc Apparatus and method for video display and control for portable device
US8610741B2 (en) 2009-06-02 2013-12-17 Microsoft Corporation Rendering aligned perspective images
CN101576996B (zh) 2009-06-05 2012-04-25 腾讯科技(深圳)有限公司 一种实现图像缩放中的处理方法及装置
KR101598335B1 (ko) 2009-06-11 2016-02-29 엘지전자 주식회사 휴대 단말기 및 그 동작방법
KR101527037B1 (ko) 2009-06-23 2015-06-16 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP5552769B2 (ja) 2009-07-29 2014-07-16 ソニー株式会社 画像編集装置、画像編集方法及びプログラム
JP5404221B2 (ja) 2009-07-13 2014-01-29 キヤノン株式会社 撮像装置
US8723988B2 (en) 2009-07-17 2014-05-13 Sony Corporation Using a touch sensitive display to control magnification and capture of digital images by an electronic device
JP2011045039A (ja) 2009-07-21 2011-03-03 Fujifilm Corp 複眼撮像装置
JP2011028345A (ja) 2009-07-22 2011-02-10 Olympus Imaging Corp 条件変更装置、カメラ、携帯機器、およびプログラム
US8390583B2 (en) 2009-08-31 2013-03-05 Qualcomm Incorporated Pressure sensitive user interface for mobile devices
EP2480957B1 (en) 2009-09-22 2017-08-09 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US8766928B2 (en) 2009-09-25 2014-07-01 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US20110074830A1 (en) 2009-09-25 2011-03-31 Peter William Rapp Device, Method, and Graphical User Interface Using Mid-Drag Gestures
JP2011087167A (ja) 2009-10-16 2011-04-28 Olympus Imaging Corp カメラ
JP5396231B2 (ja) 2009-10-21 2014-01-22 オリンパスイメージング株式会社 撮像装置
US8957918B2 (en) 2009-11-03 2015-02-17 Qualcomm Incorporated Methods for implementing multi-touch gestures on a single-touch touch surface
JP5343829B2 (ja) 2009-12-03 2013-11-13 株式会社リコー 情報処理装置及び情報処理装置の制御方法
JP5532214B2 (ja) 2009-12-11 2014-06-25 日本電気株式会社 カメラ付き携帯電話機
CN101860668A (zh) 2010-01-15 2010-10-13 英华达(上海)科技有限公司 数码相机及其操作方法
US8638371B2 (en) 2010-02-12 2014-01-28 Honeywell International Inc. Method of manipulating assets shown on a touch-sensitive display
JP4870218B2 (ja) 2010-02-26 2012-02-08 オリンパス株式会社 撮像装置
CN101778220A (zh) 2010-03-01 2010-07-14 华为终端有限公司 一种自动切换夜景模式的方法和摄像设备
US20110221755A1 (en) 2010-03-12 2011-09-15 Kevin Geisner Bionic motion
CN102202208A (zh) * 2010-03-23 2011-09-28 华为终端有限公司 一种信息交互方法及界面控制系统
JP4787906B1 (ja) 2010-03-30 2011-10-05 富士フイルム株式会社 撮像装置、方法およびプログラム
JP5719608B2 (ja) 2010-04-02 2015-05-20 オリンパスイメージング株式会社 撮影機器
FR2958487A1 (fr) 2010-04-06 2011-10-07 Alcatel Lucent Une methode de detourage en temps reel d'une entite reelle enregistree dans une sequence video
US8917632B2 (en) 2010-04-07 2014-12-23 Apple Inc. Different rate controller configurations for different cameras of a mobile device
JP2011249887A (ja) * 2010-05-24 2011-12-08 Canon Inc 撮像装置
US9245177B2 (en) 2010-06-02 2016-01-26 Microsoft Technology Licensing, Llc Limiting avatar gesture display
US8749557B2 (en) 2010-06-11 2014-06-10 Microsoft Corporation Interacting with user interface via avatar
KR101666919B1 (ko) 2010-08-13 2016-10-24 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
US10096161B2 (en) 2010-06-15 2018-10-09 Live Nation Entertainment, Inc. Generating augmented reality images using sensor and location data
JP5423893B2 (ja) 2010-06-28 2014-02-19 株式会社ニコン 撮像装置、画像処理装置、画像処理プログラム記録媒体
US8760537B2 (en) 2010-07-05 2014-06-24 Apple Inc. Capturing and rendering high dynamic range images
JP5464083B2 (ja) 2010-07-07 2014-04-09 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US8619093B2 (en) 2010-07-20 2013-12-31 Apple Inc. Keying an image
US8421898B2 (en) 2010-07-27 2013-04-16 Arcsoft (Hangzhou) Multimedia Technology Co., Ltd. Method for detecting and showing quality of a preview or stored picture in an electronic imaging device
US8781152B2 (en) 2010-08-05 2014-07-15 Brian Momeyer Identifying visual media content captured by camera-enabled mobile device
US8468465B2 (en) 2010-08-09 2013-06-18 Apple Inc. Two-dimensional slider control
JP5621422B2 (ja) 2010-09-07 2014-11-12 ソニー株式会社 情報処理装置、プログラム及び制御方法
KR101700363B1 (ko) 2010-09-08 2017-01-26 삼성전자주식회사 적절한 밝기를 갖는 입체 영상을 생성하는 디지털 영상 촬영 장치 및 이의 제어 방법
US20120069028A1 (en) 2010-09-20 2012-03-22 Yahoo! Inc. Real-time animations of emoticons using facial recognition during a video chat
US8830226B2 (en) 2010-09-28 2014-09-09 Apple Inc. Systems, methods, and computer-readable media for integrating a three-dimensional asset with a three-dimensional model
KR101743632B1 (ko) 2010-10-01 2017-06-07 삼성전자주식회사 휴대용 단말기에서 전자책 페이지 넘김 장치 및 방법
US9122053B2 (en) 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
JP5613005B2 (ja) 2010-10-18 2014-10-22 オリンパスイメージング株式会社 カメラ
WO2012051720A2 (en) 2010-10-22 2012-04-26 University Of New Brunswick Camera imaging systems and methods
KR101674959B1 (ko) 2010-11-02 2016-11-10 엘지전자 주식회사 이동 단말기 및 이것의 영상 촬영 제어 방법
KR20120048397A (ko) 2010-11-05 2012-05-15 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
JP2012109898A (ja) 2010-11-19 2012-06-07 Aof Imaging Technology Ltd 撮影装置、撮影方法、およびプログラム
KR101716420B1 (ko) 2010-11-19 2017-03-27 삼성전자주식회사 디지털 영상 처리장치 및 그 제어방법
JP2012119858A (ja) 2010-11-30 2012-06-21 Aof Imaging Technology Ltd 撮影装置、撮影方法、およびプログラム
JP2012124608A (ja) 2010-12-06 2012-06-28 Olympus Imaging Corp カメラ
CN102567953A (zh) * 2010-12-20 2012-07-11 上海杉达学院 图像光影效果处理装置
JP5652652B2 (ja) 2010-12-27 2015-01-14 ソニー株式会社 表示制御装置および方法
US20120169776A1 (en) 2010-12-29 2012-07-05 Nokia Corporation Method and apparatus for controlling a zoom function
CN102075727A (zh) 2010-12-30 2011-05-25 中兴通讯股份有限公司 一种可视电话中图像处理方法和装置
JP5717453B2 (ja) 2011-01-14 2015-05-13 キヤノン株式会社 撮像装置及び撮像装置の制御方法
KR101692401B1 (ko) 2011-01-21 2017-01-03 삼성전자주식회사 영상 처리 방법 및 장치
JP5246275B2 (ja) 2011-01-25 2013-07-24 株式会社ニコン 撮像装置およびプログラム
KR101836381B1 (ko) 2011-01-28 2018-03-08 삼성전자주식회사 터치스크린 단말기에서 화면 디스플레이 제어 방법 및 장치
US8717464B2 (en) 2011-02-09 2014-05-06 Blackberry Limited Increased low light sensitivity for image sensors by combining quantum dot sensitivity to visible and infrared light
US9058098B2 (en) 2011-02-14 2015-06-16 Sony Corporation Display control device
TWI433534B (zh) 2011-02-15 2014-04-01 Ability Entpr Co Ltd 感光度校正方法及成像裝置
US8780140B2 (en) 2011-02-16 2014-07-15 Sony Corporation Variable display scale control device and variable playing speed control device
US9288476B2 (en) 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
GB201102794D0 (en) * 2011-02-17 2011-03-30 Metail Ltd Online retail system
US8896652B2 (en) 2011-02-28 2014-11-25 Soryn Technologies Llc System and method for real-time video communications
JP5250070B2 (ja) 2011-03-15 2013-07-31 富士フイルム株式会社 画像処理装置および画像処理方法、ならびに、画像処理システム
US8736704B2 (en) 2011-03-25 2014-05-27 Apple Inc. Digital camera for capturing an image sequence
US20120244969A1 (en) 2011-03-25 2012-09-27 May Patents Ltd. System and Method for a Motion Sensing Device
US20120243802A1 (en) 2011-03-25 2012-09-27 William Vernon Fintel Composite image formed from an image sequence
US8736716B2 (en) 2011-04-06 2014-05-27 Apple Inc. Digital camera having variable duration burst mode
JP5762115B2 (ja) 2011-04-28 2015-08-12 キヤノン株式会社 撮像装置及びその制御方法
JP5921080B2 (ja) 2011-04-28 2016-05-24 キヤノン株式会社 撮像装置及びその制御方法
KR101756839B1 (ko) 2011-05-17 2017-07-11 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
CA2837192A1 (en) * 2011-05-23 2012-11-29 Blu Homes, Inc. Method, apparatus and system for customizing a building via a virtual environment
CN102855079B (zh) 2011-05-24 2016-06-08 Lg电子株式会社 移动终端
US9013489B2 (en) 2011-06-06 2015-04-21 Microsoft Technology Licensing, Llc Generation of avatar reflecting player appearance
US8832284B1 (en) 2011-06-16 2014-09-09 Google Inc. Virtual socializing
US9153031B2 (en) 2011-06-22 2015-10-06 Microsoft Technology Licensing, Llc Modifying video regions using mobile device input
JP5855862B2 (ja) 2011-07-07 2016-02-09 オリンパス株式会社 撮像装置、撮像方法およびプログラム
CA2840294C (en) 2011-07-08 2018-05-29 Visual Retailing Holding B.V. Imaging apparatus and controller for photographing products
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
JP5516532B2 (ja) 2011-08-09 2014-06-11 カシオ計算機株式会社 電子機器、及びプログラム
US20130055119A1 (en) 2011-08-23 2013-02-28 Anh Luong Device, Method, and Graphical User Interface for Variable Speed Navigation
EP2562628A1 (en) 2011-08-26 2013-02-27 Sony Ericsson Mobile Communications AB Image scale alteration arrangement and method
JP2013070303A (ja) 2011-09-26 2013-04-18 Kddi Corp 画面への押圧で撮影が可能な撮影装置、撮影方法及びプログラム
US9001255B2 (en) 2011-09-30 2015-04-07 Olympus Imaging Corp. Imaging apparatus, imaging method, and computer-readable storage medium for trimming and enlarging a portion of a subject image based on touch panel inputs
US20130088413A1 (en) 2011-10-05 2013-04-11 Google Inc. Method to Autofocus on Near-Eye Display
KR101792641B1 (ko) * 2011-10-07 2017-11-02 엘지전자 주식회사 이동 단말기 및 그의 아웃 포커싱 이미지 생성방법
US8830191B2 (en) 2011-10-17 2014-09-09 Facebook, Inc. Soft control user interface with touchpad input device
US9696897B2 (en) * 2011-10-19 2017-07-04 The Regents Of The University Of California Image-based measurement tools
US9448708B1 (en) 2011-10-19 2016-09-20 Google Inc. Theming for virtual collaboration
JP2013101528A (ja) 2011-11-09 2013-05-23 Sony Corp 情報処理装置、表示制御方法、およびプログラム
CN202330968U (zh) 2011-11-11 2012-07-11 东莞市台德实业有限公司 带拍照闪光的摄像头
JP5741395B2 (ja) 2011-11-16 2015-07-01 コニカミノルタ株式会社 撮像装置
CN105653031B (zh) 2011-11-23 2019-10-01 英特尔公司 带有多个视图、显示器以及物理学的姿势输入
GB2496893A (en) 2011-11-25 2013-05-29 Nokia Corp Presenting Name Bubbles at Different Image Zoom Levels
EP2600316A1 (en) 2011-11-29 2013-06-05 Inria Institut National de Recherche en Informatique et en Automatique Method, system and software program for shooting and editing a film comprising at least one image of a 3D computer-generated animation
CN102541537B (zh) * 2011-12-01 2014-12-31 厦门雅迅网络股份有限公司 一种具有环绕效果的菜单容器控件的实现方法及装置
US8941707B2 (en) 2011-12-01 2015-01-27 Tangome, Inc. Video messaging
US8767034B2 (en) 2011-12-01 2014-07-01 Tangome, Inc. Augmenting a video conference
US9626013B2 (en) 2011-12-05 2017-04-18 Sony Corporation Imaging apparatus
US20130147933A1 (en) 2011-12-09 2013-06-13 Charles J. Kulas User image insertion into a text message
US20130155308A1 (en) 2011-12-20 2013-06-20 Qualcomm Incorporated Method and apparatus to enhance details in an image
US20130159900A1 (en) 2011-12-20 2013-06-20 Nokia Corporation Method, apparatus and computer program product for graphically enhancing the user interface of a device
US9207837B2 (en) 2011-12-20 2015-12-08 Nokia Technologies Oy Method, apparatus and computer program product for providing multiple levels of interaction with a program
KR101873747B1 (ko) 2011-12-27 2018-07-03 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN106961621A (zh) 2011-12-29 2017-07-18 英特尔公司 使用化身的通信
JP5854848B2 (ja) 2012-01-10 2016-02-09 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム、記憶媒体
US9204099B2 (en) 2012-02-01 2015-12-01 Magor Communications Corporation Videoconferencing system providing virtual physical context
US8723796B2 (en) 2012-02-02 2014-05-13 Kodak Alaris Inc. Multi-user interactive display system
US8849028B2 (en) 2012-02-06 2014-09-30 Apple Inc. Color selection tool for selecting a custom color component
US10044938B2 (en) 2012-02-08 2018-08-07 Abukai, Inc. Method and apparatus for processing images of receipts
JP6041500B2 (ja) 2012-03-01 2016-12-07 キヤノン株式会社 撮像装置、撮像システム、撮像装置の駆動方法、撮像システムの駆動方法
DE202012012645U1 (de) 2012-03-01 2013-07-11 Research In Motion Ltd. Ziehpunkt zum Anwenden von Bildfiltern in einem Bildeditor
US9747495B2 (en) 2012-03-06 2017-08-29 Adobe Systems Incorporated Systems and methods for creating and distributing modifiable animated video messages
US9131192B2 (en) 2012-03-06 2015-09-08 Apple Inc. Unified slider control for modifying multiple image properties
US20130246948A1 (en) 2012-03-16 2013-09-19 Lenovo (Beijing) Co., Ltd. Control method and control device
EP2640060A1 (en) 2012-03-16 2013-09-18 BlackBerry Limited Methods and devices for producing an enhanced image
CN103324329B (zh) 2012-03-23 2016-07-06 联想(北京)有限公司 一种触摸控制方法和装置
US9264660B1 (en) 2012-03-30 2016-02-16 Google Inc. Presenter control during a video conference
CN107257403A (zh) 2012-04-09 2017-10-17 英特尔公司 使用交互化身的通信
CN104170358B (zh) 2012-04-09 2016-05-11 英特尔公司 用于化身管理和选择的系统和方法
JP2013219556A (ja) 2012-04-09 2013-10-24 Olympus Imaging Corp 撮像装置
US9785883B2 (en) 2012-04-27 2017-10-10 Excalibur Ip, Llc Avatars for use with personalized generalized content recommendations
JP6002836B2 (ja) * 2012-05-09 2016-10-05 アップル インコーポレイテッド ジェスチャに応答して表示状態間を遷移するためのデバイス、方法、及びグラフィカルユーザインタフェース
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
CN107124546B (zh) 2012-05-18 2020-10-16 华为终端有限公司 一种自动切换终端对焦模式的方法及终端
WO2013175784A1 (ja) * 2012-05-22 2013-11-28 株式会社ニコン 電子カメラ、画像表示装置および画像表示プログラム
US10681304B2 (en) 2012-06-08 2020-06-09 Apple, Inc. Capturing a panoramic image using a graphical user interface having a scan guidance indicator
US8842888B2 (en) * 2012-06-15 2014-09-23 Aoptix Technologies, Inc. User interface for combined biometric mobile device
JP6018707B2 (ja) 2012-06-21 2016-11-02 マイクロソフト コーポレーション デプスカメラを使用するアバター構築
JP2014010777A (ja) 2012-07-02 2014-01-20 Fujitsu Ltd 表示プログラム、表示方法、及び情報処理装置
KR101937708B1 (ko) 2012-07-09 2019-04-11 삼성전자 주식회사 카메라 제어 시스템과 이를 포함하는 단말기 및 카메라 제어 방법
DE112012006721T8 (de) 2012-07-20 2015-06-03 Mitsubishi Electric Corporation Informationsanzeigevorrichtung, Anzeigeumschaltverfahren und Anzeigeumschaltprogramm
JP2014023083A (ja) 2012-07-23 2014-02-03 Nikon Corp 表示装置、撮像装置及び画像編集プログラム
US8780219B2 (en) 2012-07-23 2014-07-15 Wooblue, Inc. Wireless viewing and control interface for imaging devices
US9019415B2 (en) 2012-07-26 2015-04-28 Qualcomm Incorporated Method and apparatus for dual camera shutter
KR101900097B1 (ko) 2012-07-30 2018-09-20 삼성전자주식회사 이미지 캡처 방법 및 이미지 캡처 장치
KR20140019631A (ko) 2012-08-06 2014-02-17 삼성전자주식회사 방사선 영상 촬영 장치 및 방법
TWI470598B (zh) 2012-08-07 2015-01-21 Wistron Corp 顯示調整方法及其電腦程式產品
KR20140021821A (ko) 2012-08-09 2014-02-21 삼성전자주식회사 이미지 캡처 장치 및 이미지 캡처 방법
US8910082B2 (en) * 2012-08-10 2014-12-09 Modiface Inc. Method and system for modification of digital images through rotational cascading-effect interface
WO2014030161A1 (en) 2012-08-20 2014-02-27 Ron Levy Systems and methods for collection-based multimedia data packaging and display
US8957892B2 (en) 2012-08-20 2015-02-17 Disney Enterprises, Inc. Stereo composition based on multiple camera rigs
US8928724B2 (en) 2012-08-31 2015-01-06 Microsoft Corporation Unified user experience for mobile calls
KR101343591B1 (ko) 2012-09-03 2013-12-19 엘지전자 주식회사 휴대 전자기기 및 이의 제어방법
US9602559B1 (en) 2012-09-07 2017-03-21 Mindmeld, Inc. Collaborative communication system with real-time anticipatory computing
US20140071061A1 (en) * 2012-09-12 2014-03-13 Chih-Ping Lin Method for controlling execution of camera related functions by referring to gesture pattern and related computer-readable medium
JP5999336B2 (ja) 2012-09-13 2016-09-28 カシオ計算機株式会社 撮像装置及び撮像処理方法並びにプログラム
KR101487516B1 (ko) 2012-09-28 2015-01-30 주식회사 팬택 연속 자동 초점을 이용한 멀티 초점 이미지 캡처 장치 및 방법
CN103917946B (zh) 2012-10-10 2018-04-03 Sk 普兰尼特有限公司 显示高速滚动内容和滚动条的方法和系统
US20140123005A1 (en) 2012-10-25 2014-05-01 Apple Inc. User interface for streaming media stations with virtual playback
KR101984921B1 (ko) 2012-10-18 2019-05-31 엘지전자 주식회사 휴대 단말기의 동작 방법
CN103777742B (zh) 2012-10-19 2017-08-25 广州三星通信技术研究有限公司 用于在显示装置中提供用户界面的方法和显示装置
PL2939504T5 (pl) * 2012-10-24 2022-10-24 Signify Holding B.V. Pomaganie użytkownikowi w wyborze projektu urządzenia oświetleniowego
US8762895B2 (en) 2012-10-28 2014-06-24 Google Inc. Camera zoom indicator in mobile devices
US9807263B2 (en) 2012-10-31 2017-10-31 Conduent Business Services, Llc Mobile document capture assistance using augmented reality
US9948589B2 (en) 2012-11-14 2018-04-17 invi Labs, Inc. System for and method of organizing contacts for chat sessions on an electronic device
KR101954192B1 (ko) 2012-11-15 2019-03-05 엘지전자 주식회사 어레이 카메라, 휴대 단말기 및 그 동작 방법
US20150301731A1 (en) 2012-11-15 2015-10-22 Mitsubishi Electric Corporation User interface apparatus
CN113472989A (zh) 2012-11-28 2021-10-01 核心光电有限公司 多孔径成像系统以及通过多孔径成像系统获取图像的方法
AU2012258467A1 (en) 2012-12-03 2014-06-19 Canon Kabushiki Kaisha Bokeh amplification
US9459768B2 (en) 2012-12-12 2016-10-04 Smule, Inc. Audiovisual capture and sharing framework with coordinated user-selectable audio and video effects filters
CN103051837A (zh) 2012-12-17 2013-04-17 广东欧珀移动通信有限公司 一种提高摄像头暗拍效果的方法和装置
CN104782120B (zh) 2012-12-17 2018-08-10 英特尔公司 化身动画制作方法、计算设备和存储介质
KR101418552B1 (ko) 2012-12-20 2014-07-16 주식회사 팬택 디밍 상태를 위한 사용자 인터페이스 장치 및 그 방법
EP2939095B1 (en) * 2012-12-29 2018-10-03 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
US9264630B2 (en) 2013-01-04 2016-02-16 Nokia Technologies Oy Method and apparatus for creating exposure effects using an optical image stabilizing device
CN103051841B (zh) 2013-01-05 2016-07-06 小米科技有限责任公司 曝光时间的控制方法及装置
US8977077B2 (en) 2013-01-21 2015-03-10 Apple Inc. Techniques for presenting user adjustments to a digital image
US9270889B2 (en) 2013-01-25 2016-02-23 Htc Corporation Electronic device and camera switching method thereof
CN103093490B (zh) 2013-02-02 2015-08-26 浙江大学 基于单个视频摄像机的实时人脸动画方法
US10477087B2 (en) 2017-11-16 2019-11-12 Duelight Llc System, method, and computer program for capturing a flash image based on ambient and flash metering
KR20140108078A (ko) 2013-02-28 2014-09-05 삼성전자주식회사 논-스테레오스코픽 카메라를 이용하여 스테레오스코픽 이미지를 생성하는 방법과 기기 및 장치
JP5729407B2 (ja) 2013-02-28 2015-06-03 カシオ計算機株式会社 撮像装置、表示制御方法及びプログラム
US9094576B1 (en) 2013-03-12 2015-07-28 Amazon Technologies, Inc. Rendered audiovisual communication
US9342230B2 (en) 2013-03-13 2016-05-17 Microsoft Technology Licensing, Llc Natural user interface scrolling and targeting
KR102063915B1 (ko) 2013-03-14 2020-01-08 삼성전자주식회사 사용자 기기 및 그 동작 방법
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9886160B2 (en) 2013-03-15 2018-02-06 Google Llc Managing audio at the tab level for user notification and control
JP2014183425A (ja) 2013-03-19 2014-09-29 Sony Corp 画像処理方法、画像処理装置および画像処理プログラム
JP5851651B2 (ja) 2013-03-21 2016-02-03 株式会社日立国際電気 映像監視システム、映像監視方法、および映像監視装置
US9066017B2 (en) 2013-03-25 2015-06-23 Google Inc. Viewfinder display based on metering images
EP2979445A4 (en) 2013-03-27 2016-08-10 Bae Sys Inf & Elect Sys Integ ELECTROOPTICAL FUSION ZOOM CAMERA WITH SEVERAL VIEW FIELDS AND MULTIPLE SENSORS
KR102099635B1 (ko) 2013-04-09 2020-04-13 삼성전자 주식회사 카메라의 가이드 제공 방법 및 그 전자 장치
JP6034740B2 (ja) 2013-04-18 2016-11-30 オリンパス株式会社 撮像装置および撮像方法
IL226047A (en) 2013-04-29 2017-12-31 Hershkovitz Reshef May A method and system for giving personal expressions
CA2947936C (en) 2013-05-04 2023-02-21 Christopher Decharms Mobile security technology
KR20140133363A (ko) 2013-05-10 2014-11-19 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
JP6244655B2 (ja) 2013-05-16 2017-12-13 ソニー株式会社 画像処理装置および画像処理方法
WO2014189484A1 (en) 2013-05-20 2014-11-27 Intel Corporation Technologies for increasing the accuracy of depth camera images
KR20140138424A (ko) 2013-05-23 2014-12-04 삼성전자주식회사 제스쳐를 이용한 사용자 인터페이스 방법 및 장치
US20140355960A1 (en) 2013-05-31 2014-12-04 Microsoft Corporation Touch optimized design for video editing
US9307112B2 (en) 2013-05-31 2016-04-05 Apple Inc. Identifying dominant and non-dominant images in a burst mode capture
WO2014194439A1 (en) 2013-06-04 2014-12-11 Intel Corporation Avatar-based video encoding
US9378576B2 (en) 2013-06-07 2016-06-28 Faceshift Ag Online modeling for real-time facial animation
US9452354B2 (en) 2013-06-07 2016-09-27 Sony Interactive Entertainment Inc. Sharing three-dimensional gameplay
US10168882B2 (en) 2013-06-09 2019-01-01 Apple Inc. Device, method, and graphical user interface for switching between camera interfaces
CN108989647B (zh) 2013-06-13 2020-10-20 核心光电有限公司 双孔径变焦数字摄影机
US20140372856A1 (en) 2013-06-14 2014-12-18 Microsoft Corporation Natural Quick Functions Gestures
US9509913B2 (en) 2013-06-18 2016-11-29 Olympus Corporation Image pickup apparatus, method of controlling image pickup apparatus, image pickup apparatus system, and image pickup control program stored in storage medium of image pickup apparatus
JP6173060B2 (ja) 2013-06-18 2017-08-02 オリンパス株式会社 撮影機器及びその制御方法
JP2015005255A (ja) 2013-06-24 2015-01-08 シャープ株式会社 情報表示装置ならびにスクロール制御プログラムおよび方法、情報表示装置を用いた画像読取装置および情報表示装置を用いた画像形成装置
GB2515797A (en) 2013-07-04 2015-01-07 Sony Corp A method, apparatus and system for image processing
KR20150014290A (ko) 2013-07-29 2015-02-06 엘지전자 주식회사 영상표시장치 및 영상표시장치 동작방법
KR102101740B1 (ko) 2013-07-08 2020-04-20 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US10079970B2 (en) 2013-07-16 2018-09-18 Texas Instruments Incorporated Controlling image focus in real-time using gestures and depth sensor data
KR102133529B1 (ko) 2013-07-16 2020-07-13 삼성전자주식회사 영상 필터 정렬 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 디지털 영상 장치
WO2015011703A1 (en) 2013-07-21 2015-01-29 Pointgrab Ltd. Method and system for touchless activation of a device
US20150033192A1 (en) 2013-07-23 2015-01-29 3M Innovative Properties Company Method for creating effective interactive advertising content
JP6102602B2 (ja) 2013-07-23 2017-03-29 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
JP6288975B2 (ja) 2013-07-25 2018-03-07 オリンパス株式会社 撮影機器及びその制御方法
US10015308B2 (en) 2013-07-26 2018-07-03 Lg Electronics Inc. Mobile terminal and method of controlling the same
US9299188B2 (en) 2013-08-08 2016-03-29 Adobe Systems Incorporated Automatic geometry and lighting inference for realistic image editing
CN104346080A (zh) 2013-08-09 2015-02-11 昆达电脑科技(昆山)有限公司 屏幕控制系统及其方法
KR102047703B1 (ko) 2013-08-09 2019-11-22 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
US10289265B2 (en) 2013-08-15 2019-05-14 Excalibur Ip, Llc Capture and retrieval of a personalized mood icon
KR102065408B1 (ko) 2013-08-16 2020-01-13 엘지전자 주식회사 이동 단말기
US9881645B2 (en) 2013-08-20 2018-01-30 Google Llc Systems, methods, and media for editing video during playback via gestures
GB2531439B (en) 2013-08-21 2016-10-26 Canon Kk Image capturing apparatus and control method thereof
US8917329B1 (en) 2013-08-22 2014-12-23 Gopro, Inc. Conversion between aspect ratios in camera
US9804760B2 (en) 2013-08-22 2017-10-31 Apple Inc. Scrollable in-line camera for capturing and sharing content
CN104423946B (zh) 2013-08-30 2018-02-27 联想(北京)有限公司 一种图像处理方法以及电子设备
KR102124604B1 (ko) 2013-09-02 2020-06-19 삼성전자주식회사 이미지 안정화 방법 그 전자 장치
JP5893594B2 (ja) 2013-09-03 2016-03-23 富士フイルム株式会社 画像表示制御装置、方法、プログラム及び画像表示システム
JP6476658B2 (ja) * 2013-09-11 2019-03-06 ソニー株式会社 画像処理装置および方法
KR102077108B1 (ko) 2013-09-13 2020-02-14 한국전자통신연구원 콘텐츠 체험 서비스 제공 장치 및 그 방법
KR102065046B1 (ko) 2013-09-16 2020-01-10 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US10944917B2 (en) 2013-09-16 2021-03-09 Kyle L. Baltz Camera and image processing method
KR20160056888A (ko) 2013-09-16 2016-05-20 톰슨 라이센싱 여러 사용자 주석들을 검색하고 그것들을 콘텐트 내에 오버레이하여 비디오들을 브라우징하기
US10811050B2 (en) 2013-09-17 2020-10-20 Google Technology Holdings LLC Highlighting media through weighting of people or contexts
US9544574B2 (en) 2013-12-06 2017-01-10 Google Inc. Selecting camera pairs for stereoscopic imaging
US9615012B2 (en) 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
US9361319B2 (en) 2013-09-30 2016-06-07 Duelight Llc Systems, methods, and computer program products for digital photography
JP6234151B2 (ja) 2013-10-09 2017-11-22 キヤノン株式会社 撮像装置
KR102063768B1 (ko) 2013-10-16 2020-01-08 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
EP3058713B1 (en) 2013-10-18 2021-01-27 Light Labs Inc. Image capture control methods and apparatus
CN108107571B (zh) 2013-10-30 2021-06-01 株式会社摩如富 图像处理装置及方法及非暂时性计算机可读记录介质
US10271010B2 (en) 2013-10-31 2019-04-23 Shindig, Inc. Systems and methods for controlling the display of content
JP6273782B2 (ja) 2013-11-07 2018-02-07 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9253527B2 (en) 2013-11-14 2016-02-02 Smiletime Inc Social multi-camera interactive live engagement system
US9386235B2 (en) * 2013-11-15 2016-07-05 Kofax, Inc. Systems and methods for generating composite images of long documents using mobile video data
JP5744161B2 (ja) 2013-11-18 2015-07-01 シャープ株式会社 画像処理装置
US10558262B2 (en) 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction
US10157294B2 (en) 2013-11-26 2018-12-18 CaffeiNATION Signings (Series 3 of Caffeinaton Series, LLC) Systems, methods and computer program products for managing remote execution of transaction documents
KR20150061277A (ko) 2013-11-27 2015-06-04 삼성전자주식회사 영상 촬영 장치 및 이의 영상 촬영 방법
US9246961B2 (en) 2013-11-27 2016-01-26 Facebook, Inc. Communication user interface systems and methods
JP2016538649A (ja) 2013-11-27 2016-12-08 フェイスブック,インク. 通信ユーザ・インタフェース・システムおよび方法
JP6432130B2 (ja) 2013-11-29 2018-12-05 カシオ計算機株式会社 表示システム、表示装置、撮影装置、表示方法及びプログラム
JP6247527B2 (ja) 2013-12-24 2017-12-13 キヤノン株式会社 撮像装置及び制御方法、プログラム、並びに記憶媒体
CN104754203B (zh) * 2013-12-31 2018-07-31 华为技术有限公司 拍摄方法、装置及终端
US9462169B2 (en) 2013-12-31 2016-10-04 Huawei Technologies Co., Ltd. Shooting method, apparatus, and terminal
US10931866B2 (en) 2014-01-05 2021-02-23 Light Labs Inc. Methods and apparatus for receiving and storing in a camera a user controllable setting that is used to control composite image generation performed after image capture
KR102114617B1 (ko) 2014-01-08 2020-05-25 엘지전자 주식회사 이동단말기 및 그 제어방법
CN111488112B (zh) 2014-01-23 2024-03-08 苹果公司 虚拟计算机键盘
JP6481866B2 (ja) 2014-01-28 2019-03-13 ソニー株式会社 情報処理装置、撮像装置、情報処理方法、及び、プログラム
US9207844B2 (en) 2014-01-31 2015-12-08 EyeGroove, Inc. Methods and devices for touch-based media creation
EP3100135A4 (en) 2014-01-31 2017-08-30 Hewlett-Packard Development Company, L.P. Camera included in display
DE102014202490A1 (de) 2014-02-12 2015-08-13 Volkswagen Aktiengesellschaft Vorrichtung und Verfahren zur Signalisierung einer erfolgreichen Gesteneingabe
KR102243653B1 (ko) 2014-02-17 2021-04-23 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
DE102014102689A1 (de) 2014-02-28 2015-09-03 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Laufbildkameraanordnung und Verfahren zum Betreiben einer Laufbildkameraanordnung
US9703446B2 (en) 2014-02-28 2017-07-11 Prezi, Inc. Zooming user interface frames embedded image frame sequence
US9538078B2 (en) 2014-03-02 2017-01-03 Google Inc. User interface for wide angle photography
US10235587B2 (en) 2014-03-04 2019-03-19 Samsung Electronics Co., Ltd. Method and system for optimizing an image capturing boundary in a proposed image
US9313401B2 (en) 2014-03-04 2016-04-12 Here Global B.V. Frame rate designation region
KR102257620B1 (ko) 2014-03-20 2021-05-28 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US10417824B2 (en) 2014-03-25 2019-09-17 Apple Inc. Method and system for representing a virtual object in a view of a real environment
US20150277686A1 (en) * 2014-03-25 2015-10-01 ScStan, LLC Systems and Methods for the Real-Time Modification of Videos and Images Within a Social Network Format
CN105981372A (zh) 2014-03-27 2016-09-28 诺日士精密株式会社 图像处理装置
JP6646936B2 (ja) 2014-03-31 2020-02-14 キヤノン株式会社 画像処理装置、その制御方法、およびプログラム
GB201407267D0 (en) 2014-04-24 2014-06-11 Cathx Res Ltd Underwater surveys
US9589321B2 (en) 2014-04-24 2017-03-07 Google Inc. Systems and methods for animating a view of a composite image
US10845982B2 (en) 2014-04-28 2020-11-24 Facebook, Inc. Providing intelligent transcriptions of sound messages in a messaging application
CN106256122B (zh) 2014-04-30 2019-09-24 索尼公司 图像处理设备和图像处理方法
AU2015297035B2 (en) 2014-05-09 2018-06-28 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
US9507420B2 (en) * 2014-05-13 2016-11-29 Qualcomm Incorporated System and method for providing haptic feedback to assist in capturing images
US10516629B2 (en) 2014-05-15 2019-12-24 Narvii Inc. Systems and methods implementing user interface objects
KR102158214B1 (ko) 2014-05-19 2020-09-22 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US20150341536A1 (en) 2014-05-23 2015-11-26 Mophie, Inc. Systems and methods for orienting an image
US9313397B2 (en) 2014-05-30 2016-04-12 Apple Inc. Realtime capture exposure adjust gestures
US9628416B2 (en) 2014-05-30 2017-04-18 Cisco Technology, Inc. Photo avatars
US20150350141A1 (en) 2014-05-31 2015-12-03 Apple Inc. Message user interfaces for capture and transmittal of media and location content
US9485540B2 (en) 2014-06-03 2016-11-01 Disney Enterprises, Inc. System and method for multi-device video image display and modification
US20150350504A1 (en) 2014-06-03 2015-12-03 2P & M Holdings, LLC RAW Camera Peripheral for Handheld Mobile Unit
US9360671B1 (en) 2014-06-09 2016-06-07 Google Inc. Systems and methods for image zoom
KR102182401B1 (ko) 2014-06-11 2020-11-24 엘지전자 주식회사 이동단말기 및 그 제어방법
US9910505B2 (en) 2014-06-17 2018-03-06 Amazon Technologies, Inc. Motion control for managing content
US10091411B2 (en) 2014-06-17 2018-10-02 Lg Electronics Inc. Mobile terminal and controlling method thereof for continuously tracking object included in video
US10579236B2 (en) 2014-06-20 2020-03-03 Ati Technologies Ulc Responding to user input including providing user feedback
US9213903B1 (en) 2014-07-07 2015-12-15 Google Inc. Method and system for cluster-based video monitoring and event categorization
US10074158B2 (en) 2014-07-08 2018-09-11 Qualcomm Incorporated Systems and methods for stereo depth estimation using global minimization and depth interpolation
US9641759B2 (en) 2014-07-10 2017-05-02 Lg Electronics Inc. Mobile terminal and controlling method thereof
CN104156149B (zh) 2014-07-18 2016-04-13 小米科技有限责任公司 拍摄参数调节方法及装置
US9785323B2 (en) * 2014-07-23 2017-10-10 Adobe Systems Incorporated Touch-based user interface control tiles
KR20160019145A (ko) 2014-08-11 2016-02-19 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR102145542B1 (ko) 2014-08-14 2020-08-18 삼성전자주식회사 촬영 장치, 복수의 촬영 장치를 이용하여 촬영하는 촬영 시스템 및 그 촬영 방법
JP3194297U (ja) 2014-08-15 2014-11-13 リープ モーション, インコーポレーテッドLeap Motion, Inc. 自動車用及び産業用のモーション感知制御装置
US20160048599A1 (en) 2014-08-18 2016-02-18 Fuhu, Inc. System and Method for Providing Curated Content Items
US9230355B1 (en) 2014-08-21 2016-01-05 Glu Mobile Inc. Methods and systems for images with interactive filters
KR102155094B1 (ko) 2014-08-28 2020-09-11 엘지전자 주식회사 이동 단말기 및 그 제어방법
WO2016036541A2 (en) 2014-09-02 2016-03-10 Apple Inc. Phone user interface
KR20160029536A (ko) 2014-09-05 2016-03-15 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US10212111B2 (en) 2014-09-12 2019-02-19 Google Llc System and interface that facilitate selecting videos to share in a messaging application
US11472338B2 (en) 2014-09-15 2022-10-18 Magna Electronics Inc. Method for displaying reduced distortion video images via a vehicular vision system
KR102234709B1 (ko) 2014-09-15 2021-04-01 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
JP6252414B2 (ja) 2014-09-16 2017-12-27 カシオ計算機株式会社 図形表示装置、図形表示方法およびプログラム
US10547825B2 (en) 2014-09-22 2020-01-28 Samsung Electronics Company, Ltd. Transmission of three-dimensional video
CN106575444B (zh) 2014-09-24 2020-06-30 英特尔公司 用户姿势驱动的化身装置和方法
JP2016066978A (ja) 2014-09-26 2016-04-28 キヤノンマーケティングジャパン株式会社 撮像装置、その制御方法とプログラム
US10361986B2 (en) 2014-09-29 2019-07-23 Disney Enterprises, Inc. Gameplay in a chat thread
JP2016072965A (ja) 2014-09-29 2016-05-09 パナソニックIpマネジメント株式会社 撮像装置
US20160098094A1 (en) 2014-10-02 2016-04-07 Geegui Corporation User interface enabled by 3d reversals
KR102240302B1 (ko) 2014-10-21 2021-04-14 삼성전자주식회사 가상 피팅 장치 및 이의 가상 피팅 방법
KR102251483B1 (ko) 2014-10-23 2021-05-14 삼성전자주식회사 영상을 처리하는 전자 장치 및 방법
KR102225947B1 (ko) 2014-10-24 2021-03-10 엘지전자 주식회사 이동단말기 및 그 제어방법
WO2016064435A1 (en) 2014-10-24 2016-04-28 Usens, Inc. System and method for immersive and interactive multimedia generation
US9704250B1 (en) * 2014-10-30 2017-07-11 Amazon Technologies, Inc. Image optimization techniques using depth planes
EP3217679B1 (en) 2014-11-05 2020-05-13 LG Electronics Inc. Image output device, mobile terminal, and control method therefor
US20160132201A1 (en) 2014-11-06 2016-05-12 Microsoft Technology Licensing, Llc Contextual tabs in mobile ribbons
CN105589637A (zh) 2014-11-11 2016-05-18 阿里巴巴集团控股有限公司 基于手势的缩放方法及装置
US9412169B2 (en) 2014-11-21 2016-08-09 iProov Real-time visual feedback for user positioning with respect to a camera and a display
KR101997500B1 (ko) 2014-11-25 2019-07-08 삼성전자주식회사 개인화된 3d 얼굴 모델 생성 방법 및 장치
CN104461288B (zh) 2014-11-28 2017-11-10 广东欧珀移动通信有限公司 使用不同视场角摄像头拍照的方法和终端
US20160173869A1 (en) 2014-12-15 2016-06-16 Nokia Corporation Multi-Camera System Consisting Of Variably Calibrated Cameras
JP6518069B2 (ja) 2015-01-09 2019-05-22 キヤノン株式会社 表示装置、撮像システム、表示装置の制御方法、プログラム、及び記録媒体
US9626589B1 (en) * 2015-01-19 2017-04-18 Ricoh Co., Ltd. Preview image acquisition user interface for linear panoramic image stitching
US9712751B2 (en) 2015-01-22 2017-07-18 Apple Inc. Camera field of view effects based on device orientation and scene content
US9767613B1 (en) 2015-01-23 2017-09-19 Leap Motion, Inc. Systems and method of interacting with a virtual object
JP6152125B2 (ja) 2015-01-23 2017-06-21 任天堂株式会社 プログラム、情報処理装置、情報処理システム及びアバター画像の生成方法
GB2534847A (en) 2015-01-28 2016-08-10 Sony Computer Entertainment Europe Ltd Display
JP6525611B2 (ja) 2015-01-29 2019-06-05 キヤノン株式会社 画像処理装置およびその制御方法
CN105991915B (zh) 2015-02-03 2020-06-09 中兴通讯股份有限公司 拍照的方法和装置以及终端
JP6525617B2 (ja) 2015-02-03 2019-06-05 キヤノン株式会社 画像処理装置およびその制御方法
CN105847670B (zh) 2015-02-04 2019-06-21 佳能株式会社 电子设备、摄像控制装置及其控制方法
US9979885B2 (en) 2015-02-09 2018-05-22 Steven Christopher Sparks Apparatus and method for capture of 360° panoramic video image and simultaneous assembly of 360° panoramic zoetropic video image
US10055887B1 (en) 2015-02-19 2018-08-21 Google Llc Virtual/augmented reality transition system and method
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9959623B2 (en) 2015-03-09 2018-05-01 Here Global B.V. Display of an annotation representation
EP3268096A4 (en) 2015-03-09 2018-10-10 Ventana 3D LLC Avatar control system
NZ773822A (en) 2015-03-16 2022-07-29 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
JP6642054B2 (ja) 2015-03-19 2020-02-05 株式会社デンソーウェーブ ロボット操作装置、及びロボット操作プログラム
US9852543B2 (en) 2015-03-27 2017-12-26 Snap Inc. Automated three dimensional model generation
JP2018514020A (ja) 2015-04-07 2018-05-31 インテル コーポレイション アバターキーボード
JP5802853B2 (ja) 2015-04-15 2015-11-04 グリー株式会社 表示データ作成方法、制御プログラム及びコンピュータ
US9979890B2 (en) 2015-04-23 2018-05-22 Apple Inc. Digital viewfinder user interface for multiple cameras
CN104836947B (zh) 2015-05-06 2017-11-14 广东欧珀移动通信有限公司 一种图像拍摄方法和装置
CN106210550B (zh) 2015-05-06 2019-02-19 小米科技有限责任公司 模式调节方法及装置
KR20160131720A (ko) 2015-05-08 2016-11-16 엘지전자 주식회사 이동단말기 및 그 제어방법
CN106303690A (zh) 2015-05-27 2017-01-04 腾讯科技(深圳)有限公司 一种视频处理方法及装置
US10038838B2 (en) * 2015-05-29 2018-07-31 Hover Inc. Directed image capture
US9967467B2 (en) 2015-05-29 2018-05-08 Oath Inc. Image capture with display context
US10871868B2 (en) 2015-06-05 2020-12-22 Apple Inc. Synchronized content scrubber
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
KR20160146281A (ko) 2015-06-12 2016-12-21 삼성전자주식회사 전자 장치 및 전자 장치에서 이미지 표시 방법
KR101751347B1 (ko) 2015-06-16 2017-07-11 엘지전자 주식회사 이동 단말기 및 이의 제어방법
WO2016203282A1 (en) 2015-06-18 2016-12-22 The Nielsen Company (Us), Llc Methods and apparatus to capture photographs using mobile devices
US9652125B2 (en) 2015-06-18 2017-05-16 Apple Inc. Device, method, and graphical user interface for navigating media content
US20160370974A1 (en) 2015-06-22 2016-12-22 Here Global B.V. Causation of Expansion of a Supplemental Content Overlay
KR20170006559A (ko) 2015-07-08 2017-01-18 엘지전자 주식회사 이동단말기 및 그 제어방법
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US20170018289A1 (en) 2015-07-15 2017-01-19 String Theory, Inc. Emoji as facetracking video masks
KR102399049B1 (ko) 2015-07-15 2022-05-18 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 처리 방법
KR102429427B1 (ko) 2015-07-20 2022-08-04 삼성전자주식회사 촬영 장치 및 그 동작 방법
CN105138259B (zh) 2015-07-24 2018-07-27 小米科技有限责任公司 操作执行方法及装置
CN106412214B (zh) 2015-07-28 2019-12-10 中兴通讯股份有限公司 一种终端及终端拍摄的方法
KR101678861B1 (ko) 2015-07-28 2016-11-23 엘지전자 주식회사 이동단말기 및 그 제어방법
JP6546474B2 (ja) 2015-07-31 2019-07-17 キヤノン株式会社 撮像装置およびその制御方法
KR102292985B1 (ko) 2015-08-10 2021-08-24 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR102349428B1 (ko) 2015-08-12 2022-01-10 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자장치
CN106470336A (zh) 2015-08-17 2017-03-01 深圳富泰宏精密工业有限公司 相机色温补偿系统及智能终端
US10334154B2 (en) 2015-08-31 2019-06-25 Snap Inc. Automated adjustment of digital image capture parameters
US10397469B1 (en) 2015-08-31 2019-08-27 Snap Inc. Dynamic image-based adjustment of image capture parameters
KR20170027052A (ko) 2015-09-01 2017-03-09 엘지전자 주식회사 모바일 디바이스 및 그 제어 방법
KR20170029837A (ko) 2015-09-08 2017-03-16 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR20170029978A (ko) 2015-09-08 2017-03-16 엘지전자 주식회사 이동단말기 및 그 제어방법
CN105245774B (zh) 2015-09-15 2018-12-21 努比亚技术有限公司 一种图片处理方法及终端
US9349414B1 (en) 2015-09-18 2016-05-24 Odile Aimee Furment System and method for simultaneous capture of two video streams
US20170094019A1 (en) 2015-09-26 2017-03-30 Microsoft Technology Licensing, Llc Providing Access to Non-Obscured Content Items based on Triggering Events
US9769419B2 (en) 2015-09-30 2017-09-19 Cisco Technology, Inc. Camera system for video conference endpoints
US10104282B2 (en) * 2015-09-30 2018-10-16 Ricoh Co., Ltd. Yaw user interface
US20170109912A1 (en) 2015-10-15 2017-04-20 Motorola Mobility Llc Creating a composite image from multi-frame raw image data
CN108028880A (zh) 2015-10-19 2018-05-11 核心光电有限公司 双孔径变焦数字摄影机用户界面
US10044927B2 (en) 2015-10-19 2018-08-07 Stmicroelectronics International N.V. Capturing a stable image using an ambient light sensor-based trigger
US9686497B1 (en) 2015-10-29 2017-06-20 Crater Group Co. Video annotation and dynamic video call display for multi-camera devices
CN105430295B (zh) 2015-10-30 2019-07-12 努比亚技术有限公司 图像处理装置及方法
CN105338256A (zh) 2015-11-19 2016-02-17 广东欧珀移动通信有限公司 一种拍摄方法及装置
US10742889B2 (en) 2015-11-25 2020-08-11 Huawei Technologies Co., Ltd. Image photographing method, image photographing apparatus, and terminal
US20170178287A1 (en) 2015-12-21 2017-06-22 Glen J. Anderson Identity obfuscation
US20170180811A1 (en) 2015-12-21 2017-06-22 Facebook, Inc. Systems and methods to optimize music access in a news feed
US10007990B2 (en) 2015-12-24 2018-06-26 Intel Corporation Generating composite images using estimated blur kernel size
CN105630290B (zh) 2015-12-24 2019-02-15 青岛海信电器股份有限公司 一种基于移动设备的界面处理方法和装置
CN105620393B (zh) 2015-12-25 2017-08-04 福建省汽车工业集团云度新能源汽车股份有限公司 一种自适应的车辆人机交互方法及其系统
CN106921829A (zh) 2015-12-25 2017-07-04 北京奇虎科技有限公司 一种拍照方法和装置及拍照设备
KR102140882B1 (ko) 2015-12-29 2020-08-04 코어포토닉스 리미티드 자동 조정가능 텔레 시야(fov)를 갖는 듀얼-애퍼처 줌 디지털 카메라
CN105611215A (zh) 2015-12-30 2016-05-25 掌赢信息科技(上海)有限公司 一种视频通话方法及装置
US10194089B2 (en) 2016-02-08 2019-01-29 Qualcomm Incorporated Systems and methods for implementing seamless zoom function using multiple cameras
KR102445699B1 (ko) 2016-02-18 2022-09-21 삼성전자주식회사 전자 장치 및 그의 동작 방법
KR20170098089A (ko) 2016-02-19 2017-08-29 삼성전자주식회사 전자 장치 및 그의 동작 방법
KR20170097860A (ko) 2016-02-19 2017-08-29 삼성전자주식회사 디스플레이를 이용하여 이미지를 촬영하는 전자 장치 및 이미지 촬영 방법
CN107102499A (zh) 2016-02-22 2017-08-29 深圳富泰宏精密工业有限公司 多镜头系统及具有该多镜头系统的便携式电子装置
KR20180132063A (ko) 2016-02-24 2018-12-11 비브하이스트 인코포레이티드 개인의 생활 스토리 시뮬레이션 시스템
GB2548154A (en) 2016-03-11 2017-09-13 Sony Computer Entertainment Europe Ltd Virtual reality
US10225471B2 (en) * 2016-03-18 2019-03-05 Kenneth L. Poindexter, JR. System and method for autonomously recording a visual media
JP6448849B2 (ja) 2016-03-23 2019-01-09 富士フイルム株式会社 デジタルカメラ及びデジタルカメラの表示方法
US20170285916A1 (en) 2016-03-30 2017-10-05 Yan Xu Camera effects for photo story generation
KR20170112497A (ko) 2016-03-31 2017-10-12 엘지전자 주식회사 이동 단말기 및 그 제어방법
DE112017001625B4 (de) 2016-03-31 2021-06-24 Fujifilm Corporation Digitalkamera und Anzeigeverfahren für die Digitalkamera
US9990775B2 (en) 2016-03-31 2018-06-05 Verizon Patent And Licensing Inc. Methods and systems for point-to-multipoint delivery of independently-controllable interactive media content
JP6724982B2 (ja) 2016-04-13 2020-07-15 ソニー株式会社 信号処理装置および撮像装置
US10187587B2 (en) 2016-04-13 2019-01-22 Google Llc Live updates for synthetic long exposures
JP6323729B2 (ja) 2016-04-25 2018-05-16 パナソニックIpマネジメント株式会社 画像処理装置及びこれを備えた撮像システムならびにキャリブレーション方法
KR20170123125A (ko) 2016-04-28 2017-11-07 엘지전자 주식회사 이동단말기 및 그 제어방법
US10609093B2 (en) 2016-05-06 2020-03-31 Facebook, Inc. Instantaneous call sessions over a communications application
DK201670641A1 (en) 2016-05-18 2017-12-04 Apple Inc Devices, Methods, and Graphical User Interfaces for Messaging
WO2017201326A1 (en) 2016-05-18 2017-11-23 Apple Inc. Applying acknowledgement options in a graphical messaging user interface
US11320982B2 (en) 2016-05-18 2022-05-03 Apple Inc. Devices, methods, and graphical user interfaces for messaging
KR102440848B1 (ko) 2016-05-20 2022-09-06 엘지전자 주식회사 이동 단말기 및 그 제어방법
JPWO2017200049A1 (ja) 2016-05-20 2019-04-11 マクセル株式会社 撮像装置およびその設定画面
WO2017204596A1 (ko) 2016-05-26 2017-11-30 주식회사 시어스랩 얼굴 윤곽 보정 방법 및 장치
US9852768B1 (en) * 2016-06-03 2017-12-26 Maverick Co., Ltd. Video editing using mobile terminal and remote computer
DK179757B1 (en) 2016-06-12 2019-05-08 Apple Inc. User Interface for Camera Effects
DK179754B1 (en) 2016-06-12 2019-05-08 Apple Inc. USER INTERFACE FOR CAMERA EFFECTS
US9854156B1 (en) 2016-06-12 2017-12-26 Apple Inc. User interface for camera effects
DK179635B1 (en) 2016-06-12 2019-03-05 Apple Inc. USER INTERFACE FOR CAMERA EFFECTS
US11794108B2 (en) 2016-06-13 2023-10-24 Sony Interactive Entertainment LLC Method and system for saving a snapshot of game play and used to begin later execution of the game play by any user as executed on a game cloud system
JP6684158B2 (ja) 2016-06-13 2020-04-22 株式会社キーエンス 画像処理センサ、画像処理方法
US10313605B2 (en) 2016-06-15 2019-06-04 Canon Kabushiki Kaisha Image processing apparatus and control method thereof for generating high dynamic range image data
KR102520225B1 (ko) 2016-06-30 2023-04-11 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 촬영 방법
US10360708B2 (en) 2016-06-30 2019-07-23 Snap Inc. Avatar based ideogram generation
US10179290B2 (en) 2016-07-21 2019-01-15 Sony Interactive Entertainment America Llc Method and system for accessing previously stored game play via video recording as executed on a game cloud system
CN106067947A (zh) 2016-07-25 2016-11-02 深圳市金立通信设备有限公司 一种拍照方法及终端
US20180035031A1 (en) * 2016-07-27 2018-02-01 Samsung Electro-Mechanics Co., Ltd. Camera module and portable electronic device including the same
US10572005B2 (en) 2016-07-29 2020-02-25 Microsoft Technology Licensing, Llc Private communication with gazing
US9955061B2 (en) 2016-08-03 2018-04-24 International Business Machines Corporation Obtaining camera device image data representing an event
US20180047200A1 (en) 2016-08-11 2018-02-15 Jibjab Media Inc. Combining user images and computer-generated illustrations to produce personalized animated digital avatars
WO2018049430A2 (en) 2016-08-11 2018-03-15 Integem Inc. An intelligent interactive and augmented reality based user interface platform
KR101926018B1 (ko) 2016-08-12 2018-12-06 라인 가부시키가이샤 동영상 녹화 방법 및 시스템
KR20180019392A (ko) 2016-08-16 2018-02-26 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN106161956A (zh) 2016-08-16 2016-11-23 深圳市金立通信设备有限公司 一种拍摄时预览画面的处理方法和终端
US10313652B1 (en) 2016-08-18 2019-06-04 Relay Cars LLC Cubic or spherical mapped content for presentation of pre-rendered images viewed from a fixed point of view in HTML, javascript and/or XML for virtual reality applications
KR102593824B1 (ko) 2016-08-31 2023-10-25 삼성전자주식회사 카메라를 제어하기 위한 방법 및 그 전자 장치
CN107800945A (zh) 2016-08-31 2018-03-13 北京小米移动软件有限公司 全景拍照的方法及装置、电子设备
WO2018048838A1 (en) 2016-09-06 2018-03-15 Apple Inc. Still image stabilization/optical image stabilization synchronization in multi-camera image capture
CN106303280A (zh) 2016-09-09 2017-01-04 广东欧珀移动通信有限公司 一种拍照补光方法、装置和终端
JP2018042198A (ja) 2016-09-09 2018-03-15 オリンパス株式会社 撮像装置及び撮像方法
CN106375662B (zh) 2016-09-22 2019-04-12 宇龙计算机通信科技(深圳)有限公司 一种基于双摄像头的拍摄方法、装置和移动终端
AU2017330208B2 (en) 2016-09-23 2019-12-12 Apple Inc. Image data for enhanced user interactions
WO2018057268A1 (en) 2016-09-23 2018-03-29 Apple Inc. Image data for enhanced user interactions
KR20210013323A (ko) 2016-09-23 2021-02-03 애플 인크. 아바타 생성 및 편집
US10547776B2 (en) 2016-09-23 2020-01-28 Apple Inc. Devices, methods, and graphical user interfaces for capturing and recording media in multiple modes
US10297034B2 (en) 2016-09-30 2019-05-21 Qualcomm Incorporated Systems and methods for fusing images
US10602133B2 (en) 2016-10-04 2020-03-24 Facebook, Inc. Controls and interfaces for user interactions in virtual spaces
US10163008B2 (en) * 2016-10-04 2018-12-25 Rovi Guides, Inc. Systems and methods for recreating a reference image from a media asset
US10198171B2 (en) 2016-10-14 2019-02-05 Sap Se User interface control for smart range slider
KR102609464B1 (ko) 2016-10-18 2023-12-05 삼성전자주식회사 영상을 촬영하는 전자 장치
US10432559B2 (en) 2016-10-24 2019-10-01 Snap Inc. Generating and displaying customized avatars in electronic messages
US10386999B2 (en) 2016-10-26 2019-08-20 Google Llc Timeline-video relationship presentation for alert events
US10180615B2 (en) 2016-10-31 2019-01-15 Google Llc Electrochromic filtering in a camera
WO2018085426A1 (en) 2016-11-01 2018-05-11 Snap Inc. Systems and methods for fast video capture and sensor adjustment
EP3535756B1 (en) 2016-11-07 2021-07-28 Snap Inc. Selective identification and order of image modifiers
CN106791357A (zh) 2016-11-15 2017-05-31 维沃移动通信有限公司 一种拍摄方法和移动终端
CN106412445A (zh) 2016-11-29 2017-02-15 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN106791377B (zh) 2016-11-29 2019-09-27 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106341611A (zh) 2016-11-29 2017-01-18 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
JP6765956B2 (ja) 2016-12-27 2020-10-07 キヤノン株式会社 撮像制御装置及びその制御方法
JP6873688B2 (ja) 2016-12-27 2021-05-19 キヤノン株式会社 画像処理装置および画像処理方法、撮像装置、プログラム
CN106791420B (zh) 2016-12-30 2019-11-05 深圳先进技术研究院 一种拍摄控制方法及装置
KR102289837B1 (ko) 2017-01-06 2021-08-17 삼성전자주식회사 촬영 방법 및 전자 장치
JP6748582B2 (ja) 2017-01-10 2020-09-02 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記録媒体
US10176622B1 (en) 2017-01-24 2019-01-08 Amazon Technologies, Inc. Filtering of virtual reality images to mitigate playback transformation artifacts
JP6789833B2 (ja) 2017-01-26 2020-11-25 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
US10681286B2 (en) 2017-01-26 2020-06-09 Canon Kabushiki Kaisha Image processing apparatus, imaging apparatus, image processing method, and recording medium
US20180227482A1 (en) 2017-02-07 2018-08-09 Fyusion, Inc. Scene-aware selection of filters and effects for visual digital media content
US10630888B2 (en) 2017-02-09 2020-04-21 Samsung Electronics Co., Ltd. Method and apparatus for selecting capture configuration based on scene analysis
US9913246B1 (en) * 2017-02-10 2018-03-06 International Business Machines Corporation Intelligent notification redirection
KR20180095331A (ko) 2017-02-17 2018-08-27 엘지전자 주식회사 이동단말기 및 그 제어 방법
WO2018159864A1 (ko) 2017-02-28 2018-09-07 엘지전자 주식회사 이동 단말기 및 그 이동 단말기의 제어 방법
US10338897B2 (en) 2017-03-03 2019-07-02 Stratedigm, Inc. Visual protocol designer
KR102386398B1 (ko) 2017-03-17 2022-04-14 삼성전자주식회사 촬영 모드에 따라 이미지에 대한 표시자를 다르게 제공하는 방법 및 그 전자 장치
JP6456422B2 (ja) 2017-03-17 2019-01-23 株式会社Pfu サムネイル画像表示装置、サムネイル画像表示装置の制御方法及びコンピュータの制御プログラム
US20180278823A1 (en) 2017-03-23 2018-09-27 Intel Corporation Auto-exposure technologies using odometry
EP3602943A1 (en) 2017-03-24 2020-02-05 Intel IP Corporation Techniques to enable physical downlink control channel communications
KR102361885B1 (ko) 2017-03-28 2022-02-11 삼성전자주식회사 전자 장치 및 전자 장치 제어 방법
KR20180116574A (ko) 2017-04-17 2018-10-25 엘지전자 주식회사 이동 단말기
JP2018179911A (ja) 2017-04-20 2018-11-15 株式会社デンソー 測距装置及び距離情報取得方法
US10467775B1 (en) 2017-05-03 2019-11-05 Amazon Technologies, Inc. Identifying pixel locations using a transformation function
CN111694486B (zh) 2017-05-16 2023-08-22 苹果公司 用于在用户界面之间导航的设备、方法和图形用户界面
WO2018144339A2 (en) 2017-05-16 2018-08-09 Apple Inc. Devices, methods, and graphical user interfaces for navigating between user interfaces and interacting with control objects
DK179948B1 (en) 2017-05-16 2019-10-22 Apple Inc. Recording and sending Emoji
KR102439054B1 (ko) 2017-05-16 2022-09-02 애플 인크. 이모지 레코딩 및 전송
WO2018212802A1 (en) 2017-05-16 2018-11-22 Apple Inc. Emoji recording and sending
DK179932B1 (en) 2017-05-16 2019-10-11 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR NAVIGATING, DISPLAYING, AND EDITING MEDIA ITEMS WITH MULTIPLE DISPLAY MODES
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US10972672B2 (en) 2017-06-05 2021-04-06 Samsung Electronics Co., Ltd. Device having cameras with different focal lengths and a method of implementing cameras with different focal lengths
US10218697B2 (en) 2017-06-09 2019-02-26 Lookout, Inc. Use of device risk evaluation to manage access to services
KR102351542B1 (ko) 2017-06-23 2022-01-17 삼성전자주식회사 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치
US20190007589A1 (en) 2017-06-30 2019-01-03 Qualcomm Incorporated Camera initialization for multiple camera devices
US11051691B2 (en) 2017-07-31 2021-07-06 Vye, Llc Ocular analysis
CN108305317B (zh) 2017-08-04 2020-03-17 腾讯科技(深圳)有限公司 一种图像处理方法、装置及存储介质
US11108953B2 (en) 2017-08-18 2021-08-31 Huawei Technologies Co., Ltd. Panoramic photo shooting method and apparatus
KR102423175B1 (ko) 2017-08-18 2022-07-21 삼성전자주식회사 심도 맵을 이용하여 이미지를 편집하기 위한 장치 및 그에 관한 방법
KR102338576B1 (ko) 2017-08-22 2021-12-14 삼성전자주식회사 이미지를 이용하여 획득된 깊이 정보의 속성에 따라 이미지와 연관하여 깊이 정보를 저장하는 전자 장치 및 전자 장치 제어 방법
CN107566721B (zh) 2017-08-30 2020-06-26 北京天耀宏图科技有限公司 一种信息显示方法、终端及计算机可读存储介质
WO2019047028A1 (zh) 2017-09-05 2019-03-14 广东欧珀移动通信有限公司 拍摄界面显示方法、装置及终端
CN110456979B (zh) 2017-09-09 2021-11-02 苹果公司 用于在背景上显示示能表示的设备、方法和电子设备
JP2019054461A (ja) 2017-09-15 2019-04-04 オリンパス株式会社 撮像装置および撮像方法
KR102385360B1 (ko) 2017-09-19 2022-04-12 삼성전자주식회사 이미지 보정을 수행하는 전자 장치 및 그 동작 방법
US10372298B2 (en) 2017-09-29 2019-08-06 Apple Inc. User interface for multi-user communication session
WO2019070299A1 (en) 2017-10-04 2019-04-11 Google Llc DEPTH ESTIMATION USING A SINGLE CAMERA
US10467729B1 (en) 2017-10-12 2019-11-05 Amazon Technologies, Inc. Neural network-based image processing
US10657695B2 (en) 2017-10-30 2020-05-19 Snap Inc. Animated chat presence
CN107770448A (zh) 2017-10-31 2018-03-06 努比亚技术有限公司 一种图像采集方法、移动终端和计算机存储介质
US10498971B2 (en) 2017-11-03 2019-12-03 Qualcomm Incorporated Systems and methods for high-dynamic range imaging
CN107820011A (zh) 2017-11-21 2018-03-20 维沃移动通信有限公司 拍照方法和拍照装置
US10645272B2 (en) 2017-12-04 2020-05-05 Qualcomm Incorporated Camera zoom level and image frame capture control
US20190205861A1 (en) 2018-01-03 2019-07-04 Marjan Bace Customer-directed Digital Reading and Content Sales Platform
US10630903B2 (en) 2018-01-12 2020-04-21 Qualcomm Incorporated Systems and methods for image exposure
JP7071137B2 (ja) 2018-01-26 2022-05-18 キヤノン株式会社 電子機器およびその制御方法
US10374994B1 (en) 2018-02-21 2019-08-06 King.Com Ltd. Messaging system
KR102661019B1 (ko) 2018-02-23 2024-04-26 삼성전자주식회사 얼굴에 대응하는 3차원 아바타를 이용하여 얼굴의 움직임이 반영된 3차원 아바타를 포함하는 이미지를 생성하는 전자 장치 및 그 동작 방법
CN108419030B (zh) 2018-03-01 2021-04-20 思特威(上海)电子科技股份有限公司 具有led闪烁衰减的hdr图像传感器像素结构及成像系统
CN108391053A (zh) 2018-03-16 2018-08-10 维沃移动通信有限公司 一种拍摄控制方法及终端
CN111147739A (zh) 2018-03-27 2020-05-12 华为技术有限公司 拍照方法、拍照装置和移动终端
CN108549522A (zh) 2018-03-30 2018-09-18 深圳市万普拉斯科技有限公司 拍照设置方法、装置、移动终端和计算机可读存储介质
CN108513070B (zh) 2018-04-04 2020-09-04 维沃移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质
US10643386B2 (en) 2018-04-11 2020-05-05 Zillow Group, Inc. Presenting image transition sequences between viewing locations
DK180212B1 (en) 2018-05-07 2020-08-19 Apple Inc USER INTERFACE FOR CREATING AVATAR
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
DK201870350A1 (en) 2018-05-07 2019-12-05 Apple Inc. Devices and Methods for Measuring Using Augmented Reality
US10482583B1 (en) 2018-05-10 2019-11-19 Google Llc Generating and displaying blur in images
CN108712609A (zh) 2018-05-17 2018-10-26 Oppo广东移动通信有限公司 对焦处理方法、装置、设备及存储介质
US11450352B2 (en) 2018-05-29 2022-09-20 Sony Corporation Image processing apparatus and image processing method
KR102597680B1 (ko) 2018-06-07 2023-11-03 삼성전자주식회사 맞춤형 화질 이미지를 제공하는 전자 장치 및 그 제어 방법
CN108848308B (zh) 2018-06-27 2019-12-31 维沃移动通信有限公司 一种拍摄方法及移动终端
CN108668083B (zh) 2018-07-24 2020-09-01 维沃移动通信有限公司 一种拍照方法及终端
KR102598109B1 (ko) 2018-08-08 2023-11-06 삼성전자주식회사 이미지 분석에 기반하여, 디스플레이를 통해 표시된 영상과 메모리에 저장된 영상과 관련하여 알림을 제공하는 전자 장치 및 방법
CN110839129A (zh) 2018-08-17 2020-02-25 Oppo广东移动通信有限公司 图像处理方法、装置以及移动终端
CN109005366B (zh) 2018-08-22 2020-04-28 Oppo广东移动通信有限公司 摄像模组夜景摄像处理方法、装置、电子设备及存储介质
JP6427711B1 (ja) 2018-08-27 2018-11-21 京セラ株式会社 電子機器、方法及びプログラム
US11120528B1 (en) 2018-09-11 2021-09-14 Apple Inc. Artificial aperture adjustment for synthetic depth of field rendering
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
JP7072995B2 (ja) 2018-09-12 2022-05-23 アルパイン株式会社 操作装置
CN110932673A (zh) 2018-09-19 2020-03-27 恩智浦美国有限公司 一种包含并联陷波滤波器的斩波稳定放大器
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US11422692B2 (en) 2018-09-28 2022-08-23 Apple Inc. System and method of controlling devices using motion gestures
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US10902661B1 (en) 2018-11-28 2021-01-26 Snap Inc. Dynamic composite user identifier
CN109639970B (zh) 2018-12-17 2021-07-30 维沃移动通信有限公司 一种拍摄方法及终端设备
US11288880B2 (en) 2019-01-18 2022-03-29 Snap Inc. Template-based generation of personalized videos
US11381739B2 (en) 2019-01-23 2022-07-05 Intel Corporation Panoramic virtual reality framework providing a dynamic user experience
JP7268369B2 (ja) 2019-01-30 2023-05-08 株式会社リコー 撮像システム、現像システム、撮像方法、及びプログラム
CN113767644B (zh) 2019-04-22 2024-01-09 索可立谱公司 自动的音频-视频内容生成
US10992619B2 (en) 2019-04-30 2021-04-27 Snap Inc. Messaging system with avatar generation
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
CN111901475A (zh) 2019-05-06 2020-11-06 苹果公司 用于捕获和管理视觉媒体的用户界面
DK201970531A1 (en) 2019-05-06 2021-07-09 Apple Inc Avatar integration with multiple applications
US20200380768A1 (en) 2019-06-02 2020-12-03 Apple Inc. Parameterized generation of two-dimensional images from a three-dimensional model
US11074753B2 (en) 2019-06-02 2021-07-27 Apple Inc. Multi-pass object rendering using a three- dimensional geometric constraint
US11189098B2 (en) 2019-06-28 2021-11-30 Snap Inc. 3D object camera customization system
US20200412975A1 (en) 2019-06-28 2020-12-31 Snap Inc. Content capture with audio input feedback
KR102241153B1 (ko) 2019-07-01 2021-04-19 주식회사 시어스랩 2차원 이미지로부터 3차원 아바타를 생성하는 방법, 장치 및 시스템
US11189104B2 (en) 2019-08-28 2021-11-30 Snap Inc. Generating 3D data in a messaging system
US11488359B2 (en) 2019-08-28 2022-11-01 Snap Inc. Providing 3D data for messages in a messaging system
CN110662083B (zh) 2019-09-30 2022-04-22 北京达佳互联信息技术有限公司 数据处理方法、装置、电子设备及存储介质
US11252274B2 (en) 2019-09-30 2022-02-15 Snap Inc. Messaging application sticker extensions
JP2021145209A (ja) 2020-03-11 2021-09-24 キヤノン株式会社 電子機器
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
CN111695471B (zh) 2020-06-02 2023-06-27 北京百度网讯科技有限公司 虚拟形象生成方法、装置、设备以及存储介质
US11625874B2 (en) 2020-08-04 2023-04-11 Triple Lift, Inc. System and method for intelligently generating digital composites from user-provided graphics
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
CN113268622A (zh) 2021-04-21 2021-08-17 北京达佳互联信息技术有限公司 图片浏览方法、装置、电子设备及存储介质
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US20220382443A1 (en) 2021-06-01 2022-12-01 Apple Inc. Aggregated content item user interfaces
US20220382440A1 (en) 2021-06-01 2022-12-01 Apple Inc. User interfaces for managing media styles

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060228040A1 (en) * 2003-02-28 2006-10-12 Simon Richard A Method and system for enhancing portrait image that are processed in a batch mode
US8405680B1 (en) * 2010-04-19 2013-03-26 YDreams S.A., A Public Limited Liability Company Various methods and apparatuses for achieving augmented reality
US20130222663A1 (en) * 2012-02-24 2013-08-29 Daniel Tobias RYDENHAG User interface for a digital camera
US20150067513A1 (en) * 2012-05-09 2015-03-05 Apple Inc. Device, Method, and Graphical User Interface for Facilitating User Interaction with Controls in a User Interface
US9001226B1 (en) * 2012-12-04 2015-04-07 Lytro, Inc. Capturing and relighting images using multiple devices
CN104903834A (zh) * 2012-12-29 2015-09-09 苹果公司 用于在触摸输入到显示输出关系之间过渡的设备、方法和图形用户界面
US20150208001A1 (en) * 2013-09-03 2015-07-23 Olympus Corporation Imaging device, imaging method, and program
US20150109417A1 (en) * 2013-10-21 2015-04-23 Nokia Corporation Method, apparatus and computer program product for modifying illumination in an image
CN105794196A (zh) * 2013-10-21 2016-07-20 诺基亚技术有限公司 用于修改图像中的照度的方法、装置和计算机程序产品
JP2015180987A (ja) * 2014-03-03 2015-10-15 株式会社東芝 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US20160307324A1 (en) * 2015-04-15 2016-10-20 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data
US20160366323A1 (en) * 2015-06-15 2016-12-15 Mediatek Inc. Methods and systems for providing virtual lighting
CN106257540A (zh) * 2015-06-15 2016-12-28 联发科技股份有限公司 提供虚拟光的方法及其处理系统
US20170061635A1 (en) * 2015-08-27 2017-03-02 Lytro, Inc. Depth-based application of image effects

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024041417A1 (zh) * 2022-08-23 2024-02-29 脸萌有限公司 信息显示方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
KR20230152829A (ko) 2023-11-03
CN116661666A (zh) 2023-08-29
JP2022084635A (ja) 2022-06-07
DK180859B1 (en) 2022-05-23
US11687224B2 (en) 2023-06-27
KR102369058B1 (ko) 2022-03-02
US11204692B2 (en) 2021-12-21
CN111399734A (zh) 2020-07-10
JP2020524430A (ja) 2020-08-13
JP2023101415A (ja) 2023-07-20
KR102274977B1 (ko) 2021-07-07
US20230229297A1 (en) 2023-07-20
KR20230004908A (ko) 2023-01-06
CN114415906B (zh) 2023-08-01
AU2022218463A1 (en) 2022-09-08
US20180349008A1 (en) 2018-12-06
EP4287606A2 (en) 2023-12-06
US20200142577A1 (en) 2020-05-07
US20210318798A1 (en) 2021-10-14
CN113821140B (zh) 2023-04-07
AU2022218463B2 (en) 2023-04-27
KR102596399B1 (ko) 2023-11-01
DK201770719A1 (en) 2019-02-01
KR20210087559A (ko) 2021-07-12
EP3616394B1 (en) 2023-09-13
AU2023204616B2 (en) 2023-11-09
KR20220029774A (ko) 2022-03-08
EP4002824A1 (en) 2022-05-25
KR102478420B1 (ko) 2022-12-19
CN111399734B (zh) 2021-10-08
AU2024200819A1 (en) 2024-02-29
JP7247390B2 (ja) 2023-03-28
AU2023204616A1 (en) 2023-08-03
US10528243B2 (en) 2020-01-07
EP3616394A1 (en) 2020-03-04
EP4002824B1 (en) 2023-12-13
JP7033152B2 (ja) 2022-03-09
KR20200093695A (ko) 2020-08-05
CN111034164A (zh) 2020-04-17
CN113821140A (zh) 2021-12-21

Similar Documents

Publication Publication Date Title
CN111399734B (zh) 用户界面相机效果
AU2021203177B2 (en) User interface camera effects
JP7483084B2 (ja) ユーザインタフェースカメラ効果
DK201770563A1 (en) USER INTERFACE CAMERA EFFECTS

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: A.C. Day

Inventor after: Harris Earl

Inventor after: E.Jin

Inventor after: F.Cao

Inventor after: G. Johnson

Inventor after: G. Paul

Inventor after: J A Blass, Kurt

Inventor after: J.A. Maria

Inventor after: M. Bereza

Inventor after: P. leather card

Inventor after: J.P. Eve

Inventor after: A. suzados Santos

Inventor after: A. Bezati

Inventor after: J - B - Manzhali

Inventor after: B. Saurentino III

Inventor after: C Herman

Inventor after: C.D. Irani

Inventor after: D.T. Pristone

Inventor before: A.C. Day

Inventor before: Harris Earl

Inventor before: E.Jin

Inventor before: F.Cao

Inventor before: G. Johnson

Inventor before: G. Paul

Inventor before: J A Blass, Kurt

Inventor before: J.A. Maria

Inventor before: M. Bereza

Inventor before: P. leather card

Inventor before: J.P. Eve

Inventor before: A. suzados Santos

Inventor before: A. Bezati

Inventor before: B.J. Manzali

Inventor before: B. Saurentino III

Inventor before: C Herman

Inventor before: C.D. Irani

Inventor before: D.T. Pristone