CN106131532A - 移动终端及其控制方法 - Google Patents

移动终端及其控制方法 Download PDF

Info

Publication number
CN106131532A
CN106131532A CN201610108498.2A CN201610108498A CN106131532A CN 106131532 A CN106131532 A CN 106131532A CN 201610108498 A CN201610108498 A CN 201610108498A CN 106131532 A CN106131532 A CN 106131532A
Authority
CN
China
Prior art keywords
image
correction
mobile terminal
display
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610108498.2A
Other languages
English (en)
Other versions
CN106131532B (zh
Inventor
朴灿瑢
金相真
金佳览
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN106131532A publication Critical patent/CN106131532A/zh
Application granted granted Critical
Publication of CN106131532B publication Critical patent/CN106131532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/327Calibration thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/286Image signal generators having separate monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computer Networks & Wireless Communication (AREA)

Abstract

移动终端及其控制方法。公开了一种移动终端及其控制方法。该移动终端包括:相机,该相机被配置为对外部环境进行拍摄;显示单元,该显示单元被配置为显示由所述相机拍摄的图像;以及控制单元,该控制单元被配置为从所述图像中提取与所述外部环境中的面部对应的至少一个对象,并且控制所述显示单元以通过基于从所述图像的中心到所述至少一个对象的距离而修改所述至少一个对象的特定区域来对所述图像进行校正。

Description

移动终端及其控制方法
技术领域
本公开涉及一种用于执行对拍摄的图像进行校正的功能的移动终端。
背景技术
移动终端的示例包括各自包括电池和显示单元、通过使用从电池供应的电力在显示单元的屏幕上显示信息、并且可由用户携带的全部装置。另外,移动终端的示例包括记录并重现视频的装置、显示图形用户界面(GUI)的装置等。另外,移动终端的示例包括笔记本计算机、便携式电话、显示画面信息的眼镜和手表、游戏机等。
随着移动终端的功能正日益多样化,移动终端被实现为具有诸如拍摄照片的功能、拍摄视频的功能、重现音乐或视频的功能、玩游戏的功能、接收广播的功能等这样的复杂功能的多媒体播放器。为了支持并增加移动终端的功能,要求改进移动终端的结构和/或软件。
相机被配备在移动终端中,并且使用由相机拍摄的图像的各种功能正在被研发。可以通过使用移动终端的前相机和后相机来使各种实体(subject)成像。近来,随着配备在移动终端中的相机的拍摄质量提高,提供了更清晰的图像。然而,在对立体对象进行拍摄的情况下,使图像在其边缘区域中失真。
发明内容
因此,详细描述的一个方面在于提供一种移动终端及其控制方法,该移动终端及其控制方法提供了在三维(3D)实体被成像为二维(2D)实体时发生的透视失真(perspective distortion)已经得到校正的拍摄的图像。
为了实现这些和其它优点并且根据本说明书的目的,如本文中具体实现并广义描述的,一种移动终端包括:相机,该相机被配置为对外部环境进行拍摄;显示单元,该显示单元被配置为显示由所述相机拍摄的图像;以及控制单元,该控制单元被配置为从所述图像中提取与所述外部环境中的面部对应的至少一个对象,并且控制所述显示单元以通过基于从所述图像的中心到所述至少一个对象的距离修改所述至少一个对象的特定区域来对所述图像进行校正。
在本发明的示例性实施方式中,所述对象的特定区域被修改的程度可以随着所述特定区域远离所述图像的中心而增加,并且可以基于与所述对象的坐标点对应的校正系数来确定修改的程度。因此,仅与面部对应的区域可以被修改,并且可以基于坐标点进行校正,因此提供与实体大致相同的图像。
在本发明的示例性实施方式中,当提取与面部对应的多个对象时,可以仅对用户所选择的对象进行校正,或者可以基于距与所选择的对象对应的实体的距离,针对所选择的校正系数集来对图像进行校正。因此,被用户认为是重要对象的对象得到更精确的校正。
在本发明的示例性实施方式中,可以提供不包含非输出区域或者包含在所述非输出区域上显示的虚拟图像的补偿图像或附加校正图像。
在本发明的示例性实施方式中,可以对图像中所包含的面部进行提取,并且可以基于距所述图像的中心的距离来对与所述面部对应的对象的特定区域进行校正。因此,人的面部被更精确地成像,并且可以选择性地对仅发生失真的区域进行校正,因此使图像的修改的发生率最小化。
本申请的进一步的适用范围将从下文中给出的详细描述变得更显而易见。然而,应理解的是,当指示本公开的优选实施方式的同时,仅通过例示给出详细的描述和具体的示例,因为在本公开的精神和范围内的各种改变和修改对于本领域技术人员而言将从详细的描述中变得显而易见。
附图说明
附图被包括进来以提供对本公开的进一步理解,并且被并入到本说明书中并构成本说明书的一部分,附图例示了示例性实施方式,并且与本说明书一起用于解释本公开的原理。
在附图中:
图1A是用于描述根据本发明的示例性实施方式的移动终端的框图;
图1B和图1C是例示了根据本发明的示例性实施方式的移动终端的在不同的方向上看到的图;
图2A是用于描述根据本发明的示例性实施方式的控制移动终端的方法的流程图;
图2B是用于描述图2A中所例示的控制方法的概念图;
图2C是用于描述透视失真的概念图;
图3是用于描述基于所存储的校正系数来执行校正的控制方法的流程图;
图4A是用于描述对校正图像进行附加校正的控制方法的流程图;
图4B是用于描述图4A中所例示的控制方法的概念图;
图5A是用于描述基于附加校正图像中所包含的对象的状态来生成补偿图像的控制方法的流程图;
图5B和图5C是用于描述图5A中所例示的控制方法的概念图;
图6A、图6B和图6C是用于描述选择性地对图像进行校正的控制方法的概念图;
图7A是用于描述基于距实体的距离来选择性地应用校正系数集的控制方法的流程图;
图7B和图7C是用于描述选择性地应用校正系数集的控制方法的概念图;
图8A是用于描述对不包含人的面部的图像进行校正的方法的概念图;
图8B是用于描述当对象与平面实体相对应时的控制方法的概念图;
图9A、图9B和图9C是用于描述针对校正图像的控制方法的概念图;以及
图10是用于描述对预览画面上的图像进行校正的控制方法的概念图。
具体实施方式
现在将参照附图根据在本文中公开的示例性实施方式详细地给出描述。为了便于参照附图简要描述,相同或等同的组件可以设置有相同或相似的附图标记,并且将不再重复其描述。一般而言,诸如“模块”和“单元”这样的后缀可以被用于指代元件或组件。本文中使用这样的后缀仅旨在利于本说明书的描述,并且后缀本身并不旨在提供任何特殊的含义或功能。在本公开中,为了简明起见,已经总体上省略了对相关领域的普通技术人员众所周知的内容。附图被用来帮助容易理解各个技术特征,并且应该理解的是,本文中提供的实施方式不受附图的限制。因此,除了在附图中被明确阐述的内容以外,本公开应当被解释为延伸到任何改变、等同物和替代方案。
可以利用各种不同类型的终端来实现本文中提出的移动终端。这些终端的示例包括蜂窝电话、智能电话、用户设备、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航仪、便携式计算机(PC)、板型PC、平板PC、超级本、可穿戴装置(例如,智能手表、智能眼镜、头戴式显示器(HMD))等。
仅通过非限制性示例的方式,将参照特定类型的移动终端进行进一步的描述。然而,这些教导同样适用于其它类型的终端,诸如上文提到的这些类型。另外,这些教导还可以适用于诸如数字TV、台式计算机等这样的固定终端。
现在参照图1A至图1C,其中图1A是根据本公开的移动终端的框图,而图1B和图1C是该移动终端的一个示例的从不同的方向观看的概念图。
移动终端100被示出为具有诸如无线通信单元110、输入单元120、感测单元140、输出单元150、接口单元160、存储器170、控制器180和电源单元190这样的组件。要理解的是,实现全部所例示的组件不是必要条件,而是可以另选地实现更多或更少的组件。
参照图1A,移动终端100被示出为具有无线通信单元110,该无线通信单元110被配置有多个通常实现的组件。例如,无线通信单元110通常包括使得能够在移动终端100与该移动终端所在的无线通信系统或网络之间进行无线通信的一个或更多个组件。
无线通信单元110通常包括使得能够进行诸如下面的通信这样的通信的一个或更多个模块:移动终端100与无线通信系统之间的无线通信、移动终端100与另一移动终端之间的通信、移动终端100与外部服务器之间的通信。此外,无线通信单元110通常包括将移动终端100与一个或更多个网络连接在一起的一个或更多个模块。为了利于这些通信,无线通信单元110包括下面的项中的一个或更多个:广播接收模块111、移动通信模块112、无线互联网模块113、短距离通信模块114以及位置信息模块115。
输入单元120包括用于获得图像或视频的相机121、作为用于输入音频信号的音频输入装置的一种类型的麦克风122、以及用于使得用户能够输入信息的用户输入单元123(例如,触摸键、推按键、机械键、软键等)。数据(例如,音频、视频、图像等)由输入单元120来获得,并且可以根据装置参数、用户命令及其组合由控制器180进行分析和处理。
感测单元140通常利用被配置为感测移动终端的内部信息、移动终端的周围环境、用户信息等的一个或更多个传感器来实现。例如,在图1A中,感测单元140被示出具有接近传感器141和照度传感器142。
如果需要,感测单元140可以另选地或附加地包括其它类型的传感器或装置,诸如触摸传感器、加速度传感器、磁传感器、G传感器、陀螺仪传感器、运动传感器、RGB传感器、红外(IR)传感器、手指扫描传感器、超声传感器、光传感器(例如,相机121)、麦克风122、电池计量表、环境传感器(例如,气压计、湿度计、温度计、辐射检测传感器、热传感器以及气体传感器等)、以及化学传感器(例如,电子鼻、健康保健传感器、生物传感器等),仅举几例。移动终端100可以被配置为利用从感测单元140获得的信息、特别地从感测单元140的一个或更多个传感器获得的信息、以及其组合。
输出单元150通常被配置为输出诸如音频、视频、触觉输出等这样的各种类型的信息。输出单元150被示出为具有显示单元151、音频输出模块152、触觉模块153和光输出模块154。
为了利于触摸屏,显示单元151可以具有带有触摸传感器的分层结构或集成结构。触摸屏可以提供移动终端100和用户之间的输出接口,以及用作提供移动终端100和用户之间的输入接口的用户输入单元123。
接口单元160用作具有能够与移动终端100联接的各种类型的外部装置的接口。例如,接口单元160可以包括下面的项中的任一个:有线或无线端口、外部电源端口、有线或无线数据端口、存储器卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等。在一些情况下,移动终端100可以响应于正与接口单元160连接的外部装置而执行与所连接的外部装置关联的多种控制功能。
存储器170通常被实现为存储数据,以支持移动终端100的各种功能或特征。例如,存储器170可以被配置为存储在移动终端100中执行的应用程序、用于移动终端100的操作的数据或指令等。这些应用程序中的一些可以经由无线通信从外部服务器中下载。其它应用程序可以在制造或运送时被安装在移动终端100内,这通常是针对移动终端100的基本功能(例如,接电话、打电话、接收消息、发送消息等)的情况。对于应用程序来说常见的是存储在存储器170中、安装在移动终端100中、以及由控制器180执行以执行移动终端100的操作(或功能)。
除了与应用程序关联的操作之外,控制器180通常还用来控制移动终端100的总体操作。控制器180可以通过处理由图1A中所描述的各种组件输入或输出的信号、数据、信息等或者激活存储器170中所存储的应用程序来提供或处理适于用户的信息或功能。作为一个示例,控制器180根据存储器170中已经存储的应用程序的执行来控制图1A至图1C中所例示的组件中的一些或全部。
为了供应对于操作移动终端100中所包含的元件和组件所需的适当电力,电源单元190能够被配置为接收外部电力或者提供内部电力。电源单元190可以包括电池,并且该电池可以被配置为嵌入在终端主体中,或者被配置为可以从终端主体上拆卸。
仍然参照图1A,现在将更详细地说明在该图中描述的各种组件。关于无线通信单元110,广播接收模块111通常被配置为经由广播信道从外部广播管理实体接收广播信号和/或广播相关信息。广播信道可以包括卫星信道、陆地信道、或卫星信道和陆地信道这两者。在一些实施方式中,可以利用两个或更多个广播接收模块111,以利于同时接收两个或更多个广播信道或者支持广播信道之间的切换。
移动通信模块112可以向一个或更多个网络实体发送无线信号和/或者从一个或更多个网络实体接收无线信号。网络实体的典型示例包括基站、外部移动终端、服务器等。这些网络实体构成移动通信网络的一部分,该移动通信网络根据移动通信的技术标准或通信方法(例如,全球移动通信系统(GSM)、码分多址(CDMA)、CDMA2000(码分多址2000)、EV-DO(增强型优化语音-数据或增强型仅语音-数据)、宽带CDMA(WCDMA)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、长期演进(LTE)、LTE-A(高级长期演进)等)来构建。经由移动通信模块112发送和/或接收的无线信号的示例包括语音呼叫信号、视频(电话)呼叫信号、或者用于支持文本和多媒体消息的通信的各种格式的数据。
无线互联网模块113被配置为利于无线互联网接入。该模块可以内置地或外置地联接到移动终端100。无线互联网模块113可以根据无线互联网技术经由通信网络来发送和/或接收无线信号。
这种无线互联网接入的示例包括无线LAN(WLAN)、无线保真(Wi-Fi)、Wi-Fi直连、数字生活网络联盟(DLNA)、无线宽带(WiBro)、全球微波接入互操作性(WiMAX)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、长期演进(LTE)、LTE-A(高级长期演进)等。无线互联网模块113可以根据这些无线互联网技术以及其它互联网技术来发送/接收数据。
在一些实施方式中,当无线互联网接入根据例如WiBro、HSDPA、HSUPA、GSM、CDMA、WCDMA、LTE、LTE-A等被实现为移动通信网络的一部分时,无线互联网模块113执行这种无线互联网接入。这样,互联网模块113可以与移动通信模块112协作,或者用作移动通信模块112。
短距离通信模块114被配置为利于短距离通信。用于实现这些短距离通信的适当技术包括BLUETOOTHTM、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、ZigBee、近场通信(NFC)、无线保真(Wi-Fi)、Wi-Fi直接、无线USB(无线通用串行总线)等。短距离通信模块114通常经由无线区域网络来支持移动终端100和无线通信系统之间的无线通信、移动终端100和另一移动终端100之间的通信、或者移动终端和另一移动终端100(或外部服务器)所处的网络之间的通信。所述无线区域网络的一个示例是无线个域网络。
在一些实施方式中,另一移动终端(其可类似于移动终端100来配置)可以是能够与移动终端100交换数据(或者与移动终端100协作)的可佩戴装置(例如,智能手表、智能眼镜或头戴式显示器(HMD))。短距离通信模块114可以感测或识别可穿戴装置,并且允许可穿戴装置和移动终端100之间的通信。另外,当所感测的可穿戴装置是被认证为与移动终端100通信的装置时,控制器180例如可以使得经由短距离通信模块114向可穿戴装置发送在移动终端100中处理的数据。因此,可穿戴装置的用户可以在可穿戴装置上使用在移动终端100中处理的数据。例如,当在移动终端100中接收到呼叫时,用户可以使用可穿戴装置应答呼叫。另外,当在移动终端100中接收到消息时,用户可以使用可穿戴装置来查看所接收的消息。
位置信息模块115通常被配置为检测、计算、导出或者以其它方式识别移动终端的位置。作为示例,位置信息模块115包括全球定位系统(GPS)模块、Wi-Fi模块、或者全球定位系统(GPS)模块和Wi-Fi模块两者。如果需要,位置信息模块115可另选地或附加地与无线通信单元110的任何其它模块一起工作,以获得与移动终端的位置有关的数据。
作为一个示例,当移动终端使用GPS模块时,可以使用从GPS卫星发送的信号来获取移动终端的位置。作为另一示例,当移动终端使用Wi-Fi模块时,可以基于与向Wi-Fi模块发送无线信号或从Wi-Fi模块接收无线信号的无线接入点(AP)相关的信息来获取移动终端的位置。
输入单元120可以被配置为允许向移动终端120的各种类型的输入。这些输入的示例包括音频、图像、视频、数据和用户输入。通常利用一个或多个相机121来获得图像和视频输入。这些相机121可以处理由图像传感器在视频或图像捕获模式下获得的静态图片或视频的图像帧。处理后的图像帧可以被显示在显示单元151上或者存储在存储器170中。在一些情况下,相机121可以被按矩阵配置来布置,以使得具有各种角度或焦点的多个图像能够被输入到移动终端100。作为另一示例,相机121可以位于立体布置中,以获取用于实现立体图像的左图像和右图像。
麦克风122通常被实现为使得能够向移动终端100输入音频。能够根据移动终端100中执行的功能来按照各种方式处理音频输入。如果需要,麦克风122可包括各种噪声去除算法,以去除在接收外部音频的过程中生成的不期望的噪声。
用户输入单元123是允许用户的输入的组件。这种用户输入可以使得控制器180能够控制移动终端100的操作。用户输入单元123可包括下面的项中的一个或更多个:机械输入元件(例如,键、位于移动终端100的正面和/或背面或侧面的按钮、薄膜开关、滚轮、触合式开关等)或者触敏输入装置等。作为一个示例,触敏输入装置可以是通过软件处理显示在触摸屏上的虚拟键或软键、或者定位在移动终端上的除触摸屏以外的位置处的触摸键。另一方面,虚拟键或可视键可以在触摸屏上显示为各种形状(例如,图形、文本、图标、视频或其组合)。
感测单元140通常被配置为感测移动终端的内部信息、移动终端的周围环境信息、用户信息等中的一种或更多种。控制器180通常与发送单元140协作,以基于由感测单元140提供的感测来控制移动终端100的操作或者执行与安装在移动终端中的应用程序关联的数据处理、功能或操作。感测单元140可以利用各种传感器中的任何一种来实现,现在将更详细地描述各种传感器中的一些。
接近传感器141可以包括在没有机械接触的情况下,利用电磁场、红外线等来感测是否存在接近表面的对象或者位于表面附近的对象的传感器。接近传感器141可以被布置在由触摸屏覆盖或者在该触摸屏附近的移动终端的内部区域。
例如,接近传感器141可以包括透射型光电传感器、直接反射型光电传感器、镜面反射型光电传感器、高频振荡接近传感器、电容式接近传感器、磁式接近传感器、红外线接近传感器等中的任何一种。当触摸屏被实现为电容式时,接近传感器141能够通过响应于具有导电性对象的靠近的电磁场的变化来感测指点器相对于触摸屏的接近。在这种情况下,触摸屏(触摸传感器)也可以被归类为接近传感器。
本文中通常使用术语“接近触摸”来表示指点器被定位为接近触摸屏而不接触该触摸屏的场景。本文中通常使用术语“接触触摸”来表示指点器与触摸屏物理接触的场景。对于与指点器相对于触摸屏的接近触摸对应的位置,该位置将与指点器垂直于触摸屏的位置对应。接近传感器141可以感测接近触摸以及接近触摸模式(例如,距离、方向、速度、时间、位置、移动状态等)。
通常,控制器180处理与由接近传感器141所感测的接近触摸和接近触摸类型对应的数据,并且使得输出关于触摸屏的视觉信息。另外,控制器180可以控制移动终端100以根据针对触摸屏上的点的触摸是接近触摸还是接触触摸来执行不同的操作或处理不同的数据。
触摸传感器可以利用各种触摸方法中的任何一种来感测施加到诸如显示单元151这样的触摸屏的触摸。这些触摸方法的示例包括电阻式、电容式、红外式和磁场式等。
作为一个示例,触摸传感器可以被配置为将施加于显示单元151的特定部分的压力的变化转换成电子输入信号,或者将在显示单元151的特定部分处产生的电容转换成电子输入信号。触摸传感器还可以被配置为不但感测触摸位置和触摸区域,而且感测触摸压力和/或触摸电容。触摸对象通常被用来向触摸传感器施加触摸输入。典型触摸对象的示例包括手指、触摸笔、手写笔、指点器等。
当通过触摸传感器感测到触摸输入时,可以向触摸控制器发送相应的信号。触摸控制器可以处理所接收的信号,然后将相应的数据发送给控制器180。因此,控制器180可以感测已经触摸了显示单元151的哪个区域。这里,触摸控制器可以是独立于控制器180的组件、控制器180及其组合。
在一些实施方式中,控制器180可以根据对触摸屏或除触摸屏之外设置的触摸键进行触摸的触摸对象的类型来执行相同或不同的控制。可以例如基于移动终端100的当前操作状态或者当前执行的应用程序来决定是否执行根据提供触摸输入的对象的相同或不同的控制。
触摸传感器和接近传感器可以分别实现,或者按组合方式实现以感测各种类型的触摸。这些触摸包括短(或轻拍)触摸、长触摸、多次触摸、拖曳触摸、闪烁触摸、内缩触摸、外张触摸、扫掠触摸、悬浮触摸等。
如有需要,超声传感器可以被实现为利用超声波来识别与触摸对象相关的位置信息。例如,控制器180可以基于由亮度传感器和多个超声传感器感测的信息来计算波生成源的位置。由于光比超声波快得多,因此光到达光学传感器的时间比超声波到达超声传感器的时间短得多。可以利用这个事实来计算波生成源的位置。例如,可以基于作为基准信号的光利用与到达传感器的超声波的时间不同的时间来计算波生成源的位置。
相机121通常包括至少一个相机传感器(CCD、CMOS等)、光电传感器(或图像传感器)和激光传感器。
利用激光传感器来实施相机121可以允许检测物理对象相对于3D立体图像的触摸。光电传感器可以层叠在显示装置上,或者与显示装置交叠。光电传感器可以被配置为扫描与触摸屏接近的物理对象的移动。更具体地,光电传感器可以包括成行和成列的光电二极管和晶体管,以利用根据施加的光的量而改变的电信号来扫描在光电传感器处所接收的内容。即,光电传感器可以根据光的变化来计算物理对象的坐标,以因此获得该物理对象的位置信息。
显示单元151通常被配置为输出在终端100中处理的信息。例如,显示单元151可以显示在移动终端100或用户界面(UI)处执行的应用程序的执行画面信息以及响应于该执行画面信息的图形用户界面(GUI)信息。
在一些实施方式中,显示单元151可以被实现为用于显示立体图像的立体显示单元。典型的立体显示单元可以采用诸如立体方案(眼镜方案)、自动立体方案(裸眼方案)、投影方案(全息方案)等这样的立体显示方案。
音频输出模块152通常被配置为输出音频数据。这些音频数据可以从多个不同的源中的任一个获取,使得音频数据可以从无线通信单元110中接收或者可以已经存储在存储器170中。音频数据可以在诸如信号接收模式、呼叫模式、记录模式、语音识别模式、广播接收模式等这样的模式期间输出。音频输出模块152能够提供由移动终端100执行的与特定功能相关的可听输出(例如,呼叫信号接收语音、消息接收语音等)。音频输出模块152还可以被实现为接收器、扬声器、蜂鸣器等。
触觉模块153可以被配置为生成用户感觉、感知或体验的各种触觉效果。由触觉模块153生成的触觉效果的典型示例是振动。可以通过用户选择或控制器的设置来控制由触觉模块153生成的振动的强度、类型等。例如,触觉模块153可以按组合的方式或顺序方式来输出不同的振动。
除了振动以外,触觉模块153还能够产生各种其它触觉效果,包括经由诸如插针布置为了接触皮肤而垂直移动、通过喷射孔或抽吸开口的空气的喷射力或抽吸力、对皮肤的触摸、电极的接触、静电力等这样的刺激的效果、通过利用能够吸热或发热的元件来重现冷和热的感觉的效果等。
触觉模块153还能够被实现为使得用户能够通过诸如用户的手指或手臂的肌肉觉来感觉到触觉效果以及通过直接接触传递触觉效果。可以根据移动终端100的特定配置设置两个或更多个触觉模块153。
光输出模块154能够输出用于利用光源的光指示事件的发生的信号。移动终端100中发生的事件的示例可以包括消息接收、呼叫信号接收、未接呼叫、警报、日程提醒、电子邮件接收、通过应用的信息接收等。
由光输出模块154输出的信号可以按照移动终端发出单色光或多种颜色的光的方式来实现。例如,随着移动终端感测到用户已查看所发生的事件,信号输出可以被终止。
接口单元160用作将外部装置与移动终端100连接的接口。例如,接口单元160能够接收从外部装置发送来的数据,接收电力以输送给移动终端100内的元件和组件,或者将移动终端100的内部数据发送给这种外部装置。接口单元160可以包括有线或无线头戴式耳机端口、外部电源端口、有线或无线数据端口、存储器卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等。
识别模块可以是存储用于对使用移动终端100的权限进行认证的各种信息的芯片,并且可以包括用户识别模块(UIM)、订户识别模块(SIM)、全球订户识别模块(USIM)等。另外,具有识别模块的装置(本文中也称作“识别装置”)可以采取智能卡的形式。因此,识别装置能够经由接口单元160与终端100连接。
当移动终端100与外部托架连接时,接口单元160可以用作使得能够将来自托架的电力供应给移动终端100的通道,或者可以用作使得能够用来将由用户从托架输入的各种命令信号输送给移动终端的通道。从托架输入的各种命令信号或电力可以用作用于识别出移动终端被正确安装在托架上的信号。
存储器170能够存储用于支持控制器180的操作的程序,并存储输入/输出数据(例如,电话簿、消息、静止图像、视频等)。存储器170可以存储与响应于触摸屏上的触摸输入而输出的各种模式的振动和音频有关的数据。
存储器170可以包括存储介质的一种或更多种类型,所述存储介质包括闪存、硬盘、固态盘、硅磁盘、微型多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘、光盘等。移动终端100还可以与在诸如互联网的网络上执行存储器170的存储功能的网络存储装置有关地操作。
控制器180通常可以控制移动终端100的总体操作。例如,当移动终端的状态满足预置条件时,控制器180可以设置或解除用于限制用户针对应用输入控制命令的锁定状态。
控制器180还能够执行与语音呼叫、数据通信、视频呼叫等关联的控制和处理,或者执行模式识别处理以将触摸屏上进行的手写输入或绘画输入分别识别为字符或图像。另外,控制器180能够控制那些组件中的一个或它们的组合,以便实现本文公开的各种示例性实施方式。
电源单元190接收外部电力或提供内部电力,并且供应对移动终端100中包含的各个元件和组件进行操作所需的适当电力。电源单元190可以包括电池,该电池通常是可再充电的或者按可拆卸的方式连接到终端主体以便于充电。
电源单元190可以包括连接端口。该连接端口可以被配置为接口单元160的一个示例,用于供应电力以对电池进行再充电的外部充电器可以电连接到该连接端口。
作为另一示例,电源单元190可以被配置为按无线方式对电池进行再充电,而不使用连接端口。在该示例中,电源单元190能够利用基于磁感应的电感耦合方法或基于电磁共振的磁共振耦合方法中的至少一种来接收从外部无线电力发射器输送的电力。
本文中所描述的各种实施方式可以利用例如软件、硬件或其任何组合来在计算机可读介质、机器可读介质或类似介质中实现。
现在参照图1B和图1C,参照直板型终端主体描述移动终端100。然而,另选地,移动终端100可以按照各种不同的配置中的任何配置来实现。这些配置的示例包括手表型、夹子型、眼镜型或者折叠型、翻盖型、滑盖型、旋转型和摆动型(其中两个和更多个主体按照能够相对移动的方式彼此组合)或其组合。本文中的讨论将常常涉及特定类型的移动终端(例如,直板型、手表型、眼镜型等)。然而,关于特定类型的移动终端的这些教导将通常也适用于其它类型的移动终端。
移动终端100将通常包括形成终端的外观的壳体(例如,框架、外壳、盖等)。在此实施方式中,壳体利用前壳体101和后壳体102形成。各种电子组件包含在前壳体101与后壳体102之间所形成的空间中。另外,可以在前壳体101与后壳体102之间设置至少一个中间壳体。
显示单元151被示出为在终端主体的前侧以输出信息。如例示的,显示单元151的窗口151a可以被安装到前壳体101以与前壳体101一起形成终端主体的前表面。
在一些实施方式中,电子组件也可以被安装到后壳体102。这些电子组件的示例包括可拆卸电池191、识别模块、存储器卡等。后盖103被示出为覆盖电子组件,该盖可以可拆卸地连接到后壳体102。因此,当将后盖103从后壳体102拆卸时,安装到后壳体102的电子组件暴露于外。
如例示的,当后盖103连接到后壳体102时,后壳体102的侧表面部分地暴露。在一些情况下,在连接时,后壳体102也可以被后盖103完全遮蔽。在一些实施方式中,后盖103可以包括开口,以用于将相机121b或音频输出模块152b暴露于外。
壳体101、102、103可以通过对合成树脂进行注入成型来形成,或者可以由例如不锈钢(STS)、铝(Al)、钛(Ti)等的金属形成。
作为多个壳体形成用于容纳组件的内部空间的示例的另选方式,移动终端100可以被配置为使得一个壳体形成该内部空间。在此示例中,按照合成树脂或金属从侧表面延伸至后表面的方式形成具有单体的移动终端100。
如果需要,移动终端100可以包括用于防止水进入终端主体中的防水单元(未示出)。例如,防水单元可以包括位于窗口151a与前壳体101之间、前壳体101与后壳体102之间、或者后壳体102与后盖103之间的防水构件,以在将那些壳体连接时使内部空间密封。
图1B和图1C描绘了布置在移动终端上的某些组件。然而,要理解的是,另选布置方式也是可能的并且在本公开的教导内。一些组件可以被省略或重新布置。例如,第一操纵单元123a可以设置在终端主体的另一表面上,第二音频输出模块152b可以设置在终端主体的侧表面上。
显示单元151输出在移动终端100中处理的信息。显示单元151可利用一个或更多个适当的显示装置实现。这些适当的显示装置的示例包括液晶显示器(LCD)、薄膜晶体管-液晶显示器(TFT-LCD)、有机发光二极管(OLED)、柔性显示器、3维(3D)显示器、电子墨水显示器及其组合。
可以利用两个显示装置(能够实现相同或不同的显示技术)来实现显示单元151。例如,多个显示单元151可被布置在一侧,彼此间隔开,或者这些装置可以被集成,或者这些装置可以被布置在不同的表面上。
显示单元151还可以包括触摸传感器,其感测在显示单元处接收的触摸输入。当触摸被输入到显示单元151时,触摸传感器可以被配置为感测该触摸,并且控制器180例如可以生成与该触摸对应的控制命令或其它信号。按触摸方式输入的内容可以是文本或数值,或者是能够按照各种模式指示或者指定的菜单项。
触摸传感器可以按照设置在窗口151a与窗口151a后表面上的显示器之间的具有触摸图案的膜或者直接在窗口151a的后表面图案化的金属丝的形式来配置。另选地,触摸传感器可以与显示器一体地形成。例如,触摸传感器可以设置在显示器的基板上或者显示器内。
显示单元151还可以与触摸传感器一起形成触摸屏。这里,触摸屏可以用作用户输入单元123(参见图1A)。因此,触摸屏可以代替第一操纵单元123a的至少一些功能。
第一音频输出模块152a可以按照扬声器的形式实现以输出视频音频、警报音、多媒体音频重现等。
显示单元151的窗口151a通常将包括允许第一音频输出模块152a所生成的音频通过的孔。一个另选方式是允许沿着结构体之间的装配间隙(例如,窗口151a与前壳体101之间的间隙)来释放声音。在这种情况下,从外观上看独立地形成用于输出音频音的孔不可见或者说被隐藏,因此使移动终端100的外观和制造进一步简化。
光输出模块154能够被配置为输出指示事件的发生的光。这些事件的示例包括消息接收、呼叫信号接收、未接呼叫、警报、日程提醒、电子邮件接收、通过应用的信息接收等。当用户已查看生成的事件时,控制器能够控制光学输出单元154以停止光输出。
第一相机121a能够处理在拍照模式或视频呼叫模式下通过图像传感器而获得的诸如静止或运动图像这样的图像帧。然后,经处理的图像帧能够被显示在显示单元151上,或者被存储在存储器170中。
第一操纵单元123a和第二操纵单元123b是用户输入单元123的示例,其可以由用户操纵以提供向移动终端100的输入。第一操纵单元123a和第二操纵单元123b还可以被共同称作操纵部,并且可以采用允许用户执行诸如触摸、推按、滚动等这样的操纵的任何触觉方法。第一操纵单元123a和第二操纵单元123b还可以采用允许用户执行诸如接近触摸、悬停等这样的操纵的任何非触觉方式。
图1B将第一操纵单元123a例示为触摸键,但可能的另选方式包括机械键、按键、触摸键及其组合。
可以按照各种方式来使用在第一操纵单元123a和第二操纵单元123b处接收的输入。例如,用户可以使用第一操纵单元123a来提供对菜单、本位键(home key)、取消、搜索等的输入,用户可以使用第二操纵单元123b来提供输入,以控制从第一音频输出模块152a或第二音频输出模块152b输出的音量、切换为显示单元151的触摸识别模式等。
作为用户输入单元123的另一示例,后输入单元(未示出)可以被设置在终端主体的后表面上。用户能够操纵后输入单元,以提供向移动终端100的输入。所述输入可以按照各种不同的方式来使用。例如,用户可以使用后输入单元来提供针对电源开/关、开始、结束、滚动的输入、控制从第一音频输出模块152a或第二音频输出模块152b输出的音量水平、切换为显示单元151的触摸识别模式等。后输入单元可以被配置为允许触摸输入、推按输入或其组合。
后输入单元可以被定位为在终端主体的厚度方向上与前侧的显示单元151交叠。例如,后输入单元可以被定位在终端主体的后侧的上端部,使得当用户用一只手抓住终端主体时,该用户能够利用食指容易地操纵它。另选地,后输入单元能够至多被定位在终端主体的后侧的任何位置。
包括后输入单元的实施方式可以将第一操纵单元123a的一些或全部功能实现于后输入单元中。因此,在从前侧省略第一操纵单元123a的情况下,显示单元151能够具有更大的屏幕。
作为另一另选方式,移动终端100可以包括扫描用户的指纹的手指扫描传感器。然后,控制器180能够使用由手指扫描传感器所感测的指纹信息作为认证过程的一部分。手指扫描传感器也可以被安装在显示单元151中或者在用户输入单元123中被实现。
麦克风122被示出为位于移动终端100的端部处,但是其它位置也是可能的。如果需要,可以实现多个麦克风,这种布置方式允许接收立体声。
接口单元160可以用作允许移动终端100与外部装置通过接口连接的路径。例如,接口单元160可以包括用于连接到另一装置(例如,耳机、外部扬声器等)的连接端子、用于近场通信的端口(例如,红外数据联盟(IrDA)端口、蓝牙端口、无线LAN端口等)、或者用于向移动终端100供电的电源端子中的一个或更多个。接口单元160可以按照用于容纳诸如订户识别模块(SIM)、用户识别模块(UIM)或者用于信息存储的存储器卡这样的外部卡的插槽的形式来实现。
第二相机121b被示出为位于终端主体的后侧,并且其图像拍摄方向基本上与第一相机单元121a的图像拍摄方向相反。如果需要,可另选地将第二相机121b设置在其它位置或者使其能够移动,以便具有与所示的图像拍摄方向不同的图像拍摄方向。
第二相机121b能够包括沿着至少一条线布置的多个镜头。所述多个镜头还可以按照矩阵配置来布置。这些相机可以被称作“阵列相机”。当第二相机121b被实现为阵列相机时,可以利用多个镜头来按照各种方式拍摄图像,并且图像具有更好的质量。
如图1C中所示,闪光灯124被示出为与第二相机121b相邻。当利用相机121b拍摄对象的图像时,闪光灯124可以对对象进行照明。
如图1C所示,能够在终端主体上设置第二音频输出模块152b。第二音频输出模块152b可以与第一音频输出模块152a结合来实现立体声功能,并且还可以被用于实现呼叫通信的免提模式。
用于无线通信的至少一个天线可以设置在终端主体上。天线可以安装在终端主体中,或者可以由壳体形成。例如,构成广播接收模块111的一部分的天线可以可缩回到终端主体中。另选地,可以利用附接到后盖103的内表面的膜或者包含导电材料的壳体来形成天线。
用于向移动终端100供电的电源单元190可以包括电池191,该电池191安装在终端主体中或者可拆卸地连接到终端主体的外部。电池191可以经由连接到接口单元160的电源线来接收电力。另外,能够利用无线充电器按无线方式对电池191进行再充电。可以通过磁感应或电磁共振来实现无线充电。
后盖103被示出为连接到后壳体102以用于遮蔽电池191,以防止电池191分离并且保护电池191免受外部冲击或异物的影响。当电池191能够从终端主体拆卸时,后壳体103可以可拆卸地连接到后壳体102。
在移动终端100上能够另外设置用于保护外观或者辅助或扩展移动终端100的功能的附件。作为附件的一个示例,可以设置用于覆盖或容纳移动终端100的至少一个表面的盖或袋。所述盖或袋可以与显示单元151协作以扩展移动终端100的功能。附件的另一示例是用于辅助或扩展对触摸屏的触摸输入的触摸笔。
根据本发明的示例性实施方式的移动终端可以执行对由相机121拍摄的实体进行校正的功能。在下文中,将详细地描述对由相机121拍摄的图像进行校正的控制方法。
图2A是用于描述根据本发明的示例性实施方式的控制移动终端100的方法的流程图,并且图2B是用于描述图2A中例示的控制方法的概念图。
参照图2A和图2B,在操作S2110中,相机121可以对外部环境进行拍摄。这里,相机121可以是前相机121a和后相机121b中的一个。外部环境可以表示移动终端100的主体的外部。外部环境可以是在相机121的特定观察角度内所感测的区域,并且不受限制。人可以包含在外部环境中,并且可以不顾对这个人被拍摄的尺寸以及从相机121到作为实体的这个人的距离而包含在外部环境中。
此外,在图2B中例示了三个人,但是作为实体的人的数目不受限制。多个实体之间的间隔与外部环境不相关。
在操作S2120中,显示单元141可以显示由相机121拍摄的图像310。所拍摄的图像310可以在正由相机121拍摄到之后立即被显示,但是该实施方式不限于此。例如,可以基于用户的控制命令来激活存储器170中存储的图像文件。
在操作S2130中,可以从图像310中提取与面部对应的对象。这里,面部可以对应于人的面部,但是要进行提取的对象可以基于用户的设置而改变。然而,要进行提取的对象可以与具有立体图形而不是平面图形的实体相对应。
此外,要进行提取的对象的范围可以不受限制。例如,对象可以与包含人的身体以及人的面部的图形相对应。
根据本发明的示例性实施方式,当由相机121执行拍摄功能或者由显示单元151显示所存储的图像时,控制单元180可以执行面部识别功能。面部识别功能可以基于标准化的面部图形信息来从图像310检测面部。面部图形信息可以包括亮度、几何特征等。显示单元151可以显示与图像310中所包含的面部对应的对象。
图2C是用于描述透视失真的概念图。参照图2C,当正对3D图形进行二维投影时,发生透视失真。在所拍摄的图像的边缘处生成的3D对象可能发生最严重的失真。在图2B中,距离图像310的中心最远的对象B可能发生最严重的失真。例如,对象B可以被成像为人的面部的特定区域被异常地放大的图形。最靠近中心的对象C可能几乎不发生失真,并因此可以被成像为与实际图形几乎相似的图形。
在操作S2140中,可以基于从图像310的原点O到对象的距离来修改该对象。控制单元180可以将图像310的中心设置为原点O,并且可以从图像310检测对象的坐标。图像310可以包括多个像素,并且图像310中所包含的坐标可以与所述多个像素中的每一个相对应。
所提取的对象可以包括多个像素,并因此一个对象可以包括多个坐标。控制单元180可以使基于与对象对应的坐标点和原点O之间的距离的像素的视觉信息被显示的位置朝向显示单元151中的原点O移动。
再次参照图2B,显示单元151可以显示包含具有作为原点O的图像310的中心的多个圆的第一校正导引(correction guide)501。第一校正导引501可以被显示为与图像310交叠。第一校正导引501可以被显示达预定时间(例如,几秒钟)。例如,第一校正导引501可以在控制单元180正执行校正的同时被显示。
构成图像310的多个坐标点中的每一个可以具有基于第一校正导引501的校正系数。可以基于相机121来限定校正系数。假定实体和相机之间的距离是恒定的,并且当从原点O到坐标点的距离恒定时,校正系数可以与所述多个坐标点中的每一个的校正系数大致相同。也就是说,在附图中,在一个圆形导引线上生成的坐标点的校正系数可以大致相同。
包含一个提取的对象的多个坐标点可以具有不同的系数。另外,可以根据距原点O的距离基于不同的校正系数来对多个对象进行不同程度的校正。
此外,校正系数可以随着距离增加而大幅增加,并且因此,校正的程度可以随着距离增加而增加。在这种情况下,远离原点O的坐标点可以被控制为比靠近原点O的坐标点更朝向中心移动。然而,可以基于相机121的功能和驱动条件来确定校正系数,并且因此,该实施方式不限于此。
例如,可以如式(1)和式(2)中表达的那样来执行校正:
经校正的x=χ(1+R1r2+R2r4+R3r0) (1)
经校正的y=y(1+R1r2+R2r4+R3r0) (2)
其中,R1、R2和R3分别表示与多个坐标点对应的校正系数。
在操作S2150中,显示单元151可以基于对象的修改来显示校正图像320。校正图像320可以包含非输出区域321。式(1)和式(2)以及基于校正系数的校正可以通过使在多个像素中的每一个上显示的一幅图像朝向原点O移动的方法来执行。因此,基于在每个像素上显示的该幅图像的移动,可以在显示单元151的边缘区域的一部分中设置不显示任何图像的非输出区域321。
可以在可以被黑暗地显示的非输出区域321上不显示任何图像。非输出区域321的形状可以基于要进行校正的对象的位置来确定,并且可以取决于校正状态而改变。
校正图像320可以具有与和对象对应的实体的形状相似的形状。例如,与在朝向显示单元151的角部的方向上伸展的对象B的面部对应的对象可以被校正为相对圆形的形状。
根据本发明的示例性实施方式,通过仅对图像中所包含的对象进行校正来使不同区域的修改的发生率最小化。另外,基于从图像的中心到与人对应的对象的距离,可以朝不同程度的校正来执行校正,并且因此,可以取决于失真的程度来执行适当的校正。
移动终端100可以执行与预定的外部装置或服务器的无线通信,并且可以发送拍摄的图像。例如,接收图像的外部装置(或服务器)可以对所接收的图像进行校正,并且可以存储通过校正而获得的图像或者可以实时地将所获得的图像发送给移动终端100。
例如,当拍摄到图像时,控制单元180可以将所拍摄的图像发送给外部装置(或服务器),并且可以仅将原始图像存储在存储器170中。在这种情况下,无线通信单元110可以接收已被执行了校正操作的校正图像,并且存储器170可以与原始图像分离地存储校正图像。在这种情况下,移动终端100可以不执行对图像进行校正的操作。
因此,使图像的修改的发生率最小化,并且使实体的形状更精确地成像。
图3是用于描述基于存储的校正系数来执行校正的控制方法的流程图。
在操作S2141中,控制单元180可以将分别与由相机121拍摄的图像的多个坐标对应的多个校正系数存储在存储器170中。校正系数的数目可以与构成图像的像素的数目大致相同。所述多个校正系数中的每一个的值可以基于距原点O的距离而改变。存储器170可以将所述多个校正系数连同多个坐标点一起进行存储。
在操作S2142中,控制单元180可以提取所拍摄的图像的对象中所包含的至少一个坐标点。随着对象在尺寸上增加,该对象中所包含的坐标点的数目可以增加。在操作S2143中,控制单元180可以通过使用分别与所述多个坐标点对应的多个校正系数来修改对象。
因此,即使当对象占据显示单元151的大的区域时,也可以基于分别与所述多个坐标点对应的多个校正系数来修改对象,因而提供已被更精确地执行校正的校正图像。
图4A是用于描述对校正图像进行附加校正的控制方法的流程图,并且图4B是用于描述图4A中所例示的控制方法的概念图。
在操作S2150中,控制单元180可以在显示单元151上显示校正图像320。校正图像320可以包含位于显示单元151的边缘区域中的非输出区域321。
在操作S2160中,控制单元180可以确定在校正图像320中是否包含非输出区域321。例如,当非输出区域321占据校正图像320的比率等于或高于预定的基准比率时,控制单元180可以将校正图像320确定为包含非输出区域321。基准比率可以被设置为使得用户能够用眼识别非输出区域321的程度。
当确定校正图像320中不包含非输出区域321时,显示单元151可以按原样显示校正图像320。另外,存储器170可以按原样存储校正图像320。
当确定校正图像320中包含非输出区域321时,控制单元180可以在操作S2161中生成通过对非输出区域321进行校正而生成的附加校正图像330。
参照图4B,随着区域变得越来越远离图像的中心,该区域的修改的发生率可能变得更大。与坐标点对应的区域可以被移动到图像的中心,并且可以被校正。因此,在与显示单元151的边缘的顶点相邻的区域中,非输出区域321可以相对更宽。另选地,当对象位于图像的边缘处时,该边缘可以被修改为形成曲线。因此,由相机121拍摄的图像本身的形状可能发生变形。
因此,可以通过校正图像320的校正来生成具有四角形形状的附加校正图像330。附加校正图像330可以包含除非输出区域321以外的区域。附加校正图像330的尺寸可以比图像310的尺寸小。也就是说,可以通过将校正图像320的边缘区域的一部分去除以形成四角形形状来生成附加校正图像330,并且因此,可以删除校正图像320中所包含的特定区域。附加校正图像330可以在显示单元151中进行放大和显示。
根据本发明的示例性实施方式,由于在校正之后不在显示单元151中设置非输出区域321,因此向用户提供高质量图像,并且当在没有用户的控制命令的情况下执行校正操作时,用户可以将附加校正图像识别为所拍摄的原始图像。
图5A是用于描述基于附加校正图像中所包含的对象的状态来生成补偿图像的控制方法的流程图,并且图5B和图5C是用于描述图5A中所例示的控制方法的概念图。
在操作S2162中,当生成包含非输出区域321的校正图像320时,控制单元180可以生成包含校正图像320的一部分在内的附加校正图像330,从而不包含非输出区域321。例如,附加校正图像330可以具有四角形形状,并且可以包含除非输出区域321以外的最大区域。因此,不包含在附加校正图像330中的校正图像320可以包含去除区域322。附加校正图像330可以包含除校正图像320的去除区域322和非输出区域321以外的区域。
可以将第二校正导引502连同校正图像320一起进行显示。第二校正导引502可以与附加校正图像330的边缘相对应。虽然未详细地示出,但是用户可以向第二校正导引502施加触摸,以控制附加校正图像330的尺寸。附加校正图像330的宽高比可以与校正图像320的宽高比大致相同。然而,附加校正图像330的宽高比可以依据第二校正导引502而改变。
在操作S2163中,控制单元180可以确定去除区域322是否包含对象的一部分。参照图5B,校正图像320可以包含多个对象A、B和C,并且校正图像320中所包含的所述多个对象A、B和C可以与附加校正图像330中包含的多个对象相同。也就是说,所述多个对象A、B和C全部都可以包含在其它区域中。
当在校正图像320的去除区域322中包含对象的一部分时,可以在操作S2164中基于校正图像320的边缘区域来生成包含虚拟图像的补偿图像。
当在去除区域322中包含对象的一部分时,可以通过在除校正图像320的去除区域322以外的区域中生成附加校正图像320来删除所拍摄的对象的一部分。当在所述多个对象A、B和C的特定区域中生成第二校正导引502时,控制单元180可以不生成附加校正图像320。
控制单元180可以生成包含虚拟图像341的补偿图像340。可以在非输出区域321上显示虚拟图像341。可以通过使用在显示单元151的边缘区域上显示的图像来生成虚拟图像341。可以通过复制或修改在边缘区域上显示的图像来生成虚拟图像341。
补偿图像340的尺寸可以与由相机121拍摄的图像310的尺寸大致相同,并且区域可以不被去除。因此,为用户提供了所拍摄的实体的对象不被损坏的图像。
参照图5B和图5C,当所拍摄的图像310被校正时,显示单元151可以将校正图像320连同第二校正导引502一起进行显示。用户可以向第二校正导引502施加触摸,以确定是否执行附加校正或者确定是否限定要进行附加校正的区域。在图5C中,控制单元180可以基于向第二校正导引502施加的触摸来执行用于去除对象的一部分的附加校正。
然而,显示单元151可以不分开地显示包含非输出区域321的校正图像320,并且可以立即显示附加校正图像330或补偿图像340。
存储器170可以存储图像310、校正图像320、附加校正图像330和补偿图像340中的一个或更多个,以便所述一个或更多个图像彼此映射。
根据本发明的示例性实施方式,为用户提供了通过执行校正以使得与人的面部对应的对象包含在图像中并且不被去除而获得的图像,并且该图像不包含非输出区域。提供了使所拍摄的对象的损坏最小化的图像。
图6A、图6B和图6C是用于描述选择性地对图像进行校正的控制方法的概念图。
参照图6A,显示单元151可以在显示图像310的同时接收触摸。控制单元180可以基于向图像310施加的特定触摸来执行对图像310进行校正的功能。例如,特定触摸可以是内缩型触摸输入,但是不限于此。当向图像310施加特定触摸时,控制单元180可以提取包含在图像310中并且与人的面部相对应的对象,并且可以基于距图像310的中心的距离来对该对象进行校正。
显示单元151可以基于触摸来显示校正图像320。当在图像310中包含对象时,可以基于触摸相对于显示单元151的边缘来显示非输出区域321。虽然在附图中未示出,但是当向图像310施加具有与特定触摸的类型不同的类型的触摸时,显示单元151可以再次将校正图像320改变为图像310。
根据本发明的示例性实施方式,由于根据用户的控制命令来对图像进行校正,因此可以为用户提供校正前图像(pre-correction image)和校正后图像(post-correctionimage),并且可以将该校正前图像与该校正后图像进行比较。
参照图6B,当图像310由相机121生成或者由用户输出时,控制单元180可以从图像310中提取与人的面部对应的对象。当提取一个或更多个对象时,显示单元151可以显示选择图像311。可以生成选择图像311以示出所提取的对象中的每一个。例如,选择图像311可以被显示为围绕对象。
控制单元180可以控制显示单元151以选择性地在所提取的对象当中的要通过校正进行修改的对象上显示选择图像311。参照图6B,当不存在校正系数或者应用了校正系数时,所提取的第一对象A、第二对象B和第三对象C当中的与图像310的中心相邻地显示的第三对象C可以在形状上几乎不被修改。在这种情况下,可以不在第三对象C上显示选择图像311。
控制单元180可以基于所提取的对象的坐标(以及与所述坐标对应的校正系数)来确定是否显示图形图像。显示单元151可以在能够基于校正系数被修改的第一对象A和第二对象B上显示第一选择图像311a和第二选择图像311b。
显示单元151可以接收向第一选择图像311a和第二选择图像311b施加的触摸,并且可以忽略向除第一选择图像311a和第二选择图像311b以外的区域施加的触摸。另选地,控制单元180可以执行控制以根据向除第一选择图像311a和第二选择图像311b以外的区域施加的触摸执行另一功能。
控制单元180可以基于向选择图像311a和选择图像311b中的至少一个施加的触摸来对第一对象A和第二对象B中的至少一个进行校正。控制单元180可以基于向第二选择图像311b施加的触摸来对第二对象B进行校正。控制单元180可以不对第一对象A进行校正。因此,显示单元151可以显示包含已被执行校正的第二对象B的图像的校正图像320。
此外,可以仅在与第二对象B相邻的区域中设置非输出区域321’。
根据本发明的示例性实施方式,控制单元180可以将可校正的区域通知给用户,并且可以仅修改由用户选择的对象,因此基于用户的意图来生成校正图像。
此外,虽然未在附图中示出,但是显示单元151还可以在与已被执行校正的第二对象B对应的区域上显示指示校正已被执行的指示符。另外,控制单元180可以基于向该指示符施加的控制命令来解除校正。
参照图6C,当图像包含可校正的对象时,显示单元151可以将校正图标310连同图像310一起进行显示。也就是说,当图像310中包含与人的面部对应的对象并且该对象的形状是可校正的时,控制单元180可以在显示单元151中显示校正图标503。
控制单元180可以基于向校正图标503施加的触摸来执行校正功能。当执行校正功能时,显示单元151可以显示包含非输出区域321的校正图像320。
然而,即使当图像310中不包含与人的面部对应的对象时,控制单元180也可以在显示单元151中显示校正图标503。在这种情况下,控制单元180可以从图像310中提取与3D实体对应的区域,并且可以通过使用所提取的区域的坐标点的校正系数来对图像310进行校正。也就是说,当在图像310中不包含对象时,控制单元180可以对图像310中所包含的3D实体的图像进行校正。
根据本发明的示例性实施方式,用户可以检查所拍摄的图像以确定是否执行校正。
可以基于距实体的距离来不同地设置校正系数。在下文中,将描述生成位于距相机不同的距离处的实体的图像的控制方法。
图7A是用于描述基于距实体的距离来选择性地应用校正系数集的控制方法的流程图。图7B和图7C是用于描述选择性地应用校正系数集的控制方法的概念图。
在操作S2171中,存储器170可以存储与距相机121的距离对应的多个校正系数集。一个校正系数集可以包含与构成显示单元151的像素对应的多个校正系数。所述多个校正系数集可以分别与以预定的间隔彼此间隔开的多个基准距离相对应。即使在显示单元151的同一处置处显示大致相同的多个实体的多个对象的情况下,当所述多个实体与相机121之间的距离不同时,可以通过使用不同的校正系数来执行校正。
当相机121在操作S2172中对位于不同的距离处的多个实体进行拍摄时,控制单元180可以在操作S2173中显示包含与所述多个实体中的每一个对应的多个对象的图像。
参照图7B,第一实体a、第二实体b和第三实体c可以分别被定位为与相机121间隔第一距离d1、第二距离d2、第三距离d3。控制单元180可以通过使用第一对象A、第二对象B和第三对象C的坐标点以及分别与第一距离d1、第二距离d2和第三距离d3对应的校正系数来分别对第一对象A、第二对象B和第三对象C进行校正。也就是说,在操作S2174中,控制单元180可以基于所述多个校正系数集中的一个来对图像进行校正。
然而,该实施方式不限于此。在其它实施方式中,控制单元180可以通过使用与距多个实体的距离的平均距离对应的校正系数集来对图像中所包含的全部对象进行校正。控制单元180可以通过使用包含在与平均距离对应的校正系数集中并且与对象的坐标点相对应的校正系数来执行校正功能。
当第一距离d1、第二距离d2和第三距离d3的平均值对应于第二距离d2时,控制单元180可以选择与第二距离d2对应的校正系数集。控制单元180可以选择分别与第一对象A、第二对象B和第三对象C的坐标点对应的校正系数,并且可以提取第一对象A、第二对象B和第三对象C。
然而,所述多个校正系数集可以包含被用来执行在预定的误差范围内的全部坐标点的校正的代表性校正系数集,控制单元180可以通过使用该代表性校正系数集来执行全部校正功能。
图7C是用于描述基于所选择的对象来选择校正系数集的控制方法的概念图。
当图像310被显示时,控制单元180可以从图像310中提取与人的面部对应的对象,并且可以对与所提取的对象对应的实体的位置进行分析。当确定图像310中包含与实体对应的对象时,控制单元180可以检测该实体和相机121之间的距离。当实体和相机121之间的距离不同时,控制单元180可以控制显示单元151以显示选择图像312。显示单元151可以在分别与位于不同的距离处的实体对应的对象中的每一个上对选择图像312进行标记。如图7C中所例示的,显示单元151可以显示第一选择图像312a、第二选择图像312b和第三选择图像312c。
虽然未在附图中详细地示出,但是第一选择图像312a、第二选择图像312b和第三选择图像312c可以被显示为彼此区分开。例如,第一选择图像312a、第二选择图像312b和第三选择图像312c可以被显示为具有不同的颜色。
当基于位于大致相同的位置处的多个实体生成多个对象时,在位于相同位置处的多个实体的对象上进行标记的选择图像可以被显示为具有不同的颜色。
控制单元180可以基于向选择图像施加的触摸来选择一个对象,并且可以基于所选择的对象的实体与相机121之间的距离来从多个校正系数集当中选择一个校正系数集。控制单元180可以基于校正系数集来对从选择图像中选择的其它对象进行校正。
当基于所选择的校正系数集显示校正图像时,控制单元180可以连续地在显示单元151中的校正图像上对选择图像312进行标记。当再次向所选择的选择图像施加触摸时,控制单元180可以在显示单元151中再次显示图像310。在这种情况下,可以将图像310连同第一选择图像312a、第二选择图像312b和第三选择图像312b一起进行显示。
根据本发明的示例性实施方式,移动终端100可以基于由用户选择的对象从位于不同的距离处的多个校正系数集当中选择校正系数集。因此,移动终端100可以更精确地对被用户认为是重要对象的对象进行校正。
图8A是用于描述对不包含人的面部的图像进行校正的方法的概念图。参照图2C,当3D实体被拍摄为2D图像时,3D实体的形状可能失真。在上文中,已经描述了移动终端100提取与人的面部对应的对象,但是在该实施方式中,控制单元180可以提取形状失真的3D实体的对象。例如,如附图中所例示的,对象D可以与形状被修改的照明相对应。
当图像310中不包含与人对应的对象时,控制单元180可以在显示单元151中按原样显示图像310。然而,控制单元180可以提取已经发生失真并被成像的对象,并且可以基于距图像310的中心的距离(详细地,基于与构成所提取的对象的坐标点对应的校正系数)来对所提取的对象的至少一个区域进行校正。
当提取对象时,显示单元151可以接收用户触摸输入。控制单元180可以基于用户触摸输入来对该对象进行校正。当图像310中包含多个对象时,用户可以通过向显示单元151施加触摸输入来选择性地对对象进行校正。显示单元151可以显示包含非输出区域320a并且通过校正而获得的图像。
根据本发明的示例性实施方式,可以基于触摸来为用户提供通过对除人的面部以外的对象进行校正而获得的校正图像。
图8B是用于描述当对象与平面实体相对应时的控制方法的概念图。控制单元180可以确定与面部对应的对象的实体是否具有3D形状。当与面部对应的对象对应于平面图像时,控制单元180可以限制该对象的修改。
例如,当通过相机121拍摄到包含人的面部的照片或图像(例如,电影海报和/或类似物)时,尽管包含人的面部,也可以使该照片或图像不失真地成像。也就是说,即使在图像被识别为人的面部的情况下,当感测到与该图像对应的实体为平面时,控制单元180可以控制显示单元151以按原样显示该图像。
图9A、图9B和图9C是用于描述针对校正图像的控制方法的概念图。
参照图9A,当相机121被激活时,显示单元151可以显示最近拍摄的图像的图标401。显示单元151可以基于向图标401施加的触摸输入来显示经校正的图像320。在图标401上进行标记的图像可以包含校正前图像。可以在经校正的图像320上标记复原图标504。当向复原图标504施加触摸时,控制单元180可以控制显示单元151以显示校正前图像。
控制单元180可以基于向图标401施加的触摸来控制显示单元151以显示校正前图像310。可以在图像310上标记校正图标505。校正图标505可以包含与复原图标504的形状不同的形状。当向复原图标504施加触摸时,控制单元180可以对图像310进行校正并且显示该图像310。
根据本发明的示例性实施方式,可以选择性地为用户提供校正前原始图像和校正图像,并且即使在显示校正前原始图像或校正图像之后,用户也可以改变该校正前原始图像或该校正图像。
参照图9B,当拍摄图像时,控制单元180可以控制存储器170以将原始图像和校正图像一起进行存储。存储器170可以彼此区分开地存储原始图像和校正图像。如附图中所例示的,存储器170可以分别存储被拍摄并且被分到多个文件夹的多个原始图像以及分别与所述多个原始图像对应的多个校正图像。
例如,当基于用户的控制命令来存储原始图像时,控制单元180可以控制存储器170以将与该原始图像对应的校正图像存储在不同的文件夹中。因此,可以在不需要单独的控制命令的情况下为用户提供校正前图像和校正后图像。
图9C是例示了针对用于存储图像的设置的画面信息的概念图。当通过相机121来拍摄外部环境时,用户可以设置存储所生成的图像的方法。
例如,当拍摄到图像时,显示单元151可以向用户显示用于选择存储方法的弹出窗口。另选地,控制单元180可以控制存储器170以存储原始图像和校正图像中的至少一个。
图10是用于描述对预览画面上的图像进行校正的控制方法的概念图。
当通过相机121来拍摄外部环境时,显示单元151可以显示与所拍摄的外部环境有关的画面信息。当在正在显示画面信息的同时向显示单元151施加用于拍摄的控制命令(例如,向拍摄图标施加触摸输入)时,可以基于画面信息来生成图像。基于用户设置,根据控制命令,可以将图像存储在存储器170中或者可以在显示单元151中显示该图像。
根据本发明的示例性实施方式,当正在显示画面信息的同时,可以显示第一图标(校正图标)306。显示单元151可以基于向校正图标306施加的触摸来显示校正画面信息301。当向校正图标306施加触摸并且通过相机121来感测大致相同的外部环境达预定时间t时,控制单元180可以显示校正画面信息301。
当在正在显示校正画面信息301的同时向拍摄图标施加触摸时,该校正画面信息可以被存储为图像。当向校正图标306施加触摸,然后通过相机121来感测另一外部环境时,控制单元180可以解除校正,并且可以在显示单元151中显示其它画面信息。
虽然未在附图中详细地示出,但是基于不同的控制命令,校正前画面信息可以被成像,或者校正后画面信息可以被存储为图像。
根据本发明的示例性实施方式,由于在对外部环境进行成像之前为用户提供经校正的预览图像,因此可以预先为用户提供图像的经校正的状态,并且用户可以执行成像。
可以使用机器可读介质来实现各种实施方式,该机器可读介质具有存储有用于由处理器执行的指令,以执行本文中提出的各种方法。可能的机器可读介质的示例包含HDD(硬盘驱动器)、SSD(固态硬盘)、SDD(硅盘驱动器)、ROM、RAM、CD-ROM、磁带、软盘、光学数据存储装置、本文中提出的其它类型的存储介质及其组合。如果需要,机器可读介质可以按照载波的形式来实现(例如,通过互联网的传输)。处理器可以包含移动终端的控制器180。
前面的实施方式和优点仅仅是示例性的,并且不应被认为是对本发明的限制。本教导能够被容易地应用于其它类型的装置。本说明书旨在是说明性的,并且不限制权利要求的范围。许多另选方案、修改和变型对本领域技术人员来说将是显而易见的。可以按照各种方式来对本文中描述的示例性实施方式的特征、结构、方法和其它特性进行组合,以获得附加的和/或另选的示例性实施方式。
由于当前特征可以在不脱离其特性的情况下被实现为多种形式,还应当理解的是,上述实施方式不受前述说明的任何细节的限制,而应当在其如同在所附的权利要求中限定的范围内广义地考虑,并因此所附的权利要求旨在包含落入权利要求的边界和界限或者这些边界和界限的等同物内的全部改变和修改。

Claims (20)

1.一种移动终端,该移动终端包括:
相机;
显示器;以及
控制器,该控制器被配置为:
使所述显示器显示经由所述相机接收的图像;
从所述图像中提取与面部对应的至少一个对象;并且
通过基于从所述图像的中心到所述图像中的所述至少一个对象的距离而修改所提取的至少一个对象的特定区域来对所述图像进行校正。
2.根据权利要求1所述的移动终端,其中,所述控制器还被配置为随着所述特定区域移动得离所述图像中的所述中心更远而增加所述修改的程度。
3.根据权利要求2所述的移动终端,其中,所述控制器还被配置为当提取所述至少一个对象时,使所述显示器显示第一校正导引,所述第一校正导引包含指示所述图像的所述中心作为原点的多个圆。
4.根据权利要求1所述的移动终端,其中,所述控制器还被配置为:
使所述显示器显示与所提取的至少一个对象对应的至少一个选择图像;并且
基于向所述至少一个选择图像施加的触摸来选择性地修改所述至少一个对象。
5.根据权利要求1所述的移动终端,其中,所述控制器还被配置为使得所述显示器:
响应于向所述图像施加的第一触摸来显示经校正的图像;并且
响应于向经校正的图像施加的第二触摸来重新显示校正前的图像。
6.根据权利要求1所述的移动终端,其中,
所述控制器还被配置为使所述显示器显示:
包含所述特定区域已被修改的所述至少一个对象的校正图像;以及
不包含视觉信息的非输出区域;并且
所述非输出区域与所述特定区域已被修改的所述至少一个对象相邻。
7.根据权利要求6所述的移动终端,其中,
所述控制器还被配置为生成包含所述校正图像的特定区域在内的第二校正图像,所述第二校正图像不包含所述非输出区域;并且
所述第二校正图像的宽高比与所述校正图像的宽高比相同。
8.根据权利要求7所述的移动终端,其中,所述控制器还被配置为:
当显示所述非输出区域时,使所述显示器显示用于生成所述第二校正图像的第二校正导引;并且
当对所述第二校正导引施加触摸时,对所述第二校正图像的尺寸进行调整。
9.根据权利要求7所述的移动终端,其中,
所述控制器还被配置为确定所提取的至少一个对象的至少一个区域是否是包含在与所述校正图像的边缘部分相对应的去除区域中而不是包含在所述第二校正图像中;并且
当所提取的至少一个对象的所述至少一个区域包含在所述去除区域中时,所述控制器还被配置为生成包含在所述非输出区域上显示的虚拟图像的补偿图像。
10.根据权利要求1所述的移动终端,该移动终端还包括:
存储器,该存储器被配置为存储基于距所述相机的基准距离而设置的多个校正系数集,
其中,所述多个校正系数集中的每一个包括多个校正系数,所述校正系数中的每一个与构成所述显示器的显示画面的多个坐标点中的相应的一个坐标点相对应,并且
所述多个校正系数集被用来对与所述多个坐标点对应的对象进行校正。
11.根据权利要求10所述的移动终端,其中,所述控制器还被配置为:
检测从所述相机到所提取的至少一个对象的实体的距离;并且
基于所检测的距离从所述多个校正系数集当中选择一个校正系数集。
12.根据权利要求11所述的移动终端,其中,所述控制器还被配置为:
当从所述相机到所提取的至少一个对象的多个实体中的每一个的距离不同时,使所述显示器显示与所提取的至少一个对象对应的多个选择图像;并且
基于距基于向所述多个选择图像中的一个选择图像施加的触摸而选择的所述多个实体中的一个实体的距离来选择所述一个校正系数集。
13.根据权利要求1所述的移动终端,其中,所述控制器还被配置为:
从所述图像中附加地提取三维对象;并且
基于从所述图像的所述中心到所述三维对象的距离来对所述图像进行校正。
14.根据权利要求1所述的移动终端,其中,所述控制器还被配置为:
使所述显示器显示与所述图像对应的预览图像,拍摄图标也与所述预览图像一同显示;
提取与所述面部对应的并且包含在所述预览图像中的所述至少一个对象;并且
基于所述预览图像的中心和所提取的至少一个对象之间的距离来对所提取的至少一个对象进行校正,并且使所述显示器显示经校正的至少一个对象。
15.根据权利要求14所述的移动终端,该移动终端还包括存储器,
其中,所述控制器还被配置为响应于向所述拍摄图标施加的触摸而使所述存储器存储经校正的图像。
16.根据权利要求1所述的移动终端,其中,当所提取的至少一个对象的实体不具有三维形状时,所述控制器还被配置为限制所提取的至少一个对象的修改。
17.根据权利要求1所述的移动终端,该移动终端还包括存储器,
其中,所述控制器还被配置为使所述存储器存储彼此映射的所述图像和校正图像。
18.根据权利要求17所述的移动终端,其中,所述控制器还被配置为当所述相机被激活时,使所述显示器显示提示是否存储所述图像或所述校正图像中的至少一个的弹出窗口。
19.根据权利要求1所述的移动终端,其中,所述控制器还被配置为使所述显示器:
当显示所述图像时,显示用于对所述图像进行校正的第一图标;并且
当显示经校正的图像时,显示用于显示校正前的图像的第二图标。
20.一种由移动终端执行的控制方法,该控制方法包括以下步骤:
通过相机接收图像;
在显示器上显示所述图像;
提取与存在于所述图像中的面部对应的对象;以及
通过基于从所述图像的中心到所述图像中的所提取的对象的距离而修改所提取的对象的特定区域来生成校正图像。
CN201610108498.2A 2015-05-06 2016-02-26 移动终端及其控制方法 Active CN106131532B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150063245A KR102290301B1 (ko) 2015-05-06 2015-05-06 이동 단말기 및 이의 제어방법
KR10-2015-0063245 2015-05-06

Publications (2)

Publication Number Publication Date
CN106131532A true CN106131532A (zh) 2016-11-16
CN106131532B CN106131532B (zh) 2018-10-30

Family

ID=55070632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610108498.2A Active CN106131532B (zh) 2015-05-06 2016-02-26 移动终端及其控制方法

Country Status (4)

Country Link
US (1) US9571754B2 (zh)
EP (1) EP3091502A3 (zh)
KR (1) KR102290301B1 (zh)
CN (1) CN106131532B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107135302A (zh) * 2017-03-20 2017-09-05 深圳市金立通信设备有限公司 一种图像处理方法、及终端设备
CN110232667A (zh) * 2019-06-17 2019-09-13 厦门美图之家科技有限公司 图像畸变修正方法、装置、电子设备及可读存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102468729B1 (ko) * 2017-09-29 2022-11-21 삼성전자주식회사 전자 장치 및 전자 장치의 객체 센싱 방법
CN107864290A (zh) * 2017-11-20 2018-03-30 无锡摩帕商贸有限公司 移动终端近距离操作主动干预装置及方法
US20200244896A1 (en) * 2018-08-17 2020-07-30 Gregory Walker Johnson Tablet with camera's
CN112312056A (zh) * 2019-08-01 2021-02-02 普兰特龙尼斯公司 利用自适应镜头失真校正和图像变形减少的视频会议
CN112529784B (zh) * 2019-09-18 2024-05-28 华为技术有限公司 图像畸变校正方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2189835A1 (en) * 2008-11-19 2010-05-26 Sony Ericsson Mobile Communications AB Terminal apparatus, display control method, and display control program
CN102939764A (zh) * 2010-05-26 2013-02-20 夏普株式会社 图像处理器、图像显示装置和图像拍摄装置
US20150086132A1 (en) * 2013-09-20 2015-03-26 Casio Computer Co., Ltd. Image Processing Apparatus and Image Processing Method
US20150091900A1 (en) * 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and Methods for Depth-Assisted Perspective Distortion Correction

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7574016B2 (en) * 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
KR100590570B1 (ko) * 2004-11-30 2006-06-19 삼성전자주식회사 레벨 셋 방식을 이용한 얼굴 형상 검출방법 및 장치
KR101035768B1 (ko) * 2009-01-02 2011-05-20 전남대학교산학협력단 립 리딩을 위한 입술 영역 설정 방법 및 장치
JP5397751B2 (ja) * 2009-03-19 2014-01-22 株式会社ニコン カメラおよび画像補正方法
JP5448056B2 (ja) * 2009-09-03 2014-03-19 スズキ株式会社 歪み画像補正装置及び方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2189835A1 (en) * 2008-11-19 2010-05-26 Sony Ericsson Mobile Communications AB Terminal apparatus, display control method, and display control program
CN102939764A (zh) * 2010-05-26 2013-02-20 夏普株式会社 图像处理器、图像显示装置和图像拍摄装置
US20150086132A1 (en) * 2013-09-20 2015-03-26 Casio Computer Co., Ltd. Image Processing Apparatus and Image Processing Method
US20150091900A1 (en) * 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and Methods for Depth-Assisted Perspective Distortion Correction

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107135302A (zh) * 2017-03-20 2017-09-05 深圳市金立通信设备有限公司 一种图像处理方法、及终端设备
CN110232667A (zh) * 2019-06-17 2019-09-13 厦门美图之家科技有限公司 图像畸变修正方法、装置、电子设备及可读存储介质
CN110232667B (zh) * 2019-06-17 2021-06-04 厦门美图之家科技有限公司 图像畸变修正方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
KR20160131273A (ko) 2016-11-16
US20160330384A1 (en) 2016-11-10
EP3091502A3 (en) 2017-01-11
CN106131532B (zh) 2018-10-30
EP3091502A2 (en) 2016-11-09
US9571754B2 (en) 2017-02-14
KR102290301B1 (ko) 2021-08-17

Similar Documents

Publication Publication Date Title
CN106210184B (zh) 移动终端及其控制方法
CN106257909B (zh) 移动终端及其控制方法
CN105100389B (zh) 移动终端及其控制方法
CN105376396B (zh) 移动终端及其控制方法
CN104461410B (zh) 移动通信系统、移动终端及其控制方法
CN105393522B (zh) 移动终端及其控制方法
CN105141742B (zh) 移动终端和移动终端的控制方法
CN106131532A (zh) 移动终端及其控制方法
CN106446728A (zh) 移动终端及其控制方法
CN106371782A (zh) 移动终端及其控制方法
CN106201391B (zh) 移动终端系统及其控制方法
CN106406688B (zh) 移动终端及其控制方法
US9454301B2 (en) Mobile terminal controlled by at least one touch and method of controlling therefor
CN107637058A (zh) 移动终端及其控制方法
CN105630225A (zh) 移动终端及其控制方法
CN107580693A (zh) 移动终端及其控制方法
CN106686206A (zh) 移动终端及其控制方法
CN106713738A (zh) 移动终端及其控制方法
CN106303406A (zh) 移动终端
CN105744051A (zh) 移动终端及其控制方法
CN105830012A (zh) 移动终端及其控制方法
CN105718187A (zh) 移动终端及控制移动终端的内容的方法
CN105264783B (zh) 移动终端及其控制方法
CN106361268A (zh) 移动终端及其控制方法
US20160077717A1 (en) Mobile terminal and method of controlling therefor

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant