CN107665477A - 电子设备和控制电子设备的方法 - Google Patents

电子设备和控制电子设备的方法 Download PDF

Info

Publication number
CN107665477A
CN107665477A CN201710621267.6A CN201710621267A CN107665477A CN 107665477 A CN107665477 A CN 107665477A CN 201710621267 A CN201710621267 A CN 201710621267A CN 107665477 A CN107665477 A CN 107665477A
Authority
CN
China
Prior art keywords
subregion
electronic equipment
image
around
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710621267.6A
Other languages
English (en)
Other versions
CN107665477B (zh
Inventor
郑夏旭
洪泰和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107665477A publication Critical patent/CN107665477A/zh
Application granted granted Critical
Publication of CN107665477B publication Critical patent/CN107665477B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06T3/02
    • G06T3/18
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/80Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
    • G06T3/04
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T5/70
    • G06T5/77
    • G06T5/80
    • G06T5/94
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/536Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/17Image acquisition using hand-held instruments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows

Abstract

本发明提供了一种电子设备,包括:显示器,其被配置成显示第一图像;以及一个或多个处理器,其与该显示器电连接,其中一个或多个处理器被配置成:从第一图像选择围绕第一对象的区域,该区域包括围绕第一对象的第一部分的第一子区域和围绕第一对象的第二部分的第二子区域;将第一校正方案应用于围绕第一对象的第一部分的第一子区域,将第二校正方案应用于围绕第一对象的第二部分的第二子区域;以及生成包括围绕第一对象的第一部分的经校正的第一子区域和围绕第一对象的第二部分的经校正第二子区域的第二图像。

Description

电子设备和控制电子设备的方法
技术领域
本公开内容涉及一种通过电子设备校正图像的功能,更具体地,涉及一种用于将包含在图像中的对象划分成多个区域并将不同校正方案应用于相应区域的方法和电子设备。
背景技术
近来,各种电子设备(例如智能电话、平板个人计算机(PC)、便携式多媒体播放器(PMP)、MP3播放器、可穿戴设备和/或类似物)已经广泛传达至用户。用户可以通过各种电子设备访问多种内容。
大多数电子设备安装有相机模块以允许用户随时随地拍摄所期望对象。在某些情况下,在显示了面部而腿部看起来较短的照片中可能发生失真。常规方法的其它缺点将通过将这些方法与参考附图的本申请其余部分进行比较而变得明显。
以上信息仅作为背景信息呈现以帮助理解本公开内容。关于以上任何内容是否可适于作为本公开内容的现有技术,没有作出任何确定也没有作出任何断言。
发明内容
因此,本公开内容尤其提供一种可以自动检测身体部位(包含面部)并且能够通过将不同校正方案应用于相应身体部位而获得质量改善的经校正图像的电子设备以及一种用于控制该电子设备的方法。
根据各种实施方式,一种电子设备包括:显示器,其被配置成显示第一图像;以及一个或多个处理器,其与该显示器电连接,其中这一个或多个处理器被配置成:
从第一图像选择围绕第一对象的区域,该区域包括围绕第一对象的第一部分的第一子区域和围绕第一对象的第二部分的第二子区域;将第一校正方案应用于围绕第一对象的第一部分的第一子区域,将第二校正方案应用于围绕第一对象的第二部分的第二子区域;以及生成包括围绕第一对象的第一部分的经校正的第一子区域和围绕第一对象的第二部分的经校正的第二子区域的第二图像。
根据各种实施方式,第一校正方案是改变围绕第一对象的第一部分的第一子区域的大小的校正方案,第二校正方案是针对围绕第一对象的第二部分的第二子区域执行透视变换的校正方案。
根据各种实施方式,一个或多个处理器被进一步配置成基于针对应用了第一校正方案的围绕第一对象的第一部分的第一子区域的校正结果,确定针对围绕第一对象的第二部分的第二子区域的第二校正方案。
根据各种实施方式,一个或多个处理器被进一步配置成针对围绕第一图像的第二对象的区域应用第三校正方案,其中围绕第一对象的区域和围绕第二对象的区域不重叠。
根据各种实施方式,一个或多个处理器被进一步配置成基于针对围绕第一对象的第一部分的第一子区域的校正结果和针对围绕第一对象的第二部分的第二子区域的校正结果中的至少之一,选择针对围绕第二对象的区域的第三校正方案。
根据各种实施方式,一种电子设备包括:显示器,被配置成显示第一图像;以及一个或多个处理器,其与该显示器电连接,其中一个或多个处理器被配置成:从第一图像选择包括围绕第一对象的第一部分的第一子区域和围绕第一对象的第二部分的第二子区域的围绕第一对象的区域,将第一图像划分成包括第一分区和第二分区的多个分区,将围绕第一对象的第一部分的第一子区域设置在第一分区中,将围绕第一对象的第二部分的第二子区域设置在第二分区中,将第一校正方案应用于第一分区,将第二校正方案应用于第二分区,以及生成包括经校正的第一分区和经校正的第二分区的第二图像。
根据各种实施方式,第一校正方案是改变第一分区大小的校正方案,第二校正方案是针对第二分区执行透视变换的校正方案。
根据各种实施方式,一个或多个处理器被进一步配置成基于针对应用了第一校正方案的第一分区的校正结果,确定针对第二分区的第二校正方案。
根据各种实施方式,一个或多个处理器被进一步配置成针对围绕该第一图像的第二对象的区域应用第三校正方案,其中围绕第一对象的区域和围绕第二对象的区域不重叠。
根据各种实施方式,一个或多个处理器被进一步配置成基于针对第一分区的校正结果和针对第二分区的校正结果中的至少之一选择针对围绕第二对象的区域的第三校正方案。
根据各种实施方式,一种用于控制电子设备的方法包括:在显示器上显示第一图像;从第一图像选择围绕第一图像中的第一对象的区域,该区域包括围绕该对象的第一部分的第一子区域和围绕该对象的第二部分的第二子区域;将第一校正方案应用于围绕第一对象的第一部分的第一子区域以及将第二校正方案应用于围绕第一对象的第二部分的第二子区域;以及生成包括围绕第一对象的第一部分的经校正的第一子区域和围绕第一对象的第二部分的经校正的第二子区域的第二图像。
根据各种实施方式,第一校正方案是改变围绕第一对象的第一部分的第一子区域的大小的校正方案,第二校正方案是针对围绕第一对象的第二部分的第二子区域执行透视变换的校正方案。
根据各种实施方式,将第二校正方案应用于围绕第一对象的第二部分的第二子区域包括:基于针对应用了第一校正方案的围绕第一对象的第一部分的第一子区域的校正结果,确定针对围绕第一对象的第二部分的第二子区域的第二校正方案。
根据各种实施方式,将第一校正方案应用于围绕第一对象的第一部分的第一子区域和将第二校正方案应用于围绕第一对象的第二部分的第二子区域包括:针对第一图像的除第一区域以外的第二区域应用第三校正方案。
根据各种实施方式,其中,将第三校正方案应用于除第一区域以外的第二区域包括:基于针对围绕第一对象的第一部分的第一子区域的校正结果和针对围绕第一对象的第二部分的第二子区域的校正结果中的至少之一,选择针对第二区域的第三校正方案。
根据各种实施方式,在电子设备中,一种方法包括:在显示器上显示第一图像;从第一图像选择围绕第一对象的区域,该包括围绕第一对象的第一部分的第一子区域和围绕第一对象的第二部分的第二子区域;将第一图像划分成包括第一分区和第二分区的多个分区,将围绕第一对象的第一部分的第一子区域设置在第一分区中,将围绕第一对象的第二部分的第二子区域设置在第二分区中;将第一校正方案应用于第一分区以及将第二校正方案应用于第二分区;以及生成包括经校正的第一分区和经校正的第二分区的第二图像。
根据各种实施方式,将第二校正方案应用于第二分区包括:基于针对应用了第一校正方案的第一分区的校正结果,确定针对第二分区的第二校正方案。
根据各种实施方式,将第一校正方案应用于第一分区和将第二校正方案应用于第二分区包括:针对围绕第一图像的第二对象的区域应用第三校正方案,其中围绕第一对象的区域和围绕第二对象的区域不重叠。
根据各种实施方式,一种非暂时性记录介质中存储有用于执行控制电子设备的方法的指令,该方法包括:在显示器上显示第一图像;从第一图像选择围绕第一对象的区域,该区域包括围绕第一对象的第一部分的第一子区域和围绕第一对象的第二部分的第二子区域;将第一图像划分成包括第一分区和第二分区的多个区域,将围绕第一对象的第一部分的第一子区域设置在第一分区中,以及将围绕第一对象的第二部分的第二子区域设置在第二分区中;将第一校正方案应用于第一分区以及将第二校正方案应用于第二分区;以及生成包括经校正的第一分区和经校正的第二分区的第二图像。
根据结合附图公开本公开内容的示例性实施方式的以下具体说明,本公开内容的其它方面、优点和显著特征对于所属领域的技术人员将变得显而易见。
附图说明
结合附图,根据以下描述,本公开内容的某些示例性实施方式的以上和其它方面、特征和优点将更显而易见,其中:
图1是根据本公开内容的各种实施方式的网络环境中的电子设备的框图;
图2是根据本公开内容的各种实施方式的电子设备的框图;
图3是根据本公开内容的各种实施方式的编程模块的框图;
图4是根据本公开内容的一实施方式的电子设备的框图;
图5是根据本公开内容的各种实施方式的在电子设备中使用多个校正方案来校正显示在显示器上的图像的过程的流程图;
图6A和图6B示出根据本公开内容的各种实施方式的电子设备检测输入图像中的人的身体部位的情况;
图7A和图7B示出根据本公开内容的各种实施方式的电子设备校正检测到的身体部位的过程;
图8示出根据本公开内容的各种实施方式的在电子设备中针对校正水平调整来调整用户界面的情况;
图9示出根据本公开内容的各种实施方式的在电子设备中校正包含多个人的第一图像的情况;
图10A和图10B示出根据本公开内容的各种实施方式的在电子设备中校正包含多个人的第一图像的另一情况;
图11示出根据本公开内容的各种实施方式的电子设备校正处于各种姿势的身体的情况;
图12A和图12B示出根据本公开内容的各种实施方式的电子设备根据检测到的人的性别以不同方式执行校正的情况;
图13示出根据本公开内容的各种实施方式的电子设备确定是否校正图像的情况;
图14示出根据本公开内容的各种实施方式的自动校正使用电子设备捕获的图像的情况;并且
图15示出根据本公开内容的各种实施方式的在使用电子设备捕获图像之前校正和显示该图像的情况。
在所有附图中,相同参考编号应理解为指代相同部件、组件和结构。
具体实施方式
在下文中,将参考附图公开本公开内容的各种实施方式。然而,本文中使用的实施方式和术语并不旨在将本公开内容限于特定实施方式,其应被解释为包含根据本公开内容的实施方式的各种修改、等同和/或替代。关于附图的描述,相同参考编号指代相同元件。除非上下文另外明确指示,否则单数形式也旨在包含复数形式。
在本公开内容中,表达(例如“A或B”、“A或/和B中的至少之一”或者“A或/和B中的一者或多者”可以包含所列出项目的所有可能组合。本文中使用的表达(例如“第一”、“第二”、“主”或“次”)可以表示各种元件,而与管次序和/或重要性无关,并且并不限制对应元件。当描述一元件(例如第一元件)“以可操作方式或以可通信方式与另一元件(例如第二元件)耦合/耦合到另一元件(例如第二元件)”或者“连接到另一元件(例如第二元件)”时,该元件可以直接连接到该另一元件或者可以通过又一元件(例如,第三元件)连接到该另一元件。
在本公开内容中使用的表达“被配置(或设置)成”可以根据情况被替代为(例如)“适合于”、“具有…能力”、“适于”、“使得…”、“能够”或“被设计成”。另一选择为,在某一情况下,表达“被配置成…的装置”可以意味着该装置“能够”与另一装置或组件一起操作。例如,短语“被配置(设置)成实施A、B和C的处理器”可以是用于实施对应操作的专用处理器(例如,嵌入式处理器)或可以通过执行存储在存储器设备处的至少一个软件程序来实施对应操作的通用处理器(例如中央处理单元(CPU)或应用处理器)。
根据本公开内容的各种实施方式的电子设备可以包含(例如)智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书(e-book)阅读器、桌上型PC、膝上型PC、笔记本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MP3播放器、移动医疗装备、相机和可穿戴设备中的至少之一。可穿戴设备的示例可以包含配件类可穿戴设备(例如,手表、手环、手镯、脚链、项链、眼镜、隐形眼镜、头戴式设备(HMD)和/或类似物)、织物或布集成类可穿戴设备(例如,电子衣物和/或类似物)、身体附着类可穿戴设备(例如,护皮垫、纹身和/或类似物)、身体植入类可穿戴设备(例如,可植入电路和/或类似物)和/或类似的可穿戴设备中的至少之一。在一些实施方式中,该电子设备可以包含(例如)电视机(TV)、数字视频光盘(DVD)播放器、音频装备、电冰箱、空调器、真空吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板,TV盒(例如,Samsung的HomeSyncTM、Apple的TVTM或Google的TVTM)、游戏机、电子词典、电子钥匙、便携式摄像机和电子相框。
在其它实施方式中,电子设备可以包含各种医疗装备(例如,磁共振血管造影(MRA)、磁共振成像(MRI)、计算机断层扫描(CT)、成像设备或超声波设备)、导航系统、全球定位系统(GPS)接收器、事件数据记录仪(EDR)、飞行数据记录仪(FDR)、车辆信息娱乐设备、船舶用电子装备(例如,船舶用导航系统和陀螺罗盘)、航空电子设备、安全设备、车头单元、工业或家用机器人、自动柜员机(ATM)、销售点(POS)、物联网(例如,电灯泡、各种传感器、电表或煤气表、洒水器设备、火警设备、恒温器、街灯、烤面包机、健身器、热水箱、加热器、锅炉和/或类似物)中的至少之一。根据一些实施方式,该电子设备可以包含家具的一部分、建筑物/结构或车辆的一部分、电子板、电子签名接收设备、投影仪和各种测量仪器(例如,水、电、煤气、电波测量设备和/或类似物)。根据各种实施方式,该电子设备可以是柔性的或者可以是上述各种设备中的两种或更多种的组合。根据本公开内容的一实施方式的电子设备并不限于上述设备。本文中,在本公开内容的各种实施方式中使用的术语“用户”可以是指使用该电子设备的人或使用该电子设备的设备。
电子设备可以提供编辑和校正所捕获图像的功能,以使用户可以在不使用单独程序的情况下编辑和校正所捕获图像。
电子设备可以提供各种图像编辑功能。例如,电子设备可以提供若干功能,例如,图像分割或划分、图像颜色校正、图像大小校正和/或类似功能。特定来说,对于肖像,电子设备可以使面部的颜色变亮并校正肤色以使肤色看起来自然。电子设备可以通过对未被正面拍摄的对象执行透视变换来针对该对象执行校正以显示该对象的正面。
当每次执行透视变换时,失真可因身体部位(面部、躯干、脚部和/或类似物)的不同方向被不完全校正。
参考图1,公开了根据本公开内容各种实施方式的网络环境100中的电子设备101。电子设备101可以包含总线110、处理器120(虽然显示出一个,但可以使用多于一个处理器120)、存储器130、输入/输出(I/O)接口150、显示器160和通信接口170。根据一些实施方式,电子设备101可以省略前述元件中的至少之一或者可以进一步包含其它元件。
在电子设备101的某些实施方式中,显示器160可以显示第一图像。一个或多个处理器120可以电连接到显示器160并且:从所述第一图像选择围绕第一对象的区域,包括围绕所述第一对象的第一部分的第一子区域和围绕所述第一对象的第二部分的第二子区域;将第一校正方案应用于围绕所述第一对象的所述第一部分的所述第一子区域,将第二校正方案应用于围绕所述第一对象的所述第二部分的所述第二子区域;以及生成包括围绕所述第一对象的所述第一部分的经校正的第一子区域和围绕所述第一对象的所述第二部分的经校正的第二子区域的第二图像。
总线110可以包含用于例如连接元件110至元件170并在元件110至元件170之间通信(例如,控制消息或数据)的电路。处理器120可以包含中央处理单元(CPU)、应用处理器(AP)和通信处理器(CP)中的一个或多个。处理器120针对例如电子设备101的至少一个其它元件的控制和/或通信执行操作或数据处理。
存储器130可以包含易失性和/或非易失性存储器。存储器130可以存储例如与电子设备101的至少一个其它元件相关联的指令或数据。根据本公开内容的一实施方式,存储器130可以存储软件和/或程序140。程序140可以包含例如内核141、中间件143、应用编程接口(API)145和/或应用程序(或“应用”)147以及类似物中的至少之一。内核141、中间件143和API 145中的至少一些可以称为操作系统(OS)。
内核141可以控制或管理例如用于执行在其它程序(例如,中间件143、API 145或应用程序147)中实现的操作或功能的系统资源(例如,总线110、处理器120、存储器130和/或类似物)。内核141提供接口,中间件143、API 145或应用程序147通过该接口访问电子设备101的单独组件以控制或管理系统资源。
中间件143可以充当允许例如API 145或应用程序147与内核141通信交换数据的中介。另外,中间件143可以基于优先级处理从应用程序147接收的一个或多个任务请求。例如,中间件143可以给予将电子设备101的系统资源(例如,总线110、处理器120、存储器130和/或类似物)用于应用程序147中的至少之一的优先级,并且可以处理这一个或多个任务请求。
API 145是用于应用程序147控制由内核141或中间件143提供的功能的接口,并且可以包含例如用于文件控制、窗口控制、图像处理或字符控制的至少一个接口或功能(例如,指令)。I/O接口150可以将例如从用户或另一外部设备输入的指令或数据递送到电子设备101的其它组件,或者将从电子设备101的其它组件接收的指令或数据输出到用户或另一外部设备。
在某些实施方式中,应用程序147可以包含在由一个或多个处理器120执行时导致如下操作的指令:在显示器上显示第一图像;从第一图像选择围绕第一对象的区域,包括围绕所述第一对象的第一部分的第一子区域和围绕所述第一对象的第二部分的第二子区域;将第一校正方案应用于围绕所述第一对象的所述第一部分的所述第一子区域,将第二校正方应用于围绕所述第一对象的所述第二部分的所述第二子区域;以及生成包括围绕所述第一对象的所述第一部分的经校正的第一子区域和围绕所述第一对象的所述第二部分的经校正的第二子区域的第二图像。
另外,中间件143可以包含若干功能,例如方向梯度直方图(HOG)功能、基于深层神经网络(DNN)的身体部位检测、骨骼提取功能和人类身体部位的文件图像。前述功能可以用于检测项目(如面部、躯干、腿部和脚部)的存在。另外,中间件143可以还包含若干图像校正方案,例如图像大小调整、旋转和颜色校正。
显示器160可以包含例如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、微机电系统(MEMS)显示器或电子纸显示器。显示器160可以例如向用户显示各种内容(例如,文本、图像、视频、图标和/或符号和/或类似物)。显示器160可以包含触摸屏,并且接收例如通过使用电子笔或用户的身体的一部分执行的触摸、手势、接近或悬停输入。通信接口170在电子设备101与外部设备(例如,电子设备102、电子设备104或服务器106)之间建立通信。例如,通信接口170可以通过无线通信或有线通信连接到网络162以与外部设备(例如,第二外部电子设备104或服务器106)通信。
无线通信可以包含使用长期演进(LTE)、演进LTE(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽频(WiBro)或全球移动通信系统(GSM)中的至少之一的蜂窝通信。根据一实施方式,无线通信可以包含无线保真(WiFi)、蓝牙、蓝牙低能耗(BLE)、ZigBee、近场通信(NFC)、磁安全传输(MST)、射频(RF)和身体区域网络(BAN)中的至少之一。
根据一实施方式,无线通信可以包含GNSS。GNSS可以包含例如全球定位系统(GPS)、全球导航卫星系统(Glonass)、北斗导航卫星系统(“Beidou”)和伽利略(基于欧洲全球卫星的导航系统)中的至少之一。在下文中,“GPS”可以与“GNSS”互换使用。有线通信可以包含例如通用串行总线(USB)、高清多媒体接口(HDMI)、推荐标准232(RS-232)、电力线通信和普通老式电话服务(POTS)中的至少一者。网络162可以包含电信网络,例如,计算机网络(例如,局域网(LAN)或广域网(WAN))、因特网和电话网络中的至少之一者。
第一外部电子设备102和第二外部电子设备104中的每一个可以是与电子设备101相同类型或不同类型的设备。根据本公开内容的各种实施方式,由电子设备101执行的一些或全部操作可以在另一电子设备或多个电子设备(例如,电子设备102或104或者服务器106)中执行。根据本公开内容的一实施方式,当电子设备101必须自动或在请求时执行功能或服务时,电子设备101可以请求另一设备(例如,电子设备102或104或者服务器106)替代执行该功能或该服务或者除执行该功能或该服务以外执行至少一些与该功能或该服务相关联的功能。
另一电子设备(例如,电子设备102或104或者服务器106)可以执行所请求功能或附加功能并将执行结果递送到电子设备101。电子设备101然后可以处理或进一步处理所接收结果以提供所请求功能或服务。为此,例如,可以使用云计算、分布式计算或客户端-服务器计算。
图2是根据本公开内容的各种实施方式的电子设备201的框图。电子设备201可以形成图1中示出的整个电子设备101或图1中示出的电子设备101的一部分。电子设备201可以包含一个或多个处理器(例如,应用处理器(AP))210、通信模块220、用户识别模块(SIM)224、存储器230、传感器模块240、输入设备250、显示器260、接口270、音频模块280、相机模块291、电源管理模块295、电池296、指示器297和电机298。
处理器210通过驱动操作系统(OS)或应用程序来控制连接到处理器210的多个硬件或软件组件,并且执行关于各种数据的处理和操作。处理器210可以借助例如片上系统(SoC)实现。
根据本公开内容的一实施方式,处理器210可以包含GPU和/或图像信号处理器。处理器210可以包含图2中示出的至少一些元件(例如,蜂窝模块221)。处理器210将从其它元件(例如,非易失性存储器)中的至少之一接收的指令或数据加载到易失性存储器中以处理该指令或数据,并将结果数据存储在非易失性存储器中。
通信模块220可以具有与通信接口170相同或类似的配置。通信模块220可以包含例如蜂窝模块221、WiFi模块223、蓝牙(BT)模块225、GNSS模块227、近场通信(NFC)模块228和射频(RF)模块229。蜂窝模块221可以通过通信网络提供例如语音呼叫、视频呼叫、本文服务或因特网服务。
根据一实施方式,蜂窝模块221通过使用SIM 224(例如,SIM卡)来识别和认证通信网络中的电子设备201。根据一实施方式,蜂窝模块221执行可以由处理器210提供的功能中的至少之一。根据一实施方式,蜂窝模块221可以包含通信处理器(CP)。
根据一些实施方式,蜂窝模块221、WiFi模块223、BT模块225、GNSS模块227和NFC模块228中的至少一些(例如,两个或更多个)可以包含在一个集成芯片(IC)或IC封装中。RF模块229可以例如发射和接收通信信号(例如,RF信号)。RF模块229可以包含收发器、功率放大模块(PAM)、频率滤波器、低噪声放大器(LNA)或天线。根据另一实施方式,蜂窝模块221、WiFi模块223、BT模块225、GNSS模块227和NFC模块228中的至少之一可以通过单独RF模块发射和接收RF信号。SIM 224可以(例如)包含卡(包含SIM或嵌入式SIM),并且可以包含唯一识别信息(例如,集成电路卡标识符(ICCID)或用户信息(例如,国际移动用户身份(IMSI))。
存储器230(例如,存储器130)可以例如包含内部存储器232和/或外部存储器234。内部存储器232可以例如包含易失性存储器(例如,动态随机存取存储器(DRAM)、静态RAM(SRAM)、同步动态RAM(SDRAM)和/或类似物)和非易失性存储器(例如,一次性可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)和/或类似物)、掩模ROM、闪速ROM、闪速存储器和固态驱动器(SSD)中的至少之一。外部存储器234可以进一步包含闪存驱动器,例如,紧凑闪存(CF)、安全数字(SD)、微型SD、迷你SD、极限数字(xD)、多媒体卡(MMC)或记忆棒。外部存储器234可以通过各种接口与电子设备201功能或物理连接。
传感器模块240测量物理量或感测电子设备201的操作状态以将所测量或所感测的信息转换成电信号。传感器模块240可以例如包含姿势传感器240A、陀螺仪传感器240B、压力传感器240C、磁传感器240D、加速度传感器240E、握持传感器240F、接近传感器240G、颜色传感器240H(例如,RGB传感器)、生物计量传感器240I、温度/湿度传感器240J、照明传感器240K和紫外线(UV)传感器240M中的至少之一。
另外或另一选择为,传感器模块240可以包含电子鼻传感器(未显示)、肌电图(EMG)传感器(未显示)、脑电图(EEG)传感器(未显示)、心电图(ECG)传感器(未显示)、红外线(IR)传感器、虹膜传感器和/或指纹传感器。传感器模块240可以进一步包含用于控制包含在其中的至少一个传感器的控制电路。在某一实施方式中,电子设备201可以进一步包含处理器,其被配置成作为处理器210的一部分或与处理器210分离地控制传感器模块240以在处理器210的睡眠状态期间控制传感器模块240。
输入设备250可以包含例如触摸面板252、(数字)笔传感器254、键256或超声波输入设备258。触摸面板252可以使用电容型、电阻型、IR型或超声波型中的至少之一。触摸面板252可以进一步包含控制电路。
触摸面板252可以进一步包含触觉层以向用户提供触觉反应。(数字)笔传感器254可以包含作为触摸面板252一部分的辨识片或单独辨识片。键256可以还包含物理按钮、光学键或小键盘。超声波输入设备258通过麦克风(例如,麦克风288)感测由输入装置生成的超声波并检查对应于所感测超声波的数据。
显示器260(例如,显示器160)可以包含面板262、全息设备264、投影仪266和/或用于控制它们的控制电路。面板262可以实现为柔性、透明或可穿戴。面板262可以与触摸面板252一起配置在一个模块中。
根据一实施方式,面板262可以包含能够测量用户的触摸导致的压力的强度的压力传感器(或“力传感器”,在下文中可互换使用)。该压力传感器可以与触摸面板252一体地实现,或者可以与触摸面板252分开实现为一个或多个传感器。全息设备264通过使用光的干涉在空中显示立体图像。投影仪266通过光的投射将图像显示到外部屏幕上。该屏幕可以定位在电子设备201内部或外部。
根据一实施方式,接口270可以包含高清多媒体接口(HDMI)272、通用串行总线(USB)274、光接口276或D-超小型278。接口270可以包含在图1中示出的通信接口170中。另外或另一选择为,接口270可以包含(例如)MHL接口、SD卡/MMC接口或红外线数据协会(IrDA)接口。
音频模块280双向转换声音和电信号。音频模块280中的至少一个元件可以包含在图1中示出的输入/输出接口150中。音频模块280处理通过扬声器282、接收器284、耳机286或麦克风288输入或输出的声音信息。
相机模块291例如是能够捕获静止图像或移动图像的设备,并且根据一实施方式,可以包含一个或多个图像传感器(例如,前部传感器或后部传感器)、透镜、图像信号处理器(ISP)或闪光灯(例如,LED、氙灯和/或类似物)。电源管理模块295管理电子设备201的电源。根据一实施方式,电源管理模块295可以包含电源管理集成电路(PMIC)、充电器IC或电池电量计。PMIC可以具有有线和/或无线充电方案。无线充电方案包含磁共振型、磁感应型和电磁型,并且对于无线充电,可以进一步包含附加电路(例如,线圈回路、谐振电路或整流器)。该电池计测量电池296的剩余容量或电池296在充电期间的电压、电流或温度。电池296可以包含可充电电池和/或太阳能电池。
指示器297显示电子设备201或其一部分(例如,处理器210)的特定状态,例如,启动状态、消息状态或充电状态。电机298将电信号转换成机械振动或者生成振动或触觉效果。电子设备201可以包含用于支持移动TV(例如,GPU)的设备以根据标准(例如数字多媒体广播(DMB)、数字视频广播(DVB)或mediaFloTM)处理媒体数据。本文中描述的前述元件中的每一个可以配置有一个或多个组件,其名称可以随着电子设备的类型而变化。在各种实施方式中,可以省略电子设备(例如,电子设备201)的一些组件或者可以进一步包含其它元件,并且这些组件中的一些可以耦合以形成一个实体并在耦合之前相同地执行这些组件的功能。
图3是根据本公开内容的各种实施方式的编程模块的框图。根据一实施方式,编程模块310(例如,程序140)可以包含用于控制与电子设备(例如,电子设备101)相关联的资源的OS和/或在该OS上执行的各种应用(例如,应用程序147)。该OS可以包含AndroidTM、iOSTM、WindowsTM、SymbianTM、TizenTM或BadaTM。参考图3,编程模块310可以包含内核320(例如,内核141)、中间件330(例如,中间件143)、应用编程接口(API)360(例如,API 145)和/或应用370(例如,应用程序147)。编程模块310的至少一部分可以预先加载在电子设备上,或者可以从外部设备(例如,车辆设备102、电子设备104或服务器106)下载。
内核320可以包含系统资源管理器321和/或设备驱动器323。系统资源管理器321可以实施对系统资源的控制、分配、检索等。
根据一实施方式,系统资源管理器321可以包含处理管理单元、存储器管理单元或文件系统管理单元。设备驱动器323可以包含例如显示器驱动器、相机驱动器、蓝牙驱动器、共享存储器驱动器、USB驱动器、键盘驱动器、WiFi驱动器、音频驱动器或进程间通信(IPC)驱动器。中间件330可以包含提供应用370通常需要的功能或通过API 360向应用370提供各种功能以允许应用370在电子设备中使用有限系统资源。
根据一实施方式,中间件330可以包含运行时间库335、应用管理器341、窗口管理器342、多媒体管理器343、资源管理器344、电源管理器345、数据库管理器346、包管理器347、连接管理器348、通知管理器349、位置管理器350、图形管理器351和安全管理器352中的至少之一。
运行时间库335可以包含编译器用于在执行应用370时通过编程语言添加新功能的库模块。运行时间库335实施输入/输出管理、存储器管理或计算功能处理。应用管理器341管理应用370的生命周期。
运行时间库335可以包含若干功能,例如方向梯度直方图(HOG)功能、基于深层神经网络(DNN)的身体部位检测、骨骼提取功能和人类身体部位的文件图像。前述功能可以用于检测项目(如面部、躯干、腿部和脚部)的存在。另外,中间件143还可以包含若干图像校正方案,例如图像大小调整、旋转和颜色校正。
窗口管理器342管理在屏幕中使用的GUI资源。多媒体管理器343辨识播放媒体文件所必需的格式并通过使用适合于对应格式的编码解码器对媒体文件实施编码或解码。资源管理器344管理应用370的源代码或存储器空间。电源管理器345管理电池或电源并提供电子设备的操作所必需的电源信息。根据一实施方式,电源管理器345可以借助基本输入/输出系统(BIOS)操作。数据库管理器346生成、搜索或更改用于应用370之中的至少一个应用的数据库。包管理器347管理按包文件格式分布的应用的安装或更新。
连接管理器348管理无线连接。通知管理器349提供事件,例如,到达消息、预约、接近通知和/或类似物。位置管理器350管理电子设备的位置信息。图形管理器351管理将提供给用户或与其相关的用户界面的图形效果。安全管理器352提供系统安全或用户认证。
根据一实施方式,中间件330可以进一步包含用于管理电子设备的语音或视频呼叫功能的电话管理器或形成上述组件的功能组合的中间件模块。根据一实施方式,中间件330提供为每一类型的OS指定的模块。另外,中间件330可以删除一些现有元素或动态添加新元素。API 360可以根据OS被提供为一组具有不同配置的API编程功能。例如,在Android或iOS的情况下,每一平台可以提供一个API集,并且在Tizen的情况下,可以提供两个或更多个API集。
应用370可以包含一个或多个能够提供功能的应用,例如,主页应用371、拨号器应用372、短消息服务/多媒体消息服务(SMS/MMS)应用373、即时消息(IM)应用374、浏览器应用375、相机应用376、闹钟应用377、联系人应用378、语音拨号应用379、电子邮件应用380、日历应用381、媒体播放器应用382、相册应用383、时钟应用384、医疗保健应用(例如,用于测量运动量、血糖和/或类似物的应用)或环境信息提供应用(例如,用于提供空气压力、湿度或温度信息或类似物的应用)。
根据一实施方式,应用370可以包含支持电子设备与外部电子设备之间的信息交换的信息交换应用。该信息交换应用可以包含例如用于将特定信息传送到外部电子设备的通知转发应用或用于管理外部电子设备的设备管理应用。例如,该通知转发应用可以将在电子设备的另一应用中生成的通知信息递送到外部电子设备,或者可以从外部电子设备接收通知信息并将该通知信息提供给用户。
该设备管理应用可以管理(例如,安装、移除或更新)与该电子设备通信的外部设备的功能(例如,打开/关闭外部电子设备自身(或其一部分)或对显示器的亮度(或分辨率)的控制)和由在外部电子设备中操作的应用提供或由外部电子设备提供的服务(例如,呼叫服务或消息服务)。根据一实施方式,应用370可以包含根据外部电子设备的属性指定的应用(例如,移动医疗装备的设备医疗保健应用)。根据一实施方式,应用370可以包含从外部电子设备接收的应用。编程模块310的至少一部分可以由软件、固件、硬件(例如,处理器210)或其中的两者或更多者的组合实现(例如,执行),并且可以包含例如模块、程序、例程、指令集或用于实施一个或多个功能的过程。
图4是根据本公开内容的一实施方式的电子设备400的框图。图4中示出的电子设备400可以包含或代替图1中示出的电子设备101或图2中示出的电子设备201。
参考图4,电子设备400可以包含显示器410和一个或多个处理器420。根据各种实施方式的电子设备400可以实现为比图4中示出的元件更多或更少的元件。例如,电子设备400可以包含输入模块(例如,触摸面板、硬键、接近传感器、生物计量传感器和/或类似物)、电源单元、存储器和/或类似物。
根据各种实施方式,显示器410可以包含图1中示出的显示器160和图2中示出的显示器260。显示器410可以显示各种内容。这些内容可以包含例如图像、字符、图标和/或类似物。显示器410可以显示存储在存储器(未显示)中的内容并显示通过成像传感器(未显示)输入的图像。显示器410可以在其显示区域上显示存储在存储器中的内容并在其其它区域上显示通过成像传感器输入的图像。
根据各种实施方式,显示器410可以与触摸面板(未显示)一体地实现以从外部源接收触摸输入。因此,用户可以使用触摸、拖动输入和/或类似物控制显示在显示器410上的用户界面。
处理器420可以控制电子设备400的操作和/或电子设备400的元件之间的信号流,并实施数据处理。例如,处理器420可以包含中央处理单元(CPU)、应用处理器(AP)、微控制单元(MCU)、微处理器单元(MPU)和/或类似物。处理器420可以包含单核处理器或多核处理器。
根据各种实施方式,显示器410可以显示第一图像。处理器420可以选择包含第一图像的第一和第二子区域的区域。另一选择为,处理器420可以选择围绕第一图像中的第一对象的区域,包含围绕所述第一对象的第一部分的第一子区域和围绕所述第一对象的第二部分的第二子区域。处理器420可以将第一校正方案应用于第一子区域并将第二校正方案应用于第二子区域。处理器420可以生成包含经校正的第一子区域和经校正的第二子区域的第二图像。
图5是根据本公开内容的各种实施方式的在电子设备中使用多个校正方案来校正显示在显示器上的图像的过程的流程图。
在操作510中,电子设备101可以在显示器上显示第一图像。电子设备101读取先前存储在存储器(未显示)中的图像数据以显示第一图像。另一选择为,电子设备101使用通过成像传感器(未显示)输入的图像信号显示第一图像。
在操作520中,电子设备101可以从第一图像选择包含第一子区域和第二子区域的第一区域。例如,如果对象是人类,则第一区域可以是第一图像中围绕该人类或其它对象所在范围的区域。出于此文件的目的,“围绕一对象”应意味着意指图像在大小被设定成包含该对象的形状内的一部分并且应构造成包含该对象。在此情况下,电子设备101可以从第一区域选择围绕该对象的一部分(例如,人类的面部)的子区域作为第一子区域和排除面部的区域作为第二局部区域。然而,本公开内容并不限于此示例。例如,电子设备101可以选择围绕脚部以及面部的子区域作为第一子区域和排除面部和脚部的区域作为第二子区域。另一选择为,第二子区域可以包含人类或其它对象的另一部分,例如躯干和大腿。术语“对象的一部分”应理解为意指形成该对象的若干部分的另一分立对象,例如形成人类的若干部分的面部、躯干和大腿以及脚部。
根据各种实施方式,如果在第一图像中检测到人类,则电子设备101可以通过使用方向梯度直方图(HOG)算法和线性分类方案或通过修改基于深层神经网络(DNN)的身体部位检测、骨骼提取算法和/或类似方案来检测人类身体部位,例如,手臂、腿部、躯干、面部和/或类似物。
当使用HOG算法和线性分类方案从第一图像检测到人类时,电子设备101可以将第一图像变换成HOG图像,该HOG图像是通过强调图像的对比度分量而借助边缘分量显示的图像。电子设备101可以通过使用针对每一身体而学习的具有水平-垂直比率的图像块来从HOG图像中搜索和检测人类身体。
例如,电子设备101可以通过使用具有针对面部优化的水平-垂直比率和类似于面部形状的图案的图像块来从HOG图像中检测人类面部。更具体来说,电子设备101可以通过使用类似于面部形状的图像块来扫描第一图像中的整个HOG图像。在此过程中,电子设备101可以将相对于图像块具有高类似性的区域与相对于图像块具有低类似性的区域进行区分以找到人类面部。同样地,电子设备101可以通过使用针对人类脚部优化的水平-垂直比率和具有类似于脚部图案的图像块来从HOG图像中检测人类脚部。
在此情况下,通过考虑统计学上人类身体部位之间的位置关系,电子设备101可以检测人类身体部位。例如,当人类站立时,人类身体部位以头部、腰部和脚部分别在身体的顶部、中间和底部的方式连接,因此电子设备101可以通过使用图像块来排除错误检测结果(例如腰部-头部-脚部次序),从而提高检测精度。
当通过使用基于DNN的身体部位检测和骨骼提取算法从第一图像检测到人类时,电子设备101可以确定简单模型(例如输入图像的边缘或点),然后作为将简单模型组合起来的复杂模型确定关节、身体部位和/或类似物。因此,电子设备101可以从第一图像中检测到按各种姿势拍摄的人类的身体部位。
根据各种实施方式,电子设备101可以通过使用HOG算法和线性分类方案或基于DNN的身体部位检测和骨骼提取算法或通过按顺序或并行方式使用其来检测人类和人类的身体部位。
根据各种实施方式,电子设备101可以基于来自外部源的信号选择第一子区域。例如,用户可以在触摸型显示器上显示的第一图像上触摸期望作为第一子区域的区域,或以闭合曲线的形式拖动并选择闭合曲线的内部区域。
在操作530中,电子设备101可以将第一校正方案应用于第一子区域并将第二校正方案应用于第二子区域。
根据各种实施方式,电子设备101可以计算第一子区域和/或第二子区域与在操作520中选择的第一区域或围绕对象的区域的比率。
例如,如果第一区域或围绕对象的区域对应于围绕人类身体的区域并且第一子区域对应于围绕人类面部的范围,则电子设备101可以计算面部与检测到的人类身体的总长度之比。在此情况下,电子设备101可以将面部与人类的身高的预设理想比率与针对第一区域或围绕人类的区域的所计算的比率进行比较。电子设备101可以基于比较结果计算针对第一区域或围绕人类的区域的校正比率。
根据各种实施方式,电子设备101可以执行图像校正以将面部与人类身体的检测到的比率调整为预设比率。可存在各种方式进行图像校正。例如,电子设备101可以使用各种图像校正方案,例如图像大小调整、透视变换、旋转、颜色校正和/或类似物。
根据各种实施方式,电子设备101可以将多个校正方案应用于一个图像。例如,电子设备101可以分别将不同校正方案应用于第一子区域和第二子区域。即,电子设备101可以将图像大小调整应用于第一子区域并将透视变换应用于第二子区域。
根据各种实施方式,如果第一区域或围绕对象的区域对应于人类身体,则电子设备101可以将围绕面部区域和脚部(或脚部)区域的范围设置为第一子区域并减小第一子区域的大小,将围绕躯干和大腿区域的范围设置为第二子区域并以使躯干和大腿的上部部分看起来比之前更短和更远并且躯干和大腿的下部部分看起来比之前更长和更近的方式将透视变换应用于第二子区域,从而调整总体比率。
在操作540中,处理器120可以生成包含经校正的第一子区域和经校正的第二子区域的第二图像。
根据各种实施方式,电子设备101可以通过组合经校正的第一子区域和经校正的第二子区域生成经校正的第一区域或经校正的围绕对象的区域。电子设备101可以将第一图像中的第一区域或围绕对象的区域改变成经校正的第一图像。在此情况下,电子设备101可以执行附加校正,而不是防止经校正第一区域或经校正的围绕对象的区域与现有第一图像的剩余部分之间的联接部分看起来不自然。例如,如果第一子区域的大小减小,则电子设备101可以减小第一图像剩余部分的大小,以满足第一子区域。
以此方式,处理器120可以生成包含经校正的第一子区域和经校正的第二子区域的第二图像。
图6A和图6B示出根据本公开内容的各种实施方式,电子设备可以检测输入图像中人的身体部位的情况。
参考图6A的(a),电子设备101可以在显示器601上显示第一图像610。根据各种实施方式,电子设备101可以处理通过成像传感器(未显示)输入的图像信号并显示第一图像610。另一选择为,电子设备101可以读取先前存储在存储器(未显示)中的图像数据并将所读取图像数据作为第一图像610显示在显示器601上。
参考图6A的(b),电子设备101可以从第一图像610检测围绕面部的子区域(或面部子区域)620。电子设备101可以例如通过使用HOG算法和线性分类方案来检测面部子区域620。
更具体来说,电子设备101可以将第一图像610转换成对比度分量被强调的HOG图像。电子设备101可以通过使用具有类似于人类面部形状的图案的矩形图像块来扫描HOG图像。该矩形图像块可以具有对应于人类面部形状的水平-垂直比率。
根据各种实施方式,电子设备101可以在使用矩形图像块扫描HOG图像的同时搜索与包含在矩形图像块中的面部形状具有高相似性的部分。电子设备101可以在改变HOG图像的大小的同时执行扫描以提高面部检测概率。电子设备101可以在面部检测期间检测面部的自上而下方向。电子设备101可以使用例如所检测的面部自上而下方向减少用于另一身体部位的检测的时间。
参考图6B的(a),电子设备101可以从第一图像610检测围绕脚部的子区域(脚部子区域)630。电子设备101可以通过使用HOG算法和线性分类方案来检测脚部子区域630。电子设备101可以在使用矩形图像块扫描HOG图像的同时搜索与包含在矩形图像块中的脚部形状具有高相似性的部分。
根据各种实施方式,电子设备101可以通过使用先前检测到的面部的位置来提高脚部检测概率并减少用于检测的时间。例如,脚部在面部之下是非常可能的,电子设备101可以优先扫描面部之下的区域。在某些实施方式中,电子设备101可以以背景为衬托检测人类身体。因此,脚部很可能在身体的端部,与头部相对。
参考图6B的(b),电子设备101可以从第一图像610检测围绕躯干和大腿的区域(或躯干和大腿子区域)640。电子设备101可以通过使用HOG算法和线性分类方案来检测躯干和大腿子区域640。电子设备101在使用矩形图像块扫描HOG图像的同时搜索与包含在矩形图像块中的躯干和大腿形状具有高相似性的部分。
根据各种实施方式,电子设备101可以通过使用先前检测到的面部子区域620的位置来提高脚部子区域630或躯干和大腿子区域640的位置的检测概率并减少用于检测的时间。例如,躯干和大腿在面部之下并且脚部在躯干和大腿之下通常具有较高概率,因此电子设备101首先扫描面部子区域620之下的区域以搜索躯干和大腿子区域640,然后扫描检测到的躯干和大腿子区域640之下的区域以搜索脚部子区域630。另一选择为,电子设备101可以检测面部子区域620,并通过扫描身体的相对端部来检测脚部子区域630。电子设备101可以通过扫描面部子区域620与脚部子区域630之间的范围来检测躯干和大腿。
在图6A和图6B中所示的上述方式中,电子设备101可以检测第一子区域(例如,面部子区域620和脚部子区域630)和第二局部区域(例如,躯干和大腿子区域640)以及包含第一子区域(例如,面部子区域620和脚部子区域630)和第二子区域(例如,躯干和大腿子区域640)的围绕对象的区域(例如,整个身体650)。
根据各种实施方式,电子设备101可以计算第一子区域和/或第二子区域与第一图像的比率。例如,电子设备101可以计算面部子区域620与围绕整个身体650的检测到的区域的比率和/或脚部子区域630与围绕整个身体650的检测到的区域的比率。
如果检测到的面部子区域620与围绕整个身体650的检测到的区域的比较高,则电子设备101可以以使面部的大小可相对于整个身体的长度具有理想比率的方式设置校正水平。电子设备101可以针对比率调整来调整检测到的面部子区域620、躯干和大腿子区域640和/或脚部子区域630等的大小。
例如,电子设备101可以将检测到的整个身体650的长度与检测到的面部子区域620的长度的比率计算为6:1。在此情况下,电子设备101可以将检测到的整个身体650的长度与检测到的面部子区域620的长度的所计算比率调整为身体的长度与面部的长度的理想比率,例如,8:1。为此,电子设备101可以减小检测到的面部子区域620的长度或大小并增加检测到的躯干和大腿子区域640的长度或大小。
稍后将描述电子设备101调整检测到的身体比率的详细方式。
图7A和图7B示出根据本公开内容的各种实施方式,电子设备校正检测到的身体部位的过程。
参考图7A的(a),电子设备101可以在显示器701上显示第一图像710。根据各种实施方式,电子设备101可以处理通过成像传感器(未显示)输入的图像信号并显示第一图像710。另一选择为,电子设备101可以读取先前存储在存储器(未显示)中的图像数据并在显示器701上显示所读取图像数据。
参考图7A的(b),电子设备101可以通过使用参考图6A和图6B详细描述的方式检测到第一子区域(例如,面部子区域720和脚部子区域730)和第二局部区域(例如,躯干和大腿740)。电子设备101可以基于检测到的第一子区域(例如,面部子区域720和脚部子区域730)和检测到的第二子区域(例如,躯干和大腿子区域740)划分第一图像710。电子设备101可以划分第一图像710,以使第一子区域(例如,面部子区域720和脚部子区域730)和第二子区域(例如,躯干和大腿子区域740)属于不同分区。
参考图7B的(a),电子设备101可以将第一图像710划分成9个分区。如上文详细描述,第一图像710的划分可以基于检测到的子区域720、730和740执行。电子设备101可以划分第一图像710,以使检测到的面部720属于第一分区751。电子设备101可以划分第一图像710,以使检测到的躯干和大腿子区域740属于第二分区752,以及检测到的脚部子区域730属于第三分区753。
然而,本公开内容并不限于此示例。电子设备101可以通过各种方式来划分检测到的子区域720、730和740以及第一图像710。例如,电子设备101可以将第一图像710划分成三列四行分区。行可以在颈部、腰部和脚部的顶部(脚踝)处划分。列可以在躯干的左侧和右侧处划分。因此,检测到的面部属于定位在第二列的顶部处的分区,躯干可以定位在第二列的第二行中的分区中,大腿可以定位在第二列的第三行中的分区中,脚部可以定位在第二列的第四行中的分区中。电子设备101还可以使用两行划分第一图像710,以使检测到的面部720以及躯干和大腿740属于第二列中的顶部分区,而检测到的脚部730属于第二列中的底部分区区域。在以下示例中,参考图7B(a)中绘示的三列三行。
根据各种实施方式,电子设备101可以计算面部子区域720与检测到的整个身体的比率和/或脚部子区域730与检测到的整个身体的比率。如果检测到的面部子区域720与检测到的整个身体的比率较高,则电子设备101可以以面部的大小可相对于整个身体的长度具有理想比率的方式设置校正水平。电子设备101可以针对比率调整来调整检测到的面部子区域720、躯干和大腿子区域740和/或脚部子区域730等的大小。
例如,电子设备101可计算出:从检测到的面部子区域720的顶部到检测到的脚部子区域730的底部的长度L与检测到的面部子区域720的长度f(从头顶(或头皮)到颈部测量得到)的比率为6:1。在此情况下,电子设备101可以将检测到的整个身体的长度L与检测到的面部子区域720的长度f的所计算比率调整为身体的长度与面部的长度的理想比率,例如,8:1。然而,本公开内容并不限于此示例。电子设备101可以设置各种比率来对所计算比率进行校正。
参考图7B的(b),电子设备101可以校正第一图像710的分区751至759以将身体长度L与面部长度f的比率调整为预设比。电子设备101可以校正分区751至759以校正包含在分区751至759中的检测到的子区域(包含720、730和740)。然而,本公开内容并不限于此示例。例如,电子设备101可以校正检测到的子区域720、730和740,而不划分第一图像。
根据各种实施方式,电子设备101可以减小第一分区751的大小以减小面部子区域720的大小和长度f。电子设备101可以对躯干和大腿子区域740执行透视变换以适于减小的面部大小。电子设备101还调整脚部区域730的大小以适应于在经透视变换的躯干和大腿740之下的部位的大小。
透视变换可以是扭曲方案中之一。电子设备101可以通过借助要变换的子区域上的四个点和要存储经变换图像的区域上的四个点计算变换矩阵来使用透视变换执行图像校正。因此,电子设备101可以获得躯干和大腿区域740所属的第二分区752的四个顶点752-1、752-2、752-3和752-4的坐标。电子设备101变换第二分区752的上部顶点752-1和752-2的位置以适应于减小的第一分区751。
根据各种实施方式,电子设备101可以改变第四分区754和第七分区757的大小(加宽)以适应于大小减小的第一分区751。例如,电子设备101可以减小第四分区754的高度(或垂直边长度)以适应于第一分区751的高度。电子设备101还可以改变第四分区754的宽度(或水平边长度)以具有与第一分区751相同的比率或初始大小或者其中值比。同样地,电子设备101可以改变第七分区757的大小。
根据各种实施方式,电子设备101可以校正第五分区755和第八分区758以适应于经透视变换的第二分区752。例如,电子设备101可以获得第五分区755的四个顶点的坐标。电子设备101可以获得第五分区755的顶点的经改变坐标并校正第五分区755以适应于经透视变换的第二分区752的第一顶点752-1的位置和第三顶点752-3的位置。
同样地,电子设备101可以获得第八分区758的四个顶点的坐标。电子设备101可以获得第八分区758的顶点的经改变坐标并校正第八分区758以适应于经透视变换的第二分区752的第二顶点752-2的位置和第四顶点752-4的位置。
通过前述过程,电子设备101可以校正然后组合分区751至759,因此生成第二图像710'。在此情况下,为使要组合的分区751至759之间的边界未对准最小化,电子设备101可以执行附加校正。
如此,电子设备101可以将面部子区域720与整个身体的比率校正为预设比率并将不同校正方案应用于第一子区域(例如,面部子区域720)和第二子区域(例如,躯干和大腿子区域740),从而生成看起来更自然的第二图像710'。
图8示出根据本公开内容的各种实施方式,可以在电子设备中调整校正水平的用户界面。
参考图8的(a),电子设备101可以在显示器801上显示第一图像810。根据各种实施方式,电子设备101可以读取先前存储在存储器(未显示)中的图像数据并在显示器801上显示第一图像810。
根据各种实施方式,电子设备101可以在显示器801上显示用于调整校正水平的用户界面820。例如,电子设备101可以显示包含水平条821和可沿着条821移动的指示点825的用户界面820。然而,用户界面820的形式或形状并不限于前述示例。
根据各种实施方式,基于指示点825在水平条821上的移动,电子设备101可以改变调整第一图像810的水平以在显示器801上显示第二图像830。
例如,如果指示点825在水平条821的左侧,则电子设备101可以降低第一图像810的调整水平并显示第二图像830。如果指示点825在水平条821的右侧,则电子设备101可以提高第一图像810的调整水平并显示第二图像830。在图8的(b)中,与第一图像810相比,电子设备101可以以提高的调整水平显示第二图像830。
虽然在图8中,电子设备101在显示器801上仅显示经校正的第二图像830,但是根据各种实施方式,电子设备101可以在显示器801上同时显示第一图像810和经校正的第二图像830。例如,如果用户按垂直方向或纵向模式握持电子设备101,则电子设备101可以在显示器801的上部部分中显示第一图像810而在显示器801的下部部分中显示第二图像830。
如果用户按水平方向或横向模式握持电子设备101,则电子设备101可以在显示器801的左侧部分中显示第一图像810而在显示器801的右侧部分中显示第二图像830。
图9示出包含多个人的第一图像。该第一图像在根据本公开内容的各种实施方式的电子设备中校正。
参考图9,电子设备101可以在显示器901上显示第一图像910。电子设备101可以通过使用例如HOG算法和线性分类方案来检测第一子区域(例如,第一和第二面部子区域920和925以及第一和第二脚部子区域930和935)和第二子区域(例如,第一和第二躯干和大腿子区域940和945),以及包含第一子区域(例如,面部子区域920和925以及脚部子区域930和935)和第二子区域(例如,躯干和大腿子区域940和945)的围绕对象的区域(例如,第一和第二整个身体950和960)。
根据各种实施方式,电子设备101可以计算检测到的第一面部子区域920与围绕身体950的第一整个区域的第一比率和第二面部子区域925与围绕整个身体960的第二区域的第二比率。如果所计算的第一比率与所计算的第二比率之差落在预设范围内,则电子设备101可以通过参考图7A和图7B所述的过程同时校正围绕身体950和960的区域。然而,本公开内容并不限于此示例,电子设备101可以单独相对于围绕身体950和960的区域执行校正。
参考图9,电子设备101可以将第一图像910划分成9个分区。第一图像910的划分可以基于检测到的子区域920、925、930、935、940和945来执行。电子设备101可以划分第一图像910,以使检测到的面部子区域920和925属于第一分区951。电子设备101可以划分第一图像910,以使检测到的躯干和大腿子区域940和945属于第二分区952,并且检测到的脚部子区域930和935属于第三分区953。
电子设备101可以基于所计算的比率校正第一图像910。例如,电子设备101可计算出:从检测到的面部子区域920和925的端部到检测到的脚部子区域930和935的端部的长度与检测到的面部子区域920和925的长度的比率为6:1。在此情况下,电子设备101可以将围绕身体的区域的长度与检测到的面部子区域920和925的长度的所计算比率调整为身体的长度与面部的长度的理想比率,例如,8:1。然而,身体的长度与面部的长度的比率并不限于此示例。
根据各种实施方式,电子设备101可以减小第一分区951的大小以减小面部子区域920和925的大小。电子设备101可以对躯干和大腿子区域940和945执行透视变换以适应于减小的面部大小。例如,电子设备101变换第二分区952的上端部分的位置以适应于减小的第一分区951。
电子设备101可以减小第四分区954的高度(或垂直边长度)以适应于第一分区951的高度。同样地,电子设备101可以改变第七分区957的高度以适于第一分区951的高度。
根据各种实施方式,电子设备101可以获得第五分区955的顶点的经改变坐标并校正第五分区955以适应于经透视变换的第二分区952的左侧的位置。以相同方式,电子设备101可以获得第八分区958的顶点的经改变坐标并校正第八分区958以适应于经透视变换的第二分区952的右侧的位置。
通过前述过程,电子设备101可以校正然后组合分区951至959,因此生成第二图像910'。
图10A和图10B示出根据本公开内容的各种实施方式,在电子设备中校正包含多个人的第一图像的另一情况。
参考图10A,电子设备101可以在显示器1001上显示第一图像1010。电子设备101可以通过使用例如HOG算法和线性分类方案来检测第一子区域(例如,第一至第四面部子区域1021、1022、1023和1024)和第二子区域(例如,第一至第四躯干和大腿子区域1031、1032、1033和1034),以及包含第一子区域1021、1022、1023和1024和第二子区域1031、1032、1033和1034的围绕对象的区域。
根据各种实施方式,电子设备101可以分别计算检测到的面部子区域1021、1022、1023和1024中的每一个与围绕第一至第四身体1041、1042、1043和1044的每一区域的比率。电子设备101可以确定第一面部子区域1021与围绕第一身体1041的区域的比率、第二面部子区域1022与围绕第二身体1042的区域的比率、第三面部子区域1023与围绕第三身体1043的区域的比率以及第四面部子区域1024与围绕第四身体1044的区域的比率,其中第一至第四身体各自不同,围绕第一至第四身体的区域不重叠。
根据各种实施方式,如果所计算的比率以此方式彼此不同,则电子设备101可以分别使包含第一子区域1021、1022、1023和1024的区域1051和包含第二子区域1031、1032、1033和1034的区域1052近似为梯形形状,然后应用透视变换以使区域1051和1052中的每一个形状为矩形,从而将不同水平的校正应用于每一身体。然而,本公开内容并不限于此示例。例如,电子设备101可以使每一区域近似为梯形形状,然后实施透视变换以使每一区域具有在变换的中间阶段变成矩形形状的形状。即,电子设备101改变执行透视变换的速率或程度。
参考图10A的(a)和(b),电子设备101可以相对于包含第一局部子区域1021、1022、1023和1024的区域1051和包含第二子区域1031、1032、1033和1034的区域1052执行透视变换。
更具体来说,电子设备101可以执行透视变换,以使包含第一局部子区域1021、1022、1023和1024的区域1051的第一顶点1051-1和包含第二子区域1031、1032、1033和1034的区域1052的第一顶点1052-1与包含第一子区域1021、1022、1023和1024的区域1051的第二顶点1051-2和包含第二子区域1031、1032、1033和1034的区域1052的第二顶点1052-2水平。
在此情况下,电子设备101可以相对于包含第一子区域1021、1022、1023和1024的区域1051上方的背景区域1053执行透视变换以适应于包含第一子区域1021、1022、1023和1024的区域1051的透视变换的结果。
通过前述过程,电子设备101可以生成第二图像1010'。
根据各种实施方式,如果检测到的面部的位置具有大于预设距离的距离差,则电子设备101可以为检测到的面部设置多个群组并执行图像失真校正。
参考图10B,电子设备101可以从第一图像1001检测面部子区域1021、1022、1023和1024以及躯干和大腿子区域1031、1032、1033和1034,如参考图10A所述。电子设备101可以分别检测包含面部子区域1021、1022、1023和1024以及躯干和大腿子区域1031、1032、1033和1034的围绕对象的区域1041、1042、1043和1044,并分别计算面部子区域1021、1022、1023和1024中的每一个与围绕对象的区域1041、1042、1043和1044中的每一个(或躯干和大腿子区域1031、1032、1033和1034中的每一个)的比率。
根据各种实施方式,如果检测到的面部的位置具有大于预设距离的距离差,则电子设备101可以为检测到的面部设置多个群组。例如,电子设备101可以将面部子区域1021、1022、1023和1024划分成第一面部区域1051a和第二面部区域1051b。因此,电子设备101可以将躯干和大腿子区域1031、1032、1033和1034划分成第一躯干和大腿区域1052a和第二躯干和大腿区域1052b。
参考图10B的(a)和(b),电子设备101可以第一面部区域1051a和第一躯干和大腿区域1052a执行透视变换。更具体来说,电子设备101可以执行透视变换,以使第一面部区域1051a的第一顶点1051a-1和第一躯干和大腿区域1052a的第一顶点1052a-1与第一面部区域1051a的第二顶点1051a-2和第一躯干和大腿区域1052a的第二顶点1052a-2水平。
同样地,电子设备101可以关于第二面部区域1051b和第二躯干和大腿区域1052b执行透视变换。更具体来说,电子设备101可以执行透视变换,以使第二面部区域1051b的第一顶点1051b-1和第二躯干区域1052b的第一顶点1052b-1与第二面部区域1051b的第二顶点1051b-2和第二躯干区域1052b的第二顶点1052b-2水平。
在此情况下,电子设备101可以相对于在第一面部区域1051a和第二面部区域1051b上方的背景区域1053a和1053b执行透视变换以适应于第一面部区域1051a和第二面部区域1051b的透视变换的结果。
图11示出根据本公开内容的各种实施方式,电子设备校正处于各种姿势的身体的情况。
根据各种实施方式,电子设备101可以通过使用基于DNN的身体部位检测和骨骼提取算法来检测人类身体部位。当通过使用基于DNN的身体部位检测和骨骼提取算法从图像检测到人类时,电子设备101确定简单模型(例如输入图像的边缘或点),然后确定关节、身体部位等,其是简单模型所组合的复杂模型。因此,电子设备101可以从图像检测到按各种姿势拍摄的人类的身体部位。
参考图11的(a),电子设备101可以在显示器1101上显示第一图像1110。电子设备101可以检测第一子区域(例如,面部子区域1120)和第二局部区域(例如,躯干子区域1130)以及第三局部区域(例如,腿部子区域1140),并且检测包含第一子区域(例如,面部子区域1120)、第二子区域(例如,躯干子区域1130)和第三子区域(例如,腿部子区域1140)的围绕对象(例如,整个身体1150)的区域。
根据各种实施方式,电子设备101可以计算检测到的面部子区域1120与围绕整个身体1150的区域的比率。
参考图11的(b),电子设备101可以将第一图像1110划分成9个区域。第一图像1110的划分可以基于检测到的子区域1120、1130和1140来执行。例如,电子设备101可以将图像划分成三列三行分区。这些行可以由检测到的子区域1120与1130和检测到的子区域1130与子区域1140之间的线划分。这些列可以由子区域1130的左侧垂直边界和与该左侧垂直边界间隔开子区域1130的宽度的另一线划分。电子设备101可以划分第一图像1110,以使检测到的面部子区域1120属于第一分区1161。电子设备101可以划分第一图像1110,以使检测到的腿部子区域1140属于第三分区1163、第六分区1166和第九分区1169。
电子设备101基于所计算的比率校正第一图像1110。例如,电子设备101可以计算出:围绕检测到的身体1150的区域的长度与检测到的面部子区域1120的长度的比为6:1。在此情况下,电子设备101可以将围绕检测到的整个身体1150的区域的长度与检测到的面部子区域1120的长度的所计算比率校正为身体的长度与面部的长度的理想比率,例如,8:1。然而,身体的长度与面部的长度的比率并不限于此示例。
根据各种实施方式,电子设备101可以减小第一分区1161的大小以减小面部子区域1120的大小。在此情况下,电子设备101可以减小第四分区1164的高度(或右侧垂直边长度)以适应于第一分区1161的高度(或垂直长度)。
根据各种实施方式,电子设备101可以改变第三分区1163的大小和第六分区1166的大小以适应于大小减小的第一分区1161。即,电子设备101可以水平延长第三分区1163和第六分区1166以增加腿部长度。因此,面部子区域1120与整个身体1150的长度比率可以为1:8。
参考图11的(c),通过前述过程,电子设备101可以校正然后组合分区1161至1169,因此生成第二图像1110'。
图12A和图12B示出根据本公开内容的各种实施方式,电子设备根据检测到的人的性别以不同方式实施校正的情况。
图12A显示当检测到男人时的校正情况,而图12B显示当检测到女人时的校正情况。
根据各种实施方式,电子设备101可以从输入的第一图像1210检测到面部并识别检测到的面部的性别。电子设备101可以基于检测到的面部的性别应用不同校正方案。
参考图12A的(a),电子设备101可以在显示器1201上显示第一图像1210。电子设备101可以检测第一子区域(例如,面部子区域1220)和第二子区域(例如,躯干子区域1230)。电子设备101可以将检测到的面部子区域1220的性别识别为男性。如果检测到的面部子区域1220属于男人,则电子设备101可以以加宽肩部并减小面部大小的方式实施校正。
参考图12A的(b),电子设备101可以减小检测到的面部子区域1220的大小。电子设备101可以实施校正以水平延长检测到的躯干子区域1230。然而,本公开内容并不限于此示例。例如,电子设备101可以关于躯干子区域1230应用透视变换以生成几乎没有失真的图像。电子设备101组合经校正子区域1220和1230并显示第二图像1210'。
参考图12B的(c),电子设备101在显示器1201上显示第一图像1210。电子设备101可以检测第一子区域(例如,面部子区域1250和腿部子区域1270)和第二子区域(例如,躯干子区域1260)。电子设备101可以将检测到的面部子区域1250的性别识别为女性。如果检测到的面部子区域1250属于女人,则电子设备101可以执行校正以减小面部子区域1250的大小,使躯干子区域1260变窄并加长腿部子区域1270。
参考图12B的(d),电子设备101可以减小检测到的面部子区域1250的大小。电子设备101可以执行校正以水平减小检测到的躯干子区域1260并垂直增加检测到的腿部子区域1270。然而,本公开内容并不限于此示例。例如,电子设备101可以关于躯干子区域1260应用透视变换以生成几乎没有失真的图像。上文已经详细描述电子设备101改变面部子区域1250的大小、躯干子区域1260的大小和腿部子区域1270的大小的方式,因此此时将不描述。
图13示出根据本公开内容的各种实施方式,电子设备确定是否校正图像的情况。
电子设备101可以根据拍摄条件确定是否执行校正。例如,如果拍摄未在水平方向或纵向模式下执行,则电子设备101可以确定失真可能发生在所捕获图像中。如果到对象的距离小于预设值,则电子设备101可以确定失真可能发生在所捕获图像中。因此,电子设备101可以基于图像捕获的条件确定是否校正图像。
参考图13,电子设备101可以通过使用加速度传感器(图2的240E)、姿势传感器(图2的240A)、陀螺仪传感器(图2的240B)和/或类似物来感测拍摄方向。例如,如果电子设备101处于第一位置1310中,则电子设备101可以感测到拍摄方向是水平方向。电子设备101通过使用相机模块(图2的291)来计算到对象的距离。因此,如果拍摄方向是水平方向并且到对象的距离大于预设值,则电子设备101可以确定无需关于所捕获图像执行校正。
如果电子设备101处于第二位置1320,则电子设备101可以通过使用加速度传感器(图2的240E)、姿势传感器(图2的240A)、陀螺仪传感器(图2的240B)和/或类似物感测到拍摄方向不是水平方向。电子设备101通过使用相机模块(图2的291)来计算到对象的距离。因此,如果拍摄方向不是水平方向并且到对象的距离小于预设值,则电子设备101可以确定需要关于所捕获图像实施校正。
图14示出根据本公开内容的各种实施方式,自动校正使用电子设备捕获的图像的情况。
参考图14的(a),电子设备101可以激活拍摄功能。一旦拍摄功能被激活,电子设备101便可以在显示器1401上显示通过相机模块(图2的291)输入的图像作为第一图像1410。
根据各种实施方式,电子设备101可以确定是否在拍摄待机状态下执行图像校正。例如,电子设备101可以在拍摄模式或拍摄设置功能中激活图像校正功能。在此情况下,电子设备101可以在显示器1401上显示用于确定图像校正水平的用户界面1420。
根据各种实施方式,用户界面1420可以在水平条1421上包含指示点1422。然而,用户界面1420的配置并不限于此示例。用户可以在在用户界面1420上移动指示点1422的同时确定校正水平。电子设备101基于用户确定的校正水平确定要捕获图像的校正强度。
参考图14的(b),电子设备101可以捕获通过相机模块(图2的291)输入的图像。电子设备101可以基于在拍摄之前设置的图像校正水平针对从图像检测到的人类实施校正。电子设备101可以将经校正的第二图像1410'存储在存储器(未显示)中。电子设备101可以单独存储未经校正的图像。因此,用户可以在需要时检查经校正图像和未经校正图像两者。
图15示出根据本公开内容的各种实施方式,在使用电子设备捕获之前校正和显示图像的情况。
参考图15,电子设备101可以激活拍摄功能。一旦拍摄功能被激活,电子设备101便可以在显示器1501上显示通过相机模块(图2的291)输入的图像作为第一图像1510。
根据各种实施方式,电子设备101可以在拍摄待机状态中显示经校正的第二图像1510'。例如,电子设备101可以将通过相机模块(图2的291)输入的图像存储在临时存储器(未显示)中并校正该图像,并且在显示器1501上显示经校正图像。
根据各种实施方式,电子设备101可以划分显示器1501以显示第一图像1510和第二图像1510'。然而,本公开内容并不限于此示例。例如,包含双显示器结构的电子设备101可以在一显示器显示第一图像1510并在另一显示器上显示第二图像1510'。
电子设备101可以显示用于在拍摄之前调整校正水平的用户界面1520。用户界面1520可以具有指示点1522显示在纵向条1521上的形式。然而,本公开内容并不限于此示例。用户可以通过控制用户界面1520来确定校正水平。
如此,根据各种实施方式的电子设备101可以在拍摄之前向用户显示校正前图像和校正后图像,从而允许用户期望拍摄结果。
本文中使用的术语“模块”可以意指例如硬件或硬件与驻存在所述硬件中的软件的组合,并且可以与术语(例如逻辑、逻辑块、部分或电路)互换使用。“模块”可以是整体配置的部件,其最小单元或其一部分执行一个或多个功能。
“模块”可以以机械或电子方式实现,并且可以包含专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)和执行已知或将要开发的某些操作的可编程逻辑设备。
根据各种实施方式的装置(例如,其模块或功能)或方法(例如,操作)的至少一部分可以借助以编程模块的形式存储在计算机可读存储介质(例如,存储器130)中的指令实现。当这些指令由处理器(例如,处理器120)执行时,该处理器可以实施对应于这些指令的功能。计算机可读记录介质包含硬盘、软盘或磁介质(例如,磁带)、光介质(例如,光盘只读存储器(CD-ROM)或数字通用光盘(DVD))、磁光介质(例如,软光盘)、嵌入式存储器和/或类似物。这些指令可以包含由编译器生成的代码或可由解释器执行的代码。
根据本公开内容的各种实施方式的模块或编程模块可以包含前述元件中的一个或多个,省略前述元件中的一些,或进一步包含附加的其它元件。由根据各种实施方式的模块、编程模块或其它元件实施的操作可以按顺序、并行、重复或启发式方式执行,或者这些操作中的至少一些可以按不同次序执行,并且可以被省略,或者可以添加其它操作。
根据各种实施方式的电子设备在显示器上显示第一图像,从第一图像选择包含第一局部区域和第二局部区域的第一区域,将第一校正方案应用于第一局部区域并将第二校正方案应用于第二局部区域,并且生成包含经校正的第一局部区域和经校正的第二局部区域的第二图像。以此方式,该电子设备可以生成具有提高质量的第二图像。
虽然已经描述本公开内容的实施方式,但是可以在不背离本公开内容的范围的情况下作出各种改变。因此,本公开内容的范围应由所附权利要求及其等同方案,而非由所描述的实施方式限定。

Claims (15)

1.一种电子设备,包括:
显示器,被配置成显示第一图像;以及
一个或多个处理器,与所述显示器电连接,
其中,所述一个或多个处理器被配置成:
从所述第一图像选择围绕第一对象的区域,所述围绕第一对象的区域包括围绕所述第一对象的第一部分的第一子区域以及围绕所述第一对象的第二部分的第二子区域;将第一校正方案应用于围绕所述第一对象的所述第一部分的所述第一子区域;将第二校正方案应用于围绕所述第一对象的所述第二部分的所述第二子区域;以及生成第二图像,所述第二图像包括围绕所述第一对象的所述第一部分的经校正的第一子区域和围绕所述第一对象的所述第二部分的经校正的第二子区域。
2.根据权利要求1所述的电子设备,其中,所述第一校正方案是改变围绕所述第一对象的所述第一部分的所述第一子区域的大小的校正方案,以及所述第二校正方案是针对围绕所述第一对象的所述第二部分的所述第二子区域执行透视变换的校正方案。
3.根据权利要求1所述的电子设备,其中,所述一个或多个处理器被进一步配置成:基于针对应用了所述第一校正方案的围绕所述第一对象的所述第一部分的所述第一子区域的校正结果,确定针对围绕所述第一对象的所述第二部分的所述第二子区域的所述第二校正方案。
4.根据权利要求1所述的电子设备,其中,所述一个或多个处理器被进一步配置成:针对围绕所述第一图像的第二对象的区域应用第三校正方案,其中所述第一区域和所述第二区域不重叠。
5.根据权利要求4所述的电子设备,其中,所述一个或多个处理器被进一步配置成:基于针对围绕所述第一对象的所述第一部分的所述第一子区域的校正结果和针对围绕所述第一对象的所述第二部分的所述第二子区域的校正结果中的至少之一,选择针对围绕所述第二对象的区域的所述第三校正方案。
6.一种用于控制电子设备的方法,所述方法包括:
在显示器上显示第一图像;
从所述第一图像选择围绕第一对象的区域,所述围绕第一对象的区域包括围绕所述第一对象的第一部分的第一子区域和围绕所述第一对象的第二部分的第二子区域;
将所述第一图像划分成包括第一分区和第二分区的多个分区,将所述第一子区域设置在所述第一分区中,以及将所述第二子区域设置在所述第二分区中;
将第一校正方案应用于所述第一分区以及将第二校正方案应用于所述第二分区;以及
生成包括经校正的第一分区和经校正的第二分区的第二图像。
7.根据权利要求6所述的方法,其中,将所述第二校正方案应用于所述第二分区包括:基于针对应用了所述第一校正方案的所述第一分区的校正结果,确定针对所述第二分区的所述第二校正方案。
8.根据权利要求6所述的方法,其中,将所述第一校正方案应用于所述第一分区和将所述第二校正方案应用于所述第二分区包括:针对围绕所述第一图像的第二对象的区域应用第三校正方案,其中围绕所述第一对象的区域和围绕所述第二对象的区域不重叠。
9.根据权利要求6所述的方法,其中,所述第一校正方案是改变所述第一分区的大小的校正方案,以及所述第二校正方案是针对所述第二分区执行透视变换的校正方案。
10.根据权利要求8所述的方法,进一步包括:
基于针对所述第一分区的校正结果和针对所述第二分区的校正结果中的至少之一,选择针对围绕所述第二对象的区域的所述第三校正方案。
11.一种电子设备,包括:
显示器,被配置成显示第一图像;以及
一个或多个处理器,与所述显示器电连接,
其中所述一个或多个处理器被配置成:
从所述第一图像选择围绕第一对象的区域,所述围绕第一对象的区域包括围绕所述第一对象的第一部分的第一子区域和围绕所述第一对象的第二部分的第二子区域;将所述第一图像划分成包括第一分区和第二分区的多个分区;将围绕所述第一对象的所述第一部分的所述第一子区域设置在所述第一分区中;将围绕第一对象的所述第二部分的所述第二子区域设置在所述第二分区中;将第一校正方案应用于所述第一分区;将第二校正方案应用于所述第二分区;以及生成包括经校正的第一分区和经校正的第二分区的第二图像。
12.根据权利要求11所述的电子设备,其中,所述第一校正方案是改变所述第一分区的大小的校正方案,以及所述第二校正方案是针对所述第二分区执行透视变换的校正方案。
13.根据权利要求11所述的电子设备,其中,所述一个或多个处理器被进一步配置成:基于针对应用了所述第一校正方案的所述第一分区的校正结果,确定针对所述第二分区的所述第二校正方案。
14.根据权利要求11所述的电子设备,其中,所述一个或多个处理器被进一步配置成:针对围绕所述第一图像的第二对象的区域应用第三校正方案,其中围绕所述第一对象的区域和围绕所述第二对象的区域不重叠。
15.根据权利要求14所述的电子设备,其中,所述一个或多个处理器被进一步配置成:基于针对所述第一分区的校正结果和针对所述第二分区的校正结果中的至少之一,选择针对围绕所述第二对象的区域的所述第三校正方案。
CN201710621267.6A 2016-07-28 2017-07-27 电子设备和控制电子设备的方法 Active CN107665477B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160096036A KR102500715B1 (ko) 2016-07-28 2016-07-28 전자 장치 및 전자 장치 제어 방법
KR10-2016-0096036 2016-07-28

Publications (2)

Publication Number Publication Date
CN107665477A true CN107665477A (zh) 2018-02-06
CN107665477B CN107665477B (zh) 2023-08-04

Family

ID=59702506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710621267.6A Active CN107665477B (zh) 2016-07-28 2017-07-27 电子设备和控制电子设备的方法

Country Status (4)

Country Link
US (1) US10460443B2 (zh)
EP (1) EP3276942B1 (zh)
KR (1) KR102500715B1 (zh)
CN (1) CN107665477B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021052236A1 (zh) * 2019-09-18 2021-03-25 华为技术有限公司 图像畸变校正方法及装置
US11501407B2 (en) 2019-04-30 2022-11-15 Beijing Sensetime Technology Development Co., Ltd. Method and apparatus for image processing, and computer storage medium

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019169053A1 (en) * 2018-02-27 2019-09-06 Levi Strauss & Co. Laser finishing design tool
CN109359380B (zh) * 2018-10-16 2020-06-09 上海莉莉丝科技股份有限公司 缩放方法、装置、设备及介质
US10922573B2 (en) * 2018-10-22 2021-02-16 Future Health Works Ltd. Computer based object detection within a video or image
CN113366527A (zh) * 2019-01-31 2021-09-07 三星电子株式会社 用于处理图像的电子装置和方法
CN112819841B (zh) * 2021-03-19 2021-09-28 广东众聚人工智能科技有限公司 人脸区域分割方法、装置、计算机设备及存储介质
EP4315827A1 (en) * 2021-03-30 2024-02-07 Snap Inc. Inclusive camera

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101184143A (zh) * 2006-11-09 2008-05-21 松下电器产业株式会社 图像处理器和图像处理方法
US20100188521A1 (en) * 2009-01-28 2010-07-29 Nikon Corporation Electronic camera and medium storing image processing program
CN104469161A (zh) * 2014-12-22 2015-03-25 联想(北京)有限公司 图像处理方法以及电子设备
CN105046657A (zh) * 2015-06-23 2015-11-11 浙江大学 一种图像拉伸畸变自适应校正方法
CN105303523A (zh) * 2014-12-01 2016-02-03 维沃移动通信有限公司 一种图像处理方法及移动终端

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4461789B2 (ja) 2003-03-20 2010-05-12 オムロン株式会社 画像処理装置
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
KR100818989B1 (ko) 2005-09-22 2008-04-04 삼성전자주식회사 이미지 보정 기능을 구비한 화상 촬영 장치 및 그 동작방법
JP4639271B2 (ja) * 2005-12-27 2011-02-23 三星電子株式会社 カメラ
US8687070B2 (en) 2009-12-22 2014-04-01 Apple Inc. Image capture device having tilt and/or perspective correction
US8976230B1 (en) * 2010-06-28 2015-03-10 Vlad Vendrow User interface and methods to adapt images for approximating torso dimensions to simulate the appearance of various states of dress
CN103210332B (zh) * 2011-04-18 2015-09-30 松下电器(美国)知识产权公司 摄像装置、摄像装置的对焦控制方法及集成电路
KR20130106113A (ko) 2012-03-19 2013-09-27 삼성전기주식회사 문자 입력 시스템
JP5961123B2 (ja) * 2013-01-30 2016-08-02 パナソニック株式会社 人物検出追跡装置、人物検出追跡方法、および人物検出追跡プログラム
KR20150027555A (ko) 2013-09-04 2015-03-12 주식회사 디오텍 광학문자인식을 위한 이미지의 원근 왜곡 보정 장치 및 방법
JP5971216B2 (ja) * 2013-09-20 2016-08-17 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US10013736B1 (en) * 2016-06-24 2018-07-03 Amazon Technologies, Inc. Image perspective transformation system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101184143A (zh) * 2006-11-09 2008-05-21 松下电器产业株式会社 图像处理器和图像处理方法
US20100188521A1 (en) * 2009-01-28 2010-07-29 Nikon Corporation Electronic camera and medium storing image processing program
CN105303523A (zh) * 2014-12-01 2016-02-03 维沃移动通信有限公司 一种图像处理方法及移动终端
CN104469161A (zh) * 2014-12-22 2015-03-25 联想(北京)有限公司 图像处理方法以及电子设备
CN105046657A (zh) * 2015-06-23 2015-11-11 浙江大学 一种图像拉伸畸变自适应校正方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11501407B2 (en) 2019-04-30 2022-11-15 Beijing Sensetime Technology Development Co., Ltd. Method and apparatus for image processing, and computer storage medium
WO2021052236A1 (zh) * 2019-09-18 2021-03-25 华为技术有限公司 图像畸变校正方法及装置

Also Published As

Publication number Publication date
US10460443B2 (en) 2019-10-29
US20180033149A1 (en) 2018-02-01
EP3276942A1 (en) 2018-01-31
EP3276942B1 (en) 2020-11-25
CN107665477B (zh) 2023-08-04
KR102500715B1 (ko) 2023-02-17
KR20180013005A (ko) 2018-02-07

Similar Documents

Publication Publication Date Title
CN107665477A (zh) 电子设备和控制电子设备的方法
CN107257954A (zh) 用于提供屏幕镜像服务的设备和方法
CN108279832A (zh) 图像采集方法和电子装置
CN107800959A (zh) 电子设备及其控制方法
CN107566693A (zh) 电子设备及其图像捕获方法
CN108713314A (zh) 服务器和由服务器控制用户环境的方法
CN108604432A (zh) 电子设备及用于控制其的方法
CN105981365B (zh) 电子装置的拍摄方法及其电子装置
KR102401659B1 (ko) 전자 장치 및 이를 이용한 카메라 촬영 환경 및 장면에 따른 영상 처리 방법
US20150190077A1 (en) Electronic device and photoplethysmography method
CN109101873A (zh) 用于提供针对兴趣对象的外部光源的特性信息的电子设备
CN107665485A (zh) 用于显示图形对象的电子装置和计算机可读记录介质
CN108513060A (zh) 使用外部电子设备的拍摄方法和支持该方法的电子设备
CN106462247A (zh) 用于提供增强现实信息的可穿戴设备和方法
CN106415510A (zh) 数据处理方法及其电子设备
CN107402733A (zh) 用于合成图形数据的电子设备及其方法
CN108062400A (zh) 基于智能镜的试妆方法、智能镜及存储介质
CN110325993A (zh) 通过使用多个生物特征传感器执行认证的电子设备及其操作方法
KR20150141808A (ko) 구도 정보를 이용하는 전자 장치 및 이를 이용하는 촬영 방법
CN110088764A (zh) 用于虹膜识别功能的操作方法及支持该方法的电子设备
CN108427533A (zh) 电子设备及用于确定电子设备的环境的方法
CN109964478A (zh) 一种拍摄方法以及电子装置
CN108334809A (zh) 用于虹膜识别的电子装置及其操作方法
CN106796651A (zh) 电子设备的多媒体数据处理方法及其电子设备
CN108476264A (zh) 用于控制虹膜传感器的操作的方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant