CN110168601A - 通过分析校正模式的影像校正方法及系统 - Google Patents

通过分析校正模式的影像校正方法及系统 Download PDF

Info

Publication number
CN110168601A
CN110168601A CN201780081108.XA CN201780081108A CN110168601A CN 110168601 A CN110168601 A CN 110168601A CN 201780081108 A CN201780081108 A CN 201780081108A CN 110168601 A CN110168601 A CN 110168601A
Authority
CN
China
Prior art keywords
image
feature point
face feature
face
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780081108.XA
Other languages
English (en)
Other versions
CN110168601B (zh
Inventor
金星旭
崔相晧
朴炳宣
陈正焕
李元孝
申亨培
郑圣烨
咸努儿
金志珉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South Korea Snow Co Ltd
Original Assignee
South Korea Snow Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South Korea Snow Co Ltd filed Critical South Korea Snow Co Ltd
Publication of CN110168601A publication Critical patent/CN110168601A/zh
Application granted granted Critical
Publication of CN110168601B publication Critical patent/CN110168601B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种通过分析校正模式的影像校正方法及系统。影像校正方法可包括以下步骤：识别输入的第一影像中包含的面部的面部特征点；将识别的所述面部特征点中的至少一部分和输入的所述第一影像一起显示在电子设备的画面中；识别用于移动显示在所述画面中的第一影像的面部特征点中的至少一个面部特征点的用户输入；根据识别的所述用户输入移动所述第一影像的至少一个面部特征点，并利用根据移动而改变的所述第一影像的面部特征点校正输入的所述第一影像；以及通过分析针对所述第一影像的校正的模式来生成并存储校正模式信息。

Description

通过分析校正模式的影像校正方法及系统
技术领域
以下说明涉及一种通过分析校正模式的影像校正方法及系统，以及存储在计算机可读记录介质中以与计算机结合并在计算机中执行影像校正方法的计算机程序及其记录介质。
背景技术
存在诸多用于校正从面部图像中识别的面部的传统技术。在这种传统技术中，利用用户从预制的滤波器中选择的滤波器来校正输入影像的面部。例如，韩国公开专利第10-2006-0104027号(下面称为“参考文献”)涉及一种基于自动提取面部的虚拟面部整形方法及系统，其公开了能够预先制作用户选择的整形样式(例如，如参考文献中公开的“放大眼睛”、“隆鼻”等)并制成滤波器，后期用户选择所述滤波器来校正输入影像的面部。
但是，上述传统技术中的滤波器并不是利用相应用户的面部而生成的，而是简单地根据用户所期望的整形样式(如上所述，“放大眼睛”、“隆鼻”等)来预先制作，因此，用户自己难以实时确认自行选择的整形样式是否符合自己的面部。
例如，用户只有制作基于自己期望的整形样式的滤波器，并将制作的滤波器使用于输入的影像中后，才能够确认其结果，因此，校正结果不令人满意时，需要重复进行如下过程，即根据新的整形样式重新制作滤波器并将制作的滤波器重新使用于输入的影像中，因此具有复杂性和不便性。
不仅如此，传统技术中的滤波器只是简单地对面部的特定部位产生预定变化量的失真(为了上述“放大眼睛”而将眼睛变大至指定的变化量)，因此难以进行适合每个人的校正。例如，为小眼睛人群制作的“放大眼睛”滤波器不适合大眼睛人群。
换言之，传统技术的影像校正方法难以制作符合用户自己的滤波器，而且所制作的滤波器难以与其他用户共享。
发明内容
(一)要解决的技术问题
本发明提供一种影像校正方法及系统，其提供了在将从输入的影像中识别的面部特征点和输入的影像一起显示在画面的状态下，通过用户直接移动面部特征点的方式对输入的影像进行校正的功能，从而用户可实时观察包含在影像中的面部发生变化的过程的同时校正影像，另外本发明提供一种存储在计算机可读记录介质中以与计算机结合并在计算机中执行影像校正方法的计算机程序及其记录介质。
本发明提供一种影像校正方法及系统，其生成根据移动的面部特征点改变各面部部位相对于整个面部的比率的校正模式信息，而不是简单地对面部的特征部位进行预定变化量的改变，并根据所述校正模式信息自动校正所输入的影像，从而能够进行适合所有用户的校正，另外本发明提供一种存储在计算机可读记录介质中以与计算机结合并在计算机中执行影像校正方法的计算机程序及其记录介质。
本发明提供一种影像校正方法及系统，其通过分析针对用户的其他影像的用户校正模式来更新所述校正模式信息，从而能够优化所述校正模式信息，另外本发明提供一种存储在计算机可读记录介质中以与计算机结合并在计算机中执行影像校正方法的计算机程序及其记录介质。
(二)技术方案
提供一种影像校正方法，其特征为，包括以下步骤：识别输入的第一影像中包含的面部的面部特征点；将识别的所述面部特征点中的至少一部分和输入的所述第一影像一起显示在电子设备的画面中；识别用于移动显示在所述画面中的第一影像的面部特征点中的至少一个面部特征点的用户输入；根据识别的所述用户输入移动所述第一影像的至少一个面部特征点，并利用根据移动而改变的所述第一影像的面部特征点校正输入的所述第一影像；以及通过分析针对所述第一影像的校正的模式来生成并存储校正模式信息。
提供一种影像校正方法，其特征为，包括以下步骤：识别通过网络从电子设备接收的第一影像中包含的面部的面部特征点；提供功能，所述功能为进行控制使得识别的所述面部特征点中的至少一部分和输入的所述第一影像一起显示在电子设备的画面中，并接收用于移动所述画面中显示的第一影像的面部特征点中的至少一个面部特征点的用户输入；根据识别的所述用户输入移动所述第一影像的至少一个面部特征点，利用根据移动而改变的所述第一影像的面部特征点校正输入的所述第一影像；通过分析针对所述第一影像的校正的模式来生成校正模式信息，并存储在电子设备中或与电子设备的用户相关联地进行存储；以及通过网络将校正的所述第一影像传送至所述电子设备。
提供一种计算机可读记录介质，其特征为，记录有在计算机中执行所述影像校正方法的计算机程序。
提供一种存储在计算机可读记录介质中以与计算机结合并在计算机中执行所述影像校正方法的计算机程序。
提供一种影像校正系统，包括至少一个处理器，以执行计算机可读指令，其特征为，所述至少一个处理器识别通过网络从电子设备接收的第一影像中包含的面部的面部特征点，并提供以下功能：进行控制使得识别的所述面部特征点中的至少一部分和输入的所述第一影像一起显示在电子设备的画面中，并接收用于移动所述画面中显示的第一影像的面部特征点中的至少一个面部特征点的用户输入，根据识别的所述用户输入移动所述第一影像的至少一个面部特征点，利用根据移动而改变的所述第一影像的面部特征点校正输入的所述第一影像，通过分析针对所述第一影像的校正的模式来生成校正模式信息，并存储在电子设备中或与电子设备的用户相关联地进行存储，通过网络将校正的所述第一影像传送至所述电子设备。
(三)有益效果
提供了在将从输入的影像中识别的面部特征点和输入的影像一起显示在画面的状态下，通过用户直接移动面部特征点的方式对输入的影像进行校正的功能，从而用户可实时观察包含在影像中的面部发生变化的过程的同时校正影像。
生成根据移动的面部特征点改变各面部部位相对于整个面部的比率的校正模式信息，而不是简单地对面部的特征部位进行预定变化量的改变，并根据所述校正模式信息自动校正所输入的影像，从而能够进行适合所有用户的校正。
通过分析针对用户的其他影像的用户校正模式来更新所述校正模式信息，从而能够优化所述校正模式信息。
附图说明
图1是示出本发明的一个实施例的网络环境的例子的图。
图2是用于说明本发明的一个实施例中的电子设备和服务器的内部结构的框图。
图3是示出本发明的一个实施例中的影像校正环境的一个例子的图。
图4是示出本发明的一个实施例中的影像校正环境的另一个例子的图。
图5是示出本发明的一个实施例中的识别包含在影像中的面部的面部特征点的例子的图。
图6是示出本发明的一个实施例中的各面部部位相对于整个面部的比率信息的例子的图。
图7是示出本发明的一个实施例的电子设备的处理器可包含的组件的例子的框图。
图8是示出本发明的一个实施例的电子设备可执行的影像校正方法的例子的流程图。
图9是示出本发明的一个实施例的服务器的处理器可包含的组件的例子的框图。
图10是示出本发明的一个实施例的服务器可执行的影像校正方法的例子的流程图。
最佳实施方式
以下，参照附图对实施例进行详细说明。
本发明的实施例的影像校正系统可通过后述的电子设备或服务器来体现，本发明的实施例的影像制作方法可通过由上述电子设备或服务器体现的影像校正系统执行。此时，电子设备或服务器中可安装并运行本发明的一个实施例的计算机程序，电子设备或服务器可根据运行的计算机程序的控制，执行本发明的一个实施例的影像校正方法。上述计算机程序可存储在计算机可读记录介质中，以与由计算机体现的电子设备或服务器结合并执行故事视频的制作方法。
图1是示出本发明的一个实施例的网络环境的例子的图。图1的网络环境表示包括多个电子设备110、120、130、140、多个服务器150、160以及网络170的例子。所述图1仅仅是用于说明本发明的一个例子，电子设备的数量和服务器的数量并不限定于图1所示的数量。
多个电子设备110、120、130、140可以是由计算机装置体现的固定型终端或移动型终端。例如，多个电子设备110、120、130、140有智能手机(smart phone)、移动电话、导航仪、计算机、笔记本电脑、数字广播终端、个人数字助理(Personal Digital Assistants，PDA)、便携式多媒体播放器(Portable Multimedia Player，PMP)、平板电脑等。例如，图1中，电子设备一110显示为智能手机的形状，但本发明的实施例中电子设备一110实质上表示能够利用无线或有线通信方式通过网络170与其他电子设备120、130、140和/或服务器150、160通信的多种物理装置中的一种装置。
通信方式不受限制，不仅可以包括利用网络170中可包含的通信网(例如，移动通信网、有线因特网、无线因特网、广播网)的通信方式，而且还可以包括设备之间的近距离无线通信。例如，网络170可包括个人局域网(personal area network，PAN)、局域网(localarea network，LAN)、校园网(campus area network，CAN)、城域网(metropolitan areanetwork，MAN)、广域网(wide area network，WAN)、宽带网(broadband network，BBN)、因特网等的网络中的任何一种以上网络。并且，网络170可包括总线网络、星形网络、环形网络、网状网络、星形-总线网络、树形或分层(hierarchical)网络等的网络拓扑中的任意一个以上，但并不限定于此。
服务器150、160分别可以由通过网络170与多个电子设备110、120、130、140通信并提供指令、代码、文件、内容和服务等的计算机装置或多个计算机装置实现。例如，服务器150可以是向通过网络170访问的多个电子设备110、120、130、140提供第一服务的系统，同样地，服务器160可以是向通过网络170访问的多个电子设备110、120、130、140提供第二服务的系统。更具体地，例如，服务器150可以通过安装在多个电子设备110、120、130、140中并运行的作为计算机程序的应用程序，提供所述应用程序所期望的服务(例如，影像校正服务、消息服务、邮件服务内容传输服务等)作为第一服务。作为另一个例子，服务器160可以提供第二服务，即将用于安装并运行所述应用程序的文件分发给多个电子设备110、120、130、140的服务。
图2是用于说明本发明的一个实施例中的电子设备和服务器的内部结构的框图。在图2中，说明了作为电子设备的一个例子的电子设备一110和服务器150的内部结构。并且，其他电子设备120、130、140或服务器160同样可具有与所述电子设备一110或服务器150相同或类似的内部结构。
电子设备一110和服务器150可包括存储器211、221、处理器212、222、通信模块213、223以及输入输出接口214、224。存储器211、221作为计算机可读记录介质，可包括随机存取存储器(random access memory，RAM)及诸如只读存储器(read only memory，ROM)和磁盘驱动器的非易失性大容量存储装置(permanent mass storage device)。其中，如ROM和磁盘驱动器等非易失性大容量存储装置作为与存储器211、221不同的单独的永久存储装置，可包括在电子设备一110或服务器150中。并且，在存储器211、221中可存储有操作系统和至少一个程序代码(例如，安装在电子设备一110中并运行的浏览器或用于为了提供特定服务而安装在电子设备一110中的应用程序等的代码)。这些软件组件可通过与存储器211、221不同的单独的计算机可读记录介质加载。这些单独的计算机可读记录介质可包括软盘驱动器、磁盘、磁带、DVD/CD-ROM驱动器和存储卡等计算机可读记录介质。在其他实施例中，软件组件可通过通信模块213、223加载到存储器211、221中，而不是通过计算机可读记录介质加载。例如，至少一个程序可基于研发者或分发应用程序的安装文件的文件分发系统(例如，上述服务器160)通过网络170提供的文件安装的程序(例如，上述应用程序)而加载到存储器211、221中。
处理器212、222可以通过执行基本的算术、逻辑和输入/输出运算来处理计算机程序的指令。可通过存储器211、221或通信模块213、223将指令提供至处理器212、222。例如，处理器212、222可以执行根据存储在存储器211、221等记录装置中的程序代码而接收的指令。
通信模块213、223可提供电子设备一110与服务器150通过网络170相互通信的功能，并且可提供电子设备一110和/或服务器150与其他电子设备(例如，电子设备二120)或其他服务器(例如，服务器160)通信的功能。例如，电子设备一110的处理器212根据存储在存储器211等记录装置中的程序代码而生成的请求，可根据通信模块213的控制并通过网络170而传送至服务器150。相反，根据服务器150的处理器222的控制而提供的控制信号、指令、内容或文件等，可经过通信模块223和网络170，并通过电子设备一110的通信模块213而传送至电子设备一110。例如，通过通信模块213接收的服务器150的控制信号、指令、内容或文件等可传送至处理器212或存储器211，内容或文件等可存储于电子设备一110可进一步包括的存储介质(上述永久存储装置)中。
输入输出接口214可以是用于与输入输出装置215连接的装置。例如，输入装置可包括键盘或鼠标等装置，并且输出装置可包括显示器、扬声器等装置。作为其他例子，输入输出接口214可以是用于与诸如触摸屏等输入和输出功能一体集成的装置连接的装置。输入输出装置215可以与电子设备一110形成为一个装置。并且，服务器150的输入输出接口224可以是用于与服务器150连接或与服务器150中可包括的用于输入或输出的装置(未示出)连接的装置。作为更具体例子，电子设备一110的处理器212在处理加载到存储器211中的计算机程序的指令时，可通过输入输出接口214将利用服务器150或电子设备二120提供的数据构成的服务画面或内容显示在显示器中。
并且，在其他实施例中，电子设备一110和服务器150可包括比图2的组件更多的组件。但是，大部分的传统组件无需明确示出。例如，电子设备一110可以包括上述的输入输出装置215中的至少一部分，或者还可包括收发器(transceiver)、全球定位系统(GlobalPositioning System，GPS)模块、摄像头、各种传感器及数据库等其他组件。作为更具体的例子，电子设备一110为智能手机的情况下，通常电子设备一110还可包括智能手机中所包含的加速传感器、陀螺仪传感器、摄像头模块、各种物理按钮、利用触摸面板的按钮、输入输出端口及用于振动的振动器等多种组件。
图3是示出本发明的一个实施例中的影像校正环境的一个例子的图。图3的实施例表示影像校正服务器310向N个用户终端320提供影像校正服务的例子。例如，影像校正服务器310可根据N个用户终端320中的特定用户终端(例如，用户终端一)的请求，通过网络170从特定用户终端接收影像，并校正所接收的影像后提供至特定用户终端。根据实施例，特定用户终端可指定存储在网络上的影像，影像校正服务器310还可校正指定的影像并提供至相应用户终端。其中，影像校正服务器310可对应于前述的服务器150，特定用户终端可对应于前述的多个电子设备110、120、130、140中的一个。
在上述实施例中，特定用户终端中可安装并运行与影像校正服务相关联的应用程序，特定用户终端可根据应用程序的控制与影像校正服务器310进行通信，并接收影像校正服务。例如，特定用户终端可将存储在特定用户终端的存储库中的影像中的、通过应用程序选择的影像传送至影像校正服务器310。作为另一个例子，特定用户终端可将通过特定用户终端所包含的摄像头输入的影像传送至影像校正服务器310。此时，影像校正服务器310可根据本发明的实施例的影像校正方法对接收的影像进行校正并提供至特定用户终端。
图4是示出本发明的一个实施例中的影像校正环境的另一个例子的图。图4的实施例说明了安装在用户终端400中并运行的应用程序410直接提供影像校正服务的例子。例如，用户终端400可根据应用程序410的控制对通过摄像头模块420输入的影像进行校正。或者，根据应用程序410的控制对存储在用户终端400的存储库中的影像进行校正。其中，摄像头模块420可以是内置于用户终端400中的形态，也可以是作为单独设备通过有线或无线网络与用户终端400进行通信的形态。
此时，用户终端400可识别输入的影像中包含的面部的面部特征点，并且将识别的面部特征点和输入的影像一起显示在用户终端400画面中。
并且，在图3的实施例中，影像校正服务器310能够识别接收的影像中所包含的面部的面部特征点，并且可以进行控制，使得识别的面部特征点和输入的影像通过图3中说明的特定用户终端的画面一起显示。此时，进行控制以通过特定用户画面一起显示识别的面部特征点和输入的影像，可通过与安装在特定用户终端中的应用程序的通信来执行。
图5是示出本发明的一个实施例中的识别包含在影像中的面部的面部特征点的例子的图。图5表示识别的包含在影像中的面部的面部特征点与所述影像一起显示的例子。此时，可向用户提供能够移动这些面部特征点的功能。例如，在图4的实施例中，安装在用户终端400中的应用程序可提供能够基于用户的输入而移动相应的面部特征点的功能。例如，用户可利用上述功能，选择性地将图5的第一面部特征点510移动至自己所期望的位置。作为更具体的例子，在触摸屏环境中，应用程序可以识别与用户触摸的位置对应的面部特征点，并且将用户在触摸触摸屏的状态下拖动并释放触摸的位置识别为面部特征点所要移动的位置。作为另一个例子，在使用鼠标的环境中，应用程序可以识别与用户点击鼠标的位置对应的面部特征点，并且将用户在点击鼠标的状态下拖动并释放鼠标点击的位置识别为面部特征点所要移动的位置。
在这种情况下，应用程序可将识别的面部特征点移动至所识别的位置，并利用根据所述面部特征点的移动而改变的面部特征点对影像进行校正。可反复进行多次所述面部特征点的移动，每当移动面部特征点时，可利用发生改变的面部特征点反复校正影像。因此，用户可实时观察校正的影像，并反复校正影像，从而获得所期望的影像。
在前述的图3的实施例中，特定用户终端可识别根据用户的输入而识别的面部特征点相关的信息(例如，相应面部特征点的标识符)和识别的面部特征点的移动位置相关的信息，并通过网络传递至影像校正服务器310。此时，影像校正服务器310可利用改变的面部特征点对影像进行校正，并向特定用户终端提供校正后的影像。在这种情况下，也可在特定用户终端的画面中一起显示校正后的影像和改变的面部特征点。因此，用户可以在观察改变的影像的同时反复移动面部特征点，由此校正影像。
用户终端400或影像校正服务器310可通过分析影像校正的模式来生成并存储校正模式信息。例如，可以在完成影像的校正后最终生成所述校正模式信息。生成的所述校正模式信息可包括各面部部位相对于整个面部的比率信息。
并且，在本发明的实施例中，可利用所述校正模式信息自动校正其他影像。
图6是示出本发明的一个实施例中的各面部部位相对于整个面部的比率信息的例子的图。所述比率信息可以提供能够改变整个面部的比率的信息，而不是简单地提供对特定部位增加特定值的滤波器。例如，传统技术中，将眼睛宽度向左侧增加0.1cm的滤波器将眼睛宽度为3cm的影像中的眼睛和眼睛宽度为4cm的影像中的眼睛均向左侧增加0.1cm，因此有可能根据影像中的眼睛的大小而导致不自然的校正。相反，在本发明的实施例中，根据校正模式信息调节各部位相对于整个面部的比率，而不是简单地调节特定部位的大小，因此，影像中包含的每个面部根据实际的各部位发生改变的值不同，从而可以生成对所有用户通用的滤波器。
作为更具体的例子，图6中示出了以下例子，即，当整个面部的宽度为“7”时，面部右侧边缘与右侧眉毛之间(下面，称为第一部位)、右侧眉毛(下面，称为第二部位)、眉间(下面，称为第三部位)、左侧眉毛(下面，称为第四部位)以及左侧眉毛与面部左侧边缘之间(下面，称为第五部位)的比率为1:2:1:2:1。如果在其他影像中第一部位至第五部位的比率为1:2:1:2:1，则在其他影像中不会校正相应部位。相反，如果在又一影像中第一部位至第五部位的比率为0.8:2.1:1.2:2.1:0.8，则根据校正模式信息对影像进行校正，以使所述比率变为1:2:1:2:1。换句话说，考虑到整个面部的宽度为“7”且左侧眉毛的宽度为“2”的7:2的比率，校正左侧眉毛的宽度，以使其他影像中的整个面部的宽度与相应影像中的左侧眉毛的宽度的比率成为7:2。
换言之，特定部位是按校正模式信息中所包含的相应部位相对于整个面部的比率信息进行改变，而不是按固定的位移值进行改变，因此所述校正模式信息可对所有用户通用，从而实现更适合个别用户的校正。因此，特定用户进行适合自己面部的影像校正的过程中产生的校正模式信息还可以使用于其他用户的面部影像中，这表示可提高共享校正模式信息的灵活性。
并且，所述校正模式信息可反复使用于针对用户输入的其他面部影像中。例如，对于拍摄用户面部的视频，可通过对所述视频中所包含的各帧执行利用校正模式信息的自动校正，从而进行对整个视频的面部校正。作为另一个例子，对视频通话时通过摄像头输入的用户的各面部影像帧执行利用校正模式信息的自动校正，从而能够在视频通话时向视频通话的对方传送校正后的影像。
另外，可进一步反应用户的其他影像的校正模式来更新所述校正模式信息。例如，针对其他影像的校正模式可用于进一步反应在根据用户请求预先生成并存储的校正模式信息中并更新校正模式信息。在这种情况下，可使用改变的比率的平均值。例如，上述的整个面部的宽度与左侧眉毛的宽度的比率最初为7:2，在下一个影像中计算的整个面部的宽度与左侧眉毛的宽度的比率为7:1.8时，校正模式信息中包含的比率7:2可更新为7:1.9。其中，1.9可通过(2+1.8)/2计算得出。如果在下一个影像中计算的整个面部的宽度与左侧眉毛的宽度的比率为10:2.4，则校正模式信息所包含的比率7:2可更新为70:18.4(＝7:1.84)。其中，18.4可通过((2*10)+(2.4*7))/2计算得出。这种针对其他影像的校正模式可使用于根据实施例生成其他校正模式信息中。
以下表1是示出存储校正模式信息的数据库表的例子的图。
【表1】
在表1中，“对象”项目可以是表示面部部位的项目，其值可以识别面部部位，“属性”项目可以表示诸如面部部位的宽度(Width)和长度(Length)的用于测量比率的基准。并且，“比率”项目可以表示相应面部部位相对于整个面部的比率信息，“标记”项目可以表示面部特征点。此时，各面部特征点可对应于相应面部特征点在相应面部影像中的相应的位置信息。整个面部的宽度和长度可以作为单独的“对象”项目包括在表1中，还可以根据需要通过结合面部部分来计算。
图7是示出本发明的一个实施例的电子设备的处理器可包含的组件的例子的框图，图8是示出本发明的一个实施例的电子设备可执行的影像校正方法的例子的流程图。
本发明的实施例的影像校正系统可以以前述的电子设备一110等计算机装置的形态体现。并且，如图7所示，电子设备一110的处理器212作为体现影像校正系统的组件，可包括面部特征点识别部710、显示部720、用户输入识别部730、影像校正部740、校正模式信息管理部750以及传送部760。所述处理器212和处理器212的组件可执行图8的影像校正方法中包括的步骤810至步骤890。此时，处理器212和处理器212的组件可执行基于存储器211中包含的操作系统的代码或至少一个计算机程序代码的控制指令(instruction)。其中，处理器212的组件可以是处理器212根据存储在电子设备一110中的代码提供的控制指令而执行的处理器212的相互不同的功能(different functions)的表现。例如，作为处理器212控制电子设备一110以使电子设备一110根据上述控制指令识别面部特征点的处理器212的功能性表现可以使用面部特征点识别部710。
在步骤810中，面部特征点识别部710可识别输入的第一影像中包含的面部的面部特征点。本领域的技术人员可通过公知技术容易地理解从面部影像中识别面部特征点的具体技术。输入的影像可以是通过包括在电子设备一110中的摄像头或者与电子设备一110联动的摄像头来输入的影像，还可以是存储在电子设备一110的本地存储库中的影像。或者，输入的影像可以是电子设备一110通过网络170从其他设备接收的影像或存储在网络上的影像。
在步骤820中，显示部720可将识别的面部特征点中的至少一部分和输入的第一影像一起显示在电子设备一110的画面中。例如，如参照图5所述，影像和面部特征点可以一起显示在一个画面中。其中，电子设备一110的画面可表示电子设备一110中包含的显示装置(例如，触摸屏)的画面，还可以表示作为与电子设备一110分离的装置的与电子设备一110通信的显示装置(例如，显示屏)的画面。
在步骤830中，用户输入识别部730可识别用于移动显示在画面中的第一影像的面部特征点中的至少一个面部特征点的用户输入。已经描述了在触摸屏环境或者利用鼠标的环境中通过用户输入移动面部特征点的例子。本领域技术人员可通过这些例子容易地理解，还可以识别在其他输入环境中移动面部特征点的用户输入。
在步骤840中，影像校正部740根据识别的用户输入移动第一影像的至少一个面部特征点，利用根据移动而改变的第一影像的面部特征点校正输入的第一影像。本发明的实施例涉及以何种方式移动面部特征点，而对于根据移动的面部特征点的位置来校正影像面部的内容，本领域技术人员可通过公知技术而容易地理解。例如，使用预先制作的滤波器的技术是将标记移动预设的变化量并根据移动的标记校正面部影像的技术，而这种有关校正的技术是公知的。可将校正后的第一影像和改变的面部特征点一起显示在画面中，而且可以反复执行多次所述面部特征点的移动和基于移动的第一影像的校正过程(步骤820至步骤840)。
在步骤850中，校正模式信息管理部750可通过分析针对第一影像的校正的模式来生成并存储校正模式信息。校正模式信息可通过各种方式生成，如上所述，为了所生成的校正模式信息的通用性，优选地，可利用各面部部位相对于整个面部的比率信息来生成校正模式信息。例如，校正模式信息管理部750可利用根据移动而改变的第一影像的面部特征点而从第一影像的面部识别面部部位，计算各面部部位相对于整个面部的比率信息以作为校正模式信息。作为更具体的例子，校正模式信息可包括各面部部位的部位标识符、各面部部位的宽度和长度相对于整个面部的宽度和长度的比率信息以及与各面部部位对应的面部特征点的特征点标识符彼此相关联的信息。如前述的表1所示，通过这种方式生成的校正模式信息可通过数据库化后进行存储。
作为另一个实施例，校正模式信息可被生成为包括根据移动而改变的第一影像的面部特征点。作为又一个实施例，校正模式信息可被生成为包括改变之前的第一影像的面部特征点和改变后的第一影像的面部特征点。例如，首先，仅存储根据移动改变的第一影像的面部特征点，后续选择性地计算并使用上述的比率信息，或者仅使用实际发生改变的面部特征点相关的信息来处理其他影像的自动校正。
还可对第二影像(或者两个以上的其他影像的每个影像)选择性地反复执行上述步骤810至步骤850。换言之，还可对第二影像(或者两个以上的其他影像的每个影像)反复执行面部特征点识别、移动、校正、生成校正模式信息等过程。
在步骤860中，校正模式信息管理部750可通过分析针对第二影像的校正的模式来更新存储的校正模式信息。例如，可利用针对第二影像生成的校正模式信息来更新存储的针对第一影像的校正模式信息。已经详细描述了利用校正比率的平均值更新校正模式信息的例子。并且，本领域技术人员可通过这些例子容易地理解，在所述校正模式信息的更新中，还可使用基于生成校正模式信息的时间点的加权值或者由用户设定的加权值等，还可在计算过程中舍入或丢弃规定小数点以下的值。并且，对两个以上的其他影像的每个影像反复执行步骤810至步骤850时，可利用针对两个以上的所述其他影像的每个影像生成的校正模式信息，更新存储的校正模式信息。仅在对包括第二影像的其他影像重复执行步骤810至步骤850时，才可以选择性地执行上述步骤860。
在步骤870中，面部特征点识别部710可识别输入的第三影像中所包含的面部的面部特征点。所述步骤870对应于步骤810，并且可在需要对第三影像进行自动校正的情况下执行步骤870。例如，从用户明确地接收关于自动校正的命令的情况，或者满足需要自动校正的预定条件的情况下，可以执行所述用于自动校正的面部特征点的识别过程。
在步骤880中，影像校正部740可利用存储的校正模式信息移动从第三影像中识别的面部特征点中的至少一个面部特征点，并利用根据移动而改变的第三影像的面部特征点来对输入的第三影像进行自动校正。例如，针对第三影像中包含的面部，影像校正部740可自动校正第三影像，以使各面部部位相对于整个面部的比率信息变成存储的校正模式信息中包含的比率信息。
在步骤890中，为了共享存储的校正模式信息，传送部760可通过网络将存储的校正模式信息传送至其他电子设备和服务器中的至少一个。可以在通过步骤850最初生成并存储校正模式信息之后的任何时间执行所述步骤890。
如上所述，根据本实施例，用户可直接观察所要校正的影像和面部特征点的同时移动面部特征点，并观察基于面部特征点的移动的影像校正过程的同时将影像校正为所期望的影像，不仅能够通过针对所述校正的校正模式信息来自动校正其他影像，还可以通过针对其他影像的校正模式信息来更新存储的校正模式信息。而且，使用各面部部位相对于整个面部的比率信息生成校正模式信息，并利用所述比率信息校正面部影像，从而能够实现校正模式信息的通用性。
图7和图8的实施例中说明了电子设备一110根据应用程序的控制而提供影像校正服务的实施例，如上所述，还可通过影像校正服务器310提供影像校正服务。
图9是示出本发明的一个实施例的服务器的处理器可包含的组件的例子的框图，图10是示出本发明的一个实施例的服务器可执行的影像校正方法的例子的流程图。
本发明的实施例的影像校正系统可以以前述的服务器150等计算机装置的形态体现。并且，如图9所示，服务器150的处理器222作为体现影像校正系统的组件，可包括接收部910、面部特征点识别部920、功能提供部930、影像校正部940、传送部950以及校正模式信息管理部960。所述处理器222和处理器222的组件可执行图10的影像校正方法中包括的步骤1010至步骤1090。此时，处理器222和处理器222的组件可执行基于存储器221中包含的操作系统的代码或至少一个程序代码的控制指令(instruction)。其中，处理器222的组件可以是处理器222根据存储在服务器150中的代码提供的控制指令而执行的处理器222的相互不同的功能(different functions)的表现。例如，作为处理器222控制服务器150以使服务器150根据上述控制指令接收影像的处理器222的功能性表现可以使用接收部910。
在步骤1010中，接收部910可通过网络从电子设备接收第一影像。电子设备可以是安装并运行与影像校正服务相关联的应用程序的设备，可通过应用程序与服务器150通信并将所要校正的第一影像传送至服务器150。所述第一影像可以是通过包括在电子设备中的摄像头或者与电子设备联动的摄像头来输入的影像，还可以是存储在电子设备的本地存储器中的影像。或者，所述第一影像还可以是电子设备通过网络170从其他设备接收的影像或存储在网络上的影像。
在步骤1020中，面部特征点识别部920可识别第一影像中包含的面部的面部特征点。如上所述，本领域的技术人员可通过公知技术容易地理解从面部影像中识别面部特征点的具体技术。
在步骤1030中，功能提供部930可提供以下功能，即进行控制使得识别的面部特征点中的至少一部分和输入的第一影像一起显示在电子设备的画面中，并接收针对画面中显示的第一影像的面部特征点中的至少一个面部特征点的移动相关的信息。这种功能可通过与安装在电子设备中并运行的应用程序进行联动而实现。如上所述，可根据电子设备的应用程序的控制，识别在电子设备中移动的面部特征点的标识符和移动位置相关的信息，并传送至服务器150。
在步骤1040中，影像校正部940可利用根据移动而改变的第一影像的面部特征点校正输入的第一影像。本发明的实施例涉及以何种方式移动面部特征点，而对于根据移动的面部特征点的位置来校正影像面部的内容，本领域技术人员可通过公知技术而容易地理解。例如，使用预先制作的滤波器的技术是将标记移动预设的变化量并根据移动的标记校正面部影像的技术，而这种有关校正的技术是公知的。
在步骤1050中，传送部950可通过网络将校正后的第二影像传送至电子设备。可反复执行多次基于上述步骤1010至步骤1050的第二影像的校正过程。
在步骤1060中，校正模式信息管理部960可通过分析针对第一影像的校正的模式来生成校正模式信息，并存储在电子设备中或与电子设备的用户相关联地进行存储。由于已经详细描述了所述校正模式信息，因此将省略重复说明。
另外，还可对第二影像(或者两个以上的其他影像的每个影像)选择性地反复执行上述步骤1010至步骤1060。换言之，还可对第二影像(或者两个以上的其他影像的每个影像)反复执行影像的接收、面部特征点的识别、移动、校正、已校正影像的传送、生成校正模式信息等过程。
在步骤1070中，校正模式信息管理部960可通过分析针对第二影像的校正的模式来更新存储的校正模式信息。例如，可利用针对第二影像生成的校正模式信息来更新存储的针对第一影像的校正模式信息。并且，对两个以上的其他影像的每个影像反复执行步骤1010至步骤1060时，可利用针对两个以上的所述其他影像的每个影像生成的校正模式信息，更新存储的校正模式信息。仅在对包括第二影像的其他影像重复执行步骤1010至步骤1060时，才可以选择性地执行上述步骤1070。
在步骤1080中，面部特征点识别部920可识别通过网络从电子设备接收的第三影像中所包含的面部的面部特征点。所述步骤1080对应于步骤1010和步骤1020，并且可在需要对第三影像进行自动校正的情况下选择性地执行步骤1080。例如，从用户明确地接收关于自动校正的命令的情况，或者满足需要自动校正的预定条件的情况下，可以执行所述用于自动校正的面部特征点的识别过程。
在步骤1090中，影像校正部940可利用存储的校正模式信息移动从第三影像中识别的面部特征点中的至少一个面部特征点，并利用根据移动而改变的第三影像的面部特征点来对输入的第三影像进行自动校正。可通过网络向电子设备传送校正后的第三影像。
并且，在本实施例中，可与其他用户共享存储的校正模式信息。例如，服务器150可根据用户的请求，将存储的校正模式信息传送至通过所述请求识别的其他用户。并且，在用户的电子设备接收所述存储的校正模式信息后，用户可直接与其他用户共享。
如上所述，根据本发明的实施例，提供了在将从输入的影像中识别的面部特征点和输入的影像一起显示在画面的状态下，通过用户直接移动面部特征点的方式对输入的影像进行校正的功能，从而用户可实时观察包含在影像中的面部发生变化的过程的同时校正影像。并且，生成根据移动的面部特征点改变各面部部位相对于整个面部的比率的校正模式信息，而不是简单地对面部的特征部位进行预定变化量的改变，并根据所述校正模式信息自动校正所输入的影像，从而能够进行适合所有用户的校正。并且，通过分析针对用户的其他影像的用户校正模式来更新所述校正模式信息，从而能够优化所述校正模式信息。
以上说明的系统或装置可以是硬件组件、软件组件或硬件组件和软件组件的组合。例如，在实施例中说明的装置和组件可以由一个以上的通用计算机或专用计算机体现，例如可以是处理器、控制器、算数逻辑单元(arithmetic logic unit，ALU)、数字信号处理器(digital signal processor)、微型计算机、现场可编程门阵列(field programmablegate array，FPGA)、可编程逻辑单元(programmable logic unit，PLU)、微处理器或者能够执行指令(instruction)并响应的其他任意装置。处理装置可以执行操作系统(OS)和在所述操作系统上执行的一个以上的软件应用程序。并且，处理装置还可响应软件的执行来访问、存储、操作、处理及生成数据。为了便于理解，说明了使用一个处理装置的情况，但本领域技术人员能够理解，处理装置可包括多个处理元件(processing element)和/或多个类型的处理元件。例如，处理装置可包括多个处理器或一个处理器和一个控制器。并且，还可以是其他处理结构(processing configuration)，如并行处理器(parallel processor)。
软件可包括计算机程序(computer program)、代码(code)、指令(instruction)或者其中的一个以上的组合，以按所需方式操作的形式构成处理装置或者独立或结合地(collectively)命令处理装置。软件和/或数据为了通过处理装置解释或者向处理装置提供指令或数据，可以在任意类型的机器、组件(component)、物理装置、虚拟装置(virtualequipment)、计算机存储介质或装置中具体化(embody)。软件可以分布在通过网络连接的计算机系统上，并以分布方法存储或执行。软件和数据可存储在一个以上的计算机可读记录介质中。
根据实施例的方法可由通过多种计算机装置执行的程序指令形式体现，并记录在计算机可读记录介质中。所述计算机可读记录介质可单独或组合包括程序指令、数据文件、数据结构等。记录在所述介质中的程序指令可以是为实施例而专门设计配置的，或者是计算机软件领域的技术人员公知且能够使用的。计算机可读记录介质可包括如硬盘、软盘及磁带等的磁介质(magnetic media)、如CD-ROM和DVD等的光学介质(optical media)、如软式光盘(floptical disk)等的磁光介质(magneto-optical medium)以及如只读存储器(ROM)、随机存取存储器(RAM)、闪存等的用于存储程序指令并执行的专门配置的硬件设备。这种记录介质可以是单个硬件或结合多个硬件形式的记录装置或存储装置，并不限定于任一直接连接到计算机系统中的介质，也可以是分布在网络上而存在的介质。程序指令的示例可包括通过编译器生成的机器代码，以及可使用解释器等而通过计算机执行的高级语言代码。
具体实施方式
以上，通过有限的实施例和附图对如上所述的实施例进行了说明，但本领域的普通技术人员能够根据上述记载进行多种修改和变形。例如，可以通过与说明顺序不同的顺序执行所说明的技术，和/或所说明的系统、结构、装置、回路等组件可以以说明方法不同形式结合或组合，或者通过其他组件或等同物进行替换或置换，均能够获得适当的结果。
因此，其他表示、其他实施例及与权利要求书等同的内容均属于权利要求书范围内。

Claims (16)

1.一种计算机程序，所述计算机程序存储在计算机可读记录介质中以与由计算机体现的电子设备结合并在计算机中执行影像校正方法，其特征在于，所述影像校正方法包括以下步骤:
识别输入的第一影像中包含的面部的面部特征点；
将识别的所述面部特征点中的至少一部分和输入的所述第一影像一起显示在所述电子设备的画面中；
识别用于移动显示在所述画面中的第一影像的面部特征点中的至少一个面部特征点的用户输入；
根据识别的所述用户输入移动所述第一影像的至少一个面部特征点，并利用根据所述移动而改变的所述第一影像的面部特征点校正输入的所述第一影像；以及
通过分析针对所述第一影像的校正的模式来生成并存储校正模式信息。
2.根据权利要求1所述的计算机程序，其特征在于，所述影像校正方法还包括以下步骤:
识别输入的第二影像中包含的面部的面部特征点；
将识别的所述面部特征点中的至少一部分和输入的所述第二影像一起显示在所述电子设备的画面中；
识别用于移动显示在所述画面中的第二影像的面部特征点中的至少一个面部特征点的用户输入；
根据识别的所述用户输入移动所述第二影像的至少一个面部特征点，并利用根据所述移动而改变的所述第一影像的面部特征点校正输入的所述第二影像；以及
通过分析针对所述第二影像的校正的模式来更新存储的所述校正模式信息。
3.根据权利要求1所述的计算机程序，其特征在于，所述影像校正方法还包括以下步骤:
识别输入的第三影像中包含的面部的面部特征点；以及
利用存储的所述校正模式信息移动从所述第三影像中识别的面部特征点中的至少一个面部特征点，并利用根据所述移动而改变的所述第三影像的面部特征点来对输入的所述第三影像进行自动校正。
4.根据权利要求1所述的计算机程序，其特征在于，
生成并存储所述校正模式信息的步骤中，
利用根据所述移动而改变的所述第一影像的面部特征点而从所述第一影像的面部识别面部部位，计算各所述面部部位相对于整个面部的比率信息以作为所述校正模式信息。
5.根据权利要求4所述的计算机程序，其特征在于，
所述校正模式信息包括各所述面部部位的部位标识符、各所述面部部位的宽度和长度相对于所述整个面部的宽度和长度的比率信息以及与各所述面部部位对应的面部特征点的特征点标识符彼此相关联的信息。
6.根据权利要求4所述的计算机程序，其特征在于，
所述校正模式信息还包括根据所述移动而改变的所述第一影像的面部特征点。
7.根据权利要求1所述的计算机程序，其特征在于，所述影像校正方法还包括以下步骤：
为了共享存储的所述校正模式信息，通过网络将存储的所述校正模式信息传送至其他电子设备和服务器中的至少一个。
8.一种影像校正方法，其特征在于，包括以下步骤：
识别输入的第一影像中包含的面部的面部特征点；
将识别的所述面部特征点中的至少一部分和输入的所述第一影像一起显示在所述电子设备的画面中；
识别用于移动显示在所述画面中的第一影像的面部特征点中的至少一个面部特征点的用户输入；
根据识别的所述用户输入移动所述第一影像的至少一个面部特征点，并利用根据所述移动而改变的所述第一影像的面部特征点校正输入的所述第一影像；以及
通过分析针对所述第一影像的校正的模式来生成并存储校正模式信息。
9.根据权利要求8所述的影像校正方法，其特征在于，还包括以下步骤：
识别输入的第二影像中包含的面部的面部特征点；
将识别的所述面部特征点中的至少一部分和输入的所述第二影像一起显示在所述电子设备的画面中；
识别用于移动显示在所述画面中的第二影像的面部特征点中的至少一个面部特征点的用户输入；
根据识别的所述用户输入移动所述第二影像的至少一个面部特征点，并利用根据所述移动而改变的所述第一影像的面部特征点校正输入的所述第二影像；以及
通过分析针对所述第二影像的校正的模式来更新存储的所述校正模式信息。
10.根据权利要求8所述的影像校正方法，其特征在于，还包括以下步骤：
识别输入的第三影像中包含的面部的面部特征点；以及
利用存储的所述校正模式信息移动从所述第三影像中识别的面部特征点中的至少一个面部特征点，并利用根据所述移动而改变的所述第三影像的面部特征点来对输入的所述第三影像进行自动校正。
11.一种影像校正方法，其特征在于，包括以下步骤：
识别通过网络从电子设备接收的第一影像中包含的面部的面部特征点；
提供功能，所述功能为进行控制使得识别的所述面部特征点中的至少一部分和输入的所述第一影像一起显示在所述电子设备的画面中，并接收针对所述画面中显示的第一影像的面部特征点中的至少一个面部特征点的移动相关的信息；
利用根据所述移动而改变的所述第一影像的面部特征点校正输入的所述第一影像；
通过网络将校正的所述第一影像传送至所述电子设备；以及
通过分析针对所述第一影像的校正的模式来生成校正模式信息，并存储在电子设备中或与所述电子设备的用户相关联地进行存储。
12.根据权利要求11所述的影像校正方法，其特征在于，还包括以下步骤：
识别通过网络从所述电子设备接收的第二影像中包含的面部的面部特征点；
提供功能，所述功能为进行控制使得识别的所述面部特征点中的至少一部分和输入的所述第二影像一起显示在所述电子设备的画面中，并接收针对所述画面中显示的第二影像的面部特征点中的至少一个面部特征点的移动相关的信息；
利用根据所述移动而改变的所述第一影像的面部特征点校正输入的所述第二影像；
通过网络将校正的所述第二影像传送至所述电子设备；以及
通过分析针对所述第二影像的校正的模式来更新存储的所述校正模式信息。
13.根据权利要求11所述的影像校正方法，其特征在于，还包括以下步骤：
识别通过网络从所述电子设备接收的第三影像中包含的面部的面部特征点；
利用存储的所述校正模式信息移动从所述第三影像中识别的面部特征点中的至少一个面部特征点，并利用根据所述移动而改变的所述第三影像的面部特征点来对输入的所述第三影像进行自动校正；以及
通过网络将自动校正的所述第三影像传送至所述电子设备。
14.根据权利要求11所述的影像校正方法，其特征在于，
生成并存储所述校正模式信息的步骤为，
利用根据所述移动而改变的所述第一影像的面部特征点而从所述第一影像的面部识别面部部位，计算各所述面部部位相对于所述整个面部的比率信息以作为所述校正模式信息。
15.根据权利要求14所述的影像校正方法，其特征在于，
所述校正模式信息包括各所述面部部位的部位标识符、各所述面部部位的宽度和长度相对于所述整个面部的宽度和长度的比率信息以及与各所述面部部位对应的面部特征点的特征点标识符彼此相关联的信息。
16.根据权利要求14所述的影像校正方法，其特征在于，
所述校正模式信息还包括根据所述移动而改变的所述第一影像的面部特征点。
CN201780081108.XA 2017-04-20 2017-04-20 通过分析校正模式的影像校正方法及系统 Active CN110168601B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2017/004237 WO2018194197A1 (ko) 2017-04-20 2017-04-20 보정패턴 분석을 통한 영상 보정 방법 및 시스템

Publications (2)

Publication Number Publication Date
CN110168601A true CN110168601A (zh) 2019-08-23
CN110168601B CN110168601B (zh) 2023-05-26

Family

ID=63855918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780081108.XA Active CN110168601B (zh) 2017-04-20 2017-04-20 通过分析校正模式的影像校正方法及系统

Country Status (5)

Country Link
US (1) US11281890B2 (zh)
JP (1) JP6839771B2 (zh)
KR (1) KR102239355B1 (zh)
CN (1) CN110168601B (zh)
WO (1) WO2018194197A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330408B (zh) * 2017-06-30 2021-04-20 北京乐蜜科技有限责任公司 视频处理方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004110728A (ja) * 2002-09-20 2004-04-08 Mitsubishi Heavy Ind Ltd 似顔絵作成装置
US20040085324A1 (en) * 2002-10-25 2004-05-06 Reallusion Inc. Image-adjusting system and method
KR20060104027A (ko) * 2005-03-29 2006-10-09 (주)제니텀 엔터테인먼트 컴퓨팅 자동 얼굴 추출 기반 가상 얼굴 성형 방법 및 시스템
CN101246541A (zh) * 2007-02-16 2008-08-20 索尼株式会社 图像处理设备和方法、图像拾取设备、以及计算机程序
CN103339926A (zh) * 2011-11-24 2013-10-02 株式会社Ntt都科摩 表情输出装置和表情输出方法
CN104917532A (zh) * 2015-05-06 2015-09-16 清华大学 人脸模型压缩方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4277534B2 (ja) * 2003-02-12 2009-06-10 オムロン株式会社 画像編集装置および画像編集方法
JP4496005B2 (ja) * 2004-04-28 2010-07-07 株式会社東芝 画像処理方法および画像処理装置
JP4424111B2 (ja) * 2004-07-30 2010-03-03 沖電気工業株式会社 モデル作成装置およびデータ配信システム
CN101163189A (zh) * 2006-10-13 2008-04-16 上海银晨智能识别科技有限公司 人脸图像校正方法
JP4289414B2 (ja) * 2007-03-27 2009-07-01 セイコーエプソン株式会社 画像変形のための画像処理
JP4946730B2 (ja) * 2007-08-27 2012-06-06 ソニー株式会社 顔画像処理装置及び顔画像処理方法、並びにコンピュータ・プログラム
JP5239625B2 (ja) * 2008-08-22 2013-07-17 セイコーエプソン株式会社 画像処理装置、画像処理方法および画像処理プログラム
KR101646669B1 (ko) * 2009-06-24 2016-08-08 삼성전자주식회사 사용자 패턴을 이용한 구도 데이터베이스 업데이트 방법 및 장치, 및 디지털 촬영 장치
JP5240795B2 (ja) * 2010-04-30 2013-07-17 オムロン株式会社 画像変形装置、電子機器、画像変形方法、および画像変形プログラム
KR101381439B1 (ko) * 2011-09-15 2014-04-04 가부시끼가이샤 도시바 얼굴 인식 장치 및 얼굴 인식 방법
JP5766564B2 (ja) * 2011-09-15 2015-08-19 株式会社東芝 顔認証装置及び顔認証方法
KR101270351B1 (ko) * 2012-04-03 2013-05-31 조선대학교산학협력단 얼굴 인식을 위한 얼굴 영상 획득 방법 및 장치
KR101934311B1 (ko) * 2012-09-18 2019-01-02 엘지이노텍 주식회사 스테레오 영상의 위치보정 장치 및 방법
JP6008323B2 (ja) * 2013-02-01 2016-10-19 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
KR20150033877A (ko) * 2013-09-25 2015-04-02 삼성전기주식회사 얼굴 비율 보정 장치 및 그 방법
JP6741270B2 (ja) * 2015-10-07 2020-08-19 国立大学法人大阪大学 画像処理装置、画像処理方法、及び画像処理プログラム
US9646195B1 (en) * 2015-11-11 2017-05-09 Adobe Systems Incorporated Facial feature liquifying using face mesh

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004110728A (ja) * 2002-09-20 2004-04-08 Mitsubishi Heavy Ind Ltd 似顔絵作成装置
US20040085324A1 (en) * 2002-10-25 2004-05-06 Reallusion Inc. Image-adjusting system and method
KR20060104027A (ko) * 2005-03-29 2006-10-09 (주)제니텀 엔터테인먼트 컴퓨팅 자동 얼굴 추출 기반 가상 얼굴 성형 방법 및 시스템
CN101246541A (zh) * 2007-02-16 2008-08-20 索尼株式会社 图像处理设备和方法、图像拾取设备、以及计算机程序
CN103339926A (zh) * 2011-11-24 2013-10-02 株式会社Ntt都科摩 表情输出装置和表情输出方法
CN104917532A (zh) * 2015-05-06 2015-09-16 清华大学 人脸模型压缩方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈梅双: "基于移动平台的自动人脸置换方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
JP6839771B2 (ja) 2021-03-10
US20190384966A1 (en) 2019-12-19
KR20190043618A (ko) 2019-04-26
WO2018194197A1 (ko) 2018-10-25
JP2020510936A (ja) 2020-04-09
US11281890B2 (en) 2022-03-22
KR102239355B1 (ko) 2021-04-12
CN110168601B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN110288049A (zh) 用于生成图像识别模型的方法和装置
CN108446387A (zh) 用于更新人脸注册库的方法和装置
CN109800732A (zh) 用于生成漫画头像生成模型的方法和装置
CN110390387A (zh) 对深度学习应用所用资源进行评估
CN109255830A (zh) 三维人脸重建方法和装置
CN110110811A (zh) 用于训练模型的方法和装置、用于预测信息的方法和装置
CN106485773B (zh) 一种用于生成动画数据的方法和装置
CN107992478A (zh) 确定热点事件的方法和装置
CN108280104A (zh) 目标对象的特征信息提取方法及装置
CN109815365A (zh) 用于处理视频的方法和装置
CN102508848B (zh) 一种人机智能交互方法及系统
CN109410253B (zh) 用于生成信息的方法、装置、电子设备和计算机可读介质
CN110009059A (zh) 用于生成模型的方法和装置
CN108153463A (zh) 应用界面显示控制方法、装置及存储介质和移动终端
CN110288705A (zh) 生成三维模型的方法和装置
CN111369428A (zh) 虚拟头像生成方法和装置
CN109845250A (zh) 用于影像的效果共享方法及系统
CN110148191A (zh) 视频虚拟表情生成方法、装置及计算机可读存储介质
CN105468161A (zh) 指令执行方法和装置
CN109754464A (zh) 用于生成信息的方法和装置
CN101981578A (zh) 用于协同设计头像或其他图形结构的方法和装置
CN107728772B (zh) 应用程序的处理方法、装置、存储介质及电子设备
KR102026209B1 (ko) 인공지능 기반 스마트 헬스케어 서비스 제공 시스템
CN110168601A (zh) 通过分析校正模式的影像校正方法及系统
CN109377284A (zh) 用于推送信息的方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant