CN105164999B - 图像处理方法及图像处理装置 - Google Patents

图像处理方法及图像处理装置 Download PDF

Info

Publication number
CN105164999B
CN105164999B CN201480013933.2A CN201480013933A CN105164999B CN 105164999 B CN105164999 B CN 105164999B CN 201480013933 A CN201480013933 A CN 201480013933A CN 105164999 B CN105164999 B CN 105164999B
Authority
CN
China
Prior art keywords
image
frame
processing
characteristic point
point position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480013933.2A
Other languages
English (en)
Other versions
CN105164999A (zh
Inventor
富田裕人
阮风
手塚忠则
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN105164999A publication Critical patent/CN105164999A/zh
Application granted granted Critical
Publication of CN105164999B publication Critical patent/CN105164999B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N2005/2726—Means for inserting a foreground image in a background image, i.e. inlay, outlay for simulating a person's appearance, e.g. hair style, glasses, clothes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明的目的在于，适当地选择画面操作中的处理图像。在对输入的运动图像进行图像处理并显示图像处理的结果的系统中，在动作模式设定是操作模式的情况下，从构成所述运动图像的多个帧图像中选择适当地表现了图像处理的对象物的帧图像并作为静止图像显示，并且接受与针对所述对象物的图像处理有关的操作，在动作模式设定是所述确认模式的情况下，对于所述运动图像的各帧进行与所述操作模式下接受的所述操作有关的对象物进行图像处理并显示以供用户确认。

Description

图像处理方法及图像处理装置
技术领域
本发明涉及识别图像并进行图像处理的图像处理方法及其装置。
背景技术
以往，已知在计算机上通过图像处理对面部图像进行化妆处理，来实现假想的化妆后的面部的化妆模拟的技术。通过对面部图像使用识别技术，提取嘴、眼睛、鼻子及面部轮廓等的特征点，基于该特征点通过图像处理来合成口红等的各化妆项目，从而实现化妆模拟。特别是，如果对于作为运动图像拍摄的用户的面部图像实时地显示模拟结果，则能够向用户提供仿佛实际在镜子前进行化妆一样的真实感高的化妆模拟(例如参照专利文献1及专利文献2)。在这样的化妆模拟中，通常使用能够由用户观看的显示器和在显示器的上方等设置了用于拍摄用户的面部的摄像机的系统。
现有技术文献
专利文献
专利文献1：日本特许第5191665号公报
专利文献2：日本特许第3984191号公报
专利文献3：日本特开2007-49371号公报
发明内容
发明所要解决的课题
但是，为了对各化妆项目进行操作而进行化妆模拟，需要一边注视显示器上显示的用户自身的面部图像一边对操作面板进行操作。因此存在如下的问题：用户的面部朝向从摄像机的方向偏离，与朝向正面的面部相比特征点的检测精度下降，导致模拟结果的品质下降。此外，由于与化妆模拟有关的运算处理，显示器上显示的用户自身的面部图像与现实中的用户的运动相比延迟地显示，所以存在用户运动时难以操作的问题。
本发明解决上述以往的课题，其目的在于，提供一种能够适当地选择画面操作中的处理图像的图像处理方法。
解决课题所采用的手段
为了解决所述以往的课题，本发明的图像处理方法是对输入的运动图像进行图像处理并显示图像处理的结果的系统中的图像处理方法，包括：判定所述系统的动作模式设定是显示静止图像的操作模式和显示运动图像的确认模式之中的哪一个模式的判定处理、以及与所述判定处理的结果相应的分模式处理，所述操作模式下的所述分模式处理，包括从构成所述运动图像的多个帧图像中选择适当地表现了图像处理的对象物的帧图像并作为静止图像显示、并接受与针对所述对象物的图像处理有关的操作的处理，所述确认模式下的所述分模式处理，包括对所述运动图像的各帧进行图像处理并进行显示以供用户确认的处理，所述图像处理针对与在所述操作模式下接受的所述操作有关且在所述运动图像的各帧中出现的对象物进行。
发明效果：
根据本发明的图像处理方法，能够将适当地表现了图像处理的对象物的静止图像作为画面操作中的处理图像适当地选择。
附图说明
图1是本发明的实施方式1中的化妆模拟器的框图。
图2是本发明的实施方式1中的化妆模拟器的外观图。
图3是表示本发明的实施方式1中的化妆模拟器的动作模式设定步骤的流程图。
图4是表示本发明的实施方式1中的化妆模拟器的、按每帧的动作的流程图。
图5是表示面部特征点检测步骤的流程图。
图6是表示眼睛的开闭确认步骤的流程图。
图7是说明眼睛的特征点位置的图。
图8是表示本发明的实施方式1中的化妆模拟器进行化妆模拟时的、按每帧的动作的流程图。
图9是表示本发明的实施方式1的补充(7)中的化妆模拟器进行化妆模拟时的、按每帧的动作的流程图。
图10是表示本发明的实施方式2中的化妆模拟器的、按每帧的动作的流程图。
图11是表示本发明的实施方式2中的化妆模拟器进行化妆模拟时的、按每帧的动作的流程图。
图12是表示本发明的实施方式2的补充(2)中的化妆模拟器进行化妆模拟时的、按每帧的动作的流程图。
图13是表示本发明的实施方式2中的平均面部特征点位置的重新计算步骤的流程图。
图14是表示与模式切换相对应的阶段的图。
图15中(a)表示在帧图像Fx和帧图像Fx+m中检测到的特征点群。图15中(b)表示规定帧图像Fx和帧图像Fx+m之间的特征点的变换的变换矩阵。
图16中(a)表示在帧图像Fx和帧图像Fx+m中存在的多个特征点的图。图16中(b)是变换矩阵的一例。图16中(c)表示针对静止图像描绘了手涂形象的状况的图。
图17是表示在动作模式从确认模式切换到操作模式的情况下、到成为确认模式的基础的静止图像得以确定为止的过程的图。
图18是表示受理与操作模式下的化妆处理有关的输入的流程图。
具体实施方式
《发明人得到的见解》
在进行实时处理的化妆模拟器中，利用朝向用户的摄像机进行摄像，对拍摄到的用户的图像实施图像处理并显示到显示器上。在此，用户为了进行化妆模拟，需要操作与显示器一体化的触摸面板或另行设置的操作面板等，选择口红、腮红、睫毛膏等化妆品而对面部进行涂覆操作等。因此，在操作中面部朝向或视线会转移到操作面板或显示器，无法取得正面朝向摄像机的图像。对于这样的面部朝向或视线从摄像机偏离的图像，特征点的检测精度下降，所以因特征点的误检测而化妆项目的位置偏离，化妆模拟品质可能会下降。
此外，在实时处理中，有时会发生依存于硬件的处理能力的延迟。化妆处理是以运动图像的帧为单位进行的，因此至少产生1帧的延迟。并且，由于要进行特征点的检测处理、化妆组件的变形处理和合成处理，有时会产生0.1秒以上的延迟。这种情况下，用户试图对显示器上的自身图像进行触摸操作时，显示器上的自身图像比用户自身的动作更晚地再现，所以用户感到仿佛存在预想外的动作，难以触摸到自身图像上的意图中的位置。
作为解决该课题的方法，在进行与化妆有关的操作等时，可以考虑显示静止图像。作为切换运动图像显示和静止图像显示的方法，有专利文献3所公开的方法，以摄像操作为契机，从运动图像显示切换到静止图像显示。
作为用于进行与化妆有关的操作的静止图像，朝向正面且视线朝向摄像机的图像是适合的。这是因为，如上述那样容易检测特征点，对用户来说也容易操作。但是，通过用户的摄像操作而拍摄了静止图像的情况下，并不一定能得到这样的图像。这是因为，为了进行摄像操作，可能会发生视线或面部的方向朝向操作面板、或者为了进行操作而改变姿势的情况。
因此，发明人们得到了如下的见解：用户进行了切换到静止图像显示的操作后，继续拍摄运动图像，检测构成该运动图像的各帧的特征点，如果得到了适合作为用于进行与上述的化妆有关的操作的静止图像，则将该帧作为静止图像而设为用于化妆处理的处理图像。由此，不被制约为用户刚操作的时刻之后，能够基于适合化妆处理的图像来实施模拟。
《实施方式》
以下参照附图说明本发明的实施方式。
《实施方式1》
＜结构＞
图1中示出了本实施方式的化妆模拟器的框图。化妆模拟器1具备：摄像机2、特征点检测部11、帧存储器12、控制部13、图像处理部14和触摸面板显示器3。
摄像机2由摄像光学系统(未图示)、摄像元件(未图示)、A/D变换电路(未图示)等构成。摄像光学系统由进行对焦控制的对焦透镜和由快门/光圈构成的曝光控制部等构成。也可以具备进行缩放动作的缩放透镜。摄像元件是由CCD传感器或CMOS传感器构成的光电变换元件，拍摄由摄像光学系统形成的被摄体像而输出影像信号。A/D变换电路是将从摄像元件输出的作为模拟信号的影像信号变换为数字信号的变换器。从A/D变换电路输出的数字数据成为作为摄像机2的输出的摄像图像。摄像机2将作为运动图像的数字数据向特征点检测部11以构成数字数据的帧图像为单位进行输出。
特征点检测部11对于构成从摄像机2输出的作为运动图像的数字数据的每个帧图像进行面部的检测，然后检测眼睛的轮廓、鼻子的轮廓、嘴的轮廓、面部的轮廓等，将其位置信息作为特征点，输出到控制部13和图像处理部14。特征点检测部11首先将作为运动图像的数字数据以帧单位变换为纵M像素×横N像素的图像。接着，利用专利文献1、专利文献2等公开的方法，首先从眼睛、鼻子、嘴、轮廓、头发等检测面部的区域，然后对于作为面部的部分(parts)的眼睛、鼻子、嘴、轮廓等分别检测特征点。特征点检测部11将检测到的特征点的坐标输出到控制部13。
此外，特征点检测部11从控制部13接受了图像输出指示后，将从摄像机2输出的帧图像转发到帧存储器。
帧存储器12接受从特征点检测部11输出的帧图像，作为处理图像保持。帧存储器12将保持的处理图像输出到图像处理部14。帧存储器12例如通过DRAM、闪存器等半导体存储器件、HDD等磁存储器件等的存储器件来实现。
控制部13管理化妆模拟器1的动作模式，并且从用户接受图像处理的内容并保持。具体地说，管理当前的动作模式是确认模式还是操作模式，并且从用户接受动作模式的切换指示。此外，是操作模式的情况下，管理处理图像是否已确定，在未确定的情况下，根据特征点检测部11输出的特征点的坐标，判断当前处理中的帧图像是否适合作为处理图像。此外，是操作模式且操作图像已确定的情况下，接受与化妆处理相关的用户的输入，并反映到对于以后的帧图像的图像处理中。
图像处理部14使用控制部13输出的图像处理指示和特征点检测部11输出的特征点坐标，对于帧存储器12保持的处理图像进行图像处理，并将结果输出到触摸面板显示器3。
触摸面板显示器3是由LCD(液晶显示器：Liquid Crystal Display)、PDP(等离子显示面板：Plasma Display Panel)、有机EL等构成的显示器件，并且也是通过静电电容方式、红外线方式等的触摸传感器进行位置检测的位置输入器件。触摸面板显示器3将图像处理部14输出的图像显示到显示器件，并且在用户使用触摸传感器进行输入的情况下，将其坐标输入到控制部13。
上述的特征点检测部11、控制部13、图像处理部14分别例如通过处理器等的可编程器件和软件、或者FPGA(场可编程门阵列：Field Programmable Gate Array)、ASIC(特定用途集成电路：Application Specific Ingegrated Circuit)等硬件来实现。
＜概要＞
说明化妆模拟器1的外观和动作的概要。
图2(a)中示出了化妆模拟器1的外观。用户位于化妆模拟器1前，由位于触摸面板显示器3上的摄像机2拍摄用户自身的图像。
图2(b)中示出了触摸面板显示器3上显示的图像。触摸面板显示器3上显示的内容被分为图像显示部分和操作显示部分，该图像显示部分显示对由摄像机2摄影的用户的图像进行图像处理而得到的图像，该操作显示部分显示用于经由触摸传感器接受用户的操作的导引。
化妆模拟器1的动作模式包括“确认模式”和“操作模式”。在“确认模式”的情况下，化妆模拟器1将对由摄像机2摄影的用户的图像进行图像处理而得到的图像实时地作为运动图像显示在画面显示部分上。因此，图像处理后的图像、即模拟结果被显示在用户的眼前，所以化妆模拟器1成为具有化妆功能的数字镜，用户能够像观看镜中显示的自身的面部那样确认化妆模拟后的自身的面部。另一方面，在“操作模式”的情况下，化妆模拟器1经由触摸面板显示器3的触摸传感器接受用户的操作。用户选择操作显示部分上显示的化妆项目(口红、腮红等)，并且还操作/选择颜色、涂覆形状、涂覆位置等。涂覆形状或涂覆位置也可以对于画面显示部分上显示的用户自身的图像来指定。用户的操作/选择信息经由触摸面板显示器3被输入到控制部13，控制部13根据该操作/选择信息向图像处理部14指示图像处理内容的变更。由此，对画面显示部分上显示的用户自身的图像进行的化妆，与用户的操作/选择信息相应地即时变更。因此，用户能够即时地确认化妆的结果，能够轻松地进行化妆模拟。
＜模式的切换＞
使用图3说明动作模式的设定动作。
化妆模拟器1将用于设定动作模式的GUI(图形用户界面)显示在触摸面板显示器3的操作显示部分上(S1)。显示的GUI例如是表示“确认模式”的“再现”的图标和表示“操作模式”的“暂时停止”的图标。化妆模拟器1通过用户的指示、例如用户对触摸面板显示器3上的模式切换图标进行触摸，开始步骤S1的动作。
接着，化妆模拟器1确认是否由用户经由触摸面板显示器3的操作显示部分进行了选择动作模式的输入(S2)。另外，这时，也可以通过使用户选择的图标的颜色反转、或者使图标框强调显示等方法，向用户进行指示内容的确认。
来自触摸面板的输入是选择“确认模式”的情况下(S3：确认模式)，化妆模拟器1将动作模式设定为确认模式(S4)。具体地说，在控制部13的动作模式寄存器中写入表示动作模式是“确认模式”的信息。
另一方面，来自触摸面板的输入是选择“操作模式”的情况下(S3：操作模式)，化妆模拟器1将动作模式设定为操作模式(S5)。具体地说，在控制部13的动作模式寄存器中写入表示动作模式是“操作模式”的信息。
来自触摸面板的输入是选择“确认模式”或“操作模式”的某一个模式的情况下，在步骤S4或S5之后，将处理图像决定标志初始化(S6)。具体地说，将控制部13的处理图像决定寄存器的内容删除。这是为了防止在帧存储器中保持着图像的情况下无法向帧存储器新写入图像的事态。详细情况留待后述。
另外，在未由用户进行选择动作模式的输入的情况下(S2：否)，化妆模拟器1结束动作模式设定。
＜帧单位的动作＞
接下来，使用图4说明帧单位的动作。另外，在此说明不进行图像处理(化妆处理)而只作为数字镜工作的情况。
化妆模拟器1的摄像机2输出对用户进行摄影而得到的运动图像的1个帧图像(静止图像)(S11)。
接着，化妆模拟器1的控制部13判定化妆模拟器1的动作模式(S12)。具体地说，控制部13从动作模式寄存器读出设定信息。
在动作模式是确认模式的情况下，化妆模拟器1将帧存储器12用摄像机2输出的静止图像覆盖(S13)。具体地说，控制部13向特征点检测部11持续发送图像输出指示，帧存储器12经由特征点检测部11接受摄像机2输出的静止图像，并保存在自身中。由此，由摄像机2摄像的最新的帧图像原样保存在帧存储器中。
另一方面，动作模式是操作模式的情况下，进行以下的处理。
首先，化妆模拟器1的控制部13判定处理图像是否已决定(S14)。具体地说，控制部13确认处理图像决定寄存器中是否保存着表示处理图像已决定的信息。
如果处理图像已决定(S14：是)，则化妆模拟器1对该帧结束处理。这种情况下，控制部13不向特征点检测部11发送图像输出指示，帧存储器中原样保持着作为1帧以上之前的帧图像的、已决定的处理图像。
处理图像不是已决定的情况下(S14：否)，化妆模拟器1的特征点检测部11从帧图像检测面部的特征点(S15)。
使用图5说明步骤S15的处理。首先，特征点检测部11从帧图像检测面部并确定其区域，将其坐标作为特征点输出(S151)。接着，特征点检测部13从面部的区域检测眼睛、鼻子、嘴、眉毛等面部的各部分，将用于确定其轮廓线的坐标作为特征点输出(S152)。
回到图4进行说明。接着，化妆模拟器1的控制部13确认所检测到的特征点的位置(S16)。具体地说，控制部13从面部的特征点位置确认面部的朝向或状态，作为该帧图像是否适合成为化妆处理等的图像处理的基础的图像的指标。
使用图6说明步骤S16的处理的一例。在此，从闭眼的图像不适合作为处理图像这一观点出发，确认眼睛的开闭状态。如图7所示，在步骤S15中，作为眼睛的特征点，取得眼头A(Xa，Ya)、眼尾B(Xb，Yb)、眼睛的上端C(Xc，Yc)、眼睛的下端D(Xd，Yd)这4个点。
首先，计算眼睛的水平方向的大小(S161)。眼睛的水平方向的大小Lh如以下所示，能够通过眼头A和眼尾B之间的距离来计算。
[数1]
接着，计算眼睛的垂直方向的大小(S162)。眼睛的垂直方向的大小Lv如以下所示，能够通过眼睛的上端C和眼睛的下端D之间的距离来计算。
[数2]
接着，将眼睛的垂直方向的大小标准化(S163)。具体地说，将眼睛的垂直方向的大小Lv除以眼睛的水平方向的大小Lh，得到标准化的眼睛的垂直方向的大小Lvn＝Lv/Lh。
最后，根据标准化的眼睛的垂直方向的大小Lvn是否超过规定的阈值，确认眼睛的开闭状态(S164)。
回到图4继续说明。化妆模拟器1的控制部13基于步骤S16的特征点位置确认的结果，判定是否将该帧图像决定为处理图像(S17)。在此，如果上述的眼睛的开闭状态是“睁开”状态，则将该帧图像决定为处理图像，否则不将该帧图像决定为处理图像。
将该帧图像决定为处理图像的情况下(步骤S17：是)，化妆模拟器1的控制部13设置处理图像决定标志(S18)。具体地说，在处理图像决定寄存器中保存表示处理图像已决定的信息。由此，在动作模式切换为确认模式而处理图像决定标志被清除之前，帧存储器不会被以后的帧图像覆盖，所以该帧图像仍然作为处理图像保存在帧存储器中。
最后，将该帧图像作为处理图像保存到帧存储器(S19)。由此，该帧图像成为处理图像，所以用户能够使用适于操作的静止图像来进行模拟处理的设定变更等。
另一方面，在不将该帧图像决定为处理图像的情况下(步骤S17：否)，化妆模拟器1将帧存储器12用摄像机2输出的静止图像覆盖(S13)。具体地说，控制部13向特征点检测部11发送图像输出指示，帧存储器12保存帧图像。由此，由摄像机2摄像的最新的帧图像被原样保存到帧存储器，从下一帧以后的帧图像开始重新选择处理图像。
＜化妆模拟时的动作＞
图8表示进行化妆模拟的情况的化妆模拟器1的动作。另外，关于与图3同样的动作，附加相同的步骤编号并省略说明。
处理图像被保存到帧存储器之后，特征点检测部13从帧存储器读出处理图像，检测眼睛、鼻子、嘴、眉毛等的特征点或轮廓的特征点等成为化妆模拟的对象的面部部位的特征点(S20)。
接着，图像处理部15进行化妆处理(S21)。化妆处理的内容在操作模式中使用触摸面板显示器3的操作部分和图像显示部分从用户接受。例如，在操作模式中，用户选择了图像显示部分上显示的口红A并向嘴唇涂抹的情况下，进行向嘴唇涂口红A的化妆处理。这种情况下，根据步骤S20中检测出的嘴的特征点确定嘴唇的位置，制作口红A的图层并与处理图像合成。
最后，在触摸面板显示器3上显示由图像处理部15生成的处理后的图像(S22)。
＜总结＞
根据上述的构成，即使用户在任意的时刻设定为操作模式，通过进行特征点位置确认S105，都能够不受到眨眼等影响而得到对于化妆模拟良好的图像。因此，用户能够轻松地确认化妆模拟结果，所以能够减少尝试实际的化妆品的工夫。
＜补充＞
(1)在步骤S2中，通过使用户选择的图标的颜色反转、或者使图标框强调显示等的方法来向用户进行指示内容的确认，但是也可以通过特定的声音来通知该动作模式的变化。
(2)在步骤S1及S2中，化妆模拟器1将GUI显示在触摸面板显示器3上而确认用户的输入，但是步骤S2中的来自用户的指示不限于向触摸面板显示器3的输入，也可以通过鼠标等其他输入器件进行输入，也可以是能够从摄像机1摄像的图像识别的手势动作。
此外，也可以如下那样设定动作模式。例如，将向触摸面板显示器3的图像显示部分的触摸操作设为指示动作模式变更的输入，如果是向图像显示部分的触摸操作，则从操作模式切换到确认模式、或者从确认模式切换到操作模式。
(3)在步骤S1中，用户通过对触摸面板显示器3的图像显示部分进行触摸来开始动作模式设定的处理，但是例如也可以检测特定的场景而自动地进行动作模式设定。具体地说，用户突然移动时、或者出现阴影而突然变暗时等发生了环境变化的情况下，通过暂时切换为操作模式，能够防止显示不适当的图像。这种情况下，可以确认环境的稳定而自动恢复到确认模式，也可以通过用户指示返回确认模式。
(4)在步骤S16中，在眼睛的垂直方向的大小的标准化时利用了眼睛的水平方向的大小，但是也可以使用其他值、例如面部的大小来进行眼睛的垂直方向的大小的标准化。
此外，眼睛的水平方向的大小Lh也可以简单地作为Lh＝Xa－Xb，同样，眼睛的垂直方向的大小Lv也可以简单地作为Lv＝Yd－Yc。
(5)在步骤S16中，在眼睛的开闭确认中使用了标准化的眼睛的垂直方向的大小，但是例如也可以如下那样进行眼睛的开闭确认。即，根据眼睛的特征点位置推测黑眼珠的位置，通过与黑眼珠位置相当的部位附近的明亮度或颜色来确认。可以将连结眼头和眼尾的直线与连结眼睛上端和眼睛下端的直线的交点位置推测为黑眼珠位置。作为眼睛的开闭判断，在交点位置的像素的亮度暗或颜色黑的情况下判断为睁眼，在亮度亮或颜色为皮肤色的情况下判断为闭眼。
(6)在步骤S16、步骤S17中，作为帧图像是否适合成为化妆处理等的图像处理的基础的图像的指标，确认了眼睛的开闭状态，但是例如也可以确认嘴附近，检测笑脸度并将笑脸的状态作为指标。这种情况下，例如可以通过嘴角是否翘起等来进行判定。此外，作为指标也可以使用多个特征。
(7)在步骤S20中，由特征点检测部11检测处理图像的特征点，但是步骤S20可以是与步骤S15完全相同的处理，或者也可以仅检测步骤S21的化妆处理所需的特征点。此外，也可以预先保持步骤S15的特征点检测的结果，而在步骤S21的化妆处理中使用所保持的特征点。图9中示出了流程图。在步骤S23中，保持步骤S15的结果，在步骤S21中，取代步骤S20的结果而使用。由此，在帧存储器中保持着处理图像的情况下，对于同一处理图像不需要重复实施步骤S20的特征点检测，能够减少处理量。
(8)在实施方式1中，在触摸面板显示器3上仅显示图像显示部分和操作部分，但是例如也可以一并显示推荐的化妆信息等。由此，能够进一步提高用户的便利性。
《实施方式2》
在实施方式1中，说明了对于操作模式下使用的处理图像以帧处理单位、并且仅进行1次特征点位置的确认的情况，在本实施方式中，说明从多个帧图像对特征点位置进行插补的情况。
图10中示出了表示本实施方式的动作的流程图。在图10中，对于与图4相同的动作附加相同的步骤编号，并省略说明。
＜特征点位置的过滤运算＞
在步骤S31中，控制部13确认是否经过了预先设定的指定时间。具体地说，确认是否处理了“指定时间×帧速率”的帧图像。例如，指定时间为2秒、帧速率为每秒60帧(60fps)的情况下，确认是否处理了120帧。在此，指定时间的计数开始是紧前的指定时间经过时或动作模式切换为操作模式时中的较迟一方。具体地说，控制部13具备计数器，计数器在步骤S31为“是”的情况下、以及在步骤S6中初始化。
步骤S31为“否”的情况下，保持帧图像的特征点位置(S32)，进行与处理图像未决定的情况(S17：否)同样的处理。另一方面，步骤S31为“是”的情况下，在步骤S16中确认特征点位置，在步骤S17中判断是否作为处理图像保持。
处理图像已决定的情况下(S17：是)，在步骤S19中将处理图像保存到帧存储器之后，计算特征点位置的平均(S34)。
以下说明步骤S34的详细情况。首先，对于步骤S32中保持的特征点位置，按每个特征点计算平均值。例如，按照图7进行说明，计算所保持的多个眼头A的坐标的平均值，同样地计算眼尾B的坐标的平均值、眼睛的上端C的坐标的平均值、眼睛的下端D的坐标的平均值。在将第n帧的眼头A的坐标设为(Xan，Yan)时，平均值(Xaave，Yaave)由下式计算。
[数3]
由此，特征点的位置在时间方向上平均化，能够抑制特征点的误检测或特征点的偏移等带来的噪音性的特征点的影响，得到稳定的特征点位置。
＜化妆模拟＞
图11示出了进行化妆模拟的情况的流程图。对于与图4、图8及图9相同的处理使用相同的步骤编号，并省略说明。
在操作模式下，在处理图像已决定的情况下，使用步骤S34中计算的特征点位置的平均，进行步骤S21的化妆处理。例如，在化妆处理是附加假睫毛的情况下，将上述的眼头A、眼尾B、眼睛的上端C、眼睛的下端D各自的坐标的平均值作为眼睛的特征点的坐标来检测眼睑及睫毛的位置，附加假睫毛。
通过上述处理，特征点位置稳定，因此也能够使化妆模拟稳定化。
＜补充＞
(1)在步骤S34中，进行坐标的时间方向上的加法平均，但是过滤运算不限于这种情况，例如也可以像中值过滤器那样，对于在时间上位于前后的特征点位置仅选择中央值。
(2)在步骤S34中计算了特征点位置的平均，但是也可以还进行重新计算。图12表示帧处理的流程图。在步骤S34中计算特征点位置的平均之后，重新计算特征点位置的平均(S35)。
使用图13说明步骤S35的处理。对于保持的各特征点实施Loop1。在Loop1中，对于指定期间内的各帧图像实施Loop2。在Loop2中，比较步骤S34中计算的特征点的平均和该特征点的位置，判断差异是否为规定以上(S351)。如果差异为规定以上，则将该特征点除外(S351)。由此，对于各特征点，能够将偏离平均的特征点从过滤的对象除外。然后，在Loop2、Loop1结束后，计算未被除外的特征点位置的平均(S353)。
通过这些处理，能够进一步实现特征点位置的稳定化。
《实施方式3》
在本实施方式中，详细说明操作模式和确认模式。
图14表示与模式切换相应的3个阶段。左侧的阶段ph1是刚切换为操作模式之后的阶段。如第1段所示，该阶段通过由用户对触摸面板显示器3进行表示开始操作模式的操作而开始，在触摸面板显示器3上实时地显示构成运动图像的各个帧图像。如上述那样，如果显示的帧图像是适于作为处理图像的图像，则将该帧图像作为处理图像选择，决定成为化妆操作的对象的静止图像。
正中的阶段ph2是接受以作为处理图像的静止图像为基础的化妆操作的阶段。Ph2的第1段表示模式被设定为操作模式。第2段表示进行化妆操作的状况。该第2段中的帧图像Fx是在阶段ph1中选择的作为静止图像的处理图像。在该阶段中，作为静止图像捕捉的自身图像即帧图像Fx被显示在触摸面板显示器3的图像显示部分，由用户进行用手指在该触摸面板显示器3的表面涂画的操作。通过该手指涂画操作，眉毛的手涂形象、腮红的手涂形象、口红的手涂形象被合成到静止图像。
右端的阶段ph3表示在操作模式下的手涂操作之后、进行向确认模式的切换的状况。在此，帧图像Fx+m表示在确认模式下显示的运动图像中的任意一张帧图像。在该阶段，对于后续的帧中的与面部的眉毛、面颊、嘴唇对应的部位，匹配与在阶段ph2进行的操作对应的眉毛的手涂形象、腮红的手涂形象、口红的手涂形象。
上述的手涂形象的匹配，通过从各帧提取规定各部位的轮廓的特征点，并求出将帧图像中存在的特征点的群变换为其他帧图像的特征点的变换矩阵来进行。
如上述那样，在步骤S20中，从帧图像Fx、帧图像Fx+m检测由多个特征点构成的特征点群(或者在步骤S23中保持在步骤S15中检测到的特征点群)。这些特征点规定对象物中的部位的轮廓形状。化妆模拟器1在作为静止图像设定的帧图像Fx和后续的帧图像Fx+m中进行对应点检索，从而将特征点建立对应。在此，帧图像间的对应点检索通过对各像素计算基于亮度值等的相关值，并检测该相关值最高的像素来进行。如果对于静止图像中出现的某个部位进行了基于手涂的化妆操作，则将操作的手涂形象匹配到后续的帧图像中的通过对应点探索与操作的部位建立了对应的部位。
图15(a)表示在帧图像Fx和帧图像Fx+m中检测到的特征点群。
图15(a)中的特征点群gp1、gp2、gp3、gp4取入帧图像Fx中的面部图像的代表性部位(眉毛、嘴唇、面颊)，规定该部位的轮廓形状。图中的特征点群gp11、gp12、gp13、gp14取入帧图像Fx+m中的面部图像的代表性部位，规定该部位的轮廓形状。箭头sr1、sr2、sr3、sr4示意性地示出在帧图像Fx中的特征点和帧图像Fx+m中的特征点之间进行的对应点检索的过程。通过该对应点检索，规定了规定帧图像Fx中的眉毛的特征点群和规定帧图像Fx+m中的眉毛的特征点群的对应关系。
图15(b)表示规定帧图像Fx和帧图像Fx+m之间的特征点的变换的变换矩阵。图15(b)中的H1、H2、H3、H4表示规定对应的部位间的特征点变换的变换矩阵。利用这些变换矩阵，将通过对于帧图像Fx的手涂操作得到的手涂形象匹配到帧图像Fx+m。由此，手涂形象根据帧图像Fx+m中的特征点的出现方式变形而被显示。
图16(a)的上段左侧存在的多个特征点i1、i2、i3、i4、…、i8是对帧Fx的面部图像中的眉毛的形状赋予特征而得到的。图16(a)的上段右侧存在的多个特征点j 1、j2、j3、j4、…、j8是对帧Fx+m的面部图像中的眉毛的形状赋予特征而得到的。
图16(b)中的变换矩阵H是将帧图像Fx中的特征点i1、i2、i3、i4、…、i8变换为帧Fx+m的特征点j1、j2、j3、j4、…、j8的矩阵，由8×8的矩阵分量构成。
在作为处理图像的静止图像确定时，从该静止图像提取面部的各部位的特征点，并且在确认模式下，每当后续的各个帧图像成为处理图像，都提取新的处理图像的特征点。并且，求出在静止图像的特征点和新的处理图像的特征点之间规定两者的关系的变换矩阵，通过该变换矩阵将手涂形象匹配到各帧图像。由此，对于确认模式下的后续的帧图像实现化妆模拟。
图16(c)表示对于静止图像描绘了手涂形象的状况。图中的轨迹trk1是用手指涂抹触摸面板显示器3的图像显示部分上描绘的面部而成的轨迹，该轨迹被作为手涂形象确定。正中的箭头cv1示意性地表示使用了图16(b)所示的变换矩阵H的手涂形象的变换。图中的手涂形象trk2是使用该变换矩阵H进行变换后合成到帧图像Fx+m的手涂形象。如以上那样，通过进行使用了变换矩阵H的变换，用手指涂抹静止图像中的面部图像而得到的手涂形象被匹配到帧图像Fx+m。
图17表示在动作模式从确认模式切换到操作模式的情况下、到成为确认模式的基础的静止图像被确定为止的过程。第1段表示动作模式的设定的迁移，第2段表示从摄像机2输入的帧图像，第3段表示按照特征点检测的面部零件检测，第4段表示帧存储器12中保存的图像。时刻t1是动作模式从确认模式切换到操作模式的时刻。
帧图像Ft1是在时刻t1捕捉的帧图像。时刻t1是用户对触摸面板显示器3的操作部分进行操作的瞬间，所以在相应的帧图像Ft1中，面部并未朝向正面。因此，在步骤S16的特征点位置确认中，检测到视线方向存在异常，在步骤S17中不决定为处理图像。
帧图像Ft5是捕捉到用户闭眼的瞬间的帧图像。在步骤S16的特征点位置确认中，能够检测到用户闭眼，所以在步骤S17中不决定为处理图像。
帧图像Ft9是在时刻t1以后首次捕捉到用户朝向摄像机正面的帧图像。在步骤S16的特征点位置确认中，能够检测到用户朝向正面并且睁眼，所以在步骤S17中决定为该帧图像是应该作为处理图像的静止图像。因此，帧图像Ft9被保持在帧存储器12中，触摸面板显示器3的图像显示部分从实时运动图像显示切换到显示帧图像Ft9的静止图像显示，成为操作模式的基础而接受用户的手涂操作。
图18是表示与操作模式中的化妆处理相关的输入受理的流程图。在操作模式中应该作为处理图像的静止图像确定后(步骤S17：是)，转移到步骤S101～步骤S103的循环。该循环用于判断是否发生了向化妆项目的触摸(S101)、是否发生了向静止图像中的面部的触摸(S102)、是否发生了向确认模式的切换(S103)。如果步骤S101为“是”，则选择被触摸的该化妆项目(S104)。此外，如果发生了向面部图像的触摸，则确定被触摸的部位(S105)，判定指涂操作是否继续(S106)。如果继续，则跟随操作而继续进行与手涂形象对应的描绘(S107)。操作结束后，将通过到此为止的操作而描绘的手涂形象作为化妆模拟的设定而保持(S108)。
如果发生了从操作模式向确认模式的切换，则对于后续的各个帧图像，在步骤S21中按照在步骤S108中保持的设定来执行化妆模拟。具体地说，从后续的帧图像提取面部的特征点(步骤S20)，按照该特征点确定帧图像中的匹配部位，对手涂形象进行匹配。
＜总结＞
根据上述构成，用户仅在必要的情况下通过选择化妆工具、然后对触摸面板显示器上的自身的面部图像进行手涂操作这样的简单操作，就能够确认进行了期望的化妆的状态的自身的面部。因此，不必实际进行化妆，就能够尝试各种化妆，能够建议出对用户来说最合适的化妆品。
《其他变形例》
(1)在实施方式1～3中，化妆模拟器1具有摄像机2和触摸面板显示器3，但是本发明不限于此。例如，化妆模拟器1也可以不具备摄像机2，而从外部的摄像机等取得图像。此外，例如也可以取代触摸面板显示器3，而具备仅具有显示功能的显示器和显示器之外的输入器件。这种情况下，显示器可以仅显示画面显示部分。
(2)在实施方式3中，与化妆有关的指示是手涂指示，但是本发明不限于此。例如，也可以对于已经进行的化妆指示接受变更化妆品颜色的指示。由此，能够容易地比较仅颜色不同的同一部位使用的化妆品彼此。
(3)在实施方式1～3中，进行了对于面部的化妆处理的模拟，但是本发明不限于此。例如，也可以从上半身或全身像检测肩、腕、胸、腰等的特征点而进行穿衣模拟。
此外，被摄体不限于人物，例如也可以从汽车的外观像检测顶棚、前窗玻璃、后视镜等的特征点，进行轮胎或空气动力学组件等的安装模拟、或涂装变更模拟。由此，仅通过包括正面及侧面等在内绕着被摄体的周围进行摄影，就能够进行模拟。
(4)基于上述实施方式说明了本发明，但是本发明当然不限于上述的实施方式。以下的情况也包含在本发明中。
上述的各装置具体地说是由微处理器、ROM、RAM、硬盘单元、显示器单元、键盘、鼠标等构成的计算机系统。在所述RAM或硬盘单元中存储着计算机程序。通过由所述微处理器按照所述计算机程序来工作，各装置实现其功能。在此，计算机程序是为了实现规定的功能将表示对于计算机的指令的命令代码组合多个而构成的程序。
构成上述的各装置的构成要素的一部分或全部也可以由1个系统LSI(LargeScale Integration：大规模集成电路)构成。系统LSI是将多个构成部集成在1个芯片上而制造的超多功能LSI，具体地说是包括微处理器、ROM、RAM等而构成的计算机系统。在所述RAM中存储着计算机程序。通过由所述微处理器按照所述计算机程序来工作，系统LSI实现其功能。
构成上述的各装置的构成要素的一部分或全部也可以由可向各装置装拆的IC卡或单体的模块构成。所述IC卡或所述模块是由微处理器、ROM、RAM等构成的计算机系统。所述IC卡或所述模块也可以包括上述的超多功能LSI。通过由微处理器按照计算机程序来工作，所述IC卡或所述模块实现其功能。该IC卡或该模块也可以具有防篡改性。
本发明也可以是上述所示的方法。此外，也可以是通过计算机实现这些方法的计算机程序，还可以是由所述计算机程序构成的数字信号。
此外，本发明也可以将所述计算机程序或所述数字信号记录在计算机可读取的记录介质，例如软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray(注册商标)Disc)、半导体存储器等。此外，也可以是记录在这些记录介质中的所述数字信号。
此外，本发明也可以将所述计算机程序或所述数字信号经由电子通信线路、无线或有线通信线路、以因特网为代表的网络、数据广播等来传送。
此外，本发明也可以是具备微处理器和存储器的计算机系统，所述存储器存储上述计算机程序，所述微处理器按照所述计算机程序来工作。
此外，也可以通过将所述程序或所述数字信号记录到所述记录介质并输送，或者将所述程序或所述数字信号经由所述网络来输送，从而由独立的其他计算机系统来实施。
另外，也可以将上述实施方式及上述变形例分别组合。
(补充)
以下说明实施方式的图像处理方法、图像处理装置、图像处理程序的构成及效果。
(1)实施方式的图像处理方法是对输入的运动图像进行图像处理并显示图像处理的结果的系统中的图像处理方法，包括：判定所述系统的动作模式设定是显示静止图像的操作模式和显示运动图像的确认模式之中的哪一个模式的判定处理、以及与所述判定处理的结果相应的分模式处理，所述操作模式下的所述分模式处理，包括从构成所述运动图像的多个帧图像中选择适当地表现了图像处理的对象物的帧图像并作为静止图像显示、并且接受与针对所述对象物的图像处理有关的操作的处理，所述确认模式下的所述分模式处理，包括对所述运动图像的各帧进行图像处理并进行显示以供用户确认的处理，所述图像处理针对与在所述操作模式下接受的所述操作有关且在所述运动图像的各帧中出现的对象物进行。
此外，实施方式的图像处理装置，是对运动图像输入进行图像处理并显示图像处理的结果的图像处理装置，包括：动作模式判定部，判定所述图像处理装置的模式设定是显示静止图像的操作模式和显示运动图像的确认模式之中的哪一个模式；图像处理部，进行与所述动作模式判定部的判定结果相应的分模式处理；以及显示部，显示由所述图像处理部进行了图像处理后的图像，在所述操作模式中，所述图像处理部从构成运动图像的多个帧图像中选择适当地表现了图像处理的对象物的静止图像并作为图像处理的结果输出，并接受与针对所述对象物的图像处理有关的操作，在所述确认模式下，在针对与在所述操作模式下接受的所述操作有关、且在所述运动图像的各帧中出现的对象物进行了所述操作的情况下，所述图像处理部对后续的帧图像中出现的对象物进行图像处理，以供用户确认。
此外，实施方式的图像处理程序，是在对运动图像输入进行图像处理并显示图像处理的结果的系统中使处理器进行图像处理的程序，所述图像处理包括：所述系统的模式设定是显示静止图像的操作模式和显示运动图像的确认模式之中的哪一个模式的判定、以及与判定结果相应的分模式处理，所述操作模式下的所述分模式处理，包括从构成运动图像的多个帧图像中选择适当地表现了图像处理的对象物的静止图像并作为静止图像显示、并且接收与针对所述对象物的图像处理有关的操作的处理，所述确认模式下的所述分模式处理包括，对所述运动图像的各帧进行图像处理并显示以供用户确认的处理，所述图像处理针对与在所述操作模式下接受的所述操作有关、且在所述运动图像的各帧中出现的对象物进行。
由此，能够将适当地表现了图像处理的对象物的静止图像作为画面操作中的处理图像适当地选择。
(2)此外，实施方式的上述(1)的图像处理方法也可以是，所述系统将构成运动图像的1个帧图像保存到帧存储器，从而保持成为图像处理的对象的处理图像，将所述帧存储器中保存的帧图像作为所述分模式处理的对象，在所述系统的动作模式设定是确认模式的情况下，在输入了构成运动图像的帧图像的情况下，使用该帧图像将所述帧存储器中保存的处理图像覆盖，从而进行处理图像的更新，在所述系统的动作模式设定是操作模式的情况下，将被选择为适当地表现了对象物的静止图像保存到所述帧存储器，在从向所述帧存储器保存所述静止图像起到所述系统的模式设定被切换为确认模式为止的期间，不更新所述帧存储器中保存的图像。
由此，能够仅将处理图像保存到帧存储器内，不再需要保持无用的帧图像。
(3)此外，实施方式的上述(2)的图像处理方法也可以是，在所述系统的动作模式设定是操作模式的情况下，所述分模式处理还包括以输入的帧图像为对象的特征点位置的检测、以及确认特征点位置的特征点位置的确认，根据所述特征点位置的确认结果，判断当前输入的帧图像中是否适当地出现了对象物。
由此，能够可靠地辨别帧图像中是否适当地表现了对象物。
(4)此外，实施方式的上述(3)的图像处理方法也可以是，所述对象物是人的面部，在所述特征点位置的检测中，检测面部的眼睛的特征点，在所述特征点位置的确认中，根据检测到的所述眼睛的特征点的位置确认眼睛的开闭状态，当所述眼睛的开闭状态为睁眼状态时，将所述当前输入的帧图像作为所述静止图像保持在所述帧存储器中，当所述眼睛的开闭状态为闭眼状态时，使用后续的帧图像更新所述帧存储器。
由此，能够防止将闭眼的图像作为处理图像。
(5)此外，实施方式的上述(3)的图像处理方法也可以是，所述对象物是人的面部，在所述特征点位置的检测中，检测面部的朝向，在所述特征点位置的确认中，根据检测到的所述面部的朝向确认面部是否朝向正面，在所述面部的朝向是朝向正面的情况下，将所述当前输入的帧图像作为所述静止图像保持在所述帧存储器中，在所述面部的朝向不是朝向正面的情况下，使用后续的帧图像更新所述帧存储器。
由此，能够防止将未朝向正面的图像作为处理图像。
(6)此外，实施方式的上述(1)的图像处理方法也可以是，与所述操作模式对应的所述分模式处理，包括从所述处理图像检测面部的特征点位置的特征点位置的检测，与所述确认模式对应的所述分模式处理，包括针对所述处理图像中出现的对象物之中的存在于检测到的所述特征点位置的部位实施化妆的化妆处理、以及实施了所述化妆处理的图像的显示。
由此，能够使用处理图像的特征点进行化妆处理。
(7)此外，实施方式的上述(6)的图像处理方法也可以是，所述化妆处理是如下的处理：从用户接受样品颜色的选择，将构成所述处理图像中出现的对象物之中的存在于所述特征点位置的部位的多个像素的值，与选择的所述样品颜色的颜色范围进行匹配。
由此，能够通过简单的指示进行口红或眼影等的涂覆区域根据特征点一目了然的化妆处理。
(8)此外，实施方式的上述(6)的图像处理方法也可以是，所述化妆处理是如下的处理：从用户接受样品颜色的选择、以及针对静止图像中出现的对象物的指涂操作，将构成与指涂操作有关的形状、且由选择的所述样品颜色的像素构成的描绘图案，与处理对象中出现的对象物之中的存在于所述特征点位置的部位进行匹配。
由此，能够进行腮红等的涂覆区域复杂的化妆处理。
(9)此外，实施方式的上述(6)的图像处理方法也可以是，所述特征点规定对象物中的部位的轮廓形状，所述化妆处理通过在作为所述处理图像设定的帧图像和后续的帧图像中进行对应点检索，从而将特征点建立对应，如果对所述处理图像中出现的某个部位进行了手涂操作，则将所述手涂操作的手涂形象与后续的帧图像中的通过所述特征点检索与有关所述手涂操作的部位建立了对应的部位进行匹配。
由此，能够可靠地取得化妆处理和面部的部分的对应。
(10)此外，实施方式的上述(6)的图像处理方法也可以是，与所述操作模式对应的所述分模式处理还包括所述特征点位置的保持，成为所述化妆处理的对象的部位存在于被保持的所述特征点位置。
由此，在操作模式下，能够将作为是否适当地表现了对象物的指标使用的特征点直接用于化妆处理，有利于减少运算量。
(11)此外，实施方式的上述(3)的图像处理方法也可以是，与所述操作模式对应的所述分模式处理，包括预先指定的期间中的特征点位置的保持、以及对保持的指定期间的特征点位置按存在于特征点位置的每个像素进行过滤处理的特征点位置过滤运算，与所述确认模式对应的所述分模式处理，包括将所述处理图像作为输入来检测特征点位置的特征点位置检测，在所述动作模式是操作模式的情况下，使用作为所述特征点位置过滤运算的结果的特征点位置取代通过所述特征点位置检测而检测到的特征点位置来进行特征点位置的确认。
由此，关于作为是否适当地表现了对象物的指标使用的特征点，即使检测精度暂时性地下降，也能够适当地检测特征点。
(12)此外，实施方式的上述(11)的图像处理方法也可以是，通过所述特征点过滤运算进行的过滤处理是平均。
由此，能够通过单纯的运算进行特征点的过滤处理。
(13)此外，实施方式的上述(11)的图像处理方法也可以是，在所述特征点位置过滤运算中，在进行所述过滤处理之后，将所述保持的特征点位置和所述过滤处理后的特征点位置进行比较，将差异大于阈值的特征点位置从所述保持的特征点位置除外，然后再次执行所述过滤处理。
由此，将检测精度差的特征点除外，能够进行精度高的过滤处理。
(14)此外，实施方式的上述(11)的图像处理方法也可以是，包括针对处理图像中出现的对象物之中的由特征点位置指定的部位的化妆处理、实施了化妆处理的图像的显示、以及所述系统的模式的设定，所述化妆处理是如下进行的：从用户接受样品颜色的选择，将构成由特征点位置指定的部位的多个像素的值与选择的样品颜色的颜色范围进行匹配。
由此，能够进行使用过滤处理后的特征点的不易发生位置偏移的化妆处理。
(15)此外，实施方式的上述(1)的图像处理方法也可以是，所述系统的模式的设定由用户进行。
由此，能够根据用户的需要来变更动作模式。
(16)此外，实施方式的上述(15)的图像处理方法也可以是，所述系统的模式的设定通过由用户对所述系统所具备的触摸面板的特定区域进行触摸操作来进行。
由此，能够通过简单的结构接受用户的动作模式变更指示。
(17)此外，实施方式的上述(16)的图像处理方法也可以是，在进行了所述系统的模式的设定时，向用户通知所述模式设定的变更。
由此，用户能够可靠地知道系统的动作模式已变更。
(18)此外，实施方式的上述(17)的图像处理方法也可以是，所述通知通过动作模式的显示来进行。
由此，用户能够视觉地确认系统的动作模式。
(19)此外，实施方式的上述(17)的图像处理方法也可以是，所述通知通过声音输出来进行。
由此，用户不必看着画面，就能够确认系统的动作模式。
工业实用性
本发明的图像处理方法，关于画面操作中的化妆模拟用的处理图像具有适当的选择方法，作为化妆模拟器终端等是有用的。此外，还能够应用于具有化妆模拟功能的数字标牌等的用途。
此外，不限于化妆模拟，作为穿衣模拟等、与人物或物体的外观有关的模拟器也是有用的。
标号说明：
1 化妆模拟器
2 摄像机
11 特征点检测部
12 帧存储器
13 控制部
14 图像处理部
3 触摸面板显示器

Claims (21)

1.一种图像处理方法，是对输入的运动图像进行图像处理并显示图像处理的结果的系统中的图像处理方法，其特征在于，包括：
判定所述系统的动作模式设定是显示静止图像的操作模式和显示运动图像的确认模式之中的哪一个模式的判定处理；以及
与所述判定处理的结果相应的分模式处理；
所述操作模式下的所述分模式处理包括：从构成所述运动图像的多个帧图像中选择适当地表现了图像处理的对象物的帧图像的帧判定处理；以及显示通过所述帧判定处理选择的静止图像，并使用所述静止图像接受与针对所述对象物的图像处理有关的操作的接受处理，
所述确认模式下的所述分模式处理，包括对所述运动图像的各帧进行图像处理并进行显示以供用户确认的处理，所述图像处理针对与在所述操作模式下接受的所述操作有关且在所述运动图像的各帧中出现的对象物进行，
所述帧判定处理为如下处理：在向所述系统输入了构成所述运动图像的多个帧图像之中的一个帧图像时，将所述一个帧图像作为对象，判定是否适当地表现了所述图像处理的对象物，
所述接受处理为：在所述帧判定处理中判定为适当地表现了所述图像处理的对象物之后，将所述一个帧图像确定为所述静止图像，将构成所述运动图像的多个帧图像之中的、后续于所述一个帧图像的帧图像从所述帧判定处理的对象除外的处理；以及接受所述静止图像上的1个以上的区域和针对所述区域的图像处理内容的处理，
在所述系统的动作模式设定从所述操作模式切换到所述确认模式的情况下，所述图像处理针对构成所述运动图像的多个帧图像之中的、后续于所述一个帧图像的帧图像进行。
2.如权利要求1所述的图像处理方法，其特征在于，
所述系统将构成运动图像的1个帧图像保存在帧存储器中，从而保持成为图像处理的对象的处理图像，
将所述帧存储器中保存的帧图像作为所述分模式处理的对象，
在所述系统的动作模式设定是确认模式的情况下，如果输入了构成运动图像的帧图像，则使用该帧图像将所述帧存储器中保存的处理图像覆盖，从而进行处理图像的更新，
在所述系统的动作模式设定是操作模式的情况下，将被选择为适当地表现了对象物的静止图像保存在所述帧存储器中，在从向所述帧存储器保存所述静止图像起到所述系统的模式设定被切换为确认模式为止的期间，不更新所述帧存储器中保存的图像。
3.如权利要求2所述的图像处理方法，其特征在于，
所述帧判定处理还包括以输入的帧图像为对象的特征点位置的检测、以及确认特征点位置的特征点位置的确认，
根据所述特征点位置的确认的结果，判断当前输入的帧图像中是否适当地表现了对象物。
4.如权利要求3所述的图像处理方法，其特征在于，
所述对象物是人的面部，
在所述特征点位置的检测中，检测面部的眼睛的特征点，
在所述特征点位置的确认中，根据检测到的所述眼睛的特征点的位置确认眼睛的开闭状态，
在所述眼睛的开闭状态为睁眼状态的情况下，将所述当前输入的帧图像作为所述静止图像保持在所述帧存储器中，
在所述眼睛的开闭状态为闭眼状态的情况下，使用后续的帧图像更新所述帧存储器。
5.如权利要求3所述的图像处理方法，其特征在于，
所述对象物是人的面部，
在所述特征点位置的检测中，检测面部的朝向，
在所述特征点位置的确认中，根据检测到的所述面部的朝向确认面部是否朝向正面，
在所述面部的朝向是朝向正面的情况下，将所述当前输入的帧图像作为所述静止图像保持在所述帧存储器中，
在所述面部的朝向不是朝向正面的情况下，使用后续的帧图像更新所述帧存储器。
6.如权利要求1所述的图像处理方法，其特征在于，
与所述操作模式对应的所述分模式处理，包括从所述处理图像检测面部的特征点位置的特征点位置的检测，
与所述确认模式对应的所述分模式处理，包括针对所述处理图像中出现的对象物之中的存在于检测到的所述特征点位置的部位实施化妆的化妆处理、以及被实施了所述化妆处理的图像的显示。
7.如权利要求6所述的图像处理方法，其特征在于，
所述化妆处理为：从用户接受样品颜色的选择，将构成所述处理图像中出现的对象物之中的存在于所述特征点位置的部位的多个像素的值，与选择的所述样品颜色的颜色范围进行匹配。
8.如权利要求6所述的图像处理方法，其特征在于，
所述化妆处理为：从用户接受样品颜色的选择、以及针对静止图像中出现的对象物的指涂操作，将形成与指涂操作有关的形状、且由选择的所述样品颜色的像素构成的描绘图案，与处理对象中出现的对象物之中的存在于所述特征点位置的部位进行匹配。
9.如权利要求6所述的图像处理方法，其特征在于，
所述特征点规定对象物中的部位的轮廓形状，
所述化妆处理为：在设定为所述处理图像的帧图像与后续的帧图像中进行对应点检索，从而将特征点建立对应，在对所述处理图像中出现的某一个部位进行了手涂操作的情况下，将与所述手涂操作有关的手涂形象，与后续的帧图像中的通过所述特征点检索与有关所述手涂操作的部位建立了对应的部位进行匹配。
10.如权利要求6所述的图像处理方法，其特征在于，
与所述操作模式对应的所述分模式处理还包括所述特征点位置的保持，
成为所述化妆处理的对象的部位存在于被保持的所述特征点位置。
11.如权利要求3所述的图像处理方法，其特征在于，
与所述操作模式对应的所述分模式处理，包括预先指定的期间中的特征点位置的保持、以及对保持的指定期间的特征点位置按存在于特征点位置的每个像素进行过滤处理的特征点位置过滤运算，
与所述确认模式对应的所述分模式处理，包括将所述处理图像作为输入来检测特征点位置的特征点位置检测，
在所述动作模式是操作模式的情况下，使用作为所述特征点位置过滤运算的结果的特征点位置取代通过所述特征点位置检测而检测到的特征点位置来进行特征点位置的确认。
12.如权利要求11所述的图像处理方法，其特征在于，
通过所述特征点过滤运算进行的过滤处理是取平均。
13.如权利要求11所述的图像处理方法，其特征在于，
在所述特征点位置过滤运算中，在进行所述过滤处理之后，将所述保持的特征点位置与所述过滤处理后的特征点位置进行比较，将差异大于阈值的特征点位置从所述保持的特征点位置除外，然后再次执行所述过滤处理。
14.如权利要求11所述的图像处理方法，其特征在于，
包括针对处理图像中出现的对象物之中的由特征点位置指定的部位的化妆处理、被实施了化妆处理的图像的显示、以及所述系统的模式的设定，
所述化妆处理如下进行：从用户接受样品颜色的选择，将构成由特征点位置指定的部位的多个像素的值与选择的样品颜色的颜色范围进行匹配。
15.如权利要求1所述的图像处理方法，其特征在于，
所述系统的模式的设定由用户进行。
16.如权利要求15所述的图像处理方法，其特征在于，
所述系统的模式的设定通过由用户对所述系统所具备的触摸面板的特定区域进行触摸操作来进行。
17.如权利要求16所述的图像处理方法，其特征在于，
在进行了所述系统的模式的设定时，向用户通知所述模式的设定的变更。
18.如权利要求17所述的图像处理方法，其特征在于，
所述通知通过动作模式的显示来进行。
19.如权利要求17所述的图像处理方法，其特征在于，
所述通知通过声音输出来进行。
20.一种图像处理装置，对运动图像输入进行图像处理并显示图像处理的结果，其特征在于，包括：
动作模式判定部，判定所述图像处理装置的模式设定是显示静止图像的操作模式和显示运动图像的确认模式之中的哪一个模式；
图像处理部，进行与所述动作模式判定部的判定结果相应的分模式处理；以及
显示部，显示由所述图像处理部进行了图像处理而得到的图像；
在所述操作模式下，所述图像处理部进行的所述分模式处理包括：从构成运动图像的多个帧图像中选择适当地表现了图像处理的对象物的帧图像的帧判定处理；以及显示通过所述帧判定处理选择的静止图像，并使用所述静止图像接受与针对所述对象物的图像处理有关的操作的接受处理，
在所述确认模式下，在针对与所述操作模式下接受的所述操作有关且在所述运动图像的各帧中出现的对象物进行了所述操作的情况下，所述图像处理部对后续的帧图像中出现的对象物进行图像处理，以供用户确认，
所述帧判定处理为如下处理：在向所述图像处理装置输入了构成所述运动图像的多个帧图像之中的一个帧图像时，所述图像处理部将所述一个帧图像作为对象，判定是否适当地表现了所述图像处理的对象物，
所述接受处理为：在所述帧判定处理中判定为适当地表现了所述图像处理的对象物之后，所述图像处理部将所述一个帧图像确定为所述静止图像，将构成所述运动图像的多个帧图像之中的、后续于所述一个帧图像的帧图像从所述判定的对象除外的处理；以及接受所述静止图像上的1个以上的区域和针对所述区域的图像处理内容的处理，
在所述图像处理装置的动作模式设定从所述操作模式切换到所述确认模式的情况下，所述图像处理部针对构成所述运动图像的多个帧图像之中的、后续于所述一个帧图像的帧图像进行所述图像处理。
21.一种记录了在对运动图像输入进行图像处理并显示图像处理的结果的系统中使处理器进行图像处理的程序的记录介质，其特征在于，所述图像处理包括：
所述系统的模式设定是显示静止图像的操作模式和显示运动图像的确认模式之中的哪一个模式的判定；以及
与判定结果相应的分模式处理；
所述操作模式下的所述分模式处理包括：从构成运动图像的多个帧图像中选择适当地表现了图像处理的对象物的帧图像的帧判定处理；以及显示通过所述帧判定处理选择的静止图像，并使用所述静止图像接受与针对所述对象物的图像处理有关的操作的接受处理，
所述确认模式下的所述分模式处理，包括对所述运动图像的各帧进行图像处理并进行显示以供用户确认的处理，所述图像处理针对与在所述操作模式下接受的所述操作有关、且在所述运动图像的各帧中出现的对象物进行，
所述帧判定处理为如下处理：在向所述系统输入了构成所述运动图像的多个帧图像之中的一个帧图像时，将所述一个帧图像作为对象，判定是否适当地表现了所述图像处理的对象物，
所述接受处理为：在所述帧判定处理中判定为适当地表现了所述图像处理的对象物之后，将所述一个帧图像确定为所述静止图像，将构成所述运动图像的多个帧图像之中的、后续于所述一个帧图像的帧图像从所述帧判定处理的对象除外的处理；以及接受所述静止图像上的1个以上的区域和针对所述区域的图像处理内容的处理，
在所述系统的动作模式设定从所述操作模式切换到所述确认模式的情况下，所述图像处理针对构成所述运动图像的多个帧图像之中的、后续于所述一个帧图像的帧图像进行。
CN201480013933.2A 2013-04-17 2014-04-16 图像处理方法及图像处理装置 Expired - Fee Related CN105164999B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-086341 2013-04-17
JP2013086341 2013-04-17
PCT/JP2014/002170 WO2014171142A1 (ja) 2013-04-17 2014-04-16 画像処理方法および画像処理装置

Publications (2)

Publication Number Publication Date
CN105164999A CN105164999A (zh) 2015-12-16
CN105164999B true CN105164999B (zh) 2018-08-10

Family

ID=51731104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480013933.2A Expired - Fee Related CN105164999B (zh) 2013-04-17 2014-04-16 图像处理方法及图像处理装置

Country Status (5)

Country Link
US (1) US9968176B2 (zh)
EP (1) EP2988486B1 (zh)
JP (1) JP6264665B2 (zh)
CN (1) CN105164999B (zh)
WO (1) WO2014171142A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106257415A (zh) * 2015-06-19 2016-12-28 阿里巴巴集团控股有限公司 实现动态图片预览的方法和装置、表情包展示方法和装置
US10007845B2 (en) * 2015-07-06 2018-06-26 Pixart Imaging Inc. Eye state detecting method and eye state detecting system
CN106709400A (zh) * 2015-11-12 2017-05-24 阿里巴巴集团控股有限公司 一种感官张闭状态的识别方法、装置及客户端
CN108292165B (zh) * 2015-12-23 2021-06-22 英特尔公司 触摸姿势检测评估
GB201603495D0 (en) * 2016-02-29 2016-04-13 Virtual Beautician Ltd Image processing system and method
WO2018012136A1 (ja) * 2016-07-14 2018-01-18 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置およびメイクアップ支援方法
CN107665350A (zh) * 2016-07-29 2018-02-06 广州康昕瑞基因健康科技有限公司 图像识别方法及系统和自动聚焦控制方法及系统
US20180092595A1 (en) * 2016-10-04 2018-04-05 Mundipharma Laboratories Gmbh System and method for training and monitoring administration of inhaler medication
BR112019011426A2 (pt) * 2016-12-06 2019-10-15 Koninklijke Philips Nv método para exibir um indicador de orientação a um usuário e aparelho para fornecer orientação a um usuário
CN108804975A (zh) * 2017-04-27 2018-11-13 丽宝大数据股份有限公司 唇彩指引装置及方法
JP7013786B2 (ja) * 2017-10-16 2022-02-01 富士フイルムビジネスイノベーション株式会社 情報処理装置、プログラム及び制御方法
CN107888845B (zh) 2017-11-14 2022-10-21 腾讯数码（天津）有限公司 一种视频图像处理方法、装置及终端
JP2019109813A (ja) * 2017-12-20 2019-07-04 京セラドキュメントソリューションズ株式会社 画像処理装置、画像処理方法、画像形成装置及び画像処理プログラム
DK201870350A1 (en) 2018-05-07 2019-12-05 Apple Inc. Devices and Methods for Measuring Using Augmented Reality
CN108958610A (zh) * 2018-07-27 2018-12-07 北京微播视界科技有限公司 基于人脸的特效生成方法、装置和电子设备
CN109034110A (zh) * 2018-08-17 2018-12-18 潘小亮 枪战片计算机分类方法
US10789746B2 (en) * 2018-08-20 2020-09-29 The Lash Lounge Franchise, Llc Systems and methods for creating custom lash design
US10785413B2 (en) * 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
CN111324274A (zh) * 2018-12-13 2020-06-23 北京京东尚科信息技术有限公司 虚拟试妆方法、装置、设备及存储介质
US11080879B1 (en) 2020-02-03 2021-08-03 Apple Inc. Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
US11690435B2 (en) 2020-07-07 2023-07-04 Perfect Mobile Corp. System and method for navigating user interfaces using a hybrid touchless control mechanism
KR20230133348A (ko) * 2021-01-28 2023-09-19 길 조셉 랙스 대화형 저장 시스템, 장치 및 관련 방법
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4539585A (en) * 1981-07-10 1985-09-03 Spackova Daniela S Previewer
US6449019B1 (en) * 2000-04-07 2002-09-10 Avid Technology, Inc. Real-time key frame effects using tracking information
CN101371272A (zh) * 2006-01-17 2009-02-18 株式会社资生堂 化妆模拟系统，化妆模拟装置，化妆模拟方法，以及化妆模拟程序
CN101779218A (zh) * 2007-08-10 2010-07-14 株式会社资生堂 化妆模拟系统、化妆模拟装置、化妆模拟方法以及化妆模拟程序
CN102982759A (zh) * 2011-09-02 2013-03-20 三星电子株式会社 显示驱动器及其操作方法、控制显示驱动器的主机及系统

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6392710B1 (en) * 1998-04-03 2002-05-21 Avid Technology, Inc. Graphical user interface for field-based definition of special effects in a video editing system
US6649925B2 (en) * 1999-11-26 2003-11-18 Amos Talmi Methods of calibrating a position measurement device
JP2001357404A (ja) * 2000-06-14 2001-12-26 Minolta Co Ltd 画像抽出装置
JP3984191B2 (ja) 2002-07-08 2007-10-03 株式会社東芝 仮想化粧装置及びその方法
WO2005006772A1 (ja) * 2003-07-09 2005-01-20 Matsushita Electric Industrial Co., Ltd. 画像表示装置及び画像表示方法
JP4404650B2 (ja) * 2004-01-30 2010-01-27 デジタルファッション株式会社 化粧シミュレーション装置、化粧シミュレーション方法、化粧シミュレーションプログラム
EP1710746A1 (en) * 2004-01-30 2006-10-11 Digital Fashion Ltd. Makeup simulation program, makeup simulation device, and makeup simulation method
US7450268B2 (en) * 2004-07-02 2008-11-11 Hewlett-Packard Development Company, L.P. Image reproduction
US8403852B2 (en) * 2004-10-20 2013-03-26 Kabushiki Kaisha Toshiba Ultrasonic diagnostic apparatus and control method thereof
JP2006313223A (ja) * 2005-05-09 2006-11-16 Konica Minolta Photo Imaging Inc 撮影装置
JP2007049371A (ja) 2005-08-09 2007-02-22 Fujifilm Holdings Corp デジタルカメラ及び撮影画像表示制御方法
JP5191665B2 (ja) * 2006-01-17 2013-05-08 株式会社 資生堂 メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
US7634108B2 (en) * 2006-02-14 2009-12-15 Microsoft Corp. Automated face enhancement
KR100813978B1 (ko) * 2006-02-22 2008-03-17 삼성전자주식회사 멀티미디어 데이터를 기록 및 재생하는 방법 및 장치
US20080024389A1 (en) * 2006-07-27 2008-01-31 O'brien-Strain Eamonn Generation, transmission, and display of sub-frames
US20090087114A1 (en) * 2007-09-28 2009-04-02 Advanced Micro Devices Response Time Compression Using a Complexity Value of Image Information
US20120155726A1 (en) * 2009-08-24 2012-06-21 Huiqi Li method and system of determining a grade of nuclear cataract
US8773470B2 (en) * 2010-05-07 2014-07-08 Apple Inc. Systems and methods for displaying visual information on a device
JP5525923B2 (ja) * 2010-06-09 2014-06-18 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
CN103109526B (zh) * 2010-07-16 2016-08-03 富士胶片株式会社 放射线图像捕捉设备、放射线图像捕捉系统、放射线图像捕捉方法、以及程序
US8717381B2 (en) * 2011-01-11 2014-05-06 Apple Inc. Gesture mapping for image filter input parameters
KR101223046B1 (ko) * 2011-02-08 2013-01-17 경북대학교 산학협력단 정지장면의 연속프레임 영상에 기반한 영상분할장치 및 방법
DE112011105441B4 (de) * 2011-07-11 2019-11-14 Toyota Jidosha Kabushiki Kaisha Augenliderfassungsvorrichtung
EP2753241B1 (en) * 2011-09-08 2016-11-09 APN Health, LLC Automatically determining 3d catheter location and orientation using 2d fluoroscopy only
CN104067311B (zh) * 2011-12-04 2017-05-24 数码装饰有限公司 数字化妆
US9118876B2 (en) * 2012-03-30 2015-08-25 Verizon Patent And Licensing Inc. Automatic skin tone calibration for camera images
US20150212694A1 (en) * 2012-05-02 2015-07-30 Google Inc. Internet browser zooming
CN102799367B (zh) * 2012-06-29 2015-05-13 鸿富锦精密工业（深圳）有限公司 电子设备及其触摸控制方法
US20140153832A1 (en) * 2012-12-04 2014-06-05 Vivek Kwatra Facial expression editing in images based on collections of images
US11228805B2 (en) * 2013-03-15 2022-01-18 Dish Technologies Llc Customized commercial metrics and presentation via integrated virtual environment devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4539585A (en) * 1981-07-10 1985-09-03 Spackova Daniela S Previewer
US6449019B1 (en) * 2000-04-07 2002-09-10 Avid Technology, Inc. Real-time key frame effects using tracking information
CN101371272A (zh) * 2006-01-17 2009-02-18 株式会社资生堂 化妆模拟系统，化妆模拟装置，化妆模拟方法，以及化妆模拟程序
CN101779218A (zh) * 2007-08-10 2010-07-14 株式会社资生堂 化妆模拟系统、化妆模拟装置、化妆模拟方法以及化妆模拟程序
CN102982759A (zh) * 2011-09-02 2013-03-20 三星电子株式会社 显示驱动器及其操作方法、控制显示驱动器的主机及系统

Also Published As

Publication number Publication date
EP2988486A4 (en) 2016-04-20
CN105164999A (zh) 2015-12-16
JPWO2014171142A1 (ja) 2017-02-16
WO2014171142A1 (ja) 2014-10-23
EP2988486B1 (en) 2020-03-11
US20160058158A1 (en) 2016-03-03
US9968176B2 (en) 2018-05-15
JP6264665B2 (ja) 2018-01-24
EP2988486A1 (en) 2016-02-24

Similar Documents

Publication Publication Date Title
CN105164999B (zh) 图像处理方法及图像处理装置
US20220103748A1 (en) Touchless photo capture in response to detected hand gestures
US11925863B2 (en) Tracking hand gestures for interactive game control in augmented reality
RU2668408C2 (ru) Устройства, системы и способы виртуализации зеркала
US11308675B2 (en) 3D facial capture and modification using image and temporal tracking neural networks
CN108885799A (zh) 信息处理设备，信息处理系统以及信息处理方法
CN107316020A (zh) 人脸替换方法、装置及电子设备
CN109905590B (zh) 一种视频图像处理方法及装置
CN109565551A (zh) 对齐于参考帧合成图像
Klein Visual tracking for augmented reality
US9622654B2 (en) Device for and method of corneal imaging
US20160371888A1 (en) Interactive information display
AU2021290132C1 (en) Presenting avatars in three-dimensional environments
CN106104650A (zh) 经由凝视检测进行远程设备控制
US20180240213A1 (en) Information processing system, information processing method, and program
CN114049459A (zh) 移动装置、信息处理方法以及非暂态计算机可读介质
US11889291B2 (en) Head-related transfer function
CN109785228B (zh) 图像处理方法、装置、存储介质和服务器
CN106454061B (zh) 电子装置及影像处理方法
US11195341B1 (en) Augmented reality eyewear with 3D costumes
Elgharib et al. Egocentric videoconferencing
JP2010072813A (ja) 画像処理装置および画像処理プログラム
EP2919094A1 (en) Interactive information display
CN105513009B (zh) 一种信息处理方法和电子设备
Kitanovski et al. Augmented reality mirror for virtual facial alterations

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180810

CF01 Termination of patent right due to non-payment of annual fee