JP2000067261A - Method and device for preparing moving face image and recording medium recording the method - Google Patents
Method and device for preparing moving face image and recording medium recording the methodInfo
- Publication number
- JP2000067261A JP2000067261A JP10232524A JP23252498A JP2000067261A JP 2000067261 A JP2000067261 A JP 2000067261A JP 10232524 A JP10232524 A JP 10232524A JP 23252498 A JP23252498 A JP 23252498A JP 2000067261 A JP2000067261 A JP 2000067261A
- Authority
- JP
- Japan
- Prior art keywords
- mouth
- eye
- image
- deformation
- control points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、目・口の開閉状態
が異なる２枚の人物顔画像において、制御点情報をもと
に２枚の画像を変形して中間画像を作成し、自動的に顔
の動きのある動画像を作成する顔動画像作成方法及び装
置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for automatically transforming two face images based on control point information to create an intermediate image between two face images having different open / close states of eyes and mouth. The present invention relates to a face moving image creating method and an apparatus for creating a moving image having a face movement.
【０００２】[0002]
【従来の技術】従来、目・口の開閉状態が異なる２枚の
人物顔画像から動画像を作成する顔動画像作成方法とし
て、目・口の開閉状態が異なる２枚の人物顔画像から
顔、口、目の位置とエッジ領域をそれぞれ検出して、前
記２画像に対応する対の制御点を検出された口、目のエ
ッジ上に複数配置し、配置した対の制御点をもとに前記
２画像の変形（モーフィング）を行い、複数枚の中割画
像を生成して前記撮影２画像と作成した複数枚の中割画
像を合成して動画像を作成する方法がある。2. Description of the Related Art Conventionally, as a face moving image creating method for creating a moving image from two person face images having different eye / mouth opening / closing states, a face is created from two person face images having different eyes / mouth opening / closing states. , Mouth, eye position and edge area are respectively detected, and a plurality of pairs of control points corresponding to the two images are arranged on the detected mouth and eye edges, and based on the arranged pair of control points. There is a method of transforming (morphing) the two images to generate a plurality of intermediate images, and combining the photographed two images with the plurality of intermediate images to create a moving image.
【０００３】[0003]
【発明が解決しようとする課題】しかしながら、上記従
来の方法で、目・口の開閉状態が異なる２枚の人物顔画
像から変形（モーフィング）により複数枚の中割画像を
作成するための制御点を自動的に配置する場合、目・口
の開閉状態が異なる２枚の人物顔画像から口、目の位置
とエッジ領域をそれぞれ検出して、検出されたエッジ領
域上に前記２画像に対する複数の対となる制御点の配置
をする必要があるが、この方法では、検出する目と口の
エッジ領域の精度が高くないと、変形後（モーフィン
グ）の目、口の輪郭が崩れる、歪む等、変形（モーフィ
ング）後の中割画像における目と口の形をうまく再現さ
せることができない。また、この方法では、眉毛、鼻等
の顔部品を正確に認識し、口、目の動きが他の顔領域の
変形に影響を与えないように眉毛、鼻等の顔部品上に制
御点を設定しておく必要がある。However, in the above-described conventional method, a control point for creating a plurality of intermediate images by deformation (morphing) from two person face images having different eye / mouth open / closed states. Is automatically arranged, the mouth, the position of the eyes and the edge area are respectively detected from two human face images having different eye / mouth open / closed states, and a plurality of images corresponding to the two images are placed on the detected edge area. It is necessary to arrange a pair of control points. However, in this method, if the accuracy of the detected eye and mouth edge regions is not high, the deformed (morphing) eyes and the contour of the mouth may be distorted or distorted. The shape of the eyes and mouth in the split image after the deformation (morphing) cannot be reproduced well. Also, in this method, facial parts such as eyebrows and nose are accurately recognized, and control points are placed on facial parts such as eyebrows and nose so that the movement of the mouth and eyes does not affect the deformation of other face areas. Must be set.
【０００４】本発明の課題は、目・口の開閉状態が異な
る２枚の人物顔画像から動画像を作成する際、目と口の
エッジ領域の検出精度が低い場合も良好な目と口の動作
をおこなう動画像を作成することができる顔動画映像作
成方法及び装置を提供することにある。SUMMARY OF THE INVENTION An object of the present invention is to create a moving image from two human face images having different eye / mouth opening / closing states even when the detection accuracy of the eye / mouth edge region is low. An object of the present invention is to provide a face moving picture image creating method and apparatus capable of creating a moving image for performing an operation.
【０００５】[0005]
【課題を解決するための手段】上述した課題を解決する
ため、本発明は、ほぼ正面から見た目・口の開閉状態が
異なる２枚の人物顔画像を入力して、動画像を作成する
顔動画像作成方法において、該入力した２枚の人物顔画
像から目の位置を検出する目位置検出段階と、該入力し
た２枚の人物顔画像から口の位置を検出する口位置検出
段階と、該目位置検出段階において検出された目の位置
情報をもとに、変形のための制御点を目の周辺に配置
し、該２枚の人物顔画像の制御点の対応付けを行う目変
形用制御点配置段階と、該口位置検出段階において検出
された口の位置情報をもとに、変形のための制御点を口
の周辺に配置し、該２枚の人物顔画像の制御点の対応付
けを行う口変形用制御点配置段階と、該目変形用制御点
配置段階と該口変形用制御点配置段階において配置され
た目と口の制御点情報をもとに該入力した２枚の人物顔
画像を変形させて目と口の開閉状態を変化させた複数の
中割画像を生成する中割画像生成段階と、該中割画像生
成段階において生成された複数の中割画像と該入力した
２枚の人物顔画像をもとに人物顔動画像を合成する画像
合成処理段階とを、有することを特徴とする。SUMMARY OF THE INVENTION In order to solve the above-mentioned problems, the present invention provides a face moving image for creating a moving image by inputting two human face images having different appearances and open / closed states of the mouth when viewed from substantially the front. An eye position detecting step of detecting an eye position from the input two human face images, an mouth position detecting step of detecting a mouth position from the input two human face images, Eye deformation control for arranging control points for deformation around the eyes based on eye position information detected in the eye position detection step and associating the control points of the two human face images with each other. Based on the position information of the mouth detected in the point arrangement step and the mouth position detection step, control points for deformation are arranged around the mouth, and the control points of the two human face images are associated with each other. Deforming control point arranging step for performing the eye deforming control point arranging step and the mouth deforming Based on the control point information of the eyes and the mouth arranged in the control point arranging step, the input two human face images are deformed to generate a plurality of intermediate images in which the open / close states of the eyes and the mouth are changed. An intermediate image generation step, and an image synthesis processing step of synthesizing a human face moving image based on the plurality of intermediate images generated in the intermediate image generation step and the two input human face images, It is characterized by having.
【０００６】また、前記目変形用制御点配置段階では、
前記目位置検出段階で検出された目の位置の情報から目
の幅、目の高さを入力して、該目の幅、該目の高さから
検出された目の領域を包含する矩形領域を算出し、ま
た、該目の矩形領域内で該検出された目の領域を上下に
はさみ込むように該矩形領域の水平方向と平行なはさみ
こみ線分を算出し、該算出した該目の矩形領域の輪郭上
と該はさみこみ線分上に一定間隔で画像を変形させるた
めの制御点を配置することを特徴とする。In the step of arranging control points for eye deformation,
Inputting the eye width and eye height from the information on the eye position detected in the eye position detection step, the rectangular area including the eye width and the eye area detected from the eye height Is calculated, and a line segment parallel to the horizontal direction of the rectangular area is calculated so as to sandwich the detected eye area vertically within the rectangular area of the eye, and the calculated rectangle of the eye is calculated. It is characterized in that control points for deforming an image are arranged at regular intervals on the outline of the region and on the line segment inserted.
【０００７】また、前記口変形用制御点配置段階では、
前記口位置検出段階で検出された位置の情報から口の
幅、口の高さ、口の中心を入力して、該口の幅、該口の
高さから検出された口の領域を包含する矩形領域を算出
し、また、該算出した口の矩形領域内で該口の中心から
上下にそれぞれ半楕円を描いた口仮想領域を算出し、該
算出した該口の矩形領域と該口仮想領域の輪郭上に一定
間隔で画像を変形させるための制御点を配置することを
特徴とする。In the step of arranging the control points for mouth deformation,
Input the width of the mouth, the height of the mouth, the center of the mouth from the information on the position detected in the mouth position detection step, and include the width of the mouth, the area of the mouth detected from the height of the mouth. A rectangular area is calculated, and a mouth virtual area in which a semi-ellipse is drawn up and down from the center of the mouth in the calculated mouth rectangular area is calculated, and the calculated rectangular area of the mouth and the mouth virtual area are calculated. Is characterized in that control points for deforming an image are arranged at regular intervals on the outline of the.
【０００８】あるいは、本発明は、ほぼ正面から見た目
・口の開閉状態が異なる２枚の人物顔画像を入力して、
動画像を作成する顔動画像作成装置において、該入力し
た２枚の人物顔画像から目の位置を検出する目位置検出
手段と、該入力した２枚の人物顔画像から口の位置を検
出する口位置検出手段と、該目位置検出手段によって検
出された目の位置情報をもとに、変形のための制御点を
目の周辺に配置し、該２枚の人物顔画像の制御点の対応
付けを行う目変形用制御点配置手段と、該口位置検出手
段によって検出された口の位置情報をもとに、変形のた
めの制御点を口の周辺に配置し、該２枚の人物顔画像の
制御点の対応付けを行う口変形用制御点配置手段と、該
目変形用制御点配置手段と該口変形用制御点配置手段に
よって配置された目と口の制御点情報をもとに該入力し
た２枚の人物顔画像を変形させて目と口の開閉状態を変
化させた複数の中割画像を生成する中割画像生成手段
と、該中割画像生成手段によって生成された複数の中割
画像と該入力した２枚の人物顔画像をもとに人物顔動画
像を合成する画像合成処理手段とを、有することを特徴
とする。Alternatively, according to the present invention, two human face images having different appearances and mouth open / close states substantially different from each other are inputted,
In a face moving image creating apparatus for creating a moving image, an eye position detecting means for detecting an eye position from the two input human face images, and a mouth position from the two input human face images. Based on the mouth position detection means and the eye position information detected by the eye position detection means, control points for deformation are arranged around the eyes, and the correspondence between the control points of the two human face images A control point for deforming eyes, and a control point for deformation are arranged around the mouth based on the position information of the mouth detected by the mouth position detecting means. Mouth deformation control point arranging means for associating control points of an image, and eye and mouth control point information arranged by the eye deformation control point arranging means and the mouth deformation control point arranging means. Two or more of the input two person face images are deformed to change the open / close state of the eyes and mouth. Intermediate image generating means for generating an image, and image synthesizing processing for synthesizing a human face moving image based on the plurality of intermediate images generated by the intermediate image generating means and the input two human face images Means.
【０００９】また、前記目変形用制御点配置手段は、前
記目位置検出手段で検出された目の位置の情報から目の
幅、目の高さを入力して、該目の幅、該目の高さから検
出された目の領域を包含する矩形領域を算出し、また、
該目の矩形領域内で該検出された目の領域を上下にはさ
み込むように該矩形領域の水平方向と平行なはさみこみ
線分を算出し、該算出した該目の矩形領域の輪郭上と該
はさみこみ線分上に一定間隔で画像を変形させるための
制御点を配置するものであることを特徴とする。The eye deformation control point arranging means inputs an eye width and an eye height from information on an eye position detected by the eye position detecting means, and inputs the eye width and the eye height. Calculate a rectangular area encompassing the eye area detected from the height of
A scissor line parallel to the horizontal direction of the rectangular area is calculated so as to sandwich the detected eye area up and down within the rectangular area of the eye. It is characterized in that control points for deforming an image are arranged at regular intervals on a scissor line segment.
【００１０】また、前記口変形用制御点配置手段は、前
記口位置検出手段で検出された位置の情報から口の幅、
口の高さ、口の中心を入力して、該口の幅、該口の高さ
から検出された口の領域を包含する矩形領域を算出し、
また、該算出した口の矩形領域内で該口の中心から上下
にそれぞれ半楕円を描いた口仮想領域を算出し、該算出
した該口の矩形領域と該口仮想領域の輪郭上に一定間隔
で画像を変形させるための制御点を配置するものである
ことを特徴とする。[0010] The control point arranging means for mouth deformation may determine the width of the mouth from information on the position detected by the mouth position detecting means.
The height of the mouth, the center of the mouth is input, the width of the mouth, a rectangular area including the area of the mouth detected from the height of the mouth is calculated,
In the calculated rectangular region of the mouth, a mouth virtual region in which a semi-ellipse is drawn up and down from the center of the mouth is calculated, and the calculated rectangular region of the mouth and the contour of the virtual mouth region are spaced at a predetermined interval. And a control point for deforming an image.
【００１１】さらには、上記顔動画像作成方法における
段階をコンピュータで実現するためのプログラムを、該
コンピュータが読み取り可能な記録媒体に記録したこと
を特徴とする。Furthermore, a program for realizing the steps in the above-described face moving image creating method by a computer is recorded on a recording medium readable by the computer.
【００１２】本発明では、目と口を矩形領域として抽出
し、抽出した矩形領域上に一定の間隔で制御点を配置す
ることにより、目、口のエッジの検出精度にとらわれる
ことなく、スムーズな口と目の変形を再現させる。ま
た、２枚の顔画像に対して共通の目、口の矩形領域を設
定することにより、眉毛、鼻等の他の顔部品に制御点を
設定しなくても目、口の変形が、眉毛、鼻等の他の顔領
域に影響することを防いでいる。In the present invention, the eyes and the mouth are extracted as rectangular regions, and control points are arranged at regular intervals on the extracted rectangular regions, so that the detection of the edges of the eyes and the mouth can be performed smoothly, regardless of the detection accuracy. Reproduce mouth and eye deformations. In addition, by setting a common eye and mouth rectangular area for two face images, deformation of the eyes and mouth can be prevented without setting control points on other face parts such as eyebrows and nose. , Nose and other face areas.
【００１３】[0013]
【発明の実施の形態】以下、本発明の実施の形態を図を
用いて説明する。Embodiments of the present invention will be described below with reference to the drawings.
【００１４】図１は本発明の顔動画像作成装置の一実施
形態例を示す構成図である。本実施形態例の顔動画像作
成装置は、ほぼ正面から見た目・口の開閉状態が異なる
入力顔画像Ａ、入力顔画像Ｂを取り込む顔画像入力手段
１と、顔画像入力手段１で取り込んだ人物顔画像Ａ、人
物顔画像Ｂにおいて、それぞれ目の位置座標を検出する
目位置出手段２と、人物顔画像Ａ、人物顔画像Ｂにおい
てそれぞれ口の位置座標を検出する口位置検出手段３
と、目位置出手段２で検出された目の位置座標から求め
られる左右の目の幅、目の高さから、目の変形用制御点
を配置するための目矩形領域と、はさみこみ線分を求
め、求めた目矩形領域の輪郭上とはさみこみ線分上に目
を変形させるための制御点を一定間隔で配置する目変形
用制御点配置手段４と、口位置検出手段３で検出された
口の位置座標から求められる口の幅、高さ、中心点から
口の変形用制御点を配置するための口矩形領域と口仮想
領域を求め、求めた口矩形領域と口仮想領域の輪郭上に
口を変形させるための制御点を一定間隔で配置する口変
形用制御点配置手段５と、目変形用制御点配置手段４と
口変形用制御点配置手段５によって配置された目と口の
制御点情報をもとに入力顔画像Ａと入力顔画像Ｂを変形
させて複数の中割画像を生成する中割画像生成手段６
と、中割画像生成手段６によって生成された複数の中割
画像と入力顔画像Ａ、入力顔画像Ｂをもとに人物顔動画
像を合成する画像合成処理手段７とを備えている。FIG. 1 is a block diagram showing an embodiment of a face moving image creating apparatus according to the present invention. The face moving image creating apparatus according to the present embodiment includes a face image input unit 1 for inputting an input face image A and an input face image B whose appearance and mouth open / close states are substantially different from the front, and a person input by the face image input unit 1. Eye position detecting means 2 for detecting the position coordinates of the eyes in the face image A and the human face image B, and mouth position detecting means 3 for detecting the position coordinates of the mouth in the human face images A and B, respectively.
From the left and right eye widths and eye heights obtained from the eye position coordinates detected by the eye position output means 2, an eye rectangular area for arranging the eye deformation control points and a scissor line segment are formed. Eye deformation control point arranging means 4 for arranging control points for deforming the eyes at regular intervals on the contour of the obtained eye rectangular area and on the intersected line segment, and the mouth detected by the mouth position detecting means 3 From the width, height, and center point of the mouth obtained from the position coordinates of the mouth, a mouth rectangular area and a mouth virtual area for arranging the control points for the mouth deformation are obtained. Mouth deformation control point arranging means 5 for arranging control points for deforming the mouth at regular intervals, control of eyes and mouth arranged by eye deformation control point arranging means 4 and mouth deformation control point arranging means 5 The input face image A and the input face image B are transformed based on the point information, and Split image generating means in generating the 6
And an image synthesizing processing unit 7 for synthesizing a human face moving image based on the plurality of intermediate images generated by the intermediate image generating unit 6 and the input face images A and B.
【００１５】図２は顔画像入力手段１の処理フロー図で
ある。顔画像処理手段１では、入力顔画像Ａを撮影して
画像記憶部に記憶するとともに、ほぼ正面から見た目・
口の開閉状態が入力顔画像Ａとは異なる入力顔画像Ｂを
撮影して画像記憶部に記憶する。FIG. 2 is a processing flowchart of the face image input means 1. The face image processing means 1 captures the input face image A and stores it in the image storage unit.
An input face image B whose mouth opening / closing state is different from the input face image A is captured and stored in the image storage unit.
【００１６】図３は目位置検出手段２の処理フロー図で
ある。目位置検出手段２では、特開平８−６３５９７号
に記載された技術などを利用し、まず画像記憶部から入
力顔画像Ａを取り出し、入力顔画像Ａから顔の肌色領域
を切り出す。次に、切り出された肌色領域から左右の目
の幅、高さを検出しデータ記憶部に保存する。同様にし
て、画像記憶部から入力顔画像Ｂを取り出し、入力顔画
像Ｂから顔の肌色領域を切り出す。次に、切り出された
肌色領域から左右の目の幅、高さを検出しデータ記憶部
に保存する。FIG. 3 is a processing flow chart of the eye position detecting means 2. The eye position detecting means 2 first takes out the input face image A from the image storage unit and cuts out the skin color region of the face from the input face image A using the technique described in Japanese Patent Application Laid-Open No. 8-63597. Next, the width and height of the left and right eyes are detected from the cut-out skin color area and stored in the data storage unit. Similarly, the input face image B is extracted from the image storage unit, and the skin color region of the face is cut out from the input face image B. Next, the width and height of the left and right eyes are detected from the cut-out skin color area and stored in the data storage unit.
【００１７】図４は口位置検出手段３の処理フロー図で
ある。口位置検出手段３では、特開平８−６３５９７号
に記載された技術などを利用し、まず画像記憶部から入
力顔画像Ａを取り出し、入力顔画像Ａから顔の肌色領域
を切り出す。次に、切り出された肌色領域から唇の幅、
高さ、中心を検出しデータ記憶部に保存する。同様にし
て、画像記憶部から入力顔画像Ｂを取り出し、入力顔画
像Ｂから顔の肌色領域を切り出す。次に、切り出された
肌色領域から唇の幅、高さ、中心を検出しデータ記憶部
に保存する。FIG. 4 is a processing flow chart of the mouth position detecting means 3. The mouth position detecting means 3 first takes out the input face image A from the image storage unit and cuts out the skin color region of the face from the input face image A by utilizing the technique described in Japanese Patent Application Laid-Open No. 8-63597. Next, the width of the lips from the cut skin color area,
The height and center are detected and stored in the data storage unit. Similarly, the input face image B is extracted from the image storage unit, and the skin color region of the face is cut out from the input face image B. Next, the width, height, and center of the lips are detected from the cut-out skin color area and stored in the data storage unit.
【００１８】図５は目変形用制御点配置手段４の処理フ
ロー図である。目変形用制御点配置手段４では、以下の
処理を行う。FIG. 5 is a processing flowchart of the eye deformation control point arrangement means 4. The eye deformation control point arrangement means 4 performs the following processing.
【００１９】（ａ−１）データ記憶部から入力顔画像Ａ
の左右の目の幅、高さを読み込み、左右の目の矩形領域
（Ｌｘｖ，Ｌｙｖ）（Ｒｘｖ，Ｒｙｖ）と、はさみこみ
線分を求める。同様にして、データ記憶部から入力顔画
像Ｂの左右の目の幅、高さを読み込み、左右の目の矩形
領域（Ｌｘｖ，Ｌｙｖ）（Ｒｘｖ，Ｒｙｖ）と、はさみ
こみ線分を求める（図６）。(A-1) Input face image A from data storage unit
Then, the width and height of the left and right eyes are read, and the rectangular regions (Lxv, Lyv) (Rxv, Ryv) of the left and right eyes and the line segment are obtained. Similarly, the width and height of the left and right eyes of the input face image B are read from the data storage unit, and the rectangular regions (Lxv, Lyv) (Rxv, Ryv) of the left and right eyes and the intersected line segment are obtained (FIG. 6). ).
【００２０】（ｂ−１）入力顔画像Ａ、入力顔画像Ｂに
配置する目変形用制御点設定のための矩形領域を選択す
る。すなわち、入力顔画像Ａ、入力顔画像Ｂの目の矩形
領域を比較し、領域の小さい画像は大きい画像の目の矩
形領域に置き換える（図７）。(B-1) A rectangular area for setting the eye deformation control points to be arranged on the input face images A and B is selected. That is, the rectangular areas of the eyes of the input face image A and the input face image B are compared, and the image having a small area is replaced with the rectangular area of the large image (FIG. 7).
【００２１】（ｃ−１）入力顔画像Ａと入力顔画像Ｂの
矩形領域上に均等間隔で制御点を配置し、制御点情報記
憶部に保存する。また、入力顔画像Ａと入力顔画像Ｂの
はさみこみ線分上に均等間隔で制御点を配置し、制御点
情報記憶部に保存する（図８）。(C-1) The control points are arranged at equal intervals on the rectangular area of the input face image A and the input face image B and stored in the control point information storage unit. Also, control points are arranged at equal intervals on the line segment between the input face image A and the input face image B and stored in the control point information storage unit (FIG. 8).
【００２２】（ｄ−１）（ｃ−１）の処理で入力顔画像
Ａと入力顔画像Ｂにそれぞれ配置した制御点の関連づけ
を行う（図９）。In the processes (d-1) and (c-1), the control points allocated to the input face images A and B are associated with each other (FIG. 9).
【００２３】目変形用制御点配置手段４の上記処理の具
体的な例について、入力顔画像Ａは目が開いた状態の顔
画像、入力顔画像Ｂは目が閉じた状態の顔画像であると
仮定して、図６、図７、図８、図９を用いて説明する。With respect to a specific example of the above-described processing of the control point arranging means 4 for eye deformation, the input face image A is a face image with eyes open and the input face image B is a face image with eyes closed. This will be described with reference to FIGS. 6, 7, 8, and 9.
【００２４】図６は、（ａ−１）の処理での目の矩形領
域とはさみこみ線分の求め方を説明する目の領域と線分
構成例である。目位置検出手段２で検出された目の位置
座標から求められる左右の目の幅（Ｌｘ、Ｒｘ）、高さ
（Ｌｙ、Ｒｙ）に拡大値定数（α）を加えた、左目の領
域幅（Ｌｘｖ＝Ｌｘ＋２α）、領域高さ（Ｌｙｖ＝Ｌｙ
＋２α）で囲まれる左目矩形領域、右目の領域幅（Ｒｘ
ｖ＝Ｒｘ＋２α）、領域高さ（Ｒｙｖ＝Ｒｙ＋２α）で
囲まれる右目矩形領域を求める。次に、検出された左右
の目の領域をはさみこむように、目の矩形領域の水平方
向と平行な線分をはさみこみ線分として求める。FIG. 6 shows an example of the eye area and the line segment for explaining how to obtain the rectangular area of the eye and the intersected line in the processing (a-1). The left eye region width (the left eye region width (Lx, Rx) and height (Ly, Ry) obtained by adding the enlarged value constant (α) to the left eye region obtained from the eye position coordinates detected by the eye position detection means 2) Lxv = Lx + 2α), area height (Lyv = Ly)
+ 2α), the left eye rectangular area and the right eye area width (Rx
v = Rx + 2α) and a right-eye rectangular area surrounded by the area height (Ryv = Ry + 2α) is obtained. Next, a line segment parallel to the horizontal direction of the rectangular region of the eye is obtained as a sandwiching line segment so as to sandwich the detected left and right eye regions.
【００２５】図７は、（ｂ−１）の処理での入力顔画像
Ａ、入力顔画像Ｂに配置する目変形用制御点設定のため
の矩形領域の選択方法を説明する目領域とはさみこみ線
分の設定例である。（ａ−１）の処理で求めた入力画像
Ａの目の矩形領域と入力画像Ｂの目矩形領域の大きさを
右目、左目ともに比較し、目矩形領域の小さい画像（図
７では入力顔画像Ｂ）は、目矩形領域の大きい画像（図
７では入力顔画像Ａ）の目矩形領域に置き換える。この
置き換え操作は、左右の目において独立して行う。（ａ
−１）の処理で求めた入力顔画像Ａと入力顔画像Ｂのは
さみこみ線分は、各入力顔画像で求めたはさみこみ線分
を使用する。FIG. 7 is a diagram showing an eye area and a sandwich line for explaining a method of selecting a rectangular area for setting an eye deformation control point to be arranged on the input face image A and the input face image B in the process (b-1). It is a setting example of a minute. The size of the rectangular area of the eye of the input image A and the size of the rectangular area of the eye of the input image B obtained by the processing of (a-1) are compared for both the right eye and the left eye. B) is replaced with an eye rectangular area of an image having a large eye rectangular area (input face image A in FIG. 7). This replacement operation is performed independently for the left and right eyes. (A
As the interstitial line segment of the input face images A and B obtained in the process of -1), the interpolated line segment obtained for each input face image is used.
【００２６】図８は、（ｃ−１）の処理での矩形領域の
輪郭上と（ａ−１）の処理で求めたはさみこみ線分上に
制御点を配置する方法を説明する目制御点設定例であ
る。（ａ−１）、（ｂ−１）の処理で求めた、入力顔画
像Ａと入力顔画像Ｂの左右の目矩形領域において、目矩
形領域輪郭上の角４点と、角４点間を結ぶ線分（対角線
分は除く）を均等分割（図８では、水平方向４分割、垂
直方向２分割）した点を制御点として配置する。次に、
（ａ−１）の処理で求めた入力顔画像Ａと入力顔画像Ｂ
のはさみこみ線分の端点２点と、はさみこみ線分を均等
分割（図８では４分割）した点を制御点として配置す
る。FIG. 8 shows eye control point setting for explaining a method of arranging control points on the outline of the rectangular area in the processing of (c-1) and on the interleaved line segment obtained in the processing of (a-1). It is an example. In the left and right eye rectangular areas of the input face image A and the input face image B obtained in the processes (a-1) and (b-1), the four corners on the outline of the eye rectangular area and the distance between the four corners are defined. Points at which the connected line segments (excluding the diagonal line segments) are equally divided (in FIG. 8, divided into four in the horizontal direction and divided into two in the vertical direction) are arranged as control points. next,
Input face image A and input face image B obtained in the process (a-1)
The two end points of the line and the point obtained by equally dividing the line into four (in FIG. 8) are arranged as control points.
【００２７】図９は、（ｃ−１）の処理で入力顔画像Ａ
と入力顔画像Ｂにそれぞれ配置した制御点の関連づけを
おこなう方法を説明する目制御点関連づけ例である。
（ｃ−１）の処理での制御点の配置において、配置手順
の同じ２枚の顔画像上（入力顔画像Ａ、入力顔画像Ｂ）
の制御点すべてにおいて２枚の顔画像間（入力顔画像
Ａ、入力顔画像Ｂ）で関連づけを行う。例えば、入力顔
画像Ａの目矩形領域の左上角に設定している制御点ａは
入力顔画像Ｂの目矩形領域の左上角に設定している制御
点ａ’に、ｂはｂ’、ｃはｃ’というように、入力顔画
像Ａに配置されたａからｖまでの制御点は入力顔画像Ｂ
に配置されたａ’からｖ’までの制御点にそれぞれ関連
づける。FIG. 9 shows the input face image A in the process (c-1).
6 is an eye control point association example for explaining a method of associating control points respectively arranged with the input face image B.
In the arrangement of control points in the processing of (c-1), on two face images having the same arrangement procedure (input face image A, input face image B)
Are associated between the two face images (input face image A and input face image B) at all the control points of. For example, the control point a set at the upper left corner of the eye rectangular area of the input face image A is the control point a 'set at the upper left corner of the eye rectangular area of the input face image B, and b is b', c Is c ′, and the control points a to v arranged in the input face image A are the input face images B
Are associated with the control points a ′ to v ′, respectively.
【００２８】図１０は口変形用制御点配置手段５の処理
フロー図である。口変形用制御点配置手段５では、以下
の処理を行う。FIG. 10 is a processing flow chart of the mouth deformation control point arrangement means 5. The mouth deformation control point arrangement means 5 performs the following processing.
【００２９】口変形用制御点配置手段５では、本発明で
ある口変形用制御点配置手段により以下の処理をおこな
う。In the mouth deforming control point arranging means 5, the following processing is performed by the mouth deforming control point arranging means of the present invention.
【００３０】（ａ−２）データ記憶部から入力顔画像Ａ
の口の幅、高さ、中心を読み込み、口の矩形領域（Ｍｘ
ｖ，Ｍｙｖ）と、口の仮想領域を求める。同様にして、
データ記憶部から入力顔画像Ｂの口の幅、高さ、中心を
読み込み、口の矩形領域（Ｍｘｖ，Ｍｙｖ）と、口の仮
想領域を求める（図１１）。(A-2) Input face image A from data storage unit
The width, height, and center of the mouth of the mouth are read, and the rectangular area of the mouth (Mx
v, Myv) and the virtual region of the mouth. Similarly,
The width, height, and center of the mouth of the input face image B are read from the data storage unit, and a rectangular area (Mxv, Myv) of the mouth and a virtual area of the mouth are obtained (FIG. 11).
【００３１】（ｂ−２）入力顔画像Ａ、入力顔画像Ｂに
配置する口変形用制御点設定のための矩形領域を選択す
る。すなわち、入力顔画像Ａ、入力顔画像Ｂの口の矩形
領域を比較し、領域の小さい画像は大きい画像の口の矩
形領域に置き換える（図１２）。(B-2) A rectangular area for setting the mouth deformation control points to be arranged on the input face images A and B is selected. That is, the rectangular areas of the mouths of the input face image A and the input face image B are compared, and an image having a small area is replaced with a rectangular area of the mouth of a large image (FIG. 12).
【００３２】（ｃ−２）入力顔画像Ａと入力顔画像Ｂの
矩形領域上に均等間隔で制御点を配置し、制御点情報記
憶部に保存する。また、入力顔画像Ａと入力顔画像Ｂの
口仮想領域上に均等間隔で制御点を配置し、制御点情報
記憶部に保存する（図１３）。(C-2) The control points are arranged at equal intervals on the rectangular area of the input face image A and the input face image B and stored in the control point information storage unit. Further, control points are arranged at equal intervals on the mouth virtual area of the input face image A and the input face image B and stored in the control point information storage unit (FIG. 13).
【００３３】（ｄ−２）（ｃ−２）の処理で入力顔画像
Ａと入力顔画像Ｂにそれぞれ配置した制御点の関連づけ
を行う（図１４）。(D-2) The control points arranged on the input face image A and the input face image B are associated with each other in the process (c-2) (FIG. 14).
【００３４】口変形用制御点配置手段５の上記処理の具
体的な例について、入力顔画像Ａは口が閉じた状態の顔
画像、入力顔画像Ｂは口が開いた状態の顔画像であると
仮定して、図１１、図１２、図１３、図１４を用いて説
明する。Regarding a specific example of the above-described processing of the mouth deformation control point arrangement means 5, the input face image A is a face image with the mouth closed, and the input face image B is a face image with the mouth open. The description will be made with reference to FIGS. 11, 12, 13, and 14.
【００３５】図１１は、（ａ−２）の処理での口矩形領
域と口仮想領域の求め方を説明する口の領域構成例であ
る。口位置検出手段３で検出された口の位置座標から求
められる口の幅（Ｍｘ）、高さ（Ｍｙ）に拡大値定数
（β）を加えた、口の領域幅（Ｍｘｖ＝Ｍｘ＋２β）、
領域高さ（Ｍｙｖ＝Ｍｙ＋２β）で囲まれる口矩形領域
を求める。次に口矩形領域の輪郭において、口の中心点
（ｘ0、ｙ0）を通る水平線と接する２点（ｘ1、ｙ1）、
（ｘ2、ｙ2）と口の中心点（ｘ0、ｙ0）を通る垂直線の
上方向と接する点（ｘ3、ｙ3）を頂点とする半楕円と、
口の中心点を通る水平線と接する２点（ｘ1、ｙ1）、
（ｘ2、ｙ2）と口の中心点（ｘ0、ｙ0）を通る垂直線の
下方向と接する点（ｘ4、ｙ4）を頂点とする半楕円とに
囲まれる領域を口仮想領域として求める。口の中心点
（ｘ0、ｙ0）は口における左右の端の２点を結ぶ線分の
中点の位置とする。FIG. 11 is an example of a mouth area configuration for explaining how to obtain a mouth rectangular area and a mouth virtual area in the process (a-2). Mouth area width (Mxv = Mx + 2β) obtained by adding an enlargement value constant (β) to the mouth width (Mx) and height (My) obtained from the mouth position coordinates detected by the mouth position detection means 3,
A mouth rectangular area surrounded by the area height (Myv = My + 2β) is obtained. Next, two points (x 1 , y 1 ) in contact with a horizontal line passing through the center point (x 0 , y 0 ) of the mouth in the outline of the mouth rectangular area,
A semi-ellipse whose vertex is a point (x 3 , y 3 ) that is in contact with the upper direction of a vertical line passing through (x 2 , y 2 ) and the center point (x 0 , y 0 ) of the mouth;
Two points (x 1 , y 1 ) in contact with the horizontal line passing through the center point of the mouth,
A region surrounded by (x 2 , y 2 ) and a semi-ellipse having a vertex at a point (x 4 , y 4 ) that is in contact with the downward direction of a vertical line passing through the center point (x 0 , y 0 ) of the mouth is a mouth virtual Calculate as area. The center point (x 0 , y 0 ) of the mouth is defined as the position of the middle point of a line connecting the left and right ends of the mouth.
【００３６】図１２は、（ｂ−２）の処理での入力顔画
像Ａ、入力顔画像Ｂに配置する口変形用制御点設定のた
めの矩形領域の選択方法を説明する口領域の設定例であ
る。（ａ−２）の処理で求めた入力画像Ａの口矩形領域
と入力画像Ｂの口矩形領域の大きさを比較し、口矩形領
域の小さい画像（図１２では入力顔画像Ａは、口矩形領
域の大きい画像（図１２では入力顔画像Ｂ）の口矩形領
域に置き換える。（ａ−２）の処理で求めた入力顔画像
Ａと入力顔画像Ｂの口仮想領域は、各入力顔画像で求め
た口仮想領域を使用する。FIG. 12 is a setting example of a mouth area for explaining a method of selecting a rectangular area for setting a mouth deformation control point to be arranged on the input face image A and the input face image B in the process (b-2). It is. The size of the mouth rectangular area of the input image A and the size of the mouth rectangular area of the input image B obtained in the process (a-2) are compared, and an image having a small mouth rectangular area (in FIG. The image is replaced with a mouth rectangular area of an image having a large area (input face image B in FIG. 12) .The mouth virtual areas of the input face images A and B obtained in the process (a-2) Use the obtained mouth virtual area.
【００３７】図１３は、（ｃ−２）の処理での矩形領域
の輪郭上と（ａ−２）の処理で求めた口仮想領域の輪郭
上に制御点を配置する方法を説明する口制御点設定例で
ある。（ａ−２）、（ｂ−２）の処理で求めた、入力顔
画像Ａと入力顔画像Ｂの口矩形領域において、口矩形領
域輪郭上の角４点と、角４点間を結ぶ線分（対角線分は
除く）を均等分割（図１３（ａ）では、水平方向４分
割、垂直方向２分割）した点を制御点として配置する。
次に（ａ−２）の処理で求めた入力顔画像Ａと入力顔画
像Ｂの口仮想領域の左右の端２点と、左右の端２点を起
点として、２起点間を均等分割（図１３では４分割）し
た口仮想領域輪郭線上の点を制御点として配置する。FIG. 13 shows a method of arranging control points on the outline of the rectangular area in the processing of (c-2) and on the outline of the virtual mouth area obtained in the processing of (a-2). It is a point setting example. In the mouth rectangular regions of the input face image A and the input face image B obtained by the processes (a-2) and (b-2), four corners on the outline of the mouth rectangle region and a line connecting the four corners Points (excluding diagonal segments) are equally divided (in FIG. 13A, four divisions in the horizontal direction and two divisions in the vertical direction) are arranged as control points.
Next, starting from two left and right ends and two left and right ends of the mouth virtual area of the input face image A and the input face image B obtained in the process (a-2), the two starting points are equally divided (see FIG. A point on the contour line of the mouth virtual area divided into four parts at 13 is arranged as a control point.
【００３８】図１４は、（ｃ−２）の処理で入力顔画像
Ａと入力顔画像Ｂにそれぞれ配置した制御点の関連づけ
をおこなう方法を説明する口制御点関連づけ例である。
（ｃ−１）の処理での制御点の配置において、配置手順
の同じ２枚の顔画像上（入力顔画像Ａ、入力顔画像Ｂ）
の制御点すべてにおいて２枚の顔画像間（入力顔画像
Ａ、入力顔画像Ｂ）で関連づけを行う。例えば、入力顔
画像Ａの口矩形領域の左上角に設定している制御点ａは
入力顔画像Ｂの口矩形領域の左上角に設定している制御
点ａ’に、ｂはｂ’、ｃはｃ’というように、入力顔画
像Ａに配置されたａからｔまでの制御点は入力顔画像Ｂ
に配置されたａ’からｔ’までの制御点にそれぞれ関連
づける。図１５は中割画像生成手段６の処理フロー図で
ある。中割画像生成手段６では、まず、画像記憶部から
入力顔画像Ａと入力顔画像Ｂを読み込み、制御点記憶部
から入力顔画像Ａと入力顔画像Ｂの制御点情報を読み込
む。次に、モーフィングにより、設定された枚数分の中
割画像を生成する。FIG. 14 is a mouth control point associating example for explaining a method of associating the control points respectively arranged in the input face image A and the input face image B in the process (c-2).
In the arrangement of control points in the processing of (c-1), on two face images having the same arrangement procedure (input face image A, input face image B)
Are associated between the two face images (input face image A and input face image B) at all the control points of. For example, the control point a set at the upper left corner of the mouth rectangular area of the input face image A is the control point a 'set at the upper left corner of the mouth rectangular area of the input face image B, and b is b' and c. Is c ′, and the control points a to t arranged in the input face image A are the input face images B
Are associated with the control points a 'to t', respectively. FIG. 15 is a processing flow chart of the intermediate image generation means 6. The split image generating means 6 first reads the input face image A and the input face image B from the image storage unit, and reads the control point information of the input face image A and the input face image B from the control point storage unit. Next, the set number of intermediate images are generated by morphing.
【００３９】図１６は画像合成処理手段７の処理フロー
図である。画像合成処理手段７では、まず、画像記憶部
から入力顔画像Ａと入力顔画像Ｂを読み込み、中割画像
生成手段７で生成された中割画像を読み込む。次に、こ
れらの読み込んだ画像を合成して顔動画像を作成する。FIG. 16 is a processing flow chart of the image synthesizing processing means 7. The image synthesizing unit 7 first reads the input face image A and the input face image B from the image storage unit, and reads the intermediate image generated by the intermediate image generation unit 7. Next, these read images are combined to create a face moving image.
【００４０】前述したとおり、目・口の開閉状態が異な
る２枚の人物顔画像から動画像を作成する従来の顔動画
像作成方法として、目・口の開閉状態が異なる２枚の人
物顔画像から口、目のエッジとエッジ領域をそれぞれ検
出して、検出されたエッジ領域上に前記２画像に対する
複数の対となる制御点の配置を行う方法があるが、この
従来方法では、検出する目と口のエッジ領域の精度が高
くないと、変形後（モーフィング）の目、口の輪郭が崩
れる、歪む等、変形（モーフィング）後の中割画像にお
ける目と口の形をうまく再現させることができない。ま
た、この従来方法では、眉毛、鼻等の顔部品を正確に認
識し、口、目の動きが他の顔領域の変形に影響を与えな
いように眉毛、鼻等の顔部品上に制御点を設定しておく
必要がある。As described above, as a conventional face moving image creation method for creating a moving image from two face images having different eyes / mouths in the open / closed state, two face images having different eyes / mouths in the open / closed state are used. There is a method of detecting the edge and the edge area of the toe and mouth, respectively, and arranging a plurality of pairs of control points for the two images on the detected edge area. If the accuracy of the edge area of the mouth is not high, it is possible to reproduce the shape of the eyes and mouth in the deformed (morphed) middle image, such as the deformed (morphed) eyes, the contour of the mouth is distorted, distorted, etc. Can not. Further, in this conventional method, face parts such as eyebrows and nose are accurately recognized, and control points are placed on face parts such as eyebrows and nose so that movement of mouth and eyes does not affect deformation of other face areas. Must be set.
【００４１】しかし、上述した本発明の実施形態例によ
れば、目と口を領域として抽出し、抽出した領域上に一
定の間隔で制御点を配置するので、目、口のエッジの検
出精度にとらわれることなく、スムーズな口と目の変形
を再現させることができる。また、２枚の画像に対して
共通の目、口の矩形領域を設定することにより、眉毛、
鼻等の他の顔部品に制御点を設定しなくても目、口の変
形が、眉毛、鼻等の他の顔領域に影響すること防ぐこと
ができる。However, according to the above-described embodiment of the present invention, the eyes and the mouth are extracted as regions, and the control points are arranged at regular intervals on the extracted regions. It is possible to reproduce the smooth deformation of the mouth and eyes without being bound. Also, by setting a common rectangular area of the eyes and mouth for the two images,
Even if control points are not set on other face parts such as the nose, deformation of eyes and mouth can be prevented from affecting other face areas such as eyebrows and nose.
【００４２】なお、図１で示した手段の一部もしくは全
部を、コンピュータを用いて機能させることができるこ
と、あるいは、図２、図３、図４、図５、図１０、図１
５、図１６で示した処理の手順をコンピュータで実行さ
せることができることは言うまでもなく、コンピュータ
をその手段として機能させるためのプログラム、あるい
は、コンピュータでその処理の手順を実行させるための
プログラムを、そのコンピュータが読み取り可能な記録
媒体、例えば、ＦＤ（フロッピーディスク）や、ＭＯ、
ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルデ
ィスクなどに記録して提供し、配布することが可能であ
る。It is to be noted that a part or all of the means shown in FIG. 1 can be made to function using a computer, or FIGS. 2, 3, 4, 5, 10, and
5. Needless to say, the procedure of the processing shown in FIG. 16 can be executed by a computer, and a program for causing the computer to function as the means or a program for causing the computer to execute the processing procedure is provided by the computer. Computer-readable recording media such as FD (floppy disk), MO,
It can be recorded on a ROM, a memory card, a CD, a DVD, or a removable disk, provided, and distributed.
【００４３】[0043]
【発明の効果】以上の説明で明らかなように、本発明に
よれば、目と口を領域として抽出し、抽出した領域上に
一定の間隔で制御点を配置するので、目、口のエッジの
検出精度にとらわれることなく、スムーズな口と目の変
形を再現させることができる。また、入力した２枚の顔
画像に対して共通の目、口の矩形領域を設定するので、
眉毛、鼻等の他の顔部品に制御点を設定しなくても目、
口の変形が、眉毛、鼻等の他の顔領域に影響すること防
ぐことができる。As is apparent from the above description, according to the present invention, the eyes and the mouth are extracted as regions, and the control points are arranged at regular intervals on the extracted regions. It is possible to reproduce a smooth mouth and eye deformation without regard to the detection accuracy of. Also, since a common rectangular area of eyes and mouth is set for the two input face images,
Even if you do not set control points on other facial parts such as eyebrows and nose,
The deformation of the mouth can be prevented from affecting other face areas such as eyebrows and nose.
【図１】本発明の顔動画像作成装置の一実施形態例を示
す構成図である。FIG. 1 is a configuration diagram showing an embodiment of a face moving image creating apparatus according to the present invention.
【図２】上記実施形態例における、顔画像入力手段の処
理フロー図である。FIG. 2 is a processing flowchart of a face image input unit in the embodiment.
【図３】上記実施形態例における、目位置検出手段の処
理フロー図である。FIG. 3 is a processing flowchart of an eye position detecting unit in the embodiment.
【図４】上記実施形態例における、口位置検出手段の処
理フロー図である。FIG. 4 is a processing flowchart of a mouth position detecting unit in the embodiment.
【図５】上記実施形態例における、目変形用制御点配置
手段の処理フロー図である。FIG. 5 is a processing flowchart of eye deformation control point arranging means in the embodiment.
【図６】（ａ），（ｂ）は、上記実施形態例での目変形
用制御点配置手段における、目領域とはさみこみ線分構
成例を示す図である。FIGS. 6A and 6B are diagrams illustrating an example of an eye area and a line segment inserted by the eye deformation control point arranging unit in the embodiment.
【図７】上記実施形態例での目変形用制御点配置手段に
おける、目領域とはさみこみ線分の設定例を示す図であ
る。FIG. 7 is a diagram illustrating an example of setting of an eye area and a line interposed by an eye deformation control point arranging unit in the embodiment.
【図８】上記実施形態例での目変形用制御点配置手段に
おける、目制御点設定例を示す図である。FIG. 8 is a diagram showing an example of eye control point setting in the eye deformation control point arranging means in the embodiment.
【図９】（ａ），（ｂ）は、上記実施形態例での目変形
用制御点配置手段における、目制御点関連づけ例を示す
図である。FIGS. 9A and 9B are diagrams showing examples of eye control point association in the eye deformation control point arranging means in the embodiment.
【図１０】上記実施形態例における、口変形用制御点配
置手段の処理フロー図である。FIG. 10 is a processing flowchart of a mouth deformation control point arranging unit in the embodiment.
【図１１】（ａ），（ｂ）は、上記実施形態例での口変
形用制御点配置手段における、口の領域構成例を示す図
である。FIGS. 11A and 11B are diagrams illustrating an example of a mouth area configuration in a mouth deformation control point arranging unit according to the embodiment.
【図１２】上記実施形態例での口変形用制御点配置手段
における、口領域の設定例を示す図である。FIG. 12 is a diagram showing an example of setting a mouth area in the mouth deformation control point arranging means in the embodiment.
【図１３】（ａ），（ｂ）は、上記実施形態例での口変
形用制御点配置手段における、口制御点設定例を示す図
である。FIGS. 13A and 13B are diagrams showing examples of mouth control point setting in the mouth deformation control point arranging means in the embodiment.
【図１４】（ａ），（ｂ）は、上記実施形態例での口変
形用制御点配置手段における、口制御点関連づけ例を示
す図である。FIGS. 14A and 14B are diagrams showing examples of associating mouth control points in the mouth deformation control point arranging means in the embodiment.
【図１５】上記実施形態例における、中割画像生成手段
の処理フロー図である。FIG. 15 is a processing flowchart of a middle image generation unit in the embodiment.
【図１６】上記実施形態例における、画像合成処理手段
の処理フロー図である。FIG. 16 is a processing flowchart of an image synthesis processing unit in the embodiment.
１…顔画像入力手段 ２…目位置検出手段 ３…口位置検出手段 ４…目変形用制御点配置手段 ５…口変形用制御点配置手段 ６…中割画像生成手段 ７…画像合成処理手段 DESCRIPTION OF SYMBOLS 1 ... Face image input means 2 ... Eye position detecting means 3 ... Mouth position detecting means 4 ... Eye deformation control point arranging means 5 ... Mouth deformation control point arranging means 6 ... Middle split image generating means 7 ... Image synthesis processing means
フロントページの続き (72)発明者 田中 明通 東京都新宿区西新宿３丁目19番２号 日本 電信電話株式会社内 (72)発明者 金山 英明 東京都新宿区西新宿３丁目19番２号 日本 電信電話株式会社内 Ｆターム(参考） 5B050 AA10 BA08 BA12 EA03 EA05 EA07 EA19 EA24 FA02 FA09 5B057 AA01 BA24 BA26 CB12 CC02 CC03 CE08 CE09 CH18 DA08 DA16 DA20 DC03 DC05 DC07 DC08 DC09 DC16 Continued on the front page (72) Inventor Akimichi Tanaka 3-19-2 Nishishinjuku, Shinjuku-ku, Tokyo Japan Telegraph and Telephone Corporation (72) Inventor Hideaki Kanayama 3-192-2 Nishishinjuku, Shinjuku-ku, Tokyo Japan F-term (reference) in Telegraph and Telephone Corporation 5B050 AA10 BA08 BA12 EA03 EA05 EA07 EA19 EA24 FA02 FA09 5B057 AA01 BA24 BA26 CB12 CC02 CC03 CE08 CE09 CH18 DA08 DA16 DA20 DC03 DC05 DC07 DC08 DC09 DC16
Claims (7)
なる２枚の人物顔画像を入力して、動画像を作成する顔
動画像作成方法において、 該入力した２枚の人物顔画像から目の位置を検出する目
位置検出段階と、 該入力した２枚の人物顔画像から口の位置を検出する口
位置検出段階と、 該目位置検出段階において検出された目の位置情報をも
とに、変形のための制御点を目の周辺に配置し、該２枚
の人物顔画像の制御点の対応付けを行う目変形用制御点
配置段階と、 該口位置検出段階において検出された口の位置情報をも
とに、変形のための制御点を口の周辺に配置し、該２枚
の人物顔画像の制御点の対応付けを行う口変形用制御点
配置段階と、 該目変形用制御点配置段階と該口変形用制御点配置段階
において配置された目と口の制御点情報をもとに該入力
した２枚の人物顔画像を変形させて目と口の開閉状態を
変化させた複数の中割画像を生成する中割画像生成段階
と、 該中割画像生成段階において生成された複数の中割画像
と該入力した２枚の人物顔画像をもとに人物顔動画像を
合成する画像合成処理段階とを、 有することを特徴とする顔動画像作成方法。A face moving image creating method for creating a moving image by inputting two person face images having different eyes and mouth opening / closing states as viewed from substantially the front, comprising the steps of: Eye position detecting step of detecting the position of the eye, mouth position detecting step of detecting the position of the mouth from the two input human face images, and eye position information detected in the eye position detecting step Arranging control points for deformation around the eyes and associating the control points of the two human face images with control points for eye deformation, and determining the positions of the mouths detected in the mouth position detection step. A control point for mouth deformation for arranging control points for deformation around the mouth based on the position information and associating the control points of the two human face images with each other; Control points of the eyes and the mouth arranged in the point arrangement step and the control point arrangement step for mouth deformation Generating a plurality of intermediate images in which the input two person face images are deformed based on the image to change the open / closed state of eyes and mouth; An image synthesis processing step of synthesizing a human face moving image based on the plurality of split images thus obtained and the input two human face images.
目位置検出段階で検出された目の位置の情報から目の
幅、目の高さを入力して、該目の幅、該目の高さから検
出された目の領域を包含する矩形領域を算出し、また、
該目の矩形領域内で該検出された目の領域を上下にはさ
み込むように該矩形領域の水平方向と平行なはさみこみ
線分を算出し、該算出した該目の矩形領域の輪郭上と該
はさみこみ線分上に一定間隔で画像を変形させるための
制御点を配置することを特徴とする請求項４記載の顔動
画像作成方法。2. In the eye deformation control point arranging step, an eye width and an eye height are input from information on an eye position detected in the eye position detecting step, and the eye width and the eye Calculate a rectangular area encompassing the eye area detected from the height of
A scissor line parallel to the horizontal direction of the rectangular area is calculated so as to sandwich the detected eye area up and down within the rectangular area of the eye. 5. The method according to claim 4, wherein control points for deforming the image are arranged at regular intervals on the scissor line segment.
口位置検出段階で検出された位置の情報から口の幅、口
の高さ、口の中心を入力して、該口の幅、該口の高さか
ら検出された口の領域を包含する矩形領域を算出し、ま
た、該算出した口の矩形領域内で該口の中心から上下に
それぞれ半楕円を描いた口仮想領域を算出し、該算出し
た該口の矩形領域と該口仮想領域の輪郭上に一定間隔で
画像を変形させるための制御点を配置することを特徴と
する請求項４記載の顔動画像作成方法。3. In the step of arranging control points for mouth deformation, the width of the mouth, the height of the mouth, and the center of the mouth are input from information on the position detected in the step of detecting the mouth position, and the width of the mouth is determined. Calculate a rectangular area including the area of the mouth detected from the height of the mouth, and calculate a virtual mouth area in which a semi-ellipse is vertically drawn from the center of the mouth in the calculated rectangular area of the mouth. 5. The method according to claim 4, wherein control points for deforming an image are arranged at regular intervals on the contours of the calculated rectangular region of the mouth and the virtual region of the mouth.
なる２枚の人物顔画像を入力して、動画像を作成する顔
動画像作成装置において、 該入力した２枚の人物顔画像から目の位置を検出する目
位置検出手段と、 該入力した２枚の人物顔画像から口の位置を検出する口
位置検出手段と、 該目位置検出手段によって検出された目の位置情報をも
とに、変形のための制御点を目の周辺に配置し、該２枚
の人物顔画像の制御点の対応付けを行う目変形用制御点
配置手段と、 該口位置検出手段によって検出された口の位置情報をも
とに、変形のための制御点を口の周辺に配置し、該２枚
の人物顔画像の制御点の対応付けを行う口変形用制御点
配置手段と、 該目変形用制御点配置手段と該口変形用制御点配置手段
によって配置された目と口の制御点情報をもとに該入力
した２枚の人物顔画像を変形させて目と口の開閉状態を
変化させた複数の中割画像を生成する中割画像生成手段
と、 該中割画像生成手段によって生成された複数の中割画像
と該入力した２枚の人物顔画像をもとに人物顔動画像を
合成する画像合成処理手段とを、 有することを特徴とする顔動画像作成装置。4. A face moving image creating apparatus for creating a moving image by inputting two person face images having different eyes and mouth opening / closing states as viewed substantially from the front, comprising the steps of: Eye position detecting means for detecting the position of the eye, mouth position detecting means for detecting the position of the mouth from the input two human face images, and eye position information detected by the eye position detecting means An eye deformation control point arranging means for arranging control points for deformation around the eyes and associating the control points of the two human face images with each other; A mouth deformation control point arranging means for arranging control points for deformation around the mouth based on the position information and associating the control points of the two human face images with each other; Eye and mouth control points placed by the point placement means and the mouth deformation control point placement means A split image generating means for generating a plurality of split images in which the input and output states of the eyes and mouth are changed by deforming the input two human face images based on the A face moving image creation apparatus, comprising: image combining processing means for combining a person face moving image based on a plurality of split images thus obtained and the input two person face images.
位置検出手段で検出された目の位置の情報から目の幅、
目の高さを入力して、該目の幅、該目の高さから検出さ
れた目の領域を包含する矩形領域を算出し、また、該目
の矩形領域内で該検出された目の領域を上下にはさみ込
むように該矩形領域の水平方向と平行なはさみこみ線分
を算出し、該算出した該目の矩形領域の輪郭上と該はさ
みこみ線分上に一定間隔で画像を変形させるための制御
点を配置するものであることを特徴とする請求項４記載
の顔動画像作成装置。5. The eye deformation control point arranging means, based on eye position information detected by the eye position detecting means, an eye width,
The eye height is input, and the width of the eye, the rectangular area including the eye area detected from the eye height is calculated, and the detected eye within the rectangular area of the eye is calculated. To calculate a scissor line segment parallel to the horizontal direction of the rectangular region so as to sandwich the region up and down, and to deform the image at regular intervals on the calculated outline of the rectangular region of the eye and on the scissor line segment 5. The face moving image creating apparatus according to claim 4, wherein the control points are arranged.
位置検出手段で検出された位置の情報から口の幅、口の
高さ、口の中心を入力して、該口の幅、該口の高さから
検出された口の領域を包含する矩形領域を算出し、ま
た、該算出した口の矩形領域内で該口の中心から上下に
それぞれ半楕円を描いた口仮想領域を算出し、該算出し
た該口の矩形領域と該口仮想領域の輪郭上に一定間隔で
画像を変形させるための制御点を配置するものであるこ
とを特徴とする請求項４記載の顔動画像作成装置。6. The mouth deforming control point arranging means inputs a mouth width, a mouth height, and a mouth center from information on the position detected by the mouth position detecting means, and inputs the mouth width, Calculate a rectangular area including the area of the mouth detected from the height of the mouth, and calculate a virtual mouth area in which a semi-ellipse is vertically drawn from the center of the mouth in the calculated rectangular area of the mouth. 5. The face moving image creation method according to claim 4, wherein control points for deforming an image at regular intervals are arranged on the calculated outline of the rectangular region of the mouth and the outline of the virtual mouth region. apparatus.
１項記載の顔動画像作成方法における段階をコンピュー
タで実現するためのプログラムを、該コンピュータが読
み取り可能な記録媒体に記録したことを特徴とする顔動
画像作成方法を記録した記録媒体。7. A computer readable recording medium for recording a program for realizing the steps of the method for producing a face moving image according to claim 1 on a computer. A recording medium on which a face moving image creating method characterized by the following is recorded.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10232524A JP2000067261A (en) | 1998-08-19 | 1998-08-19 | Method and device for preparing moving face image and recording medium recording the method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10232524A JP2000067261A (en) | 1998-08-19 | 1998-08-19 | Method and device for preparing moving face image and recording medium recording the method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000067261A true JP2000067261A (en) | 2000-03-03 |
Family
ID=16940693
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10232524A Pending JP2000067261A (en) | 1998-08-19 | 1998-08-19 | Method and device for preparing moving face image and recording medium recording the method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000067261A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007108405A1 (en) * | 2006-03-23 | 2007-09-27 | Kao Corporation | Hair style simulation image creating method |
| US7876320B2 (en) | 2004-11-25 | 2011-01-25 | Nec Corporation | Face image synthesis method and face image synthesis apparatus |
| WO2015182979A1 (en) * | 2014-05-27 | 2015-12-03 | 삼성전자주식회사 | Image processing method and image processing apparatus |
-
1998
- 1998-08-19 JP JP10232524A patent/JP2000067261A/en active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7876320B2 (en) | 2004-11-25 | 2011-01-25 | Nec Corporation | Face image synthesis method and face image synthesis apparatus |
| WO2007108405A1 (en) * | 2006-03-23 | 2007-09-27 | Kao Corporation | Hair style simulation image creating method |
| JP2007252617A (en) * | 2006-03-23 | 2007-10-04 | Kao Corp | Method for forming hairstyle simulation image |
| JP4706849B2 (en) * | 2006-03-23 | 2011-06-22 | 花王株式会社 | Method for forming hairstyle simulation image |
| US8055011B2 (en) | 2006-03-23 | 2011-11-08 | Kao Corporation | Hair style simulation image creating method |
| WO2015182979A1 (en) * | 2014-05-27 | 2015-12-03 | 삼성전자주식회사 | Image processing method and image processing apparatus |
| US10176374B2 (en) | 2014-05-27 | 2019-01-08 | Samsung Electronics Co., Ltd. | Image processing method and apparatus |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105184249B (en) | Method and apparatus for face image processing | |
| EP0991023B1 (en) | A method of creating 3-D facial models starting from face images | |
| US6031539A (en) | Facial image method and apparatus for semi-automatically mapping a face on to a wireframe topology | |
| JP3639476B2 (en) | Image processing apparatus, image processing method, and recording medium recording image processing program | |
| JP4590401B2 (en) | Face image creating apparatus, face image creating method, program, and recording medium recording the program | |
| JPH1186033A (en) | Method for automatically mapping face image into wire frame topology | |
| JP3810943B2 (en) | Image processing apparatus, image processing method, and recording medium recording image processing program | |
| WO2002013144A1 (en) | 3d facial modeling system and modeling method | |
| US20190347832A1 (en) | Makeup simulation device, method, and non-transitory recording medium | |
| KR20130029482A (en) | System, method and computer readable recording medium for simulating hair style | |
| KR100411760B1 (en) | Apparatus and method for an animation image synthesis | |
| JP3444148B2 (en) | Eyebrow drawing method | |
| JP2000067261A (en) | Method and device for preparing moving face image and recording medium recording the method | |
| JP5966657B2 (en) | Image generating apparatus, image generating method, and program | |
| US20070019885A1 (en) | Feature based caricaturing | |
| CN112561784B (en) | Image synthesis method, device, electronic equipment and storage medium | |
| JP2943703B2 (en) | Three-dimensional character creation device and three-dimensional character creation method | |
| Yang et al. | An interactive facial expression generation system | |
| CN115315936A (en) | Information processing apparatus, information processing method, and information processing program | |
| JP5484038B2 (en) | Image processing apparatus and control method thereof | |
| JPH11175765A (en) | Method and device for generating three-dimensional model and storage medium | |
| JP2001307123A (en) | Method and device for preparing portrait having expressional deformation, portrait preparation system, transmitter and receiver for the system, portrait preparation program, and recording medium recording the program | |
| JP4374718B2 (en) | Face photo image cropping method | |
| JP2979928B2 (en) | Score recognition result display system | |
| JP3794694B2 (en) | Method for manufacturing stereoscopic printed matter, stereoscopic printed matter, and program |