JP2002175538A - 似顔絵生成装置及び似顔絵生成方法及び似顔絵生成プログラムを記録した記録媒体及び通信用端末及び通信用端末による通信方法 - Google Patents

似顔絵生成装置及び似顔絵生成方法及び似顔絵生成プログラムを記録した記録媒体及び通信用端末及び通信用端末による通信方法

Info

Publication number
JP2002175538A
JP2002175538A JP2000373937A JP2000373937A JP2002175538A JP 2002175538 A JP2002175538 A JP 2002175538A JP 2000373937 A JP2000373937 A JP 2000373937A JP 2000373937 A JP2000373937 A JP 2000373937A JP 2002175538 A JP2002175538 A JP 2002175538A
Authority
JP
Japan
Prior art keywords
face
image
procedure
head
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000373937A
Other languages
English (en)
Inventor
Yasushi Kage
裕史 鹿毛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2000373937A priority Critical patent/JP2002175538A/ja
Priority to US09/846,267 priority patent/US6885761B2/en
Priority to EP20010120146 priority patent/EP1221673A3/en
Publication of JP2002175538A publication Critical patent/JP2002175538A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145—Handheld terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Abstract

(57)【要約】 【課題】 画像センサにより撮影された人物の顔を含む
二次元画像から、撮像対象人物の特徴を強調した似顔絵
画像を得る。 【解決手段】 画像センサにより人物の顔を含む二次元
画像を撮像する画像入力部と、頭部領域を抽出する頭部
領域抽出部と、人物の顔の特徴点位置を検出する特徴検
出部と、顔輪郭と背景の境界を確定する顔輪郭確定部
と、特徴点を強調した似顔絵を作成する画像加工部を備
える画像入力部とを備える。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、画像センサにより
撮影された人物の顔を含む二次元画像から、撮像対象人
物の特徴を強調した似顔絵画像の作成、およびそれを変
形した似顔絵画像の生成を行う似顔絵生成装置、及び似
顔絵生成方法、及び似顔絵生成プログラムを記録した記
録媒体、及び似顔絵生成装置を備えた通信用端末および
通信方法に関するものである。
【０００２】
【従来の技術】近年パーソナルコンピュータだけでな
く、携帯端末等で電子メールが利用できるようになった
のに伴い、送信内容として単なる文書だけでなく、差し
出し本人の似顔絵などを添付して送ることが盛んに行わ
れている。既存の方法で似顔絵を作成するには、準備さ
れた数十種類以上の顔輪郭・顔部品・髪形その他のパー
ツをユーザーが手動で選択して作成する必要がある。こ
の際、膨大な数の組み合わせが存在し、その結果所望の
似顔絵を作成するために多大な負担がユーザーにかか
る。このようなことから画像センサ等を用いて入力画像
から自動的に似顔絵を生成できるような簡便な似顔絵生
成装置の実現が望まれている。このためには、入力画像
から人物の顔部分を切り出し、その中に含まれる目や口
等の顔部品を検出して、各部品の位置を基準に用意した
テンプレートで置きかえるまでの一連の処理を自動的に
行い、似顔絵を生成する必要がある。
【０００３】このような自動似顔絵生成に関する従来技
術の例として、特開平１０−２５５０１７号公報におけ
る似顔絵作成方法及び装置の例がある。この方式によれ
ば、顔領域検出は、あらかじめ肌色の（Ｒ，Ｇ，Ｂ）値
を範囲指定し、これに相当する色を持つ画素をマーク
し、クラスタリングすることで行い、顔部品検出はテン
プレートマッチングにより行う。しかし、前者の顔領域
検出については（１）顔の色が照明条件に影響を受け、
顔領域検出が困難になる場合が生じる、（２）人種等の
違いで、顔の色が上記の（Ｒ，Ｇ，Ｂ）値の範囲に収ま
らない場合が生じる、（３）背景に顔の色に類似する色
を持った画素が含まれる場合は顔領域検出が困難になる
場合が生じる、等の問題が主にあった。
【０００４】さらに、後者の顔部品位置検出について
も、（４）画像に含まれる様々な顔部品にマッチさせる
ために顔部品テンプレートの数を増やすと、照合過程に
伴う計算量が増大し、実行速度の点で問題がある、
（５）照明条件により、画像中の顔部品の周辺に陰影が
でき、テンプレートマッチングが困難になる場合が生じ
る、等の問題があった。
【０００５】
【発明が解決しようとする課題】本発明は上記の問題点
を解決するために、画像センサにより人物の顔を含む二
次元画像を撮像し、撮像された二次元画像を解析して人
物の顔の特徴を強調した画像を自動的に作成する似顔絵
生成装置を提供することを目的とする。また、このよう
な似顔絵生成方法を提供することを目的とする。また、
このような似顔絵生成プログラムを記録した記録媒体を
提供することを目的とする。また、このような似顔絵生
成装置を備えた通信用端末および通信方法を提供するこ
とを目的とする。
【０００６】
【課題を解決するための手段】本発明に係る第１の発明
は、画像センサにより人物の顔を含む二次元画像を撮像
する画像入力部と、画像入力部によって撮像された複数
枚の二次元画像の差分画像により、頭部領域を抽出する
頭部領域抽出部と、抽出された頭部領域内における人物
の顔の特徴点位置を検出する特徴検出部と、頭部領域内
の顔輪郭と背景の境界を確定する顔輪郭確定部と、頭部
領域抽出部と特徴検出部と顔輪郭確定部の出力データを
用いて、二次元画像を元に人物の顔の特徴点を強調した
似顔絵を作成する画像加工部とを備えるものである。
【０００７】本発明に係る第２の発明において、頭部領
域抽出部は、差分画像の右側プロファイルと左側プロフ
ァイルを結合して得られた頭部領域の輪郭により得られ
るものである。
【０００８】本発明に係る第３の発明において、頭部領
域の輪郭は、フィルタリング手順により右側プロファイ
ルおよび左側プロファイルのノイズ成分を除去したもの
により得られるものである。
【０００９】本発明に係る第４の発明において、頭部領
域抽出部は、頭部領域の輪郭により左辺および右辺およ
び上辺が決定され、一般的な人物頭部の形状比定数によ
り下辺が決定された頭部矩形により得られるものであ
る。
【００１０】本発明に係る第５の発明は、画像センサに
より人物の顔を含む二次元画像を撮像する画像入力部
と、画像入力部によって撮像された画像により、頭部領
域を抽出する頭部領域抽出部と、抽出された頭部領域内
において各顔部品毎に顔部品領域に分け、この顔部品領
域毎に二値化画像の射影データを求めることにより人物
の顔の特徴点位置を検出する特徴検出部と、頭部領域内
の顔輪郭と背景の境界を確定する顔輪郭確定部と、頭部
領域抽出部と特徴検出部と顔輪郭確定部の出力データを
用いて、二次元画像を元に人物の顔の特徴点を強調した
似顔絵を作成する画像加工部を備えたものである。
【００１１】本発明に係る第６の発明において、顔部品
領域は、あらかじめ求められた頭部領域に対する顔部品
の相対的な位置情報により決定されるものである。
【００１２】本発明に係る第７の発明において、人物の
顔の特徴点位置は、射影データの重心位置により検出す
るものである。
【００１３】本発明に係る第８の発明において、人物の
顔の特徴点位置は、射影データの最大値位置により検出
するものである。
【００１４】本発明に係る第９の発明は、画像センサに
より人物の顔を含む二次元画像を撮像する画像入力部
と、画像入力部によって撮像された画像により、頭部領
域を抽出する頭部領域抽出部と、抽出された頭部領域内
における人物の顔の特徴点の位置を検出する特徴検出部
と、頭部領域内の顔輪郭と背景の境界を、二次元画像の
肌色領域の特定により確定する顔輪郭確定部と、頭部領
域抽出部と特徴検出部と顔輪郭確定部の出力データを用
いて、二次元画像を元に人物の顔の特徴点を強調した似
顔絵を作成する画像加工部を備えるものである。
【００１５】本発明に係る第１０の発明において、顔輪
郭確定部は顎の輪郭を確定するものである。
【００１６】本発明に係る第１１の発明において、顔輪
郭確定部における肌色領域の特定は、入力されたＲＧＢ
値をＨＳＶ値に変換して行われるものである。
【００１７】本発明に係る第１２の発明において、顔輪
郭確定部における肌色領域の特定は、顔の特徴点近辺の
平均色に対し、類似した色を持つ領域を顔領域候補とす
るものである。
【００１８】本発明に係る第１３の発明は、画像センサ
により人物の顔を含む二次元画像を撮像する画像入力部
と、画像入力部によって撮像された画像により、頭部領
域を抽出する頭部領域抽出部と、抽出された頭部領域内
における人物の顔の特徴点の位置を顔部品毎に検出する
特徴検出部と、頭部領域内の顔輪郭と背景の境界を確定
する顔輪郭確定部と、頭部領域抽出部と特徴検出部と顔
輪郭確定部の出力データを用いて、二次元画像を顔部品
単位で変形させて顔の特徴点を強調した似顔絵を作成す
る画像加工部を備えるものである。
【００１９】本発明に係る第１４の発明において、画像
加工部は、顔の特徴点である目部、鼻部、口部において
部分画像の形状を変形させて、喜怒哀楽を表現するもの
である。
【００２０】本発明に係る第１５の発明において、画像
加工部は、顔の特徴点である目部、鼻部、口部において
部分画像を置き換えるものである。
【００２１】本発明に係る第１６の発明は、画像センサ
により人物の顔を含む二次元画像を撮像する画像入力部
と、画像入力部によって撮像された複数枚の二次元画像
の差分画像により、頭部領域を抽出する頭部領域抽出部
と、抽出された頭部領域内における人物の顔の特徴点位
置を検出する特徴検出部と、頭部領域内の顔輪郭と背景
の境界を確定する顔輪郭確定部と、頭部領域抽出部と特
徴検出部と顔輪郭確定部の出力データを用いて、二次元
画像を元に人物の顔の特徴点を強調した似顔絵を作成す
る画像加工部を備え、通信手順により作成した似顔絵を
送受信するものである。
【００２２】本発明に係る第１７の発明において、頭部
領域抽出部は、差分画像の右側プロファイルと左側プロ
ファイルを結合して得られた頭部領域の輪郭により得ら
れるものである。
【００２３】本発明に係る第１８の発明において、頭部
領域の輪郭は、フィルタリング手順により右側プロフフ
イルおよび左側プロファイルのノイズ成分を除去したも
のにより得られるものである。
【００２４】本発明に係る第１９の発明において、頭部
領域抽出部は、頭部領域の輪郭により左辺および右辺お
よび上辺が決定され、一般的な人物頭部の形状比定数に
より下辺が決定された頭部矩形により得られるものであ
る。
【００２５】本発明に係る第２０の発明は、画像センサ
により人物の顔を含む二次元画像を撮像する画像入力部
と、画像入力部によって撮像された画像により、頭部領
域を抽出する頭部領域抽出部と、抽出された頭部領域内
において各顔部品毎に顔部品領域に分け、この顔部品領
域毎に二値化画像の射影データを求めることにより人物
の顔の特徴点位置を検出する特徴検出部と、頭部領域内
の顔輪郭と背景の境界を確定する顔輪郭確定部と、頭部
領域抽出部と特徴検出部と顔輪郭確定部の出力データを
用いて、二次元画像を元に人物の顔の特徴点を強調した
似顔絵を作成する画像加工部を備え、通信手順により作
成した似顔絵を送受信するものである。
【００２６】本発明に係る第２１の発明において、顔部
品領域は、あらかじめ求められた頭部領域に対する顔部
品の相対的な位置情報により決定されるものである。
【００２７】本発明に係る第２２の発明において、人物
の顔の特徴点位置は、射影データの重心位置により検出
するものである。
【００２８】本発明に係る第２３の発明において、人物
の顔の特徴点位置は、射影データの最大値位置により検
出するものである。
【００２９】本発明に係る第２４の発明は、画像センサ
により人物の顔を含む二次元画像を撮像する画像入力部
と、画像入力部によって撮像された画像により、頭部領
域を抽出する頭部領域抽出部と、抽出された頭部領域内
における人物の顔の特徴点の位置を検出する特徴検出部
と、頭部領域内の顔輪郭と背景の境界を、二次元画像の
肌色領域の特定により確定する顔輪郭確定部と、頭部領
域抽出部と特徴検出部と顔輪郭確定部の出力データを用
いて、二次元画像を元に人物の顔の特徴点を強調した似
顔絵を作成する画像加工部を備え、通信手順により作成
した似顔絵を送受信するものである。
【００３０】本発明に係る第２５の発明において、顔輪
郭確定部は、顎の輪郭を確定するものである。
【００３１】本発明に係る第２６の発明において、顔輪
郭確定部における肌色領域の特定は、入力されたＲＧＢ
値をＨＳＶ値に変換して行われるものである。
【００３２】本発明に係る第２７の発明において、顔輪
郭確定部における肌色領域の特定は、顔の特徴点近辺の
平均色に対し、類似した色を持つ領域を顔領域候補とす
るものである。
【００３３】本発明に係る第２８の発明は、画像センサ
により人物の顔を含む二次元画像を撮像する画像入力部
と、画像入力部によって撮像された画像により、頭部領
域を抽出する頭部領域抽出部と、抽出された頭部領域内
における人物の顔の特徴点の位置を顔部品毎に検出する
特徴検出部と、頭部領域内の顔輪郭と背景の境界を確定
する顔輪郭確定部と、頭部領域抽出部と特徴検出部と顔
輪郭確定部の出力データを用いて、二次元画像を顔部品
単位で変形させて顔の特徴点を強調した似顔絵を作成す
る画像加工部を備え、通信手順により作成した似顔絵を
送受信するものである。
【００３４】本発明に係る第２９の発明において、画像
加工部は、顔の特徴点である目部、鼻部、口部において
部分画像の形状を変形させて、喜怒哀楽を表現するもの
である。
【００３５】本発明に係る第３０の発明において、画像
加工部は、顔の特徴点である目部、鼻部、口部において
部分画像を置き換えるものである。
【００３６】本発明に係る第３１の発明は、画像センサ
により人物の顔を含む二次元画像を撮像する画像入力手
順と、画像入力手順によって撮像された複数枚の二次元
画像の差分画像により、頭部領域を抽出する頭部領域抽
出手順と、抽出された頭部領域内における人物の顔の特
徴点位置を検出する特徴検出手順と、頭部領域内の顔輪
郭と背景の境界を確定する顔輪郭確定手順と、頭部領域
抽出部と特徴検出手順と顔輪郭確定手順の出力データを
用いて、二次元画像を元に人物の顔の特徴点を強調した
似顔絵を作成する画像加工手順によるものである。
【００３７】本発明に係る第３２の発明において、頭部
領域抽出手順は、差分画像の右側プロファイルと左側プ
ロファイルを結合して頭部領域の輪郭を得るものであ
る。
【００３８】本発明に係る第３３の発明において、頭部
領域の輪郭は、フィルタリング手順により右側プロフフ
イルおよび左側プロファイルのノイズ成分を除去して得
るものである。
【００３９】本発明に係る第３４の発明において、頭部
領域抽出手順は、頭部領域の輪郭により頭部矩形の左辺
および右辺および上辺が決定され、一般的な人物頭部の
形状比定数により頭部矩形の下辺が決定されるものであ
る。
【００４０】本発明に係る第３５の発明は、画像センサ
により人物の顔を含む二次元画像を撮像する画像入力手
順と、画像入力部によって撮像された画像により、頭部
領域を抽出する頭部領域抽出手順と、抽出された頭部領
域内において各顔部品毎に顔部品領域に分け、この顔部
品領域毎に二値化画像の射影データを求めることにより
人物の顔の特徴点位置を検出する特徴検出手順と、頭部
領域内の顔輪郭と背景の境界を確定する顔輪郭確定手順
と、頭部領域抽出手順と特徴検出手順と顔輪郭確定手順
の出力データを用いて、二次元画像を元に人物の顔の特
徴点を強調した似顔絵を作成する画像加工手順によるも
のである。
【００４１】本発明に係る第３６の発明において、顔部
品領域は、あらかじめ求められた頭部領域に対する顔部
品の相対的な位置情報により決定されるものである。
【００４２】本発明に係る第３７の発明において、人物
の顔の特徴点位置は、射影データの重心位置により検出
するものである。
【００４３】本発明に係る第３８の発明において、人物
の顔の特徴点位置は、射影データの最大値位置により検
出するものである。
【００４４】本発明に係る第３９の発明は、画像センサ
により人物の顔を含む二次元画像を撮像する画像入力手
順と、画像入力部によって撮像された画像により、頭部
領域を抽出する頭部領域抽出手順と、抽出された頭部領
域内における人物の顔の特徴点位置を検出する特徴検出
手順と、頭部領域内の顔輪郭と背景の境界を、二次元画
像の肌色領域の特定により確定する顔輪郭確定手順と、
頭部領域抽出手順と特徴検出手順と顔輪郭確定手順の出
力データを用いて、二次元画像を元に人物の顔の特徴点
を強調した似顔絵を作成する画像加工手順によるもので
ある。
【００４５】本発明に係る第４０の発明において、顔輪
郭確定手順は、顎の輪郭を確定するものである。
【００４６】本発明に係る第４１の発明において、顔輪
郭確定手順における肌色領域の特定方法は、入力された
ＲＧＢ値をＨＳＶ値に変換して行われるものである。
【００４７】本発明に係る第４２の発明において、顔輪
郭確定手順における肌色領域の特定方法は、顔の特徴点
近辺の平均色に対し、類似した色を持つ領域を顔領域候
補とするものである。
【００４８】本発明に係る第４３の発明は、画像センサ
により人物の顔を含む二次元画像を撮像する画像入力手
順と、画像入力部によって撮像された画像により、頭部
領域を抽出する頭部領域抽出手順と、抽出された頭部領
域内における人物の顔の特徴点位置を顔部品毎に検出す
る特徴検出手順と、頭部領域内の顔輪郭と背景の境界を
確定する顔輪郭確定手順と、頭部領域抽出手順と特徴検
出手順と顔輪郭確定手順の出力データを用いて、二次元
画像を顔部品単位で変形させて人物の顔の特徴点を強調
した似顔絵を作成する画像加工手順によるものである。
【００４９】本発明に係る第４４の発明において、画像
加工手順は、顔の特徴点である目部、鼻部、口部におい
て部分画像の形状を変形させて、喜怒哀楽を表現するも
のである。
【００５０】本発明に係る第４５の発明において、画像
加工手順は、顔の特徴点である目部、鼻部、口部におい
て部分画像を置き換えるものである。
【００５１】本発明に係る第４６の発明は、画像センサ
により人物の顔を含む二次元画像を撮像する画像入力手
順と、画像入力手順によって撮像された複数枚の二次元
画像の差分画像により、頭部領域を抽出する頭部領域抽
出手順と、抽出された頭部領域内における人物の顔の特
徴点位置を検出する特徴検出手順と、頭部領域内の顔輪
郭と背景の境界を確定する顔輪郭確定手順と、頭部領域
抽出部と特徴検出手順と顔輪郭確定手順の出力データを
用いて、二次元画像を元に人物の顔の特徴点を強調した
似顔絵を作成する画像加工手順と、受信した場合に作成
した似顔絵を表示することによって受信したことを知ら
せる手順によるものである。
【００５２】本発明に係る第４７の発明は、画像センサ
により人物の顔を含む二次元画像を撮像する画像入力手
順と、画像入力部によって撮像された画像により、頭部
領域を抽出する頭部領域抽出手順と、抽出された頭部領
域内において各顔部品毎に顔部品領域に分け、この顔部
品領域毎に二値化画像の射影データを求め、この射影デ
ータの重心位置により顔部品の位置を検出することによ
り人物の顔の特徴点位置を検出する特徴検出手順と、頭
部領域内の顔輪郭と背景の境界を確定する顔輪郭確定手
順と、頭部領域抽出手順と特徴検出手順と顔輪郭確定手
順の出力データを用いて、二次元画像を元に人物の顔の
特徴点を強調した似顔絵を作成する画像加工手順と、受
信した場合に作成した似顔絵を表示することによって受
信したことを知らせる手順によるものである。
【００５３】本発明に係る第４８の発明は、画像センサ
により人物の顔を含む二次元画像を撮像する画像入力手
順と、画像入力部によって撮像された画像により、頭部
領域を抽出する頭部領域抽出手順と、抽出された頭部領
域内における人物の顔の特徴点位置を検出する特徴検出
手順と、頭部領域内の顔輪郭と背景の境界を、二次元画
像の肌色領域の特定により確定する顔輪郭確定手順と、
頭部領域抽出手順と特徴検出手順と顔輪郭確定手順の出
力データを用いて、二次元画像を元に人物の顔の特徴点
を強調した似顔絵を作成する画像加工手順と、受信した
場合に作成した似顔絵を表示することによって受信した
ことを知らせる手順によるものである。
【００５４】本発明に係る第４９の発明は、画像センサ
により人物の顔を含む二次元画像を撮像する画像入力手
順と、画像入力部によって撮像された画像により、頭部
領域を抽出する頭部領域抽出手順と、抽出された頭部領
域内における人物の顔の特徴点位置を顔部品毎に検出す
る特徴検出手順と、頭部領域内の顔輪郭と背景の境界を
確定する顔輪郭確定手順と、頭部領域抽出手順と特徴検
出手順と顔輪郭確定手順の出力データを用いて、二次元
画像を顔部品単位で変形させて人物の顔の特徴点を強調
した似顔絵を作成する画像加工手順と、受信した場合に
作成した似顔絵を表示することによって受信したことを
知らせる手順によるものである。
【００５５】本発明に係る第５０の発明は、画像入力部
によって撮像された複数枚の二次元画像の差分画像によ
り、人物の頭部領域を抽出する頭部領域抽出プログラム
と、頭部領域内において各顔部品毎に顔部品領域に分
け、この顔部品領域毎に二値化画像の射影データを求
め、この射影データの重心位置により顔部品の位置を検
出することにより人物の顔の特徴点位置を検出する特徴
検出プログラムと、頭部領域内の顔輪郭と背景の境界
を、二次元画像の肌色領域の特定により確定する顔輪郭
確定プログラムと、二次元画像を顔部品単位で変形させ
て人物の顔の特徴点を強調した似顔絵を作成する画像加
工プログラムとを含むものである。
【００５６】
【発明の実施の形態】実施の形態１．以下、本発明の実
施の形態１について、図面を参照しながら説明する。図
１はこの発明の実施の形態１による画像生成装置の構成
を示すブロック図であり、画像入力部１、頭部領域抽出
部２、特徴検出部３、顔輪郭確定部４、画像加工部５の
５部分からなる。ここで説明を簡単にするための前提と
して、この発明の実施の形態１において、撮像した画像
には人物が一人のみ含まれ、背景には人物以外の動きは
含まれない場合を想定し以下に説明する。
【００５７】図１において、画像センサを含む画像入力
部１は二次元画像を撮影する。頭部領域抽出部２は画像
入力部１によって撮影された複数枚の二次元画像を解析
して人物の頭部が含まれる領域を抽出する。特徴検出部
３は頭部領域抽出部２で抽出された領域について入力画
像の明暗値を解析し、目や口等の顔部品の位置を検出す
る。顔輪郭確定部４は、特徴検出部３で検出された顔部
品位置を参照して人物の顔の肌色等、特定の対象領域の
色を解析し、これを元に対象領域と背景の境界を確定す
る。画像加工部５は、頭部領域抽出部２・特徴検出部３
・顔輪郭確定部４の出力情報を元に、入力画像から対象
領域の特徴を強調した画像を作成する。
【００５８】次に、頭部領域抽出部２の動作を図２を用
いて詳細に説明する。本実施の形態１においては、頭部
領域抽出部２は画像入力部によって撮影された入力画像
のうち、時間的に異なる二枚の画像を用いて差分画像を
計算する。ここで通常は時間的にほぼ連続する二枚の画
像を用いるのが良い。また、差分画像は各画素値の差の
絶対値を二値化した値で画素データを構成する。
【００５９】図２は、画像入力部１の撮影画像から計算
される差分画像を用いて人物の頭部領域を検出する例を
説明する図である。（ａ）は画像入力部１によって撮影
された人物の頭部を含む画像を示す。（ｂ）は二値化さ
れた差分画像である。すなわち、黒い画素は画素値の変
化があった画素、つまり動きがあったとみなされる画素
を示している。この例は、一人の人物だけが動く場合を
示しているが、画像に含まれるノイズにより、背景にも
まばらに黒画素が混入している。また、背景において動
きのある物体があった場合には、同様に背景部分に黒画
素が混入することになるが、画像の主な部分が一人の人
物である場合にはノイズとして処理できる。
【００６０】次に（ｂ）に対し、画像の水平方向に黒画
素を探索する。すなわち、一水平ライン上に並ぶ黒画素
について、左端から右へ、もしくは右端から左へ黒画素
の位置を探索していき、最初に出会う黒画素の位置を記
録する。これを全ての水平ラインに対して実施する。
（ｃ）は左端から右へ探索して最初に見つかった黒画素
位置を上端から下端まで連結した結果（以下左側プロフ
ァイルと呼ぶ）であり、（ｄ）は同様に右端から左へ探
索して見つかった黒画素位置に関する結果である（以下
右側プロファイルと呼ぶ）。この場合に見られるよう
に、背景にまばらに含まれるノイズ成分である黒画素に
より両プロファイルはぎざぎざの形状を持つ。従って頭
部領域の輪郭を得る前にノイズ成分であるこのぎざぎざ
形状の除去が必要である。
【００６１】このぎざぎざ形状を除去するためには、フ
ィルタリングを行うのがよい。例えば、左右両プロファ
イルの水平位置を端部からの長さの値としてメジアンフ
ィルタを適用し、ノイズ成分を削減する方法がある。
【００６２】ここで、メジアンフィルタ（中央値フィル
タ）について図３により簡単に説明する。メジアンフィ
ルタは、一般にｎ個のデータｄ［０］，・・・，ｄ［ｎ
−１］を大小順にソートし、大小順で中間に来るｄ
［ｋ］（０≦ｋ≦ｎ−１）を出力値とするものである。
図３において、例えばＮ個の個列データｄ（１）〜ｄ
（Ｎ）に対し、任意のデータｄ（ｋ）に対して、前後ｍ
個の近傍データを含む合計（２ｍ＋１）個を大小順にソ
ートし、ちょうど中間（ｍ＋１）番目にくる値でｄ
（ｋ）を置き換えることにより実現される。これにより
データの起伏（コントラスト）を良好に保存することが
できる。すなわち、図３において例えば適用前の（ｘ）
データ群（上から５番目のデータから１０番目のデー
タ）のように連続して高い値が入る場合、図の適用後に
示すようにコントラスト（値の落差）は良好に保存され
る。これに対し、例えば適用前の（ｙ）データ群（下か
ら５番目のデータから下から３番目のデータ）のよう
に、高い値が単発的に入る場合、図の適用後に示すよう
に近傍データの中央値を採ることで消滅し、したがって
ノイズを除去することができる。
【００６３】図２において、（ｅ）と（ｆ）はそれぞれ
（ｃ）と（ｄ）のプロファイルにメジアンフィルタを適
用した結果である。しかし、（ｅ）と（ｆ）の結果が示
す通り、ノイズ混入の程度によってはメジアンフィルタ
を適用してもノイズ成分をすべて消し去ることができな
い場合が生じる。よって、さらに（ｅ）と（ｆ）に平滑
化フィルタを適用するとさらにノイズ成分を除去するこ
とができる。
【００６４】平滑化フィルタは、一般にｎ個のデータｄ
［０］，・・・，ｄ［ｎ−１］とすると、あるプロファ
イルデータｄ［ｋ］について、例えば（ｄ［ｋ−１］＋
ｄ［ｋ］＋ｄ［ｋ＋１］）／３を計算し、平均値をｄ
［ｋ］として出力するものである。ここで、平滑化フィ
ルタについて図４により簡単に説明する。図４におい
て、例えばＮ個の個列データｄ（１）〜ｄ（Ｎ）に対
し、任意のデータｄ（ｋ）に対して、前後ｍ個の近傍デ
ータを含む合計（２ｍ＋１）個の平均値を計算し、この
値でｄ（ｋ）を置き換えることにより実現される。これ
により比較的少ない計算量でデータの平滑化をすること
ができる。すなわち、図４において例えば適用前の
（ｘ）データ群（上から５番目のデータから１０番目の
データ）のように連続して高い値が入る場合、図の適用
後に示すようにコントラストは多少ぼけてしまうが全体
として平滑化することができる。これに対し、例えば適
用前の（ｙ）データ群（下から５番目のデータから下か
ら３番目のデータ）のように、高い値が単発的に入る場
合、図の適用後に示すようにノイズをきれいに除去する
ことができる。
【００６５】図２において、（ｇ）と（ｈ）はそれぞれ
（ｅ）と（ｆ）の左右プロファイルを平滑化した結果で
ある。ほぼノイズ成分は除去され、頭部の左右の輪郭が
得られている。
【００６６】次に図２の（ｇ）と（ｈ）に示された左右
のプロファイルを利用して、頭部領域を囲む矩型領域
（以下頭部矩型と略する）を決定する方法について説明
する。図２の（ｉ）は（ｇ）の左側プロファイル６と
（ｈ）の右側プロファイル７を重ねて表示したものであ
る。ここで（ｉ）において、水平ライン上端よりスター
トして左右両プロファイルを下向きに探索し、最初に交
わる箇所を通る水平ラインを頭部矩型８の上辺とする。
次に、頭部矩型８の左辺を決定するため、引き続き左側
プロファイル６を下向きに探索する。画像の右端からの
距離が、初めて減少する箇所の画素位置を記録し、これ
を通る垂直ラインを頭部矩型８の左辺として記録する。
同様に右側プロファイル７についても探索を行い、得ら
れた画素位置を通る垂直ラインを頭部矩型８の右辺とし
て記録する。
【００６７】残る頭部矩型８の下辺については、一般的
な人物の頭部矩型８の幅と高さの比がほぼ一定であるこ
とを利用して候補位置を決定する。具体的には、幅を
Ｗ、高さをＨ、平均的比率を表わす定数をｋとすると、
Ｈ／Ｗ＝ｋとなる。ここでＷの値は既に決定している頭
部矩型８の右辺と左辺の距離で与えられ、さらに上辺の
位置（画像の上端からの距離）ｐも決定しているので、
求める下辺の候補位置をｐ’とするとｐ’（画像の上端
からの距離）は ｐ’＝ｋ×Ｗ＋ｐ で計算できる。図２の（ｊ）は左右両プロファイルにて
決定した頭部矩型８を重ねて表示したものである。以上
の手順により最終的に（ｋ）のように動きを反映した人
物のシルエットの頭部を囲むような形で頭部矩型８を決
定することができる。
【００６８】次に、特徴検出部３の動作を説明する。図
５は、頭部矩型８内の入力画像の明暗値を解析し、目・
鼻・口等の特徴点の位置を特定する例を説明する図であ
る。図５において（ａ）は入力画像の例、（ｂ）は頭部
領域抽出部２によって抽出された頭部矩型８を重ねて表
示したもの、（ｃ）の９〜１７は特徴点である各顔部品
の位置を特定するための解析範囲である矩型領域を指定
するためのもので、あらかじめ一般的に人物の頭部形状
に対する各顔部品の相対的な位置を求めておくことによ
り得られる。すなわち、各矩型領域の上・下・左・右辺
は、右眼では１４・１５・１０・９、右眼では１４・１
５・９・１３、鼻では１５・１６・１１・１２、口では
１６・１７・１１・１２によってそれぞれ指定される。
【００６９】次に、図５（ｄ）を用いて各顔部品検出の
うち、一例として右眼部分の位置を検出する方法につい
て説明する。１４・１５・９・１０で囲まれる検出領域
は、入力画像の画素値を二値化したものであり、各画素
値について、あるしきい値より大きい場合を０（白画
素）、そうでない場合を１（黒画素）で示している。右
眼の検出位置（瞳の中心）を重心位置で計算するため
に、検出領域内の二値化画像の各画素の値を列毎および
行毎に加算した射影データを計算し、これらの重心位置
を計算、右眼検出位置の水平位置および垂直位置を得て
いる。ここで２５、２６はそれぞれ垂直方向（列毎）の
射影データ、水平方向（行毎）の射影データを表わす。
これらの射影データから重心位置を計算する。水平方向
については２７、垂直方向については２８で重心位置が
得られ、この結果（ｅ）に示す右眼検出位置１９が得ら
れる。なお、水平および垂直位置は、射影データの重心
の代わりに、射影データの最大値を与える位置で計算し
てもよい。
【００７０】同様にして、左眼、鼻、口についてもそれ
ぞれの矩型領域内の二値化画像より重心を計算すること
により、（ｅ）に示す検出位置１８、２０、２１をそれ
ぞれ求めることができる。ここで特徴点として目、鼻、
口について説明したが、似顔絵としての精度を上げたい
場合には、他の部品要素、例えば眉、前髪形状、頬、耳
等の部品要素について検出することもできる。
【００７１】次に、顔輪郭確定部４の動作を図６を用い
て説明する。本実施の形態では、顔輪郭確定部４は、頭
部特徴検出部３で検出された顔部品位置の情報を用い
て、画像入力部１の入力画像を参照して各顔部品位置近
辺の画素の平均色のＲＧＢ値を計算し、これをＨＳＶ表
色系上の値に変換するとともに、入力画像の全ての画素
のＲＧＢ値をＨＳＶ値に変換し、ＨＳＶ表色系上にプロ
ットする。このとき、ＨＳＶ表色系マップ上で前記平均
色のＨＳＶ値を中心とする領域を設定し、この領域内部
にある画素データを再びＲＧＢ表色系に戻し、元の入力
画像上にプロットする。この結果を元に顔領域を推定す
る。
【００７２】ここで、ＲＧＢ値からＨＳＶ値への表色系
の変換については、例えば米国特許５５８６１９７号公
報に記載されている方法を用いれば実現することができ
る。なお、ＲＧＢ表色系がＲ，Ｇ，Ｂを軸とする立方体
で表わされるのに対し、ＨＳＶ表色系は図６（ａ）のよ
うな円筒体で表わされる。ＨＳＶ値のうちＶ（明るさ）
の値は（ａ）に示すように円筒の底を基準とした高さ、
（ｂ）に示すようにＳ（飽和度、色の濃さ）は円筒の中
心軸Ｃからの距離、Ｈ（彩度、色の種類）は円筒断面の
円盤上においてＲＧＢ値のうちＧとＢの値が０である赤
色系の色がマップされる線分ＣＲからの角度で表わされ
る。（ｃ）はある入力画像のＲＧＢ値をＨＳＶ値に変換
したときに（ｂ）で示される円盤上にＶの値の違いを無
視してプロットした例である。
【００７３】次に顔部品位置近傍の平均色を基準に、Ｈ
ＳＶ表色系上にある領域を設けて、顔領域を色により特
定する方式について説明する。図６（ｄ）と（ｅ）は顔
領域抽出のための色判定領域を示し、ここで２２は顔部
品位置近傍の平均色（ＲＧＢ値）をＨＳＶ値に変換した
ときの位置を示す。色判定領域の形状は（ｄ）のように
平均色位置２２と中心Ｃを結ぶ線の延長の円周との交点
をＸとして、線分ＣＸを長軸とする楕円形領域２３と設
定してもよく、また（ｅ）のように扇形領域２４と設定
してもよい。いずれの場合も、平均色位置２２を内部に
含み、これに類似した色を持つ領域内部の画素を顔領域
候補として特定することができる。
【００７４】上記のようにして判定された顔領域候補と
なる画素の位置を解析して、顔輪郭、とくに顎近辺の境
界線を推定するための方式について説明する。この顎付
近の顔輪郭の確定は、似顔絵を作成するにあたって重要
である。すなわち、顎付近の顔輪郭として左右の平滑化
プロファイル６、７を単に用いたような場合には、充分
に顔の特徴を表わす似顔絵とはならず、良好な似顔絵を
得るためには個々に顎付近の顔輪郭を決める必要があ
る。まず図６（ｆ）に示される頭部輪郭２９に対し、領
域抽出部２において用いられた差分画像を用いて、頭部
矩型８の内部を前記の顔領域の特定方法により解析し、
この特定された顔領域部分を囲むような四隅の部分楕円
を計算して設定し、さらに頭部矩型８の左右辺の一部分
を部分楕円に加えることで顎境界線３０を含む顔の輪郭
線が構築される。具体例には、頭部矩型８の左右辺で囲
まれる下側、すなわち頭部輪郭２９の半楕円形領域内に
おいて、前記説明した顔領域候補画素の割合を計算す
る。この時計算された割合があらかじめ設定したしきい
値以上になるまで、等曲率でそれぞれの中心に向かって
頭部輪郭２９の半楕円形を収縮させて顎境界線３０を決
定する。（ｇ）は実際の画像に上記手法を適用して得ら
れた顎境界線３０の推定結果を示す例である。
【００７５】最後に、画像加工部５の動作について説明
する。本実施の形態１では、画像加工部５は、頭部領域
抽出部２で検出された頭部矩型８と、特徴検出部３で検
出された両眼位置１８、１９と口位置２１と、顔輪郭確
定部４で検出された頭部輪郭２９と推定された顎境界線
３０を用いて、原画像に含まれる顔画像の似顔絵を生成
する。図７は画像加工部５により生成された似顔絵画像
の例である。この画像は、頭部輪郭２９のうち上半分
と、顎境界線３０で囲まれる部分を入力画像から抽出し
て顔画像とし、これにエッジ強調した上で二値化処理を
かけて線画像としたものである。この時、さらに顔領域
内部を顔輪郭確定部４で計算された顔の色を反映した平
均色で塗ることにより、カラー画像として似顔絵画像を
得ることもできる。
【００７６】以上、似顔絵生成装置としてその構成を説
明してきたが、似顔絵生成方法としての手順をまとめた
フローチャートにより簡単に説明する。図８は図１に対
応した本願の似顔絵生成方法を示すフローチャートであ
る。画像入力手順１０１から画像加工手順１０５までは
それぞれ画像入力部１から画像加工部５に相当するが、
この中で特徴検出手順１０３と顔輪郭確定手順１０４は
順番が前後してもよい。
【００７７】次に、図９〜図１２に画像入力手順１０１
から顔輪郭確定手順１０４における各々の手順をフロー
チャートで示す。図９に示す画像入力手順１０１におい
ては、まず第一ステップとして、入力される画像が格納
される二つの画像バッファが初期化される。次に第二ス
テップとして、画像の入力が開始される。第三ステップ
から第五ステップにおいて、二つの画像バッファにそれ
ぞれ画像データが格納され、他に撮像する画像がない場
合、撮像は終了され画像データが出力される。
【００７８】図１０に示す頭部領域抽出手順１０２にお
いては、第一ステップとして、二つの画像バッファから
出力された画像データにより、二値化したフレーム間の
差分画像の計算を行う。次に第二ステップとして、二値
化したフレーム間の差分画像を解析して、頭部矩形を抽
出する。
【００７９】図１１に示す特徴検出手順１０３において
は、第一ステップとして、頭部領域抽出手順１０２で抽
出された矩形領域と、あらかじめ得てある頭部形状に対
する各顔部品の相対的な位置とにより、各顔部品の位置
を検出するための解析範囲を決定する。次に第二ステッ
プとして、各顔部品毎の解析範囲内の画像を解析して、
各顔部品の中心位置を検出する。
【００８０】図１２に示す顔輪郭確定手順１０４におい
ては、第一ステップとして、画像入力手順１０１より入
力された画像を参照し、特徴検出手順１０３で検出した
各顔部品位置付近のＲＧＢ画素データを用いて顔の平均
色を計算し、第二ステップとして、頭部領域抽出手順１
０２で抽出した矩形領域内で、第一ステップで計算した
顔の平均色にある特定の範囲内で近いＲＧＢ値を持つ画
素を肌色画素として記録する。次に、第三ステップとし
て、記録された肌色画素を解析して顔輪郭を確定する。
【００８１】以上述べたような撮影画像からの画像生成
演算方法は、画像生成用プログラムにより実現され、該
プログラムはコンピュータ等で読み取り可能な記録媒体
に記録して提供される。
【００８２】なお、本実施の形態１では頭部領域抽出部
２は、画像入力部１によって撮影された入力画像のう
ち、時間的に連続する２枚の画像を用いて差分画像を得
るために、対応する各画素の差の絶対値を二値化したす
る場合で説明したが、これ以外の方法、例えば一枚の画
像にエッジ解析等人物の輪郭を抽出する手法で、本実施
の形態１で説明したような頭部と肩を含む輪郭を抽出
し、以下同様のやり方で似顔絵画像を生成してもよい。
【００８３】なお、本実施の形態１では頭部領域抽出部
２は画像入力部１によって撮影された入力画像のうち、
時間的に連続する二枚の画像を用いて差分画像を計算す
る例で説明したが、例えば画像入力部１によって撮影さ
れた一フレーム分の画像を用いて、画像中に一人の人物
のみが含まれ、かつ背景は均一色とすれば、この画像を
上下もしくは左右方向に数画素ずらして新たに画像を構
築し、これら二枚の画像に関して本実施の形態１で述べ
た頭部領域抽出部２の差分画像処理と同様の処理を適用
すれば同様の結果が得られる。
【００８４】このように、本実施の形態１によれば、画
像入力部１により撮影された二次元画像から人物の顔
等、撮像対象の特徴点を画素値の明暗を解析することで
検出し、特徴点近辺の平均色を計算して色づけした似顔
絵等、撮像対象の特徴を強調した画像を作成するので、
テンプレートマッチングによらず顔部品等の特徴点が自
動的に検出でき、顔の肌色等を撮像画像より計算するの
で、前もって色を指定する必要がなく、背景に関しても
ほぼ静止背景であれば、背景の種類によらず人物等撮像
対象を安定して検出でき、その結果撮像結果より生成さ
れる似顔絵等、撮像対象の特徴を強調した画像を安定し
て生成することが可能となる。
【００８５】実施の形態２．以下、本発明の実施の形態
２について説明する。本実施の形態２による似顔絵生成
装置の構成は実施の形態１と同様である。本実施の形態
２では画像加工部５において、実施の形態１で説明した
機能に加え、特徴検出部３で検出された眼や口等の顔部
品位置検出結果を利用して顔画像の似顔絵を変形し、笑
った顔や泣いた顔等、感情的な変化を表わす顔画像を生
成する場合で説明する。
【００８６】図１４（ａ）〜（ｆ）はこのような似顔絵
を変形した例であり、図７と同様の似顔絵（ａ）から、
両眼と口の位置を基準に似顔絵画像の変形を加えて
（ｂ）〜（ｆ）のような結果を得ている。（ｂ）は笑い
顔、（ｃ）は泣き顔、（ｄ）は怒り顔、（ｅ）は太った
顔、（ｆ）は痩せた顔を表わす似顔絵変形の結果例であ
る。
【００８７】次に、具体的な顔変形の手続きについて説
明する。まず、（ｂ）〜（ｄ）に示した顔変形はそれぞ
れ（ｂ’）〜（ｄ’）に示される、両眼位置と口の位置
を基準とした矢印の方向に従い、似顔絵画像に変形を加
えることで得られる。また（ｅ）と（ｆ）に示した顔変
形それぞれ（ｅ’）と（ｆ’）に示されるように顎のラ
インを基準として矢印の方向に拡大および縮小した変形
を似顔絵画像に施すことで得られる。
【００８８】以上のように、入力画像より生成された似
顔絵を生成し、それを顔部品検出位置を元に変形を加
え、泣き顔・笑い顔等の感情的な似顔絵を生成するの
で、ユーザーによるテンプレート選択を経由せず、この
ような画像を自動的に生成することが可能となる。
【００８９】次に、図１３に画像加工手順１０５におけ
る手順をフローチャートで示す。図１３に示す画像加工
手順のフローチャートにおいて、まず第一ステップとし
て、顔輪郭確定手順１０４で計算した顔輪郭内の入力画
像から図７に相当する似顔絵画像が生成される。次に顔
部品のはめ込みの有無、および顔部品の変形の有無を判
別した後、所望の似顔絵画像を得ることができる。
【００９０】以上述べたような撮影画像からの画像生成
演算方法は、画像生成用プログラムにより実現され、該
プログラムはコンピュータ当で読み取り可能な記録媒体
に記録して提供される。
【００９１】なお、本実施の形態２では顔部品の変形に
よる似顔絵画像の変形について説明したが、例えば原画
像の顔部分を用いて、顔部品検出位置を基準に原画像を
部分的に変形して、感情的な顔変形を施してもよい。さ
らに本実施の形態２では両眼位置と口の位置を基準とし
た変形について説明したが、これ以外の例えば鼻や耳の
位置など別の特徴点を基準に変形を施してもよい。ま
た、本実施の形態２では感情的な顔画像の変形方法につ
いては図６（ｂ’）〜（ｆ’）の例で説明したが、特に
この方法に限定されるわけではなく、これ以外の周知の
変形方法で変形を施すことも当然可能である。
【００９２】実施の形態３．以下、本発明の実施の形態
３について説明する。本実施の形態３による似顔絵生成
装置の構成は実施の形態１と同様である。本実施の形態
３では画像加工部５は、実施の形態１で説明した機能に
加え、特徴検出部３で検出された眼や口等の顔部品検出
位置に別の顔部品で置き換えて、実施の形態１で示した
似顔絵画像とは別の顔画像を生成する場合で説明する。
【００９３】図１５は図７に示した似顔絵画像の両眼と
口の位置にあらかじめ準備した顔部品をはめ込み、別の
顔画像を生成する例を示す図である。（ａ）は図５の画
像における両眼と口の位置を＊印で示したものであり、
これらの位置に（ｂ）の右眼画像、（ｃ）の左眼画像、
（ｄ）の口画像をはめ込むことで（ｅ）の結果が得られ
る。
【００９４】以上のように、入力画像より生成された似
顔絵において、自動的に検出された顔部品位置に別の顔
部品画像をはめ込むことで別の顔画像を生成するので、
部品位置指定に関するユーザーの手操作を省略すること
ができ、さらにこのような顔部品を数多く準備すること
により、様々な顔画像を自動的に生成することが可能と
なる。
【００９５】実施の形態４.以下、本発明の実施の形態
４について説明する。本実施の形態４は、今まで説明し
てきた似顔絵生成装置または似顔絵生成方法を通信用端
末に適用した例を説明する。
【００９６】図１６は通信用端末として携帯電話３１に
本発明を適用した例を示す図で、（ａ）において携帯電
話３１に設置された小型カメラ３２により撮像された顔
画像は、（ｂ）において顔部品位置検出および似顔絵の
生成が行われ、似顔絵データの送信が行われる。また別
途（ｂ）で検出された顔部品位置情報により（ｃ１）に
おいて、顔部品の変形を施して泣き・笑い・怒り・喜び
等の喜怒哀楽を表現した似顔絵に変換したり、太った顔
や痩せた顔に変換して似顔絵データの送信をすることが
できる。また別途（ｂ）で検出された顔部品位置情報に
より（ｃ２）において、顔部品の入れ替えにより種々の
表情を表現して後似顔絵データの送信をすることもでき
る。また当然これらの似顔絵データの受信をすることも
できる。
【００９７】これらの似顔絵の実際の使われ方の例とし
て以下に提案する方法によれば、さらにメール等の通信
の際有益である。例えば、メール受信時の待ち受け画面
において、メールが届いた時に送信元の個人別に自分の
似顔絵が泣く・微笑む等の変化をして表示するように設
定しておくことにより、誰から、もしくはどのような人
からメールが届いたかが即時に判断することができる。
【００９８】また、他の使われ方の例としては、例え
ば、メールの送信元の似顔絵をあらかじめ登録してお
き、その人からメールが届いた時に送信元の似顔絵が表
示されるように設定すれば、誰からメールが届いたかが
即座に判断できる。さらに、面識がなくても自分の似顔
絵を送付することにより、親しみ易くなるという効果も
ある。さらに、メールのサブジェクトに「悲報」「朗
報」等を含めるようにしておき、メールの受け取り先で
似顔絵に泣く・笑う等の変形を施し、似顔絵の表情でメ
ールの内容が即座に判断できるようにすることもでき
る。
【００９９】さらに、本発明で作成された似顔絵を利用
して、携帯通信機器等の種々のインジケータとして用い
ることができる。例えば、電池が切れそうになると、痩
せた自分の顔が表示されるようにしておけば、電池の交
換または充電時期を容易に知ることができる。また、受
信したメールが未開封でたまった場合、太った自分の顔
が表示されるようにしておけば、メールのたまり具合を
容易に知ることができる。さらに、画面に直射日光が入
った場合、まぶしそうな顔が表示されるようにしておけ
ば、その情報を容易に知ることができる。
【０１００】またさらに異なった使い方としては、ゲー
ム等の実施の際、高得点を獲得した時には笑顔を、低得
点の時には泣き顔を表示するようにして楽しむことがで
きる。また、自分の似顔絵と送信されてきた似顔絵を合
成して楽しむこともできる。また、ヒゲ、カツラ等の部
品を用意しておき、これらを似顔絵に合成して楽しむこ
ともできる。また、怒った顔には赤く色づけしたり、泣
いた顔には別途用意した涙の部品を付加して楽しむこと
もできる。
【０１０１】以上、説明した通信用端末は携帯電話に限
られることはなく、似顔絵画像を送・受信することがで
きるものであればよい。例えば、ＰＤＡ（携帯端末）、
ノートＰＣ、テレビ電話等に適用することができる。
【０１０２】また、本発明による似顔絵生成装置によれ
ば、携帯電話やパソコンで使用する電子メール等に添付
して送信したり、また遠隔地とのカメラを用いたビデオ
会議などで、参加者の生の顔画像を出す代わりに、自動
生成された似顔絵を画面に写し、やりとりする音声デー
タに応じて似顔絵の口部分を動かすことで、参加者に現
実感を与え、かつ自分自身の顔が出ることによりユーザ
ーが感じる拒否感を和らげることが可能である。
【０１０３】
【発明の効果】以上のように、本発明は構成され、また
手順を含むので、以下に示すような効果を奏する。本発
明に係る似顔絵生成装置においては、画像入力部と、頭
部領域抽出部と、特徴検出部と、顔輪郭確定部と、画像
加工部とを備えるため、テンプレートマッチングによら
ず顔部品等の特徴点が自動的に検出でき、顔の肌色等を
撮像画像より計算するので、前もって色を指定する必要
がなく、背景に関してもほぼ静止背景であれば、背景の
種類によらず人物等撮像対象を安定して検出でき、その
結果撮像結果より生成される似顔絵等、撮像対象の特徴
を強調した画像を安定して生成することができる。
【０１０４】また、本発明の通信用端末においては、画
像入力部と、頭部領域抽出部と、特徴検出部と、顔輪郭
確定部と、画像加工部とを備え、通信手段により作成し
た前記似顔絵を送受信するため、テンプレートマッチン
グによらず顔部品等の特徴点が自動的に検出でき、顔の
肌色等を撮像画像より計算するので、前もって色を指定
する必要がなく、背景に関してもほぼ静止背景であれ
ば、背景の種類によらず人物等撮像対象を安定して検出
でき、その結果撮像結果より生成される似顔絵等、撮像
対象の特徴を強調した画像を安定して生成することがで
き、この生成された似顔絵を利用して送受信の通知や、
通信用端末のインジケータとして使用できることによ
り、楽しみながら快適な通信を行うことができる。
【０１０５】また、本発明の似顔絵生成方法によれば、
画像入力手順と、頭部領域抽出手順と、特徴検出手順
と、顔輪郭確定手順と、画像加工手順とを備えるため、
テンプレートマッチングによらず顔部品等の特徴点が自
動的に検出でき、顔の肌色等を撮像画像より計算するの
で、前もって色を指定する必要がなく、背景に関しても
ほぼ静止背景であれば、背景の種類によらず人物等撮像
対象を安定して検出でき、その結果撮像結果より生成さ
れる似顔絵等、撮像対象の特徴を強調した画像を安定し
て生成することができる。
【０１０６】また、本発明の通信方法によれば、画像入
力手順と、頭部領域抽出手順と、特徴検出手順と、顔輪
郭確定手順と、画像加工手順と、受信した場合に作成し
た似顔絵を表示することによって受信したことを知らせ
る手順を備えるため、テンプレートマッチングによらず
顔部品等の特徴点が自動的に検出でき、顔の肌色等を撮
像画像より計算するので、前もって色を指定する必要が
なく、背景に関してもほぼ静止背景であれば、背景の種
類によらず人物等撮像対象を安定して検出でき、その結
果撮像結果より生成される似顔絵等、撮像対象の特徴を
強調した画像を安定して生成することができ、この生成
された似顔絵を利用して送受信の通知として使用できる
ことにより、楽しみながら快適な通信を行うことができ
る。
【０１０７】また、本発明の似顔絵生成プログラムを記
録した記録媒体によれば、画像入力部によって撮像され
た複数枚の二次元画像の差分画像により、人物の頭部領
域を抽出する頭部領域抽出プログラムと、頭部領域内に
おいて各顔部品毎に顔部品領域に分け、この顔部品領域
毎に二値化画像の射影データを求め、この射影データの
重心位置により顔部品の位置を検出することにより人物
の顔の特徴点位置を検出する特徴検出プログラムと、頭
部領域内の顔輪郭と背景の境界を、二次元画像の肌色領
域の特定により確定する顔輪郭確定プログラムと、二次
元画像を顔部品単位で変形させて人物の顔の特徴点を強
調した似顔絵を作成する画像加工プログラムとを含むた
め、画像の送受信が可能な通信用端末等によって読み出
して、生成された似顔絵の利用による送受信の通知や、
通信用端末のインジケータとして使用を容易に実現でき
る。
【図面の簡単な説明】
【図１】 本発明の実施の形態１による似顔絵生成装置
の構成を示すブロック図である。
【図２】 本発明の実施の形態１に係る頭部領域抽出部
の動作を説明するための図である。
【図３】 本発明の実施の形態１に係るメジアンフィル
タを説明するための図である。
【図４】 本発明の実施の形態１に係る平滑化フィルタ
を説明するための図である。
【図５】 本発明の実施の形態１に係る特徴検出部の動
作を説明するための図である。
【図６】 本発明の実施の形態１に係る顔輪郭確定部の
動作を説明するための図である。
【図７】 本発明の実施の形態１に係る画像加工部によ
って入力画像を元に作成される顔画像の具体例を示す図
である。
【図８】 本発明の実施の形態１に係る似顔絵生成方法
の手順を示すフローチャートである。
【図９】 本発明の実施の形態１に係る画像入力手順を
示すフローチャートである。
【図１０】 本発明の実施の形態１に係る頭部領域抽出
手順を示すフローチャートである。
【図１１】 本発明の実施の形態１に係る特徴検出手順
を示すフローチャートである。
【図１２】 本発明の実施の形態１に係る顔輪郭確定手
順を示すフローチャートである。
【図１３】 本発明の実施の形態１に係る画像加工手順
を示すフローチャートである。
【図１４】 本発明の実施の形態２に係る画像加工部に
よって入力画像を元に作成される顔画像の具体例および
元画像からの変形方法を説明する図である。
【図１５】 本発明の実施の形態３に係る画像加工部に
よって入力画像を元に作成される顔画像の具体例および
元画像からの変形方法を説明する図である。
【図１６】 本発明の実施の形態４係る通信用端末およ
び通信方法を説明する図である。
【符号の説明】
１ 画像入力部、２ 頭部領域抽出部、３ 特徴検出
部、４ 顔輪郭確定部、５ 画像加工部、６ 左側プロ
ファイル、７ 右側プロファイル、８ 頭部矩型、２９
頭部輪郭、３０ 顎境界線、３１ 携帯電話、３２
小型カメラ、１０１ 画像入力手順、１０２ 頭部領域
抽出手順、１０３ 特徴検出手順、１０４顔輪郭確定手
順、１０５ 画像加工手順。
フロントページの続き Ｆターム(参考） 5B050 BA12 DA02 DA07 EA05 EA06 EA09 EA13 EA14 EA15 5B057 AA20 BA02 CA01 CA08 CA12 CA16 CB01 CB06 CB12 CB16 CC02 CC03 CD20 CE02 CE05 CE06 CE08 CE09 CE12 DA08 DB02 DB06 DB09 DC16 DC19 DC25 5K027 AA11 BB01 FF03 FF22 5K101 KK02 KK04 LL12 NN18 PP03 PP07 5L096 AA07 BA18 CA04 EA05 FA06 FA38 FA60 FA69 GA08 GA41 GA55

Claims (50)

    【特許請求の範囲】
  1. 【請求項１】 画像センサにより人物の顔を含む二次元
    画像を撮像する画像入力部と、前記画像入力部によって
    撮像された複数枚の前記二次元画像の差分画像により、
    頭部領域を抽出する頭部領域抽出部と、抽出された前記
    頭部領域内における前記人物の顔の特徴点位置を検出す
    る特徴検出部と、前記頭部領域内の顔輪郭と背景の境界
    を確定する顔輪郭確定部と、前記頭部領域抽出部と前記
    特徴検出部と前記顔輪郭確定部の出力データを用いて、
    前記二次元画像を元に前記人物の顔の特徴点を強調した
    似顔絵を作成する画像加工部を備えることを特徴とする
    似顔絵生成装置。
  2. 【請求項２】 前記頭部領域抽出部は、前記差分画像の
    右側プロファイルと左側プロファイルを結合して得られ
    た頭部領域の輪郭により得られることを特徴とする請求
    項１に記載の似顔絵生成装置。
  3. 【請求項３】 前記頭部領域の輪郭は、フィルタリング
    手順により前記右側プロファイルおよび前記左側プロフ
    ァイルのノイズ成分を除去したものにより得られること
    を特徴とする請求項２に記載の似顔絵生成装置。
  4. 【請求項４】 前記頭部領域抽出部は、前記頭部領域の
    輪郭により左辺および右辺および上辺が決定され、一般
    的な人物頭部の形状比定数により下辺が決定された頭部
    矩形により得られることを特徴とする請求項２に記載の
    似顔絵生成装置。
  5. 【請求項５】 画像センサにより人物の顔を含む二次元
    画像を撮像する画像入力部と、前記画像入力部によって
    撮像された画像により、頭部領域を抽出する頭部領域抽
    出部と、抽出された前記頭部領域内において各顔部品毎
    に顔部品領域に分け、この顔部品領域毎に二値化画像の
    射影データを求めることにより前記人物の顔の特徴点位
    置を検出する特徴検出部と、前記頭部領域内の顔輪郭と
    背景の境界を確定する顔輪郭確定部と、前記頭部領域抽
    出部と前記特徴検出部と前記顔輪郭確定部の出力データ
    を用いて、前記二次元画像を元に前記人物の顔の特徴点
    を強調した似顔絵を作成する画像加工部を備えることを
    特徴とする似顔絵生成装置。
  6. 【請求項６】 前記顔部品領域は、あらかじめ求められ
    た前記頭部領域に対する前記顔部品の相対的な位置情報
    により決定されることを特徴とする請求項５に記載の似
    顔絵生成装置。
  7. 【請求項７】 前記人物の顔の特徴点位置は、前記射影
    データの重心位置により検出することを特徴とする請求
    項５に記載の似顔絵生成装置。
  8. 【請求項８】 前記人物の顔の特徴点位置は、前記射影
    データの最大値位置により検出することを特徴とする請
    求項５に記載の似顔絵生成装置。
  9. 【請求項９】 画像センサにより人物の顔を含む二次元
    画像を撮像する画像入力部と、前記画像入力部によって
    撮像された画像により、頭部領域を抽出する頭部領域抽
    出部と、抽出された前記頭部領域内における前記人物の
    顔の特徴点の位置を検出する特徴検出部と、前記頭部領
    域内の顔輪郭と背景の境界を、前記二次元画像の肌色領
    域の特定により確定する顔輪郭確定部と、前記頭部領域
    抽出部と前記特徴検出部と前記顔輪郭確定部の出力デー
    タを用いて、前記二次元画像を元に前記人物の顔の特徴
    点を強調した似顔絵を作成する画像加工部を備えること
    を特徴とする似顔絵生成装置。
  10. 【請求項１０】 前記顔輪郭確定部は、顎の輪郭を確定
    することを特徴とする請求項９に記載の似顔絵生成装
    置。
  11. 【請求項１１】 前記顔輪郭確定部における前記肌色領
    域の特定は、入力されたＲＧＢ値をＨＳＶ値に変換して
    行われることを特徴とする請求項９に記載の似顔絵生成
    装置。
  12. 【請求項１２】 前記顔輪郭確定部における前記肌色領
    域の特定は、前記顔の特徴点近辺の平均色に対し、類似
    した色を持つ領域を顔領域候補とすることを特徴とする
    請求項９に記載の似顔絵生成装置。
  13. 【請求項１３】 画像センサにより人物の顔を含む二次
    元画像を撮像する画像入力部と、前記画像入力部によっ
    て撮像された画像により、頭部領域を抽出する頭部領域
    抽出部と、抽出された前記頭部領域内における前記人物
    の顔の特徴点の位置を顔部品毎に検出する特徴検出部
    と、前記頭部領域内の顔輪郭と背景の境界を確定する顔
    輪郭確定部と、前記頭部領域抽出部と前記特徴検出部と
    前記顔輪郭確定部の出力データを用いて、前記二次元画
    像を前記顔部品単位で変形させて前記顔の特徴点を強調
    した似顔絵を作成する画像加工部を備えることを特徴と
    する似顔絵生成装置。
  14. 【請求項１４】 前記画像加工部は、前記顔の特徴点で
    ある目部、鼻部、口部において部分画像の形状を変形さ
    せて、喜怒哀楽を表現することを特徴とする請求項１３
    に記載の似顔絵生成装置。
  15. 【請求項１５】 前記画像加工部は、前記顔の特徴点で
    ある目部、鼻部、口部において部分画像を置き換えるこ
    とを特徴とする請求項１３に記載の似顔絵生成装置。
  16. 【請求項１６】 画像センサにより人物の顔を含む二次
    元画像を撮像する画像入力部と、前記画像入力部によっ
    て撮像された複数枚の前記二次元画像の差分画像によ
    り、頭部領域を抽出する頭部領域抽出部と、抽出された
    前記頭部領域内における前記人物の顔の特徴点位置を検
    出する特徴検出部と、前記頭部領域内の顔輪郭と背景の
    境界を確定する顔輪郭確定部と、前記頭部領域抽出部と
    前記特徴検出部と前記顔輪郭確定部の出力データを用い
    て、前記二次元画像を元に前記人物の顔の特徴点を強調
    した似顔絵を作成する画像加工部を備え、通信手段によ
    り作成した前記似顔絵を送受信することを特徴とする通
    信用端末。
  17. 【請求項１７】 前記頭部領域抽出部は、前記差分画像
    の右側プロファイルと左側プロファイルを結合して得ら
    れた頭部領域の輪郭により得られることを特徴とする請
    求項１６に記載の通信用端末。
  18. 【請求項１８】 前記頭部領域の輪郭は、フィルタリン
    グ手順により前記右側プロフフイルおよび前記左側プロ
    ファイルのノイズ成分を除去したものにより得られるこ
    とを特徴とする請求項１７に記載の通信用端末。
  19. 【請求項１９】 前記頭部領域抽出部は、前記頭部領域
    の輪郭により左辺および右辺および上辺が決定され、一
    般的な人物頭部の形状比定数により下辺が決定された頭
    部矩形により得られることを特徴とする請求項１７に記
    載の通信用端末。
  20. 【請求項２０】 画像センサにより人物の顔を含む二次
    元画像を撮像する画像入力部と、前記画像入力部によっ
    て撮像された画像により、頭部領域を抽出する頭部領域
    抽出部と、抽出された前記頭部領域内において各顔部品
    毎に顔部品領域に分け、この顔部品領域毎に二値化画像
    の射影データを求めることにより前記人物の顔の特徴点
    位置を検出する特徴検出部と、前記頭部領域内の顔輪郭
    と背景の境界を確定する顔輪郭確定部と、前記頭部領域
    抽出部と前記特徴検出部と前記顔輪郭確定部の出力デー
    タを用いて、前記二次元画像を元に前記人物の顔の特徴
    点を強調した似顔絵を作成する画像加工部を備え、通信
    手段により作成した前記似顔絵を送受信することを特徴
    とする通信用端末。
  21. 【請求項２１】 前記顔部品領域は、あらかじめ求めら
    れた前記頭部領域に対する前記顔部品の相対的な位置情
    報により決定されることを特徴とする請求項２０に記載
    の通信用端末。
  22. 【請求項２２】 前記人物の顔の特徴点位置は、前記射
    影データの重心位置により検出することを特徴とする請
    求項２０に記載の通信用端末。
  23. 【請求項２３】 前記人物の顔の特徴点位置は、前記射
    影データの最大値位置により検出することを特徴とする
    請求項２０に記載の通信用端末。
  24. 【請求項２４】 画像センサにより人物の顔を含む二次
    元画像を撮像する画像入力部と、前記画像入力部によっ
    て撮像された画像により、頭部領域を抽出する頭部領域
    抽出部と、抽出された前記頭部領域内における前記人物
    の顔の特徴点の位置を検出する特徴検出部と、前記頭部
    領域内の顔輪郭と背景の境界を、前記二次元画像の肌色
    領域の特定により確定する顔輪郭確定部と、前記頭部領
    域抽出部と前記特徴検出部と前記顔輪郭確定部の出力デ
    ータを用いて、前記二次元画像を元に前記人物の顔の特
    徴点を強調した似顔絵を作成する画像加工部を備え、通
    信手段により作成した前記似顔絵を送受信することを特
    徴とする通信用端末。
  25. 【請求項２５】 前記顔輪郭確定部は、顎の輪郭を確定
    することを特徴とする請求項２４に記載の通信用端末。
  26. 【請求項２６】 前記顔輪郭確定部における前記肌色領
    域の特定は、入力されたＲＧＢ値をＨＳＶ値に変換して
    行われることを特徴とする請求項２４に記載の通信用端
    末。
  27. 【請求項２７】 前記顔輪郭確定部における前記肌色領
    域の特定は、前記顔の特徴点近辺の平均色に対し、類似
    した色を持つ領域を顔領域候補とすることを特徴とする
    請求項２４に記載の通信用端末。
  28. 【請求項２８】 画像センサにより人物の顔を含む二次
    元画像を撮像する画像入力部と、前記画像入力部によっ
    て撮像された画像により、頭部領域を抽出する頭部領域
    抽出部と、抽出された前記頭部領域内における前記人物
    の顔の特徴点の位置を顔部品毎に検出する特徴検出部
    と、前記頭部領域内の顔輪郭と背景の境界を確定する顔
    輪郭確定部と、前記頭部領域抽出部と前記特徴検出部と
    前記顔輪郭確定部の出力データを用いて、前記二次元画
    像を前記顔部品単位で変形させて前記顔の特徴点を強調
    した似顔絵を作成する画像加工部を備え、通信手段によ
    り作成した前記似顔絵を送受信することを特徴とする通
    信用端末。
  29. 【請求項２９】 前記画像加工部は、前記顔の特徴点で
    ある目部、鼻部、口部において部分画像の形状を変形さ
    せて、喜怒哀楽を表現することを特徴とする請求項２８
    に記載の通信用端末。
  30. 【請求項３０】 前記画像加工部は、前記顔の特徴点で
    ある目部、鼻部、口部において部分画像を置き換えるこ
    とを特徴とする請求項２８に記載の通信用端末。
  31. 【請求項３１】 画像センサにより人物の顔を含む二次
    元画像を撮像する画像入力手順と、前記画像入力手順に
    よって撮像された複数枚の前記二次元画像の差分画像に
    より、頭部領域を抽出する頭部領域抽出手順と、抽出さ
    れた前記頭部領域内における前記人物の顔の特徴点位置
    を検出する特徴検出手順と、前記頭部領域内の顔輪郭と
    背景の境界を確定する顔輪郭確定手順と、前記頭部領域
    抽出部と前記特徴検出手順と前記顔輪郭確定手順の出力
    データを用いて、前記二次元画像を元に前記人物の顔の
    特徴点を強調した似顔絵を作成する画像加工手順による
    ことを特徴とする似顔絵生成方法。
  32. 【請求項３２】 前記頭部領域抽出手順において、前記
    差分画像の右側プロファイルと左側プロファイルを結合
    して頭部領域の輪郭を得ることを特徴とする請求項３１
    に記載の似顔絵生成方法。
  33. 【請求項３３】 前記頭部領域の輪郭は、フィルタリン
    グ手順により前記右側プロフフイルおよび前記左側プロ
    ファイルのノイズ成分を除去して得ることを特徴とする
    請求項３２に記載の似顔絵生成方法。
  34. 【請求項３４】 前記頭部領域抽出手順において、前記
    頭部領域の輪郭により頭部矩形の左辺および右辺および
    上辺が決定され、一般的な人物頭部の形状比定数により
    前記頭部矩形の下辺が決定されることを特徴とする請求
    項３２に記載の似顔絵生成方法。
  35. 【請求項３５】 画像センサにより人物の顔を含む二次
    元画像を撮像する画像入力手順と、前記画像入力部によ
    って撮像された画像により、頭部領域を抽出する頭部領
    域抽出手順と、抽出された前記頭部領域内において各顔
    部品毎に顔部品領域に分け、この顔部品領域毎に二値化
    画像の射影データを求めることにより前記人物の顔の特
    徴点位置を検出する特徴検出手順と、前記頭部領域内の
    顔輪郭と背景の境界を確定する顔輪郭確定手順と、前記
    頭部領域抽出手順と前記特徴検出手順と前記顔輪郭確定
    手順の出力データを用いて、前記二次元画像を元に前記
    人物の顔の特徴点を強調した似顔絵を作成する画像加工
    手順によることを特徴とする似顔絵生成方法。
  36. 【請求項３６】 前記顔部品領域は、あらかじめ求めら
    れた前記頭部領域に対する前記顔部品の相対的な位置情
    報により決定されることを特徴とする請求項３５に記載
    の似顔絵生成方法。
  37. 【請求項３７】 前記人物の顔の特徴点位置は、前記射
    影データの重心位置により検出することを特徴とする請
    求項３５に記載の似顔絵生成方法。
  38. 【請求項３８】 前記人物の顔の特徴点位置は、前記射
    影データの最大値位置により検出することを特徴とする
    請求項３５に記載の似顔絵生成方法。
  39. 【請求項３９】 画像センサにより人物の顔を含む二次
    元画像を撮像する画像入力手順と、前記画像入力部によ
    って撮像された画像により、頭部領域を抽出する頭部領
    域抽出手順と、抽出された前記頭部領域内における前記
    人物の顔の特徴点位置を検出する特徴検出手順と、前記
    頭部領域内の顔輪郭と背景の境界を、前記二次元画像の
    肌色領域の特定により確定する顔輪郭確定手順と、前記
    頭部領域抽出手順と前記特徴検出手順と前記顔輪郭確定
    手順の出力データを用いて、前記二次元画像を元に前記
    人物の顔の特徴点を強調した似顔絵を作成する画像加工
    手順によることを特徴とする似顔絵生成方法。
  40. 【請求項４０】 前記顔輪郭確定手順において、顎の輪
    郭を確定することを特徴とする請求項３９に記載の似顔
    絵生成方法。
  41. 【請求項４１】 前記顔輪郭確定手順における前記肌色
    領域の特定方法は、入力されたＲＧＢ値をＨＳＶ値に変
    換して行われることを特徴とする請求項３９に記載の似
    顔絵生成方法。
  42. 【請求項４２】 前記顔輪郭確定手順における前記肌色
    領域の特定方法は、前記顔の特徴点近辺の平均色に対
    し、類似した色を持つ領域を顔領域候補とすることを特
    徴とする請求項３９に記載の似顔絵生成方法。
  43. 【請求項４３】 画像センサにより人物の顔を含む二次
    元画像を撮像する画像入力手順と、前記画像入力部によ
    って撮像された画像により、頭部領域を抽出する頭部領
    域抽出手順と、抽出された前記頭部領域内における前記
    人物の顔の特徴点位置を顔部品毎に検出する特徴検出手
    順と、前記頭部領域内の顔輪郭と背景の境界を確定する
    顔輪郭確定手順と、前記頭部領域抽出手順と前記特徴検
    出手順と前記顔輪郭確定手順の出力データを用いて、前
    記二次元画像を前記顔部品単位で変形させて前記人物の
    顔の特徴点を強調した似顔絵を作成する画像加工手順に
    よることを特徴とする似顔絵生成方法。
  44. 【請求項４４】 前記画像加工手順は、前記顔の特徴点
    である目部、鼻部、口部において部分画像の形状を変形
    させて、喜怒哀楽を表現することを特徴とする請求項４
    ３に記載の似顔絵生成方法。
  45. 【請求項４５】 前記画像加工手順は、前記顔の特徴点
    である目部、鼻部、口部において部分画像を置き換える
    ことを特徴とする請求項４３に記載の似顔絵生成方法。
  46. 【請求項４６】 画像センサにより人物の顔を含む二次
    元画像を撮像する画像入力手順と、前記画像入力手順に
    よって撮像された複数枚の前記二次元画像の差分画像に
    より、頭部領域を抽出する頭部領域抽出手順と、抽出さ
    れた前記頭部領域内における前記人物の顔の特徴点位置
    を検出する特徴検出手順と、前記頭部領域内の顔輪郭と
    背景の境界を確定する顔輪郭確定手順と、前記頭部領域
    抽出部と前記特徴検出手順と前記顔輪郭確定手順の出力
    データを用いて、前記二次元画像を元に前記人物の顔の
    特徴点を強調した似顔絵を作成する画像加工手順と、受
    信した場合に前記作成した似顔絵を表示することによっ
    て受信したことを知らせる手順によることを特徴とする
    通信用端末による通信方法。
  47. 【請求項４７】 画像センサにより人物の顔を含む二次
    元画像を撮像する画像入力手順と、前記画像入力部によ
    って撮像された画像により、頭部領域を抽出する頭部領
    域抽出手順と、抽出された前記頭部領域内において各顔
    部品毎に顔部品領域に分け、この顔部品領域毎に二値化
    画像の射影データを求めることにより前記人物の顔の特
    徴点位置を検出する特徴検出手順と、前記頭部領域内の
    顔輪郭と背景の境界を確定する顔輪郭確定手順と、前記
    頭部領域抽出手順と前記特徴検出手順と前記顔輪郭確定
    手順の出力データを用いて、前記二次元画像を元に前記
    人物の顔の特徴点を強調した似顔絵を作成する画像加工
    手順と、受信した場合に前記作成した似顔絵を表示する
    ことによって受信したことを知らせる手順によることを
    特徴とする通信用端末による通信方法。
  48. 【請求項４８】 画像センサにより人物の顔を含む二次
    元画像を撮像する画像入力手順と、前記画像入力部によ
    って撮像された画像により、頭部領域を抽出する頭部領
    域抽出手順と、抽出された前記頭部領域内における前記
    人物の顔の特徴点位置を検出する特徴検出手順と、前記
    頭部領域内の顔輪郭と背景の境界を、前記二次元画像の
    肌色領域の特定により確定する顔輪郭確定手順と、前記
    頭部領域抽出手順と前記特徴検出手順と前記顔輪郭確定
    手順の出力データを用いて、前記二次元画像を元に前記
    人物の顔の特徴点を強調した似顔絵を作成する画像加工
    手順と、受信した場合に前記作成した似顔絵を表示する
    ことによって受信したことを知らせる手順によることを
    特徴とする通信用端末による通信方法。
  49. 【請求項４９】 画像センサにより人物の顔を含む二次
    元画像を撮像する画像入力手順と、前記画像入力部によ
    って撮像された画像により、頭部領域を抽出する頭部領
    域抽出手順と、抽出された前記頭部領域内における前記
    人物の顔の特徴点位置を顔部品毎に検出する特徴検出手
    順と、前記頭部領域内の顔輪郭と背景の境界を確定する
    顔輪郭確定手順と、前記頭部領域抽出手順と前記特徴検
    出手順と前記顔輪郭確定手順の出力データを用いて、前
    記二次元画像を前記顔部品単位で変形させて前記人物の
    顔の特徴点を強調した似顔絵を作成する画像加工手順
    と、受信した場合に前記作成した似顔絵を表示すること
    によって受信したことを知らせる手順によることを特徴
    とする通信用端末による通信方法。
  50. 【請求項５０】 画像入力部によって撮像された複数枚
    の二次元画像の差分画像により、人物の頭部領域を抽出
    する頭部領域抽出プログラムと、前記頭部領域内におい
    て各顔部品毎に顔部品領域に分け、この顔部品領域毎に
    二値化画像の射影データを求め、この射影データの重心
    位置により前記顔部品の位置を検出することにより前記
    人物の顔の特徴点位置を検出する特徴検出プログラム
    と、前記頭部領域内の顔輪郭と背景の境界を、前記二次
    元画像の肌色領域の特定により確定する顔輪郭確定プロ
    グラムと、前記二次元画像を前記顔部品単位で変形させ
    て前記人物の顔の特徴点を強調した似顔絵を作成する画
    像加工プログラムとを含むコンピュータ実行可能な似顔
    絵生成プログラムを記録した記録媒体。
JP2000373937A 2000-12-08 2000-12-08 似顔絵生成装置及び似顔絵生成方法及び似顔絵生成プログラムを記録した記録媒体及び通信用端末及び通信用端末による通信方法 Pending JP2002175538A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2000373937A JP2002175538A (ja) 2000-12-08 2000-12-08 似顔絵生成装置及び似顔絵生成方法及び似顔絵生成プログラムを記録した記録媒体及び通信用端末及び通信用端末による通信方法
US09/846,267 US6885761B2 (en) 2000-12-08 2001-05-02 Method and device for generating a person's portrait, method and device for communications, and computer product
EP20010120146 EP1221673A3 (en) 2000-12-08 2001-08-22 Method and device for generating a person's portrait and communications terminal using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000373937A JP2002175538A (ja) 2000-12-08 2000-12-08 似顔絵生成装置及び似顔絵生成方法及び似顔絵生成プログラムを記録した記録媒体及び通信用端末及び通信用端末による通信方法

Publications (1)

Publication Number Publication Date
JP2002175538A true JP2002175538A (ja) 2002-06-21

Family

ID=18843222

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000373937A Pending JP2002175538A (ja) 2000-12-08 2000-12-08 似顔絵生成装置及び似顔絵生成方法及び似顔絵生成プログラムを記録した記録媒体及び通信用端末及び通信用端末による通信方法

Country Status (3)

Country Link
US (1) US6885761B2 (ja)
EP (1) EP1221673A3 (ja)
JP (1) JP2002175538A (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004147288A (ja) * 2002-10-25 2004-05-20 Reallusion Inc 顔画像の補正方法
KR20040052142A (ko) * 2002-12-13 2004-06-19 엘지전자 주식회사 이동통신 단말기 및 그 운용방법
KR100438283B1 (ko) * 2002-08-09 2004-07-02 엘지전자 주식회사 이동통신 단말기 및 이동통신 단말기에서의 얼굴 영역추출 방법
KR100493667B1 (ko) * 2002-11-28 2005-06-02 엘지전자 주식회사 발신자 확인 영상 표시 시스템
KR100678170B1 (ko) * 2004-12-14 2007-02-02 삼성전자주식회사 이동통신 단말기에서 캐리커쳐 또는 스케치 이미지를 제공하기 위한 장치 및 방법
JP2009521065A (ja) * 2007-04-12 2009-05-28 ジェイディエフ グループ カリカチュア生成システムとその方法およびその記録媒体
US7583838B2 (en) 2003-08-25 2009-09-01 Samsung Electronics Co., Ltd. Color saturation adjusting apparatus and method used for a display system
JP2009232240A (ja) * 2008-03-24 2009-10-08 Seiko Epson Corp 画像処理装置、画像処理方法、および画像処理のためのコンピュータプログラム
JP2010152871A (ja) * 2008-11-28 2010-07-08 Casio Computer Co Ltd 画像処理装置、画像処理方法及びプログラム
US8098293B2 (en) 2002-08-30 2012-01-17 Sony Corporation Image extraction device, image extraction method, image processing device, image processing method, and imaging device
JP2013101680A (ja) * 2007-07-06 2013-05-23 Zero To One Technology 電子的に会話を評価するための方法およびシステム
JP2013168050A (ja) * 2012-02-16 2013-08-29 Casio Comput Co Ltd 画像生成装置、画像生成方法及びプログラム

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7106887B2 (en) * 2000-04-13 2006-09-12 Fuji Photo Film Co., Ltd. Image processing method using conditions corresponding to an identified person
US7324246B2 (en) * 2001-09-27 2008-01-29 Fujifilm Corporation Apparatus and method for image processing
US7224851B2 (en) * 2001-12-04 2007-05-29 Fujifilm Corporation Method and apparatus for registering modification pattern of transmission image and method and apparatus for reproducing the same
JP3911527B2 (ja) * 2002-01-17 2007-05-09 富士通株式会社 携帯端末、携帯端末処理用プログラム及び携帯端末システム
JP2003296713A (ja) * 2002-04-04 2003-10-17 Mitsubishi Electric Corp 顔画像合成装置、顔画像合成方法およびその方法を実行するプログラムならびに顔画像合成装置を備えた通信用端末およびその通信用端末による通信方法
KR100503039B1 (ko) * 2002-11-25 2005-07-22 삼성테크윈 주식회사 사용자가 쉽게 증명 사진을 촬영할 수 있도록 디지털카메라의동작을 제어하는 방법
JP3950802B2 (ja) * 2003-01-31 2007-08-01 株式会社エヌ・ティ・ティ・ドコモ 顔情報送信システム、顔情報送信方法、顔情報送信プログラム、及びコンピュータ読取可能な記録媒体
JP4127521B2 (ja) * 2003-05-20 2008-07-30 富士フイルム株式会社 ディジタル・カメラおよびその制御方法
US8896725B2 (en) * 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
US20050043897A1 (en) * 2003-08-09 2005-02-24 Meyer Robert W. Biometric compatibility matching system
JP4085959B2 (ja) * 2003-11-14 2008-05-14 コニカミノルタホールディングス株式会社 物体検出装置、物体検出方法、および記録媒体
JP4344925B2 (ja) * 2003-12-15 2009-10-14 富士フイルム株式会社 画像処理装置、画像処理方法およびプリントシステム
JP4458888B2 (ja) * 2004-03-22 2010-04-28 富士通株式会社 会議支援システム、議事録生成方法、およびコンピュータプログラム
US7629989B2 (en) * 2004-04-02 2009-12-08 K-Nfb Reading Technology, Inc. Reducing processing latency in optical character recognition for portable reading machine
JP4507679B2 (ja) * 2004-04-21 2010-07-21 富士ゼロックス株式会社 画像認識装置、画像抽出装置、画像抽出方法及びプログラム
FR2870948B1 (fr) * 2004-05-25 2006-09-01 Sagem Dispositif de positionnement d'un utilisateur par affichage de son image en miroir, dispositif de capture d'images et procede de positionnement correspondants
US8081818B2 (en) * 2004-09-15 2011-12-20 Adobe Systems Incorporated Locating a feature in a digital image
US7623707B2 (en) * 2004-09-15 2009-11-24 Adobe Systems Incorporated Hierarchically locating a feature in a digital image
US8320641B2 (en) * 2004-10-28 2012-11-27 DigitalOptics Corporation Europe Limited Method and apparatus for red-eye detection using preview or other reference images
US20060132871A1 (en) * 2004-12-20 2006-06-22 Beretta Giordano B System and method for determining an image frame color for an image frame
KR100693412B1 (ko) * 2005-05-16 2007-03-09 주식회사 아이디테크 영상에서 감시대상의 눈을 검출하는 방법
JP4417292B2 (ja) * 2005-05-25 2010-02-17 ソフトバンクモバイル株式会社 オブジェクト出力方法及び情報処理装置
JP4750520B2 (ja) * 2005-09-21 2011-08-17 富士フイルム株式会社 人物画像補正装置および方法
US20070127787A1 (en) * 2005-10-24 2007-06-07 Castleman Kenneth R Face recognition system and method
US20070171237A1 (en) * 2006-01-25 2007-07-26 Marco Pinter System for superimposing a face image on a body image
JP5170961B2 (ja) 2006-02-01 2013-03-27 ソニー株式会社 画像処理システム、画像処理装置および方法、プログラム、並びに記録媒体
US8265349B2 (en) * 2006-02-07 2012-09-11 Qualcomm Incorporated Intra-mode region-of-interest video object segmentation
US8265392B2 (en) * 2006-02-07 2012-09-11 Qualcomm Incorporated Inter-mode region-of-interest video object segmentation
US8150155B2 (en) * 2006-02-07 2012-04-03 Qualcomm Incorporated Multi-mode region-of-interest video object segmentation
US20070230794A1 (en) * 2006-04-04 2007-10-04 Logitech Europe S.A. Real-time automatic facial feature replacement
US7860280B2 (en) * 2006-06-09 2010-12-28 Samsung Electronics Co., Ltd. Facial feature detection method and device
JP4905931B2 (ja) * 2006-07-04 2012-03-28 富士フイルム株式会社 人体領域抽出方法および装置並びにプログラム
KR100847136B1 (ko) * 2006-08-14 2008-07-18 한국전자통신연구원 어깨 윤곽선 추출 방법, 이를 이용한 로봇 깨움 방법 및이를 위한 장치
US20080030496A1 (en) 2007-01-03 2008-02-07 Social Concepts, Inc. On-line interaction system
US8413059B2 (en) 2007-01-03 2013-04-02 Social Concepts, Inc. Image based electronic mail system
US8166407B2 (en) 2007-01-25 2012-04-24 Social Concepts, Inc. Apparatus for increasing social interaction over an electronic network
JP4289415B2 (ja) * 2007-03-27 2009-07-01 セイコーエプソン株式会社 画像変形のための画像処理
US20080285860A1 (en) * 2007-05-07 2008-11-20 The Penn State Research Foundation Studying aesthetics in photographic images using a computational approach
US8781175B2 (en) 2007-05-07 2014-07-15 The Penn State Research Foundation On-site composition and aesthetics feedback through exemplars for photographers
US8184925B1 (en) 2007-10-22 2012-05-22 Berridge & Associates System for converting a photograph into a portrait-style image
JP2010086178A (ja) * 2008-09-30 2010-04-15 Fujifilm Corp 画像合成装置およびその制御方法
US8600101B2 (en) * 2009-02-05 2013-12-03 Kazuo Sairyo Portrait illustration creation system, character creation system, and created portrait illustration display system
KR101558553B1 (ko) * 2009-02-18 2015-10-08 삼성전자 주식회사 아바타 얼굴 표정 제어장치
CN101840510B (zh) * 2010-05-27 2012-02-08 武汉华杰公共安全技术发展有限公司 基于成本敏感的自适应增强的人脸认证方法
US9134399B2 (en) 2010-07-28 2015-09-15 International Business Machines Corporation Attribute-based person tracking across multiple cameras
US8515127B2 (en) 2010-07-28 2013-08-20 International Business Machines Corporation Multispectral detection of personal attributes for video surveillance
US10424342B2 (en) 2010-07-28 2019-09-24 International Business Machines Corporation Facilitating people search in video surveillance
US8532390B2 (en) 2010-07-28 2013-09-10 International Business Machines Corporation Semantic parsing of objects in video
TWI511056B (zh) * 2011-09-20 2015-12-01 Altek Corp 特徵資料壓縮裝置、多方向人臉偵測系統及其偵測方法
US8634648B2 (en) * 2011-12-07 2014-01-21 Elwha Llc Reporting informational data indicative of a possible non-imaged portion of a skin
US20130156343A1 (en) * 2011-12-20 2013-06-20 Harman International Industries, Incorporated System for communicating relationship data associated with image characteristics
WO2013145900A1 (ja) * 2012-03-27 2013-10-03 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
IL226047A (en) * 2013-04-29 2017-12-31 Hershkovitz Reshef May A method and system for giving personal expressions
KR20150026358A (ko) * 2013-09-02 2015-03-11 삼성전자주식회사 피사체 정보에 따른 템플릿 피팅 방법 및 그 장치
CN105184735B (zh) * 2014-06-19 2019-08-06 腾讯科技（深圳）有限公司 一种人像变形方法及装置
CN105374055B (zh) * 2014-08-20 2018-07-03 腾讯科技（深圳）有限公司 图像处理方法及装置
CN105279737A (zh) * 2015-07-10 2016-01-27 深圳市美贝壳科技有限公司 一种生成人物照片素材的装置及方法
US9912860B2 (en) 2016-06-12 2018-03-06 Apple Inc. User interface for camera effects
CN106131409B (zh) * 2016-07-12 2019-01-25 京东方科技集团股份有限公司 图像处理方法及装置
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US10423821B2 (en) * 2017-10-25 2019-09-24 Microsoft Technology Licensing, Llc Automated profile image generation based on scheduled video conferences
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63157593A (ja) * 1986-12-22 1988-06-30 Nippon Telegr & Teleph Corp <Ntt> 自動追尾撮像装置
JPH07225834A (ja) * 1994-02-10 1995-08-22 Matsushita Electric Ind Co Ltd 画像ノイズ検出装置
JPH07311833A (ja) * 1994-05-17 1995-11-28 Nec Corp 人物の顔の検出装置
JPH07334683A (ja) * 1994-06-08 1995-12-22 Matsushita Electric Ind Co Ltd 移動物体検出装置
JPH08123964A (ja) * 1994-10-24 1996-05-17 Omron Corp モデルパターン登録方法及び装置
JPH10162118A (ja) * 1996-11-29 1998-06-19 Canon Inc 画像処理装置及び方法
JPH11250267A (ja) * 1998-03-05 1999-09-17 Nippon Telegr & Teleph Corp <Ntt> 目の位置検出方法、目の位置検出装置および目の位置検出プログラムを記録した記録媒体
JP2000311248A (ja) * 1999-04-28 2000-11-07 Sharp Corp 画像処理装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3288086B2 (ja) 1992-10-26 2002-06-04 株式会社東芝 動物体抽出装置
JPH0991429A (ja) 1995-09-26 1997-04-04 Nippon Telegr & Teleph Corp <Ntt> 顔領域抽出方法
JP3139617B2 (ja) 1996-03-25 2001-03-05 オムロン株式会社 似顔絵作成方法及び装置
US5886735A (en) * 1997-01-14 1999-03-23 Bullister; Edward T Video telephone headset
US6529630B1 (en) * 1998-03-02 2003-03-04 Fuji Photo Film Co., Ltd. Method and device for extracting principal image subjects
JPH11283036A (ja) 1998-03-30 1999-10-15 Toshiba Tec Corp 対象物検出装置及び対象物検出方法
US6301370B1 (en) * 1998-04-13 2001-10-09 Eyematic Interfaces, Inc. Face recognition from video images
US6072496A (en) * 1998-06-08 2000-06-06 Microsoft Corporation Method and system for capturing and representing 3D geometry, color and shading of facial expressions and other animated objects
US6639998B1 (en) * 1999-01-11 2003-10-28 Lg Electronics Inc. Method of detecting a specific object in an image signal
US6437808B1 (en) * 1999-02-02 2002-08-20 Texas Instruments Incorporated Apparatus and method for transmitting graphical representations
JP2000293702A (ja) 1999-04-06 2000-10-20 Sharp Corp 似顔絵作成装置、似顔絵作成方法及び該方法を実行するためのプログラムを記録した記憶媒体
EP1085366B1 (en) * 1999-09-14 2004-09-15 Kabushiki Kaisha Toshiba Face image photographing apparatus and face image photographing method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63157593A (ja) * 1986-12-22 1988-06-30 Nippon Telegr & Teleph Corp <Ntt> 自動追尾撮像装置
JPH07225834A (ja) * 1994-02-10 1995-08-22 Matsushita Electric Ind Co Ltd 画像ノイズ検出装置
JPH07311833A (ja) * 1994-05-17 1995-11-28 Nec Corp 人物の顔の検出装置
JPH07334683A (ja) * 1994-06-08 1995-12-22 Matsushita Electric Ind Co Ltd 移動物体検出装置
JPH08123964A (ja) * 1994-10-24 1996-05-17 Omron Corp モデルパターン登録方法及び装置
JPH10162118A (ja) * 1996-11-29 1998-06-19 Canon Inc 画像処理装置及び方法
JPH11250267A (ja) * 1998-03-05 1999-09-17 Nippon Telegr & Teleph Corp <Ntt> 目の位置検出方法、目の位置検出装置および目の位置検出プログラムを記録した記録媒体
JP2000311248A (ja) * 1999-04-28 2000-11-07 Sharp Corp 画像処理装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100438283B1 (ko) * 2002-08-09 2004-07-02 엘지전자 주식회사 이동통신 단말기 및 이동통신 단말기에서의 얼굴 영역추출 방법
US8098293B2 (en) 2002-08-30 2012-01-17 Sony Corporation Image extraction device, image extraction method, image processing device, image processing method, and imaging device
JP2004147288A (ja) * 2002-10-25 2004-05-20 Reallusion Inc 顔画像の補正方法
KR100493667B1 (ko) * 2002-11-28 2005-06-02 엘지전자 주식회사 발신자 확인 영상 표시 시스템
KR20040052142A (ko) * 2002-12-13 2004-06-19 엘지전자 주식회사 이동통신 단말기 및 그 운용방법
US7583838B2 (en) 2003-08-25 2009-09-01 Samsung Electronics Co., Ltd. Color saturation adjusting apparatus and method used for a display system
KR100678170B1 (ko) * 2004-12-14 2007-02-02 삼성전자주식회사 이동통신 단말기에서 캐리커쳐 또는 스케치 이미지를 제공하기 위한 장치 및 방법
JP2009521065A (ja) * 2007-04-12 2009-05-28 ジェイディエフ グループ カリカチュア生成システムとその方法およびその記録媒体
JP2013101680A (ja) * 2007-07-06 2013-05-23 Zero To One Technology 電子的に会話を評価するための方法およびシステム
US8861779B2 (en) 2007-07-06 2014-10-14 Zero To One Technology Methods for electronically analysing a dialogue and corresponding systems
JP2009232240A (ja) * 2008-03-24 2009-10-08 Seiko Epson Corp 画像処理装置、画像処理方法、および画像処理のためのコンピュータプログラム
JP2010152871A (ja) * 2008-11-28 2010-07-08 Casio Computer Co Ltd 画像処理装置、画像処理方法及びプログラム
KR101036858B1 (ko) * 2008-11-28 2011-05-25 가시오게산키 가부시키가이샤 화상 처리 장치, 화상 처리 방법 및 프로그램을 기억하는 기억 매체
US8411911B2 (en) 2008-11-28 2013-04-02 Casio Computer Co., Ltd. Image processing apparatus, image processing method, and storage medium for storing program
JP2013168050A (ja) * 2012-02-16 2013-08-29 Casio Comput Co Ltd 画像生成装置、画像生成方法及びプログラム

Also Published As

Publication number Publication date
US6885761B2 (en) 2005-04-26
US20020070945A1 (en) 2002-06-13
EP1221673A3 (en) 2003-10-08
EP1221673A2 (en) 2002-07-10

Similar Documents

Publication Publication Date Title
JP2002175538A (ja) 似顔絵生成装置及び似顔絵生成方法及び似顔絵生成プログラムを記録した記録媒体及び通信用端末及び通信用端末による通信方法
EP3454250B1 (en) Facial image processing method and apparatus and storage medium
CN109325988B (zh) 一种面部表情合成方法、装置及电子设备
US11887234B2 (en) Avatar display device, avatar generating device, and program
JP4574249B2 (ja) 画像処理装置及びその方法、プログラム、撮像装置
JP4449723B2 (ja) 画像処理装置、画像処理方法、およびプログラム
KR101733512B1 (ko) 얼굴 특징 기반의 가상 체험 시스템 및 그 방법
WO2017035966A1 (zh) 用于人脸图像处理的方法和装置
CN110287790B (zh) 一种面向静态多人场景的学习状态混合分析方法
US20140341442A1 (en) Image masks for face-related selection and processing in images
JP2010507854A (ja) ビデオイメージシーケンスを仮想シミュレーションする方法及び装置
JPH0877334A (ja) 顔画像の特徴点自動抽出方法
JP2008226125A (ja) 瞼検出装置、瞼検出方法、及び、プログラム
JP6111723B2 (ja) 画像生成装置、画像生成方法及びプログラム
JP2005242566A (ja) 画像合成装置及び方法
US6975763B2 (en) Shade component removing apparatus and shade component removing method for removing shade in image
CN106033539A (zh) 一种基于视频人脸识别的会议引导方法及系统
WO2024001095A1 (zh) 面部表情识别方法、终端设备及存储介质
JP2005222152A (ja) 画像補正装置
CN108234770B (zh) 一种辅助化妆系统、辅助化妆方法、辅助化妆装置
KR101827998B1 (ko) 얼굴 특징 기반의 가상 체험 시스템 및 그 방법
Sheu et al. Automatic generation of facial expression using triangular geometric deformation
JP5272775B2 (ja) 電子スチルカメラ
JP2010066853A (ja) 画像処理装置、方法およびプログラム
KR20010084996A (ko) 단일 이미지를 이용한 3차원 아바타 제작 방법 및 이를이용한 자판기

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060123

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060228

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20061004

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070814

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100924

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101019