JP2001155174A

JP2001155174A - 画像処理方法および装置

Info

Publication number: JP2001155174A
Application number: JP33936399A
Authority: JP
Inventors: Atsushi Enomoto; 淳榎本
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 1999-11-30
Filing date: 1999-11-30
Publication date: 2001-06-08

Abstract

(57)【要約】【課題】人物写真において、簡単に表情を変更する。【解決手段】顔の表情を変更するために予め指定された
感情の種類を示す情報に従って、入力画像から、表情の
変更のために移動、変更の必要な部位を自動的に抽出
し、前記感情あるいはさらに、表情変更の強度を示す感
情レベルに従って、前記各部位を同時に、または独立に
移動、変形することを特徴とする画像処理方法を提供す
ることによって前記課題を解決する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、人物写真におい
て、撮影された人の顔の表情を変更する技術に関する。

【０００２】

【従来の技術】人物を撮影した写真の場合、人の表情は
常に変化しているため、なかなかその良い表情をとらえ
ることは、困難であり、所望の撮影画像が得られない場
合がある。従来は、このようにシャッターチャンスを逃
して、失敗した写真を修正するには、熟練者がペンを用
いてレタッチ修正を行っていた。

【０００３】これに対し、近年、フィルムに記録された
画像情報を光電的に読み取り、これをデジタル画像デー
タ化して、種々のデジタル画像処理を施した後に、画像
の記録を行う、デジタル露光を利用したデジタルフォト
プリンタが実用化されている。また、撮影画像を直接デ
ジタルデータとして取り込む、デジタルカメラも開発さ
れている。このように、デジタル化された画像データを
画像処理することにより、高品質なプリントが得られる
ようになってきた。

【０００４】その結果、デジタル画像処理による画像の
修正の方法もいろいろ提案されている。例えば、特開平
１１−１６７６２６号公報には、デジタルカメラによっ
て撮影された人物画像をディスプレイに表示して、ユー
ザがこれを見て、表情を変換したい顔を囲む領域を指定
し、顔の部位である目、眉、口を選択し、顔の表情を変
更するためのパラメータを選択すると、このパラメータ
に基づいて、ディスプレイ上での目、眉、口の領域の座
標を変換し、表情を変化させるものが開示されている。

【０００５】

【発明が解決しようとする課題】しかしながら、前記特
開平１１−１６７６２６号公報に開示された従来技術で
は、表情を変更すべき顔の抽出を自動で行ってはおら
ず、ユーザがディスプレイの表示を見ながら、顔領域を
囲む領域を指定し、顔の各部位を指定するようにしてい
るため、操作が煩雑であった。また、前記従来技術で
は、複数の部位を同時に動かすようにしているため、一
面では、操作が簡単になっているとはいえるが、一度表
情を変更した後、各部位を独立に移動、変形させて微調
整をしたい場合もあり得るが、そのようなユーザの希望
には答えることができない。さらに、各部位の形状を変
えるのみであり、顔の色を変えたり、顔の大きさや顔に
対する各部位の大きさに応じて各部位の移動量を変える
というようなことはしておらず、まだ、ユーザの所望す
る表情の画像を得るには、必ずしも満足のいくものでは
なかった。

【０００６】本発明は、前記従来の問題に鑑みてなされ
たものであり、簡単な操作で、人間の感情（喜び、怒
り、悲しみ、驚き、恐怖、嫌悪等）に従って、顔の複数
の部位を同時に、または独立に移動、変形等することに
より、所望の表情をした人物写真プリントを得ることの
できる画像処理方法および装置を提供することを課題と
する。

【０００７】

【課題を解決するための手段】前記課題を解決するため
に、本発明の第一の態様は、顔の表情を変更するために
予め指定された感情の種類を示す情報に従って、入力画
像から、表情の変更のために移動、変更の必要な部位を
自動的に抽出し、前記感情あるいはさらに、表情変更の
強度を示す感情レベルに従って、前記各部位を同時に、
または独立に移動、変形することを特徴とする画像処理
方法を提供する。

【０００８】また、前記画像処理方法において、さら
に、顔もしくは各部位の色または濃度を変更するように
したことが好ましい。

【０００９】また、前記各部位を移動、変更する際、顔
もしくは各部位の大きさによって、その移動、変形量を
変更するようにしたことが好ましい。

【００１０】また、前記各部位を移動、変形する際、各
部位を同時に移動、変形させた後、各部位を独立に移
動、変形するようにしたことが好ましい。

【００１１】また、同様に前記課題を解決するために、
本発明の第二の態様は、顔の表情を変更するために予め
感情の種類を示す情報あるいはさらに表情変更の強度を
示す感情レベルを指定する手段と、前記指定された感情
の種類を示す情報に従って、入力画像から、表情変更の
ために移動、変形の必要な部位を自動的に抽出する手段
と、前記感情の種類を示す情報あるいはさらに前記感情
レベルに従って、前記各部位を同時に、または独立に移
動、変形する手段と、を備えたことを特徴とする画像処
理装置を提供する。

【００１２】さらに、同様に前記課題を解決するため
に、本発明の第三の態様は、顔の表情を変更するために
予め感情の種類を示す情報あるいはさらに表情変更の強
度を示す感情レベルを指定する手段と、前記指定された
感情の種類を示す情報に従って、入力画像から、表情変
更のために移動、変形の必要な部位を自動的に抽出する
手段と、前記感情の種類を示す情報あるいはさらに前記
感情レベルに従って、前記各部位を同時に移動、変形す
る手段と、前記各部位を同時に移動した後、前記各部位
を独立に移動、変形する手段と、を備えたことを特徴と
する画像処理装置を提供する。

【００１３】また、前記画像処理装置において、さら
に、顔もしくは各部位の色または濃度を変更する手段を
備えたことが好ましい。

【００１４】また、前記画像処理装置において、さら
に、前記感情の種類を示す情報あるいはさらに前記感情
レベルに従って、前記各部位を移動、変形する際、顔も
しくは各部位の大きさによって、その移動、変形量を変
更する手段を備えたことが好ましい。

【００１５】

【発明の実施の形態】以下、本発明に係る画像処理方法
および装置について、添付の図面に示される好適実施形
態を基に、詳細に説明する。

【００１６】図１は、本発明の一実施形態に係る、画像
処理方法を実施する画像処理装置を適用するデジタルフ
ォトプリンタの概略を示すブロック図である。図１に示
すデジタルフォトプリンタ（以下、フォトプリンタとい
う）１０は、フィルムＦに撮影された画像を光電的に読
み取るスキャナ（画像読取装置）１２と、このスキャナ
１２で読み取られた画像データの電子変倍処理や、画像
データのエッジ部の検出やシャープネス強調（鮮鋭度強
調）、平滑化処理（粒状抑制）、および本発明の特徴で
ある人物の顔の表情の変更などの画像処理やフォトプリ
ンタ１０全体の操作および制御等を行う画像処理装置１
４と、この画像処理装置１４から出力された画像データ
に応じて変調した光ビームで感光材料（印画紙）を画像
露光し、現像処理して（仕上がり）画像をプリントとし
て出力する画像記録装置１６と、を有する。また、画像
処理装置１４には、様々な条件の入力、設定、処理の選
択や指示、色／濃度補正などの指示等を入力するための
キーボード１８ａおよびマウス１８ｂを有する操作系１
８と、スキャナ１２で読み取られた画像、各種の操作指
示、様々な条件の設定／登録画面等を表示するモニタ２
０が接続される。

【００１７】スキャナ１２は、フィルムＦ等に撮影され
た画像を１コマずつ光電的に読み取る装置で、光源２２
と、可変絞り２４と、フィルムＦに入射する読取光をフ
ィルムＦの面方向で均一にする拡散ボックス２６と、フ
ィルムＦのキャリア２８と、結像レンズユニット３０
と、Ｒ（赤）、Ｇ（緑）およびＢ（青）の各色画像濃度
の読取に対応する３ラインＣＣＤセンサを有するイメー
ジセンサ３２と、アンプ（増幅器）３３と、Ａ／Ｄ（ア
ナログ／デジタル）変換器３４とを有する。

【００１８】フォトプリンタ１０においては、スキャナ
１２の本体に装着自在な専用のキャリア２８が、新写真
システム（Ａdvanced Ｐhoto Ｓystem)や１３５サイズ
のネガ（あるいはリバーサル）フィルム等のフィルムＦ
の種類やサイズ、ストリップスやスライド等のフィルム
の形態等に応じて用意されており、キャリア２８の交換
によって、各種のフィルムや処理に対応することができ
る。フィルムに撮影され、プリント作成に供される画像
（コマ）は、このキャリア２８によって所定の読取位置
に搬送される。また、周知のように、新写真システムの
フィルムには、磁気記録媒体が形成され、カートリッジ
ＩＤやフィルムサイズ、ＩＳＯ感度等が記録されてお
り、また、撮影時や現像時等に、撮影や現像日時、露出
レベル、カメラや現像機の機種等の各種のデータが記録
可能である。新写真システムのフィルム（カートリッ
ジ）に対応するキャリア２８には、この磁気情報の読取
手段が配置されており、フィルムを読取位置に搬送する
際に磁気情報を読み取り、これらの各種の情報が画像処
理装置１４に送られる。

【００１９】このようなスキャナ１２において、フィル
ムＦに撮影された画像を読み取る際には、光源２２から
射出され、可変絞り２４および拡散ボックス２６によっ
て光量調整された均一な読取光が、キャリア２８によっ
て所定の読取位置に位置されたフィルムＦに入射して、
透過することにより、フィルムＦに撮影された画像を担
持する投影光を得る。なお、カラー画像信号は、このよ
うにフィルムを透過した光を読み取ることによって入力
されるものには限定されず、反射原稿でもよいし、ある
いはデジタルカメラによって撮影された画像を用いても
よい。

【００２０】図示例のキャリア２８は、２４枚取りの１
３５サイズのフィルムや新写真システムのカートリッジ
等の、長尺なフィルムＦ（ストリップス）に対応するも
のである。フィルムＦは、このキャリア２８によって読
取位置に位置されて、ＲＧＢの３ラインＣＣＤセンサの
延在方向である主走査方向と直交する副走査方向に搬送
されつつ、読取光を入射される。これにより、結果的
に、フィルムＦが２次元的にスリット走査され、フィル
ムＦに撮影された各コマの画像が読み取られる。

【００２１】フィルムＦの投影光は、結像レンズユニッ
ト３０によってイメージセンサ３２の受光面に結像され
る。イメージセンサ３２から出力されたＲ、ＧおよびＢ
の各出力信号は、アンプ３３で増幅されて、Ａ／Ｄ変換
器３４に送られ、Ａ／Ｄ変換器３４において、それぞ
れ、例えば１２ｂｉｔのＲＧＢデジタル画像データに変
換された後、画像処理装置１４に出力される。

【００２２】なお、スキャナ１２においては、フィルム
Ｆに撮影された画像を読み取るに際し、低解像度で読み
取るプレスキャン（第１回目の画像読取）と、出力画像
の画像データを得るためのファインスキャン（第２回目
の画像読取）との２回の画像読取を行う。ここで、プレ
スキャンは、スキャナ１２が対象とするフィルムＦの全
ての画像を、イメージセンサ３２が飽和することなく読
み取れるように、予め設定されたプレスキャン読取条件
で行われる。一方、ファインスキャンは、プレスキャン
データから、その画像（コマ）の最低濃度よりも若干低
い濃度でイメージセンサ３２が飽和するように、各コマ
毎に設定されたファインスキャンの読取条件で行われ
る。なお、プレスキャンおよびファインスキャン出力画
像信号は、解像度および出力画像信号レベルが異なる以
外は、基本的に同様な画像データである。

【００２３】なお、フォトプリンタ１０に用いられるス
キャナ１２は、このようなスリット走査読取を行うもの
に限定されず、１コマのフィルム画像の全面を一度に読
み取る面状読取を行うものであってもよい。この場合に
は、例えばエリアＣＣＤセンサなどのエリアセンサを用
い、光源２２とフィルムＦとの間にＲ、ＧおよびＢの各
色フィルタの挿入手段を設け、光源２２からの射出光の
光路に挿入して、色フィルタを透過した読取光をフィル
ムＦ全面に照射して、透過光をエリアＣＣＤセンサに結
像させてフィルム全画像を読み取ることを、Ｒ、Ｇおよ
びＢの各色フィルタを切り換えて順次行うことで、フィ
ルムＦに撮影された画像を３原色に分解して読み取る。

【００２４】前述したように、スキャナ１２から出力さ
れるデジタル画像データ信号は、本発明の画像処理方法
を実施する画像処理装置１４に出力される。図２に、こ
の画像処理装置（以下、処理装置という。）１４のブロ
ック図を示す。ここで、処理装置１４は、スキャナ補正
部３６、ＬＯＧ変換器３８、プレスキャン（フレーム）
メモリ４０、ファインスキャン（フレーム）メモリ４
２、プレスキャンデータ処理部４４、ファインスキャン
データ処理部４６および条件設定部４８を有する。な
お、図２は主に画像処理関連の部分を示すものであり、
処理装置１４には、これ以外にも、処理装置１４を含む
フォトプリンタ１０全体の制御や管理を行うＣＰＵ、フ
ォトプリンタ１０の作動等に必要な情報を記録するメモ
リ等が配設され、また、操作系１８やモニタ２０は、こ
のＣＰＵ等（ＣＰＵバス）を介して各部分に接続され
る。

【００２５】スキャナ１２から処理装置１４に入力され
たＲ、ＧおよびＢの画像信号、例えば１２ｂｉｔのデジ
タル画像データは、スキャナ補正部３６に入力される。
スキャナ補正部３６は、スキャナ１２のイメージセンサ
３２のＲＧＢ３ラインＣＣＤセンサに起因する、ＲＧＢ
デジタル画像データの画素毎の感度ばらつきや暗電流を
補正するためにＤＣオフセット補正、暗時補正、欠陥画
素補正、シェーディング補正等の読取画像データのデー
タ補正を行うものである。スキャナ補正部３６で画素毎
の感度ばらつきや暗電流の補正処理等が施されたデジタ
ル画像信号は、ＬＯＧ変換処理器に出力される。ＬＯＧ
変換器３８は、対数変換処理してデジタル画像データを
階調変換してデジタル画像濃度データに変換するもので
あって、例えば、ルックアップテーブル（ＬＵＴ）を用
いて、スキャナ補正部３６で補正された１２ｂｉｔのデ
ジタル画像データを、例えば１０ｂｉｔ（０〜１０２
３）のデジタル画像濃度データに変換する。

【００２６】ＬＯＧ変換器３８で変換されたデジタル画
像濃度データは、プレスキャン画像データであればプレ
スキャンメモリ４０に、ファインスキャン画像データで
あればファインスキャンメモリ４２に、それぞれ記憶
（格納）される。プレスキャンメモリ４０は、スキャナ
１２によるフィルムＦのプレスキャンによって得られ、
各種のデータ補正および対数変換処理が施されたフィル
ムＦの１コマ全部の低解像度画像濃度データをＲＧＢの
各色毎に格納または記憶するためのフレームメモリであ
る。プレスキャンメモリ４０は、少なくともフィルムＦ
の１コマのＲＧＢ３色の画像濃度データを格納できる容
量が必要であるが、複数コマ分の画像濃度データを格納
できる容量を持つものであってもよいし、１コマ分の容
量のメモリを多数備えるものであってもよい。プレスキ
ャンメモリ４０に記憶されたプレスキャン画像データ
は、プレスキャンデータ処理部４４に読みだされる。

【００２７】一方、ファインスキャンメモリ４２は、ス
キャナ１２によるフィルムＦのファインスキャンによっ
て得られ、各種のデータ補正および対数変換処理が施さ
れたフィルムＦの１コマ全部の高解像度画像濃度データ
をＲＧＢの各色毎に格納または記憶するためのフレーム
メモリである。ファインスキャンメモリ４２に記憶され
たファインスキャン画像データは、ファインスキャンデ
ータ処理部４６に読みだされる。

【００２８】プレスキャンデータ処理部４４は、プレス
キャンメモリ４０に記憶されたプレスキャン画像データ
に対し、モニタ２０に表示するのに必要な種々の画像処
理を施すものであり、画像処理部５０と、画像データ変
換部５２とを有する。ここで、画像処理部５０は、後述
する条件設定部４８が設定した画像処理条件に従って、
スキャナ１２によって読み取られプレスキャンメモリ４
０に記憶された画像データに対し所定の画像処理を施す
ためのものである。所定の画像処理としては、モニタ２
０のＣＲＴ表示画面にカラー画像が所望の画質で再生可
能なように、ルックアップテーブル（以下、ＬＵＴで代
表させる）やマトリックス（以下、ＭＴＸで代表させ
る）演算を用いて、階調補正、色変換、濃度変換等の処
理が行われる。画像データ変換部５２は、画像処理部５
０によって処理された画像データをモニタ２０に表示さ
せるために、モニタ２０の解像度に合うように必要に応
じて間引いて、３Ｄ（３次元）ＬＵＴ等を用いて、モニ
タ２０による表示に対応する画像データに変換するもの
である。

【００２９】一方、ファインスキャンデータ処理部４６
は、ファインスキャンメモリ４２に記憶されたファイン
スキャン画像データに対し、画像記録装置１６からカラ
ープリントとして出力するのに必要な種々の画像処理を
実行するものであり、画像処理部５４と、画像データ変
換部５６とを有する。ここで、画像処理部５４は、後述
する条件設定部４８が設定した画像処理条件に従って、
スキャナ１２によって読み取られファインスキャンメモ
リ４２に記憶された画像データに所定の画像処理を施
し、カラープリントとして所望の濃度、階調および色調
で、カラーペーパ上に、最適、高品質な画像を再生可能
とするものである。このため画像処理部５４は、画像デ
ータに対して、ＬＵＴ，ＭＴＸ演算器、ローパスフィル
タ、加減算器などにより、色バランス調整、階調調整、
色調整、濃度調整、彩度調整、電子変倍やシャープネス
強調（輪郭強調；鮮鋭化）、および人物の顔の表情の変
更などの種々の画像処理を施す。なお、その詳細につい
ては後述する。

【００３０】画像データ変換部５６は、画像処理部５４
によって処理された画像データを、例えば３ＤＬＵＴ等
の標準階調ルックアップテーブルを用いて、画像記録装
置１６による画像記録に対応する画像データに変換し
て、画像記録装置１６に供給する。画像記録装置１６
は、ファインスキャンデータ処理部４６から出力される
画像データに基づいて、カラー画像が再現された仕上が
りプリントとして出力するためのものである。

【００３１】条件設定部４８は、プレスキャンデータ処
理部４４の画像処理部５０およびファインスキャンデー
タ処理部４６の画像処理部５４における各種の処理条件
を設定する。この条件設定部４８は、セットアップ部５
８、表情変更条件設定部５９、キー補正部６０およびパ
ラメータ統合部６２を有している。セットアップ部５８
は、プレスキャン画像データ等を用いて、ファインスキ
ャンの読取条件を設定してスキャナ１２に供給し、ま
た、プレスキャンデータ処理部４４およびファインスキ
ャンデータ処理部４６の画像処理条件を作成（演算）
し、パラメータ統合部６２に供給する。

【００３２】具体的には、セットアップ部５８は、プレ
スキャンメモリ４０からプレスキャン画像データを読み
出し、プレスキャン画像データから、濃度ヒストグラム
の作成や、平均濃度、ＬＡＴＤ（大面積透過濃度）、ハ
イライト（最低濃度）、シャドー（最高濃度）等の画像
特徴量の算出を行う。算出した画像特徴量から、その画
像の最低濃度よりも若干低濃度でイメージセンサ３２が
飽和するように、ファインスキャンの読取条件、例え
ば、光源２２の光量、可変絞り２４の絞り値、イメージ
センサ３２の（各ＲＧＢ３ラインＣＣＤセンサの）蓄積
時間等を設定する。なお、ファインスキャンの読取条件
は、プレスキャンの読取条件に対して、イメージセンサ
３２の出力レベルに対応する全ての要素を変更してもよ
く、前記絞り値等のいずれか１つの要素のみを変更する
ものでもよく、絞り値と蓄積時間等の複数の要素のみを
変更するものでもよい。さらに、セットアップ部５８
は、濃度ヒストグラムや画像特徴量と、必要に応じて行
われるオペレータによる指示等に応じて、前述の色バラ
ンス調整や階調調整等の画像処理条件を設定する。

【００３３】表情変更条件設定部５９は、顧客の要望あ
るいはオペレータの判断により、人物画像の表情を変更
が必要な場合に、その変更の条件を設定するものであ
る。その具体的な設定方法については、後述する。キー
補正部６０は、キーボード１８ａや操作系１８に設けら
れたキー（図示せず）によって設定された濃度（明る
さ）、色、コントラスト、シャープネス、彩度等の調整
量やマウス１８ｂで入力された各種の指示等に応じて、
画像処理条件の調整量（例えば、ＬＵＴの補正量等）を
算出し、パラメータを設定し、パラメータ統合部６２に
供給するものである。パラメータ統合部６２は、セット
アップ部５８が設定した画像処理条件を受け取り、供給
された画像処理条件を、プレスキャンデータ処理部４４
の画像処理部５０およびファインスキャンデータ処理部
４６の画像処理部５４に設定し、さらに、キー補正部６
０で算出された調整量に応じて、各部分に設定した画像
処理条件を補正（調整）し、あるいは画像処理条件を再
設定する。

【００３４】ファインスキャンデータ処理部４６の画像
処理部５４は、プリントとして出力される画像データに
対し、実際に画像処理を行う部位である。図３に、画像
処理部５４の一実施例の概略をブロック図で示す。図３
に示すように、画像処理部５４は、画像データの濃度、
色および階調を変換する色濃度階調変換部６４、画像デ
ータの彩度を変換する彩度変換部６６、補間により画像
データの画素数を変換する電子変倍処理部６８、シャー
プネス強調や粒状抑制を行うシャープネス強調・粒状抑
制部７０および人物の顔の表情を変更する表情変更部７
２を備えている。

【００３５】色濃度階調変換部６４は、ＬＵＴ等に従っ
て、画像データから濃度データ、色データおよび階調デ
ータに変換するものである。また、彩度変換部６６は、
色濃度階調変換部６４によって得られた画像データの彩
度データをＭＴＸ演算等に従って変換するものである。
また、電子変倍処理部６８は、画像記録装置１６におい
てカラーペーパに出力するカラー画像のサイズに応じ
て、かつ出力画素密度に合わせて、画像データを補間し
たり、間引いたりして、画像データの画素データ数を増
減するものである。シャープネス強調・粒状抑制部７０
は、シャープネス強調や粒状抑制等の画像処理を行う。
また、表情変更部７２は、セットアップ部４８の表情変
更条件設定部５９において設定された条件に従って、人
物の顔の表情を変更するものである。

【００３６】本発明に係る画像処理装置およびこれを用
いるデジタルフォトプリンタは、基本的に以上のように
構成される。以下、本実施形態の作用を説明する。

【００３７】オペレータがフィルムＦ（読み取り対象コ
マ）に対応するキャリア２８をスキャナ１２に装填し、
キャリア２８の所定位置にフィルムＦをセットし、仕上
げ情報や作成するプリントサイズ等の必要な指示を入力
した後に、プリントの作成開始を指示する。これによ
り、スキャナ１２の可変絞り２４の絞り値やイメージセ
ンサ３２の蓄積時間がプレスキャンの読取条件に応じて
設定される。その後、キャリア２８がフィルムＦをプレ
スキャンに応じた速度で副走査方向に搬送して、プレス
キャンが開始され、フィルムＦがスリット走査されて投
影光がイメージセンサ３２に結像して、フィルムＦに撮
影された画像がＲ、Ｇ、Ｂに分解されて光電的に低解像
度で読み取られる。

【００３８】プレスキャンによるイメージセンサ３２の
出力信号は、アンプ３３で増幅されて、Ａ／Ｄ変換器３
４に送られ、デジタル画像データとされた後に、本発明
の画像処理装置１４に出力される。画像処理装置１４に
入力されたデジタル画像データは、スキャナ補正部３６
でイメージセンサ３２の暗電流等の所定の補正を施した
後、ＬＯＧ変換器３８に送られ、プレスキャンに対応す
る濃度範囲で、例えば、濃度Ｄで４の濃度範囲を１０ｂ
ｉｔのデータに割りつけるように、ＬＵＴを用いて変換
され、プレスキャン画像データとされ、プレスキャン画
像データは、プレスキャンメモリ４０に記憶される。

【００３９】プレスキャンメモリ４０にプレスキャン画
像データが記憶されると、条件設定部４８のセットアッ
プ部５８がこれを読み出し、濃度ヒストグラムの作成、
ハイライトやシャドー等の画像特徴量の算出等を行い、
ファインスキャンの読取条件を設定して、スキャナ１２
に供給し、また、階調調整やグレイバランス調整等の各
種の画像処理条件を設定し、パラメータ統合部６２に供
給する。画像処理条件を受け取ったパラメータ統合部６
２は、これをプレスキャンデータ処理部４４およびファ
インスキャンデータ処理部４６の所定部分（ハードウエ
アおよびソフトウエア）に設定する。

【００４０】プレスキャン画像データはプレスキャンデ
ータ処理部４４によってプレスキャンメモリ４０から読
みだされ、画像処理部５０において設定された画像処理
条件で画像処理され、次いで、画像データ変換部５２で
変換され、シュミレーション画像としてモニタ２０に表
示される。オペレータは、モニタ２０の表示を見て、画
像の確認を行い、必要に応じてキーボード１８ａに設定
された調整キー等を用いて色、濃度、階調等を調整す
る。この調整の入力は、キー補正部６０に送られ、キー
補正部６０は調整入力に応じた画像処理条件の補正量を
算出し、これをパラメータ統合部６２に送る。パラメー
タ統合部６２は、送られた補正量に応じて、画像処理部
５０および５４のＬＵＴやＭＴＸ等を補正する。このよ
うに、オペレータによる調整入力に応じて、モニタ２０
に表示される画像が変化し、これを見て最適な画像処理
条件が決定される。

【００４１】次に、モニタ２０の表示画像が人物画像
で、表情の変更が必要な場合には、オペレータは、モニ
タ２０の表示を見ながら、表情変更処理を行う。なお、
本実施形態では、モニタ２０に表示されたプレスキャン
画像データにより顔の表情変更を行うが、モニタ表示、
顔の表情変更に使用する画像データは、このようにプレ
スキャン画像データでも、あるいはファインスキャン画
像でも、どちらを使ってもよい。但し、プレスキャン画
像データを用いて表情変更を行う場合は、最終的には、
後で述べるように、ファインスキャン画像データを用い
て、移動、変形量に変換する処理が必要である。また、
これらの変更を行った画像は、画像記録媒体、プリン
ト、モニタ等に出力が可能である。以下、図４に示すフ
ローチャートを参照して、この表情変更処理について説
明する。

【００４２】まず、ステップ１００で、入力画像をモニ
タ２０に表示し、オペレータは、この表示画像を見て表
情の変更の必要があるか否か、あるいは顧客から表情変
更の依頼があるか否か判断する。表情の変更をした方が
よい場合としては、例えば、記念写真や結婚式の写真等
の大事な写真で緊張して変な顔をしてしまったときにそ
れにふさわしい表情にしたい場合、赤ちゃんの顔を笑っ
た顔にしたい場合、お見合い写真や履歴書の写真で印象
をより良くしたい場合、お葬式の写真で思わず笑ってし
まった顔を悲しそうな表情にしたい場合や現在の表情を
より強調して写真の効果を上げたい場合等さまざまな場
合が考えられる。なお、上記表情の変更の必要があるか
否かの判断の方法としては、感情および感情レベルを、
感情の種類を示す情報および表情を変更する強度を示す
感情レベル情報として、撮影時にフィルムに光学的もし
くは磁気的に記録しておいてもよいし、画像記録媒体
（例えば、スマートメディア、コンパクトフラッシュ、
メモリースティック等）に記録しておいてもよい。ま
た、例えば、ポートレート撮影の場合には、多少笑った
顔にするように指定する等、カメラの撮影モードに対応
させるようにしてもよい。その他、顧客からの表情変更
の依頼を、店頭で人が介在して受け付けてもよいし、店
頭の受け付け端末で受け付けてもよいし、またはネット
ワーク等の通信回線を通じて受け付けるようにしてもよ
い。

【００４３】表情を変更する場合には、ステップ１１０
において、オペレータは、キーボード１８ａあるいはマ
ウス１８ｂを用いて、変更しようとする顔の感情の種類
を示す情報および表情変更の強度を示す感情レベルを選
択し、入力する。モニタ２０の表示画面の一例を図５に
示す。図５に示すように、表示画面８０には、修正前の
（オリジナル）画像８２ａと修正後の画像８２ｂが表示
（最初は修正前のみ表示）されるようになっている。ま
た、表示画面８０には、感情の種類を示す情報および表
情を変更する強度を示す感情レベルを指定するためのス
ライドバー８４、および各種処理の指示を与えるための
ボタン（微調整ボタン８６ａ、テストボタン８６ｂ、確
定ボタン８６ｃ、ファイルボタン８６ｄ、プリントボタ
ン８６ｅ）が表示されている。また、顔の色を変更する
ための色変更ボタン８６ｆも設けられている。感情の種
類および感情レベルの選択は、前記スライドバー８４を
スライドさせることによって行われる。

【００４４】感情の種類および感情レベル選択後、テス
トボタン８６ｂをクリックすると、表情変更条件設定部
５９において、主要被写体抽出すなわち顔の抽出をし
（ステップ１２０）、選択された感情の種類に従って移
動、変形する必要のある顔の部位を抽出し（ステップ１
３０）、さらに選択された感情レベルに従って各部位の
移動、変形（ステップ１４０）が行われ、修正後の画像
８２ｂが表示される。ここで、前記移動、変形する必要
のある顔の部位としては、例えば、目、眉、口、鼻、
耳、えくぼ、皺等がある。これらの中のいずれか一つ、
または複数の部位が抽出される。ポートレート等の、被
写体が一人の人物の写真の場合には、主要被写体抽出以
下の処理は、以下説明するようにすべて自動で行われる
が、例えば集合写真中の一人の表情を変更したい場合に
は、主要被写体の抽出は、表示画面８２を見ながらオペ
レータが手動で抽出する必要がある。このとき、オペレ
ータが表情を変更したい人物を含む領域を指定した後、
その領域の中から顔さらに各部位を抽出するのは自動で
行うようにしてもよい。

【００４５】次に主要被写体（顔領域）の自動抽出方法
の一例について説明する。まず、画像データを所定の閾
値で２値化する。これにより、原画像は、閾値より高い
濃度の領域（黒領域）と、閾値以下の濃度の領域（白領
域）とに分割される。この黒領域の中から、人物の頭髪
部に相当する黒領域を抽出する。それには、まず複数の
黒領域の中から１つを取り出し、その領域の輪郭をトレ
ースし、輪郭の曲率を演算する。そして、その演算され
た曲率に基づいて、人物の頭部の輪郭を表す形状パター
ンとして、輪郭に人物の頭部と顔の境界に相当すると推
定される凹部、および人物の頭頂部に相当すると推定さ
れる凸部を備えた黒領域を抽出する。次に、この凹部お
よび凸部の所定の特徴量を計算する。そして、この特徴
量を用いて、その黒領域が人物の頭部と判断できるか、
すなわち人物の頭部である確度が高いか否か判定する。
この判定は、黒領域の輪郭から各々所定範囲内の前記特
徴量をもつ凹部および凸部が各々抽出され、黒領域の輪
郭の周囲長に対する凹部および凸部の長さの比率が各々
所定範囲内にあり、さらに、位置および方向より人物の
頭部として整合性評価が高い場合に肯定される。

【００４６】上記判定が肯定された場合には、人物の頭
髪部と顔との境界部分では、頭髪部が凹の形状となって
いる人物がほとんどであることから、黒領域の輪郭の凹
部の大きさ、およびその中心位置を基準とし、凹部に内
接する楕円形状の領域を顔候補領域として設定する。ま
た、前記２値化によって得られた各領域の輪郭を分割し
てラインを得、このラインの中から人物の顔の輪郭を表
す形状パターンとして、人物の顔の側部に対応すると推
定されるラインの対を抽出する。このライン対が人物の
顔の両側部に対応するラインであると判定された場合
に、このライン対によって挟まれた領域に所定の大きさ
の楕円形状の顔候補領域を設定する。

【００４７】いま設定した顔候補領域に対し符号が正の
重み係数を付与する。次に、顔の内部構造により、顔領
域の設定を行う。これは例えば顔の眼部対に対応すると
推定される黒領域の対を抽出することにより、顔領域と
しての確度をより高めるものである。また、さらに顔領
域であることを確実にするために、胴体の輪郭を表す形
状パターンとして、人物の首から肩、肩から腕部分また
は胴体下部にかけて連続する輪郭に相当すると推定され
るラインの対を抽出する。このような眼部対やライン対
が抽出されるごとに顔候補領域に符号が正の重み係数を
付与し、最終的にこの重み係数により、人物の顔領域で
ある確度が最も高い領域として判定する。このようにし
て、顔領域を抽出する際に、顔の抽出と同時に移動が必
要な、目等の部位の抽出も行われる。例えば口の抽出
は、唇の色、女性であれば口紅の色から抽出することも
できる。また、眉毛は、目にそった黒い線として抽出さ
れる。

【００４８】顔および各部位の抽出が行われると、感情
および感情レベルに応じて各部位の移動、変形が行われ
る。この移動にあたっては、予め、大勢の被験者による
実験結果を集計して、統計的に、喜びの場合には目や口
がこのように動く、怒りの場合にはこのように、という
ようなデータを集めておき、顔や各部位の大きさ等に応
じて、各部位の移動方向や移動量の平均を求めてデータ
ベース化しておき、これを用いて移動、変形させるよう
にする。実際の移動は、画素の位置座標を用いて、座標
変換および補間演算を用い、不自然にならないようにし
て行われる。このように、各部位の移動、変形は、感情
や感情レベルに従って、顔や各部位の大きさに応じて、
その移動、変形量を変更するようにして行われる。

【００４９】移動、変形の具体例としては、「喜び」あ
るいは「笑い」の場合は、目尻を下げ、口の両端を上げ
る（あるいは口を広げる）等、「怒り」の場合は、目尻
を上げ、眉毛（眉尻）を上げ、口の両端を上げる等、
「悲しみ」の場合は、目尻を下げ、眉毛（眉尻）を下
げ、口の両端を下げる等、「驚き」の場合は、口を開
け、目を開け、眉毛を上げる等、の移動、変形を行うこ
とがその感情にあった表情への変形であると考えられ
る。なお、このとき、眉毛の移動は目の移動と連動させ
るようにしても良い。

【００５０】また、各部位の移動、変形において、移
動、変形量の上限を決めておき、それ以上移動させると
不自然な表情になるのを防止するようにする。ステップ
１５０において、オペレータは修正後の画像表示８２ｂ
を見て、顔の色を変更する必要があると判断した場合に
は、顔色変更ボタン８６ｆをクリックして顔色変更を行
う。顔色変更ボタン８６ｆをクリックすると、例えば、
表示画面８２上に、図６に示すような色（Ｒ、Ｇ、Ｂ）
および濃度（ＤＥＮＳＴ）、コントラスト（ＣＯＮ
Ｔ）、明るさ（ＢＲＩＧＨＴ）の変更を行うためのスラ
イドバーが表示され、これを調整することにより、色お
よび濃度、明るさ等の調整を行うことができる。例え
ば、寂しい表情の場合は、顔色の濃度を下げ、喜びの場
合は、顔の色を明るく、怒っている場合には、顔色の赤
みを増す、等の変更を行う。また、喜びの場合には、背
景をクリックして指定しておき、背景を明るくする等背
景についてもその色や明るさを変更するようにしてもよ
い。

【００５１】次にステップ１６０において、オペレータ
は、表示画面８２の修正後の画像を見て、その修正でよ
いか否か判断する。良いと判断した場合には、確定ボタ
ン８６ｃをクリックすると、ステップ１８０で、表情変
更条件が確定され、設定される。また、ファイルボタン
８６ｄ、プリントボタン８６ｅいずれかをクリックし、
データの出力先を指定し、表情の変更された画像データ
を出力する。また、ステップ１６０における判断で、修
正が否とされた場合には、ステップ１７０において、各
部位を独立に移動、変形し、微調整を行う。

【００５２】微調整ボタン８６ａをクリックすると、微
調整が容易にできるように、例えば図７（ａ）に示すよ
うな拡大された顔と、微調整したい部位のボタンが表示
される。例えば、左目ボタン８８をクリックすると左目
上に枠９０が表示される。ここで、枠９０の左上の点９
０ａを指定し、図７（ｂ）のように、その移動先を指定
して微調整ボタン８６ａをクリックすると、図７（ｂ）
のように左目が少しつり上がるように変形する。さら
に、左目あるいは、他の部分を微調整する場合には、他
の部位を指定して、同様にして移動すればよい。微調整
が終了したら確定ボタン８６ｃをクリックすると、ステ
ップ１８０で表情変更条件が設定される。なお、微調整
にあたり、上の例では、各部位のボタンをクリックする
ことにより、その部位を移動するための枠が表示された
が、最初に微調整ボタンをクリックしたときに拡大され
た顔の各部位に枠を表示するようにしてもよい。また、
微調整で点を移動できる範囲は一定に制限を設けておく
のが好ましい。

【００５３】設定された表情変更条件は、セットアップ
部４８から、ファインスキャンデータ処理部４６の表情
変更部７２に送られ、表情変更部７２では、この条件に
基づいて、各種画像処理の行われたファインスキャンデ
ータに対して、表情変更処理を行う。画像処理条件が確
定すると、スキャナ１２において可変絞り２４の絞り値
等が、設定されたファインスキャンの読取条件に応じて
設定されると共に、キャリア２８がファインスキャンに
対応する速度でフィルムＦを搬送し、ファインスキャン
が開始される。ファインスキャンは、可変絞り２４の絞
り値等の読取条件が異なる以外はプレスキャンと同様に
行われ、イメージセンサ３２からの出力信号はアンプ３
３で増幅されて、処理装置１４のＡ／Ｄ変換器３４でデ
ジタル濃度データとされ、スキャナ補正部３６で所定の
処理を施され、ＬＯＧ変換器３８に送られる。ＬＯＧ変
換器３８において、ファインスキャンデジタル画像デー
タはプレスキャンよりも高い濃度分解能で処理され、例
えば、濃度Ｄで２の濃度範囲を１０ｂｉｔのデータに割
りつけるようにＬＵＴで変換され、ファインスキャン画
像データとされた後、ファインスキャンメモリ４２に送
られる。

【００５４】画像処理部５４においては、色濃度階調変
換部６４により、ルックアップテーブルに従って、ファ
インスキャン画像データの濃度データ、色データおよび
階調データが変換され、彩度変換部６６によって、マト
リックス演算にしたがって、画像信号の彩度データが変
換される。次いで、カラーペーパに出力するカラー画像
のサイズ等に応じて電子変倍処理部６８により、画像デ
ータ信号の画素データ数が増減された後、画像信号はシ
ャープネス強調・粒状抑制部７０に入力され、シャープ
ネス強調等の画像処理が施される。そして、表情変更部
７２において、上で説明したようにして設定された表情
変更条件にしたがって表情の変更が行われる。そして、
前述したように、ファイルボタン８６ｄあるいはプリン
トボタン８６ｅにより指定された媒体に、画像処理後の
画像が出力される。

【００５５】以上説明したように、本実施形態によれ
ば、人物写真において、簡単に顔の表情を変更すること
ができるため、例えば、記念写真や結婚式の写真等の大
事な写真で、万一撮影に失敗しても表情を変更すること
ができる。また、本発明は、さまざまな方面において利
用価値があり、例えば、赤ちゃんの顔を笑顔に変えた
り、現在の表情をより強調したり、証明写真等において
それにふさわしく表情を変更したり、一般にシャッター
チャンスを逃した写真の表情を変更することができる。
なお、証明写真については、その性質上あまり表情が変
わってしまうのは問題であるため、バックプリントもし
くは画像面に、修正度あるいは修正していない旨を印字
あるいは埋め込んでおいてもよい。ここで、埋め込むと
は、例えば、人間の視覚特性を利用して、人間には見え
ないドットパターン等を入れておくことを言う。

【００５６】以上、本発明の画像処理方法および装置に
ついて詳細に説明したが、本発明は、以上の例には限定
されず、本発明の要旨を逸脱しない範囲において、各種
の改良や変更を行ってもよいのはもちろんである。例え
ば、人以外の被写体に対しても、本発明は、適用可能で
ある。

【００５７】

【発明の効果】以上説明した通り、本発明によれば、人
物写真において、人間の感情（喜び、怒り、悲しみ、驚
き、恐怖、嫌悪等）に従って、顔の複数の部位を同時
に、または独立に移動、変形等することにより、簡単に
顔の表情を変更することができ、所望の表情をした人物
写真プリントを得るができる。従って、仮にシャッター
チャンスを逃して、最良の表情が撮影できなかったとし
ても、写真の表情を簡単に変更することができる。

【図面の簡単な説明】

【図１】本発明の画像処理方法を実施する画像処理装
置を適用するデジタルフォトプリンタの一実施例を示す
ブロック図である。

【図２】図１に示されるデジタルフォトプリンタの画
像処理装置の一例を示すブロック図である。

【図３】図２に示される画像処理装置のファインスキ
ャン画像データ処理部の画像処理部の一例のブロック図
である。

【図４】本実施形態における、表情変更条件設定方法
を示すフローチャートである。

【図５】表情変更条件設定時における表示画面の一例
を示す説明図である。

【図６】表情変更条件設定時における色変更等のため
のスライドバーを示す説明図である。

【図７】（ａ）、（ｂ）は、ともに表情の微調整の様
子を示す説明図である。

【符号の説明】

１０デジタルフォトプリンタ１２スキャナ１４（画像）処理装置１６画像記録装置１８操作系１８ａキーボード１８ｂマウス２０モニタ２２光源２４可変絞り２６拡散ボックス２８キャリア３０結像レンズユニット３２イメージセンサ３４Ａ／Ｄ変換器３６スキャナ補正部３８ＬＯＧ変換器４０プレスキャン（フレーム）メモリ４２ファインスキャン（フレーム）メモリ４４プレスキャンデータ処理部４６ファインスキャンデータ処理部４８条件設定部５０、５４画像データ変換部５８セットアップ部６０キー補正部６２パラメータ統合部６４色濃度階調変換手段６６彩度変換手段６８電子変倍処理手段７０画像処理手段７２表情変更部８０表示画面８２ａ修正前の画像８２ｂ修正後の画像

Claims

【特許請求の範囲】

【請求項１】顔の表情を変更するために予め指定された
感情の種類を示す情報に従って、入力画像から、表情の
変更のために移動、変更の必要な部位を自動的に抽出
し、前記感情あるいはさらに、表情変更の強度を示す感情レ
ベルに従って、前記各部位を同時に、または独立に移
動、変形することを特徴とする画像処理方法。
【請求項２】請求項１に記載の画像処理方法において、
さらに、顔もしくは各部位の色または濃度を変更するよ
うにした画像処理方法。
【請求項３】前記各部位を移動、変更する際、顔もしく
は各部位の大きさによって、その移動、変形量を変更す
るようにした請求項１または２に記載の画像処理方法。
【請求項４】前記各部位を移動、変形する際、各部位を
同時に移動、変形させた後、各部位を独立に移動、変形
するようにした請求項１乃至３のいずれかに記載の画像
処理方法。
【請求項５】顔の表情を変更するために予め感情の種類
を示す情報あるいはさらに表情変更の強度を示す感情レ
ベルを指定する手段と、前記指定された感情の種類を示す情報に従って、入力画
像から、表情変更のために移動、変形の必要な部位を自
動的に抽出する手段と、前記感情の種類を示す情報あるいはさらに前記感情レベ
ルに従って、前記各部位を同時に、または独立に移動、
変形する手段と、を備えたことを特徴とする画像処理装置。
【請求項６】顔の表情を変更するために予め感情の種類
を示す情報あるいはさらに表情変更の強度を示す感情レ
ベルを指定する手段と、前記指定された感情の種類を示す情報に従って、入力画
像から、表情変更のために移動、変形の必要な部位を自
動的に抽出する手段と、前記感情の種類を示す情報あるいはさらに前記感情レベ
ルに従って、前記各部位を同時に移動、変形する手段
と、前記各部位を同時に移動した後、前記各部位を独立に移
動、変形する手段と、を備えたことを特徴とする画像処
理装置。
【請求項７】請求項５または６に記載の画像処理装置に
おいて、さらに、顔もしくは各部位の色または濃度を変
更する手段を備えた画像処理装置。
【請求項８】請求項５乃至７のいずれかに記載の画像処
理装置において、さらに、前記感情の種類を示す情報あ
るいはさらに前記感情レベルに従って、前記各部位を移
動、変形する際、顔もしくは各部位の大きさによって、
その移動、変形量を変更する手段を備えた画像処理装
置。