JP2002077592A - 画像処理方法 - Google Patents

Abstract

(57)【要約】 【課題】被写体人物毎の好みや感情を反映した、または
娯楽性の高い再生画像を自動的または容易に得ることの
できる画像処理方法を提供する。 【解決手段】予め特定の人物毎に所定の画像処理条件を
登録し、入力画像中の人物を抽出し、人物同定を行い、
同定された特定の人物に対応する画像処理条件を選択
し、選択された画像処理条件に基づいて画像処理を行う
こと、撮影画像に応じて被写体人物の感情の種類を判定
し、判定された感情の種類に対応する画像処理パターン
を適用した画像処理を撮影画像に対して行うこと、また
は予め登録されたエリア画像または画像特徴量を用い
て、撮影画像中の該当エリアに合成するまたは濃度およ
び色味の調整を行うことにより、上記課題を解決する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、入力された画像デ
ータに対して画像処理を施して出力画像データとする画
像処理方法に係り、特に個々の顧客の要望に応じた出力
画像を作成する画像処理方法、および人物画像を表示す
る画像表示媒体等に、その人物の感情に応じた情報を付
加的に表示する、または感情に応じた画像に置換する、
あるいは変更する、もしくは調整する画像処理方法、な
らびに人物画像を当該人物の好みの画像もしくは違和感
のない画像にする画像処理方法に関する。

【０００２】

【従来の技術】従来、ネガフィルム、リバーサルフィル
ム等の写真フィルム（以下、フィルムとする。）に撮影
された画像の感光材料（印画紙）への焼き付けは、フィ
ルムの画像を感光材料に投影して感光材料を面露光す
る、いわゆる直接露光によって行われている。

【０００３】これに対し、近年では、デジタル露光を利
用する焼き付け装置、すなわち、フィルムに記録された
画像を光電的に読み取って、読み取った画像をデジタル
信号とした後、種々の画像処理を施して記録用の画像デ
ータとし、この画像データに応じて変調した記録光によ
って感光材料を走査露光して画像（潜像）を記録し、プ
リント（写真）とするデジタルフォトプリンタが実用化
されている。

【０００４】デジタルフォトプリンタでは、画像をデジ
タルの画像データとして、画像データ処理によって焼き
付け時の露光条件を決定することができるので、逆光や
ストロボ撮影等に起因する画像の飛びやツブレの補正、
カラーフェリアや濃度フェリアの補正、アンダー露光や
オーバー露光の補正、周辺光量不足の補正、シャープネ
ス（鮮鋭化）処理、濃度ダイナミックレンジの圧縮／伸
長処理（画像データ処理による覆い焼き効果の付与）
等、従来の直接露光では不可能あるいは困難であった各
種の画像処理を、高い自由度で行うことができ、直接露
光に比して非常に高品位なプリントを得る事ができる。
しかも、複数画像の合成や画像分割、さらには文字の合
成等も画像データ処理によって行う事ができ、用途に応
じて自由に編集／処理したプリントも出力可能である。

【０００５】また、デジタルフォトプリンタによれば、
画像をプリントとして出力するのみならず、画像データ
をコンピュータ等に供給したり、フロッピー（登録商
標）ディスク等の記録媒体に保存しておくこともできる
ので、画像データを、写真以外の様々な用途に利用する
こともできる。このように、デジタルフォトプリンタに
よれば、画像データ処理によって、より自由度の高い画
像処理を施すことが可能であり、より商品価値の高いプ
リントを出力することができる。

【０００６】ところで、プリントに再生される画像は、
できる限り顧客（プリント作成依頼者）の要望を反映し
たものであることが好ましい。この点に関して本出願人
は、特開平１１−３３１５７０号公報において、顧客に
好適に対応した仕上がり画像を再生する画像処理方法を
提案している。すなわち、これは、画像供給源から供給
された画像データに関する顧客の情報を取得し、この顧
客の情報に応じて画像処理条件を設定し、この画像処理
条件に基づいて画像処理を行うことにより、顧客に好適
に対応した再生画像を得るものである。

【０００７】ここで、顧客の情報とは、顧客の職業、顧
客の性別、顧客の年齢等である。また、顧客の情報を取
得する方法としては、顧客からプリントの注文を受け付
ける際、顧客から聴取し、これをオペレータに伝達して
オペレータがマウス等の操作手段を用いて入力する方法
や、顧客カードに顧客情報を記載しておき、プリント作
成時にオペレータが顧客カードを見て顧客情報を入力す
る方法、あるいは顧客情報をデータベース化しておき、
データベースから顧客情報を取得する方法等が例示され
ている。

【０００８】また、顧客に好適に対応した画像処理の例
としては、例えば、フィルムがリバーサルで職業がプロ
カメラマンの場合には、フィルムに撮影された画像を忠
実に再現するようにし、プロカメラマンでない場合に
は、通常に画像の色・濃度調整を行い、オーバー（露光
過剰）やアンダー（露光不足）、逆光等の撮影の失敗を
救済するようにする。また、男性の場合には、顔領域を
抽出して、階調を立てるとともにディテールを出すよう
に、シャープネスを強めに掛け、女性の場合には、顔領
域を抽出して、階調を寝かせ（柔らかくし）るととも
に、しみ、しわ、そばかす等が目立たないようにシャー
プネスを弱めに掛け、あるいは極弱くソフトフォーカス
を掛けるようにする等の処理が例示されている。

【０００９】しかしながら、前記従来の画像処理方法で
は、顧客の情報をオペレータが入力しなければならず、
処理が煩雑であるという問題がある。また、取得した顧
客の情報に応じて設定する画像処理条件が一定に決めら
れており、せいぜいその処理を行うか否かの選択しかで
きず、顧客、あるいはさらにきめ細かく、被写体人物ご
との好みに応じた画像処理条件を設定するという機能は
なく、真に顧客あるいは被写体人物の好みを反映させた
画像再生が実現できていないという問題があった。

【００１０】ところで、従来、画像形成媒体として、静
止画を再現する写真（プリント）、動画として再現する
映画（映写機およびスクリーン）があったが、近年ブラ
ウン管（ＣＲＴ）が発明されて以来、テレビ（ＴＶ）は
全家庭に普及し、さらに技術の進歩は目覚ましいものが
あり、画像形成媒体として、液晶ディスプレイ、プラズ
マディスプレイ、電子ペーパー等の様々な画像表示手段
が開発されている。そして、最近では、これらの画像形
成媒体を利用して、ビデオカメラ、デジタルカメラ、デ
ジタルビデオムービー、携帯ＴＶ電話等の、画像ととも
に音声をも取り込めるような画像形成手段が開発されて
いる。

【００１１】しかしながら、前記従来の画像形成手段
は、画像を撮影するとともに音声も録音可能であるが、
取り込まれた音声データは単に音としてそのまま再生す
るのみであった。また、画像も撮影したままをできるだ
け忠実に再現することに主眼がおかれており、娯楽性と
いう点に関しては、まっまく考慮されていないという問
題があった。

【００１２】さらにまた、現在、デジタル画像処理の技
術では、デジタル画像データとして取り込まれた撮影画
像の濃度や色味等の調整が可能であり、また、撮影画像
自体の修正や他の画像との合成や置換等の画像処理も可
能であり、種々のデジタル画像処理技術が提案されてい
る。その中で、従来より写真の分野で行われてきた人物
の顔や視線の修正や調整を行うデジタル画像処理技術が
提案されている。例えば、特開２０００−１５１９８５
号公報では、人物の顔画像の部位および調整パラメータ
を設定し、化粧顔に修正する技術が開示されている。し
かしながら、色調や階調の調整は、一般人にはなじみが
ないし、素人には難しい処理である。特に、パーソナル
コンピュータ（パソコンまたはＰＣ）に慣れたユーザで
ない場合にはかなり難しい。場合によっては良い調整結
果が得られないばかりか、調整後の画像に違和感が生じ
る虞も多々あるという問題があった。

【００１３】また、特開平５−２０５０３０号公報に
は、人物の顔画像の３次元モデルからコンピュータグラ
フィックス（以下、ＣＧ略称する）技術によって、正面
を見ている眼の画像を作成する技術が開示されている。
しかしながら、ＣＧ技術によって作成された眼の画像で
は、違和感が残る可能性があるという問題があった。ま
た、３次元モデルからのＣＧ技術であるため、演算量が
膨大になるという問題もあった。一方、また、このよう
なデジタル画像処理の内簡単なものは、パソコンでも可
能であり、そのための画像処理ソフトも種々市販されて
いる。しかしながら、これらの市販の画像処理ソフトを
使って、人物の顔画像を好みの顔に仕上げたり、視線を
撮影方向に合わせて、正面に向いているように仕上げる
のは、簡単なものでは十分な精度が得られなかったり、
素人には操作が困難であったりという問題があった。

【００１４】

【発明が解決しようとする課題】本発明は、前記従来の
問題に鑑みてなされたものであり、被写体人物ごとの好
みを反映した再生画像を、自動的に得ることのできる画
像処理方法を提供することを第１の課題とする。

【００１５】また、本発明は、前記従来の問題に鑑みて
なされたものであり、撮影画像、特に人物画像におい
て、その人物の感情の種類に応じて、強調したい内容を
視覚化して、画像形成を行うようにして、写真、ビデ
オ、ＴＶ電話等の画像形成媒体における娯楽性を高める
ことのできる画像処理方法を提供することを第２の課題
とする。

【００１６】また、本発明は、前記従来の問題に鑑みて
なされたものであり、パーソナルコンピュータや画像処
理ソフトの未経験者や未熟練者であっても、容易に、気
に入った化粧顔や好みの顔画像に修正することができ、
視線の不一致による違和感を解消することができる画像
処理方法を提供することを第３の課題とする。

【００１７】

【課題を解決するための手段】上記第１の課題を解決す
るために、本発明の第１の態様は、入力された画像デー
タに対して、画像処理を施す画像処理方法であって、予
め特定の人物毎に所定の画像処理条件を登録し、前記入
力された画像データ中の人物を抽出し、該抽出された人
物が前記特定の人物か否かを人物同定し、当該人物同定
された特定の人物に対応する画像処理条件を選択し、該
選択された画像処理条件に基づいて画像処理を行うこと
を特徴とする画像処理方法を提供するものである。

【００１８】ここで、前記人物同定を、予め登録された
人物の顔画像、または撮影コマに付属する人物指定情報
を用いて行うことが好ましい。

【００１９】また、前記特定の人物毎に予め登録される
所定の画像処理条件は、該特定の人物毎に複数種類設定
されることが好ましい。

【００２０】また、前記複数種類の画像処理条件の中か
ら選択した、少なくとも１以上の画像処理条件を組み合
わせて、前記画像処理を行うようにしたことが好まし
い。

【００２１】さらに、前記選択された画像処理条件によ
る画像処理を画面全体に施すのか、該当する人物のみあ
るいはその人物とその周辺近傍のみに施すのか、を設定
するようにしたことが好ましい。

【００２２】上記第２の課題を解決するために、本発明
の第２の態様は、撮影画像中から抽出された人物の表
情、または該抽出された人物のジェスチャ、あるいは前
記撮影画像に付属する音声データ、のうちいずれか一つ
以上の情報に基づいて、予め登録された感情の種類を判
定し、予め設定された画像処理パターンのうち前記判定
された感情の種類に対応する画像処理パターンを適用し
た画像処理を、前記撮影画像に対して行うことを特徴と
する画像処理方法を提供するものである。

【００２３】ここで 前記画像処理パターンは、前記感
情の種類に対応して設定され、前記画像処理パターンを
適用した画像処理は、前記感情の種類に対応した所定の
マークの合成処理、前記感情の種類に対応したアニメー
ション画像またはコンピュータグラフィックス画像への
置換処理、前記感情の種類に対応した、前記撮影画像に
対する画像変形処理、および前記感情の種類に対応し
た、前記撮影画像の濃度および色の変更処理の少なくと
１つの処理であるのが好ましい。

【００２４】また、前記合成処理は、前記撮影画像中の
所定位置に、または予めもしくはこの時に前記撮影画像
中から抽出された人物に対して所定の位置に、もしくは
予めもしくはこの時に前記撮影画像中から抽出された人
物に対して相対的な位置に、かつ、前記撮影画像または
前記抽出された人物に対して、所定のサイズおよび所定
の向きで、あるいは相対的なサイズおよび相対的な向き
で、前記所定のマークを合成する処理であるのが好まし
い。また、前記置換処理は、予めもしくはこの時に前記
撮影画像中から前記抽出された人物の所定の部位を前記
もしくは前記アニメーション画像またはコンピュータグ
ラフィックス画像に置き換える処理であるのが好まし
い。

【００２５】前記画像処理パターンは前記感情の種類に
対応して設定され、前記画像処理パターンを適用した画
像処理は、必要に応じて前記撮影画像中から人物を抽出
し、該抽出された人物に対する所定の相対的な位置へ
の、相対的なサイズおよび相対的な向きでの、前記感情
の種類に対応した所定のマークの合成、または前記抽出
された人物に対する所定の位置への、所定のサイズおよ
び所定の向きでの、前記感情の種類に対応した所定のマ
ークの合成、あるいは、前記撮影画像に対する画像変
形、または、濃度および色の変更のいずれか一つ以上の
処理であることが好ましい。

【００２６】また、前記撮影画像は、録音機能付き画像
撮像装置の撮影画像であり、前記画像処理パターンを前
記録音機能付き画像撮像装置に予め登録しておき、前記
画像処理パターンを適用した画像処理を前記録音機能付
き画像撮像装置で行うことが好ましい。

【００２７】また、前記画像処理パターンを適用した画
像処理を、前記録音機能付き画像撮像装置による前記録
音された音声データを含む画像撮影情報を受け取ったラ
ボ側で行うことが好ましい。

【００２８】また、前記撮影画像は、撮影機能付き通話
装置の撮影画像であり、前記撮影画像に対して、前記人
物の感情の種類に対応する前記画像処理パターンを適用
した画像処理を行うことが好ましい。

【００２９】また、前記画像処理パターンを前記撮影機
能付き通話装置に予め登録しておき、前記画像処理を前
記撮影機能付き通話装置で行い、処理画像を通話相手側
の端末に送信することが好ましい。

【００３０】また、前記画像処理パターンを前記撮影機
能付き通話装置の中継局に予め登録しておき、前記画像
処理を前記中継局で行い、処理画像を通話中の一方の端
末に送信することが好ましい。

【００３１】また、前記画像処理パターンを前記撮影機
能付き通話装置に予め登録しておき、前記撮影機能付き
通話装置が受信した、通信相手側端末による撮影画像に
対して、前記画像処理パターンを適用した画像処理を前
記撮影機能付き通話装置で行なうことが好ましい。

【００３２】また、前記画像処理パターンを適用した画
像処理において、前記感情の種類に対応した所定のマー
クまたはその合成位置を間違えた場合に、前記感情の種
類、マークの合成位置、マークのサイズまたは向きの修
正を可能としたことが好ましい。

【００３３】また、上記第２の課題を解決するために、
本発明の第３の態様は、テレビ画像をパーソナルコンピ
ュータに取り込み、該パーソナルコンピュータにおい
て、前記取り込んだテレビ画像に対して、予め設定され
た画像処理パターンを適用した画像処理を行なうことを
特徴とする画像処理方法を提供するものである。

【００３４】また、上記第３の課題を解決するために、
本発明の第４の態様は、予め画像の特定エリア内のエリ
ア画像または画像特徴量を登録しておき、前記予め登録
されたエリア画像または画像特徴量を用いて、撮影画像
中の該当エリアに合成する、または濃度および色味の調
整を行うことを特徴とする画像処理方法を提供するもの
である。ここで、前記該当エリアは、前記予め登録され
たエリア画像または画像特徴量に応じて撮影画像中から
抽出されるのが好ましい。また、前記特定エリアは、人
物の顔、人物の顔を構成する少なくとも１つの部位、人
物が身に付ける装飾品および背景の少なくとも１つであ
るのが好ましい。

【００３５】また、前記特定エリアは、人物の顔であ
り、前記予め登録されたエリア画像は、前記人物の化粧
顔または前記人物の最良の顔画像であるのが好ましい。
また、前記特定エリアは、人物の顔を構成する眼のエリ
アであり、前記撮影画像中の被写体である人物が定常状
態にあるかどうかを判定し、前記定常状態にある時、前
記人物の顔を構成する前記眼のエリアに前記予め登録さ
れた前記特定エリアの前記エリア画像を合成するのが好
ましい。また、前記予め登録されたエリア画像は、前記
人物の視線が撮影方向に一致する前記眼のエリアの画像
であるのが好ましい。

【００３６】

【発明の実施の形態】本発明に係る画像処理方法を添付
の図面に示す好適実施形態に基づいて以下に詳細に説明
する。まず、図１〜図３を参照して、本発明の第１の態
様に係る画像処理方法を説明する。

【００３７】図１は、本発明の第１の態様に係る、個々
の顧客ごとの好みを反映した再生画像を自動的に得る画
像処理方法を実施する画像処理方法を実施する画像処理
装置を含むデジタルフォトプリンタの一実施例の概略を
示すブロック図である。図１に示すデジタルフォトプリ
ンタ（以下、フォトプリンタという）１０は、フィルム
Ｆに撮影された画像を光電的に読み取るスキャナ（画像
読取装置）１２と、このスキャナ１２で読み取られた画
像データの電子変倍処理や、画像データのエッジ検出や
シャープネス強調（鮮鋭度強調）、平滑化処理（粒状抑
制）などの画像処理やフォトプリンタ１０全体の操作お
よび制御等を行う画像処理装置１４と、この画像処理装
置１４から出力された画像データに応じて変調した光ビ
ームで感光材料（印画紙）を画像露光し、現像処理して
（仕上がり）画像をプリントとして出力する画像記録装
置１６と、を有する。また、画像処理装置１４には、様
々な条件の入力、設定、処理の選択や指示、色／濃度補
正などの指示等を入力するためのキーボード１８ａおよ
びマウス１８ｂを有する操作系１８と、スキャナ１２で
読み取られた画像、各種の操作指示、様々な条件の設定
／登録画面等を表示するモニタ２０が接続される。

【００３８】スキャナ１２は、フィルムＦ等に撮影され
た画像を１コマずつ光電的に読み取る装置で、光源２２
と、可変絞り２４と、フィルムＦに入射する読取光をフ
ィルムＦの面方向で均一にする拡散ボックス２６と、フ
ィルムＦのキャリア２８と、結像レンズユニット３０
と、Ｒ（赤）、Ｇ（緑）およびＢ（青）の各色画像濃度
の読取に対応する３ラインＣＣＤセンサを有するイメー
ジセンサ３２と、アンプ（増幅器）３３と、Ａ／Ｄ（ア
ナログ／デジタル）変換器３４とを有する。

【００３９】フォトプリンタ１０においては、スキャナ
１２の本体に装着自在な専用のキャリア２８が、新写真
システム（Ａdvanced Ｐhoto Ｓystem)や１３５サイズ
のネガ（あるいはリバーサル）フィルム等のフィルムＦ
の種類やサイズ、ストリップスやスライド等のフィルム
の形態等に応じて用意されており、キャリア２８の交換
によって、各種のフィルムや処理に対応することができ
る。フィルムに撮影され、プリント作成に供される画像
（コマ）は、このキャリア２８によって所定の読取位置
に搬送される。また、周知のように、新写真システムの
フィルムには、磁気記録媒体が形成され、カートリッジ
ＩＤやフィルムサイズや、ＩＳＯ感度等が記録されてお
り、また、撮影時や現像時等に、撮影や現像日時、露出
レベル、カメラや現像機の機種等の各種のデータが記録
可能である。新写真システムのフィルム（カートリッ
ジ）に対応するキャリア２８には、この磁気情報の読取
手段が配置されており、フィルムを読取位置に搬送する
際に磁気情報を読み取り、これらの各種の情報が画像処
理装置１４に送られる。

【００４０】このようなスキャナ１２において、フィル
ムＦに撮影された画像を読み取る際には、光源２２から
射出され、可変絞り２４および拡散ボックス２６によっ
て光量調整された均一な読取光が、キャリア２８によっ
て所定の読取位置に位置されたフィルムＦに入射して、
透過することにより、フィルムＦに撮影された画像を担
持する投影光を得る。なお、カラー画像信号は、このよ
うにフィルムを透過した光を読み取ることによって入力
されるものには限定されず、反射原稿でもよいし、ある
いはデジタルカメラによって撮影された画像を用いても
よい。すなわち、フィルムの画像を読み取るスキャナ１
２以外にも、デジタルカメラやデジタルビデオカメラ等
の撮像手段、反射原稿の画像を読み取る画像読取装置、
ＬＡＮ（Local Aera Network）やコンピュータ通信ネッ
トワーク等の通信手段、スマートメディアなどのメモリ
カードやＭＯ（光磁気記録媒体）等のメディア（記録媒
体）等の画像供給源Ｒから画像（デジタルの画像信号）
を画像処理装置１４に入力することもできる。

【００４１】図示例のキャリア２８は、２４枚撮りの１
３５サイズのフィルムや新写真システムのカートリッジ
等の、長尺なフィルムＦ（ストリップス）に対応するも
のである。フィルムＦは、このキャリア２８によって読
取位置に位置されて、ＲＧＢの３ラインＣＣＤセンサの
延在方向である主走査方向と直交する副走査方向に搬送
されつつ、読取光を入射される。これにより、結果的
に、フィルムＦが２次元的にスリット走査され、フィル
ムＦに撮影された各コマの画像が読み取られる。

【００４２】フィルムＦの投影光は、結像レンズユニッ
ト３０によってイメージセンサ３２の受光面に結像され
る。イメージセンサ３２から出力されたＲ、ＧおよびＢ
の各出力信号は、アンプ３３で増幅されて、Ａ／Ｄ変換
器３４に送られ、Ａ／Ｄ変換器３４において、それぞ
れ、例えば１２ｂｉｔのＲＧＢデジタル画像データに変
換された後、画像処理装置１４に出力される。

【００４３】なお、スキャナ１２においては、フィルム
Ｆに撮影された画像を読み取るに際し、低解像度で読み
取るプレスキャン（第１回目の画像読取）と、出力画像
の画像データを得るためのファインスキャン（第２回目
の画像読取）との２回の画像読取を行う。ここで、プレ
スキャンは、スキャナ１２が対象とするフィルムＦの全
ての画像を、イメージセンサ３２が飽和することなく読
み取れるように、予め設定されたプレスキャン読取条件
で行われる。一方、ファインスキャンは、プレスキャン
データから、その画像（コマ）の最低濃度よりも若干低
い濃度でイメージセンサ３２が飽和するように、各コマ
毎に設定されたファインスキャンの読取条件で行われ
る。なお、プレスキャンおよびファインスキャン出力画
像信号は、解像度および出力画像信号レベルが異なる以
外は、基本的に同様な画像データである。

【００４４】なお、フォトプリンタ１０に用いられるス
キャナ１２は、このようなスリット走査読取を行うもの
に限定されず、１コマのフィルム画像の全面を一度に読
み取る面状読取を行うものであってもよい。この場合に
は、例えばエリアＣＣＤセンサなどのエリアセンサを用
い、光源２２とフィルムＦとの間にＲ、ＧおよびＢの各
色フィルタの挿入手段を設け、光源２２からの射出光の
光路に挿入して、色フィルタを透過した読取光をフィル
ムＦ全面に照射して、透過光をエリアＣＣＤセンサに結
像させてフィルム全画像を読み取ることを、Ｒ、Ｇおよ
びＢの各色フィルタを切り換えて順次行うことで、フィ
ルムＦに撮影された画像を３原色に分解して読み取る。

【００４５】前述したように、スキャナ１２から出力さ
れるデジタル画像データ信号は、本態様に係る画像処理
方法を実施する画像処理装置１４に出力される。スキャ
ナ１２から画像処理装置１４に入力されたＲ、Ｇおよび
Ｂの画像信号に対して、まずＣＣＤセンサに起因するＲ
ＧＢデジタル画像データの画素毎の感度ばらつきや暗電
流を補正するために、ＤＣオフセット補正、暗時補正、
欠陥画素補正、シェーディング補正等の読取画像データ
のデータ補正が行われる。その後画像データは、対数変
換処理、階調変換されデジタル画像濃度データに変換さ
れる。

【００４６】デジタル画像濃度データは、プレスキャン
画像データ、ファインスキャン画像データそれぞれ別々
に記憶（格納）される。プレスキャン画像データは、所
定の画像処理を施されモニタ２０に表示される。また、
プレスキャン画像データから、濃度ヒストグラムの作成
や、平均濃度、ＬＡＴＤ（大面積透過濃度）、ハイライ
ト（最低濃度）、シャドー（最高濃度）等の画像特徴量
の算出が行われ、ファインスキャンの読取条件および画
像処理条件が設定されるが、本態様では、後で詳述する
ように個々の顧客毎の好みを反映させるように画像処理
条件が設定される。ファインスキャン画像データは、設
定された画像処理条件により、画像処理が施され、カラ
ープリントとして所望の濃度、階調および色調で、カラ
ーペーパー上に、最適、高品質な画像として画像記録装
置１６より出力される。本発明の第１の態様に係る画像
処理方法を実施する画像処理装置を含むデジタルフォト
プリンタは、基本的に以上のように構成される。

【００４７】以下、本発明の第１の態様の第１実施形態
の作用を説明する。画像処理装置１４において、前述し
たように、プレスキャン画像データに基づいて設定され
た画像読み取り条件によって読み込まれたファインスキ
ャン画像データに対して、画像データの濃度、色および
階調の変換、彩度の変換、電子変倍等の処理とともに、
顧客ごとの好みに応じた画像処理を実行する。

【００４８】以下、顧客毎の好みを反映した画像処理に
ついて説明する。まず、その前提として、画像中の人物
が特定の人物であるか否か人物同定し、その特定の人物
毎の好みに応じた画像処理を実行するために、個人識別
情報および各個人の希望する画像処理条件（リクエスト
処理情報）等のデータを、予めラボに登録しておく。図
２に登録データの一例を示す。図２に示す例は、ある家
族の全員のデータを登録する場合である。

【００４９】登録データの内容としては、例えば、登録
顧客ＩＤ、登録する者の代表者名、そして各家族の個人
データ、すなわち、家族構成、各個人の顔画像および各
自の希望する画像処理内容（リクエスト処理）等であ
る。顔画像データは、例えば注文済撮影シーン中の顔エ
リアを指定して取り込むようにしてもよい。また、個人
同定の精度を上げるために、一人あたり複数パターンを
設定登録するようにしてもよい。

【００５０】また、リクエスト処理の例としては、顔の
濃度・色味の調整、髪・目・口紅等の指定色への変換、
歯の美白仕上げ、特殊効果、細身仕上げ、画像合成、等
が挙げられる。ここで、顔の濃度・色味の調整として
は、肌を美白にするモード、しわ消し、日焼けモード等
が考えられる。特殊効果としては、クロスフィルタの使
用、ソフトフォーカス仕上げ等がある。画像合成として
は、縁飾り、特定キャラクタの合成、特別なメイクの化
粧等がある。これらのリクエスト処理は、人物毎に複数
種類設定し、複数種類設定された中からいくつか選択し
たものを組み合わせて、その特定の人物の画像処理に適
用するようにしてもよい。さらに、処理内容によって
は、当該処理を画面全体に施すのか、該当する人物のみ
あるいはその人物とその周辺近傍のみに施すのか等の条
件を設定する。

【００５１】以下、図３のフローチャートを参照して、
顧客ごとの好みを反映した画像処理について説明する。
ステップ１１０において、人物の顔領域の抽出を行う。
顔領域の抽出方法も特に限定はなく、色々な方法があ
り、公知の特定箇所抽出方法（抽出アルゴリズム）を用
いればよい。このような特定箇所抽出方法としては、例
えば、特開平９−１３８４７０号公報に開示される、特
定色を抽出する方法、特定形状パターンを抽出する方
法、背景に相当すると推定される領域を除去する方法
等、複数の異なる特定箇所（主要部）抽出方法をあらか
じめ評価して重みを定め、各抽出方法で特定箇所を抽出
して、抽出された特定箇所を定めた重みで重み付けし、
その結果に応じて主要部を判定、抽出する方法が例示さ
れる。

【００５２】また、別の特定箇所抽出方法としては、特
開平９−１３８４７１号公報に開示される、画像中の複
数点の濃度または輝度を測定してその変化量を求め、変
化量が所定値以上の点を基準点として設定した後に、基
準点から所定範囲内で濃度等の変化量等を用いて検索範
囲および検索方向パターンを設定し、検索範囲内で検索
方向パターンが示す方向における濃度等の変化量が所定
値以上の箇所を検索して、次いでこの箇所を基準として
検索を行うことを繰り返し、検索・設定した基準点を結
んで特定箇所を抽出する方法が例示される。

【００５３】本態様においては、これ以外にも、特開平
４−３４６３３３号、同５−１５８１６４号、同５−１
６５１２０号、同６−１６０９９３号、同８−１２２９
４４号、同８−１８４９２５号、同９−１０１５７９
号、同９−１４６１９４号、同９−１９７５７５号等の
各公報に開示される特定箇所抽出方法も好適に利用可能
である。

【００５４】顔が抽出されたら、次に、ステップ１２０
において、人物の同定を行い、画像中の人物を特定す
る。抽出した顔画像に対して、サイズを正規化した後、
登録されている顔画像をテンプレートとして、マッチン
グを行い、その一致度を求め、人物の同定を行う。この
とき、画像に付属するコメント関連情報として、その画
像中の人物を示す情報がある場合には、その情報を人物
同定に利用してもよい。人物同定の結果、人物が特定で
きたら、ステップ１３０において、その特定の人物に対
して、登録されている当該人物のリクエスト処理を実施
する。

【００５５】このように本実施形態によれば、個々の顧
客毎の好みに応じた仕上げの画像を自動的に得ることが
できる。例えば、父親であれば、日焼け顔になるように
処理され、母親であれば、ソフトフォーカスおよびしわ
消し処理が施され、Ａ子であれば、色白、細身仕上げが
なされ、それぞれ自分の希望通りの仕上げ画像を得るこ
とができる。

【００５６】次に、本発明の第１の態様の第２実施形態
について説明する。第二実施形態は、顧客が、デジタル
カメラやパーソナルコンピュータ（以下、パソコンとい
う）あるいはフォトプレーヤ等で画像の再生処理をする
場合に、第一実施形態で述べたような処理を実行するも
のである。すなわち、顧客がラボに注文をする前に、撮
影済の画像をこれらの機器に表示して画像の修正を行う
ものである。デジタルカメラやフォトプレーヤに修正機
能を持たせたり、あるいは、パソコンと接続することに
より修正を行うことができる。

【００５７】また、表示画像の修正をする場合、第１実
施形態と同様の処理を行う画像処理ソフトを用いて自動
的に修正を行うこともできるが、表示画像を見ながら、
顧客が人物の同定および人物検出結果を手動で修正する
ようにしてもよい。また、修正結果の画像は、家庭用の
ビデオプリンタでプリントしてもよいし、該当コマの修
正データをそのコマの付属情報として記録して、ラボに
注文するようにしてもよい。例えば、ＡＰＳで撮影され
た画像をフォトプレーヤに表示して、修正を行い、ネガ
フィルムでラボに注文する場合には、フォトプレーヤに
磁気記録機能をもたせ、付属情報をネガフィルムに磁気
記録すればよい。また、パソコンで通信回線を用いてラ
ボに注文する場合には、付属情報をファイルに記録する
ようにすればよい。

【００５８】次に本発明の第１の態様の第３実施形態に
ついて説明する。本実施形態は、人物同定において、第
１実施形態で説明したように、顔を抽出し、登録された
顔画像との間でテンプレートマッチングを行う際、髪形
や衣服等を人物指定情報として、個人認識用の特徴量に
追加することにより、人物同定の精度を向上させようと
いうものである。ここで、個人認識用の特徴量として
は、濃度、色味の分布、テクスチャパターン等が考えら
れる。

【００５９】本実施形態では、まず、最初は、第１実施
形態と同様に、入力画像から顔領域を抽出し、登録され
ている顔画像をテンプレートとしてマッチングを行い、
その一致度を求め、人物の同定を行う。人物同定によ
り、画像中の人物が特定されたら、その入力画像からそ
の人物の髪形や衣服等を抽出し、人物指定情報として、
その人物に対応する登録データとして登録する。次の入
力画像に対する処理においては、抽出顔画像のテンプレ
ートマッチングによる他、先に登録された髪形、衣服等
をも参照して、人物同定を行う。人物同定により、人物
が特定されたら、その入力画像から新たに髪形、衣服を
登録し、人物指定情報として自動的に集積する。

【００６０】例えば、衣服エリアの色味に関して、今ま
での集計データが次の表１のようになっているものとす
る。この表１は、衣服エリアの色味を分類し、その人物
における出現頻度をｐijで示したものである。 Ｊは、色味分類数であり、衣服が複数色から構成される
場合は、面積比を用いる。例えば、半分が赤で、半分が
白の場合は、赤＝０．５、白＝０．５を蓄積データに登
録する。

【００６１】ここで、顔画像のパターンマッチングによ
る類似度を点数化したものをＭｉ、衣服の出現頻度から
導出する点数をＮｉとする。それぞれ類似度が大である
程、点数も大となる。表１において、ｉは、登録人物を
示す番号である。例えば、Ａ子は、ｉ＝３である。対象
とする被写体人物の衣服エリアの色味が分類番号ｊに相
当する場合、Ｎｉ＝ｐij／（ｐ1j＋ｐ2j＋ｐ3j）とす
る。 人物判定ポイントＤｉ＝ａ×Ｍｉ＋ｂ×Ｎｉ（ａ、ｂ
は、重み係数） により、最大ポイントとなった番号ｉの人物が画像中の
人物であると判定する。例えば、顔画像のマッチングで
は、Ｍ１＜Ｍ２≒Ｍ３となり母とＡ子が略同点だったと
する。ここで、服の色味が赤だった場合、赤い服で写っ
た回数は、父０、母３、Ａ子１０であるから、点数Ｄｉ
はＡ子が最大となる。従って、画像中の人物はＡ子であ
ると判定する。

【００６２】人物同定に間違いがあった場合には、間違
いを発見したオペレータ、あるいは顧客から通知を受け
たオペレータが、マニュアルで修正を行い、正しい画像
中の人物に関する処理を行うとともに、人物指定情報の
集積処理を訂正する。また、このとき人物同定のための
判別アルゴリズム用のパラメータが自動的に修正され
る。また、第２実施形態におけるように、顧客が自分の
パソコンに画像処理ソフトをダウンロードして自分で画
像の修正を行っている場合には、人物同定の間違いを発
見した顧客自身が処理の訂正を行うようにしてもよい。

【００６３】本実施形態によれば、単に登録された顔画
像とのテンプレートマッチングを行うのみでなく、髪型
や衣服等の人物指定情報をも個人認識用の特徴量に加
え、さらに人物指定情報の集積処理に学習機能的要素を
加味して集積データの訂正を行うようにしたため、人物
同定の精度を高めることができ、各自の好みに応じた画
像処理をより適切に行うことが可能となる。

【００６４】以上説明したものは、個々の顧客ごとの好
みに応じた画像処理を画像中の各人物ごとに加えること
により個々の顧客ごとの好みを反映させたプリント（出
力画像）を得るものであったが、個々の顧客ごとの好み
に対応する他、顧客の地域性あるいは季節等による好み
の傾向を反映させたプリントを出力することが望まれる
場合もある。

【００６５】例えば、写真プリンタにおいて写真プリン
トを日本人好みの肌色に仕上げよるように露光制御アル
ゴリズムが設定されていた場合、同じ機種のプリンタを
同じ露光制御アルゴリズムのままで欧州で使用すると、
欧州人にとっては好みの色とならないことがある。ま
た、日本での太陽光による撮影を基準に露光制御アルゴ
リズムが設定されていた場合、日本と緯度が大幅に異な
る地域で同じ機種の写真プリンタを同じ露光制御アルゴ
リズムで使用すると、この地域では日本と太陽光も異な
るので、日本と同じ品質のプリントを得ることができな
い。

【００６６】そこで、本出願人は、すでに、アナログ露
光方式の場合については、地域的な人の好みや顧客個人
の好みがプリントに適正に反映されるような露光制御方
法を特開平６−３０８６３２号公報、あるいは、特開平
８−１３７０３３号公報において提案している。しか
し、デジタル画像処理の場合についても、以下述べるよ
うに、地域性や顧客の好みの傾向を反映させたプリント
（出力画像）を得ることができる。

【００６７】すなわち、以下述べる例は、顧客またはラ
ボあるいは地域毎による画像処理条件設定の修正傾向を
蓄積し、画像処理の設定パラメータを修正・最適化する
デジタル画像処理方法である。また、このとき各コマを
シーン分類し、シーン分類毎に修正傾向の蓄積および設
定パラメータの修正・最適化を行うものである。例え
ば、オペレータが画像処理を行う際、シーン分類した上
で、ある地域について、オペレータの補正傾向がコント
ラストを強調するのが好まれるとか、コントラストを抑
え目にするのが好まれるとかという傾向が分かれる場合
には、その地域については、補正のパラメータをその傾
向に合わせて直すようにする。

【００６８】具体的に処理方法を説明すると、まず、オ
ペレータによる処理パラメータの変更を過去Ｎコマ分蓄
積し、特定のシーン分類との関連性を調べる。このと
き、シーン分類の方法としては、以下のような方法が挙
げられる。例えば、濃度ヒストグラムまたは画像の中央
部および周辺部の濃度差の関係から、その分布パターン
により、通常シーン、オーバー露光あるいはアンダー露
光等を推定し、ストロボシーンあるいは逆光シーン等と
推定する。あるいは、顔抽出をすることにより、人物か
または風景か等のシーン推定を行う。あるいは、オペレ
ータ自身がマニュアルで人物、風景、夜景、アンダーま
たはハイコントラスト等のシーンの分類を推定する方法
等がある。

【００６９】また、処理パラメータの変更例としては、
例えば、コントラスト強調や解像度（シャープネス）の
かけ方とか、あるいは、人物肌色の色味や濃度の目標値
を変えてやる等がある。これは、人物、好ましい肌色と
いうのが地域によって違うと考えられるため、その地域
による違いを考慮したものである。東洋人を基準にした
肌色よりも欧州では、人の顔は、より濃度を薄くする方
が好まれ、オペレータが濃度を引く傾向があるため、蓄
積データから判定して、顔抽出後、デフォルト値より濃
度が薄目になるようアルゴリズムが自動で更新されるよ
うにする。

【００７０】上述したようにオペレータによる処理パラ
メータの変更を過去Ｎコマ分類し、特定のシーン分類と
の関連性を調べ、その後、所定のシーン分類において、
各画像処理パラメータについて統計的なマニュアル補正
傾向を反映させて、一定周期でアルゴリズムを更新し、
画像処理パラメータを最適化する。なお、このとき、蓄
積データも一定周期で最新データに更新することが好ま
しい。

【００７１】また、上記処理において、季節ごとにシー
ン分類の種類やデータ蓄積期間を設定するようにしても
よい。例えば、スキー場周辺においては、冬季のみシー
ン中のハイライト比に応じて判定する「雪シーン」分類
を追加したり、「雪シーン」に対し、白さを強調する階
調特性を適用するようにしてもよい。

【００７２】また、ある一定の地域において、その地域
内の各ミニラボ店と、その地域のラボ管理センタとをネ
ットワークで結び、各ミニラボ店でのオペレータによる
修正情報をラボ管理センタで収集し、その地域全体の傾
向を把握し、あるタイミングでその地域全体のミニラボ
店の画像処理ソフトを修正し、更新されたアルゴリズム
を各ミニラボ店に配布するようにして、ラボ管理センタ
でその地域のアルゴリズム更新処理を地域単位で行うよ
うにしてもよい。

【００７３】また、上記処理を行う際、顧客ＩＤとセッ
トでデータ記録を行い、顧客毎にデータの管理を行い、
顧客別に画像処理パラメータの最適化を行うようにして
もよい。なお、上記ミニラボプリンタの代わりに各顧客
の家庭用プリンタに対して上記処理を行うようにするこ
ともできる。

【００７４】上に述べた例によれば、顧客個人、あるい
は地域性または季節等によりシーン毎に好みの傾向が変
わることに対応し、適切な画像再生が可能となる。ま
た、フォトプリンタ製造時に、その製品輸出先の各地域
の傾向に合わせていちいちパラメータを設定する必要が
なくなり、製品製造出荷作業も容易となる。また、プリ
ント処理とモニタ表示処理とで、リクエスト内容を分け
る様にしてもよいし、特定コマに限定して、登録データ
処理の停止や、特定のリクエスト処理を指定できる様に
してもよい。本発明の第１の態様の画像処理方法は、基
本的に以上のように構成される。次に、図４〜図７を参
照して、本発明の第２および第３の態様に係る画像処理
方法を説明する。

【００７５】本発明の第２の態様に係る画像処理方法
は、基本的に、撮影された画像シーンに付属する音声デ
ータからあるいはこの撮影された画像の中から抽出され
た人物の表情またはジェスチャーから、その画像シーン
中の人物の感情の種類を判定して、その感情の種類に対
応するその感情を強調するようなマークをその人物画像
に付す（合成する）ことにより、写真や画像表現の娯楽
性を高めるものである。なお、以下では、撮影された画
像シーンに付属する音声データから撮影画像シーン中の
人物の感情の種類を判定する場合を代表例として説明す
るが、本態様はこれに限定されるわけではない。また、
本発明の第２の態様が適用される対象は、写真（静止
画）のみならずビデオ（動画）やＴＶ電話等のリアルタ
イムでの画像表示等、広い範囲に及ぶ。

【００７６】まず、本発明の第２の態様の第１実施形態
について説明する。本第１実施形態は、音声録音機能を
有するデジタルカメラ等で撮影された音声データを付属
情報として持つ撮影画像に対して所定の画像処理を行う
ものである。図４は、本発明の第２の態様の第１実施形
態に係る画像処理方法を実施する画像処理装置を含むデ
ジタルフォトプリンタの概略を示すブロック図である。
図４に示すデジタルフォトプリンタ５０は、主に、撮影
情報入力手段５２、画像処理装置５４および画像記録装
置１６とを有する。なお、画像記録装置１６、操作系１
８およびモニタ２０は、図１に示すフォトプリンタ１０
と同様のものを用いることができる。

【００７７】撮影情報入力手段５２は、デジタルカメラ
等の録音機能付き画像撮像装置によって画像データおよ
び音声データが記録された記録メディアから画像データ
および音声データを読み込むものである。画像処理装置
５４は、本態様に係る画像処理方法およびその他各種の
画像処理を実行するものである。また、画像処理装置５
４には、様々な画像処理に関する条件の入力、設定、処
理の選択や指示、色／濃度補正などの指示等を入力する
ためのキーボード１８ａおよびマウス１８ｂを有する操
作系１８と、撮影情報入力手段５２から入力された画像
および各種の操作指示等様々な条件の設定／登録画面等
を表示するモニタ２０が接続される。画像記録装置１６
は、画像処理装置５４から出力された画像データに応じ
て変調した光ビームで感光材料（印画紙）を画像露光
し、現像処理して（仕上がり）画像をプリントとして出
力するものである。

【００７８】以下、図５のフローチャートに沿って、こ
の第１実施形態の画像処理について説明する。まず、ス
テップ２００において、予め各種感情の種類に応じた画
像処理パターンを設定する。しかし人間の感情は多種多
様であり、すべての感情を扱うのは不可能であり、ここ
では比較的はっきりと外へ現れる典型的なもののみを扱
う。図６に、画像処理パターンの設定の一例を示す。図
６のモードと書かれた欄にあるように、ここで扱う感情
の種類は、「焦り」、「驚き」、「怒り」、「哀愁」、
「悩み（疑問）」、「愛情」、「喜び」・・・等であ
る。

【００７９】本実施形態では、撮影画像シーンに付属し
た音声データ（音声情報）により、感情の種類を判定す
るようにしている。また、画像処理パターンとしては、
各感情の種類に対し、その感情を強調するようなマーク
（画像合成パターン）を合成するようにしている。従っ
て、感情の種類に対応した画像処理パターンを設定する
ということは、結局、特定の音声情報に対応した画像合
成パターンを設定することである。

【００８０】すなわち、予め設定する項目としては、感
情の種類を表すモード、各モードを引き出す言語（キー
ワード、図６の表では省略）、各モードに対応する画像
合成パターンがある。画像合成パターンとしては、合成
すべき合成画像（マーク）、合成すべき位置（画像中の
位置、画像中の人物またはその顔の位置に対する所定位
置または相対位置）、合成画像の大きさ（サイズ、画像
に対するサイズ、画像中の人物またはその顔の大きさに
対する相対的なサイズ）、人物またはその顔に対する合
成画像の向き等がある。

【００８１】例えば、「うぅっ」、「やばい」、「やば
っ」等のキーワードが音声情報中にある場合には、「焦
り」モードが対応し、人物画像に対し、「汗マーク」が
合成される。合成画像は一つには限らず、複数あっても
よい。また、合成位置は、画像中の顔の位置に対する相
対位置で指定されるのがよく、顔幅で正規化されるのが
良い。合成画像の大きさも、やはり顔基準で指定される
のが良い。また、合成画像を合成する向きも画像中の人
物の顔を基準にして設定されるのが良い。例えば、図６
の場合、２つの汗マーク（２つで１セット）の中心の座
標が（目を原点として）目の横（ｘ１，ｙ１）の位置
に、サイズは顔幅を１としたとき、０．１の大きさで、
顔の左側に合成される。

【００８２】また、「うひょー」、「ひぇー」、「びっ
くりー」等のキーワードが、音声情報中にある場合に
は、「驚き」モードが対応し、「びっくりして飛び出し
た目のマーク」がそれぞれの目のマークの中心の座標が
それぞれ（ｘ２，ｙ２）、（ｘ３，ｙ３）の位置に合成
される。また、図６における「向き判定結果」というの
は、カメラに対する人物顔の向きをパターンマッチング
手法等により正面、右斜めあるいは左斜めのいずれかで
あるかを判定し、その判定結果に応じて目の飛び出す方
向を変えたパターンを合成することを示すものである。

【００８３】また、「寒い」、「さぶっ」等のキーワー
ドが音声情報中にある場合には、「哀愁」モードが対応
し、顔に「影（斜線）マーク」を入れ、周囲に「枯れ葉
マーク」が合成される。このとき、顔に斜線を入れる代
わりに顔色を白く（青白く）するようにしてもよい。さ
らに、背景をモノトーン化して一層哀愁感を漂わせるよ
うにしてもよい。また、この他、「うーん」、「えー
と」等の言葉があれば、「悩み（疑問）」モードとして
「はてなマーク」を合成するようにし、「うっふー
ん」、「すき」等の言葉があれば、「愛情」モードとし
て「ハート」を合成するようにし、「ワーイ」、「やっ
たー」等の言葉があれば、「喜び」モードとし「打ち上
げ花火」を合成する等のようにしてもよい。これらの画
像処理パターンは、システムの側である程度用意して、
それに顧客が作成してデータを追加するようにしてもよ
い。このとき、顧客が口癖としてよく使うような言葉を
モードを引き出す言葉として設定し、また、顧客の趣味
で合成画像や各種感情モード用キーワードを登録するよ
うにしてもよい。

【００８４】上で述べた画像処理パターンの設定は、個
々の画像処理に先立って１回行っておけばよい。この設
定は、ラボ側のデータベースに対して行なわれる。次
に、ステップ２１０において、録音機能を有するデジタ
ルカメラ等で撮影された、付属情報として音声データを
有する撮影情報を、撮影情報入力手段５２から入力す
る。入力された撮影情報は、音声データおよび画像デー
タそれぞれ画像処理装置５４に送られる。次に、ステッ
プ２２０で、画像処理装置５４において、音声データよ
り感情の種類を特定する。それには、まず音声データを
認識し、登録されている感情の種類を示すモードを導く
キーワードが含まれているか、マッチングを行う。特定
のキーワードが音声データから検出された場合には、そ
のキーワードに対応するモードにより、特定の画像処理
パターンが特定される。

【００８５】次のステップ２３０において、上で特定さ
れた画像処理パターンの合成画像を撮影画像に合成す
る。ここで、撮影画像に合成される合成画像の合成位置
が、撮影画像に対して所定位置、例えば、右上隅などの
四隅のいずれか等に決まっており、合成画像のサイズが
撮影画像のサイズに対して所定サイズまたは相対的なサ
イズが決まっている場合には、撮影画像にその決まった
合成位置に決まったサイズで合成画像が合成される。

【００８６】なお、このとき、撮影画像に合成される合
成画像の合成位置や合成サイズが、撮影画像中の人物や
その顔に対して固定的または相対的に決められている場
合には、撮影画像から公知の方法により、人物またはそ
の顔を抽出しておくのが好ましい。顔抽出の方法として
は、例えば本出願人による特開平８−１２２９４４号公
報に開示された方法がある。なお、人物の顔領域等の特
定領域を抽出する方法としては、上記以外にも、特開平
４−３４６３３３号、同５−１５８１６４号、同５−１
６５１２０号、同６−１６０９９３号、同８−１８４９
２５号、同９−１０１５７９号、同９−１３８４７０
号、同９−１３８４７１号、同９−１４６１９４号、同
９−１９７５７５号等の各公報に開示された方法も好適
に利用可能である。

【００８７】撮影画像から人物の顔が抽出されたら、顔
の中から目を抽出し、さらに、顔の幅、目の位置等を算
出する。そして、これらのデータを基に、画像処理パタ
ーンで指定された合成位置、合成サイズ、向きに従って
合成画像を合成する。また、その他、背景、あるいは画
面全体の濃度や色を変更する等の指定がある場合には、
それらの変更処理を行う。またその後、通常の画像処理
をも行い、出力画像を作成する。ところで、撮影画像中
の人物（顔）の感情の種類の判別は、上述の音声データ
によるものに限定されず、詳細は後述するが、人物の表
情やジェスチャーを用いて感情の種類の判別を行っても
良い。なお、上述のように音声データのみから感情の種
類を判定するにあたっては、撮影画像中からの人物の抽
出は必要ではないが、これに対し、人物の表情やジェス
チャーから、あるいは音声データおよび人物の表情やジ
ェスチャーから、感情の種類を判定する場合には、画像
中からの人物の抽出が必要となる。

【００８８】また、感情の判定には画像中からの人物の
抽出が必要なくても、画像処理パターンを合成する際に
は、人物またはその顔に対して合成する方が好ましいの
で、人物抽出を行うのが好ましい。しかし、撮影画像中
の所定の位置に合成する場合や、背景を変更したり、画
面全体の濃度や色を変更したり、あるいは、例えば特に
その位置を問題とせずに枯れ葉を舞わせるような場合に
は、特に人物の抽出をする必要はない。このように画像
中からの人物の抽出は必要に応じて行なうようにすれば
よい。また、そのため、例えば、予め感情の種類の判定
方法等も選択して設定することができるようにしておく
ことが好ましい。最後に、ステップ２４０で、画像記録
装置１６から出力画像を出力する。

【００８９】なお、上で説明した例では、デジタルカメ
ラ等で撮影を行った顧客の依頼を受けたラボ側が、ラボ
のプリンタで画像処理を行い、感情を強調したマークの
合成されたプリントを作成していたが、上記画像処理を
デジタルカメラ側で行うようにしてもよい。カメラ側で
処理を行なう場合には、予め画像処理パターン等は、カ
メラ側に設定しおく。また、上記処理は、上述したよう
に、音声データ認識と撮影画像からの顔抽出とに基づい
て、すべて、自動で行ってもよいし、オペレータが顧客
の指示に従って、操作キー等により入力して行うように
してもよい。また、デジタルカメラ側で処理を行う場合
にも、デジタルカメラに上記画像処理を実行するソフト
を組み込んで、自動で画像合成処理を行なってもよい
し、撮影時に、顧客がキー／ボタン等でカメラに指示を
出して合成処理を行なうようにしてもよい。

【００９０】また、主プリントは通常の処理を行い、イ
ンデックスプリントにのみ上記画像処理パターンによる
画像処理を行なうようにしてもよい。また、本実施形態
では、感情を強調する画像（マーク）を合成するように
していたが、モーフィング処理等の画像変形処理により
表情を感情の種類に対応するように変更するようにして
もよい。例えば、「怒り」の場合には、モーフィング処
理により、目をつり上げるようにする等の画像変形処理
を行うことができる。しかし、写真の娯楽性を高めるた
めには、あまりリアルな表情の変更より、図６に示す例
のような多少漫画的な方が面白みがあり、効果的であ
る。

【００９１】さらに、上述したような撮影画像中の人物
に対応した合成ではなく、当該人物自体やその構成部
位、例えば、顔や胴体自体を全面的に、アニメーション
画像またはコンピュータグラフィックス（ＣＧ）画像、
特に好ましくは、感情の種類に対応したアニメーション
画像またはＣＧ画像で置換する処理を行っても良い。こ
こで、用いられるアニメーション画像やＣＧ画像は、感
情の種類に応じて決められた１つの画像であっても良い
が、静止画および動画についてそれぞれ複数パターン選
択できるようにしておくのが好ましい。

【００９２】また、このようなアニメーション画像やＣ
Ｇ画像は、顧客自身で予め作成し、登録した内容であっ
ても良いし、後述するように、中継業者等で提供する内
容であっても良い。また、上述の場合と同様に、撮影画
像の被写体である人物の表情、ジェスチャおよび音声内
容の少なくとも１つの情報に基づいて、変換パターンを
設定できるようにしておくのがよいし、さらに、顧客の
要望を登録できるようにしておくのが好ましいのはもち
ろんである。このようにすることにより、写真、ビデ
オ、ＴＶ電話等の画像表現における娯楽性を大幅に向上
させることができ、また、ＴＶ電話等で、顔を出したく
ない場合などに便利であり、通話相手にも不快感を与え
ることがない。

【００９３】次に、本発明の第２の態様の第２実施形態
について説明する。第２実施形態は、写真のような静止
画ではなく、携帯ＴＶ電話やムービー編集等における動
画に対して本発明の第２の態様の画像処理方法を適用し
たものである。携帯ＴＶ電話の表示画面に表示される画
像やムービーの表示画像のような動画の場合にも、画像
処理方法自体は、基本的には、上述した第１実施形態と
同様である。

【００９４】すなわち、予め、携帯ＴＶ電話端末等のマ
イクロコンピュータに上述の場合と同じ画像処理パター
ンを登録しておき、また画像処理ソフトも組み込んでお
く。そして、携帯ＴＶ電話の場合、通話中その会話の音
声中に、登録されていたキーワードが検出された場合に
は、そのキーワードに対応するモードの合成画像を合成
する処理がその端末で行なわれる。そして、合成画像
は、通話の相手側の端末に送信され、表示される。この
とき、表示画像自体も、動画であり、合成した、例えば
図６に示すような「汗マーク」も、このまま静止してい
るのではなく、例えば少しずつ下へ流れて行くように移
動するようにすれば効果的である。なお、十分なＣＰＵ
の演算速度を確保することにより、携帯ＴＶ電話での通
話中において、あるいは、ムービー編集中において再生
しながら、リアルタイムでの画像処理を行なうことも可
能となる。

【００９５】次に、本発明の第２の態様の第３実施形態
について説明する。本実施形態もＴＶ電話（あるいは携
帯ＴＶ電話）のようにリアルタイムで画像処理をするも
のに関するものである。すなわち、本実施形態は、人物
の感情の種類を判定する付属情報としての音声データの
代わりに、表情認識やジェスチャ認識を用いて感情の種
類を判定するものである。予め、表情認識のため、個人
別に喜怒哀楽の表情をした画像とその表情に対応するモ
ードとの対応表を各自の携帯ＴＶ電話端末に登録してお
く。また、ジェスチャ認識のため、例えば、指を１本立
てた場合はこのモード、指を２本立てた場合はこのモー
ド・・・という具合に各自が決めたジェスチャとモード
との対応表を各自の携帯ＴＶ電話端末に登録しておく。

【００９６】そして、通話中に、その携帯ＴＶ電話端末
において、話し手の撮影画像から顔を抽出し、パターン
マッチングによる表情の種類の同定を行い、予め登録さ
れた特定の表情と一致する表情が検出された場合には、
その登録された表情に対応するモードの画像処理パター
ンの画像処理を行い、処理済画像を通話の相手側の端末
に送信し表示する。あるいは、ジェスチャ認識により、
話し手が特定のジェスチャをしていることが検出された
場合にも、同様の処理を行なう。

【００９７】なお、表情認識やジェスチャ認識について
の公知技術としては、例えば、電子情報通信学会技術研
究報告１９９９年１１月１８日および１９日、ＰＲＭＵ
９９−１０６「動作位置の変化に頑健なジェスチャ認
識」天田泰亨・鈴木基之・後藤英昭・牧野正三（東北
大）、ＰＲＭＵ９９−１３８「顔器官輪郭の自動抽出と
表情認識の自動化」小林宏・高橋久徳・菊地耕生（東京
理科大）、ＰＲＭＵ９９−１３９「ポテンシャルネット
を用いた顔領域の推定と表情認識」別所弘章（イメージ
情報科研）・岩井儀雄・谷内田正彦（阪大）、ＰＲＭＵ
９９−１４０（特別講演）「顔面表情認知研究と画像処
理技術」山田寛（日大／ＡＩＲ）、ＰＲＭＵ９９−１４
２（特別招待論文）「インタラクションのための人物動
作解析と認識」谷内田正彦・岩井儀雄（阪大）等があ
り、これらの技術が好適に適用可能である。

【００９８】次に、本発明の第２の態様の第４実施形態
について説明する。本実施形態もＴＶ電話あるいは携帯
ＴＶ電話に係るものであるが、本実施形態は画像合成処
理をＴＶ電話の中継局側で行なうものである。本実施形
態における携帯ＴＶ電話システムの概略を図７に示す。
予め、携帯ＴＶ電話の端末６０、７０を通して通信業者
の中継局８０のデータベース８４に、利用者毎の顔画像
データ（感情の種類に対応するモードを判定するための
各モードごとの表情）や音声データ（各モードを引き出
すためのキーワード）および各モードにおける画像合成
パターンを登録しておく。

【００９９】通信時には、図７に示すようにＡの携帯Ｔ
Ｖ電話端末６０からは、画像センサ６２によって撮影さ
れたＡの撮影画像およびＡの音声が、また、Ｂの携帯Ｔ
Ｖ電話端末７０からは、画像センサ７２によって撮影さ
れたＢの撮影画像およびＢの音声がそれぞれ中継局８０
に伝送される。中継局８０の処理部８２では、常に、Ａ
およびＢの撮影画像から顔抽出を行い、登録された表情
とのマッチングが行なわれるとともに、通話音声中に登
録されたキーワードが出てこないかチェックが行なわれ
る。

【０１００】そして、例えば、Ａの会話から焦りモード
を検出した場合には、Ａの撮影画像に対して、例えば、
汗マークを合成する処理を行い、処理画像をＢの端末７
０へ送信する。また、この時、Ａの処理画像を確認用と
して、その縮小版をＡの端末６０へも送るようにしても
よい。Ａの端末６０の表示画面６４には、Ｂの顔画像が
表示されているが、その隅にＡの処理画像の確認用とし
て表示枠６６が設けられ、この表示枠６６にＡの処理画
像が表示される。この時、同様に、Ｂの端末７０の表示
画面７４には、Ａの処理画像が表示されるとともに、そ
の隅の確認用の表示枠７６に、中継局８０から送られる
Ｂの処理画像の縮小版が表示される。

【０１０１】なお、利用者毎の顔画像データ、音声デー
タおよび画像合成パターン等を利用者の端末に登録して
おき、携帯ＴＶ電話の端末側で、モード検出から画像合
成処理を行なうようにしてもよい。また、中継局および
端末の両方に上記データを登録しておき、どちらでも処
理を行なえるようにしてもよい。また、画像合成処理
は、送信する場合に限らず、受信した音声・画像データ
に対して合成処理を適用するようにしてもよい。例え
ば、図７において、Ｂ氏からの受信画像に対する合成処
理をＡ氏の端末で行なってもよい。この場合、受け手で
あるＡ氏の好みのパターンを付けることで娯楽性が向上
する。

【０１０２】次に、本発明の第２の態様の第５実施形態
について説明する。本実施形態は、リアルタイムで画像
合成処理を行なっている場合に、合成パターンに位置ず
れが生じた場合に、それを修正するものである。合成パ
ターンの位置ずれの原因は、ほとんど顔抽出の失敗にあ
るため、表示画面で、合成パターンの位置ずれを発見し
たときには、電子ペン等により撮影画像中の顔を指定す
る。このとき、電子ペンで顔の輪郭をぐるっと囲んでも
よいし、両目を線で結んでもよい。さらに、口の位置等
を指定するようにしてもよい。あるいは、キー操作によ
り、合成パターンを平行移動すべき位置およびサイズの
調整量等を指定するようにしてもよい。

【０１０３】その後、修正した合成パターンの位置およ
びサイズを基に、本来の合成パターンと照合する様に顔
位置候補エリアを自動で修正し、顔抽出処理を再実行す
る。これにより、携帯ＴＶ電話のように動画の場合にお
いても、リアルタイムで合成パターンの位置やサイズが
顔の動きに合わせて修正される。従って、合成パターン
が顔に自動追従して表示画像中の所定位置に表示される
ため、画像表示媒体における画像表示の娯楽性が向上さ
れる。

【０１０４】また、本発明の第３の態様の画像処理方法
は、ＴＶ画像をパソコンに取り込んで、取り込んだ画像
に対して、上述した本発明の第２の態様の画像処理方法
を適用するものである。すなわち、ＴＶ画像をパソコン
に取り込み、上記合成処理や置換処理や画像変形処理や
色や濃度の変更処理等をしたり、あるいはデジタルＴＶ
において、受像機に上記合成処理機能等を持たせ、さら
に、合成パターンを顧客が設定できるようにするもので
ある。こうすることにより、娯楽性をいっそう向上させ
ることができる。本発明の第２および第３の態様の画像
処理方法は、基本的に以上のように構成される。

【０１０５】次に、図８および図９を参照して、本発明
の第４の態様に係る画像処理方法を説明する。本発明の
第４の態様の画像処理方法は、基本的に、予め、撮影画
像中の特定エリア内のエリア画像または画像特徴量を登
録しておき、予め登録されたエリア画像または画像特徴
量を用いて、撮影画像中の該当エリアに合成する、また
は濃度および色味の調整を行うものである。

【０１０６】例えば、本態様の画像処理方法は、撮影画
像中の被写体である人物の顔画像として、予め、基準顔
画像として、当該人物の気に入った化粧顔や好みの顔画
像やその画像特徴量や、正面を向いた、撮影方向と視線
が一致した顔画像を登録しておき、当該人物が撮影画像
の被写体となった時、撮影画像中の人物の顔を、予め基
準顔画像として登録されている当該人物の気に入った化
粧顔や好みの顔画像や正面を向いた撮影方向と視線が一
致した顔画像に修正、または合成、または変換したり、
あるいは、予め登録されている画像特徴量を用いて気に
入った化粧顔や好みの顔画像に仕上がるように、その濃
度や色味を修正、または調整するものである。こうする
ことにより、だれでも、容易に、気に入った化粧顔や好
みの顔画像等の基準顔画像に修正することができ、視線
の不一致による違和感を解消することができるというも
のである。

【０１０７】なお、以下では、撮影画像中の被写体であ
る人物の顔画像を、気に入った化粧顔や好みの顔画像や
正面を向いた撮影方向と視線が一致した顔画像をに修正
する場合を代表例として説明するが、本態様はこれに限
定されるわけではない。また、本発明の第４の態様が適
用される対象は、本発明の第２および第３の態様と同様
に、写真（静止画）のみならずビデオ（動画）やＴＶ電
話等のリアルタイムでの画像表示等、広い範囲に及ぶの
は言うまでもないことである。

【０１０８】まず、本発明の第４の態様の第１実施形態
について説明する。本第１実施形態は、デジタルカメラ
等で撮影された撮影画像に対して、予め登録された登録
パターンを用いて、所定の画像処理を行うものである。
図８は、本発明の第４の態様の第１実施形態に係る画像
処理方法を実施する画像処理装置を含むデジタルフォト
プリンタの概略を示すブロック図である。図８に示すデ
ジタルフォトプリンタ９０は、主に、撮影画像取得手段
９２、画像処理装置９４、データベース９６および画像
記録装置１６とを有する。なお、画像記録装置１６、操
作系１８およびモニタ２０は、基本的に、図４に示すデ
ジタルフォトプリンタ５０と同様のものを用いることが
できる。

【０１０９】撮影画像取得手段９２は、デジタルカメラ
等の画像撮像装置によって画像データが記録された記録
メディアから撮影画像データを読み込むものである。画
像処理装置９４は、撮影画像取得手段９２によって読み
込まれた撮影画像データから予めデータベース９６に登
録するための基準顔画像の取得、抽出、作成や予めデー
タベース９６に登録されている基準顔画像の選択や、選
択された基準顔画像を用いた撮影画像中の顔画像の修
正、合成、変換等の本態様に係る画像処理方法およびそ
の他各種の画像処理を実施するものである。データベー
ス９６は、予め基準顔画像として、撮影画像の被写体と
なる人物の気に入った化粧顔や好みの顔画像や、その画
像特徴量や、被写体人物の正面を向いた、撮影方向と視
線が一致した顔画像（以下、カメラ視線顔画像という）
を登録しておくためのものである。また、画像処理装置
９４のその他の機能や、キーボード１８ａおよびマウス
１８ｂを有する操作系１８や、モニタ２０や、画像記録
装置１６の機能については、図４に示すデジタルフォト
プリンタ５０と、基本的に、同様であるので、その説明
は省略する。

【０１１０】以下、図９のフローチャートに沿って、こ
の第１実施形態の画像処理について説明する。まず、ス
テップ３００において、予め、最も気に入った状況で顔
を、例えば、デジタルカメラ等の撮影装置で撮影し、撮
影画像取得手段９２によって、この顔の撮影画像を登録
用撮影画像として取得する。

【０１１１】次に、ステップ３１０で、画像処理装置９
４において、顔抽出アルゴリズムを適用して、撮影画像
取得手段９２によって取得された顔の撮影画像から、基
準顔画像として顔領域を抽出する。この時、基準顔画像
の画像特徴量を算出しておいても良い。なお、顔の撮影
画像全体を基準顔画像とする場合には、基準顔画像の画
像特徴量の算出を省略することにより、このステップ３
１０の抽出工程を省略しても良い。このステップ３１０
で基準顔画像の画像特徴量の算出を省略する場合には、
前後のステップ３００または３２０、もしくは後述する
ステップ３６０の修正工程で行っても良い。ステップ３
２０において、顔の撮影画像中の抽出された顔領域また
は顔の撮影画像全体を基準顔画像としてデータベース９
６に登録する。こうして、予め行う前処理が終了する。

【０１１２】なお、データベース９６に登録される基準
顔画像としては、きちんと化粧した時の顔や美容院や理
容室等で髪を整えた時の顔や髭を剃った時の顔や髭を整
えた時の顔等を用いれば良く、特定の人物について複数
の基準顔画像、例えば朝用／夜用、季節別、ＴＶ電話や
携帯電話の表示用では通信相手による切り分け用等）を
使い分けても良い。また、基準顔画像において、顔画像
の構成要素の部位毎に基準パターンとして登録しても良
い。すなわち、ステップ３１０の抽出工程で、修正や合
成に利用したいエリアを自動的に抽出して、あるいはマ
ニュアルで指定して、抽出または指定されたエリアを基
準パターンとして登録しても良い。基準パターンとして
は、例えば、目、眉、頬、唇、鼻、耳、髪、髭等の顔の
構成要素の各部位や、イヤリングや、帽子（バンダナや
鉢巻等も含む）や、眼鏡 (サングラスも含む）の装飾品
等をも挙げることができる。なお、この場合、顔抽出ア
ルゴリズムを適用して、指定されたエリアが顔のどの部
位を示すかを自動認識できるようになっていると一層の
望ましい。顔抽出精度が低い場合には、逐一、各部位を
指定しながら、エリア設定を行うものとするのが良い。

【０１１３】次に、ステップ３３０で、撮影画像取得手
段９２によって、撮影画像を取得する。このステップ３
３０の撮影画像の取得工程は、例えば、ＴＶ電話や携帯
電話の表示画面への撮影画像の送信や表示に先だって行
われる。例えば、このような電話の通信時には、撮影画
像中の被写体人物は、ＴＶ電話や携帯電話の所有者や専
用の使用者である場合が多く、特定されている場合が多
いので、その情報、例えばＩＤ等を自動的に取得できる
ようにしておくのが良い。また、使用者が多数の場合に
は各人にＩＤを付しておき、このステップ３３０で撮影
画像取得手段９２によって撮影画像とともに被写体人物
のＩＤを取得できるようにしておくのが良い。

【０１１４】次いで、ステップ３４０で、画像処理装置
９４において、撮影画像取得手段９２によって取得され
た撮影画像に対し、顔抽出アルゴリズムを適用して、撮
影画像中から被写体人物の顔領域を顔画像として抽出す
る。この時、単に顔領域全体のみならず、顔画像の構成
要素の各部位のエリアを割り出しておくのが良い。例え
ば、まず、顔の輪郭を抽出し、次に各部位のエリアの絞
込みを行い、最後に形状パターンマッチングにより、各
部位のエリアを確定することができる。なお、顔抽出の
精度が低い場合には、デジタルカメラ等の撮影装置で撮
影を開始する時に、顔枠等のガイドをファインダーや表
示装置に表示して、表示されたガイド内の位置に被写体
人物の顔が来る（収まる）ように、被写体人物の姿勢を
取らせるのが良い。こうしておくことにより、形状パタ
ーンマッチングによる顔画像の抽出が容易となるし、撮
影コマが異なっていても、一旦、顔をキャッチすれば、
撮影コマ間の局所マッチングによって、被写体の顔を追
跡することができる。

【０１１５】ステップ３５０において、画像処理装置９
４によってデータベース９６から上述したＩＤ等によっ
て検索された、または特定された人物の登録済基準顔画
像、および基準パターン、ならびに必要に応じて、これ
らの画像特徴量を選択して呼び出す。なお、ここでは、
上述した特定の人物の顔画像の各部位について、それぞ
れ別の基準画像から選んで組み合せを変え、新たな組み
合せを作ることも可能である。例えば、目は第１の基準
顔画像から、眉は第３の基準顔画像から、イヤリングは
第８の基準顔画像から新しい組み合せの顔画像を作るこ
ともできる。ところで、ステップ３４０とステップ３５
０とは、どちらをを先にやっても良いし、両者を同じに
やっても良い。

【０１１６】次ぎに、ステップ３６０において、ステッ
プ３４０で抽出された顔画像および顔画像の構成要素の
各部位のエリアを、ステップ３５０で選択された特定の
人物の登録済基準顔画像および基準パターンならびにそ
れらの画像特徴量を用いて、修正、または合成、または
置換する。ここで、顔画像全体を登録済基準顔画像に合
成あるいは置換しても良いが、顔の各部位毎に、登録済
基準パターン画像を用いて修正、または合成、または置
換しても良いし、登録済基準パターン画像の特徴量を用
いて修正しても良い。例えば、頬や唇は、当該部位の基
準パターンの色味に修正する。特に、唇は、動くため
に、色味で唇と肌のエリアを画素レベルで分離した後、
唇の色味のみを修正するのがよい。また、髪、眉、頬、
耳（耳たぶ）は、基準パターンを上書き合成するのが好
ましい。この場合には、合成エリアの周辺部には、平滑
化をかけて境界をぼかすのが好ましい。

【０１１７】最後に、ステップ３７０において、こうし
てステップ３６０で顔画像が修正された撮影画像を、出
力画像として、画像処理装置９４から出力する。この出
力画像は、プリンタ１６から写真プリントとして出力し
ても良いし、モニタ２０に表示しても良いし、ＴＶ電話
や携帯電話端末（の画像処理装置；図７参照）に出力
し、そこから相手のＴＶ電話や携帯電話端末（の画像処
理装置；図７参照）に送信して、その表示画面に表示し
ても良いし、直接相手側に送信して、その表示画面に表
示することもできる。もちろん、自分の側の装置の表示
画面に表示しても良い。

【０１１８】こうすることにより、パーソナルコンピュ
ータや画像処理ソフトの未経験者や未熟練者であって
も、容易に、気に入った化粧顔や好みの顔画像に修正す
ることができる。ところで、この他、被写体人物の衣服
部分（顔の下に設定されるエリア）や背景（顔エリア以
外の領域）に装飾パターンをちりばめるようにしても良
い。こうすることにより、普段着や寝巻き（パジャマ）
や部屋等の目隠しをすることができ、相手に不愉快な感
情を与えることがない。

【０１１９】次に、本発明の第４の態様の第２実施形態
について説明する。本第２実施形態も、第１実施態様と
同様に、デジタルカメラ等で撮影された撮影画像に対し
て、予め登録された登録パターンを用いて所定の画像処
理を行うものであるが、予め登録された登録パターンが
撮影方向と被写体人物の視線が一致した画像（カメラ視
線画像または視線一致画像）である点で異なるものであ
るので、同様に図８および図９を参照して、本第２実施
形態を以下に説明する。

【０１２０】本第２実施形態では、まず、図９に示すス
テップ３００において、デジタルカメラ等の撮影装置で
これを直視した撮影画像を撮影して、記録し、この記録
された撮影画像を撮影画像取得手段９２（図８参照）に
よって登録用撮影画像として取得する。次に、ステップ
３１０で、画像処理装置９４において、顔抽出アルゴリ
ズムを適用して、撮影画像取得手段９２によって取得さ
れた登録用撮影画像から、基準パターンとして眼のエリ
アを抽出し、ステップ３２０において、抽出された眼の
エリアを基準パターンとしてデータベース９６に登録す
る。こうして、予め行う前処理が終了する。

【０１２１】次に、ステップ３３０で、撮影画像取得手
段９２によって、撮影画像を取得する。このステップ３
３０の撮影画像の取得工程は、例えば、ＴＶ電話や携帯
電話の表示画面への撮影画像の送信や表示に先だって行
われる。次いで、ステップ３４０で、例えばこのような
電話の通信時には、画像処理装置９４において、撮影画
像取得手段９２によって取得された撮影画像に対し、顔
抽出アルゴリズムを適用して、撮影画像中から被写体人
物の両眼のエリアを抽出する。ステップ３５０におい
て、画像処理装置９４によってデータベース９６から登
録済基準パターン選択して呼び出す。なお、ステップ３
４０とステップ３５０とは、どちらを先にやっても良い
し、両者を同じにやっても良い。

【０１２２】次ぎに、ステップ３６０において、ステッ
プ３４０で抽出された両眼のエリアを、ステップ３５０
で選択された登録済基準パターンを用いて、修正、また
は合成、または置換する。ここで、画像フレーム間の動
きが小さい場合、または（左右のバランスでチェックし
た結果）正面を向いていると判定できる場合には、登録
した基準パターン画像を合成しても良い。

【０１２３】最後に、ステップ３７０において、こうし
てステップ３６０で両眼がカメラ視線に修正された撮影
画像を、出力画像として、画像処理装置９４から出力す
る。あるいは、ＴＶ電話や携帯電話端末の場合には、撮
影画像の定常状態（例えば、起動時に姿勢を正してモニ
タを見て撮影した画像の状態）を仮記憶しておき、仮記
憶画像と現画像との差が所定以上の場合には、動きが大
きいとして、違和感防止のために、撮影画像をそのまま
出力画像として伝送しても良い。なお、この出力画像
は、プリンタ１６から写真プリントとして出力しても良
いし、モニタ２０に表示しても良いし、上述のように、
ＴＶ電話や携帯電話端末に出力し、そこから相手のＴＶ
電話や携帯電話端末に送信して、その表示画面に表示し
ても良いし、直接相手側に送信して、その表示画面に表
示しても良い。こうすることにより、視線の不一致によ
る違和感を解消することができる。

【０１２４】ところで、この他、基準パターンの登録時
に、カメラを直視した撮影画像の動画、例えば、瞬きを
１回以上含むように撮影した動画を記録しておく。ＴＶ
電話等での通信時の合成においては、実際の瞬きタイミ
ングとは無関係に、動画として合成することもできる。
あるいは、撮影画像の取得に際し、瞬き検出を行い、同
期を取るようにするとさらに望ましい。

【０１２５】さらに、本発明の第４の態様の第３実施形
態においては、ＴＶ電話や携帯電話端末等の送信端末
（図７参照）の演算能力が大きければ、本態様の第１お
よび第２実施形態において説明した種々の修正処理を、
これらの送信端末で実行しても良い。あるいは、中継局
（図７参照）側に基準顔画像、装飾パターンデータを顧
客ＩＤとセットで登録し、中継局側で、実行してもらっ
ても良い。また、本態様において、ＴＶ電話や携帯電話
端末等を家族で使う場合、上述した第１の態様のよう
に、家族の人物別に基準顔画像や基準パターンを登録し
ておくのが好ましい。本発明の第４の態様の画像処理方
法は、基本的に以上のように構成される。

【０１２６】以上、本発明の画像処理方法について詳細
に説明したが、本発明は、以上の例には限定されず、本
発明の要旨を逸脱しない範囲において、各種の改良や変
更を行ってもよいのはもちろんである。

【０１２７】

【発明の効果】以上詳述したように、本発明の第１の態
様によれば、自動的に個々の顧客毎の好みを反映した出
力画像を得ることができ、写真の娯楽性を向上させるこ
とが出来る。

【０１２８】また、以上詳述したように、本発明の第２
の態様によれば、画像中の特に人物の顔の表示におい
て、感情に応じて強調したい内容が自動的に視覚化され
て表現されるため写真、ビデオ、ＴＶ電話等の画像表現
における娯楽性を大いに向上させることが可能となり、
また、ＴＶ電話等で、顔を出したくない場合などに便利
であり、通話相手にも不快感を与えることがない。

【０１２９】また、以上詳述したように、本発明によれ
ば、上記従来技術の問題を鑑解消して、パーソナルコン
ピュータや画像処理ソフトの未経験者や未熟練者などで
あっても、容易に、気に入った化粧顔や好みの顔画像に
修正することができ、視線の不一致による違和感を解消
することができる。

【図面の簡単な説明】

【図１】 本発明の第１の態様に係る画像処理方法を実
施する画像処理装置を含むデジタルフォトプリンタの一
実施例の概略を示すブロック図である。

【図２】 本発明で用いられる登録データの例を示す説
明図である。

【図３】 本発明の第１の態様の第１実施形態の作用を
示すフローチャートである。

【図４】 本発明の第２の態様に係る画像処理方法を実
施する画像処理装置を含むデジタルフォトプリンタの一
実施例の概略を示すブロック図である。

【図５】 本発明の第２態様の第１実施形態に係る画像
処理方法の処理の流れを示すフローチャートである。

【図６】 画像処理パターンの例を示す説明図である。

【図７】 本発明の第２態様の第４実施形態に係る携帯
ＴＶ電話システムの概略を示す説明図である。

【図８】 本発明の第４の態様に係る画像処理方法を実
施する画像処理装置を含むデジタルフォトプリンタの一
実施例の概略を示すブロック図である。

【図９】 本発明の第４態様の第１および第２実施形態
に係る画像処理方法の処理の流れを示すフローチャート
である。

【符号の説明】

１０ デジタルフォトプリンタ １２ スキャナ １４ （画像）処理装置 １６ 画像記録装置 １８ 操作系 １８ａ キーボード １８ｂ マウス ２０ モニタ ２２ 光源 ２４ 可変絞り ２６ 拡散ボックス ２８ キャリア ３０ 結像レンズユニット ３２ イメージセンサ ３４ Ａ／Ｄ変換器 ５０ デジタルフォトプリンタ（プリンタ） ５２ 撮影情報入力手段 ５４ 画像処理装置 ５６ 画像記録装置 ６０、７０ 携帯ＴＶ電話端末 ６２、７２ 画像センサ ６４、７４ 表示画面 ６６、７６ 表示枠 ８０ 中継局 ８２ 処理部 ８４ データベース

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 1/00 ３４０ Ｇ０６Ｔ 1/00 ３４０Ａ ５Ｃ０７６ 7/20 ３００ 7/20 ３００Ａ ５Ｌ０９６ 13/00 13/00 Ａ Ｆターム(参考） 2H106 AA72 AA82 AA89 AB04 BA01 BA22 BA26 BA35 BA47 BA52 BA72 BA95 2H109 BA04 BA06 BA22 2H110 BA13 BA17 BA18 BA19 CB27 CB28 CB58 CB76 CD05 CE07 5B050 AA00 AA08 AA09 BA06 BA12 DA02 DA04 DA07 EA19 FA02 FA05 FA10 5B057 AA20 BA02 BA24 BA26 BA29 CA01 CA08 CA12 CA16 CB01 CB12 CB16 CC01 CC03 CD02 CD05 CE03 CE08 CE11 CE17 CH20 DA08 DA12 DB02 DB06 DB09 DC32 5C076 AA13 AA14 AA19 AA26 AA40 BA06 5L096 AA02 AA06 BA08 BA20 CA02 DA01 EA35 JA09

Claims (23)

【特許請求の範囲】
1. 【請求項１】入力された画像データに対して、画像処理
   を施す画像処理方法であって、 予め特定の人物毎に所定の画像処理条件を登録し、 前記入力された画像データ中の人物を抽出し、 該抽出された人物が前記特定の人物か否かを人物同定
   し、 当該人物同定された特定の人物に対応する画像処理条件
   を選択し、 該選択された画像処理条件に基づいて画像処理を行うこ
   とを特徴とする画像処理方法。
2. 【請求項２】前記人物同定を、予め登録された人物の顔
   画像、または撮影コマに付属する人物指定情報を用いて
   行う、請求項１に記載の画像処理方法。
3. 【請求項３】前記特定の人物毎に予め登録される所定の
   画像処理条件は、該特定の人物毎に複数種類設定される
   請求項１または２に記載の画像処理方法。
4. 【請求項４】前記複数種類の画像処理条件の中から選択
   した、少なくとも１つの画像処理条件を組み合わせて、
   前記画像処理を行うようにした請求項３に記載の画像処
   理方法。
5. 【請求項５】前記選択された画像処理条件による画像処
   理を画面全体に施すのか、該当する人物のみあるいはそ
   の人物とその周辺近傍のみに施すのか、を設定するよう
   にした請求項１〜４のいずれかに記載の画像処理方法。
6. 【請求項６】撮影画像に付属する音声データ、あるいは
   前記撮影画像中から抽出された人物の表情、または抽出
   された人物のジェスチャー、のうちの少なくとも１つの
   情報に基づいて、予め登録された感情の種類を判定し、 予め設定された画像処理パターンのうち前記判定された
   感情の種類に対応する画像処理パターンを適用した画像
   処理を、前記撮影画像に対して行うことを特徴とする画
   像処理方法。
7. 【請求項７】前記画像処理パターンは、前記感情の種類
   に対応して設定され、 前記画像処理パターンを適用した画像処理は、前記感情
   の種類に対応した所定のマークの合成処理、前記感情の
   種類に対応したアニメーション画像またはコンピュータ
   グラフィックス画像への置換処理、前記感情の種類に対
   応した、前記撮影画像に対する画像変形処理、および前
   記感情の種類に対応した、前記撮影画像の濃度および色
   の変更処理の少なくとも１つの処理である請求項６に記
   載の画像処理方法。
8. 【請求項８】前記合成処理は、前記撮影画像中の所定位
   置に、または予めもしくはこの時に前記撮影画像中から
   抽出された人物に対して所定の位置に、もしくは予めも
   しくはこの時に前記撮影画像中から抽出された人物に対
   して相対的な位置に、かつ、前記撮影画像または前記抽
   出された人物に対して、所定のサイズおよび所定の向き
   で、あるいは相対的なサイズおよび相対的な向きで、前
   記所定のマークを合成する処理である請求項７に記載の
   画像処理方法。
9. 【請求項９】前記置換処理は、予めもしくはこの時に前
   記撮影画像中から前記抽出された人物の所定の部位を前
   記アニメーション画像またはコンピュータグラフィック
   ス画像に置き換える処理である請求項７に記載の画像処
   理方法。
10. 【請求項１０】前記撮影画像は、録音機能付き画像撮像
    装置の撮影画像であり、前記画像処理パターンを前記録
    音機能付き画像撮像装置に予め登録しておき、前記画像
    処理パターンを適用した画像処理を前記録音機能付き画
    像撮像装置で行う請求項６〜９のいずれかに記載の画像
    処理方法。
11. 【請求項１１】前記画像処理パターンを適用した画像処
    理を、前記録音機能付き画像撮像装置による前記録音さ
    れた音声データを含む画像撮影情報を受け取ったラボ側
    で行う請求項１０に記載の画像処理方法。
12. 【請求項１２】前記撮影画像は、撮影機能付き通話装置
    の撮影画像であり、前記撮影画像に対して、前記人物の
    感情の種類に対応する前記画像処理パターンを適用した
    画像処理を行う請求項６〜９のいずれかに記載の画像処
    理方法。
13. 【請求項１３】前記画像処理パターンを前記撮影機能付
    き通話装置に予め登録しておき、前記画像処理を前記撮
    影機能付き通話装置で行い、処理画像を通話相手側の端
    末に送信する請求項１２に記載の画像処理方法。
14. 【請求項１４】前記画像処理パターンを前記撮影機能付
    き通話装置の中継局に予め登録しておき、前記画像処理
    を前記中継局で行い、処理画像を通話中の一方の端末に
    送信する請求項１２に記載の画像処理方法。
15. 【請求項１５】前記画像処理パターンを前記撮影機能付
    き通話装置に予め登録しておき、前記撮影機能付き通話
    装置が受信した、通信相手側端末による撮影画像に対し
    て、前記画像処理パターンを適用した画像処理を前記撮
    影機能付き通話装置で行なう請求項１２に記載の画像処
    理方法。
16. 【請求項１６】前記画像処理パターンを適用した画像処
    理において、前記感情の種類に対応した所定のマークま
    たはその合成位置を間違えた場合に、前記感情の種類に
    対応したマーク、マークの合成位置、マークのサイズま
    たは向きの修正を可能とした請求項６〜１５のいずれか
    に記載の画像処理方法。
17. 【請求項１７】テレビ画像をパーソナルコンピュータに
    取り込み、該パーソナルコンピュータにおいて、前記取
    り込んだテレビ画像に対して、予め設定された画像処理
    パターンを適用した画像処理を行なうことを特徴とする
    画像処理方法。
18. 【請求項１８】予め、画像の特定エリア内のエリア画像
    または画像特徴量を登録しておき、 前記予め登録されたエリア画像または画像特徴量を用い
    て、撮影画像中の該当エリアに合成する、または濃度お
    よび色味の調整を行うことを特徴とする画像処理方法。
19. 【請求項１９】前記該当エリアは、前記予め登録された
    エリア画像または画像特徴量に応じて撮影画像中から抽
    出される請求項１８に記載の画像処理方法。
20. 【請求項２０】前記特定エリアは、人物の顔、人物の顔
    を構成する少なくとも１つの部位、人物が身に付ける装
    飾品および背景の少なくとも１つである請求項１８また
    は１９に記載の画像処理方法。
21. 【請求項２１】前記特定エリアは、人物の顔であり、 前記予め登録されたエリア画像は、前記人物の化粧顔ま
    たは前記人物の最良の顔画像である請求項１８〜２０の
    いずれかに記載の画像処理方法。
22. 【請求項２２】前記特定エリアは、人物の顔を構成する
    眼のエリアであり、 前記撮影画像中の被写体である人物が定常状態にあるか
    どうかを判定し、前記定常状態にある時、前記人物の顔
    を構成する前記眼のエリアに前記予め登録された前記特
    定エリアの前記エリア画像を合成する請求項１８〜２０
    のいずれかに記載の画像処理方法。
23. 【請求項２３】前記予め登録されたエリア画像は、前記
    人物の視線が撮影方向に一致する前記眼のエリアの画像
    である請求項２２に記載の画像処理方法。