JP2005333343A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】使用する用途に応じた顔写真の加工を行う画像処理システムを提供すること。
【解決手段】画像処理装置１は、画像の加工時において、画像の用途により画像適合範囲を設定し、画像加工時に加工前の元の画像と加工後の画像を照合してすることで、加工後の画像が前記画像適合範囲であるようにする。また、画像処理装置１ａは、画像の用途により画像加工範囲を設定し、画像加工時に予め加工の種類又はその度合いを制限する。
【選択図】図１

Description

本発明は、画像処理装置及び画像処理方法に関する。

一般に、デジタルカメラなどで撮影された画像を表示もしくはプリントしようとする場合、撮影画像に対し加工を加え、それを見栄えのよい画像へ変換することが行われる。
例えば、眼鏡や髪型の変更、顔画像等で顔色がすぐれない場合の補正、しわやしみなどが目立つ場合にそれらを画像から違和感なく取り除くための処理（特許文献１参照）などがある。
しかし、免許証、パスポート、クレジットカード、履歴書等に貼付する本人確認のための顔写真は、本人と識別又は適合し、不正な使用を防止するという観点から、その顔写真の加工が制限されることが一般である。
例えば、顔写真などを用いた本人の認証については、本人との適合率の閾値を身分保障・防犯などの条件に応じて変更する顔認証装置および顔認証方法（特許文献２参照）が提案されている。
特開２００２−３５２２５８号公報 特開２００２−１８３７３４号公報

従来における顔画像の加工は、スナップ写真やポートレート写真といった個人が鑑賞する目的の写真では、効果的な方法ではある。
ところが、上記顔画像の加工を広範に適用してしまうと、証明写真などの公的に使用する目的の写真においては、的確な本人認証を行えなくなる虞があった。このため、そのような目的に使用する写真においては、画像の加工を全面禁止するなどして対応しているため、柔軟性に乏しいものであった。

本発明は上記問題本発明の課題は、使用する用途に応じた顔写真の加工を行う画像処理装置を提供することである。

上記課題を解決するために、請求項１に記載の発明は、撮影された人物の顔画像を取得する顔画像取得手段と、前記取得された顔画像を加工する画像加工手段と、前記画像加工手段による加工後の顔画像と加工前の顔画像とを照合して前記加工前後の顔画像相互間の類似度を求める照合手段と、前記類似度と予め定められた基準類似度とを比較し、その比較結果に応じて前記画像加工手段の加工度合いを制御する制御手段と、を備えたことを特徴とする。
更に、上述した請求項１に記載の発明に示した主要機能を実現するための方法を提供する（請求項４記載の発明）。

請求項２に記載の発明は、請求項１に記載の発明において、前記基準類似度は、前記顔画像の加工目的又は前記顔画像の用途の応じて設定されることを特徴とする。

請求項３に記載の発明は、請求項１又は２に記載の発明において、前記加工後の顔画像の用途により顔画像の加工の種類又はその度合いの幅を示す画像加工範囲を設定する設定手段を備え、前記画像加工手段は前記画像加工範囲に応じて顔画像の加工を予め制限することを特徴とする。
更に、上述した請求項３に記載の発明に示した主要機能を実現するための方法を提供する（請求項５記載の発明）。

請求項１、２、４に記載の発明によれば、画像の用途により基準類似度を設定し、加工前と加工後の画像を照合して、前記基準類似度に応じて画像の加工を行うことで、免許証・パスポート・身分証などの本人認証を行うことを目的とする顔写真にも対応する用途に応じた顔写真の加工を行うことができる。

請求項３、５に記載の発明によれば、画像の用途により画像加工範囲を設定し、画像加工時において、その画像加工範囲に応じて加工の種類又は度合いを制限することで、使用する用途に則した顔写真の加工を行うことができる。

［第１の実施の形態］
以下、本発明の実施の形態に係る画像処理装置１について、図面を参照しながら説明する。ただし、発明の範囲は図示例に限定されない。

図１に本発明の実施の形態に係る画像処理装置１の構成図を示す。図１に示すように、画像処理装置１は、制御部１１、操作部１２、表示部１３、撮影部１４、記憶部１５、画像処理部１６を互いに電気的に接続して備え、撮影部１４の前の被撮影者Ｈを撮影して入力された画像を元に画像加工処理を行う。
また、画像処理装置１の各部は、同一の筐体に収まるように設置しても良いが、それぞれを隔地に設置してインターネットなどの通信ネットワークにより接続する構成であってよい。

制御部１１は、図示しないＣＰＵ（Central Processing Unit）、内部ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を備える。ＣＰＵは、ＲＡＭの所定領域を作業領域としてＲＯＭに記憶されている各種制御プログラムを実行し、上記各部に制御信号を送って画像処理装置１の動作全般を統括制御する。

操作部１２は、画像処理装置１に対する操作指示を入力するための数字キー・文字キー・各種機能キー等から構成されるキーボードや、マウス、タッチパネルなどのポインティングデバイスを含んで構成する。

表示部１３は、表示装置２１、プリンタ２２を備える。表示装置２１は、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）などのディスプレイなどからなり、制御部１１から入力される表示データに基づいて表示画面に画像データを表示する。プリンタ２２は、色材を昇華、転移させて紙などの記録媒体に画像を形成する昇華型熱転写方式、電子写真方式、インクジェット方式、その他のプリント方式や、銀塩写真像を形成するものであってもよく、制御部１１の指示に基づいて上記方式により各種記録媒体に画像を形成して所定の大きさに切り取る等の後処理を施した後に出力する。

撮影部１４は、ガラスやプラスチックなどからなる光学レンズ、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子から構成されており（いずれも図示しない）、制御部１１から撮影を行う指示が入力されると、光学レンズを介して入力されて撮像素子上で結像する被写体の像を電気信号に変換して、デジタル処理を行った後、画像データとして制御部１１へ出力する。

なお、撮影部１４は、デジタルカメラなどの撮影装置による被撮影者Ｈの撮影画像を出力することを想定しているが、スキャナなどによる人物画像の取り込みでもよく、人物画像がプリントされたプリント、ポストカード等から画像を取り込むフラッドヘッドスキャナや、ネガフィルムから画像を取り込むフィルムスキャナ等、各種スキャナであってよい。

上記スキャナによる画像取込時には、プリントやフィルムを露光走査してその反射光をＣＣＤ（Charge Coupled Device）により光電変換し、アナログ画像信号を得る。そして、このアナログ画像信号に対してアナログ処理などの各種画像処理を施してＡ／Ｄ変換をすることによりデジタルな画像データを制御部１１へ出力する。

記憶部１５は、揮発メモリ、磁気的・光学的記録媒体又は不揮発性メモリなどで構成され、ＯＳ（Operating System）、各種動作プログラム又は画像データなどの各種データを格納する。

画像処理部１６は、加工装置２３と照合装置２４を備え、制御部１１の指示により画像の加工処理又は複数の画像に撮影されている人物の照合を行い、加工後の画像データ又は人物の類似度を制御部１１へ出力する。

加工装置２３は、画像加工用ＤＳＰ（Digital Signal Processor）などからなり、加工対象となる画像に対して、髪型や眼鏡などの部材からなる画像データを所定の大きさに拡大・縮小した後に合成して髪型の変更や眼鏡をかけるなどの処理や、所定の領域を塗りつぶす際に当該領域に含まれる複数の画素の色情報の平均を求めて、色相・彩度・明度を平滑化して塗りつぶすことで、比較的違和感なく、しみ・しわ・ほくろなどの除去を行う処理などをする。

照合装置２４は、人物照合用ＤＳＰなどからなり、複数の顔画像が入力として与えられ、この複数の画像の照合において、形状又は色彩などの方法により各画像から人物の顔画像を抽出して、各顔画像の顔全体の特徴量を計算して、それらを比較することで各画像に含まれる人物の類似度を算出する。この類似度は、比較される顔画像がどの程度似ているかを示す尺度であり、この類似度が高いほど、その人物が同一人である可能性が高いことになる。

例えば照合装置２４は、色相・明度・彩度から肌色領域、目における黒目領域、唇領域を指定し、画像からその位置を抽出することで、顔の特徴量となる輪郭、目や口の位置関係を計測し、他の画像のそれと比較することにより、類似度を算出する。

次に、図２（ａ）に示すフローチャートを参照して、画像処理装置１の顔画像の加工処理について説明する。なお、ここでの動作処理は、画像処理装置１の制御部１１が行うステップＳ１１〜ステップＳ１８の各処理からなる。

画像処理装置１は、ユーザからの指示により画像の用途を設定し（ステップＳ１１）、その用途に応じて予め定められた基準類似度である画像適合範囲を設定する（ステップＳ１２）。

ステップＳ１１における画像の用途設定とステップＳ１２における画像適合範囲設定は、それぞれ別々に設定するようにしてよいが、ステップＳ１１の用途設定に連動して自動的に設定されるように構成することがより好ましい。

なお、ここにおける画像適合範囲の設定は、ポートレートなどの本人の識別を目的としない写真は広く設定し、免許証・パスポート、履歴書、身分証など、本人の識別を目的とする写真は識別の度合いに応じた所定の段階ごとに狭く設定する。

ここで、用途の選択時においての表示画面３０に表示される表示例を図３（ａ）に示す。表示画面３０は、ユーザが自身の撮影画像の使用する用途を選択指示する画面であり、画面上のカーソル３３を操作部１２から操作することにより、免許証・履歴書・パスポート・ポートレートと表示された各種ボタンで用途を指定する。

ステップＳ１２の後、画像入力手段としてのステップＳ１３により、撮影部１４において被撮影者Ｈが撮影され、画像が入力される。なお、ここにおける画像の入力は、撮影部１４において撮影される画像だけでなく、記憶部１５に格納されている画像であってもよい。

ステップＳ１３の後、画像加工手段としてのステップＳ１４により、表示画面３０に表示される画面を参照して操作部１２から行われるユーザの指示などにより、上記画像が加工される。なお、ここにおける加工は、ユーザの指示によるものだけでなく、記憶部１５に格納された手順に従いホワイトバランスなどを所定の値に調節するように設定するものでもよく、特に限定するものではない。

ここで、画像の加工時における表示画面３０の表示例を図３（ｂ）に示す。表示画面３０は、髪型の加工画面の表示例であり、加工対象である撮影画像３１、その撮影画像３１上にあり印刷される範囲を示す印刷範囲３２、画像加工の種類を選択する画像加工選択ボタン群３４、その加工の度合いを決定する画像加工度合い選択ボタン群３５、画像加工の中止や次の処理に進むための指示を入力する画像加工決定ボタン群３６、及び画像の加工範囲を選択するため矩形に設けられ、各種入力指示を行うカーソル３３ａからなる。
図３の（ｂ）に示すとおり、表示画面３０は、画像加工選択ボタン群３４の中の髪型変更のボタンが選択され、画像加工度合い選択ボタン群３５の中のショートのボタンが選択されており、現在選択されているボタンを強調表示（例えば、太枠表示）する。

また、画像加工例を図４の（ａ）〜（ｂ）にそれぞれ示す。（ａ）は画像加工前の入力された元の画像であり、（ｂ）は（ａ）の画像から眼鏡を掛けたものに加工された画像であり、（ｃ）は（ａ）の画像からロングヘアの髪型に加工された画像である。

なお、上記画像加工例は、元の画像から一種類の形状に関する加工を施した例であるが、複数の加工の組合わせや色の変更を施すものであってもよい。

ステップＳ１４の後、画像照合手段としてのステップＳ１５により、加工前の元画像と加工後の画像が照合されることで画像類似度が算出され、その画像類似度が前記画像適合範囲内であるかが判定され（ステップＳ１６）、範囲内でない場合（ステップＳ１６：Ｎｏ）、ステップＳ１４へ戻る。
ここでステップＳ１４へ戻る時に、ユーザに対して規定以上の画像加工がされている旨の警告等が表示される構成であってよい。また、この時、画像を加工前の初期画像状態へ戻してもよいし、適合範囲設定内での最後の加工時画像に戻してもよい。
なお、ここにおけるステップＳ１５は、複数の画像加工の処理を行った後にまとめて行ってもよいが、一つの指示による画像加工の処理ごとに行うものであってもよい。

ステップＳ１６において、範囲内である場合（ステップＳ１６：Ｙｅｓ）、用途種別によるカットの大きさ、印刷する画像、枚数などが確認され（ステップＳ１７）、印刷されて（ステップＳ１８）終了する。
なお、ここにおける印刷は、一つの加工された画像を元に同じ画像が複数枚にわたり印刷されるものでもよいが、複数の加工された画像を元にそれぞれ違った画像が複数枚に印刷されるものであってもよい。

また、加工後の画像は、印刷するだけでなく、データベース、磁気テープなどの磁気媒体、又はＣＤ−Ｒ（Compact Disk-Recordable）等の光磁気媒体などへ電子データとして保存するものであってもよい。

以上説明したように、画像処理装置１は、画像の用途により画像適合範囲を設定し、画像加工時に加工前の元の画像と加工後の画像を照合する。画像処理装置１は、その照合の結果、加工後の画像が前記画像適合範囲に収まる場合に出力する。

従って、画像処理装置１は、画像の用途により加工前と加工後の画像を照合することにより、免許証・パスポート・身分証など、本人認証を行うことを目的とした顔写真を含め、使用する用途に応じた顔写真の加工を行うことができる。

［第２の実施の形態］
次に図面を参照して、第２の実施の形態に係る画像処理装置１ａについて説明する。なお、簡略化のため、画像処理装置１と同様の構成については、同一符号を付して説明を省略し、画像処理装置１と異なる構成である加工の度合いを予め制限して行う画像加工処理についてのみ図４（ｂ）に示すフローチャート図を参照して説明する。
ここで行う各処理は、制御部１１が行うステップＳ２１〜ステップＳ２７からなる。

画像処理装置１ａは、撮影部１４において被撮影者Ｈを撮影することで画像を入力し（ステップＳ２１）、すべての加工種類及び度合いに対して、入力された画像を元に加工を行い、それぞれの類似度を算出する（ステップＳ２２）。

ステップＳ２２の後、ユーザからの指示により画像の用途が設定され（ステップＳ２３）、画像加工範囲設定手段としてのステップＳ２４により、その用途における類似度の上限を元に、上述の算出されたそれぞれの類似度が比較されることで、加工の種別やその度合いである所定の画像加工範囲が設定される（図３（ａ）に示す用途選択の表示例を参照）。なお、上述した用途における類似度の上限は、本人の識別を目的としない写真では低い値が設定され、本人の識別を目的とする写真では高い値が設定される。

このステップ２４により、画像の用途に応じた画像加工の種類と度合を予め制限することができる。また、その制限も、用途における類似度の上限を越えないものであれば、一種類だけでなく数種類に及ぶものや、その組合わせであってもよい。

ステップＳ２４の後、操作部１２からの指示などにより、上記画像が加工される（ステップＳ２５）。なお、ステップＳ２５における画像の加工は（図３（ｂ）に示す画像の加工時における表示例を参照）、前記画像加工範囲に応じて所定の画像加工選択ボタンを表示しないことなどにより制限される。

ステップＳ２５の後、出力形態などが確認され（ステップＳ２６）、印刷されて（ステップＳ２７）終了する。

以上説明したように、画像処理装置１ａは、画像の用途により画像加工範囲を設定し、画像加工時に前記画像加工範囲に応じて予め画像加工の種類又はその度合いを制限することで、使用する用途に則した顔写真の加工を行うことができる。

なお、本実施の形態における記述は、本発明に係る画像処理システムの一例を示すものであり、これに限定されるものではない。本実施の形態における画像処理装置１、画像処理装置１ａの細部構成及び動作に関しては、本発明の趣旨を逸脱しない範囲で適宜変更可能である。

本発明を適用した画像処理システムの構成を示す図である。 （ａ）は、第１の実施の形態における顔画像の加工処理を説明するフローチャート図であり、（ｂ）は、第２の実施の形態における顔画像の加工処理を説明するフローチャート図である。 （ａ）は、図１に示す画像処理システムの表示装置に表示される用途の選択時の表示例であり、（ｂ）は、図１に示す画像処理システムの表示装置に表示される画像加工時の表示例である。 （ａ）は、図１に示す画像処理システムの表示装置に表示される加工前の画像を示す表示例であり、（ｂ）は、図１に示す画像処理システムの表示装置に表示される眼鏡を掛けた画像への加工を示す表示例であり、（ｃ）は、図１に示す画像処理システムの表示装置に表示されるロングヘアの髪型への画像の加工を示す表示例である。

符号の説明

１ 画像処理システム
１１ 制御部
１２ 操作部
１３ 表示部
１４ 撮影部
１５ 記憶部
１６ 画像処理部
２１ 表示装置
２２ プリンタ
２３ 加工装置
２４ 照合装置
３０ 表示画面
３１ 撮影画像
３２ 印刷範囲
３３ カーソル
３４ 画像加工選択ボタン群
３５ 画像加工度合い選択ボタン群
３６ 画像加工決定ボタン群

Claims (5)

1. 撮影された人物の顔画像を取得する顔画像取得手段と、
   前記取得された顔画像を加工する画像加工手段と、
   前記画像加工手段による加工後の顔画像と加工前の顔画像とを照合して前記加工前後の顔画像相互間の類似度を求める照合手段と、
   前記類似度と予め定められた基準類似度とを比較し、その比較結果に応じて前記画像加工手段の加工度合いを制御する制御手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記基準類似度は、前記顔画像の加工目的又は前記顔画像の用途の応じて設定されることを特徴とする請求項１に記載の画像処理装置。
3. 前記加工後の顔画像の用途により顔画像の加工の種類又はその度合いの幅を示す画像加工範囲を設定する設定手段を備え、
   前記画像加工手段は前記画像加工範囲に応じて顔画像の加工を予め制限することを特徴とする請求項１又は２に記載の画像処理装置。
4. 撮影された人物の顔画像を取得し、
   加工前の顔画像と加工後の顔画像とを照合して画像相互間の類似度を求め、
   前記類似度と予め定められた基準類似度とを比較し、その比較結果に応じて顔画像の加工度合いを制御する、
   ことを特徴とする画像処理方法。
5. 加工後の顔画像の用途により顔画像の加工の種類又はその度合いの幅を示す画像加工範囲を設定し、
   前記画像加工範囲に応じて顔画像の加工を予め制限する、
   ことを特徴とする請求項４に記載の画像処理方法。

Images