JP2004240829A

JP2004240829A - Facial portrait image adjustment system

Info

Publication number: JP2004240829A
Application number: JP2003030879A
Authority: JP
Inventors: Hiroyuki Sekizuka; 浩之関塚; Fumiyuki Shiratani; 文行白谷
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2003-02-07
Filing date: 2003-02-07
Publication date: 2004-08-26

Abstract

<P>PROBLEM TO BE SOLVED: To efficiently form a printed matter with facial portrait such as a card by dispensing with the manual work of image adjustment for sticking a picture. <P>SOLUTION: A processor 10 detects edges from facial portrait image data expanded in a memory 30 (step S11), extracts pairs of edges as candidates of both eyes (step S14), narrows the candidates by a characteristic of person (step S15), and estimates the facial area of the facial portrait image data from the narrowed position of both eyes (step S16). The average value of luminance of the estimated facial area is calculated from the facial portrait image data (step S20), a correction quantity is determined from the calculated average value of luminance (step S40), and the facial portrait image data are corrected with the determined correction quantity, whereby the brightness of the facial portrait image data is adjusted (step S50). <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、顔写真入りの印刷物を印刷するに際して明るさや色合いを調整するための顔写真画像調整システムに関する。
【０００２】
【従来の技術】
従来より、コンピュータとプリンタを使用して、ＩＤカードや名刺等の顔写真入りの印刷物を作成することが行われている。これは、必要事項のテキストを配したカードデザイン画像上に、デジタルカメラ等で撮影した顔写真の画像を貼り付けて印刷することにより作成するものであるが、この場合、顔写真撮影時の照明などの影響により撮影された顔写真の画像は様々であり、暗めに撮れた画像は明るく、青っぽく撮れた画像は青を弱くする、というような画像調整の操作を手動で行うことが必要であった。
【０００３】
また、マウス等を用いて、人物の肌の部分などを指定したり、肌の色などを指定したりすることで、主要被写体範囲を特定するだけで、自動的に、その特定した補正対象範囲に含まれる画像データの輝度の平均値が所定の適正輝度値になるような輝度補正値を算出して、該輝度補正値により画像全体を補正するという自動調整の技術も提案されている（例えば、特許文献１参照）。
【０００４】
【特許文献１】
特開２００２−１３５５５９号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、手作業で画像の調整を行う場合には、ＩＤカード等を大量発行するようなケースでは非常に時間のかかる作業となっていた。
【０００６】
また、上記特許文献１に開示された技術においても、調整作業自体は自動的に行われるものの、主要被写体の範囲を特定するためにユーザが部分や色を指定しなければならず、やはり手作業が必要となる。
【０００７】
本発明は、上記の点に鑑みてなされたもので、写真貼り付け時の画像調整の手作業が必要なくなり、効率良く、カードなどの顔写真入りの印刷物を作成することができる顔写真画像調整システムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記の目的を達成するために、請求項１に記載の発明による顔写真画像調整システムは、
写真画像データから検出したエッジのペアを両眼の候補として抽出し、それら候補の中から人の顔が備える特徴により絞り込み、その絞り込んだ両眼の位置から上記写真画像データにおける顔の領域を推定する顔認識手段と、
上記写真画像データから上記顔認識手段によって推定された顔の領域の輝度の平均値を算出する輝度平均値算出手段と、
上記輝度平均値算出手段によって算出した輝度の平均値より補正量を求め、その求めた補正量により上記写真画像データを補正することで、上記写真画像データの明るさ調整を行う明るさ調整手段と、
を具備することを特徴とする。
【０００９】
また、請求項２に記載の発明による顔写真画像調整システムは、請求項１に記載の発明による顔写真画像調整システムにおいて、
上記写真画像データから上記顔認識手段によって推定された顔の領域における予め指定された色範囲内の部分の色平均値を算出する色平均値算出手段と、
上記色平均値算出手段によって算出した色の平均値を予め指定した色に近づけるように上記写真画像データを補正することで、上記写真画像データの色合いの調整を行う色合い調整手段と、
を更に具備することを特徴とする。
【００１０】
また、請求項３に記載の発明による顔写真画像調整システムは、請求項１又は２に記載の発明による顔写真画像調整システムにおいて、
上記輝度平均値算出手段によって算出した輝度の平均値が所定の範囲内にあるか否かを判別する判別手段を更に具備し、
上記明るさ調整手段は、上記輝度の平均値が上記所定の範囲内にないと上記判別手段が判別した場合にのみ、その動作を行うことを特徴とする。
【００１１】
また、上記の目的を達成するために、請求項４に記載の発明による顔写真画像調整システムは、
写真画像データから検出したエッジのペアを両眼の候補として抽出し、それら候補の中から人の顔が備える特徴により絞り込み、その絞り込んだ両眼の位置から上記写真画像データにおける顔の領域を推定する顔認識手段と、
上記写真画像データから上記顔認識手段によって推定された顔の領域における予め指定された色範囲内の部分の色平均値を算出する色平均値算出手段と、
上記色平均値算出手段によって算出した色の平均値を予め指定した色に近づけるように上記写真画像データを補正することで、上記写真画像データの色合いの調整を行う色合い調整手段と、
を具備することを特徴とする。
【００１２】
また、請求項５に記載の発明による顔写真画像調整システムは、請求項２又は４に記載の発明による顔写真画像調整システムにおいて、
上記色平均値算出手段によって算出した色の平均値が所定の範囲内にあるか否かを判別する判別手段を更に具備し、
上記色合い調整手段は、上記色の平均値が上記所定の範囲内にないと上記判別手段が判別した場合にのみ、その動作を行うことを特徴とする。
【００１３】
そして、請求項６に記載の発明による顔写真画像調整システムは、請求項３又は５に記載の発明による顔写真画像調整システムにおいて、上記所定の範囲は、上記写真画像データを印刷するプリンタ及び印刷用紙の特性に応じて設定されることを特徴とする。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
【００１５】
［第１の実施の形態］
図１の（Ａ）は本発明の第１の実施の形態に係る顔写真画像調整システムの適用された顔写真入り印刷物の印刷システムの構成を示す図であり、該印刷システムは、処理装置１０、ハードディスク２０、メモリ３０、キーボード４０、マウス５０、ディスプレイ６０、デジタルカメラ７０、及びプリンタ８０から構成されている。
【００１６】
ここで、上記処理装置１０は、当該印刷システム全体を制御するためのＣＰＵである。
【００１７】
上記ハードディスク２０は、印刷処理のプログラムや後述するような顔写真画像の自動明るさ調整処理のプログラム等を含む制御ソフトウェアを記憶しているものである。また、このハードディスク２０は、顔写真画像データや顔写真と共に印刷すべき氏名等の特定事項に関する文字データ等の各種データをも蓄積するものである。
【００１８】
一方、上記メモリ３０は、印刷すべきあるいは画像調整すべき顔写真画像データを展開する等、上記処理装置１０のワーク領域として使用されるものである。また、上記キーボード４０、マウス５０、及びディスプレイ６０は、ユーザが当該印刷システムに対して各種指示を行うために使用されるユーザインタフェース装置である。
【００１９】
また、上記デジタルカメラ７０は、人物の顔を撮影し、顔写真画像データを得るための撮影装置である。また、デジタルカメラ７０の代わりに、画像取り込み手段（例えばスキャナなど）を使用しても良い。さらに言えば、他の撮影システムで撮影した画像データを記憶する記憶装置としても良く、本システムへ画像を入力可能なものであれば、その形態を問わない。
【００２０】
そして、上記プリンタ８０は、顔写真画像データと特定事項とを印刷用紙に印刷することでＩＤカードや名刺等の顔写真入りの印刷物を得るための印刷装置である。
【００２１】
このような構成の印刷システムにおいて顔写真入りの印刷物を作成する際、処理装置１０は、例えばハードディスク２０に保存された氏名等のリストをディスプレイ６０に表示し、キーボード４０やマウス５０の操作による選択指定に応じて、その指定された氏名を含む特定事項に関する文字データとそれに対応する写真画像データとをハードディスク２０より読み出して、メモリ３０上に展開し、例えば図２に示すように、ディスプレイ６０に表示された編集画面６１右側のデザイン領域６２に配置表示する。
【００２２】
この編集画面６１は、デザイン領域６２において、キーボード４０やマウス５０の操作により印刷物のデザインを行え、写真画像等の画像や特定事項の文字などを自由にレイアウトして印刷すべき情報として作成・編集することが可能になっており、上記メモリ３０に展開された写真画像データ及び文字データは、デフォルトの位置、あるいはユーザが指定した位置に配置される。
【００２３】
あるいは、デジタルカメラ７０で撮影した写真画像データを直接取り込んで、メモリ３０に展開し、それを編集画面６１のデザイン領域６２に配置表示することもできる。この場合は、指名等の特定事項に関する文字データはブランクとなっており、キーボード４０操作により入力できる。勿論、こうして取り込まれた写真画像データと入力された文字データは対応付けてハードディスク２０に蓄積されることができる。
【００２４】
また、上記編集画面６１左側には、画像自動調整ボタン６３と画像の手動調整用スライドバー６４とが表示されており、従来の画像調整装置もしくはソフトウェアと同様に手動調整用スライドバー６４を操作することで画像の調整を行うこともできるが、本実施の形態においては、上記画像自動調整ボタン６３を押すことで、自動明るさ調整機能が動作する。
【００２５】
図１の（Ｂ）は、この自動明るさ調整機能を実現するための自動明るさ調整処理プログラムのフローチャートを示す図である。
【００２６】
即ち、この自動明るさ調整では、まず、上記メモリ３０に展開した顔写真画像データよりその写真内の顔を認識する（ステップＳ１０）。
【００２７】
この顔認識の処理は、図１の（Ｃ）に示すように、まず、顔写真画像データからエッジを検出する（ステップＳ１１）。その後、それら検出したエッジのうち、周囲に肌色画素が少ないエッジを眼の候補から除外すると共に（ステップＳ１２）、髪の毛を検出し眼の候補から除外して（ステップＳ１３）、残りのエッジのペアを両眼の候補として抽出する（ステップＳ１４）。そして、頬，鼻筋，口等の人の顔が備える様々な特徴により、それら抽出された両眼の候補の中から最もそれらしいものを絞り込んで（ステップＳ１５）、その絞り込んだ両眼の位置から顔の位置と大きさを、即ち顔の領域を推定する（ステップＳ１６）。
【００２８】
このようにして顔の領域が推定されたならば、次に、上記顔写真画像データから、その顔と推定された領域の代表値、本実施の形態では、その顔領域の輝度の平均値Ｙ_ａｖを以下の数１のように計算する（ステップＳ２０）。
【００２９】
【数１】

【００３０】
なお、輝度の平均値Ｙ_ａｖを計算するに際して、所定の範囲内の輝度値を有するピクセルについてのみ平均値Ｙ_ａｖを求めても良い。このようにすることによって、認識された顔の領域中に存在する髪の毛や白トビ（光沢部分、または撮影画像上で飽和輝度値若しくは飽和に近い輝度値を有する部分）に相当する領域を上記平均値から除くことができるため、より正確な顔（肌）部分の輝度平均値を得ることが可能となる。
【００３１】
そして、この算出した輝度の平均値Ｙ_ａｖより、当該顔写真画像データについて輝度の補正が必要かどうかを判定する（ステップＳ３０）。この判定の閾値は、上記プリンタ８０（使用されるインク）及び印刷用紙によって変わるものであるが、本実施の形態は、専用のシステムとしてそれらの特性が固定されているものであり、経験的に上記輝度平均値Ｙ_ａｖが所定の範囲（Ｙ_Ｌ≦Ｙ_ａｖ≦Ｙ_Ｈ）にある場合には輝度の補正が必要ないものと判別する。
【００３２】
而して、輝度の補正が不要と判別されたときには（ステップＳ３０）、この自動明るさ調整処理を終了する。勿論、こうして輝度の補正を行わずにこの自動明るさ調整処理が終えられた場合、ユーザは、上記手動調整用スライドバー６４により、手動で輝度を調整することで明るさの調整が可能である。
【００３３】
また、輝度の補正が必要であると判別された場合には（ステップＳ３０）、上記算出した輝度の平均値Ｙ_ａｖより補正量を計算し（ステップＳ４０）、その求めた補正量により輝度の補正を行って、編集画面６１のデザイン領域６２の写真画像を更新表示する（ステップＳ５０）。ここで、輝度補正量は、輝度の平均値Ｙ_ａｖ＞Ｙ_Ｈのときは、
【数２】

により算出したＧａｍｍａ値であり、Ｙ_ａｖ＜Ｙ_Ｌのときは、
【数３】

により算出したＧａｍｍａ値である。そして、輝度の補正とは、このＧａｍｍａ値に基づいたガンマ補正である。
【００３４】
なお、こうして輝度の自動補正を行った場合にも、ユーザが、上記手動調整用スライドバー６４により、手動で更に輝度を調整することで明るさ調整が可能なことは勿論である。
【００３５】
而して、以上のようにして自動で及び必要に応じて更に手動で明るさ調整が行われた顔写真画像データと特定事項とは、キーボード４０又はマウス５０操作によるユーザの印刷指示に応じて、上記プリンタ８０によって印刷用紙に印刷することでＩＤカードや名刺等の顔写真入りの印刷物が得られる。
【００３６】
また、上記明るさ調整が行われた顔写真画像データをハードディスク２０に保存することもできる。この場合、明るさの補正された顔写真画像データを保存するのではなく、上記輝度補正量（Ｇａｍｍａ値）をパラメータとして、補正前の元の顔写真画像データに対応付けて保存する。即ち、顔写真画像データの原本は保持したまま、パラメータのみを追加保存するものである。従って、後で、この補正された顔写真画像データの表示又は印刷が指示された場合には、処理装置１０は、原本の顔写真画像データと対応するパラメータとを読み出して、そのパラメータに従って輝度補正を行うことで表示用データ又は印刷用データを作成することとなる。
【００３７】
なお、本実施の形態においては、上記編集画面６１の画像自動調整ボタン６３を押すことで上記のような自動明るさ調整機能が動作するものとしたが、上記編集画面６１のデザイン領域６２への顔写真画像データの貼り付け時に、自動的に、上記自動明るさ調整機能を動作させるようにしても良いことは勿論である。
【００３８】
また、本実施の形態においては、上記顔と推定された領域の代表値として輝度の平均値Ｙ_ａｖを求め、それを使ってＧａｍｍａ値を算出して、ガンマ補正するものとしたが、画像中の緑色成分は輝度に類似する特性を示すことから、輝度の代わりに緑色成分のみを使用するようにしても良い。即ち、上記代表値として、顔と推定された部分の緑色成分の平均値を求め、それを使ってＧａｍｍａ値を算出して、ガンマ補正することで、輝度の平均値Ｙ_ａｖを使用した場合とほぼ同様の明るさ補正が行える。
【００３９】
［第２の実施の形態］
次に、本発明の第２の実施の形態を説明する。
【００４０】
上記第１の実施の形態では顔写真画像データの明るさを自動調整するようにしたものであったが、本第２の実施の形態は、顔写真画像データの色合いを自動調整するようにしたものである。
【００４１】
本第２の実施の形態に係る顔写真画像調整システムの適用された顔写真入り印刷物の印刷システムの構成は、上記第１の実施の形態における印刷システムのそれと同様であり、また、ディスプレイ６０に表示される編集画面６１も上記第１の実施の形態と同様である。但し、編集画面６１の画像自動調整ボタン６３が押された際、本実施の形態においては、自動色合い調整機能が動作する。
【００４２】
図３は、この自動色合い調整機能を実現するための自動色合い調整処理プログラムのフローチャートを示す図である。
【００４３】
即ち、この自動色合い調整では、まず、上記第１の実施の形態と同様にして、上記メモリ３０に展開した顔写真画像データよりその写真内の顔の領域を認識する（ステップＳ１０）。
【００４４】
そして、上記顔写真画像データの認識された顔領域における予め指定された色範囲内の部分の色平均値を計算する（ステップＳ６０）。これは、肌色などの経験上決められた色範囲内の部分、つまり上記顔領域とは髪の毛や眉毛、髭などをも含んだ領域であるので、それらを除いた部分だけの色の平均値（ＲＧＢそれぞれの成分の平均値Ｒ_ａｖ，Ｇ_ａｖ，Ｂ_ａｖ）を求めるものである。即ち、以下の数４により平均値Ｒ_ａｖ，Ｇ_ａｖ，Ｂ_ａｖを算出する。
【００４５】
【数４】

【００４６】
そして、この算出した色の平均値Ｒ_ａｖ，Ｇ_ａｖ，Ｂ_ａｖより、当該顔写真画像データについて色の補正が必要かどうかを判定する（ステップＳ７０）。この判定の閾値は、上記プリンタ８０（使用されるインク）及び印刷用紙によって変わるものであるが、本実施の形態は、専用のシステムとしてそれらの特性が固定されているものであり、経験的に決められている。即ち、Δ_１＝Ｒ_ａｖ−Ｇ_ａｖとしたとき、Δ_１＞Ｇ_ａｖ＊Ｋ_１Ｈの場合及びΔ_１＜Ｇ_ａｖ＊Ｋ_１Ｌの場合（但し、Ｋ_１Ｈ＞Ｋ_１Ｌ）には赤色の色合い補正が必要であり、また、Δ_２＝Ｇ_ａｖ−Ｂ_ａｖとしたとき、Δ_２＞Ｇ_ａｖ＊Ｋ_２Ｈの場合及びΔ_２＜Ｇ_ａｖ＊Ｋ_２Ｌの場合（但し、Ｋ_２Ｈ＞Ｋ_２Ｌ）には青色の色合い補正が必要であると判別する。なお、本実施の形態では、緑色を基準として赤色及び／又は青色の色合いを調整するものであり、よって、緑色については調整を行わないので、補正が必要か否かを判別することは無い。
【００４７】
而して、赤色及び青色の何れの色合いの補正も不要と判別されたときには（ステップＳ７０）、この自動色合い調整処理を終了する。勿論、こうして色合いの補正を行わずにこの自動色合い調整処理が終えられた場合、ユーザは、編集画面６１上の手動調整用スライドバー６４により、手動で色合いを調整することが可能である。
【００４８】
また、赤色及び／又は青色の色合いの補正が必要であると判別された場合には（ステップＳ７０）、上記算出した色の平均値Ｒ_ａｖ，Ｇ_ａｖ，Ｂ_ａｖを予め指定した色に近づけるよう補正するための補正量を計算する（ステップＳ８０）。ここで、赤色の補正量Ｃ_Ｒについては、Δ_１＞Ｇ_ａｖ＊Ｋ_１ＨのときはＣ_Ｒ＝Ｇ_ａｖ＊Ｋ_１Ｈ−Δ_１により、Δ_１＜Ｇ_ａｖ＊Ｋ_１ＬのときはＣ_Ｒ＝Ｇ_ａｖ＊Ｋ_１Ｌ−Δ_１により算出する。また、青色の補正量Ｃ_Ｂについては、Δ_２＞Ｇ_ａｖ＊Ｋ_２ＨのときはＣ_Ｂ＝Δ_２−Ｇ_ａｖ＊Ｋ_２Ｈにより、Δ_２＜Ｇ_ａｖ＊Ｋ_２ＬのときはＣ_Ｂ＝Δ_２−Ｇ_ａｖ＊Ｋ_２Ｌにより算出する。
【００４９】
そして、その求めた補正量により変換テーブルを作成し、それに従って各画素毎に赤色成分及び青色成分の色合い補正を行い、編集画面６１のデザイン領域６２の写真画像を更新表示する（ステップＳ９０）。例えば、赤色の変換テーブルは、以下の数５のように計算する。
【００５０】
【数５】

【００５１】
なお、こうして色合いの自動補正を行った場合にも、ユーザが、上記手動調整用スライドバー６４により、手動で更に色合いを調整することが可能なことは勿論である。
【００５２】
而して、以上のようにして自動で及び必要に応じて更に手動で色合い調整が行われた顔写真画像データと特定事項とは、キーボード４０又はマウス５０操作によるユーザの印刷指示に応じて、上記プリンタ８０によって印刷用紙に印刷することでＩＤカードや名刺等の顔写真入りの印刷物が得られる。
【００５３】
また、上記色合い調整が行われた顔写真画像データをハードディスク２０に保存することもできる。この場合、色合いの補正された顔写真画像データを保存するのではなく、上記変換テーブルをパラメータとして、補正前の元の顔写真画像データに対応付けて保存する。即ち、顔写真画像データの原本は保持したまま、パラメータのみを追加保存するものである。従って、後で、この補正された顔写真画像データの表示又は印刷が指示された場合には、処理装置１０は、原本の顔写真画像データと対応するパラメータとを読み出して、そのパラメータに従って色合い補正を行うことで表示用データ又は印刷用データを作成することとなる。
【００５４】
なお、本実施の形態においては、上記編集画面６１の画像自動調整ボタン６３を押すことで上記のような自動色合い調整機能が動作するものとしたが、上記編集画面６１のデザイン領域６２への顔写真画像データの貼り付け時に、自動的に、上記自動色合い調整機能を動作させるようにしても良いことは勿論である。
【００５５】
［第３の実施の形態］
次に、本発明の第３の実施の形態を説明する。
【００５６】
本第３の実施の形態は、上記第１の実施の形態のような明るさの自動調整と上記第２の実施の形態のような色合いを自動調整との両方を行うようにしたものである。
【００５７】
本第３の実施の形態に係る顔写真画像調整システムの適用された顔写真入り印刷物の印刷システムの構成は、上記第１の実施の形態における印刷システムのそれと同様であり、また、ディスプレイ６０に表示される編集画面６１も上記第１の実施の形態と同様である。但し、編集画面６１の画像自動調整ボタン６３が押された際、本実施の形態においては、自動明るさ調整機能と自動色合い調整機能とが順次動作する。
【００５８】
図４は、この順次の自動明るさ調整機能及び自動色合い調整機能を実現するための自動調整処理プログラムのフローチャートを示す図である。
【００５９】
即ち、まず、上記第１の実施の形態で説明したように、上記メモリ３０に展開した顔写真画像データよりその写真内の顔の領域を認識し（ステップＳ１０）、上記顔写真画像データから、その顔と推定された領域の輝度の平均値Ｙ_ａｖを計算する（ステップＳ２０）。そして、この算出した輝度の平均値Ｙ_ａｖより、当該顔写真画像データについて輝度の補正が必要かどうかを判定する（ステップＳ３０）。ここで、輝度の補正が不要と判別されたときには（ステップＳ３０）、ステップＳ６０に進む。また、輝度の補正が必要であると判別された場合には（ステップＳ３０）、上記算出した輝度の平均値Ｙ_ａｖより補正量を計算し（ステップＳ４０）、その求めた補正量により輝度の補正を行って、編集画面６１のデザイン領域６２の写真画像を更新表示する（ステップＳ５０）。
【００６０】
その後、あるいは上記ステップＳ３０で輝度の補正が不要と判別された場合、上記第２の実施の形態で説明したように、上記顔写真画像データの認識された顔領域における予め指定された色範囲内の部分の色平均値を計算し（ステップＳ６０）、この算出した色の平均値Ｒ_ａｖ，Ｇ_ａｖ，Ｂ_ａｖより、当該顔写真画像データについて色の補正が必要かどうかを判定する（ステップＳ７０）。ここで、赤色及び青色の何れの色合いの補正も不要と判別されたときには（ステップＳ７０）、この自動調整処理を終了する。また、赤色及び／又は青色の色合いの補正が必要であると判別された場合には（ステップＳ７０）、上記算出した色の平均値Ｒ_ａｖ，Ｇ_ａｖ，Ｂ_ａｖより色合いの補正量を計算する（ステップＳ８０）。そして、その求めた補正量により変換テーブルを作成し、それに従って各画素毎に赤色成分及び青色成分の色合い補正を行い、編集画面６１のデザイン領域６２の写真画像を更新表示する（ステップＳ９０）。
【００６１】
なお、本実施の形態においても、明るさの調整に関しては、輝度の代わりに緑色成分のみを使用するようにしても良いことは勿論である。
【００６２】
また、本実施の形態では、先に上記第１の実施の形態のような明るさの自動調整を行い、その後に上記第２の実施の形態のような色合いを自動調整を行うようにしているが、その逆に、まず上記第２の実施の形態のような色合いを自動調整を行い、その後に上記第１の実施の形態のような明るさの自動調整を行うようにしても良い。
【００６３】
［第４の実施の形態］
次に、本発明の第４の実施の形態を説明する。
【００６４】
上記第１乃至第３の実施の形態は専用のシステムであったが、市販のパーソナルコンピュータと市販のプリンタとを用いて、上記実施の形態で説明したような顔写真入り印刷物の印刷システムを構成することも可能である。
【００６５】
但し、上記第１乃至第３の実施の形態のような専用のシステムではプリンタ８０（使用されるインク）、及び印刷用紙が予め決まっていることから、前述したような補正要否判別のための閾値等が固定であったが、そのように市販のパーソナルコンピュータと市販のプリンタとを用いて構成する場合には、複数種類のプリンタ（インク）と複数種類の印刷用紙との組み合わせそれぞれに応じた閾値をパーソナルコンピュータのハードディスクに格納しておき、使用するプリンタ（インク）と印刷用紙とをユーザに指定させる何らかのユーザインタフェースが必要となる。
【００６６】
このユーザインタフェースとしては各種考えられるが、例えば、それぞれを指定するためプルダウンメニューを表示する選択画面をディスプレイ６０に表示し、キーボート４０やマウス５０操作によりプリンタ（インク）と印刷用紙を指定するようにすれば良い。また、プリンタ（インク）については、標準のプリンタとして予め指定されているものをそのまま設定するようにしても良い。
【００６７】
以上実施の形態に基づいて本発明を説明したが、本発明は上述した実施の形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００６８】
例えば、上記実施の形態では、専用のシステムであることから、顔写真画像データを得るための撮影時に、被写体人物とデジタルカメラ７０とがほぼ同じ位置関係に設定されて撮影されるため、ほぼ同じ大きさの顔が写った顔写真が得られるので、顔写真画像中の顔の大きさについては何ら変更していないが、人の顔の大きさというのは一律ではないことから、顔認識の処理によって判別された顔の範囲に基づいて最適な倍率に自動調整した後、明るさや色合いの自動調整を行うようにしても良い。更に、このような倍率の調整は、上記のような市販のパーソナルコンピュータと市販のプリンタとを用いて顔写真入り印刷物の印刷システムを構成した場合には、顔写真画像データ中の人の顔の大きさは様々であるので、特に有効である。
【００６９】
（付記）
前記の具体的実施の形態から、以下のような構成の発明を抽出することができる。
【００７０】
（１）写真画像データから検出したエッジのペアを両眼の候補として抽出し、それら候補の中から人の顔が備える特徴により絞り込み、その絞り込んだ両眼の位置から上記写真画像データにおける顔の領域を推定する顔認識手段と、
上記写真画像データから上記顔認識手段によって推定された顔の領域の輝度の平均値を算出する輝度平均値算出手段と、
上記輝度平均値算出手段によって算出した輝度の平均値より補正量を求め、その求めた補正量により上記写真画像データを補正することで、上記写真画像データの明るさ調整を行う明るさ調整手段と、
を具備することを特徴とする顔写真画像調整システム。
（対応する実施の形態）
この（１）に記載の顔写真画像調整システムに関する実施の形態は、第１の実施の形態が対応する。ここで、顔認識手段、輝度平均値算出手段、及び明るさ調整手段は、その実施の形態における処理装置１０に相当する。
（作用効果）
この（１）に記載の顔写真画像調整システムによれば、顔写真画像内の顔を認識する機能を付加し、認識した顔付近の輝度情報から平均値を求め、その平均値から補正量を求めて、元の顔写真画像を補正することで明るさ調整を行うようにしているので、顔写真画像の顔付近の明るさが暗いものは明るく、明るいものは暗く、適度な明るさに、手動で調整する手間なく、自動的に調整されるようになる。
【００７１】
（２）上記写真画像データから上記顔認識手段によって推定された顔の領域における予め指定された色範囲内の部分の色平均値を算出する色平均値算出手段と、
上記色平均値算出手段によって算出した色の平均値を予め指定した色に近づけるように上記写真画像データを補正することで、上記写真画像データの色合いの調整を行う色合い調整手段と、
を更に具備することを特徴とする（１）に記載の画像調整システム。
（対応する実施の形態）
この（２）に記載の顔写真画像調整システムに関する実施の形態は、第３の実施の形態が対応する。ここで、色平均値算出手段及び色合い調整手段は、その実施の形態における処理装置１０に相当する。
（作用効果）
この（２）に記載の顔写真画像調整システムによれば、更に、認識した顔の領域における予め指定された色範囲内の部分の色平均値を算出し、その算出した色の平均値を予め指定した色に近づけるように写真画像データを補正することで、上記写真画像データの色合いの調整を行うようにしているので、写真の色合いが赤っぽかったり、青っぽかったりしたものが、手動で調整する手間なく、自動的に見やすい色合いに調整されるようになる。
【００７２】
（３）上記輝度平均値算出手段によって算出した輝度の平均値が所定の範囲内にあるか否かを判別する判別手段を更に具備し、
上記明るさ調整手段は、上記輝度の平均値が上記所定の範囲内にないと上記判別手段が判別した場合にのみ、その動作を行うことを特徴とする（１）又は（２）に記載の顔写真画像調整システム。
（対応する実施の形態）
この（３）に記載の顔写真画像調整システムに関する実施の形態は、第１又は第３の実施の形態が対応する。ここで、判別手段は、その実施の形態における処理装置１０に相当する。
（作用効果）
この（３）に記載の顔写真画像調整システムによれば、輝度の平均値が所定の範囲内にないときにのみ明るさ調整を行うようにしているので、輝度の平均値が所定の範囲内にあるときには無駄な明るさ調整動作を行うことが無い。
【００７３】
（４）写真画像データから検出したエッジのペアを両眼の候補として抽出し、それら候補の中から人の顔が備える特徴により絞り込み、その絞り込んだ両眼の位置から上記写真画像データにおける顔の領域を推定する顔認識手段と、
上記写真画像データから上記顔認識手段によって推定された顔の領域における予め指定された色範囲内の部分の色平均値を算出する色平均値算出手段と、
上記色平均値算出手段によって算出した色の平均値を予め指定した色に近づけるように上記写真画像データを補正することで、上記写真画像データの色合いの調整を行う色合い調整手段と、
を具備することを特徴とする顔写真画像調整システム。
（対応する実施の形態）
この（４）に記載の顔写真画像調整システムに関する実施の形態は、第２の実施の形態が対応する。ここで、顔認識手段、色平均値算出手段、及び色合い調整手段は、その実施の形態における処理装置１０に相当する。
（作用効果）
この（４）に記載の顔写真画像調整システムによれば、写真画像内の顔を認識する機能を付加し、認識した顔の領域における予め指定された色範囲内の部分の色平均値を算出し、その算出した色の平均値を予め指定した色に近づけるように写真画像データを補正することで、上記写真画像データの色合いの調整を行うようにしているので、写真の色合いが赤っぽかったり、青っぽかったりしたものが、手動で調整する手間なく、自動的に見やすい色合いに調整されるようになる。
（５）上記色平均値算出手段によって算出した色の平均値が所定の範囲内にあるか否かを判別する判別手段を更に具備し、
上記色合い調整手段は、上記色の平均値が上記所定の範囲内にないと上記判別手段が判別した場合にのみ、その動作を行うことを特徴とする（２）又は（４）に記載の顔写真画像調整システム。
（対応する実施の形態）
この（５）に記載の顔写真画像調整システムに関する実施の形態は、第２又は第３の実施の形態が対応する。ここで、判別手段は、その実施の形態における処理装置１０に相当する。
（作用効果）
この（５）に記載の顔写真画像調整システムによれば、色の平均値が所定の範囲内にないときにのみ色合い調整を行うようにしているので、色の平均値が所定の範囲内にあるときには無駄な色合い調整動作を行うことが無い。
【００７４】
（６）上記所定の範囲は、上記写真画像データを印刷するプリンタ及び印刷用紙の特性に応じて設定されることを特徴とする（３）又は（５）に記載の顔写真画像調整システム。
（対応する実施の形態）
この（６）に記載の顔写真画像調整システムに関する実施の形態は、第４の実施の形態が対応する。
（作用効果）
この（６）に記載の顔写真画像調整システムによれば、使用されるプリンタ及び印刷用紙に応じて、自動明るさ調整及び／又は自動色合い調整を行うかどうかを判別するための所定の範囲が設定されるようにしているので、使用されるプリンタ及び印刷用紙に応じて適切な判別が行えるようになる。
【００７５】
【発明の効果】
以上詳述したように、本発明によれば、写真貼り付け時の画像調整の手作業が必要なくなり、効率良く、カードなどの顔写真入りの印刷物を作成することができる顔写真画像調整システムを提供することができる。
【図面の簡単な説明】
【図１】（Ａ）は本発明の第１の実施の形態に係る顔写真画像調整システムの適用された顔写真入り印刷物の印刷システムの構成を示す図、（Ｂ）は自動明るさ調整処理プログラムのフローチャートを示す図であり、（Ｃ）は顔認識処理サブルーチンのフローチャートを示す図である。
【図２】編集画面を示す図である。
【図３】本発明の第２の実施の形態に係る顔写真画像調整システムの適用された顔写真入り印刷物の印刷システムにおける自動色合い調整処理プログラムのフローチャートを示す図である。
【図４】本発明の第３の実施の形態に係る顔写真画像調整システムの適用された顔写真入り印刷物の印刷システムにおける自動調整処理プログラムのフローチャートを示す図である。
【符号の説明】
１０…処理装置、２０…ハードディスク、３０…メモリ、４０…キーボード、５０…マウス、６０…ディスプレイ、６１…編集画面、６２…デザイン領域、６３…画像自動調整ボタン、６４…手動調整用スライドバー、７０…デジタルカメラ、８０…プリンタ。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a face photograph image adjustment system for adjusting brightness and hue when printing a print containing a face photograph.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a printed matter including a face photograph such as an ID card or a business card has been created using a computer and a printer. This is created by pasting and printing an image of a face photograph taken with a digital camera or the like on a card design image on which necessary text is arranged. There are various images of the face photograph taken due to the influence of such factors as image adjustment, and it is necessary to manually perform image adjustment operations such as darkening images are bright, bluish images are weakening blue. Was.
[0003]
Also, by using a mouse or the like to specify a person's skin or the like, or by specifying a skin color, etc., simply specifying the main subject range will automatically automatically specify the specified correction target range. There is also proposed an automatic adjustment technique of calculating a luminance correction value such that the average value of the luminance of the image data included in the image data becomes a predetermined appropriate luminance value and correcting the entire image with the luminance correction value (for example, And Patent Document 1).
[0004]
[Patent Document 1]
JP-A-2002-135559
[0005]
[Problems to be solved by the invention]
However, when adjusting images manually, it takes a very long time in the case where a large number of ID cards or the like are issued.
[0006]
Also, in the technique disclosed in Patent Document 1, although the adjustment operation itself is automatically performed, the user has to specify a part or a color in order to specify the range of the main subject. Is required.
[0007]
The present invention has been made in view of the above points, and eliminates the need for manual work of image adjustment at the time of pasting a photo, and can efficiently produce a printed matter containing a face photo such as a card. The purpose is to provide a system.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, a face photograph image adjustment system according to the first aspect of the present invention includes:
A pair of edges detected from the photographic image data is extracted as binocular candidates, and the candidates are narrowed down by the features of a human face from among the candidates, and a face area in the photographic image data is estimated from the narrowed binocular positions. Face recognition means,
Brightness average value calculation means for calculating an average value of the brightness of the face area estimated by the face recognition means from the photograph image data;
A brightness adjustment means for obtaining a correction amount from an average value of the brightness calculated by the brightness average value calculation means, and correcting the photographic image data by the obtained correction amount, thereby adjusting brightness of the photographic image data; ,
It is characterized by having.
[0009]
The face photograph image adjusting system according to the second aspect of the present invention is the face photograph image adjusting system according to the first aspect,
Color average value calculation means for calculating a color average value of a part within a predetermined color range in a face area estimated by the face recognition means from the photographic image data;
Hue adjusting means for adjusting the hue of the photographic image data by correcting the photographic image data so that the average value of the color calculated by the color average value calculating means is closer to the color designated in advance;
Is further provided.
[0010]
The face photograph image adjusting system according to the third aspect of the present invention is the face photograph image adjusting system according to the first or second aspect,
The apparatus further includes a determination unit configured to determine whether the average value of the brightness calculated by the brightness average value calculation unit is within a predetermined range,
The brightness adjustment means performs the operation only when the determination means determines that the average value of the luminance is not within the predetermined range.
[0011]
In addition, in order to achieve the above object, a face photograph image adjustment system according to the invention described in claim 4,
A pair of edges detected from the photographic image data is extracted as binocular candidates, and the candidates are narrowed down by the features of a human face from among the candidates, and a face area in the photographic image data is estimated from the narrowed binocular positions. Face recognition means,
Color average value calculation means for calculating a color average value of a part within a predetermined color range in a face area estimated by the face recognition means from the photographic image data;
Hue adjusting means for adjusting the hue of the photographic image data by correcting the photographic image data so that the average value of the color calculated by the color average value calculating means is closer to the color designated in advance;
It is characterized by having.
[0012]
The face photograph image adjusting system according to the fifth aspect of the present invention is the face photograph image adjusting system according to the second or fourth aspect,
The image processing apparatus further includes a determination unit configured to determine whether an average value of the color calculated by the color average value calculation unit is within a predetermined range,
The color adjustment means performs the operation only when the determination means determines that the average value of the color is not within the predetermined range.
[0013]
According to a sixth aspect of the present invention, there is provided a face photograph image adjusting system according to the third or fifth aspect, wherein the predetermined range includes a printer for printing the photographic image data and a printing method. It is set according to the characteristics of the paper.
[0014]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0015]
[First Embodiment]
FIG. 1A is a diagram showing a configuration of a print system for a print containing a facial photograph to which a facial photograph image adjustment system according to a first embodiment of the present invention is applied. , A hard disk 20, a memory 30, a keyboard 40, a mouse 50, a display 60, a digital camera 70, and a printer 80.
[0016]
Here, the processing device 10 is a CPU for controlling the entire printing system.
[0017]
The hard disk 20 stores control software including a program for a printing process and a program for an automatic brightness adjustment process of a face photograph image as described later. The hard disk 20 also stores various data such as face photograph image data and character data relating to specific items such as a name to be printed together with the face photograph.
[0018]
On the other hand, the memory 30 is used as a work area of the processing device 10 such as developing face photograph image data to be printed or image adjusted. The keyboard 40, the mouse 50, and the display 60 are user interface devices used by a user to give various instructions to the printing system.
[0019]
The digital camera 70 is a photographing device for photographing a person's face and obtaining face photograph image data. Further, instead of the digital camera 70, an image capturing means (for example, a scanner) may be used. In addition, a storage device for storing image data captured by another imaging system may be used, and any form can be used as long as an image can be input to the system.
[0020]
The printer 80 is a printing device that obtains a printed matter containing a face photograph such as an ID card or a business card by printing face photograph image data and specific items on a print sheet.
[0021]
When creating a print containing a face photograph in the printing system having such a configuration, the processing device 10 displays a list of names and the like stored on the hard disk 20 on the display 60, and selects the list by operating the keyboard 40 and the mouse 50, for example. In accordance with the designation, the character data relating to the specific matter including the designated name and the corresponding photographic image data are read out from the hard disk 20 and developed on the memory 30 and, for example, as shown in FIG. It is arranged and displayed in the design area 62 on the right side of the displayed editing screen 61.
[0022]
The editing screen 61 allows a user to design a printed material by operating the keyboard 40 and the mouse 50 in the design area 62, and freely creates and edits images such as photographic images and characters of specific items as information to be printed. The photographic image data and character data developed in the memory 30 are arranged at a default position or a position designated by the user.
[0023]
Alternatively, photographic image data taken by the digital camera 70 can be directly taken in, expanded in the memory 30, and displayed in the design area 62 of the edit screen 61. In this case, the character data relating to a specific item such as a nomination is blank and can be input by operating the keyboard 40. Of course, the photograph image data thus captured and the input character data can be stored in the hard disk 20 in association with each other.
[0024]
On the left side of the editing screen 61, an automatic image adjustment button 63 and a slide bar 64 for manual adjustment of an image are displayed, and the slide bar 64 for manual adjustment is operated similarly to a conventional image adjustment apparatus or software. In this embodiment, the image can be adjusted. However, in the present embodiment, pressing the image automatic adjustment button 63 activates the automatic brightness adjustment function.
[0025]
FIG. 1B is a diagram showing a flowchart of an automatic brightness adjustment processing program for realizing the automatic brightness adjustment function.
[0026]
That is, in this automatic brightness adjustment, first, the face in the photograph is recognized from the facial photograph image data developed in the memory 30 (step S10).
[0027]
In the face recognition process, first, as shown in FIG. 1C, an edge is detected from face photograph image data (step S11). After that, among the detected edges, edges having fewer skin color pixels around are excluded from eye candidates (step S12), and hair is detected and excluded from eye candidates (step S13), and the remaining edge pairs are removed. Are extracted as binocular candidates (step S14). Then, according to various features of the human face such as cheeks, nose muscles, mouth, etc., the most suitable one of the extracted binocular candidates is narrowed down (step S15). The position and size of the face, that is, the face area is estimated (step S16).
[0028]
After the face area is estimated in this manner, the representative value of the area estimated to be the face, in this embodiment, the average value Y of the brightness of the face area, is obtained from the face photograph image data. _av Is calculated as in the following Expression 1 (Step S20).
[0029]
(Equation 1)

[0030]
In addition, the average value Y of the luminance _av Is calculated, the average value Y is calculated only for pixels having a luminance value within a predetermined range. _av You may ask. By doing so, the area corresponding to the hair or the overexposure (a glossy portion or a portion having a saturated brightness value or a brightness value close to saturation on a captured image) existing in the recognized face region is averaged. Since it can be excluded from the value, it is possible to obtain a more accurate average luminance value of the face (skin) portion.
[0031]
Then, the calculated average value Y of the luminance is calculated. _av Then, it is determined whether or not the brightness of the face photograph image data needs to be corrected (step S30). The threshold value for this determination varies depending on the printer 80 (ink used) and the printing paper. However, in the present embodiment, these characteristics are fixed as a dedicated system, and The average luminance value Y _av Is within a predetermined range (Y _L ≤Y _av ≤Y _H ), It is determined that luminance correction is not necessary.
[0032]
Thus, when it is determined that the correction of the luminance is unnecessary (step S30), the automatic brightness adjustment processing ends. Of course, when the automatic brightness adjustment processing is completed without correcting the brightness in this way, the user can adjust the brightness by manually adjusting the brightness with the slide bar 64 for manual adjustment. .
[0033]
On the other hand, when it is determined that the luminance needs to be corrected (step S30), the calculated average value Y of the luminance is calculated. _av The correction amount is calculated (step S40), the luminance is corrected based on the obtained correction amount, and the photographic image in the design area 62 of the edit screen 61 is updated and displayed (step S50). Here, the luminance correction amount is the average luminance value Y. _av > Y _H When
(Equation 2)

Is the Gamma value calculated by _av <Y _L When
[Equation 3]

Is a Gamma value calculated by the following formula. The luminance correction is gamma correction based on the Gamma value.
[0034]
It should be noted that, even when the brightness is automatically corrected in this manner, it is needless to say that the brightness can be adjusted by further manually adjusting the brightness with the slide bar 64 for manual adjustment.
[0035]
Thus, the face photograph image data and the specific items, for which the brightness has been automatically and optionally manually adjusted as described above, are determined according to the user's print instruction by operating the keyboard 40 or the mouse 50. By printing on printing paper by the printer 80, a printed matter containing a face photograph such as an ID card or a business card can be obtained.
[0036]
Further, the face photograph image data on which the brightness adjustment has been performed can be stored in the hard disk 20. In this case, instead of storing the face photo image data whose brightness has been corrected, the brightness correction amount (Gamma value) is stored as a parameter in association with the original face photo image data before correction. That is, only the parameters are additionally stored while the original face photograph image data is retained. Therefore, when display or printing of the corrected face photograph image data is instructed later, the processing device 10 reads the original face photograph image data and the corresponding parameters, and performs brightness correction according to the parameters. Is performed, display data or print data is created.
[0037]
In the present embodiment, the automatic brightness adjustment function described above is operated by pressing the automatic image adjustment button 63 on the editing screen 61. It goes without saying that the automatic brightness adjustment function may be automatically operated when the face photo image data is pasted.
[0038]
Further, in the present embodiment, the average value of luminance Y _av Is calculated, and the Gamma value is calculated using the calculated value, and the gamma correction is performed. However, since the green component in the image shows characteristics similar to luminance, only the green component is used instead of luminance. May be. That is, as the representative value, the average value of the green component of the portion estimated to be a face is obtained, the Gamma value is calculated using the average value, and the average value of the luminance Y is calculated by gamma correction. _av Approximately the same brightness correction as in the case of using.
[0039]
[Second embodiment]
Next, a second embodiment of the present invention will be described.
[0040]
In the first embodiment, the brightness of the face photo image data is automatically adjusted. In the second embodiment, the color of the face photo image data is automatically adjusted. Things.
[0041]
The configuration of a printing system for a print containing a face photo to which the face photo image adjustment system according to the second embodiment is applied is the same as that of the printing system according to the first embodiment. The displayed edit screen 61 is the same as in the first embodiment. However, when the automatic image adjustment button 63 on the editing screen 61 is pressed, in the present embodiment, the automatic color adjustment function operates.
[0042]
FIG. 3 is a diagram showing a flowchart of an automatic color adjustment processing program for realizing the automatic color adjustment function.
[0043]
That is, in this automatic color adjustment, first, similarly to the first embodiment, the face area in the photograph is recognized from the face photograph image data developed in the memory 30 (step S10).
[0044]
Then, a color average value of a part within a predetermined color range in the recognized face area of the face photograph image data is calculated (step S60). This is because, within the color range determined empirically, such as skin color, that is, the above-mentioned face area is an area that also includes hair, eyebrows, beards, etc. Average value R of each component of RGB _av , G _av , B _av ). That is, the average R _av , G _av , B _av Is calculated.
[0045]
(Equation 4)

[0046]
Then, the calculated average value R of the color is calculated. _av , G _av , B _av Then, it is determined whether or not the face photograph image data requires color correction (step S70). The threshold value for this determination varies depending on the printer 80 (ink used) and the printing paper. However, in the present embodiment, these characteristics are fixed as a dedicated system, and It is decided. That is, Δ ₁ = R _av -G _av And Δ ₁ > G _av * K _1H And Δ ₁ <G _av * K _1L In the case of (however, K _1H > K _1L ) Requires red tint correction, and Δ ₂ = G _av -B _av And Δ ₂ > G _av * K _2H And Δ ₂ <G _av * K _2L In the case of (however, K _2H > K _2L ) Is determined to require blue tint correction. In the present embodiment, the hue of red and / or blue is adjusted with reference to green, and therefore, adjustment is not performed for green, so that it is not determined whether correction is necessary.
[0047]
Thus, when it is determined that neither the red nor the blue hue correction is necessary (step S70), the automatic hue adjustment processing ends. Of course, when the automatic color adjustment process is completed without correcting the color in this manner, the user can manually adjust the color using the slide bar 64 for manual adjustment on the editing screen 61.
[0048]
If it is determined that the correction of the red and / or blue tint is necessary (Step S70), the average value R of the calculated colors is calculated. _av , G _av , B _av The amount of correction for correcting the color to approximate the color designated in advance is calculated (step S80). Here, the red correction amount C _R For Δ ₁ > G _av * K _1H When C _R = G _av * K _1H −Δ ₁ Gives Δ ₁ <G _av * K _1L When C _R = G _av * K _1L −Δ ₁ Is calculated by Also, the blue correction amount C _B For Δ ₂ > G _av * K _2H When C _B = Δ ₂ -G _av * K _2H Gives Δ ₂ <G _av * K _2L When C _B = Δ ₂ -G _av * K _2L Is calculated by
[0049]
Then, a conversion table is created based on the obtained correction amount, the hue correction of the red component and the blue component is performed for each pixel according to the conversion table, and the photographic image in the design area 62 of the edit screen 61 is updated and displayed (step S90). For example, the conversion table for red is calculated as in the following Expression 5.
[0050]
(Equation 5)

[0051]
It should be noted that, even when the color tone is automatically corrected in this way, the user can naturally further manually adjust the color tone by using the slide bar 64 for manual adjustment.
[0052]
Thus, the face photograph image data and the specific items that have been subjected to the color adjustment automatically and further manually as necessary, in accordance with the user's print instruction by operating the keyboard 40 or the mouse 50, By printing on printing paper by the printer 80, a printed matter containing a face photograph such as an ID card or a business card can be obtained.
[0053]
Further, the face photograph image data on which the color adjustment has been performed can be stored in the hard disk 20. In this case, instead of storing the face photo image data whose color tone has been corrected, the conversion table is stored as a parameter in association with the original face photo image data before correction. That is, only the parameters are additionally stored while the original face photograph image data is retained. Therefore, when display or printing of the corrected face photograph image data is instructed later, the processing device 10 reads the original face photograph image data and the corresponding parameters, and corrects the color tone according to the parameters. Is performed, display data or print data is created.
[0054]
In the present embodiment, the automatic color adjustment function as described above is operated by pressing the image automatic adjustment button 63 on the editing screen 61. Of course, when the photographic image data is pasted, the automatic color adjustment function may be automatically operated.
[0055]
[Third Embodiment]
Next, a third embodiment of the present invention will be described.
[0056]
In the third embodiment, both the automatic adjustment of the brightness as in the first embodiment and the automatic adjustment of the hue as in the second embodiment are performed. .
[0057]
The configuration of the printing system for a print containing a face photo to which the face photo image adjustment system according to the third embodiment is applied is the same as that of the printing system according to the first embodiment. The displayed edit screen 61 is the same as in the first embodiment. However, when the automatic image adjustment button 63 on the edit screen 61 is pressed, in the present embodiment, the automatic brightness adjustment function and the automatic color adjustment function operate sequentially.
[0058]
FIG. 4 is a diagram showing a flowchart of an automatic adjustment processing program for realizing the sequential automatic brightness adjustment function and automatic color tone adjustment function.
[0059]
That is, first, as described in the first embodiment, the face area in the photograph is recognized from the face photograph image data developed in the memory 30 (step S10). Average luminance Y of the area estimated as the face _av Is calculated (step S20). Then, the calculated average value Y of the luminance is calculated. _av Then, it is determined whether or not the brightness of the face photograph image data needs to be corrected (step S30). Here, when it is determined that the luminance correction is unnecessary (step S30), the process proceeds to step S60. On the other hand, when it is determined that the luminance needs to be corrected (step S30), the calculated average value Y of the luminance is calculated. _av The correction amount is calculated (step S40), the luminance is corrected based on the obtained correction amount, and the photographic image in the design area 62 of the edit screen 61 is updated and displayed (step S50).
[0060]
After that, or when it is determined in step S30 that the luminance correction is unnecessary, as described in the second embodiment, the predetermined color range within the recognized face area of the face photograph image data is used. Is calculated (step S60), and the calculated average value R of the color is calculated. _av , G _av , B _av Then, it is determined whether or not the face photograph image data requires color correction (step S70). Here, when it is determined that the correction of any of the red and blue colors is unnecessary (step S70), the automatic adjustment processing ends. If it is determined that the correction of the red and / or blue tint is necessary (Step S70), the average value R of the calculated colors is calculated. _av , G _av , B _av The color correction amount is calculated (step S80). Then, a conversion table is created based on the obtained correction amount, the hue correction of the red component and the blue component is performed for each pixel according to the conversion table, and the photographic image in the design area 62 of the edit screen 61 is updated and displayed (step S90).
[0061]
It should be noted that in the present embodiment, as for the adjustment of the brightness, it goes without saying that only the green component may be used instead of the luminance.
[0062]
In the present embodiment, the brightness is automatically adjusted first as in the first embodiment, and then the color tone is automatically adjusted as in the second embodiment. However, conversely, the color tone may be automatically adjusted as in the second embodiment, and then the brightness may be automatically adjusted as in the first embodiment.
[0063]
[Fourth Embodiment]
Next, a fourth embodiment of the present invention will be described.
[0064]
Although the above-described first to third embodiments are dedicated systems, a printing system for a print containing a face photograph as described in the above-described embodiment is configured using a commercially available personal computer and a commercially available printer. It is also possible.
[0065]
However, in the dedicated system as in the first to third embodiments, the printer 80 (ink to be used) and the printing paper are determined in advance. Although the threshold value and the like are fixed, when using a commercially available personal computer and a commercially available printer in such a manner, a combination of a plurality of types of printers (inks) and a plurality of types of printing papers is used. The threshold value is stored in a hard disk of a personal computer, and some kind of user interface for designating a printer (ink) and printing paper to be used is required.
[0066]
Various types of user interfaces are conceivable. For example, a selection screen that displays a pull-down menu for specifying each of them is displayed on the display 60, and a printer (ink) and print paper are specified by operating the keyboard 40 and the mouse 50. Just do it. As for the printer (ink), a printer designated as a standard printer in advance may be set as it is.
[0067]
Although the present invention has been described based on the above embodiments, the present invention is not limited to the above embodiments, and various modifications and applications are possible within the scope of the present invention. is there.
[0068]
For example, in the above-described embodiment, since the system is a dedicated system, the subject person and the digital camera 70 are set in substantially the same positional relationship when photographing to obtain face photograph image data, so that the photographing is performed. Since a face photo with a large face is obtained, the size of the face in the face photo image is not changed at all, but since the size of a human face is not uniform, The automatic adjustment of the brightness and the hue may be performed after the automatic adjustment to the optimum magnification based on the range of the face determined by the processing. Further, such adjustment of the magnification is performed by using a commercially available personal computer and a commercially available printer as described above to configure a printing system for a printed material containing a face photograph. It is particularly effective because it varies in size.
[0069]
(Note)
From the above specific embodiments, inventions having the following configurations can be extracted.
[0070]
(1) A pair of edges detected from the photographic image data is extracted as binocular candidates, the candidates are narrowed down by the features of a human face from the candidates, and the face of the photographic image data is narrowed down from the narrowed binocular positions. Face recognition means for estimating an area,
Brightness average value calculation means for calculating an average value of the brightness of the face area estimated by the face recognition means from the photograph image data;
A brightness adjustment means for obtaining a correction amount from an average value of the brightness calculated by the brightness average value calculation means, and correcting the photographic image data by the obtained correction amount, thereby adjusting brightness of the photographic image data; ,
A face photograph image adjustment system, comprising:
(Corresponding embodiment)
The embodiment relating to the face photograph image adjustment system described in (1) corresponds to the first embodiment. Here, the face recognition unit, the average brightness value calculation unit, and the brightness adjustment unit correspond to the processing device 10 in the embodiment.
(Effect)
According to the face photograph image adjustment system described in (1), a function of recognizing a face in the face photograph image is added, an average value is obtained from luminance information around the recognized face, and a correction amount is determined from the average value. In order to adjust the brightness by correcting the original face photo image, the darkness near the face of the face photo image is bright, the bright one is dark, the brightness is moderate, The adjustment is automatically performed without the need for manual adjustment.
[0071]
(2) color average value calculation means for calculating a color average value of a portion within a predetermined color range in a face area estimated by the face recognition means from the photographic image data;
Hue adjusting means for adjusting the hue of the photographic image data by correcting the photographic image data so that the average value of the color calculated by the color average value calculating means is closer to the color designated in advance;
The image adjustment system according to (1), further comprising:
(Corresponding embodiment)
The third embodiment corresponds to the embodiment relating to the face photograph image adjustment system described in (2). Here, the color average value calculating unit and the tint adjusting unit correspond to the processing device 10 in the embodiment.
(Effect)
According to the face photograph image adjustment system described in (2), further, a color average value of a part within a predetermined color range in the recognized face area is calculated, and the calculated color average value is calculated in advance. By correcting the photo image data so that it approaches the specified color, the color of the photo image data is adjusted, so if the color of the photo is reddish or bluish, The color is adjusted automatically so that it is easy to see without the trouble of adjusting with.
[0072]
(3) The image processing apparatus further includes a determination unit configured to determine whether an average value of the brightness calculated by the brightness average value calculation unit is within a predetermined range,
The brightness adjusting means performs the operation only when the determining means determines that the average value of the luminance is not within the predetermined range, (1) or (2). Face photo image adjustment system.
(Corresponding embodiment)
The embodiment relating to the face photograph image adjustment system described in (3) corresponds to the first or third embodiment. Here, the determining means corresponds to the processing device 10 in the embodiment.
(Effect)
According to the face photograph image adjustment system described in (3), since the brightness adjustment is performed only when the average value of the luminance is not within the predetermined range, the average value of the luminance is within the predetermined range. , There is no needless brightness adjustment operation.
[0073]
(4) A pair of edges detected from the photographic image data is extracted as binocular candidates, the candidates are narrowed down by the features of the human face from among the candidates, and the face of the photographic image data is narrowed down from the narrowed binocular positions. Face recognition means for estimating an area,
Color average value calculation means for calculating a color average value of a part within a predetermined color range in a face area estimated by the face recognition means from the photographic image data;
Hue adjusting means for adjusting the hue of the photographic image data by correcting the photographic image data so that the average value of the color calculated by the color average value calculating means is closer to the color designated in advance;
A face photograph image adjustment system, comprising:
(Corresponding embodiment)
The embodiment relating to the face photograph image adjustment system described in (4) corresponds to the second embodiment. Here, the face recognition unit, the color average value calculation unit, and the tint adjustment unit correspond to the processing device 10 in the embodiment.
(Effect)
According to the face photo image adjustment system described in (4), a function of recognizing a face in a photo image is added, and a color average value of a part of a recognized face area within a predetermined color range is calculated. Then, by correcting the photograph image data so that the calculated average value of the colors approaches the color specified in advance, the color of the photograph image data is adjusted, so that the color of the photograph is reddish. Or those that are bluish will be automatically adjusted to a more easily-viewable color without the need for manual adjustment.
(5) The image processing apparatus further includes a determination unit configured to determine whether an average value of the colors calculated by the color average value calculation unit is within a predetermined range.
The face according to (2) or (4), wherein the color adjustment means performs the operation only when the determination means determines that the average value of the color is not within the predetermined range. Photo image adjustment system.
(Corresponding embodiment)
The embodiment relating to the face photograph image adjustment system described in (5) corresponds to the second or third embodiment. Here, the determining means corresponds to the processing device 10 in the embodiment.
(Effect)
According to the face photograph image adjustment system described in (5), the hue adjustment is performed only when the average value of the color is not within the predetermined range, so that the average value of the color is within the predetermined range. In some cases, there is no needless color adjustment operation.
[0074]
(6) The face photograph image adjustment system according to (3) or (5), wherein the predetermined range is set according to characteristics of a printer that prints the photograph image data and print paper.
(Corresponding embodiment)
The fourth embodiment corresponds to the embodiment relating to the face photograph image adjustment system described in (6).
(Effect)
According to the face photograph image adjustment system described in (6), the predetermined range for determining whether or not to perform the automatic brightness adjustment and / or the automatic hue adjustment according to the printer and the printing paper used. Since the setting is made, appropriate determination can be made according to the printer and printing paper used.
[0075]
【The invention's effect】
As described in detail above, according to the present invention, there is no need for manual work of image adjustment at the time of attaching a photo, and a face photo image adjustment system capable of efficiently producing a printed matter containing a face photo such as a card is provided. Can be provided.
[Brief description of the drawings]
FIG. 1A is a diagram showing a configuration of a printing system for a print containing a face photo to which a face photo image adjustment system according to a first embodiment of the present invention is applied, and FIG. 1B is an automatic brightness adjustment process; It is a figure which shows the flowchart of a program, and (C) is a figure which shows the flowchart of a face recognition processing subroutine.
FIG. 2 is a diagram showing an editing screen.
FIG. 3 is a diagram showing a flowchart of an automatic color adjustment processing program in a print system for a print containing a face photograph to which a face photograph image adjustment system according to a second embodiment of the present invention is applied.
FIG. 4 is a diagram showing a flowchart of an automatic adjustment processing program in a print system for a print containing a face photo to which a face photo image adjustment system according to a third embodiment of the present invention is applied.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 ... Processing apparatus, 20 ... Hard disk, 30 ... Memory, 40 ... Keyboard, 50 ... Mouse, 60 ... Display, 61 ... Edit screen, 62 ... Design area, 63 ... Image automatic adjustment button, 64 ... Slide bar for manual adjustment, 70: Digital camera, 80: Printer.

Claims

A pair of edges detected from the photographic image data is extracted as binocular candidates, and the candidates are narrowed down by the features of a human face from among the candidates, and a face area in the photographic image data is estimated from the narrowed binocular positions. Face recognition means,
Brightness average value calculation means for calculating an average value of the brightness of the face area estimated by the face recognition means from the photograph image data;
A brightness adjustment means for obtaining a correction amount from an average value of the brightness calculated by the brightness average value calculation means, and correcting the photographic image data by the obtained correction amount, thereby adjusting brightness of the photographic image data; ,
A face photograph image adjustment system, comprising:

Color average value calculation means for calculating a color average value of a part within a predetermined color range in a face area estimated by the face recognition means from the photographic image data;
Hue adjusting means for adjusting the hue of the photographic image data by correcting the photographic image data so that the average value of the color calculated by the color average value calculating means is closer to the color designated in advance;
The image adjustment system according to claim 1, further comprising:

The apparatus further includes a determination unit configured to determine whether the average value of the brightness calculated by the brightness average value calculation unit is within a predetermined range,
3. The face photograph according to claim 1, wherein the brightness adjustment unit performs the operation only when the determination unit determines that the average value of the luminance is not within the predetermined range. 4. Image adjustment system.

A pair of edges detected from the photographic image data is extracted as binocular candidates, and the candidates are narrowed down by the features of a human face from among the candidates, and a face area in the photographic image data is estimated from the narrowed binocular positions. Face recognition means,
Color average value calculation means for calculating a color average value of a part within a predetermined color range in a face area estimated by the face recognition means from the photographic image data;
Hue adjusting means for adjusting the hue of the photographic image data by correcting the photographic image data so that the average value of the color calculated by the color average value calculating means is closer to the color designated in advance;
A face photograph image adjustment system, comprising:

The image processing apparatus further includes a determination unit configured to determine whether an average value of the color calculated by the color average value calculation unit is within a predetermined range,
5. The face photograph image according to claim 2, wherein the color adjusting means performs the operation only when the determining means determines that the average value of the color is not within the predetermined range. Adjustment system.

6. The face photographic image adjustment system according to claim 3, wherein the predetermined range is set in accordance with characteristics of a printer for printing the photographic image data and print paper.