JP2005242535A - 画像補正装置 - Google Patents

Abstract

【課題】 ユーザの肌の画像をユーザが望む肌の画像となるように違和感なく自然に画像補正する技術を提供すること。
【解決手段】 人物が撮像された第一の画像及び第二の画像と、少なくとも第二の画像に撮像された人物と同一人物が均一照明下で撮像された第三の画像とのそれぞれの画像から被写体人物の所定部分の画像を取得し、第二の画像及び第三の画像において取得された被写体の所定部分の画像の明度の比を算出し、第一の画像において取得された被写体の所定部分の画像の明度を明度比に基づいて変更し、変更された明度及び所定部分の画像の色を示す他の値に基づいて第二の画像における所定部分の画像の色を補正する。
【選択図】 図１

Description

本発明は、画像を撮像する撮像装置や、画像を扱う情報処理装置やソフトウェア等に適用されて有効な技術に関する。

肌は、その人の美しさ等、見た目を判断する際の重要な基準の一つである。従って、肌が美しい人は見る者に対して良い印象を与えるため、肌を美しくしたいという願望は従来からある。しかし、肌は一朝一夕の努力で美しく変えることができるものではない。また、特に女性の場合は化粧を行うことによって肌を美しく見せることも可能であるが、肌を根本的に変えることはできないため限界がある。

このような問題の解決手段として、ユーザが被写体として写っている画像に対し画像処理を行うことにより、ユーザの肌の画像をユーザが望む肌の画像に補正する技術がある。例えば、ユーザが望む肌が撮像された画像（以下、「参照画像」と呼ぶ）を予め登録しておき、画像処理の対象となるユーザの画像（以下、「原画像」と呼ぶ）の肌領域の画素値を、参照画像における肌領域の画素値にそのまま置き換えるという技術がある（例えば特許文献１や特許文献２を参照）。
特開２００１−２５１５３０号公報 特開２００１−２５１５３１号公報

しかしながら、このような技術を採用した場合、ユーザの肌の色が参照画像における肌の色にそのまま置き換えられてしまうため、違和感のある画像が生成されてしまっていた。例えば、参照画像における照明環境と、原画像における照明環境とは異なる。このため、補正されない部分（肌領域以外の部分）における影のでき方と補正される部分（肌領域の部分）における影のでき方とに違いが生じてしまう場合があった。

また、参照画像における被写体がユーザと異なる人物であった場合、当然その顔の骨格が異なるため、参照画像と原画像とで照明環境が同じ状態であったとしても、顔の凹凸や影のでき方などに違いが生じてしまう場合があった。

本発明ではこのような問題を解決し、ユーザの肌の画像をユーザが望む肌の画像となるように違和感なく自然に画像補正する技術を提供することを目的とする。

上記問題を解決するため、本発明は以下のような構成をとる。本発明は画像補正装置であって、人物が撮像された第一の画像及び第二の画像と、第二の画像に撮像された人物と同一人物が均一照明下で撮像された第三の画像とのそれぞれの画像から被写体人物の所定部分の画像を取得する取得手段，第二の画像及び第三の画像において取得された被写体の所定部分の画像の明度の比を算出する明度比算出手段，及び、第一の画像において取得された被写体の所定部分の画像の明度を明度比に基づいて変更し、変更された明度及び所定部分の画像の色を示す他の値に基づいて第二の画像における所定部分の画像の色を補正する補正手段を備える。

本発明では、従来使用されていた参照画像としての第一の画像及び原画像としての第二の画像に加えて、補正の対象となる第二の画像に撮像された人物と同一人物が均一照明下
で撮像された第三の画像が使用される。なお、第一〜第三の画像の全てにおいて同一人物が撮像されていても良い。ここで、「均一照明下」とは、被写体の顔に対して略均一に照明が照射している状態をいう。本発明では、第二の画像と第三の画像とにおける被写体の画像の明度の違いを示す明度比が明度比算出手段によって算出される。補正手段は、算出された明度比に基づいて、第一の画像における被写体の画像の明度を変更し、変更された明度を第二の画像における被写体の画像に対して与える。このとき、補正手段は、第一の画像における被写体の画像の明度以外の値（例えば色相や彩度など）を、変更することなく第二の画像における被写体の画像に対して与える。このため、第二の画像における被写体の画像は、色味が第一の画像における被写体のように見えるように補正される一方で、この補正には第二の画像における明度が反映される。従って、例えばユーザが望む肌の画像を第一の画像と設定し、ユーザの肌の画像を第二の画像と設定した場合、ユーザの肌の画像をユーザが望む肌の画像となるように自然に補正できるうえに、明るさの点でも違和感なく自然に画像補正することが可能となる。

また、本発明による取得手段は、各画像の被写体人物の顔を検出する顔検出手段，及び、顔検出手段によって検出された顔の肌の部分を含む画像を被写体の所定部分の画像として取得する部分画像取得手段を含むように構成されても良い。

また、本発明による部分画像取得手段は、顔検出手段によって検出された顔における複数の特徴点を検出する特徴点検出手段，及び、特徴点検出手段によって検出された複数の特徴点を結ぶことにより形成される多角形のうち顔の肌の部分を含む多角形の画像を、被写体の所定部分の画像として取得する多角形画像取得手段を含むように構成されても良い。

また、本発明による補正手段は、第二の画像における所定部分の画像について、被写体の肌の部分の画像であるか否か判断し、肌の部分の画像と認められる場合にのみ色の補正を行うように構成されても良い。肌の部分の画像であるか否かの判断は、例えば所定の色条件（肌の色として認められる色の条件）を満たすか否かに基づいて行われても良い。また、肌の部分の画像であるか否かの判断は、例えば明らかに被写体の肌を含む部分の画像（例：顔の中央部分（鼻の部分），顔の頬の部分など）の色情報を得ることにより被写体に応じて動的に色条件が設定され、設定された条件に基づいて行われても良い。

また、本発明による補正手段は、第二の画像における所定部分を複数の部分に分割し、それぞれの部分の画像について判断を行い、肌の部分の画像と認められる部分についてのみ色の補正を行うように構成されても良い。

また、上記の本発明による画像補正装置は、プログラムが情報処理装置によって実行されることによって実現されても良い。即ち、本発明は、上記した各手段が実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録した記録媒体として特定することができる。また、本発明は、上記した各手段が実行する処理を情報処理装置が実行する方法として特定されても良い。

本発明によれば、画像補正の対象となる第二の画像における被写体の画像は、その色味が第一の画像における被写体のように見えるように補正される。このとき、補正後の第二の画像における被写体の画像には、補正前の第二の画像における明度が反映される。従って、例えばユーザが望む肌の画像を第一の画像と設定し、ユーザの肌の画像を第二の画像と設定した場合、ユーザの肌の画像をユーザが望む肌の画像となるように自然に補正できるうえに、明るさの点でも違和感なく自然に画像補正することが可能となる。

次に、図を用いて本発明による画像補正装置について説明する。なお、画像補正装置についての以下の説明は例示であり、その構成は以下の説明に限定されない。また、以下の説明において人物画像とは、少なくとも人物の顔の一部または全部の画像を含む画像である。従って、人物画像とは、人物全体の画像を含んでも良いし、人物の顔だけや上半身だけの画像を含んでも良い。また、複数の人物についての画像を含んでも良い。さらに、背景に人物以外の風景（背景：被写体として注目された物も含む）や模様などのいかなるパターンが含まれても良い。

〔システム構成〕
画像補正装置１は、ハードウェア的には、バスを介して接続されたＣＰＵ（中央演算処理装置），主記憶装置（ＲＡＭ），補助記憶装置などを備える。補助記憶装置は、不揮発性記憶装置を用いて構成される。ここで言う不揮発性記憶装置とは、いわゆるＲＯＭ（Read-Only Memory：ＥＰＲＯＭ（Erasable Programmable Read-Only Memory），ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory），マスクＲＯＭ等を含む
），ＦＲＡＭ（Ferroelectric RAM），ハードディスク等を指す。

図１は、画像補正装置１の機能ブロックを示す図である。画像補正装置１は、補助記憶装置に記憶された各種のプログラム（ＯＳ，アプリケーション等）が主記憶装置にロードされＣＰＵにより実行されることによって、入力部２，顔検出部３，特徴点検出部４，テーブル作成部５，テーブル記憶部６，画像補正部７，及び出力部８等を含む装置として機能する。顔検出部３，特徴点検出部４，テーブル作成部５，及び画像補正部７は、プログラムがＣＰＵによって実行されることにより実現される。また、顔検出部３，特徴点検出部４，テーブル作成部５，及び画像補正部７は、それぞれが専用のチップとして構成されても良い。以下、各機能部について説明する。

〈入力部〉
入力部２は、人物画像の原画像のデータ（以下、「原画像のデータ」と呼ぶ）を画像補正装置１へ入力するためのインタフェースとして機能する。入力部２によって、画像補正装置１の外部から、原画像のデータが画像補正装置１へ入力される。入力部２は、画像補正装置１へ原画像のデータを入力するためのどのような既存技術を用いて構成されても良い。

例えば、ネットワーク（例えばローカル・エリア・ネットワークやインターネット）を介して原画像のデータが画像補正装置１へ入力されても良い。この場合、入力部２はネットワークインタフェースを用いて構成される。また、デジタルカメラやスキャナやパーソナルコンピュータや記録装置（例えばハードディスクドライブ）等から原画像のデータが画像補正装置１へ入力されても良い。この場合、入力部２は、デジタルカメラやパーソナルコンピュータや記録装置と画像補正装置１とをデータ通信可能に接続する規格（例えばＵＳＢ（Universal Serial Bus）やＳＣＳＩ（Small Computer System Interface）等の
有線接続やｂｌｕｅｔｏｏｔｈ等の無線接続の規格）に応じて構成される。また、記録媒体（例えば各種フラッシュメモリやフロッピー（登録商標）ディスクやＣＤ（Compact Disk）やＤＶＤ（Digital Versatile Disc、Digital Video Disc））に記録された原画像のデータが画像補正装置１へ入力されても良い。この場合、入力部２は、記録媒体からデータを読み出す装置（例えばフラッシュメモリリーダやフロッピーディスクドライブやＣＤドライブやＤＶＤドライブ）を用いて構成される。入力部２を介して入力される画像は、静止画像、動画像であることは問わない。

また、画像補正装置１がデジタルカメラ等の撮像装置又はデジタルカメラ等の撮像装置を備える各種装置（例えばＰＤＡ（Personal Digital Assistant）や携帯電話機）の内部
に含まれ、撮像された人物画像が原画像のデータとして画像補正装置１へ入力されても良い。この場合、入力部２は、ＣＣＤ（Charge-Coupled Devices）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ等を用いて構成される。また、画像補正装置１
が、プリンタやディスプレイ等の画像出力装置の内部に含まれ、出力データとしてこの画像出力装置に入力された人物画像が原画像のデータとして画像補正装置１へ入力されても良い。この場合、入力部２は、これらの画像出力装置に入力された原画像のデータを画像補正装置１において取り扱い可能なデータに変換する装置などを用いて構成される。

また、入力部２は上記された複数の場合に応じることが可能となるように構成されても良い。

次に、入力部２を介して画像補正装置１に入力される画像について説明する。画像補正装置１に入力される画像は、見本画像，本人画像，補正対象画像の三つ（以下、これらをまとめて「入力三画像」と呼ぶ）である。以下、入力三画像に含まれる各画像について説明する。

見本画像とは、補正対象画像の被写体の肌画像（肌の画像）が補正される際に見本とされる肌の画像を有する画像である。言い換えれば、補正対象画像における被写体の肌画像は、見本画像における被写体の肌画像として見えるように補正される。

本人画像とは、補正対象画像において補正の対象となる被写体が所定照明下において撮像された画像である。所定照明下とは、被写体の顔に対して略均一に照明が照射している状態（均一照明下）をいい、顔における明暗のコントラストが少ない状態を示す。言い換えれば、所定照明下とは、顔における肌色の明度の分散が小さいことを示す。見本画像も所定照明下で撮影されていることが望ましい。

補正対象画像とは、画像補正装置１によって補正される画像である。即ち、補正対象画像の被写体の肌画像が補正されることにより、補正画像が生成され画像補正装置から出力される。

ここで、入力三画像の具体例を説明する。例えば、ユーザは、自身の肌画像を芸能人Ａのように見せたいと考えた場合、見本画像として芸能人Ａが被写体として撮像されている画像を入力し、本人画像及び補正対象画像としてユーザ自身が被写体として撮像されている画像を入力すれば良い。

〈顔検出部〉
顔検出部３は、入力された画像から人の顔を検出し、検出された顔の位置や大きさ等を示す顔情報を特定する。顔検出部３は、例えば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部３は、顔の構成要素（目，鼻，鼻孔，瞳，唇，眉など。以下、「顔要素」と呼ぶ）に基づくテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部３は、クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出するように構成されても良い。また、顔検出部３は、肌の色に近い領域を検出し、その領域を顔として検出するように構成されても良い。また、顔検出部３は、ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出するように構成されても良い。また、顔検出部３による顔検出処理は、その他、既存のどのような技術が適用されることによって実現されても良い。顔検出部３は、検出された顔に関する顔情報を、特徴点検出部４へ渡す。

また、顔検出部３は、原画像から複数の人の顔を検出した場合、特定の基準に従って処
理の対象となる顔を決定する。所定の基準とは、例えば顔の大きさ、顔の向き、画像中における顔の位置，顔の持ち主が誰かなどである。

〈特徴点検出部〉
特徴点検出部４は、顔検出部３によって検出された顔における複数の特徴点を検出する。特徴点検出部４は、顔要素や顔の輪郭に従って複数の特徴点を検出する。特徴点検出部４に適用可能な技術として、下記の論文に記載の技術がある。

T.F.Cootes and C.J.Taylor, “On Representing Edge Structure for Model Matching” Proc. CVPR 2001, vol. 1, pp. 1114--1119.
Timothy F. Cootes, Gareth J. Edwards, and Christopher J. Taylor, "Active Appearance Models", IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 23, no. 6, pp. 681-685, June 2001.

図２は、特徴点検出部４によって検出される特徴点の例を示す図である。図２には、黒点として特徴点が示されている。図２に示される特徴点は一例であり、特徴点検出部４によって他の特徴点が検出されても良いし、より多くの又はより少ない特徴点が検出されても良い。

特徴点検出部４は、検出された特徴点に基づいて、さらに新たな特徴点を取得する。図３は新たな特徴点の例を示す図である。特徴点検出部４は、まず、左右の目頭の点の中点（鼻根を示す点：ａ１）と、上唇の中央に存する特徴点（ａ２）との距離を算出する。次に、特徴点検出部４は、点ａ１から顔の縦方向に沿って、点ａ２と反対方向の上記距離の位置に存する点（ａ３）を取得する。顔の縦方向は、例えば左右の目頭の点を結ぶ線分と垂直をなす方向として取得される。

また、特徴点検出部４は、顔の輪郭を示す特徴点のうち最も顔の上部に存する左右の点（ａ４，ａ５）から、顔の縦方向に沿って顔の上方の上記距離の位置に存する点（ａ６，ａ７）を取得する。

図４は、取得された特徴点を結ぶことにより作成される複数の三角形（以下、この各三角形を「三角パッチ」と呼ぶ）の例を示す図である。特徴点検出部４は、取得された各特徴点をどのように結ぶことにより三角パッチを作成するかを記憶している。特徴点検出部４は、記憶している内容に従って各特徴点を結ぶことにより、図４に示されるような複数の三角パッチを作成する。なお、特徴点検出部４は、特徴点同士を直線ではなく曲線によって結ぶことにより三角パッチを生成する場合もある（この場合、生成されるパッチは厳密には三角形ではないが、三角パッチと呼ぶこととする）。具体的には、眉の特徴点同士、目の特徴点同士、及び唇の特徴点同士を結ぶ場合には、それらの部位のエッジに従った曲線（図４における破線）によって特徴点同士が結ばれる。例えば、被写体の目の目尻と目頭との特徴点を結ぶ場合は、上瞼のエッジに従った曲線によって特徴点同士が結ばれる。特徴点検出部４は、検出された特徴点によって作成される三角パッチに関する情報（特徴点情報）をテーブル作成部５へ渡す。

〈テーブル作成部〉
テーブル作成部５は、画像補正装置１に入力される入力三画像について作成された三角パッチを元に、ＬＨＳテーブル６Ａを作成する。

テーブル作成部５は、まず、入力された各画像について肌色条件を求める。肌色条件とは、ある色を示す値が、各画像における各被写体の顔の肌色と認められるか否かを示す条件である。各被写体における肌色条件は、テーブル作成部５によって決定される。以下、
肌色条件の決定方法について説明する。

テーブル作成部５は、まず、被写体の顔に対しサンプリング領域を特定する。サンプリング領域は、例えば被写体の鼻根部分の上部（額中央の下部：図４の格子部分）を含む三角パッチとして特定される。鼻根部分は、影が生じにくく、目や鼻孔などの肌色以外の部分が含まれにくいため、被写体の肌色を取得するためのサンプリング領域としては好条件の部位である。このような理由から、サンプリング領域は、鼻筋の部分や頬の部分などを含むように特定されても良い。また、サンプリング領域は、三角パッチとして特定される必要はなく、所定の幾何学図形によって特定されても良い。例えば、被写体の顔や顔要素の大きさや顔要素間の長さ等に基づいた大きさを有する矩形や円形や多角形などによって特定されても良い。また、サンプリング領域は、目や鼻孔など、肌の色とは明らかに異なる色を有する領域を含まないように設定されるのが望ましい。

次に、テーブル作成部５は、サンプリング領域内の画素値（色成分の値）をサンプリングする。テーブル作成部５は、サンプリングされた色成分の値を基にヒストグラムを形成する。図５は、Ｌａｂ色空間に基づいて形成されたヒストグラムを例として示す図である。テーブル作成部５は、Ｌとａ及びｂとについてそれぞれヒストグラムを形成する。テーブル作成部５は、ヒストグラムを形成すると、Ｌ軸又はａ−ｂ平面における上下１０％の成分（例えば図５斜線部）をカットする。ここで言う１０％という数値は、設計者によって適宜変更されても良い（例えば２σ法や３σ法などに基づいても良い）。この後、テーブル作成部５は、肌の色成分のヒストグラムにおいてカットされていない部分（図５におけるＳ１の領域）に含まれることを肌色条件として決定する。

このように肌の色成分のヒストグラムが形成され、例えば図５における横軸の両端から累積１０％分がカットされるため、ノイズ成分を除去し、肌の色の成分の分布をより正確に得ることが可能となる。ここで言うノイズ成分とは、例えばサンプリング領域内の鼻孔や目やほくろや眼鏡のフレームなど、肌の色以外の色成分を主として有する画素についての情報である。このような処理により、サンプリング領域内に上記のような肌の色以外の色成分が含まれてしまった場合にも、これらについての情報を削除することが可能となる。

次に、テーブル作成部５は、入力三画像、即ち見本画像，本人画像，及び補正対象画像における各三角パッチに対し、ｍ×ｎ（ｍとｎとは同じ値でも異なる値でも良い）の網目を有するメッシュ構造を与える。ｍとｎとの値は、顔検出部３によって検出された顔の大きさに基づいて決定される。ｍとｎとの値は、各網目の大きさと画素の大きさとがほぼ同じになるように決定されることが望ましい。この決定は、顔検出部３が行っても良いし、テーブル作成部５が行っても良い。

図６（ａ）と（ｂ）は、それぞれ本人画像と補正対象画像における三角パッチのメッシュ構造の例を示す図である。メッシュ構造の各網目には、色を示す値が与えられる。以下、各網目に与えられる値について説明する。

見本画像及び本人画像における各網目に与えられる値は、その画像の被写体の肌色条件を満たす値である。テーブル作成部５は、まず、その網目に含まれる画素の画素値に基づいた値（例えば、網目に含まれる部分の大きさが最も大きい画素の画素値、又は網目に含まれる複数の画素の画素値の平均値，最頻値，重心値など）を算出する。算出された値が肌色条件を満たす場合は、テーブル作成部５は、算出された値をこの網目に与える。一方、算出された値が肌色条件を満たさない場合は、テーブル作成部５は、肌色条件を満たす値を新たに生成し、この値をこの網目に与える。肌色条件を満たす値を生成する場合、テーブル作成部５は、この値をランダムに生成しても良いし、周囲の網目（１２近傍，１６
近傍，２４近傍など）やこの三角パッチに含まれる網目の値のうち肌色条件に適合する値を元に生成しても良いし、所定の方法（例：予め決まった複数の値を順番に与える方法，予め決まった値のみを与える方法）に従って生成しても良い。テーブル作成部５は、このような網目に新たな値を与える処理を、見本画像及び本人画像の全三角パッチの全網目に対して実行する。

補正対象画像における各網目に与えられる値は、肌色条件に関わらず、その網目に含まれる画素の画素値に基づいた値である。

次に、テーブル作成部５は、本人画像及び補正対象画像における被写体の顔の同一部分の三角パッチを用いて、各三角パッチに対応する明度変化テーブルを作成する。図６（ｃ）は、明度変化テーブルの例を示す図である。明度変化テーブルは、各三角パッチと同じメッシュ構造を有し、その網目に明度変化係数αを有する。

明度変化テーブルの各網目における明度変化係数αｉ（ｉは各三角パッチにおける網目の位置を示す）は、本人画像の三角パッチ及び補正対象画像の三角パッチにおける同一部分の網目の明度を用いて算出される。本人画像の三角パッチの網目における明度をＬＡｉとし、補正対象画像の三角パッチの網目における明度をＬＢｉとするとき、この網目に対応する明度変化係数αｉは以下の式によって表される。

テーブル作成部５は、各三角パッチにおける全網目について明度変化係数αを算出することにより、各三角パッチに対応する明度変化テーブルを作成する。明度変化テーブルは、三角パッチ毎に作成される。即ち、ある被写体の顔において作成される三角パッチと同数の明度変化テーブルが作成される。言い換えれば、ある被写体の顔における各三角パッチには、それぞれに対応する明度変化テーブルが作成される。

次に、テーブル作成部５は、明度変化テーブル及び見本画像の三角パッチを用いて、ＬＨＳテーブル６Ａを作成する。図７はＬＨＳテーブル６Ａの作成例を示す図である。図７（ａ）は見本画像の三角パッチの例を示す。図７（ｂ）は、図７（ａ）の三角パッチに対応する明度変化テーブルの例を示す。図７（ｃ）は、図７（ａ）の三角パッチに対応するＬＨＳテーブル６Ａの例を示す。ＬＨＳテーブル６Ａは、明度変化テーブルと同様に各三角パッチと同じメッシュ構造を有し、各網目に明度Ｌ、色相Ｈ、及び彩度Ｓを対応付けて持つ。

ＬＨＳテーブル６Ａの各網目における明度Ｌｉ（ｉは各三角パッチにおける網目の位置を示す）は、見本画像の三角パッチにおける同一部分の網目の明度ＬＣｉに、明度変化テーブルにおける同一部分の網目の明度変化係数αｉを乗算することにより得られる。また、ＬＨＳテーブル６Ａの各網目における色相Ｈｉ及び彩度Ｓｉには、見本画像の三角パッチにおける同一部分の網目の色相ＨＣｉ及び彩度ＳＣｉがそのまま代入される。

テーブル作成部５は、作成されたＬＨＳテーブル６Ａをテーブル記憶部６へ書き込む。また、テーブル作成部５は、補正対象画像の特徴点情報を画像補正部７へ渡す。

〈テーブル記憶部〉
テーブル記憶部６は、いわゆる不揮発性記憶装置を用いて構成される。テーブル記憶部６は、テーブル作成部５によって作成されたＬＨＳテーブル６Ａを、被写体の顔において
作成される各三角パッチに対応付けて記憶する。テーブル記憶部６は、画像補正装置１に入力された補正対象画像に対する補正処理が終了し補正画像が出力されると、記憶しているＬＨＳテーブル６Ａを破棄する。

〈画像補正部〉
画像補正部７は、画像補正装置１に入力された補正対象画像に対する画像補正処理を行うことにより補正画像を生成する。画像補正部７は、テーブル記憶部６に記憶されるＬＨＳテーブル６Ａを用いて、補正対象画像の各三角パッチにおける各網目に対して新たな明度，色相，及び彩度を与えることにより画像補正を行う。具体的には、画像補正部７は、補正対象画像の各網目の値を、対応するＬＨＳテーブル６Ａにおける網目の値に置き換える。ただし、画像補正部７は、補正対象画像における網目の値が肌色条件を満たさない場合には、値の置き換えを行わない。補正対象画像における網目の値が肌色条件に適合するか否かの判断は、テーブル作成部５において行われても良いし、画像補正部７において行われても良い。

画像補正部７は、各網目の値を、その網目に含まれる画素のうち、その網目に含まれる部分の大きさが最も大きい画素に対し与える。このようにして、補正画像の各画素に対して画素値が付与され、補正画像が生成される。そして、画像補正部７は、生成された補正画像を出力部８へ渡す。

〈出力部〉
出力部８は、画像補正部７によって作成された補正画像などのデータを画像補正装置１の外部へ出力するためのインタフェースとして機能する。出力部８によって、画像補正装置１から、補正画像のデータが画像補正装置１の外部へ出力される。出力部８は、画像補正装置１から補正画像のデータを出力するためのどのような既存技術を用いて構成されても良い。

例えば、ネットワークを介して補正画像のデータが画像補正装置１から出力されても良い。この場合、出力部８はネットワークインタフェースを用いて構成される。また、パーソナルコンピュータ等の他の情報処理装置や記録装置へ補正画像のデータが出力されても良い。この場合、出力部８は、パーソナルコンピュータ等の他の情報処理装置や記録装置と画像補正装置１とをデータ通信可能に接続する規格に応じて構成される。また、記録媒体に対し補正画像のデータが出力（書き込み）されても良い。この場合、出力部８は、これらの記録装置又は記録媒体へデータを書き込む装置（例えばフラッシュメモリライタやフロッピーディスクドライブやＣＤ−ＲドライブやＤＶＤ−Ｒドライブ）を用いて構成される。

また、画像補正装置１が、プリンタやディスプレイ等の画像出力装置の内部に含まれ、プリントアウトされる画像のデータやディスプレイに表示される画像のデータとして補正画像のデータが出力されるように構成されても良い。この場合、出力部８は、画像補正装置１において生成された補正画像のデータをこれらの画像出力装置において取り扱い可能なデータに変換する装置などを用いて構成される。

また、出力部８は上記された複数の場合に応じることが可能となるように構成されても良い。

〔動作例〕
図８は、画像補正装置１の動作例を示すフローチャートである。以下、画像補正装置１の動作例について説明する。

画像補正装置１に対し入力部２を介して入力三画像が入力されると（Ｓ０１）、まず、テーブル作成処理が実行される（Ｓ０２）。

図９，１０は、テーブル作成処理における画像補正装置１の動作例を示すフローチャートである。以下、テーブル作成処理における画像補正装置１の動作例について説明する。

テーブル作成処理が開始すると、まず、顔検出部３が各入力三画像から被写体の顔を検出する（Ｓ０５）。次に、特徴点検出部４が、顔検出部３によって検出された各顔における特徴点を検出する（Ｓ０６）。そして、特徴点検出部４は、検出された特徴点に基づいて三角パッチを作成する（Ｓ０７）。

次に、テーブル作成部５は、各被写体の顔における肌色条件を求める（Ｓ０８）。テーブル作成部５は、各三角パッチをメッシュ構造に変換する（Ｓ０９）。このとき、テーブル作成部５は、メッシュ構造に変換することによって生じる各網目において、この網目に含まれる画素値に基づいた値を算出する。次に、テーブル作成部５は、各網目において算出された値が、肌色条件に適合しているか否か判断する。ある網目において算出された値が肌色条件に適合している場合（Ｓ１０−Ｙｅｓ）、テーブル作成部５は、算出された値をこの網目の値として決定する（Ｓ１１）。一方、ある網目において算出された値が肌色条件に適合していない場合（Ｓ１０−Ｎｏ）、テーブル作成部５は、肌色条件に適合する値を新たに生成し、この値をこの網目の値として決定する（Ｓ１２）。テーブル作成部５は、Ｓ１０〜Ｓ１２の処理を各入力画像の全三角パッチの全網目について実行する（Ｓ１３）。

テーブル作成部５は、Ｓ１０〜Ｓ１２の処理を全網目について終えると、各三角パッチについて明度変化テーブルを作成する（Ｓ１４）。そして、テーブル作成部５は、この明度変化テーブルを用いて、各三角パッチについてＬＨＳテーブル６Ａを作成し（Ｓ１５）、テーブル作成処理を終了する。

テーブル作成処理が終了すると、画像補正装置１は画像補正処理を実行する（Ｓ０３）。図１１は、画像補正処理における画像補正装置１の動作例を示すフローチャートである。以下、画像補正処理における画像補正装置１の動作例について説明する。

画像補正部６は、補正対象画像の肌色条件を求める（Ｓ１６）。次に、画像補正部６は、Ｓ０９の処理において算出された補正対象画像の各網目の値が肌色条件に適合しているか否か判断する。ある網目において算出された値が肌色条件に適合していない場合（Ｓ１７−Ｎｏ）、画像補正部６は、この網目の値を操作することなくＳ１９の判断処理を実行する。Ｓ１９の処理については後述する。一方、ある網目において算出された値が肌色条件に適合している場合（Ｓ１７−Ｙｅｓ）、画像補正部６は、この網目の値をＬＨＳテーブルの網目の値に置き換え（Ｓ１８）、Ｓ１９の判断処理を実行する。

Ｓ１９において、画像補正部６は、各入力三画像の全三角パッチの全網目についてＳ１７〜Ｓ１９までの処理が実行されたか否か判断する。画像補正部６は、Ｓ１７〜Ｓ１９までの処理が全網目について実行されたと判断すると（Ｓ１９−Ｙｅｓ）、画像補正処理を終了する。

画像補正処理が終了すると、出力部８が画像補正処理によって生成された補正画像を出力し（Ｓ０４）、画像補正装置１の動作が終了する。

〔作用／効果〕
本発明の実施構成である画像補正装置によれば、見本画像における被写体の肌の画像を
補正対象画像における被写体の肌の画像に置き換える際に、本人画像における被写体の肌の画像を用いることにより、補正対象画像における照明状態を推定し補正処理に推定結果を反映させる。具体的には、均一照明下と認められる状況で撮影された本人画像における肌の画像の明度と、補正対象画像における肌の画像の明度との比を明度変化係数として算出し、この値を見本画像における肌の画像の明度に乗算する。この処理によって、見本画像における肌の画像に対し、補正対象画像における照明状態が反映され、補正画像における影のでき方などが自然となり違和感を生じない。

〔変形例〕
特徴点検出部４やテーブル作成部５は、両目の間隔や鼻孔の間隔などの値を取得することにより、被写体の顔の大きさを正規化するように構成されても良い。即ち、特徴点検出部４やテーブル作成部５は、両目の間隔や鼻孔の間隔などの値が所定の値となるように、被写体の顔を含む画像に対し拡大処理や縮小処理を行うように構成されても良い。

特徴点検出部４は、三角パッチ以外の多角形のパッチを生成するように構成されても良い。例えば、四角形のパッチや五角形のパッチなど、ｎ角形（ｎ＝３，４，５・・・）のパッチが生成されても良い。この場合、明度変化テーブルやＬＨＳテーブル６Ａも、ｎ角形のパッチに応じて構成される。

テーブル作成部５は、明度変化テーブルを作成することなく、見本画像の三角パッチ，本人画像の三角パッチ，及び補正対象画像の三角パッチを元にＬＨＳテーブル６Ａを作成するように構成されても良い。

また、テーブル作成部５は、画像補正部７に対し、補正対象画像の特徴点情報ではなく、補正対象画像の全三角パッチにおける各網目について算出される値やその値が肌色条件に適合するか否かを示す情報を渡すように構成されても良い。

また、画像補正部７は、補正処理が実行されなかった場合は、補正対象画像を出力部８へ渡すように構成されても良い。例えば、画像補正部７は、入力三画像のうちいずれかの画像において被写体が検出されなかった場合や規定数の特徴点が検出されなかった場合などに補正処理を実行しないように構成されても良い。

画像補正装置の機能ブロックの例を示す図である。 特徴点検出部によって検出される特徴点の例を示す図である。 特徴点検出部によって特定される新たな特徴点の例を示す図である。 三角パッチの例を示す図である。 テーブル作成部によって作成される肌色のヒストグラムの例を示す図である。 明度変化テーブルを作成する際に使用される三角パッチの例及び明度変化係数の求め方を示す図である。 ＬＨＳテーブルの作成例を示す図である。 画像補正装置の動作例を示すフローチャートである。 テーブル作成処理における画像補正装置の動作例を示すフローチャートである。 テーブル作成処理における画像補正装置の動作例を示すフローチャートである。 画像補正処理における画像補正装置の動作例を示すフローチャートである。

符号の説明

１ 画像補正装置
２ 入力部
３ 顔検出部
４ 特徴点検出部
５ テーブル作成部
６ テーブル記憶部
６Ａ ＬＨＳテーブル
７ 画像補正部
８ 出力部

Claims (7)

1. 人物が撮像された第一の画像及び第二の画像と、第二の画像に撮像された人物と同一人物が均一照明下で撮像された第三の画像とのそれぞれの画像から被写体人物の所定部分の画像を取得する取得手段と、
   前記第二の画像及び前記第三の画像において取得された被写体の所定部分の画像の明度の比を算出する明度比算出手段と、
   前記第一の画像において取得された被写体の所定部分の画像の明度を前記明度比に基づいて変更し、前記変更された明度及び前記所定部分の画像の色を示す他の値に基づいて前記第二の画像における前記所定部分の画像の色を補正する補正手段と
   を備える画像補正装置。
2. 前記取得手段は、
   各画像の被写体人物の顔を検出する顔検出手段と、
   前記顔検出手段によって検出された顔の肌の部分を含む画像を前記被写体の所定部分の画像として取得する部分画像取得手段と
   を含むように構成される請求項１に記載の画像補正装置。
3. 前記部分画像取得手段は、
   前記顔検出手段によって検出された顔における複数の特徴点を検出する特徴点検出手段と、
   前記特徴点検出手段によって検出された複数の特徴点を結ぶことにより形成される多角形のうち顔の肌の部分を含む多角形の画像を、前記被写体の所定部分の画像として取得する多角形画像取得手段と
   を含むように構成される請求項２に記載の画像補正装置。
4. 前記補正手段は、前記第二の画像における前記所定部分の画像について、被写体の肌の部分の画像であるか否か判断し、肌の部分の画像と認められる場合にのみ前記色の補正を行う請求項１〜３のいずれかに記載の画像補正装置。
5. 前記補正手段は、前記第二の画像における前記所定部分を複数の部分に分割し、それぞれの部分の画像について前記判断を行い、肌の部分の画像と認められる部分についてのみ前記色の補正を行う請求項４に記載の画像補正装置。
6. 人物が撮像された第一の画像及び第二の画像と、第二の画像に撮像された人物と同一人物が均一照明下で撮像された第三の画像とのそれぞれの画像から被写体人物の所定部分の画像を取得するステップと、
   前記第二の画像及び前記第三の画像において取得された被写体の所定部分の画像の明度の比を算出するステップと、
   前記第一の画像において取得された被写体の所定部分の画像の明度を前記明度比に基づいて変更するステップと、
   前記変更された明度及び前記所定部分の画像の色を示す他の値に基づいて前記第二の画像における前記所定部分の画像の色を補正するステップと
   を情報処理装置に実行させるためのプログラム。
7. 情報処理装置が、人物が撮像された第一の画像及び第二の画像と、第二の画像に撮像された人物と同一人物が均一照明下で撮像された第三の画像とのそれぞれの画像から被写体人物の所定部分の画像を取得するステップと、
   情報処理装置が、前記第二の画像及び前記第三の画像において取得された被写体の所定部分の画像の明度の比を算出するステップと、
   情報処理装置が、前記第一の画像において取得された被写体の所定部分の画像の明度を前記明度比に基づいて変更するステップと、
   情報処理装置が、前記変更された明度及び前記所定部分の画像の色を示す他の値に基づいて前記第二の画像における前記所定部分の画像の色を補正するステップと
   を含む画像補正方法。

Images