JP2006133874A - 画像処理方法及びその装置 - Google Patents
画像処理方法及びその装置 Download PDFInfo
- Publication number
- JP2006133874A JP2006133874A JP2004319498A JP2004319498A JP2006133874A JP 2006133874 A JP2006133874 A JP 2006133874A JP 2004319498 A JP2004319498 A JP 2004319498A JP 2004319498 A JP2004319498 A JP 2004319498A JP 2006133874 A JP2006133874 A JP 2006133874A
- Authority
- JP
- Japan
- Prior art keywords
- area
- image
- correction
- region
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
【課題】 入力画像中の補正対象領域と補正対象領域外にまたがる共通領域において、画像補正による不自然さの発生を防ぐ画像処理方法及びその装置を提供する。。
【解決手段】 画像情報を入力する画像入力部101と、画像入力手部から入力された画像情報に予め設定した対象が含まれるかどうかを検出し、検出した領域を設定する対象領域設定部102と、対象領域設定部で検出された領域から設定した対象としての特徴が欠けている部分を求めて、求めた部分を欠け領域と設定する欠け領域設定部103と、対象領域設定部で検出された領域から欠け領域設定部で設定された欠け領域を除いた領域に対して画像補正を行う画像補正部104とを有する。
【選択図】 図1
【解決手段】 画像情報を入力する画像入力部101と、画像入力手部から入力された画像情報に予め設定した対象が含まれるかどうかを検出し、検出した領域を設定する対象領域設定部102と、対象領域設定部で検出された領域から設定した対象としての特徴が欠けている部分を求めて、求めた部分を欠け領域と設定する欠け領域設定部103と、対象領域設定部で検出された領域から欠け領域設定部で設定された欠け領域を除いた領域に対して画像補正を行う画像補正部104とを有する。
【選択図】 図1
Description
本発明は画像処理方法及びその装置に関し、特に、デジタルカメラ、ディスプレイ、スキャナ、プリンタなどのカラー画像機器、及び該カラー画像機器の画像処理ソフトウェアにおけるカラー画像の補正処理に関するものである。
従来より、デジタル画像に対して、彩度、色調、コントラストや階調の調整等の様々な画像処理を施すことが行われてきている。従来これらの画像処理を行うに際しては、画像に関して専門的な知識を持ったオペレータが、専門的または専用のソフトウェアを用いるとともに経験的な知識を駆使することにより、コンピュータのモニタ画面上でその画像処理結果を確認するなどしながらの試行錯誤を行って、好適な画像を得るようにしているというのが一般的であった。
このような画像補正の技術の1つであるカラーマッチング技術は、入出力機器の特性の影響を受けないように画像を補正するもので、実物に忠実な色補正が要求される。一方、デジタルカメラで撮影した写真画像を扱う場合、人が好ましいと感じる画像補正も重要である。人物写真の場合、主な注目領域は被写体となった人物の顔であって、その顔領域が適正な明るさ(肌色)となっているものが好ましいことから、適正な明るさで撮影されなかった場合には、良好な明るさ(肌色)に調整されるように補正されるのが好ましいと言える。
デジタルカメラやスキャナの普及により、デジタル画像を扱うことが多くなり、また一般化してきたため、このような画像補正を自動化または半自動化したい、というニーズが高まっている。そこで、特許文献1は、自動的に検出した顔領域が予め設定した明度になるように明度を補正するもので、操作者によってばらつきが出ないように男女別、目の色別ごとにプリセット値を用意して、操作者が性別や目の色を判別して基準明度データを設定し、補正を行っていた。
特開2000−261650公報
しかしながら、上記特許文献1においては、画像全体の明るさを調整するものであり、顔領域を目的の明るさにするように画像全体の明るさを調整した場合は、背景など他の領域が再現不可能な色となり、白とびや黒つぶれとなる場合があり、好適な補正が出来なかった。このような場合、顔領域だけを補正する方が望ましい。
ところが、検出された顔の一部に手で顔の一部を隠すなどの原因で顔領域に欠けが生じた場合、手の領域の内、顔領域を隠している部分は補正対象となり、顔領域にかからない部分は補正対象外となってしまうため、補正後の手で顔領域に有るか否かの境界が不自然になるという問題があった。
ところが、検出された顔の一部に手で顔の一部を隠すなどの原因で顔領域に欠けが生じた場合、手の領域の内、顔領域を隠している部分は補正対象となり、顔領域にかからない部分は補正対象外となってしまうため、補正後の手で顔領域に有るか否かの境界が不自然になるという問題があった。
本発明は、上記従来の問題点に鑑み、入力画像中の補正対象領域と補正対象領域外にまたがる共通領域において、画像補正による不自然さの発生を防ぐ画像処理方法及びその装置を提供する。
上記目的を達成するために、本発明の画像処理装置は、画像情報を入力する画像入力手段と、前記画像入力手段から入力された画像情報に予め設定した対象が含まれる領域を設定する対象領域設定手段と、前記対象領域設定手段で設定された領域から前記対象としての特徴が欠けている部分を求めて、求めた部分を欠け領域として設定する欠け領域設定手段と、前記対象領域設定手段で設定された領域から前記欠け領域設定手段で設定された欠け領域を除いた領域に対して画像補正を行う画像補正手段とを有することを特徴とする。
ここで、前記欠け領域設定手段は、顔領域のうち、所定の顔器官を検出できなかった領域におけるエッジ情報に基づいて欠け領域を決定する。また、前記欠け領域設定手段は、設定した対象のエッジ頻度分布に基づいて各画素におけるエッジ抽出感度を調整する。また、前記対象領域設定手段で設定された各領域について、欠け領域を除く部分領域を用いて照合することで種別を判別する領域判別手段を更に有し、前記画像補正手段は、前記領域判別手段で判別された種別に基づいて画像補正を行う。また、前記領域判別手段は、あらかじめ所定の欠け領域パターンを設定して各パターンにおける判別方法を定義しておき、入力された欠け領域が最も適合する欠けパターンの判別方法に従って判別を行う。また、前記予め設定した対象は人物の顔である。また、前記領域の種別は、性別、年齢、または、個人または人類の生物学的分類のいずれかまたはその組み合わせである。また、前記画像補正は、特定空間領域中のうち特定色域に含まれる画素に対する明度、色相、彩度、シャープネス、ぼかし、のいずれかまたはその組み合わせである。また、前記領域判別手段は、領域の種別とともに判別の確からしさを出力し、前記画像補正手段は、判別の確からしさに基づいて補正方法を変化させる。また、前記画像補正手段は、前記対象領域設定手段が設定したいずれかの領域において、前記領域判別手段が出力する尤度が所定の閾値に満たない場合、画像補正方法の候補を立案する画像補正方法立案手段と、補正する領域について補正方法を提示し、オペレータの指示を仰ぐ補正方法指示手段とを有し、前記補正方法指示手段による指示内容に従って画像を補正する。また、前記補正方法指示手段は補正対象の画像を表示し、補正対象の領域の近辺に補正方法を指示するための操作釦を配置する。また、前記補正方法指示手段は補正対象の画像を表示し、補正対象の領域が確認可能な外接多角形を表示する。また、前記補正方法指示手段は補正のかかり具合を設定し、設定内容に従って表示中の補正対象画像へ反映させる。
更に、本発明によれば、上記画像処理装置の画像処理に相当する画像処理方法、前記画像処理方法をコンピュータによって実現するためのプログラム、前記プログラムを格納した記録媒体が提供される。
以上説明したように、本発明によれば、入力画像中の補正対象領域と補正対象領域外にまたがる共通領域において、画像補正による不自然さの発生を防ぐ画像処理方法及びその装置を提供できる。具体的には、補正対象領域である顔領域を覆う手などの共通領域の顔領域内と外との境界が不自然になるのを防ぎ、簡単な操作で好ましい画像補正ができるという効果がある。
以下、添付図面に従って、本発明の実施形態の画像処理装置の構成及び動作を詳細に説明する。
<本実施形態の画像処理装置の概念的構成例>
図1は、本実施形態における画像処理装置の概念的構成を示す図である。
図1は、本実施形態における画像処理装置の概念的構成を示す図である。
図1において、101は画像情報を入力する画像入力部である。本例の画像入力部101は、デジタルカメラやスキャナなどの画像入力機器やフロッピー(登録商標)ディスク、CD、メモリカードなどの画像記憶媒体からの入力、更にネットワークを介した受信を含む。
102は画像入力部101から入力された画像情報に予め設定した対象が含まれるかどうかを検出し、検出した領域を設定する対象領域設定部である。本例では、予め設定した対象として人物の顔が設定される。人物の顔か否かは、例えば輪郭や構成要素(目や口など)の位置に基づいて検出する。103は対象領域設定部102で設定された各領域について、例えば手などで覆われて対象領域設定部102では顔領域と設定されたが、実際は顔ではない「欠け領域」を設定する欠け領域設定部である。ここで、「欠け領域」と設定されるのは、手に限らず眼鏡などの顔とは異なる部品類も含む。
104は対象領域設定部102が設定した画家領域から、欠け領域設定部103が設定した欠け領域を除いた領域に対して、顔画像補正の所望の画像補正を行う画像補正部である。
105は補正された画像を出力する画像出力部である。例えば、画像出力部107はディスプレイやプリンタなどの出力機器への出力、あるいはフロッピー(登録商標)ディスク、CD、メモリカードなどの画像記憶媒体への出力、更にネットワークを介した送信を含む。
<本実施形態の画像処理装置の具体的構成例>
図2は、本実施形態における画像処理装置の具体的構成例を示すブロック図である。
図2は、本実施形態における画像処理装置の具体的構成例を示すブロック図である。
画像処理装置は、ROM202やRAM203に格納されたプログラムに従って命令を実行する演算処理用のCPU201、本実施形態のプログラムやその他の制御に必要なプログラムやデータを格納したROM202、一時的なデータを格納するRAM203、IDEやSCSIなどの外部記憶装置とのインタフェースを実現するドライブI/F204、動画や動画検索のための特徴量やプログラムなどを記憶するHDD205、デジタルカメラやスキャナなどの装置から画像を入力する画像入力部206、一時的なデータを格納するバッファメモリ207、キーボードやマウスなどのオペレータからの入力を行う入力部208、ブラウン管や液晶ディスプレイなどの表示部209、インターネットやイントラネットなどのネットワークと接続を行うモデムやLANなどのネットワークI/F210、プリンタとのインタフェースを実現するプリンタI/F211、画像を印刷出力するプリンタ212などで構成され、これらを接続するバス213を介して相互にデータの入出力を行う。
本画像処理装置はオペレーティングとしてマイクロソフト社のWINDOWS(登録商標)XPがインストールされ、その上で動作するアプリケーションとして実装されている。
本実施形態のRAM203は、CPU201の演算処理中に一時使用されるデータ記憶領域と、CPU201が実行する本実施形態のアプリケーションプログラムをHDD205などからロードするプログラムロード領域とを有する。
データ記憶領域は、入力された画像データを記憶する入力画像データ領域203aと、顔領域と検出された領域情報203b、欠け領域と検出された領域情報203c、算出尤度領域203d、補正方法選択フラグ領域203e、及び補正データ領域203fと、尤度の閾値領域203gと、出力画像データ領域203hとを含む。補正は、顔領域情報203bから欠け領域情報203cを除いた領域を対象に行われる。
又、プログラムロード領域には、画像処理プログラム203i(図3)、画像入力モジュール203j、顔領域検出モジュール203k(図4)、欠け領域検出モジュール203m(図6)、顔領域判別モジュール203n(図7)、画像補正方法立案モジュール203p(図9)、補正方法選択モジュール203q、画像補正モジュール203r(図11)、画像出力モジュール203sがロードされて、CPU201により実行される。
尚、本実施形態で使用される、性別、年齢、人類の生物学的分類に対応して、補正目標値を記憶するテーブルは、固定であればROM202に、可変であればRAM203に保持される。図2では、ROM202に補正目標値テーブル202aが図示されている。
<本実施形態の画像処理装置の動作例>
次に、かかる構成の画像処理装置における画像補正処理の概要を、図3のフローチャートを用いて説明する。
次に、かかる構成の画像処理装置における画像補正処理の概要を、図3のフローチャートを用いて説明する。
画像データの入力後、ステップS301において、補正対象の画像から顔領域を検出する。ステップS302において、領域が検出されたか否かによって分岐する。領域が検出された場合はステップS303に進み、そうでない場合は処理を終了する。
ステップS308において、検出された各顔領域に対して、顔として完全でない箇所を欠け領域として検出する。このステップの目的は、口に手を当てていたり、2人で頬を寄せ合った写真のように顔と同じ肌色ではあるが、顔と同じ補正処理を行っては不自然となる領域を検出することである。
ステップS303において、検出された各顔領域に対して顔領域の種別を判別する。ここでは、各顔領域について顔の種類とその尤度を出力する。顔の種類は本実施形態では、性別、年齢、人類の生物学的分類(いわゆる人種)の3項目について定義した。年齢は成長変化の大きい若い年齢をより細かく分割し、20代前半までを4段階、それ以降を2段階の計6段階に設定した。人類の生物学的分類方法としてはSaitou1995,HumanEvolution,vol.10,pp.17−33を参考にアフリカ人、西ユーラシア人、東ユーラシア人、サフール人、北アメリカ人、南アメリカ人の6種とした。この場合、2×6×6=72種類に分類でき、それぞれについて肌色の目標色など補正方法を定義している。
ステップS304において、検出された各顔領域に対して、顔の種別ごとに定義された補正方法に従って画像補正方法を立案する。ステップS305において、補正方法があるかを判断する。補正しないという選択肢もあるので、補正方法が1つでもある場合はステップS306に進み、無い場合はステップS307に進む。ステップS306において、補正方法を操作者に選択させる。なお、あらかじめ最も高い尤度の判別情報だけを利用して補正を実行するように設定することで、ステップS306におけるオペレータの選択作業を省略し、完全自動で補正処理を実行することも可能である。
ステップS307において、選択した補正方法で入力した画像に対し補正を行う。この方法については、選択された補正方法を出力する画像に対して行う。補正の方法はステップS304の画像補正方法立案処理の詳細の説明として後述する。
尚、当然のことながら、画像全体の彩度強調や輝度分布の調整、入出力装置ごとに異なる色再現特性を補償するための画像補正を、本処理の前段または後段に実施することは何ら本発明の主旨に反するものではない。
以下、先述した各処理について詳細に述べていく。
(顔領域検出処理:S301)
以下に、図3のステップS301の顔領域検出処理の一例を詳細に示す。
以下に、図3のステップS301の顔領域検出処理の一例を詳細に示す。
図4のフローチャートを用いて、顔領域検出処理の詳細を説明する。図5は顔領域検出処理を説明する図である。
まず、ステップS401において、入力された画像を元に局所的に輝度が低い領域をマークしていく。ステップS402において、ステップS401でマークされた領域を2つずつ組にして、領域の大きさの均等性、輝度の差、水平に対する角度などから、組にした2つが目かどうかを判定する(図5(a))。
ステップS403において、顔領域か否かを検証する。すなわち、目と判定された組について、その2つを中心にした矩形領域を設定する(図5(b))。そして、その領域の境界付近のエッジおよび領域内の色情報を判定する。エッジは、顔の輪郭であるかどうかを判定する。また、色情報は矩形領域内のRGB値の平均値が、あらかじめ設定した肌色領域内に入っているかどうかを判定する(図5の(c))。このように顔の位置、大きさを検出して顔領域を確定する。顔領域は前記矩形(水平/垂直方向に平行な長方形)領域で与えられる。
ステップS404において、確定した顔の領域の領域情報を作成する。領域情報は、本実施形態では、検出した顔領域の外接矩形の頂点の位置データの集合であるが、両目の中心の位置データでもよい。また、多角形や楕円などで近似しても良い。
(欠け領域検出処理:S308)
以下に、図3のステップS308の欠け領域検出処理の一例を、図6のフローチャートを用いて詳細に説明する。
以下に、図3のステップS308の欠け領域検出処理の一例を、図6のフローチャートを用いて詳細に説明する。
欠け領域検出処理では、検出された顔画像を横48画素、縦64画素の領域に、左右の目の中心が横方向でそれぞれ左右の端から16画素目、また、上から24画素目の位置なるように顔領域をアフィン変換する。また、同じ横48画素、縦64画素の同じ画素数でマスク画像、また、各画素におけるエッジ検出感度を設定した感度マップを確保する。マスク画像は画素あたり1ビットの情報を格納し、感度マップは画素あたり8ビットの情報を格納する。
マスク画像は補正対象の画像の各画素に対応させて欠け部分の検出を行うか否かの情報を格納するものである。所定の画素にマスクを設定することで、欠け部分の検出対象から外すことができる。
また、感度マップは補正対象の画像の各画素に対応させて、エッジ抽出の感度を格納するもので0〜1の範囲の値を256段階(8bit)で表現する。感度マップの目的は、統計的にエッジの多い部位ではエッジ抽出感度が下がるようにすることである。そのために、欠けのない顔の統計的な情報から、目を基準とした2次元空間上での顔画像からエッジ頻度分布をあらかじめ作成しておき、これから感度マップの値を設定する。
まず、ステップS1501において、重なり可能性をチェックする。ここでは顔領域に、腕や他の顔などの肌色領域が隣接していないかをチェックする。肌色以外の領域によって顔に欠けが生じている場合は、この欠け部分については肌色からの距離があり補正量が押さえられるので、画像全体として、破綻することはないためである。両目の位置を基準にし、顔領域が占める可能性がある領域を検出した各顔画像について求める。この領域の周囲における肌色領域を求め、顔下部すなわち首にあたる部位以外における領域が検出できた場合には重なりありと判断され、ステップS1502に進んで以下の処理を行う。検出できない場合には本処理を終了する。
次に、ステップS1502において、鼻、口、耳領域を検出する。この手法については、たとえば、特許文献2のような公知の方法がある。なお、顔器官を精度よく求めるためには、適切にアフィン変換係数を設定し、より解像度が高い画像において行う必要がある。検出できた顔の器官は、エッジを含み、欠け領域の検出に悪影響となるので、欠け領域検出の対象から除外する。すなわち、器官を含む画素について、マスクを設定する。
次に、ステップS1503において、肌色でない領域にマスクを設定する。肌色との距離は、たとえば後述するLCH 色空間における顔代表色との色相の距離とする。この距離値が所定の閾値より上回る画素についてマスクを設定する。次に、ステップS1504において、マスクが設定されていない画素に関してエッジ検出を行う。これにはCanny法などの公知の技術がある。この方法を用いると、輝度変化が小さなエッジでも、それが輝度変化の大きな強いエッジの延長上にある場合に検出可能となり、エッジラインが分断することなくエッジを抽出することができる。このとき、感度マップにしたがって各画素におけるエッジ検出オペレータや閾値を調整する。なお、エッジを精度よく求めるためには、適切にアフィン変換係数を設定し、より解像度が高い画像において行う必要がある。
ステップS1505からS1511において、両目を基点に肌色領域を前段で検出されたエッジまで拡張することで欠け領域を検出する処理を行う。
まず、ステップS1505において、初期設定として、両目近隣の画素、および、ステップS1502において検出された顔器官領域をマークする。次に、ステップS1506において、マーク画素に隣接する非マーク画素集合を作成する。次に、ステップS1507において、肌色領域内の要素のみ残す。肌色か否かの判断はS1503と同様な方法でよい。次に、ステップS1508において、非エッジの要素のみ残す。
ステップS1509において、残った要素はあるかを判断する。残った要素がある場合はステップS1510に進み、残された要素をマークし、領域を拡張する。残った要素が無い場合には、拡張可能な領域がないので、ループを抜け、ステップS1511に進む。ステップS1511において、非マークの画素集合を欠け領域として検出し、処理を終了する。
(顔領域判別処理:S303)
以下に、図3のステップS303の顔領域判別処理の一例を詳細に示す。
以下に、図3のステップS303の顔領域判別処理の一例を詳細に示す。
図7の顔領域判定処理の動作手順例を示したフローチャートを用いて、顔領域判定処理の詳細を説明する。
まず、ステップS601において、横48画素、縦64画素の領域に、左右の目の中心が横方向でそれぞれ左右の端から16画素目、また、上から24画素目の位置なるように顔領域をアフィン変換する。また、輝度分布、顔の向きに関して正規化を行う。ステップS602において、特徴量を抽出する。
欠け領域がない場合の簡単な手法では、各画素の輝度値を用いても良い。この場合は、48*64=3072次元の特徴量となる。これを、部分領域の組み合わせごとにあらかじめ主成分分析を行って得た基底ベクトルによって特定される部分空間に射影し、分散の少ない軸を無視することで、次元数を削減し、特徴量とする。
欠け領域がある場合は、あらかじめ顔のいくつかの部分領域を定義し、部分領域の組み合わせごとに基底ベクトルを求めておき、特徴抽出を行う顔画像から欠け領域を除いた領域が最も近くなる部分領域の組み合わせパターンを求め、そのパターンの基底ベクトルを用いて特徴量を抽出する。
本実施形態では顔の一部に欠けがあっても精度良く判別を行えるようにするため、複数の欠けパターンをあらかじめ定義しておく。その一例について以下に述べる。
本実施形態では顔の一部に欠けがあっても精度良く判別を行えるようにするため、複数の欠けパターンをあらかじめ定義しておく。その一例について以下に述べる。
まず、顔の領域を図8のように11個の領域に分割する。これは各画素から領域番号へのルックアップテーブルを作ることで、任意の形状、領域数への分割が可能で、かつ、複数の離れた領域に同じ領域番号を割り当ててもよい。次に、この領域のうち、目を含む2つの領域を必ず含み、その他に少なくとも6個以上の領域を組み合わせた領域パターンを作成する。本実施形態の場合、その数は、
通りある。
本実施形態では、3つの領域にまで欠けが存在しても精度良く領域判別を行うことが可能である。各領域パターンに該当する画素を用いて主成分分析を行い、部分空間に射影し、分散の少ない軸を無視することで次元数を削減し、さらに、領域判別のために判別分析を行って基底ベクトルを求める。なお、この基底ベクトルを求める処理は処理コストが高いが、図2に示すハードウェアで行う必要はなく、スーパーコンピュータなど外部の計算機を用いればよい。
本実施形態では、3つの領域にまで欠けが存在しても精度良く領域判別を行うことが可能である。各領域パターンに該当する画素を用いて主成分分析を行い、部分空間に射影し、分散の少ない軸を無視することで次元数を削減し、さらに、領域判別のために判別分析を行って基底ベクトルを求める。なお、この基底ベクトルを求める処理は処理コストが高いが、図2に示すハードウェアで行う必要はなく、スーパーコンピュータなど外部の計算機を用いればよい。
次に、特徴抽出を行う顔画像が、先の領域パターン中からどの組み合わせパターンに適合するかを求める。これは、各領域パターンにおいて、下記評価式が最も高い値となる領域パターンを1つ選択する。
ここで、Pは各領域パターン内での非欠け領域の画素数、Kは各領域パターン内での欠け領域の画素数、Wは正の定数である。
次に、ステップS603において、各種別における代表的な特徴量とのユークリッド距離を射影された部分空間上で求める。部分空間は、特徴量の判別分析を行って予め基底ベクトルを求めておき、これによって特定される。
次に、ステップS603において、各種別における代表的な特徴量とのユークリッド距離を射影された部分空間上で求める。部分空間は、特徴量の判別分析を行って予め基底ベクトルを求めておき、これによって特定される。
なお、欠け領域がない場合、本実施形態では二者択一式の判別分析を行っているので、判別する種類が男女の様に二者の場合は、この基底ベクトルは1種でよい。3者以上の種別に分類する場合には、各種別ごとに含まれるか否かの判別分析を行い、種別ごとに予め、基底ベクトルを求め、種別ごとに距離を求める。精度よりスピードを重視する実装が必要であれば、3者以上でも1種の基底ベクトルでもよい。
欠け領域がある場合は、各々の判別のための基底ベクトルをステップS602と同様に領域パターンごとに求めておき、その中から欠けパターンが最も近い領域パターンの基底ベクトルを用いて判別分析を行う。
ステップS604において、距離から尤度に正規化する。この変換関数は、予め、多数のサンプルを使って得られた代表的な特徴量との距離と、それがある種別に実際に含まれるか否かの確率分布から決定する。
判別分析の基底ベクトルを求める際の、サンプルの分け方によって、性別、年齢、生物学的特徴に関する分類が可能である。また、判別する種類は本実施形態では3項目について行っているが、これに限定するものではない。所望の分類を定義し、学習用サンプルを定義した分類に分けて判別分析を行えばよい。
(画像補正方法立案処理:S304)
以下に、図3のステップS304の画像補正方法立案処理の一例を詳細に示す。図9乃至図13は画像補正方法立案処理の動作を示したものである。ここでは、先述した画像から検出した各顔領域について、判別された領域種別のうち尤度の高いものについて、欠け領域を除いた領域に対してそれぞれの肌補正処理を行う。
以下に、図3のステップS304の画像補正方法立案処理の一例を詳細に示す。図9乃至図13は画像補正方法立案処理の動作を示したものである。ここでは、先述した画像から検出した各顔領域について、判別された領域種別のうち尤度の高いものについて、欠け領域を除いた領域に対してそれぞれの肌補正処理を行う。
図9のフローチャートを用いて画像補正方法立案処理の詳細を説明する。
画像補正方法立案処理を開始すると、ステップS701において、図3のステップS301で検出した未処理の顔領域情報を1つ取得する。ステップS702において、取得した領域から図3のステップS303で判別した未処理の顔の種別の候補を尤度の高いものから1つ取得する。ステップS703において尤度が所定の閾値以上であるかを判定し、閾値未満であった場合はステップS711に進んでその領域は無効として、補正対象としない。閾値以上であった場合にはステップS704に進む。
ステップS704において、RGB色空間の各値で表現されている前記入力画像を明度L、彩度C、色相Hの値に変換する。このLCHという色空間は、CIEL*a*b*色空間より、次の式(1)で算出される。
このLCHは明度、彩度、色相で色を表す色空間の一例で、この他、YCbCr、L*u*v*、HSV、HSL等々、他の色空間であっても良い。
(領域代表色抽出処理:S705)
ステップS705において、彩度C、色相Hで表された人肌領域内の欠け領域を除く画素について、各領域内の代表色を求める。
(領域代表色抽出処理:S705)
ステップS705において、彩度C、色相Hで表された人肌領域内の欠け領域を除く画素について、各領域内の代表色を求める。
ステップS705の処理について、図10のフローチャートを用いて詳しく説明する。
まず、ステップS801において、対象となる顔画像領域データを取得する。ステップS802からステップS805はこの領域内の各画素についての処理のループを構成している。
ステップS802において、現在注目している画像領域に含まれる欠け領域を除く画素で未処理の画素を決定する。次に、ステップS803において、画素の明度Lがある一定のLth以上であるかを判断する。もしステップS301で抽出された顔領域内に目、眉、髭、あるいは陰影が含まれていると、人肌領域から抽出した補正対象とする色の代表色が適切に得られない場合がある。前記人肌領域内の陰影、あるいは目、眉、髭といった領域は補正対象とする肌色などの所定色よりも明度が低いと考えられるので、前記条件を用いることにより、前記人肌領域内の陰影、あるいは目、眉、髭といった領域の画素を除外することできる。ステップS803の条件を満たした画素について、ステップS804にて同画素の彩度C及び色相Hの色データを集計する。この集計方法は補正対象の代表色として何を用いるかによって変わってくるが、例えば、補正対象の代表色を欠け領域を除く人肌領域内の画素の平均値とする場合には、ステップS804の集計は、彩度C及び色相Hの単純な加算を意味する。また、同時に画素数もカウントする。ステップS805で欠け領域を除く全画素について走査を終了したと判断されるまで、ステップS802からS805の前記集計処理を繰り返す。
入力画像の欠け領域を除く全画素について走査が終了したと判断された場合、ステップS806で現在注目している画像領域について、補正対象とする色の領域代表色を算出する。補正対象の代表色を人肌領域内画素の彩度及び色相の平均値で表す場合、ステップS806では前記集計処理での集計結果を集計画素数で除算した値(CR(k,l),HR(k,l))を領域代表色として設定する。ただし、kは顔領域のインデックス番号、また、lは各顔領域の判別結果における種別候補のインデックス番号である。このようにして求められた領域代表色を利用して、以下のステップS707で色補正のための補正係数を設定する。
図9に戻って、ステップS706において、補正目標値テーブル202aを参照して、補正対象の種別毎に予め設定した補正目標色を取得する。
この補正目標値テーブル202aは、年齢6段階、人類の生物学的分類を6種、性別2種の、2×6×6=72種類に対してそれぞれ肌色の目標色(本例では、色相と彩度)が定義されており、例えば、東ユーラシア人の19〜24歳の女性ならば、目標の色相が“0.7”、彩度が“27”、東ユーラシア人の19〜24歳の男性ならば、目標の色相が“0.75”、彩度が“44”などと定義されている。この目標色は、好ましい画像補正の主観評価実験を行って決定される。
(補正係数設定処理:S707)
次にステップS707において、先のステップS705で抽出した領域代表色とステップS706で取得した補正目標色を用いて、領域毎の補正量を制御する補正係数を求める。この補正係数設定処理では、前記領域代表色と目標色との差に応じて色補正量を制御する所定係数である。後述の色補正における補正量は色相と彩度毎に定めるため、補正係数も色相と彩度毎に設定する。本実施形態では、色相補性係数及び彩度補正係数は前記目標色を代表色の差が大きくなるとともに減少するように設定する。さらに、彩度補正係数は、彩度を下げるように補正する場合は、彩度を上げるように補正する場合に比べ、補正量が小さくなるように設定する。
次にステップS707において、先のステップS705で抽出した領域代表色とステップS706で取得した補正目標色を用いて、領域毎の補正量を制御する補正係数を求める。この補正係数設定処理では、前記領域代表色と目標色との差に応じて色補正量を制御する所定係数である。後述の色補正における補正量は色相と彩度毎に定めるため、補正係数も色相と彩度毎に設定する。本実施形態では、色相補性係数及び彩度補正係数は前記目標色を代表色の差が大きくなるとともに減少するように設定する。さらに、彩度補正係数は、彩度を下げるように補正する場合は、彩度を上げるように補正する場合に比べ、補正量が小さくなるように設定する。
ステップS707における補正係数設定処理について、以下より詳しく説明する。
k,l番目(0≦k,l<N)の領域の色相補正係数Ph(k,l)は前記補正目標色の色相HTと前記k番目の領域のl番目の判別候補に対する領域代表色の色相HR(k,l)の差Hdist(k,l)が大きくなるとともに減少するように設定する。色相補正係数の設定方法の例として、式(2)ような式を用いる方法が示される。ただし、式(2)におけるK1およびt1は定数とする。
つまり、補正対象とする色の代表色相が補正目標色相に近いほど代表色の色相を補正目標色の色相により近づけるような補正を行い、補正対象とする色の代表色相が補正目標色相から大きく離れている場合には、あまり補正を行わないように補正係数を設定する。このように補正係数の設定を行う理由として、補正対象とする色の代表色相が補正目標色相から大きく離れている場合に、代表色を補正目標色により近づけるような補正を行うと、入力画像全体のバランスが崩れてしまうということが挙げられる。
同様に、k番目の領域におけるl番目の判別候補の彩度補正係数PC(k,l)は前記補正目標色の彩度値CTと前記k番目の領域におけるl番目の判別候補の領域代表色の彩度値CR(k,l)の差Cdist(k,l)が大きくなるとともに減少するように設定する。つまり、補正対象とする色の代表彩度が補正目標彩度に近いほど代表色の彩度を補正目標色の彩度により近づけるような補正を行い、補正対象とする色の代表彩度が補正目標彩度から大きく離れている場合には、あまり補正を行わないように補正係数を設定する。ただし、彩度補正係数は彩度を下げるように補正する場合と彩度を上げるように補正をする場合で設定方法を異なるものとする。
同様に、k番目の領域におけるl番目の判別候補の彩度補正係数PC(k,l)は前記補正目標色の彩度値CTと前記k番目の領域におけるl番目の判別候補の領域代表色の彩度値CR(k,l)の差Cdist(k,l)が大きくなるとともに減少するように設定する。つまり、補正対象とする色の代表彩度が補正目標彩度に近いほど代表色の彩度を補正目標色の彩度により近づけるような補正を行い、補正対象とする色の代表彩度が補正目標彩度から大きく離れている場合には、あまり補正を行わないように補正係数を設定する。ただし、彩度補正係数は彩度を下げるように補正する場合と彩度を上げるように補正をする場合で設定方法を異なるものとする。
彩度を下げる補正をする場合は、補正をすることで画像の印象が地味になってしまうという現象を防ぐように補正係数を設定する方が望ましく、逆に彩度を上げる補正をする場合は、補正対象とする色の代表彩度が補正目標彩度から離れていても、目標彩度に近づけるような補正を行う方が、画像の印象が良くなるという効果が期待できるからである。このような彩度補正係数の設定方法の例として、彩度を下げる補正の場合は、式(3)ような設定式を、彩度を上げる補正の場合は式(4)を用いる方法が示される。式(3)のa1,b1および式(4)のK2,t2は定数とする。
図11に、式(3)、(4)を表したグラフを示す。図9において、横軸は前記補正目標色の彩度値CTと前記代表色の彩度値CR(k,l)の差Cdist(k,l)、縦軸は彩度補正係数PC(k,l)を示す。
前記補正目標彩度と前記代表色の彩度の差が等しい場合でも、彩度を下げる補正における彩度補正係数と彩度を上げる補正における彩度補正係数の値は異なり、彩度を下げる補正における補正係数がより小さくなっていることが、図11よりわかる。これは、彩度を下げるように補正する場合は彩度を上げるように補正をする場合に比べ、補正量が小さくなるようにすることを示している。
前記補正目標彩度と前記代表色の彩度の差が等しい場合でも、彩度を下げる補正における彩度補正係数と彩度を上げる補正における彩度補正係数の値は異なり、彩度を下げる補正における補正係数がより小さくなっていることが、図11よりわかる。これは、彩度を下げるように補正する場合は彩度を上げるように補正をする場合に比べ、補正量が小さくなるようにすることを示している。
以上のように、ステップS707において算出した色相と彩度の補正係数を、後述する補正処理(ステップS710)において使用される色補正量を制御する係数として利用する。
(色領域設定処理:S708)
図9に戻って、ステップS708では、領域代表色を含む補正処理の対象とする領域毎の色領域を求めるために、色領域設定処理をおこなう。ここでは前記人肌領域内の画素の色相に注目する。
図9に戻って、ステップS708では、領域代表色を含む補正処理の対象とする領域毎の色領域を求めるために、色領域設定処理をおこなう。ここでは前記人肌領域内の画素の色相に注目する。
本実施形態では、補正対象とする代表色を含む色領域を設定し、その領域について色補正を行う。なぜなら、例えば入力画像の全領域に対して、肌の色を好ましい肌色にする補正を行うと、元々好ましい色であった画像中の他領域の色が不自然になってしまうといった問題があるからである。ステップS707の補正係数処理において設定される補正対象とする色領域は特定色相で示され、前記特定色相で示される補正範囲と補正対象とする色の代表色によって、色領域重みを設定し、後述する色補正処理に用いる。
ステップS708の処理について、図12のフローチャートを用いて詳しく説明する。
まず、ステップS1001において、図9のステップS707で抽出されたk番目の画像領域に属する顔領域のデータを取得する。
ステップS1002からステップS1006はこの領域内の各画素についての処理のループを構成している。
ステップS1002において、現在注目している画像領域に含まれる欠け領域を除く未処理の画素を決定する。次に、ステップS1003において、画素の明度Lが任意の明度を示すLTH以上であるかを判断する。もし図9のステップS707において抽出された人肌領域内に目、眉、髭、あるいは陰影が含まれていると、人肌領域から抽出した補正対象とする色の代表色が適切に得られない場合がある。前記人肌領域内の陰影、あるいは目、眉、髭といった領域は補正対象とする肌色などの所定色よりも明度が低いと考えられるので、前記条件を用いることにより、前記人肌領域内の陰影、あるいは目、眉、髭といった領域の画素を除外することできる。
さらに、ステップS1004において、同画素の彩度Cが無彩色の彩度を示す所定の値CTH以上であるかを判断する。このとき同画素の彩度が前述の値CTH以下であるということは、同画素は無彩色に限りなく近いことを意味する。ここで無彩色領域の画素を除く理由は、無彩色領域においてはRGB値のわずかの差で色相が大きく変わり、人肌領域に対応する色相領域を高精度で求めることができなくなるためである。ステップS708における色領域設定処理では、色領域を人肌領域内画素の色相に注目し、特定色の色相によって設定する。
ステップS1004の条件を満たした画素について、ステップS1005にて同画素の色相Hの値を集計する。この集計方法は色領域を示す特定色相として何を用いるかによって変わってくるが、例えば、前記人肌領域内に存在し、ステップS1003及びS1004の条件を満たした画素の色相分布を解析し、最大色相Hmax(k,l)および最小色相Hmin(k,l)によって補正対象とする色領域を示す方法が例示される。ステップS1006で全画素について走査を終了したと判断されるまで前記集計処理を繰り返す。
入力画像の全画素について走査が終了したと判断された場合、ステップS1007で補正対象とする色領域を設定する。前記最大色相Hmax(k,l)および前記最小色相Hmin(k,l)によって補正対象とする色領域を示す場合、ステップS1007では前記集計処理での集計結果である最大色相Hmax(k,l)および最小色相Hmin(k,l)を用い、補正対象とする色の前記代表色相との差から補正対象とする色領域を設定する(式(5))。ここで、式(5)のHR(k,l)はk番目の領域におけるl番目の判別候補の補正対象とする色の前記領域代表色相であり、ΔH(k,l)は補正対象とするk番目の画像領域における色領域の色相範囲を示したものである。
また、ここに示した前記色領域設定処理に限定されるものではなく、例えば任意の特定色相を手動で設定する方法なども挙げられる。この場合には、補正対象とする色領域は、図3のステップS301において抽出された人肌領域を包含するような、色相範囲として設定することが望ましい。
以上のような方法で設定された前記色領域に対して、後述の色補正処理において使用する色領域重みを色相範囲と彩度範囲毎に定める。補正対象とする画素の色相Hにおける重みWH(k,l)は、補正対象とする代表色では1、補正対象領域外では0となるように補正対象とする色領域を示す前記色相範囲ΔH(k,l)および補正対象とする色の代表色の色相HR(k,l)により、以下のように定める(式6)。
以上のような方法で設定された前記色領域に対して、後述の色補正処理において使用する色領域重みを色相範囲と彩度範囲毎に定める。補正対象とする画素の色相Hにおける重みWH(k,l)は、補正対象とする代表色では1、補正対象領域外では0となるように補正対象とする色領域を示す前記色相範囲ΔH(k,l)および補正対象とする色の代表色の色相HR(k,l)により、以下のように定める(式6)。
ただし、補正対象とする色相領域の重みを設定する方法は、式(6)で表されるような方法に限らず、例えば、補正対象とする色領域を示す前記色相範囲ΔH(k,l)および補正対象とする色の代表色HR(k,l)および任意の定数を用いて非線形に変化するように設定する方法などが例示される。
このように、ステップS1008において補正対象とする色領域の重みをつける理由として、後述する色補間を行う場合に、補正対象とする色相領域内外で色の連続性が破綻するのを防ぐことが挙げられる。
このように、ステップS1008において補正対象とする色領域の重みをつける理由として、後述する色補間を行う場合に、補正対象とする色相領域内外で色の連続性が破綻するのを防ぐことが挙げられる。
また、補正対象とする画素の彩度Cにおける重みWC(k,l)は、前記補正対象目標彩度CTおよびステップS1004で使用した無彩色の彩度を示す所定の値CTHにより、以下のように定める(式7)。
ただし、補正対象とする彩度領域の重みを設定する方法は、式(7)で表されるような方法に限らず、例えば、補正対象とする色の代表色の彩度CRおよび前記人肌領域を包含するような彩度範囲ΔC(k,l)を前記色相領域設定方法と同様な方法により求め、補正対象とする彩度領域の重みを設定方法なども挙げられる。
図9に戻って、次に、ステップS709において、前記入力画像における前記人肌領域の位置情報から、後述の色補正処理に用いる画像領域重みを設定する。
図9に戻って、次に、ステップS709において、前記入力画像における前記人肌領域の位置情報から、後述の色補正処理に用いる画像領域重みを設定する。
本実施形態では、後述する色補正処理において、ステップS708により設定した特定色領域に対しての重みを利用して肌色などの所定の色に対してのみ色補正を行うことで、元々好ましい色であった画像中の他領域の色が不自然になる現象を回避している。しかしながら、補正対象として色領域のみを設定した場合、例えば補正入力画像において、前記人肌領域外にステップS708において設定される色領域に含まれる人肌以外の画素が存在すると、同画素は色補間の対象となってしまう。このような問題を解決する方法として、ステップS709で設定する画像領域重みを利用する。
前記画像領域重みは、前記人肌領域内の画素を色補正対象とし、前記人肌領域に含まれない画素は色補正対象外となるように0以上、1以下の値をWP(k,l,x,y)として設定する。このとき後述の色補正処理により前記人肌領域の境界付近で色の連続性が破綻するのを防ぐように、前記画像領域重みを設定することが望ましい。
前記画像領域重み設定方法は限定されるものではないが、前記人肌領域における重心を求め、重心からの各画素の距離に応じて重みをつける方法などが例示される。この設定方法を用いると、後述の色補正処理において、前記人肌領域の境界付近の画素は前記人肌領域の中心付近の画素に比べ補正量が小さくなり、前記人肌領域の境界付近で色の連続性が破綻するのを防ぐことができる。また、前記人肌領域にガウシアンフィルタなどによりローパス処理を行い、前記人肌領域の境界付近をぼかすことで、前記人肌領域内外での色の連続性の破綻を和らげる方法なども挙げられる。
前記画像領域重み設定方法は限定されるものではないが、前記人肌領域における重心を求め、重心からの各画素の距離に応じて重みをつける方法などが例示される。この設定方法を用いると、後述の色補正処理において、前記人肌領域の境界付近の画素は前記人肌領域の中心付近の画素に比べ補正量が小さくなり、前記人肌領域の境界付近で色の連続性が破綻するのを防ぐことができる。また、前記人肌領域にガウシアンフィルタなどによりローパス処理を行い、前記人肌領域の境界付近をぼかすことで、前記人肌領域内外での色の連続性の破綻を和らげる方法なども挙げられる。
(補正処理:S710)
次に、ステップS710において、先に求めた各領域補正情報にしたがって画像補正を行う。この処理について図13のフローチャートを用いて詳しく説明する。
次に、ステップS710において、先に求めた各領域補正情報にしたがって画像補正を行う。この処理について図13のフローチャートを用いて詳しく説明する。
まず、ステップS1101において、ステップS707で抽出されたk番目の画像領域に属する顔領域のデータを取得する。
ステップS1102からステップS1105はこの領域内の欠け領域を除く各画素についての処理のループを構成している。
ステップS1102において、未処理の画素を決定する。次に、ステップS1103において、色相補正処理を行う。まず補正対象の代表色における色相補正量Dh(j)を算出する。補正対象とする色の代表色における色相補正量は補正対象目標色相HTと補正対象とする色の代表色相HR(j)の差およびステップS707の補正係数設定処理において設定された前記色相補正係数PH(j)の積で表される(式(9))。次に、前記色相補正量DhにステップS9の色領域設定処理において設定した色相領域の重みWH(j)、彩度領域の重みWC(j)とステップS709の画像領域設定処理において設定した画像領域重みWP(j)をかけた分だけ、入力画像内の画素の色相を補正する(式(8))。ただし、式(8)においてHは前記色補正処理前の補正対象画素の色相、H′は前記色補正処理後の補正対象画素の色相を示す。
同様に、ステップS1104では、ステップS707の補正係数設定処理で得られた彩度補正係数Pc(j)から代表色における彩度補正率Kc(j)を算出し、前記彩度補正率KcにステップS708の色領域設定処理において設定した色相領域の重みWH(j)、彩度領域の重みWC(j)とステップS709の画像領域設定処理において設定した画像領域重みWP(j)および前記色補正処理前の補正対象画素の彩度Cをかけた分だけ、入力画像内の画素の彩度を補正する(式(11))。
前記彩度補正率Kcは式(12)のように、前記補正目標彩度CTおよび補正対象の代表彩度CR(j)の差と前記補正代表彩度CR(j)の比と前記補正彩度係数Pc(j)の積で表される。ただし、式(11)でC′は前記色補正処理後の補正対象画素の彩度を示す。
前記彩度補正率Kcは式(12)のように、前記補正目標彩度CTおよび補正対象の代表彩度CR(j)の差と前記補正代表彩度CR(j)の比と前記補正彩度係数Pc(j)の積で表される。ただし、式(11)でC′は前記色補正処理後の補正対象画素の彩度を示す。
次に、ステップS1105の判定により、全ての画素について上記処理が終了したかどうかを判定し、終了した場合には補正処理は終了し、そうでない場合は、処理はステップS1102に戻る。
なお、補正対象の種別の判別の尤度が低い場合には、複数の定義済みの補正目標色から尤度に基づいて重みをつけて、新たな目標色を合成し、この合成目標色をもって判別候補とするようにしても良い。
なお、補正対象の種別の判別の尤度が低い場合には、複数の定義済みの補正目標色から尤度に基づいて重みをつけて、新たな目標色を合成し、この合成目標色をもって判別候補とするようにしても良い。
目標色の合成方法の一例として、女性の目標彩度をCF男性の目標彩度CM、女性らしさの尤度をT、性別判定の確度が低いと判断される尤度をTL、性別判定の信頼度が全くないと判断される尤度をTI(TI<TL)とすると、目標彩度CTは次の式(14)で表される。
図14は男女の判別の女性らしさの尤度Tを横軸とし、目標色の一部である目標彩度(CT)を縦軸とし、その関係の一例を示したグラフである。女性らしさの尤度がTのとき、男性らしさは(1−T)として求められる。
図14の1−TL≦T≦1−TIの区間については、男性用と合成された目標色を用いた2つの補正案について、選択肢として提示する。また、TI≦T≦TLの区間では女性用と合成された目標色を用いたの2つの補正案について、図3のステップS304以降の処理を行い、ステップS306において選択肢として提示する。これらのように2つの補正案がある場合、合成された目標色は第2の補正案候補となるようにすることが望ましい。また、1−TI<T<TIの区間では合成された目標色のみを用いて補正案を作成し、ステップS306において選択肢として提示する。
図14の1−TL≦T≦1−TIの区間については、男性用と合成された目標色を用いた2つの補正案について、選択肢として提示する。また、TI≦T≦TLの区間では女性用と合成された目標色を用いたの2つの補正案について、図3のステップS304以降の処理を行い、ステップS306において選択肢として提示する。これらのように2つの補正案がある場合、合成された目標色は第2の補正案候補となるようにすることが望ましい。また、1−TI<T<TIの区間では合成された目標色のみを用いて補正案を作成し、ステップS306において選択肢として提示する。
これによって、領域判別が困難な場合であっても顔領域として適切な補正処理を行うことを補償することが出来る。また、ここで行う補正処理は、各領域種別候補について行うが、表示部209上で補正効果を確認するためのものであり、印刷する画像のような高い解像度は不要である。そのため、解像度を落とした画像を対象に行えばよい。また、本実施形態では説明のため、ステップS701からS713のループで各領域の各領域判別毎にすべての組み合わせについて集計処理を行うように構成したが、ユーザの指示によって表示部209に描画が必要になった補正方法だけをユーザの指示の後で処理してもよい。
(補正方法の選択処理:S306)
以下に、図3のステップS306における補正方法選択の一例を詳細に示す。
以下に、図3のステップS306における補正方法選択の一例を詳細に示す。
図15の(a)は、本処理において表示部209に表示する選択ウインドウの一例である。1201は補正処理対象の画像の一例である。1202、1203は、ステップS301で検出された顔領域を示す領域カーソルである。それぞれの顔領域はその領域を判別した結果、最も尤度が高い種別の補正方法に従って肌色補正処理が行われている。ここで、領域カーソルのうちの1つを入力部208によってクリックすると領域カーソルが注目状態になり、補正対象の領域の外接多角形を表示し、補正の効果がおよぶ領域を確認することが出来る。
また、同領域をダブルクリックすると、この領域における現在の補正方法を提示し、補正方法を変更するために、図15の(b)のようなダイアログウインドウ1204が表示される。このウインドウの各部について説明する。
1205は領域判別内容である、1206は領域判別内容を変更するためのボタンであり、この領域を入力装置208によってクリックすると、図示しない他の尤度が所定の値より高かった領域種類の一覧が表示され、所望の領域種別を選択することができる。1207は効果の度合いを表示、設定するものである。左端が補正をかけない状態である。また、中黒の四角は現在の設定内容である。最も尤度の高い領域判別結果における補正量の場合を中心に強弱2段階に設定できる。所望の箇所をクリックすることによって、効果の度合いを設定することが出来る。1208はOKボタンであり、設定した内容にしたがって補正方法を更新し、ダイアログを閉じ、1201の画像に対して、補正を適用する。また、1209はキャンセルボタンであり、設定した内容を破棄してウインドウを閉じる。1201の画像の背景領域に配置されたOKボタン1208をクリックすることによってステップS306の処理を終了する。
<本実施形態の画像処理装置の他の具体的構成例>
図16は、本実施形態における画像処理装置の他の具体的構成例を示すブロック図である。上記実施形態と共通する部分には同じ番号を付与している。
図16は、本実施形態における画像処理装置の他の具体的構成例を示すブロック図である。上記実施形態と共通する部分には同じ番号を付与している。
ブロック構成としては、ドライブインタフェース204にCD/DVDドライブ214が接続されて、本実施形態のプログラムを記録したDVDまたはCDのような光ディスク215を追加しているところが上記実施形態と異なる。
本実施形態のプログラムを記録した光ディスク215をCD/DVDドライブ214に挿入するとCPU201は記録媒体からプログラムを読み取って、RAM203に展開することで、上記実施形態と同様の処理を実現することができる。
なお、本実施形態では、肌色補正処理に関して詳細に説明したが、その他の補正方法としてガウシアンフィルタを適用してぼかしたり、輪郭強調フィルタをなどを行っても良い。ガウシアンフィルタを首、頬や目の周辺の肌色領域に適用することにより、見かけの年齢を若くすることが可能である。この場合は、顔の種類ごとに効果の度合いを定義しておき、ステップS709と同様な画像領域重み設定を適切に行って、領域内の各画素について、ガウシアンフィルタをかけた画像を重みにしたがってオリジナルの画像のLHCの各チャンネルごとに加重平均を求めればよい。このような空間的な補正は動画や携帯性の高いカメラのような解像度が低い画像で特に有効である。
<その他の実施形態>
顔領域を判別する際、顔の特徴量抽出に関しては、第1実施形態で示した方法に限定するものではない。例えば、ISO/IEC15938−3に規定されている、顔識別の特徴記述子を用いてもよい。また、判別器として、判別分析のほかに、ブースト法、カーネルトリックと組み合わせたサポートベクターマシン、ニューラルネットワークなどの手法を用いても良い。いずれも領域種別にトレーニング用の画像を用意してトレーニングすることで、所望の領域種別への判別が可能である。また、本実施形態では人物の肌色を好ましく補正する場合について説明したが、他の記憶色である空の青、草木の緑などを好ましく補正する場合についても適用できることはいうまでもない。
顔領域を判別する際、顔の特徴量抽出に関しては、第1実施形態で示した方法に限定するものではない。例えば、ISO/IEC15938−3に規定されている、顔識別の特徴記述子を用いてもよい。また、判別器として、判別分析のほかに、ブースト法、カーネルトリックと組み合わせたサポートベクターマシン、ニューラルネットワークなどの手法を用いても良い。いずれも領域種別にトレーニング用の画像を用意してトレーニングすることで、所望の領域種別への判別が可能である。また、本実施形態では人物の肌色を好ましく補正する場合について説明したが、他の記憶色である空の青、草木の緑などを好ましく補正する場合についても適用できることはいうまでもない。
また、本実施形態のプログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク,ハードディスク,光ディスク,光磁気ディスク,CD、DVD,磁気テープ,不揮発性のメモリカード,ROMなどを用いることができる。
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、カメラやスキャナなどの画像入力装置やプリンタなどの画像出力装置、またこれらが複合または接続された装置において、両方またはいずれかの装置に備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
特許登録第03279913号公報
Claims (19)
- 画像情報を入力する画像入力手段と、
前記画像入力手段から入力された画像情報に予め設定した対象が含まれる領域を設定する対象領域設定手段と、
前記対象領域設定手段で設定された領域から前記対象としての特徴が欠けている部分を求めて、求めた部分を欠け領域として設定する欠け領域設定手段と、
前記対象領域設定手段で設定された領域から前記欠け領域設定手段で設定された欠け領域を除いた領域に対して画像補正を行う画像補正手段とを有することを特徴とする画像処理装置。 - 前記欠け領域設定手段は、顔領域のうち、所定の顔器官を検出できなかった領域におけるエッジ情報に基づいて欠け領域を決定することを特徴とする請求項1記載の画像処理装置。
- 前記欠け領域設定手段は、設定した対象のエッジ頻度分布に基づいて各画素におけるエッジ抽出感度を調整することを特徴とする請求項2記載の画像処理装置。
- 前記対象領域設定手段で設定された各領域について、欠け領域を除く部分領域を用いて照合することで種別を判別する領域判別手段を更に有し、
前記画像補正手段は、前記領域判別手段で判別された種別に基づいて画像補正を行うことを特徴とする請求項1記載の画像処理装置。 - 前記領域判別手段は、あらかじめ所定の欠け領域パターンを設定して各パターンにおける判別方法を定義しておき、入力された欠け領域が最も適合する欠けパターンの判別方法に従って判別を行うことを特徴とする請求項4記載の画像処理装置。
- 前記予め設定した対象は人物の顔であることを特徴とする請求項1記載の画像処理装置。
- 前記領域の種別は、性別、年齢、または、個人または人類の生物学的分類のいずれかまたはその組み合わせであることを特徴とする請求項6記載の画像処理装置。
- 前記画像補正は、特定空間領域中のうち特定色域に含まれる画素に対する明度、色相、彩度、シャープネス、ぼかし、のいずれかまたはその組み合わせであることを特徴とする請求項1記載の画像処理装置。
- 前記領域判別手段は、領域の種別とともに判別の確からしさを出力し、前記画像補正手段は、判別の確からしさに基づいて補正方法を変化させることを特徴とする請求項4記載の画像処理装置。
- 前記画像補正手段は、
前記対象領域設定手段が設定したいずれかの領域において、前記領域判別手段が出力する尤度が所定の閾値に満たない場合、画像補正方法の候補を立案する画像補正方法立案手段と、
補正する領域について補正方法を提示し、オペレータの指示を仰ぐ補正方法指示手段とを有し、
前記補正方法指示手段による指示内容に従って画像を補正することを特徴とする請求項9記載の画像処理装置。 - 前記補正方法指示手段は補正対象の画像を表示し、補正対象の領域の近辺に補正方法を指示するための操作釦を配置することを特徴とする請求項10記載の画像処理装置。
- 前記補正方法指示手段は補正対象の画像を表示し、補正対象の領域が確認可能な外接多角形を表示することを特徴とする請求項10又は11記載の画像処理装置。
- 前記補正方法指示手段は補正のかかり具合を設定し、設定内容に従って表示中の補正対象画像へ反映させることを特徴とする請求項10乃至12のいずれか1つに記載の画像処理装置。
- 入力された画像中の対象となる部分領域に対し好適な補正を行なう画像処理方法であって、
入力画像から補正の対象となる部分領域を抽出し、
前記部分画像から補正の対象と異なる領域を欠け領域と判別し、
前記補正の対象となる部分領域から補正の対象と異なる欠け領域を除いた領域を、補正目標となるよう補正することを特徴とする画像処理方法。 - 前記欠け領域は、顔領域のうち、所定の顔器官を検出できなかった領域におけるエッジ情報に基づいて判別することを特徴とする請求項14記載の画像処理方法。
- 画像情報を入力する画像入力工程と、
前記画像入力工程で入力された画像情報に予め設定した対象が含まれる領域を設定する対象領域設定工程と、
前記対象領域設定工程で設定された領域から前記対象としての特徴が欠けている部分を求めて、求めた部分を欠け領域として設定する欠け領域設定工程と、
前記対象領域設定工程で設定された領域から前記欠け領域設定工程で設定された欠け領域を除いた領域に対して画像補正を行う画像補正工程とを有することを特徴とする画像処理方法。 - 前記対象領域設定手段で設定された各領域について、欠け領域を除く部分領域を用いて照合することで種別を判別する領域判別工程を更に有し、前記領域判別工程では、領域の種別とともに判別の確からしさを出力し、
前記画像補正工程は、
前記対象領域設定工程で設定したいずれかの領域において、前記領域判別工程が出力する尤度が所定の閾値に満たない場合、画像補正方法の候補を立案する画像補正方法立案工程と、
補正する領域について補正方法を提示し、オペレータの指示を仰ぐ補正方法指示工程とを有し、
前記補正方法指示工程での指示内容に従い、前記領域判別工程で判別された種別に基づいて画像を補正することを特徴とする請求項16記載の画像処理方法。 - 請求項16又は17記載の画像処理方法を実現するコンピュータ実行可能なプログラム。
- 請求項18に記載のプログラムをコンピュータ読み取り可能に記憶する記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004319498A JP2006133874A (ja) | 2004-11-02 | 2004-11-02 | 画像処理方法及びその装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004319498A JP2006133874A (ja) | 2004-11-02 | 2004-11-02 | 画像処理方法及びその装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006133874A true JP2006133874A (ja) | 2006-05-25 |
Family
ID=36727402
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004319498A Withdrawn JP2006133874A (ja) | 2004-11-02 | 2004-11-02 | 画像処理方法及びその装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006133874A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8350920B2 (en) | 2006-07-11 | 2013-01-08 | Sony Corporation | Image capturing apparatus, image capturing method, image processing apparatus, image processing method, and program capable of hiding desired character information and restoring the hidden character information |
JP2018156246A (ja) * | 2017-03-16 | 2018-10-04 | 大日本印刷株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2019208113A (ja) * | 2018-05-29 | 2019-12-05 | 富士通株式会社 | 画像補正プログラム、画像補正方法、及び画像補正装置 |
CN111047520A (zh) * | 2018-10-11 | 2020-04-21 | 卡西欧计算机株式会社 | 图像处理装置、图像处理方法以及记录介质 |
JP2020160490A (ja) * | 2019-03-25 | 2020-10-01 | カシオ計算機株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2021082937A (ja) * | 2019-11-19 | 2021-05-27 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
-
2004
- 2004-11-02 JP JP2004319498A patent/JP2006133874A/ja not_active Withdrawn
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8350920B2 (en) | 2006-07-11 | 2013-01-08 | Sony Corporation | Image capturing apparatus, image capturing method, image processing apparatus, image processing method, and program capable of hiding desired character information and restoring the hidden character information |
JP2018156246A (ja) * | 2017-03-16 | 2018-10-04 | 大日本印刷株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP7056003B2 (ja) | 2017-03-16 | 2022-04-19 | 大日本印刷株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2019208113A (ja) * | 2018-05-29 | 2019-12-05 | 富士通株式会社 | 画像補正プログラム、画像補正方法、及び画像補正装置 |
JP7028062B2 (ja) | 2018-05-29 | 2022-03-02 | 富士通株式会社 | 画像補正プログラム、画像補正方法、及び画像補正装置 |
CN111047520A (zh) * | 2018-10-11 | 2020-04-21 | 卡西欧计算机株式会社 | 图像处理装置、图像处理方法以及记录介质 |
CN111047520B (zh) * | 2018-10-11 | 2024-01-26 | 卡西欧计算机株式会社 | 图像处理装置、图像处理方法以及记录介质 |
JP2020160490A (ja) * | 2019-03-25 | 2020-10-01 | カシオ計算機株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP7400198B2 (ja) | 2019-03-25 | 2023-12-19 | カシオ計算機株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2021082937A (ja) * | 2019-11-19 | 2021-05-27 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP7458752B2 (ja) | 2019-11-19 | 2024-04-01 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7580169B2 (en) | Image processing apparatus and its method | |
US7468812B2 (en) | Image processing apparatus and its method for color correction | |
EP1802096B1 (en) | Image processing device, method, and image processing program | |
US7756343B2 (en) | Image processing method, image processing apparatus, and computer-readable recording medium storing image processing program | |
CN108604293B (zh) | 提高图像质量的装置和方法 | |
US8391595B2 (en) | Image processing method and image processing apparatus | |
US7680325B2 (en) | Image processing method of detecting a correspondence between colors, image processing apparatus and program for detecting a correspondence between colors | |
JP2006303899A (ja) | 画像処理装置、画像処理システム、および画像処理プログラム | |
JP2007504719A (ja) | 組み込みアプリケーションに適した、画像における赤目の検出と補正を行うシステム及び方法 | |
JP2005527880A (ja) | ユーザ定義可能な画像参照ポイント | |
JP2009038523A (ja) | 画像処理装置及び画像処理方法 | |
CN101983507A (zh) | 自动红眼检测 | |
JP2009290822A (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
US20160307306A1 (en) | Method and apparatus for image colorization | |
CN108965646A (zh) | 图像处理装置、图像处理方法和存储介质 | |
JP4649498B2 (ja) | 画像データの色補正方法及びシステム | |
JP4522229B2 (ja) | 画像処理方法及びその装置 | |
JP2006133874A (ja) | 画像処理方法及びその装置 | |
US5774578A (en) | Apparatus for and method of utilizing density histograms for correcting objective images | |
JP2007042033A (ja) | 色補正装置および画像表示装置 | |
US8761505B2 (en) | Modification of memory colors in digital images | |
JP2006203431A (ja) | 画像処理装置および画像処理方法 | |
JP4822690B2 (ja) | 画像処理方法及びその装置と、プリントサービスシステム | |
JP2008147714A (ja) | 画像処理装置およびその方法 | |
JP4332474B2 (ja) | 画像処理装置およびその方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20080108 |