JP2005316743A - 画像処理方法および画像処理装置 - Google Patents
画像処理方法および画像処理装置 Download PDFInfo
- Publication number
- JP2005316743A JP2005316743A JP2004134149A JP2004134149A JP2005316743A JP 2005316743 A JP2005316743 A JP 2005316743A JP 2004134149 A JP2004134149 A JP 2004134149A JP 2004134149 A JP2004134149 A JP 2004134149A JP 2005316743 A JP2005316743 A JP 2005316743A
- Authority
- JP
- Japan
- Prior art keywords
- face
- area
- image
- color
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000012937 correction Methods 0.000 claims description 40
- 238000012545 processing Methods 0.000 claims description 24
- 238000001514 detection method Methods 0.000 claims description 5
- 230000001815 facial effect Effects 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims 2
- 230000002093 peripheral effect Effects 0.000 claims 2
- 239000003086 colorant Substances 0.000 claims 1
- 230000003247 decreasing effect Effects 0.000 claims 1
- 238000000034 method Methods 0.000 description 41
- 238000000605 extraction Methods 0.000 description 10
- 239000013598 vector Substances 0.000 description 7
- 238000003702 image correction Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000005484 gravity Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002845 discoloration Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Abstract
【解決手段】人物の少なくとも顔を含む画像を撮影して得られた顔画像を取込み、この取込まれた顔画像から顔候補領域および当該顔候補領域内の顔特徴点を抽出し、この抽出された顔候補領域および顔特徴点から顔領域を決定するとともに、この決定された顔領域に基づき当該顔領域を一定の割合で拡大した顔周囲領域を決定し、この決定された顔周囲領域の画像に対し輝度を補正するとともに、上記決定された顔領域および輝度を補正された顔周囲領域の画像に対し色彩を補正する。
【選択図】 図2
Description
図1は、本実施の形態に係る画像処理方法が適用される画像処理装置の構成を概略的に示すものである。本実施の形態に係る画像処理装置は、たとえば、入退出管理装置などにおいて、特に夜間等の入力照度条件が劣悪な場合に入力された顔画像を自動的に補正して適正化した結果をユーザに提示するもので、人物の少なくとも顔を含む画像(以下、顔画像と称す)を撮影して入力する画像入力手段としての電子カメラ1、電子カメラ1からの顔画像を取込む画像取込手段としての画像取込部2、画像取込部2により取込まれた顔画像から顔候補領域を抽出する顔領域抽出手段としての顔領域探索部3、顔領域探索部3により抽出された顔候補領域内の顔特徴点を抽出する顔特徴点抽出手段としての顔パーツ探索部4、顔領域探索部3により抽出された顔候補領域および顔パーツ探索部4により抽出された顔特徴点から顔領域を決定する顔領域決定手段としての顔領域決定部5、顔領域決定部5により決定された顔領域に基づき当該顔領域を一定の割合で拡大した顔周囲領域を決定する顔周囲領域決定手段としての顔周囲領域決定部6、顔周囲領域決定部6により決定された顔周囲領域内の画像に対し輝度を補正する輝度補正手段としての顔周辺領域画像補正部7、顔周辺領域画像補正部7により輝度を補正された顔領域内の画像に対し色彩を補正する色彩補正手段としての顔領域画像補正部8、顔領域画像補正部8により色彩を補正された顔領域内の画像において色が特異になっている特異部を検出する特異部検出手段としての顔領域内特異部検出部9、顔領域内特異部検出部9により検出された特異部の色をあらかじめ統計的に適正となるように作成された統計的色情報を用いて補正する特異部補正手段としての顔領域内特異部補正部10、および、顔領域内特異部補正部10の結果を出力(たとえば、表示)する出力手段としての出力部11を有して構成される。
定。
2.顔周囲領域、顔領域それぞれについて特定の画像補正を行なう。
3.強調によって色彩が特異となる部分を抽出し、場所と周囲色とから望ましい色に再
補正。
まず、画像入力処理を行なう(ステップS1)。画像入力処理では、電子カメラ1により人物の顔画像を撮影して入力する。画像取込部2は、電子カメラ1により入力された顔画像を取込み、ディジタイズして図示しない内部メモリ上にフレームごとのディジタル画像として格納する。ここに、画像は、一定周期T(たとえば、33msec)でサンプリングされ、サンプリングされた各画像(フレーム)が、各画素について所定のビット数(R、G、B各8ビットなど)を持つディジタル画像に変換されているものと想定する。
まず、顔領域探索部3において、ステップS1の処理にてR、G、B形式で内部メモリに蓄積された各フレーム画像について、たとえば下記式(1)のような変換を行なってグレー(輝度)成分の画像を生成し、そのグレー画像中から顔候補領域を探索する(ステップS2〜S4)。
Y=0.299*R+0.587*G+0.114*B …… (1)
顔領域探索部3では、入力画像内において、あらかじめ用意されたテンプレートを画像内で移動させながら相関値を求めることにより、最も高い相関値を与える位置を顔候補領域としたり、固有空間法や部分空間法を利用した顔抽出法などでも実現は可能である。たとえば、文献[1](福井和広、山口修:形状抽出とパターン認識の組合せによる顔特徴点抽出、電子情報通信学会論文誌(D),vol.J80−D−II,No.8,pp2170〜2177(1997年))に述べられている部分空間法による顔領域抽出の方法を用いて実現可能である。
また、前記文献[1]中に示されている現フレームよりも前の数フレームの画像中での特徴点座標から予測した特徴点座標と、現フレームにて上述のように検出された特徴点座標との誤差を閾値処理する方法を用いてもよい。
xs′=xg−Cx*(xe−xs)/2 …… (2)
xe′=xg+Cx*(xe−xs)/2 …… (3)
ys′=yg−Cy*(xe−xs)/2 …… (4)
ye′=yg+Cy*(xe−xs)/2 …… (5)
ただし、上記式(2)〜(5)は、図3に模式的に示すように、顔候補領域E1、修正顔候補領域E2が矩形で表現されていて、かつ、右方向をx軸の正、下方向をy軸の正と考える画像内座標を用いて示された場合を仮定している。また、顔候補領域E1については、左上座標値を(xs,ys)、右下座標値を(xe,ye)、それらの重心を(xg,yg)としている。また、修正顔候補領域E2については、左上座標値を(xs′,ys′)、右下座標値を(xe′,ye′)とした場合を仮定している。
また、Cx,Cyは、ここでは目と鼻孔とを含むように設定された顔候補に対して、口までを含むように拡張した領域を修正領域として決定するための修正定数であり、いずれも1.0以上の定数である。
[顔周囲領域]
s′(i,j)=s(i,j)*coef
*exp(−dist/(len*len)) …… (6)
[顔内部領域]
s′(i,j)=s(i,j)*coef …… (7)
ただし、ここに、s(i,j)は変換前の彩度、s′(i,j)は変換後の彩度であり、i,jは、注目画素の横方向および縦方向の座標値である。coefは、固定値または顔領域の部分ごとに設定される定数、xc,ycは顔周囲領域の座標、Wは顔領域の幅、Hは顔領域の高さである。distは、顔周囲領域の各座標からの距離の2乗であり、下記式(8)にしたがうようなものとしてよい。lenは顔のサイズを規定する量であり、len=max(W,H)なるものとする。
dist=((xc−i)*(xc−i)
+(yc−j)*(yc−j)) …… (8)
なお、上記色彩補正処理は、顔領域内部の彩度値の代表値がある一定範囲にあって、顔画像の画質を修正する必要のない場合には行なわないものとする。ここに、彩度値の代表値としては、顔領域内部の画素彩度値の平均値あるいは最大値、最小値として差し支えない。
s(i,j)=diff(i,j)/cmax(i,j); …… (9)
cmax(i,j)=max(r(i,j)
,g(i,j),b(i,j) …… (10)
cmin(i,j)=min(r(i,j)
,g(i,j),b(i,j) …… (11)
diff(i,j)=cmax(i,j)−cmin(i,j) …… (12)
次に、顔領域(特定領域B)での色彩特異部抽出処理を行なう(ステップS9)。顔領域(特定領域B)での色彩特異部抽出処理は、顔領域内特異部検出部9にて行なわれる。
また、複数画素をまとめてブロックとして表現する場合に、ブロックとしてまとめる画素数を数段階変え、上述のベクタ距離値の最大になる段階について、上記式(13)の条件で求められたブロックを特異部ブロックとして検出してもよい。
すなわち、まず、あらかじめ顔領域として望ましい彩度となる画像を多数収集しておき、それら画像群について、確率Pc(x,y,c)を求めておく(これを色彩・座標確立テーブルと呼ぶ)。ここに、x,yは顔重心を原点とする座標であり、cは注目画素周囲の画素平均色である。
P(x,y,c)=h(x,y,c)/Σx′,y′,c′
・h(x′,y′,c′) …… (14)
図6では、見え方が望ましい画像をサンプルとして色彩・座標頻度分布を作成する例を示している。
また、前述したように、複数のまとめ上げ段階(ブロックサイズ)のうちの最適なものを選択する方法を用いる場合には、上記色彩・座標確立テーブルは複数のブロックサイズごとに算出する。
ステップS9の処理において、特異画素または特異ブロック(特異部)が検出されなかった場合、ステップS10をジャンプしてステップS11に進む。
Claims (7)
- 人物の少なくとも顔を含む画像を撮影して得られた顔画像を取込む第1のステップと、
この第1のステップにより取込まれた顔画像から顔候補領域および当該顔候補領域内の顔特徴点を抽出する第2のステップと、
この第2のステップにより抽出された顔候補領域および顔特徴点から顔領域を決定する第3のステップと、
この第3のステップにより決定された顔領域に基づき当該顔領域を一定の割合で拡大した顔周囲領域を決定する第4のステップと、
この第4のステップにより決定された顔周囲領域の画像に対し輝度を補正する第5のステップと、
前記第3のステップにより決定された顔領域および前記第5のステップにより輝度を補正された顔周囲領域の画像に対し色彩を補正する第6のステップと、
を具備したことを特徴とする画像処理方法。 - 前記第3のステップは、前記第2のステップにより抽出された顔特徴点を評価し、その評価結果が信頼できる場合には、前記第2のステップにより抽出された顔候補領域と顔特徴点との関係から、あらかじめ求めてある望ましい人物の顔領域データを用いて顔領域を決定することを特徴とする請求項1記載の画像処理方法。
- 前記第3のステップは、前記第2のステップにより抽出された顔特徴点を評価し、その評価結果が信頼できない場合には、前記第2のステップにより抽出された顔候補領域を顔領域として決定することを特徴とする請求項1記載の画像処理方法。
- 前記第6のステップは、顔領域と顔周囲領域との境界においては、当該境界との距離に依存して色彩補正の度合を増減させる関数にしたがって色彩補正を行なうことを特徴とする請求項1記載の画像処理方法。
- 前記第6のステップにより色彩を補正された顔領域内の画像において色が特異になっている特異部を検出する第7のステップと、
この第7のステップにより検出された特異部の色をあらかじめ統計的に適正となるように作成された統計的色情報を用いて補正する第8のステップと、
をさらに具備したことを特徴とする請求項1記載の画像処理方法。 - 人物の少なくとも顔を含む画像を撮影して得られた顔画像を取込む画像取込手段と、
この画像取込手段により取込まれた顔画像から顔候補領域を抽出する顔領域抽出手段と、
この顔領域抽出手段により抽出された顔候補領域内の顔特徴点を抽出する顔特徴点抽出手段と、
前記顔領域抽出手段により抽出された顔候補領域および前記顔特徴点抽出手段により抽出された顔特徴点から顔領域を決定する顔領域決定手段と、
この顔領域決定手段により決定された顔領域に基づき当該顔領域を一定の割合で拡大した顔周囲領域を決定する顔周囲領域決定手段と、
この顔周囲領域決定手段により決定された顔周囲領域の画像に対し輝度を補正する輝度補正手段と、
前記顔領域決定手段により決定された顔領域および前記輝度補正手段により輝度を補正された顔周囲領域の画像に対し色彩を補正する色彩補正手段と、
を具備したことを特徴とする画像処理装置。 - 前記色彩補正手段により色彩を補正された顔領域内の画像において色が特異になっている特異部を検出する特異部検出手段と、
この特異部検出手段により検出された特異部の色をあらかじめ統計的に適正となるように作成された統計的色情報を用いて補正する特異部補正手段と、
をさらに具備したことを特徴とする請求項1記載の画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004134149A JP4496005B2 (ja) | 2004-04-28 | 2004-04-28 | 画像処理方法および画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004134149A JP4496005B2 (ja) | 2004-04-28 | 2004-04-28 | 画像処理方法および画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005316743A true JP2005316743A (ja) | 2005-11-10 |
JP4496005B2 JP4496005B2 (ja) | 2010-07-07 |
Family
ID=35444101
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004134149A Active JP4496005B2 (ja) | 2004-04-28 | 2004-04-28 | 画像処理方法および画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4496005B2 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007048169A (ja) * | 2005-08-12 | 2007-02-22 | Fujifilm Corp | 検出画像領域決定装置および対象画像の特徴量算出装置ならびにそれらの制御方法およびそれらの制御プログラム |
JP2009217609A (ja) * | 2008-03-11 | 2009-09-24 | Seiko Epson Corp | 顔領域に基づき設定された画像領域を対象とした補正処理 |
JP2009237614A (ja) * | 2008-03-25 | 2009-10-15 | Seiko Epson Corp | 対象画像における顔の画像に対応する顔領域の設定 |
JP2010055468A (ja) * | 2008-08-29 | 2010-03-11 | Nikon Corp | 画像処理装置、およびカメラ |
JP4865038B2 (ja) * | 2006-10-30 | 2012-02-01 | デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド | 顔検出と肌の色合いの情報を用いたデジタル画像処理 |
JP2014096836A (ja) * | 2014-01-08 | 2014-05-22 | Nikon Corp | デジタルカメラ |
US8923564B2 (en) | 2007-03-05 | 2014-12-30 | DigitalOptics Corporation Europe Limited | Face searching and detection in a digital image acquisition device |
WO2021014714A1 (ja) * | 2019-07-19 | 2021-01-28 | シャープ株式会社 | 画像処理装置、画像表示装置、画像処理方法、およびプログラム |
CN110168601B (zh) * | 2017-04-20 | 2023-05-26 | 韩国斯诺有限公司 | 通过分析校正模式的影像校正方法及系统 |
JP7386951B2 (ja) | 2021-09-27 | 2023-11-27 | アイデミア・アイデンティティ・アンド・セキュリティー・フランス | 拡張画像を生成するための方法及び関連する装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08110603A (ja) * | 1994-10-12 | 1996-04-30 | Konica Corp | 色調整方法および装置 |
JPH11144067A (ja) * | 1997-11-07 | 1999-05-28 | Nec Corp | 画像レイアウトシステム、方法及び記録媒体 |
JP2000209425A (ja) * | 1998-11-09 | 2000-07-28 | Canon Inc | 画像処理装置及び方法並びに記憶媒体 |
JP2003216941A (ja) * | 2002-01-21 | 2003-07-31 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
-
2004
- 2004-04-28 JP JP2004134149A patent/JP4496005B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08110603A (ja) * | 1994-10-12 | 1996-04-30 | Konica Corp | 色調整方法および装置 |
JPH11144067A (ja) * | 1997-11-07 | 1999-05-28 | Nec Corp | 画像レイアウトシステム、方法及び記録媒体 |
JP2000209425A (ja) * | 1998-11-09 | 2000-07-28 | Canon Inc | 画像処理装置及び方法並びに記憶媒体 |
JP2003216941A (ja) * | 2002-01-21 | 2003-07-31 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007048169A (ja) * | 2005-08-12 | 2007-02-22 | Fujifilm Corp | 検出画像領域決定装置および対象画像の特徴量算出装置ならびにそれらの制御方法およびそれらの制御プログラム |
JP4580307B2 (ja) * | 2005-08-12 | 2010-11-10 | 富士フイルム株式会社 | 検出画像領域決定装置および対象画像の特徴量算出装置ならびにそれらの制御方法およびそれらの制御プログラム |
JP4865038B2 (ja) * | 2006-10-30 | 2012-02-01 | デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド | 顔検出と肌の色合いの情報を用いたデジタル画像処理 |
US8923564B2 (en) | 2007-03-05 | 2014-12-30 | DigitalOptics Corporation Europe Limited | Face searching and detection in a digital image acquisition device |
US9224034B2 (en) | 2007-03-05 | 2015-12-29 | Fotonation Limited | Face searching and detection in a digital image acquisition device |
JP2009217609A (ja) * | 2008-03-11 | 2009-09-24 | Seiko Epson Corp | 顔領域に基づき設定された画像領域を対象とした補正処理 |
JP2009237614A (ja) * | 2008-03-25 | 2009-10-15 | Seiko Epson Corp | 対象画像における顔の画像に対応する顔領域の設定 |
JP2010055468A (ja) * | 2008-08-29 | 2010-03-11 | Nikon Corp | 画像処理装置、およびカメラ |
JP2014096836A (ja) * | 2014-01-08 | 2014-05-22 | Nikon Corp | デジタルカメラ |
CN110168601B (zh) * | 2017-04-20 | 2023-05-26 | 韩国斯诺有限公司 | 通过分析校正模式的影像校正方法及系统 |
WO2021014714A1 (ja) * | 2019-07-19 | 2021-01-28 | シャープ株式会社 | 画像処理装置、画像表示装置、画像処理方法、およびプログラム |
JP7386951B2 (ja) | 2021-09-27 | 2023-11-27 | アイデミア・アイデンティティ・アンド・セキュリティー・フランス | 拡張画像を生成するための方法及び関連する装置 |
Also Published As
Publication number | Publication date |
---|---|
JP4496005B2 (ja) | 2010-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111402135B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN108230252B (zh) | 图像处理方法、装置以及电子设备 | |
US9681040B2 (en) | Face tracking for controlling imaging parameters | |
US8983202B2 (en) | Smile detection systems and methods | |
US8861806B2 (en) | Real-time face tracking with reference images | |
JP4479756B2 (ja) | 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム | |
JP3684017B2 (ja) | 画像処理装置及び方法 | |
EP3249606B1 (en) | Inverse tone mapping method and corresponding device | |
JP2012530994A (ja) | 半顔面検出のための方法および装置 | |
JP2010500687A (ja) | デジタル画像取得装置におけるリアルタイムの顔探知 | |
JP2008234208A (ja) | 顔部位検出装置及びプログラム | |
JP2006119817A (ja) | 画像処理装置 | |
JP4496005B2 (ja) | 画像処理方法および画像処理装置 | |
CN110674759A (zh) | 一种基于深度图的单目人脸活体检测方法、装置及设备 | |
CN108234770B (zh) | 一种辅助化妆系统、辅助化妆方法、辅助化妆装置 | |
CN107153806B (zh) | 一种人脸检测方法及装置 | |
JP4148903B2 (ja) | 画像処理装置、画像処理方法およびデジタルカメラ | |
JP6098133B2 (ja) | 顔構成部抽出装置、顔構成部抽出方法及びプログラム | |
JP4789526B2 (ja) | 画像処理装置、画像処理方法 | |
JP2007048108A (ja) | 画像評価システム及び画像評価方法並びに画像評価プログラム | |
JP2007025901A (ja) | 画像処理装置、画像処理方法 | |
CN112839167A (zh) | 图像处理方法、装置、电子设备及计算机可读介质 | |
JP2004199200A (ja) | パターン認識装置、撮像装置、情報処理システム、パターン認識方法、記録媒体、及びプログラム | |
JP2000268172A (ja) | 画像正規化装置 | |
Rahman et al. | Real-time face-based auto-focus for digital still and cell-phone cameras |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070329 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100316 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100412 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130416 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140416 Year of fee payment: 4 |