JP2001014457A - 画像処理装置 - Google Patents
画像処理装置Info
- Publication number
- JP2001014457A JP2001014457A JP11183444A JP18344499A JP2001014457A JP 2001014457 A JP2001014457 A JP 2001014457A JP 11183444 A JP11183444 A JP 11183444A JP 18344499 A JP18344499 A JP 18344499A JP 2001014457 A JP2001014457 A JP 2001014457A
- Authority
- JP
- Japan
- Prior art keywords
- skin
- area
- image
- extracted
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
- H04N1/628—Memory colours, e.g. skin or sky
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Color Image Communication Systems (AREA)
Abstract
(57)【要約】
【課題】 画像中に複数の肌の異なる人が含まれていて
も、各々の肌の特性を考慮して適正に画像を補正する。 【解決手段】 複数種類の肌の特性があらかじめ分類さ
れている。画像データから肌領域を抽出し、抽出された
各肌領域の画像データを、その領域の肌の特性に応じて
補正する。これにより、画像から高精度に抜けがなく肌
領域を抽出する。そして、肌の種類に応じて、肌領域を
補正する。また、肌領域の抽出は、はじめに粗く次に細
かく２段階でおこなう。これにより、高速で肌領域が抽
出される。
も、各々の肌の特性を考慮して適正に画像を補正する。 【解決手段】 複数種類の肌の特性があらかじめ分類さ
れている。画像データから肌領域を抽出し、抽出された
各肌領域の画像データを、その領域の肌の特性に応じて
補正する。これにより、画像から高精度に抜けがなく肌
領域を抽出する。そして、肌の種類に応じて、肌領域を
補正する。また、肌領域の抽出は、はじめに粗く次に細
かく２段階でおこなう。これにより、高速で肌領域が抽
出される。
Description
【０００１】
【発明の属する技術分野】本発明は、デジタル画像の画
像補正に関する。
像補正に関する。
【０００２】
【従来の技術】一般にデジタルカメラ等から入力された
デジタル画像に対して補正を行う場合、その画像内に人
物が写っている時、その肌色の修正は、記憶色のため、
的確に補正する必要がある。従来の画像処理では、基本
的には色情報を用いた肌領域の検出や人物領域の抽出が
多い。たとえば、特開平６−３０９４３３号公報に記載
された肌画像識別では、ＲＧＢデータからＬＨＣデータ
に変換し、色情報から肌領域の候補を検索し、候補領域
に対して輝度のヒストグラムを求める。そして、ヒスト
グラムから肌らしさを示す指数を算出し、この指数に基
づいて肌領域を決定する。また、特開平７−１０５３７
１号公報に記載された手形状認識では、画素の色成分が
所定範囲内にあるときに肌色画素であると判断して手の
画像から肌色領域を抽出する。そして、２次元上の面積
と重心を求めて、人物領域を抽出する。また、特開平９
−４４６７０号公報に記載された肌領域抽出では、ＲＧ
Ｂ画像データから色相値を演算し、色相のヒストグラム
から特定分布範囲内を調べて顔領域を抽出する。また、
特開平９−５０５２８号公報に記載された人物検出装置
では、ＲＧＢデータから顔領域を検索し、その候補領域
をモザイク化し人物領域を抽出する。
デジタル画像に対して補正を行う場合、その画像内に人
物が写っている時、その肌色の修正は、記憶色のため、
的確に補正する必要がある。従来の画像処理では、基本
的には色情報を用いた肌領域の検出や人物領域の抽出が
多い。たとえば、特開平６−３０９４３３号公報に記載
された肌画像識別では、ＲＧＢデータからＬＨＣデータ
に変換し、色情報から肌領域の候補を検索し、候補領域
に対して輝度のヒストグラムを求める。そして、ヒスト
グラムから肌らしさを示す指数を算出し、この指数に基
づいて肌領域を決定する。また、特開平７−１０５３７
１号公報に記載された手形状認識では、画素の色成分が
所定範囲内にあるときに肌色画素であると判断して手の
画像から肌色領域を抽出する。そして、２次元上の面積
と重心を求めて、人物領域を抽出する。また、特開平９
−４４６７０号公報に記載された肌領域抽出では、ＲＧ
Ｂ画像データから色相値を演算し、色相のヒストグラム
から特定分布範囲内を調べて顔領域を抽出する。また、
特開平９−５０５２８号公報に記載された人物検出装置
では、ＲＧＢデータから顔領域を検索し、その候補領域
をモザイク化し人物領域を抽出する。
【０００３】
【発明が解決しようとする課題】しかし、従来の画像修
正技術では、肌色を画像中から抽出し補正するとき、画
像全体に対して一様に処理し、ほとんどが肌とは限定せ
ずに色の修正を行っている。従来の画像処理では、肌領
域の検出や人物領域の抽出と同時に肌領域の補正までを
扱うものはない。したがって、画像中に複数の肌の特性
の異なる人が含まれる場合、各々の肌に対して適正な補
正は難しかった。
正技術では、肌色を画像中から抽出し補正するとき、画
像全体に対して一様に処理し、ほとんどが肌とは限定せ
ずに色の修正を行っている。従来の画像処理では、肌領
域の検出や人物領域の抽出と同時に肌領域の補正までを
扱うものはない。したがって、画像中に複数の肌の特性
の異なる人が含まれる場合、各々の肌に対して適正な補
正は難しかった。
【０００４】本発明の目的は、画像中に複数の肌の異な
る人が含まれていても、各々の肌の特性を考慮して、適
正に補正を行う画像処理装置を提供することである。本
発明の別の目的は、画像から肌色の抽出の高速化を行う
画像処理装置を提供することである。
る人が含まれていても、各々の肌の特性を考慮して、適
正に補正を行う画像処理装置を提供することである。本
発明の別の目的は、画像から肌色の抽出の高速化を行う
画像処理装置を提供することである。
【０００５】
【課題を解決するための手段】本発明に係る画像処理装
置は、複数種類の肌色の特性があらかじめ分類されてお
り、画像データから肌領域を抽出する領域抽出手段と、
領域抽出手段により抽出された各肌領域の画像データ
を、その領域の肌色の特性に応じて補正する画像補正手
段とからなる。これにより、画像から高精度に肌領域を
まとめて、抜けがなく抽出する。そして、肌の種類に応
じて、肌領域を補正する。また、この画像処理装置にお
いて、前記の領域抽出手段は、肌の特性を決定するのに
各領域のヒストグラムから平均、分散、及び重心から決
定することを特徴とする。また、前記の画像処理装置に
おいて、前記の画像補正手段は、領域抽出手段により抽
出された領域の画像データについて、色相について、特
性に応じた肌色の記憶色のヒストグラムの重心に近づけ
るようにヒストグラムを伸張し、補正曲線を作成する。
また、前記の画像処理装置において、前記の画像補正手
段は、領域抽出手段により抽出された領域の画像データ
について、彩度について、特性に応じて彩度ヒストグラ
ムの伸長度を可変し、補正曲線を作成する。また、前記
の画像処理装置において、前記の領域抽出手段は、肌領
域を抽出する際に２回に分けて行う。まず画像データか
ら肌候補領域を抽出し、次に、抽出された肌候補領域か
ら肌領域を抽出する。これにより、画像から高速に肌領
域をまとめて抽出する。また、前記の画像処理装置にお
いて、前記の領域抽出手段は、画素を矩形化する矩形化
手段と、肌領域を抽出する際に、矩形化手段により矩形
化された矩形領域を特性ごとに統合して領域分割を行う
領域分割手段とからなり、領域分割手段は、隣接画素の
色相の差分が、対象画素の肌の種類ごとに決められた閾
値と比較して、閾値以内ならば画素を統合する。
置は、複数種類の肌色の特性があらかじめ分類されてお
り、画像データから肌領域を抽出する領域抽出手段と、
領域抽出手段により抽出された各肌領域の画像データ
を、その領域の肌色の特性に応じて補正する画像補正手
段とからなる。これにより、画像から高精度に肌領域を
まとめて、抜けがなく抽出する。そして、肌の種類に応
じて、肌領域を補正する。また、この画像処理装置にお
いて、前記の領域抽出手段は、肌の特性を決定するのに
各領域のヒストグラムから平均、分散、及び重心から決
定することを特徴とする。また、前記の画像処理装置に
おいて、前記の画像補正手段は、領域抽出手段により抽
出された領域の画像データについて、色相について、特
性に応じた肌色の記憶色のヒストグラムの重心に近づけ
るようにヒストグラムを伸張し、補正曲線を作成する。
また、前記の画像処理装置において、前記の画像補正手
段は、領域抽出手段により抽出された領域の画像データ
について、彩度について、特性に応じて彩度ヒストグラ
ムの伸長度を可変し、補正曲線を作成する。また、前記
の画像処理装置において、前記の領域抽出手段は、肌領
域を抽出する際に２回に分けて行う。まず画像データか
ら肌候補領域を抽出し、次に、抽出された肌候補領域か
ら肌領域を抽出する。これにより、画像から高速に肌領
域をまとめて抽出する。また、前記の画像処理装置にお
いて、前記の領域抽出手段は、画素を矩形化する矩形化
手段と、肌領域を抽出する際に、矩形化手段により矩形
化された矩形領域を特性ごとに統合して領域分割を行う
領域分割手段とからなり、領域分割手段は、隣接画素の
色相の差分が、対象画素の肌の種類ごとに決められた閾
値と比較して、閾値以内ならば画素を統合する。
【０００６】
【発明の実施の形態】以下、添付の図面を参照して本発
明の実施の形態を説明する。なお、図面において、同じ
参照記号は同一または同等のものを示す。本発明の実施
形態の情報処理装置（以下、システムという）は、中央
演算処理装置（以下、ＣＰＵという）を備えシステム全
体を制御する制御装置１（コンピュータ）を中心として
構成される。図１において、矢印はデータの流れを示
す。ディスプレイ２は、画像または文字などを表示する
と共に、操作のための各種画面の表示等を行う。キーボ
ード３とマウス４は、各種入力、指示操作等を行う。フ
ロッピーディスク５とハードディスク６は、画像データ
とその属性情報などを記憶及び保管するデータ保管媒体
であり、システムは、フロッピーディスク５とハードデ
ィスク６にそれぞれアクセスするフロッピーディスクド
ライブとハードディスクドライブを備える。プリンタ７
は、画像データ、画像編成により作成した図面などを用
紙上に印刷する。スキャナ８は、原稿から画像データを
読み取る。ＣＤ−ＲＯＭ９は、多量の各種データを記憶
する記憶媒体であり、システムは、ＣＤ−ＲＯＭ９にア
クセスするＣＤ−ＲＯＭドライブを備える。また、音声
出力のためのスピーカー１０と音声入力用のマイクロフ
ォン１１が接続される。
明の実施の形態を説明する。なお、図面において、同じ
参照記号は同一または同等のものを示す。本発明の実施
形態の情報処理装置（以下、システムという）は、中央
演算処理装置（以下、ＣＰＵという）を備えシステム全
体を制御する制御装置１（コンピュータ）を中心として
構成される。図１において、矢印はデータの流れを示
す。ディスプレイ２は、画像または文字などを表示する
と共に、操作のための各種画面の表示等を行う。キーボ
ード３とマウス４は、各種入力、指示操作等を行う。フ
ロッピーディスク５とハードディスク６は、画像データ
とその属性情報などを記憶及び保管するデータ保管媒体
であり、システムは、フロッピーディスク５とハードデ
ィスク６にそれぞれアクセスするフロッピーディスクド
ライブとハードディスクドライブを備える。プリンタ７
は、画像データ、画像編成により作成した図面などを用
紙上に印刷する。スキャナ８は、原稿から画像データを
読み取る。ＣＤ−ＲＯＭ９は、多量の各種データを記憶
する記憶媒体であり、システムは、ＣＤ−ＲＯＭ９にア
クセスするＣＤ−ＲＯＭドライブを備える。また、音声
出力のためのスピーカー１０と音声入力用のマイクロフ
ォン１１が接続される。
【０００７】図２は、制御装置１を中心としたブロック
図である。制御装置１は、ＣＰＵ２０１を中心として構
成され、ＣＰＵ２０１に接続されるデータバス２２０を
介して、種々の処理プログラムを記憶するＲＯＭ２０
３、各種データおよびプログラムを記憶するＲＡＭ２０
４、画像または文字等の表示をディスプレイ２に行う表
示制御回路２０５、キーボードからの入力を転送制御す
るキーボード制御回路２０６、マウス４からの入力を転
送制御するマウス制御回路２０７、フロッピーディスク
ドライブを制御するフロッピーディスクドライブ制御回
路２０８、ハードディスクドライブを制御するハードデ
ィスク制御回路２０９、プリンタ７への出力を制御する
プリンタ制御回路２１０、スキャナ８を制御するスキャ
ナ制御回路２１１、ＣＤ−ＲＯＭドライブを制御するＣ
Ｄ−ＲＯＭドライブ制御回路２１２、スピーカー１０を
制御するスピーカー制御装置２１３、および、マイクロ
フォン１１を制御するマイクロフォン制御回路２１４が
それぞれ接続される。
図である。制御装置１は、ＣＰＵ２０１を中心として構
成され、ＣＰＵ２０１に接続されるデータバス２２０を
介して、種々の処理プログラムを記憶するＲＯＭ２０
３、各種データおよびプログラムを記憶するＲＡＭ２０
４、画像または文字等の表示をディスプレイ２に行う表
示制御回路２０５、キーボードからの入力を転送制御す
るキーボード制御回路２０６、マウス４からの入力を転
送制御するマウス制御回路２０７、フロッピーディスク
ドライブを制御するフロッピーディスクドライブ制御回
路２０８、ハードディスクドライブを制御するハードデ
ィスク制御回路２０９、プリンタ７への出力を制御する
プリンタ制御回路２１０、スキャナ８を制御するスキャ
ナ制御回路２１１、ＣＤ−ＲＯＭドライブを制御するＣ
Ｄ−ＲＯＭドライブ制御回路２１２、スピーカー１０を
制御するスピーカー制御装置２１３、および、マイクロ
フォン１１を制御するマイクロフォン制御回路２１４が
それぞれ接続される。
【０００８】また、クロック回路２０２は、本システム
を動作させるために必要な各種クロック信号を供給す
る。さらに、データバスを介して各種拡張ボードを接続
するための拡張スロット２１５が接続される。なお、拡
張スロット２１５にＳＣＳＩボードを接続してフロッピ
ーディスクドライブ、ハードディスクドライブ、スキャ
ナー、ＣＤ−ＲＯＭドライブなどを接続してもよい。こ
のシステムにおいて、記憶媒体として、フロッピーディ
スク５とハードディスク６が使用されるが、ＭＯなどの
他の情報記憶媒体を用いてもよい。また、画像データの
入力装置としてスキャナ８及びＣＤ−ＲＯＭ９を使用す
るが、スチルビデオカメラ等の他の入力装置を用いても
よい。また、出力装置としてプリンタを使用するが、デ
ジタルコピアなどの他の出力装置を用いてもよい。
を動作させるために必要な各種クロック信号を供給す
る。さらに、データバスを介して各種拡張ボードを接続
するための拡張スロット２１５が接続される。なお、拡
張スロット２１５にＳＣＳＩボードを接続してフロッピ
ーディスクドライブ、ハードディスクドライブ、スキャ
ナー、ＣＤ−ＲＯＭドライブなどを接続してもよい。こ
のシステムにおいて、記憶媒体として、フロッピーディ
スク５とハードディスク６が使用されるが、ＭＯなどの
他の情報記憶媒体を用いてもよい。また、画像データの
入力装置としてスキャナ８及びＣＤ−ＲＯＭ９を使用す
るが、スチルビデオカメラ等の他の入力装置を用いても
よい。また、出力装置としてプリンタを使用するが、デ
ジタルコピアなどの他の出力装置を用いてもよい。
【０００９】このシステムにおける画像補正処理におい
て、画像データに対して画像補正がなされる。画像補正
ルーチンには、本発明の対象である肌領域の検出と補正
が含まれる。補正処理開始命令がユーザーにより入力さ
れると、このルーチンが起動され、画像補正処理を行
う。画像補正には、その他に、画像ファイル入出力処
理、画像表示処理、補正操作用グラフィックユーザーイ
ンタフェース(ＧＵＩ)処理、ＧＵＩ処理におけるエラー
処理および解像度変更処理が含まれるが、これらについ
ての説明は省略する。
て、画像データに対して画像補正がなされる。画像補正
ルーチンには、本発明の対象である肌領域の検出と補正
が含まれる。補正処理開始命令がユーザーにより入力さ
れると、このルーチンが起動され、画像補正処理を行
う。画像補正には、その他に、画像ファイル入出力処
理、画像表示処理、補正操作用グラフィックユーザーイ
ンタフェース(ＧＵＩ)処理、ＧＵＩ処理におけるエラー
処理および解像度変更処理が含まれるが、これらについ
ての説明は省略する。
【００１０】画像補正において、画像中に複数の肌の異
なる人が含まれていても、各々の肌の特性を考慮して肌
を補正する。このため、あらかじめ複数種の肌領域を特
性ごとに分類しておく。そして、入力画像データから肌
の種類に応じて肌領域を抽出し、各肌領域の特性を考慮
して適正に画像データの補正を行う。表１は、肌の種類
ごとの補正を示す。ここでは、肌領域は、白、黄色、黄
褐色に分類される。白の場合、色相ヒストグラムを、記
憶色の肌色（ピンク）の方向へ重心をずらすように伸長
し、彩度ヒストグラムを、標準彩度方向に伸長する。ま
た、黄色の場合、色相ヒストグラムを、記憶色の肌色方
向へ重心をずらすように伸長し、彩度ヒストグラムを、
高彩度方向に伸長する。また、黄褐色の場合、記憶色の
肌色（橙）の方向へ重心をずらすように伸長し、彩度ヒ
ストグラムを、低彩度方向に伸長する。
なる人が含まれていても、各々の肌の特性を考慮して肌
を補正する。このため、あらかじめ複数種の肌領域を特
性ごとに分類しておく。そして、入力画像データから肌
の種類に応じて肌領域を抽出し、各肌領域の特性を考慮
して適正に画像データの補正を行う。表１は、肌の種類
ごとの補正を示す。ここでは、肌領域は、白、黄色、黄
褐色に分類される。白の場合、色相ヒストグラムを、記
憶色の肌色（ピンク）の方向へ重心をずらすように伸長
し、彩度ヒストグラムを、標準彩度方向に伸長する。ま
た、黄色の場合、色相ヒストグラムを、記憶色の肌色方
向へ重心をずらすように伸長し、彩度ヒストグラムを、
高彩度方向に伸長する。また、黄褐色の場合、記憶色の
肌色（橙）の方向へ重心をずらすように伸長し、彩度ヒ
ストグラムを、低彩度方向に伸長する。
【００１１】表１ 肌の種類ごとの補正
【００１２】図３は、画像補正における肌補正のフロー
を示す。まず、入力画像データから肌色を抽出する。入
力画像をＲＧＢ信号からＨＳＬ信号に変換し（ステップ
Ｓ１０、以下「ステップ」を省略する）、Ｈ(色相)から
肌候補領域を粗く抽出する（Ｓ１２）。次に、抽出され
た肌侯補領域のＨＳＬ信号をＬａｂ信号に変換して（Ｓ
１４）、ａｂ(色相)から肌領域を細かく抽出する（Ｓ１
６）。このように２段階で肌を抽出するので、画像から
高精度かつ高速に肌領域をまとめて抽出する。画像抽出
は、抜けがなく行える。次に、肌を補正する。まず、抽
出された肌領域ごとに色相と彩度のヒストグラムを作成
する（Ｓ１８）。次に、作成されたヒストグラムから、
平均、分散及び重心を算出し、肌特性を分類し（Ｓ２
０）、分類ごとにヒストグラムを整形する（Ｓ２２）。
次に、ヒストグラムの整形に対応して補正曲線を作成し
（Ｓ２４）、それを用いて肌色を修正する（Ｓ２６）。
を示す。まず、入力画像データから肌色を抽出する。入
力画像をＲＧＢ信号からＨＳＬ信号に変換し（ステップ
Ｓ１０、以下「ステップ」を省略する）、Ｈ(色相)から
肌候補領域を粗く抽出する（Ｓ１２）。次に、抽出され
た肌侯補領域のＨＳＬ信号をＬａｂ信号に変換して（Ｓ
１４）、ａｂ(色相)から肌領域を細かく抽出する（Ｓ１
６）。このように２段階で肌を抽出するので、画像から
高精度かつ高速に肌領域をまとめて抽出する。画像抽出
は、抜けがなく行える。次に、肌を補正する。まず、抽
出された肌領域ごとに色相と彩度のヒストグラムを作成
する（Ｓ１８）。次に、作成されたヒストグラムから、
平均、分散及び重心を算出し、肌特性を分類し（Ｓ２
０）、分類ごとにヒストグラムを整形する（Ｓ２２）。
次に、ヒストグラムの整形に対応して補正曲線を作成し
（Ｓ２４）、それを用いて肌色を修正する（Ｓ２６）。
【００１３】図４は、具体的な肌補正のフローを示す。
まず、画像データ（ＲＧＢ信号）を入力し（Ｓ１０
０）、画像データを矩形に分割（モザイク化）する（Ｓ
１０２）。次に、入力されたＲＧＢ信号をＨＳＬ信号に
変換する（Ｓ１０４）。次に、画像データから肌色を抽
出する。まず、矩形ごとの色相値（Ｈ)から肌候補領域
を粗く抽出する（Ｓ１０６）。ここでは抽出する色相の
範囲を限定して、大体ほとんどの種類の肌が抽出できる
ようにしている（肌の候補領域の抽出)。ただし肌の種
類は特定できない。次に、抽出された肌侯補領域に対し
てのみ、ＨＳＬ信号をＬａｂ信号に変換する（Ｓ１０
８）。次に、矩形ごとの色相値（ａｂ)から肌候補領域
を細かく抽出する（Ｓ１１０）。すなわち、ａｂ信号
（色相と彩度）から肌の種類を特定し肌候補領域を抽出
する。このように２段階で肌候補領域を求めるので、抽
出が高速に行える。次に、画像を肌領域に分割する（Ｓ
１１２）。ここで、上の処理で矩形の単位で特定した肌
の種類ごとに肌候補領域を統合し、画像を肌領域に分割
していく。統合においては、隣接画素との色相の差分
を、対象画素の肌の種類ごとに決められた閾値と比較し
て、閾値以内ならば統合する。
まず、画像データ（ＲＧＢ信号）を入力し（Ｓ１０
０）、画像データを矩形に分割（モザイク化）する（Ｓ
１０２）。次に、入力されたＲＧＢ信号をＨＳＬ信号に
変換する（Ｓ１０４）。次に、画像データから肌色を抽
出する。まず、矩形ごとの色相値（Ｈ)から肌候補領域
を粗く抽出する（Ｓ１０６）。ここでは抽出する色相の
範囲を限定して、大体ほとんどの種類の肌が抽出できる
ようにしている（肌の候補領域の抽出)。ただし肌の種
類は特定できない。次に、抽出された肌侯補領域に対し
てのみ、ＨＳＬ信号をＬａｂ信号に変換する（Ｓ１０
８）。次に、矩形ごとの色相値（ａｂ)から肌候補領域
を細かく抽出する（Ｓ１１０）。すなわち、ａｂ信号
（色相と彩度）から肌の種類を特定し肌候補領域を抽出
する。このように２段階で肌候補領域を求めるので、抽
出が高速に行える。次に、画像を肌領域に分割する（Ｓ
１１２）。ここで、上の処理で矩形の単位で特定した肌
の種類ごとに肌候補領域を統合し、画像を肌領域に分割
していく。統合においては、隣接画素との色相の差分
を、対象画素の肌の種類ごとに決められた閾値と比較し
て、閾値以内ならば統合する。
【００１４】次に、肌を補正する。まず、抽出され統合
された肌領域ごとに色相と彩度のヒストグラムを作成す
る（Ｓ１１４）。次に、肌の特性を決定するため、作成
されたヒストグラムから、平均、分散及び重心を算出す
る（Ｓ１１６）。次に、Ｓ１１０で得られた属性を判断
し（Ｓ１１８）、領域ごとに表１に示す処理を行う。ま
ず肌の種類を分類する（Ｓ１２０）。次に、上述のヒス
トグラムの平均、分散および重心を基に、色相につい
て、種類に応じた記憶色の肌色方向へ重心をずらすよう
にヒストグラムを伸長し、彩度について、種類に応じて
ある方向へ伸長する（Ｓ１２２）。次に、色相と彩度に
ついて補正曲線を作成し（Ｓ１２４）、それを用いて肌
を修正する（Ｓ１２６）。次に、次に処理するべき領域
があるか否かを判定する（Ｓ１２８）。次の領域があれ
ば、Ｓ１１６に戻り、肌補正処理を続ける。次の領域が
なければ、処理を終了する。
された肌領域ごとに色相と彩度のヒストグラムを作成す
る（Ｓ１１４）。次に、肌の特性を決定するため、作成
されたヒストグラムから、平均、分散及び重心を算出す
る（Ｓ１１６）。次に、Ｓ１１０で得られた属性を判断
し（Ｓ１１８）、領域ごとに表１に示す処理を行う。ま
ず肌の種類を分類する（Ｓ１２０）。次に、上述のヒス
トグラムの平均、分散および重心を基に、色相につい
て、種類に応じた記憶色の肌色方向へ重心をずらすよう
にヒストグラムを伸長し、彩度について、種類に応じて
ある方向へ伸長する（Ｓ１２２）。次に、色相と彩度に
ついて補正曲線を作成し（Ｓ１２４）、それを用いて肌
を修正する（Ｓ１２６）。次に、次に処理するべき領域
があるか否かを判定する（Ｓ１２８）。次の領域があれ
ば、Ｓ１１６に戻り、肌補正処理を続ける。次の領域が
なければ、処理を終了する。
【００１５】図５と図６は、色相ヒストグラムの整形の
１例を示す。図５は肌領域の色相ヒストグラムである。
このヒストグラムは、図６に示すように、種類に応じた
記憶色の肌色の重心ｂの方向へ重心ａをずらすように伸
長される。また、図７と図８は、彩度ヒストグラムの整
形の１例を示す。図７は肌領域の彩度ヒストグラムであ
る。このヒストグラムは、図８に示すように、高彩度方
向に伸張される。そして、ヒストグラムの整形に関連し
て、図９に示すように、入力データに対して出力データ
を補正する補正曲線が決定される。
１例を示す。図５は肌領域の色相ヒストグラムである。
このヒストグラムは、図６に示すように、種類に応じた
記憶色の肌色の重心ｂの方向へ重心ａをずらすように伸
長される。また、図７と図８は、彩度ヒストグラムの整
形の１例を示す。図７は肌領域の彩度ヒストグラムであ
る。このヒストグラムは、図８に示すように、高彩度方
向に伸張される。そして、ヒストグラムの整形に関連し
て、図９に示すように、入力データに対して出力データ
を補正する補正曲線が決定される。
【００１６】
【発明の効果】肌色領域を特性ごとに分類し、その特性
に応じて補正を行うので、画像内に複数の肌の種類があ
っても、個別に対応できる。肌の抽出において、１回目
は処理を簡単にして粗く、２回目は処理は重いが細かく
抽出するので、肌が高速で抽出される。
に応じて補正を行うので、画像内に複数の肌の種類があ
っても、個別に対応できる。肌の抽出において、１回目
は処理を簡単にして粗く、２回目は処理は重いが細かく
抽出するので、肌が高速で抽出される。
【図１】 システムの全体構成の図
【図２】 制御装置を中心としたブロック図
【図３】 肌色補正の一般的なフローチャート
【図４】 具体的な肌色補正のフローチャート
【図５】 色相ヒストグラムの１例の図
【図６】 色相ヒストグラムの整形の１例の図
【図７】 彩度ヒストグラムの１例の図
【図８】 彩度ヒストグラムの整形の１例の図
【図９】 補正曲線作成の１例の図
【符号の説明】 １ 制御装置、 ２０１ ＣＰＵ。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 1/46 Ｚ Ｆターム(参考） 5B057 AA20 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC03 CE17 DA08 DA20 DB02 DB06 DB09 DC06 DC19 DC25 5C066 AA11 BA13 CA05 EB02 EB03 GA01 GB01 KA11 KA12 KD06 KE09 KE17 5C077 LL01 LL18 MM03 MP08 PP21 PP27 PP32 PP35 PP36 PP37 PP46 PP47 PP65 PQ18 PQ19 PQ20 TT09 5C079 HB01 HB06 HB08 HB11 LA06 LA26 LA39 LB00 LB01 NA03 NA11 5L096 AA02 AA06 BA20 CA02 DA01 FA15 FA32 FA33 FA35 FA60 GA07 GA19 GA38 GA41 GA51
Claims (6)
- 【請求項１】 複数種類の肌色の特性があらかじめ分類
されており、その分類に基づいて入力画像データから肌
領域を抽出する領域抽出手段と、 領域抽出手段により抽出された各肌領域の画像データ
を、その領域の肌色の特性に応じて補正する画像補正手
段とからなる画像処理装置。 - 【請求項２】 前記の領域抽出手段は、各領域の画像デ
ータのヒストグラムから得られた平均、分散及び重心か
ら肌の特性を決定することを特徴とする請求項１に記載
された画像処理装置。 - 【請求項３】 前記の画像補正手段は、領域抽出手段に
より抽出された領域の色相について、特性に応じた肌色
の記憶色のヒストグラムの重心に近づけるようにヒスト
グラムを伸張し、補正曲線を作成することを特徴とする
請求項１に記載された画像処理装置。 - 【請求項４】 前記の画像補正手段は、領域抽出手段に
より抽出された領域の彩度について、特性に応じて彩度
ヒストグラムの伸長度を可変し、補正曲線を作成するこ
とを特徴とする請求項１に記載された画像処理装置。 - 【請求項５】 前記の領域抽出手段は、肌領域を抽出す
る際に、まず画像データから肌候補領域を抽出し、次
に、抽出された肌候補領域から肌領域を抽出することを
特徴とする請求項１に記載された画像処理装置。 - 【請求項６】 前記の領域抽出手段は、 画素を矩形化する矩形化手段と、 肌領域を抽出する際に、矩形化手段により矩形化された
矩形領域を特性ごとに統合して領域分割を行う領域分割
手段とからなり、 領域分割手段は、隣接画素の色相の差分が、対象画素の
肌の種類ごとに決められた閾値と比較して、閾値以内な
らば画素を統合することを特徴とする画像処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11183444A JP2001014457A (ja) | 1999-06-29 | 1999-06-29 | 画像処理装置 |
| US09/605,637 US6963663B1 (en) | 1999-06-29 | 2000-06-28 | Image processing for image correction |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11183444A JP2001014457A (ja) | 1999-06-29 | 1999-06-29 | 画像処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001014457A true JP2001014457A (ja) | 2001-01-19 |
Family
ID=16135887
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11183444A Pending JP2001014457A (ja) | 1999-06-29 | 1999-06-29 | 画像処理装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6963663B1 (ja) |
| JP (1) | JP2001014457A (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003022441A (ja) * | 2001-07-06 | 2003-01-24 | Minolta Co Ltd | 領域抽出方法、領域抽出プログラム、領域抽出プログラムを記録したコンピュータ読取可能な記録媒体、および領域抽出装置 |
| JP2003111007A (ja) * | 2001-09-27 | 2003-04-11 | Fuji Photo Film Co Ltd | 画像処理システム、撮像装置、画像処理装置、画像処理方法、及びプログラム |
| JP2009124744A (ja) * | 2009-01-22 | 2009-06-04 | Hitachi Ltd | 映像表示装置 |
| JP2013070296A (ja) * | 2011-09-26 | 2013-04-18 | Hitachi Consumer Electronics Co Ltd | 立体映像処理装置、立体表示装置、立体映像処理方法、および受信装置 |
| JP2015046092A (ja) * | 2013-08-29 | 2015-03-12 | セイコーエプソン株式会社 | 画像処理装置とこれを有する頭部装着型表示装置 |
| JP2017184160A (ja) * | 2016-03-31 | 2017-10-05 | 京セラドキュメントソリューションズ株式会社 | 画像形成装置、色変換プログラムおよび色変換方法 |
| JP2018074468A (ja) * | 2016-11-01 | 2018-05-10 | 凸版印刷株式会社 | 画像処理方法 |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7106887B2 (en) * | 2000-04-13 | 2006-09-12 | Fuji Photo Film Co., Ltd. | Image processing method using conditions corresponding to an identified person |
| JP4344925B2 (ja) * | 2003-12-15 | 2009-10-14 | 富士フイルム株式会社 | 画像処理装置、画像処理方法およびプリントシステム |
| US7460737B2 (en) | 2004-02-12 | 2008-12-02 | Hoshiko Llc | Method and apparatus for photograph finding |
| JP4277773B2 (ja) * | 2004-09-21 | 2009-06-10 | 株式会社日立製作所 | 映像表示装置 |
| US7627166B2 (en) * | 2005-09-28 | 2009-12-01 | Yahoo! Inc. | Method and mechanism for processing image data |
| TWI279146B (en) * | 2005-10-27 | 2007-04-11 | Princeton Technology Corp | Image compensation device and method |
| US20070098257A1 (en) * | 2005-10-31 | 2007-05-03 | Shesha Shah | Method and mechanism for analyzing the color of a digital image |
| US7583839B2 (en) * | 2005-10-31 | 2009-09-01 | Yahoo! Inc. | Method and mechanism for analyzing the texture of a digital image |
| US7831111B2 (en) * | 2005-10-31 | 2010-11-09 | Yahoo! Inc. | Method and mechanism for retrieving images |
| KR100862341B1 (ko) * | 2006-11-13 | 2008-10-13 | 삼성전기주식회사 | 사람의 피부 영역 검출장치 및 그 방법 |
| JP5023024B2 (ja) * | 2007-09-06 | 2012-09-12 | ミツミ電機株式会社 | 色補正回路及びこれを用いた画像表示装置 |
| US8218860B1 (en) * | 2008-08-28 | 2012-07-10 | Adobe Systems Incorporated | Method and system for replacing color ranges in an image |
| KR20140121711A (ko) * | 2013-04-08 | 2014-10-16 | 삼성전자주식회사 | 색 추출 기반의 영상 처리 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 디지털 영상 장치 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04346334A (ja) * | 1991-05-23 | 1992-12-02 | Fuji Photo Film Co Ltd | 特徴画像データの抽出方法 |
| JPH05158164A (ja) * | 1991-12-05 | 1993-06-25 | Fuji Photo Film Co Ltd | 特徴画像データの抽出方法 |
| JPH0630318A (ja) * | 1992-07-10 | 1994-02-04 | Sony Corp | ビデオカメラシステム |
| JPH06111083A (ja) * | 1992-09-29 | 1994-04-22 | Olympus Optical Co Ltd | ビデオｉｄフォトシステム |
| JPH06165196A (ja) * | 1992-11-26 | 1994-06-10 | Matsushita Electron Corp | ニューラルネットワークを用いた画質補正方法 |
| JPH0862741A (ja) * | 1994-08-23 | 1996-03-08 | Matsushita Electric Ind Co Ltd | 階調補正装置 |
| JPH0944670A (ja) * | 1995-07-28 | 1997-02-14 | Sharp Corp | 特定画像領域抽出方法及び特定画像領域抽出装置 |
| JPH10327427A (ja) * | 1997-05-26 | 1998-12-08 | Matsushita Electric Ind Co Ltd | 輪郭補正装置 |
| JPH10334213A (ja) * | 1997-05-27 | 1998-12-18 | Sharp Corp | 画像処理装置及び画像処理装置制御プログラムを記憶した媒体 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4903145A (en) * | 1986-08-06 | 1990-02-20 | Canon Kabushiki Kaisha | Image quality control apparatus capable of density-correcting plural areas of different types |
| US6072526A (en) * | 1990-10-15 | 2000-06-06 | Minolta Co., Ltd. | Image sensing device that can correct colors corresponding to skin in a video signal |
| US5309228A (en) * | 1991-05-23 | 1994-05-03 | Fuji Photo Film Co., Ltd. | Method of extracting feature image data and method of extracting person's face data |
| US5557688A (en) * | 1992-11-18 | 1996-09-17 | Fuji Photo Film Co., Ltd. | Method of extracting characteristic image data and color data conversion device for image processing apparatus |
| JP3017384B2 (ja) * | 1993-07-19 | 2000-03-06 | シャープ株式会社 | 特徴領域抽出装置 |
| JPH10268447A (ja) * | 1997-03-21 | 1998-10-09 | Fuji Photo Film Co Ltd | 画像処理装置及び写真焼付装置 |
| EP0927952B1 (en) * | 1997-12-30 | 2003-05-07 | STMicroelectronics S.r.l. | Digital image color correction device employing fuzzy logic |
| JP3636927B2 (ja) * | 1999-05-18 | 2005-04-06 | 三菱電機株式会社 | 顔画像処理装置 |
-
1999
- 1999-06-29 JP JP11183444A patent/JP2001014457A/ja active Pending
-
2000
- 2000-06-28 US US09/605,637 patent/US6963663B1/en not_active Expired - Lifetime
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04346334A (ja) * | 1991-05-23 | 1992-12-02 | Fuji Photo Film Co Ltd | 特徴画像データの抽出方法 |
| JPH05158164A (ja) * | 1991-12-05 | 1993-06-25 | Fuji Photo Film Co Ltd | 特徴画像データの抽出方法 |
| JPH0630318A (ja) * | 1992-07-10 | 1994-02-04 | Sony Corp | ビデオカメラシステム |
| JPH06111083A (ja) * | 1992-09-29 | 1994-04-22 | Olympus Optical Co Ltd | ビデオｉｄフォトシステム |
| JPH06165196A (ja) * | 1992-11-26 | 1994-06-10 | Matsushita Electron Corp | ニューラルネットワークを用いた画質補正方法 |
| JPH0862741A (ja) * | 1994-08-23 | 1996-03-08 | Matsushita Electric Ind Co Ltd | 階調補正装置 |
| JPH0944670A (ja) * | 1995-07-28 | 1997-02-14 | Sharp Corp | 特定画像領域抽出方法及び特定画像領域抽出装置 |
| JPH10327427A (ja) * | 1997-05-26 | 1998-12-08 | Matsushita Electric Ind Co Ltd | 輪郭補正装置 |
| JPH10334213A (ja) * | 1997-05-27 | 1998-12-18 | Sharp Corp | 画像処理装置及び画像処理装置制御プログラムを記憶した媒体 |
Non-Patent Citations (1)
| Title |
|---|
| 堀田裕弘、宮原誠: "カラー画像の領域分割符号化", 画像符号化シンポジウム 第６回シンポジウム 予稿集, JPN6008029987, 9 October 1991 (1991-10-09), JP, pages 207 - 210, ISSN: 0001069599 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003022441A (ja) * | 2001-07-06 | 2003-01-24 | Minolta Co Ltd | 領域抽出方法、領域抽出プログラム、領域抽出プログラムを記録したコンピュータ読取可能な記録媒体、および領域抽出装置 |
| JP2003111007A (ja) * | 2001-09-27 | 2003-04-11 | Fuji Photo Film Co Ltd | 画像処理システム、撮像装置、画像処理装置、画像処理方法、及びプログラム |
| JP2009124744A (ja) * | 2009-01-22 | 2009-06-04 | Hitachi Ltd | 映像表示装置 |
| JP2013070296A (ja) * | 2011-09-26 | 2013-04-18 | Hitachi Consumer Electronics Co Ltd | 立体映像処理装置、立体表示装置、立体映像処理方法、および受信装置 |
| JP2015046092A (ja) * | 2013-08-29 | 2015-03-12 | セイコーエプソン株式会社 | 画像処理装置とこれを有する頭部装着型表示装置 |
| JP2017184160A (ja) * | 2016-03-31 | 2017-10-05 | 京セラドキュメントソリューションズ株式会社 | 画像形成装置、色変換プログラムおよび色変換方法 |
| JP2018074468A (ja) * | 2016-11-01 | 2018-05-10 | 凸版印刷株式会社 | 画像処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US6963663B1 (en) | 2005-11-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2001014457A (ja) | 画像処理装置 | |
| US10438361B2 (en) | Image processing apparatus and image processing method for finding background regions in an image | |
| US9189681B2 (en) | Image processing apparatus, method thereof, and computer-readable storage medium | |
| US7054485B2 (en) | Image processing method, apparatus and system | |
| US6865290B2 (en) | Method and apparatus for recognizing document image by use of color information | |
| EP2367138B1 (en) | Image attribute discrimination apparatus, attribute discrimination support apparatus, image attribute discrimination method, attribute discrimination support apparatus controlling method, and control program | |
| US9280720B2 (en) | Apparatus, method, and computer-readable storage medium | |
| US10007846B2 (en) | Image processing method | |
| JPH10162118A (ja) | 画像処理装置及び方法 | |
| KR101224936B1 (ko) | 화상 처리 장치, 화상 형성 장치, 및 컴퓨터 판독 가능한 매체 | |
| JP2000339471A (ja) | 画像抽出方法およびその装置 | |
| JP2000348173A (ja) | 唇抽出方法 | |
| JP2004120092A (ja) | 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム | |
| US8533590B2 (en) | Information processing apparatus and layout processing method | |
| RU2329535C2 (ru) | Способ автоматического кадрирования фотографий | |
| JP2000123148A (ja) | 顔の特徴抽出装置 | |
| JP2001222717A (ja) | 文書画像認識方法、装置及びコンピュータ読み取り可能な記録媒体 | |
| JP2007219899A (ja) | 個人識別装置、個人識別方法および個人識別プログラム | |
| JP2001209808A (ja) | 物体抽出システムと方法並びに物体抽出用プログラムを記憶した記憶媒体 | |
| JP2002175532A (ja) | 画像処理装置、画像処理方法および画像処理プログラムを記録した記憶媒体 | |
| JP4207256B2 (ja) | カラー画像の領域分割方法およびプログラム記憶媒体 | |
| JP2000333022A (ja) | 画像の二値化方法及び装置並びに記憶媒体 | |
| JP2001016470A (ja) | 画像処理装置 | |
| JP2002208013A (ja) | 画像領域抽出装置及び画像領域抽出方法 | |
| JPH04307668A (ja) | 概略画像作成方法および装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050614 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050920 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20051208 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20051208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080624 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080821 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080930 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090224 |