JP2004178272A

JP2004178272A - Image processing apparatus and image processing method

Info

Publication number: JP2004178272A
Application number: JP2002343790A
Authority: JP
Inventors: Hidenobu Iida; 秀延飯田; Michio Miwa; 道雄三輪
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2002-11-27
Filing date: 2002-11-27
Publication date: 2004-06-24
Anticipated expiration: 2022-11-27
Also published as: JP4226308B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processing apparatus and an image processing method which eliminate from color information in image information influence by the condition giving the influence to color information such as the luminous intensity of a light source. <P>SOLUTION: This apparatus has a constitution comprising: an image information input means 111 by which image information is input; a pattern color storing means 112 which stores a certain specific pattern information and color information related to the pattern information; a domain extraction means 114 which extracts a domain including information for the pattern information from the image information; a relational expression calculating means 115 which calculates an expression indicating the relation between color information in the domain and the color information stored in the pattern color storing means 112; and a color information changing means 116 which changes the color information in the image information based on the expression indicating the relation. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、画像情報からある特定の物体の像を判別するために画像情報に処理を施す画像処理装置および画像処理方法に関する。
【０００２】
【従来の技術】
従来、色彩情報に基づいて画像情報に含まれる特定の物体を判別する画像処理装置および画像処理方法が提供されていた（例えば、特許文献１を参照）。
【０００３】
図５に、従来の画像処理装置５００を示す。図５において、画像情報生成手段５０１によって複数の人間の顔が撮像され、生成された複数の人間の顔のサンプル画像情報が画像情報入力手段５０２を介して主成分分析手段５１０に入力され、主成分分析手段５１０によってサンプル画像情報における色彩情報が主成分分析され、色変換パラメータなどの後述する判別対象画像情報を色変換するために必要なパラメータが生成されるようになっていた。
【０００４】
また、画像情報生成手段５０１によって判別したい人間の顔が撮像され、生成された判別対象画像情報が画像情報入力手段５０２を介して判別手段５２０に入力され、判別対象画像情報が複数のサンプル画像情報から予め生成された色変換パラメータによって色変換され、判別手段５２０によって判別された判別結果が判別結果出力手段５０３から出力されるようになっていた。
【０００５】
【特許文献１】
特開２００１−３３８２９０号公報（第４―７頁、図１）
【０００６】
【発明が解決しようとする課題】
しかしながら、このような従来の画像処理装置および画像処理方法では、予め人間の顔と分かっている複数のサンプル画像情報から作成されたパラメータをそのまま用いて、判別対象の画像情報を色変換していた。そのため、複数のサンプル画像情報が撮像された状況と判別対象の画像情報が撮像された状況とで、光源の光度などの色彩情報に影響を与える条件が大きく異なる場合、一般に判別の精度が低下してしまうという問題があった。
【０００７】
本発明は、このような問題を解決するためになされたものであり、光源の光度などの色彩情報に影響を与える条件による影響を画像情報における色彩情報から消去することができる画像処理装置および画像処理方法を提供するものである。
【０００８】
【課題を解決するための手段】
本発明の画像処理装置は、画像情報が入力される画像情報入力手段と、ある特定の模様情報および前記模様情報に関連付けられた色彩情報を記憶する模様色彩記憶手段と、前記画像情報から前記模様情報に相当する情報を含む領域を抽出する領域抽出手段と、前記領域における色彩情報と前記模様色彩記憶手段に記憶された色彩情報との関係を表す式を算出する関係式算出手段と、前記関係を表す式に基づいて前記画像情報における色彩情報を変更する色彩情報変更手段とを備えた構成を有している。
【０００９】
この構成により、予め記憶された模様情報に相当する情報を含む領域が画像情報から抽出され、抽出された領域における色彩情報と予め記憶された模様情報に関連付けられた色彩情報との関係を表す式に基づいて画像情報の色彩情報が変更されるので、光源の光度などの条件による影響を画像情報における色彩情報から消去することができる。
【００１０】
本発明の画像処理装置は、前記色彩情報変更手段によって前記色彩情報を変更された前記画像情報から前記模様情報に関連付けられた色彩情報に相当する情報を含む領域を抽出する色彩領域抽出手段と、前記色彩領域抽出手段によって抽出された領域がある特定の物体の像であるか判別する判別手段とを備えた構成を有している。
【００１１】
この構成により、予め記憶された模様情報に相当する情報を含む領域が画像情報から抽出され、抽出された領域における色彩情報と予め記憶された模様情報に関連付けられた色彩情報との関係を表す式に基づいて色彩情報が変更された画像情報において、予め記憶された模様情報に関連付けられた色彩情報に相当する情報を含む領域が特定の物体の像であるか判別が行われるので、光源の光度などの色彩情報に影響を与える条件に関係なく判別の精度を高く保つことができる。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
【００１３】
図１は、本発明の一実施の形態の画像処理装置１１０によって構成される画像処理システム１００のブロック図である。
【００１４】
図１において、画像処理システム１００は、予め決められた範囲を撮像し、撮像された範囲の画像情報を生成する画像情報生成装置１０１と、画像情報生成装置１０１によって生成された画像情報に画像処理を施し、画像情報から人間の顔の像である領域を判別する画像処理装置１１０とを備える。
【００１５】
画像処理装置１１０は、画像情報生成装置１０１によって生成された画像情報が入力される画像情報入力手段１１１と、人間の顔の模様情報および人間の顔の色彩情報を記憶する模様色彩記憶手段１１２と、後述の領域抽出手段１１４が模様領域を抽出しやすくするための前処理を画像情報に対して行う画像情報前処理手段１１３とを備える。また、画像処理装置１１０は、模様色彩記憶手段１１２に記憶されている人間の顔の模様情報に相当する情報を含む模様領域を画像情報から抽出する領域抽出手段１１４と、領域抽出手段１１４によって抽出された模様領域における色彩情報と模様色彩記憶手段１１２に記憶されている人間の顔の色彩情報との関係式を算出する関係式算出手段１１５と、関係式算出手段１１５によって算出された関係式に基づいて画像情報における色彩情報を変更する色彩情報変更手段１１６とを備える。さらに、画像処理装置１１０は、色彩情報を変更された画像情報から、模様色彩記憶手段１１２に記憶されている人間の顔の色彩情報に相当する情報を含む色彩領域を抽出する色彩領域抽出手段１１７と、色彩領域抽出手段１１７によって抽出された色彩領域が人間の顔として適切か判定し、人間の顔として適切と判定された色彩領域を人間の顔と判別する判別手段１１８と、判別手段１１８によって人間の顔と判別された色彩領域を判別結果として外部に出力する判別結果出力手段１１９とを備える。
ここで、模様情報とは、判別対象である物体を撮像して、生成されたサンプル画像情報における明度および色彩などの濃淡によって形成される個々の部位の形、複数の部位の相対的な位置関係、複数の部位間の距離の比、その他の模様を示す特徴量を有する情報をいう。
さらに、色彩情報とは、ＲＧＢ信号、ＨＳＶ信号、ＨＬＳ信号、Ｌａｂ信号、Ｌｕｖ信号、Ｙｕｖ信号、その他の画像情報における色彩を構成する情報をいう。
なお、本実施の形態では、人間の顔を撮像して生成されたサンプル画像情報を濃淡画像に変換し、明度の濃淡によって形成される複数の部位の相対的な位置関係を特徴量として有する情報を模様情報として用いる。しかしながら、本発明は、上記明度の濃淡によって形成される複数の部位の相対的な位置関係に限定されることなく、例えば明度の濃淡によって形成される複数の部位間の距離の比を特徴量として有する情報を模様情報として用いてもよい。
【００１６】
画像情報生成装置１０１は、例えば、監視カメラのように予め決められた範囲を連続的に撮像して、撮像された範囲の画像情報を生成し、生成された画像情報を画像処理装置１１０に出力するようになっている。
なお、本発明においては、画像情報生成装置１０１は、上記監視カメラに限定されることなく、ビデオ再生装置のように記録媒体に記録された画像情報を再生することで画像情報を外部に出力する装置であってもよい。
【００１７】
画像処理装置１１０の画像情報入力手段１１１は、外部に接続された画像情報生成装置１０１によって生成された画像情報が入力され、入力された画像情報を画像情報前処理手段１１３および色彩情報変更手段１１６に出力するようになっている。
【００１８】
画像処理装置１１０の模様色彩記憶手段１１２は、図２（ａ）に示されるように人間の顔において、明度の濃淡によって形成される部位のそれぞれに対する相対的位置関係を人間の顔の模様情報として記憶し、かつ人間の顔の色彩情報、例えば人間独特の肌の色、または人間の顔の全体的な色の分布情報などを記憶するようになっている。さらに、模様色彩記憶手段１１２は、人間の顔の模様情報としては、図２（ａ）に示すような人間の顔の正面の模様情報のみに限らず、例えば図２（ｂ）に示されるような角度から捉えられた人間の顔の模様情報など、複数の角度から捉えられた人間の顔の複数の模様情報を記憶するようになっていてもよい。
【００１９】
画像処理装置１１０の画像情報前処理手段１１３は、領域抽出手段１１４が画像情報から模様色彩記憶手段１１２に記憶されている人間の顔の模様情報に相当する情報を含む模様領域を抽出しやすくするために、画像情報を明度の濃淡画像に変換し、さらに明度の濃淡の度合を正規化するなどの前処理を施すようになっている。
【００２０】
画像処理装置１１０の領域抽出手段１１４は、模様色彩記憶手段１１２に記憶されている人間の顔の模様情報を取得し、画像情報前処理手段１１３によって濃淡画像に変換された画像情報を予め決められた大きさの枠で走査するようになっている。さらに、領域抽出手段１１４は、枠内の領域において、濃淡によって形成された模様情報と模様色彩記憶手段１１２から取得された人間の顔の模様情報との相関値を算出し、最も高い相関値が予め決められた閾値を超えた場合、最も高い相関値を算出した領域を人間の顔と判定し、模様領域として抽出するようになっている。
なお、模様色彩記憶手段１１２に複数の角度から捉えられた人間の顔の複数の模様情報が記憶されている場合、領域抽出手段１１４は、それぞれの角度の人間の顔の模様情報ごとに最も高い相関値を算出した後、最も高い相関値同士を比較する。さらに、領域抽出手段１１４は、比較の結果として、最も高い相関値を最高相関値とし、最高相関値が前記予め決められた一定の閾値を超えた場合、最高相関値を算出した領域を模様領域として抽出するようになっている。
【００２１】
画像処理装置１１０の関係式算出手段１１５は、領域抽出手段１１４によって抽出された模様領域における色彩情報を抽出し、抽出された模様領域における色彩情報と模様色彩記憶手段１１２に記憶されている人間の顔の色彩情報との関係を表す関係式を算出するようになっている。
ここで、例えば色彩情報をＲＧＢ空間における色分布とし、図３（ａ）および図３（ｂ）に示されるように、模様領域における色彩情報を色分布３０１、模様色彩記憶手段１１２に記憶されている人間の顔の色彩情報を色分布３０２とする。この場合において、色分布３０１の任意の３点（Ｒ１１，Ｇ１１，Ｂ１１）、（Ｒ１２，Ｇ１２，Ｂ１２）、（Ｒ１３，Ｇ１３，Ｂ１３）と（Ｒ１１，Ｇ１１，Ｂ１１）、（Ｒ１２，Ｇ１２，Ｂ１２）、（Ｒ１３，Ｇ１３，Ｂ１３）に色分布３０２において、それぞれ対応する３点（Ｒ２１，Ｇ２１，Ｂ２１）、（Ｒ２２，Ｇ２２，Ｂ２２）、（Ｒ２３，Ｇ２３，Ｂ２３）との関係が、（数１）によって表されるとすると、行列Ａは３×３の行列式となる。この行列Ａを関係式と呼び、（数２）の式によって関係式Ａを算出するようになっている。
また、（数１）の代わりに、（数３）によって関係が表される場合、（数４）および（数５）を用い、行列Ｂの逆行列を算出することで関係式Ａを算出するようにしてもよい。
【数１】

【数２】

【数３】

【数４】

【数５】

【００２２】
画像処理装置１１０の色彩情報変更手段１１６は、関係式算出手段１１５によって算出された関係式Ａを画像情報入力手段１１１から入力された画像情報の全画素における色彩情報に乗算するようになっている。関係式Ａが画像情報の全画素における色彩情報に乗算されることで、色彩情報変更手段１１６は、画像情報における色彩情報を変更し、画像情報に含まれる人間の顔の像における色彩情報を模様色彩記憶手段１１２に記憶されている人間の顔の色彩情報と一致させるようになっている。
【００２３】
画像処理装置１１０の色彩領域抽出手段１１７は、模様色彩記憶手段１１２に記憶されている人間の顔の色彩情報を取得し、色彩情報変更手段１１６によって色彩情報を変更された画像情報を予め決められた大きさの枠で走査するようになっている。さらに、色彩領域抽出手段１１７は、枠内の領域における色彩情報と模様色彩記憶手段１１２から取得された人間の顔の色彩情報とを比較し、一致している場合には枠内の領域を色彩領域として抽出するようになっている。
【００２４】
画像処理装置１１０の判別手段１１８は、色彩領域抽出手段１１７によって抽出された色彩領域の大きさ、形状または色彩領域内の色分布などを抽出し、人間の顔として適切な大きさ、形状または色分布などを有しているか判定することで、色彩領域を人間の顔として判別するようになっている。
なお、色彩領域抽出手段１１７が大きさ、形状または色分布などを含む色彩情報を用いることにより、色彩領域抽出手段１１７が判別手段１１８の機能を兼ねる構成を有してもよい。
【００２５】
画像処理装置１１０の判別結果出力手段１１９は、判別手段１１８によって人間の顔と判別された色彩領域を判別結果として外部に出力するようになっている。
【００２６】
以下、例として、図２（ａ）および図２（ｂ）に示されるような模様情報が人間の顔の模様情報として、また予め決められた光源の光度の下で撮像され、生成されたサンプル画像情報に含まれる人間の肌の色が前記模様情報に関連付けられた色彩情報として模様色彩記憶手段１１２に記憶され、画像情報生成装置１０１によって図２（ｃ）に示されるような画像情報が生成される場合における本実施の形態である画像処理装置１１０の動作について説明する。
【００２７】
図４は、画像処理装置１１０の動作を示すフローチャートである。
【００２８】
まず、画像情報生成装置１０１によって予め決められた範囲が撮像され、撮像された範囲の画像情報が生成され、生成された画像情報が画像処理装置１１０の画像情報入力手段１１１に入力される（Ｓ４０１）。
【００２９】
次に、画像情報入力手段１１１に入力された画像情報は、画像情報前処理手段１１３によって明度の濃淡画像に変換され、明度の濃淡の度合が正規化されることで前処理が施される（Ｓ４０２）。
【００３０】
続いて、ステップＳ４０２において前処理を施された画像情報は、模様抽出手段１１４に入力され、予め決められた大きさの枠で走査される。さらに、枠内の領域において、濃淡によって形成された模様情報と模様色彩記憶手段１１２に記憶されている人間の顔の模様情報との相関値が算出される（Ｓ４０３）。
なお、模様色彩記憶手段１１２に記憶されている人間の顔の模様情報が図２（ａ）および図２（ｂ）に示されるように複数である場合、図２（ａ）および図２（ｂ）、それぞれの人間の顔の模様情報ごとに相関値が算出される。
【００３１】
次いで、ステップＳ４０３において算出された相関値の中で最も高い最高相関値が予め決められた一定の閾値を超えたか判定される（Ｓ４０４）。
なお、模様色彩記憶手段１１２に記憶されている人間の顔の模様情報が図２（ａ）および図２（ｂ）に示されるように複数である場合、図２（ａ）および図２（ｂ）、それぞれにおける最も高い相関値同士が比較され、他方よりも高い相関値が最高相関値として予め決められた一定の閾値を超えたか判定される。
【００３２】
ここで、ステップＳ４０４において最高相関値が予め決められた一定の閾値を超えていないと判定された場合、模様色彩記憶手段１１２に記憶されている人間の顔の模様情報から判別できる人間の顔の像が入力された画像情報に含まれていないと判断され、ステップＳ４０１に戻され、新しい画像情報が入力される。
【００３３】
また、ステップＳ４０４において最高相関値がある一定の閾値を超えたと判定された場合、最高相関値が算出された領域が人間の顔の像と判別され、人間の顔の像と判別された領域は、模様領域として抽出される（Ｓ４０５）。
なお、ステップＳ４０４において図２（ｃ）における人間像２１０は、顔の像が大きく、かつ明度の濃淡によって顔の各部位の形およびそれぞれに対する相対的な位置関係が鮮明なので、図２（ａ）に示される模様情報との相関値が最も高く算出される。さらに、算出された最高相関値が予め決められた一定の閾値を超えるため、人間像２１０は、模様領域として抽出される。
一方、人間像２１１ａおよび人間像２１１ｂは、顔の像が小さく、明度の濃淡による顔の各部位の形および各部位のそれぞれに対する相対的な位置関係が鮮明でない像であり、また人間像２１１ｃの顔の像は、図２（ａ）および図２（ｂ）のいずれとも異なる。そのため、人間像２１１ａ、人間像２１１ｂおよび人間像２１１ｃは、図２（ａ）および図２（ｂ）に示される模様情報との相関値は低く算出されてしまい、ステップＳ４０４において人間２１１ａ、人間２１１ｂおよび人間２１１ｃは、人間の顔の像として判別されない。
【００３４】
次に、ステップＳ４０５において抽出された模様領域が関係式算出手段１１５に入力され、模様領域における色彩情報が抽出される（Ｓ４０６）。
【００３５】
続いて、ステップＳ４０６において抽出された模様領域における色彩情報と模様色彩記憶手段１１２に記憶されている人間の顔の色彩情報との関係式Ａが算出される（Ｓ４０７）。
【００３６】
次いで、ステップＳ４０１において画像情報入力手段１１１に入力された画像情報が色彩情報変更手段１１６に入力され、ステップＳ４０７において算出された関係式Ａが色彩情報変更手段１１６に入力された画像情報の全画素に乗算される。そうされることで、画像情報における色彩情報が変更され、画像情報に含まれる人間の顔の像における色彩情報と模様色彩記憶手段１１２に記憶されている人間の顔の色彩情報とが一致させられる（Ｓ４０８）。
ここで、図２（ｃ）に示された画像情報が生成された状況における光源の光度などの色彩情報に影響を与える条件は、模様色彩記憶手段１１２に記憶されている色彩情報が生成された状況における条件と異なっているのが通常で、同じ人間の肌の色であっても図２（ｃ）に含まれる人間の肌の色と模様色彩記憶手段１１２に記憶されている人間の肌の色とは色彩情報としては異なるものと判別される。しかし、ステップＳ４０８において図２（ｃ）に示された画像情報における人間像２１０の肌の色を模様色彩記憶手段１１２に記憶されている人間の肌の色と一致させるように、図２（ｃ）に示された画像情報の全体の色彩情報が変更されるため、人間像２１１ａ、人間像２１１ｂおよび人間像２１１ｃの肌の色も模様色彩記憶手段１１２に記憶されている人間の肌の色と一致させられる。
【００３７】
次に、ステップＳ４０８において色彩情報を変更された画像情報が色彩領域抽出手段１１７に入力され、入力された画像情報は、予め決められた大きさの枠で走査される。さらに、枠内の領域における色彩情報と模様色彩記憶手段１１２に記憶されている人間の顔の色彩情報とが比較され、一致している場合には、枠内の領域が色彩領域として抽出される（Ｓ４０９）。
なお、図２（ｃ）における人間像２１１ａ、人間像２１１ｂおよび人間像２１１ｃの色彩情報である肌の色は、ステップＳ４０８において模様色彩記憶手段１１２に色彩情報として記憶されている人間の肌の色と一致させられているため、ステップＳ４０９では、ステップＳ４０４において模様領域として抽出されなかった人間像２１１ａ、人間像２１１ｂおよび人間像２１１ｃの顔の像も色彩領域として抽出される。
【００３８】
続いて、ステップＳ４０９において抽出された色彩領域が判別手段１１８に入力されることで、判別手段１１８によって色彩領域の形状、大きさまたは色分布などが抽出され、色彩領域が人間の顔として適切な大きさ、形状または色分布などを有しているか判定される（Ｓ４１０）。
ここで、図２（ｃ）に示された画像情報において、模様色彩記憶手段１１２に記憶されている人間の肌の色と一致する領域は、人間の顔の像に限らず、ステップＳ４０９において図２（ｃ）における人間像２１１ａの腕部分２１２も色彩領域として抽出される。そのため、人間像２１１ａの腕部分２１２のように人間の顔として明らかに異なる大きさ、形状または色分布などを有する色彩領域を判別手段１１８によって除外することで、人間の顔の判別精度を向上させる。
【００３９】
次いで、ステップＳ４１０において人間の顔として適切と判定された色彩領域は、人間の顔と判別され（Ｓ４１１）、人間の顔と判別された色彩領域は判別結果として判別結果出力手段１１９によって外部に出力される。
【００４０】
また、上述した本実施の形態では、画像情報から人間の顔の像を判別するために模様情報および色彩情報を用いた場合について説明したが、本発明では、模様情報および色彩情報として任意の物体の特徴が反映させられたものを用いることもできる。この場合も、上述した本実施の形態と同様に、画像情報から任意の物体の像を判別する際に、光源の光度などの色彩情報に影響を与える条件による影響を画像情報における色彩情報から消去することができる。
【００４１】
【発明の効果】
以上説明したように、本発明の画像処理装置および画像処理方法によれば、光源の光度などの色彩情報に影響を与える条件による影響を画像情報における色彩情報から消去することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態の画像処理装置によって構成された画像処理システムを表すブロック図
【図２】本発明の一実施の形態の画像処理装置において、模様色彩記憶手段によって記憶されている人間の顔の模様情報を表す模様図および画像情報入力手段に入力される画像情報によって形成された画像図
【図３】本発明の一実施の形態の画像処理装置において、領域抽出手段によって抽出された模様領域における色彩情報のＲＧＢ空間における色分布を表す座標図および模様色彩記憶手段によって記憶されている人間の顔の色彩情報のＲＧＢ空間
における色分布を表す座標図
【図４】本発明の一実施の形態の画像処理装置による動作の流れを表すフローチャート
【図５】従来の画像処理装置を表すブロック図
【符号の説明】
１００画像処理システム
１０１画像情報生成装置
１１０画像処理装置
１１１画像情報入力手段
１１２模様色彩記憶手段
１１３画像情報前処理手段
１１４領域抽出手段
１１５関係式算出手段
１１６色彩情報変更手段
１１７色彩領域抽出手段
１１８判別手段
１１９判別結果出力手段
２１０、２１１ａ、２１１ｂ、２１１ｃ人間像
２１２人間像２１１ａの腕部分
３０１模様領域の色彩情報の色分布
３０２模様色彩記憶手段に記憶される色彩情報の色分布[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing apparatus and an image processing method for processing image information in order to determine an image of a specific object from image information.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, an image processing apparatus and an image processing method for determining a specific object included in image information based on color information have been provided (for example, see Patent Document 1).
[0003]
FIG. 5 shows a conventional image processing apparatus 500. In FIG. 5, a plurality of human faces are imaged by the image information generating means 501, and the generated sample image information of the plurality of human faces is input to the principal component analysis means 510 via the image information input means 502. The color information in the sample image information is subjected to principal component analysis by the component analysis unit 510, and parameters necessary for color conversion of image information to be discriminated, such as color conversion parameters, are generated.
[0004]
Further, a human face to be determined is imaged by the image information generating means 501, and the generated determination target image information is input to the determination means 520 via the image information input means 502, and the determination target image information is stored in a plurality of sample image , Color conversion is performed by a color conversion parameter generated in advance, and the determination result determined by the determination unit 520 is output from the determination result output unit 503.
[0005]
[Patent Document 1]
JP 2001-338290 A (pages 4-7, FIG. 1)
[0006]
[Problems to be solved by the invention]
However, in such a conventional image processing apparatus and image processing method, image information to be determined is color-converted using parameters created from a plurality of sample image information that are known in advance as human faces. . Therefore, if the conditions that affect color information such as the luminous intensity of a light source are significantly different between a situation in which a plurality of sample image information is captured and a situation in which the image information to be determined is captured, the determination accuracy generally decreases. There was a problem that would.
[0007]
The present invention has been made in order to solve such a problem, and an image processing apparatus and an image processing apparatus capable of eliminating the influence of a condition affecting color information such as the luminous intensity of a light source from the color information in the image information. It provides a processing method.
[0008]
[Means for Solving the Problems]
An image processing apparatus according to the present invention includes: an image information input unit to which image information is input; a pattern color storage unit that stores specific pattern information and color information associated with the pattern information; Area extraction means for extracting an area including information corresponding to information; relational expression calculation means for calculating an expression representing a relation between color information in the area and color information stored in the pattern color storage means; And color information changing means for changing the color information in the image information based on the expression
[0009]
With this configuration, an area including information corresponding to the previously stored pattern information is extracted from the image information, and an expression representing a relationship between the color information in the extracted area and the color information associated with the previously stored pattern information is obtained. , The color information of the image information is changed, so that the influence of conditions such as the luminous intensity of the light source can be eliminated from the color information in the image information.
[0010]
The image processing apparatus of the present invention is a color region extracting unit that extracts a region including information corresponding to the color information associated with the pattern information from the image information whose color information has been changed by the color information changing unit, A determination unit configured to determine whether the region extracted by the color region extraction unit is an image of a specific object.
[0011]
With this configuration, an area including information corresponding to the previously stored pattern information is extracted from the image information, and an expression representing a relationship between the color information in the extracted area and the color information associated with the previously stored pattern information is obtained. In the image information in which the color information is changed based on the image information, it is determined whether or not the area including the information corresponding to the color information associated with the pattern information stored in advance is an image of a specific object. The accuracy of the determination can be kept high irrespective of the conditions that affect the color information such as the color information.
[0012]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0013]
FIG. 1 is a block diagram of an image processing system 100 configured by an image processing device 110 according to an embodiment of the present invention.
[0014]
In FIG. 1, an image processing system 100 captures an image of a predetermined range and generates image information of the captured range, and performs image processing on the image information generated by the image information generation device 101. And an image processing device 110 that determines an area that is an image of a human face from the image information.
[0015]
The image processing device 110 includes an image information input unit 111 to which image information generated by the image information generation device 101 is input, a pattern color storage unit 112 that stores human face pattern information and human face color information, And an image information pre-processing unit 113 that performs pre-processing on the image information so that a region extracting unit 114 described later can easily extract a pattern region. Further, the image processing apparatus 110 extracts, from the image information, a pattern area including information corresponding to the pattern information of the human face stored in the pattern color storage means 112 from the image information, and extracts the pattern area by the area extraction means 114. A relational expression calculating means 115 for calculating a relational expression between the color information in the set pattern area and the color information of the human face stored in the pattern color storage means 112, and a relational expression calculated by the relational expression calculating means 115. Color information changing means 116 for changing the color information in the image information based on the color information. Further, the image processing device 110 extracts a color region including information corresponding to the color information of the human face stored in the pattern color storage unit 112 from the image information whose color information has been changed. A determination unit 118 that determines whether the color region extracted by the color region extraction unit 117 is appropriate as a human face, and determines a color region determined as appropriate as a human face to be a human face; A determination result output unit that outputs a color region determined as a human face to the outside as a determination result;
Here, the pattern information refers to an image of an object to be determined, the shape of each part formed by shading such as brightness and color in the generated sample image information, and the relative positional relationship between a plurality of parts. , A ratio of a distance between a plurality of parts, and other information having a feature amount indicating a pattern.
Further, the color information refers to an RGB signal, an HSV signal, an HLS signal, a Lab signal, a Luv signal, a Yuv signal, and other information constituting a color in image information.
In the present embodiment, sample image information generated by imaging a human face is converted into a grayscale image, and information having a relative positional relationship between a plurality of parts formed by lightness and darkness as a feature amount. Is used as pattern information. However, the present invention is not limited to the relative positional relationship of the plurality of portions formed by the lightness and darkness, and for example, the feature ratio is a ratio of the distance between the plurality of portions formed by the lightness and darkness. The information possessed may be used as pattern information.
[0016]
The image information generating apparatus 101 continuously captures a predetermined range like a monitoring camera, generates image information of the captured area, and outputs the generated image information to the image processing apparatus 110, for example. It is supposed to.
In the present invention, the image information generating apparatus 101 outputs image information to the outside by reproducing image information recorded on a recording medium like a video reproducing apparatus without being limited to the monitoring camera. It may be a device.
[0017]
The image information input unit 111 of the image processing device 110 receives image information generated by the image information generating device 101 connected to the outside, and converts the input image information into an image information preprocessing unit 113 and a color information changing unit 116. Output.
[0018]
As shown in FIG. 2A, the pattern color storage unit 112 of the image processing device 110 stores the relative positional relationship with each of the parts formed by the light and shade of the human face as the human face pattern information. It stores the color information of a human face, for example, the skin color unique to a human, or the overall color distribution information of a human face. Further, the pattern color storage means 112 is not limited to the pattern information of the front of the human face as shown in FIG. 2A as the pattern information of the human face, and for example, as shown in FIG. 2B. A plurality of pieces of pattern information of a human face captured from a plurality of angles, such as pattern information of a human face captured from various angles, may be stored.
[0019]
The image information preprocessing unit 113 of the image processing apparatus 110 facilitates the region extraction unit 114 to extract a pattern region including information corresponding to the human face pattern information stored in the pattern color storage unit 112 from the image information. For this purpose, preprocessing such as converting image information into a light and shade image and further normalizing the light and dark degree is performed.
[0020]
The area extracting means 114 of the image processing apparatus 110 acquires the pattern information of the human face stored in the pattern color storing means 112 and determines in advance the image information converted into the grayscale image by the image information preprocessing means 113. The scanning is performed in a frame of a different size. Further, the region extracting unit 114 calculates a correlation value between the pattern information formed by shading and the human face pattern information acquired from the pattern color storage unit 112 in the region within the frame, and the highest correlation value is calculated. When the threshold value exceeds a predetermined threshold value, the area where the highest correlation value is calculated is determined as a human face, and is extracted as a pattern area.
When a plurality of pieces of pattern information of a human face captured from a plurality of angles are stored in the pattern color storage unit 112, the area extracting unit 114 sets the highest value for each piece of pattern information of the human face at each angle. After calculating the correlation values, the highest correlation values are compared. Further, as a result of the comparison, the area extracting unit 114 sets the highest correlation value as the highest correlation value, and when the highest correlation value exceeds the predetermined threshold, the area where the highest correlation value is calculated is a pattern area. It is designed to be extracted as
[0021]
The relational expression calculating means 115 of the image processing device 110 extracts the color information in the pattern area extracted by the area extracting means 114 and the color information in the extracted pattern area and the human color information stored in the pattern color storing means 112. A relational expression representing a relation with the face color information is calculated.
Here, for example, the color information is a color distribution in the RGB space, and as shown in FIGS. 3A and 3B, the color information in the pattern area is stored in the color distribution 301 and the pattern color storage unit 112. The color information of the face of a human being is defined as a color distribution 302. In this case, any three points (R11, G11, B11), (R12, G12, B12), (R13, G13, B13) and (R11, G11, B11), (R12, G12, B12) of the color distribution 301 ), (R13, G13, B13) in the color distribution 302, the three points (R21, G21, B21), (R22, G22, B22), and (R23, G23, B23) corresponding to (points) If represented by 1), the matrix A is a 3 × 3 determinant. This matrix A is referred to as a relational expression, and the relational expression A is calculated by the expression (Equation 2).
When the relationship is expressed by (Equation 3) instead of (Equation 1), the relational expression A is calculated by calculating the inverse matrix of the matrix B using (Equation 4) and (Equation 5). You may do so.
(Equation 1)

(Equation 2)

[Equation 3]

(Equation 4)

(Equation 5)

[0022]
The color information changing unit 116 of the image processing device 110 multiplies the color information of all the pixels of the image information input from the image information input unit 111 by the relational expression A calculated by the relational expression calculation unit 115. . By multiplying the color information of all the pixels of the image information by the relational expression A, the color information changing unit 116 changes the color information of the image information and converts the color information of the human face image included in the image information into a pattern. The color information is matched with the color information of the human face stored in the color storage means 112.
[0023]
The color area extracting means 117 of the image processing device 110 acquires the color information of the human face stored in the pattern color storing means 112, and determines in advance the image information whose color information has been changed by the color information changing means 116. The scanning is performed in a frame of a different size. Further, the color area extraction means 117 compares the color information in the area within the frame with the color information of the human face acquired from the pattern color storage means 112, and if they match, the color area in the frame is colored. It is designed to be extracted as a region.
[0024]
The determination unit 118 of the image processing apparatus 110 extracts the size, shape, or color distribution in the color region extracted by the color region extraction unit 117, and determines the appropriate size, shape, or color for a human face. By determining whether the color region has a distribution or the like, the color region is determined as a human face.
Note that the color area extracting means 117 may have a configuration in which the color area extracting means 117 also has the function of the discriminating means 118 by using the color information including the size, shape, color distribution and the like.
[0025]
The determination result output unit 119 of the image processing apparatus 110 outputs the color area determined as a human face by the determination unit 118 to the outside as a determination result.
[0026]
Hereinafter, as an example, a sample generated by capturing pattern information as shown in FIGS. 2A and 2B as human face pattern information and under a predetermined light source luminous intensity is generated. The color of the human skin included in the image information is stored in the pattern color storage unit 112 as color information associated with the pattern information, and the image information generation apparatus 101 generates image information as shown in FIG. The operation of the image processing apparatus 110 according to the present embodiment when the operation is performed will be described.
[0027]
FIG. 4 is a flowchart illustrating the operation of the image processing apparatus 110.
[0028]
First, a predetermined range is imaged by the image information generation device 101, image information of the imaged range is generated, and the generated image information is input to the image information input unit 111 of the image processing device 110 (S401). ).
[0029]
Next, the image information input to the image information input means 111 is converted into a lightness / darkness image by the image information preprocessing means 113, and preprocessing is performed by normalizing the lightness / darkness degree ( S402).
[0030]
Subsequently, the image information that has been subjected to the preprocessing in step S402 is input to the pattern extracting unit 114, and is scanned in a frame of a predetermined size. Further, a correlation value between the pattern information formed by shading and the pattern information of the human face stored in the pattern color storage unit 112 is calculated in the area within the frame (S403).
2A and 2B, when the pattern information of the human face stored in the pattern color storage unit 112 is plural as shown in FIGS. 2A and 2B. ), A correlation value is calculated for each piece of human face pattern information.
[0031]
Next, it is determined whether the highest maximum correlation value among the correlation values calculated in step S403 has exceeded a predetermined threshold (S404).
2A and 2B, when the pattern information of the human face stored in the pattern color storage unit 112 is plural as shown in FIGS. 2A and 2B. ), The highest correlation value in each case is compared with each other, and it is determined whether a correlation value higher than the other has exceeded a predetermined threshold value determined as the highest correlation value.
[0032]
Here, when it is determined in step S404 that the highest correlation value does not exceed the predetermined threshold value, the human face pattern that can be determined from the human face pattern information stored in the pattern color storage unit 112 is determined. It is determined that the image is not included in the input image information, the process returns to step S401, and new image information is input.
[0033]
If it is determined in step S404 that the highest correlation value has exceeded a certain threshold, the area in which the highest correlation value is calculated is determined to be a human face image, and the area determined to be a human face image is Is extracted as a pattern area (S405).
In step S404, the human image 210 in FIG. 2C has a large face image, and the shape of each part of the face and the relative positional relationship with each other are clear due to the lightness and darkness. The highest correlation value with the indicated pattern information is calculated. Further, since the calculated maximum correlation value exceeds a predetermined threshold, the human image 210 is extracted as a pattern area.
On the other hand, the human image 211a and the human image 211b are images in which the face image is small, the shape of each part of the face and the relative positional relationship with respect to each part are not clear due to the lightness and darkness, and the human image 211c is a face image. Is different from both FIG. 2 (a) and FIG. 2 (b). Therefore, the correlation values of the human image 211a, the human image 211b, and the human image 211c with the pattern information shown in FIGS. 2A and 2B are calculated to be low, and the human 211a, the human 211b, and the human 211c are calculated in step S404. Is not determined as an image of a human face.
[0034]
Next, the pattern area extracted in step S405 is input to the relational expression calculation means 115, and color information in the pattern area is extracted (S406).
[0035]
Subsequently, a relational expression A between the color information in the pattern area extracted in step S406 and the color information of the human face stored in the pattern color storage unit 112 is calculated (S407).
[0036]
Next, in step S401, the image information input to the image information input unit 111 is input to the color information changing unit 116, and the relational expression A calculated in step S407 is calculated for all pixels of the image information input to the color information changing unit 116. Is multiplied by By doing so, the color information in the image information is changed, and the color information in the image of the human face included in the image information matches the color information of the human face stored in the pattern color storage unit 112. (S408).
Here, the condition affecting the color information such as the luminous intensity of the light source in the situation where the image information shown in FIG. 2C is generated is such that the color information stored in the pattern color storage unit 112 is generated. Usually, the condition differs from the condition in the situation. Even if the same human skin color is used, the human skin color included in FIG. The color is determined to be different from the color information. However, in step S408, the skin color of the human image 210 in the image information shown in FIG. 2C is made to match the human skin color stored in the pattern color storage unit 112 in FIG. Are changed, the skin colors of the human image 211a, the human image 211b, and the human image 211c are also made to match the human skin color stored in the pattern color storage unit 112.
[0037]
Next, the image information whose color information has been changed in step S408 is input to the color area extracting unit 117, and the input image information is scanned in a frame of a predetermined size. Further, the color information in the region within the frame is compared with the color information of the human face stored in the pattern color storage unit 112, and if they match, the region within the frame is extracted as a color region. (S409).
The skin color, which is the color information of the human image 211a, the human image 211b, and the human image 211c in FIG. 2C, matches the human skin color stored as the color information in the pattern color storage unit 112 in step S408. Therefore, in step S409, the face images of the human image 211a, the human image 211b, and the human image 211c that are not extracted as the pattern regions in step S404 are also extracted as the color regions.
[0038]
Subsequently, by inputting the color region extracted in step S409 to the determination unit 118, the shape, size, color distribution, and the like of the color region are extracted by the determination unit 118, and the color region is appropriate for a human face. It is determined whether the image has a size, a shape, a color distribution, or the like (S410).
Here, in the image information shown in FIG. 2C, the region that matches the human skin color stored in the pattern color storage unit 112 is not limited to the image of the human face. The arm portion 212 of the human image 211a in 2 (c) is also extracted as a color region. Therefore, by excluding the color region having a size, shape, color distribution, or the like that is clearly different from the human face, such as the arm portion 212 of the human image 211a, by the determining unit 118, the accuracy of determining the human face is improved.
[0039]
Next, the color area determined to be appropriate as a human face in step S410 is determined to be a human face (S411), and the color area determined to be a human face is output to the outside by the determination result output unit 119 as a determination result. Is done.
[0040]
Further, in the above-described embodiment, the case where pattern information and color information are used to determine an image of a human face from image information has been described. However, in the present invention, an arbitrary object is used as pattern information and color information. Can also be used. Also in this case, similarly to the above-described embodiment, when discriminating the image of an arbitrary object from the image information, the influence of the condition affecting the color information such as the luminous intensity of the light source is deleted from the color information in the image information. can do.
[0041]
【The invention's effect】
As described above, according to the image processing apparatus and the image processing method of the present invention, it is possible to eliminate from the color information in the image information the effect of the condition that affects the color information such as the luminous intensity of the light source.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an image processing system configured by an image processing apparatus according to an embodiment of the present invention. FIG. 2 is stored in a pattern color storage unit in the image processing apparatus according to an embodiment of the present invention. FIG. 3 shows a pattern diagram representing pattern information of a human face and an image formed by image information input to image information input means. FIG. 3 shows an image processing apparatus according to an embodiment of the present invention. FIG. 4 is a coordinate diagram showing a color distribution in an RGB space of color information of an extracted pattern area in a RGB space, and a coordinate diagram showing a color distribution in a RGB space of color information of a human face stored by a pattern color storage means. 5 is a flowchart showing a flow of an operation performed by the image processing apparatus according to the embodiment. FIG. 5 is a block diagram showing a conventional image processing apparatus.
REFERENCE SIGNS LIST 100 image processing system 101 image information generation device 110 image processing device 111 image information input means 112 pattern color storage means 113 image information preprocessing means 114 area extraction means 115 relational expression calculation means 116 color information change means 117 color area extraction means 118 Means 119 Discrimination result output means 210, 211a, 211b, 211c Human image 212 Arm portion 301 of human image 211a Color distribution of color information of pattern area 302 Color distribution of color information stored in pattern color storage means

Claims

Image information input means for inputting image information, pattern color storage means for storing certain pattern information and color information associated with the pattern information, and an area including information corresponding to the pattern information from the image information Area extracting means for extracting the pattern information, relational expression calculating means for calculating an expression representing the relationship between the color information in the area and the color information stored in the pattern color storing means, and the image based on the expression representing the relation An image processing apparatus comprising: color information changing means for changing color information in information.

A color region extracting unit that extracts a region including information corresponding to the color information associated with the pattern information from the image information whose color information has been changed by the color information changing unit; The image processing apparatus according to claim 1, further comprising: a determination unit configured to determine whether the determined area is an image of a specific object.

An image information input step in which image information is input; a pattern area extraction step of extracting an area including information corresponding to certain specific pattern information from the image information; A relational expression calculating step of calculating an expression representing a relationship between the color information and the color information associated with the pattern information; and a color in the image information based on the expression representing the relationship calculated in the relational expression calculating step. A color information changing step of changing information.

An image information input step in which image information is input; a pattern area extraction step of extracting an area including information corresponding to certain specific pattern information from the image information; A relational expression calculating step of calculating an expression representing a relationship between the color information and the color information associated with the pattern information; and a color in the image information based on the expression representing the relationship calculated in the relational expression calculating step. A color information changing step of changing information; a color area extracting step of extracting an area including information corresponding to the color information associated with the pattern information from the image information in which the color information has been changed; and the color area. Determining whether the region extracted in the extracting step is an image of a specific object. Processing method.