JP2002049912A - 人物画像取得システム - Google Patents

Abstract

(57)【要約】 【課題】 人の含まれる画像から人の顔部分を確実に認
識し、必要に応じてプライバシー保護を図りつつ、人の
外見及び行動を適切に判別可能な画像を取得できる人物
画像取得システムを提供する。 【解決手段】 調査対象領域を撮像装置２で撮像し、こ
の撮像装置２で取得された撮像画像から人物識別装置３
の肌部抽出手段３１が人の肌部領域を抽出し、続いて顔
部抽出手段３２が肌部領域から顔部を抽出し、さらに正
面判定手段３３が顔部の向きを検証し、適切に顔部の正
面を捕えた画像を取得できることにより、顔部が正面か
ら撮像されて調査対象となる人の外見や行動を判断可能
な画像を確実に得られることとなり、画像をよりデータ
としての活用性に優れたものとすることができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は所定の調査対象領域
を撮像して人を含む画像を人の外見及び行動情報取得用
のデータとして得る人物画像取得システムに関し、特
に、人の顔部を正面から捕えた画像を取得すると共に、
必要に応じて顔の一部に個人識別不可能な加工を施した
画像を得られる人物画像取得システムに関する。

【０００２】

【従来の技術】商品を販売する店舗等では、従来から商
品の監視等のために撮像装置で店舗内での人の行動を撮
像し、得られた撮像画像を所定の記録媒体に記録して所
定期間保存するということが一般的に行われていた。近
年、こうした監視目的以外に、撮像装置で取得した撮像
画像中の人の外見や行動から、購入商品と購入者の関係
など、商品開発や販売戦略の基礎となる情報を取得する
試みが種々提案されている。このような目的で撮像画像
を用いる場合、プライバシー保護の観点から、外見や行
動の識別性は確保しつつ、人の個人識別はできないよう
にすることが求められている。

【０００３】また、これ以外に、速度取り締まりのため
の車両撮影や、テレビの野外中継撮影等の場合で、本来
の撮像目標の人（前者の場合は運転者、後者の場合は出
演者）以外の人について、プライバシー保護の観点から
撮像画像中で人の個人識別を不可能にすることも近年要
求されるようになっている。このような撮像画像中での
人の個人識別を不可能にするためには、撮像画像に対す
る所定の加工が必要となるが、こうした画像加工処理を
撮像後に人手により行うと、人による作業時点でプライ
バシーの侵害が発生するため、撮像画像が表示又は記録
媒体に記録される前に自動的に画像加工処理を行う仕組
みが必要となってくる。

【０００４】撮像画像における人の個人識別を不可能に
する画像加工処理には、まず、撮像画像中から人の顔部
を識別することが不可欠であるが、この撮像画像から人
の顔部を識別する方法は、従来から種々提案されてい
る。例えば、所定の監視領域内に侵入する人物の監視・
追跡や、テレビ会議やテレビ電話等の画像通信で顔部分
に最適な符号化を行って効率的な伝送を図るなどの目的
のため、撮像装置で撮像した人物の顔部分を含む画像か
ら顔領域を抽出する顔領域抽出装置が従来から利用され
ている。

【０００５】このような人物の顔部分を含む画像から顔
部分を抽出する従来の顔領域抽出装置の一例として、特
開平７−２８２２２７号公報に記載されているものがあ
る。この従来の顔領域抽出装置においては、所定の撮像
手段で撮像した画像中の顔部分は顔の各パーツ（目、
鼻、口等）によって顔以外の部分と比べて画像の濃淡変
化が細かくなっており、撮像画像についてｙ軸上（縦）
及びｘ軸上（横）へ濃淡射影をとった場合、各軸上の射
影において顔部分はこれ以外の部位に比べて細かい変化
の認められる領域となっていること、また、ｙ軸方向の
射影で、顔部分とその他部位での変化の度合の違いが顕
著であることを利用して、濃淡画像の縦方向（ｙ軸）に
ついて濃淡の計測を行い、ｙ軸上の濃淡射影をとり、ｙ
軸方向における射影の変化の度合を基に顔部の上下端を
求め、さらに、このｙ軸方向の顔部の範囲内でｘ軸上の
濃淡射影をとり、ｘ軸方向における射影の変化の度合を
基に顔の左右端を決定し、撮像画像から顔部分を抽出す
る仕組みとなっている。

【０００６】この他、従来の別の顔領域抽出装置とし
て、顔部分、特に肌色部分を抽出する装置が特開平６−
１８７４５５号公報に記載されている。この従来の別の
顔領域抽出装置における処理手順を以下に説明する。ま
ず、所定階調の入力画像信号のＹ信号（輝度）、Ｃｒ信
号（色差）、Ｃｂ信号（色差）について、フレームメモ
リに蓄積した一画面分に対し、肌色領域を抽出するしき
い値でＹ信号、Ｃｒ信号、Ｃｂ信号を二値化して顔部分
を含む領域をそれぞれ二値画像として抽出する。そし
て、Ｙ信号を二値化して得られた肌色領域と、Ｃｒ信号
を二値化して得られた肌色領域と、Ｃｂ信号を二値化し
て得られた肌色領域との共通部分を抽出して共通領域を
得る。この共通領域から、顔部を含む矩形の領域を設定
する。

【０００７】一方、輝度値の階層的な量子化を行う量子
化部で、前記顔矩形領域内における輝度のヒストグラム
のダイナミックレンジを複数等分するようなしきい値を
用いて線形量子化し、所定の量子化値を有する画素の集
合（領域）についてその面積が所定の面積条件を満たす
か判定し、さらに前記共通領域との一致度が所定のしき
い値以上となっているかを判定し、前記領域を顔領域と
して抽出する。

【０００８】

【発明が解決しようとする課題】従来の顔領域検出装置
は以上のように構成されていることから、撮像画像中の
人の顔部については識別可能であったものの、さらに顔
部における目など特定部分を識別することはできないと
いう課題を有していた。こうした従来装置で識別した顔
部に対し、顔部全体に画像加工処理を施して個人識別を
不可能にするのは可能であった。ただし、人の外見の特
徴（年齢層、性別など）や、顔がどの方向に向いている
か（どの商品に関心を持っているか）を把握したい用途
など、顔全体が加工されてしまうとデータとしての意味
がなくなる場合もあり、このような用途においては顔の
一部、例えば目などに限った画像加工処理を求められる
が、撮像画像の目部分への加工処理を自動的に行うため
には、目部分を正しく認識する必要があり、従来装置で
はこれに対応することはできないという課題を有してい
た。

【０００９】本発明は前記課題を解決するためになされ
たもので、人の含まれる画像から人の顔部分を確実に認
識し、必要に応じてプライバシー保護を図りつつ、人の
外見及び行動を適切に判別可能な画像を取得できる人物
画像取得システムを提供することを目的とする。

【００１０】

【課題を解決するための手段】本発明に係る人物画像取
得システムは、所定の調査対象領域を撮像し、撮像画像
を継続的に取得する撮像装置と、当該撮像装置から得ら
れる前記調査対象領域の撮像画像を解析し、人を識別す
る人物識別装置と、当該人物識別装置で識別された人の
含まれる前記撮像画像をデータとして格納する記憶装置
とを少なくとも備える人物画像取得システムにおいて、
前記人物識別装置が、撮像された撮像画像中から人の肌
部を検出して全ての肌部領域を抽出する肌部抽出手段
と、前記肌部領域から人の顔部を識別して抽出する顔部
抽出手段と、前記顔部が顔部に対する正面方向から撮像
されているかを判定する正面判定手段とを有してなり、
前記記憶装置が、少なくとも前記正面判定手段で顔部が
正面方向から撮像されたと判定された撮像画像を格納す
るものである。このように本発明においては、調査対象
領域を撮像装置で撮像し、この撮像装置で取得された撮
像画像から人物識別装置の肌部抽出手段が人の肌部領域
を抽出し、続いて顔部抽出手段が肌部領域から顔部を抽
出し、さらに正面判定手段が顔部の向きを検証し、適切
に顔部の正面を捕えた画像を取得できることにより、顔
部が正面から撮像されて調査対象となる人の外見や行動
を判断可能な画像を確実に得られることとなり、画像か
ら撮像された人の行動や外見の特徴を確実に見極めてデ
ータとして適切に利用でき、画像をよりデータとしての
活用性に優れたものとすることができる。

【００１１】また、本発明に係る人物画像取得システム
は必要に応じて、前記人物識別装置が、前記正面判定手
段で正面方向から撮像されたと判定された顔部における
目部分の位置を識別する目部識別手段と、当該目部分の
位置を含む撮像画像の所定領域に人の個人識別を不能と
する所定の画像加工処理を施す画像変換手段とを備える
ものである。このように本発明においては、人物識別装
置の目部識別手段が撮像画像の顔部における目部分の位
置を識別し、続いて画像変換手段が目部分の位置を中心
とした所定領域に対し所定の画像加工処理を行い、画像
中で顔を正面に向けている人の個人識別ができないよう
にすることにより、記憶装置に格納される画像から人の
外見や行動を判断できる状態を維持しつつ人の個人とし
ての特定を防げることとなり、画像のデータとしての有
用性確保とプライバシーの保護との両立が図れる。

【００１２】また、本発明に係る人物画像取得システム
は必要に応じて、前記顔部抽出手段が、前記肌部領域に
隣接する一又は複数の所定色の領域を参照し、当該所定
色領域と肌部領域との位置関係を基に顔部の識別を行う
ものである。このように本発明においては、肌部領域が
抽出された画像に対して、顔部抽出手段で肌部領域に隣
接する周囲の画素部分の色を調べ、肌部領域と隣接する
所定色の画素の集合した領域との位置関係から、所定方
向の端部に所定色の領域が存在する顔部の特徴に適合す
る肌部領域を抽出し、顔部と認定することにより、肌部
領域の中から下側に衣服が、上側に頭髪が位置するなど
の特徴を有する顔部分を確実に識別でき、顔部の抽出精
度を高められる。

【００１３】また、本発明に係る人物画像取得システム
は必要に応じて、前記正面判定手段が、撮像画像におけ
る顔部を横に略二等分する中心線を設定すると共に、当
該中心線と平行をなす縦線を中心線の左右のそれぞれ中
心線を中心とする対称位置に複数設定し、少なくとも前
記縦線上の各画素の輝度を取得し、対称位置関係にある
各縦線位置における縦方向の輝度パターンがそれぞれ略
一致する場合に顔部を正面方向から撮像したと判定する
ものである。このように本発明においては、顔部の画像
に対して、正面判定手段で横方向の複数箇所でそれぞれ
縦方向の輝度パターンを取得し、顔部中心位置に対して
対称な各位置での輝度パターンがそれぞれ略一致する度
合が大きい状態を顔部の正面撮像状態として認識し、こ
の状態の画像を記憶装置に格納させることにより、顔部
の正面を捕えた画像を人の外見や行動を参照するための
画像として確実に取得できることとなり、撮像された人
の外見や行動の特徴の判別性を大きく向上させられ、デ
ータとしての信頼性及び有用性を一層高められる。

【００１４】また、本発明に係る人物画像取得システム
は必要に応じて、前記目部識別手段が、撮像画像におけ
る顔部の領域について、色差信号を所定のしきい値で二
値化して肌ではない部分を抽出した画像を取得し、当該
画像の縦方向各位置における抽出部分の画素数をカウン
トし、画素数が最大となる縦方向所定位置を目部分の位
置として識別するものである。このように本発明におい
ては、顔部の画像に対し、目部識別手段で色差信号を所
定のしきい値で二値化した画像を取得し、この画像の縦
方向各位置における抽出部分の全ての画素数をそれぞれ
カウントして、カウント結果から画素数が最大となる位
置、すなわち、肌部以外の色部分が最も多く抽出されて
いる位置を目の位置として認識することにより、適切に
目の位置を認識して画像変換手段に的確に画像加工処理
を行わせることができ、個人の特徴を最もよく表す目部
分を確実に隠してプライバシー保護をより確実なものと
することができる。

【００１５】また、本発明に係る人物画像取得システム
は必要に応じて、前記画像変換手段が、前記画像加工処
理を施した顔部以外に存在する肌部領域に対し、人の個
人識別を不能とする所定の画像加工処理を施すものであ
る。このように本発明においては、肌部領域に対し、画
像変換手段で顔部の一部に画像加工処理が施される一
方、顔部以外の各部にもそれぞれ所定の画像加工処理が
施され、肌部を参照することによる個人の識別を不可能
とすることにより、正面向きの顔部を撮像された人以外
の別の人の顔などが判別可能に撮像されている場合や、
顔以外の肌部の状態で個人識別が可能な撮像画像となっ
ている場合にそのまま記憶装置に格納されるのを防げる
こととなり、撮像された全ての人について個人の識別を
困難にして確実にプライバシー保護を図れる。

【００１６】

【発明の実施の形態】（本発明の第１の実施形態）以
下、本発明の第１の実施形態に係る人物画像取得システ
ムを図１ないし図７に基づいて説明する。本実施の形態
においては、撮像装置が調査対象領域として店舗内の所
定箇所を撮像する場合の例について説明する。図１は本
実施形態に係る人物画像取得システムのブロック構成
図、図２は本実施形態に係る人物画像取得システムにお
ける撮像画像説明図及び肌部領域抽出状態説明図、図３
は本実施形態に係る人物画像取得システムにおける顔部
抽出状態説明図及び正面判定状態説明図、図４は本実施
形態に係る人物画像取得システムにおける撮像画像中の
目部設定状態説明図、図５は本実施形態に係る人物画像
取得システムにおける加工処理後画像説明図、図６は本
実施形態に係る人物画像取得システムの処理前半のフロ
ーチャート、図７は本実施形態に係る人物画像取得シス
テムの処理後半のフローチャートである。

【００１７】前記各図において本実施形態に係る人物画
像取得システム１は、人が行動している所定の調査対象
領域を撮像し、撮像画像を信号出力する撮像装置２と、
この撮像装置２から取得した前記撮像画像を解析し、人
を識別する人物識別装置３と、この人物識別装置３で識
別された人の含まれる画像をデータとして必要に応じて
格納する記憶装置４とを備える構成である。

【００１８】前記撮像装置２は、人の行動についての調
査対象領域の所定位置に配置され、領域内を行動する人
を撮像可能な状態で配設される構成であり、人を含む調
査対象領域の撮像画像を継続的に取得する仕組みであ
る。前記人物識別装置３は、撮像された撮像画像中から
人の肌部を検出して全ての肌部領域を抽出する肌部抽出
手段３１と、前記肌部領域から人の顔部を識別して抽出
する顔部抽出手段３２と、前記顔部が顔部に対する正面
方向から撮像されているかを判定する正面判定手段３３
と、この正面判定手段３３で正面方向から撮像されたと
判定された顔部における目部分の位置を識別する目部識
別手段３４と、この目部分の位置を含む撮像画像の所定
領域に人の個人識別を不能とする所定の画像加工処理を
施す画像変換手段３５とを有する構成である。

【００１９】前記肌部抽出手段３１による肌部領域の抽
出は、撮像画像の輝度信号及び色差信号を利用する公知
の方法によるものであり、詳細な説明を省略する。ま
た、前記顔部抽出手段３２による肌部領域からの顔部の
抽出も、撮像画像中から移動体を抽出した画像を取得
し、この移動体抽出部分の縦方向（ｙ軸方向）の射影を
とり、抽出点の数が所定値以上となっている横方向（ｘ
軸方向）の所定範囲に対応する撮像画像の横方向範囲内
にある肌部領域のうち、領域内の画素数が最大、すなわ
ち領域の面積が最大であるものを顔部として抽出すると
いう公知の方法に基づくものであり、詳細な説明を省略
する。

【００２０】ただし、顔部抽出手段３２は、抽出された
顔部の位置が記憶装置４に格納されている顔部の位置と
大きく異なっていないどうか、すなわち、顔部の抽出対
象とする人が以前に記憶装置４に画像を格納した時点の
人と同じ人かどうかを検証する機能を有している。前記
正面判定手段３３は、顔部抽出手段３２で抽出された顔
部の領域について、色差信号を所定のしきい値で二値化
し、肌以外の異なる色の部分（目、眉毛、鼻孔、唇な
ど）を抽出した画像を取得し、抽出部分の横方向中心位
置に対する左右対称性を検証し、顔部を正面から撮像し
た状態を判定する仕組みである。すなわち、二値化画像
における横方向中心位置を挟んで対称となる箇所に位置
する左右の各画素が、いずれも前記抽出部分にあたる場
合をカウントし、全ての画素について調べた結果のカウ
ント合計を撮像画像の各フレーム毎に求めて以前と比較
し、より大きいカウント値となったものを顔部の正面向
きの画像と判定する仕組みである。

【００２１】この正面判定手段３３では、顔部抽出手段
３２で抽出された撮像画像中における顔部が２秒以上存
在している場合、２秒経過時点から顔部が正面向きであ
るか否かの判定を開始し、最も正面向きに近いと認識さ
れた顔部のある撮像画像をこの顔部が撮像装置２で撮像
される範囲から（撮像画像中から）なくなるまで保持す
る。

【００２２】前記目部識別手段３４は、顔部が正面向き
と判定された撮像画像のその顔部の領域について、色差
信号を所定のしきい値で二値化して肌以外の部分を抽出
した画像を取得し、この二値化画像の縦方向各位置にお
ける抽出部分の画素数をカウントし、画素数が最大とな
る位置を目部分として認識する仕組みである。画素数が
最大となる位置は肌部分以外の色部分が最も多く抽出さ
れている位置、すなわち、目の位置であることから、確
実にこの目の位置を識別した状態で画像変換手段３５に
よる画像加工処理へ移行できる。

【００２３】前記画像変換手段３５は、目部識別手段３
４で目の位置を識別された撮像画像の顔部について、一
旦顔部の画素数と顔部の領域の縦横比を取得し、これら
の値から、モザイク、ぼかし等の画像加工処理を目の周
囲の領域に限定して行うか、顔部全体に行うかを決定す
る仕組みとなっている。顔部の大きさが十分小さい場合
や、顔部が傾いて撮像されている場合など、目の周囲へ
の加工処理と顔全体への加工処理とがほとんど同じよう
な結果となる状態では、顔全体への画像加工処理を行う
ようにして処理を簡略にしている。また、画像変換手段
３５は、前記画像加工処理を施した顔部以外に存在する
肌部領域に対しても、人の個人識別を不能とする所定の
画像加工処理を施す仕組みである。

【００２４】前記記憶装置４は、人物識別装置３の正面
判定手段３３で顔部が正面方向から撮像されたと判定さ
れ、且つ目部識別手段３４で目の位置を識別され、さら
に画像変換手段３５で目の位置に所定の画像加工処理を
施された撮像画像を、操作者の指示に基づいてデータと
して格納するものである。この記憶装置４は、着脱自在
な記憶媒体にデータを格納するタイプのものであっても
かまわない。

【００２５】次に、前記構成に基づく本実施形態に係る
人物画像取得システムにおける一連の処理について図６
及び図７のフローチャートを用いて説明する。まず、撮
像装置２は調査対象領域である店舗内の所定箇所を撮像
し、撮像画像（図２（Ａ）参照）が人物識別装置３へ継
続的に入力される（ステップ１０１）。そして、人物識
別装置３の肌部抽出手段３１がこの撮像画像を解析し、
この撮像画像から人の肌部と認められる領域（図２
（Ｂ）参照）を抽出する（ステップ１０２）。さらに、
顔部抽出手段３２が、この抽出された肌部領域のうち、
顔部分と認められる領域で、且つ最も大きい領域を顔部
として抽出し（図３（Ａ）参照）、この顔部を有する人
を画像取得対象者として認識する（ステップ１０３）。
これらの肌部領域抽出、及び顔部の抽出処理は前記した
公知の処理方法を用いて行うため、詳細な説明を省略す
る。

【００２６】前記ステップ１０３で顔部が抽出された
後、顔部抽出手段３２は、抽出した顔部と、記憶装置４
に格納されている撮像画像における顔部の位置とを比較
し、新たに抽出した顔部の位置が記憶装置に格納されて
いる方の顔部位置から大きく変化しておらず、顔部抽出
の対象としている人が記憶装置への撮像画像の格納時点
から替っていない状態であるか否かを判定する（ステッ
プ１０４）。

【００２７】このステップ１０４で、抽出した顔部の位
置が記憶装置４に格納されている撮像画像における顔部
の位置からあまり変っていない状態の場合には、続い
て、正面判定手段３３が、撮像画像の顔部が所定時間前
から継続的に抽出されているか否かを判定し（ステップ
１０５）、同じ顔部が継続的に抽出されてない場合に
は、前記ステップ１０２に戻り、以降の処理を新たに繰
返す。

【００２８】前記ステップ１０５で顔部が撮像画像中に
所定時間前から継続的に抽出されている場合には、正面
判定手段３３はこの顔部の領域について、色差信号を所
定のしきい値で二値化し、肌色以外の部分を抽出した画
像（図３（Ｂ）参照）を取得して、記憶装置４に格納す
る（ステップ１０６）。そして、得られた二値化画像に
おける中心位置を挟んで対称となる左右の各画素が、い
ずれも肌部以外の部分として抽出された部分にあたる場
合をカウントし（ステップ１０７）、全ての画素につい
て調べた合計のカウント値を記憶装置４に格納されてい
るカウント値と比較し、この記憶装置４に格納されてい
るカウント値より大きいか否かを判定する（ステップ１
０８）。なお、この記憶装置４に格納されているカウン
ト値の初期値は０となっている。

【００２９】新たにカウントした値が記憶装置４に格納
している値より大きい場合、正面判定手段３３は最新の
カウント値を記憶装置４に格納すると共に、カウント対
象とした二値化画像の基になった撮像画像を記憶装置４
に格納して正面向きの画像として保持し、記憶装置４の
カウント値及び撮像画像を更新する（ステップ１０
９）。そして、記憶装置４に格納された前記二値化画像
を目部識別手段３４が読込む（ステップ１１０）。前記
ステップ１０８で新たにカウントした値が記憶装置４に
格納している値を下回る場合、顔部が以前よりも正面か
らずれた状態と見なし、記憶装置４に格納しているカウ
ント値及び撮像画像を維持して更新を行わず、そのまま
前記ステップ１０２へ戻り、以降の処理を繰返す。

【００３０】前記ステップ１１０の後、目部識別手段３
４は、読込んだ二値化画像の縦方向各位置における肌部
以外の部分として抽出された部分の画素数をカウント
し、画素数が最大となる縦方向位置（図４参照）を取得
し（ステップ１１１）。この位置に対応する撮像画像の
顔部所定位置を目部分と設定する（ステップ１１２）。
この後、画像変換手段３５が、記憶装置４に格納された
撮像画像の顔部の領域について画素数と領域の縦横比を
取得し、画素数が所定のしきい値以上で、且つ縦横比が
１より大きくなっているか否かを判定する（ステップ１
１３）。画素数が前記しきい値以上で、且つ縦横比が１
より大きい場合、撮像画像の顔部に対し、目部識別手段
３４で目部分として設定された位置を中心として、顔部
の上下幅に応じた所定の上下幅でモザイク、ぼかし等の
画像加工処理を施す（ステップ１１４）。

【００３１】前記ステップ１１３で画素数が前記しきい
値以下、又は縦横比が１より小さい場合には、顔部全体
にモザイク、ぼかし等の画像加工処理を施す（ステップ
１１５）。前記ステップ１１４及びステップ１１５の
後、画像変換手段３５は顔部と共に肌部領域として抽出
された他の部分に対しても、モザイク、ぼかし等の画像
加工処理を施した上で（ステップ１１６）、前記ステッ
プ１０２に戻り、以降の処理を繰返す。

【００３２】前記ステップ１０４で、新たに抽出した顔
部の位置が記憶装置４に格納されている撮像画像におけ
る顔部の位置から大きく変化し、顔部の抽出対象の人が
以前とは別の人に替ったと認められる場合には、記憶装
置４に格納されている一旦正面向きと判定されて画像加
工処理が施された画像に対する記録命令があるか否か判
定し（ステップ１１７）、記録命令がある場合には、画
像を表示出力又は他の記憶装置（記憶媒体）へ出力可能
な正式な人物画像データとして記憶装置４に別途格納す
る（ステップ１１８）。そして、撮像装置２による撮像
画像の取得が終了しているか否かを判定し（ステップ１
１９）、画像取得が終了している場合、一連の処理を終
了する。

【００３３】前記ステップ１１７で記録命令がない場
合、並びに、前記ステップ１１９で画像取得がまだ終了
していない場合には、前記ステップ１０２に戻って新た
に前記各処理を繰返す。こうして、調査対象領域である
店舗内の所定箇所にいる人の個人識別不能な状態とされ
た画像を記録装置４から取出し可能となり、この画像デ
ータが人の行動や外見の特徴を判別して所定の情報を得
る調査等に利用される。

【００３４】このように、本実施の形態に係る人物画像
取得システムにおいては、調査対象領域を撮像装置２で
撮像し、この撮像装置２で取得された撮像画像から人物
識別装置３の肌部抽出手段３１が人の肌部領域を抽出
し、続いて顔部抽出手段３２が肌部領域から顔部を抽出
し、さらに正面判定手段３３が顔部の向きを検証し、適
切に顔部の正面を捕えた画像を記憶装置４に格納すると
共に、目部識別手段３４が顔部における目の位置を識別
し、この目の位置を中心とした所定領域に対し画像変換
手段３５が所定の画像加工処理を行い、画像中の調査対
象となる人の外見や行動を判断可能としながら、この人
の個人識別ができない画像を取得できることから、プラ
イバシーの保護を図った状態で、適切に顔部の正面を捕
えた画像を調査対象にできることとなり、撮像された人
の外見や行動の特徴を個人特定を防ぎつつ確実に見極め
て適切に利用でき、画像をよりデータとしての活用性に
優れたものとすることができる。

【００３５】（本発明の第２の実施形態）本発明の第２
の実施形態に係る人物画像取得システムを図８ないし図
１２に基づいて説明する。図８は本実施形態に係る人物
画像取得システムにおける撮像画像説明図及び肌部領域
抽出状態説明図、図９は本実施形態に係る人物画像取得
システムにおける顔部抽出過程及び顔部抽出状態説明
図、図１０は本実施形態に係る人物画像取得システムに
おける正面判定状態説明図、図１１は本実施形態に係る
人物画像取得システムの処理前半のフローチャート、図
１２は本実施形態に係る人物画像取得システムの処理後
半のフローチャートである。

【００３６】前記各図において本実施形態に係る人物画
像取得システム１は、前記第１の実施形態同様、撮像装
置２と、人物識別装置３と、記憶装置４とを備える一
方、異なる点として、人物識別装置３の顔部抽出手段３
２が、前記肌部領域に隣接する一又は複数の所定色の領
域を参照し、この所定色領域と肌部領域との位置関係を
基に顔部の識別・抽出を行うと共に、正面判定手段３３
が、撮像画像における顔部を横に略二等分する中心線を
設定すると共に、この中心線と平行をなす縦線を中心線
の左右のそれぞれ中心線を中心とする対称位置に複数設
定し、中心線及び縦線上の各画素の輝度を取得し、対称
位置関係にある各縦線位置における縦方向の輝度パター
ンがそれぞれ略一致する場合に顔部を正面方向から撮像
したと判定する構成とするものである。

【００３７】前記顔部抽出手段３２は、肌部領域が抽出
された撮像画像に対して、肌部領域に隣接する周囲の画
素部分の色を調べ、肌部領域と隣接する所定色の領域
（画素の集合）との隣接位置関係から、肌部領域のう
ち、下側に衣服の色領域が、上側に頭髪や帽子の色領域
がそれぞれ存在している肌部領域に顔部としての特徴を
認め、顔部と判定する仕組みである。加えて、シャツと
顔、腕との位置関係に見られるように、共通する色領域
に隣接する複数の肌部領域が存在する場合には、下端で
前記色領域に隣接する肌部領域を顔部と判定するように
している。

【００３８】前記正面判定手段３３は、顔部の画像に対
して、複数設定した前記縦線位置でそれぞれ縦方向の輝
度パターンを求め、顔部の中心位置に対して対称な各縦
線位置での輝度パターンがそれぞれ略一致する度合が大
きい状態を顔部の正面撮像状態として認識する。すなわ
ち、中心線を挟んで対称な位置におけるそれぞれの輝度
パターンの一致する部分をカウントし、全ての対称位置
について調べた合計のカウント値を以前の撮像画像のカ
ウント値と比較し、より大きいカウント値となったもの
を顔部の正面向きの画像と判定する仕組みである。

【００３９】次に、前記構成に基づく本実施形態に係る
人物画像取得システムにおける一連の処理について図１
１及び図１２のフローチャートを用いて説明する。前記
第１の実施形態同様、まず撮像装置２が調査対象領域で
ある店舗内の所定箇所を撮像し、撮像画像（図８（Ａ）
参照）が人物識別装置３へ継続的に入力され（ステップ
２０１）、人物識別装置３の肌部抽出手段３１がこの撮
像画像を解析して人の肌部領域（図８（Ｂ）参照）を抽
出する（ステップ２０２）。

【００４０】さらに、顔部抽出手段３２は、肌部領域の
各方向端部に隣接する画素の色を調べ、複数の肌部領域
で共通して隣合う所定色領域（画素の集合）が存在する
場合、各肌部領域のこの所定色領域との隣接位置を取得
し（図９（Ａ）参照）、隣接位置が最下部となっている
肌部領域で、且つ最も大きい領域を顔部として抽出し
（図９（Ｂ）参照）、この顔部を有する人を画像取得対
象者として認識する（ステップ２０３）。

【００４１】前記ステップ２０３で顔部が抽出された
後、顔部抽出手段３２は、前記第１の実施形態同様、抽
出した顔部と、記憶装置４に格納されている撮像画像に
おける顔部の位置とを比較し、新たに抽出した顔部の位
置が記憶装置に格納されている方の顔部位置から大きく
変化していない状態であるか否かを判定する（ステップ
２０４）。ここで、抽出した顔部の位置が記憶装置４に
格納されている撮像画像における顔部の位置からあまり
変っていない状態の場合には、続いて、正面判定手段３
３が、撮像画像の顔部が所定時間前から継続的に抽出さ
れているか否かを判定し（ステップ２０５）、同じ顔部
が継続的に抽出されてない場合には、前記ステップ２０
２に戻り、以降の処理を新たに繰返す。

【００４２】前記ステップ２０５で顔部が撮像画像中に
所定時間前から継続的に抽出されている場合には、正面
判定手段３３はこの顔部の領域について、顔部を横方向
に二等分する中心線を設定すると共に、この中心線と所
定間隔をなす中心線左右の複数の対称位置にそれぞれ縦
線を設定して、この縦線位置の各画素の輝度を取得する
（ステップ２０６）。得られた輝度から各縦線位置の縦
方向の輝度パターンを求め（図１０参照）、中心線を挟
んで対称となる左右の各縦線位置における輝度パターン
の一致する部分をカウントし（ステップ２０７）、全て
の縦線位置について調べた合計のカウント値を記憶装置
４に格納されているカウント値と比較し、この記憶装置
４に格納されているカウント値より大きいか否かを判定
する（ステップ２０８）。なお、この記憶装置４に格納
されているカウント値の初期値は０となっている。

【００４３】新たにカウントした値が記憶装置４に格納
している値より大きい場合、正面判定手段３３は最新の
カウント値を記憶装置４に格納すると共に、カウント対
象とした輝度パターンの基になった撮像画像を記憶装置
４に格納して正面向きの画像として保持し、記憶装置４
のカウント値及び撮像画像を更新する（ステップ２０
９）。前記ステップ２０８で新たにカウントした値が記
憶装置４に格納している値を下回る場合、顔部が以前よ
りも正面からずれた状態と見なし、記憶装置４に格納し
ているカウント値及び撮像画像を維持して更新を行わ
ず、そのまま前記ステップ２０２へ戻り、以降の処理を
繰返す。

【００４４】前記ステップ２０９の後、目部識別手段３
４は撮像画像の顔部の領域について、色差信号を所定の
しきい値で二値化し、肌色以外の部分を抽出した画像を
取得して、記憶装置４に格納する（ステップ２１０）。
そして、前記第１の実施形態同様、二値化画像の縦方向
各位置における肌部以外の部分として抽出された部分の
画素数をカウントし、画素数が最大となる縦方向位置を
取得し（ステップ２１１）、この位置に対応する撮像画
像の顔部所定位置を目部分と設定する（ステップ２１
２）。

【００４５】この後、画像変換手段３５が、前記第１の
実施形態同様、記憶装置４に格納された撮像画像の顔部
の領域について画素数と領域の縦横比を取得し、画素数
が所定のしきい値以上で、且つ縦横比が１より大きくな
っているか否かを判定する（ステップ２１３）。画素数
が前記しきい値以上で、且つ縦横比が１より大きい場
合、撮像画像の顔部に対し、目部識別手段３４で目部分
として設定された位置を中心として、顔部の上下幅に応
じた所定の上下幅でモザイク、ぼかし等の画像加工処理
を施す（ステップ２１４）。

【００４６】前記ステップ２１３で画素数が前記しきい
値以下、又は縦横比が１より小さい場合には、顔部全体
にモザイク、ぼかし等の画像加工処理を施す（ステップ
２１５）。前記ステップ２１４及びステップ２１５の
後、画像変換手段３５は顔部と共に肌部領域として抽出
された他の部分に対しても、モザイク、ぼかし等の画像
加工処理を施した上で（ステップ２１６）、前記ステッ
プ２０２に戻り、以降の処理を繰返す。

【００４７】前記ステップ２０４で、新たに抽出した顔
部の位置が記憶装置４に格納されている撮像画像におけ
る顔部の位置から大きく変化し、顔部の抽出対象の人が
以前とは別の人に替ったと認められる場合の処理（ステ
ップ２１７〜ステップ２１９）は、前記第１の実施形態
におけるステップ１１７以降の処理と同じであるため、
説明を省略する。

【００４８】こうして、調査対象領域である店舗内の所
定箇所にいる人の個人識別不能な状態とされた画像を記
録装置４から取出し可能となり、この画像データが人の
行動や外見の特徴を判別して所定の情報を得る調査等に
利用される。このように、本実施の形態に係る人物画像
取得システムにおいては、肌部領域が抽出された画像に
対して、顔部抽出手段３２で肌部領域に隣接する周囲の
画素部分の色を調べ、肌部領域と隣接する所定色の画素
の集合した領域との位置関係により、肌部領域の中から
下側に衣服が、上側に頭髪が位置するなどの顔部の特徴
に適合する肌部領域を抽出して顔部と認定することか
ら、顔部分を確実に識別でき、顔部の抽出精度を高めら
れる。また、正面判定手段３３で顔部の領域に対し、横
方向の複数箇所でそれぞれ縦方向の輝度パターンを取得
し、顔部中心位置に対して対称な各位置での輝度パター
ンがそれぞれ略一致する度合が大きい状態を顔部の正面
撮像状態として認識し、この状態の画像を記憶装置４に
格納させることから、顔部の正面を捕えた画像を人の外
見や行動を参照するための画像として確実に取得できる
こととなり、撮像された人の外見や行動の特徴を判別し
やすくし、画像から得られる情報の信頼性及び有用性を
向上させられる。

【００４９】なお、前記第１の実施形態に係る人物画像
取得システムにおいて、正面判定手段３３は顔部の画像
について、肌色以外の部分を抽出した二値化画像を取得
し、二値化画像における中心位置を挟んで対称となる左
右の各画素が、いずれも肌部以外の部分として抽出され
た部分にあたる場合をカウントし、全ての画素について
調べた合計のカウント値が最大となった時点の顔部を正
面からの撮像状態と判定する構成としているが、この
他、前記顔部の二値化画像のうち肌部以外の部分として
抽出された部分の画素数を求めると共に、二値化画像の
基となった顔部画像の顔部全体の画素数を求め、この顔
部全体の画素数に対する前記抽出部分の画素数の割合を
算出し、この割合が最大となった時点の顔部を正面から
の撮像状態と判定する構成とすることもでき、顔部が正
面向きに近いほど、肌部以外の部分として抽出される目
や口などの部分が顔部の中で大きな面積を占めるように
なることを利用して、簡易に正面からの撮像状態の判定
が行えることとなる。

【００５０】また、前記第２の実施形態に係る人物画像
取得システムにおいて、正面判定手段３３は顔部の画像
について、横方向の複数の所定位置における縦方向の輝
度パターンを求め、各輝度パターンが横方向の中心位置
について左右対称性を示しているかを検証することで、
顔部の正面からの撮像状態を判定する構成としている
が、これに限らず、顔部の縦方向の所定位置における各
画素の輝度を取得して横方向の輝度パターンを求め、こ
の輝度パターンの左右対称性から、顔部が正面から撮像
されているか否かを判定する構成とすることもでき、輝
度を取得する縦方向の位置を鼻部にかかる位置など適切
に設定することで、簡易に正面からの撮像状態の検証が
行えることとなる。また、顔正面から見た顔側部から顎
部にかけての顔輪郭形状の基準画像を用い、撮像画像の
顔部形状と比較して略一致する場合に顔部が正面から撮
像されていると認定する構成とすることもできる。

【００５１】

【発明の効果】以上のように本発明によれば、調査対象
領域を撮像装置で撮像し、この撮像装置で取得された撮
像画像から人物識別装置の肌部抽出手段が人の肌部領域
を抽出し、続いて顔部抽出手段が肌部領域から顔部を抽
出し、さらに正面判定手段が顔部の向きを検証し、適切
に顔部の正面を捕えた画像を取得できることにより、顔
部が正面から撮像されて調査対象となる人の外見や行動
を判断可能な画像を確実に得られることとなり、画像か
ら撮像された人の行動や外見の特徴を確実に見極めてデ
ータとして適切に利用でき、画像をよりデータとしての
活用性に優れたものとすることができるという効果を奏
する。

【００５２】また、本発明によれば、人物識別装置の目
部識別手段が撮像画像の顔部における目部分の位置を識
別し、続いて画像変換手段が目部分の位置を中心とした
所定領域に対し所定の画像加工処理を行い、画像中で顔
を正面に向けている人の個人識別ができないようにする
ことにより、記憶装置に格納される画像から人の外見や
行動を判断できる状態を維持しつつ人の個人としての特
定を防げることとなり、画像のデータとしての有用性確
保とプライバシーの保護との両立が図れるという効果を
有する。

【００５３】また、本発明によれば、肌部領域が抽出さ
れた画像に対して、顔部抽出手段で肌部領域に隣接する
周囲の画素部分の色を調べ、肌部領域と隣接する所定色
の画素の集合した領域との位置関係から、所定方向の端
部に所定色の領域が存在する顔部の特徴に適合する肌部
領域を抽出し、顔部と認定することにより、肌部領域の
中から下側に衣服が、上側に頭髪が位置するなどの特徴
を有する顔部分を確実に識別でき、顔部の抽出精度を高
められるという効果を有する。

【００５４】また、本発明によれば、顔部の画像に対し
て、正面判定手段で横方向の複数箇所でそれぞれ縦方向
の輝度パターンを取得し、顔部中心位置に対して対称な
各位置での輝度パターンがそれぞれ略一致する度合が大
きい状態を顔部の正面撮像状態として認識し、この状態
の画像を記憶装置に格納させることにより、顔部の正面
を捕えた画像を人の外見や行動を参照するための画像と
して確実に取得できることとなり、撮像された人の外見
や行動の特徴の判別性を大きく向上させられ、データと
しての信頼性及び有用性を一層高められるという効果を
有する。

【００５５】また、本発明によれば、顔部の画像に対
し、目部識別手段で色差信号を所定のしきい値で二値化
した画像を取得し、この画像の縦方向各位置における抽
出部分の全ての画素数をそれぞれカウントして、カウン
ト結果から画素数が最大となる位置、すなわち、肌部以
外の色部分が最も多く抽出されている位置を目の位置と
して認識することにより、適切に目の位置を認識して画
像変換手段に的確に画像加工処理を行わせることがで
き、個人の特徴を最もよく表す目部分を確実に隠してプ
ライバシー保護をより確実なものとすることができると
いう効果を有する。

【００５６】また、本発明によれば、肌部領域に対し、
画像変換手段で顔部の一部に画像加工処理が施される一
方、顔部以外の各部にもそれぞれ所定の画像加工処理が
施され、肌部を参照することによる個人の識別を不可能
とすることにより、正面向きの顔部を撮像された人以外
の別の人の顔などが判別可能に撮像されている場合や、
顔以外の肌部の状態で個人識別が可能な撮像画像となっ
ている場合にそのまま記憶装置に格納されるのを防げる
こととなり、撮像された全ての人について個人の識別を
困難にして確実にプライバシー保護を図れるという効果
を有する。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る人物画像取得シ
ステムのブロック構成図である。

【図２】本発明の第１の実施形態に係る人物画像取得シ
ステムにおける撮像画像説明図及び肌部領域抽出状態説
明図である。

【図３】本発明の第１の実施形態に係る人物画像取得シ
ステムにおける顔部抽出状態説明図及び正面判定状態説
明図である。

【図４】本発明の第１の実施形態に係る人物画像取得シ
ステムにおける撮像画像中の目部設定状態説明図であ
る。

【図５】本発明の第１の実施形態に係る人物画像取得シ
ステムにおける加工処理後画像説明図である。

【図６】本発明の第１の実施形態に係る人物画像取得シ
ステムの処理前半のフローチャートである。

【図７】本発明の第１の実施形態に係る人物画像取得シ
ステムの処理後半のフローチャートである。

【図８】本発明の第２の実施形態に係る人物画像取得シ
ステムにおける撮像画像説明図及び肌部領域抽出状態説
明図である。

【図９】本発明の第２の実施形態に係る人物画像取得シ
ステムにおける顔部抽出過程及び顔部抽出状態説明図で
ある。

【図１０】本発明の第２の実施形態に係る人物画像取得
システムにおける正面判定状態説明図である。

【図１１】本発明の第２の実施形態に係る人物画像取得
システムの処理前半のフローチャートである。

【図１２】本発明の第２の実施形態に係る人物画像取得
システムの処理後半のフローチャートである。

【符号の説明】

１ 人物画像取得システム ２ 撮像装置 ３ 人物識別装置 ３１ 肌部抽出手段 ３２ 顔部抽出手段 ３３ 正面判定手段 ３４ 目部識別手段 ３５ 画像変換手段 ４ 記憶装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者 森 幸博 東京都台東区東上野５丁目16−５ 新明和 エンジニアリング株式会社内 Ｆターム(参考） 5B057 AA19 BA02 CA01 CA12 CA16 CB01 CB12 CB16 DA08 DB02 DB06 DB09 5C054 AA01 AA05 CA04 CC03 EA01 EA05 EA07 ED17 FC04 FC08 FC12 GA00 GB02 GC03 HA18 HA24 HA25 5L096 BA02 CA02 FA15 FA54 FA62 FA67 GA38 JA11

Claims (6)

【特許請求の範囲】
1. 【請求項１】 所定の調査対象領域を撮像し、撮像画像
   を継続的に取得する撮像装置と、当該撮像装置から得ら
   れる前記調査対象領域の撮像画像を解析し、人を識別す
   る人物識別装置と、当該人物識別装置で識別された人の
   含まれる前記撮像画像をデータとして格納する記憶装置
   とを少なくとも備える人物画像取得システムにおいて、 前記人物識別装置が、撮像された撮像画像中から人の肌
   部を検出して全ての肌部領域を抽出する肌部抽出手段
   と、前記肌部領域から人の顔部を識別して抽出する顔部
   抽出手段と、前記顔部が顔部に対する正面方向から撮像
   されているかを判定する正面判定手段とを有してなり、 前記記憶装置が、少なくとも前記正面判定手段で顔部が
   正面方向から撮像されたと判定された撮像画像を格納す
   ることを特徴とする人物画像取得システム。
2. 【請求項２】 前記請求項１に記載の人物画像取得シス
   テムにおいて、 前記人物識別装置が、前記正面判定手段で正面方向から
   撮像されたと判定された顔部における目部分の位置を識
   別する目部識別手段と、当該目部分の位置を含む撮像画
   像の所定領域に人の個人識別を不能とする所定の画像加
   工処理を施す画像変換手段とを備えることを特徴とする
   人物画像取得システム。
3. 【請求項３】 前記請求項１又は２に記載の人物画像取
   得システムにおいて、 前記顔部抽出手段が、前記肌部領域に隣接する一又は複
   数の所定色の領域を参照し、当該所定色領域と肌部領域
   との位置関係を基に顔部の識別を行うことを特徴とする
   人物画像取得システム。
4. 【請求項４】 前記請求項１ないし３のいずれかに記載
   の人物画像取得システムにおいて、 前記正面判定手段が、撮像画像における顔部を横に略二
   等分する中心線を設定すると共に、当該中心線と平行を
   なす縦線を中心線の左右のそれぞれ中心線を中心とする
   対称位置に複数設定し、少なくとも前記縦線上の各画素
   の輝度を取得し、対称位置関係にある各縦線位置におけ
   る縦方向の輝度パターンがそれぞれ略一致する場合に顔
   部を正面方向から撮像したと判定することを特徴とする
   人物画像取得システム。
5. 【請求項５】 前記請求項１ないし４のいずれかに記載
   の人物画像取得システムにおいて、 前記目部識別手段が、撮像画像における顔部の領域につ
   いて、色差信号を所定のしきい値で二値化して肌ではな
   い部分を抽出した画像を取得し、当該画像の縦方向各位
   置における抽出部分の画素数をカウントし、画素数が最
   大となる縦方向所定位置を目部分の位置として識別する
   ことを特徴とする人物画像取得システム。
6. 【請求項６】 前記請求項１ないし５のいずれかに記載
   の人物画像取得システムにおいて、 前記画像変換手段が、前記画像加工処理を施した顔部以
   外に存在する肌部領域に対し、人の個人識別を不能とす
   る所定の画像加工処理を施すことを特徴とする人物画像
   取得システム。