JP2019192154A - 画像処理装置、撮影装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】処理時間を低減しつつ、画像に存在する複数の人物の属性情報の全体的な傾向を推定する画像処理装置、撮像装置、画像処理方法及びプログラムを提供する。
【解決手段】画像処理装置１００は、撮像装置１０２が撮影した画像に含まれる複数の人物を検出する検出部と、検出部により検出された複数の人物の数を計数する計数部と、計数部の結果に基づいて、検出部により検出された複数の人物のうち、属性情報を推定する対象となる人物を決定する決定部と、決定部により決定された人物の属性情報を推定する属性推定部と、属性推定部により推定された各人物の属性情報の統計に関する情報を出力する出力制御部と、を備える。
【選択図】図３

Description

本発明は画像から人物の属性情報を推定する画像処理技術に関する。

近年、撮影装置が撮影した画像に存在する人物を解析して、人物の属性情報（性別や年齢など）を推定する属性推定を行い、マーケティングなどに活用する技術が注目されている。特許文献１には、複数の人物の顔画像を取得し、この顔画像から人物の属性を推定する旨の記載がある。

特開２００４−２２７１５８号公報

しかしながら、画像に存在する複数の人物の全体的な属性情報の傾向を推定することを想定したとき、特許文献１において、画像に映る人物の数が多いと、属性推定を行う対象となる顔画像の数も多くなり、結果的に処理に時間がかかることがある。

一方で、画像に沢山の人物が写っている際に属性情報の推定をした人物が少な過ぎると、画像に写っている人物のごく一部について推定しているだけであって、画像に存在する複数の人物の属性情報の全体的な傾向を分析する上では好ましくない。

本発明は、このような問題に鑑みてなされたものであり、処理時間を低減しつつ、画像に存在する複数の人物の属性情報の全体的な傾向を推定することを目的としている。

上記課題を解決するために、本発明の画像処理装置は以下の構成を備える。すなわち、画像に含まれる複数の人物を検出する検出手段と、前記検出手段により検出された複数の人物の数を計数する計数手段と、前記計数手段の結果に基づいて、前記検出手段により検出された複数の人物のうち、属性情報を推定する対象となる人物を決定する決定手段と、前記決定手段により決定された人物の前記属性情報を推定する推定手段と、前記推定手段により推定された各人物の属性情報の統計に関する情報を出力する出力手段と、を有することを特徴とした画像処理装置。

本発明によれば、処理時間を低減しつつ、画像に存在する複数の人物の属性情報の全体的な傾向を推定することができる。

システム構成を示す模式図である。 画像処理装置および撮影装置のハードウェア構成を示す概略図である。 画像処理装置および撮影装置の機能ブロック図である。 属性情報の統計に関する情報を出力する処理のフローチャートである。 属性推定処理を説明するための模式図である。 画像処理の結果の例を示す表である。 画像処理装置の機能ブロック図である。 属性情報の統計に関する情報を出力する処理のフローチャートである。 属性推定処理を説明するための模式図である。 画像処理装置の一部の機能を有する撮影装置とクライアント装置の機能ブロック図の一例である。

（実施形態１）
以下、添付図面を参照しながら本発明に係る実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。

図１は、本実施形態に係るシステム構成を示す模式図である。画像処理装置１００は、後述する画像処理を実行する装置である。なお、画像処理装置１００は、例えば、後述する画像処理の機能を実現するためのプログラムがインストールされたパーソナルコンピュータである。

表示装置１０１は、画像処理装置１００に接続され、画像データに基づく画像や後述する画像処理により出力されるデータなどを表示するディスプレイ等の表示装置である。

撮影装置１０２は、画像を撮影する装置であり、例えば、ネットワークを介して画像の画像データなどを送信できるネットワークカメラなどである。

記録装置１０３は、撮影装置１０２で撮影された画像の画像データなどを記録することができる装置である。

また、画像処理装置１００、撮影装置１０２、および記録装置１０３は、ネットワーク１０４を介して通信を行う。ネットワーク１０４は、例えばＥＴＨＥＲＮＥＴ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成される。本実施形態においては画像処理装置１００、撮影装置１０２、記録装置１０３間の通信を行うことができるものであれば、その通信規格、規模、構成を問わない。例えば、ネットワーク１０４はインターネットや有線ＬＡＮ（ＬＯＣＡＬ ＡＲＥＡ ＮＥＴＷＯＲＫ）、無線ＬＡＮ（ＷＩＲＥＬＥＳＳ ＬＡＮ）、ＷＡＮ（ＷＩＤＥ ＡＲＥＡ ＮＥＴＷＯＲＫ）等により構成されてもよい。

また、図１に示す本実施形態の構成では、撮影装置１０２により撮影された画像の画像データ（ライブ映像）や記録装置１０３にて記録された画像データ（過去に撮影した画像）などが画像処理装置１００に送信される。

次に、図２を参照して、画像処理装置１００および撮影装置１０２のハードウェア構成について説明する。図２は、画像処理装置１００および撮影装置１０２のハードウェア構成を示す概略図である。

まず、画像処理装置１００のハードウェア構成について説明する。ＣＰＵ（ＣＥＮＴＲＡＬ ＰＲＯＣＥＳＳＩＮＧ ＵＮＩＴ）２００は、画像処理装置１００を制御する中央処理装置である。

ＩＦ２０１は、ネットワーク１０４を介してＴＣＰ／ＩＰやＨＴＴＰ、ＯＮＶＩＦ等のプロトコルに従って、撮影装置１０２との通信を行う。また、ＩＦ２０１は、撮影装置１０２が撮影した画像の画像データなどを受信したり、撮影装置１０２を制御するための各種のコマンドなどを送信したりする。

ＲＡＭ（ＲＡＮＤＯＭ ＡＣＣＥＳＳ ＭＥＭＯＲＹ）２０２は、ＣＰＵ２００が実行するコンピュータプログラムを一時的に記憶する。また、ＲＡＭ２０２は、ＩＦ２０１を介して外部から取得したデータ（コマンドや画像データ）などを一時的に記憶する。また、ＲＡＭ２０２は、ＣＰＵ２００が後述の画像処理を実行する際に用いるワークエリアを提供する。また、ＲＡＭ２０２は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。

ＣＰＵ２００は、ＲＡＭ２０２に格納されるコンピュータプログラムを実行する。なおＣＰＵ以外にも、ＤＳＰ（ＤＩＧＩＴＡＬ ＳＩＧＮＡＬ ＰＲＯＣＥＳＳＯＲ）等のプロセッサを用いてもよい。

ＨＤＤ（ＨＡＲＤ ＤＩＳＫ ＤＲＩＶＥ）２０３は、オペレーティングシステムのプログラムや画像データを記憶する。後述する図４および図８のフローチャートを実行するためのコンピュータプログラムやデータはＨＤＤ２０３に格納されており、ＣＰＵ２００による制御に従って、適宜、ＲＡＭ２０２にロードされ、ＣＰＵ２００によって実行される。なおＨＤＤ以外にもフラッシュメモリ等の他の記憶媒体を用いてもよい。

なお、画像処理装置１００の筐体は表示装置１０１と一体であってもよい。ＵＩ（ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ）２０４は、キーボードやマウスなどの入力装置である。

なお、本実施形態において、ＣＰＵ２００が処理を実行する主体として説明するが、ＣＰＵ２００の処理のうち少なくとも一部を専用のハードウェアによって行うようにしてもよい。例えば、表示装置１０１にＧＵＩ（ＧＲＡＰＨＩＣＡＬ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ）や画像データを表示する処理は、ＧＰＵ（ＧＲＡＰＨＩＣＳ ＰＲＯＣＥＳＳＩＮＧ ＵＮＩＴ）で実行してもよい。また、ＨＤＤ２０３からプログラムコードを読み出してＲＡＭ２０２に展開する処理は、転送装置として機能するＤＭＡ（ＤＩＲＥＣＴ ＭＥＭＯＲＹ ＡＣＣＥＳＳ）によって実行してもよい。

次に、撮影装置１０２のハードウェア構成について説明する。ＣＰＵ２１０は撮影装置１０２を統括制御する中央処理装置である。

ＩＦ２１１は、ネットワーク１０４を介してＴＣＰ／ＩＰやＨＴＴＰ、ＯＮＶＩＦ等のプロトコルに従って、画像処理装置１００との通信を行う。ＩＦ２１１は、画像処理装置１００へ画像の画像データなどを送信したり、撮影装置１０２を制御するための各種のコマンドなどを画像処理装置１００から受信したりする。

ＲＡＭ２１２は、ＣＰＵ２１０が実行するコンピュータプログラムを一時的に記憶する。また、ＲＡＭ２１２は、ＩＦ２１１を介して外部から取得したデータ（コマンドなど）を一時的に記憶する。また、ＲＡＭ２１２は、ＣＰＵ２１０が処理を実行する際に用いるワークエリアを提供する。また、ＲＡＭ２１２は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。

ＲＯＭ２１３は、ＣＰＵ２１０が撮影装置１０２を制御するためのプログラムなどを記憶する。なお、ＲＯＭ２１３に加えてＨＤＤ２０３と同等な二次記憶装置を備えるようにしてもよい。

撮影デバイス２１４は、動画または静止画を撮影するビデオカメラなどの撮影デバイスである。なお、撮影装置１０２の筐体と撮影デバイス２１４の筐体は一体でなくてもよい。

次に、図３（ａ）を参照して、本実施形態に係る画像処理装置１００について説明する。図３（ａ）は、本実施形態に係る画像処理装置１００の機能ブロック図である。なお、図３（ａ）に示す各機能ブロックは、ソフトウェアモジュールで実現してもよいし、ハードウェアモジュールで実現してもよい。また、ソフトウェアモジュールとハードウェアモジュールとを協働させて実現してもよい。なお、以降の説明において、画像処理装置１００が有する各機能は、画像処理装置１００のＣＰＵ２００により実行されるものとする。

画像処理装置１００は、操作受付部３００と、領域設定部３０１と、検出部３０２と、スコア算出部３０３と、計数部３０４と、決定部３０５と、属性推定部３０６と、結果算出部３０７と、出力制御部３０８と、記憶部３０９と、通信部３１０とを有する。

操作受付部３００は、ＵＩ２０４を介して、ユーザーによる操作を受け付ける。操作受付部３００は、例えば、出力制御部３０８により表示装置１０１に出力された画像に対して、ＵＩ２０４を介して、ユーザーが指定した検出領域の位置の情報を受け付ける。

領域設定部３０１は、通信部３１０を介して得られた画像において、検出部３０２が処理を行う対象とする領域である検出領域を設定する。なお、操作受付部３００を介して、ユーザーにより指定された画像内の領域を検出領域として設定してもよいし、事前に設定された所定の領域を検出領域としてもよい。なお、ユーザーによる検出領域の設定や、予め登録された設定がなければ、通信部３１０を介して得られた画像データが示す画像全体を検出領域としてもよい。

検出部３０２は、通信部３１０を介して得られた画像において検出領域に含まれる複数の人物の検出を行う。なお、本実施形態に係る検出部３０２は、学習画像から人体の特徴量（例えば、ＨＡＡＲ−ＬＩＫＥ特徴量、ＨＯＧ特徴量など）が学習されたうえで作成された識別器を保持している。そして、検出部３０２は、学習の結果である識別器に画像が入力されると、入力された画像から人体の検出を行う。検出部３０２により検出された人体の画像領域の位置は記憶部３０９にて記憶される。なお、本実施形態における検出部３０２は、人物の体を検出する人体検出を行うとして説明するが、これに限定されない。例えば、検出部３０２は、人物の顔を検出する顔検出や人物の頭部を検出する頭部検出であってもよい。なお、本実施形態では説明の簡便のため、検出部３０２は人物の顔や胴体を含む人体を、人体の一部の特徴を用いて検出するものとして説明する。

スコア算出部３０３は、検出部３０２により検出された複数の人物の各々に対し、属性推定部３０６による属性情報の推定のしやすさを示す指標であるスコアを出力する。なお、スコアが高い人物ほど属性情報が推定しやすいことを示している。本実施形態における属性推定部３０６は、人物の顔領域から属性情報を推定するため、スコア算出部３０３は、例えば、検出部３０２により検出された人体における顔領域同士の重なりが少ない人物ほどスコアを高くする。なおこのとき、スコア算出部３０３は、検出部３０２により検出された人体の画像領域の位置およびサイズから、その人体の顔領域の位置およびサイズを推定する。そして推定した顔領域の位置およびサイズから、スコア算出部３０３は、顔領域同士の重なりを判定し、スコアを算出する。また、スコア算出部３０３は、例えば、人体の画像領域が小さいほどスコアを小さくしてもいいし、検出部３０２により顔検出が行われていれば、検出された顔の向きが画像内において正面を向く向きに近い程、スコアを高くしてもよい。

計数部３０４は、検出部３０２により検出された人物の数を計数する。

決定部３０５は、計数部３０４により計数された人数に基づいて、計数された人数について所定の割合を満たすように、属性推定部３０６が属性情報を推定する対象となる人物を決定する。例えば、計数部３０４により計数された人数が１００人であり、所定の割合が５０％であると想定する。このとき、決定部３０５は、検出部３０２により検出された１００人のうち、属性推定部３０６により属性情報が推定される対象となる人物を５０人まで決定する。なお、本実施形態のおける所定の割合は５０％としているがこれに限らない。画像に存在する複数の人物の属性情報の傾向を推定できるよう、ユーザーにより割合が適宜設定されてもいいし、事前に予め登録された設定でもよい。

属性推定部３０６は、決定部３０５により決定された人物を対象として属性情報を推定する。なお、本実施形態における属性推定部３０６は、学習画像によって学習した識別器を利用して人物の顔領域から属性情報（性別や年齢に関する情報）を推定する。また、本実施形態では、属性情報を人物の性別を示す情報や年齢に関する情報として説明するが、これに限定されない。例えば、人種や人物の感情などに関する情報であってもよい。

結果算出部３０７は、属性推定部３０６により推定された各人物の属性情報の統計に関する数値を算出する。本実施形態において、結果算出部３０７は、属性推定部３０６により推定された属性情報に基づいて、属性情報ごとの割合を算出する。例えば、計数部３０４により計数された人数である１００人のうち属性推定部３０６により５０人の属性情報の推定がなされた場合、結果算出部３０７は、この５０人における属性情報ごとの割合を算出する。

出力制御部３０８は、属性推定部３０６により推定された各人物の属性情報の統計に関する情報を出力する。例えば、計数部３０４により計数された人数である１００人のうち、属性推定部３０６により５０人の属性情報の推定がなされた場合を想定する。このとき、出力制御部３０８は、結果算出部３０７により算出されたその５０人における属性情報ごとの割合を統計に関する情報として出力する。例えば、出力制御部３０８は、その５０人における、男性の割合や女性の割合を出力する。

また、出力制御部３０８は、通信部３１０を介して得られた画像の画像データなどを表示装置１０１に出力する。

記憶部３０９は、検出部３０２が検出した人物の画像領域の位置、スコア算出部３０３が算出したスコア、計数部３０４が計数した人数などに関する情報を記憶する。

通信部３１０は、ネットワーク１０４を介して、撮影装置１０２が撮影した画像の画像データなどを受信したり、撮影装置１０２を制御するための各種のコマンドなどを撮影装置１０２へ送信したりする。

次に、図３（ｂ）を参照して、本実施形態に係る撮影装置１０２について説明する。図３（ｂ）は、本実施形態に係る撮影装置１０２の機能ブロック図である。撮影装置１０２は、撮影部３３０と、画像処理部３３１と、制御部３３２と、通信部３３３とを有する。

撮影部３３０は、ＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）センサやＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の撮像素子を有する。そして、撮影部３３０は、撮影装置１０２のレンズを通って結像された被写体像を光電変換して電気信号を生成する。

画像処理部３３１は、撮影部３３０において光電変換された電気信号をデジタル信号へ変換する処理や、圧縮符号化処理などを行い、画像データを生成する。

制御部３３２は、画像処理装置１００から受信した撮影装置１０２を制御するコマンドに従い、撮影装置１０２を制御する。例えば、制御部３１２は、撮影装置１０２の画角を変更する制御を行う。

通信部３３３は、画像処理部３３１で生成された画像データの送信や、撮影装置１０２を制御するための各種のコマンドなどを受信する。

次に、本実施形態における属性情報の統計に関する情報を出力する処理について図４に示すフローチャートを参照して説明する。図４は、本実施形態に係る画像処理の流れを示すフローチャートである。図４に示すフローチャートの処理は、主に図３（ａ）に示す画像処理装置１００の各機能ブロックにより実行される。なお、本実施形態において、図４に示すフローチャートの処理は、画像処理装置１００のＨＤＤ２０３に格納されたコンピュータプログラムをＣＰＵ２００が実行することにより実現される図３（ａ）の各機能ブロックにより実行されるものとして説明する。ただし、図４に示すフローチャートの処理の一部は専用のハードウェアによって実行するようにしてもよい。以下、画像処理装置１００のＣＰＵ２００により実行される処理について説明する。

ステップＳ４０１において、通信部３１０は、撮影装置１０２により撮影された画像の画像データを受信する。

次に、ステップＳ４０２において、領域設定部３０１は、通信部３１０を介して受信した画像において、検出部３０２が処理を行う対象とする領域である検出領域を設定する。なお本実施形態における操作受付部３００は、出力制御部３０８により表示装置１０１に出力された画像に対して、ＵＩ２０４をユーザーが指定した画像内の領域の位置に関する情報を受け付ける。そして、領域設定部３０１は、操作受付部３００が受け付けた情報に基づいて、検出領域の位置として設定する。例えば、ＵＩ２０４を介してユーザーが指定した画像内の４点の位置情報を操作受付部３００が受け付けて、領域設定部３０１は、その４点からなる四角形の位置を検出領域の位置として設定するようにしてもよい。

次に、ステップＳ４０３にて、検出部３０２は、通信部３１０を介して得られた画像において検出領域に含まれる複数の人物の検出を行う。

次にステップＳ４０４にて、検出領域に複数の人物が検出された場合はＹＥＳに進み、ステップＳ４０５の処理へ移行する。ステップＳ４０５にて、スコア算出部３０３は、検出部３０２により検出された複数の人物の各々に対し、属性推定部３０６による属性情報の推定のしやすさを示す指標であるスコアを出力する。

次に、ステップＳ４０６にて、計数部３０４は、検出部３０２により検出された人物の数を計数する。

次に、ステップＳ４０７にて、決定部３０５は、計数部３０４により計数された人数に基づいて、計数された人数について所定の割合を満たすように、属性推定部３０６が属性情報を推定する対象となる人物を決定する。なおこのとき、本実施形態における決定部３０５は、さらに、スコア算出部３０３により算出されたスコアに基づいて、属性情報を推定する対象となる人物を決定する。

次に、ステップＳ４０８にて、属性推定部３０６は、決定部３０５により決定された人物を対象として属性情報を推定する。

次に、ステップＳ４０９にて、結果算出部３０７は、属性推定部３０６により推定された各人物の属性情報の統計に関する数値を算出する。なお本実施形態における結果算出部３０７は、属性推定部３０６により推定された属性情報に基づいて、属性情報ごとの割合を算出する。

次に、ステップＳ４１０にて、出力制御部３０８は、属性推定部３０６により推定された、決定部３０５によって決定された各人物の属性情報の統計に関する情報を出力する。また、出力制御部３０８は、計数部３０４により計数された人数や、結果算出部３０７により算出された属性情報ごとの割合に関するデータを表示装置１０１に出力する。なお、ステップＳ４１０にて出力制御部３０８が出力するデータに関する更に詳細な説明は、図６を参照して後述する。

ここで図５を参照して、ステップＳ４０７〜４１０における処理について更に詳細に説明する。図５は、本実施形態に係る属性推定処理を説明するための模式図である。

画像５００は、通信部３１０が受信した画像データが示す画像である。領域５０１は、ユーザーにより設定された検出領域である。領域５０２は、検出部３０２により検出された人物の位置と大きさを示す領域である。枠５０３は、決定部３０５により属性情報が推定される対象として決定され、属性推定部３０６により属性情報が推定された人物を示す枠である。なお、出力制御部３０８は、領域５０１と、領域５０２と、枠５０３と、を画像に重畳して表示装置１０１に出力してもよい。これにより、ユーザーは、検出部３０２により検出された人物と、属性推定部３０６により属性情報が推定された人物とを容易に判別することができる。

図５に示す場合において、検出部３０２により領域５０１に含まれる人物が検出されており（ステップＳ４０３）、計数部３０４により計数された領域５０１における人数は２０人となっている（ステップＳ４０６）。

ステップＳ４０７における決定部３０５は、計数部３０４により計数された人数である２０人のうち、所定の割合の人数を満たすように、属性推定部３０６により属性情報が推定される対象を決定していく。なお本実施形態において、所定の割合は５０％であるとし、決定部３０５は、属性推定部３０６により属性情報が推定される対象となる人物を１０人まで決定する。

なおこのとき、本実施形態における決定部３０５は、さらに、スコア算出部３０３により算出されたスコアに基づいて、検出部３０２により検出された複数の人物のうち、属性情報を推定する対象となる人物を決定する。例えば、図５に示す場合において、決定部３０５は、領域５０１における２０人のうち５０％の人数である１０人を満たすように、属性情報が推定される対象となる人物を決定する際、算出されたスコアが所定値以上の人物を対象として決定する。例えば、スコア算出部３０３により算出されるスコアのレンジが０〜１００としたとき、決定部３０５は、領域５０１における２０人のうち１０人を満たすように、スコアが８０以上の人物を決定する。なお、このとき属性情報が推定される対象の人物を決定する基準となるスコアの所定値は、予め登録された値を設定してもいいし、ユーザーにより適宜設定されるようにしてもよい。また、例えば、決定部３０５は、属性情報を推定する対象となる人物をスコアが高い人物から１０人まで順次決定するようにしてもよい。なお、属性推定部３０６は、スコアが高い人物から順次属性推定を行うようにしてもよい。

以上説明したように、計数部３０４により計数された人数と、さらにスコア算出部３０３により算出されたスコアに基づいて、決定部３０５は、属性情報が推定される対象を決定する。これにより、人物と人物との顔領域の重なりが少ない人物や、画像に映る人物のサイズが大きい人物など、属性情報が推定されやすい人物を優先して属性推定部３０６は処理を行うことができる。つまり、人数とスコアに基づいて属性情報が推定される対象を決定することで、属性情報を推定することが困難な人物がいた場合であっても、処理時間を低減しつつ、画像に存在する複数の人物の属性情報の全体的な傾向を推定することができる。

次に図６を参照して、本実施形態に係る画像処理の結果の出力について説明する。図６は、本実施形態に係る画像処理の結果の一例を示す表である。図６に示す表は、出力制御部３０８が表示装置１０１に出力する表の一例である。図６に示す表において、検出数は、計数部３０４により計数された人数を示している。また、サンプル数は、属性推定部３０６により属性情報が推定された人数を示している。

例えば、１０：００の時刻に行われた画像処理の結果について説明する。１０：００において本実施形態に係る画像処理を行った場合、計数部３０４により計数された人数は合計でｃｃ人である。また、属性推定部３０６により属性情報が推定された数はｊｊ人である。このとき、属性推定部３０６により属性情報が推定されたｊｊ人において、年齢が４０歳から４９歳の男性であると推定された人物は、ｊｊ人のうち２０％であると出力される。このようにサンプル数における属性情報ごとの割合などを統計に関する情報として出力することで、画像に存在する複数の人物の属性情報の全体的な傾向をユーザーは把握することができる。

また、図６に示す表において、サンプル数における属性情報ごとの割合が出力されているが、これに限らない。例えば、結果算出部３０７は、サンプル数における属性情報ごとの割合と検出数とを乗じた数値を算出し、出力制御部３０８は、その数値を表に出力するようにしてもよい。例えば、サンプル数が１０人であり、検出数が２０人であるとする。このときサンプル数において、男性が４人であり女性が６人とすると、割合は男性４０％であり女性が６０％となる。結果算出部３０７が割合と検出数とを乗じた値を算出することで、検出部３０２において検出された人数である２０人のうち、男性は８人であり女性は１２人であると推定することができる。以上のように、サンプル数における属性情報ごとの割合と検出数とを乗じた値を表に出力することで、画像に存在する複数の人物の属性情報の全体的傾向をユーザーはより容易に把握することができる。

本実施形態において、検出領域は一つである場合を想定して説明したが、これに限らない。例えば、画像内において、複数の検出領域を設定してもよい。この場合、計数部３０４は、複数の検出領域ごとに、検出部３０２により検出された人物の数を計数する。そして決定部３０５は、複数の検出領域の各々に対して次のような処理を行う。すなわち決定部３０５は、複数の検出領域の各々に対し、計数部３０４により計数された人数に基づいて、計数された人数について所定の割合を満たすように、属性推定部３０６が属性情報を推定する対象となる人物を決定する。属性推定部３０６は、決定部３０５により決定された人物を対象として属性情報を推定する。結果算出部３０７は、複数の検出領域ごとに、属性推定部３０６により推定された属性情報の統計に関する数値、例えば、属性情報ごとの割合を算出する。出力制御部３０８は、複数の検出領域ごとに、属性推定部３０６により推定された属性情報の統計に関する情報を出力する。こうすることにより、複数の検出領域ごとに、画像に存在する複数の人物の属性情報の傾向をユーザーは把握することができる。

以上説明したように、本実施形態によれば、画像に存在する複数の人物の各々に対してではなく、所定の割合の人数を対象に属性推定が行われることで、処理時間を低減しつつ、画像に存在する複数の人物の属性情報の全体的な傾向を推定することができる。

（実施形態２）
実施形態１における図４に示すフローチャートでは、ユーザーにより設定された検出領域を対象にして画像処理を行ったが、これに限らない。例えば、画像内における人物の密度に基づいて領域を設定し、その領域ごとに属性情報の統計に関する情報を出力するようにしてもよい。実施形態２では、この場合における画像処理について、図７〜９を参照して説明する。なお、以下の説明において、図１〜図６と同一または同等の構成要素、処理には、同一の符号を付するものとし、適宜、重複した説明は省略する。

図７は、実施形態２に係る画像処理装置１００の機能ブロック図である。この場合、図３に示した機能ブロック図に、密度推定部７００が加えられている。

密度推定部７００は、画像における複数の人物の密度を推定する。なお本実施形態における密度推定部７００は、画像を格子状に分割した小領域（以下、分割領域）ごとについて、各分割領域に含まれる人物の数を密度として推定する。画像の分割数や分割領域の大きさは任意の値で設定可能であり、分割領域は複数の画素を含む領域であってもよいし、１つの画素を含む画素領域であってもよい。

なお密度推定部７００による密度を推定する方法としては、公知の方法を用いればよい。例えば、密度推定部７００は、複数の人物が映った群衆の画像を用いて作成された学習データと通信部３１０を介して受信された画像とを比較および照合を行うことで画像における分割領域ごとに複数の人物の密度を推定する。また、密度推定部７００は、検出部３０２により検出された人物の画像内における位置に基づいて、画像における分割領域ごとに複数の人物の密度を推定してもよい。

領域設定部３０１は、通信部３１０を介して得られた画像において、検出部３０２が処理を行う対象とする領域である検出領域を設定する。また本実施形態における領域設定部３０１は、さらに、通信部３１０を介して得られた画像において、密度推定部７００の結果に基づいて、計数部３０４が人物の数を計数する対象となる領域である計数領域を少なくとも一つ設定する。このとき、領域設定部３０１は、密度推定部７００が推定した密度が所定値以上の分割領域を連結させた領域を包括する計数領域を少なくとも一つ設定する。なお、このとき計数領域を設定する基準となる所定値は、予め登録された設定でもよいし、ユーザーにより適宜設定されてもよい。

計数部３０４は、領域設定部３０１において設定された計数領域の各々に対して、検出部３０２により検出された人物の数を計数する。

決定部３０５は、複数の計数領域の各々に対して次のような処理を行う。すなわち決定部３０５は、計数部３０４により計数された人数に基づいて、計数領域の各々に対して計数された人数について所定の割合を満たすように、計数領域の各々に対して属性推定部３０６が属性情報を推定する対象となる人物を決定する。

結果算出部３０７は、複数の計数領域の各々について、属性推定部３０６により推定された属性情報の統計に関する数値を算出する。なお本実施形態における結果算出部３０７は、属性推定部３０６により推定された属性情報に基づいて、複数の計数領域の各々について、属性情報ごとの割合を算出する。

出力制御部３０８は、属性推定部３０６により推定された各人物の属性情報の統計に関する情報を計数領域ごとに出力する。

次に図８および図９を参照して、画像内における人物の密度に応じて領域が設定され、その領域ごとに属性情報の統計に関する情報が出力される処理について説明する。図８は、実施形態２に係る画像処理の流れを示すフローチャートである。図９は、実施形態２に係る画像処理を説明するための模式図である。

図８に示すフローチャートの処理は、主に図７に示す画像処理装置１００の機能ブロックにより実行される。なお、本実施形態において、図８に示すフローチャートの処理は、ＨＤＤ２０３に格納されたコンピュータプログラムをＣＰＵ２００が実行することにより実現される図３の各機能ブロックにより実行されるものとして説明する。ただし、図８に示すフローチャートの処理の一部は専用のハードウェアによって実行するようにしてもよい。以下、画像処理装置１００のＣＰＵ２００により実行される処理について説明する。

図８に示すステップＳ４０１において、通信部３１０は、撮影装置１０２により撮影された画像の画像データを受信する。

次に、ステップＳ４０２にて、領域設定部３０１は、通信部３１０を介して受信した画像において、検出部３０２が処理を行う対象とする領域である検出領域を設定する。なおこのとき、通信部３１０を介して得られた画像データが示す画像全体を検出領域とする。この場合、図９における画像５００の全体を検出領域とする。なお、ユーザーにより設定された領域を検出領域としてもよい。

なお、ステップＳ４０３からステップＳ４０５までの処理は、実施形態１と同様であるため説明を省略する。

ステップＳ８０１にて、密度推定部７００は、画像における複数の人物の密度を推定する。本実施形態における密度推定部７００は、画像を格子状に分割した小領域（以下、分割領域）ごとに、各分割領域に含まれる人物の数を密度として推定する。

次に、ステップＳ８０２にて、領域設定部３０１は、密度推定部７００により推定された密度に基づいて、計数部３０４が複数の人物を計数する対象となる領域となる計数領域を少なくとも一つ設定する。本実施形態における領域設定部３０１は、密度推定部７００が推定した密度が所定値以上の分割領域を連結させた領域を包括する計数領域を少なくとも一つ設定する。図９において、領域設定部３０１は、密度が所定値以上の分割領域を連結させた領域を包括する領域９０１と、同じく、密度が所定値以上の分割領域を連結させた領域を包括する領域９０２とをそれぞれ計数領域として設定する。

次に、ステップＳ８０３にて、計数部３０４は、領域設定部３０１において設定された計数領域の各々に対して、検出部３０２により検出された人物の数を計数する。図９において、領域９０１において計数された人数は１２人であり、領域９０２において計数された人数は６人である。

次に、ステップＳ４０７にて、決定部３０５は、計数領域の各々に対して、計数部３０４により計数された人数に基づいて、計数された人数について所定の割合を満たすように、属性推定部３０６が属性情報を推定する対象となる人物を決定する。図９において、領域９０１において計数された人数は１２人であり、所定の割合を５０％とすると、決定部３０５は、領域９０１において属性推定部３０６が属性情報を推定する対象となる人物を６人まで決定する。また、領域９０２において計数された人数は６人であり、所定の割合を５０％とすると、決定部３０５は、領域９０２において属性推定部３０６が属性情報を推定する対象となる人物を３人まで決定する。なおこのとき、決定部３０５は、計数部３０４により計数された人数と、さらにスコア算出部３０３により算出されたスコアに基づいて、属性情報が推定される対象となる人物を決定するようにしてもよい。例えば、図９に示す場合、決定部３０５は、領域９０１における１２人のうち５０％の人数である６人を満たすように、属性情報が推定される対象となる人物を決定する際、算出されたスコアが所定値以上の人物を対象として決定する。また、例えば、決定部３０５は、属性情報を推定する対象となる人物をスコアが高い人物から順次６人まで決定するようにしてもよい。

次に、ステップＳ４０８にて、属性推定部３０６は、決定部３０５により決定された人物を対象として属性情報を推定する。

次に、ステップＳ４０９にて、結果算出部３０７は、領域設定部３０１により設定された計数領域の各々に対して、属性推定部３０６により推定された属性情報の統計に関する数値を算出する。なお本実施形態における結果算出部３０７は、属性推定部３０６により推定された属性情報に基づいて、属性情報ごとの割合を算出する。

次に、ステップＳ４１０にて、出力制御部３０８は、属性推定部３０６により推定された各人物の属性情報の統計に関する情報を計数領域ごとに出力する。

なお、図９（ｂ）のように、出力制御部３０８は、領域９０１と、領域９０２と、表９０３と、表９０４とを通信部３１０を介して受信した画像に重畳させて表示装置１０１に出力してもよい。表９０３および表９０４は、それぞれ画像処理の結果を示す表である。なお、これらの表における検出数は、計数領域において計数部３０４により計数された人数を示している。サンプル数は、属性推定部３０６により属性情報が推定された数を示している。平均年齢は、属性推定部３０６により推定された人物の平均年齢を示している。なお、結果算出部３０７は、属性情報として年齢が推定された人物の年齢の平均をとることで平均年齢を算出する。また、検出数、サンプル数、平均年齢だけでなく、結果算出部３０７が算出した属性情報ごとの割合、例えば、性別ごとの割合や年齢ごとの割合などを表に出力してもよい。なお、実施形態１の場合であっても同様に、出力制御部３０８は、検出数、サンプル数、平均年齢などの画像処理の結果を示す表を画像に重畳させて表示装置１０１に出力してもよい。

また、計数部３０４が計数した人数について所定の割合を満たすように決定部３０５により決定された人物に対して属性情報が推定されていない場合、出力制御部３０８は、“ｕｎｋｎｏｗｎ”や“未検出”などと表に出力してもよい。こうすることにより、画像に存在する複数の人物の属性情報の傾向や割合を推定するにはサンプル数が不足していることをユーザーは容易に把握することができる。

以上のように本実施形態によれば、領域設定部３０１は、画像内における人物の密度に基づいて計数領域を少なくとも一つ設定し、出力制御部３０８は、その計数領域ごとに属性情報の統計に関する情報を出力する。こうすることにより、複数の人物で構成される一塊の群衆ごとやグループごとに、画像に存在する複数の人物の属性情報の傾向をユーザーは把握することができる。

（実施形態３）
上述した各実施形態では画像処理装置１００が属性情報の推定に関わる処理を行う構成について説明したが画像処理装置１００の１以上の機能を、撮影装置１０２が有していてもよい。つまり、実施形態１または実施形態２に係る画像処理は、画像処理装置１００のＣＰＵ２００により実行されたが、撮影装置１０２のＣＰＵ２１０およびクライアント装置が有するＣＰＵが協働することにより実現されてもよい。

例えば、図７に示す、領域設定部３０１と、検出部３０２と、スコア算出部３０３と、計数部３０４と、決定部３０５と、属性推定部３０６と、結果算出部３０７と、記憶部３０９と、密度推定部７００は撮影装置１０２が有してもよい。なおこのとき、操作受付部３００と、出力制御部３０８は、クライアント装置１０００が有する。クライアント装置１０００は、画像処理装置１００と同等のハードウェア構成を有するパーソナルコンピュータである。この場合について、図１０を参照して更に詳細に説明する。なお、図１〜図９と同一または同等の構成要素、処理には、同一の符号を付するものとし、適宜、重複した説明は省略する。

図１０は、画像処理装置１００の一部の機能を有する撮影装置１０２とクライアント装置１０００の機能ブロック図の一例である。撮影装置１０２とクライアント装置１０００は、ネットワーク１０４を介して通信が行われる。

撮影部３３０は、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子を有し、撮影装置１０２のレンズを通って結像された被写体像を光電変換して電気信号を生成する。

画像処理部３３１は、撮影部１００３において生成された電気信号をデジタル信号へ変換する処理や、圧縮符号化処理などを行い、画像データを生成する。

画像処理部３３１にて生成された画像データは、通信部３３３と通信部１００１とを介して、出力制御部３０８へ送られ、出力制御部３０８により表示装置１０１に出力される。なお、クライアント装置１０００における通信部１００１は、撮影装置１０２から送られる画像データの受信や、撮影装置１０２を制御するための各種のコマンドなどを送信する。

クライアント装置１０００における操作受付部３００は、マウスやキーボードなどの入力装置を介してユーザーによる操作を受け付ける。なお、操作受付部３００が受け付けた情報は、通信部１００１と通信部３３３とを介して撮影装置１０２へ送られる。例えば、操作受付部３００は、出力制御部３０８により表示装置１０１に出力された画像に対して、ユーザーが設定した検出領域の位置に関する情報を受け付ける。そして操作受付部３００が受け付けた検出領域の位置に関する情報は、通信部１００１と通信部３３３とを介して撮影装置１０２の領域設定部３０１へ送られる。

実施形態１に係る画像処理の機能を撮影装置１０２が有する場合を想定する。このとき、領域設定部３０１と、検出部３０２と、スコア算出部３０３と、計数部３０４と、決定部３０５と、属性推定部３０６と、結果算出部３０７と、記憶部３０９における機能は実施形態１において図３を参照して説明したものと同様であるため省略する。

また実施形態２に係る画像処理の機能を撮影装置１０２が有する場合を想定する。このとき、領域設定部３０１と、検出部３０２と、スコア算出部３０３と、計数部３０４と、決定部３０５と、属性推定部３０６と、結果算出部３０７と、記憶部３０９と、密度推定部７００における機能は実施形態２における説明と同様であるため省略する。

実施形態１または実施形態２に係る画像処理において結果算出部３０７により行われた処理結果に関する情報は、通信部３３３と通信部１００１とを介して出力制御部３０８により表示装置１０１に出力される。

以上のように実施形態１または実施形態２に係る画像処理想定１００の１以上の機能を、撮影装置１０２が有していてもよい。

（その他の実施形態）
なお、本発明は、上述の各実施形態の１以上の機能を実現するプログラムを１つ以上のプロセッサが読出して実行する処理でも実現可能である。プログラムは、ネットワーク又は記憶媒体を介して、プロセッサを有するシステム又は装置に供給するようにしてもよい。また、本発明は、上述の実施形態の１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

３０１ 領域設定部
３０２ 検出部
３０３ スコア算出部
３０４ 計数部
３０５ 決定部
３０６ 属性推定部
３０７ 結果算出部
３０８ 出力制御部

Claims (18)

1. 画像に含まれる複数の人物を検出する検出手段と、
   前記検出手段により検出された複数の人物の数を計数する計数手段と、
   前記計数手段の結果に基づいて、前記検出手段により検出された複数の人物のうち、属性情報を推定する対象となる人物を決定する決定手段と、
   前記決定手段により決定された人物の前記属性情報を推定する推定手段と、
   前記推定手段により推定された各人物の属性情報の統計に関する情報を出力する出力手段と、を有することを特徴とした画像処理装置。
2. 前記決定手段は、前記計数手段により計数された人数に基づいて、計数された人数について所定の割合を満たすように、前記検出手段により検出された複数の人物のうち、前記属性情報を推定する対象となる人物を決定することを特徴とした請求項１に記載の画像処理装置。
3. 前記検出手段は、画像に含まれる複数の人物の各々に対し、前記推定手段による前記属性情報の推定のしやすさを示す指標であるスコアを算出し、
   前記決定手段は、前記複数の人物の各々に対して算出された前記スコアに基づいて、前記検出手段により検出された複数の人物のうち、前記属性情報を推定する対象となる人物を決定することを特徴とした請求項１または２に記載の画像処理装置。
4. 前記決定手段は、前記複数の人物の各々に対して算出された前記スコアが所定値以上の人物を前記属性情報が推定される対象となる人物として決定することを特徴とした請求項３に記載の画像処理装置。
5. 前記決定手段は、前記属性情報を推定する対象となる人物を前記スコアが高い人物から順次決定することを特徴とした請求項３に記載の画像処理装置。
6. 前記出力手段は、前記推定手段により推定された人物の数における属性情報の割合を出力することを特徴とした請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 画像における人物の密度を推定する密度推定手段と、
   前記密度推定手段により推定された人物の密度に基づいて、前記計数手段が人物の数を計数する対象となる領域を少なくとも一つ設定する設定手段とを更に有し、
   前記計数手段は、前記設定手段により設定された領域の各々に対して、前記検出部により検出された人物の数を計数し、
   前記決定手段は、前記計数手段により計数された人数に基づいて、前記領域の各々に対して計数された人数について所定の割合を満たすように、前記検出手段により検出された複数の人物のうち、前記領域の各々に対して前記属性情報を推定する対象となる人物を決定することを特徴とした請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 前記属性情報は、人物の年齢に関する情報、または、人物の性別を示す情報のいずれか１つを少なくとも含むことを特徴とした請求項１乃至７のいずれか一項に記載の画像処理装置。
9. 画像を撮影する撮影手段と、
   前記撮影手段により撮影された画像に含まれる複数の人物を検出する検出手段と、
   前記検出手段により検出された複数の人物の数を計数する計数手段と、
   前記計数手段の結果に基づいて、前記検出手段により検出された複数の人物のうち、属性情報を推定する対象となる人物を決定する決定手段と、
   前記決定手段により決定された人物の前記属性情報を推定する推定手段と、
   前記推定手段により推定された各人物の属性情報の統計に関する数値を算出する算出手段と、を有することを特徴とした撮影装置。
10. 画像に含まれる複数の人物を検出する検出工程と、
    前記検出工程により検出された複数の人物の数を計数する計数工程と、
    前記計数工程の結果に基づいて、前記検出工程により検出された複数の人物のうち、属性情報を推定する対象となる人物を決定する決定工程と、
    前記決定工程により決定された人物の前記属性情報を推定する推定工程と、
    前記推定工程により推定された各人物の属性情報の統計に関する情報を出力する出力工程と、を有することを特徴とした画像処理方法。
11. 前記決定工程は、前記計数工程により計数された人数に基づいて、計数された人数について所定の割合を満たすように、前記検出工程により検出された複数の人物のうち、前記属性情報を推定する対象となる人物を決定することを特徴とした請求項１０に記載の画像処理方法。
12. 前記検出工程は、画像に含まれる複数の人物の各々に対し、前記推定工程による前記属性情報の推定のしやすさを示す指標であるスコアを算出し、
    前記決定工程は、前記複数の人物の各々に対して算出された前記スコアに基づいて、前記検出工程により検出された複数の人物のうち、前記属性情報を推定する対象となる人物を決定することを特徴とした請求項１０または１１に記載の画像処理方法。
13. 前記決定工程は、前記複数の人物の各々に対して算出された前記スコアが所定値以上の人物を前記属性情報が推定される対象となる人物として決定することを特徴とした請求項１２に記載の画像処理方法。
14. 前記決定工程は、前記属性情報を推定する対象となる人物を前記スコアが高い人物から順次決定することを特徴とした請求項１２に記載の画像処理方法。
15. 前記出力工程は、前記推定工程により推定された人物の数における属性情報の割合を出力することを特徴とした請求項１０乃至１４のいずれか一項に記載の画像処理方法。
16. 画像における人物の密度を推定する密度推定工程と、
    前記密度推定工程により推定された人物の密度に基づいて、前記計数工程が人物の数を計数する対象となる領域を少なくとも一つ設定する設定工程とを更に有し、
    前記計数工程は、前記設定工程により設定された領域の各々に対して、前記検出部により検出された人物の数を計数し、
    前記決定工程は、前記計数工程により計数された人数に基づいて、前記領域の各々に対して計数された人数について所定の割合を満たすように、前記検出工程により検出された複数の人物のうち、前記領域の各々に対して前記属性情報を推定する対象となる人物を決定することを特徴とした請求項１０乃至１５のいずれか一項に記載の画像処理方法。
17. 前記属性情報は、人物の年齢に関する情報、または、人物の性別を示す情報のいずれか１つを少なくとも含むことを特徴とした請求項１０乃至１６のいずれか一項に記載の画像処理方法。
18. 画像に含まれる複数の人物を検出する検出手段と、
    前記検出手段により検出された複数の人物の人数を計数する計数手段と、
    前記計数手段の結果に基づいて、前記検出手段により検出された複数の人物のうち、属性情報を推定する対象となる人物を決定する決定手段と、
    前記決定手段により決定された人物の前記属性情報を推定する推定手段と、
    前記推定手段により推定された各人物の属性情報の統計に関する情報を出力する出力手段と、コンピュータを機能させるためのプログラム。

Images