JP2018151833A - 識別器学習装置および識別器学習方法 - Google Patents

Abstract

【課題】人物の少なくとも一部を含む人物画像に基づきその人物の人物属性を精度良く推定することができる識別器を提供する。【解決手段】識別器学習装置は、撮像装置から、人物属性の推定対象である推定対象人物の少なくとも一部を含む人物画像（全身画像）を取得し、人物画像用識別器を用いて人物画像に基づき推定対象人物の人物属性を推定し、人物情報用識別器を用いて人物画像とは異なる情報である人物情報（顔画像）に基づき推定対象人物の人物属性を推定し、人物画像に基づく推定結果と人物情報に基づく推定結果とが一致するか否かを判定する。人物画像に基づく推定結果と人物情報に基づく推定結果とが一致すると判定された場合には、人物画像を学習データとして追加して人物画像用識別器の学習を行う。【選択図】図３

Description

本発明は、人物の少なくとも一部を含む人物画像に基づきその人物の人物属性を推定する識別器の学習を行う識別器学習装置および識別器学習方法に関する。

近年、例えばショッピングモールやテーマパーク等の商業施設において、客層に応じたデジタルサイネージ広告の表示や客層の調査等を目的として、監視カメラで人物を撮像した撮像画像に基づき、その人物の人物属性を推定することが行われている。そのような技術として、識別器（識別モデル）を用いて、撮像画像から抽出した顔画像に基づき人物属性（例えば年齢や性別等）を推定する技術が知られている（特許文献１、特許文献２、特許文献３参照）。

特開平４−２６４９８５号公報 特開２０１５−１２５７３１号公報 特表２００７−５２００１０号公報

しかしながら、上記の特許文献１−３の従来技術では、顔画像に基づき人物属性を推定しているため、撮像画像から顔画像を抽出できなかった場合には人物属性を推定することができないという問題があった。そこで、顔画像ではなく、人物の少なくとも一部を含む人物画像（例えば全身画像等）に基づき人物属性を推定することが考えられるが、人物画像に含まれる人物の服装や姿（外見）は、国や地域、季節、年齢等によって大きく異なるため、人物画像に基づき人物属性を精度良く推定することができなかった。

本開示は、このような従来技術の課題を鑑みて案出されたものであり、人物の少なくとも一部を含む人物画像に基づきその人物の人物属性を精度良く推定することができる識別器を提供する識別器学習装置および識別器学習方法を提供することを主目的とする。

本開示の識別器学習装置は、プロセッサと、撮像装置と通信を実行する通信部とを備え、前記プロセッサは、前記撮像装置から、人物属性の推定対象である推定対象人物の少なくとも一部を含む人物画像を取得し、機械学習により予め構築した人物画像用識別器を用いて、前記人物画像に基づき前記推定対象人物の人物属性を推定し、機械学習により予め構築した人物情報用識別器を用いて、前記人物画像とは異なる情報である人物情報に基づき前記推定対象人物の人物属性を推定し、前記人物画像に基づく推定結果と前記人物情報に基づく推定結果とが一致するか否かを判定し、前記人物画像に基づく推定結果と前記人物情報に基づく推定結果とが一致すると判定された場合には、前記人物画像を学習データとして追加して前記人物画像用識別器の学習を行うことを特徴とする。

本開示によれば、人物の少なくとも一部を含む人物画像に基づきその人物の人物属性を精度良く推定することができる識別器を提供することが可能となる。

本開示に係る識別器学習装置を含む識別器学習システムの概要を示す構成図 識別器学習装置の概略構成を示すブロック図 識別器学習処理の流れを示すフロー図 撮像画像から抽出した全身画像および顔画像の一例を示す図 人物属性の推定結果の一例を示す図 人物属性推定処理の流れを示すフロー図

上記課題を解決するためになされた第１の発明は、プロセッサと、撮像装置と通信を実行する通信部とを備え、前記プロセッサは、前記撮像装置から、人物属性の推定対象である推定対象人物の少なくとも一部を含む人物画像を取得し、機械学習により予め構築した人物画像用識別器を用いて、前記人物画像に基づき前記推定対象人物の人物属性を推定し、機械学習により予め構築した人物情報用識別器を用いて、前記人物画像とは異なる情報である人物情報に基づき前記推定対象人物の人物属性を推定し、前記人物画像に基づく推定結果と前記人物情報に基づく推定結果とが一致するか否かを判定し、前記人物画像に基づく推定結果と前記人物情報に基づく推定結果とが一致すると判定された場合には、前記人物画像を学習データとして追加して前記人物画像用識別器の学習を行うことを特徴とする。

この第１の発明に係る識別器学習装置によれば、人物画像に基づく推定結果と人物画像以外の人物情報に基づく推定結果とが一致した場合に、推定対象人物の人物画像を学習データとして追加して人物画像用識別器の学習を行うので、精度の高いオンライン学習（追加学習）を実現することが可能となる。これにより、人物の人物画像に基づきその人物の人物属性を精度良く推定することができる識別器を提供することが可能となる。

また、第２の発明は、上記第１の発明において前記人物画像に基づく推定結果と前記人物情報に基づく推定結果とが一致しないと判定された場合には、前記人物画像を、前記人物画像に基づく推定結果と前記人物情報に基づく推定結果とが一致する場合よりも信頼度が低い学習データとして追加して前記人物画像用識別器の学習を行うことを特徴とする。

この第２の発明に係る識別器学習装置によれば、人物画像に基づく推定結果と、人物画像以外の人物情報に基づく推定結果とが一致しない場合に、推定対象人物の人物画像を信頼度の低い学習データとして追加して人物画像用識別器の学習を行うので、より精度の高いオンライン学習を実現することが可能となる。

また、第３の発明は、上記第２の発明において、前記人物情報に基づく推定結果を正解ラベルとして使用することを特徴とする。

この第３の発明に係る識別器学習装置によれば、人物情報が人物画像よりも信頼度が高い場合に、人物情報を正解ラベルとして使用することによって、より精度の高いオンライン学習を実現することが可能となる。

また、第４の発明は、上記第１の発明ないし第３の発明のいずれかにおいて、前記人物情報が、前記人物画像に含まれる顔画像であることを特徴とする。

この第４の発明に係る識別器学習装置によれば、人物画像に含まれる顔画像を人物情報として用いるので、人物情報を容易に取得することができる。

また、第５の発明は、上記第４の発明において、前記プロセッサは、前記人物画像に基づく前記推定対象人物の人物属性の推定をさらに行い、前記人物画像から前記顔画像が抽出された場合には、前記人物情報用識別器を用いて、前記顔画像に基づき前記人物の人物属性を推定し、前記人物画像から前記顔画像が抽出されなかった場合には、前記人物画像用識別器を用いて、前記人物画像に基づき前記推定対象人物の人物属性を推定することを特徴とする。

この第５の発明に係る識別器学習装置によれば、人物画像から顔画像を抽出できなかった場合でも、人物画像に基づきその人物の人物属性を推定することができる。また、人物画像用識別器は、精度の高いオンライン学習により構築されているので、人物画像に基づく人物属性の推定を高精度で行うことができる。

また、第６の発明は、上記第１の発明ないし第５の発明のいずれかにおいて、前記人物属性が、前記人物の性別および年齢を含むことを特徴とする。

この第６の発明に係る識別器学習装置によれば、人物属性として性別または年齢を推定することができる。

また、第７の発明は、上記第１の発明ないし第６の発明のいずれかにおいて、前記人物画像が、前記推定対象人物の全身画像であることを特徴とする。

この第７の発明に係る識別器学習装置によれば、人物画像として、人物の全身画像を利用することができる。全身画像は、例えば人物が背を向けている場合など顔画像等の人物情報が得られない場合にも取得し易い情報であるため、人物属性の推定を行う機会を多く確保することができる。

また、第８の発明は、撮像装置から、人物属性の推定対象である推定対象人物の少なくとも一部を含む人物画像を取得ステップと、機械学習により予め構築した人物画像用識別器を用いて、前記人物画像に基づき前記推定対象人物の人物属性を推定するステップと、機械学習により予め構築した人物情報用識別器を用いて、前記人物画像とは異なる情報である人物情報に基づき前記推定対象人物の人物属性を推定ステップと、前記人物画像に基づく推定結果と前記人物情報に基づく推定結果とが一致するか否かを判定ステップと、前記人物画像に基づく推定結果と前記人物情報に基づく推定結果とが一致すると判定された場合には、前記人物画像を学習データとして追加して前記人物画像用識別器の学習を行うステップとを有することを特徴とする。

この第８の発明に係る識別器学習方法によれば、人物画像に基づく推定結果と人物画像以外の人物情報に基づく推定結果とが一致した場合に、推定対象人物の人物画像を学習データとして追加して人物画像用識別器の学習を行うので、精度の高いオンライン学習（追加学習）を実現することが可能となる。これにより、人物の人物画像に基づきその人物の人物属性を精度良く推定することができる識別器を提供することが可能となる。

また、第９の発明は、上記第８の発明において、前記人物画像に基づく推定結果と前記人物情報に基づく推定結果とが一致しないと判定された場合には、前記人物画像を、前記人物画像に基づく推定結果と前記人物情報に基づく推定結果とが一致する場合よりも信頼度が低い学習データとして追加して前記人物画像用識別器の学習を行うステップをさらに有することを特徴とする。

この第９の発明に係る識別器学習方法によれば、人物画像に基づく推定結果と、人物画像以外の人物情報に基づく推定結果とが一致しない場合に、推定対象人物の人物画像を信頼度の低い学習データとして追加して人物画像用識別器の学習を行うので、より精度の高いオンライン学習を実現することが可能となる。

また、第１０の発明は、上記第９の発明において、前記人物情報に基づく推定結果を正解ラベルとして使用することを特徴とする。

この第１０の発明に係る識別器学習方法によれば、人物情報が人物画像よりも信頼度が高い場合に、人物情報を正解ラベルとして使用することによって、より精度の高いオンライン学習を実現することが可能となる。

また、第１１の発明は、上記第８の発明ないしの第１０の発明のいずれかにおいて、前記人物情報が、前記人物画像に含まれる顔画像であることを特徴とする。

この第１１の発明に係る識別器学習方法によれば、人物画像に含まれる顔画像を人物情報として用いるので、人物情報を容易に取得することができる。

また、第１２の発明は、上記第１１の発明において、前記人物画像に基づく前記推定対象人物の人物属性の推定をさらに行い、前記人物画像から前記顔画像が抽出された場合には、前記人物情報用識別器を用いて、前記顔画像に基づき前記人物の人物属性を推定するステップと、前記人物画像から前記顔画像が抽出されなかった場合には、前記人物画像用識別器を用いて、前記人物画像に基づき前記推定対象人物の人物属性を推定するステップとをさらに有することを特徴とする。

この第１２の発明に係る識別器学習方法によれば、人物画像から顔画像を抽出できなかった場合でも、人物画像に基づきその人物の人物属性を推定することができる。また、人物画像用識別器は、精度の高いオンライン学習により構築されているので、人物画像に基づく人物属性の推定を高精度で行うことができる。

また、第１３の発明は、上記第８の発明ないし第１２の発明のいずれかにおいて、前記人物属性が、前記人物の性別および年齢を含むことを特徴とする。

この第１３の発明に係る識別器学習方法によれば、人物属性として性別または年齢を推定することができる。

また、第１４の発明は、上記第８の発明ないし第１３の発明のいずれかにおいて、前記人物画像が、前記推定対象人物の全身画像であることを特徴とする。

この第１４の発明に係る識別器学習方法によれば、人物画像として、人物の全身画像を利用することができる。全身画像は、例えば人物が背を向けている場合など顔画像等の人物情報が得られない場合にも取得し易い情報であるため、人物属性の推定を行う機会を多く確保することができる。

以下、本開示の実施形態について、図面を参照しながら説明する。本実施形態では、例えばショッピングモールやテーマパーク等の商業施設において、撮像装置で人物を撮像した撮像画像に基づき、該撮像画像に含まれる人物の人物属性を推定する場合について説明する。本実施形態では、人物属性として性別を推定する。また、本実施形態では、人物画像として全身画像を用い、人物情報として顔画像を用いる。

図１は、本開示に係る識別器学習装置３を含む識別器学習システム１の概要を示す構成図である。図１に示すように、この識別器学習システム１は、撮像装置２と、識別器学習装置３とを主として備えている。撮像装置２と識別器学習装置３とは、専用回線やＬＡＮ（Local Area Network）等のネットワーク４を介して互いに接続されている。

撮像装置２は、公知の撮影機能や通信機能を有する監視カメラ（ビデオカメラ）であり、商業施設の各所の壁、天井、ポール等に設置され、予め定められた監視領域を静止画像または動画像として時系列に撮像する。撮像装置２の撮像により生成された撮像画像（静止画像または動画像）は、ネットワーク４を介して識別器学習装置３に適宜送信される。なお、撮像装置２は、予め定められた監視領域を撮像可能な限りにおいて、その形態、機能、配置、数量等については、特に限定されるものではなく種々の変更が可能である。

識別器学習装置３は、公知の構成を有するコンピュータからなり、撮像装置２から取得した撮像画像から抽出した全身画像を学習データとして追加して、全身画像に基づき人物属性（性別）を推定する識別器（識別モデル）の学習を行う。この学習は、識別器学習装置３が予め有している識別器に新たな学習データを追加して学習を行うオンライン学習（追加学習）である。また、識別器学習装置３は、上記の識別器を用いて、撮像装置２から取得した撮像画像から抽出した全身画像に基づき人物属性（性別）を推定することもできる。

図２は、識別器学習装置３の概略構成を示すブロック図である。識別器学習装置３は、公知のハードウェア構成を備えており、所定の制御プログラム（例えば識別器学習プログラムおよび人物属性推定プログラム）に基づき識別器学習および人物属性推定の各処理を統括的に実行するプロセッサ１１、このプロセッサ１１のワークエリア等として機能する揮発性メモリであるＲＡＭ１２、プロセッサ１１が実行する制御プログラムやデータを格納する不揮発性メモリであるＲＯＭ１３、ＨＤＤやフラッシュメモリ等からなる記憶部１４、液晶モニタ等からなる表示部１５、キーボードおよびマウス等の入力デバイスからなる入力部１６、ネットワーク４を介した通信を実行する通信部１７等を有している。

識別器学習装置３の各機能は、図２に示したハードウェア構成において、プロセッサ１１が所定の制御プログラムを実行することによって実現可能である。なお、識別器学習装置３は、コンピュータに限らず、同様の機能を果たすことが可能な他の情報処理装置（例えばサーバ等）を用いることもできる。また、識別器学習装置３の機能の少なくとも一部を他の公知のハードウェアによる処理によって代替してもよい。

図３は、識別器学習装置３における識別器学習処理の流れを示すフロー図である。以下の処理は、識別器学習装置３のプロセッサ１１で行われ、外部装置である撮像装置２から人物の撮像画像を取得したときに開始される。

まず、撮像画像から人物の全身画像を抽出する（ステップＳＴ１０１）。具体的には、撮像画像から人物の全身を含む領域（全身領域）を検出し、検出された全身領域を撮像画像から切り出すことにより、撮像画像から全身画像を抽出する。全身領域の検出は、統計的または非統計的識別器を用いる手法やテンプレートマッチングを用いる手法等の公知の手法を用いて行う。

続いて、全身画像から人物の顔画像を抽出する（ステップＳＴ１０２）。具体的には、全身画像から人物の顔を含む領域（顔領域）を検出し、検出された顔領域を全身画像から切り出すことにより、全身画像から顔画像を抽出する。顔領域の検出は、統計的または非統計的識別器を用いる手法やテンプレートマッチングを用いる手法等の公知の手法を用いて行う。なお、顔画像は、全身画像からではなく、撮像画像から直接抽出してもよい。

顔画像は、全身画像よりも、国や地域、季節、年齢等による影響が小さいので、人物属性を推定する上での信頼度は全身画像よりも高い。

図４は、撮像画像から抽出した全身画像および顔画像の一例を示す図である。図４（ａ）の例では、撮像画像２１に含まれる人物は大人の女性であり、撮像画像２１から大人の女性の全身画像２２から抽出され、その全身画像２２から大人の女性の顔画像２３が抽出されている。図４（ｂ）の例では、撮像画像３１に含まれる人物は子供の男性であり、撮像画像３１から子供の男性の全身画像３２から抽出され、その全身画像３２から子供の男性の顔画像３３が抽出されている。

次のステップＳＴ１０３では、人物の全身画像を学習データとして使用した機械学習により構築した全身画像用識別器（人物画像用識別器）を用いて、撮像画像から抽出した全身画像に基づき人物属性（性別）を推定する。具体的には、例えばＧａｂｏｒ特徴量を用いる手法、ＬＢＰ（Local Binary Pattern）特徴量を用いる手法、色特徴量を用いる手法等の公知の手法を用いて全身画像から人物の輪郭（もしくは輪郭の一部）またはや色を検出し、検出された輪郭や色に基づき人物属性（性別）を推定する。例えば、人物の輪郭からその人物がスカートを履いていると判断された場合は、その人物は女性と推定することができる。同様に、服装の色、姿（外見）、髪型等に基づき、人物属性（性別）を推定することが可能である。

全身画像用識別器（人物画像用識別器）は、学習データとして使用される様々な全身画像から画像特徴量を抽出し、統計的または非統計的に解析することにより構築した識別器である。全身画像用識別器としては、例えばＳＶＭ（Support Vector Machine）やニューラルネットワーク等を用いることができる。なお、全身画像用識別器は、全身画像に基づき人物属性を推定することができる限りにおいて特に限定されるものではなく、様々な種類の識別器を用いることができる。

続くステップＳＴ１０４では、人物の顔画像を学習データとして使用した顔画像用識別器（人物情報用識別器）を用いて、顔画像に基づき人物属性（性別）を推定する。具体的には、例えばＧａｂｏｒ特徴量を用いる手法、ＬＢＰ特徴量を用いる手法、色特徴量を用いる手法等の公知の手法を用いて顔画像から目、鼻、口等の顔特徴点を検出し、検出された顔特徴点に基づき人物属性（性別）を推定する。

顔画像用識別器は、学習データとして使用される様々な顔画像から画像特徴量を抽出し、統計的または非統計的に解析することにより構築した識別器である。顔画像用識別器としては、例えばＳＶＭやニューラルネットワーク等を用いることができる。なお、顔画像用識別器は、顔画像に基づき人物属性を推定することができる限りにおいて特に限定されるものではなく、様々な種類の識別器を用いることができる。

図５は、ステップＳＴ１０３およびステップＳＴ１０４での人物属性の推定結果の一例を示す図である。図５（ａ）は、図４（ａ）の全身画像２２に基づく推定結果および顔画像２３に基づく推定結果を示し、図５（ｂ）は、図４（ｂ）の全身画像３２に基づく推定結果および顔画像３３に基づく推定結果を示す。図５（ａ）の例では、全身画像２２に基づく検出結果は「女性」であり、顔画像２３に基づく検出結果も「女性」であった。図５（ｂ）の例では、全身画像３２に基づく検出結果は「女性」であるが、顔画像２３に基づく検出結果は「男性」であった。

次のステップＳＴ１０５では、全身画像に基づく推定結果（全身画像用識別器の推定結果）と顔画像に基づく推定結果（顔画像用識別器の推定結果）との２つの推定結果が互いに一致するか否かを判定する。２つの推定結果が互いに一致すると判定された場合（ステップＳＴ１０５：Ｙｅｓ）は、ステップＳＴ１０６に進み、２つの推定結果が互いに一致しないと判定された場合（ステップＳＴ１０５：Ｎｏ）は、ステップＳＴ１０７に進む。図５の例では、図５（ａ）の場合は、２つの推定結果が互いに一致するのでステップＳＴ１０６に進み、図５（ｂ）の場合は、２つの推定結果が互いに一致しないのでステップＳＴ１０７に進む。

ステップＳＴ１０６では、全身画像を信頼度の高い学習データとして追加して、全身画像用識別器のオンライン学習（追加学習）を行う。正解ラベルは、顔画像および全身画像に基づく推定結果を使用する。図５（ａ）の例では、全身画像２２が信頼度の高い学習データとして追加され、正解ラベルは「女性」となる。

ステップＳＴ１０７では、全身画像を信頼度の低い学習データとして追加して、全身画像用識別器のオンライン学習（追加学習）を行う。正解ラベルは、顔画像に基づく推定結果を使用する。図５（ｂ）の例では、全身画像３２が信頼度の低い学習データとして追加され、正解ラベルは「男性」となる。

上述したように、顔画像の信頼度は全身画像よりも高いので、顔画像に基づく推定結果と全身画像に基づく推定結果とが一致しない場合は、顔画像に基づく推定結果を信頼して正解ラベルとして使用する。また、顔画像に基づく推定結果と全身画像に基づく推定結果とが一致しない場合は、学習データである全身画像の信頼度は、顔画像に基づく推定結果と全身画像に基づく推定結果とが一致する場合よりも下げる。なお、顔画像による推定結果が単体で高い信頼度を有する場合には、信頼度は下げなくてもよい。

このように、上述した識別器学習処理によれば、全身画像に基づく推定結果と顔画像（人物情報）に基づく推定結果とが一致の有無に基づき学習データである全身画像の信頼度を変更することにより、精度の高いオンライン学習を実現することが可能となる。これにより、人物の全身画像に基づきその人物の人物属性を精度良く推定することができる識別器を提供することが可能となる。

なお、図５（ａ）の例のように、全身画像に基づく推定結果と顔画像に基づく推定結果とが一致する場合は、学習効果が小さいと考えられるので、その全身画像は学習データから排除するようにしてもよい。また、顔画像のサイズや顔画像に含まれる顔の向きが予め定められた許容範囲から外れた場合は、その顔画像を含む全身画像を学習データから排除するか、またはその全身画像の信頼度を下げるようにしてもよい。

図６は、識別器学習装置３における人物属性推定処理の流れを示すフロー図である。以下の処理は、上述した識別器学習処理の場合と同様に、識別器学習装置３のプロセッサ１１で行われ、人物の撮像画像を撮像装置２から取得したときに開始される。

まず、撮像画像から人物の全身画像を抽出する（ステップＳＴ２０１）。続いて、全身画像から人物の顔画像の抽出を試みる（ステップＳＴ２０２）。全身画像を抽出する方法および顔画像を抽出する方法は、図３を参照して説明した識別器学習処理のステップＳＴ１０１およびステップＳＴ１０２と同様なので、説明は省略する。

次のステップＳＴ２０３では、顔画像が抽出されたか否かを判定する。ステップＳＴ２０３で顔画像が抽出されたと判定された場合（ステップＳＴ２０３：Ｙｅｓ）は、ステップＳＴ２０４に進み、顔画像が抽出されなかったと判定された場合（ステップＳＴ２０３：Ｎｏ）は、ステップＳＴ２０５に進む。撮像装置２で人物を撮像したときに、その人物が撮像装置２の方を向いていない場合（例えば撮像装置２に背を向けている場合）やその人物の顔領域が遮蔽物や他の人物等により遮られた場合は、撮像画像にその人物の顔領域が写らないので、顔画像は抽出されない。

ステップＳＴ２０４では、上述した顔画像用識別器を用いて、顔画像に基づき人物属性（性別）を推定する。ステップＳＴ２０５では、上述した全身画像用識別器を用いて、全身画像に基づき人物属性を推定する。顔画像に基づき人物属性を推定する方法および全身画像に基づき人物属性を推定する方法は、図３を参照して説明した識別器学習処理のステップＳＴ１０３およびステップＳＴ１０４と同様なので、説明は省略する。

このように、上述した人物属性推定処理によれば、全身画像から顔画像を抽出できなかった場合でも、全身画像に基づきその人物の人物属性を推定することができる。また、上述したように、全身画像用識別器は、精度の高いオンライン学習により構築されているので、全身画像に基づく人物属性の推定を高精度で行うことができる。

以上、本開示を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本開示はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本開示に係る識別器学習装置および識別器学習方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本開示の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。

例えば、本実施形態では、全身画像および顔画像は、撮像装置２から取得した撮像画像から抽出したが、全身画像および顔画像は、撮像装置２以外の図示しない外部装置から取得するようにしてもよい。

また、本実施形態では人物属性として性別を推定したが、人物属性は性別に限定されるものではなく、年層（年齢帯）や人種等であってもよい。

また、本実施形態では、顔画像に基づく推定結果と全身画像に基づく推定結果とが一致しない場合、両者が一致した場合よりも信頼度の低い学習データとして学習を行ったが、これに限られるものではない。例えば、識別器の性能が低い場合などの学習の精度よりも単純さが求められる場合は、両者が一致した場合と一致しなかった場合とで同程度の信頼度の学習データとして学習を行ってもよい。また、不確かな学習データを学習対象から排除したい場合、両者が一致した場合のみ、全身画像識別器を学習させてもよい。また、どのようなデータを学習させるべきかは識別器の学習の成熟度によっても変化するため、推定結果を全身画像用識別器に学習させる条件および信頼度は、随時変更できるようにしてもよい。

また、本実施形態において、顔画像に基づく推定結果と全身画像に基づく推定結果とが一致した場合と、顔画像に基づく推定結果と全身画像に基づく推定結果とが一致しなかった場合とで、学習させる識別器を異なる識別器としてもよい。このようにすることで、全身画像のみに基づく推定結果が、どちらの学習データに基づく識別器で推定されたものかを出力することが可能となり、ひいては、推定結果の信頼度の高低を通知することが可能となる。

また、本実施形態では、全身画像以外の人物情報として顔画像を用いたが、顔画像の代わりに、例えば人物属性情報を含むビーコン信号を用いてもよい。この場合は、人物が所持するスマートホン等からビーコン信号を受信し、そのビーコン信号に含まれる人物属性情報を人物情報として用いるようにするとよい。

また、本実施形態では、全身画像を用いたが、全身画像以外の情報を全身画像に替えて利用することも可能である。例えば、全身画像からつま先や指先などの一部が欠けた画像を用いた場合でも実質的に全身画像と同等の推定結果を得ることができる。また、髪型や上半身の形状など、全身画像から多くの部分が欠けた画像を用いる場合であっても人物属性を推定することは可能である。

すなわち、本実施形態における顔画像と全身画像はあくまでも一例である。本開示の思想は、検出可能な状況が少ないが信頼度の高い推定結果が得られる情報（例えば顔画像）と検出可能な状況が多い情報（例えば全身画像）の組合せであれば、多様な組合せに適用可能である。ただし、本実施形態における全身画像は、撮像された人物について人物属性の推定を高精度に行うことができる情報（例えば顔画像）が得られない場合に代替的に用いられる情報であるため、全身画像に替えて他の情報を用いる場合であっても、そのような他の情報は撮像画像から得られる情報であることが望ましい。

本開示に係る識別器学習装置および識別器学習方法は、人物の少なくとも一部を含む人物画像に基づきその人物の人物属性を精度良く推定することができる識別器を提供することを可能とする識別器学習装置および識別器学習方法等として有用である。

１ 識別器学習システム
２ 撮像装置
３ 識別器学習装置
４ ネットワーク
１１ プロセッサ
１２ ＲＡＭ
１３ ＲＯＭ
１４ 記憶部
１５ 表示部
１６ 入力部
１７ 通信部
２１、３１ 撮像画像
２２、３２ 全身画像（人物画像）
２３、３３ 顔画像（人物情報）

Claims (14)

1. プロセッサと、
   撮像装置と通信を実行する通信部とを備え、
   前記プロセッサは、
   前記撮像装置から、人物属性の推定対象である推定対象人物の少なくとも一部を含む人物画像を取得し、
   機械学習により予め構築した人物画像用識別器を用いて、前記人物画像に基づき前記推定対象人物の人物属性を推定し、
   機械学習により予め構築した人物情報用識別器を用いて、前記人物画像とは異なる情報である人物情報に基づき前記推定対象人物の人物属性を推定し、
   前記人物画像に基づく推定結果と前記人物情報に基づく推定結果とが一致するか否かを判定し、
   前記人物画像に基づく推定結果と前記人物情報に基づく推定結果とが一致すると判定された場合には、前記人物画像を学習データとして追加して前記人物画像用識別器の学習を行うことを特徴とする識別器学習装置。
2. 前記人物画像に基づく推定結果と前記人物情報に基づく推定結果とが一致しないと判定された場合には、前記人物画像を、前記人物画像に基づく推定結果と前記人物情報に基づく推定結果とが一致する場合よりも信頼度が低い学習データとして追加して前記人物画像用識別器の学習を行うことを特徴とする請求項１に記載の識別器学習装置。
3. 前記人物情報に基づく推定結果を正解ラベルとして使用することを特徴とする請求項２に記載の識別器学習装置。
4. 前記人物情報が、前記人物画像に含まれる顔画像であることを特徴とする請求項１ないし請求項３のいずれかに記載の識別器学習装置。
5. 前記プロセッサは、
   前記人物画像に基づく前記推定対象人物の人物属性の推定をさらに行い、
   前記人物画像から前記顔画像が抽出された場合には、前記人物情報用識別器を用いて、前記顔画像に基づき前記人物の人物属性を推定し、
   前記人物画像から前記顔画像が抽出されなかった場合には、前記人物画像用識別器を用いて、前記人物画像に基づき前記推定対象人物の人物属性を推定することを特徴とする請求項４に記載の識別器学習装置。
6. 前記人物属性が、前記人物の性別および年齢を含むことを特徴とする請求項１ないし請求項５のいずれかに記載の識別器学習装置。
7. 前記人物画像が、前記推定対象人物の全身画像であることを特徴とする請求項１ないし請求項６のいずれかに記載の識別器学習装置。
8. 撮像装置から、人物属性の推定対象である推定対象人物の少なくとも一部を含む人物画像を取得ステップと、
   機械学習により予め構築した人物画像用識別器を用いて、前記人物画像に基づき前記推定対象人物の人物属性を推定するステップと、
   機械学習により予め構築した人物情報用識別器を用いて、前記人物画像とは異なる情報である人物情報に基づき前記推定対象人物の人物属性を推定ステップと、
   前記人物画像に基づく推定結果と前記人物情報に基づく推定結果とが一致するか否かを判定ステップと、
   前記人物画像に基づく推定結果と前記人物情報に基づく推定結果とが一致すると判定された場合には、前記人物画像を学習データとして追加して前記人物画像用識別器の学習を行うステップとを有することを特徴とする識別器学習方法。
9. 前記人物画像に基づく推定結果と前記人物情報に基づく推定結果とが一致しないと判定された場合には、前記人物画像を、前記人物画像に基づく推定結果と前記人物情報に基づく推定結果とが一致する場合よりも信頼度が低い学習データとして追加して前記人物画像用識別器の学習を行うステップをさらに有することを特徴とする請求項８に記載の識別器学習方法。
10. 前記人物情報に基づく推定結果を正解ラベルとして使用することを特徴とする請求項９に記載の識別器学習方法。
11. 前記人物情報が、前記人物画像に含まれる顔画像であることを特徴とする請求項８ないし請求項１０のいずれかに記載の識別器学習方法。
12. 前記人物画像に基づく前記推定対象人物の人物属性の推定をさらに行い、
    前記人物画像から前記顔画像が抽出された場合には、前記人物情報用識別器を用いて、前記顔画像に基づき前記人物の人物属性を推定するステップと、
    前記人物画像から前記顔画像が抽出されなかった場合には、前記人物画像用識別器を用いて、前記人物画像に基づき前記推定対象人物の人物属性を推定するステップとをさらに有することを特徴とする請求項１１に記載の識別器学習方法。
13. 前記人物属性が、前記人物の性別および年齢を含むことを特徴とする請求項８ないし請求項１２のいずれかに記載の識別器学習方法。
14. 前記人物画像が、前記推定対象である人物の全身画像であることを特徴とする請求項８ないし請求項１３のいずれかに記載の識別器学習方法。

Images