JP2019159958A - 顔画像識別システム、識別器生成装置、識別装置、画像識別システム、及び識別システム - Google Patents

顔画像識別システム、識別器生成装置、識別装置、画像識別システム、及び識別システム Download PDF

Info

Publication number
JP2019159958A
JP2019159958A JP2018047259A JP2018047259A JP2019159958A JP 2019159958 A JP2019159958 A JP 2019159958A JP 2018047259 A JP2018047259 A JP 2018047259A JP 2018047259 A JP2018047259 A JP 2018047259A JP 2019159958 A JP2019159958 A JP 2019159958A
Authority
JP
Japan
Prior art keywords
feature
difference
image data
discriminator
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018047259A
Other languages
English (en)
Other versions
JP6760318B2 (ja
Inventor
康代 小竹
Yasuyo KOTAKE
康代 小竹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2018047259A priority Critical patent/JP6760318B2/ja
Priority to CN201980012059.3A priority patent/CN111758116B/zh
Priority to PCT/JP2019/010184 priority patent/WO2019176994A1/ja
Priority to US16/976,465 priority patent/US11341770B2/en
Publication of JP2019159958A publication Critical patent/JP2019159958A/ja
Application granted granted Critical
Publication of JP6760318B2 publication Critical patent/JP6760318B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/169Holistic features and representations, i.e. based on the facial image taken as a whole
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】低コストな方法で、環境の変動に起因する識別器の識別性能の低下を抑制する。【解決手段】本発明の一側面に係る顔画像識別システムは、顔の複数の特徴を識別する第1識別器を構築する機械学習に利用した第1顔画像データから各特徴に関する第1特徴量を算出し、第1識別器を利用する環境において得られた第2顔画像データから各特徴に関する第2特徴量を算出し、各特徴について第1特徴量と第2特徴量とを比較する。そして、顔画像識別システムは、第1特徴量と第2特徴量との差が大きいと評価される特徴を差分特徴として抽出し、第1識別器を利用する環境において取得された、差分特徴及び差分関連特徴の少なくとも一方の写る第3顔画像データを利用した機械学習を実施することで、差分特徴及び差分関連特徴の少なくとも一方を識別するための第2識別器を構築する。【選択図】図1

Description

本発明は、顔画像識別システム、識別器生成装置、識別装置、画像識別システム、及び識別システムに関する。
近年、顔の写る画像(以下、「顔画像」とも記載する)を取得し、取得した顔画像から顔の特徴を識別する技術が様々な分野で利用されている。例えば、特許文献1では、ユーザの顔画像から顔の特徴を抽出し、抽出した顔の特徴と記憶装置に格納された顔の特徴とが一致するか否かを識別器により判定することで、当該ユーザの認証を行う認証装置が提案されている。
特開2013−196046号公報
本件発明者は、識別器を利用して、顔画像データから顔の特徴を識別する従来の技術には次のような問題点があることを見出した。すなわち、識別器は、顔画像データを事前に収集し、収集した顔画像データから顔の特徴を識別するように構築される。しかしながら、この識別器は、当該識別器の構築に利用した顔画像データと同じ環境で利用されるとは限らない。加えて、顔の特徴は、例えば、性別、地域、撮影装置、撮影場所の明るさ等の環境に応じて大きく異なり得る。
そのため、識別器の構築に利用した顔画像データに表れる顔の特徴と当該識別器を利用する環境で得られる顔画像データに表れる顔の特徴とが大きく相違する場合、識別器による当該顔の特徴の識別精度は非常に悪いものとなってしまう。例えば、アジア人の顔の特徴と欧米人の顔の特徴とは、目の形、鼻の大きさ等の点で大きく異なり得る。よって、アジア人の顔の特徴を識別するように構築した識別器では、欧米人の顔の特徴を正しく識別することができない可能性が高い。すなわち、環境の変動に応じて、識別器の精度が低下してしまう恐れがある。
そこで、個々の環境に応じて、別々の識別器を用意することが考えられる。個々の環境に応じて識別器を用意すれば、当該環境の変動の影響を受けることなく、顔の特徴の識別を実施することができるようになる。しかしながら、この方法では、環境に応じて別々の識別器を用意する分だけ、コストがかかってしまう。したがって、従来の技術では、低コストな方法で、環境の変動に起因する識別器の性能の低下を抑制することができないという問題点があることを本件発明者は見出した。
なお、この問題点は、顔画像の解析に特有のものではない。顔画像以外の画像データから何らかの特徴を識別する場面、画像データ以外のデータから何らかの特徴を識別する場面等、事前に収集したデータで識別器を生成するあらゆる場面で同様の問題点が生じ得る。すなわち、識別器を生成するのに利用したデータに表れる特徴と当該識別器を利用する環境で得られるデータに表れる特徴とが大きく相違する場合には、その環境における当該識別器の識別性能は低下し得る。これに対応するため、その環境で利用する別個の識別器を生成するようにすると、新たなデータを収集し、収集したデータにより別個の識別器を生成する分だけコストがかかってしまう。
本発明は、一側面では、このような実情を鑑みてなされたものであり、その目的は、低コストな方法で、環境の変動に起因する識別器の識別性能の低下を抑制する技術を提供することである。
本発明は、上述した課題を解決するために、以下の構成を採用する。
すなわち、本発明の一側面に係る顔画像識別システムは、顔の複数の特徴を識別するように第1識別器を構築する機械学習に利用された第1顔画像データから算出された当該各特徴に関する第1特徴量を取得する第1特徴量取得部と、前記第1識別器を利用する環境において取得される、前記第1顔画像データと同種の第2顔画像データであって、前記顔の前記複数の特徴が写る第2顔画像データから算出された当該各特徴に関する第2特徴量を取得する第2特徴量取得部と、前記各特徴について前記第1特徴量と前記第2特徴量とを比較し、前記比較の結果に基づいて、前記複数の特徴のうち、前記第1特徴量と前記第2特徴量との差分が所定条件を満たす大きさを有する特徴を差分特徴として抽出する差分抽出部と、前記第1識別器を利用する前記環境において、前記差分特徴及び前記差分特徴に関連する特徴である差分関連特徴の少なくとも一方が写る第3顔画像データを取得する学習データ取得部と、前記第3顔画像データを利用した機械学習により、前記第3顔画像データから前記差分特徴及び前記差分関連特徴の少なくとも一方を識別する第2識別器を構築する学習処理部と、前記複数の特徴を識別する対象となる対象顔画像データを取得する対象データ取得部と、取得した前記対象顔画像データを前記第1識別器に入力することで、前記対象顔画像データから前記複数の特徴を識別した結果に対応する出力を前記第1識別器より取得する第1識別部と、取得した前記対象顔画像データを前記第2識別器に入力することで、前記対象顔画像データから前記差分特徴及び前記差分関連特徴の少なくとも一方を識別した結果に対応する出力を前記第2識別器より取得する第2識別部と、前記第1識別器の出力及び前記第2識別器の出力に基づき、前記対象顔画像データから前記複数の特徴を識別した結果を出力する出力部と、を備える。
当該構成に係る顔画像識別システムでは、顔の複数の特徴を識別する第1識別器を構築する機械学習に利用された第1顔画像データから算出された各特徴に関する第1特徴量を取得する。また、当該顔画像識別システムは、第1識別器を利用する環境において得られた第2顔画像データから算出された各特徴に関する第2特徴量を取得する。そして、当該顔画像識別システムは、各特徴について第1特徴量と第2特徴量とを比較する。この比較の結果、第1特徴量と第2特徴量との差分が所定の基準を上回ると判定された特徴は、第1識別器の構築に利用された第1顔画像データを収集した環境と第2顔画像データを収集した、第1識別器を利用する環境とで大きく相違する顔の特徴に相当する。すなわち、第1特徴量と第2特徴量との比較によって、環境の変動に起因して大きく相違し得る顔の特徴を見つけ出すことができる。
そこで、当該構成に係る顔画像識別システムでは、所定の基準に従って、この第1特徴量と第2特徴量との差分が大きいと判定される特徴を差分特徴として抽出する。そして、当該顔画像識別システムは、第1識別器を利用する環境において、抽出した差分特徴及び差分特徴に関連する特徴である差分関連特徴の少なくとも一方が写る第3顔画像データを取得し、取得した第3顔画像データを利用した機械学習を実施することで、差分特徴及び差分関連特徴の少なくとも一方を識別するための第2識別器を構築する。これにより、当該顔画像識別システムは、顔の複数の特徴を識別するのに第1識別器を利用しつつ、第1識別器で正確に識別できない可能性のある差分特徴及び差分関連特徴の少なくとも一方の識別には第2識別器を利用することができるようになる。つまり、当該顔画像識別システムは、例えば、第1識別器による差分特徴の識別結果を第2識別器による差分特徴の識別結果で上書きしたり、差分特徴以外の顔の特徴の識別には第1識別器を利用し、顔の差分特徴の識別には第2識別を利用するというように、識別する特徴に応じて利用する識別器を切り替えたりすることができる。また、当該顔画像識別システムは、例えば、第2識別器による差分関連特徴の識別結果により、第1識別器による差分関連の識別結果を補うことができる。
したがって、当該構成によれば、第1識別器の構築に利用した第1顔画像データを収集した環境と第1識別器を利用する環境とで大きく相違する顔の特徴の識別には、上記第2識別器を利用することで、その特徴に対する識別性能の低下を抑制することができる。また、第2識別器を生成するコストは、識別する対象を顔の差分特徴及び差分関連特徴の少なくとも一方に絞っている分だけ、全ての顔の特徴を識別する別個の識別器を生成する場合に比べて低い。すなわち、当該構成によれば、差分特徴以外の顔の特徴に対して、第1識別器をそのまま利用することができる分だけ、環境の変動に対応するためのコストを抑えることができる。よって、当該構成によれば、低コストな方法で、環境の変動に起因する識別器の識別性能の低下を抑制することができる。
なお、識別の対象となる顔の複数の特徴は、画像に表れるあらゆる特徴を含んでもよく、例えば、表情の種別、覚醒状態、顔のパーツ(器官を含む)の位置(特定の器官同士の相対位置関係を含む)、顔のパーツの形状、顔のパーツの色、及び顔のパーツの状態(開度、角度等)から選択されてよい。差分関連特徴は、差分特徴とは完全には一致しないが、差分特徴と関係性を有し得る特徴であればよい。差分関連特徴は、第1識別器により識別する対象となる複数の特徴に含まれていてもよいし、含まれていなくてもよい。一例として、差分特徴が、目の大きさ、目の形状等の目に関するものである場合、差分関連特徴は、両目の間隔、目と眉毛との間隔、眉毛の形状、眉毛の大きさ等であってよい。「特徴の識別」は、特徴の種別又は属性値を識別するためのあらゆる処理を含んでよく、例えば、当該特徴の属する1又は複数のクラスを判定すること、所定のクラスに当該特徴が属するか否かを判定すること、所定のクラスに当該特徴が属する確率又は信頼度を導出すること、当該特徴の属性値を導出すること等であってよい。「識別器」は、例えば、ニューラルネットワーク、サポートベクタマシン、自己組織化マップ、強化学習モデル等の、機械学習により所定の推論を行う能力を獲得可能な学習モデルにより構成されてよい。
上記一側面に係る顔画像識別システムにおいて、前記第3顔画像データは、前記第2顔画像データのコピー、又は前記第2顔画像データから前記差分特徴及び前記差分関連特徴の少なくとも一方の写る部分を抽出することで得られた部分顔画像データにより構成されてよい。当該構成によれば、第3顔画像データを得るのにかかるコストを抑えることができる。そのため、更に低コストな方法で、環境の変動に起因する識別器の識別性能の低下を抑制することができる。
上記一側面に係る顔画像識別システムにおいて、前記第2顔画像データは、前記複数の特徴が写る顔画像データであって、前記複数の特徴のうちの少なくともいずれかが前記第1識別器では識別不能であった又は識別を誤った顔画像データから選択されてよい。当該構成によれば、環境の変動に起因して大きく相違し得る顔の差分特徴を適切に抽出することができる。そのため、環境の変動に起因する識別器の識別性能の低下を適切に抑制することができる。
上記一側面に係る顔画像識別システムにおいて、前記出力部は、前記第1識別器の出力に基づいて、前記複数の特徴のうちの前記差分特徴以外の前記顔の特徴を識別した結果を出力し、前記第2識別器の出力に基づいて、前記差分特徴及び前記差分関連特徴の少なくとも一方を識別した結果を出力してもよい。当該構成によれば、顔の複数の特徴について、より精度の高い識別結果を得ることができる。
上記一側面に係る顔画像識別システムにおいて、前記所定条件は、差分が最も大きい特徴から順に1又は複数個の特徴を選択するように規定されていてもよく、前記差分抽出部は、前記第1特徴量と前記第2特徴量との差分の最も大きい特徴から順に1又は複数個の特徴を選択し、選択した1又は複数個の特徴を前記差分特徴として抽出してもよい。当該構成によれば、差分特徴を適切に抽出することができる。
上記一側面に係る顔画像識別システムにおいて、前記所定条件は、差分が閾値を超える特徴を選択するように規定されていてもよく、前記差分抽出部は、前記第1特徴量と前記第2特徴量との差分が前記閾値を超えるか否かを判定し、前記第1特徴量と前記第2特徴量との差分が前記閾値を超えると判定された特徴を前記差分特徴として抽出してもよい。当該構成によれば、差分特徴を適切に抽出することができる。
また、上記各形態に係る顔画像識別システムから、例えば、第2識別器を生成する部分、第1識別器及び第2識別器で画像認識を行う部分等の一部分を抽出して他の形態に係る装置を構成してもよい。
例えば、本発明の一側面に係る識別器生成装置は、顔の複数の特徴を識別するように第1識別器を構築する機械学習に利用された第1顔画像データから算出された当該各特徴に関する第1特徴量を取得する第1特徴量取得部と、前記第1識別器を利用する環境において取得される、前記第1顔画像データと同種の第2顔画像データであって、前記顔の前記複数の特徴が写る第2顔画像データから算出された当該各特徴に関する第2特徴量を取得する第2特徴量取得部と、前記各特徴について前記第1特徴量と前記第2特徴量とを比較し、前記比較の結果に基づいて、前記複数の特徴のうち、前記第1特徴量と前記第2特徴量との差分が所定条件を満たす大きさを有する特徴を差分特徴として抽出する差分抽出部と、前記第1識別器を利用する前記環境において、前記差分特徴及び前記差分特徴に関連する特徴である差分関連特徴の少なくとも一方が写る第3顔画像データを取得する学習データ取得部と、前記第3顔画像データを利用した機械学習により、前記第3顔画像データから前記差分特徴及び前記差分関連特徴の少なくとも一方を識別する第2識別器を構築する学習処理部と、を備える。
また、例えば、本発明の一側面に係る識別装置は、複数の特徴を識別する対象となる対象顔画像データを取得する対象データ取得部と、機械学習により顔の複数の特徴を識別するように構築された第1識別器に取得した前記対象顔画像データを入力することで、前記対象顔画像データから前記複数の特徴を識別した結果に対応する出力を前記第1識別器より取得する第1識別部と、複数の特徴から抽出された差分特徴及び前記差分特徴に関連する特徴である差分関連特徴の少なくとも一方を識別するように機械学習によって構築された第2識別器に取得した前記対象顔画像データを入力することで、前記対象顔画像データから前記差分特徴及び前記差分関連特徴の少なくとも一方を識別した結果に対応する出力を前記第2識別器より取得する第2識別部と、前記第1識別器の出力及び前記第2識別器の出力に基づき、前記対象顔画像データから前記複数の特徴を識別した結果を出力する出力部と、を備える。なお、第2識別器は、上記識別器生成装置により生成されたものであってよい。
更に、上記各形態に係る顔画像識別システム、識別器生成装置、及び識別装置は、顔の写る顔画像データ以外の画像データから何らかの特徴を識別する場面、画像データ以外の他のデータを含むデータから何らかの特徴を識別する場面等の、事前に収集したデータで識別器(第1識別器)を生成するあらゆる場面に適用されてよい。
例えば、本発明の一側面に係る画像識別システムは、複数の特徴が写る第1画像データであって、前記複数の特徴を識別するように第1識別器を構築する機械学習に利用された第1画像データから算出された当該各特徴に関する第1特徴量を取得する第1特徴量取得部と、前記第1識別器を利用する環境において取得される、前記第1画像データと同種の第2画像データであって、前記複数の特徴が写る第2画像データから算出された当該各特徴に関する第2特徴量を取得する第2特徴量取得部と、前記各特徴について前記第1特徴量と前記第2特徴量とを比較し、前記比較の結果に基づいて、前記複数の特徴のうち、前記第1特徴量と前記第2特徴量との差分が所定条件を満たす大きさを有する特徴を差分特徴として抽出する差分抽出部と、前記第1識別器を利用する前記環境において、抽出した前記差分特徴及び前記差分特徴に関連する特徴である差分関連特徴の少なくとも一方が写る第3画像データを取得する学習データ取得部と、前記第3画像データを利用した機械学習により、前記第3画像データから前記差分特徴及び前記差分関連特徴の少なくとも一方を識別する第2識別器を構築する学習処理部と、前記複数の特徴を識別する対象となる対象画像データを取得する対象データ取得部と、取得した前記対象画像データを前記第1識別器に入力することで、前記対象画像データから前記複数の特徴を識別した結果に対応する出力を前記第1識別器より取得する第1識別部と、取得した前記対象画像データを前記第2識別器に入力することで、前記対象画像データから前記差分特徴及び前記差分関連特徴の少なくとも一方を識別した結果に対応する出力を前記第2識別器より取得する第2識別部と、前記第1識別部の出力及び前記第2識別部の出力に基づき、前記対象画像データから前記複数の特徴を識別した結果を出力する出力部と、を備える。
また、例えば、本発明の一側面に係る識別器生成装置は、複数の特徴が写る第1画像データであって、前記複数の特徴を識別するように第1識別器を構築する機械学習に利用された第1画像データから算出された当該各特徴に関する第1特徴量を取得する第1特徴量取得部と、前記第1識別器を利用する環境において取得される、前記第1画像データと同種の第2画像データであって、前記複数の特徴が写る第2画像データから算出された当該各特徴に関する第2特徴量を取得する第2特徴量取得部と、前記各特徴について前記第1特徴量と前記第2特徴量とを比較し、前記比較の結果に基づいて、前記複数の特徴のうち、前記第1特徴量と前記第2特徴量との差分が所定条件を満たす大きさを有する特徴を差分特徴として抽出する差分抽出部と、前記第1識別器を利用する前記環境において、抽出した前記差分特徴及び前記差分特徴に関連する特徴である差分関連特徴の少なくとも一方が写る第3画像データを取得する学習データ取得部と、前記第3画像データを利用した機械学習により、前記第3画像データから前記差分特徴及び前記差分関連特徴の少なくとも一方を識別する第2識別器を構築する学習処理部と、を備える。
また、例えば、本発明の一側面に係る識別装置は、複数の特徴を識別する対象となる対象画像データを取得する対象データ取得部と、機械学習により複数の特徴を識別するように構築された第1識別器に取得した前記対象画像データを入力することで、前記対象画像データから前記複数の特徴を識別した結果に対応する出力を前記第1識別器より取得する第1識別部と、複数の特徴から抽出された差分特徴及び前記差分特徴に関連する特徴である差分関連特徴の少なくとも一方を識別するように機械学習によって構築された第2識別器に取得した前記対象画像データを入力することで、前記対象画像データから前記差分特徴及び前記差分関連特徴の少なくとも一方を識別した結果に対応する出力を前記第2識別器より取得する第2識別部と、前記第1識別器の出力及び前記第2識別器の出力に基づき、前記対象画像データから前記複数の特徴を識別した結果を出力する出力部と、を備える。なお、第2識別器は、上記識別器生成装置により生成されたものであってよい。
また、例えば、本発明の一側面に係る識別システムは、複数の特徴を含む第1データであって、前記複数の特徴を識別するように第1識別器を構築する機械学習に利用された第1データから算出された当該各特徴に関する第1特徴量を取得する第1特徴量取得部と、前記第1識別器を利用する環境において取得される、前記第1データと同種の第2データであって、前記複数の特徴を含む第2データから算出された当該各特徴に関する第2特徴量を取得する第2特徴量取得部と、前記各特徴について前記第1特徴量と前記第2特徴量とを比較し、前記比較の結果に基づいて、前記複数の特徴のうち、前記第1特徴量と前記第2特徴量との差分が所定条件を満たす大きさを有する特徴を差分特徴として抽出する差分抽出部と、前記第1識別器を利用する前記環境において、抽出した前記差分特徴及び前記差分特徴に関連する特徴である差分関連特徴の少なくとも一方を含む第3データを取得する学習データ取得部と、前記第3データを利用した機械学習により、前記第3データから前記差分特徴及び前記差分関連特徴の少なくとも一方を識別する第2識別器を構築する学習処理部と、前記複数の特徴を識別する対象となる対象データを取得する対象データ取得部と、取得した前記対象データを前記第1識別器に入力することで、前記対象データから前記複数の特徴を識別した結果に対応する出力を前記第1識別器より取得する第1識別部と、取得した前記対象データを前記第2識別器に入力することで、前記対象データから前記差分特徴及び前記差分関連特徴の少なくとも一方を識別した結果に対応する出力を前記第2識別器より取得する第2識別部と、前記第1識別部の出力及び前記第2識別部の出力に基づき、前記対象データから前記複数の特徴を識別した結果を出力する出力部と、を備える。
なお、「データ」は、識別器による解析の対象となり得るあらゆる種類のデータを含んでもよく、例えば、画像データの他、音データ(音声データ)、数値データ、テキストデータ等であってよい。「特徴」は、データから識別可能なあらゆる特徴を含んでもよい。「複数の特徴」は、関連性を有する一連の特徴(例えば、音声データから識別される文字列)であってもよく、この場合、「差分特徴」は、その一連の特徴のうちの一部であってよい。「環境」は、例えば、データを取得する条件、データの取得に利用する装置、地域等の、識別器の機械学習に利用するデータを収集する場面、及び識別器を利用する場面の属性により適宜特定されてよい。
上記一側面に係る識別システムにおいて、前記第3データは、前記第2データのコピー、又は前記第2データから前記差分特徴及び前記差分関連特徴の少なくとも一方を含む部分を抽出することで得られた部分データにより構成されてよい。
上記一側面に係る識別システムにおいて、前記第2データは、前記複数の特徴を含むデータであって、前記複数の特徴のうちの少なくともいずれかが前記第1識別器では識別不能であった又は識別を誤ったデータから選択されてよい。
上記一側面に係る識別システムにおいて、前記出力部は、前記第1識別器の出力に基づいて、前記複数の特徴のうちの前記差分特徴以外の特徴を識別した結果を出力し、前記第2識別器の出力に基づいて、前記差分特徴及び前記差分関連特徴の少なくとも一方を識別した結果を出力してもよい。
上記一側面に係る識別システムにおいて、前記所定条件は、差分が最も大きい特徴から順に1又は複数個の特徴を選択するように規定されていてもよく、前記差分抽出部は、前記第1特徴量と前記第2特徴量との差分の最も大きい特徴から順に1又は複数個の特徴を選択し、選択した1又は複数個の特徴を前記差分特徴として抽出してもよい。
上記一側面に係る識別システムにおいて、前記所定条件は、差分が閾値を超える特徴を選択するように規定されていてもよく、前記差分抽出部は、前記第1特徴量と前記第2特徴量との差分が前記閾値を超えるか否かを判定し、前記第1特徴量と前記第2特徴量との差分が前記閾値を超えると判定された特徴を前記差分特徴として抽出してもよい。
また、例えば、本発明の一側面に係る識別器生成装置は、複数の特徴を含む第1データであって、前記複数の特徴を識別するように第1識別器を構築する機械学習に利用された第1データから算出された当該各特徴に関する第1特徴量を取得する第1特徴量取得部と、前記第1識別器を利用する環境において取得される、前記第1データと同種の第2データであって、前記複数の特徴を含む第2データから算出された当該各特徴に関する第2特徴量を取得する第2特徴量取得部と、前記各特徴について前記第1特徴量と前記第2特徴量とを比較し、前記比較の結果に基づいて、前記複数の特徴のうち、前記第1特徴量と前記第2特徴量との差分が所定条件を満たす大きさを有する特徴を差分特徴として抽出する差分抽出部と、前記第1識別器を利用する前記環境において、抽出した前記差分特徴及び前記差分特徴に関連する特徴である差分関連特徴の少なくとも一方を含む第3データを取得する学習データ取得部と、前記第3データを利用した機械学習により、前記第3データから前記差分特徴及び前記差分関連特徴の少なくとも一方を識別する第2識別器を構築する学習処理部と、を備える。
また、例えば、本発明の一側面に係る識別装置は、複数の特徴を識別する対象となる対象データを取得する対象データ取得部と、機械学習により複数の特徴を識別するように構築された第1識別器に取得した前記対象データを入力することで、前記対象データから前記複数の特徴を識別した結果に対応する出力を前記第1識別器より取得する第1識別部と、複数の特徴から抽出された差分特徴及び前記差分特徴に関連する特徴である差分関連特徴の少なくとも一方を識別するように機械学習によって構築された第2識別器に取得した前記対象データを入力することで、前記対象データから前記差分特徴及び前記差分関連特徴の少なくとも一方を識別した結果に対応する出力を前記第2識別器より取得する第2識別部と、前記第1識別器の出力及び前記第2識別器の出力に基づき、前記対象データから前記複数の特徴を識別した結果を出力する出力部と、を備える。なお、第2識別器は、上記識別器生成装置により生成されたものであってよい。
なお、上記各形態に係る顔画像識別システム、画像識別システム、識別システム、識別器生成装置、及び識別装置の別の態様として、本発明は、以上の各構成を実現する情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記憶した、コンピュータその他装置、機械等が読み取り可能な記憶媒体であってもよい。ここで、コンピュータ等が読み取り可能な記憶媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。
例えば、本発明の一側面に係る顔画像識別方法は、コンピュータが、顔の複数の特徴を識別するように第1識別器を構築する機械学習に利用された第1顔画像データから算出された当該各特徴に関する第1特徴量を取得するステップと、前記第1識別器を利用する環境において取得される、前記第1顔画像データと同種の第2顔画像データであって、前記顔の前記複数の特徴が写る第2顔画像データから算出された当該各特徴に関する第2特徴量を取得するステップと、前記各特徴について前記第1特徴量と前記第2特徴量とを比較し、前記比較の結果に基づいて、前記複数の特徴のうち、前記第1特徴量と前記第2特徴量との差分が所定条件を満たす大きさを有する特徴を差分特徴として抽出するステップと、前記第1識別器を利用する前記環境において、前記差分特徴及び前記差分特徴に関連する特徴である差分関連特徴の少なくとも一方が写る第3顔画像データを取得するステップと、前記第3顔画像データを利用した機械学習により、前記第3顔画像データから前記差分特徴及び前記差分関連特徴の少なくとも一方を識別する第2識別器を構築するステップと、前記複数の特徴を識別する対象となる対象顔画像データを取得するステップと、取得した前記対象顔画像データを前記第1識別器に入力することで、前記対象顔画像データから前記複数の特徴を識別した結果に対応する出力を前記第1識別器より取得するステップと、取得した前記対象顔画像データを前記第2識別器に入力することで、前記対象顔画像データから前記差分特徴及び前記差分関連特徴の少なくとも一方を識別した結果に対応する出力を前記第2識別器より取得するステップと、前記第1識別器の出力及び前記第2識別器の出力に基づき、前記対象顔画像データから前記複数の特徴を識別した結果を出力するステップと、を実行する、情報処理方法である。
また、例えば、本発明の一側面に係る識別器生成方法は、コンピュータが、顔の複数の特徴を識別するように第1識別器を構築する機械学習に利用された第1顔画像データから算出された当該各特徴に関する第1特徴量を取得するステップと、前記第1識別器を利用する環境において取得される、前記第1顔画像データと同種の第2顔画像データであって、前記顔の前記複数の特徴が写る第2顔画像データから算出された当該各特徴に関する第2特徴量を取得するステップと、前記各特徴について前記第1特徴量と前記第2特徴量とを比較し、前記比較の結果に基づいて、前記複数の特徴のうち、前記第1特徴量と前記第2特徴量との差分が所定条件を満たす大きさを有する特徴を差分特徴として抽出するステップと、前記第1識別器を利用する前記環境において、前記差分特徴及び前記差分特徴に関連する特徴である差分関連特徴の少なくとも一方が写る第3顔画像データを取得するステップと、前記第3顔画像データを利用した機械学習により、前記第3顔画像データから前記差分特徴及び前記差分関連特徴の少なくとも一方を識別する第2識別器を構築するステップと、を実行する、情報処理方法である。
また、例えば、本発明の一側面に係る識別器生成プログラムは、コンピュータに、顔の複数の特徴を識別するように第1識別器を構築する機械学習に利用された第1顔画像データから算出された当該各特徴に関する第1特徴量を取得するステップと、前記第1識別器を利用する環境において取得される、前記第1顔画像データと同種の第2顔画像データであって、前記顔の前記複数の特徴が写る第2顔画像データから算出された当該各特徴に関する第2特徴量を取得するステップと、前記各特徴について前記第1特徴量と前記第2特徴量とを比較し、前記比較の結果に基づいて、前記複数の特徴のうち、前記第1特徴量と前記第2特徴量との差分が所定条件を満たす大きさを有する特徴を差分特徴として抽出するステップと、前記第1識別器を利用する前記環境において、前記差分特徴及び前記差分特徴に関連する特徴である差分関連特徴の少なくとも一方が写る第3顔画像データを取得するステップと、前記第3顔画像データを利用した機械学習により、前記第3顔画像データから前記差分特徴及び前記差分関連特徴の少なくとも一方を識別する第2識別器を構築するステップと、を実行させるためのプログラムである。
また、例えば、本発明の一側面に係る画像識別方法は、コンピュータが、複数の特徴が写る第1画像データであって、前記複数の特徴を識別するように第1識別器を構築する機械学習に利用された第1画像データから算出された当該各特徴に関する第1特徴量を取得するステップと、前記第1識別器を利用する環境において取得される、前記第1画像データと同種の第2画像データであって、前記複数の特徴が写る第2画像データから算出された当該各特徴に関する第2特徴量を取得するステップと、前記各特徴について前記第1特徴量と前記第2特徴量とを比較し、前記比較の結果に基づいて、前記複数の特徴のうち、前記第1特徴量と前記第2特徴量との差分が所定条件を満たす大きさを有する特徴を差分特徴として抽出するステップと、前記第1識別器を利用する前記環境において、抽出した前記差分特徴及び前記差分特徴に関連する特徴である差分関連特徴の少なくとも一方が写る第3画像データを取得するステップと、前記第3画像データを利用した機械学習により、前記第3画像データから前記差分特徴及び前記差分関連特徴の少なくとも一方を識別する第2識別器を構築するステップと、前記複数の特徴を識別する対象となる対象画像データを取得する対象データ取得部と、取得した前記対象画像データを前記第1識別器に入力することで、前記対象画像データから前記複数の特徴を識別した結果に対応する出力を前記第1識別器より取得するステップと、取得した前記対象画像データを前記第2識別器に入力することで、前記対象画像データから前記差分特徴及び前記差分関連特徴の少なくとも一方を識別した結果に対応する出力を前記第2識別器より取得するステップと、前記第1識別器の出力及び前記第2識別器の出力に基づき、前記対象画像データから前記複数の特徴を識別した結果を出力するステップと、を実行する、情報処理方法である。
また、例えば、本発明の一側面に係る識別器生成方法は、コンピュータが、複数の特徴が写る第1画像データであって、前記複数の特徴を識別するように第1識別器を構築する機械学習に利用された第1画像データから算出された当該各特徴に関する第1特徴量を取得するステップと、前記第1識別器を利用する環境において取得される、前記第1画像データと同種の第2画像データであって、前記複数の特徴が写る第2画像データから算出された当該各特徴に関する第2特徴量を取得するステップと、前記各特徴について前記第1特徴量と前記第2特徴量とを比較し、前記比較の結果に基づいて、前記複数の特徴のうち、前記第1特徴量と前記第2特徴量との差分が所定条件を満たす大きさを有する特徴を差分特徴として抽出するステップと、前記第1識別器を利用する前記環境において、抽出した前記差分特徴及び前記差分特徴に関連する特徴である差分関連特徴の少なくとも一方が写る第3画像データを取得するステップと、前記第3画像データを利用した機械学習により、前記第3画像データから前記差分特徴及び前記差分関連特徴の少なくとも一方を識別する第2識別器を構築するステップと、を実行する、情報処理方法である。
また、例えば、本発明の一側面に係る識別器生成プログラムは、コンピュータに、複数の特徴が写る第1画像データであって、前記複数の特徴を識別するように第1識別器を構築する機械学習に利用された第1画像データから算出された当該各特徴に関する第1特徴量を取得するステップと、前記第1識別器を利用する環境において取得される、前記第1画像データと同種の第2画像データであって、前記複数の特徴が写る第2画像データから算出された当該各特徴に関する第2特徴量を取得するステップと、前記各特徴について前記第1特徴量と前記第2特徴量とを比較し、前記比較の結果に基づいて、前記複数の特徴のうち、前記第1特徴量と前記第2特徴量との差分が所定条件を満たす大きさを有する特徴を差分特徴として抽出するステップと、前記第1識別器を利用する前記環境において、抽出した前記差分特徴及び前記差分特徴に関連する特徴である差分関連特徴の少なくとも一方が写る第3画像データを取得するステップと、前記第3画像データを利用した機械学習により、前記第3画像データから前記差分特徴及び前記差分関連特徴の少なくとも一方を識別する第2識別器を構築するステップと、を実行させるためのプログラムである。
また、例えば、本発明の一側面に係る識別方法は、コンピュータが、複数の特徴を含む第1データであって、前記複数の特徴を識別するように第1識別器を構築する機械学習に利用された第1データから算出された当該各特徴に関する第1特徴量を取得するステップと、前記第1識別器を利用する環境において取得される、前記第1データと同種の第2データであって、前記複数の特徴を含む第2データから算出された当該各特徴に関する第2特徴量を取得するステップと、前記各特徴について前記第1特徴量と前記第2特徴量とを比較し、前記比較の結果に基づいて、前記複数の特徴のうち、前記第1特徴量と前記第2特徴量との差分が所定条件を満たす大きさを有する特徴を差分特徴として抽出するステップと、前記第1識別器を利用する前記環境において、抽出した前記差分特徴及び前記差分特徴に関連する特徴である差分関連特徴の少なくとも一方を含む第3データを取得するステップと、前記第3データを利用した機械学習により、前記第3データから前記差分特徴及び前記差分関連特徴の少なくとも一方を識別する第2識別器を構築するステップと、前記複数の特徴を識別する対象となる対象データを取得するステップと、取得した前記対象データを前記第1識別器に入力することで、前記対象データから前記複数の特徴を識別した結果に対応する出力を前記第1識別器より取得するステップと、取得した前記対象データを前記第2識別器に入力することで、前記対象データから前記差分特徴及び前記差分関連特徴の少なくとも一方を識別した結果に対応する出力を前記第2識別器より取得するステップと、前記第1識別器の出力及び前記第2識別器の出力に基づき、前記対象データから前記複数の特徴を識別した結果を出力するステップと、を実行する、情報処理方法である。
また、例えば、本発明の一側面に係る識別器生成方法は、コンピュータが、複数の特徴を含む第1データであって、前記複数の特徴を識別するように第1識別器を構築する機械学習に利用された第1データから算出された当該各特徴に関する第1特徴量を取得するステップと、前記第1識別器を利用する環境において取得される、前記第1データと同種の第2データであって、前記複数の特徴を含む第2データから算出された当該各特徴に関する第2特徴量を取得するステップと、前記各特徴について前記第1特徴量と前記第2特徴量とを比較し、前記比較の結果に基づいて、前記複数の特徴のうち、前記第1特徴量と前記第2特徴量との差分が所定条件を満たす大きさを有する特徴を差分特徴として抽出するステップと、前記第1識別器を利用する前記環境において、抽出した前記差分特徴及び前記差分特徴に関連する特徴である差分関連特徴の少なくとも一方を含む第3データを取得するステップと、前記第3データを利用した機械学習により、前記第3データから前記差分特徴及び前記差分関連特徴の少なくとも一方を識別する第2識別器を構築するステップと、を実行する、情報処理方法である。
また、例えば、本発明の一側面に係る識別器生成プログラムは、コンピュータに、複数の特徴を含む第1データであって、前記複数の特徴を識別するように第1識別器を構築する機械学習に利用された第1データから算出された当該各特徴に関する第1特徴量を取得するステップと、前記第1識別器を利用する環境において取得される、前記第1データと同種の第2データであって、前記複数の特徴を含む第2データから算出された当該各特徴に関する第2特徴量を取得するステップと、前記各特徴について前記第1特徴量と前記第2特徴量とを比較し、前記比較の結果に基づいて、前記複数の特徴のうち、前記第1特徴量と前記第2特徴量との差分が所定条件を満たす大きさを有する特徴を差分特徴として抽出するステップと、前記第1識別器を利用する前記環境において、抽出した前記差分特徴及び前記差分特徴に関連する特徴である差分関連特徴の少なくとも一方を含む第3データを取得するステップと、前記第3データを利用した機械学習により、前記第3データから前記差分特徴及び前記差分関連特徴の少なくとも一方を識別する第2識別器を構築するステップと、を実行させるためのプログラムである。
本発明によれば、低コストな方法で、環境の変動に起因する識別器の識別性能の低下を抑制する技術を提供することができる。
図1は、本発明が適用される場面の一例を模式的に例示する。 図2は、実施の形態に係る識別器生成装置のハードウェア構成の一例を模式的に例示する。 図3は、実施の形態に係る識別装置のハードウェア構成の一例を模式的に例示する。 図4は、実施の形態に係る識別器生成装置のソフトウェア構成の一例を模式的に例示する。 図5は、実施の形態に係る識別装置のソフトウェア構成の一例を模式的に例示する。 図6は、実施の形態に係る識別器生成装置の処理手順の一例を例示する。 図7は、実施の形態に係る識別装置の処理手順の一例を例示する。 図8は、他の形態に係る識別器生成装置のソフトウェア構成の一例を模式的に例示する。 図9は、他の形態に係る識別装置のソフトウェア構成の一例を模式的に例示する。 図10は、他の形態に係る識別器生成装置のソフトウェア構成の一例を模式的に例示する。 図11は、他の形態に係る識別装置のソフトウェア構成の一例を模式的に例示する。
以下、本発明の一側面に係る実施の形態(以下、「本実施形態」とも表記する)を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。
§1 適用例
まず、本発明の基本的な構成の一例について説明する。事前に収集したデータで識別器を生成した場合に、次のような問題が生じ得る。すなわち、識別器を生成するのに利用したデータに表れる特徴と当該識別器を利用する環境で得られるデータに表れる特徴とが大きく相違する場合に、その環境における当該識別器の識別性能は低下し得る。これに対応するため、その環境で利用する別個の識別器を生成するようにすると、新たなデータを収集し、収集したデータにより別個の識別器を生成する分だけコストがかかってしまう。
そこで、本発明の一例では、複数の特徴を含む第1データであって、複数の特徴を識別するように第1識別器を構築する機械学習に利用された第1データから算出された当該各特徴に関する第1特徴量を取得する。また、第1識別器を利用する環境において取得される、第1データと同種の第2データであって、複数の特徴を含む第2データから算出された当該各特徴に関する第2特徴量を取得する。
次に、各特徴について第1特徴量と第2特徴量とを比較し、当該比較の結果に基づいて、複数の特徴のうち、第1特徴量と第2特徴量との差分が所定条件を満たす大きさを有する特徴を差分特徴として抽出する。そして、第1識別器を利用する環境において、抽出した差分特徴及び差分特徴に関連する差分関連特徴の少なくとも一方を含む第3データを取得し、取得した第3データを利用した機械学習により、差分特徴及び差分関連特徴の少なくとも一方を識別する第2識別器を構築する。
なお、「特徴」は、データから識別可能なあらゆる特徴を含んでもよい。また、「複数の特徴」は、関連性を有する一連の特徴であってもよく、この場合、「差分特徴」は、その一連の特徴のうちの一部であってよい。差分関連特徴は、差分特徴とは完全には一致しないが、差分特徴と関係性を有し得る特徴であればよい。差分関連特徴は、第1識別器により識別する対象となる複数の特徴に含まれていてもよいし、含まれていなくてもよい。一例として、顔の写る顔画像データが処理の対象である場合、識別の対象となる特徴は、例えば、顔画像データに写る顔のパーツの状態等であってよい。特徴量は、例えば、顔のパーツの大きさ、角度、色等であってよい。差分特徴が、目の大きさ、目の形状等の目に関するものである場合、差分関連特徴は、両目の間隔、目と眉毛との間隔、眉毛の形状、眉毛の大きさ等であってよい。
これにより、当該構成では、第1識別器の構築に利用した第1データを収集した環境と第1識別器を利用する環境とで大きく相違する特徴(差分特徴及び/又は差分関連特徴)の識別には、構築した第2識別器を利用することで、その特徴に対する識別性能の低下を抑制することができる。また、第2識別器を生成するコストは、識別する対象を差分特徴及び差分関連特徴の少なくとも一方に絞っている分だけ、全ての特徴を識別する別個の識別器を生成する場合に比べて低い。すなわち、第1識別器を放棄して別個の識別器を生成する訳ではなく、差分特徴以外の特徴の識別には、第1識別器をそのまま利用することができる分だけ、環境の変動に対応するためのコストを抑えることができる。したがって、当該構成によれば、低コストな方法で、環境の変動に起因する識別器の識別性能の低下を抑制することができる。
次に、図1を用いて、本発明が適用される場面の一例について説明する。図1は、本発明を顔画像解析に適用した場面の一例を模式的に例示する。ただし、本発明の適用範囲は、以下で例示する顔画像解析に限られる訳ではない。本発明は、事前に収集したデータで識別器を生成するあらゆる場面に適用可能である。
図1で例示される顔画像識別システム100は、ネットワークを介して接続される識別器生成装置1及び識別装置2を備えている。図1の例では、識別器生成装置1及び識別装置2は、別個のコンピュータである。しかしながら、顔画像識別システム100の構成は、このような例に限定されなくてもよく、識別器生成装置1及び識別装置2は一体のコンピュータであってもよいし、識別器生成装置1及び識別装置2はそれぞれ複数台のコンピュータにより構成されてもよい。なお、識別器生成装置1及び識別装置2の間のネットワークの種類は、例えば、インターネット、無線通信網、移動通信網、電話網、専用網等から適宜選択されてよい。
識別器生成装置1は、上記第2識別器を生成するように構成されたコンピュータである。具体的には、まず、識別器生成装置1は、顔の複数の特徴を識別するように第1識別器5を構築する機械学習に利用された第1顔画像データ121から算出された各特徴に関する第1特徴量を取得する。また、識別器生成装置1は、第1識別器5を利用する環境において取得される、第1顔画像データ121と同種の第2顔画像データ123であって、顔の複数の特徴が写る第2顔画像データ123から算出された各特徴に関する第2特徴を取得する。
「環境」は、例えば、データを取得する条件、データの取得に利用する装置、地域等の、識別器の機械学習に利用するデータを収集する場面、及び識別器を利用する場面の属性により適宜特定されてよい。また、識別の対象となる顔の複数の特徴は、画像に表れる顔のあらゆる特徴を含んでもよく、例えば、表情の種別、覚醒状態、顔のパーツ(器官を含む)の位置(特定の器官同士の相対位置関係を含む)、顔のパーツの形状、顔のパーツの色、及び顔のパーツの状態(開度、角度等)から選択されてよい。
次に、識別器生成装置1は、各特徴について第1特徴量と第2特徴量とを比較し、当該比較の結果に基づいて、複数の特徴のうち、第1特徴量と第2特徴量との差分が所定条件を満たす大きさを有する特徴を差分特徴として抽出する。続いて、識別器生成装置1は、第1識別器5を利用する環境において、差分特徴及び差分関連特徴の少なくとも一方が写る第3顔画像データ125を取得する。そして、識別器生成装置1は、取得した第3顔画像データ125を利用した機械学習により、当該第3顔画像データ125から差分特徴及び差分関連特徴の少なくとも一方を識別する第2識別器6を構築する。
一方、識別装置2は、第1識別器5及び第2識別器6を利用して、顔画像データから顔の複数の特徴を識別するように構成されたコンピュータである。具体的には、まず、識別装置2は、顔の複数の特徴を識別する対象となる対象顔画像データ221を取得する。本実施形態では、識別装置2は、カメラ31と接続されており、このカメラ31によって、顔の複数の特徴を識別する対象となる対象者Xの写る対象顔画像データ221を取得する。
次に、識別装置2は、取得した対象顔画像データ221を第1識別器5に入力することで、対象顔画像データ221から複数の特徴を識別した結果に対応する出力を第1識別器5より取得する。また、識別装置2は、取得した対象顔画像データ221を第2識別器6に入力することで、対象顔画像データ221から差分特徴及び差分関連特徴の少なくとも一方を識別した結果に対応する出力を第2識別器6より取得する。そして、識別装置2は、第1識別器5の出力及び第2識別器6の出力に基づき、対象顔画像データ221から複数の特徴を識別した結果を出力する。
以上のとおり、本実施形態に係る顔画像識別システム100は、第1顔画像データ121から算出された第1特徴量と第2顔画像データ123から算出された第2特徴量とを比較することで、環境の変動に起因して大きく相違し得る顔の特徴を差分特徴として抽出する。そして、本実施形態に係る顔画像識別システム100は、抽出された差分特徴及び差分関連特徴の少なくとも一方の写る第3顔画像データを利用した機械学習により、当該差分特徴及び差分関連特徴の少なくとも一方を識別するための第2識別器を構築する。これにより、顔画像識別システム100は、対象顔画像データ221から対象者Xの顔の複数の特徴を識別するのに第1識別器5を利用しつつ、第1識別器5では正確に識別できない可能性のある差分特徴及び差分関連特徴の少なくとも一方の識別には第2識別器6を利用することができるようになる。
したがって、本実施形態によれば、第1識別器5の構築に利用した第1顔画像データ121を収集した環境と第1識別器5を利用する環境とで大きく相違する顔の特徴(差分特徴及び/又は差分関連特徴)の識別には、第2識別器6を利用するようにすることで、その特徴に対する識別性能の低下を抑制することができる。また、第2識別器6を生成するコストは、識別する対象を顔の差分特徴及び差分関連特徴の少なくとも一方に絞っている分だけ、全ての顔の特徴を識別する別個の識別器を生成する場合に比べて低い。すなわち、第1識別器5を破棄して新たな識別器を生成する訳ではなく、差分特徴以外の顔の特徴の識別には第1識別器5をそのまま利用することができる分だけ、環境の変動に対応するためのコストを抑えることができる。よって、本実施形態によれば、顔画像から複数の特徴を識別する識別器の識別性能が環境の変動に起因して低下してしまうのを低コストな方法で抑制することができる。
§2 構成例
[ハードウェア構成]
<識別器生成装置>
次に、図2を用いて、本実施形態に係る識別器生成装置1のハードウェア構成の一例について説明する。図2は、本実施形態に係る識別器生成装置1のハードウェア構成の一例を模式的に例示する。
図2に示されるとおり、本実施形態に係る識別器生成装置1は、制御部11、記憶部12、通信インタフェース13、入力装置14、出力装置15、及びドライブ16が電気的に接続されたコンピュータである。なお、図2では、通信インタフェースを「通信I/F」と記載している。
制御部11は、ハードウェアプロセッサであるCPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を含み、プログラム及び各種データに基づいて情報処理を実行するように構成される。記憶部12は、メモリの一例であり、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。本実施形態では、記憶部12は、生成プログラム81、第1顔画像データ121、第2顔画像データ123、第3顔画像データ125、差分学習結果データ129等の各種情報を記憶する。
生成プログラム81は、第2識別器6を生成する後述の情報処理(図6)を識別器生成装置1に実行させるためのプログラムであり、当該情報処理の一連の命令を含む。第1顔画像データ121は、顔の複数の特徴が写る顔画像データであって、第1識別器5の機械学習に利用された顔画像データである。第2顔画像データ123は、第1顔画像データ121とは同種の顔画像データであって、第1識別器5を利用する環境で収集された顔画像データである。第3顔画像データ125は、第1識別器5を利用する環境で収集された顔画像データであって、顔の差分特徴及び差分関連特徴の少なくとも一方が写る顔画像データである。差分学習結果データ129は、第3顔画像データ125を利用した機械学習により構築された学習済みの第2識別器6の設定を行うためのデータである。詳細は後述する。
通信インタフェース13は、例えば、有線LAN(Local Area Network)モジュール、無線LANモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインタフェースである。識別器生成装置1は、この通信インタフェース13を利用することで、ネットワークを介したデータ通信を識別装置2と行うことができる。
入力装置14は、例えば、マウス、キーボード等の入力を行うための装置である。また、出力装置15は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。オペレータは、入力装置14及び出力装置15を利用することで、識別器生成装置1を操作することができる。
ドライブ16は、例えば、CDドライブ、DVDドライブ等であり、記憶媒体91に記憶されたプログラムを読み込むためのドライブ装置である。ドライブ16の種類は、記憶媒体91の種類に応じて適宜選択されてよい。上記生成プログラム81、第1顔画像データ121、第2顔画像データ123、及び第3顔画像データ125のうちの少なくともいずれかは、この記憶媒体91に記憶されていてもよい。
記憶媒体91は、コンピュータその他装置、機械等が、記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。識別器生成装置1は、この記憶媒体91から、上記生成プログラム81、第1顔画像データ121、第2顔画像データ123、及び第3顔画像データ125のうちの少なくともいずれかを取得してもよい。
ここで、図2では、記憶媒体91の一例として、CD、DVD等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体91の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。
なお、識別器生成装置1の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部11は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、FPGA(field-programmable gate array)、DSP(digital signal processor)等で構成されてよい。記憶部12は、制御部11に含まれるRAM及びROMにより構成されてもよい。通信インタフェース13、入力装置14、出力装置15及びドライブ16の少なくともいずれかは省略されてもよい。識別器生成装置1は、複数台のコンピュータで構成されてもよい。この場合、各コンピュータのハードウェア構成は、一致していてもよいし、一致していなくてもよい。また、識別器生成装置1は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、PC(Personal Computer)等であってもよい。
<識別装置>
次に、図3を用いて、本実施形態に係る識別装置2のハードウェア構成の一例について説明する。図3は、本実施形態に係る識別装置2のハードウェア構成の一例を模式的に例示する。
図3に示されるとおり、本実施形態に係る識別装置2は、制御部21、記憶部22、通信インタフェース23、外部インタフェース24、入力装置25、出力装置26、及びドライブ27が電気的に接続されたコンピュータである。なお、図3では、通信インタフェース及び外部インタフェースをそれぞれ「通信I/F」及び「外部I/F」と記載している。
外部インタフェース24を除き、識別装置2は、上記識別器生成装置1と同様の構成を有している。制御部21は、ハードウェアプロセッサであるCPU、RAM、ROM等を含み、プログラム及びデータに基づいて各種情報処理を実行するように構成される。記憶部22は、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。記憶部22は、識別プログラム82、学習結果データ229、差分学習結果データ129等の各種情報を記憶する。
識別プログラム82は、第1識別器5及び第2識別器6を利用して、対象顔画像データ221から顔の複数の特徴を識別する後述の情報処理(図7)を識別装置2に実行させるためのプログラムであり、当該情報処理の一連の命令を含む。学習結果データ229は、第1顔画像データ121を利用した機械学習により構築された学習済みの第1識別器5の設定を行うためのデータである。詳細は後述する。
通信インタフェース23は、例えば、有線LANモジュール、無線LANモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインタフェースである。識別装置2は、この通信インタフェース23を利用することで、ネットワークを介したデータ通信を識別器生成装置1と行うことができる。
外部インタフェース24は、例えば、USB(Universal Serial Bus)ポート、専用ポート等であり、外部装置と接続するためのインタフェースである。外部インタフェース24の種類及び数は、接続される外部装置の種類及び数に応じて適宜選択されてよい。本実施形態では、識別装置2は、外部インタフェース24を介して、カメラ31に接続される。
カメラ31は、対象者Xを撮影することで、対象顔画像データ221を取得するのに利用される。カメラ31の種類及び配置場所は、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。カメラ31には、例えば、デジタルカメラ、ビデオカメラ等の公知のカメラが利用されてよい。なお、カメラ31が通信インタフェースを備える場合、識別装置2は、外部インタフェース24ではなく、通信インタフェース23を介して、カメラ31に接続されてよい。
入力装置25は、例えば、マウス、キーボード等の入力を行うための装置である。また、出力装置26は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。オペレータは、入力装置25及び出力装置26を利用することで、識別装置2を操作することができる。
ドライブ27は、例えば、CDドライブ、DVDドライブ等であり、記憶媒体92に記憶されたプログラムを読み込むためのドライブ装置である。ドライブ27及び記憶媒体92はそれぞれ、上記ドライブ16及び記憶媒体91それぞれと同様に構成されてよい。上記識別プログラム82、学習結果データ229、及び差分学習結果データ129のうちの少なくともいずれかは、記憶媒体92に記憶されていてもよい。また、識別装置2は、記憶媒体92から、上記識別プログラム82、学習結果データ229、及び差分学習結果データ129のうちの少なくともいずれかを取得してもよい。
なお、識別装置2の具体的なハードウェア構成に関して、上記識別器生成装置1と同様に、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部21は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、FPGA、DSP等で構成されてよい。記憶部22は、制御部21に含まれるRAM及びROMにより構成されてもよい。通信インタフェース23、外部インタフェース24、入力装置25、出力装置26及びドライブ27の少なくともいずれかは省略されてもよい。識別装置2は、複数台のコンピュータで構成されてもよい。この場合、各コンピュータのハードウェア構成は、一致していてもよいし、一致していなくてもよい。また、識別装置2は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、汎用のデスクトップPC、ノートPC、タブレットPC、スマートフォンを含む携帯電話等が用いられてよい。
[ソフトウェア構成]
<識別器生成装置>
次に、図4を用いて、本実施形態に係る識別器生成装置1のソフトウェア構成の一例を説明する。図4は、本実施形態に係る識別器生成装置1のソフトウェア構成の一例を模式的に例示する。
識別器生成装置1の制御部11は、記憶部12に記憶された生成プログラム81をRAMに展開する。そして、制御部11は、RAMに展開された生成プログラム81をCPUにより解釈及び実行して、各構成要素を制御する。これによって、図4に示されるとおり、本実施形態に係る識別器生成装置1は、第1特徴量取得部111、第2特徴量取得部112、差分抽出部113、学習データ取得部114、及び学習処理部115をソフトウェアモジュールとして備えるコンピュータとして動作する。
第1特徴量取得部111は、顔の複数の特徴を識別するように第1識別器5を構築する機械学習に利用された第1顔画像データ121から算出された当該各特徴に関する第1特徴量を取得する。第2特徴量取得部112は、第1識別器5を利用する環境において取得される、第1顔画像データ121と同種の第2顔画像データ123であって、顔の複数の特徴が写る第2顔画像データ123から算出された当該各特徴に関する第2特徴量を取得する。差分抽出部113は、各特徴について第1特徴量と第2特徴量とを比較し、当該比較の結果に基づいて、複数の特徴のうち、第1特徴量と第2特徴量との差分が所定条件を満たす大きさを有する特徴を差分特徴として抽出する。
学習データ取得部114は、第1識別器5を利用する環境において、差分特徴及び差分関連特徴の少なくとも一方が写る第3顔画像データ125を取得する。学習処理部115は、第3顔画像データ125を利用した機械学習により、当該第3顔画像データ125から差分特徴及び差分関連特徴の少なくとも一方を識別する第2識別器6を構築する。図4に示されるとおり、本実施形態では、第2識別器6は、ニューラルネットワークにより構成される。そのため、このニューラルネットワークの機械学習(すなわち、教師あり学習)を実施するため、学習データ取得部114は、第3顔画像データ125及び正解データ1251の組み合わせで構成された学習用データセット127を取得する。正解データ1251は、第3顔画像データ125に写る差分特徴及び差分関連特徴の少なくとも一方の識別に対する正解を示すように構成される。そして、学習処理部115は、この学習用データセット127を利用した教師あり学習を実施することで、差分特徴及び差分関連特徴の少なくとも一方を識別する能力を習得した学習済みの第2識別器6を構築する。
(識別器)
次に、第2識別器6の構成について説明する。図4に示されるとおり、本実施形態に係る第2識別器6は、ニューラルネットワークにより構成される。具体的には、第2識別器6は、いわゆる深層学習に用いられる多層構造のニューラルネットワークにより構成されており、入力層61、中間層(隠れ層)62、及び出力層63を備えている。
なお、図4の例では、第2識別器6を構成するニューラルネットワークは、1層の中間層62を備えており、入力層61の出力が中間層62に入力され、中間層62の出力が出力層63に入力されている。ただし、中間層62の数は、1層に限られなくてもよい。第2識別器6は、2層以上の中間層62を備えてもよい。
各層61〜63は、1又は複数のニューロンを備えている。例えば、入力層61のニューロンの数は、第3顔画像データ125に応じて設定されてよい。中間層62のニューロンの数は、実施の形態に応じて適宜設定されてよい。また、出力層63のニューロンの数は、識別する特徴(差分特徴及び/又は差分関連特徴)の数、正解の種別数等に応じて設定されてよい。
隣接する層のニューロン同士は適宜結合され、各結合には重み(結合荷重)が設定されている。図4の例では、各ニューロンは、隣接する層の全てのニューロンと結合されている。しかしながら、ニューロンの結合は、このような例に限定されなくてもよく、実施の形態に応じて適宜設定されてよい。
各ニューロンには閾値が設定されており、基本的には、各入力と各重みとの積の和が閾値を超えているか否かによって各ニューロンの出力が決定される。学習処理部115は、学習用データセット127の第3顔画像データ125を入力層61に入力すると、入力した第3顔画像データ125に関連付けられた正解データ1251に対応する値を出力層63から出力する学習済みの第2識別器6を構築する。そして、学習処理部115は、構築した学習済みの第2識別器6の構成(例えば、ニューラルネットワークの層数、各層におけるニューロンの個数、ニューロン同士の結合関係、各ニューロンの伝達関数)、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を差分学習結果データ129として記憶部12に保存する。
<識別装置>
次に、図5を用いて、本実施形態に係る識別装置2のソフトウェア構成の一例について説明する。図5は、本実施形態に係る識別装置2のソフトウェア構成の一例を模式的に例示する。
識別装置2の制御部21は、記憶部22に記憶された識別プログラム82をRAMに展開する。そして、制御部21は、RAMに展開された識別プログラム82をCPUにより解釈及び実行して、各構成要素を制御する。これによって、図5に示されるとおり、本実施形態に係る識別装置2は、対象データ取得部211、第1識別部212、第2識別部213、及び出力部214をソフトウェアモジュールとして備えるコンピュータとして構成される。
対象データ取得部211は、複数の特徴を識別する対象となる対象顔画像データ221を取得する。例えば、対象顔画像データ221は、カメラ31により対象者Xの顔を撮影することで、対象顔画像データ221を取得する。第1識別部212は、学習済みの第1識別器5を含んでおり、取得した対象顔画像データ221を第1識別器5に入力することで、対象顔画像データ221から複数の特徴を識別した結果に対応する出力値を第1識別器5より取得する。第2識別部213は、学習済みの第2識別器6を含んでおり、取得した対象顔画像データ221を第2識別器6に入力することで、対象顔画像データ221から複数の特徴を識別した結果に対応する出力値を第2識別器6より取得する。出力部214は、第1識別器5の出力値及び第2識別器6の出力値に基づいて、対象顔画像データ221から複数の特徴を識別した結果を出力する。
なお、図5に示されるとおり、本実施形態に係る第1識別器5は、第2識別器6と同様に、ニューラルネットワークにより構成されている。第1識別器5のニューラルネットワークは、第2識別器6と同様に構成されてよい。すなわち、入力層51、中間層(隠れ層)52、及び出力層53は、第2識別器6の各層61〜63と同様に構成されてよい。ただし、第1識別器5のニューラルネットワークの構造は、第2識別器6と一致していなくてもよい。例えば、第1識別器5を構成するニューラルネットワークの層の数、各層におけるニューロンの個数、及びニューロン同士の結合関係は、第2識別器6を構成するニューラルネットワークと異なっていてもよい。
学習済みの第1識別器5の構成(例えば、各ネットワークの層数、各層におけるニューロンの個数、ニューロン同士の結合関係、各ニューロンの伝達関数)、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報は、学習結果データ229に含まれている。第1識別部212は、学習結果データ229を参照して、学習済みの第1識別器5の設定を行う。同様に、第2識別部213は、差分学習結果データ129を参照して、学習済みの第2識別器6の設定を行う。
<その他>
識別器生成装置1及び識別装置2の各ソフトウェアモジュールに関しては後述する動作例で詳細に説明する。なお、本実施形態では、識別器生成装置1及び識別装置2の各ソフトウェアモジュールがいずれも汎用のCPUによって実現される例について説明している。しかしながら、以上のソフトウェアモジュールの一部又は全部が、1又は複数の専用のプロセッサにより実現されてもよい。また、識別器生成装置1及び識別装置2それぞれのソフトウェア構成に関して、実施形態に応じて、適宜、ソフトウェアモジュールの省略、置換及び追加が行われてもよい。
§3 動作例
[識別器生成装置]
次に、図6を用いて、識別器生成装置1の動作例について説明する。図6は、識別器生成装置1の処理手順の一例を例示するフローチャートである。以下で説明する処理手順は、識別器生成方法の一例である。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
(ステップS101及びS102)
ステップS101では、制御部11は、第1特徴量取得部111として動作し、顔の複数の特徴を識別するように第1識別器5を構築する機械学習に利用された第1顔画像データ121を取得する。ステップS102では、制御部11は、第1特徴量取得部111として動作し、取得した第1顔画像データ121から各特徴に関する第1特徴量を算出する。
第1顔画像データ121の取得元は、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、学習済みの第1識別器5が識別器生成装置1により構築される場合、制御部11は、記憶部12、NAS(Network Attached Storage)等の記憶領域に、第1識別器5の機械学習に利用した第1顔画像データ121を保存してもよい。この場合、制御部11は、この記憶領域から第1顔画像データ121を取得することができる。また、例えば、学習済みの第1識別器5は、識別器生成装置1とは異なる他の情報処理装置により構築されてよい。この場合、制御部11は、ネットワーク、記憶媒体91等を介して、第1顔画像データ121を取得することができる。
なお、学習済みの第1識別器5は、利用する学習用データセットが異なる点を除き、学習済みの第2識別器6を構築する後述の処理(ステップS107及びS108)と同様の機械学習の処理により構築可能である。第1識別器5の機械学習に利用する学習用データセットは、例えば、第1顔画像データ121、及び当該第1顔画像データ121に写る顔の各特徴の正解を示す正解データの組み合わせにより構成されてよい。正解データの内容は、後述する特徴を識別する形態に応じて適宜決定されてよい。識別器生成装置1又は他の情報処理装置は、このような学習用データセットを利用した機械学習を実施することにより、顔の複数の特徴を識別する能力を習得済みの第1識別器5を生成することができる。
また、ステップS101で取得する第1顔画像データ121の件数は、特に限定されなくてもよく、例えば、第1識別器5の機械学習に利用したデータに写る各特徴の傾向が表れる程度に適宜決定されてもよい。ステップS101で取得する第1顔画像データ121は、上記機械学習に利用した全てのデータであってもよいし、上記機械学習に利用したデータのうちの一部のデータであってもよい。
また、第1識別器5により識別する対象となる顔の複数の特徴は、例えば、表情の種別、顔のパーツの位置、顔のパーツの形状、顔のパーツの色、及び顔のパーツの状態から選択されてもよい。「表情の種別」は、喜、怒、哀、楽等のように感情の種別に対応していてもよいし、疲労感のある顔等のように対象者の状態の種別に対応していてもよい。「顔のパーツ」は、例えば、目、鼻、口、耳等の器官を含んでもよいし、輪郭、髪型等の顔の一部分を含んでもよい。「顔のパーツの位置」は、顔における個々のパーツの相対的な位置を含んでもよいし、特定のパーツ同士の相対的な位置関係(例えば、両目の位置関係)を含んでもよい。「顔のパーツの状態」は、例えば、目の開度、口の開度、目の角度、口角の角度等の個々のパーツの属性値を含んでもよい。属性値は、段階(グレード、レベル)で表現されてもよいし、数値(スコア)で表現されてもよい。目の開度を複数のレベルで表現する場合、例えば、レベル「0」が閉眼を示し、レベル「1」がやや開いた眼(小開度)を示し、レベル「2」が通常の開いた眼(開度通常)を示し、レベル「3」が大きく開いた眼(開度大)を示してもよい。
また、ステップS102で算出する第1特徴量は、顔の各特徴を数値化したものである。この第1特徴量の種類は、特に限定されなくてもよく、識別する対象となる顔の各特徴に応じて適宜決定されてよい。第1特徴量は、例えば、顔のパーツの大きさ、特定のパーツ間の幅、特定のパーツの角度、特定のパーツの色等であってよい。具体例として、第1特徴量は、目の縦幅、口の開き具合、眉毛と目との間隔、眉間の幅、口角の角度、目の画素値等であってよい。ステップS102において、制御部11は、第1顔画像データ121に対して、パターンマッチング、エッジ抽出等の公知の画像処理を実行することで、各特徴に関する第1特徴量を算出することができる。
これにより、制御部11は、第1顔画像データ121から算出された各特徴に関する第1特徴量を取得する。ステップS101において、複数件の第1顔画像データ121を取得している場合には、制御部11は、複数件の第1顔画像データ121それぞれから第1特徴量を算出することで、各特徴に関する第1特徴量の分布を取得することができる。第1特徴量を取得すると、制御部11は、次のステップS103に処理を進める。
(ステップS103及びS104)
ステップS103では、制御部11は、第2特徴量取得部112として動作し、第1識別器5を利用する環境において、第1顔画像データ121と同種の第2顔画像データ123であって、顔の複数の特徴が写る第2顔画像データ123を取得する。ステップS104では、制御部11は、第2特徴量取得部112として動作し、取得した第2顔画像データ123から各特徴に関する第2特徴量を算出する。
第2顔画像データ123を取得する方法は、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、カメラを用意し、第1識別器5を利用する環境において、用意したカメラにより1又は複数の対象者の顔を撮影することで、当該対象者の顔の複数の特徴が写る顔画像データが取得されてもよい。この顔画像データが、そのまま第2顔画像データ123として利用されてもよい。
また、第2顔画像データ123は、取得した顔画像データのうち、複数の特徴のうちの少なくともいずれかが第1識別器5では識別不能であった又は識別を誤った顔画像データから選択されてよい。この場合、後述するステップS202と同様に、取得した顔画像データに対して第1識別器5を利用して顔の複数の特徴を識別する処理を実行する。すなわち、学習結果データ229により第1識別器5の設定を行い、得られた顔画像データを第1識別器5に入力して、第1識別器5の演算処理を行う。これにより、顔画像データから複数の特徴を識別した結果に対応する出力値を第1識別器5から取得することができる。この出力値に基づいて、複数の特徴のうちの少なくともいずれかが第1識別器5では識別不能であるか又は識別を誤っているか否かを判定することができる。そして、第2顔画像データ123は、複数の特徴のうちの少なくともいずれかが第1識別器5では識別不能である又は識別を誤ると判定された顔画像データから適宜選択されてよい。
カメラを利用して顔画像データを取得する処理、顔画像データに含まれる複数の特徴を第1識別器5により識別する処理、及び第2顔画像データ123を選択する処理は全て識別器生成装置1により行われてもよい。この場合、記憶部12は、学習結果データ229を記憶してもよく、制御部11は、オペレータによる入力装置14の操作に応じて各処理を実行することで、第2顔画像データ123を取得してもよい。また、制御部11は、生成プログラム81の処理により、第2顔画像データ123を自動的に取得してもよい。
あるいは、カメラを利用して顔画像データを取得する処理、顔画像データに含まれる複数の特徴を第1識別器5により識別する処理、及び第2顔画像データ123を選択する処理の少なくともいずれかは、例えば、識別装置2等の識別器生成装置1以外の他の情報処理装置により行われてもよい。この場合、制御部11は、ネットワーク、記憶媒体91等を介して、他の情報処理装置から第2顔画像データ123を取得してもよい。
また、ステップS103で取得する第2顔画像データ123の件数は、特に限定されなくてもよく、例えば、第1識別器5を利用する環境で得られる顔画像データに写る各特徴の傾向が表れる程度に適宜決定されてもよい。なお、本ステップS104で算出する第2特徴量は、上記ステップS102で算出した第1特徴量と同種のものである。制御部11は、上記ステップS102と同様の処理により、第2顔画像データ123から各特徴に関する第2特徴量を算出することができる。
これにより、制御部11は、第2顔画像データ123から算出された各特徴に関する第2特徴量を取得する。ステップS103において、複数件の第2顔画像データ123を取得している場合には、制御部11は、複数件の第2顔画像データ123それぞれから第2特徴量を算出することで、各特徴に関する第2特徴量の分布を取得することができる。第2特徴量を取得すると、制御部11は、次のステップS105に処理を進める。
(ステップS105)
ステップS105では、制御部11は、差分抽出部113として動作し、各特徴について第1特徴量と第2特徴量とを比較する。そして、制御部11は、当該比較の結果に基づいて、識別する対象となる顔の複数の特徴のうち、第1特徴量と第2特徴量との差分が所定条件を満たす大きさを有する特徴を差分特徴として抽出する。差分特徴を抽出すると、制御部11は、次のステップS106に処理を進める。
なお、第1特徴量と第2特徴量とを比較する方法は、実施の形態に応じて適宜決定されてもよい。上記ステップS102及びS104により、第1特徴量の分布と第2特徴量の分布とが取得されている場合、制御部11は、第1特徴量の分布と第2特徴量の分布との差分を第1特徴量と第2特徴量との差分として算出してもよい。分布の差分は、平均値、中央値、分散、ユークリッド距離等の指標を用いて算出されてよい。例えば、制御部11は、各特徴について、取得した第1特徴量の分布及び第2特徴量の分布それぞれの平均値を算出し、算出した各分布の平均値の差分を第1特徴量と第2特徴量との差分として算出してよい。その他についても同様である。
また、所定条件を満たす大きさを有する特徴を選択する方法は、実施の形態に応じて適宜設定されてよい。例えば、所定条件は、差分が最も大きい特徴から順に1又は複数個の特徴を選択するように規定されていてもよい。この場合、制御部11は、識別する対象となる顔の複数の特徴のうち、所定条件を満たす大きさを有する特徴として、第1特徴量と第2特徴量との差分の最も大きいものから順に1又は複数個の特徴を選択し、選択した1又は複数個の特徴を差分特徴として抽出してもよい。また、例えば、所定条件は、差分が閾値を超える特徴を選択するように規定されていてもよい。この場合、制御部11は、識別する対象となる顔の各特徴について、第1特徴量と第2特徴量との差分が閾値を超えるか否かを判定し、第1特徴量と第2特徴量との差分が閾値を超えると判定された特徴を差分特徴として抽出してもよい。この場合、閾値は、特徴毎に異なる値であってもよいし、同じ値であってもよい。
本ステップS105の処理により、環境の変動に起因して大きく相違し得る顔の特徴であって、第1識別器5では正確に識別できない可能性の高い顔の特徴を差分特徴として抽出することができる。例えば、各国民の平均的な目の属性が大きく異なる第1国及び第2国が存在し、第1国の対象者の顔の特徴を識別するように構築した第1識別器5を第2国で利用する場面を想定する。この場合、第1識別器5では、第2国で得られる顔画像データから目に関する特徴を適切に識別できない可能性があり、本ステップS105では、目に関する特徴が、差分特徴として抽出され得る。
(ステップS106)
ステップS106では、制御部11は、学習データ取得部114として動作し、第1識別器5を利用する環境において、差分特徴及び差分関連特徴の少なくとも一方の写る第3顔画像データ125を取得する。
本実施形態では、まず、制御部11は、新たに構築する第2識別器6により識別する対象となる特徴を選択する。第2識別器6により識別する対象となる特徴は、ステップS105により抽出された差分特徴、及びこの差分特徴に関連する差分関連特徴から選択される。差分関連特徴は、差分特徴に関連する特徴であれば特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、ステップS105で抽出された差分特徴が、目の大きさ、目の形状等の目に関するものである場合、差分関連特徴は、両目の間隔、目と眉毛との間隔、眉毛の形状、眉毛の大きさ等の、差分特徴とは完全に一致しないが、目に関する特徴に関係性を有し得る特徴であってよい。この差分関連特徴は、第1識別器5により識別する対象となる複数の特徴のうちのいずれかの特徴であってもよいし、第1識別器5により識別する対象となる複数の特徴以外の特徴であってもよい。
差分関連特徴が、第1識別器5により識別する対象となる複数の特徴以外の特徴である場合、識別器生成装置1は、顔の各特徴に対して差分関連特徴の候補を示す情報を記憶部12に予め保持していてもよい。制御部11は、この情報を参照することで、差分関連特徴を特定してもよい。また、差分関連特徴に関する情報を記憶部12に予め保持していない場合、制御部11は、入力装置14を介して、オペレータによる差分関連特徴の指定又は設定を受け付けてもよい。差分関連特徴を指定する方法は、実施の形態に応じて適宜決定されてよい。
また、第2識別器6により識別する対象となる特徴は適宜選択されてよい。制御部11は、オペレータによる入力装置14の操作に応じて、第2識別器6により識別する対象となる特徴を選択してもよい。あるいは、制御部11は、所定の基準に従って、第2識別器6により識別する対象となる特徴を選択してもよい。なお、顔の特徴を識別する精度をより高める観点から、第2識別器6により識別する対象となる特徴として、差分特徴又は差分特徴及び差分関連特徴を選択するのが好ましい。
次に、制御部11は、第2識別器6により識別する対象に選択された差分特徴及び差分関連特徴の少なくとも一方の写る第3顔画像データ125を取得する。本実施形態では、制御部11は、第3顔画像データ125及び正解データ1251の対で構成された学習用データセット127を取得する。
学習用データセット127は、適宜生成されてよい。例えば、カメラを用意し、第1識別器5を利用する環境において、用意したカメラにより1又は複数の対象者の顔の差分特徴及び差分関連特徴の少なくとも一方を撮影することで、差分特徴及び差分関連特徴の少なくとも一方の写る第3顔画像データ125を取得する。そして、得られた第3顔画像データ125に対して、当該第3顔画像データ125に写る差分特徴及び差分関連特徴の少なくとも一方の識別に対する正解を示す正解データ1251を組み合わせる。正解データ1251の内容は、後述する特徴を識別する形態に応じて適宜決定されてよい。これにより、学習用データセット127を生成することができる。
この学習用データセット127の生成は、識別器生成装置1により行われてもよい。この場合、制御部11は、オペレータによる入力装置14の操作に応じて、学習用データセット127を生成してもよい。また、制御部11は、生成プログラム81の処理により、学習用データセット127を自動的に生成してもよい。この生成処理を実行することで、本ステップS106では、制御部11は、学習用データセット127を取得することができる。
あるいは、学習用データセット127の生成は、識別器生成装置1以外の他の情報処理装置により行われてもよい。他の情報処理装置では、学習用データセット127は、オペレータにより手動で生成されてもよいし、プログラムの処理により自動的に生成されてもよい。この場合、本ステップS106では、制御部11は、ネットワーク、記憶媒体91等を介して、他の情報処理装置により生成された学習用データセット127を取得してもよい。
なお、取得される学習用データセット127に含まれる第3顔画像データ125には、第2識別器6により識別する対象として選択された顔の差分特徴及び差分関連特徴の少なくとも一方が写っていれば、差分特徴及び差分関連特徴以外の特徴が写っていてもよい。例えば、目に関する特徴が差分特徴として抽出された場合、第3顔画像データ125は、目の部分のみを抽出した部分顔画像データであってもよいし、目の部分以外の部分を含む顔画像データであってもよい。
また、第3顔画像データ125を取得する方法は、上記のようにカメラを利用して新たに取得する例に限定されなくてもよい。第3顔画像データ125は、第2顔画像データ123から取得されてもよい。例えば、第3顔画像データ125は、第2顔画像データ123のコピー、又は第2顔画像データ123から差分特徴及び差分関連特徴の少なくとも一方の写る部分を抽出することで得られた部分顔画像データにより構成されてよい。この場合、識別器生成装置1又は他の情報処理装置は、第2顔画像データ123をそのまま第3顔画像データ125として取得してもよいし、第2顔画像データ123から差分特徴及び差分関連特徴の少なくとも一方の写る部分を抽出することで、第3顔画像データ125を取得してもよい。
本ステップS106で取得する学習用データセット127の件数は、実施の形態に応じて適宜決定されてよく、例えば、第2識別器6の機械学習を実施可能な程度に適宜決定されてよい。これにより、第3顔画像データ125及び正解データ1251の対で構成された学習用データセット127を取得すると、制御部11は、次のステップS107に処理を進める。
(ステップS107)
ステップS107では、制御部11は、学習処理部115として動作し、ステップS106で取得した第3顔画像データ125を利用した機械学習により、第3顔画像データ125から差分特徴及び差分関連特徴の少なくとも一方を識別する第2識別器6を構築する。本実施形態では、制御部11は、学習用データセット127を用いて、第3顔画像データ125を入力層61に入力すると、正解データ1251に対応する出力値を出力層63から出力するようにニューラルネットワークの機械学習を実施する。
具体的には、まず、制御部11は、学習処理を行う対象となるニューラルネットワーク(学習前の第2識別器6)を用意する。用意するニューラルネットワークの構成、各ニューロン間の結合の重みの初期値、及び各ニューロンの閾値の初期値は、テンプレートにより与えられてもよいし、オペレータの入力により与えられてもよい。
次に、制御部11は、ステップS107で取得した学習用データセット127に含まれる第3顔画像データ125を入力データとして用い、正解データ1251を教師データとして用いて、ニューラルネットワークの学習処理を実行する。このニューラルネットワークの学習処理には、確率的勾配降下法等が用いられてよい。
例えば、制御部11は、第3顔画像データ125を入力層61に入力し、入力側から順に各層61〜63に含まれる各ニューロンの発火判定を行う。これにより、制御部11は、出力層63から出力値を得る。次に、制御部11は、出力層63から得た出力値と正解データ1251により示される識別の正解に対応する値との誤差を算出する。続いて、制御部11は、誤差逆伝搬(Back propagation)法により、算出した出力値の誤差を用いて、各ニューロン間の結合の重み及び各ニューロンの閾値それぞれの誤差を算出する。そして、制御部11は、算出した各誤差に基づいて、各ニューロン間の結合の重み及び各ニューロンの閾値それぞれの値の更新を行う。
制御部11は、各件の学習用データセット127について、ニューラルネットワークから出力される出力値が正解データ1251により示される識別の正解に対応する値と一致するまでこの一連の処理を繰り返す。これにより、制御部11は、第3顔画像データ125を入力すると、正解データ1251により示される差分特徴及び差分関連特徴の少なくとも一方の識別に対する正解に対応する出力値を出力する学習済みの第2識別器6を構築することができる。例えば、目に関する特徴が差分特徴として抽出された場合には、顔画像データに対して目に関する特徴を識別する能力を獲得した第2識別器6を構築することができる。第2識別器6の学習処理が完了すると、制御部11は、次のステップS108に処理を進める。
なお、上記ステップS105において、差分特徴が、閾値との比較により抽出された場合を想定する。この場合に、上記ステップS106において、制御部11は、第1特徴量と第2特徴量との差分が、差分特徴の抽出に利用した閾値(「第1閾値」とも称する)よりも大きい第2閾値よりも大きいか否かを判定してもよい。そして、第1特徴量と第2特徴量との差分が第2閾値よりも大きいと判定したときには、制御部11は、差分特徴及び差分関連特徴を、第2識別器6により識別する対象となる特徴として選択してもよい。一方、そうではないと判定したときには、制御部11は、差分特徴又は差分関連特徴を、第2識別器6により識別する対象となる特徴として選択してもよい。これにより、本ステップS107では、第1特徴量と第2特徴量との差分が非常に大きい、すなわち、環境の変動が非常に大きいと判定される場合に、制御部11は、その変動の影響を受けている差分特徴だけではなく、差分関連特徴を識別する第2識別器6を構築することができる。この第2識別器6によれば、差分関連特徴の識別結果によって、差分特徴の識別結果を補強することができるため、顔画像から複数の特徴を識別する性能を高めることができる。
(ステップS108)
ステップS108では、制御部11は、学習処理部115として動作し、機械学習により構築された第2識別器6の構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を差分学習結果データ129として記憶部12に格納する。これにより、制御部11は、本動作例に係る処理を終了する。
制御部11は、上記ステップS108の処理が完了した後に、作成した差分学習結果データ129を識別装置2に転送してもよい。また、制御部11は、上記ステップS101〜S108の処理を定期的に実行することで、差分学習結果データ129を定期的に更新してもよい。そして、制御部11は、作成した差分学習結果データ129を学習処理の実行毎に識別装置2に転送することで、識別装置2の保持する差分学習結果データ129を定期的に更新してもよい。また、例えば、制御部11は、作成した差分学習結果データ129をNAS等のデータサーバに保管してもよい。この場合、識別装置2は、このデータサーバから差分学習結果データ129を取得してもよい。また、識別器生成装置1により作製された差分学習結果データ129は、識別装置2に予め組み込まれていてもよい。
[識別装置]
次に、図7を用いて、識別装置2の動作例について説明する。図7は、識別装置2の処理手順の一例を例示するフローチャートである。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
(ステップS201)
ステップS201では、制御部21は、対象データ取得部211として動作し、複数の特徴を識別する対象となる対象顔画像データ221を取得する。対象顔画像データ221は、動画像データであってもよいし、静止画像データであってもよい。
本実施形態では、識別装置2には、外部インタフェース24を介してカメラ31に接続されている。そのため、制御部21は、対象者Xの顔の写る対象顔画像データ221をカメラ31により取得する。対象顔画像データ221を取得すると、制御部21は、次のステップS202に処理を進める。
ただし、対象顔画像データ221を取得する経路は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、識別装置2とは異なる他の情報処理装置がカメラ31に接続されていてもよい。この場合、識別装置2は、他の情報処理装置からの対象顔画像データ221の送信を受け付けることで、当該対象顔画像データ221を取得してもよい。
(ステップS202)
ステップS202では、制御部21は、第1識別部212として動作し、取得した対象顔画像データ221を第1識別器5に入力し、第1識別器5の演算処理を実行する。これにより、制御部21は、対象顔画像データ221から顔の複数の特徴を識別した結果に対応する出力を第1識別器5より取得する。
具体的には、制御部21は、学習結果データ229を参照して、学習済みの第1識別器5の設定を行う。次に、制御部21は、ステップS201で取得した対象顔画像データ221を第1識別器5の入力層51に入力する。そして、制御部21は、入力側から順に、各層51〜53に含まれる各ニューロンの発火判定を行う。これにより、制御部21は、対象顔画像データ221から顔の複数の特徴を識別した結果に対応する出力値を出力層53から取得する。第1識別器5から出力値を取得すると、制御部21は、次のステップS203に処理を進める。
(ステップS203)
ステップS203では、制御部21は、第2識別部213として動作し、取得した対象顔画像データ221を第2識別器6に入力し、第2識別器6の演算処理を実行する。これにより、制御部21は、対象顔画像データ221から差分特徴及び差分関連特徴の少なくとも一方を識別した結果に対応する出力を第2識別器6より取得する。
具体的には、制御部21は、差分学習結果データ129を参照して、学習済みの第2識別器6の設定を行う。次に、制御部21は、ステップS201で取得した対象顔画像データ221を第2識別器6の入力層61に入力する。
ここで、上記ステップS106及びS107では、第2識別器6の機械学習には、第2顔画像データ123又はカメラにより得た顔画像データがそのまま第3顔画像データ125として利用されてもよい。この機械学習により構築された第2識別器6を用いる場合には、制御部21は、対象顔画像データ221をそのまま第2識別器6の入力層61に入力してもよい。
一方、上記ステップS106及びS107では、第2識別器6の機械学習には、第2顔画像データ123から抽出された部分顔画像データ又はカメラにより得た顔画像データから抽出された部分顔画像データが第3顔画像データ125として利用されてもよい。この機械学習により構築された第2識別器6を用いる場合には、制御部21は、パターンマッチング等の公知の画像処理により、識別する対象となる差分特徴及び差分関連特徴の少なくとも一方の写る部分顔画像データを対象顔画像データ221から抽出し、抽出した部分顔画像データを第2識別器6の入力層61に入力してもよい。
そして、制御部21は、入力側から順に、各層61〜63に含まれる各ニューロンの発火判定を行う。これにより、制御部21は、対象顔画像データ221から差分特徴及び差分関連特徴の少なくとも一方を識別した結果に対応する出力値を出力層63から取得する。第2識別器6から出力値を取得すると、制御部21は、次のステップS204に処理を進める。
(ステップS204)
ステップS204では、制御部21は、出力部214として動作し、第1識別器5の出力値及び第2識別器6の出力値に基づいて、対象顔画像データ221から複数の特徴を識別した結果を出力する。
ここで、特徴を識別することは、特徴の種別又は属性値を識別するためのあらゆる処理を含んでもよく、例えば、当該特徴の属する1又は複数のクラスを判定すること、所定のクラスに当該特徴が属するか否かを判定すること、所定のクラスに当該特徴が属する確率又は信頼度を導出すること、当該特徴の属性値を導出すること等であってよい。各識別器(5、6)の出力値の形式は、当該特徴を識別する形態に応じて適宜決定されてよい。
具体例として、各識別器(5、6)の出力値は、例えば、目の開度、口の開度、目の角度、口角の角度等の個々のパーツの属性値を示していてもよい。この場合、制御部21は、各識別器(5、6)の演算処理により、各特徴の属性値を導出することができる。つまり、制御部21は、各識別器(5、6)の出力値を得ることにより、顔の各特徴を識別することができる。
また、各識別器(5、6)の出力値は、例えば、識別する対象者Xの顔の表情が特定の種別(例えば、喜び)であることの確率又は信頼度を示してもよい。この場合、制御部21は、各識別器(5、6)の演算処理により、所定のクラスに特徴が属する確率又は信頼度を導出することができる。また、制御部21は、各識別器(5、6)の出力値と閾値とを比較することで、所定のクラスに当該特徴が属するか否かを判定することができる。
また、各識別器(5、6)の出力値は、例えば、表情の種別を示してもよい。この場合、各識別器(5、6)から得られる出力値と表情の種別とを対応付けたテーブル形式等の参照情報(不図示)が記憶部22に保持されていてもよい。制御部21は、この参照情報を参照することで、各識別器(5、6)から得られた出力値に対応する表情の種別を特定することができる、換言すると、特徴の属するクラスを判定することができる。
また、各識別器(5、6)の出力値は、例えば、対象者Xの顔が特定の覚醒状態であることの確率又は信頼度を示してもよい。覚醒状態は、対象者の顔に表れる状態であり、例えば、眠気、集中、体調不良等に関する状態を含んでよい。覚醒状態に関するクラスは、属性(例えば、眠気の有無等)に応じて与えられていてもよいし、所定の定義に則した覚醒状態の程度(レベル)に応じて与えられていてもよい。この場合、制御部21は、各識別器(5、6)の演算処理により、所定のクラスに特徴が属する確率又は信頼度を導出することができる。あるいは、制御部21は、各識別器(5、6)の出力値と閾値とを比較することで、所定のクラスに当該特徴が属する、すなわち、対象者Xの顔が特定の覚醒状態にあるか否かを判定することができる。
また、各識別器(5、6)の出力値は、例えば、覚醒状態のクラスを示してもよい。この場合、各識別器(5、6)から得られる出力値と覚醒状態のクラスとを対応付けたテーブル形式等の参照情報(不図示)が記憶部22に保持されていてもよい。制御部21は、この参照情報を参照することで、各識別器(5、6)から得られた出力値に対応する覚醒状態のクラスを判定することができる。
更に、制御部21は、各識別器(5、6)の出力値に基づいて顔の各特徴を識別した結果を利用して、顔のその他の特徴を更に判定してもよい。例えば、制御部21は、各識別器(5、6)の出力値に基づいて、対象者Xの顔の各パーツの状態を識別してもよい。そして、制御部21は、その対象者Xの顔の各パーツの状態を識別した結果に基づいて、対象者Xの顔の表情を判定してもよい。この場合、顔の各パーツの状態と顔の表情とを対応付けたテーブル形式等の参照情報(不図示)が記憶部22に保持されていてもよい。制御部21は、この参照情報を参照することで、対象者Xの顔の各パーツの状態を識別した結果に基づいて、対象者Xの顔の表情を判定することができる。
複数の特徴を識別した結果を出力する形式は、実施の形態に応じて適宜決定されてよい。例えば、制御部21は、第1識別器5の出力値に基づいて、顔の複数の特徴のうちの差分特徴以外の特徴を識別した結果を出力し、第2識別器6の出力値に基づいて、差分特徴及び差分関連特徴の少なくとも一方を識別した結果を出力してもよい。具体例として、上記識別器生成の処理手順において、目に関する特徴が差分特徴として抽出された場合には、制御部21は、第1識別器5の出力値に基づいて、目に関する特徴以外の特徴を識別し、第2識別器6の出力値に基づいて、目に関する特徴及び目に関する特徴に関連する特徴の少なくとも一方を識別してもよい。
ただし、識別結果の出力形式は、このような例に限定されなくてもよい。例えば、制御部21は、各識別器(5、6)の出力値をそのまま各特徴の識別結果として出力してもよい。また、例えば、制御部21は、第1識別器5による差分特徴の識別結果及び第2識別器6による差分特徴の識別結果の両方を出力してもよい。
識別した結果の出力先は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。制御部21は、例えば、各特徴の識別結果を出力装置26に出力してもよい。また、制御部21は、例えば、ユーザ端末等の他の情報処理装置に各特徴の識別結果を出力してもよい。これにより、識別結果の出力が完了すると、制御部21は、本動作例に係る処理を終了する。
[特徴]
以上のように、本実施形態では、ステップS101〜S105の処理により、第1識別器5の構築に利用した第1顔画像データ121を収集した環境と第1識別器5を利用する環境とで大きく相違する顔の特徴を差分特徴として抽出することができる。そして、ステップS106〜S108の処理により、その差分特徴及び差分関連特徴の少なくとも一方を識別するための第2識別器6を生成することができる。識別装置2の識別処理において、この第2識別器6を利用することで、差分特徴に対する識別性能の低下を抑制することができる。また、第2識別器6を生成するコストは、識別する対象を顔の差分特徴及び差分関連特徴の少なくとも一方に絞っている分だけ、全ての顔の特徴を識別する別個の識別器を生成する場合に比べて低い。すなわち、第1識別器5を破棄して新たな識別器を生成する訳ではなく、差分特徴以外の顔の特徴の識別には第1識別器5をそのまま利用することができる分だけ、環境の変動に対応するためのコストを抑えることができる。特に、ステップS107における第2識別器6の機械学習の処理時間を短くすることができる。よって、本実施形態によれば、顔画像から複数の特徴を識別する性能が環境の変動に起因して低下してしまうのを低コストな方法で抑制することができる。
また、本実施形態では、上記ステップS103において、識別器生成装置1は、複数の特徴のうちの少なくともいずれかが第1識別器5では識別不能であった又は識別を誤った顔画像データから第2顔画像データ123を選択的に取得してもよい。これにより、環境の変動に起因して大きく相違し得る顔の差分特徴を第2顔画像データ123から適切に抽出することができる。そのため、本実施形態によれば、環境の変動に起因する識別性能の低下を適切に抑制することができる。
また、本実施形態では、上記ステップS106において、識別器生成装置1は、第2顔画像データ123のコピー、又は第2顔画像データ123から抽出された部分顔画像データを第3顔画像データ125として取得してもよい。これにより、第2識別器6の機械学習に利用する第3顔画像データ125を収集するコストを抑えることができる。したがって、本実施形態によれば、更に低コストな方法で、顔画像から複数の特徴を識別する性能が環境の変動に起因して低下してしまうのを抑制することができる。
§4 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
<4.1>
上記実施形態に係る識別器生成装置1の処理手順では、ステップS101及びS102において、制御部11は、第1顔画像データ121を取得し、取得した第1顔画像データ121から各特徴に関する第1特徴量を算出している。これにより、制御部11は、第1顔画像データ121から算出された各特徴に関する第1特徴量を取得している。しかしながら、第1特徴量を取得する方法は、このような例に限定されなくてもよい。例えば、第1特徴量の算出は、識別器生成装置1とは異なる他の情報処理装置により行われてもよい。この場合、制御部11は、上記ステップS101及びS102を実行する代わりに、ネットワーク、記憶媒体91等を介して、他の情報処理装置により算出された第1特徴量を取得してもよい。
同様に、第2特徴量の算出も、識別器生成装置1とは異なる他の情報処理装置により行われてもよい。この場合、制御部11は、上記ステップS103及びS104を実行する代わりに、ネットワーク、記憶媒体91等を介して、他の情報処理装置により算出された第2特徴量を取得してもよい。
また、第1特徴量を取得する処理(ステップS101及びS102)と第2特徴量を取得する処理(ステップS103及びS103)とを実行するタイミングは、上記処理手順の例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、制御部11は、第2特徴量を取得する処理を実行した後に、第1特徴量を取得する処理を実行してもよい。
また、上記実施形態に係る識別装置2の処理手順では、制御部21は、第1識別器5による識別結果を得た(ステップS202)後に、第2識別器6による識別結果を得ている(ステップS203)。しかしながら、各識別器(5、6)を利用するタイミングは、このような例に限定されなくてもよく、制御部21は、ステップS203の処理を実行して、第2識別器6による識別結果を得た後に、ステップS202の処理を実行して、第1識別器5による識別結果を得てもよい。
<4.2>
上記実施形態では、各識別器(5、6)は、多層構造の全結合ニューラルネットワークにより構成されている。しかしながら、各識別器(5、6)の構成は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、各識別器(5、6)は、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク等により構成されてよい。
<4.3>
上記実施形態では、各識別器(5、6)の学習モデルとして、ニューラルネットワークを採用している。しかしながら、各識別器(5、6)の学習モデルは、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。各識別器(5、6)の学習モデルとして、例えば、サポートベクタマシン、自己組織化マップ、強化学習により機械学習を行う学習モデル等が採用されてよい。
<4.4>
上記実施形態では、差分学習結果データ129及び学習結果データ229はそれぞれ、ニューラルネットワークの構成を示す情報を含んでいる。しかしながら、差分学習結果データ129及び学習結果データ229の構成は、このような例に限定されなくてもよく、学習済みの各識別器(5、6)の設定に利用可能であれば、実施の形態に応じて適宜決定されてよい。例えば、利用するニューラルネットワークの構成が各装置で共通化されている場合には、差分学習結果データ129及び学習結果データ229はそれぞれ、ニューラルネットワークの構成を示す情報を含んでいなくてもよい。
<4.5>
上記実施形態では、顔画像データから顔の特徴を識別する場面に本発明を適用した例を示している。しかしながら、本発明の適用可能な範囲は、このような顔画像データから顔の特徴を識別する場面に限られなくてもよい。本発明は、画像データから何らかの特徴を識別する場面に広く適用可能である。
図8及び図9は、本変形例に係る画像識別システムを構成する識別器生成装置1A及び識別装置2Aのソフトウェア構成の一例を模式的に例示する。処理対象となるデータが顔画像データから画像データに置き換わる点を除き、識別器生成装置1A及び識別装置2Aのハードウェア構成及びソフトウェア構成は、上記実施形態に係る識別器生成装置1及び識別装置2のハードウェア構成及びソフトウェア構成と同じであってよい。
本変形例において、画像データから識別される特徴は、実施の形態に応じて適宜決定されてよい。例えば、画像データに写る物体の認識又は製品の良否判定に利用する場合、画像データから識別される特徴は、対象物の形状、材質、表面デザイン等であってよい。各特徴に関する特徴量(第1特徴量及び第2特徴量)は、対象物の角部の曲率、凸部/凹部/段差部の位置/数/サイズ、輝度、コントラスト、輝度又はコントラストの変化パターン等であってよい。また、例えば、文字解析に利用する場合、画像データから識別される特徴は、文字種、書体、字体、書式等であってもよい。各特徴に関する特徴量(第1特徴量及び第2特徴量)は、文字の幅、文字サイズ等であってもよい。
本変形例に係る第1識別器5Aは、第1画像データ121Aを利用した機械学習により、画像データから複数の上記特徴を識別する能力を習得するように構築される。また、上記特徴を識別する能力を習得済みの第1識別器5Aの構成等を示す情報は、学習結果データ229Aとして保持される。識別器生成装置1A及び識別装置2Aは、上記実施形態と同様の処理手順で動作することができる。また、識別器生成装置1A及び識別装置2Aによる各ステップの処理は、上記実施形態と同様に実行されてよい。
すなわち、識別器生成装置1Aの制御部は、ステップS101では、第1特徴量取得部111として動作し、第1識別器5Aを構築する機械学習に利用された第1画像データ121Aを取得する。ステップS102では、制御部は、取得した第1画像データ121Aから各特徴に関する第1特徴量を算出する。これにより、制御部は、第1識別器5Aを構築する機械学習に利用された第1画像データ121Aから算出された各特徴に関する第1特徴量を取得する。
ステップS103では、制御部は、第2特徴量取得部112として動作し、第1識別器5Aを利用する環境において、第1画像データ121Aと同種の第2画像データ123Aであって、複数の特徴が写る第2画像データ123Aを取得する。第2画像データ123Aは、複数の特徴が写る画像データであって、複数の特徴のうちの少なくともいずれかが第1識別器5Aでは識別不能であった又は識別を誤った画像データから選択されてもよい。ステップS104では、制御部は、取得した第2画像データ123Aから各特徴に関する第2特徴量を算出する。これにより、制御部は、第2画像データ123Aから算出される各特徴に関する第2特徴量を取得する。
ステップS105では、制御部は、差分抽出部113として動作し、各特徴について第1特徴量と第2特徴量とを比較し、比較の結果に基づいて、複数の特徴のうち、第1特徴量と第2特徴量との差分が所定条件を満たす大きさを有する特徴を差分特徴として抽出する。所定条件を満たす大きさを有する特徴を選択する方法は、上記実施形態と同様であってよい。例えば、所定条件は、差分が最も大きい特徴から順に1又は複数個の特徴を選択するように規定されていてもよい。この場合、制御部は、識別する対象となる被写体の複数の特徴のうち、所定条件を満たす大きさを有する特徴として、第1特徴量と第2特徴量との差分の最も大きいものから順に1又は複数個の特徴を選択し、選択した1又は複数個の特徴を差分特徴として抽出してもよい。また、例えば、制御部は、識別する対象となる被写体の各特徴について、第1特徴量と第2特徴量との差分が閾値を超えるか否かを判定し、第1特徴量と第2特徴量との差分が閾値を超えると判定された特徴を差分特徴として抽出してもよい。具体例として、物体認識に利用する場合に、バージョンの違いにより、対象物体の表面デザインが変わったとき、本ステップS105の処理により、表面デザインに関する特徴が差分特徴として抽出され得る。製品の良否判定で利用する場合においても同様である。
ステップS106では、制御部は、学習データ取得部114として動作し、第1識別器5Aを利用する環境において、抽出した差分特徴及び差分関連特徴の少なくとも一方の写る第3画像データ125Aを取得する。具体的には、制御部は、第3画像データ125A及び正解データ1251Aの対で構成される学習用データセット127Aを取得する。第3画像データ125Aは、抽出された差分特徴及び差分関連特徴の少なくとも一方に応じて適宜取得されてよい。第3画像データ125Aは、第2画像データ123Aのコピー、又は第2画像データ123Aから差分特徴及び差分関連特徴の少なくとも一方の写る部分を抽出することで得られた部分画像データにより構成されてよい。また、正解データ1251Aは、第3画像データ125Aに写る差分特徴及び差分関連特徴の少なくとも一方の識別に対する正解を示すように適宜作成されてよい。なお、差分関連特徴は適宜選択されてよい。ステップS105により、表面デザインに関する特徴が差分特徴として抽出されている場合、差分関連特徴は、例えば、角部等の部分形状に関する特徴であってよい。
ステップS107では、制御部は、学習処理部115として動作し、第3画像データ125Aを利用した機械学習により、第3画像データ125Aから差分特徴及び差分関連特徴の少なくとも一方を識別する第2識別器6Aを構築する。具体的には、制御部は、学習用データセット127Aを用いて、第3画像データ125Aを入力すると、正解データ1251Aに対応する出力値を出力するように第2識別器6A(ニューラルネットワーク)の機械学習を実施する。ステップS108では、制御部は、機械学習により構築された第2識別器6Aの構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を差分学習結果データ129Aとして記憶部に格納する。
一方、識別装置2Aの制御部は、ステップS201では、対象データ取得部211として動作し、複数の特徴を識別する対象となる対象画像データ221Aを取得する。対象画像データ221Aは、識別する特徴に応じて適宜取得されてよい。
ステップS202では、制御部は、第1識別部212として動作し、学習結果データ229Aを参照して、学習済みの第1識別器5Aの設定を行う。次に、制御部は、取得した対象画像データ221Aを第1識別器5Aに入力し、第1識別器5Aの演算処理を実行する。これにより、制御部は、対象画像データ221Aから複数の特徴を識別した結果に対応する出力を第1識別器5Aより取得する。
ステップS203では、制御部は、第2識別部213として動作し、差分学習結果データ129Aを参照して、学習済みの第2識別器6Aの設定を行う。次に、制御部は、取得した対象画像データ221Aを第2識別器6Aに入力し、第2識別器6Aの演算処理を実行する。これにより、制御部は、対象画像データ221Aから差分特徴及び差分関連特徴の少なくとも一方を識別した結果に対応する出力を第2識別器6Aから取得する。
ステップS204では、制御部は、出力部214として動作し、第1識別器5Aの出力及び第2識別器6Aの出力に基づき、対象画像データ221Aから複数の特徴を識別した結果を出力する。例えば、制御部は、第1識別器5Aの出力に基づいて、複数の特徴のうちの差分特徴以外の特徴を識別した結果を出力し、第2識別器6Aの出力に基づいて、差分特徴及び差分関連特徴の少なくとも一方を識別した結果を出力してもよい。
本変形例によれば、例えば、物体認識、文字解析等の場面において、画像から特徴を識別する性能が環境の変動に起因して低下してしまうのを低コストな方法で抑制することができる。例えば、物体認識に利用する場合、対象物体のメーカ、モデル、又はバージョンの違いにより、対象物体の認識精度が低下する可能性がある。これに対して、本変形例によれば、その違いによる変動の大きい特徴を差分特徴として抽出し、この差分特徴及び差分関連特徴の少なくとも一方を識別する第2識別器6Aを構築することができる。これにより、メーカ、モデル、又はバージョンの違いがあっても、比較的に精度よく対象物体を認識することができる。製品の良否判定で利用する場合においても同様に、比較的に精度よく製品の良否判定が可能である。
<4.6>
上記実施形態及び変形例では、画像データから何らかの特徴を識別する場面に本発明を提供した例を示している。しかしながら、本発明の適用可能な範囲は、このような画像データから特徴を識別する場面に限られなくてもよい。本発明は、画像データ以外のデータ又は複数種類のデータから何らかの特徴を識別する場面に広く適用可能である。
図10及び図11は、本変形例に係る識別システムを構成する識別器生成装置1B及び識別装置2Bのソフトウェア構成の一例を模式的に例示する。処理対象となるデータが画像データから他種のデータに置き換わる点を除き、識別器生成装置1B及び識別装置2Bのハードウェア構成及びソフトウェア構成は、上記実施形態に係る識別器生成装置1及び識別装置2のハードウェア構成及びソフトウェア構成と同じであってよい。
本変形例において、処理の対象となるデータの種類は、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。処理の対象となるデータは、識別器による解析の対象となり得るあらゆる種類のデータを含んでもよく、例えば、画像データの他、音データ(音声データ)、数値データ、テキストデータ等であってよい。更に、処理の対象となるデータは、複数種類のデータの組み合わせで構成されてもよい。
また、データから識別される特徴は、実施の形態に応じて適宜決定されてよい。例えば、音声解析に利用する場合、処理の対象となるデータは音データであり、音データから識別される特徴は、対応する言語の文字列、トーン、イントネーション等であってもよい。また、各特徴に関する特徴量(第1特徴量及び第2特徴量)は、ピーク値、ピークとピークとの幅等であってもよい。複数の特徴は、音声データから識別される文字列等の関連性を有する一連の特徴であってもよく、この場合、差分特徴は、その一連の特徴のうちの一部(例えば、語尾の文字列)であってよい。
本変形例に係る第1識別器5Bは、第1データ121Bを利用した機械学習により、対象のデータから複数の上記特徴を識別する能力を習得するように構築される。また、上記特徴を識別する能力を習得済みの第1識別器5Bの構成等を示す情報は、学習結果データ229Bとして保持される。識別器生成装置1B及び識別装置2Bは、上記実施形態と同様の処理手順で動作することができる。また、識別器生成装置1B及び識別装置2Bによる各ステップの処理は、上記実施形態と同様に実行されてよい。
すなわち、識別器生成装置1Bの制御部は、ステップS101では、第1特徴量取得部111として動作し、第1識別器5Bを構築する機械学習に利用された第1データ121Bを取得する。第1識別器5Bが音声解析に利用される場合には、制御部は、音声解析の機械学習に利用した音データを第1データ121Bとして取得する。ステップS102では、制御部は、取得した第1データ121Bから各特徴に関する第1特徴量を算出する。第1特徴量の算出方法は、第1データ121Bの種類及び各特徴に応じて適宜決定されてよい。これにより、制御部は、第1識別器5Bを構築する機械学習に利用された第1データ121Bから算出された各特徴に関する第1特徴量を取得する。
ステップS103では、制御部は、第2特徴量取得部112として動作し、第1識別器5Bを利用する環境において、第1データ121Bと同種の第2データ123Bであって、複数の特徴を含む第2データ123Bを取得する。第2データ123Bは、複数の特徴を含むデータであって、複数の特徴のうちの少なくともいずれかが第1識別器5Bでは識別不能であった又は識別を誤ったデータから選択されてもよい。ステップS104では、制御部は、取得した第2データ123Bから各特徴に関する第2特徴量を算出する。これにより、制御部は、第2データ123Bから算出された各特徴に関する第2特徴量を取得する。
ステップS105では、制御部は、差分抽出部113として動作し、各特徴について第1特徴量と第2特徴量とを比較し、比較の結果に基づいて、複数の特徴のうち、第1特徴量と第2特徴量との差分が所定条件を満たす大きさを有する特徴を差分特徴として抽出する。所定条件を満たす大きさを有する特徴を選択する方法は、上記実施形態と同様であってよい。例えば、所定条件は、差分が最も大きい特徴から順に1又は複数個の特徴を選択するように規定されていてもよい。この場合、制御部は、識別する対象となる複数の特徴のうち、所定条件を満たす大きさを有する特徴として、第1特徴量と第2特徴量との差分の最も大きいものから順に1又は複数個の特徴を選択し、選択した1又は複数個の特徴を差分特徴として抽出してもよい。また、例えば、制御部は、識別する対象となる各特徴について、第1特徴量と第2特徴量との差分が閾値を超えるか否かを判定し、第1特徴量と第2特徴量との差分が閾値を超えると判定された特徴を差分特徴として抽出してもよい。
具体例として、語尾の表現のみ異なり、その他の表現は共通である言語体系を有する第1地域及び第2地域が存在し、第1地域で収集した音声データに対して音声解析を行うように構築した第1識別器5Bを第2地域で利用する場面を想定する。この場合、第1識別器5Bでは、第2地域で得られる音声データの語尾部分に対して適切に音声解析を行うことができない可能性があり、本ステップS105では、この語尾部分に関する特徴が、差分特徴として抽出され得る。
ステップS106では、制御部は、学習データ取得部114として動作し、第1識別器5Bを利用する場面において、抽出した差分特徴及び差分関連特徴の少なくとも一方を含む第3データ125Bを取得する。具体的には、制御部は、第3データ125B及び正解データ1251Bの対で構成される学習用データセット127Bを取得する。第3データ125Bは、抽出された差分特徴及び差分関連特徴の少なくとも一方に応じて適宜取得されてよい。第3データ125Bは、第2データ123Bのコピー、又は第2データ123Bから差分特徴及び差分関連特徴の少なくとも一方を含む部分を抽出することで得られた部分データにより構成されてよい。また、正解データ1251Bは、第3データ125Bに含まれる差分特徴及び差分関連特徴の少なくとも一方の識別に対する正解を示すように適宜作成されてよい。なお、差分関連特徴は適宜選択されてよい。ステップS105により、語尾部分に関する特徴が差分特徴として抽出されている場合、差分関連特徴は、例えば、語尾に隣接する語句に関する特徴であってよい。
ステップS107では、制御部は、学習処理部115として動作し、第3データ125Bを利用した機械学習により、第3データ125Bから差分特徴及び差分関連特徴の少なくとも一方を識別する第2識別器6Bを構築する。具体的には、制御部は、学習用データセット127Bを用いて、第3データ125Bを入力すると、正解データ1251Bに対応する出力値を出力するように第2識別器6B(ニューラルネットワーク)の機械学習を実施する。これにより、上記の例のケースでは、語尾の表現を識別する第2識別器6Bを構築することができる。ステップS108では、制御部は、機械学習により構築された第2識別器6Bの構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を差分学習結果データ129Bとして記憶部に格納する。
一方、識別装置2Bの制御部は、ステップS202では、対象データ取得部211として動作し、複数の特徴を識別する対象となる対象データ221Bを取得する。対象データ221Bは、データの種類及び識別する特徴に応じて適宜取得されてよい。音声解析を行う場合、対象データ221Bの取得には、例えば、マイク等が用いられてよい。
ステップS202では、制御部は、第1識別部212として動作し、学習結果データ229Bを参照して、学習済みの第1識別器5Bの設定を行う。次に、制御部は、取得した対象データ221Bを第1識別器5Bに入力し、第1識別器5Bの演算処理を実行する。これにより、制御部は、対象データ221Bから複数の特徴を識別した結果に対応する出力を第1識別器5Bより取得する。
ステップS203では、制御部は、第2識別部213として動作し、差分学習結果データ129Bを参照して、学習済みの第2識別器6Bの設定を行う。次に、制御部は、取得した対象データ221Bを第2識別器6Bに入力し、第2識別器6Bの演算処理を実行する。これにより、制御部は、対象データ221Bから差分特徴及び差分関連特徴の少なくとも一方を識別した結果に対応する出力を第2識別器6Bから取得する。
ステップS204では、制御部は、出力部214として動作し、第1識別器5Bの出力及び第2識別器6Bの出力に基づき、対象データ221Bから複数の特徴を識別した結果を出力する。例えば、制御部は、第1識別器5Bの出力に基づいて、複数の特徴のうちの差分特徴以外の特徴を識別した結果を出力し、第2識別器6Bの出力に基づいて、差分特徴及び差分関連特徴の少なくとも一方を識別した結果を出力してもよい。上記の例のケースでは、識別装置2Bは、語尾の表現以外の表現を第1識別器5Bにより識別し、語尾の表現を第2識別器6Bにより識別することができる。
本変形例によれば、例えば、音声解析等の場面において、データから特徴を識別する性能が環境の変動に起因して低下してしまうのを低コストな方法で抑制することができる。
1…識別器生成装置、100…顔画像識別システム、
11…制御部、12…記憶部、13…通信インタフェース、
14…入力装置、15…出力装置、16…ドライブ、
81…生成プログラム、91…記憶媒体、
111…第1データ取得部、112…第2データ取得部、
113…特徴量算出部、114…第3データ取得部、
115…差分抽出部、116…学習処理部、
121…第1顔画像データ、123…第2顔画像データ、
125…第3顔画像データ、
1251…正解データ、127…学習用データセット、
129…差分学習結果データ、
2…識別装置、
21…制御部、22…記憶部、23…通信インタフェース、
24…外部インタフェース、
25…入力装置、26…出力装置、27…ドライブ、
82…識別プログラム、92…記憶媒体、
211…対象データ取得部、212…第1識別部、
213…第2識別部、214…出力部、
221…対象顔画像データ、229…学習結果データ、
31…カメラ、
5…第1識別器、
51…入力層、52…中間層(隠れ層)、53…出力層、
6…第2識別器、
61…入力層、62…中間層(隠れ層)、63…出力層

Claims (17)

  1. 顔の複数の特徴を識別するように第1識別器を構築する機械学習に利用された第1顔画像データから算出された当該各特徴に関する第1特徴量を取得する第1特徴量取得部と、
    前記第1識別器を利用する環境において取得される、前記第1顔画像データと同種の第2顔画像データであって、前記顔の前記複数の特徴が写る第2顔画像データから算出された当該各特徴に関する第2特徴量を取得する第2特徴量取得部と、
    前記各特徴について前記第1特徴量と前記第2特徴量とを比較し、前記比較の結果に基づいて、前記複数の特徴のうち、前記第1特徴量と前記第2特徴量との差分が所定条件を満たす大きさを有する特徴を差分特徴として抽出する差分抽出部と、
    前記第1識別器を利用する前記環境において、前記差分特徴及び前記差分特徴に関連する特徴である差分関連特徴の少なくとも一方が写る第3顔画像データを取得する学習データ取得部と、
    前記第3顔画像データを利用した機械学習により、前記第3顔画像データから前記差分特徴及び前記差分関連特徴の少なくとも一方を識別する第2識別器を構築する学習処理部と、
    前記複数の特徴を識別する対象となる対象顔画像データを取得する対象データ取得部と、
    取得した前記対象顔画像データを前記第1識別器に入力することで、前記対象顔画像データから前記複数の特徴を識別した結果に対応する出力を前記第1識別器より取得する第1識別部と、
    取得した前記対象顔画像データを前記第2識別器に入力することで、前記対象顔画像データから前記差分特徴及び前記差分関連特徴の少なくとも一方を識別した結果に対応する出力を前記第2識別器より取得する第2識別部と、
    前記第1識別器の出力及び前記第2識別器の出力に基づき、前記対象顔画像データから前記複数の特徴を識別した結果を出力する出力部と、
    を備える、
    顔画像識別システム。
  2. 前記第3顔画像データは、前記第2顔画像データのコピー、又は前記第2顔画像データから前記差分特徴及び前記差分関連特徴の少なくとも一方の写る部分を抽出することで得られた部分顔画像データにより構成される、
    請求項1に記載の顔画像識別システム。
  3. 前記第2顔画像データは、前記複数の特徴が写る顔画像データであって、前記複数の特徴のうちの少なくともいずれかが前記第1識別器では識別不能であった又は識別を誤った顔画像データから選択される、
    請求項1又は2に記載の顔画像識別システム。
  4. 前記顔の前記複数の特徴は、表情の種別、顔のパーツの位置、顔のパーツの形状、顔のパーツの色、及び顔のパーツの状態から選択される、
    請求項1から3のいずれか1項に記載の顔画像識別システム。
  5. 前記出力部は、前記第1識別器の出力に基づいて、前記複数の特徴のうちの前記差分特徴以外の前記顔の特徴を識別した結果を出力し、前記第2識別器の出力に基づいて、前記差分特徴及び前記差分関連特徴の少なくとも一方を識別した結果を出力する、
    請求項1から4のいずれか1項に記載の顔画像識別システム。
  6. 前記所定条件は、差分が最も大きい特徴から順に1又は複数個の特徴を選択するように規定されており、
    前記差分抽出部は、前記第1特徴量と前記第2特徴量との差分の最も大きい特徴から順に1又は複数個の特徴を選択し、選択した1又は複数個の特徴を前記差分特徴として抽出する、
    請求項1から5のいずれか1項に記載の顔画像識別システム。
  7. 前記所定条件は、差分が閾値を超える特徴を選択するように規定されており、
    前記差分抽出部は、前記第1特徴量と前記第2特徴量との差分が前記閾値を超えるか否かを判定し、前記第1特徴量と前記第2特徴量との差分が前記閾値を超えると判定された特徴を前記差分特徴として抽出する、
    請求項1から5のいずれか1項に記載の顔画像識別システム。
  8. 顔の複数の特徴を識別するように第1識別器を構築する機械学習に利用された第1顔画像データから算出された当該各特徴に関する第1特徴量を取得する第1特徴量取得部と、
    前記第1識別器を利用する環境において取得される、前記第1顔画像データと同種の第2顔画像データであって、前記顔の前記複数の特徴が写る第2顔画像データから算出された当該各特徴に関する第2特徴量を取得する第2特徴量取得部と、
    前記各特徴について前記第1特徴量と前記第2特徴量とを比較し、前記比較の結果に基づいて、前記複数の特徴のうち、前記第1特徴量と前記第2特徴量との差分が所定条件を満たす大きさを有する特徴を差分特徴として抽出する差分抽出部と、
    前記第1識別器を利用する前記環境において、前記差分特徴及び前記差分特徴に関連する特徴である差分関連特徴の少なくとも一方が写る第3顔画像データを取得する学習データ取得部と、
    前記第3顔画像データを利用した機械学習により、前記第3顔画像データから前記差分特徴及び前記差分関連特徴の少なくとも一方を識別する第2識別器を構築する学習処理部と、
    を備える、
    識別器生成装置。
  9. 複数の特徴が写る第1画像データであって、前記複数の特徴を識別するように第1識別器を構築する機械学習に利用された第1画像データから算出された当該各特徴に関する第1特徴量を取得する第1特徴量取得部と、
    前記第1識別器を利用する環境において取得される、前記第1画像データと同種の第2画像データであって、前記複数の特徴が写る第2画像データから算出された当該各特徴に関する第2特徴量を取得する第2特徴量取得部と、
    前記各特徴について前記第1特徴量と前記第2特徴量とを比較し、前記比較の結果に基づいて、前記複数の特徴のうち、前記第1特徴量と前記第2特徴量との差分が所定条件を満たす大きさを有する特徴を差分特徴として抽出する差分抽出部と、
    前記第1識別器を利用する前記環境において、抽出した前記差分特徴及び前記差分特徴に関連する特徴である差分関連特徴の少なくとも一方が写る第3画像データを取得する学習データ取得部と、
    前記第3画像データを利用した機械学習により、前記第3画像データから前記差分特徴及び前記差分関連特徴の少なくとも一方を識別する第2識別器を構築する学習処理部と、
    前記複数の特徴を識別する対象となる対象画像データを取得する対象データ取得部と、
    取得した前記対象画像データを前記第1識別器に入力することで、前記対象画像データから前記複数の特徴を識別した結果に対応する出力を前記第1識別器より取得する第1識別部と、
    取得した前記対象画像データを前記第2識別器に入力することで、前記対象画像データから前記差分特徴及び前記差分関連特徴の少なくとも一方を識別した結果に対応する出力を前記第2識別器より取得する第2識別部と、
    前記第1識別器の出力及び前記第2識別器の出力に基づき、前記対象画像データから前記複数の特徴を識別した結果を出力する出力部と、
    を備える、
    画像識別システム。
  10. 複数の特徴が写る第1画像データであって、前記複数の特徴を識別するように第1識別器を構築する機械学習に利用された第1画像データから算出された当該各特徴に関する第1特徴量を取得する第1特徴量取得部と、
    前記第1識別器を利用する環境において取得される、前記第1画像データと同種の第2画像データであって、前記複数の特徴が写る第2画像データから算出された当該各特徴に関する第2特徴量を取得する第2特徴量取得部と、
    前記各特徴について前記第1特徴量と前記第2特徴量とを比較し、前記比較の結果に基づいて、前記複数の特徴のうち、前記第1特徴量と前記第2特徴量との差分が所定条件を満たす大きさを有する特徴を差分特徴として抽出する差分抽出部と、
    前記第1識別器を利用する前記環境において、抽出した前記差分特徴及び前記差分特徴に関連する特徴である差分関連特徴の少なくとも一方が写る第3画像データを取得する学習データ取得部と、
    前記第3画像データを利用した機械学習により、前記第3画像データから前記差分特徴及び前記差分関連特徴の少なくとも一方を識別する第2識別器を構築する学習処理部と、
    を備える、
    識別器生成装置。
  11. 複数の特徴を含む第1データであって、前記複数の特徴を識別するように第1識別器を構築する機械学習に利用された第1データから算出された当該各特徴に関する第1特徴量を取得する第1特徴量取得部と、
    前記第1識別器を利用する環境において取得される、前記第1データと同種の第2データであって、前記複数の特徴を含む第2データから算出された当該各特徴に関する第2特徴量を取得する第2特徴量取得部と、
    前記各特徴について前記第1特徴量と前記第2特徴量とを比較し、前記比較の結果に基づいて、前記複数の特徴のうち、前記第1特徴量と前記第2特徴量との差分が所定条件を満たす大きさを有する特徴を差分特徴として抽出する差分抽出部と、
    前記第1識別器を利用する前記環境において、抽出した前記差分特徴及び前記差分特徴に関連する特徴である差分関連特徴の少なくとも一方を含む第3データを取得する学習データ取得部と、
    前記第3データを利用した機械学習により、前記第3データから前記差分特徴及び前記差分関連特徴の少なくとも一方を識別する第2識別器を構築する学習処理部と、
    前記複数の特徴を識別する対象となる対象データを取得する対象データ取得部と、
    取得した前記対象データを前記第1識別器に入力することで、前記対象データから前記複数の特徴を識別した結果に対応する出力を前記第1識別器より取得する第1識別部と、
    取得した前記対象データを前記第2識別器に入力することで、前記対象データから前記差分特徴及び前記差分関連特徴の少なくとも一方を識別した結果に対応する出力を前記第2識別器より取得する第2識別部と、
    前記第1識別器の出力及び前記第2識別器の出力に基づき、前記対象データから前記複数の特徴を識別した結果を出力する出力部と、
    を備える、
    識別システム。
  12. 前記第3データは、前記第2データのコピー、又は前記第2データから前記差分特徴及び前記差分関連特徴の少なくとも一方を含む部分を抽出することで得られた部分データにより構成される、
    請求項11に記載の識別システム。
  13. 前記第2データは、前記複数の特徴を含むデータであって、前記複数の特徴のうちの少なくともいずれかが前記第1識別器では識別不能であった又は識別を誤ったデータから選択される、
    請求項11又は12に記載の識別システム。
  14. 前記出力部は、前記第1識別器の出力に基づいて、前記複数の特徴のうちの前記差分特徴以外の特徴を識別した結果を出力し、前記第2識別器の出力に基づいて、前記差分特徴及び前記差分関連特徴の少なくとも一方を識別した結果を出力する、
    請求項11から13のいずれか1項に記載の識別システム。
  15. 前記所定条件は、差分が最も大きい特徴から順に1又は複数個の特徴を選択するように規定されており、
    前記差分抽出部は、前記第1特徴量と前記第2特徴量との差分の最も大きい特徴から順に1又は複数個の特徴を選択し、選択した1又は複数個の特徴を前記差分特徴として抽出する、
    請求項11から14のいずれか1項に記載の識別システム。
  16. 前記所定条件は、差分が閾値を超える特徴を選択するように規定されており、
    前記差分抽出部は、前記第1特徴量と前記第2特徴量との差分が前記閾値を超えるか否かを判定し、前記第1特徴量と前記第2特徴量との差分が前記閾値を超えると判定された特徴を前記差分特徴として抽出する、
    請求項11から14のいずれか1項に記載の識別システム。
  17. 複数の特徴を含む第1データであって、前記複数の特徴を識別するように第1識別器を構築する機械学習に利用された第1データから算出された当該各特徴に関する第1特徴量を取得する第1特徴量取得部と、
    前記第1識別器を利用する環境において取得される、前記第1データと同種の第2データであって、前記複数の特徴を含む第2データから算出された当該各特徴に関する第2特徴量を取得する第2特徴量取得部と、
    前記各特徴について前記第1特徴量と前記第2特徴量とを比較し、前記比較の結果に基づいて、前記複数の特徴のうち、前記第1特徴量と前記第2特徴量との差分が所定条件を満たす大きさを有する特徴を差分特徴として抽出する差分抽出部と、
    前記第1識別器を利用する前記環境において、抽出した前記差分特徴及び前記差分特徴に関連する特徴である差分関連特徴の少なくとも一方を含む第3データを取得する学習データ取得部と、
    前記第3データを利用した機械学習により、前記第3データから前記差分特徴及び前記差分関連特徴の少なくとも一方を識別する第2識別器を構築する学習処理部と、
    を備える、
    識別器生成装置。
JP2018047259A 2018-03-14 2018-03-14 顔画像識別システム、識別器生成装置、識別装置、画像識別システム、及び識別システム Active JP6760318B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018047259A JP6760318B2 (ja) 2018-03-14 2018-03-14 顔画像識別システム、識別器生成装置、識別装置、画像識別システム、及び識別システム
CN201980012059.3A CN111758116B (zh) 2018-03-14 2019-03-13 脸部图像识别系统、识别器生成装置、识别装置与系统
PCT/JP2019/010184 WO2019176994A1 (ja) 2018-03-14 2019-03-13 顔画像識別システム、識別器生成装置、識別装置、画像識別システム、及び識別システム
US16/976,465 US11341770B2 (en) 2018-03-14 2019-03-13 Facial image identification system, identifier generation device, identification device, image identification system, and identification system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018047259A JP6760318B2 (ja) 2018-03-14 2018-03-14 顔画像識別システム、識別器生成装置、識別装置、画像識別システム、及び識別システム

Publications (2)

Publication Number Publication Date
JP2019159958A true JP2019159958A (ja) 2019-09-19
JP6760318B2 JP6760318B2 (ja) 2020-09-23

Family

ID=67906692

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018047259A Active JP6760318B2 (ja) 2018-03-14 2018-03-14 顔画像識別システム、識別器生成装置、識別装置、画像識別システム、及び識別システム

Country Status (4)

Country Link
US (1) US11341770B2 (ja)
JP (1) JP6760318B2 (ja)
CN (1) CN111758116B (ja)
WO (1) WO2019176994A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021106174A1 (ja) * 2019-11-29 2021-06-03 オリンパス株式会社 画像処理方法、学習装置及び画像処理装置
WO2022255674A1 (ko) * 2021-05-31 2022-12-08 자이메드 주식회사 설명 가능한 생체 이미지 판독 지원 장치 및 방법
US11544563B2 (en) 2017-12-19 2023-01-03 Olympus Corporation Data processing method and data processing device

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6760318B2 (ja) * 2018-03-14 2020-09-23 オムロン株式会社 顔画像識別システム、識別器生成装置、識別装置、画像識別システム、及び識別システム
KR102608127B1 (ko) * 2019-04-08 2023-12-01 삼성전자주식회사 이미지 프로세싱을 수행하는 전자 장치 및 방법
US11216687B2 (en) * 2019-05-15 2022-01-04 Getac Technology Corporation Image detection scanning method for object surface defects and image detection scanning system thereof
JP7345436B2 (ja) 2020-06-19 2023-09-15 京セラ株式会社 顔構造推定装置、顔構造推定方法、および顔構造推定プログラム
JP7345435B2 (ja) 2020-06-19 2023-09-15 京セラ株式会社 顔構造推定装置、顔構造推定方法、および顔構造推定プログラム
CN115867949A (zh) * 2020-06-19 2023-03-28 京瓷株式会社 脸部构造推定装置、脸部构造推定方法以及脸部构造推定程序
JP2022021544A (ja) * 2020-07-22 2022-02-03 キヤノン株式会社 投影装置、投影装置の制御方法、プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005275605A (ja) * 2004-03-23 2005-10-06 Sanyo Electric Co Ltd 個人認証装置および個人認証方法
CN104036247A (zh) * 2014-06-11 2014-09-10 杭州巨峰科技有限公司 基于脸部特征的人脸种族分类方法
JP2016191975A (ja) * 2015-03-30 2016-11-10 株式会社メガチップス 機械学習装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002334335A (ja) * 2001-03-09 2002-11-22 Toshiba Corp 顔画像認識装置および通行制御装置
JP4493448B2 (ja) * 2003-09-09 2010-06-30 富士フイルム株式会社 対象物識別装置および方法並びにプログラム
JP2005100121A (ja) * 2003-09-25 2005-04-14 Fuji Photo Film Co Ltd 識別処理に用いる特徴量の種類と識別条件を決定する装置、プログラムならびにプログラムを記録した記録媒体、および特定内容のデータを選別する装置
JP4611069B2 (ja) * 2004-03-24 2011-01-12 富士フイルム株式会社 特定シーンの画像を選別する装置、プログラムおよびプログラムを記録した記録媒体
JP4862447B2 (ja) * 2006-03-23 2012-01-25 沖電気工業株式会社 顔認識システム
JP5010905B2 (ja) * 2006-12-13 2012-08-29 パナソニック株式会社 顔認証装置
JP4544363B1 (ja) * 2009-03-13 2010-09-15 オムロン株式会社 顔認証装置、人物画像検索システム、顔認証装置制御プログラム、コンピュータ読み取り可能な記録媒体、および顔認証装置の制御方法
JP2011014052A (ja) * 2009-07-03 2011-01-20 Nikon Corp 画像識別装置、画像識別方法、識別器作成装置、識別器作成方法、および撮像システム
JP5261312B2 (ja) * 2009-07-30 2013-08-14 富士フイルム株式会社 画像解析装置、画像解析方法およびプログラム
JP5668932B2 (ja) * 2011-05-23 2015-02-12 株式会社モルフォ 画像識別装置、画像識別方法、画像識別プログラム及び記録媒体
JP6003124B2 (ja) 2012-03-15 2016-10-05 オムロン株式会社 認証装置、認証装置の制御方法、制御プログラム、および記録媒体
JP6160196B2 (ja) * 2013-04-15 2017-07-12 オムロン株式会社 識別器更新装置、識別器更新プログラム、情報処理装置、および識別器更新方法
JP6245140B2 (ja) * 2014-10-27 2017-12-13 株式会社デンソー 対象物識別装置、運転支援システム、車両および対象物識別方法
EP3142040A1 (en) * 2015-09-11 2017-03-15 Canon Kabushiki Kaisha Information processing apparatus, method of controlling the same, and program
KR102284448B1 (ko) * 2016-04-19 2021-08-02 캐논 가부시끼가이샤 정보 처리장치, 정보 처리방법 및 기억매체
KR102252298B1 (ko) * 2016-10-21 2021-05-14 삼성전자주식회사 표정 인식 방법 및 장치
CN110235138B (zh) * 2016-12-05 2023-09-05 摩托罗拉解决方案公司 用于外观搜索的系统和方法
EP3418944B1 (en) * 2017-05-23 2024-03-13 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and program
CN107832735A (zh) * 2017-11-24 2018-03-23 百度在线网络技术(北京)有限公司 用于识别人脸的方法和装置
JP6760318B2 (ja) * 2018-03-14 2020-09-23 オムロン株式会社 顔画像識別システム、識別器生成装置、識別装置、画像識別システム、及び識別システム
WO2020065790A1 (ja) * 2018-09-26 2020-04-02 日本電気株式会社 推定装置、推定方法、および記憶媒体
BR112021011817A2 (pt) * 2018-12-27 2021-08-31 Nec Corporation Aparelho de processamento de informações, método de processamento de informações e programa
US11042727B2 (en) * 2019-09-30 2021-06-22 Lenovo (Singapore) Pte. Ltd. Facial recognition using time-variant user characteristics

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005275605A (ja) * 2004-03-23 2005-10-06 Sanyo Electric Co Ltd 個人認証装置および個人認証方法
CN104036247A (zh) * 2014-06-11 2014-09-10 杭州巨峰科技有限公司 基于脸部特征的人脸种族分类方法
JP2016191975A (ja) * 2015-03-30 2016-11-10 株式会社メガチップス 機械学習装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11544563B2 (en) 2017-12-19 2023-01-03 Olympus Corporation Data processing method and data processing device
WO2021106174A1 (ja) * 2019-11-29 2021-06-03 オリンパス株式会社 画像処理方法、学習装置及び画像処理装置
JPWO2021106174A1 (ja) * 2019-11-29 2021-06-03
JP7231762B2 (ja) 2019-11-29 2023-03-01 オリンパス株式会社 画像処理方法、学習装置、画像処理装置及びプログラム
US12026935B2 (en) 2019-11-29 2024-07-02 Olympus Corporation Image processing method, training device, and image processing device
WO2022255674A1 (ko) * 2021-05-31 2022-12-08 자이메드 주식회사 설명 가능한 생체 이미지 판독 지원 장치 및 방법

Also Published As

Publication number Publication date
US20210117651A1 (en) 2021-04-22
CN111758116A (zh) 2020-10-09
US11341770B2 (en) 2022-05-24
CN111758116B (zh) 2023-07-14
WO2019176994A1 (ja) 2019-09-19
JP6760318B2 (ja) 2020-09-23

Similar Documents

Publication Publication Date Title
WO2019176994A1 (ja) 顔画像識別システム、識別器生成装置、識別装置、画像識別システム、及び識別システム
US9779354B2 (en) Learning method and recording medium
JP5385759B2 (ja) 画像処理装置及び画像処理方法
JP5424819B2 (ja) 画像処理装置、画像処理方法
JP2020522077A (ja) 画像特徴の取得
US20130243278A1 (en) Biological information processor
WO2022166532A1 (zh) 人脸识别方法、装置、电子设备及存储介质
JP7107598B2 (ja) 認証用顔画像候補判定装置、認証用顔画像候補判定方法、プログラム、および記録媒体
KR20190123371A (ko) 안면이미지를 기반한 감정 인식 방법 및 인공지능 학습 방법
CN110598019A (zh) 重复图像识别方法及装置
JP2020052520A (ja) 判定装置、判定方法、およびプログラム
CN115440196A (zh) 基于用户面部表情的语音识别方法、装置、介质及设备
CN115862040A (zh) 文本纠错方法、装置、计算机设备及可读存储介质
JP2012048624A (ja) 学習装置、方法及びプログラム
JP3998628B2 (ja) パターン認識装置及びその方法
CN109858379A (zh) 笑容真诚度检测方法、装置、存储介质和电子设备
CN116935889B (zh) 一种音频类别的确定方法、装置、电子设备及存储介质
CN113947209A (zh) 基于云边协同的集成学习方法、系统及存储介质
JP2002251592A (ja) パターン認識辞書学習方法
KR101440887B1 (ko) 영상 및 음성 정보를 이용한 명함 인식 방법 및 장치
US8879804B1 (en) System and method for automatic detection and recognition of facial features
CN112183336A (zh) 表情识别模型训练方法、装置、终端设备及存储介质
TWI667054B (zh) 飛行器飛行控制方法、裝置、飛行器及系統
JP5625196B2 (ja) 特徴点検出装置、特徴点検出方法、特徴点検出プログラム及び記録媒体
CN114333786A (zh) 语音情感识别方法及相关装置、电子设备和存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200817

R150 Certificate of patent or registration of utility model

Ref document number: 6760318

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150