JP2023063154A - 判定プログラム、判定方法及び判定装置 - Google Patents

判定プログラム、判定方法及び判定装置 Download PDF

Info

Publication number
JP2023063154A
JP2023063154A JP2021173488A JP2021173488A JP2023063154A JP 2023063154 A JP2023063154 A JP 2023063154A JP 2021173488 A JP2021173488 A JP 2021173488A JP 2021173488 A JP2021173488 A JP 2021173488A JP 2023063154 A JP2023063154 A JP 2023063154A
Authority
JP
Japan
Prior art keywords
marker
image
intensity
determination
positional relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021173488A
Other languages
English (en)
Inventor
昭嘉 内田
Akiyoshi Uchida
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2021173488A priority Critical patent/JP2023063154A/ja
Priority to US17/866,563 priority patent/US20230130397A1/en
Publication of JP2023063154A publication Critical patent/JP2023063154A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】表情推定のための訓練データを生成すること。【解決手段】判定プログラムは、第１のマーカと第２のマーカとを付した顔を含む画像を取得し、画像に含まれる第１のマーカの第１の位置と第２のマーカの第２の位置とを特定し、第１の位置と第１のマーカの基準位置との差と、第１の位置と第２の位置との位置関係と第１のマーカと第２のマーカとの基準位置関係との差とに基づいて、顔における特定の表情の発生強度を判定し、画像と関連付けて、判定された特定の表情の発生強度を出力する、処理をコンピュータに実行させる。【選択図】図３

Description

本発明は、判定技術に関する。
ノンバーバルコミュニケーションにおいて、表情は重要な役割を果たしている。人を理解し、センシングするためには、表情推定技術は重要である。表情推定のためのツールとしてＡＵ（Action Unit：アクションユニット）と呼ばれる手法が知られている。ＡＵは、表情を顔の部位と表情筋に基づいて分解して定量化する手法である。
ＡＵ推定エンジンは、大量の訓練データに基づく機械学習がベースにあり、訓練データとして、顔表情の画像データと、各ＡＵのOccurrence（発生の有無）やIntensity（発生強度）が用いられる。また、訓練データのOccurrenceやIntensityは、Coder（コーダ）と呼ばれる専門家によりAnnotation（アノテーション）される。
米国特許出願公開第２０１９／０２９４８６８号明細書 米国特許出願公開第２０１７／０２８６７５９号明細書 特開２０２０－１６０７９２号公報
しかしながら、従来の手法には、表情推定のための訓練データを生成することが困難な場合があるという問題がある。例えば、コーダによるアノテーションでは、費用及び時間のコストがかかるため、データを大量に作成することが困難である。また、顔画像の画像処理による顔の各部位の移動計測では、小さな変化を正確に捉えるのが困難であり、コンピュータが人の判断を介さずに顔画像からＡＵの判定を行うことは難しい。したがって、コンピュータが人の判断を介さずに顔画像にＡＵのラベルを付した訓練データを生成することは困難である。
１つの側面では、表情推定のための訓練データを生成できる判定プログラム、判定方法及び判定装置を提供することを目的とする。
一態様にかかる判定プログラムは、第１のマーカと第２のマーカとを付した顔を含む画像を取得し、前記画像に含まれる前記第１のマーカの第１の位置と前記第２のマーカの第２の位置とを特定し、前記第１の位置と前記第１のマーカの基準位置との差と、前記第１の位置と第２の位置との位置関係と前記第１のマーカと前記第２のマーカとの基準位置関係との差とに基づいて、前記顔における特定の表情の発生強度を判定し、前記画像と関連付けて、判定された前記特定の表情の発生強度を出力する、処理をコンピュータに実行させる。
一実施形態によれば、表情推定のための訓練データを生成できる。
図１は、機械学習システムの構成例を示す図である。 図２は、カメラの配置例を示す図である。 図３は、判定装置の機能構成例を示すブロック図である。 図４は、マーカの移動の一例について説明する図である。 図５は、発生強度の判定方法の一例を説明する図である。 図６は、発生強度の判定方法の一例を説明する図である。 図７は、ＡＵ４規定ベクトルの一例を示す図である。 図８Ａは、マーカ位置の一例を示す図である。 図８Ｂは、マーカ位置の一例を示す図である。 図８Ｃは、マーカ位置の一例を示す図である。 図９は、マーカの移動量の一例を示す図である。 図１０は、マーカの移動量の一例を示す図である。 図１１は、ＡＵの発生強度の推定値の一例を示す図である。 図１２は、ＡＵの発生強度の推定値の一例を示す図である。 図１３は、マスク画像の作成方法の一例を説明する図である。 図１４は、マーカの削除方法の一例を説明する図である。 図１５は、発生強度の判定処理の手順を示すフローチャートである。 図１６は、訓練データの生成処理の手順を示すフローチャートである。 図１７は、ハードウェア構成例を示す図である。
以下、添付図面を参照して本願に係る判定プログラム、判定方法及び判定装置の実施例について説明する。各実施例には、あくまで１つの例や側面を示すに過ぎず、このような例示により数値や機能の範囲、利用シーンなどは限定されない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
図１を用いて、実施例に係る機械学習システムの構成例を説明する。図１は、機械学習システムの構成例を示す図である。図１に示すように、機械学習システム１は、ＲＧＢ（Red、Green、Blue）カメラ３１、ＩＲ（infrared：赤外線）カメラ３２、判定装置１０、生成装置２０及び機械学習装置５０を有する。
図１に示すように、ＲＧＢカメラ３１及びＩＲカメラ３２は、マーカが付された人物の顔に向けた状態で配置され得る。例えば、ＲＧＢカメラ３１は一般的なデジタルカメラであり、可視光を受光し画像を生成する。また、例えば、ＩＲカメラ３２は、赤外線を感知する。また、マーカは、例えばＩＲ反射（再帰性反射）マーカである。ＩＲカメラ３２は、マーカによるＩＲ反射を利用してモーションキャプチャを行うことができる。また、以降の説明では、撮像対象の人物を被験者と呼ぶ。
判定装置１０は、ＲＧＢカメラ３１によって撮像された画像１１０及びＩＲカメラ３２によるモーションキャプチャの結果１２０を取得する。そして、判定装置１０は、ＡＵごとに当該ＡＵに割り当てられたマーカの移動量に基づいてＡＵの発生強度１２１を判定する。その上で、判定装置１０は、ＲＧＢカメラ３１によって撮像された画像１１０に関連付けて、ＡＵの発生強度１２１を生成装置２０へ出力する。
ここで言う「発生強度」は、あくまで一例として、各ＡＵが発生している強度をＡからＥの５段階評価で表現し、「ＡＵ１：２、ＡＵ２：５、ＡＵ４：１、…」のようにアノテーションが行われたデータであってよい。なお、発生強度は、５段階評価で表現されるものに限られるものではなく、例えば２段階評価（発生の有無）によって表現されても良い。この場合、あくまで一例として、５段階評価のうち評価が２以上である場合、「有」と表現される一方で、評価が２未満である場合、「無」と表現されることとしてもよい。
生成装置２０は、判定装置１０により出力されたＲＧＢカメラ３１の画像１１０及びＡＵの発生強度１２１を取得する。そして、生成装置２０は、ＲＧＢカメラ３１によって撮像された画像１１０から画像処理によりマーカが削除された画像１１１を生成する。さらに、生成装置２０は、マーカ削除済みの画像１１１と、正解ラベルとするＡＵの発生強度１２１とが対応付けられた訓練データＴＲを含むデータセットを生成する。その上で、生成装置２０は、訓練データＴＲのデータセットを機械学習装置５０へ出力する。
機械学習装置５０は、生成装置２０から出力された訓練データＴＲのデータセットを用いて機械学習を実行する。例えば、機械学習装置５０は、マーカ削除済みの画像１１１を機械学習モデルｍの説明変数とし、正解ラベルとするＡＵの発生強度１２１を機械学習モデルｍの目的変数とし、ディープラーニング等の機械学習のアルゴリズムに従って機械学習モデルｍを訓練する。これにより、画像からＡＵの発生強度を推定するための機械学習モデルＭが生成される。
次に、図２を用いて、カメラの配置について説明する。図２は、カメラの配置例を示す図である。図２に示すように、複数のＩＲカメラ３２がマーカトラッキングシステムを構成していてもよい。その場合、マーカトラッキングシステムは、ステレオ撮影によりＩＲ反射マーカの位置を検出することができる。また、複数のＩＲカメラ３２のそれぞれの間の相対位置関係は、カメラキャリブレーションによりあらかじめ補正されているものとする。
また、撮像される被験者の顔には、対象とするＡＵ（例：ＡＵ１からＡＵ２８）をカバーするように、複数のマーカが付される。マーカの位置は、被験者の表情の変化に応じて変化する。例えば、マーカ４０１は、眉の根元付近に配置される。また、マーカ４０２及びマーカ４０３は、豊麗線の付近に配置される。マーカは、１つ以上のＡＵ及び表情筋の動きに対応した皮膚の上に配置されてもよい。また、マーカは、しわの寄り等により、テクスチャ変化が大きくなる皮膚の上を避けて配置されてもよい。
さらに、被験者は、基準点マーカが付された器具４０を装着する。被験者の表情が変化しても、器具４０に付された基準点マーカの位置は変化しないものとする。このため、判定装置１０は、基準点マーカからの相対的な位置の変化により、顔に付されたマーカの位置の変化を検出することができる。また、基準マーカの数を３つ以上にすることで、判定装置１０は、３次元空間におけるマーカの位置を特定することができる。
器具４０は、例えばヘッドバンドであり、顔の輪郭外に基準点マーカを配置する。また、器具４０は、ＶＲヘッドセット及び固い素材のマスク等であってもよい。その場合、判定装置１０は、器具４０のリジッド表面を基準点マーカとして利用することができる。
次に、図３を用いて、判定装置１０の機能構成例を説明する。図３は、判定装置１０の機能構成例を示すブロック図である。図３に示すように、判定装置１０は、通信制御部１１、記憶部１３及び制御部１４を有する。なお、判定装置１０は、図３に示す機能部以外にも生成装置２０や機械学習装置５０が有する機能部、例えば訓練データを生成する機能や機械学習を実行する機能などをさらに有することとしてもよい。
通信制御部１１は、他の装置、例えばカメラ類や生成装置２０などとの間で通信制御を行う機能部である。例えば、通信制御部１１は、ＬＡＮ（Local Area Network）カードなどのネットワークインタフェイスカードにより実現され得る。１つの側面として、通信制御部１１は、ＲＧＢカメラ３１により撮像された画像１１０を受け付けたり、あるいはＩＲカメラ３２によるモーションキャプチャの結果１２０を受け付けたりする。他の側面として、通信制御部１１は、ＡＵの発生強度１２１が関連付けられたＲＧＢカメラ３１の画像１１０を生成装置２０へ出力する。
記憶部１３は、各種のデータを記憶する機能部である。あくまで一例として、記憶部１３は、ストレージ、例えば内部、外部または補助のストレージにより実現される。例えば、記憶部１３は、ＡＵの発生強度が関連付けられたＲＧＢカメラ３１の画像１３１を記憶する。このような画像１３１以外にも、記憶部１３は、マーカとＡＵの対応関係を表す対応関係情報などの各種のデータを記憶することができる。
制御部１４は、判定装置１０の全体制御を行う処理部である。例えば、制御部１４は、ハードウェアプロセッサにより実現される。この他、制御部１４は、ハードワイヤードロジックにより実現されてもよい。図３に示すように、制御部１４は、取得部１４１と、特定部１４２と、判定部１４３とを有する。
取得部１４１は、顔を含む撮像画像を取得する。例えば、取得部１４１は、複数のＡＵに対応する複数の位置に複数のマーカを付した顔を含む撮像画像を取得する。取得部１４１は、ＲＧＢカメラ３１によって撮像された画像を取得する。
ここで、ＩＲカメラ３２及びＲＧＢカメラ３１による撮影が行われる際、被験者は表情を変化させていく。これにより、判定装置１０は、時系列に沿って表情が変化していく様子を画像として取得することができる。また、ＲＧＢカメラ３１は、動画を撮像してもよい。動画は、時系列に並べられた複数の静止画とみなすことができる。また、被験者は、自由に表情を変化させてもよいし、あらかじめ定められたシナリオに沿って表情を変化させてもよい。
特定部１４２は、撮像画像に含まれるマーカの位置を特定する。特定部１４２は、撮像画像に含まれる複数のマーカのそれぞれの位置を特定する。さらに、時系列に沿って複数の画像が取得された場合、特定部１４２は、各画像についてマーカの位置を特定する。また、特定部１４２は、器具４０に付された基準マーカとの位置関係を基に、各マーカの平面上又は空間上の座標を特定することができる。なお、特定部１４２は、マーカの位置を、基準座標系から定めてもよいし、基準面の投影位置から定めてもよい。
判定部１４３は、ＡＵの判定基準と複数のマーカの位置とに基づいて、複数のＡＵのそれぞれの発生の有無を判定する。判定部１４３は、複数のＡＵのうち発生している１以上のＡＵについて、発生強度を判定する。このとき、判定部１４３は、複数のＡＵのうちマーカに対応するＡＵが、判定基準とマーカの位置とに基づいて発生していると判定された場合に、当該マーカに対応するＡＵを選択することができる。
例えば、判定部１４３は、判定基準に含まれる第１のＡＵに対応付けられた第１のマーカの基準位置と、特定部１４２によって特定された第１のマーカの位置との距離に基づいて算出した第１のマーカの移動量を基に、第１のＡＵの発生強度を判定する。なお、第１のマーカは、特定のＡＵに対応する１つ、あるいは複数マーカということができる。
ＡＵの判定基準は、例えば、複数のマーカのうち、ＡＵ毎にＡＵの発生強度を判定するために使用される１又は複数のマーカを示す。ＡＵの判定基準は、複数のマーカの基準位置を含んでもよい。ＡＵの判定基準は、複数のＡＵのそれぞれについて、発生強度の判定に使用されるマーカの移動量と発生強度との関係（換算ルール）を含んでもよい。なお、マーカの基準位置は、被験者が無表情な状態（いずれのＡＵも発生していない）の撮像画像における複数のマーカの各位置に応じて定められてもよい。
ここで、図４を用いて、マーカの移動について説明する。図４は、マーカの移動の一例について説明する図である。図４の符号４１～符号４３は、ＲＧＢカメラ３１によって撮像された画像である。また、画像は、符号４１、符号４２、符号４３の順で撮像されたものとする。例えば、画像４１は、被験者が無表情であるときの画像である。判定装置１０は、画像４１のマーカの位置を、移動量が０の基準位置とみなすことができる。
図４に示すように、被験者は、眉を寄せるような表情を取っている。このとき、表情の変化に従い、マーカ４０１の位置は下方向に移動している。その際、マーカ４０１の位置と、器具４０に付された基準マーカとの間の距離は大きくなっている。
また、マーカ４０１の基準マーカからのＸ方向及びＹ方向の距離の変動値は、図５のように表される。図５は、発生強度の判定方法の一例を説明する図である。図５に示すように、判定部１４３は、変動値を発生強度に換算することができる。なお、発生強度は、ＦＡＣＳ（Facial Action Coding System）に準じて５段階に量子化されたものであってもよいし、変動量に基づく連続量として定義されたものであってもよい。
判定部１４３が変動量を発生強度に換算するルールとしては、様々なものが考えられる。判定部１４３は、あらかじめ定められた１つのルールに従って換算を行ってもよいし、複数のルールで換算を行い、最も発生強度が大きいものを採用するようにしてもよい。
例えば、判定部１４３は、被験者が最大限表情を変化させたときの変動量である最大変動量をあらかじめ取得しておき、変動量の最大変動量に対する割合に基づいて発生強度を換算してもよい。また、判定部１４３は、従来手法によりコーダがタグ付けしたデータを用いて最大変動量を定めておいてもよい。また、判定部１４３は、変動量を発生強度にリニアに換算してもよい。また、判定部１４３は、複数の被験者の事前測定から作成された近似式を用いて換算を行ってもよい。
また、例えば、判定部１４３は、判定基準としてあらかじめ設定された位置と、特定部１４２によって特定された第１のマーカの位置とに基づいて算出した第１のマーカの移動ベクトルを基に発生強度を判定することができる。この場合、判定部１４３は、第１のマーカの移動ベクトルと、第１のＡＵに対してあらかじめ規定された規定ベクトルとの合致度合いを基に、第１のＡＵの発生強度を判定する。また、判定部１４３は、既存のＡＵ推定エンジンを使って、ベクトルの大きさと発生強度の対応を補正してもよい。
図６は、発生強度の判定方法の一例を説明する図である。例えば、ＡＵ４に対応するＡＵ４規定ベクトルが（－２ｍｍ，－６ｍｍ）のようにあらかじめ定められているものとする。このとき、判定部１４３は、マーカ４０１の移動ベクトルとＡＵ４規定ベクトルの内積を計算し、ＡＵ４規定ベクトルの大きさで規格化する。ここで、内積がＡＵ４規定ベクトルの大きさと一致すれば、判定部１４３は、ＡＵ４の発生強度を５段階中の５と判定する。一方、内積がＡＵ４規定ベクトルの半分であれば、例えば、前述のリニアな換算ルールの場合は、判定部１４３は、ＡＵ４の発生強度を５段階中の３と判定する。
図７は、ＡＵ４規定ベクトルの一例を示す図である。図７には、ＡＵ４に対応するＡＵ４規定ベクトル（－２ｍｍ，－６ｍｍ）が太線で示されている。さらに、図７には、ＡＵ４に対応するマーカ４０１の個人別の移動ベクトルが細線で示されると共に、個人別の移動ベクトルが分散し得る範囲がハッチングで示されている。図７にハッチングで示すように、各個人のＡＵ４の移動ベクトルには分散があるが、単一のＡＵ４規定ベクトルに対して内積を計算することで、ＡＵ４規定ベクトル成分のみを抽出することができる。さらに、個人差の分散角度は小さいので、ＡＵ４規定ベクトルの設定精度が高くなくともＡＵ４の発生強度の判定精度に影響が少ない。
また、例えば、図６に示すように、ＡＵ１１に対応するＡＵ１１規定ベクトルの大きさが３ｍｍのようにあらかじめ定められているものとする。このとき、判定部１４３は、マーカ４０２とマーカ４０３の間の距離の変動量がＡＵ１１ベクトルの大きさと一致すれば、判定部１４３は、ＡＵ１１の発生強度を５段階中の５と判定する。一方、距離の変動量がＡＵ４規定ベクトルの半分であれば、例えば、前述のリニアな換算ルールの場合は、判定部１４３は、ＡＵ１１の発生強度を５段階中の３と判定する。このように、判定部１４３は、特定部１４２によって特定された第１のマーカの位置及び第２のマーカの位置との間の距離の変化を基に、発生強度を判定することができる。
このように、無表情時のマーカの位置を基準とする基準位置からのマーカの移動量変化に基づいてＡＵの発生強度を判定する判定方法の他、判定部１４３は、特定のＡＵを対象にして異なるＡＵの発生強度の判定方法を適用することができる。
例えば、特定のＡＵでは、特定のＡＵが単独で発現する場合と、特定のＡＵが他のＡＵと同時に発現する場合とでマーカの移動量変化の現れ方に差がある場合がある。図８Ａ～図８Ｃは、マーカ位置の一例を示す図である。図８Ａ～図８Ｃには、あくまで一例として、ＡＵ１５の観測に用いるマーカ４０５の位置が示されている。図８Ａには、被験者の表情がニュートラルである無表情時のマーカ４０５の位置が示されている。図８Ｂには、ＡＵ１５が単独で発現する場合のマーカ４０５の位置が示されている。図８Ｃには、ＡＵ１５がＡＵ１７と同時に発現する場合のマーカ４０５の位置が示されている。図９及び図１０は、マーカの移動量の一例を示す図である。図９及び図１０には、ＡＵ１５観測用のマーカ４０５の移動量が示されている。図９及び図１０には、無表情時におけるマーカ４０５のシルエットが破線で示される一方で、ＡＵ１５の発現時におけるマーカ４０５のシルエットを実線で示されている。図９及び図１０には、ＡＵ１５の発現時におけるマーカ４０５の動きが実線矢印で示されると共に、図１０には、ＡＵ１７の発現時におけるマーカ４０５の動きが破線矢印で示されている。
図８Ａ～図８Ｃに示すように、ＡＵ１５の推定には、口横に付されたマーカ４０５が用いられる。例えば、ＡＵ１５が単独で発現する場合、ＡＵ１５観測用のマーカ４０５は、図８Ａに示されたマーカ４０５の基準位置から図８Ｂに示すマーカ４０５の位置へ移動する。すなわち、図９に示すように、ＡＵ１５観測用のマーカ４０５は、ＡＵ１５の発現に伴って現れるマーカ４０５の動きにより下方向へ移動するので、無表情時の基準位置からＹ軸のマイナス方向へ変位がマーカ４０５の移動量として観測される。一方、ＡＵ１５及びＡＵ１７が同時に発現する場合、ＡＵ１５観測用のマーカ４０５は、図８Ａに示されたマーカ４０５の基準位置から図８Ｃに示すマーカ４０５の位置へ遷移する。この場合、図１０に示すように、ＡＵ１５の発現に伴って現れるマーカ４０５の動き（実線矢印）がＡＵ１７の発現に伴う動き（破線矢印）の影響を受け、Ｙ軸のマイナス方向へ変位を移動量として観測するのが困難な場合がある。
この場合、ＡＵ１５に対応するＡＵ１５規定ベクトル（０ｍｍ，－１ｍｍ）と、ＡＵ１５観測用のマーカ４０５の移動ベクトルとの類似度、例えば内積を計算したとしても、ＡＵ１５及びＡＵ１７の同時発現時の類似度が低くなる場合がある。
このことから、ＡＵ１５を含む特定のマーカの発生強度を判定する場合、判定部１４３は、無表情時における複数のマーカの相対位置関係を基準とし、当該相対位置関係の変化量に基づいて特定のマーカの発生強度を判定する。
以下、特定のＡＵのあくまで一例として、ＡＵ１５を例に挙げる。例えば、ＡＵ１５の発生強度の判定には、第１のマーカの例として、口横に付されたマーカ４０５が用いられると共に、第２のマーカの例として、下唇に付されたマーカ４０６が用いられる。なお、ここでは、２つのマーカが用いられる例を挙げるが、３つ以上のマーカが用いられることとしてもよい。
上記の相対位置関係は、任意の次元数で定義できる。例えば、マーカの位置が３次元で表現される場合、相対位置関係は、最大で３次元で定義することができるが、これに限らず、１次元、あるいは２次元に絞り込んで定義することもできる。あくまで一例として、相対位置関係には、特定のＡＵごとに異なる次元数を設定することができ、相対位置関係を定義する次元数は、ＡＵの規定ベクトルに含まれる成分別の大きさに基づいて絞り込むことができる。例えば、下記の式（１）に示すＡＵ１５規定ベクトルの場合、ＡＵ１５規定ベクトルのＸ成分＜ＡＵ１５規定ベクトルのＹ成分であるので、Ｙ方向の１次元に絞り込むことができる。この場合、相対位置関係は、下記の式（２）に示す通り、口横のマーカ４０５のＹ座標と下唇のマーカ４０６のＹ座標との差により定義できる。なお、ここでは、ＡＵ規定ベクトルの成分間で大きさが最大である成分に次元数を絞り込む例を挙げたが、大きさが閾値以上である成分に次元数を絞り込むこととしてもよいし、大きさが閾値以下である成分を除外することもできる。
ＡＵ１５規定ベクトル：（０，－１）・・・（１）
相対位置関係：Ｙ［口横－下唇］・・・（２）
このような相対位置関係の定義の下、判定部１４３は、無表情時および判定時の間における相対位置関係の変化量に基づいてＡＵ１５規定ベクトルとの類似度、例えば内積を計算する。つまり、下記の式（３）に示す通り、相対位置関係の変化量と、ＡＵ１５規定ベクトルとの内積を計算することにより、ＡＵ１５の発生強度を判定する。例えば、下記の式（３）に従えば、相対位置関係の変化量ΔＹは、次のように算出される。例えば、変化量ΔＹは、口横のマーカ４０５の基準位置からのＹ方向の移動量、すなわち口横のマーカ４０５のＹ方向の変位と、下唇のマーカ４０６の基準位置からのＹ方向の移動量、すなわち下唇のマーカ４０６のＹ方向の変位との差により算出できる。
ΔＹ［口横－下唇］・（０，－１）・・・（３）
これにより、ＡＵ１５がＡＵ１７と同時に発現する場合でも、ＡＵ１５の発生強度を判定できる。例えば、ＡＵ１５が単独で発現する場合、口横のマーカ４０５及び下唇のマーカ４０６は、図８Ａに示す位置から図８Ｂに示す位置へ変化する。この場合、口横のマーカ４０５のＹ軸のマイナス方向への変位が観測される一方で、下唇のマーカ４０６の変位は観測されない。このため、ＡＵ１５単独の発現時には、下記の式（４）に示す内積計算が実行される。この場合、相対位置関係の変化量ΔＹとして、Ｙ軸のマイナス方向への変位が内積計算に用いられるので、内積はゼロよりも大きくなる結果、ＡＵ１５の発現の検知漏れは発生せず、ＡＵ１５の発生強度を判定できる。一方、ＡＵ１５がＡＵ１７と同時に発現する場合、口横のマーカ４０５及び下唇のマーカ４０６は、図８Ａに示す位置から図８Ｃに示す位置へ変化する。この場合、口横のマーカ４０５の変位は観測されない一方で、下唇のマーカ４０６のＹ軸のプラス方向への変位は観測される。このため、ＡＵ１５及びＡＵ１７の同時発現時には、下記の式（５）に示す内積計算が実行される。この場合も、相対位置関係の変化量ΔＹとして、Ｙ軸のマイナス方向への変位が内積計算に用いられるので、内積はゼロよりも大きくなる結果、ＡＵ１５の発現の検知漏れは発生せず、ＡＵ１５の発生強度を判定できる。
ΔＹ［口横］・（０，－１）・・・（４）
ΔＹ［口横－下唇］・（０，－１）・・・（５）
図１１及び図１２は、ＡＵの発生強度の推定値の一例を示す図である。これら図１１及び図１２では、被験者がＡＵ１５を発生強度「小」、発生強度「中」、発生強度「大」の順に繰り返す様子がＲＧＢカメラ３１及びＩＲカメラ３２により撮影される場合のＡＵの発生強度の推定値が示されている。図１１及び図１２には、横軸を時刻とし、縦軸をＡＵの発生強度とするグラフが示されている。図１１に示すグラフｇ１及び図１２に示すグラフＧ１には、リファレンスとして、正解のＡＵ１５の発生強度が矩形状のマークでプロットされている。
図１１に示すグラフｇ１には、口横のマーカ４０５の移動ベクトルと、ＡＵ１５規定ベクトル（０，－１）との内積に基づいてＡＵ１５の発生強度を判定する場合のＡＵ１５の発生強度の推定値が示されている。図１１に示すグラフｇ１によれば、ＡＵ１５の発生強度が「小」および「中」である場合、リファレンスのＡＵ１５の発生強度と、ＡＵ１５の発生強度の推定値とが略一致しているので、口横のマーカ４０５単独でもＡＵ１５の発生強度を推定できることがわかる。その一方で、ＡＵ１５の発生強度が「大」である場合、リファレンスのＡＵ１５の発生強度と、ＡＵ１５の発生強度の推定値とが乖離している。すなわち、ＡＵ１５の発生強度の推定値は、リファレンスのＡＵ１５の発生強度に比べて低く、ＡＵ１５の発現の検知漏れが発生している。さらに、図１１に示すグラフｇ２には、ＡＵ１７の発生強度の推定値が示されている。図１１に示すグラフｇ１及びグラフｇ２を比較すると、ＡＵ１５の発生強度が「大」である時間帯と、ＡＵ１７が発現している時間帯とが同期していることが明らかである。これは、ＡＵ１５の発生強度が「大」である場合、ＡＵ１７の発現が伴い易いことを意味する。これらのことから、口横のマーカ４０５単独では、ＡＵ１５及びＡＵ１７の同時発現時にＡＵ１５の発生強度の推定が困難であることを推定できる。
図１２に示すグラフＧ１には、口横のマーカ４０５及び下唇のマーカ４０６の相対位置関係の変化量に基づいてＡＵ１５の発生強度を判定する場合のＡＵ１５の発生強度の推定値が示されている。図１２に示すグラフＧ１によれば、ＡＵ１５の発生強度が「小」、「中」および「大」のいずれである場合でも、リファレンスのＡＵ１５の発生強度と、ＡＵ１５の発生強度の推定値とが略一致している。このため、ＡＵ１５及びＡＵ１７の同時発現時においてもＡＵ１５の発生強度を判定できることが明らかであると言える。
以上のように判定されたＡＵの発生強度は、ＲＧＢカメラ３１により撮像された画像に関連付けて生成装置２０へ出力される。この他、判定装置１０は、判定部１４３により判定されたＡＵの発生強度が関連付けられたＲＧＢカメラ３１の撮像画像を発生強度付きの画像１３１として記憶部１３へ保存することもできる。
次に、生成装置２０により実行される訓練データの生成について説明する。生成装置２０は、マスク画像を用いてマーカを削除することができる。図１３は、マスク画像の作成方法の一例を説明する図である。図１３の符号１１０は、ＲＧＢカメラ３１によって撮像された画像である。まず、生成装置２０は、あらかじめ意図的に付けられたマーカの色を抽出して代表色として定義する。そして、図１３に示す符号１１０Ｂのように、生成装置２０は、代表色近傍の色の領域画像を生成する。さらに、図７に示す符号１１０Ｃのように、生成装置２０は、代表色近傍の色の領域に対し収縮、膨張等の処理を行い、マーカ削除用のマスク画像を生成する。また、マーカの色を顔の色としては存在しにくい色に設定しておくことで、マーカの色の抽出精度を向上させてもよい。
図１４は、マーカの削除方法の一例を説明する図である。図１４に示すように、まず、生成装置２０は、動画から取得した静止画に対し、マスク画像を適用する。さらに、生成装置２０は、マスク画像を適用した画像を例えばニューラルネットワークに入力し、処理済みの画像を得る。なお、ニューラルネットワークは、被験者のマスクありの画像及びマスクなしの画像等を用いて学習済みであるものとする。なお、動画から静止画を取得することにより、表情変化の途中データが得られることや、短時間で大量のデータが得られることがメリットとして生じる。また、生成装置２０は、ニューラルネットワークとして、ＧＭＣＮＮ（Generative Multi-column Convolutional Neural Networks）やＧＡＮ（Generative Adversarial Networks）を用いてもよい。
なお、生成装置２０がマーカを削除する方法は、上記のものに限られない。例えば、生成装置２０は、あらかじめ定められたマーカの形状を基にマーカの位置を検出し、マスク画像を生成してもよい。また、ＩＲカメラ３２とＲＧＢカメラ３１の相対位置のキャリブレーションを事前に行うようにしてもよい。この場合、生成装置２０は、ＩＲカメラ３２によるマーカトラッキングの情報からマーカの位置を検出することができる。
また、生成装置２０は、マーカにより異なる検出方法を採用してもよい。例えば、鼻上のマーカは動きが少なく、形状を認識しやすいため、生成装置２０は、形状認識により位置を検出してもよい。また、口横のマーカは動きが大きく、形状を認識しにくいため、生成装置２０は、代表色を抽出する方法で位置を検出してもよい。
このようにマーカが削除された後、生成装置２０は、生成された画像に第１のＡＵに関する情報を付与することによって機械学習用の訓練データを生成する。例えば、生成装置２０は、生成された画像に、判定部１４３によって判定されたＡＵの発生強度を付与することによって機械学習用の訓練データを生成する。また、機械学習装置５０は、生成装置２０によって生成された訓練データを既存の訓練データに加えて機械学習を実行してもよい。
例えば、訓練データは、画像を入力として、発生しているＡＵを推定する推定モデルの機械学習に使用できる。また、推定モデルは各ＡＵに特化したモデルであってもよい。推定モデルが特定のＡＵに特化したものである場合、生成装置２０は、生成した訓練データを、当該特定のＡＵに関する情報のみを教師ラベルとする訓練データに変更してもよい。つまり、生成装置２０は、特定のＡＵと異なる他のＡＵが発生している画像に関しては、他のＡＵに関する情報を削除して、当該特定のＡＵは発生していない旨の情報を教師ラベルとして付加することができる。
本実施例によれば、必要な訓練データの見積もりを行うことができる。一般に、機械学習を実施するためには、膨大な計算コストがかかる。計算コストには、時間やＧＰＵ等の使用量が含まれる。
データセットの質及び量が改善すると、機械学習によって得られるモデルの精度は改善する。そのため、事前に目標精度に対して必要なデータセットの質及び量の大まかな見積もりができれば、計算コストが削減される。ここで、例えば、データセットの質は、マーカの削除率及び削除精度である。また、例えば、データセットの量は、データセット数及び被験者の人数である。
ＡＵの組み合わせ中には、互いの相関が高い組み合わせがある。このため、あるＡＵに対して行った見積りは、当該ＡＵと相関が高い他のＡＵに適用できると考えられる。例えば、ＡＵ１８とＡＵ２２の相関は高いことが知られており、対応するマーカが共通する場合がある。このため、ＡＵ１８の推定精度が目標に達する程度のデータセットの質及び量の見積もりができれば、ＡＵ２２の推定精度が目標に達する程度のデータセットの質及び量の大まかな見積もりが可能になる。
機械学習装置５０により生成された機械学習モデルＭは、ＡＵの発生強度の推定を実行する推定装置（不図示）へ提供され得る。推定装置は、機械学習装置５０によって生成された機械学習モデルＭを用いて、実際に推定を行う。推定装置は、人物の顔が写った画像であって、各ＡＵの発生強度が未知である画像を取得し、取得された画像を機械学習モデルＭへ入力することにより機械学習モデルＭが出力するＡＵの発生強度をＡＵの推定結果として任意の出力先へ出力できる。このような出力先は、あくまで一例として、ＡＵの発生強度を用いて顔の表情を推定したり、あるいは理解度や満足度を算出したりする装置、プログラム、あるいはサービスなどであってよい。
次に、判定装置１０の処理の流れを説明する。図１５は、発生強度の判定処理の手順を示すフローチャートである。図１５に示すように、まず、判定装置１０は、被験者の顔の撮像画像を取得する（ステップＳ１０１）。次に、判定装置１０は、ステップＳ１０１で取得された撮像画像に含まれるマーカの位置を特定する（ステップＳ１０２）。
そして、判定装置１０は、ＡＵの個数Ｋに対応する回数の分、ステップＳ１０２からステップＳ１０７までの処理を繰り返すループ処理１を実行する。
例えば、判定装置１０は、ＡＵを１つ選択する（ステップＳ１０３）。このとき、選択中のＡＵが特定のＡＵでない場合（ステップＳ１０４Ｎｏ）、判定装置１０は、次のような処理を実行する。すなわち、判定装置１０は、ステップＳ１０２で特定したマーカの位置のうち、選択中のＡＵの推定に割り当てられたマーカの位置と基準位置を基に、マーカの移動ベクトルを計算する（ステップＳ１０５）。そして、判定装置１０は、移動ベクトルを基にＡＵの発生強度を判定する（ステップＳ１０６）。
一方、選択中のＡＵが特定のＡＵである場合（ステップＳ１０４Ｙｅｓ）、判定装置１０は、次のような処理を実行する。すなわち、判定装置１０は、ステップＳ１０２で特定したマーカの位置のうち、特定のＡＵの推定に割り当てられた複数のマーカの各々の位置に基づいて、複数のマーカの相対位置関係の変化量を計算する（ステップＳ１０７）。続いて、判定装置１０は、ステップＳ１０７で計算された相対位置関係の変化量と、特定のＡＵの規定ベクトルとの内積に基づいて特定のＡＵの発生強度を判定する（ステップＳ１０８）。
このようなループ処理１が繰り返されることにより、ＡＵごとに発生強度を判定できる。なお、図１５に示すフローチャートでは、上記のステップＳ１０３から上記のステップＳ１０８までの処理がループ処理として実行される例を挙げたが、これに限定されず、ＡＵごとに並列して実行されることとしてもよい。
次に、生成装置２０の処理の流れを説明する。図１６は、訓練データの生成処理の手順を示すフローチャートである。図１６に示すように、まず、生成装置２０は、撮像画像のマーカの位置を特定する（ステップＳ３０１）。生成装置２０は、画像からマーカを削除する（ステップＳ３０２）。そして、生成装置２０は、ＡＵの発生強度をマーカが削除された画像に付与する（ステップＳ３０３）。
上述してきたように、本実施例に係る判定装置１０は、無表情時における複数のマーカの相対位置関係を基準とし、判定実行時点における相対位置関係の変化量に基づいて特定ＡＵの発生強度を判定する。したがって、本実施例に係る判定装置１０によれば、特定ＡＵと他のＡＵの同時発現時に特定ＡＵの発生強度を判定できる。
なお、上記の実施例では、判定装置１０、生成装置２０及び機械学習装置５０の各々が個別の装置とされる場合を例示したが、判定装置１０が生成装置２０の機能、あるいは生成装置２０及び機械学習装置５０の両方の機能を併せ持つこととしてもよい。
なお、上記の実施例では、判定部１４３が、マーカの移動量を基にＡＵの発生強度を判定するものとして説明した。一方で、マーカが動かなかったことも、判定部１４３による発生強度の判定基準になり得る。
また、マーカの周囲には、検出しやすい色が配置されていてもよい。例えば、中央にＩＲマーカを置いた丸い緑色の粘着シールを被験者に付してもよい。この場合、生成装置２０は、撮像画像から緑色の丸い領域を検出し、当該領域をＩＲマーカごと削除することができる。
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。また、実施例で説明した具体例、分布、数値等は、あくまで一例であり、任意に変更することができる。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
図１７は、ハードウェア構成例を説明する図である。図１７に示すように、判定装置１０は、通信インタフェース１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図１７に示した各部は、バス等で相互に接続される。
通信インタフェース１０ａは、ネットワークインタフェイスカード等であり、他のサーバとの通信を行う。ＨＤＤ１０ｂは、図３に示した機能を動作させるプログラムやＤＢを記憶する。
プロセッサ１０ｄは、図３に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂ等から読み出してメモリ１０ｃに展開することで、図３等で説明した各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、判定装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、取得部１４１、特定部１４２及び判定部１４３と同様の機能を有するプログラムをＨＤＤ１０ｂ等から読み出す。そして、プロセッサ１０ｄは、取得部１４１、特定部１４２及び判定部１４３等と同様の処理を実行するプロセスを実行する。
このように判定装置１０は、プログラムを読み出して実行することで判定方法を実行する情報処理装置として動作する。また、判定装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、判定装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータ又はサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。
このプログラムは、インターネット等のネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）第１のマーカと第２のマーカとを付した顔を含む画像を取得し、
前記画像に含まれる前記第１のマーカの第１の位置と前記第２のマーカの第２の位置とを特定し、
前記第１の位置と前記第１のマーカの基準位置との差と、前記第１の位置と第２の位置との位置関係と前記第１のマーカと前記第２のマーカとの基準位置関係との差とに基づいて、前記顔における特定の表情の発生強度を判定し、
前記画像と関連付けて、判定された前記特定の表情の発生強度を出力する、
処理をコンピュータに実行させることを特徴とする判定プログラム。
（付記２）前記基準位置は、前記顔の表情がニュートラルな状態である無表情時における前記第１のマーカの位置に対応する、
ことを特徴とする付記１に記載の判定プログラム。
（付記３）前記位置関係と前記基準位置関係との前記差は、前記第１のマーカの基準位置からの移動量と、前記第２のマーカの基準位置からの移動量との差に対応する、
ことを特徴とする付記２に記載の判定プログラム。
（付記４）前記判定する処理で判定した前記特定の表情の発生強度を正解ラベルとして、前記画像から前記第１のマーカ及び前記第２のマーカを削除した画像に付与することにより、機械学習モデルの訓練に用いる訓練データを生成する処理を前記コンピュータにさらに実行させる、
ことを特徴とする付記１に記載の判定プログラム。
（付記５）前記訓練データに含まれる前記画像を前記機械学習モデルの説明変数とし、前記訓練データに含まれる前記正解ラベルを前記機械学習モデルの目的変数とする機械学習を実行する処理を前記コンピュータにさらに実行させる、
ことを特徴とする付記４に記載の判定プログラム。
（付記６）第１のマーカと第２のマーカとを付した顔を含む画像を取得し、
前記画像に含まれる前記第１のマーカの第１の位置と前記第２のマーカの第２の位置とを特定し、
前記第１の位置と前記第１のマーカの基準位置との差と、前記第１の位置と第２の位置との位置関係と前記第１のマーカと前記第２のマーカとの基準位置関係との差とに基づいて、前記顔における特定の表情の発生強度を判定し、
前記画像と関連付けて、判定された前記特定の表情の発生強度を出力する、
処理をコンピュータが実行することを特徴とする判定方法。
（付記７）前記基準位置は、前記顔の表情がニュートラルな状態である無表情時における前記第１のマーカの位置に対応する、
ことを特徴とする付記６に記載の判定方法。
（付記８）前記位置関係と前記基準位置関係との前記差は、前記第１のマーカの基準位置からの移動量と、前記第２のマーカの基準位置からの移動量との差に対応する、
ことを特徴とする付記７に記載の判定方法。
（付記９）前記判定する処理で判定した前記特定の表情の発生強度を正解ラベルとして、前記画像から前記第１のマーカ及び前記第２のマーカを削除した画像に付与することにより、機械学習モデルの訓練に用いる訓練データを生成する処理を前記コンピュータがさらに実行する、
ことを特徴とする付記６に記載の判定方法。
（付記１０）前記訓練データに含まれる前記画像を前記機械学習モデルの説明変数とし、前記訓練データに含まれる前記正解ラベルを前記機械学習モデルの目的変数とする機械学習を実行する処理を前記コンピュータがさらに実行する、
ことを特徴とする付記９に記載の判定方法。
（付記１１）第１のマーカと第２のマーカとを付した顔を含む画像を取得し、
前記画像に含まれる前記第１のマーカの第１の位置と前記第２のマーカの第２の位置とを特定し、
前記第１の位置と前記第１のマーカの基準位置との差と、前記第１の位置と第２の位置との位置関係と前記第１のマーカと前記第２のマーカとの基準位置関係との差とに基づいて、前記顔における特定の表情の発生強度を判定し、
前記画像と関連付けて、判定された前記特定の表情の発生強度を出力する、
処理を実行する制御部を含む判定装置。
（付記１２）前記基準位置は、前記顔の表情がニュートラルな状態である無表情時における前記第１のマーカの位置に対応する、
ことを特徴とする付記１１に記載の判定装置。
（付記１３）前記位置関係と前記基準位置関係との前記差は、前記第１のマーカの基準位置からの移動量と、前記第２のマーカの基準位置からの移動量との差に対応する、
ことを特徴とする付記１２に記載の判定装置。
（付記１４）前記判定する処理で判定した前記特定の表情の発生強度を正解ラベルとして、前記画像から前記第１のマーカ及び前記第２のマーカを削除した画像に付与することにより、機械学習モデルの訓練に用いる訓練データを生成する処理を前記制御部がさらに実行する、
ことを特徴とする付記１１に記載の判定装置。
（付記１５）前記訓練データに含まれる前記画像を前記機械学習モデルの説明変数とし、前記訓練データに含まれる前記正解ラベルを前記機械学習モデルの目的変数とする機械学習を実行する処理を前記制御部がさらに実行する、
ことを特徴とする付記１４に記載の判定装置。
１ 機械学習システム
１０ 判定装置
１１ 通信制御部
１３ 記憶部
１３１ 発生強度付き画像
１４ 制御部
１４１ 取得部
１４２ 特定部
１４３ 判定部
２０ 生成装置
５０ 機械学習装置

Claims (7)

  1. 第１のマーカと第２のマーカとを付した顔を含む画像を取得し、
    前記画像に含まれる前記第１のマーカの第１の位置と前記第２のマーカの第２の位置とを特定し、
    前記第１の位置と前記第１のマーカの基準位置との差と、前記第１の位置と第２の位置との位置関係と前記第１のマーカと前記第２のマーカとの基準位置関係との差とに基づいて、前記顔における特定の表情の発生強度を判定し、
    前記画像と関連付けて、判定された前記特定の表情の発生強度を出力する、
    処理をコンピュータに実行させることを特徴とする判定プログラム。
  2. 前記基準位置は、前記顔の表情がニュートラルな状態である無表情時における前記第１のマーカの位置に対応する、
    ことを特徴とする請求項１に記載の判定プログラム。
  3. 前記位置関係と前記基準位置関係との前記差は、前記第１のマーカの基準位置からの移動量と、前記第２のマーカの基準位置からの移動量との差に対応する、
    ことを特徴とする請求項２に記載の判定プログラム。
  4. 前記判定する処理で判定した前記特定の表情の発生強度を正解ラベルとして、前記画像から前記第１のマーカ及び前記第２のマーカを削除した画像に付与することにより、機械学習モデルの訓練に用いる訓練データを生成する処理を前記コンピュータにさらに実行させる、
    ことを特徴とする請求項１～３のいずれか１つに記載の判定プログラム。
  5. 前記訓練データに含まれる前記画像を前記機械学習モデルの説明変数とし、前記訓練データに含まれる前記正解ラベルを前記機械学習モデルの目的変数とする機械学習を実行する処理を前記コンピュータにさらに実行させる、
    ことを特徴とする請求項４に記載の判定プログラム。
  6. 第１のマーカと第２のマーカとを付した顔を含む画像を取得し、
    前記画像に含まれる前記第１のマーカの第１の位置と前記第２のマーカの第２の位置とを特定し、
    前記第１の位置と前記第１のマーカの基準位置との差と、前記第１の位置と第２の位置との位置関係と前記第１のマーカと前記第２のマーカとの基準位置関係との差とに基づいて、前記顔における特定の表情の発生強度を判定し、
    前記画像と関連付けて、判定された前記特定の表情の発生強度を出力する、
    処理をコンピュータが実行することを特徴とする判定方法。
  7. 第１のマーカと第２のマーカとを付した顔を含む画像を取得し、
    前記画像に含まれる前記第１のマーカの第１の位置と前記第２のマーカの第２の位置とを特定し、
    前記第１の位置と前記第１のマーカの基準位置との差と、前記第１の位置と第２の位置との位置関係と前記第１のマーカと前記第２のマーカとの基準位置関係との差とに基づいて、前記顔における特定の表情の発生強度を判定し、
    前記画像と関連付けて、判定された前記特定の表情の発生強度を出力する、
    処理を実行する制御部を含む判定装置。
JP2021173488A 2021-10-22 2021-10-22 判定プログラム、判定方法及び判定装置 Pending JP2023063154A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021173488A JP2023063154A (ja) 2021-10-22 2021-10-22 判定プログラム、判定方法及び判定装置
US17/866,563 US20230130397A1 (en) 2021-10-22 2022-07-18 Determination method and information processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021173488A JP2023063154A (ja) 2021-10-22 2021-10-22 判定プログラム、判定方法及び判定装置

Publications (1)

Publication Number Publication Date
JP2023063154A true JP2023063154A (ja) 2023-05-09

Family

ID=86057072

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021173488A Pending JP2023063154A (ja) 2021-10-22 2021-10-22 判定プログラム、判定方法及び判定装置

Country Status (2)

Country Link
US (1) US20230130397A1 (ja)
JP (1) JP2023063154A (ja)

Also Published As

Publication number Publication date
US20230130397A1 (en) 2023-04-27

Similar Documents

Publication Publication Date Title
JP7452016B2 (ja) 学習データ生成プログラム、及び学習データ生成方法
US8355529B2 (en) Motion capture apparatus and method, and motion capture program
Shreve et al. Macro-and micro-expression spotting in long videos using spatio-temporal strain
KR20110013200A (ko) 인체 자세 식별 방법 및 장치
JP2009020761A (ja) 画像処理装置及びその方法
CN113449570A (zh) 图像处理方法和装置
JP2019079487A (ja) パラメータ最適化装置、パラメータ最適化方法、プログラム
JP7379065B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2013125307A (ja) 計測対象抽出装置、顔形状推定装置、計測対象抽出方法および顔形状推定方法
US20230368409A1 (en) Storage medium, model training method, and model training device
US20230046705A1 (en) Storage medium, determination device, and determination method
WO2020261403A1 (ja) 身長推定装置、身長推定方法及びプログラムが格納された非一時的なコンピュータ可読媒体
JP2023063154A (ja) 判定プログラム、判定方法及び判定装置
JP2021047538A (ja) 画像処理装置、画像処理方法、及びプログラム
WO2019156241A1 (ja) 学習装置、推定装置、学習方法、推定方法及びコンピュータプログラム
JP7452015B2 (ja) 判定プログラム、判定方法、判定装置
JP5276454B2 (ja) 表情測定方法、表情測定プログラムならびに表情測定装置
JP7311046B2 (ja) 判定プログラム、判定装置、および判定方法
JP2022190954A (ja) 表情判定プログラム、表情判定装置、および表情判定方法
JP7152651B2 (ja) プログラム、情報処理装置、及び情報処理方法
WO2021084687A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラムが格納された非一時的なコンピュータ可読媒体
JP2021196899A (ja) 画像処理装置、画像処理方法、及びプログラム
JP4942197B2 (ja) テンプレート作成装置及び表情認識装置並びにその方法、プログラム及び記録媒体
JP6282121B2 (ja) 画像認識装置、画像認識方法およびプログラム
Majerník Reconstruction of Human Motion Trajectories to Support Human Gait Analysis in Free Moving Subjects