JP2019105729A - 人物評価装置、プログラム、及び、方法 - Google Patents
人物評価装置、プログラム、及び、方法 Download PDFInfo
- Publication number
- JP2019105729A JP2019105729A JP2017237950A JP2017237950A JP2019105729A JP 2019105729 A JP2019105729 A JP 2019105729A JP 2017237950 A JP2017237950 A JP 2017237950A JP 2017237950 A JP2017237950 A JP 2017237950A JP 2019105729 A JP2019105729 A JP 2019105729A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- voice
- evaluation
- face
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Abstract
Description
<人物評価装置>
図1は、本発明の一実施形態に係る人物評価装置の構成例を示すブロック図である。人物評価装置としては、例えば、パーソナルコンピューター、タブレット端末、又は、スマートフォン等を使用することができる。以下においては、一例として、人物評価装置としてパーソナルコンピューターを使用する場合について説明する。
入出力インターフェース30又はネットワークインターフェース40等から供給される音声データ又は動画像データは、生データ格納部71に格納される。音声処理部51は、生データ格納部71から音声データを読み出して音声データを取得する。
音声処理部51は、このようにして生成された声紋データを声紋データ格納部72に格納する。音声解析部52は、声紋データ格納部72から声紋データを読み出して、複数の周波数帯域における音圧の大きさ及び広がりに応じてデータブロックを分類し、所定数のデータブロックの分類結果に基づいて被検者の音声に関する評価を行う。
AVE=(S0×N0+S1×N1+S2×N2)/N ・・・(1)
ここで、N0〜N2はゼロ以上の整数であり、Nは3以上の整数であって、次式(2)が成立する。
N=N0+N1+N2 ・・・(2)
例えば、式(1)において、S0=0、S1=1、S2=3〜5としても良い。
生データ格納部71に動画像データが格納された場合には、画像処理部53が、生データ格納部71から動画像データを読み出して動画像データを取得する。例えば、動画像データは、1秒間に24フレームの画像を表しており、視覚的評価のために、撮像開始後5秒〜60秒の55秒間の評価期間における画像を表す動画像データが用いられる。
学習データ格納部73には、例えば、標準的な人間の顔又はその模型等を用いて予め撮影された画像を表す画像データと、その画像において設定された複数の特徴点の座標とが、顔認識学習データとして予め格納されている。画像処理部53は、顔認識学習データに基づいて、被検者の顔を撮像して得られる画像データに顔認識処理を施すことにより、被検者の顔から複数の特徴点を抽出し、それらの特徴点の座標を求める。
x=u+Psbs ・・・(3)
ここで、bsは、パラメーターベクトルであり、形状パラメーターと呼ばれる。
g=v+Pgbg ・・・(4)
ここで、bgは、パラメーターベクトルであり、アピアランスパラメーターと呼ばれる。形状パラメーターbs及びアピアランスパラメーターbgは、平均からの変化を表すパラメーターであり、これらを変化させることによって、形状及びアピアランスを変化させることができる。
x(c)=u+PsWs −1Qsc ・・・(5)
g(c)=v+PgQgc ・・・(6)
ここで、Wsは、形状ベクトルとアピアランスベクトルとの単位の違いを正規化する行列であり、Qsは、形状に関する固有ベクトル行列であり、Qgは、アピアランスに関する固有ベクトル行列である。このようにして、結合パラメーターcを制御することによって、形状とアピアランスとを同時に扱い、対象の変化を表現することが可能となる。
q=[roll scale trans_x trans_y] ・・・(7)
ここで、rollは、画像平面に対するモデルの回転角度を表し、scaleは、モデルのサイズを表し、trans_x及びtrans_yは、それぞれx軸方向及びy軸方向におけるモデルの平行移動量を表している。
Er=[(v+PgQgc')−I(Img,W(X;q',bs'))]2
・・・(8)
Fr=(Er(1)+Er(2)+・・・+Er(K))/K ・・・(9)
従って、誤差値Er又はフィット率Frが小さくなるような結合パラメーターc及び姿勢パラメーターqを決定することにより、高精度な顔認識処理を行うことができる。
画像解析部54は、座標データ格納部75から所定数のフレームにおける複数の特徴点の座標を読み出して、所定数のフレームにおける複数の特徴点の座標に基づいて被検者の顔の動き量を算出し、評価期間における被検者の顔の動き量の統計処理に基づいて被検者の視覚的な評価を行う。動画像データが1秒間に24フレームの画像を表す場合に、所定数のフレームは、1秒間に相当する24フレームでも良い。
VX=(1/L)Σ(X(i)−EX)2 ・・・(10)
ここで、i=1〜Lであり、EXは、L個のフレームにおけるX(i)の平均値である。
VY=(1/L)Σ(Y(i)−EY)2 ・・・(11)
ここで、i=1〜Lであり、EYは、L個のフレームにおけるY(i)の平均値である。画像解析部54は、評価期間における複数の分散値VYを、その大きさに応じてM個の階級に分類することにより、第j番目の階級に属する分散値VY(j)の存在確率PY(j)を求める(j=1〜M)。
VZ=(1/L)Σ(Z(i)−EZ)2 ・・・(12)
ここで、i=1〜Lであり、EZは、L個のフレームにおけるZ(i)の平均値である。画像解析部54は、評価期間における複数の分散値VZを、その大きさに応じてM個の階級に分類することにより、第j番目の階級に属する分散値VZ(j)の存在確率PZ(j)を求める(j=1〜M)。
同一被検者の音声評価データ及び視覚的評価データが評価データ格納部74に格納された場合に、総合評価部55は、評価データ格納部74から音声評価データ及び視覚的評価データを読み出して、音声解析部52による評価結果と画像解析部54による評価結果とに基づいて被検者の人物評価を行う。例えば、総合評価部55は、音声評価における複数のランクと視覚的評価における複数のランクとに基づいて2次元状に配列された複数のマッピングエリアを用いて被検者の人物評価を行う。
次に、本発明の一実施形態に係る人物評価装置において用いられる人物評価方法について、図1〜図12を参照しながら説明する。図12は、本発明の一実施形態に係る人物評価方法を示すフローチャートである。なお、互いに独立な処理については、それらを並列に行っても良い。
図13及び図14は、動画像データの処理フローの例を示すフローチャートである。この例において、動画像データは、1秒間に24フレームの画像を表している。
図13に示すステップS21において、画像処理部53が、被検者の視覚的評価のために人物評価装置に供給される動画像データを格納する生データ格納部71から、撮像開始後5秒〜60秒の55秒間の評価期間における画像を表す動画像データを取得して、フレーム番号nを1に設定する。
Claims (11)
- 被検者の音声を収録して得られる音声データを単位時間当りのデータブロック毎にフーリエ変換し、データブロック毎に複数の周波数帯域における音圧分布を表す声紋データを生成する音声処理部と、
前記複数の周波数帯域における音圧の大きさ及び広がりに応じてデータブロックを分類し、所定数のデータブロックの分類結果に基づいて前記被検者の音声に関する評価を行う音声解析部と、
を備える人物評価装置。 - 前記音声解析部が、いずれかの周波数領域において音圧が閾値を超えるか否かに応じてデータブロックを分類し、さらに、いずれかの周波数領域において音圧が閾値を超えるデータブロックを、音圧が閾値を超えて極大となる周波数帯域の数に応じて分類する、請求項1記載の人物評価装置。
- 前記音声解析部が、いずれかの周波数領域において音圧が閾値を超えるデータブロックに対して、全ての周波数領域において音圧が閾値以下であるデータブロックの得点よりも高い得点を与え、音圧が閾値を超えて極大となる周波数帯域の数が所定の値を超えるデータブロックに対して、音圧が閾値を超えて極大となる周波数帯域の数が所定の値以下であるデータブロックの得点よりも高い得点を与えて、所定数のデータブロックの得点の合計値又は平均値に基づいて前記被検者の音声に関するランクを判定する、請求項1又は2記載の人物評価装置。
- 前記被検者の顔を撮像して得られる動画像データに対してフレーム毎に顔認識処理を施すことにより、前記被検者の顔において認識される複数の特徴点を抽出し、前記複数の特徴点の座標を求める画像処理部と、
所定数のフレームにおける前記複数の特徴点の座標に基づいて前記被検者の顔の動き量を算出し、評価期間における前記被検者の顔の動き量の統計処理に基づいて前記被検者の視覚的な評価を行う画像解析部と、
をさらに備える、請求項1〜3のいずれか1項記載の人物評価装置。 - 前記画像解析部が、前記動画像データによって表される前記被検者の画像における特定の部位の位置に基づいて定められる第1の軸、前記第1の軸に略直交する第2の軸、又は、前記第1及び第2の軸に略直交する第3の軸を回転中心とする前記被検者の顔の動き量を算出する、請求項4記載の人物評価装置。
- 前記画像解析部が、前記所定数のフレームにおける前記被検者の顔の向きを表す量の分散値を前記被検者の顔の動き量として算出し、前記評価期間における前記分散値の確率分布に基づいて前記被検者の視覚的評価に関するランクを判定する、請求項4又は5記載の人物評価装置。
- 前記音声解析部による評価結果と前記画像解析部による評価結果とに基づいて前記被検者の人物評価を行う総合評価部をさらに備える、請求項4〜6のいずれか1項記載の人物評価装置。
- 被検者の音声を収録して得られる音声データを単位時間当りのデータブロック毎にフーリエ変換し、データブロック毎に複数の周波数帯域における音圧分布を表す声紋データを生成する手順(a)と、
前記複数の周波数帯域における音圧の大きさ及び広がりに応じてデータブロックを分類し、所定数のデータブロックの分類結果に基づいて前記被検者の音声に関する評価を行う手順(b)と、
をCPUに実行させる人物評価プログラム。 - 前記被検者の顔を撮像して得られる動画像データに対してフレーム毎に顔認識処理を施すことにより、前記被検者の顔において認識される複数の特徴点を抽出し、前記複数の特徴点の座標を求める手順(c)と、
所定数のフレームにおける前記複数の特徴点の座標に基づいて前記被検者の顔の動き量を算出し、評価期間における前記被検者の顔の動き量の統計処理に基づいて前記被検者の視覚的な評価を行う手順(d)と、
手順(b)における評価結果と手順(d)における評価結果とに基づいて前記被検者の人物評価を行う手順(e)と、
をさらにCPUに実行させる、請求項8記載の人物評価プログラム。 - 被検者の音声を収録して得られる音声データを単位時間当りのデータブロック毎にフーリエ変換し、データブロック毎に複数の周波数帯域における音圧分布を表す声紋データを生成するステップ(a)と、
前記複数の周波数帯域における音圧の大きさ及び広がりに応じてデータブロックを分類し、所定数のデータブロックの分類結果に基づいて前記被検者の音声に関する評価を行うステップ(b)と、
を備える人物評価方法。 - 前記被検者の顔を撮像して得られる動画像データに対してフレーム毎に顔認識処理を施すことにより、前記被検者の顔において認識される複数の特徴点を抽出し、前記複数の特徴点の座標を求めるステップ(c)と、
所定数のフレームにおける前記複数の特徴点の座標に基づいて前記被検者の顔の動き量を算出し、評価期間における前記被検者の顔の動き量の統計処理に基づいて前記被検者の視覚的な評価を行うステップ(d)と、
ステップ(b)における評価結果とステップ(d)における評価結果とに基づいて前記被検者の人物評価を行うステップ(e)と、
をさらに備える、請求項10記載の人物評価方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017237950A JP6927495B2 (ja) | 2017-12-12 | 2017-12-12 | 人物評価装置、プログラム、及び、方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017237950A JP6927495B2 (ja) | 2017-12-12 | 2017-12-12 | 人物評価装置、プログラム、及び、方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019105729A true JP2019105729A (ja) | 2019-06-27 |
JP6927495B2 JP6927495B2 (ja) | 2021-09-01 |
Family
ID=67061237
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017237950A Active JP6927495B2 (ja) | 2017-12-12 | 2017-12-12 | 人物評価装置、プログラム、及び、方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6927495B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110930781A (zh) * | 2019-12-04 | 2020-03-27 | 广州云蝶科技有限公司 | 录播系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09147119A (ja) * | 1995-11-28 | 1997-06-06 | Toshiba Corp | 人物注目方向検出方式 |
JPH10301594A (ja) * | 1997-05-01 | 1998-11-13 | Fujitsu Ltd | 有音検出装置 |
JP2005107088A (ja) * | 2003-09-30 | 2005-04-21 | Yamaha Corp | 歌唱音声評価装置、カラオケ採点装置及びそのプログラム |
JP2005242567A (ja) * | 2004-02-25 | 2005-09-08 | Canon Inc | 動作評価装置及び方法 |
JP2006079533A (ja) * | 2004-09-13 | 2006-03-23 | Fuji Xerox Co Ltd | 情報処理装置及び情報処理方法、並びにコンピュータ・プログラム |
JP2006154213A (ja) * | 2004-11-29 | 2006-06-15 | Ntt Advanced Technology Corp | 声の響きの評価方法および評価装置 |
WO2009091029A1 (ja) * | 2008-01-16 | 2009-07-23 | Asahi Kasei Kabushiki Kaisha | 顔姿勢推定装置、顔姿勢推定方法、及び、顔姿勢推定プログラム |
JP2010256391A (ja) * | 2009-04-21 | 2010-11-11 | Takeshi Hanamura | 音声情報処理装置 |
JP6042015B1 (ja) * | 2016-06-07 | 2016-12-14 | 株式会社採用と育成研究社 | オンライン面接評価装置、方法およびプログラム |
JP2017151694A (ja) * | 2016-02-24 | 2017-08-31 | 株式会社デンソー | 安全確認診断システム及び安全確認診断方法 |
-
2017
- 2017-12-12 JP JP2017237950A patent/JP6927495B2/ja active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09147119A (ja) * | 1995-11-28 | 1997-06-06 | Toshiba Corp | 人物注目方向検出方式 |
JPH10301594A (ja) * | 1997-05-01 | 1998-11-13 | Fujitsu Ltd | 有音検出装置 |
JP2005107088A (ja) * | 2003-09-30 | 2005-04-21 | Yamaha Corp | 歌唱音声評価装置、カラオケ採点装置及びそのプログラム |
JP2005242567A (ja) * | 2004-02-25 | 2005-09-08 | Canon Inc | 動作評価装置及び方法 |
JP2006079533A (ja) * | 2004-09-13 | 2006-03-23 | Fuji Xerox Co Ltd | 情報処理装置及び情報処理方法、並びにコンピュータ・プログラム |
JP2006154213A (ja) * | 2004-11-29 | 2006-06-15 | Ntt Advanced Technology Corp | 声の響きの評価方法および評価装置 |
WO2009091029A1 (ja) * | 2008-01-16 | 2009-07-23 | Asahi Kasei Kabushiki Kaisha | 顔姿勢推定装置、顔姿勢推定方法、及び、顔姿勢推定プログラム |
JP2010256391A (ja) * | 2009-04-21 | 2010-11-11 | Takeshi Hanamura | 音声情報処理装置 |
JP2017151694A (ja) * | 2016-02-24 | 2017-08-31 | 株式会社デンソー | 安全確認診断システム及び安全確認診断方法 |
JP6042015B1 (ja) * | 2016-06-07 | 2016-12-14 | 株式会社採用と育成研究社 | オンライン面接評価装置、方法およびプログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110930781A (zh) * | 2019-12-04 | 2020-03-27 | 广州云蝶科技有限公司 | 录播系统 |
CN110930781B (zh) * | 2019-12-04 | 2022-11-22 | 广州云蝶科技有限公司 | 录播系统 |
Also Published As
Publication number | Publication date |
---|---|
JP6927495B2 (ja) | 2021-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11216784B2 (en) | Systems and methods for automating validation and quantification of interview question responses | |
US10504268B1 (en) | Systems and methods for generating facial expressions in a user interface | |
US20210174072A1 (en) | Microexpression-based image recognition method and apparatus, and related device | |
CN108717663B (zh) | 基于微表情的面签欺诈判断方法、装置、设备及介质 | |
CN112543936B (zh) | 用于动作识别的动作结构自注意力图卷积网络模型 | |
US20210125149A1 (en) | Adaptability job vacancies matching system and method | |
US10592733B1 (en) | Computer-implemented systems and methods for evaluating speech dialog system engagement via video | |
CN110428399A (zh) | 用于检测图像的方法、装置、设备和存储介质 | |
CN108877787A (zh) | 语音识别方法、装置、服务器及存储介质 | |
CN112418166B (zh) | 一种基于多模态信息的情感分布学习方法 | |
Sun et al. | Personality assessment based on multimodal attention network learning with category-based mean square error | |
JP6927495B2 (ja) | 人物評価装置、プログラム、及び、方法 | |
CN110705523B (zh) | 一种基于神经网络的创业者路演能力测评方法及其测评系统 | |
CN112990105B (zh) | 对用户评价的方法、装置、电子设备和存储介质 | |
CN110991294A (zh) | 一种快速构建的人脸动作单元识别方法及系统 | |
CN116244474A (zh) | 一种基于多模态情感特征融合的学习者学习状态获取方法 | |
CN111507139A (zh) | 图像效果生成方法、装置和电子设备 | |
JP6855737B2 (ja) | 情報処理装置、評価システムおよびプログラム | |
CN112633136B (zh) | 视频分析方法、装置、电子设备及存储介质 | |
CN112365340A (zh) | 一种多模态个人贷款风险预测方法 | |
CN113704552A (zh) | 一种基于跨模态自动对齐和预训练语言模型的情感分析方法、系统及设备 | |
CN116935478B (zh) | 一种智能手表的情感识别方法及系统 | |
CN117688344B (zh) | 一种基于大模型的多模态细粒度倾向分析方法及系统 | |
CN112733649B (zh) | 基于视频图像识别用户意图的方法及相关设备 | |
Ibrahim | A novel lip geometry approach for audio-visual speech recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200713 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210419 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210427 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210629 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210726 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6927495 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |