JP2017207877A - 行動分析装置およびプログラム - Google Patents
行動分析装置およびプログラム Download PDFInfo
- Publication number
- JP2017207877A JP2017207877A JP2016099019A JP2016099019A JP2017207877A JP 2017207877 A JP2017207877 A JP 2017207877A JP 2016099019 A JP2016099019 A JP 2016099019A JP 2016099019 A JP2016099019 A JP 2016099019A JP 2017207877 A JP2017207877 A JP 2017207877A
- Authority
- JP
- Japan
- Prior art keywords
- video
- unit
- voice
- analysis
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 252
- 230000003542 behavioural effect Effects 0.000 title abstract 3
- 238000001514 detection method Methods 0.000 claims description 72
- 230000007774 longterm Effects 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 22
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000012351 Integrated analysis Methods 0.000 abstract 3
- 230000006399 behavior Effects 0.000 description 65
- 238000000034 method Methods 0.000 description 17
- 230000009471 action Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000008451 emotion Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 206010011469 Crying Diseases 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 230000002354 daily effect Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 2
- 230000000474 nursing effect Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
- Alarm Systems (AREA)
Abstract
Description
従来技術において、家庭内暴力や、虐待や、いじめを未然に防ぐために、通信機器よる通報を容易に行えるシステムを提供しようとするものがある。同システムでは、音声に基づく状況分析をすることにより、危険度や異常度を判断する。また、幼児や高齢者等が文字を書くことが困難な場合に、音声認識を行って文字に変換する技術が提案されている。しかしながら、音声による分析だけでは状況の把握が不十分である可能性があった。
また、従来技術において、スマートフォン等の個人用端末装置に交友状況プログラムをインストールしておき、SNSサイト等における友人数の増減に基づいて交友状況の変化を検知する技術が存在する。しかしながら、SNSサイトにおける友人数の増減の情報は、日々のきめ細かな人の行動までを表すには不十分である場合があった。
なお、図では2台のカメラ82のみを示しているが、設置するカメラの台数は任意であり、1台であってもよく、また3台以上であってもよい。また、図では2台のマイクロフォン83のみを示しているが、設置するマイクロフォンの本数は任意であり、1本であってもよく、また3本以上であってもよい。なお、カメラ82とマイクロフォン83とは、同じ場所にペアで設置される。また、図では1台の外部装置81のみを示しているが、行動分析装置1が情報交換する相手である外部装置は、複数であってもよい。
映像蓄積部12は、映像取得部11が取得した映像の情報を蓄積する。映像蓄積部12が映像を保持するために、例えば、磁気ディスク装置等の記録媒体を用いる。なお、映像蓄積部12が保持する映像は、撮影場所や撮影時刻の情報が付加された状態で蓄積される。また、映像解析部13によって行われる映像解析処理の結果である解析結果の情報を、映像に付加して蓄積するようにする。
映像解析部13は、映像内に映っているものや人などを認識し、抽出する。
また、映像解析部13は、個人特徴記憶部31に記憶されている個人ごとの映像上の特徴に基づいて、個人の識別処理を行う。個人識別のためには、顔や服装の特徴の情報を利用する。なお、個人識別の処理自体は、既存技術を用いて十分な精度で行うことが可能である。つまり、映像解析部13は、個人特徴記憶部31から読み出す映像に関する個人特徴に基づいて、映像に映る人の個人識別処理を行う。
また、映像解析部13は、映像内に映っている複数の人の相対的な位置関係を抽出し、人の配置に関する特定のパターンを抽出する。人の配置のパターンとは、例えば、ある人とある人との間の距離が近いあるいは遠いといったパターンや、複数の人が他の人を取り囲んでいるといったパターンや、ある人が人の集まり(クラスター)に属しているか属していないか、などといったパターンである。
また、映像解析部13は、映像内に映っている人の行動を解析する。人の行動とは、例えば、人が静止しているか移動しているか、人が真っ直ぐ移動しているか曲線的に移動しているか、人の移動の速さが速いか遅いか、といったものである。また、映像解析部13は、人の手や足や頭の動きの軌跡を解析する。また、映像解析部13は、それらの移動や手・足・頭などの動きの組み合わせから、行動種別を解析する。ここで、組み合わせによって解析される行動種別とは、例えば、人が他の人を殴っているとか、蹴っているとか、その他の攻撃を加えているなどといった行動である。
音声蓄積部22は、音声取得部21が取得した音声を蓄積する。音声蓄積部22が音声を記録するために、例えば、磁気ディスク装置等の記録媒体を用いる。なお、音声蓄積部22が保持する音声は、集音場所や時刻の情報が付加された状態で蓄積される。また、音声解析部23によって行われる音声解析処理の結果である解析結果の情報を、音声に付加して蓄積するようにする。
音声解析部23は、人による発話の部分を認識し、抽出する。なお、記録されている音声の中から人の発話を抽出する処理自体は、既存技術を用いて行うことができる。
また、集音のために用いられたマイクロフォン83がマルチチャンネル(2チャンネルまたはそれ以上)の音声を取得するものである場合、音声解析部23は、抽出した人の発話が行われた場所あるいは方向を特定する。なお、場所や方向は、各チャンネルにおけるその発話の音量の分布や、チャンネル間での発話の遅延を解析することなどにより特定されるものである。
また、音声解析部23は、人の発話の音量を解析する。そして、ある発話における音量が所定の閾値を超えている場合には、特に大声で発話されたものであることを示すマークを、その発話の部分に付加する。
また、音声解析部23は、抽出された発話の、周波数分布等の特徴により、発話者を識別する処理を行う。このとき、音声解析部23は、音声の個人別の特徴を表す情報を、個人特徴記憶部31から読み出して利用する。なお、音声による発話者の識別処理自体は、既存の技術を用いて行うようにする。音声による識別処理が、多数の人を完全に識別することが困難である場合にも、ある発話の発話者が誰であるかを表す尤度の情報を出力することは可能である。つまり、音声解析部23は、個人特徴記憶部31から読み出す音声に関する個人特徴に基づいて、音声に含まれる人の声の個人識別処理を行う。
また、音声解析部23は、抽出された発話の部分について、不特定話者用の認識用音声モデルのデータを用いて、音声認識処理を行う。音声認識処理自体は、既存の技術により行うことができる。音声解析部23は、音声認識処理の結果として、発話ごとの単語列のデータを出力する。このような音声認識処理を行うことにより、例えば、特定のキーワードが発話された状況を検知することができるようになる。
また、音声解析部23は、音声に基づく感情の推定を行う。この解析は、楽しく笑う声や、嘲笑の声や、泣き声や、怒り声など、表されている感情ごとの音響的特徴のモデルを予め保持しておき、実際に取得した音声をこの感情ごとのモデルに基づいて分析することにより行える。感情の推定自体は、既存の技術を用いて行うことができる。感情を推定した結果として、音声解析部23は、発話ごとの感情の尤度(例えば、「泣き声である尤度が90%である」)の情報を出力する。
なお、情報交換部41が外部からパラメーター等のデータを取得し、そのデータを総合解析部32や映像解析部13や音声解析部23が使用することにより、解析精度が向上する。また、情報交換部41が、外部装置81に対して同様のデータを提供することにより、他の行動分析装置における解析精度が向上する。
なお、「事象」や「兆候」を総称して「事象」と呼ぶ場合がある。
マイクロフォン83は、設置されている場所における音を集音して、電気信号として出力する音声信号取得手段である。
既に述べたように、カメラ82とマイクロフォン83とは原則的にペアで、所定の場所に設定される。
図3は、1台のカメラ82が撮影した映像を、映像解析部13が解析した結果の例を示す概略図である。同図に示す解析処理は、人の認識と個人の識別である。本例は、教室に設置されたカメラ82が撮影した教室の映像の解析結果である。映像解析部13は、映像に含まれる人を認識する。その結果、映像解析部13は、映像内に含まれる人に、A,B,Cなどといったラベルを付与する。そして、映像内において人が映っている場所に、それらのラベルを付ける。また、映像解析部13は、個人特徴記憶部31から読み出した個人特徴の情報に基づいて、個人を識別する処理を行う。その結果、映像解析部13は、ラベルと、認識結果の人を識別する情報(例えば、氏名や、個人IDなど)とを関連付ける。同図に示す例では、教室内で人が認識された箇所にラベルが表示されている。また、映像枠の外に、ラベル(A,B,C等)と個人識別情報(この例では、氏名)とが対応付けて表示されている。なお、映像解析部13は、個人識別情報を映像内の位置に関連付ける形で、保存することができる。
なお、カメラの設置場所は、教室に限られない。教室以外の必要なスペースを映すようにカメラを設置し、映像内の人の認識と個人の識別を行うようにすることもできる。
映像内における個人間の距離の算出は、予め与えられたパラメーターに基づいて測量の手法を使って行われる。ここで、パラメーターとは、撮影対象の教室の平面図や、カメラ82の設置場所(平面視したときの位置と、床面からの高さ)や、カメラの向き(平面における向きと、俯角(または仰角))や、カメラの撮影画角である。測量の手法による距離の算出自体は、既存の技術を用いて行うことができる。また、距離算出の際、映像に含まれる特定の被写体(教室内に固定的に設置された物や、画像マーカーなど)を用いて、被写体の位置の補正を適宜行う様にしてもよい。
なお、図示する例では、画面内に2人の人物だけが映っている状況を示しているが、映像内の人数に関する制約はない。映像内の任意の2人の間の距離を計測することができる。
また、カメラの設置場所は、教室に限られない。教室以外の必要なスペースを映すようにカメラを設置し、映像内に映る人と人の間の距離を算出するようにしてもよい。
なお、兆候検出ルール記憶部321のデータの構成例については、後で説明する。
なお、一時パターン検出部322は、検出した結果を、総合解析部32の外部にも提供する。
なお、長期パターン検出部323は、兆候検出ルール記憶部321に記憶されているルールに基づいて長期的なパターンを検出する。つまり、長期パターン検出部323は、外部から取得したパターンや、検出結果蓄積部324に蓄積されている過去の検出結果が兆候検出ルール記憶部321に記憶されている条件にマッチしたときに、その事象を一時的なパターンとして検出する。つまり、長期パターン検出部323は、少なくとも、複数の時点に関して一時パターン検出部322によって検出された事象に基づいて、複数の時点に渡る事象を検出する。
なお、長期パターン検出部323は、検出した結果を、総合解析部32の外部にも提供する。
つまり、ある事象(または兆候)の前提条件が、成立したか否かの二値だけによる判断ではなく、前提条件が成立した程度に応じた尤度を、判断結果としてもよい。
また、複数の前提条件が規定されている場合、すべての前提条件が成立した場合にのみその事象(または兆候)が起こったことを判断するのではなく、複数の前提条件のうちのいくつが成立したかによって、その事象(または兆候)の尤度を計算し出力してもよい。なお、このとき、複数の前提条件のそれぞれに重みを予め付与しておいて、尤度計算に用いてもよい。
なお、総合解析部32は、映像や音声に関連付けられた時刻情報と当該施設におけるスケジュール情報(例えば、学校での時間割の情報)とを参照することにより、解析対象の映像や音声が、例えば「休み時間あるいは昼食時」のものであるかどうかを判断する。
また、このルールに規定されている「高い頻度」は、別途定められる頻度に関する閾値に基づいて判断される。
なお、総合解析部32は、映像に映っている人の単位時間当たりの動きの量が、一時的にでも、所定の閾値を超えるか否かによって「激しい動き」を検知する。
映像解析部13は、感情種別(泣き、笑い、怒り、困惑等)ごとに顔の表情の特徴量を予め保持しておき、映像に映る人の顔の特徴が、その感情種別にマッチする度合いに応じて、感情種別ごとの尤度を出力する。
そして、総合解析部32は、感情種別の尤度に応じて、このルールにマッチする度合いを計算する。
したがって、本実施形態による兆候検出ルール記憶部321は、一時点のパターンのみにヒットする条件ではなく、長期間を通したパターンにヒットする条件をルールとして記憶できるようにしている。また、本実施形態は、長期パターン検出部323を設けることにより、過去の検出結果を参照しながら兆候を発見できるようにしている。
このように、本実施形態では、映像や音声を基にした長期の傾向によって、行動を分析することが可能となっている。
発生日時は、検出された事象(または兆候)の映像や音声に関連付けられた時刻である。長期の事象(または兆候)が検出された場合には、発生日時欄には幅のある期間が記載される。
映像リンクは、検出された事象の判断の基になった映像や音声の該当箇所を再生するためのリンク情報である。
なお、座席表の情報は、識別され得る個人の配置の場所の範囲を表す情報である。あるいは、座席表の情報は、識別され得る複数の個人間の相対的な位置関係を表す情報である。
なお、上記実施形態では、学校施設におけるカメラやマイクロフォンから取得した映像、音声に基づいた人の行動に関する特定事象の検出について、主に1つの空間(教室)を対象に説明したが、それぞれの空間(教室)における分析結果を比較することで、各クラスにおける傾向や学校全体の傾向等を把握することも可能となり、例えばクラス替えや担任配置などにも分析結果を活用することができる。
また、上記実施形態では、行動分析装置1を学校施設に適用した例で説明したが、例えば1つの施設において集団行動が行われる、幼稚園、保育園、介護施設などにも適用でき、同様に施設内における人の行動分析により、事前に問題の予兆の発見や防止することができる。
Claims (7)
- 映像を取得する映像取得部と、
前記映像取得部が取得した映像に映る人を解析して映像パターンを検出する映像解析部と、
音声を取得する音声取得部と、
前記音声取得部が取得した音声に含まれる人の声を解析して音声パターンを検出する音声解析部と、
前記映像解析部によって検出された前記映像パターンと前記音声解析部によって検出された前記音声パターンとに基づいて、人の行動に関する特定の事象を検出する総合解析部と、
前記総合解析部によって検出された前記事象に関する情報を出力する情報出力部と、
を備える行動分析装置。 - 前記総合解析部は、前記映像解析部によって検出された前記映像パターンの条件と前記音声解析部によって検出された前記音声パターンの条件に基づいて事象を検出するルールを記憶する検出ルール記憶部を備え、前記検出ルール記憶部から読み出される前記ルールを参照することにより、前記映像パターンと前記音声パターンとに基づいて前記事象を検出する、
請求項1に記載の行動分析装置。 - 前記総合解析部は、
一時点において検出された前記映像パターンと前記音声パターンに基づいて前記事象を検出する一時パターン検出部と、
少なくとも、複数の時点に関して前記一時パターン検出部によって検出された前記事象に基づいて、前記複数の時点に渡る事象を検出する長期パターン検出部と、
を備える請求項2に記載の行動分析装置。 - 映像および音声に関する個人特徴を記憶する個人特徴記憶部、を備え、
前記映像解析部は、前記個人特徴記憶部から読み出す映像に関する個人特徴に基づいて、映像に映る人の個人識別処理を行い、
前記音声解析部は、前記個人特徴記憶部から読み出す音声に関する個人特徴に基づいて、音声に含まれる人の声の個人識別処理を行い、
前記情報出力部は、前記事象に関して前記映像解析部または前記音声解析部の少なくともいずれか一方によって識別された個人識別の情報を含んだ、当該事象に関する情報を出力する、
請求項1から3までのいずれか一項に記載の行動分析装置。 - 前記映像解析部は、記憶媒体に記憶された、施設におけるスケジュール情報と、所定の場所における個人の座席表情報とを読み出すとともに、前記スケジュール情報によって定められる所定のタイミングにおける映像に基づき、前記座席表情報によって定められまたは推定される個人の識別情報に対応する個人ごとの視覚的特徴を算出し、算出された前記視覚的特徴によって、前記個人特徴記憶部に記憶されている前記映像に関する個人特徴を更新する、
請求項4に記載の行動分析装置。 - 前記行動分析装置は集団で利用される施設に設置されることを特徴とする請求項1から5までのいずれか一項に記載の行動分析装置。
- コンピューターを、
映像を取得する映像取得部と、
前記映像取得部が取得した映像に映る人を解析して映像パターンを検出する映像解析部と、
音声を取得する音声取得部と、
前記音声取得部が取得した音声に含まれる人の声を解析して音声パターンを検出する音声解析部と、
前記映像解析部によって検出された前記映像パターンと前記音声解析部によって検出された前記音声パターンとに基づいて、人の行動に関する特定の事象を検出する総合解析部と、
前記総合解析部によって検出された前記事象に関する情報を出力する情報出力部と、
を備える行動分析装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016099019A JP6876379B2 (ja) | 2016-05-17 | 2016-05-17 | 行動分析装置およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016099019A JP6876379B2 (ja) | 2016-05-17 | 2016-05-17 | 行動分析装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017207877A true JP2017207877A (ja) | 2017-11-24 |
JP6876379B2 JP6876379B2 (ja) | 2021-05-26 |
Family
ID=60415529
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016099019A Active JP6876379B2 (ja) | 2016-05-17 | 2016-05-17 | 行動分析装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6876379B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018112831A (ja) * | 2017-01-10 | 2018-07-19 | 日本電気株式会社 | 情報処理装置、いじめ発見方法、情報処理システム、および、コンピュータプログラム |
CN108630230A (zh) * | 2018-05-14 | 2018-10-09 | 哈尔滨工业大学 | 一种基于动作语音数据联合识别的校园霸凌检测方法 |
JP2020009238A (ja) * | 2018-07-10 | 2020-01-16 | 富士通株式会社 | ハラスメント検知プログラム、ハラスメント検知システム、及びハラスメント検知方法 |
CN111311981A (zh) * | 2018-12-12 | 2020-06-19 | 范例 | 一种多数据支持的智能教室 |
JP2020106948A (ja) * | 2018-12-26 | 2020-07-09 | 富士通株式会社 | 抽出プログラム、抽出方法、および、抽出装置 |
JP2020201577A (ja) * | 2019-06-06 | 2020-12-17 | 富士通株式会社 | 情報処理プログラム、情報処理方法及び情報処理装置 |
JP2021068333A (ja) * | 2019-10-26 | 2021-04-30 | Assest株式会社 | 子供虐待兆候判別プログラム及びシステム |
WO2022137884A1 (ja) * | 2020-12-22 | 2022-06-30 | 日本電気株式会社 | リスク表示装置、リスク表示方法および非一時的なコンピュータ可読媒体 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005309965A (ja) * | 2004-04-23 | 2005-11-04 | Matsushita Electric Works Ltd | 宅内セキュリティ装置 |
JP2006092396A (ja) * | 2004-09-27 | 2006-04-06 | Oki Electric Ind Co Ltd | 単独行動者及びグループ行動者検知装置 |
JP2008165097A (ja) * | 2006-12-29 | 2008-07-17 | Mariko Kawashima | いじめ防止を目的とした音声録音装置および音声データ解析装置 |
JP2009246799A (ja) * | 2008-03-31 | 2009-10-22 | Secom Co Ltd | 画像監視装置 |
JP2010128594A (ja) * | 2008-11-25 | 2010-06-10 | Sogo Keibi Hosho Co Ltd | 動作検出装置および動作検出方法 |
JP2013131153A (ja) * | 2011-12-22 | 2013-07-04 | Welsoc Co Ltd | 自律型防犯警戒システム及び自律型防犯警戒方法 |
JP2016035614A (ja) * | 2014-08-01 | 2016-03-17 | シャープ株式会社 | 機器、音声出力方法、音声出力プログラム、ネットワークシステム、サーバ、および通信機器 |
-
2016
- 2016-05-17 JP JP2016099019A patent/JP6876379B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005309965A (ja) * | 2004-04-23 | 2005-11-04 | Matsushita Electric Works Ltd | 宅内セキュリティ装置 |
JP2006092396A (ja) * | 2004-09-27 | 2006-04-06 | Oki Electric Ind Co Ltd | 単独行動者及びグループ行動者検知装置 |
JP2008165097A (ja) * | 2006-12-29 | 2008-07-17 | Mariko Kawashima | いじめ防止を目的とした音声録音装置および音声データ解析装置 |
JP2009246799A (ja) * | 2008-03-31 | 2009-10-22 | Secom Co Ltd | 画像監視装置 |
JP2010128594A (ja) * | 2008-11-25 | 2010-06-10 | Sogo Keibi Hosho Co Ltd | 動作検出装置および動作検出方法 |
JP2013131153A (ja) * | 2011-12-22 | 2013-07-04 | Welsoc Co Ltd | 自律型防犯警戒システム及び自律型防犯警戒方法 |
JP2016035614A (ja) * | 2014-08-01 | 2016-03-17 | シャープ株式会社 | 機器、音声出力方法、音声出力プログラム、ネットワークシステム、サーバ、および通信機器 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018112831A (ja) * | 2017-01-10 | 2018-07-19 | 日本電気株式会社 | 情報処理装置、いじめ発見方法、情報処理システム、および、コンピュータプログラム |
CN108630230A (zh) * | 2018-05-14 | 2018-10-09 | 哈尔滨工业大学 | 一种基于动作语音数据联合识别的校园霸凌检测方法 |
JP2020009238A (ja) * | 2018-07-10 | 2020-01-16 | 富士通株式会社 | ハラスメント検知プログラム、ハラスメント検知システム、及びハラスメント検知方法 |
JP7155683B2 (ja) | 2018-07-10 | 2022-10-19 | 富士通株式会社 | ハラスメント検知プログラム、ハラスメント検知システム、及びハラスメント検知方法 |
CN111311981A (zh) * | 2018-12-12 | 2020-06-19 | 范例 | 一种多数据支持的智能教室 |
JP2020106948A (ja) * | 2018-12-26 | 2020-07-09 | 富士通株式会社 | 抽出プログラム、抽出方法、および、抽出装置 |
JP7253371B2 (ja) | 2018-12-26 | 2023-04-06 | 富士通株式会社 | 抽出プログラム、抽出方法、および、抽出装置 |
JP2020201577A (ja) * | 2019-06-06 | 2020-12-17 | 富士通株式会社 | 情報処理プログラム、情報処理方法及び情報処理装置 |
JP7358786B2 (ja) | 2019-06-06 | 2023-10-11 | 富士通株式会社 | 情報処理プログラム、情報処理方法及び情報処理装置 |
JP2021068333A (ja) * | 2019-10-26 | 2021-04-30 | Assest株式会社 | 子供虐待兆候判別プログラム及びシステム |
WO2022137884A1 (ja) * | 2020-12-22 | 2022-06-30 | 日本電気株式会社 | リスク表示装置、リスク表示方法および非一時的なコンピュータ可読媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP6876379B2 (ja) | 2021-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6876379B2 (ja) | 行動分析装置およびプログラム | |
Tao et al. | End-to-end audiovisual speech recognition system with multitask learning | |
US20170154293A1 (en) | Customer service appraisal device, customer service appraisal system, and customer service appraisal method | |
JP6930126B2 (ja) | 人物検出システム | |
CN107945625A (zh) | 一种英语发音测试与评价系统 | |
CN107924392A (zh) | 基于姿势的注释 | |
CN108229441A (zh) | 一种基于图像和语音分析的课堂教学自动反馈系统和反馈方法 | |
CN111048095A (zh) | 一种语音转写方法、设备及计算机可读存储介质 | |
CN108109445B (zh) | 教学课情监控方法 | |
CN108109446B (zh) | 教学课情监控系统 | |
Kianpisheh et al. | Face recognition assistant for people with visual impairments | |
JP2019095552A (ja) | 音声解析システム、音声解析装置、および音声解析プログラム | |
WO2019139101A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2016100033A (ja) | 再生制御装置 | |
Chuah et al. | Smartphone based autism social alert system | |
JP2016177483A (ja) | コミュニケーション支援装置、コミュニケーション支援方法及びプログラム | |
JP2024036481A (ja) | ライフログ提供システムおよびライフログ提供方法 | |
JP6425493B2 (ja) | 人の発言に基づいて学習項目に対する評価レベルを推定するプログラム、装置及び方法 | |
Guhan et al. | ABC-Net: Semi-supervised multimodal GAN-based engagement detection using an affective, behavioral and cognitive model | |
JP7204337B2 (ja) | 会議支援装置、会議支援システム、会議支援方法及びプログラム | |
JP4775961B2 (ja) | 映像を用いた発音の推定方法 | |
Ganesh et al. | An innovative hearing-impaired assistant with sound-localisation and speech-to-text application | |
JP2019191718A (ja) | 役務動作分析評価システム | |
WO2018109120A1 (en) | Children monitoring system | |
Tao et al. | Audio-Based Group Detection for Classroom Dynamics Analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190416 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200310 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200417 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200615 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20201117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210217 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210217 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210225 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210326 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210426 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6876379 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |