JP2020038432A - 画像解析装置、画像解析方法、およびプログラム - Google Patents
画像解析装置、画像解析方法、およびプログラム Download PDFInfo
- Publication number
- JP2020038432A JP2020038432A JP2018164408A JP2018164408A JP2020038432A JP 2020038432 A JP2020038432 A JP 2020038432A JP 2018164408 A JP2018164408 A JP 2018164408A JP 2018164408 A JP2018164408 A JP 2018164408A JP 2020038432 A JP2020038432 A JP 2020038432A
- Authority
- JP
- Japan
- Prior art keywords
- speaker
- image
- sight
- unit
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
画像解析装置は、一以上のプロセッサにより実現される。画像解析装置は、1以上の人物が含まれる1以上の画像を取得し、画像に含まれる人物のうち、発話する(あるいは発話した、している)可能性が高いと思われる人物(以下、発話者)の発話内容を推測する装置である。「発話内容を推測する」とは、現に話している内容を推定することと、将来話す内容を推測することを含む。また、画像はカメラにより撮像された画像であってもよいし、アニメーション画像であってもよい。
[全体構成]
図1は、第1実施形態の画像解析装置100の使用環境および構成の一例を示す図である。画像解析装置100は、ネットワークNWを介して依頼元端末200と通信する。ネットワークNWは、例えば、インターネット、WAN(Wide Area Network)、LAN(Local Area Network)、プロバイダ端末、無線通信網、無線基地局、専用回線などを含む。依頼元端末200は、例えば、通信機能などを有するコンピュータ装置である。通信機能は、NIC(Network Interface Card)などのネットワークカード、無線通信モジュールなどにより実現される。
図2は、視線先位置推定部132の視線先位置推定方法について説明する図である。図3に示す視線先位置推定方法は、例えば、以下の4段階の手順により実現される。なお、下記の手順(a)と手順(b)は並行して行われてもよいし、いずれか一方の処理の終了後に他方の処理が実施されてもよい。
(a)物標検出
(b)被写体人物頭部・瞳位置分析
(c)視線演算
(d)視線先位置(グリッド)推定
視線先位置推定部132は、被写体の人物、および被写体の人物の視線の先に当たる物標の候補を、画像(以下、画像xi)内の視線先位置推定対象である被写体の人物の映り込む部分を除いた画像全体から検出する。物標とは、視線を誘引される可能性がある物体・人物・生物等の対象物をいう。
視線先位置推定部132は、被写体の人物の顔の向きや瞳の位置に基づいて、視線の方向を推定する。視線先位置推定部132は、視線の方向の推定のため、畳み込みニューラルネットワークなどを利用した導出器2を用いて、画像xiから顕著性マップS(xi)とは別の空間マップである、サイズD×Dの視線マスクマップG(xh,xp)を導出する。導出器2は、導出器1と同様に、予め機械学習によって生成されたものである。xpは、画像xi内での被写体の人物の頭の位置または瞳の位置を示すパラメータ(例えば、座標)である。またxhは、xpの導出によって得られた画像xi内での被写体の人物の頭の位置、または瞳の位置を拡大処理した際の拡大程度を表す画像パラメータである。
視線先位置推定部132は、手順(a)の物標の検出結果である顕著性マップS(xi)、および(b)の視線の方向の分析結果である視線マスクマップG(xh,xp)に基づいて、被写体の人物の方向を演算し、被写体の視線先位置を推定する。ここで、被写体の人物が複数存在する場合には、瞳の位置が推定できるすべての人物の視線先位置を推定してもよいし、発話者推定部130がすでに発話者を推定している場合にはその人物の視線先位置を推定してもよい。
視線先位置推定部132は、手順(c)の演算結果に基づいて、被写体の人物の視線先位置y(ハット)を推定する。視線先位置推定部132は、被写体の人物の視線先位置y(ハット)の推定のため、視線マスクマップG(xh,xp)のみを用いてもよいし、視線マスクマップG(xh,xp)の導出とは異なる演算モデルを用いて演算を実施し、複数の演算結果を統合することで被写体の人物の視線先位置である領域(グリッド)を推定してもよい。
発話内容推測部140による発話内容の推測処理は、例えば、以下の2段階の手順により実現される。
(e)画像全体分析
(f)発話内容推測
発話内容推測部140は、例えば、画像xiに映り込む人物、物標、背景等の物標を分析する。発話内容推測部140は、特徴量導出部120の導出結果を用いて物標を分析してもよい。
発話内容推測部140は、例えば、手順(e)で分析された物標を示す単語や、それらから連想される単語に基づいて、発話者の発話しそうな文章を構成することで、発話者の発話内容を推測する。
発話相手推測部150は、例えば、視線先位置推定部132によって発話者の視線先位置が推定されていない場合、発話内容推測部140により推測された発話内容に基づいて、発話相手を推測する。
図6は、画像解析装置100による推測処理の流れの一例を示すフローチャートである。まず、取得部110は、依頼元端末200より画像xiを取得し、特徴量導出部120に出力する(S100)。次に、特徴量導出部120は、画像xiの特徴量を導出する(S102)。次に、視線先位置推定部132は、画像xiにおける発話者を推測し、発話者の視線先位置を推定する(S104)。次に、発話内容推測部140は、発話内容を推測する(S106)。次に、発話相手推測部150は、発話相手を推測する(S108)。次に、出力部160は、推測結果を依頼元端末200に出力する(S110)。以上、本フローチャートの処理の説明を終了する。
図7は、第2の実施形態の画像解析装置100Aの概要図である。画像解析装置100Aは、第1の実施形態の画像解析装置100と比較して、関連挙動推測部180をさらに備える点が異なる。したがって、以下では関連挙動推測部180を中心に説明する。
図8は、画像解析装置100Aによる推測処理の流れの一例を示す図である。図8に示すフローチャートは、図6のフローチャートにS112が追加されたものである。したがって、以下ではS112について説明する。
Claims (8)
- 発話者が含まれる画像を取得する取得部と、
前記発話者の視線の先の位置を推定する視線先位置推定部と、
前記取得された画像および推定された前記位置に基づいて、前記発話者の発話内容を推測する発話内容推測部と、
を備える画像解析装置。 - 前記画像における特徴量に基づいて発話者を推定する発話者推定部を更に備える、
請求項1に記載の画像解析装置。 - 前記発話内容推測部は、前記画像における特徴量に基づいて、前記発話者の発話内容を推測する、
請求項1または2に記載の画像解析装置。 - 前記画像における特徴量に基づいて発話内容に関連する前記発話者の挙動を推測する関連挙動推測部を更に備える、
請求項1から3のいずれか1項に記載の画像解析装置。 - 前記視線先位置推定部は、前記画像を導出器1に入力することで得られる、視線を誘引される可能性がある物体・人物・生物等の対象物の位置と、前記画像を導出器2に入力することで得られる、視線の方向とに基づいて、前記発話者の視線の先の位置を推定する、
請求項1から4のいずれか1項に記載の画像解析装置。 - 前記発話内容推測部は、前記対象物の位置、前記視線の先の位置、および発話内容を構成する単語を引数とする関数の値を最大にするモデルパラメータを求めることで、前記発話者の発話内容と推測する、
請求項5記載の画像解析装置。 - コンピュータが、
発話者が映された画像を取得し、
前記発話者の視線の先の位置を推定し、
前記取得された画像および推定された前記位置に基づいて、前記発話者の発話内容を推測する、
画像解析方法。 - コンピュータに、
発話者が映された画像を取得させ、
前記発話者の視線の先の位置を推定させ、
前記取得された画像および推定された前記位置に基づいて、前記発話者の発話内容を推測させる、
プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018164408A JP2020038432A (ja) | 2018-09-03 | 2018-09-03 | 画像解析装置、画像解析方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018164408A JP2020038432A (ja) | 2018-09-03 | 2018-09-03 | 画像解析装置、画像解析方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020038432A true JP2020038432A (ja) | 2020-03-12 |
Family
ID=69737950
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018164408A Pending JP2020038432A (ja) | 2018-09-03 | 2018-09-03 | 画像解析装置、画像解析方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020038432A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022161690A (ja) * | 2021-04-09 | 2022-10-21 | 本田技研工業株式会社 | 情報処理装置、情報処理方法、学習方法、およびプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011108055A (ja) * | 2009-11-19 | 2011-06-02 | Nippon Telegr & Teleph Corp <Ntt> | 対話システム、対話方法、対話プログラム |
JP2011164681A (ja) * | 2010-02-04 | 2011-08-25 | Sharp Corp | 文字入力装置、文字入力方法、文字入力プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体 |
-
2018
- 2018-09-03 JP JP2018164408A patent/JP2020038432A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011108055A (ja) * | 2009-11-19 | 2011-06-02 | Nippon Telegr & Teleph Corp <Ntt> | 対話システム、対話方法、対話プログラム |
JP2011164681A (ja) * | 2010-02-04 | 2011-08-25 | Sharp Corp | 文字入力装置、文字入力方法、文字入力プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022161690A (ja) * | 2021-04-09 | 2022-10-21 | 本田技研工業株式会社 | 情報処理装置、情報処理方法、学習方法、およびプログラム |
JP7219788B2 (ja) | 2021-04-09 | 2023-02-08 | 本田技研工業株式会社 | 情報処理装置、情報処理方法、学習方法、およびプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112088402B (zh) | 用于说话者识别的联合神经网络 | |
Li et al. | Write-a-speaker: Text-based emotional and rhythmic talking-head generation | |
US12027062B2 (en) | Communication skill evaluation system, communication skill evaluation device and communication skill evaluation method | |
KR102167760B1 (ko) | 수어동작 인식 처리절차 및 움직임 추적 Pre-trained 모델을 이용한 수어동작 분석 알고리즘 시스템 | |
Wu et al. | Speaking effect removal on emotion recognition from facial expressions based on eigenface conversion | |
US20140145936A1 (en) | Method and system for 3d gesture behavior recognition | |
CN107911643B (zh) | 一种视频通信中展现场景特效的方法和装置 | |
KR20140129171A (ko) | 비디오 화상회의 동안 참가자의 외모 수정 | |
WO2021196721A1 (zh) | 一种舱内环境的调整方法及装置 | |
KR102148151B1 (ko) | 디지털 커뮤니케이션 네트워크에 기반한 지능형 채팅 | |
CN111108508B (zh) | 脸部情感识别方法、智能装置和计算机可读存储介质 | |
JP2018032164A (ja) | 面接システム | |
KR101913811B1 (ko) | 얼굴 표현 및 심리 상태 파악과 보상을 위한 얼굴 정보 분석 방법 및 얼굴 정보 분석 장치 | |
JP7370050B2 (ja) | 読唇装置及び読唇方法 | |
JP5349238B2 (ja) | 表情認識装置、人物間感情推定装置、表情認識方法、人物間感情推定方法、及びプログラム | |
Rwelli et al. | Gesture based Arabic sign language recognition for impaired people based on convolution neural network | |
JP2020038432A (ja) | 画像解析装置、画像解析方法、およびプログラム | |
JP7354344B2 (ja) | 画像解析装置、画像解析方法、およびプログラム | |
TWI667054B (zh) | 飛行器飛行控制方法、裝置、飛行器及系統 | |
TWI620076B (zh) | 人體動作的分析系統 | |
Kumano et al. | Recognizing communicative facial expressions for discovering interpersonal emotions in group meetings | |
Gervasi et al. | A method for predicting words by interpreting labial movements | |
JP5485044B2 (ja) | 表情学習装置、表情認識装置、表情学習方法、表情認識方法、表情学習プログラム及び表情認識プログラム | |
JP5931021B2 (ja) | 対人認知傾向モデル学習装置、対人認知状態推定装置、対人認知傾向モデル学習方法、対人認知状態推定方法及びプログラム | |
CN113642446A (zh) | 一种基于人脸动态情绪识别的检测方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20181003 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20191101 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20191108 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200915 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210929 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211005 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211202 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220428 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220428 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220512 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220517 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20220610 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20220614 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220802 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220913 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20221004 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20221101 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20221101 |