JP2017047494A - アンドロイドロボットの制御システム、装置、プログラムおよび方法 - Google Patents
アンドロイドロボットの制御システム、装置、プログラムおよび方法 Download PDFInfo
- Publication number
- JP2017047494A JP2017047494A JP2015171830A JP2015171830A JP2017047494A JP 2017047494 A JP2017047494 A JP 2017047494A JP 2015171830 A JP2015171830 A JP 2015171830A JP 2015171830 A JP2015171830 A JP 2015171830A JP 2017047494 A JP2017047494 A JP 2017047494A
- Authority
- JP
- Japan
- Prior art keywords
- facial expression
- android robot
- laughing
- laughter
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Toys (AREA)
- Manipulator (AREA)
Abstract
【効果】アンドロイドロボットにおいて笑い声に伴う自然な表情動作を実現することができる。
【選択図】図9
Description
石井カルロス寿憲, 劉超然, 石黒浩, 萩田紀博: "遠隔存在感ロボットのためのフォルマントによる口唇動作生成手法", 日本ロボット学会誌, vol. 31, no. 4, pp.83-90, Apr. 2013. Ishi, C.T., Liu, C., Ishiguro, H., and Hagita, N. (2010)."Head motion during dialogue speech and nod timing control in humanoid robots," Proceedings of 5th ACM/IEEE International Conference on Human-Robot Interaction (HRI 2010), 293-300. Liu, C., Ishi, C., Ishiguro, H., Hagita, N. (2013). Generation of nodding, head tilting and gazing for human-robot speech interaction. International Journal of Humanoid Robotics (IJHR), vol. 10, no. 1, January, 2013.
アクチュエータA10は口唇を左右に広げるアクチュエータであり、アクチュエータA11は口唇を前に突き出すためのアクチュエータである。これらのアクチュエータA10、A11は後述の口唇動作の制御のために用いられる。
[数1]
A15 = 140 + (F0 - center_F0)*F0_scale
A15<0 → A15=0
A15>255 → A15=255
ここで、center_F0 は話者(遠隔オペレータ)の平均的な基本周波数F0(男性の場合は120Hz前後、女性の場合は240Hz前後)をsemitone(セミトーン:半音)で表した値である。基本周波数F0は現在時刻の値(semitone 単位)であり、F0_scale は平均F0に対する音程の差を頭部26の上下運動にマッピングするスケールファクタである。すなわち、F0_scaleは、頭部26の縦方向の回転角度と音程(声の高さ)の比例値である。
[数2]
A18= 32+act_target*(1+cos(p*(t-t_start)/2
t_start< t <t_start+1sec.
act_target= (F1-ceneterF1)* F1_scale
A18<0→A18=0
A18>128→A18=128
ここで、「32」はアクチュエータA18の初期値、act_target は、 母音部分の音色に応じた腰の動きの指令値(負の値は腰を後ろに、正の値は腰を前に折り曲げる)、F1 は現在時刻の第1フォルマント、centerF1 は発話者の中心母音の第1フォルマント、F1_scaleは第1フォルマントと指令値のスケールファクタ(腰34の前後方向への傾斜角度と音程(声の高さ)の比例値)、t は現在時刻(秒)、t_start は腰34の動作を開始した時刻(秒)をそれぞれ示す。数2によれば、1秒程度で滑らかに目的の姿勢になるように腰を動かすことができる。
[数3]
A18 = 32 + (act_last-32) * (1+cos(p*(t-t_last))/2)
t_start < t < t_start + 1秒
ここで、「32」はアクチュエータA18の初期値、act_lastは笑い区間が終了したときの姿勢の指令値、t は現在時刻(秒)、t_last は 平常時の姿勢に戻す前の時刻をそれぞれ示す。数3に従えば、腰34の姿勢を1秒程度で滑らかに平常時の姿勢に戻すことができる。
<評価>
発明者等の実験では、次の4種類の動作パターンのビデオ刺激を用意した。
条件1:口角+瞼+頭+瞬き
条件2:口角+瞼+頭
条件3:口角+瞼+瞬き
条件4:口角+瞼+頭+瞬き+口角2
ここで、「口角」は、図9のステップS75で実現したような口角30(図2)を上げる動作であり、「瞼」は、図9のステップS75で実現したような上瞼28aおよび下瞼28b(図2)による目を細める動作を示す。「頭」は、図7のステップS53で実現したような基本周波数F0から生成した頭部26(図2)の動作を示す。声の高さに連動した頭部動作を付加することにより、頭部を動かさない場合と比べて不自然な動きにならないことを確認することも目的である。「瞬き」は、図9のステップS81で実現したような上瞼28aおよび下瞼28b(図2)による瞬間的な目を閉じる動作である。「口角2」は、図9のステップS87で実現した笑い声区間以外のわずかな笑顔を表現するための口角30(図2)を少し上げる動作である。
12 …アンドロイドロボット
16 …遠隔操作端末
26 …頭部
28a …上瞼
28b …下瞼
30 …口角
32 …肩
34 …腰
36 …CPU
42 …メモリ
Claims (10)
- 顔を有する頭部を備えるアンドロイドロボットを制御するシステムであって、
笑い声を発話する笑い区間が開始するとき前記顔の表情動作を開始させる表情動作開始手段、および
前記笑い区間が終了してから所定時間後に前記表情動作を終了させる表情動作終了手段を備える、アンドロイドロボット制御システム。 - 前記表情動作終了手段は、平常時の顔の表情に戻す表情戻し手段を含む、請求項1記載のアンドロイドロボット制御システム。
- 前記表情動作終了手段は、前記表情戻し手段によって平常時の顔の表情に戻す前に、緩衝的な表情を挿入する表情挿入手段を含む、請求項2記載のアンドロイドロボット制御システム。
- 前記顔は目および口唇を有し、
前記開始手段は、目を細める表情および口角を上げる表情の少なくとも一方を開始させる、請求項1ないし3のいずれかに記載のアンドロイドロボット制御システム。 - 前記笑い区間において前記頭部を動作させる頭部動作手段をさらに備える、請求項1ないし4のいずれかに記載のアンドロイドロボット制御システム。
- 前記アンドロイドロボットは上半身を含み、
前記笑い区間において前記上半身を動作させる上半身動作手段をさらに備える、請求項1ないし5のいずれから記載のアンドロイドロボット制御システム。 - 前記アンドロイドロボットは下半身を含み、
前記笑い区間において前記下半身を動作させる下半身動作手段をさらに備える、請求項1ないし6のいずれから記載のアンドロイドロボット制御システム。 - 顔を有する頭部を備えるアンドロイドロボットを制御する装置であって、
笑い声を発話する笑い区間が開始するとき前記顔の表情動作を開始させる表情動作開始手段、および
前記笑い区間が終了してから所定時間後に前記表情動作を終了させる表情動作終了手段を備える、アンドロイドロボット制御装置。 - 顔を有する頭部を備えるアンドロイドロボットを制御するシステムのコンピュータによって実行されるプログラムであって、
前記コンピュータを、笑い声を発話する笑い区間が開始するとき前記顔の表情動作を開始させる表情動作開始手段、および前記笑い区間が終了してから所定時間後に前記表情動作を終了させる表情動作終了手段として機能させる、アンドロイドロボット制御プログラム。 - 顔を有する頭部を備えるアンドロイドロボットを制御するシステムにおいて前記システムが実行する制御方法であって、
笑い声を発話する笑い区間が開始するとき前記顔の表情動作を開始させる表情動作開始ステップ、および
前記笑い区間が終了してから所定時間後に前記表情動作を終了させる表情動作終了ステップを含む、アンドロイドロボット制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015171830A JP6583815B2 (ja) | 2015-09-01 | 2015-09-01 | アンドロイドロボットの制御システム、装置、プログラムおよび方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015171830A JP6583815B2 (ja) | 2015-09-01 | 2015-09-01 | アンドロイドロボットの制御システム、装置、プログラムおよび方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017047494A true JP2017047494A (ja) | 2017-03-09 |
JP6583815B2 JP6583815B2 (ja) | 2019-10-02 |
Family
ID=58278483
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015171830A Active JP6583815B2 (ja) | 2015-09-01 | 2015-09-01 | アンドロイドロボットの制御システム、装置、プログラムおよび方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6583815B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108044635A (zh) * | 2017-12-26 | 2018-05-18 | 杭州欢乐飞机器人科技股份有限公司 | 一种带头部表情的轮腿机器人 |
CN108081245A (zh) * | 2017-12-26 | 2018-05-29 | 欢乐飞(上海)机器人有限责任公司 | 一种带舌头表情的机器人头部结构 |
JP2018149629A (ja) * | 2017-03-13 | 2018-09-27 | 株式会社国際電気通信基礎技術研究所 | ヒューマノイドロボットの驚き動作生成装置 |
CN110164444A (zh) * | 2018-02-12 | 2019-08-23 | 优视科技有限公司 | 语音输入启动方法、装置及计算机设备 |
JP2020037141A (ja) * | 2018-09-03 | 2020-03-12 | 株式会社国際電気通信基礎技術研究所 | ロボット、ロボット制御プログラムおよびロボット制御方法 |
JP2020121354A (ja) * | 2019-01-29 | 2020-08-13 | 新東工業株式会社 | ロボットアーム |
CN113319869A (zh) * | 2021-06-25 | 2021-08-31 | 重庆理工大学 | 具有情感交互功能的迎宾机器人系统 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0492298U (ja) * | 1990-12-22 | 1992-08-11 | ||
JPH06261982A (ja) * | 1993-03-12 | 1994-09-20 | Toshiba Corp | コミュニケーションロボット |
JP2000202169A (ja) * | 1999-01-13 | 2000-07-25 | Toshiba Corp | 作用者の心理状況を判別する装置及び作用者の心理状況を判別する装置を備えた玩具 |
JP2002006874A (ja) * | 2000-06-27 | 2002-01-11 | Sharp Corp | 音声処理装置、動画像処理装置、音声・動画像処理装置及び音声・動画像処理プログラムを記録した記録媒体 |
JP2003191187A (ja) * | 2001-12-21 | 2003-07-08 | Sony Corp | ロボット装置及びその制御方法 |
JP2003230770A (ja) * | 2002-02-12 | 2003-08-19 | Chubu Kagaku Gijutsu Center | 表情表出ロボット |
JP2003311028A (ja) * | 2002-04-26 | 2003-11-05 | Matsushita Electric Ind Co Ltd | ペットロボット装置 |
JP2004078905A (ja) * | 2002-06-21 | 2004-03-11 | Nec Corp | 動作プログラム作成支援装置、ロボット動作プログラム製造方式、およびロボット制御システム |
JP2005168983A (ja) * | 2003-12-15 | 2005-06-30 | Toppan Printing Co Ltd | 画像変形装置 |
JP2006289508A (ja) * | 2005-04-05 | 2006-10-26 | Sony Corp | ロボット装置及びその表情制御方法 |
JP2010250761A (ja) * | 2009-04-20 | 2010-11-04 | Nippon Telegr & Teleph Corp <Ntt> | アバタ生成装置、方法およびプログラム |
KR20150070588A (ko) * | 2013-12-17 | 2015-06-25 | 주식회사 아이모션 | 표정 변화가 가능한 로봇 |
-
2015
- 2015-09-01 JP JP2015171830A patent/JP6583815B2/ja active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0492298U (ja) * | 1990-12-22 | 1992-08-11 | ||
JPH06261982A (ja) * | 1993-03-12 | 1994-09-20 | Toshiba Corp | コミュニケーションロボット |
JP2000202169A (ja) * | 1999-01-13 | 2000-07-25 | Toshiba Corp | 作用者の心理状況を判別する装置及び作用者の心理状況を判別する装置を備えた玩具 |
JP2002006874A (ja) * | 2000-06-27 | 2002-01-11 | Sharp Corp | 音声処理装置、動画像処理装置、音声・動画像処理装置及び音声・動画像処理プログラムを記録した記録媒体 |
JP2003191187A (ja) * | 2001-12-21 | 2003-07-08 | Sony Corp | ロボット装置及びその制御方法 |
JP2003230770A (ja) * | 2002-02-12 | 2003-08-19 | Chubu Kagaku Gijutsu Center | 表情表出ロボット |
JP2003311028A (ja) * | 2002-04-26 | 2003-11-05 | Matsushita Electric Ind Co Ltd | ペットロボット装置 |
JP2004078905A (ja) * | 2002-06-21 | 2004-03-11 | Nec Corp | 動作プログラム作成支援装置、ロボット動作プログラム製造方式、およびロボット制御システム |
JP2005168983A (ja) * | 2003-12-15 | 2005-06-30 | Toppan Printing Co Ltd | 画像変形装置 |
JP2006289508A (ja) * | 2005-04-05 | 2006-10-26 | Sony Corp | ロボット装置及びその表情制御方法 |
JP2010250761A (ja) * | 2009-04-20 | 2010-11-04 | Nippon Telegr & Teleph Corp <Ntt> | アバタ生成装置、方法およびプログラム |
KR20150070588A (ko) * | 2013-12-17 | 2015-06-25 | 주식회사 아이모션 | 표정 변화가 가능한 로봇 |
Non-Patent Citations (2)
Title |
---|
吉川雅博 吉川雅博: "診察場面におけるアンドロイドに対する印象", 第29回日本ロボット学会学術講演会予稿集DVD−ROM 2011年 THE 29TH ANNUAL , JPN6019010842, September 2011 (2011-09-01), ISSN: 0004006898 * |
石井 カルロス寿憲 CARLOS T. ISHI: "遠隔存在感ロボットのためのフォルマントによる口唇動作生成手法 Lip Motion Generation Method Based on", 日本ロボット学会誌 第31巻 第4号 JOURNAL OF THE ROBOTICS SOCIETY OF JAPAN, vol. 第31巻 4号, JPN6019010845, May 2013 (2013-05-01), JP, pages 401 - 408, ISSN: 0004006899 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018149629A (ja) * | 2017-03-13 | 2018-09-27 | 株式会社国際電気通信基礎技術研究所 | ヒューマノイドロボットの驚き動作生成装置 |
CN108044635A (zh) * | 2017-12-26 | 2018-05-18 | 杭州欢乐飞机器人科技股份有限公司 | 一种带头部表情的轮腿机器人 |
CN108081245A (zh) * | 2017-12-26 | 2018-05-29 | 欢乐飞(上海)机器人有限责任公司 | 一种带舌头表情的机器人头部结构 |
CN110164444A (zh) * | 2018-02-12 | 2019-08-23 | 优视科技有限公司 | 语音输入启动方法、装置及计算机设备 |
JP2020037141A (ja) * | 2018-09-03 | 2020-03-12 | 株式会社国際電気通信基礎技術研究所 | ロボット、ロボット制御プログラムおよびロボット制御方法 |
JP7133840B2 (ja) | 2018-09-03 | 2022-09-09 | 株式会社国際電気通信基礎技術研究所 | ロボット、ロボット制御プログラムおよびロボット制御方法 |
JP2020121354A (ja) * | 2019-01-29 | 2020-08-13 | 新東工業株式会社 | ロボットアーム |
JP7228154B2 (ja) | 2019-01-29 | 2023-02-24 | 新東工業株式会社 | ロボットアーム |
CN113319869A (zh) * | 2021-06-25 | 2021-08-31 | 重庆理工大学 | 具有情感交互功能的迎宾机器人系统 |
CN113319869B (zh) * | 2021-06-25 | 2023-04-07 | 重庆理工大学 | 具有情感交互功能的迎宾机器人系统 |
Also Published As
Publication number | Publication date |
---|---|
JP6583815B2 (ja) | 2019-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6583815B2 (ja) | アンドロイドロボットの制御システム、装置、プログラムおよび方法 | |
JP4296714B2 (ja) | ロボット制御装置およびロボット制御方法、記録媒体、並びにプログラム | |
Ishi et al. | Evaluation of formant-based lip motion generation in tele-operated humanoid robots | |
JP5982840B2 (ja) | 対話装置、対話プログラムおよび対話方法 | |
US8224652B2 (en) | Speech and text driven HMM-based body animation synthesis | |
US10702991B2 (en) | Apparatus, robot, method and recording medium having program recorded thereon | |
US20110131041A1 (en) | Systems And Methods For Synthesis Of Motion For Animation Of Virtual Heads/Characters Via Voice Processing In Portable Devices | |
JP2002268699A (ja) | 音声合成装置及び音声合成方法、並びにプログラムおよび記録媒体 | |
Ishi et al. | Speech-driven lip motion generation for tele-operated humanoid robots | |
US20130238337A1 (en) | Voice quality conversion system, voice quality conversion device, voice quality conversion method, vocal tract information generation device, and vocal tract information generation method | |
Youssef et al. | Articulatory features for speech-driven head motion synthesis | |
JP4599606B2 (ja) | 頭部動作自動生成のための頭部動作学習装置及び頭部動作合成装置並びにコンピュータプログラム | |
WO2002082423A1 (fr) | Dispositif d'elaboration de suites de mots | |
CN113112575B (zh) | 一种口型生成方法、装置、计算机设备及存储介质 | |
JP5055486B2 (ja) | 遠隔操作アンドロイドの発話動作制御システム | |
Ishi et al. | Motion generation in android robots during laughing speech | |
Breazeal | Proto-conversations with an anthropomorphic robot | |
JP6701483B2 (ja) | アンドロイドロボットの制御システム、装置、プログラムおよび方法 | |
JP6917611B2 (ja) | ヒューマノイドロボットの驚き動作生成装置 | |
Athanasopoulos et al. | 3D immersive karaoke for the learning of foreign language pronunciation | |
Ishi et al. | Evaluation of a formant-based speech-driven lip motion generation | |
d’Alessandro et al. | Reactive statistical mapping: Towards the sketching of performative control with data | |
JP2002258886A (ja) | 音声合成装置および音声合成方法、並びにプログラムおよび記録媒体 | |
Granström et al. | Inside out–acoustic and visual aspects of verbal and non-verbal communication | |
JPH04359299A (ja) | 音声信号に基づく画像の変形方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180516 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190313 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190402 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190508 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190806 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190826 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6583815 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |