JP2019005846A - ロボット、ロボットの制御方法及びプログラム - Google Patents

Abstract

【課題】誤作動を防ぐことができるロボット、ロボットの制御方法及びプログラムを提供する。
【解決手段】ロボット１００は、動作手段と、撮像部１０４と、動作制御手段と、判定部１１４と、撮像制御手段と、を備える。撮像部１０４は、所定の部位に配置されて被写体を撮像する。動作制御手段は、動作手段を制御して所定の部位を動かす。判定部１１４は、撮像部１０４が被写体を撮像している時に、動作制御手段が所定の部位を動かしているか否かを判定する。撮像制御手段は、判定部１１４によって所定の部位を動かしていると判定されると、所定の部位の動きが被写体の画像に影響を与えないように撮像手段を制御する。
【選択図】図２

Description

本発明は、ロボット、ロボットの制御方法及びプログラムに関する。

人間や動物等に模した形状を有し、ユーザに感情表現をすることができるロボットが知られている。特許文献１は、頭部を傾動させる頭部傾動機構と頭部を回動させる頭部回動機構とを備え、頭部傾動動作と頭部回動動作との組み合わせ動作により、頭部の頷きや首ふりなどの感情表現を実施するロボットを開示している。

特開２０１６−１０１４４１号公報

カメラを頭部などの可動部に配置すると、頭部の頷きや首ふりなどの動作を実行した際、カメラの撮像範囲も連動して変動する。カメラの撮像範囲が変動すると、カメラで撮像した画像の解析に影響する。画像の解析が誤って実施されると、それに応じて実施されるロボットの動作に誤動作が生じる虞がある。

本発明は、上記のような課題を解決するためになされたものであり、誤作動を防ぐことができるロボット、ロボットの制御方法及びプログラムを提供することを目的とする。

本発明の目的を達成するため、本発明に係るロボットの一様態は、
自装置を動作させる動作手段と、
所定の部位に配置されて被写体を撮像する撮像手段と、
前記動作手段を制御して前記所定の部位を動かす動作制御手段と、
前記撮像手段が前記被写体を撮像している時に、前記動作制御手段が前記所定の部位を動かしているか否かを判定する判定手段と、
前記判定手段によって前記所定の部位を動かしていると判定される場合に、前記所定の部位の動きが前記被写体の画像に影響を与えないように前記撮像手段を制御する撮像制御手段と、
を備える、
ことを特徴とする。

また、本発明の目的を達成するため、本発明に係るロボットの制御方法の一様態は、
自装置を動作させる動作手段と、所定の部位に配置されて被写体を撮像する撮像手段と、を備えるロボットの制御方法であって、
前記動作手段を制御して前記所定の部位を動かす動作制御ステップと、
前記撮像手段が前記被写体を撮像している時に、前記動作制御ステップで前記所定の部位を動かしているか否かを判定する判定ステップと、
前記判定ステップによって前記所定の部位を動かしていると判定される場合に、前記所定の部位の動きが前記被写体の画像に影響を与えないように前記撮像手段を制御する撮像制御ステップと、
を含む、
ことを特徴とする。

また、本発明の目的を達成するため、本発明に係るプログラムの一様態は、
自装置を動作させる動作手段と、所定の部位に配置されて被写体を撮像する撮像手段と、を備えるロボットを制御するコンピュータを、
前記動作手段を制御して前記所定の部位を動かす動作制御手段、
前記撮像手段が前記被写体を撮像している時に、前記動作制御手段が前記所定の部位を動かしているか否かを判定する判定手段、
前記判定手段によって前記所定の部位を動かしていると判定される場合に、前記所定の部位の動きが前記被写体の画像に影響を与えないように前記撮像手段を制御する撮像制御手段、
として機能させる、
ことを特徴とする。

本発明によれば、誤作動を防ぐことができるロボット、ロボットの制御方法及びプログラムを提供することができる。

本発明の第１の実施の形態に係るロボットを示す図である。 本発明の第１の実施の形態に係るロボットの構成を示すブロック図である。 本発明の第１の実施の形態に係る感情表現処理を示すフローチャートである。 本発明の第２の実施の形態に係るロボットを示す図である。 本発明の第２の実施の形態に係るロボットの構成を示すブロック図である。 本発明の第２の実施の形態に係る感情表現処理を示すフローチャートである。 本発明の第２の実施の形態に係る感情動作処理を示すフローチャートである。 本発明の第２の実施の形態の変形例に係る撮像部が撮像した画像を示す図である。 本発明の第２の実施の形態の変形例に係る撮像部が撮像した画像を示す図である。 本発明の第２の実施の形態の変形例に係る撮像部が撮像した画像を示す図である。 本発明の第３の実施の形態に係るロボットを示す図である。 本発明の第３の実施の形態に係るロボットの構成を示すブロック図である。 本発明の第３の実施の形態に係る感情表現処理を示すフローチャートである。 本発明の第３の実施の形態に係る感情動作処理を示すフローチャートである。

以下、本発明を実施するための形態に係るロボットを図面を参照しながら説明する。

（第１の実施の形態）
本発明の実施形態に係るロボットは、画像を撮像する撮像部を頭部に有して、所定の対象であるユーザなどの動き、表情などを捉え、ユーザなどの動き、表情などに応じて（即ち、ユーザとの交流を介する交流動作をするように）自律的に動作するロボット装置である。ロボット１００は、図１に示すように、人をデフォルメした形状を有し、目と耳とを模した部材が配置された、所定の部位である頭部１０１と、手と足とを模した部材が配置された胴体部１０２と、胴体部１０２に頭部１０１を連結する首関節１０３と、頭部１０１に配置された撮像部１０４と、胴体部１０２の内部に配置された制御部１１０および電源部１２０と、胴体部１０２の背中に設けられた操作ボタン１３０と、を備える。

首関節１０３は、頭部１０１と胴体部１０２とを連結する部材であり、頭部１０１を回転する複数のモータを有する。複数のモータは、後述する制御部１１０により駆動される。頭部１０１は、首関節１０３により、胴体部１０２に対して、ピッチ軸Ｘｍの軸回り、ロール軸Ｚｍの軸回り、ヨー軸Ｙｍの軸回りに回転可能である。首関節１０３は、動作手段の１例として機能する。

撮像部１０４は、頭部１０１の前面の下部、人の顔でいうところの鼻の位置に設けられている。撮像部１０４は、制御部１１０の制御に基づいて、所定の対象を所定の時間毎（例えば、１／６０秒毎）に撮像し、撮像した画像を後述する制御部１１０に出力する。撮像部１０４は、撮像手段として機能する。

電源部１２０は、胴体部１０２に内蔵された充電池から構成され、ロボット１００の各部に電力を供給する。

操作ボタン１３０は、胴体部１０２の背中に設けられ、ロボット１００を操作するためのボタンであり、電源ボタンを含む。

制御部１１０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）から構成される。制御部１１０は、ＣＰＵがＲＯＭに記憶されたプログラムを読み出してＲＡＭ上で実行することにより、図２に示すように、画像取得部１１１と、画像解析部１１２と、表現制御部（動作制御部）１１３と、判定部１１４として機能する。

画像取得部１１１は、撮像部１０４の撮像動作を制御し、撮像部１０４が撮像した画像を取得し、取得した画像をＲＡＭに記憶する。画像取得部１１１は、後述する感情動作フラグがＯＦＦであるとき、撮像部１０４が撮像した画像を取得し、感情動作フラグがＯＮであるとき、撮像部１０４が撮像した画像の取得を停止する。又は、撮像部１０４により撮像された画像の記録を停止する。なお、以下の説明では、画像取得部１１１が取得した画像を取得画像とも表記する。画像取得部１１１は、撮像制御手段として機能する。

画像解析部１１２は、ＲＡＭに記憶された取得画像を解析し、ユーザの顔の表情を判別する。ユーザの顔の表情は、「喜」の表情、「怒」の表情を含む。まず、画像解析部１１２は、公知の手法を用いて、ユーザの顔を検出する。例えば、取得画像内で、予めＲＯＭに記憶した人間の顔のテンプレートに合致する部分をユーザの顔として検出する。画像解析部１１２は、ユーザの顔を取得画像の中心部に検出しないときは、頭部１０１を上下左右に動かし、ユーザの顔を取得画像の中心部で検出した向きで停止する。つぎに、画像解析部１１２は、公知の手法を用いて、取得画像中で顔として検出した部分に写る口元の形状に基づいて表情を判別する。例えば、画像解析部１１２は、口元の形状が口角の上がっている形状であると判定すると、「喜」の表情であると判別する。画像解析部１１２は、口元の形状が口角の下がっている形状であると判定すると、「怒」の表情であると判別する。画像解析部１１２は、画像解析手段として機能する。

表現制御部１１３は、画像解析部１１２により判別されたユーザの顔の表情に基づいて、首関節１０３に頭部１０１を感情動作させる。例えば、画像解析部１１２が、ユーザの表情を「喜」の表情であると判別すると、表現制御部１１３は、首関節１０３に頭部１０１を縦に振る感情動作（頷き動作）として、ピッチ軸Ｘｍの軸回りに往復動作させる。画像解析部１１２が、ユーザの表情を「怒」の表情であると判別すると、表現制御部１１３は、首関節１０３に頭部１０１を横に振る感情動作（首ふり動作）として、ヨー軸Ｙｍの軸回りに往復動作させる。表現制御部１１３は、感情動作を開始すると、感情動作フラグをＯＮにし、ＲＡＭに記憶する。これにより、表現制御部１１３の制御モードが変更される。表現制御部１１３は、感情動作を開始して一定期間（例えば、５秒）経過すると、感情動作を停止する。表現制御部１１３（動作制御部）は、動作制御手段として機能する。

判定部１１４は、表現制御部１１３によりロボット１００が感情動作しているか否かを判定する。判定部１１４は、ロボット１００が感情動作を終了したと判定すると、感情動作フラグをＯＦＦにし、ＲＡＭに記憶する。判定部１１４は、ロボット１００が感情動作を終了していないと判定すると、感情動作フラグをＯＮにしたままにする。なお、電源投入時には、判定部１１４は、感情動作フラグをＯＦＦにし、ＲＡＭに記憶する。判定部１１４は、判定手段として機能する。

つぎに、以上の構成を有するロボット１００が実行する感情表現処理について説明する。感情表現処理は、ユーザの顔の表情を判別し、ユーザの顔の表情に応じて頭部１０１を動作させる処理である。

ユーザが操作ボタン１３０を操作し電源をＯＮにすると、ロボット１００は電源をＯＮにする指示に応答し、図３に示す感情表現処理を開始する。以下、ロボット１００が実行する感情表現処理を、フローチャートを用いて説明する。

まず、画像取得部１１１は、撮像部１０４に撮像を開始させる（ステップＳ１０１）。つぎに、判定部１１４は、感情表現フラグをＯＦＦにし、ＲＡＭに記憶する（ステップＳ１０２）。つぎに、画像取得部１１１は、撮像部１０４が撮像した画像を取得する（ステップＳ１０３）。画像取得部１１１は、取得した画像をＲＡＭに記憶する。

つぎに、画像解析部１１２は、公知の手法を用いて、取得画像を解析しユーザの顔を検出し、取得画像の中心部にユーザの顔を検出したか否かを判定する（ステップＳ１０４）。画像解析部１１２は、例えば、取得画像内で、予めＲＯＭに記憶した人間の顔のテンプレートに合致する部分をユーザの顔として検出し、検出した顔が取得画像の中心部にあるか否かを判定する。画像解析部１１２が、取得画像の中心部にユーザの顔を検出していないと判定すると（ステップＳ１０４；ＮＯ）、画像解析部１１２は、ロボット１００の頭部１０１を上下左右の何れかの向きに動かす（ステップＳ１０５）。例えば、取得画像の右部にユーザの顔を検出していた場合、頭部１０１を左に向くように、ヨー軸Ｙｍの軸回りに回転する。つぎに、ステップＳ１０３に戻って、画像解析部１１２は、撮像した画像を新たに取得する（ステップＳ１０３）。つぎに、画像解析部１１２は、新たに取得した取得画像の中心部にユーザの顔を検出したか否かを判定する（ステップＳ１０４）。

つぎに、取得画像の中心部にユーザの顔を検出したと判定すると（ステップＳ１０４；ＹＥＳ）、画像解析部１１２は、ユーザの表情を解析する（ステップＳ１０６）。つぎに、画像解析部１１２は、ユーザの表情が「喜」または「怒」の表情であるか否かを判別する（ステップＳ１０７）。例えば、画像解析部１１２は、口元の形状が口角の上がっている形状であると判定すると、「喜」の表情であると判別する。画像解析部１１２は、口元の形状が口角の下がっている形状であると判定すると、「怒」の表情であると判別する。つぎに、ユーザの表情が「喜」または「怒」の表情でないと判別されると（ステップＳ１０７；ＮＯ）、ステップＳ１０３に戻って、ステップＳ１０３からステップＳ１０７を繰り返す。

つぎに、ユーザの表情が「喜」または「怒」の表情であると判別されると（ステップＳ１０７；ＹＥＳ）、表現制御部１１３は、感情動作フラグをＯＮにし、ＲＡＭに記憶する（ステップＳ１０８）。つぎに、画像取得部１１１は、画像の取得を停止する（ステップＳ１０９）。即ち、撮像部１０４の撮像を停止する、又は、撮像部１０４により撮像された画像の記録を停止する。表現制御部１１３は、画像解析部１１２により判別されたユーザの顔の表情に基づいて、首関節１０３に頭部１０１を感情動作としての動作を実施する（ステップＳ１１０）。例えば、ユーザの表情を「喜」の表情であると判別した場合、表現制御部１１３は、首関節１０３に頭部１０１を縦に振る感情動作として、ピッチ軸Ｘｍの軸回りに往復動作させる。画像解析部１１２が、ユーザの表情を「怒」の表情であると判別した場合、表現制御部１１３は、首関節１０３に頭部１０１を横に振る感情動作として、ヨー軸Ｙｍの軸回りに往復動作させる。

つぎに、判定部１１４は、表現制御部１１３によりロボット１００が感情動作を終了したか否かを判定する（ステップＳ１１１）。判定部１１４が、感情動作を終了していないと判定すると（ステップＳ１１０；ＮＯ）、ステップＳ１１０に戻り、感情動作を終了するまで、ステップＳ１１０からステップＳ１１１を繰り返す。なお、表現制御部１１３は、感情動作を開始して一定期間（例えば、５秒）経過すると、感情動作を停止する。

判定部１１４は、感情動作を終了したと判定すると（ステップＳ１１１；ＹＥＳ）、感情動作フラグをＯＦＦにし、ＲＡＭに記憶する（ステップＳ１１２）。つぎに、画像取得部１１１は、画像の取得を開始する（ステップＳ１１３）。つぎに、ユーザにより操作ボタン１３０に終了指示が入力されたか否かを判定する（ステップＳ１１４）。操作ボタン１３０に終了指示が入力されていない場合（ステップＳ１１４；ＮＯ）、ステップＳ１０３に戻って、ステップＳ１０３からステップＳ１１２を繰り返す。操作ボタン１３０に終了指示が入力された場合（ステップＳ１１４；ＹＥＳ）、感情表現処理を終了する。

以上のように、ロボット１００によれば、感情表現を実施していない場合、撮像部１０４により撮像された画像の取得を開始し、感情表現を実施している場合、画像取得部１１１は、撮像部１０４が撮像した画像の取得を停止する。これにより、画像解析部１１２は、頭部１０１が動いていない時に、ユーザの表情を解析する。一方、頭部１０１が感情表現するために動いている時に、ユーザの表情の解析を停止する。このため、ロボット１００は、頭部１０１が動いていない時に撮像されたブレのない画像に基づいて、感情表現を実施できる。頭部１０１が動いている時に撮像された画像は、ブレている虞があり、頭部１０１が動いている時に撮像された画像を取得しない。これらにより、ロボット１００の誤動作を防ぐことができる。また、ロボット１００は、ユーザの顔を取得画像の中心部に検出しないときは、頭部１０１を上下左右に動かし、ユーザの顔を取得画像の中心部で検出した向きで停止する。これにより、ロボット１００の頭部１０１の視線がユーザに向いているように見せることができる。

（第１の実施の形態の変形例）
第１の実施の形態のロボット１００では、感情動作を実施していない場合、画像取得部１１１が、撮像部１０４により撮像された画像を取得し、感情動作を実施している場合、画像取得部１１１が、撮像部１０４により撮像された画像の取得を停止する例について説明した。第１の実施の形態のロボット１００は、感情動作を実施していない場合、ユーザの表情を解析し、感情動作を実施している場合、ユーザの表情の解析を停止できればよい。例えば、画像取得部１１１は、感情動作を実施していない場合、撮像部１０４に画像を撮像するように制御し、感情動作を実施している場合、撮像部１０４に画像の撮像を停止するように制御してもよい。また、画像解析部１１２は、感情動作を実施していない場合、ユーザの表情を解析し、感情動作を実施している場合、ユーザの表情の解析を停止するように制御してもよい。

また、ロボット１００では、表現制御部１１３は、感情動作を実施する直前の首関節１０３の角度をＲＡＭに記録しておき、感情動作を終了したとき、首関節１０３の角度を感情動作を実施する直前の首関節１０３の角度に戻してもよい。このようにすることで、感情動作終了後に頭部１０１の視線をユーザに向けることができる。

また、画像解析部１１２は、予め特定の人の顔のデータをＲＯＭに記憶しておいてもよい。画像解析部１１２が、画像取得部１１１により取得した画像に予め記憶した特定の人の顔が写っていると判定したとき、表現制御部１１３が、頭部１０１の感情動作を実行するようにしてもよい。

（第２の実施の形態）
上述の第１の実施の形態のロボット１００では、感情表現を実施している場合に、ユーザの表情の解析を停止する例について説明した。第２の実施の形態のロボット２００では、感情表現を実施している場合に、頭部１０１の動きを相殺するように、画像の撮像範囲を上下左右に動かす例について説明する。

第２の実施の形態のロボット２００では、図４に示すように、撮像部２０４は、そのレンズの光軸が縦方向Ｘｃおよび横方向Ｙｃに動くように配置されている。また、第２の実施の形態の制御部２１０は、図５に示すように、第１の実施の形態のロボット１００の制御部１１０の機能に加えて、撮像制御部１１５として機能する。第２の実施の形態のロボット２００のその他の構成は、第１の実施の形態と同じである。

図４に示す撮像部２０４は、頭部１０１の前面の下部、人の顔でいうところの鼻の位置に設けられている。撮像部２０４は、制御部１１０の制御に基づいて、所定の対象を所定の時間毎に撮像し、撮像した画像を後述する制御部２１０に出力する。また、撮像部２０４は、制御部２１０の制御に基づいて、撮像範囲が上下に動くように、レンズの光軸が縦方向Ｘｃ、または撮像範囲が左右に動くように、レンズの光軸が横方向Ｙｃに首振り動作する。

図５に示す撮像制御部１１５は、感情動作フラグがＯＮになっているとき、頭部１０１の動きを相殺するように、撮像部２０４の向きを制御する。頭部１０１がピッチ軸Ｘｍの軸回りに往復動作したとき、撮像部２０４は、制御部２１０の制御に基づいて、頭部１０１の動きを相殺するように、縦方向Ｘｃに首振り動作する。頭部１０１がヨー軸Ｙｍの軸回りに往復動作したとき、撮像部２０４は、制御部２１０の制御に基づいて、頭部１０１の動きを相殺するように、横方向Ｙｃに首振り動作する。撮像制御部１１５は、撮像制御手段として機能する。

つぎに、以上の構成を有するロボット２００が実行する感情表現処理について説明する。第２の実施の形態の感情表現処理のステップＳ２０１からステップＳ２０８は、第１の実施の形態の感情表現処理のステップＳ１０１からステップＳ１０８と同じである。ステップＳ２０９以降の感情表現処理について図６および図７を参照しながら説明する。

表現制御部１１３が、ステップＳ２０８で感情動作フラグをＯＮにして、ＲＡＭに記憶すると、表現制御部１１３は、感情動作処理を実行する（ステップＳ２０９）。感情動作処理を開始すると、図７に示すように、撮像制御部１１５は、頭部１０１の動きを相殺する、撮像部２０４のレンズの光軸の向きの制御を開始する（ステップＳ３０１）。具体的には、頭部１０１がピッチ軸Ｘｍの軸回りに往復動作したとき、撮像部２０４は、制御部２１０の制御に基づいて、頭部１０１の動きを相殺するように、縦方向Ｘｃに首振り動作する制御を開始する。頭部１０１がヨー軸Ｙｍの軸回りに往復動作したとき、撮像部２０４は、制御部２１０の制御に基づいて、頭部１０１の動きを相殺するように、横方向Ｙｃに首振り動作する制御を開始する。

つぎに、表現制御部１１３は、画像解析部１１２により判別されたユーザの顔の表情に基づいて、首関節１０３に頭部１０１を動作させる（ステップＳ３０２）。例えば、ユーザの表情を「喜」の表情であると判別した場合、表現制御部１１３は、首関節１０３に頭部１０１を縦に振る感情動作として、ピッチ軸Ｘｍの軸回りに往復動作させる。画像解析部１１２が、ユーザの表情を「怒」の表情であると判別した場合、表現制御部１１３は、首関節１０３に頭部１０１を横に振る感情動作として、ヨー軸Ｙｍの軸回りに往復動作させる。このとき、撮像制御部１１５は、頭部１０１の動きを相殺するように、撮像部２０４のレンズの光軸の向きの制御する。このため、撮像部２０４は、ブレのない画像を撮像することができる。

つぎに、画像取得部１１１は、ユーザを撮像した画像を取得する（ステップＳ３０３）。つぎに、画像解析部１１２は、ユーザの表情を解析する（ステップＳ３０４）。つぎに、画像解析部１１２は、ユーザの表情が「喜」または「怒」の表情であるか否かを判別する（ステップＳ３０５）。例えば、画像解析部１１２は、口元の形状が口角の上がっている形状であると判定すると、「喜」の表情であると判別する。画像解析部１１２は、口元の形状が口角の下がっている形状であると判定すると、「怒」の表情であると判別する。つぎに、ユーザの表情が「喜」または「怒」の表情であると判別すると（ステップＳ３０５；ＹＥＳ）、ステップＳ３０２に戻って、新たに判定したユーザの顔の表情に基づいて、首関節１０３に頭部１０１を感情動作させる（ステップＳ３０２）。

ユーザの表情が「喜」または「怒」の表情でないと判別すると（ステップＳ３０５；ＮＯ）、判定部１１４は、表現制御部１１３によりロボット１００が感情動作を終了した否かを判定する（ステップＳ３０６）。判定部１１４が、感情動作を終了していないと判定すると（ステップＳ３０６；ＮＯ）、ステップＳ３０２に戻り、感情動作を終了するまで、ステップＳ３０２からステップＳ３０６を繰り返す。なお、表現制御部１１３は、感情動作を開始して一定期間経過すると、感情動作を停止する。

判定部１１４は、感情動作を終了したと判定すると（ステップＳ３０６；ＹＥＳ）、図６に戻って、感情動作フラグをＯＦＦにし、ＲＡＭに記憶する（ステップＳ２１０）。つぎに、撮像制御部１１５は、撮像部２０４のレンズの光軸の向きの制御を停止する（ステップＳ２１１）。つぎに、ユーザにより操作ボタン１３０に終了指示が入力されたか否か判定する（ステップＳ２１２）。操作ボタン１３０に終了指示が入力されていない場合（ステップＳ２１２；ＮＯ）、ステップＳ２０３に戻って、ステップＳ２０３からステップＳ２１２を繰り返す。操作ボタン１３０に終了指示が入力された場合（ステップＳ２１２；ＹＥＳ）、感情表現処理を終了する。

以上のように、ロボット２００によれば、感情表現を実施している場合、撮像制御部１１５は、頭部１０１の動きを相殺するように、撮像部２０４の向きを制御する。これにより、感情動作を実施している間に撮像部２０４で撮像した画像にブレが少なくなる。このため、感情表現を実施しているときであっても、ユーザの表情の解析を正確に実施することができ、ロボット２００の誤動作を防ぐことができる。また、ロボット２００は、感情表現を実施している時に、ユーザの表情を解析できる。このため、例えば、ロボット２００が「喜」の感情表現をしている間に、ユーザの表情を解析し、ユーザの表情が「怒」であると判定すると、ロボット２００は、「怒」の感情表現に変更することが可能である。

（第２の実施の形態の変形例）
第２の実施の形態のロボット２００では、感情動作を実施している時に、撮像制御部１１５は、頭部１０１の動きを相殺するように、撮像部２０４の向きを制御する例について説明した。第２の実施の形態のロボット２００は、撮像した画像のブレを少なくすることができればこの例に限定されない。例えば、画像取得部１１１は、撮像部２０４が撮像した画像をトリミングした画像を取得し、頭部１０１の動きを相殺するように、画像をトリミングする範囲を変更してもよい。

具体的には、画像取得部１１１は、図８に示すように、画像Ｉの一部を、ユーザなどの所定の対象ＴＧを含むように切り出したトリミング画像ＴＩを取得し、画像解析部１１２は、トリミング画像ＴＩを解析し、ユーザ等の所定の対象ＴＧの表情を判別する。このとき所定の対象ＴＧは、画像Ｉの中心部に写っている。感情表現するために頭部１０１が左に向くと、図９に示すように、撮像範囲が左にずれる。このため、画像Ｉに写る所定の対象ＴＧは、画像Ｉの右に異動する。このとき、画像取得部１１１は、頭部１０１が左に向いた分だけ、トリミングする範囲を右に移動する。画像取得部１１１は、図９に示すトリミング画像ＴＩを取得する。頭部１０１が右に向くと、図１０に示すように、撮像範囲が右にずれる。このため、画像Ｉに写る所定の対象ＴＧは、画像Ｉの左に異動する。このとき、画像取得部１１１は、頭部１０１が右に向いた分だけ、トリミングする範囲を左に移動する。画像取得部１１１は、図１０に示すトリミング画像ＴＩを取得する。頭部１０１が上下に首振りした場合には、トリミングする範囲を上下に変更する。このようにすることで、撮像部２０４を動かすことなく、ブレの少ない画像を得ることができ、ロボット２００の誤動作を防ぐことができる。なお、撮像部２０４は、広角レンズまたは魚眼レンズを備えるとよい。このようにすることで、頭部１０１の首振り角が大きくても所定の対象ＴＧを撮像することができる。

（第３の実施の形態）
上述の第１の実施の形態のロボット１００および第２の実施の形態のロボット２００では、撮像部１０４、２０４で所定の対象を撮像し、感情表現する例について説明した。第３の実施の形態のロボット３００では、マイクで収音した音声に基づいて、感情表現する例について説明する。

第３の実施の形態のロボット３００は、図１１に示すように、音声を収音するマイク群１０５を備えている。また、第３の実施の形態の制御部３１０は、図１２に示すように、第１の実施の形態のロボット１００の制御部１１０の機能に加えて、音声取得部１１６と、音声解析部１１７と、して機能する。第３の実施の形態のロボット３００のその他の構成は、第１の実施の形態と同じである。

図１１に示すマイク群１０５は、頭部１０１の人の顔でいうところの額の位置に配置され、５つのマイク１０５ａ〜１０５ｅを含み、音声取得部１１６に収音した音声を入力する。５つのマイク１０５ａ〜１０５ｅは、それぞれ異なる向きから到達する音声を収音する。マイク１０５ａは、マイク群１０５が配置されている部分の中心に配置され、ロボット３００からみて正面の音声を収音する。マイク１０５ｂは、ロボット３００からみて、マイク群１０５が配置されている部分の右に配置され、マイク１０５ａで収音する範囲より右の範囲から発生した音声を収音する。マイク１０５ｃは、ロボット３００からみて、マイク群１０５が配置されている部分の左に配置され、マイク１０５ａで収音する範囲より左の範囲から発生した音声を収音する。マイク１０５ｄは、ロボット３００からみて、マイク群１０５が配置されている部分の下に配置され、マイク１０５ａで収音する範囲より下の範囲から発生した音声を収音する。マイク１０５ｅは、ロボット３００からみて、マイク群１０５が配置されている部分の上に配置され、マイク１０５ａで収音する範囲より上の範囲から発生した音声を収音する。

図１２に示す音声取得部１１６は、マイク群１０５により収音された音声を取得し、ＲＡＭに記憶する。音声取得部１１６は、感情動作フラグＯＦＦのとき、マイク１０５ａで収音した音声を取得する。音声取得部１１６は、感情動作フラグＯＮのとき、頭部１０１を動かした向きと逆の向きの方向から到達する音声を取得するように、マイク１０５ａ〜１０５ｅの何れかから音声を取得する。例えば、ロボット３００から見て、頭部１０１が右を向いているとき、マイク群１０５が配置されている部分の左に配置されたマイク１０５ｃで収音した音声を取得する。同様に、頭部１０１が左を向いているとき、マイク１０５ｂで収音した音声を取得する。頭部１０１が上を向いているとき、マイク１０５ｄで収音した音声を取得する。頭部１０１が下を向いているとき、マイク１０５ｅで収音した音声を取得する。音声取得部１１６は、音声取得手段として機能する。

音声解析部１１７は、音声取得部１１６に取得された音声を解析し、音声の語尾の音程により感情を判別する。音声解析部１１７は、語尾の音程が上がっていると判定すると、「喜」の音声であると判別する。音声解析部１１７は、語尾の音程が下がっていると判定すると、「怒」の音声であると判別する。

つぎに、以上の構成を有するロボット３００が実行する感情表現処理について説明する。第３の実施の形態の感情表現処理のステップＳ４０１からステップＳ４０５は、第１の実施の形態の感情表現処理のステップＳ１０１からステップＳ１０５と同じである。ステップＳ４０６以降の感情表現処理について図１３および図１４を参照しながら説明する。

図１３に示すように、取得画像の中心部にユーザの顔を検出したと判定すると（ステップＳ４０４；ＹＥＳ）、音声取得部１１６は、マイク１０５ａで収音した音声を取得する（ステップＳ４０６）。これにより、頭部１０１はユーザを向いており、マイク１０５ａはユーザの音声を収音することができる。つぎに、音声解析部１１７は、取得した音声を解析する（ステップＳ４０７）。つぎに、音声解析部１１７は、取得した音声が「喜」または「怒」の音声であるか否かを判別する（ステップＳ４０８）。例えば、音声解析部１１７は、語尾の音程が上がっていると判定すると、「喜」の音声であると判別する。音声解析部１１７は、語尾の音程が下がっていると判定すると、「怒」の音声であると判別する。つぎに、取得した音声が「喜」または「怒」の音声でないと判別すると（ステップＳ４０８；ＮＯ）、ステップＳ４０３に戻って、ステップＳ４０３からステップＳ４０８を繰り返す。

つぎに、音声が「喜」または「怒」の音声であると判別すると（ステップＳ４０８；ＹＥＳ）、表現制御部１１３は、感情動作フラグをＯＮにし、ＲＡＭに記憶する（ステップＳ４０９）。表現制御部１１３は、感情動作処理を実行する（ステップＳ４１０）。感情動作処理を開始すると、図１４に示すように、音声取得部１１６は、頭部１０１の動きを相殺するように、マイク１０５ａ〜１０５ｅの何れかから音声を取得するように、音声を取得するマイクの選択を開始する（ステップＳ５０１）。

つぎに、表現制御部１１３は、音声解析部１１７の解析結果に基づいて、首関節１０３に頭部１０１を動作させる（ステップＳ５０２）。例えば、音声解析部１１７が「喜」の音声であると判別した場合、表現制御部１１３は、首関節１０３に頭部１０１を縦に振る感情動作として、ピッチ軸Ｘｍの軸回りに往復動作させる。音声解析部１１７が「怒」の音声であると判別した場合、表現制御部１１３は、首関節１０３に頭部１０１を横に振る感情動作として、ヨー軸Ｙｍの軸回りに往復動作させる。

つぎに、音声取得部１１６は、音声を取得する（ステップＳ５０３）。詳細には、音声取得部１１６は、ロボット３００から見て、頭部１０１が右を向いているとき、マイク１０５ｃで収音した音声を取得する。頭部１０１が左を向いているとき、マイク１０５ｂで収音した音声を取得する。頭部１０１が上を向いているとき、マイク１０５ｄで収音した音声を取得する。頭部１０１が下を向いているとき、マイク１０５ｅで収音した音声を取得する。

つぎに、音声解析部１１７は、音声取得部１１６により取得された音声を解析する（ステップＳ５０４）。つぎに、音声解析部１１７は、「喜」または「怒」の音声であるか否かを判別する（ステップＳ５０５）。音声解析部１１７が「喜」または「怒」の音声であると判別すると（ステップＳ５０５；ＹＥＳ）、新たに解析した解析結果に基づいて、首関節１０３に頭部１０１を動作させる（ステップＳ５０２）。

音声が「喜」または「怒」の音声でないと判別すると（ステップＳ５０５；ＮＯ）、判定部１１４は、表現制御部１１３によりロボット３００が感情動作を終了した否かを判定する（ステップＳ５０６）。判定部１１４が、感情動作を終了していないと判定すると（ステップＳ５０６；ＮＯ）、ステップＳ５０２に戻り、感情動作を終了するまで、ステップＳ５０２からステップＳ５０６を繰り返す。なお、表現制御部１１３は、感情動作を開始して一定期間経過すると、感情動作を停止する。

判定部１１４は、感情動作を終了したと判定すると（ステップＳ５０６；ＹＥＳ）、図１３に戻って、感情動作フラグをＯＦＦにし、ＲＡＭに記憶する（ステップＳ４１１）。つぎに、音声取得部１１６は、音声を取得するマイクをマイク１０５ａに戻す（ステップＳ４１２）。つぎに、ユーザにより操作ボタン１３０に終了指示が入力されたか否か判定する（ステップＳ４１３）。操作ボタン１３０に終了指示が入力されていない場合（ステップＳ４１３；ＮＯ）、ステップＳ４０３に戻って、ステップＳ４０３からステップＳ４１２を繰り返す。操作ボタン１３０に終了指示が入力された場合（ステップＳ４１３；ＹＥＳ）、感情表現処理を終了する。

以上のように、ロボット３００によれば、感情表現を実施している時に、音声取得部１１６は、頭部１０１の動きを相殺するように、マイク１０５ａ〜１０５ｅの何れかから音声を取得する。これにより、ロボット３００が頭部１０１の向きを変えたとしても、正面から発生した音声を収音することができる。このため、感情表現を実施しているときであっても、ユーザが発した音声を収音して、この音声を解析することができ、ロボット３００の誤動作を防ぐことができる。また、ロボット３００は、感情表現を実施している時に、音声を解析できる。このため、例えば、ロボット３００が「喜」の感情表現をしている間に、音声を解析し、音声が「怒」の音声であると判定すると、ロボット３００は、「怒」の感情表現に変更することが可能である。

（第３の実施の形態の変形例）
第３の実施の形態のロボット３００では、感情動作を実施している時に、音声取得部１１６は、頭部１０１の動きを相殺するように、マイク１０５ａ〜１０５ｅの何れかから音声を取得する例について説明した。ロボット３００は、感情動作を実施している時に、音声取得部１１６は、マイク１０５ａ〜１０５ｅから音声の取得を停止してもよい。また、音声取得部１１６により取得された音声の記録を停止してもよい。このようにすることで、ロボット３００が頭部１０１の向きを変えた時に収音した音声により感情動作することによる誤動作を防ぐことができる。この場合、ロボット３００は、１つのマイクを備えてもよい。また、音声取得部１１６が、マイク１０５ａ〜１０５ｅから音声の取得を停止する代わりに、感情動作を実施している時に、音声解析部１１７が解析を停止してもよい。

（変形例）
上述の実施の形態では、ロボット１００〜３００が、「喜」および「怒」の感情表現を実施する例について説明したが、ロボット１００〜３００は、ユーザなどの所定の対象に表現を実行すればよく、「喜」および「怒」以外の感情を表現してもよく、感情表現以外の動きを表現してもよい。

上述の実施の形態では、ロボット１００〜３００が、ユーザとの交流を介した交流動作をする例について説明したが、ユーザとは独立してロボット１００〜３００が単独で実行する動作であって、ユーザとの交流を介さない自発的な一人動作を、ロボット１００〜３００がする例においても同様に適用することができる。

上述の実施の形態では、画像解析部１１２が、取得画像を解析し、ユーザの顔の表情を判別する例について説明したが、画像解析部１１２は、ロボット１００〜３００の動作の基になる情報を得ることができればよく、ユーザの顔の表情を判別する場合に限定されない。例えば、画像解析部１１２は、ユーザの顔の向きやユーザの体の動きを判別してもよい。この場合、ユーザの顔がロボット１００〜３００を向いているとき、ロボット１００〜３００は、所定の動作をしてもよく、ユーザの体の動きが所定のパターンであるとき、ロボット１００〜３００は、所定の動作をしてもよい。

上述の実施の形態では、撮像部１０４、２０４が頭部１０１の鼻の位置に設けられる例について説明したが、撮像部１０４、２０４は、所定の部位である頭部１０１に設けられればよく、右目または左目に設けられてもよく、右目と左目の間の位置または額の位置に設けられてもよい。また、撮像部１０４、２０４を右目および左目に設け、３次元画像を取得するようにしてもよい。

上述の実施の形態では、ロボット１００〜３００が、人を模した形状を有する例について説明したが、ロボット１００〜３００の形状は、特に限定されず、例えば、犬または猫を含む動物を模した形状を有してもよく、想像上の生き物を模した形状であってもよい。

上述の実施の形態では、ロボット１００〜３００が、頭部１０１と、胴体部１０２と、頭部１０１に配置された撮像部２０４と、から構成される例について説明したが、ロボット１００は、所定の部位を動かすことができ、所定の部位に撮像部２０４が配置されるものであれば特に限定されない。所定の部位は、例えば、手、足、尻尾などであってもよい。

上述の実施の形態では、ロボット１００〜３００が、ユーザに感情表現を含む表現を実施する例について説明したが、ロボット１００〜３００が、表現を実施する所定の対象は、人に限らず、犬、猫を含むペットなどの動物であってもよい。この場合、画像解析部１１２は、動物の表情を解析してもよい。

また、ＣＰＵ、ＲＡＭ、ＲＯＭ等から構成される制御部１１０、２１０、３１０が実行する感情表現処理を行う中心となる部分は、専用のシステムによらず、通常の情報携帯端末（スマートフォン、タブレットＰＣ（Personal Computer））、パーソナルコンピュータなどを用いて実行可能である。たとえば、上述の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）等）に格納して配布し、このコンピュータプログラムを情報携帯端末などにインストールすることにより、上述の処理を実行する情報端末を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置にこのコンピュータプログラムを格納しておき、通常の情報処理端末などがダウンロード等することで情報処理装置を構成してもよい。

また、制御部１１０、２１０、３１０の機能を、ＯＳ（Operating System）とアプリケーションプログラムとの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。

また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。例えば、通信ネットワーク上の掲示板（ＢＢＳ：Bulletin Board System）にこのコンピュータプログラムを掲示し、ネットワークを介してこのコンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、上述の処理を実行できるように構成してもよい。

本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。つまり、本発明の範囲は、実施形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲とが含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

（付記）
（付記１）
自装置を動作させる動作手段と、
所定の部位に配置されて被写体を撮像する撮像手段と、
前記動作手段を制御して前記所定の部位を動かす動作制御手段と、
前記撮像手段が前記被写体を撮像している時に、前記動作制御手段が前記所定の部位を動かしているか否かを判定する判定手段と、
前記判定手段によって前記所定の部位を動かしていると判定される場合に、前記所定の部位の動きが前記被写体の画像に影響を与えないように前記撮像手段を制御する撮像制御手段と、
を備える、
ことを特徴とするロボット。

（付記２）
前記判定手段によって前記所定の部位を動かしていると判定される場合に、前記撮像制御手段は、前記撮像手段の撮像を停止する、又は、前記撮像手段により撮像された前記被写体の画像の記録を停止する、
ことを特徴とする付記１に記載のロボット。

（付記３）
前記判定手段によって前記所定の部位を動かしていると判定される場合に、前記撮像制御手段は、前記所定の部位の動きを相殺するように前記撮像手段の撮像する向きを制御する、
ことを特徴とする付記１又は２に記載のロボット。

（付記４）
前記所定の部位に配置されたマイクが収音した音声を取得する音声取得手段を更に備え、
前記判定手段によって前記所定の部位を動かしていると判定される場合に、前記音声取得手段は、前記音声の取得を停止する、又は、前記音声取得手段により取得された前記音声の記録を停止する、
ことを特徴とする付記１乃至３の何れか１つに記載のロボット。

（付記５）
前記撮像手段は、所定の対象を撮像し、
前記動作制御手段は、前記動作手段を制御して、前記所定の対象との交流を介した交流動作をするように前記所定の部位を動かす、
ことを特徴とする付記１乃至４の何れか１つに記載のロボット。

（付記６）
前記判定手段によって前記所定の部位を動かしていると判定される場合に、前記動作制御手段は、前記所定の対象を撮像した前記被写体の画像の一部を、前記所定の対象を含むように切り出したトリミング画像を取得する、
ことを特徴とする付記５に記載のロボット。

（付記７）
前記所定の対象の顔の表情を解析する画像解析手段を更に備え、
前記動作制御手段は、前記画像解析手段により解析された前記顔の表情に応じて、前記所定の対象への感情表現を表すように前記所定の部位を動かす、
ことを特徴とする付記５又は６に記載のロボット。

（付記８）
前記所定の部位に配置された複数のマイクが収音した音声を取得する音声取得手段を更に備え、
前記複数のマイクは、それぞれ異なる向きから到達する前記音声を収音し、
前記音声取得手段は、前記撮像手段により取得された前記被写体の画像に写る前記所定の対象に基づいて、前記所定の対象から到達した前記音声を収音する前記マイクから前記音声を取得し、
前記判定手段によって前記所定の部位を動かしていると判定される場合に、前記音声取得手段は、前記所定の対象から到達する前記音声を取得するように、前記音声を取得する前記マイクを変更する、
ことを特徴とする付記５乃至７の何れか１つに記載のロボット。

（付記９）
前記動作制御手段は、前記動作手段を制御して、所定の対象とは独立して前記自装置が単独で実行する動作であって、前記所定の対象との交流を介さない自発的な一人動作をするように前記所定の部位を動かす、
ことを特徴とする付記１乃至４の何れか１つに記載のロボット。

（付記１０）
前記所定の対象は、人又は動物を含む、
ことを特徴とする付記５乃至９の何れか１つに記載のロボット。

（付記１１）
前記動作制御手段は、前記所定の部位を動かす処理を終了すると、前記所定の部位を動かす処理を開始する前の位置に、前記所定の部位を戻す、
ことを特徴とする付記１乃至１０の何れか１つに記載のロボット。

（付記１２）
胴体部と、前記胴体部と前記所定の部位とを連結する首関節と、を更に備え、
前記所定の部位は、頭部であり、
前記動作制御手段の制御に基づいて、前記首関節は、前記頭部を前記胴体部に対して動かす、
ことを特徴とする付記１乃至１１の何れか１つに記載のロボット。

（付記１３）
前記頭部の動きは、前記頭部の頷き又は首振りを含む、
ことを特徴とする付記１２に記載のロボット。

（付記１４）
自装置を動作させる動作手段と、所定の部位に配置されて被写体を撮像する撮像手段と、を備えるロボットの制御方法であって、
前記動作手段を制御して前記所定の部位を動かす動作制御ステップと、
前記撮像手段が前記被写体を撮像している時に、前記動作制御ステップで前記所定の部位を動かしているか否かを判定する判定ステップと、
前記判定ステップによって前記所定の部位を動かしていると判定される場合に、前記所定の部位の動きが前記被写体の画像に影響を与えないように前記撮像手段を制御する撮像制御ステップと、
を含む、
ことを特徴とするロボットの制御方法。

（付記１５）
自装置を動作させる動作手段と、所定の部位に配置されて被写体を撮像する撮像手段と、を備えるロボットを制御するコンピュータを、
前記動作手段を制御して前記所定の部位を動かす動作制御手段、
前記撮像手段が前記被写体を撮像している時に、前記動作制御手段が前記所定の部位を動かしているか否かを判定する判定手段、
前記判定手段によって前記所定の部位を動かしていると判定される場合に、前記所定の部位の動きが前記被写体の画像に影響を与えないように前記撮像手段を制御する撮像制御手段、
として機能させる、
ことを特徴とするプログラム。

１００、２００、３００…ロボット、１０１…頭部、１０２…胴体部、１０３…首関節、１０４、２０４…撮像部、１０５…マイク群、１０５ａ〜１０５ｅ…マイク、１１０、２１０、３１０…制御部、１１１…画像取得部、１１２…画像解析部、１１３…表現制御部、１１４…判定部、１１５…撮像制御部、１１６…音声取得部、１１７…音声解析部、１２０…電源部、１３０…操作ボタン、Ｉ…画像、ＴＧ…所定の対象、ＴＩ…トリミング画像

本発明の目的を達成するため、本発明に係るロボットの一様態は、
自装置を動作させる動作手段と、
所定の部位に配置されて被写体を撮像する撮像手段と、
前記動作手段を制御して前記所定の部位を動かす動作制御手段と、
前記撮像手段が前記被写体を撮像している時に、前記動作制御手段が前記所定の部位を動かしているか否かを判定する判定手段と、
前記判定手段によって前記所定の部位を動かしていると判定される場合に、前記所定の部位の動きが前記被写体の画像に影響を与えてしまい前記動作手段が誤動作を起こすことのないように前記撮像手段を制御する、又は、前記撮像手段により撮像された前記被写体の画像の処理を制御する撮像制御手段と、
を備える、
ことを特徴とする。

また、本発明の目的を達成するため、本発明に係るロボットの制御方法の一様態は、
自装置を動作させる動作手段と、所定の部位に配置されて被写体を撮像する撮像手段と、を備えるロボットの制御方法であって、
前記動作手段を制御して前記所定の部位を動かす動作制御ステップと、
前記撮像手段が前記被写体を撮像している時に、前記動作制御ステップで前記所定の部位を動かしているか否かを判定する判定ステップと、
前記判定ステップによって前記所定の部位を動かしていると判定される場合に、前記所定の部位の動きが前記被写体の画像に影響を与えてしまい前記動作手段が誤動作を起こすことのないように前記撮像手段を制御する、又は、前記撮像手段により撮像された前記被写体の画像の処理を制御する撮像制御ステップと、
を含む、
ことを特徴とする。

また、本発明の目的を達成するため、本発明に係るプログラムの一様態は、
自装置を動作させる動作手段と、所定の部位に配置されて被写体を撮像する撮像手段と、を備えるロボットを制御するコンピュータを、
前記動作手段を制御して前記所定の部位を動かす動作制御手段、
前記撮像手段が前記被写体を撮像している時に、前記動作制御手段が前記所定の部位を動かしているか否かを判定する判定手段、
前記判定手段によって前記所定の部位を動かしていると判定される場合に、前記所定の部位の動きが前記被写体の画像に影響を与えてしまい前記動作手段が誤動作を起こすことのないように前記撮像手段を制御する、又は、前記撮像手段により撮像された前記被写体の画像の処理を制御する撮像制御手段、
として機能させる、
ことを特徴とする。

判定部１１４は、表現制御部１１３によりロボット１００が感情動作をしているか否かを判定する。判定部１１４は、ロボット１００が感情動作を終了したと判定すると、感情動作フラグをＯＦＦにし、ＲＡＭに記憶する。判定部１１４は、ロボット１００が感情動作を終了していないと判定すると、感情動作フラグをＯＮにしたままにする。なお、電源投入時には、判定部１１４は、感情動作フラグをＯＦＦにし、ＲＡＭに記憶する。判定部１１４は、判定手段として機能する。

つぎに、取得画像の中心部にユーザの顔を検出したと判定すると（ステップＳ１０４；ＹＥＳ）、画像解析部１１２は、ユーザの表情を解析する（ステップＳ１０６）。つぎに、画像解析部１１２は、ユーザの表情が「喜」または「怒」の表情であるか否かを判別する（ステップＳ１０７）。例えば、画像解析部１１２は、口元の形状が口角の上がっている形状であると判定すると、「喜」の表情であると判別する。画像解析部１１２は、口元の形状が口角の下がっている形状であると判定すると、「怒」の表情であると判別する。つぎに、ユーザの表情が「喜」または「怒」の表情でないと判別されると（ステップＳ１０７；ＮＯ）、ステップＳ１０３に戻って、ステップＳ１０３からステップＳ１０７までを繰り返す。

つぎに、判定部１１４は、表現制御部１１３によりロボット１００が感情動作を終了したか否かを判定する（ステップＳ１１１）。判定部１１４が、感情動作を終了していないと判定すると（ステップＳ１１０；ＮＯ）、ステップＳ１１０に戻り、感情動作を終了するまで、ステップＳ１１０からステップＳ１１１までを繰り返す。なお、表現制御部１１３は、感情動作を開始して一定期間（例えば、５秒）経過すると、感情動作を停止する。

判定部１１４は、感情動作を終了したと判定すると（ステップＳ１１１；ＹＥＳ）、感情動作フラグをＯＦＦにし、ＲＡＭに記憶する（ステップＳ１１２）。つぎに、画像取得部１１１は、画像の取得を開始する（ステップＳ１１３）。つぎに、ユーザにより操作ボタン１３０に終了指示が入力されたか否かを判定する（ステップＳ１１４）。操作ボタン１３０に終了指示が入力されていない場合（ステップＳ１１４；ＮＯ）、ステップＳ１０３に戻って、ステップＳ１０３からステップＳ１１２までを繰り返す。操作ボタン１３０に終了指示が入力された場合（ステップＳ１１４；ＹＥＳ）、感情表現処理を終了する。

つぎに、以上の構成を有するロボット２００が実行する感情表現処理について説明する。第２の実施の形態の感情表現処理のステップＳ２０１からステップＳ２０８までは、第１の実施の形態の感情表現処理のステップＳ１０１からステップＳ１０８までと同じである。ステップＳ２０９以降の感情表現処理について図６および図７を参照しながら説明する。

ユーザの表情が「喜」または「怒」の表情でないと判別すると（ステップＳ３０５；ＮＯ）、判定部１１４は、表現制御部１１３によりロボット１００が感情動作を終了したか否かを判定する（ステップＳ３０６）。判定部１１４が、感情動作を終了していないと判定すると（ステップＳ３０６；ＮＯ）、ステップＳ３０２に戻り、感情動作を終了するまで、ステップＳ３０２からステップＳ３０６までを繰り返す。なお、表現制御部１１３は、感情動作を開始して一定期間経過すると、感情動作を停止する。

判定部１１４は、感情動作を終了したと判定すると（ステップＳ３０６；ＹＥＳ）、図６に戻って、感情動作フラグをＯＦＦにし、ＲＡＭに記憶する（ステップＳ２１０）。つぎに、撮像制御部１１５は、撮像部２０４のレンズの光軸の向きの制御を停止する（ステップＳ２１１）。つぎに、ユーザにより操作ボタン１３０に終了指示が入力されたか否か判定する（ステップＳ２１２）。操作ボタン１３０に終了指示が入力されていない場合（ステップＳ２１２；ＮＯ）、ステップＳ２０３に戻って、ステップＳ２０３からステップＳ２１２までを繰り返す。操作ボタン１３０に終了指示が入力された場合（ステップＳ２１２；ＹＥＳ）、感情表現処理を終了する。

具体的には、画像取得部１１１は、図８に示すように、画像Ｉの一部を、ユーザなどの所定の対象ＴＧを含むように切り出したトリミング画像ＴＩを取得し、画像解析部１１２は、トリミング画像ＴＩを解析し、ユーザ等の所定の対象ＴＧの表情を判別する。このとき所定の対象ＴＧは、画像Ｉの中心部に写っている。感情表現するために頭部１０１が左に向くと、図９に示すように、撮像範囲が左にずれる。このため、画像Ｉに写る所定の対象ＴＧは、画像Ｉの右に移動する。このとき、画像取得部１１１は、頭部１０１が左に向いた分だけ、トリミングする範囲を右に移動する。画像取得部１１１は、図９に示すトリミング画像ＴＩを取得する。頭部１０１が右に向くと、図１０に示すように、撮像範囲が右にずれる。このため、画像Ｉに写る所定の対象ＴＧは、画像Ｉの左に移動する。このとき、画像取得部１１１は、頭部１０１が右に向いた分だけ、トリミングする範囲を左に移動する。画像取得部１１１は、図１０に示すトリミング画像ＴＩを取得する。頭部１０１が上下に首振りした場合には、トリミングする範囲を上下に変更する。このようにすることで、撮像部２０４を動かすことなく、ブレの少ない画像を得ることができ、ロボット２００の誤動作を防ぐことができる。なお、撮像部２０４は、広角レンズまたは魚眼レンズを備えるとよい。このようにすることで、頭部１０１の首振り角が大きくても所定の対象ＴＧを撮像することができる。

図１１に示すマイク群１０５は、頭部１０１の人の顔でいうところの額の位置に配置され、５つのマイク１０５ａ〜１０５ｅを含み、音声取得部１１６に収音した音声を入力する。５つのマイク１０５ａ〜１０５ｅは、それぞれ異なる向きから到達する音声を収音する。マイク１０５ａは、マイク群１０５が配置されている部分の中心に配置され、ロボット３００からみて正面の音声を収音する。マイク１０５ｂは、ロボット３００からみて、マイク群１０５が配置されている部分の右に配置され、マイク１０５ａで収音する範囲よりも右の範囲から発生した音声を収音する。マイク１０５ｃは、ロボット３００からみて、マイク群１０５が配置されている部分の左に配置され、マイク１０５ａで収音する範囲よりも左の範囲から発生した音声を収音する。マイク１０５ｄは、ロボット３００からみて、マイク群１０５が配置されている部分の下に配置され、マイク１０５ａで収音する範囲よりも下の範囲から発生した音声を収音する。マイク１０５ｅは、ロボット３００からみて、マイク群１０５が配置されている部分の上に配置され、マイク１０５ａで収音する範囲よりも上の範囲から発生した音声を収音する。

図１２に示す音声取得部１１６は、マイク群１０５により収音された音声を取得し、ＲＡＭに記憶する。音声取得部１１６は、感情動作フラグがＯＦＦのとき、マイク１０５ａで収音した音声を取得する。音声取得部１１６は、感情動作フラグがＯＮのとき、頭部１０１を動かした向きと逆の向きの方向から到達する音声を取得するように、マイク１０５ａ〜１０５ｅの何れかから音声を取得する。例えば、ロボット３００から見て、頭部１０１が右を向いているとき、マイク群１０５が配置されている部分の左に配置されたマイク１０５ｃで収音した音声を取得する。同様に、頭部１０１が左を向いているとき、マイク１０５ｂで収音した音声を取得する。頭部１０１が上を向いているとき、マイク１０５ｄで収音した音声を取得する。頭部１０１が下を向いているとき、マイク１０５ｅで収音した音声を取得する。音声取得部１１６は、音声取得手段として機能する。

つぎに、以上の構成を有するロボット３００が実行する感情表現処理について説明する。第３の実施の形態の感情表現処理のステップＳ４０１からステップＳ４０５までは、第１の実施の形態の感情表現処理のステップＳ１０１からステップＳ１０５までと同じである。ステップＳ４０６以降の感情表現処理について図１３および図１４を参照しながら説明する。

図１３に示すように、取得画像の中心部にユーザの顔を検出したと判定すると（ステップＳ４０４；ＹＥＳ）、音声取得部１１６は、マイク１０５ａで収音した音声を取得する（ステップＳ４０６）。これにより、頭部１０１はユーザを向いており、マイク１０５ａはユーザの音声を収音することができる。つぎに、音声解析部１１７は、取得した音声を解析する（ステップＳ４０７）。つぎに、音声解析部１１７は、取得した音声が「喜」または「怒」の音声であるか否かを判別する（ステップＳ４０８）。例えば、音声解析部１１７は、語尾の音程が上がっていると判定すると、「喜」の音声であると判別する。音声解析部１１７は、語尾の音程が下がっていると判定すると、「怒」の音声であると判別する。つぎに、取得した音声が「喜」または「怒」の音声でないと判別すると（ステップＳ４０８；ＮＯ）、ステップＳ４０３に戻って、ステップＳ４０３からステップＳ４０８までを繰り返す。

音声が「喜」または「怒」の音声でないと判別すると（ステップＳ５０５；ＮＯ）、判定部１１４は、表現制御部１１３によりロボット３００が感情動作を終了したか否かを判定する（ステップＳ５０６）。判定部１１４が、感情動作を終了していないと判定すると（ステップＳ５０６；ＮＯ）、ステップＳ５０２に戻り、感情動作を終了するまで、ステップＳ５０２からステップＳ５０６までを繰り返す。なお、表現制御部１１３は、感情動作を開始して一定期間経過すると、感情動作を停止する。

判定部１１４は、感情動作を終了したと判定すると（ステップＳ５０６；ＹＥＳ）、図１３に戻って、感情動作フラグをＯＦＦにし、ＲＡＭに記憶する（ステップＳ４１１）。つぎに、音声取得部１１６は、音声を取得するマイクをマイク１０５ａに戻す（ステップＳ４１２）。つぎに、ユーザにより操作ボタン１３０に終了指示が入力されたか否かを判定する（ステップＳ４１３）。操作ボタン１３０に終了指示が入力されていない場合（ステップＳ４１３；ＮＯ）、ステップＳ４０３に戻って、ステップＳ４０３からステップＳ４１２までを繰り返す。操作ボタン１３０に終了指示が入力された場合（ステップＳ４１３；ＹＥＳ）、感情表現処理を終了する。

上述の実施の形態では、撮像部１０４、２０４が頭部１０１の鼻の位置に設けられる例について説明したが、撮像部１０４、２０４は、所定の部位である頭部１０１に設けられればよく、右目または左目に設けられてもよく、右目と左目との間の位置または額の位置に設けられてもよい。また、撮像部１０４、２０４を右目および左目に設け、３次元画像を取得するようにしてもよい。

また、制御部１１０、２１０、３１０の機能を、ＯＳ（Operating System）とアプリケーションプログラムとの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記憶媒体や記憶装置に格納してもよい。

Claims (15)

1. 自装置を動作させる動作手段と、
   所定の部位に配置されて被写体を撮像する撮像手段と、
   前記動作手段を制御して前記所定の部位を動かす動作制御手段と、
   前記撮像手段が前記被写体を撮像している時に、前記動作制御手段が前記所定の部位を動かしているか否かを判定する判定手段と、
   前記判定手段によって前記所定の部位を動かしていると判定される場合に、前記所定の部位の動きが前記被写体の画像に影響を与えないように前記撮像手段を制御する撮像制御手段と、
   を備える、
   ことを特徴とするロボット。
2. 前記判定手段によって前記所定の部位を動かしていると判定される場合に、前記撮像制御手段は、前記撮像手段の撮像を停止する、又は、前記撮像手段により撮像された前記被写体の画像の記録を停止する、
   ことを特徴とする請求項１に記載のロボット。
3. 前記判定手段によって前記所定の部位を動かしていると判定される場合に、前記撮像制御手段は、前記所定の部位の動きを相殺するように前記撮像手段の撮像する向きを制御する、
   ことを特徴とする請求項１又は２に記載のロボット。
4. 前記所定の部位に配置されたマイクが収音した音声を取得する音声取得手段を更に備え、
   前記判定手段によって前記所定の部位を動かしていると判定される場合に、前記音声取得手段は、前記音声の取得を停止する、又は、前記音声取得手段により取得された前記音声の記録を停止する、
   ことを特徴とする請求項１乃至３の何れか１項に記載のロボット。
5. 前記撮像手段は、所定の対象を撮像し、
   前記動作制御手段は、前記動作手段を制御して、前記所定の対象との交流を介した交流動作をするように前記所定の部位を動かす、
   ことを特徴とする請求項１乃至４の何れか１項に記載のロボット。
6. 前記判定手段によって前記所定の部位を動かしていると判定される場合に、前記動作制御手段は、前記所定の対象を撮像した前記被写体の画像の一部を、前記所定の対象を含むように切り出したトリミング画像を取得する、
   ことを特徴とする請求項５に記載のロボット。
7. 前記所定の対象の顔の表情を解析する画像解析手段を更に備え、
   前記動作制御手段は、前記画像解析手段により解析された前記顔の表情に応じて、前記所定の対象への感情表現を表すように前記所定の部位を動かす、
   ことを特徴とする請求項５又は６に記載のロボット。
8. 前記所定の部位に配置された複数のマイクが収音した音声を取得する音声取得手段を更に備え、
   前記複数のマイクは、それぞれ異なる向きから到達する前記音声を収音し、
   前記音声取得手段は、前記撮像手段により取得された前記被写体の画像に写る前記所定の対象に基づいて、前記所定の対象から到達した前記音声を収音する前記マイクから前記音声を取得し、
   前記判定手段によって前記所定の部位を動かしていると判定される場合に、前記音声取得手段は、前記所定の対象から到達する前記音声を取得するように、前記音声を取得する前記マイクを変更する、
   ことを特徴とする請求項５乃至７の何れか１項に記載のロボット。
9. 前記動作制御手段は、前記動作手段を制御して、所定の対象とは独立して前記自装置が単独で実行する動作であって、前記所定の対象との交流を介さない自発的な一人動作をするように前記所定の部位を動かす、
   ことを特徴とする請求項１乃至４の何れか１項に記載のロボット。
10. 前記所定の対象は、人又は動物を含む、
    ことを特徴とする請求項５乃至９の何れか１項に記載のロボット。
11. 前記動作制御手段は、前記所定の部位を動かす処理を終了すると、前記所定の部位を動かす処理を開始する前の位置に、前記所定の部位を戻す、
    ことを特徴とする請求項１乃至１０の何れか１項に記載のロボット。
12. 胴体部と、前記胴体部と前記所定の部位とを連結する首関節と、を更に備え、
    前記所定の部位は、頭部であり、
    前記動作制御手段の制御に基づいて、前記首関節は、前記頭部を前記胴体部に対して動かす、
    ことを特徴とする請求項１乃至１１の何れか１項に記載のロボット。
13. 前記頭部の動きは、前記頭部の頷き又は首振りを含む、
    ことを特徴とする請求項１２に記載のロボット。
14. 自装置を動作させる動作手段と、所定の部位に配置されて被写体を撮像する撮像手段と、を備えるロボットの制御方法であって、
    前記動作手段を制御して前記所定の部位を動かす動作制御ステップと、
    前記撮像手段が前記被写体を撮像している時に、前記動作制御ステップで前記所定の部位を動かしているか否かを判定する判定ステップと、
    前記判定ステップによって前記所定の部位を動かしていると判定される場合に、前記所定の部位の動きが前記被写体の画像に影響を与えないように前記撮像手段を制御する撮像制御ステップと、
    を含む、
    ことを特徴とするロボットの制御方法。
15. 自装置を動作させる動作手段と、所定の部位に配置されて被写体を撮像する撮像手段と、を備えるロボットを制御するコンピュータを、
    前記動作手段を制御して前記所定の部位を動かす動作制御手段、
    前記撮像手段が前記被写体を撮像している時に、前記動作制御手段が前記所定の部位を動かしているか否かを判定する判定手段、
    前記判定手段によって前記所定の部位を動かしていると判定される場合に、前記所定の部位の動きが前記被写体の画像に影響を与えないように前記撮像手段を制御する撮像制御手段、
    として機能させる、
    ことを特徴とするプログラム。

Images