JP2008155351A - ロボット - Google Patents
ロボット Download PDFInfo
- Publication number
- JP2008155351A JP2008155351A JP2006350179A JP2006350179A JP2008155351A JP 2008155351 A JP2008155351 A JP 2008155351A JP 2006350179 A JP2006350179 A JP 2006350179A JP 2006350179 A JP2006350179 A JP 2006350179A JP 2008155351 A JP2008155351 A JP 2008155351A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- image
- face image
- projection
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
【課題】ユーザである人間と対話的にコミュニケーションを行う能力を向上させたロボットを低コストで提供する。
【解決手段】カメラ手段6,7によって撮影した顔画像を入力されて記憶するカード型メモリ1と、カード型メモリ1に予め記憶しておいた複数の投射画像の何れか1つを表示面に投射表示するプロジェクタ9とを備える本発明のロボット100は、カメラ手段6,7より撮影されたユーザの複数の感情状態の顔画像を予め登録する顔画像登録機能31と、予め登録された複数の感情状態の顔画像とカメラ手段6,7より入力された顔画像とを比較して、当該顔画像が対応する感情状態を判断する顔画像状態判断機能33とを備えるCPU4とを有しており、顔画像状態判断機能33によって判断された感情状態に応じて、プロジェクタ9から前記表示面に複数の投射画像の何れか1つを投射表示する。
【選択図】図1
【解決手段】カメラ手段6,7によって撮影した顔画像を入力されて記憶するカード型メモリ1と、カード型メモリ1に予め記憶しておいた複数の投射画像の何れか1つを表示面に投射表示するプロジェクタ9とを備える本発明のロボット100は、カメラ手段6,7より撮影されたユーザの複数の感情状態の顔画像を予め登録する顔画像登録機能31と、予め登録された複数の感情状態の顔画像とカメラ手段6,7より入力された顔画像とを比較して、当該顔画像が対応する感情状態を判断する顔画像状態判断機能33とを備えるCPU4とを有しており、顔画像状態判断機能33によって判断された感情状態に応じて、プロジェクタ9から前記表示面に複数の投射画像の何れか1つを投射表示する。
【選択図】図1
Description
本発明は、ホームユースやパーソナルユースに適したロボットに関するものであり、特に、人間とのコミュニケーションを行うのに好適なコミュニケーション用ロボットに関するものである。
近年、ヒューマノイド型ロボットやペット型ロボットが開発され、一般家庭内においても使用されるように普及が進んでいる。
上記ヒューマノイド型ロボットとしては、CCDカメラと、マイクロホンと、タッチセンサ等の外部センサと、バッテリセンサおよび加速度センサ等の内部センサとを搭載し、上記外部センサおよび内部センサの出力信号に基づいてロボットの外部の状態および内部の状態を認識し、認識結果に基づいて自立的に行動し得るように構成されたヒューマノイド型ロボットが提案されている(例えば特許文献1参照)。また、上記ペット型ロボットとしては、離れた場所にいる人間とロボットの周囲にいる人間とが、画像を介して情報交換できるように構成したロボットが提案されている(例えば特許文献2参照)。これらのヒューマノイド型ロボットやペット型ロボットは、外部環境の撮影データを入力するカメラと画像投射を行うプロジェクタとを頭部に備えている。
上記ヒューマノイド型ロボットとしては、CCDカメラと、マイクロホンと、タッチセンサ等の外部センサと、バッテリセンサおよび加速度センサ等の内部センサとを搭載し、上記外部センサおよび内部センサの出力信号に基づいてロボットの外部の状態および内部の状態を認識し、認識結果に基づいて自立的に行動し得るように構成されたヒューマノイド型ロボットが提案されている(例えば特許文献1参照)。また、上記ペット型ロボットとしては、離れた場所にいる人間とロボットの周囲にいる人間とが、画像を介して情報交換できるように構成したロボットが提案されている(例えば特許文献2参照)。これらのヒューマノイド型ロボットやペット型ロボットは、外部環境の撮影データを入力するカメラと画像投射を行うプロジェクタとを頭部に備えている。
上記従来のヒューマノイド型ロボットやペット型ロボットは、ロボット頭部の前面にカメラおよびプロジェクタを備えているため、ユーザである人間と対話的にコミュニケーションを行うことができなかった。
また、上記従来のヒューマノイド型ロボットやペット型ロボットは、自立型の構成を採用しているため、各種センサやアクチュエータが多数必要となってしまい、コスト高となるという問題があった。
また、上記従来のヒューマノイド型ロボットやペット型ロボットは、自立型の構成を採用しているため、各種センサやアクチュエータが多数必要となってしまい、コスト高となるという問題があった。
本発明は、ユーザである人間と対話的にコミュニケーションを行う能力を向上させたロボットを低コストで提供することを目的とする。
上記目的を達成するため、請求項1に記載の第1発明は、カメラ手段によって撮影した顔画像を入力されて記憶する記憶手段と、該記憶手段に予め記憶しておいた複数の投射画像の何れか1つを表示面に投射表示する画像投射手段とを備えるロボットであって、前記カメラ手段より撮影されたユーザの複数の感情状態の顔画像を予め登録する顔画像登録手段と、予め登録された複数の感情状態の顔画像と前記カメラ手段より入力された顔画像とを比較して、当該顔画像が対応する感情状態を判断する顔画像状態判断手段とを設け、前記顔画像状態判断手段によって判断された感情状態に応じて、前記画像投射手段から前記表示面に複数の投射画像の何れか1つを投射表示することを特徴とする。
請求項2に記載の第2発明は、ユーザが前記カメラ手段の撮影エリアに入ったか否かを検出するエリアセンサを設け、該エリアセンサの検出結果に基づいて前記ロボットの電源のON/OFFおよび画像投射の開始/停止の少なくとも一方を行うことを特徴とする。
請求項3に記載の第3発明は、前記ロボットは、投射画像の投射表示に同期して、記憶手段に予め記憶しておいた複数の感情状態に対応する音声日記の中の、前記顔画像状態判断手段によって判断された感情状態に対応する音声日記を再生することを特徴とする。
請求項4に記載の第4発明は、前記ロボットは、外部入力インタフェース手段を有しており、この外部入力インタフェース手段を介して接続されたカメラ手段に保存された顔画像を前記顔画像登録手段によって前記記憶手段に記憶することにより、前記カメラ手段に保存された顔画像の1つを前記投射画像として前記表示面に投射表示することを特徴とする。
請求項5に記載の第5発明は、前記ロボットは、外部入力インタフェース手段を有しており、この外部入力インタフェース手段を介して接続された録音手段に録音された音声を前記記憶手段に記憶して前記複数の感情状態に関連付けておくことにより、前記録音手段に録音された音声の1つを前記音声日記として再生することを特徴とする。
第1発明によれば、カメラ手段によって撮影した顔画像を入力されて記憶する記憶手段と、該記憶手段に予め記憶しておいた複数の投射画像の何れか1つを表示面に投射表示する画像投射手段とを備える本発明のロボットは、前記カメラ手段より撮影されたユーザの複数の感情状態の顔画像を予め登録する顔画像登録手段と、予め登録された複数の感情状態の顔画像と前記カメラ手段より入力された顔画像とを比較して、当該顔画像が対応する感情状態を判断する顔画像状態判断手段とが設けられており、前記顔画像状態判断手段によって判断された感情状態に応じて、前記画像投射手段から前記表示面に複数の投射画像の何れか1つを投射表示するから、ユーザである人間に対して表示面に投射表示した投射画像によって癒し効果を生じさせて、人間とロボットとのコミュニケーション能力を向上させることができるので、ユーザである人間と対話的にコミュニケーションを行う能力を向上させたロボットを低コストで提供することができる。
第2発明によれば、ユーザが前記カメラ手段の撮影エリアに入ったか否かを検出するエリアセンサを設け、該エリアセンサの検出結果に基づいて前記ロボットの電源のON/OFFおよび画像投射の開始/停止の少なくとも一方を行うから、ユーザによる前記ロボットの電源のON/OFFや画像投射の開始/停止のための操作は不必要になり、ロボットの使い勝手が向上する。
第3発明によれば、前記ロボットは、投射画像の投射表示に同期して、記憶手段に予め記憶しておいた複数の感情状態に対応する音声日記の中の、前記顔画像状態判断手段によって判断された感情状態に対応する音声日記を再生するから、ユーザである人間に対して投射画像の投射表示およびそれと同期した音声日記の再生によって癒し効果の相乗効果を生じさせて、人間とロボットとのコミュニケーション能力をさらに向上させることができる。
第4発明によれば、前記ロボットは、外部入力インタフェース手段を有しており、この外部入力インタフェース手段を介して接続されたカメラ手段に保存された顔画像を前記顔画像登録手段によって前記記憶手段に記憶することにより、前記カメラ手段に保存された顔画像の1つを前記投射画像として前記表示面に投射表示するから、ロボットにカメラ手段を内蔵する構成とする代わりに、ロボットとは別に用意したカメラ手段を前記外部入力インタフェース手段を介してロボットに接続する構成とすることによって、ロボットの構成の簡素化およびコストダウンを図ることができる。
第5発明によれば、前記ロボットは、外部入力インタフェース手段を有しており、この外部入力インタフェース手段を介して接続された録音手段に録音された音声を前記記憶手段に記憶して前記複数の感情状態に関連付けておくことにより、前記録音手段に録音された音声の1つを前記音声日記として再生するから、例えば前記ロボットにネットワークインターフェースを設けて、該ネットワークインターフェースに接続したインターネット等から前記音声日記となる音声を取得する構成の代わりに、ロボットとは別に用意したICレコーダ等の録音手段を前記外部入力インタフェース手段を介してロボットに接続する構成とすることによって、ロボットの構成の簡素化およびコストダウンを図ることができる。
以下、本発明を実施するための最良の形態を図面に基づき詳細に説明する。
[第1実施形態]
図1は本発明の第1実施形態のロボットのハードウエア構成を示すブロック図であり、図2(a),(b)はそれぞれ、第1実施形態のロボットを正面および裏面から見た状態を示す外観図である。本実施形態のロボットのハードウエアは図1に示すように構成されており、ロボット全体の各種制御を行う制御プログラムやユーザデータ(カメラ手段によって撮影したユーザの顔画像や投射画像を含む各種画像のデータ)を記憶するカード型メモリ1と、カード型メモリ1に対し入出力制御を行うカード型メモリインタフェース(カード型メモリI/F)2と、制御プログラムをロードされて作業メモリとして動作する主記憶メモリ3と、カードメモリ1から制御プログラムを主記憶メモリ3にロードしてロボット本体のシステム全体の制御を行うCPU4と、主要なプログラムやユーザデータを記憶するEPROM5と、ユーザの顔画像を含む各種画像を撮影するカメラ手段(本実施形態では、カラー表示またはモノクロ表示のデジタルカメラ(CCDカメラまたはCMOSカメラ)を用いる)6,7と、カメラ手段6,7によって撮影した顔画像データを含む各種画像データの入力制御を行うカメラインタフェース(カメラI/F)8と、ユーザの感情状態に応じた投射画像を所定の表示面(例えばロボット外部の壁または専用スクリーン)に投射表示するプロジェクタ(本実施形態ではLEDプロジェクタを用いる)9と、プロジェクタ9の出力制御を行うプロジェクタインタフェース(プロジェクタI/F)10と、操作メニューや動作確認用情報等を表示するLCD表示部(本実施形態ではLCDを用いているが、代わりに有機ELを用いてもよい)11と、LCD表示部11の表示入力制御を行うLCDインタフェース(LCD I/F)12と、ロボット本体の左右の前足先端に内蔵されるタッチセンサ13L,13Rと、タッチセンサ13L,13Rからの情報の入力制御を行うタッチセンサインタフェース(タッチセンサーI/F)14と、音声日記(代わりに音声付き画像ファイルを用いてもよい)を出力するスピーカ15と、スピーカ15への音声出力制御を行う音声インタフェース(音声I/F)16と、インターネットまたはホームネットワーク等に接続するためのネットワークインタフェース(ネットワークI/F、例えばLANインターフェース)17と、電源として用いる、ニッカド電池、リチウムイオン、ニッケル水素電池等の二次電池18と、二次電池18の電源制御を行う電源インタフェース(電源I/F)19と、ロボット本体とは別に用意した、デジタルカメラまたは画像記憶装置(フォトストレージ装置)やICレコーダ等を接続するための外部入力インタフェース(外部入力I/F)20と、電源スイッチ21等を具備して成る。上記において、カード型メモリ1は、ロボットを複数人のユーザで共用する際には、人数分用意して、各ユーザが自分専用のカード型メモリ1を使用するものとする。上記ICレコーダには、ICレコーダ機能を有している携帯情報端末(PDA)やICレコーダ機能を有している携帯電話機も含まれる。
図1は本発明の第1実施形態のロボットのハードウエア構成を示すブロック図であり、図2(a),(b)はそれぞれ、第1実施形態のロボットを正面および裏面から見た状態を示す外観図である。本実施形態のロボットのハードウエアは図1に示すように構成されており、ロボット全体の各種制御を行う制御プログラムやユーザデータ(カメラ手段によって撮影したユーザの顔画像や投射画像を含む各種画像のデータ)を記憶するカード型メモリ1と、カード型メモリ1に対し入出力制御を行うカード型メモリインタフェース(カード型メモリI/F)2と、制御プログラムをロードされて作業メモリとして動作する主記憶メモリ3と、カードメモリ1から制御プログラムを主記憶メモリ3にロードしてロボット本体のシステム全体の制御を行うCPU4と、主要なプログラムやユーザデータを記憶するEPROM5と、ユーザの顔画像を含む各種画像を撮影するカメラ手段(本実施形態では、カラー表示またはモノクロ表示のデジタルカメラ(CCDカメラまたはCMOSカメラ)を用いる)6,7と、カメラ手段6,7によって撮影した顔画像データを含む各種画像データの入力制御を行うカメラインタフェース(カメラI/F)8と、ユーザの感情状態に応じた投射画像を所定の表示面(例えばロボット外部の壁または専用スクリーン)に投射表示するプロジェクタ(本実施形態ではLEDプロジェクタを用いる)9と、プロジェクタ9の出力制御を行うプロジェクタインタフェース(プロジェクタI/F)10と、操作メニューや動作確認用情報等を表示するLCD表示部(本実施形態ではLCDを用いているが、代わりに有機ELを用いてもよい)11と、LCD表示部11の表示入力制御を行うLCDインタフェース(LCD I/F)12と、ロボット本体の左右の前足先端に内蔵されるタッチセンサ13L,13Rと、タッチセンサ13L,13Rからの情報の入力制御を行うタッチセンサインタフェース(タッチセンサーI/F)14と、音声日記(代わりに音声付き画像ファイルを用いてもよい)を出力するスピーカ15と、スピーカ15への音声出力制御を行う音声インタフェース(音声I/F)16と、インターネットまたはホームネットワーク等に接続するためのネットワークインタフェース(ネットワークI/F、例えばLANインターフェース)17と、電源として用いる、ニッカド電池、リチウムイオン、ニッケル水素電池等の二次電池18と、二次電池18の電源制御を行う電源インタフェース(電源I/F)19と、ロボット本体とは別に用意した、デジタルカメラまたは画像記憶装置(フォトストレージ装置)やICレコーダ等を接続するための外部入力インタフェース(外部入力I/F)20と、電源スイッチ21等を具備して成る。上記において、カード型メモリ1は、ロボットを複数人のユーザで共用する際には、人数分用意して、各ユーザが自分専用のカード型メモリ1を使用するものとする。上記ICレコーダには、ICレコーダ機能を有している携帯情報端末(PDA)やICレコーダ機能を有している携帯電話機も含まれる。
本実施形態のロボットは、図2(a),(b)に示すようにネコ型の癒し系ロボットとして構成されており、ネコ型ロボット本体(以下、単にロボットともいう)100のネコの左右眼球に相当する箇所にそれぞれカメラ手段6およびカメラ手段7を備え、ネコのお腹の部分にLCD表示部11を備え、ネコの後頭部分にプロジェクタ9を備えるとともに、ネコのお尻の部分にネットワークインタフェース17、外部入力インタフェース20および電源スイッチ21を備えている。
図3は本実施形態のロボットのCPUの機能ブロック図である。本実施形態のロボットに用いるCPU4は、カメラ手段6およびカメラ手段7の少なくとも一方から入力されたユーザの顔画像を予め登録する顔画像登録機能31と、カメラ手段6およびカメラ手段7の少なくとも一方から入力された顔画像を記憶する顔画像記憶機能32と、カメラ手段6およびカメラ手段7の少なくとも一方から入力された顔画像と予め登録された顔画像とを比較して、入力された顔画像の感情状態が複数の感情状態(例えば、「通常」、「喜び」、「怒り」、「悲しみ」)の何れに該当するかを判断する顔画像感情状態判断機能33と、判断された顔画像の感情状態に応じて所定の投射画像の投射を行う画像投射機能34と、カード型メモリ1に登録された複数の音声日記の何れか1つを再生する音声日記再生機能35と、ネットワークに接続されたコンピュータ(図示せず)内に登録された画像や音声日記に自動的にアクセスして所望の画像や音声日記を主記憶メモリ3にダウンロードする自動ネットワーク接続機能36とを具備して成る。
[顔画像登録処理]
次に、本実施形態のロボットにおける顔画像登録処理を説明する。
図4は第1実施形態のロボットにおいて実施する顔画像登録処理プログラムを示すフローチャートであり、この顔画像登録処理プログラムは、電源スイッチ21のONによって起動する。まず、電源スイッチ21のONに同期して、LCD表示部11に「ユーザ登録してください」等のユーザ登録メッセージを表示する(ステップ401)。次に、上記電源ONによってカメラが撮影可能状態になったときに、「撮影準備OK!」等の登録準備完了メッセージを表示する(ステップ402)。次に、登録すべきユーザが型ロボット100のカメラ手段6,7の撮影範囲に入るようにLCD表示部11の表示画像を見ながら撮影領域を調整し(ステップ403)、その後、ユーザの顔画像撮影を行う(ステップ404)。
次に、本実施形態のロボットにおける顔画像登録処理を説明する。
図4は第1実施形態のロボットにおいて実施する顔画像登録処理プログラムを示すフローチャートであり、この顔画像登録処理プログラムは、電源スイッチ21のONによって起動する。まず、電源スイッチ21のONに同期して、LCD表示部11に「ユーザ登録してください」等のユーザ登録メッセージを表示する(ステップ401)。次に、上記電源ONによってカメラが撮影可能状態になったときに、「撮影準備OK!」等の登録準備完了メッセージを表示する(ステップ402)。次に、登録すべきユーザが型ロボット100のカメラ手段6,7の撮影範囲に入るようにLCD表示部11の表示画像を見ながら撮影領域を調整し(ステップ403)、その後、ユーザの顔画像撮影を行う(ステップ404)。
次に、上記ステップ404で撮影したユーザの顔画像データに基づきユーザの感情状態が通常か否かの感情状態判定処理を行う(ステップ405)。この感情状態判定処理は、公知の顔画像認証技術を用いて、ユーザの顔画像を「通常」、「通常ではない」のどちらかに分類し、「通常ではない」に分類した場合にはさらに「喜び」、「怒り」、「悲しみ」の何れかに分類するものであり、上記特許文献1の公報の[0038]に記載された顔認証技術(18種類の感情状態を用いている)に比べて、システムの簡素化およびコストダウンが図られている。ステップ405がYESの場合には、通常(初期値)の顔画像として登録し(ステップ406)、NOの場合には、「喜び」、「怒り」、「悲しみ」の中のどの感情状態に該当するかを判断し(ステップ407)、「喜び」と判断された場合には「喜び」の顔画像として登録処理を行い(ステップ408)、「怒り」と判断された場合には「怒り」の顔画像として登録処理を行い(ステップ409)、「悲しみ」と判断された場合には「悲しみ」の顔画像として登録処理を行う(ステップ410)。
[画像テーブルの構成]
図5は第1実施形態のロボットにおいて投射画像として用いる画像を集めた画像テーブルを例示する図であり、この画像テーブルはカード型メモリ1の所定の記憶エリアに登録(記憶)するものとする。図5に例示する画像テーブルは、初期値フィールド、喜びフィールド、怒りフィールド、悲しみフィールド等に領域が区分されており、初期値フィールドは初期値となる顔画像(図示例の場合、顔画像X,顔画像Y,・・)を収容するフィールドであり、喜びフィールドはユーザの感情状態が喜びであると判断された場合の顔画像(図示例の場合、顔画像A,顔画像B,・・)を収容するフィールドであり、怒りフィールドはユーザの感情状態が怒りであると判断された場合の顔画像(図示例の場合、顔画像C,顔画像D,・・)を収容するフィールドであり、悲しみフィールドはユーザの感情状態が悲しみであると判断された場合の顔画像(図示例の場合、顔画像E,顔画像F,・・)を収容するフィールドであり、各フィールドには複数の顔画像を登録可能となっている。なお、この画像テーブルを構成するフィールドは上述したフィールドに限定されるものではなく、上述したフィールドとは異なるフィールドに置き換えたり、述したフィールドに他のフィールドを加えたりしてもよい。
図5は第1実施形態のロボットにおいて投射画像として用いる画像を集めた画像テーブルを例示する図であり、この画像テーブルはカード型メモリ1の所定の記憶エリアに登録(記憶)するものとする。図5に例示する画像テーブルは、初期値フィールド、喜びフィールド、怒りフィールド、悲しみフィールド等に領域が区分されており、初期値フィールドは初期値となる顔画像(図示例の場合、顔画像X,顔画像Y,・・)を収容するフィールドであり、喜びフィールドはユーザの感情状態が喜びであると判断された場合の顔画像(図示例の場合、顔画像A,顔画像B,・・)を収容するフィールドであり、怒りフィールドはユーザの感情状態が怒りであると判断された場合の顔画像(図示例の場合、顔画像C,顔画像D,・・)を収容するフィールドであり、悲しみフィールドはユーザの感情状態が悲しみであると判断された場合の顔画像(図示例の場合、顔画像E,顔画像F,・・)を収容するフィールドであり、各フィールドには複数の顔画像を登録可能となっている。なお、この画像テーブルを構成するフィールドは上述したフィールドに限定されるものではなく、上述したフィールドとは異なるフィールドに置き換えたり、述したフィールドに他のフィールドを加えたりしてもよい。
本実施形態のロボット100は、ユーザとの関係で所定位置に置かれるものとする。例えば、図示しない机の上やダイニングテーブルの上や鏡台等の上に置かれ、その場所でユーザの顔画像撮影を行う際には、顔画像の向きを考慮した顔画像データを登録するものとする。また、部屋の照明については、朝、昼、夕方等で室内照明をON、OFFした顔画像データを登録しておく。簡略化のため、ロボット100のカメラ手段6,7とユーザとの位置関係は、一定の距離を保つものとし、その距離に合わせてカメラ手段6,7のフォーカス調整を行っておくものとする。なお、カメラ手段6,7としてはマニュアルフォーカス調整タイプ、オートフォーカス調整タイプの何れも使用することができ、コストダウンの要求があるときにはマニュアルフォーカス調整タイプのカメラ手段を使用するものとする。
[プロジェクタによる投射画像の投射表示処理]
図6は第1実施形態のロボットのプロジェクタによって実施する投射画像の投射表示処理プログラムを示すフローチャートであり、この投射表示処理プログラムはユーザがロボット100のカメラ手段6,7の撮影エリア内に入ったときに自動的に起動される。まず、ユーザがロボット100のカメラ手段6,7の撮影エリア内に入ったときに、カメラ手段6,7の撮影によりユーザの顔画像データ入力を行う(ステップ601)。次に、入力されたユーザの顔画像と予め登録された複数の感情状態に対応する顔画像とを比較して、ユーザの顔画像がどの感情状態に対応するかを判断する顔画像感情状態判断処理を行う(ステップ602、ステップ603)。この顔画像感情状態判断処理は、公知の顔画像照合方法(例えば、日経バイト2005年10月号P38、39に記載された、顔全体を照合する方法、局所を照合する方法、特徴点を照合する方法)等を用いることができる。この顔画像感情状態判断処理を用いて、ステップ603でユーザの顔画像と登録済みの顔画像とを比較した結果、通常状態(初期値)と判断された場合には、ロボット100の内部または外部に設けた画像データベース(図示せず)からランダムに選択した画像を、プロジェクタ9から所定の表示面(例えばスクリーンや壁または画像が認識できる程度の反射率の紙)に投射する(ステップ604)。一方、通常状態ではないと判断された場合(例えばユーザの顔画像が当該ユーザの初期値として登録された顔画像と一致しなかった場合)には、「喜び」の場合は、上記画像データベース内のユーザの感情状態が「喜び」のときに適した画像であるハッピーな画像(例えば旅行の思い出の画像)をプロジェクタ9から所定の表示面に投射し(ステップ606)、「怒り」の場合は、上記画像データベース内のユーザの感情状態が「怒り」のときに適した画像である感情を落ち着かせる画像(例えば風景画像)をプロジェクタ9から所定の表示面に投射し(ステップ607)、「悲しみ」の場合は、上記画像データベース内のユーザの感情状態が「悲しみ」のときに適した画像であるユーザを楽しくさせる画像(例えばコンテストに優勝したときの画像)をプロジェクタ9から所定の表示面に投射する(ステップ608)。
図6は第1実施形態のロボットのプロジェクタによって実施する投射画像の投射表示処理プログラムを示すフローチャートであり、この投射表示処理プログラムはユーザがロボット100のカメラ手段6,7の撮影エリア内に入ったときに自動的に起動される。まず、ユーザがロボット100のカメラ手段6,7の撮影エリア内に入ったときに、カメラ手段6,7の撮影によりユーザの顔画像データ入力を行う(ステップ601)。次に、入力されたユーザの顔画像と予め登録された複数の感情状態に対応する顔画像とを比較して、ユーザの顔画像がどの感情状態に対応するかを判断する顔画像感情状態判断処理を行う(ステップ602、ステップ603)。この顔画像感情状態判断処理は、公知の顔画像照合方法(例えば、日経バイト2005年10月号P38、39に記載された、顔全体を照合する方法、局所を照合する方法、特徴点を照合する方法)等を用いることができる。この顔画像感情状態判断処理を用いて、ステップ603でユーザの顔画像と登録済みの顔画像とを比較した結果、通常状態(初期値)と判断された場合には、ロボット100の内部または外部に設けた画像データベース(図示せず)からランダムに選択した画像を、プロジェクタ9から所定の表示面(例えばスクリーンや壁または画像が認識できる程度の反射率の紙)に投射する(ステップ604)。一方、通常状態ではないと判断された場合(例えばユーザの顔画像が当該ユーザの初期値として登録された顔画像と一致しなかった場合)には、「喜び」の場合は、上記画像データベース内のユーザの感情状態が「喜び」のときに適した画像であるハッピーな画像(例えば旅行の思い出の画像)をプロジェクタ9から所定の表示面に投射し(ステップ606)、「怒り」の場合は、上記画像データベース内のユーザの感情状態が「怒り」のときに適した画像である感情を落ち着かせる画像(例えば風景画像)をプロジェクタ9から所定の表示面に投射し(ステップ607)、「悲しみ」の場合は、上記画像データベース内のユーザの感情状態が「悲しみ」のときに適した画像であるユーザを楽しくさせる画像(例えばコンテストに優勝したときの画像)をプロジェクタ9から所定の表示面に投射する(ステップ608)。
本実施形態のロボットによれば、予め登録された複数の感情状態の顔画像とカメラ手段6,7より入力されたユーザの顔画像とを比較して、当該ユーザの顔画像が対応する感情状態を判断し、判断結果の感情状態が「通常」、「喜び」、「怒り」、「悲しみ」の場合にそれぞれの感情状態に適した投射画像をプロジェクタ9から表示面に投射表示するので、ユーザである人間に対して表示面に投射表示した投射画像によって癒し効果を生じさせて、人間とロボットとのコミュニケーション能力を向上させることができる。したがって、ユーザである人間と対話的にコミュニケーションを行う能力を向上させたロボットを低コストで提供することができる。
[第2実施形態]
本発明の第2実施形態のロボットは、図示を省略するが、第1実施形態のロボットに対して図2(b)に示す電源スイッチ21を省略して、代わりにユーザがカメラ手段6,7の撮影エリアに入ったか否かを検出するエリアセンサを設け、以下の電源制御および画像投射制御を行うように構成されている。
すなわち、本実施形態のロボットは、ユーザがカメラ手段6,7の撮影エリアに入ったか否かを検出するエリアセンサの検出結果が「撮影エリアに入った」である場合にロボットの電源のONおよび画像投射の開始の少なくとも一方(本実施形態では両方)を行う電源制御および画像投射制御を実施するとともに、ユーザがカメラ手段6,7の撮影エリアに入ったか否かを検出するエリアセンサの検出結果が「撮影エリアに入っていない」である場合にロボットの電源のOFFおよび画像投射の停止の少なくとも一方(本実施形態では両方)を行う電源制御および画像投射制御を実施するように構成されている。
本発明の第2実施形態のロボットは、図示を省略するが、第1実施形態のロボットに対して図2(b)に示す電源スイッチ21を省略して、代わりにユーザがカメラ手段6,7の撮影エリアに入ったか否かを検出するエリアセンサを設け、以下の電源制御および画像投射制御を行うように構成されている。
すなわち、本実施形態のロボットは、ユーザがカメラ手段6,7の撮影エリアに入ったか否かを検出するエリアセンサの検出結果が「撮影エリアに入った」である場合にロボットの電源のONおよび画像投射の開始の少なくとも一方(本実施形態では両方)を行う電源制御および画像投射制御を実施するとともに、ユーザがカメラ手段6,7の撮影エリアに入ったか否かを検出するエリアセンサの検出結果が「撮影エリアに入っていない」である場合にロボットの電源のOFFおよび画像投射の停止の少なくとも一方(本実施形態では両方)を行う電源制御および画像投射制御を実施するように構成されている。
本実施形態のロボットによれば、ユーザによるロボットの電源のON/OFFや画像投射の開始/停止のための操作は不必要になり、ロボットの使い勝手が向上する。
[第3実施形態]
図7は本発明の第3実施形態のロボットを含むシステムの全体構成を例示する図である。本実施形態のロボットを含むシステムは、第1実施形態のロボットと同一構成のロボット(ネコ型ロボット本体100)を含んでおり、例えばユーザの宅内に設置したネコ型ロボット本体100のネットワークインターフェース(ネットワークI/F、例えばLANインターフェースや無線LANインターフェース)17には、コンピュータまたはネットワーク対応デジタルテレビ110が接続されており、コンピュータまたはネットワーク対応デジタルテレビ110のネットワークインターフェース(ネットワークI/F、例えばLANインターフェースや無線LANインターフェース)120にはインターネットまたはブロードバンド130が接続されている。
図7は本発明の第3実施形態のロボットを含むシステムの全体構成を例示する図である。本実施形態のロボットを含むシステムは、第1実施形態のロボットと同一構成のロボット(ネコ型ロボット本体100)を含んでおり、例えばユーザの宅内に設置したネコ型ロボット本体100のネットワークインターフェース(ネットワークI/F、例えばLANインターフェースや無線LANインターフェース)17には、コンピュータまたはネットワーク対応デジタルテレビ110が接続されており、コンピュータまたはネットワーク対応デジタルテレビ110のネットワークインターフェース(ネットワークI/F、例えばLANインターフェースや無線LANインターフェース)120にはインターネットまたはブロードバンド130が接続されている。
図8は本発明の第3実施形態のロボットにおいて投射画像の投射表示と同期して再生する音声日記ファイルの構成を例示する図である。図7に示す音声日記ファイル140は、カード型メモリ1に予め登録しておくものであり、西暦年/月/日のデータと、音声日記データと、感情状態(「通常」、「喜び」、「怒り」、「悲しみ」の何れか1つ)とが関連付けられて、複数の音声日記データ(図示例では音声日記データ1〜音声日記データN)が収容されている。なお、感情状態は、音声日記データのキーワード検索により、上記感情状態の何れか1つを自動的に付与しておくものとする。
[音声日記の再生方法1;ロボット単体で音声日記を再生する場合]
ロボット100において、投射画像の投射表示に同期して、カード型メモリ1に予め登録されている音声日記の何れか1つを再生する。具体的には、第1実施形態と同様の投射画像の投射表示を行う際に、ユーザの感情状態が通常であると判断された場合には、カード型メモリ1内の音声日記データをランダムに再生し、ユーザの感情状態が通常ではないと判断された場合には、判断された感情状態に適した音声日記、言い換えればユーザの感情を癒す作用を有する音声日記を再生するように動作する。例えば、ユーザの感情状態が「悲しみ」や「怒り」の場合には、「喜び」に対応する音声日記を再生するように構成する。これにより、ユーザである人間に対して投射画像の投射表示およびそれと同期した音声日記の再生によって癒し効果の相乗効果を生じさせて、人間とロボットとのコミュニケーション能力をさらに向上させることができる。
ロボット100において、投射画像の投射表示に同期して、カード型メモリ1に予め登録されている音声日記の何れか1つを再生する。具体的には、第1実施形態と同様の投射画像の投射表示を行う際に、ユーザの感情状態が通常であると判断された場合には、カード型メモリ1内の音声日記データをランダムに再生し、ユーザの感情状態が通常ではないと判断された場合には、判断された感情状態に適した音声日記、言い換えればユーザの感情を癒す作用を有する音声日記を再生するように動作する。例えば、ユーザの感情状態が「悲しみ」や「怒り」の場合には、「喜び」に対応する音声日記を再生するように構成する。これにより、ユーザである人間に対して投射画像の投射表示およびそれと同期した音声日記の再生によって癒し効果の相乗効果を生じさせて、人間とロボットとのコミュニケーション能力をさらに向上させることができる。
[音声日記の再生方法2;ネットワーク経由で音声日記を再生する場合]
まず、事前準備として、ロボット100のCPU4の自動ネットワーク接続機能36を用いて、ネコ型ロボット本体100のネットワークインタフェース17を介して接続されたコンピュータまたはネットワーク対応デジタルテレビ110に登録された音声日記150へ自動的にアクセスして、所望の音声日記をネコ型ロボット本体100の主記憶メモリ3にダウンロードしておく。なお、音声日記150は、コンピュータまたはネットワーク対応デジタルテレビ110のネットワークインターフェース120に接続されたインターネットまたはブロードバンド130内に存在する所望の音声日記160をコンピュータまたはネットワーク対応デジタルテレビ110内にダウンロードすることにより作成する。以後の動作は、ロボット単体で再生する場合と同様な処理により投射画像に同期して音声日記を再生すればよい。
まず、事前準備として、ロボット100のCPU4の自動ネットワーク接続機能36を用いて、ネコ型ロボット本体100のネットワークインタフェース17を介して接続されたコンピュータまたはネットワーク対応デジタルテレビ110に登録された音声日記150へ自動的にアクセスして、所望の音声日記をネコ型ロボット本体100の主記憶メモリ3にダウンロードしておく。なお、音声日記150は、コンピュータまたはネットワーク対応デジタルテレビ110のネットワークインターフェース120に接続されたインターネットまたはブロードバンド130内に存在する所望の音声日記160をコンピュータまたはネットワーク対応デジタルテレビ110内にダウンロードすることにより作成する。以後の動作は、ロボット単体で再生する場合と同様な処理により投射画像に同期して音声日記を再生すればよい。
本実施形態のロボットによれば、ネットワーク上に存在する音声日記データを有効に活用して、ユーザである人間に対して投射画像の投射表示およびそれと同期した音声日記の再生によって癒し効果の相乗効果を生じさせて、人間とロボットとのコミュニケーション能力をさらに向上させることができる。
[第4実施形態]
図9は本発明の第4実施形態のロボットの概略構成を示すブロック図である。本実施形態においては、ネコ型ロボット本体100に外部入力インタフェース20を介してデジタルカメラ等のカメラ手段22およびICレコーダ等の録音手段23(あるいは、携帯情報端末やカメラ付き携帯情報端末)を接続する。
図9は本発明の第4実施形態のロボットの概略構成を示すブロック図である。本実施形態においては、ネコ型ロボット本体100に外部入力インタフェース20を介してデジタルカメラ等のカメラ手段22およびICレコーダ等の録音手段23(あるいは、携帯情報端末やカメラ付き携帯情報端末)を接続する。
本実施形態のロボットによれば、ロボットに接続したカメラ手段22に登録(記憶)された画像を投射画像としてプロジェクタ9から表示面に投射表示すると同時に、ロボットに接続した録音手段23に登録(記憶)された音声を音声日記として再生することにより、ユーザである人間に対して投射画像の投射表示およびそれと同期した音声日記の再生によって癒し効果の相乗効果を生じさせて、人間とロボットとのコミュニケーション能力をさらに向上させることができる。さらに、本実施形態のロボットによれば、ネットワーク等を使用しないので、簡略化されたシステム構成で、人間とロボットとのコミュニケーションを図ることができる。
1 カード型メモリ
2 カード型メモリインタフェース(カード型メモリI/F)
3 主記憶メモリ
4 CPU
5 EPROM
6,7 カメラ手段(デジタルカメラ;CCDカメラまたはCMOSカメラ)
8 カメラインタフェース(カメラI/F)
9 プロジェクタ
10 プロジェクタインタフェース(プロジェクタI/F)
11 LCD表示部
12 LCDインタフェース(LCD I/F)
13L,13R タッチセンサ
14 タッチセンサインタフェース(タッチセンサーI/F)
15 スピーカ
16 音声インタフェース(音声I/F)
17 ネットワークインタフェース(ネットワークI/F)
18 二次電池
19 電源インタフェース(電源I/F)
20 外部入力インタフェース(外部入力I/F)
21 電源スイッチ
22 カメラ手段
23 録音手段
100 ネコ型ロボット本体(ロボット)
2 カード型メモリインタフェース(カード型メモリI/F)
3 主記憶メモリ
4 CPU
5 EPROM
6,7 カメラ手段(デジタルカメラ;CCDカメラまたはCMOSカメラ)
8 カメラインタフェース(カメラI/F)
9 プロジェクタ
10 プロジェクタインタフェース(プロジェクタI/F)
11 LCD表示部
12 LCDインタフェース(LCD I/F)
13L,13R タッチセンサ
14 タッチセンサインタフェース(タッチセンサーI/F)
15 スピーカ
16 音声インタフェース(音声I/F)
17 ネットワークインタフェース(ネットワークI/F)
18 二次電池
19 電源インタフェース(電源I/F)
20 外部入力インタフェース(外部入力I/F)
21 電源スイッチ
22 カメラ手段
23 録音手段
100 ネコ型ロボット本体(ロボット)
Claims (5)
- カメラ手段によって撮影した顔画像を入力されて記憶する記憶手段と、該記憶手段に予め記憶しておいた複数の投射画像の何れか1つを表示面に投射表示する画像投射手段とを備えるロボットであって、
前記カメラ手段より撮影されたユーザの複数の感情状態の顔画像を予め登録する顔画像登録手段と、
予め登録された複数の感情状態の顔画像と前記カメラ手段より入力された顔画像とを比較して、当該顔画像が対応する感情状態を判断する顔画像状態判断手段とを設け、
前記顔画像状態判断手段によって判断された感情状態に応じて、前記画像投射手段から前記表示面に複数の投射画像の何れか1つを投射表示することを特徴とするロボット。 - ユーザが前記カメラ手段の撮影エリアに入ったか否かを検出するエリアセンサを設け、該エリアセンサの検出結果に基づいて前記ロボットの電源のON/OFFおよび画像投射の開始/停止の少なくとも一方を行うことを特徴とする請求項1記載のロボット。
- 前記ロボットは、投射画像の投射表示に同期して、記憶手段に予め記憶しておいた複数の感情状態に対応する音声日記の中の、前記顔画像状態判断手段によって判断された感情状態に対応する音声日記を再生することを特徴とする請求項1または2記載のロボット。
- 前記ロボットは、外部入力インタフェース手段を有しており、この外部入力インタフェース手段を介して接続されたカメラ手段に保存された顔画像を前記顔画像登録手段によって前記記憶手段に記憶することにより、前記カメラ手段に保存された顔画像の1つを前記投射画像として前記表示面に投射表示することを特徴とする請求項1〜3記載のロボット。
- 前記ロボットは、外部入力インタフェース手段を有しており、この外部入力インタフェース手段を介して接続された録音手段に録音された音声を前記記憶手段に記憶して前記複数の感情状態に関連付けておくことにより、前記録音手段に録音された音声の1つを前記音声日記として再生することを特徴とする請求項3または4記載のロボット。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006350179A JP2008155351A (ja) | 2006-12-26 | 2006-12-26 | ロボット |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006350179A JP2008155351A (ja) | 2006-12-26 | 2006-12-26 | ロボット |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008155351A true JP2008155351A (ja) | 2008-07-10 |
Family
ID=39656831
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006350179A Withdrawn JP2008155351A (ja) | 2006-12-26 | 2006-12-26 | ロボット |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008155351A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012022670A (ja) * | 2010-07-16 | 2012-02-02 | Compal Communication Inc | 人−マシンインタラクションシステム |
JP2017013203A (ja) * | 2015-07-03 | 2017-01-19 | 株式会社デンソーウェーブ | ロボットシステム |
JP2017013205A (ja) * | 2015-07-03 | 2017-01-19 | 株式会社デンソーウェーブ | ロボットシステム |
JP2017119336A (ja) * | 2015-12-28 | 2017-07-06 | ヴイストン株式会社 | ロボット、ロボット制御方法並びにロボットプログラム |
USD985645S1 (en) * | 2021-04-16 | 2023-05-09 | Macroact Inc. | Companion robot |
-
2006
- 2006-12-26 JP JP2006350179A patent/JP2008155351A/ja not_active Withdrawn
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012022670A (ja) * | 2010-07-16 | 2012-02-02 | Compal Communication Inc | 人−マシンインタラクションシステム |
JP2017013203A (ja) * | 2015-07-03 | 2017-01-19 | 株式会社デンソーウェーブ | ロボットシステム |
JP2017013205A (ja) * | 2015-07-03 | 2017-01-19 | 株式会社デンソーウェーブ | ロボットシステム |
US10434666B2 (en) | 2015-07-03 | 2019-10-08 | Denso Wave Incorporated | Industrial robot system optically indicating motion area of robot |
JP2017119336A (ja) * | 2015-12-28 | 2017-07-06 | ヴイストン株式会社 | ロボット、ロボット制御方法並びにロボットプログラム |
USD985645S1 (en) * | 2021-04-16 | 2023-05-09 | Macroact Inc. | Companion robot |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102783136B (zh) | 用于拍摄自我肖像图像的成像装置 | |
US9661264B2 (en) | Multi-display video communication medium, apparatus, system, and method | |
CN106488251B (zh) | 实现直播中连麦的方法及装置、主播客户端和用户客户端 | |
WO2020238380A1 (zh) | 全景拍摄方法及终端设备 | |
US8482583B2 (en) | Information processing device that can be held at least in two directions for use | |
KR20190013308A (ko) | 이동 단말기 및 그 제어 방법 | |
JP2013504933A (ja) | 時間シフトされたビデオ通信 | |
US20150043886A1 (en) | Electronic device and terminal communicating with it | |
US8189072B2 (en) | Program and information processing device allowing storage of information for identifying user | |
CN102714698A (zh) | 包括自动对焦来自动记录照片的拍照意图预测和相应方法 | |
US10915142B2 (en) | Dock of mobile communication device and operation method therefor | |
JP2007017596A (ja) | 携帯端末装置 | |
JP2008277903A (ja) | 撮像装置及びフォーカス対象決定方法 | |
KR20170010485A (ko) | 단말 장치 및 단말 장치의 제어 방법 | |
US20200043488A1 (en) | Voice recognition image feedback providing system and method | |
JP2008155351A (ja) | ロボット | |
CN106131393A (zh) | 拍照提示方法及装置 | |
CN111371955A (zh) | 一种响应方法、移动终端及计算机存储介质 | |
JP5724592B2 (ja) | 撮像装置、撮像データ共有システム、及びプログラム | |
US20190237078A1 (en) | Voice recognition image feedback providing system and method | |
JP2008165097A (ja) | いじめ防止を目的とした音声録音装置および音声データ解析装置 | |
JP5392827B2 (ja) | 音データ処理装置 | |
JP2010128967A (ja) | 撮影画像編集装置、画像処理端末、撮影画像編集装置の制御方法、撮影画像編集装置および画像処理端末制御プログラム、およびそれらのコンピュータ読み取り可能な記録媒体 | |
CN112422406A (zh) | 智能终端自动回信方法、装置、计算机设备和存储介质 | |
JP5000242B2 (ja) | 撮影装置、撮影方法、撮影プログラムおよび記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20100302 |