JP2015176058A - 電子機器、方法及びプログラム - Google Patents

電子機器、方法及びプログラム Download PDF

Info

Publication number
JP2015176058A
JP2015176058A JP2014053778A JP2014053778A JP2015176058A JP 2015176058 A JP2015176058 A JP 2015176058A JP 2014053778 A JP2014053778 A JP 2014053778A JP 2014053778 A JP2014053778 A JP 2014053778A JP 2015176058 A JP2015176058 A JP 2015176058A
Authority
JP
Japan
Prior art keywords
message
person
animal
voice
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014053778A
Other languages
English (en)
Inventor
熊谷 明
Akira Kumagai
明 熊谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2014053778A priority Critical patent/JP2015176058A/ja
Publication of JP2015176058A publication Critical patent/JP2015176058A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】過去に存在した人又は動物に関する情報をインタラクティブに出力する電子機器、方法及びプログラムを提供すること。
【解決手段】実施形態によれば、記憶手段と、音声認識手段と、伝言生成手段と、音声合成手段と、を具備する。記憶手段は、過去に存在した人又は動物に関する情報を記憶する。音声認識手段は、ユーザの発話の内容を識別する。伝言生成手段は、他のユーザに向けた、音成認識手段が識別した発話の内容を伝えるための伝言を生成する。音声合成手段は、記憶手段に記憶した情報と伝言に基づいて、人又は動物の音声を合成する。
【選択図】図5

Description

本発明の実施形態は、音声や画像を処理する電子機器、及び該機器に適用される方法及びプログラムに関する。
情報処理技術を応用して、過去に存在した人又は動物に関する情報を出力する電子機器が提案されている。一例として、故人情報を記憶保持し、表示器への接近物を検出すると故人情報を出力する電子式位牌が開発されている。故人情報は、戒名、命日、遺影、経歴、生前の動画及び静止画、並びに、音声のうち、少なくとも1つを含む。
特許第4682265号公報
従来の電子機器は、記憶保持された故人情報しか出力できないという課題があった。親族が亡くなった場合、残された家族が、仏壇に向かって亡くなった家族を供養することはできたとしても、残された家族(特に、一人暮らしの高齢者)の孤独感や悲しみを軽減することは仏壇に向かうだけでは難しい。また、最近は、家族同然のペットも多く、ペットが死んだ場合も同様(ペットロスの問題がある)である。したがって、残された家族の孤独感や悲しみを軽減するために、過去に存在した人又は動物(ペット)とのインタラクティブなコミュニケーションを実現することが期待される場合がある。
本発明の目的は過去に存在した人又は動物に関する情報をインタラクティブに出力する電子機器、方法及びプログラムを提供することである。
実施形態によれば、記憶手段と、音声認識手段と、伝言生成手段と、音声合成手段と、を具備する。記憶手段は、過去に存在した人又は動物に関する情報を記憶する。音声認識手段は、ユーザの発話の内容を識別する。伝言生成手段は、他のユーザに向けた、音成認識手段が識別した発話の内容を伝えるための伝言を生成する。音声合成手段は、記憶手段に記憶した情報と伝言に基づいて、人又は動物の音声を合成する。
図1は実施形態のシステム構成の一例を示す図である。 図2は電子機器16、18、20の構成の一例を示すブロック図である。 図3はサーバ14の構成の一例を示すブロック図である。 図4は会話アプリケーションプログラムのソフトウェアモジュール構成の一例を示す図である。 図5は伝言機能の一例の概念を示す図である。 図6は第1の動作例を示すフローチャートである。 図7は第1の動作例を示すフローチャートである。 図8は第2の動作例を示すフローチャートである。 図9は電子機器の他の例を示す図である。
第1の実施形態
以下、第1の実施形態について図面を参照して説明する。
図1は、第1の実施形態のシステム構成を示す。このシステムは、ネットワーク12に接続されるクラウドサーバ(以下、単にサーバと称する)14と、1台以上、ここでは3台の電子機器16、18、20からなる。必ずしも複数の電子機器がネットワークに接続される必要は無く、1台の電子機器だけがネットワーク12に接続されていてもよい。種々のデータ処理を電子機器だけで行わせるのではなくサーバ14でも行わせることを想定し、ネットワーク12にサーバ14を接続しているが、電子機器単独でデータ処理を行って、サーバ14を省略しても良い。電子機器16、18、20は、例えば、タブレットコンピュータ、ノートブック型のパーソナルコンピュータ、スマートフォン、PDA、デジタルテレビジョン受信機、または各種電子機器に内蔵される組み込みシステムとして実現され得る。本実施形態では、電子機器16、18、20は、タブレットコンピュータとして実現される例を説明する。
電子機器16、18、20は、LCDパネルの前面にカメラモジュール16A、18A、20A、マイク16B、18B、20B、スピーカ16C、18C、20Cを含む。電子機器16、18はほぼ同じ大きであり、縦長で使用することを想定している。電子機器20はやや大きいサイズであり、横長で使用することを想定している。電子機器16、18は上側の短辺の中央部にカメラモジュール16A、18Aを備え、カメラモジュール16A、18Aの左右にマイク16B、18Bを備え、左右の側部の中央部にスピーカ16C、18Cを備える。電子機器20は上側の長辺の中央部にカメラ20Aを備え、カメラ20Aの左右にマイク20Bを備え、左右の側部の中央部にスピーカ20Cを備える。カメラモジュール16A、18A、20AはLCDパネルの前にいる人間の顔を含む顔画像を撮影する。マイク16B、18B、20BはLCDパネルの前にいる人間の音声を集音する。
電子機器16、18は離れて暮らしている親と子が所有し、電子機器20は菩提寺の僧侶が所有することを想定する。電子機器16は親の住宅内の仏壇24内に設けられた収納部に、電子機器18は子の住宅内の仏壇22の収納部に縦長にセットされていてもよい。仏壇に収納されないことが想定される電子機器20は自立できるようにスタンド20Dを付けても良い。仏壇22、24内に収納される電子機器16、18は収納部から取り外し可能であってもよい。すなわち、電子機器16、18は仏壇22、24内に収納されなくてもよい。収納部の位置は、扉を開くと見える中央部でもよい。収納部はAC電源に接続され、電子機器16、18が収納部にセットされると、電子機器が充電されるようにしても良い。しかし、仏壇は、収納部を有する特殊な仏壇に限らず、既存の仏壇でもよい。その場合は、電子機器は別途充電され、充電後、仏壇内に配置される。一般的に、仏壇22、24内には位牌、常花、茶湯器、具足、りん等の仏具が収納されるが、これらの少なくとも幾つかは電子機器16、18の画面に仮想的に表示して、実物を省略することもできる。
実施形態では、仏壇22、24の近傍に電動りん26、28が配置される。電動りん26、28は電子機器16、18に接続される。接続媒体はUSBケーブルでも良いし、ブルートゥース(登録商標)、赤外線通信等の無線でもよい。電動りん26、28は、通常のりんと同様に人が叩くと鳴るが、電子機器16、18からの制御により仏壇近くの人間に何か(例えば、後述する伝言の受信)を知らせるために鳴らせることもできる。
電子機器16、18、20は同一構成であり、一例として、電子機器16のシステム構成の一例を図2に示す。電子機器16は薄い板状の本体(図示せず)と、本体の上面を覆うタッチスクリーンディスプレイ30とを備える。タッチスクリーンディスプレイ30には、フラットパネルディスプレイとしての液晶表示装置(LCDパネル)30Aと、LCDパネルの画面上の指の接触位置を検出するように構成されたセンサとが組み込まれている。センサとしては、例えば、静電容量方式のタッチパネル30Bを使用することができる。タッチパネルタッチ30Bは、LCDパネル30Aの画面を覆うように設けられる。タッチスクリーンディスプレイ30は、指を使用した画面に対するタッチ操作を検出することができる。タッチ操作は、電子機器に対する種々の指示入力に用いられることができる。LCDパネル30Aは表示コントローラ104に接続され、タッチパネル30Bはタッチコントローラ102に接続される。
電子機器16は、CPU100に接続されるシステムコントローラ101を含む。システムコントローラ101には主メモリ103、BIOS−ROM105、eMMC(embedded Multi Media Card)106、カメラモジュール16A、カードコントローラ114、USBコネクタ115、PMIC(Power Management IC)108、表示コントローラ104、タッチコントローラ102、オーディオコーデック110、3G/LTEモジュール111、LANモジュール112、BT(ブルートゥース(登録商標))モジュール113、人感センサ116、受光モジュール118が接続される。
CPU100は、電子機器16内の各種モジュールの動作を制御するプロセッサである。CPU100は、ストレージデバイスであるeMMC106内のNANDフラッシュメモリから主メモリ103にロードされたソフトウェアを実行する。eMMC106は、組み込み機器向けの外部記憶装置であり、マルチメディアカード(MMC)と同一のインタフェースで外部と接続される。ソフトウェアには、オペレーティングシステム(OS)201、およびアプリケーションプログラムが含まれている。アプリケーションプログラムには、会話アプリケーションプログラム202、ライブカメラアプリケーションプログラム203等が含まれている。会話アプリケーションプログラム202はLCDパネルに過去に存在した人又は動物の仮想の合成画像が表示され、電子機器16の前にいるユーザが過去に存在した人又は動物と仮想的に会話する機能を有している。なお、会話アプリケーションプログラム202の全て、あるいは一部をサーバ14が実行するようにしてもよい。すなわち、電子機器16、18、20は、カメラ・マイクで入力した顔画像・音声をサーバ14に送信し、サーバ14で処理された顔画像・音声を受信し、LCDパネルで顔画像を表示し、スピーカで音声を出力するようにしてもよい。ライブカメラアプリケーションプログラム203は電子機器間のテレビ電話を実施するものであり、お互いの映像を相手のLCDモニタ30Aに表示させる。
CPU100は、BIOS−ROM105に格納された基本入出力システム(BIOS)も実行する。BIOSは、ハードウェア制御のためのプログラムである。
システムコントローラ101は、CPU100のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ101には、主メモリ103をアクセス制御するメモリコントローラも内蔵されている。システムコントローラ101は、PCI EXPRESS規格のシリアルバスなどを介して表示コントローラ104との通信を実行する機能も有している。表示コントローラ104は、LCD30Aを制御する表示コントローラである。表示コントローラ104によって生成される表示信号はLCD30Aに送られる。LCD30Aは、表示信号に基づいて画面イメージを表示する。
システムコントローラ101は、オーディオコーデック110との通信を実行する機能も有している。オーディオコーデック110は、マイク16Bによって検出された音声(例えば、ユーザが発話したことによる音声)を符号化することによって、所定の形式のオーディオデータを生成する。また、オーディオコーデック110は、再生対象のオーディオデータを復号し、復号された音声をスピーカ16Cから出力する。システムコントローラ101は、USBコネクタ115に接続されたUSB2.0規格のケーブルを介して外部機器との通信を実行するためのUSBコントローラも内蔵している。
PMIC108は、AC又はバッテリー108Aから供給される電力を管理するためのワンチップマイクロコンピュータである。PMIC108は、ユーザによるパワーボタンの操作に応じて電子機器16を電源オン又は電源オフする機能を有している。PMIC108にはACアダプタ/バッテリー108Aが接続される。バッテリーはACアダプタが商用電源に接続されている間に充電される。
カメラモジュール16は、画像を撮影し、撮影された画像のデータをシステムコントローラ101に出力する。カメラモジュール16は、動画像(映像)のような、連続した複数の画像を撮影することもできる。
3G/LTEモジュール111は、アンテナ111Aを介して、3G移動通信又はLTE通信を実行し、ネットワーク12に接続されるように構成されている。LANモジュール112は、アンテナ112Aを介して、例えばIEEE 802.11g規格の無線通信や、IEEE 802.3規格の有線通信を実行し、ネットワーク12に接続されるように構成されている。BTモジュール110は、アンテナ113Aを介してBT規格による無線通信を実行し、他の機器(例えば、電動りん26、28)と接続されるように構成されている。なお、電動りん26はUSBケーブルを介して電子機器16に接続されてもよい。
カードコントローラ114は、コンピュータ本体11に設けられたカードスロットに挿入される、SDカードのようなメモリカードに対するデータの書き込み及び読み出しを実行する。人感センサ116は、例えば、タブレットコンピュータ2の画面の前方に人が存在するか否かを検出するセンサである。
受光モジュール118は、リモートコントローラ122から送出される操作信号を受ける。システムコントローラ101は、受光モジュール118が受信した操作信号に応じて
各モジュールを制御する。
図3はサーバ14の構成の一例を示す。サーバ14は、図2に示した電子機器の会話アプリケーションプログラムを実行するものであり、電子機器の構成のうち、CPU100、システムコントローラ101、主メモリ103、BIO−ROM105、PMIC108からなる。電子機器のLANモジュール112は有線LANによる通信を行なうLANモジュール112Aに変更され、ACアダプタ/バッテリ108AはACアダプタ108Bに変更され、eMMC106は大容量のストレージ106Aに変更されている。CPU100は、ストレージ106Aから主メモリ103にロードされたソフトウェアを実行する。会話アプリケーションプログラム202Aは、電子機器のプログラム202に対応しているが、データベースの容量が大容量化されたり、認識部・合成部等の機能が高機能となっており、過去に存在した人又は動物との仮想の会話がより現実に近くすることができる。
図4を参照して、会話アプリケーションプログラム202、202Aのソフトウェアモジュール構成を説明する。上述したように、会話アプリケーションプログラム202は、電子機器を使用するユーザ(例えば、仏壇22、24にお参りする人)に、過去に存在した人又は動物との擬似的な会話を提供する機能等を有する。会話は、故人との対話のみならず、他のユーザへの用件を直接伝えるのではなく、過去に存在した人又は動物に対して伝言を頼むことも含む。対話アプリケーションプログラム202は、音声認識部302、意図理解部303、顔・人物認識部305、表情認識部306、会話制御部307、音声合成部308、顔生成部310、表情合成部311、等を備える。マイク16Bからの音声入力301は、音声認識部302に入力される。
声声認識部302は、音声認識辞書401を用いて、入力音声に対して音声認識処理を施す。音声認識辞書401には、例えば、言葉の音の最小単位である音素と特徴量との対応を示す情報と、音素列と単語との対応を示す情報とが含まれている。音声認識処理の一例では、先ず、入力音声から雑音を除去し、識別の手がかりとなる特徴を抽出する。次に、音声信号を、音素を表わす記号に置き換える。例えば、「おはよう」という単語の音声は「o」「h」「a」「y」「o」「u」という音素で構成される。各音素は、それぞれ異なる波形の特徴を有する。各音素の特徴を表わす音響モデルを参照して、入力された音声にどのような音素が含まれているかを判断する。ただし、音声の波形は話者によって異なるし、同一話者でも毎回変化する。そこで、1つの入力音声に対して複数の変換候補を作成し、確からしさのスコアを付ける。次に、数百万から1000万の単語を登録できる認識辞書を用いて、音素列を単語に変換する。ここでも、複数の変換候補が作成される。最後に、言語モデルを参照して、変換候補の中から最も妥当性の高いものを選択し、入力音声に対応するテキストとして出力する。
音声認識部302から出力されたテキストは意図理解部303に入力される。意図理解部303は、知識データベース402、意図理解データベース403を用いて、入力テキストの内容、すなわち意図を理解する。知識データベース402は、単語に対応する内容や特徴のような知識を示す情報を含む。意図理解データベース403は、単語に対応する知識を示す情報から、テキスト(単語列)の内容(意図)を決定するための情報を含む。意図理解部303は、例えば、生成されたテキストが、挨拶の言葉であることや、故人や動物の名前の呼びかけであることを検出する。例えば、「おはよう」というテキストは、挨拶の一種であり、返事を求めているということが意図である。また、「おばちゃんに…を伝えて」というテキストは、おばあちゃんという第3者が含まれており、しかも「に伝えて」というキーワードが入っているので、おばあちゃん宛の伝言であるということが分かる。
一方、カメラモジュール16Aからの画像入力304は、顔・人物認識部305に入力される。顔・人物認識部305は、顔/表情データベース404を用いて、顔画像から顔領域を特定し、顔領域の画像から話者の人物(例えば、小さい男の子、若い女性等)を特定する。顔領域の画像は、表情認識部306に入力され、表情認識部306は、顔/表情データベース404を用いて、話者の表情(喜び、怒り、悲しみ等)を特定する。顔/表情データベース404には、例えば、電子機器16、18、20を使用する1以上の人物に対応する顔画像を示す情報と表情を識別するための情報とが格納されている。これら情報は、画像自体ではなく、例えば特徴量として格納されている。
より具体的には、顔・人物認識部302は、ユーザの顔画像を用いて、人物を認識するための特徴量を算出する。そして、顔・人物認識部302は、算出された特徴量と、顔/表情データベース404に格納された人物の顔画像に対応する特徴量との類似度を算出し、顔/表情データベース404に顔画像が格納されている人物から、最も高い類似度を有する顔画像の人物を決定する。
表情認識部306は、ユーザの顔画像に対応する表情を識別する。識別される表情には、例えば、喜び、驚き、恐怖、嫌悪、怒り、悲しみ、無表情、等の複数の表情が含まれる。表情認識部306は、ユーザの顔画像を用いて、表情を認識するための特徴量を算出する。表情認識部306は、ユーザの顔画像に対応する特徴量と、各表情に対応する特徴量との類似度を算出し、複数の表情から、最も高い類似度を有する表情を決定する。
意図理解部303、顔・人物認識部305、表情認識部306の出力が会話制御部307に入力される。会話制御部307は、家族/人物データベース405、故人嗜好データベース406、故人経験データベース407、雑談用データベース408、会話履歴データベース409、会話人物データベース410の少なくとも一つを用いて、意図理解部303、顔・人物認識部305、表情認識部306の出力から、話者からの入力音声、話者の表情に適した会話テキストを生成する。
家族/人物データベース405は故人を中心とした家系図情報と友人関係とを示す情報や、過去に存在した動物(ペット)と家族等との関係を示す情報を含み、これに基づいて話者が故人に対してどういう関係(孫A、孫B、息子、娘なのか等)かを特定することができる。故人嗜好データベース406は、故人の趣味、好きなもの、嫌いなもの、等を示す情報や、過去に存在した動物の好きなもの、嫌いなもの、等を示す情報を含む。故人経験データベース407は、故人が経験した出来事(何時、誰と、何処に旅行した、何時、どのような体験をした等)や過去に存在した動物との思い出を示す情報を含む。
発言の中には、例えば「この近くで安くて美味しいレストランを知らない?」のような答を求めている明確な質問ばかりではなく、「今日、どう?」のような漠然とした意味・意図のはっきりしない呟きのようなものもある。このような漠然とした発言に応答するためのデータが雑音用データベース408に格納される。
会話履歴データベース409は、故人との会話の履歴を示す情報や、過去に存在した動物に話しかけた言葉の履歴を示す情報を保存する。この履歴により、話者の発言頻度や、前回発言してからの時間を知ることができる。この情報は、会話テキストを作成する際に利用できる。会話人物データベース410は、ユーザ(すなわち、過去に存在した人又は動物と対話する人)に関する情報(例えば、年齢、性別、職業、趣味、等)を保存する。
なお、会話制御部307は、ニュースや天気のような新たな情報や、現在の日付(例えば、日付に対応する季節、日付に対応するイベント)をさらに用いて、ユーザとの会話テキストを生成してもよい。
会話テキストは音声合成部308、顔生成部310に入力される。音声合成部308は、先ず合成辞書411を用いて、会話テキストから標準的な合成音声を生成する。合成辞書411は、単語と音素列との対応を示す情報と、音素と音声信号(音声データ)との対応を示す情報とを含む。次に、似声データベース412、話方データベース413を用いて、合成音声を故人の音質、喋り方に似た音声に変換し、恰も故人が喋っているような話し方の音声出力309としてスピーカ16Cから出力する。似声データベース412は、故人の音質や、過去に存在した動物の鳴き声の声質をモデル化した音声合成辞書(似声辞書)である。話方データベース413は、故人の抑揚、リズム、くせや、過去に存在した動物の鳴き方のリズムをモデル化した音声合成辞書(似声辞書)である。このように、音声合成部308は、ユーザが発した音声に対応するテキストと、過去に存在した人又は動物に関する情報とに基づいて、過去に存在した人又は動物をエミュレーションする合成音声を生成する。
顔生成部310は、故人顔/表情データベース414を用いて、会話テキストを発音している故人の顔画像を合成する。故人顔/表情データベース414は、故人の顔画像と様々な表情(例えば、喜び、驚き、恐怖、嫌悪、怒り、悲しみ、無表情、等)とを示す情報や、過去に存在した動物の画像と様々な表情や仕種とを示す情報を含む。表情合成部311は、合成された顔画像の表情を故人の表情に似せて、恰も故人が喋っているような表情の顔出力312としてLCDパネル30Aで表示する。このように、顔生成部310と表情合成部311は、ユーザの発した音声に対応するテキストと、ユーザの顔画像に対応する人物と、ユーザの顔画像に対応する表情と、過去に存在した人又は動物に関する情報とに基づいて、過去に存在した人又は動物をエミュレーションする合成画像を生成する。
なお、顔生成部310及び表情合成部311は、故人顔/表情データベース414を用いて、生成された文章と、決定された人物及び表情とに基づいて、合成された音声に応じて変化する故人の動画像(顔の動画像)を合成してもよい。顔生成部310及び表情合成部311は、例えば、合成された音声の抑揚やリズム、当該音声で話される内容に応じて、表情が変化する動画像を合成する。
スピーカ16Cを用いた音声出力309によって、合成された故人の音声がスピーカ16Cから出力され、LCDパネル30Aを用いた顔出力(画像出力)312によって、合成された故人の顔画像がLCDパネル30Aの画面に表示される。
上述した家族/人物データベース405、故人嗜好データベース406、故人経験データベース407、会話履歴データベース409、会話人物データベース410、似声データベース412、話方データベース413、故人顔/表情データベース414は、例えば、人が亡くなる前や動物が死ぬ前に予め収集された画像、音声(会話の音声)、テキスト等を含むライフログや、その人が回答したアンケート結果等を用いて作成される。ライフログでは、例えば、日付、イベント、画像、一緒にいた人、場所、等が関連付けて記録されていることがある。このような情報を用いて、故人の思い出や経験、特徴を表す情報、又は過去に存在した動物との思い出や特徴を表す情報が格納されたデータベース405〜407、409、410、412〜414を構築することができる。
また、これらデータベース405〜407、409、410、412〜414は、人が亡くなった後や動物が死んだ後に、その人や動物(又は動物の飼い主)に関連するソーシャルネットワーキングサービス(SNS)のサイト(例えば、Facebook(登録商標)、Twitter(登録商標)、各種のブログ、等)、ローカルやネットワーク上のストレージ、等に保存された画像、映像、音声、テキスト、等の情報を用いて作成されてもよい。ソーシャルネットワーキングサービスのサイトでも、例えば、日付、イベント、画像、一緒にいた人、場所、等が関連付けて記録されていることがあり、このような情報を用いてデータベース405〜407、409、410、412〜414を構築することができる。
このようなデータベースを用いることにより、過去に存在した人又は動物とのより現実的な会話(コミュニケーション)を実現するができる。
また、過去に存在した動物とユーザが対話しようとする場合、会話制御部307は、家族/人物データベース405、故人嗜好データベース406、故人経験データベース407、雑談用データベース408、会話履歴データベース409、及び会話人物データベース410の少なくとも一つを用いて、意図理解部303によって検出されたテキストの意図と、ユーザの顔画像から決定された人物及び表情とに基づいて、ユーザに応答するための鳴き声(鳴き方)や仕種を決定する。そして、音声合成部308は、似声データベース412及び話方データベース413を用いて、会話制御部307によって決定された鳴き声を音声出力するための、過去に存在した動物の鳴き声を合成する。
また、顔生成部310及び表情合成部311は、故人顔/表情データベース414を用いて、決定された鳴き声及び仕種と、決定された人物及び表情とに応じた、過去に存在した動物の画像を合成する。顔生成部310及び表情合成部311は、故人顔/表情データベース414を用いて、生成された文章と、決定された人物及び表情とに基づいて、合成された音声に応じて変化する動物の動画像を合成してもよい。顔生成部310及び表情合成部311は、例えば、合成された音声の抑揚やリズム、当該音声の内容に応じて、表情や仕種が変化する動画像を合成する。
スピーカ16Cを用いた音声出力309によって、合成された動物の音声がスピーカ16Cから出力され、LCDパネル30Aを用いた顔出力(画像出力)312によって、合成された動物の画像がLCDパネル30Aの画面上に表示される。
なお、1つの仏壇で、複数の過去に存在した人又は動物のそれぞれとの対話が行われる場合も想定される。その場合、会話制御部307は、対話しようとするユーザに応じて、対話の相手となる過去に存在した人又は動物を決定するようにしてもよい。会話制御部307、音声合成部308、顔生成部310、及び表情合成部311は、決定された過去に存在した人又は動物に対応する合成された音声をスピーカ16Cから出力し、合成された画像をLCDパネル30Aの画面に表示する。
このように、会話アプリケーションプログラム202は、故人に関するデータを保持し、電子機器16、18、20の前にいる人、特に電子機器16、18の場合は仏壇22、24の前で故人を偲ぶ・尊ぶ人が故人と仮想的に会話する場面を提供する。会話は、単に故人と対話すること以外に、故人に伝言を託すことを含む。一般的に、仏壇は生前には購入しないが、本実施例の場合は、先に亡くなる可能性が高い高齢者本人が遺族のために(残された家族が自分と擬似的に会話し、悲しみを和らげるために)、仏壇あるいは電子機器を購入することが考えられる。購入時に、1000位の質問に対して回答してもらい、音声を入力したり、顔画像を撮影し、データベース406、407、408、412、413、414に故人データとして格納し、学習させてから、納品してもよい。また、購入後ライフログ、楽しい思い出のテキスト、写真、映像等を都度入力して、故人嗜好データベース406や故人経験データベース407を更新することもできる。さらに、近年のソーシャルネットワークの流行に伴い、故人の画像、音声や、故人の行動等がネットワークから得られるようになっているので、亡くなった後でも、データベース406、407、408、412、413、414を更新してもよい。ソーシャルネットワークのタグや写真から、故人が誰と一緒に何をしていたかも判り、亡くなった後に故人データを収集することも可能である。
以上のような構成の電子機器は多くの動作例を含むが、代表的な幾つかの動作例を以下に説明する。
(第1の動作例)
第1の動作例の背景は、少なくとも2世代の家族を対象とし、祖父母の家(実家)に仏壇(以下、親仏壇とも称する)24があり、子供夫婦(祖父母の孫がいる)の家に仏壇(以下、子仏壇とも称する)22があり、現在は故人である祖父が生前に仏壇、電子機器を購入していたとする。図5に示すように、子仏壇22の前で祖父を偲ぶ・尊ぶ孫が祖母に伝えたい用件があるが、直接伝えるのではなく、電子機器16、18を使って祖父に用件を擬似的に伝言してもらう動作例を説明する。
図6、図7は第1の動作例のフローチャートである。孫が子仏壇22の前に来て、電子機器16の人感センサ64が人物を検出する(ブロックB12のイエス)と、ブロックB14で会話アプリケーションプログラム202が起動される。電子機器16は常時はスタンバイ状態であり、必要最低限のモジュールのみ電源がオンされ、アプリケーションプログラム、LCDパネル等は電源オフされている。電子機器がスタンバイ状態でもカメラ16Aがオンしている場合は、カメラ16Aが人物を検出すると、会話アプリケーションプログラム202が起動されるようにしてもよい。同様に、電子機器がスタンバイ状態でもマイク16Bがオンしている場合は、孫が子仏壇22に向かって話しかける声をマイク16Bが集音すると、会話アプリケーションプログラム202が起動されるようにしてもよい。さらに、子仏壇22の扉に開閉検知センサを設けて、扉が開いたら、会話アプリケーションプログラム202が起動されるようにしてもよい。さらに、電動りん26、28を鳴らすと、その情報が無線で電子機器16、18へ送信され、それに応じて会話アプリケーションプログラム202が起動されてもよい。電子機器20は設置位置に制限はないので、電源スイッチをオンすることにより、会話アプリケーションプログラム202が起動されるようにしてもよい。
この後、子仏壇の前にいる孫は故人である祖父と仮想の会話を行なう。会話の間、祖父の合成映像が電子機器16で表示される。会話の一部に、孫から祖母への伝言が含まれる。
会話例1
孫「ねえ、おじいちゃん!」
祖父「○○ちゃん、こんばんは(時間帯により変わる)。なぁに?」
孫「おじいちゃんに頼みがあるんだけど…。おばあちゃんに今度の日曜日に遊びに行くね!と伝えてくれないかなぁ?」
祖父「はい、わかった。おばあちゃんに必ず伝えとくよ。日曜日までに宿題を済ませておきなさい。」
孫「はぁい。」
ブロックB16で、カメラ16Aが電子機器16の前にいる人物を撮影し、マイク18Bが音を集め、画像、音声信号が入力される。画像は全身画像である必要は無く、顔を中心とした画像である。入力された画像、音声信号はブロックB18でサーバ14に送信される。
サーバ14は、電子機器18から送信された画像、音声信号をブロックB20で受信する。ブロックB22で、音声認識部302は、音声認識辞書401を用いて音声信号に対して認識処理を施し、音声に対応するテキストを生成する。ブロックB24で、意図理解部303は知識データベース402、意図理解データベース403を用いてテキストの意図を理解する。意図を理解することにより、話者の発言が単なる会話なのか、伝言なのかを知ることができる。
顔画像については、ブロックB28で、顔・人物認識部305は、顔/表情データベース404を用いて顔領域の画像に対して認識処理を施し、顔領域の画像に対応する話者の人物(例えば、小さい男の子、若い女性等)を決定する。ブロックB30で、表情認識部306は、話者の表情(喜び、怒り、悲しみ等)を決定する。このように話者の人物、表情を知ることにより、話者に適した会話テキストを生成することができ、より自然な会話が可能となる。
ブロックB34で、会話制御部307は、意図理解部303、顔・人物認識部305、表情認識部306の出力に基づいて、話者の発言が伝言か否か(通常の会話)を判定する。上の会話例のように「伝えて」というキーワードが含まれている場合は、その発言は伝言であると判定できる。
通常の対話の場合は、ブロックB36で、話者が誰で、どのような表情をしているか、及びテキストの意図に応じてどのような応答を返すかを決める。孫が悲しんでいるような場面では、「どうしたの?元気だしなよ。」と勇気づけるような応答テキストを生成したり、孫が歌好きな場合は、「最近歌っている?」という問いかけや、会話履歴が1年位更新されていない場合は、「久しぶり、1年ぶりだね。元気だった?」のような応答テキストを生成する。あるいは、「最近、仕事はどうなの?」のような雑談的な応答の場合もある。また、インターネットからニュース等の情報を雑談用データベース408に保存しておくことにより、時事ネタの会話も可能である。
ブロックB38で、音声合成部308は、応答テキストを故人の音質、喋り方に似た合成音声に変換する。ブロックB40で、顔生成部310、表情合成部311は、応答テキストを、恰も故人が喋っているような表情の顔画像に変換する。対話の内容、あるいは相手の言葉に合わせて、故人の表情を泣き顔、笑い顔等に変える。ブロックB42で、合成音声・顔画像を電子機器16へ送信する。
電子機器16は、サーバ14から送信された合成音声・顔画像をブロックB44で受信する。ブロックB46で、LCDパネル30Aで顔画像を表示し、スピーカ16Cから合成音声を出力する。この後、ブロックB48で終了か否か判定する。終了しない場合は、ブロックB16に戻る。
伝言の場合は、ブロックB52で、話者が誰で、どのような表情をしているか、及びテキストの意図に応じて、仲介者(祖母)宛ての伝言テキストを生成する。伝言テキストの例は、「おばあさん!。○○ちゃんが今度の日曜日に遊びに来ると言っていたよ。」である。
ブロックB54で、音声合成部308は、伝言テキストを故人の音質、喋り方に似た合成音声に変換する。ブロックB56で、顔生成部310、表情合成部311は、伝言テキストを、恰も故人が喋っているような表情の顔画像に変換する。ブロックB58で、合成音声・顔画像を伝言宛先(祖母)の電子機器18へ送信する。
祖母の電子機器18も孫の電子機器16と同様に、人感センサ64が人物を検出する(ブロックB112のイエス)と、ブロックB114で会話アプリケーションプログラム202が起動される。上述した孫の電子機器16と同様に、祖母の電子機器18の会話アプリケーションプログラム202も多種多様なトリガで起動することができる。
ブロックB113でサーバ14に問い合わせがされ、サーバ14のストレージ106A内に電子機器18宛の未視聴の伝言があるか否か判定される。
伝言が無い場合は、電子機器16と同様に、ブロックB116で、カメラ18Aが電子機器18の前にいる人物の顔を撮影し、マイク18Bが音を集め、画像、音声信号が入力される。入力された画像、音声信号はブロックB118でサーバ14に送信される。
伝言がある場合は、ブロックB144でサーバ14から伝言テキストの合成音声・顔画像を受信すると、ブロックB146で、LCDパネル30Aで顔画像を表示し、スピーカ16Cから合成音声を出力する。この後、ブロックB148で終了か否か判定する。終了しない場合は、ブロックB116に戻る。
電子機器18(親仏壇24)の前にいる祖母は孫からの伝言を仮想の祖父から聞いて、祖父に返答を伝言依頼することも可能である。例えば、「おじいさん。うれしい話をありがとう。○○ちゃんの好きな××を作っておくよ。気をつけてきなさい!と伝えておいて下さい」と祖父と対話すると、その発言を伝言として、電子機器16(子仏壇22)の前にいる孫に伝えることができる。
以下、同様に、子仏壇の電子機器のユーザの孫と親仏壇の電子機器のユーザの祖母との間で用件を擬似的に祖父が伝言する形で会話が行なわれる。
なお、電子機器16、18がスタンバイ状態で伝言を受信すると、電動りん26、28を鳴らすようにしてもよい。これを聞いて、人が仏壇の前に来ると、電子機器の電源がオンされ、図6、図7の動作が開始されるように構成してもよい。
故人が複数いる場合は、子仏壇の前の人、例えば孫を認識して、その人に適した故人、例えば祖父の顔画像が表示され、「○○ちゃん、こんばんは(時間帯により変わる)。なぁに?」という合成音声が出力されるようにしてもよい。あるいは、仏壇の前の人を認識しないで、孫が「おじいちゃん」と故人を特定する呼びかけをすると、故人が特定されるようにしてもよい。
第1の動作例によれば、ネットワークに接続された電子機器を含む仏壇に向かって故人を偲ぶ・尊ぶ際に別の家庭に住んでいる身内に故人の合成音声、合成画像を通して伝言することができる。これにより、故人や祖先を供養する機会が増えるので、遠く離れた家族のつながり、家族の絆を強めることができる。故人を介した伝言により、遠く離れた家族の状況を知ることができるので、やはり家族のつながり、家族との絆を強めることができる。また、故人と思い出話しができるので、家族が亡くなった時の残された家族、特に一人暮らしの高齢者の孤独感を軽減することができる。伝言の際の会話を通じて、過去に存在した人又は動物との出来事を思い出すことができる。伝えたい用件の中には、電話する程のこともないものもあり、その場合、仏壇内の電子機器に向かって「つぶやく」だけで、故人が代わって伝えてくれるので、コミュニケーションの一助になる。
伝言を伝える際は、故人の映像しか表示していないが、子仏壇に向かって話しかけている孫の様子も子画面であるいは切り替えて表示できるようにしてもよい。
上述の説明は電子機器16から電子機器18への1対1の伝言に関するが、これに限らず、1対多の伝言も可能である。例えば、祖母が複数の孫に対する用件「例えば、今度の日曜日に遊びに来ない?」を祖父に伝言して貰うことも可能である。サーバ14は、ブロックB52で1対多の伝言であることを判断すると、複数の送信先を指定した伝言テキストを生成し、ブロックB58で、伝言テキストを複数の電子機器へ送信すればよい。
また、子仏壇が複数ある場合、親仏壇と第1の子仏壇の電子機器間の伝言を含む会話の途中で、親仏壇と第2の子仏壇間の会話を開始してもよい。例えば、会話例1で祖母が他の孫に「○○ちゃんが今度の日曜日に遊びに来ると言っていたけど、○○君も来てくれないかなぁ。」という伝言を祖父に頼んでもよい。
祖父が祖母の伝言を単に伝えるのではなく、サーバ14は祖母の表情を認識しているので、伝言に祖母の様子を付け加えてもよい。例えば、サーバ14が祖母の表情のデータベースを保存し、画像認識処理を利用して、その微妙な変化を検出することもできる。この場合、例えば「おばあちゃん。最近、具合悪そうだよ。」という祖父からのメッセージを孫からの伝言に付け足すと、高齢者の見守りもできる。
また、サーバ14は、会話履歴データベース409に基づいて親仏壇24に祖母がお参りする履歴を知ることが出来るので、何日もお参りしない状態を検出することができる。この場合、例えば、「おばあちゃん。○日、お参りしていないよ。」という祖父からのメッセージを孫からの伝言に付け足すことによっても、高齢者の見守りができる。あるいは、緊急時には、身内のスマートトフォン、携帯電話等に緊急連絡をするように構成してもよい。
(第2の動作例)
第2の動作例の背景も第1の動作例の背景と同じである。しかし、第2の例の伝言は、孫から祖母への伝言という他の電子機器のユーザ向けではなく、同じ電子機器のユーザ向けである。例えば、子供が悪戯をして母親に叱られたが、子供が謝りの気持ちを母親に直接には伝えられず、祖父に頼んで母親に伝えたい場合がある。
会話例2
孫「ねえ、おじいちゃん!」
祖父「○○ちゃん、こんばんは(時間帯により変わる)。なぁに?」
孫「おじいちゃんに頼みがあるんだけど…。おかあさんに悪戯をしてごめんなさいって伝えてくれないかなぁ?」
祖父「はい、わかった。おかあさんに必ず伝えとくよ。でも、もう悪戯をしちゃ駄目だよ。」
孫「うん。」
この場合、先ず子供が電子機器16に対して伝言を登録する。その後、会話アプリケーションプログラムはオフされ、電子機器16はスタンバイ状態となる。その後、母親が電子機器16の前に来て、会話アプリケーションプログラムが起動されると、伝言を視聴することができる。
図8は第2の動作例のフローチャートであり、図6、図7と対応するブロックは同一の参照数字を付して説明は省略する。ブロックB14で会話アプリケーションプログラムが起動されると、ブロックB202でサーバ14に問い合わせがされ、サーバ14のストレージ106A内に電子機器16宛の未視聴の伝言があるか否か判定される。
伝言が無い場合は、第1の動作例と同様に、ブロックB16で画像、音声信号が入力され、ブロックB18でサーバ14に送信される。サーバ14は、ブロックB20で画像、音声信号を受信し、ブロックB22で音声に対応するテキストを生成し、ブロックB24でテキストの意図を理解し、ブロックB28で話者人物を決定し、ブロックB30で話者人物の表情を認識する。ブロックB34で、話者の発言が伝言であると判定されると、サーバ14は、ブロックB52で伝言テキストを生成し、ブロックB54で故人の音声を合成し、ブロックB56で故人の顔画像を合成し、ブロックB58で合成音声・顔画像を電子機器16へ送信する。この場合の伝言テキスト例は、「△△子。孫の○○ちゃんが悪戯してごめんなさいって言ってたよ。許してあげたらどうだ。」がある。次に、ブロックB62で電子機器16の電源がオンしている(会話アプリケーションプログラムが起動している)か否かを判定する。電子機器16の電源がオンしている場合は、ブロック58で送信した伝言が視聴されることが予想されるので、動作は終了する。
電源がオンしていない場合、すなわち、電子機器16のユーザが現在は伝言を視聴しないことが想定される場合は、ブロックB64で、その未視聴伝言をストレージ106Aに保存する。
ブロックB202で未視聴の伝言があると判定された場合は、ブロックB44でサーバ14から伝言テキストの合成音声・顔画像を受信し、ブロックB46でLCDパネル30Aで顔画像を表示し、スピーカ16Cから合成音声を出力する。これにより、子供が祖父に託した自分宛の伝言を祖父との擬似的な会話の中で知ることができる。この後、ブロックB48で終了か否か判定する。終了しない場合は、ブロックB202に戻る。
同様に、母親は祖父から聞いた子供からの伝言に対する応答を祖父に伝言し、祖父から子供に用件を伝えることもできる。
第2の動作例によれば、ネットワークに接続された電子機器を含む仏壇に向かって故人を偲ぶ・尊ぶ際に、同じ家庭に住んでいる身内に故人の合成音声、合成画像を通して伝言することができる。これにより、故人や祖先を供養する機会が増え、遠く離れた家族のつながり、家族の絆を強めることができる。また、伝言の際の会話を通じて、過去に存在した人又は動物との出来事を思い出すことができる。
(第3の動作例)
第3の動作例は、伝言機能ではなくライブカメラ機能を説明する。これは、1つの電子機器で撮影した映像を他の電子機器へ送信するものである。この動作は、関係する各電子機器のリモートコントローラ122あるいはタッチパネル30Bの操作によりライブカメラモードを指定して、ライブカメラアプリケーションプログラム203を起動することにより実現できる。例えば、寺の本堂で行なう法事の様子を寺の電子機器20で撮影し、その映像を法事に参加できない遠方の身内の電子機器へ送信する。遠方の身内は、その映像を視聴することにより読経を聞くことができ、仮想的に法事に参加した気持ちになることができ、家族のつながり、家族の絆を強めることができる。ライブで見ることが出来ない場合は、この映像をサーバ14に保存して、再生画像を視聴してもよい。あるいは、親仏壇で祖母がお参りしている様子を撮影した映像を子仏壇の電子機器へ送信するとともに、子仏壇で孫がお参りしている様子を撮影した映像を親仏壇の電子機器へ送信することもできる。これにより、離れた場所に居る祖母と孫が同時に一緒に祖父をお参りする気持ちになることができ、やはり家族のつながり、家族の絆を強めることができる。実家に頻繁に帰ることが出来ない家族も、恰も実家の仏壇に向かってお参りしている気持ちになることができ、先祖を敬う気持ちが強まる。
(第4の動作例)
第4の動作例は、仏壇内の電子機器が故人の写真をスライドショーのように表示する、あるいは映像を出力する例である。例えば、法事等で家族が集まった際に、映像があると故人を偲ぶ気持ちが強くなる。この動作も、電子機器のリモートコントローラ122あるいはタッチパネル30Bの操作によりを用いてスライドショーモードを指定して、スライドショーアプリケーションプログラム(図2には図示していないが、主メモリ103にロードされる)を起動することにより実現できる。静止画のみならず、音声も一緒に出力しても良いし、動画を再生しても良い。
なお、上述した説明では、故人による伝言処理の例について記載したが、ペット等の過去に存在した動物が伝言を仲介することをエミュレーションするように構成してもよい。
電子機器の形態はタブレットコンピュータとして説明したが、スマートフォン、デスクトップ型のパーソナルコンピュータ(表示部のみを仏壇内に収納)等でも良い。
電子機器は仏壇内に収納される形態を説明したが、実物の仏壇は必須ではなく、仏壇自体を仮想的に画面に表示してもよい。この場合は、画面が大きい方が好ましいので、ネットワークに接続されるテレビジョン受信器を利用して、その前面にカメラ、マイクを取り付けてもよい。
図9にテレビジョン受信機50として実現された電子機器を示す。テレビジョン受信機50に設けられるLCD58の画面には、過去に存在した人又は動物の画像だけでなく、仏壇の画像や、位牌、花立、火立、香炉、供物、花仏水器、りん、等の仏具の画像が表示されてもよい。
デジタルテレビジョン受信機50は、薄い箱形の筐体を有している。デジタルテレビジョン受信機50の前面には、この箱形の筐体に重ね合わせるように、LCD58が設けられている。デジタルテレビジョン受信機50の前面下部には、受光部51、LED52、人感センサ54、マイク55などが配置されている。受光部51は、リモートコントローラによって送信される信号を受信する。LED52は、電源のオン/オフ、待機状態等を示す。人感センサ54は、テレビジョン受信機50の前方に人が存在することを検出する。マイク55は、テレビジョン受信機50を使用する人(例えば、テレビジョン受信機50に画面に表示される仏壇にお参りする人)の発声による音声を取得する。また、デジタルテレビジョン受信機50の前面上部には、テレビジョン受信機50を使用する人の画像(顔画像)を撮影するカメラモジュール53が設けられている。
さらに、デジタルテレビジョン受信機50の側面には、操作部56とスピーカ57とが設けられている。操作部56には、テレビジョン受信機50を操作するための各種のボタンが設けられる。操作部56は、例えば、デジタルテレビジョン受信機50を電源オン/電源オフするための主電源ボタン、チャンネルを切り替えるためのチャンネルボタン等を備える。スピーカ56は音声を出力する。
デジタルテレビジョン受信機50で上述の伝言機能を実現する場合、例えば、このデジタルテレビジョン受信機50内に設けられるプロセッサーによって、会話アプリケーションプログラム202やライブカメラアプリケーションプログラム203が実行される。これにより、マイク55によって取得されるユーザの発声による音声と、カメラモジュール53によって取得されるユーザの顔画像とに基づいて、スピーカ57から故人の合成された(人工的な)音声が出力され、LCD58の画面に故人の合成された画像が表示される。
したがってユーザは、テレビジョン受信機50を用いて、故人に対して伝言を依頼することができる。
以上説明したように、本実施形態によれば、過去に存在した人又は動物が伝言を伝えているようなユーザインターフェースが実現できる。これにより、故人や祖先を供養する機会が増えるので、遠く離れた家族のつながり、家族の絆を強めることができる。故人を介した伝言により、遠く離れた家族の状況を知ることができるので、やはり家族のつながり、家族との絆を強めることができる。また、故人に話し掛けられることにより、家族が亡くなった時の残された家族、特に一人暮らしの高齢者の孤独感を軽減することができる。伝言の際の会話を通じて、過去に存在した人又は動物との出来事を思い出すことができる。
電子機器は仏壇に限らず、墓石に取り付けてもよい。墓参りすると、「お参りしてくれて、ありがとう。」のような故人の発言を伝言に含めと、故人や祖先を供養する機会が増えることが期待される。
さらに、この伝言機能は、仏壇や墓石の新たな機能として、仏具、墓石を製造・販売する業界のビジネスの機会を広げることに貢献できる。また、タブレットコンピュータやスマートフォン上で実行される会話アプリケーションプログラム202により、過去に存在した人又は動物に対する供養の新たな機会をユーザに提供することができる。
なお、本実施形態の処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムをコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
14…サーバ、16、18、20…電子機器、16A、18A、20A…カメラモジュール、16B、18B、20B…マイク、16C、18C、20C…スピーカ、22、24…仏壇、101…システムコントローラ、112…LANモジュール、116…人感センサ、202…会話アプリケーションプログラム。

Claims (9)

  1. 過去に存在した人又は動物に関する情報を記憶する記憶手段と、
    ユーザの発話の内容を識別する音声認識手段と、
    他のユーザに向けた、前記音成認識手段が識別した発話の内容を伝えるための伝言を生成する伝言生成手段と、
    前記記憶手段に記憶した情報と前記伝言に基づいて、前記人又は動物の音声を合成する音声合成手段と、
    を具備する電子機器。
  2. 前記人又は動物が発した音に関する第1特徴情報を記憶する手段をさらに具備し、
    前記音声合成手段は、前記記憶手段に記憶した情報と前記伝言と前記第1特徴情報とに基づいて、前記人又は動物の音声を生成する請求項1記載の電子機器。
  3. 前記記憶手段に記憶した情報と前記伝言に基づいて、前記人又は動物の画像を合成する画像合成手段をさらに具備する請求項1記載の電子機器。
  4. 前記人又は動物が発した音に関する第1特徴情報を記憶する手段と、
    前記人又は動物の画像に関する第2特徴情報を記憶する手段と、をさらに具備し、
    前記音声合成手段は、前記記憶手段に記憶した情報と前記伝言と前記第1特徴情報とに基づいて、前記人又は動物の音声を生成し、
    前記画像合成手段は、前記記憶手段に記憶した情報と前記伝言と前記第2特徴情報とに基づいて、前記人又は動物の画像を合成する請求項3記載の電子機器。
  5. 入力画像を分析する画像認識手段をさらに具備し、
    前記伝言生成手段は、前記画像認識手段の認識結果に基づいて、前記伝言を生成する請求項1記載の電子機器。
  6. 前記伝言生成手段により生成された伝言を他の機器へ送信する送信手段をさらに具備する請求項1記載の電子機器。
  7. 前記音声合成手段は、他の機器から送信された伝言に基づいて、前記人又は動物の音声を合成する請求項1記載の電子機器。
  8. ユーザの発話の内容を識別し、
    他のユーザに向けた、前記識別した発話の内容を伝えるための伝言を生成し、
    記憶手段から読み出した過去に存在した人又は動物に関する情報と前記伝言に基づいて、前記人又は動物の音声を合成する方法。
  9. コンピュータにより実行されるプログラムであって、前記プログラムは、ユーザの発話の内容を識別し、他のユーザに向けた、前記識別した発話の内容を伝えるための伝言を生成し、記憶手段から読み出した過去に存在した人又は動物に関する情報と前記伝言に基づいて、前記人又は動物の音声を合成するものであるプログラム。
JP2014053778A 2014-03-17 2014-03-17 電子機器、方法及びプログラム Pending JP2015176058A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014053778A JP2015176058A (ja) 2014-03-17 2014-03-17 電子機器、方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014053778A JP2015176058A (ja) 2014-03-17 2014-03-17 電子機器、方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2015176058A true JP2015176058A (ja) 2015-10-05

Family

ID=54255287

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014053778A Pending JP2015176058A (ja) 2014-03-17 2014-03-17 電子機器、方法及びプログラム

Country Status (1)

Country Link
JP (1) JP2015176058A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6388269B1 (ja) * 2017-12-07 2018-09-12 株式会社小泉製作所 おりんによる情報伝達システム
JP2018533064A (ja) * 2015-10-09 2018-11-08 ユウトウ・テクノロジー(ハンジョウ)・カンパニー・リミテッド 迅速な識別方法及び家庭用の知能ロボット
JP2019091364A (ja) * 2017-11-17 2019-06-13 株式会社小泉製作所 おりんによる情報伝達システム
WO2020261936A1 (ja) * 2019-06-28 2020-12-30 平野初子 コントローラ装置、モバイル装置、情報処理システム、保護装置、方法及びプログラム
JP2021058564A (ja) * 2019-06-28 2021-04-15 平野 初子 コントローラ装置、モバイル装置、情報処理システム、保護装置、方法及びプログラム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002024371A (ja) * 2000-07-11 2002-01-25 Sakaguchi Seisakusho:Kk 故人との仮想対話方法及びその装置
JP2002041279A (ja) * 2000-07-21 2002-02-08 Megafusion Corp エージェント伝言システム
JP2002244690A (ja) * 2001-02-16 2002-08-30 Chikako Hayashi 生前中に人の声の波長、声紋等を分析し記録して、その方の死後故人と電話で会話が出来るシステム。
JP2002272794A (ja) * 2001-03-15 2002-09-24 Hida Ham:Kk 骨壷作成方法
JP2003331074A (ja) * 2002-05-16 2003-11-21 Yamatake Corp 墓参りシステム
JP2004029147A (ja) * 2002-06-21 2004-01-29 P To Pa:Kk 顔画像表示装置、顔画像表示方法及びプログラム
JP2004310034A (ja) * 2003-03-24 2004-11-04 Matsushita Electric Works Ltd 対話エージェントシステム
JP2006039120A (ja) * 2004-07-26 2006-02-09 Sony Corp 対話装置および対話方法、並びにプログラムおよび記録媒体
JP2006071936A (ja) * 2004-09-01 2006-03-16 Matsushita Electric Works Ltd 対話エージェント
JP2009038708A (ja) * 2007-08-03 2009-02-19 Kddi Corp 故人情報管理システム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002024371A (ja) * 2000-07-11 2002-01-25 Sakaguchi Seisakusho:Kk 故人との仮想対話方法及びその装置
JP2002041279A (ja) * 2000-07-21 2002-02-08 Megafusion Corp エージェント伝言システム
JP2002244690A (ja) * 2001-02-16 2002-08-30 Chikako Hayashi 生前中に人の声の波長、声紋等を分析し記録して、その方の死後故人と電話で会話が出来るシステム。
JP2002272794A (ja) * 2001-03-15 2002-09-24 Hida Ham:Kk 骨壷作成方法
JP2003331074A (ja) * 2002-05-16 2003-11-21 Yamatake Corp 墓参りシステム
JP2004029147A (ja) * 2002-06-21 2004-01-29 P To Pa:Kk 顔画像表示装置、顔画像表示方法及びプログラム
JP2004310034A (ja) * 2003-03-24 2004-11-04 Matsushita Electric Works Ltd 対話エージェントシステム
JP2006039120A (ja) * 2004-07-26 2006-02-09 Sony Corp 対話装置および対話方法、並びにプログラムおよび記録媒体
JP2006071936A (ja) * 2004-09-01 2006-03-16 Matsushita Electric Works Ltd 対話エージェント
JP2009038708A (ja) * 2007-08-03 2009-02-19 Kddi Corp 故人情報管理システム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018533064A (ja) * 2015-10-09 2018-11-08 ユウトウ・テクノロジー(ハンジョウ)・カンパニー・リミテッド 迅速な識別方法及び家庭用の知能ロボット
JP2019091364A (ja) * 2017-11-17 2019-06-13 株式会社小泉製作所 おりんによる情報伝達システム
JP7004295B2 (ja) 2017-11-17 2022-01-21 株式会社小泉製作所 おりんによる情報伝達システム
JP6388269B1 (ja) * 2017-12-07 2018-09-12 株式会社小泉製作所 おりんによる情報伝達システム
JP2019096275A (ja) * 2017-12-07 2019-06-20 株式会社小泉製作所 おりんによる情報伝達システム
WO2020261936A1 (ja) * 2019-06-28 2020-12-30 平野初子 コントローラ装置、モバイル装置、情報処理システム、保護装置、方法及びプログラム
JP2021058564A (ja) * 2019-06-28 2021-04-15 平野 初子 コントローラ装置、モバイル装置、情報処理システム、保護装置、方法及びプログラム
JP7273704B2 (ja) 2019-06-28 2023-05-15 平野 初子 コントローラ装置、モバイル装置、情報処理システム、保護装置、方法及びプログラム

Similar Documents

Publication Publication Date Title
US20220284896A1 (en) Electronic personal interactive device
TWI692717B (zh) 影像顯示裝置、話題選擇方法及程式
US11620984B2 (en) Human-computer interaction method, and electronic device and storage medium thereof
KR20190100512A (ko) 챗봇과 대화하기 위한 전자 장치 및 그의 동작 방법
CN112087655B (zh) 赠送虚拟礼物的方法、装置及电子设备
JP2017010516A (ja) 人工知能に基づくヒューマンコンピュータインターアクションの方法、装置及び端末機器
JP2015176058A (ja) 電子機器、方法及びプログラム
JP7342862B2 (ja) 情報処理装置及び情報処理方法、並びに情報処理システム
CN110998725A (zh) 在对话中生成响应
WO2021008538A1 (zh) 语音交互方法及相关装置
KR20160100811A (ko) 정보 제공 방법 및 디바이스
KR102174198B1 (ko) 사물 인터넷 기반의 반려동물 소통기능 제공장치 및 방법, 사용자 단말기
JP2015115892A (ja) コメント作成装置およびその制御方法
JP2023123479A (ja) 会話出力システム、サーバ、会話出力方法及びプログラム
KR102489509B1 (ko) 층간소음 분쟁을 예방하기 위한 인공지능 기반의 이웃간 데이터 처리 장치 및 이를 이용한 데이터 처리 방법
CN112672207B (zh) 音频数据处理方法、装置、计算机设备及存储介质
JP6598369B2 (ja) 音声管理サーバー装置
CN104317404A (zh) 一种声纹控制音频播放设备、控制系统及方法
CN113449068A (zh) 一种语音交互方法及电子设备
CN112219235A (zh) 包括处理用户语音的电子设备和控制电子设备上语音识别的方法的系统
JP2015173857A (ja) 電子機器及び情報処理方法
CN113301352B (zh) 在视频播放期间进行自动聊天
JP2014161593A (ja) 玩具
WO2021007546A1 (en) Computing devices and systems for sending and receiving voice interactive digital gifts
TWI818172B (zh) 對講機系統、設定方法及記錄媒體

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180807

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20181206

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20181207

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190305