JP2003189000A - 通話システム - Google Patents

Abstract

(57)【要約】 【課題】マイクによる集音を行うことなく、話者の発話
を捉えて通話が行える通話システムを提供することにあ
る。 【解決手段】発話内容分析部２は、撮像装置１で捉えた
話者Ｍ１１の口元の映像から話者Ｍ１の発話内容を分析
して発話内容を認識し、分析した発話内容の分析データ
をデータ伝送部３を介して受聴者Ｍ２側に設けられた音
声再現部４へ送り、この音声再現部４では音声合成によ
る音声で発話内容を再現し、音声送出部５からその音声
を受聴者Ｍ２へ送出させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、住宅の玄関部や集
合住宅のロビー等に設置されるドアホン子器やロビーイ
ンターホンと、住宅内に設置される拡声型のインターホ
ン親機とで構成さされる通話システムに関するものであ
る。

【０００２】

【従来の技術】従来の拡声通話システムでは、送話側及
び受話側共に、発話音声集音用のマイク及びマイクアン
プ、音声や音等を送出させるスピーカ及びスピーカアン
プ、音声信号からハンズフリー通話によって生じる不要
な成分を除去して、不要な成分を除去した音声信号を伝
送信号に変換して、通話先の通話機に送信する拡声通話
処理部及び送話と受話の２信号を１対の線路で扱うため
の２線４線変換部により拡声通話を実現している。

【０００３】また録音再生機能処理部を備えている場合
には、通話路の一部から音声信号を分離し、録音再生機
能処理部にて分離した音声信号より録音再生処理を行っ
ている。

【０００４】

【発明が解決しようとする課題】ところで前記の従来の
通話システムでは、発話音声集音用のマイクで集音した
音声を受話側機器へ精度良好に送出すべく、帰還ループ
形成に起因するハウリングやブロッキングを防止した
り、送出音声音量の自動調整等、発話者の音声をマイク
で集音することに起因する課題があった。

【０００５】本発明は、上述の課題に鑑みて為されたも
ので、その目的とするところはマイクによる集音を行う
ことなく、話者の発話を捉えて通話が行え、ハウリング
防止、ブロッキング防止、送出音声音量の自動調整を検
討する必要が無い通話システムを提供することにある。

【０００６】

【課題を解決するための手段】請求項１の発明では、時
系列に連続して撮像可能な撮像手段と、撮像手段での撮
像画像を基にして話者の口元の動きを認識することによ
って話者の発話内容を推定する発話内容分析手段と、発
話内容分析手段で得た発話内容推定結果情報を基にして
話者の発話内容を再現提示する提示手段を備えているこ
とを特徴とする。

【０００７】請求項２の発明では、請求項１の発明にお
いて、少なくとも、前記撮像手段と前記発話内容分析手
段を送話側機器に、前記発話内容を提示する前記提示手
段を受話側機器に各々備え、前記発話内容分析手段を前
記送話側機器と前記受話側機器の何れか一方に備えたこ
とを特徴とする。

【０００８】請求項３の発明では、請求項１又は２の発
明において、前記提示手段が、前記発話内容推定結果情
報を基にして話者の発話内容を推定して音声合成より再
現する音声再現手段と、該音声再現手段で再現された音
声を送出する為のスピーカを含む音声送出手段とから成
ることを特徴とする。

【０００９】請求項４の発明では、請求項３の発明にお
いて、前記発話内容分析手段から前記音声再現手段へ送
る発話内容推定結果情報がテキストデータであって、前
記音声再現手段にはテキストデータを基に話者の発話内
容を推定して音声合成より再現する音声再現手段と、該
音声再現手段で再現された音声を送出する為のスピーカ
を含む音声送出手段とから成ることを特徴とする。

【００１０】請求項５の発明では、請求項１又は２の発
明において、前記提示手段が、前記発話内容推定結果情
報を基にテキスト形式の表示データを生成するテキスト
表示処理部と、このテキスト表示処理部で生成された表
示データにより話者の発話内容を文字によって表示する
表示モニタとから成ることを特徴とする。

【００１１】請求項６の発明では、請求項３の発明にお
いて、話者の発声を来訪に対する対応前に予め集音する
集音処理手段と、当該話者の音質情報やイントネーショ
ン情報等の話者情報を抽出する話者情報分析処理手段
と、話者情報分析処理手段で得た音質情報やイントネー
ション情報等の話者情報を記録しておく記録部と、前記
発話内容推定結果を基にして推定再現した話者の発話内
容を前記音声再現手段により音声合成で再現する際に、
前記記録部にて記録された当該話者情報を付加する話者
情報付加処理部とを備え、該話者情報付加処理部で話者
情報が付加された音声を前記音声送出手段にて送出する
ことを特徴とする。

【００１２】請求項７の発明では、請求項６の発明にお
いて、前記記録部にて記録している話者情報を、前記話
者情報分析処理手段にて話者情報を抽出する度に、抽出
した話者情報で更新記録していくことを特徴とする。

【００１３】請求項８の発明では、請求項３の発明にお
いて、任意の話者の音質情報やイントネーション情報等
の話者情報を予め記録している記録部と、話者の発話内
容を前記音声再現手段により音声合成で再現する際に前
記記録部に記憶してある任意の前記話者情報を付加する
話者情報付加処理部とを備え、該話者情報付加処理部で
任意の話者情報が付加された音声を前記音声送出手段に
て送出することを特徴とする。

【００１４】請求項９の発明では、請求項３の発明にお
いて、前記発話内容推定結果を基にして話者の発話内容
を音声合成にて再現する際に、合成された音声の周波数
帯域を予め指定しておいた周波数帯域にシフト若しくは
変換する処理を行う周波数帯域変換手段を備え、該周波
数帯域変換手段で処理された音声を前記音声送出手段に
て送出することを特徴とする。

【００１５】請求項１０の発明では、請求項１乃至９の
何れかの発明において、前記撮像手段で撮像された映像
信号を前記発話内容分析処理手段と、来客の様子を表示
モニタで表示させるための来客モニタ映像処理手段とに
分離出力する映像分離処理手段を備えていることを特徴
とする。

【００１６】請求項１１の発明では、請求項１乃至１０
の何れかの発明において、前記発話内容分析手段から出
力される発話内容推定結果情報を記録する記録手段を備
え、該記録手段で記録された前記発話内容推定結果情報
を前記提示手段へ送ることを特徴とする。

【００１７】

【発明の実施の形態】以下本発明を、住宅の玄関部や集
合住宅のロビー部等に設置される通話機器であるドアホ
ン子器やロビーインターホンと、住宅内に設置される通
話機器であるインターホン親機とで構成される住宅用通
話システムに適用させた各実施形態により説明する。 （実施形態１）本実施形態は、ドアホン子器やロビーイ
ンターホンからインターホン親機への通話系或いはイン
ターホン親機からドアホン子器やロビーインターホンへ
の通話系、若しくは両通話系に適用させることができる
ものであって、話者Ｍ１の口元の動きを撮像する撮像装
置１と、この撮像装置１で捉えた話者Ｍ１１の口元の映
像から話者Ｍ１の発話内容を分析して発話内容を認識
し、分析した発話内容の分析データを発話内容推定結果
情報として出力する発話内容分析部２と、この発話内容
分析部２から出力された分析データを受聴者Ｍ２側へ伝
送するデータ伝送部３とを設け、また話者Ｍ１側に対応
する受聴者Ｍ２側に設けられ、分析データを基に推定し
て音声合成により発話内容に対応する音声を再現する音
声再現部４と、この音声再現部４で音声合成により発話
内容を再現した音声信号をスピーカー５ａ及びスピーカ
ーアンプ５ｂからなる音声送出部５とを、発話内容再現
の提示手段として設け、音声送出部５によって話者Ｍ１
が発声した内容を音声により受聴者Ｍ２へ送出する。

【００１８】尚図示する構成を片方の通話系のみに適用
させる場合には他方の通話系に従来のインターホンとし
て構成される通常の通話機器を用いる。

【００１９】更に話者の口元の映像から発話内容を分析
する発話内容分析部２としては周知の分析方法はじめ適
切な分析方法を用いれば良いので、ここでは詳説しな
い。また音声再現部４における音声合成方法も周知の分
析方法はじめ適切な分析方法を用いれば良いので、ここ
では詳説しない。

【００２０】また少なくとも撮像手段は、送話側機器
に、提示手段は受話側機器に、各々備えてあれば良く、
発話内容分析手段は、送話側機器受話器側の何れか一方
に備えている形態のものもあり得る。この場合データ伝
送部３については、当然にして接続前後段の位置関係を
適宜変える必要がある。

【００２１】（実施形態２）本実施形態は実施形態１と
同様にドアホン子器やロビーインターホンとインターホ
ン親機との間の片方の通話系若しくは両方の通話系に適
用するものであって、図２に示すように発話内容分析部
２から出力される発話内容の分析データをテキストデー
タに変換するテキストデータ変換部６を設けるととも
に、音声再現部４として、このテキストデータ変換部６
からのテキストデータを発話内容推定結果情報として受
け取り、このテキストデータに基づいて音声合成をテキ
スト合成する音声再現部を設けた点で実施形態１と相違
する。

【００２２】尚その他の構成は実施形態１と同じである
ので、説明を省略して同じ構成要素に同じ符号を付す。
また図示する構成を片方の通話系のみに適用させる場合
には他方の通話系に従来のインターホンとして構成され
る通常の通話機器を用いる。

【００２３】而して本実施形態ではテキストデータを音
声再現部４に伝送するので、分析データをそのまま伝送
する場合に比してデータ伝送容量を少なく抑えることが
やり易くなり、そのため誤り符号を付加することが可能
となって、伝送誤りに強いデータ伝送を行い易くなる。 （実施形態３）上記実施形態１，２は共に話者Ｍ１の発
話内容を音声によって再現して受聴者Ｍ２へ提示する通
話システムであるが、本実施形態は話者Ｍ１の発話内容
をテキスト表示で再現提示するようにしたもので、図３
に示すように受聴者Ｍ２側に表示モニタ７を備えるとと
もに、データ伝送部３を介して発話内容分析部２から送
られてくる分析データに基づいてテキストデータに変換
し、そのテキストデータに基づいてテロップ式にテキス
ト（文字）を表示モニタ７で表示させる表示データを生
成するテキスト表示処理部８を備え、これら表示モニタ
７及びテキスト表示処理部８で話者Ｍ１の発話内容を再
現提示する手段を構成した点に特徴がある。

【００２４】尚本実施形態もドアホン子器やロビーイン
ターホンからインターホン親機への通話系或いはインタ
ーホン親機からドアホン子器やロビーインターホン機へ
の通話系、若しくは両通話系に適用させることができる
ものであって、実施形態１と同じ構成要素には同じ符号
を付して説明を省略する。また図示する構成を片方の通
話系のみに適用させる場合には他方の通話系に従来のイ
ンターホンとして構成される通常の通話機器を用いる。

【００２５】また また少なくとも撮像手段は、送話側
機器に、提示手段は受話側機器に、各々備えてあれば良
く、発話内容分析手段は、送話側機器受話器側の何れか
一方に備えている形態のものもあり得る。この場合デー
タ伝送部３については、当然にして接続前後段の位置関
係を適宜変える必要がある。

【００２６】而して本実施形態では、受聴者Ｍ２は表示
モニタ７で表示される文字で表示される内容で話者Ｍ１
の発話内容を知ることができるため、受聴者Ｍ２が聴覚
障害を持つ場合には特に有効なシステムと言える。

【００２７】尚本実施形態では、分析データをデータ伝
送部３を介して伝送し、テキスト表示処理部８でテキス
トデータに変換した後表示データを生成する方法をとっ
ているが、実施形態２と同様に、発話内容分析部２から
出力される発話内容の分析データをテキストデータに変
換するテキストデータ変換部６を設け、テキストデータ
をデータ伝送部３を介して伝送することで、データ伝送
容量を少なく抑えることがやり易くなり、またテキスト
表示処理部８でのデータ変換作業の負担を軽くすること
ができる。

【００２８】（実施形態４）上記の実施形態１，２は話
者Ｍ１の発話内容を分析して音声合成により再現提示す
る構成であるが、再現される音声は実際の話者Ｍ１の音
声から離れた音声となるため、インターホンとして用い
る場合に受聴者Ｍ２で来客（話者Ｍ１）が誰であるのか
を音声で判断するのは難しい。

【００２９】これに対して本実施形態は、図４に示すよ
うに話者Ｍ１の発話音声を集音するマイク等からなる集
音装置９と、集音装置９で取り込んだ話者Ｍ１の発話音
声の音質情報やイントネーション情報、その他の情報を
分析して話者情報を得る話者情報分析部１０と、分析し
た話者情報を記録する記録部１１と、データ伝送部３を
介して発話内容分析部２から送られてくる分析データに
基づいて音声再現部４により音声を合成する際に記録部
１１で記録された前記話者情報を音声信号に付加する処
理を行う話者情報付加部１２とを備え、音声合成によっ
て生成される音声信号に話者情報を付加することで、話
者Ｍ１の実音声に近い音声を音声送出部５から再生送出
することができるようになっている。

【００３０】集音装置９は話者Ｍ１側機器に設ける必要
があるが、話者情報分析部１０、記録部１１、話者情報
付加処理部１２を設けるのは話者Ｍ１側機器であって
も、受聴者Ｍ２側機器であっても良い。

【００３１】尚本実施形態もドアホン子器やロビーイン
ターホンからインターホン親機への通話系或いはインタ
ーホン親機からドアホン子器やロビーインターホンへの
通話系、若しくは両通話系に適用させることができるも
のであって、実施形態１と同じ構成要素には同じ符号を
付して説明を省略する。また図示する構成を片方の通話
系のみに適用させる場合には他方の通話系に従来のイン
ターホンとして構成される通常の通話機器を用いる。 （実施形態５）実施形態４では、集音装置９で集音した
話者Ｍ１の音声から話者情報を話者情報分析部１０によ
り分析してその分析した話者情報を記録部１１で記録さ
せるようになっているが、本実施形態は図５に示すよう
に話者情報分析部１０で分析した話者情報のパラメータ
を自動的に更新するためのパラメータ自動更新部１３を
設けた点で実施形態４と相違する。

【００３２】尚本実施形態もドアホン子器やロビーイン
ターホンからインターホン親機への通話系或いはインタ
ーホン親機からドアホン子器やロビーインターホンへの
通話系、若しくは両通話系に適用させることができるも
のであって、実施形態４と同じ構成要素には同じ符号を
付して説明を省略する。また図示する構成を片方の通話
系のみに適用させる場合には他方の通話系に従来のイン
ターホンとして構成される通常の通話機器を用いる。

【００３３】而して本実施形態では、分析された話者情
報を記録部１１にて記録する場合、パラメータ自動更新
部１３にて話者情報のパラメータの自動更新を行うこと
で、より多くの話者情報を活用し、音声再現部４におい
て音声合成により再現する音声を話者の実音声に近いも
のとすることができることになる。 （実施形態６）上記実施形態４，５では話者情報を来客
である話者Ｍ１の発声音を集音装置９で集音し、その集
音した音声を分析することで得るようにしていたが、本
実施形態は、図６に示すように予め任意の話者情報を登
録した話者情報保有部１４を設け、話者Ｍ１の発話内容
の分析データを基に音声再現部４で音声合成により音声
を再現する際に、話者情報保有部１４で保有した任意の
話者情報を話者情報付加処理部１２が読み出して音声合
成によって生成される音声信号に付加する点で実施形態
４，５と相違する。

【００３４】つまり本実施形態では、任意の話者情報を
合成音声に付加することで、実際話者Ｍ１の音声とは異
なる音声で発話内容を再現することができ、例えば女声
を男声に変換するなどができる。従って本実施形態の撮
像装置１側をインターホン親機側に設けることで、女性
宅で、不審者の来訪などがあった場合に男声で応答する
ことが可能となり、防犯上等に有効となる。

【００３５】勿論ドアホン子器やロビーインターホンか
らインターホン親機への通話系のみに設けても良く、或
いはインターホン親機からドアホン子器やロビーインタ
ーホンへの通話系、若しくは両通話系に設けても良い。
図示する構成を片方の通話系のみに適用させる場合には
他方の通話系に従来のインターホンとして構成される通
常の通話機器を用いる。

【００３６】尚話者情報付加処理部１２，話者情報保有
部１４以外の構成は実施形態１と同じであるので同じ構
成要素には同じ符号を付して説明は省略する。 （実施形態７）本実施形態は、図７に示すように実施形
態１の構成において、音声再現部４と音声送出部５との
間に音声再現部４で再現される音声の周波数帯域をシフ
ト若しくは変換する周波数帯域変換処理部１５を設けた
点に特徴がある。

【００３７】而して本実施形態では、音声再現部４で音
声合成により出力される音声信号の周波数帯域を周波数
変換処理部１５で高齢者や幼稚者などの受聴者Ｍ２が聞
き取り易い周波数帯域にシフト若しくは変換すること
で、受聴者Ｍ２に適切な音声を音声送出部５から送出す
ることができることになる。

【００３８】尚本実施形態もドアホン子器やロビーイン
ターホンからインターホン親機への通話系或いはインタ
ーホン親機からドアホン子器やロビーインターホンへの
通話系、若しくは両通話系に適用させることができるも
のであって、実施形態１と同じ構成要素には同じ符号を
付して説明を省略する。また図示する構成を片方の通話
系のみに適用させる場合には他方の通話系に従来のイン
ターホンとして構成される通常の通話機器を用いる。 （実施形態８）本実施形態は、図８に示すように撮像装
置１からの映像信号を発話内容分析に用いる映像信号
と、話者Ｍ１の様子をモニタするための映像信号とに分
離する映像分離処理手段たる映像分離部１６を備えると
ともに、話者Ｍ１の様子をモニタするための映像信号を
表示モニタ７で表示させるための映像信号として信号処
理を行い表示モニタ７に送出する来客モニタ映像処理部
１７を設けてある。

【００３９】表示モニタ７は、話者Ｍ１を撮像した映像
を映し出す以外に、実施形態３と同様にテキスト表示処
理部８からの表示データに基づいて発話内容をテキスト
（文字）でテロップ表示するようになっている。

【００４０】また音声再現部４と音声送出部５とで音声
による発話内容の再現も実施形態１と同様に行うような
っている。

【００４１】以上のように構成される本実施形態では、
実施形態１，３と同様に話者Ｍ１の発話内容を音声やテ
キスト表示で再現するとともに、表示モニタ７の映像で
話者Ｍ１が誰であるかを確認することができるのであ
る。

【００４２】尚本実施形態もドアホン子器やロビーイン
ターホンからインターホン親機への通話系或いはインタ
ーホン親機からドアホン子器やロビーインターホンへの
通話系、若しくは両通話系に適用させることができるも
のであって、実施形態１，３と同じ構成には同じ符号を
付して詳細な説明は省略する。

【００４３】また図示する構成を片方の通話系のみに適
用させる場合には他方の通話系に従来のインターホンと
して構成される通常の通話機器を用いる。

【００４４】また映像による話者Ｍ１の様子を表示する
機能は、表示モニタを備えていれば何れの実施形態（後
述する実施形態を含む）にも付加することができる。 （実施形態９）上述した実施形態１乃至８は、何れも話
者Ｍ１からの発話内容をリアルタイム的に音声やテキス
トで再現するものであるが、例えば家人が留守の場合
に、話者Ｍ１たる来客のメッセージを記録し、その後家
人たる受聴者Ｍ２が記録されているメッセージを再生さ
せて、発話内容（メッセージ）を確認することを可能と
する所謂留守録機能や話中に話し内容を録音する話中録
音機能を上記の実施形態１乃至８に付加しても良い。以
下に上記実施形態１，２，３の構成に上記機能を夫々付
加した実施例を説明する。

【００４５】実施例１ 図９は実施形態１の構成に上記の機能を付加して例を示
しており、来客がドアホン子器やロビーインターホンを
通じて呼び出しを行っても一定時間応答が無い場合や、
インターホン親機側に設けた話中録音釦（図示せず）の
操作があった場合、発話内容分析部２からの分析データ
をデータ伝送部３内に設けた記録部１８に記録させる録
音／再生処理部１９を備えている。

【００４６】また録音／再生処理部１９は、その後家人
である受聴者Ｍ２が記録されていることを例えばインタ
ーホン親機に設けている再生釦（図示せず）を操作する
と、記録部１８に記録されている分析データを音声再現
部４へ送り出す再生制御機能を備えており、音声再現部
４は記録部１８から送り出されてきた分析データに基づ
いて通常時と同様にて発話内容を音声合成による音声に
より再現し、音声送出部５から送出する。これにより受
聴者Ｍ２は留守に来訪した話者Ｍのメッセージや話中録
音した話者Ｍ１の発話内容を確認することができるので
ある。

【００４７】尚記録部１８は、データ伝送部３内に備わ
っており、データ伝送部３は上記留守録が行われる場合
には発話内容分析部２からの分析データを音声再現部１
４へ伝送するのを停止して記録部１８へ録音／再生処理
部１９の制御の下で入力させ、また話中録音時には分析
データを記録部１８に入力させ且つ音声再現部１４へ伝
送するようになっている。

【００４８】尚ドアホン親機側に図示する構成を備えた
場合には、留守をする場合に、来客者に家人のメッセー
ジを伝えることもできる。

【００４９】実施例２ 上記実施例１は実施形態１に対応させたものであるが、
本実施例は、実施形態２に対応させたもので、図１０に
示すように発音内容分析部２からの分析データからテキ
ストデータ変換部６で変換されたテキストデータをデー
タ伝送部３内の記録部１８に記録させるようにした点に
特徴がある。

【００５０】記録部１８で記録するデータがテキストデ
ータであるか分析データであるかの違いはあるが録音／
再生処理部１９の動作は実施例１と同じであるので、録
音／再生の動作についての説明は省略する。

【００５１】またその他の構成・動作は実施形態２の場
合と同じであるので、これら構成・動作の説明も省略す
る。

【００５２】実施例３ 上記実施例１，２は共に音声で話者Ｍ１の発話内容を再
現するものであるが、本実施例は、図１１に示すように
実施形態３に上記機能を付加したものであり、記録部１
８で記録した分析データをテキスト表示処理部８によっ
てテキスト形式の表示データに変換し、表示モニタ７で
表示させるようなっている点に特徴がある。

【００５３】尚録音／再生処理部１９の動作は実施例１
と同じであるので、録音／再生の動作についての説明は
省略する。

【００５４】またその他の構成及び動作は実施形態３の
場合と同じであるので、これら構成・動作の説明も省略
する。

【００５５】

【発明の効果】請求項１の発明は、時系列に連続して撮
像可能な撮像手段と、撮像手段での撮像画像を基にして
話者の口元の動きを認識することによって話者の発話内
容を推定する発話内容分析手段と、発話内容分析手段で
得た発話内容推定結果情報を基にして話者の発話内容を
再現提示する提示手段を備えているので、従来の通話に
は必要であったマイクを用いずに、インターホン親機と
ドアホン子器やロビーインターホンの間での会話を可能
とし、マイクを用いないことにより帰還ループが形成さ
れずハウリングの発生や、ブロッキングが発生せず、周
囲騒音による会話への悪影響等拡声通話システム特有の
問題が本質的になくなり、そのため送出音声音量の自動
調整を検討する必要も無く、更に発声が困難な障害を有
する場合でも、口を動かすことにより、会話相手に発声
したい内容を伝えることが可能となるという効果があ
る。

【００５６】請求項２の発明は、請求項１の発明におい
て、少なくとも、前記撮像手段と前記発話内容分析手段
を送話側機器に、前記発話内容を提示する前記提示手段
を受話側機器に各々備え、前記発話内容分析手段を前記
送話側機器と前記受話側機器の何れか一方に備えたの
で、請求項１の発明の効果を奏する通話システムを実現
できる。

【００５７】請求項３の発明は、請求項１又は２の発明
において、前記提示手段が、前記発話内容推定結果情報
を基にして話者の発話内容を推定して音声合成より再現
する音声再現手段と、該音声再現手段で再現された音声
を送出する為のスピーカを含む音声送出手段とから成る
ので、音声によって話者の発話内容を受聴者へ伝達する
ことができる。

【００５８】請求項４の発明は、請求項３の発明におい
て、前記発話内容分析手段から前記音声再現手段へ送る
発話内容推定結果情報がテキストデータであって、前記
音声再現手段にはテキストデータを基に話者の発話内容
を推定して音声合成より再現する音声再現手段と、該音
声再現手段で再現された音声を送出する為のスピーカを
含む音声送出手段とから成るので、データ伝送容量を少
なく抑えることがやり易くなり、その結果誤り符号を付
加することができて、伝送誤りに強いデータ伝送が可能
となる。

【００５９】請求項５の発明は、請求項１又は２の発明
において、前記提示手段が、前記発話内容推定結果情報
を基にテキスト形式の表示データを生成するテキスト表
示処理部と、このテキスト表示処理部で生成された表示
データにより話者の発話内容を文字によって表示する表
示モニタとから成るので、受聴者が聴覚障害を有する場
合でも、話者（来客者）と会話することが可能となる。

【００６０】請求項６の発明は、請求項３の発明におい
て、話者の発声を来訪に対する対応前に予め集音する集
音処理手段と、当該話者の音質情報やイントネーション
情報等の話者情報を抽出する話者情報分析処理手段と、
話者情報分析処理手段で得た音質情報やイントネーショ
ン情報等の話者情報を記録しておく記録部と、前記発話
内容推定結果を基にして推定再現した話者の発話内容を
前記音声再現手段により音声合成で再現する際に、前記
記録部にて記録された当該話者情報を付加する話者情報
付加処理部とを備え、該話者情報付加処理部で話者情報
が付加された音声を前記音声送出手段にて送出するの
で、受聴者側に送出される音声を、話者の実音声に近い
ものにすることができる。

【００６１】請求項７の発明は、請求項６の発明におい
て、前記記録部にて記録している話者情報を、前記話者
情報分析処理手段にて話者情報を抽出する度に、抽出し
た話者情報で更新記録していくので、より多くの情報を
活用することが可能となり、音声合成にて再現し受聴者
側に送出される音声を、より話者の実音声に近いものに
することができる。

【００６２】請求項８の発明は、請求項３の発明におい
て、任意の話者の音質情報やイントネーション情報等の
話者情報を予め記録している記録部と、話者の発話内容
を前記音声再現手段により音声合成で再現する際に前記
記録部に記憶してある任意の前記話者情報を付加する話
者情報付加処理部とを備え、該話者情報付加処理部で任
意の話者情報が付加された音声を前記音声送出手段にて
送出するので、例えば女声男声変換等の音質変換の機能
が可能となる。

【００６３】請求項９の発明は、請求項３の発明におい
て、前記発話内容推定結果を基にして話者の発話内容を
音声合成にて再現する際に、合成された音声の周波数帯
域を予め指定しておいた周波数帯域にシフト若しくは変
換する処理を行う周波数帯域変換手段を備え、該周波数
帯域変換手段で処理された音声を前記音声送出手段にて
送出するので、高齢者や幼稚者等、受聴者側の聞き取り
やすい周波数帯域に変換した音声で発話内容を再現送出
することが可能となる。

【００６４】請求項１０の発明は、請求項１乃至９の何
れかの発明において、前記撮像手段で撮像された映像信
号を前記発話内容分析処理手段と、来客の様子を表示モ
ニタで表示させるための来客モニタ映像処理手段とに分
離出力する映像分離処理手段を備えているので、一つの
撮像手段を、発話内容の画像認識機能と来客のモニタ機
能とに用いることができる。

【００６５】請求項１１の発明では、請求項１乃至１０
の何れかの発明において、前記発話内容分析手段から出
力される発話内容推定結果情報を記録する記録手段を備
え、該記録手段で記録された前記発話内容推定結果情報
を前記提示手段へ送るので、不在時の来客への不在メッ
セージの送出、不在時の来客のメッセージの録音や話中
録音、それらの再生機能を利用することが可能となる。

【図面の簡単な説明】

【図１】本発明の実施形態１の構成図である。

【図２】本発明の実施形態２の構成図である。

【図３】本発明の実施形態３の構成図である。

【図４】本発明の実施形態４の構成図である。

【図５】本発明の実施形態５の構成図である。

【図６】本発明の実施形態６の構成図である。

【図７】本発明の実施形態７の構成図である。

【図８】本発明の実施形態８の構成図である。

【図９】本発明の実施形態９の実施例１の構成図であ
る。

【図１０】同上の実施例２の構成図である。

【図１１】同上の実施例３の構成図である。

【符号の説明】

１ 撮像装置 ２ 発話内容分析部 ３ データ伝送部 ４ 音声再現部 ５ 音声送出部 ５ａ スピーカ ５ｂ スピーカアンプ Ｍ１ 話者 Ｍ２ 受聴者

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ１０Ｌ 13/00 Ｈ０４Ｍ 11/00 ３０２ ５Ｋ１０１ 13/08 11/10 ５Ｌ０９６ 15/24 Ｇ１０Ｌ 3/00 Ｅ 17/00 Ｈ 21/06 Ｓ Ｈ０４Ｍ 11/00 ３０２ ５４５Ａ 11/10 ５７１Ｓ Ｒ (72)発明者 寺澤 章 大阪府門真市大字門真1048番地松下電工株 式会社内 (72)発明者 福島 実 大阪府門真市大字門真1048番地松下電工株 式会社内 (72)発明者 菊池 彰洋 大阪府門真市大字門真1048番地松下電工株 式会社内 Ｆターム(参考） 5B057 BA02 DA16 DA20 DB02 DC33 5D015 LL06 5D045 AA09 AB04 BA01 5E501 AA30 CA03 CA08 CB14 EA00 FA13 FA32 5K038 AA06 CC12 DD23 5K101 NN06 NN16 NN18 5L096 BA02 DA05

Claims (11)

【特許請求の範囲】
1. 【請求項１】時系列に連続して撮像可能な撮像手段と、
   撮像手段での撮像画像を基にして話者の口元の動きを認
   識することによって話者の発話内容を推定する発話内容
   分析手段と、発話内容分析手段で得た発話内容推定結果
   情報を基にして話者の発話内容を再現提示する提示手段
   を備えていることを特徴とする通話システム。
2. 【請求項２】少なくとも、前記撮像手段と前記発話内容
   分析手段を送話側機器に、前記発話内容を提示する前記
   提示手段を受話側機器に各々備え、前記発話内容分析手
   段を前記送話側機器と前記受話側機器の何れか一方に備
   えたことを特徴とする請求項１記載の通話システム。
3. 【請求項３】前記提示手段が、前記発話内容推定結果情
   報を基にして話者の発話内容を推定して音声合成より再
   現する音声再現手段と、該音声再現手段で再現された音
   声を送出する為のスピーカを含む音声送出手段とから成
   ることを特徴とする請求項１又は２記載の通話システ
   ム。
4. 【請求項４】前記発話内容分析手段から前記音声再現手
   段へ送る発話内容推定結果情報がテキストデータであっ
   て、前記音声再現手段にはテキストデータを基に話者の
   発話内容を推定して音声合成より再現する音声再現手段
   と、該音声再現手段で再現された音声を送出する為のス
   ピーカを含む音声送出手段とから成ることを特徴とする
   請求項３記載の通話システム。
5. 【請求項５】前記提示手段が、前記発話内容推定結果情
   報を基にテキスト形式の表示データを生成するテキスト
   表示処理部と、このテキスト表示処理部で生成された表
   示データにより話者の発話内容を文字によって表示する
   表示モニタとから成ることを特徴とする請求項１又は２
   記載の通話システム。
6. 【請求項６】話者の発声を来訪に対する対応前に予め集
   音する集音処理手段と、当該話者の音質情報やイントネ
   ーション情報等の話者情報を抽出する話者情報分析処理
   手段と、話者情報分析処理手段で得た音質情報やイント
   ネーション情報等の話者情報を記録しておく記録部と、
   前記発話内容推定結果を基にして推定再現した話者の発
   話内容を前記音声再現手段により音声合成で再現する際
   に、前記記録部にて記録された当該話者情報を付加する
   話者情報付加処理部とを備え、該話者情報付加処理部で
   話者情報が付加された音声を前記音声送出手段にて送出
   することを特徴とする請求項３記載の通話システム。
7. 【請求項７】前記記録部にて記録している話者情報を、
   前記話者情報分析処理手段にて話者情報を抽出する度
   に、抽出した話者情報で更新記録していくことを特徴と
   する請求項６記載の通話システム。
8. 【請求項８】任意の話者の音質情報やイントネーション
   情報等の話者情報を予め記録している記録部と、話者の
   発話内容を前記音声再現手段により音声合成で再現する
   際に前記記録部に記憶してある任意の前記話者情報を付
   加する話者情報付加処理部とを備え、該話者情報付加処
   理部で任意の話者情報が付加された音声を前記音声送出
   手段にて送出することを特徴とする請求項３記載の通話
   システム。
9. 【請求項９】前記発話内容推定結果を基にして話者の発
   話内容を音声合成にて再現する際に、合成された音声の
   周波数帯域を予め指定しておいた周波数帯域にシフト若
   しくは変換する処理を行う周波数帯域変換手段を備え、
   該周波数帯域変換手段で処理された音声を前記音声送出
   手段にて送出することを特徴とする請求項３記載の通話
   システム。
10. 【請求項１０】前記撮像手段で撮像された映像信号を前
    記発話内容分析処理手段と、来客の様子を表示モニタで
    表示させるための来客モニタ映像処理手段とに分離出力
    する映像分離処理手段を備えていることを特徴とする請
    求項１乃至９の何れか記載の通話システム。
11. 【請求項１１】前記発話内容分析手段から出力される発
    話内容推定結果情報を記録する記録手段を備え、該記録
    手段で記録された前記発話内容推定結果情報を前記提示
    手段へ送ることを特徴とする請求項１乃至１０の何れか
    記載の通話システム。