JP2013077925A - 電子機器 - Google Patents

Abstract

【課題】テレビ電話による着信に対して即座に応答することができる電子機器を提供する。
【解決手段】電子機器は、着信に対して応答を行なう電子機器であって、映像の撮像を行う撮像部と、前記撮像した映像から所定のジェスチャを検出するジェスチャ検出部と、前記ジェスチャ検出部による検出結果に基づいて、前記着信に対して応答するか否かを判定するジェスチャ判定部とを備える。
【選択図】図１

Description

本発明は、ジェスチャ又は音声によってテレビ電話による着信に対して応答する電子機器に関する。

インターネット等の伝送技術の発達に伴い、音声だけでなく映像も同時に送受信するテレビ電話による通話方式が普及している。前記テレビ電話は、例えばパーソナルコンピュータ、携帯電話端末又はテレビ受像機を用いて行うことができる。ここで、特にテレビ受像機を用いてテレビ電話を行なう場合に、通話相手から着信があったときは、該着信に対して、一般にはリモコンを用いて操作ボタンを押す、又はテレビ受像機本体の操作ボタンを押すなどの所定の操作をすることで、通話を行なうことができる。
ところが、相手先からの着信が不意になされた場合には、例えば、使用者がテレビ受像機から離れた位置にいて、尚且つリモコンが付近に見当たらない、もしくはリモコンとの距離が離れている場合、または料理の最中で手が汚れているため操作ボタンに触れることを躊躇してしまう場合などには、着信に対して即座に応答することができない不都合な状況が想定される。

特許文献１では、利用者と電話機との間に距離がある場合や別の用事で両手がふさがっている場合などに、利用者が発する音声を認識して通話開始状態にすることができる電話機について、開示されている。図９は、当該電話機に関するブロック図であり、電話回線２３、電話機２４、着信検出部２５、スイッチ２６、電話機回路２７、音声認識部２８、スイッチ制御部２９、ブザー音発生部３０、マイクロホン３１、スピーカ３２、雑音排除部３３から構成されている。着信検出部２５が着信信号を検出し、ブザー音発生部３０が発生するブザー音を聞いた利用者は、マイクロホン３１に対して発声し、音声認識部２８において予め記憶しておいた利用者の音声と照合し、一致した場合に通話を開始する。

特開平５−２０７１０４号公報

しかしながら、特許文献１に記載の電話機では、例えば、付近に就寝者がいて発声することがはばかられる場合、または当該電話機とは別の電話機を用いて通話中である場合には音声による応答ができない。また、喉頭癌または咽頭癌の手術によって声帯が除去された者、事故によって声帯に障害を受けた者、又は先天的に声帯に異常がある者などの発声障害者の場合には、そもそも発声できないため音声による応答ができないため問題である。

そこで、本発明は係る課題を解決するためになされたものであり、テレビ電話に対する着信に対して、発声することなく即座に応答することができる電子機器を提供することを目的とする。

本発明に係る電子機器は、着信に対して応答を行なう電子機器であって、映像の撮像を行う撮像部と、前記撮像した映像から所定のジェスチャを検出するジェスチャ検出部と、前記ジェスチャ検出部による検出結果に基づいて、前記着信に対して応答するか否かを判定するジェスチャ判定部とを備えることを特徴とする。
前記撮像部は、着信により起動することを特徴とする。

前記撮像部は、前記ジェスチャ判定部が着信に対して応答すると判定した場合には、起動状態を維持し、応答しないと判定した場合には、停止することを特徴とする。
前記電子機器は、マイクと、所定の音声を検出する音声検出部と、前記音声検出部による検出結果に基づいて、着信に対して応答するか否かを判定する音声判定部とを更に備えることを特徴とする。
前記マイクは、着信により起動することを特徴とする。

前記マイクは、前記音声判定部が着信に対して応答すると判定した場合には、起動状態を維持し、応答しないと判定した場合には、停止することを特徴とする。
前記電子機器は、表示部を備えており、前記表示部に表示される表示画面には、ジェスチャ又は発声を促すメッセージが含まれていることを特徴とする。

本発明に係る電子機器は、テレビ電話に対する着信に対して発声することなく即座に応答することができる。

本発明の第１の実施例に関するブロック構成図。 本発明の第１の実施例に関する着信応答部の詳細を示すブロック構成図。 本発明の第１の実施例に関するジェスチャ画面を示す説明図。 本発明の第１の実施例に関するジェスチャ画面を示す説明図。 本発明の第１の実施例に関する着信に対して応答する手順を示すフローチャート。 本発明の第２の実施例に関するブロック構成図。 本発明の第２の実施例に関する着信応答部の詳細を示すブロック構成図。 本発明の第２の実施例に関する発声画面を示す説明図。 従来技術を示す説明図。

本発明の実施例１について、図１〜５を用いて説明する。図１は、本発明に係る電子機器についての構成を示すブロック構成図であり、ネットワーク通信部１、着信検出部２、着信応答部３、映像音声処理部４、撮像部５、表示制御部６、表示部７から構成される。

次に、本実施例の動作について説明する。ネットワーク通信部１は、インターネット等を通じて配信されるコンテンツデータなどの受信を行う。また、テレビ電話においては、通話を行なうための映像、音声データ及び通話相手からの着信を知らせる情報（以下、着信情報と称する）についての送受信を行なう。特に本実施例においては、前記着信情報を受信して着信検出部２に出力する。

着信検出部２は、ネットワーク通信部１より入力される映像音声データ等に、着信情報が含まれているときは、前記着信情報を検出し着信応答部にテレビ電話による着信がある旨を通知する。尚、上記構成に限らず、映像、音声データの入力にもとづいて着信があることを検出してもよい。

着信応答部３は、着信検出部２から入力される通知にもとづいて、使用者に対して着信情報を報知し、着信に対して応答させるための制御を行う。ここで、図２を用いて着信応答部について詳細に説明する。図２における着信応答部は、ジェスチャモード切換部８、映像操作部９、ジェスチャ検出部１０、ジェスチャ判定部１１から構成されている。

次にこれら各構成の動作について説明する。ジェスチャモード切換部８は、着信検出部２から入力される通知にもとづいて、表示制御部６を介して表示部の表示画面を使用者がジェスチャを行なうための表示画面（以下、ジェスチャ画面と称呼する）に変更する。これにより、着信があることを使用者に報知することができる。尚、上記構成に限らず、音声によって着信があることを報知してもよいし、表示画面及び音声の両方を用いて、報知してもよいものとする。前記ジェスチャ画面とは、後述するが、例えば図３に示すような画面である。ジェスチャモード切換部８は、表示画面をジェスチャ画面に切換えた旨を映像操作部９に通知する。

映像操作部９は、前記通知をジェスチャ検出部１０に伝えるとともに、撮像部５の電源をオンにして起動させる。前記撮像部５は、テレビ電話による通話の際に、使用者を撮像して、映像音声処理部４で所定の映像処理を施して、インターネット通信部１を介して使用者の映像を通話相手に出力するものであるが、本実施例では特に、使用者が行うジェスチャを撮影し、該撮影を行った映像を映像音声処理部４を介して、ジェスチャ検出部に出力する動作を行なう。尚、ジェスチャとは、身振り手振りのことである。

ジェスチャ検出部１０は、使用者が行なうジェスチャによって生じる軌跡を軌跡データとして検出する。ジェスチャ検出部１０はまず、撮像部５から入力される動画像データから、使用者の手を検出する。該検出は、特開２００７−８７０８９号公報、特開２０１１−７６２５５号公報等に開示されているように、初めに入力されたフレーム画像に対して色情報（肌色尤度値）をもとに手の位置を求めて基準色ヒストグラムとして記憶しておく。この際、手の画像領域から、特徴点を抽出する。前記特徴点は、例えば、デジタルフィルタにより算出される画素値の変化が大きい位置の画素や前記画像領域の重心点である。
そして、最初のフレーム画像以降に入力されたフレーム画像に対しては、所定サイズの手の候補領域を設定し、候補領域毎に求めた色ヒストグラムと基準色ヒストグラムとの類似度を調べ、類似度の高い候補領域を手の画像領域として求めるとともに、前記特徴点についても、各フレーム画像ごとに抽出し、フレーム画像間で前記特徴点が辿る移動経路から、フレーム画像間での手の画像領域の軌跡データを求める。
ジェスチャ検出部は、求めた軌跡データをジェスチャ判定部１１に算出する。また、ジェスチャによる軌跡をうまく検出できなかったときには、使用者に対し、再度ジェスチャを行なうように要求する。この際、特に図示しないが「もう一度ジェスチャをして下さい」等のメッセージをジェスチャ画面中に表示してもよい。

ジェスチャ判定部１１は、入力される軌跡データと予め記憶部（図示せず）において格納している軌跡データとを照合して、およそ一致すれば着信に対して応答する制御を行う。ここで、表示部７に表示されるジェスチャ画面について以下で説明する。

図３は、ジェスチャ画面の一例について示しており、表示画面中には、使用者に着信がある旨及びジェスチャを行うように促すメッセージが表示される。図３（Ａ）は、ジェスチャ画面の初期画面であり、１２はカーソル、１３は軌跡入力画面、１４は選択画面である。また、図３（Ａ）の紙面に向かって右欄には、「はい」又は「いいえ」を選択するための軌跡を示しており、１５は軌跡である。向かって上側は、「はい」と判定する場合の軌跡で、下側は「いいえ」と判定する場合の軌跡を示していて、このような軌跡を予め軌跡データとして格納する。図３（Ｂ）は、図３（Ａ）の軌跡入力画面に使用者のジェスチャによって軌跡が描かれた表示画面について示しており、この軌跡の場合は、上述した軌跡データと照合されて、「はい」と判定されて、選択画面において「はい」を選択して、テレビ電話の着信に対して応答することになる。

尚、図３を用いて上述した着信に対する応答は、使用者の手によるジェスチャとして説明したが、これに限られず、図４に示すように左右のいずれかに移動することによるジェスチャを検出してもよい。
図４は、使用者の立ち位置を検出することで、着信に対して応答する様子を示していて、表示画面中には着信がある旨を示すメッセージが含まれている。図４（Ａ）は初期画面で、１６は使用者、１７は使用者映像表示画面である。また紙面に向かって右欄には、「はい」もしくは「いいえ」を選択するために、必要なジェスチャについて示している。図４（Ｂ）及び図４（Ｃ）はいずれも使用者が、表示画面に対して左右いずれかに動いたときの様子を示している。図４（Ｂ）は、使用者が紙面に向かって左側に移動するジェスチャを行うことで「はい」を選択し、図４（Ｃ）は紙面に向かって右側に移動するジェスチャを行うことで「いいえ」を選択している。
上記ジェスチャの検出、判定方法としては、ヒストグラム検出の一種である、勾配方向ヒストグラムを用いて人物の検出を行い、最初に人物を検出した位置を基準位置として、最初のフレーム画像以降に、人物が左右のどちらに移動したかを検出する。そして、左に移動したことを検出してから所定フレーム画像経過後もその場にとどまっている場合には、「はい」を選択したものとする。同様に、右に移動したときには、「いいえ」を選択したものとして動作させる。
上述したような構成とすることで、例えば、付近に就寝者がいて発声することがためらわれる場合、電話機を用いて通話中である場合、または着信に対して発声障害者が応答する場合であっても、音声によらずに即座に応答することができる。

ジェスチャ判定部１１は、入力される軌跡データ及び予め格納している軌跡データを照合し、該照合結果にもとづいて着信に対して応答すると判定した場合には、ネットワーク通信部１にその旨を通知し、テレビ電話による通話を開始する。この場合、撮像部５の電源はオンのままとして起動状態を維持し、表示制御部６にはジェスチャ画面を消去するように通知し、ジェスチャ検出部１０には、ジェスチャの検出を止めるように指示する。

また、応答しないと判定した場合には、その旨を表示制御部６に通知してジェスチャ画面を消去し、ジェスチャ検出部１０に通知ジェスチャの検出を止めるように指示し、加えて映像操作部９には撮像部５の電源をオフとして、起動を停止させるように指示する。
また、前記照合結果から、応答するか否かを判定できない軌跡データであった場合には、その旨を表示制御部６に通知してジェスチャ画面を初期画面とし、ジェスチャ検出部に対して再度ジェスチャを検出するように指示する。尚、一連の検出、判定動作は所定回数繰り返してもよいものとする。このような構成とすることで、ジェスチャ判定動作による誤判定を防止することができる。
図５は、上述した一連の動作に関して、フローチャートとして示している。以下でそれぞれのステップについて説明する。ステップＳ１において、テレビ電話による着信があると、ステップＳ２は、ジェスチャ画面を表示するとともに、使用者を撮像するための撮像部の電源をオンにして起動させる。ステップＳ３において使用者の行うジェスチャの検出を行い、検出できたときには、ステップＳ４において、使用者が行ったジェスチャから求まる軌跡データにもとづいて、着信に対して応答するか否かの判定を行う。一方、ステップＳ３において、ジェスチャを検出できなかったときは、再度ジェスチャを行なうように要求する。ステップＳ４において、応答すると判定した場合には、ステップＳ５に進んで着信を許可し、ステップ６においてジェスチャ検出をオフするとともに、ジェスチャ画面を消去し、撮像部の電源はオンの状態のままにしておく。ステップＳ４において、使用者が行なったジェスチャが応答するのかしないかが不明である軌跡データであった場合には、再度ジェスチャ画面の初期画面を表示しジェスチャを行なうように促す。また、ステップＳ４において、応答しないと判定した場合には、ステップＳ５において着信を許可しないものとし、ジェスチャ検出をオフし、ジェスチャ画面を消去し、撮像部の電源をオフとする。

上述した実施例１では、発声障害者が着信に対して即座に応答できるようにすることも考慮して、ジェスチャによって前記着信に対して応答する構成としたが、発声障害者が前記着信に気付かずに、代わりに健常者が応答するという状況も想定される。こういった場合、更に、音声によって応答できる構成も備えることで、より利便性の高い電子機器を提供することができる。以下、本発明の実施例２について、図１、６〜８を用いて説明する。

図６は、本発明に係る電子機器についての構成を示すブロック構成図であり、ネットワーク通信部１、着信検出部２、着信応答部３、映像音声処理部４、撮像部５、表示制御部６、表示部７、マイク１８から構成される。以下、実施例１と異なる動作を行う構成について説明する。着信応答部は、着信検出部から入力される通知にもとづいて、使用者に対してテレビ電話による着信がある旨を報知し、該着信に対して応答させるための制御を行う。
ここで、図７を用いて着信応答部３について詳細に説明する。図７における着信応答部３は、図２を用いて説明した構成に加えて、音声モード切換部１９、音声操作部２０、音声検出部２１、音声判定部２２から構成される。尚、図２を用いて上述した構成については図示を省略する。次にこれら各構成の動作について説明する。
音声モード切換部１９は、着信検出部２から入力される通知にもとづいて、表示制御部６を介して表示部７の表示画面を使用者が発声を行なうための表示画面（以下、発声画面と称呼する）に変更する。当該発声画面については後述する。音声モード切換部は、表示画面を発声画面に切換えた旨を音声操作部に通知する。

音声操作部２０は、前記通知を音声検出部２１に伝えるとともに、マイク１８の電源をオンにする。前記マイク１８は通話の際に使用者の発声を集音し、映像音声処理部４で所定の音声処理を施し、ネットワーク通信部１を介して通話相手に使用者の音声を出力する。前記マイクに対して、使用者は所定のキーワードを発声し、映像音声処理部４を介して音声検出部２１に出力する。

音声検出部２１は、使用者が行なう発声による音声を検出する。音声検出部２１は、例えば特開２００３−２８０６８３号公報において示されるように、予め単語の波形データを記憶部（図示せず）に記憶しておき、入力される音声信号と波形データとのパターンマッチングを行い、音声信号をテキストデータに変換し、該テキストデータを音声判定部に出力する。

音声判定部２２は、入力される前記テキストデータと予め記憶部（図示せず）において格納しているテキストデータとを照合して、一致すれば着信に対して応答する制御を行う。ここで、表示部７に表示される発声画面について以下で説明する。

図８は、発声画面の一例について示している。使用者が、「もしもし」と発声すると、記憶部（図示せず）に格納してあるキーワードである「もしもし」と照合がなされ、一致するため着信に対して応答する動作を行う。前記キーワードは、当然、上記したものに限られるわけではなく、例えば予め登録しておいた使用者自身の名前等であってよい。また、発声画面を表示することで着信があることを使用者に報知する構成としたが、これに限らず音声によって報知する構成でもよい。
上述したような構成とすることで、発声障害者が着信に気付かないようなときであっても、音声によって応答する構成を更に備えることで、健常者が、前記着信に対して即座に応答することができる。

音声判定部２２は、照合結果にもとづいて、着信に対して応答すると判定した場合には、ネットワーク通信部１にその旨を通知し、テレビ電話による通話を開始する。この場合、マイク１８の電源はオンの状態のままにしておき、表示制御部６には発声画面を消去するように通知し、音声検出部２１には、音声の検出を止めるように指示する。

また、応答しないと判定した場合には、その旨を表示制御部６に通知して発声画面を消去し、音声検出部２１に音声の検出を止めるように指示し、加えて音声操作部２０には撮像部５の電源をオフにするように指示する。
また、音声判定部２２が、前記照合結果から、応答するかしないかを判断できないと判定したときには、その旨を表示制御部６に通知して発声画面を初期画面とし、音声検出部２１に対して再度発声を行うように指示する。これにより、音声判定動作による誤判定を防止することができる。

３ 着信応答部
８ ジェスチャモード切換部
９ 映像操作部
１０ ジェスチャ検出部
１１ ジェスチャ判定部
１９ 音声モード切換部
２０ 音声操作部
２１ 音声検出部
２２ 音声判定部

Claims (7)

1. 着信に対して応答を行なう電子機器であって、
   映像の撮像を行う撮像部と、
   前記撮像した映像から所定のジェスチャを検出するジェスチャ検出部と、
   前記ジェスチャ検出部による検出結果に基づいて、前記着信に対して応答するか否かを判定するジェスチャ判定部とを備えることを特徴とする電子機器。
2. 前記撮像部は、着信により起動することを特徴とする請求項１に記載の電子機器。
3. 前記撮像部は、前記ジェスチャ判定部が着信に対して応答すると判定した場合には、起動状態を維持し、応答しないと判定した場合には、停止することを特徴とする請求項２に記載の電子機器。
4. 前記電子機器は、マイクと、所定の音声を検出する音声検出部と、前記音声検出部による検出結果に基づいて、着信に対して応答するか否かを判定する音声判定部とを更に備えることを特徴とする請求項１〜３に記載の電子機器。
5. 前記マイクは、着信により起動することを特徴とする請求項４に記載の電子機器。
6. 前記マイクは、前記音声判定部が着信に対して応答すると判定した場合には、起動状態を維持し、応答しないと判定した場合には、停止することを特徴とする請求項５に記載の電子機器。
7. 前記電子機器は、表示部を備えており、前記表示部に表示される表示画面には、ジェスチャ又は発声を促すメッセージが含まれていることを特徴とする請求項１〜６に記載の電子機器。