JP2004246095A - 携帯電話装置及び遠隔制御方法 - Google Patents
携帯電話装置及び遠隔制御方法 Download PDFInfo
- Publication number
- JP2004246095A JP2004246095A JP2003036084A JP2003036084A JP2004246095A JP 2004246095 A JP2004246095 A JP 2004246095A JP 2003036084 A JP2003036084 A JP 2003036084A JP 2003036084 A JP2003036084 A JP 2003036084A JP 2004246095 A JP2004246095 A JP 2004246095A
- Authority
- JP
- Japan
- Prior art keywords
- voice
- data
- unit
- change
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Selective Calling Equipment (AREA)
- Mobile Radio Communication Systems (AREA)
- Telephone Function (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
【課題】従来は、音声入力時に周りの雑音や騒音等により入力音声を正しく認識できないことがあり、被制御機器の制御のための音声入力が再度必要になる。
【解決手段】登録モード時に、制御部１７はカメラ部１４からの画像信号に基づいて、ユーザーの唇の動きの第１のデータを生成すると共に、マイク１２に入力された制御内容を示す音声信号に基づいて、第１の音声パターンを解析し、それらを操作部１１により入力された制御内容を示すデータに関連付けて記憶部１８に記憶する。その後、制御モード時に、制御部１７はマイク１２から入力された音声を解析して得た第２の音声パターンを、記憶部１８の第１の音声パターンから検索する音声認識解析が失敗した場合、カメラ部１４からの画像信号に基づくユーザーの唇の動きの第２のデータに合致するものを記憶部１８の第１のデータの中から認識して、関連付けた制御内容を取り出す。
【選択図】 図１
【解決手段】登録モード時に、制御部１７はカメラ部１４からの画像信号に基づいて、ユーザーの唇の動きの第１のデータを生成すると共に、マイク１２に入力された制御内容を示す音声信号に基づいて、第１の音声パターンを解析し、それらを操作部１１により入力された制御内容を示すデータに関連付けて記憶部１８に記憶する。その後、制御モード時に、制御部１７はマイク１２から入力された音声を解析して得た第２の音声パターンを、記憶部１８の第１の音声パターンから検索する音声認識解析が失敗した場合、カメラ部１４からの画像信号に基づくユーザーの唇の動きの第２のデータに合致するものを記憶部１８の第１のデータの中から認識して、関連付けた制御内容を取り出す。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は携帯電話装置及び遠隔制御方法に係り、特に音声制御により電子機器を遠隔制御するリモコン機能を備えた携帯電話装置及び遠隔制御方法に関する。
【０００２】
【従来の技術】
従来より、音声制御により電子機器を遠隔制御するリモコン装置が知られている（例えば、特許文献１参照）。この特許文献１記載のリモコン装置は、遠隔制御対象および制御内容からなる音声を音声信号に変換する変換部と、音声信号を無線送信する送信部とを有するリモコン端末と、音声信号を受信して音声認識を行う音声認識部と、音声認識された音声データに基づいて、複数の遠隔制御対象の中から当該遠隔制御対象を識別した後、当該遠隔制御対象に対する制御内容を示す制御コードデータを当該遠隔制御対象へ出力する制御部とを有する装置本体からなる構成である。このリモコン装置によれば、音声入力により所望の遠隔制御対象を遠隔制御できる。
【０００３】
一方、携帯電話機を用いて被制御機器を遠隔制御できるリモコンシステムも知られている（例えば、特許文献２参照）。この特許文献２記載のリモコンシステムによれば、携帯電話機からの信号（操作部のテンキーの押下による信号）を受信し、受信した信号に従って被制御機器を遠隔制御するための遠隔制御信号を制御手段が送信する構成である。
【０００４】
従って、上記の特許文献１及び２各記載の発明を組合せ、特許文献１記載のリモコン装置のリモコン端末として携帯電話機を用い、携帯電話機から送信して装置本体で受信された音声信号に従って、装置本体で遠隔制御信号を生成して被制御機器に送信する構成の、音声制御の携帯電話装置が考えられる。
【０００５】
図５はこの音声制御の携帯電話装置の一例のブロック図を示す。この音声制御の携帯電話装置は、携帯電話機２０と、リモコン装置本体２１とよりなり、リモコン装置本体２１内には音声認識制御部２２、操作部２３、表示部２４、記憶部２５及び信号送信部２６が設けられており、被制御機器３０を遠隔制御する。
【０００６】
この従来の携帯電話装置の動作について、図６のフローチャートを参照して説明する。この携帯電話装置では、登録モードと制御モードとがあり、まず登録モードで音声パターンと制御内容を対応付けて保存する。すなわち、登録モードでは、図６（ａ）に示すように、登録モードで制御内容を示す音声を携帯電話機２０から送信して音声認識制御部２２に受信入力し（ステップＳ１）、ここで入力音声信号の音声解析を行う（ステップＳ２）。
【０００７】
続いて、ユーザーが操作部２３から制御内容を入力する（ステップＳ３）。これにより、音声認識制御部２２は上記の音声解析をした音声データのパターンと、操作部２３から入力された制御内容を示すデータとを対応付けて記憶部２５に記憶する（ステップＳ４）。
【０００８】
その後に、音声入力による被制御機器の遠隔制御モードが行われる。この場合、図６（ｂ）に示すように、まず、制御モードで音声入力が携帯電話機２０により行われ（ステップＳ１１）、その音声信号が携帯電話機２０から音声認識制御部２２にて受信され、ここで入力音声パターンの解析が行われる（ステップＳ１２）。音声認識制御部２２はこの音声パターンの解析が失敗したかどうか判定し（ステップＳ１３）、解析に失敗した場合は処理を終了する。
【０００９】
一方、解析に成功した場合は、音声認識制御部２２は記憶部２５から音声パターンに対応した制御内容のデータを取り出し（ステップＳ１４）、信号送信部２６に制御内容のデータに対応した遠隔制御信号を設定する（ステップＳ１５）。その後、ユーザーが操作部２３を操作して、遠隔制御信号を信号送信部２６から送信させる（ステップＳ１６）。これにより、所望の被制御機器３０が音声入力された制御内容で制御される。このように、上記の従来の携帯電話装置２０では、音声パターンと遠隔操作の制御信号を関連付けることにより、音声で被制御機器３０を遠隔制御することができる。
【００１０】
一方、マナーを守りつつ電話によるコミュニケーションをとるために、人の口唇の形状に対応する音声データを格納手段に予め格納しておき、人の口唇の形状の画像を解析してその画像に対応する音声データを上記の格納手段から抽出し、抽出した音声データを送信する構成の携帯電話装置も、従来より知られている（例えば、特許文献３参照）。この特許文献３記載の従来の携帯電話装置によれば、使用者が発音しなくても、送信しようとする音声の内容に合わせて口唇を動かすことにより、送信しようとする音声の内容に応じた音声データを、相手端末に送信することができる。
【００１１】
【特許文献１】
特開平１１−３４５０２４号公報
【特許文献２】
特開平１１−２８４７５７号公報
【特許文献３】
特開２０００−６８８８２号公報
【００１２】
【発明が解決しようとする課題】
しかるに、従来の音声制御の携帯電話装置では、音声入力によって遠隔操作する制御内容を判断しているため、音声入力時に周りの雑音や騒音等により入力音声を正しく認識できないことがあり、その場合には被制御機器に対して音声入力で意図した遠隔操作とは異なる遠隔操作を行ってしまったり、被制御機器の制御のための音声入力が再度必要になる。
【００１３】
また、特許文献３記載の従来の携帯電話装置では、人の口唇の動きに応じた音声データを送信するようにしているだけであり、人の口唇の動きに応じて所望の被制御機器に対して所望の遠隔操作をすることはできない。また、仮に、上記の音声制御の携帯電話装置に特許文献３記載の技術を適用した場合は、人の口唇の動きだけで所望の被制御機器の遠隔操作を行うこととなるため、何らかの原因で口唇の動きの画像の解析に失敗した場合は、所望の遠隔操作ができない。
【００１４】
本発明は以上の点に鑑みなされたもので、音声信号と唇の動きのデータの２種類の情報を用いることにより、入力制御内容の認識率を向上し、もって正確に所望の遠隔操作を行い得る携帯電話装置及び遠隔制御方法を提供することを目的とする。
【００１５】
【課題を解決するための手段】
上記の目的を達成するため、第１の発明の携帯電話装置は、ユーザーの音声を音声信号に変換する音声入力手段と、ユーザーの顔全体又は顔の一部の動きを示す画像信号を取得する撮影手段と、少なくとも制御内容を示すデータを入力する操作部と、被制御機器に対して遠隔制御信号を送信する信号送信部と、登録モード時に、撮影手段により撮影して得られた画像信号に基づいて、画像の変化を解析して第１の変化データを生成すると共に、音声入力手段に入力された制御内容を示す音声信号に基づいて、第１の音声パターンを解析する第１の解析手段と、第１の解析手段からの第１の変化データと第１の音声パターンとを、操作部により入力された制御内容を示すデータにそれぞれ関連付けて記憶部に記憶する記憶手段と、制御モード時に、撮影手段により撮影して得られた画像信号に基づいて、画像の変化を解析して第２の変化データを生成すると共に、音声入力手段に入力された制御内容を示す音声信号に基づいて、第２の音声パターンを解析する第２の解析手段と、記憶部からの第１の音声パターンの中で第２の解析手段により解析された第２の音声パターンに合致するものがあるかどうかの音声認識解析を行う音声認識解析手段と、音声認識解析手段による音声認識解析が失敗した場合に、記憶部からの第１の変化データの中から第２の解析手段により解析された第２の変化データと合致するものを識別する変化データ識別手段と、音声認識解析手段による音声認識解析が成功したときの第１の音声パターン、又は変化データ識別手段により識別された第１の変化データと関連付けて記憶部に記憶されている制御内容を示すデータを取り出して信号送信部に設定し、信号送信部から制御内容を示すデータに対応した遠隔制御信号を送信させる設定手段とを有する構成としたものである。
【００１６】
この発明では、登録モード時に制御内容に対応付けて、当該制御内容を示す第１の音声パターンと、当該制御内容の音声入力時のユーザーを撮影して得た画像の変化を示す第１の変化データとを記憶部に記憶しておき、制御モード時に、音声入力して得た第２の音声パターンが記憶部に記憶されている第１の音声パターンの中に合致するものがあることを識別できなかったとき（音声認識解析が失敗したとき）には、更に制御モード時の音声入力時のユーザーを撮影して得た画像の変化を示す第２の変化データが記憶部に記憶されている第１の変化データの中から合致するものを識別し、合致した第１の変化パターンに対応して記憶部に記憶されている制御内容のデータを信号送信部に設定するようにしたため、音声パターンのみの識別よりも音声入力された制御内容の認識率を向上させることができる。
【００１７】
また、上記の目的を達成するため、第２の発明の携帯電話装置は、登録モードと制御モードの選択メニュー表示を行う表示部を有し、操作部の操作によりメニュー表示された登録モードと制御モードの一方を選択することを特徴とする。
【００１８】
また、上記の目的を達成するため、第３の発明の携帯電話装置は、撮影手段として、所望の被写体撮影のために設けられたカメラ部を利用することを特徴とする。この発明では、携帯電話装置に元々備わっていたカメラ部を利用するようにしたため、第１及び第２の変化データを取得するための撮影手段を新たな設置を不要にできる。
【００１９】
ここで、上記の各発明における第１及び第２の解析手段は、第１及び第２の変化データとして、所定時間毎のユーザーの唇の形状の変化を示す唇の動きのデータを生成するか、所定時間毎のユーザーの頬の変化を示す頬の動きのデータを生成するか、あるいは、所定時間毎のユーザーの顔と背景の画像割合の変化に基づく光量変化を示すデータを生成することを特徴とする。
【００２０】
また、上記の目的を達成するため、本発明の遠隔制御方法は、ユーザーの音声を音声信号に変換するマイクと、ユーザーの顔全体又は顔の一部の動きを示す画像信号を取得するカメラ部と、少なくとも制御内容を示すデータを入力する操作部と、被制御機器に対して遠隔制御信号を送信する信号送信部とを備えた携帯電話装置を用いた遠隔制御方法であって、登録モード時に、カメラ部により撮影して得られた画像信号に基づいて、画像の変化を解析して第１の変化データを生成すると共に、マイクに入力された制御内容を示す音声信号に基づいて、第１の音声パターンを解析する第１のステップと、第１の変化データと第１の音声パターンとを、操作部により入力された制御内容を示すデータにそれぞれ関連付けて記憶部に記憶する第２のステップと、制御モード時に、カメラ部により撮影して得られた画像信号に基づいて、画像の変化を解析して第２の変化データを生成すると共に、マイクに入力された制御内容を示す音声信号に基づいて、第２の音声パターンを解析する第３のステップと、記憶部からの第１の音声パターンの中で第３のステップで解析された第２の音声パターンに合致するものがあるかどうかの音声認識解析を行う第４のステップと、第４のステップによる音声認識解析が失敗した場合に、記憶部からの第１の変化データの中から第３のステップで解析された第２の変化データと合致するものを識別する第５のステップと、第４のステップによる音声認識解析が成功したときの第１の音声パターン、又は第５のステップにより識別された第１の変化データと関連付けて記憶部に記憶されている制御内容を示すデータを取り出して信号送信部に設定する第６のステップと、信号送信部から制御内容を示すデータに対応した遠隔制御信号を、操作部の操作により任意のタイミングで送信させる第７のステップとを含むことを特徴とする。
【００２１】
この発明では、登録モード時に制御内容に対応付けて、当該制御内容を示す第１の音声パターンと、当該制御内容の音声入力時のユーザーを撮影して得た画像の変化を示す第１の変化データとを記憶部に記憶しておき、制御モード時に、音声入力して得た第２の音声パターンが記憶部に記憶されている第１の音声パターンの中に合致するものがあることを識別できなかったとき（音声認識解析が失敗したとき）には、更に制御モード時の音声入力時のユーザーを撮影して得た画像の変化を示す第２の変化データが記憶部に記憶されている第１の変化データの中から合致するものを識別し、合致した第１の変化パターンに対応して記憶部に記憶されている制御内容のデータを信号送信部に設定するようにしたため、音声パターンのみの識別よりも音声入力された制御内容の認識率を向上させることができる。
【００２２】
【発明の実施の形態】
次に、本発明の一実施の形態について図面と共に説明する。図１は本発明になる携帯電話装置の一実施の形態のブロック図、図２は本発明になる携帯電話装置の一実施の形態の外観正面図を示す。両図において、携帯電話装置１０は、筐体表面に、各種のキーからなりユーザー操作を受け付けるための操作部１１と、音声を収音するマイク１２と、例えば液晶表示素子（ＬＣＤ）で構成され、文字や画像を表示する表示部１３と、所望の被写体を撮像するカメラ部１４とが設けられており、筐体の例えば上部にはアンテナ１５が設けられている。
【００２３】
また、携帯電話装置１０の筐体の内部には、アンテナ１５に接続された無線部１６と、操作部１１からの入力等に基づき、装置全体を統括的に制御する制御部１７と、各種のデータを記憶し、記憶データが読み出される記憶部１８とが設けられている。更に、遠隔操作制御信号を被制御機器３０へ送信する信号送信部１９は、図２に示した携帯電話装置１０の筐体の裏側、又はアンテナ１５側の上端部に設けられている。なお、図１及び図２には図示を省略したが、携帯電話装置１０は従来と同様に、受話音声を発音するスピーカ（レシーバ）や、電源電圧を出力するバッテリ等も備えている。
【００２４】
上記の操作部１１、マイク１２、表示部１３及びカメラ部１４は、携帯電話装置１０に従来から元々搭載されているものである。無線部１６は他の無線機器、もしくはネットワークとの通信を行う際に使用される回路部で、携帯電話装置に本来備えられている回路部である。
【００２５】
制御部１７は、カメラ部１４は、マイク１２への音声入力時に、カメラ部１４により撮影されたユーザーの唇の画像信号を入力として受け、その画像信号から唇の形状の変化を解析してその解析データを出力する機能を有する。また、記憶部１８は携帯電話装置１０の動作上必要なデータが格納、保存される部分であり、遠隔制御信号も保存される。信号送信部１９は、被制御機器３０に信号を送信する際に使用される。被制御機器３０は遠隔操作制御信号により遠隔制御される機器を示す。
【００２６】
次に、本実施の形態の遠隔操作制御のための動作について、図１乃至図４と共に説明する。ここで、図３は本実施の形態の動作説明用フローチャート、図４は唇の動きの解析動作を説明するための図である。まず、操作部１１を操作して、遠隔操作制御するための音声入力モードのメニューを表示部１３に表示させる。本実施の形態では、上記のメニュー表示される音声入力モードには、登録モードと制御モードの２種類がある。
【００２７】
上記の登録モードとは、入力された音声データと取得した唇の動きのデータを、制御内容と関連付けて記憶部１８に格納するためのモードである。他方、上記の制御モードとは、入力された音声データと取得した唇の動きのデータに基づいて、記憶部１８から、関連付けられて保存されている制御内容を信号送信部１９にセットして被制御機器３０を制御するためのモードである。
【００２８】
通常は、最初に登録モードが実行された後は、任意の遠隔制御時に制御モードが実行される。勿論、登録モードを必要に応じて任意のタイミングで実行することも可能である。メニュー表示された音声入力モードから登録モードが選択されると、図３（ａ）のフローチャートに示す動作が行われる。すなわち、登録モードの音声入力受け付け状態となり（ステップＳ２１）、マイク１２に入力された被制御機器３０の遠隔制御に用いる音声が音声信号に変換されて制御部１７に入力されると共に（ステップＳ２２）、カメラ部１４で撮影されたユーザーの唇の画像信号が制御部１７に入力される（ステップＳ２３）。
【００２９】
制御部１７は、入力された音声信号の音声パターンを解析し、その解析内容を表示部１３に表示すると共に、入力された画像信号に基づき唇の動きを解析する（ステップＳ２４）。この唇の動きの解析方法について更に詳細に説明する。カメラ部１４に撮影された画像信号を入力として受けた制御部１７は、画像信号に基づき唇の形状を０．１ｍｓ間隔で取得し、取得した唇の形状を８点（左端点、右端点、上端点、下端点、左上点、右上点、左下点、右下点）の座標データに解析する。
【００３０】
続いて、０．１ｍｓ毎に取得した唇の形状の座標データのうち、前後の座標データの変化から唇の動きを数値化する。例えば、制御部１７は、ある時刻の入力画像が図４（ａ）に示すように、顔画像部４０と耳画像部４１と唇の画像部４２ａとからなり、唇の画像部４２ａの上端点▲１▼の座標「２５．６０」、左上点▲２▼の座標「３４．５０」、左端点▲３▼の座標「４２．４０」、左下点▲４▼の座標「４９．５０」、下端点▲５▼の座標「５５．６０」、右下点▲６▼の座標「４９．７０」、右端点▲７▼の座標「４２．８０」、右上点▲８▼の座標「３４．７０」であるものと解析したものとする。
【００３１】
続いて、０．１ｍｓ後の入力画像が図４（ｂ）に示すように、顔画像部４０と耳画像部４１と唇の画像部４２ｂとからなり、唇の画像部４２ｂの上端点▲１▼の座標「３８．６０」、左上点▲２▼の座標「４２．４５」、左端点▲３▼の座標「４５．３０」、左下点▲４▼の座標「４７．４５」、下端点▲５▼の座標「５０．６０」、右下点▲６▼の座標「４７．７５」、右端点▲７▼の座標「４５．９０」、右上点▲８▼の座標「４２．７５」であるものと解析したものとする。
【００３２】
この場合、上端点▲１▼の座標は「２５．６０」から「３８．６０」に変化しているので、唇の上端は下方向に「１３．００」の座標分に移動していると数値化する。他の７箇所の位置についても同様に数値化する。以上の作業を繰り返すことにより、唇の動きのデータを作成する。
【００３３】
音声入力が終了した後、その音声パターンが入力された際に遠隔制御したい制御内容を操作部１１にて入力する（ステップＳ２５）。なお、制御させたい内容が記憶部１８に無い場合は、無線部１６を用いて事前にネットワークから取得しておく。
【００３４】
最後に、制御部１７は、音声信号と制御内容の両方の情報が入力されると、解析した音声パターンと唇の動きのデータを、入力された制御内容に関連付けして、記憶部１８に保存する（ステップＳ２６）。このようにして、登録モードでは、必要な制御内容に応じた数の音声パターンと唇の動きのデータとが、制御内容に関連付けて記憶部１８に記憶される。
【００３５】
次に、任意の遠隔制御時に、メニュー表示された音声入力モードから制御モードが選択されると、図３（ｂ）のフローチャートに示す動作が行われる。すなわち、制御モードの音声入力受け付け状態となり（ステップＳ３１）、マイク１２に入力された被制御機器３０を遠隔制御しようとする内容の音声が音声信号に変換されて制御部１７に入力されると共に（ステップＳ３２）、カメラ部１４で撮影されたユーザーの唇の画像信号が制御部１７に入力される（ステップＳ３３）。
【００３６】
制御部１７は、入力された音声信号の音声パターンを解析し、その解析内容を表示部１３に表示すると共に、入力された画像信号に基づき唇の動きを登録モード時と同様の手法にて解析する（ステップＳ３４）。続いて、制御部１７は、解析した音声パターンと記憶部１８から読み出した音声パターンとを比較照合して、合致した音声パターンがあるかどうか、すなわち音声認識解析が失敗したか否か判定する（ステップＳ３５）。
【００３７】
雑音等が混じるなどの影響で音声パターンの比較照合による音声認識解析が失敗であると判定された場合は、ステップＳ３４で解析した唇の動きのデータを、記憶部１８から読み出した唇の動きのデータと比較照合して、合致した唇の動きのデータを識別する（ステップＳ３６）。
【００３８】
ステップＳ３５で合致した音声データを取得できた（音声認識解析が成功した）と判定された場合、又はステップＳ３６で合致した唇の動きのデータを取得すると、続いて制御部１７は、記憶部１８を参照して、合致した音声データ又は合致した唇の動きのデータに対応して記憶されている制御内容のデータを取り出して表示部１３に表示する（ステップＳ３７）。
【００３９】
続いて、制御部１７は、記憶部１８から取り出した上記の制御内容のデータを、信号送信部１９へ供給し、制御内容のデータに対応した遠隔制御信号を設定する（ステップＳ３８）。その後、任意のタイミングでユーザーによる操作部１１の操作により遠隔制御信号を例えば赤外線の形態で被制御機器３０に向けて信号送信部１９から送信する（ステップＳ３９）。これにより、ユーザーがマイク１２を用いて音声入力した制御内容の遠隔操作を、被制御機器３０に対して行うことができる。
【００４０】
このように、本実施の形態によれば、従来の音声データの登録だけでなく、唇の動きのデータを制御内容と対応付けて登録しているので、音声認識失敗時に制御モードの音声入力時の唇の動きのデータを、登録してある唇の動きのデータと比較照合して制御内容を判断でき、これにより、制御内容の認識率を従来に比べて向上できる。
【００４１】
なお、上記の実施の形態では、音声認識に失敗した場合は、ステップＳ３６で唇の動きのデータによる識別が常に成功するものとしているが、万一、唇の動きのデータによる識別が失敗した場合は、従来と同様に処理を終了する。
【００４２】
なお、本発明は上記の実施の形態に限定されるものではなく、例えば、唇の動きはカメラ部１４が撮影した画像信号から検出しているが、赤外線センサ装置により唇の動きの画像信号を得ることもでき、また、唇の動き以外の、例えば頬の動きの画像の変化によって入力制御内容を識別することもできる。
【００４３】
更に、ユーザーの顔と背景からなる画像を撮影したときの、ユーザーが音声入力した時に生じる顔の動きと背景の割合の変化に応じた光量の変化によって入力制御内容を識別することもできる。また、信号送信部１９が送信する遠隔制御信号の信号形態は、赤外線に限定されるものではなく、超音波その他の信号形態でもよい。
【００４４】
【発明の効果】
以上説明したように、本発明によれば、制御モード時に、音声入力して得た第２の音声パターンが記憶部に記憶されている第１の音声パターンの中に合致するものがあることを識別できなかったときには、更に制御モード時の音声入力時のユーザーを撮影して得た画像の変化を示す第２の変化データが記憶部に記憶されている第１の変化データの中から合致するものを識別し、合致した第１の変化パターンに対応して記憶部に記憶されている制御内容のデータを信号送信部に設定することにより、従来の音声パターンのみの識別よりも音声入力された制御内容の認識率を向上させるようにしたため、従来に比べて入力制御内容の認識失敗による使用者の再入力操作を大幅に低減することができ、操作の煩わしさを軽減することができ、またより正確な遠隔制御ができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態のブロック図である。
【図２】本発明の一実施の形態の外観正面図である。
【図３】本発明の一実施の形態の動作説明用フローチャートである。
【図４】唇の動きの解析の方法の一例の説明図である。
【図５】従来装置の一例のブロック図である。
【図６】従来装置の動作説明用フローチャートである。
【符号の説明】
１０ 携帯電話装置
１１ 操作部
１２ マイク
１３ 表示部
１４ カメラ部
１５ アンテナ
１６ 無線部
１７ 制御部
１８ 記憶部
１９ 信号送信部
３０ 被制御機器
【発明の属する技術分野】
本発明は携帯電話装置及び遠隔制御方法に係り、特に音声制御により電子機器を遠隔制御するリモコン機能を備えた携帯電話装置及び遠隔制御方法に関する。
【０００２】
【従来の技術】
従来より、音声制御により電子機器を遠隔制御するリモコン装置が知られている（例えば、特許文献１参照）。この特許文献１記載のリモコン装置は、遠隔制御対象および制御内容からなる音声を音声信号に変換する変換部と、音声信号を無線送信する送信部とを有するリモコン端末と、音声信号を受信して音声認識を行う音声認識部と、音声認識された音声データに基づいて、複数の遠隔制御対象の中から当該遠隔制御対象を識別した後、当該遠隔制御対象に対する制御内容を示す制御コードデータを当該遠隔制御対象へ出力する制御部とを有する装置本体からなる構成である。このリモコン装置によれば、音声入力により所望の遠隔制御対象を遠隔制御できる。
【０００３】
一方、携帯電話機を用いて被制御機器を遠隔制御できるリモコンシステムも知られている（例えば、特許文献２参照）。この特許文献２記載のリモコンシステムによれば、携帯電話機からの信号（操作部のテンキーの押下による信号）を受信し、受信した信号に従って被制御機器を遠隔制御するための遠隔制御信号を制御手段が送信する構成である。
【０００４】
従って、上記の特許文献１及び２各記載の発明を組合せ、特許文献１記載のリモコン装置のリモコン端末として携帯電話機を用い、携帯電話機から送信して装置本体で受信された音声信号に従って、装置本体で遠隔制御信号を生成して被制御機器に送信する構成の、音声制御の携帯電話装置が考えられる。
【０００５】
図５はこの音声制御の携帯電話装置の一例のブロック図を示す。この音声制御の携帯電話装置は、携帯電話機２０と、リモコン装置本体２１とよりなり、リモコン装置本体２１内には音声認識制御部２２、操作部２３、表示部２４、記憶部２５及び信号送信部２６が設けられており、被制御機器３０を遠隔制御する。
【０００６】
この従来の携帯電話装置の動作について、図６のフローチャートを参照して説明する。この携帯電話装置では、登録モードと制御モードとがあり、まず登録モードで音声パターンと制御内容を対応付けて保存する。すなわち、登録モードでは、図６（ａ）に示すように、登録モードで制御内容を示す音声を携帯電話機２０から送信して音声認識制御部２２に受信入力し（ステップＳ１）、ここで入力音声信号の音声解析を行う（ステップＳ２）。
【０００７】
続いて、ユーザーが操作部２３から制御内容を入力する（ステップＳ３）。これにより、音声認識制御部２２は上記の音声解析をした音声データのパターンと、操作部２３から入力された制御内容を示すデータとを対応付けて記憶部２５に記憶する（ステップＳ４）。
【０００８】
その後に、音声入力による被制御機器の遠隔制御モードが行われる。この場合、図６（ｂ）に示すように、まず、制御モードで音声入力が携帯電話機２０により行われ（ステップＳ１１）、その音声信号が携帯電話機２０から音声認識制御部２２にて受信され、ここで入力音声パターンの解析が行われる（ステップＳ１２）。音声認識制御部２２はこの音声パターンの解析が失敗したかどうか判定し（ステップＳ１３）、解析に失敗した場合は処理を終了する。
【０００９】
一方、解析に成功した場合は、音声認識制御部２２は記憶部２５から音声パターンに対応した制御内容のデータを取り出し（ステップＳ１４）、信号送信部２６に制御内容のデータに対応した遠隔制御信号を設定する（ステップＳ１５）。その後、ユーザーが操作部２３を操作して、遠隔制御信号を信号送信部２６から送信させる（ステップＳ１６）。これにより、所望の被制御機器３０が音声入力された制御内容で制御される。このように、上記の従来の携帯電話装置２０では、音声パターンと遠隔操作の制御信号を関連付けることにより、音声で被制御機器３０を遠隔制御することができる。
【００１０】
一方、マナーを守りつつ電話によるコミュニケーションをとるために、人の口唇の形状に対応する音声データを格納手段に予め格納しておき、人の口唇の形状の画像を解析してその画像に対応する音声データを上記の格納手段から抽出し、抽出した音声データを送信する構成の携帯電話装置も、従来より知られている（例えば、特許文献３参照）。この特許文献３記載の従来の携帯電話装置によれば、使用者が発音しなくても、送信しようとする音声の内容に合わせて口唇を動かすことにより、送信しようとする音声の内容に応じた音声データを、相手端末に送信することができる。
【００１１】
【特許文献１】
特開平１１−３４５０２４号公報
【特許文献２】
特開平１１−２８４７５７号公報
【特許文献３】
特開２０００−６８８８２号公報
【００１２】
【発明が解決しようとする課題】
しかるに、従来の音声制御の携帯電話装置では、音声入力によって遠隔操作する制御内容を判断しているため、音声入力時に周りの雑音や騒音等により入力音声を正しく認識できないことがあり、その場合には被制御機器に対して音声入力で意図した遠隔操作とは異なる遠隔操作を行ってしまったり、被制御機器の制御のための音声入力が再度必要になる。
【００１３】
また、特許文献３記載の従来の携帯電話装置では、人の口唇の動きに応じた音声データを送信するようにしているだけであり、人の口唇の動きに応じて所望の被制御機器に対して所望の遠隔操作をすることはできない。また、仮に、上記の音声制御の携帯電話装置に特許文献３記載の技術を適用した場合は、人の口唇の動きだけで所望の被制御機器の遠隔操作を行うこととなるため、何らかの原因で口唇の動きの画像の解析に失敗した場合は、所望の遠隔操作ができない。
【００１４】
本発明は以上の点に鑑みなされたもので、音声信号と唇の動きのデータの２種類の情報を用いることにより、入力制御内容の認識率を向上し、もって正確に所望の遠隔操作を行い得る携帯電話装置及び遠隔制御方法を提供することを目的とする。
【００１５】
【課題を解決するための手段】
上記の目的を達成するため、第１の発明の携帯電話装置は、ユーザーの音声を音声信号に変換する音声入力手段と、ユーザーの顔全体又は顔の一部の動きを示す画像信号を取得する撮影手段と、少なくとも制御内容を示すデータを入力する操作部と、被制御機器に対して遠隔制御信号を送信する信号送信部と、登録モード時に、撮影手段により撮影して得られた画像信号に基づいて、画像の変化を解析して第１の変化データを生成すると共に、音声入力手段に入力された制御内容を示す音声信号に基づいて、第１の音声パターンを解析する第１の解析手段と、第１の解析手段からの第１の変化データと第１の音声パターンとを、操作部により入力された制御内容を示すデータにそれぞれ関連付けて記憶部に記憶する記憶手段と、制御モード時に、撮影手段により撮影して得られた画像信号に基づいて、画像の変化を解析して第２の変化データを生成すると共に、音声入力手段に入力された制御内容を示す音声信号に基づいて、第２の音声パターンを解析する第２の解析手段と、記憶部からの第１の音声パターンの中で第２の解析手段により解析された第２の音声パターンに合致するものがあるかどうかの音声認識解析を行う音声認識解析手段と、音声認識解析手段による音声認識解析が失敗した場合に、記憶部からの第１の変化データの中から第２の解析手段により解析された第２の変化データと合致するものを識別する変化データ識別手段と、音声認識解析手段による音声認識解析が成功したときの第１の音声パターン、又は変化データ識別手段により識別された第１の変化データと関連付けて記憶部に記憶されている制御内容を示すデータを取り出して信号送信部に設定し、信号送信部から制御内容を示すデータに対応した遠隔制御信号を送信させる設定手段とを有する構成としたものである。
【００１６】
この発明では、登録モード時に制御内容に対応付けて、当該制御内容を示す第１の音声パターンと、当該制御内容の音声入力時のユーザーを撮影して得た画像の変化を示す第１の変化データとを記憶部に記憶しておき、制御モード時に、音声入力して得た第２の音声パターンが記憶部に記憶されている第１の音声パターンの中に合致するものがあることを識別できなかったとき（音声認識解析が失敗したとき）には、更に制御モード時の音声入力時のユーザーを撮影して得た画像の変化を示す第２の変化データが記憶部に記憶されている第１の変化データの中から合致するものを識別し、合致した第１の変化パターンに対応して記憶部に記憶されている制御内容のデータを信号送信部に設定するようにしたため、音声パターンのみの識別よりも音声入力された制御内容の認識率を向上させることができる。
【００１７】
また、上記の目的を達成するため、第２の発明の携帯電話装置は、登録モードと制御モードの選択メニュー表示を行う表示部を有し、操作部の操作によりメニュー表示された登録モードと制御モードの一方を選択することを特徴とする。
【００１８】
また、上記の目的を達成するため、第３の発明の携帯電話装置は、撮影手段として、所望の被写体撮影のために設けられたカメラ部を利用することを特徴とする。この発明では、携帯電話装置に元々備わっていたカメラ部を利用するようにしたため、第１及び第２の変化データを取得するための撮影手段を新たな設置を不要にできる。
【００１９】
ここで、上記の各発明における第１及び第２の解析手段は、第１及び第２の変化データとして、所定時間毎のユーザーの唇の形状の変化を示す唇の動きのデータを生成するか、所定時間毎のユーザーの頬の変化を示す頬の動きのデータを生成するか、あるいは、所定時間毎のユーザーの顔と背景の画像割合の変化に基づく光量変化を示すデータを生成することを特徴とする。
【００２０】
また、上記の目的を達成するため、本発明の遠隔制御方法は、ユーザーの音声を音声信号に変換するマイクと、ユーザーの顔全体又は顔の一部の動きを示す画像信号を取得するカメラ部と、少なくとも制御内容を示すデータを入力する操作部と、被制御機器に対して遠隔制御信号を送信する信号送信部とを備えた携帯電話装置を用いた遠隔制御方法であって、登録モード時に、カメラ部により撮影して得られた画像信号に基づいて、画像の変化を解析して第１の変化データを生成すると共に、マイクに入力された制御内容を示す音声信号に基づいて、第１の音声パターンを解析する第１のステップと、第１の変化データと第１の音声パターンとを、操作部により入力された制御内容を示すデータにそれぞれ関連付けて記憶部に記憶する第２のステップと、制御モード時に、カメラ部により撮影して得られた画像信号に基づいて、画像の変化を解析して第２の変化データを生成すると共に、マイクに入力された制御内容を示す音声信号に基づいて、第２の音声パターンを解析する第３のステップと、記憶部からの第１の音声パターンの中で第３のステップで解析された第２の音声パターンに合致するものがあるかどうかの音声認識解析を行う第４のステップと、第４のステップによる音声認識解析が失敗した場合に、記憶部からの第１の変化データの中から第３のステップで解析された第２の変化データと合致するものを識別する第５のステップと、第４のステップによる音声認識解析が成功したときの第１の音声パターン、又は第５のステップにより識別された第１の変化データと関連付けて記憶部に記憶されている制御内容を示すデータを取り出して信号送信部に設定する第６のステップと、信号送信部から制御内容を示すデータに対応した遠隔制御信号を、操作部の操作により任意のタイミングで送信させる第７のステップとを含むことを特徴とする。
【００２１】
この発明では、登録モード時に制御内容に対応付けて、当該制御内容を示す第１の音声パターンと、当該制御内容の音声入力時のユーザーを撮影して得た画像の変化を示す第１の変化データとを記憶部に記憶しておき、制御モード時に、音声入力して得た第２の音声パターンが記憶部に記憶されている第１の音声パターンの中に合致するものがあることを識別できなかったとき（音声認識解析が失敗したとき）には、更に制御モード時の音声入力時のユーザーを撮影して得た画像の変化を示す第２の変化データが記憶部に記憶されている第１の変化データの中から合致するものを識別し、合致した第１の変化パターンに対応して記憶部に記憶されている制御内容のデータを信号送信部に設定するようにしたため、音声パターンのみの識別よりも音声入力された制御内容の認識率を向上させることができる。
【００２２】
【発明の実施の形態】
次に、本発明の一実施の形態について図面と共に説明する。図１は本発明になる携帯電話装置の一実施の形態のブロック図、図２は本発明になる携帯電話装置の一実施の形態の外観正面図を示す。両図において、携帯電話装置１０は、筐体表面に、各種のキーからなりユーザー操作を受け付けるための操作部１１と、音声を収音するマイク１２と、例えば液晶表示素子（ＬＣＤ）で構成され、文字や画像を表示する表示部１３と、所望の被写体を撮像するカメラ部１４とが設けられており、筐体の例えば上部にはアンテナ１５が設けられている。
【００２３】
また、携帯電話装置１０の筐体の内部には、アンテナ１５に接続された無線部１６と、操作部１１からの入力等に基づき、装置全体を統括的に制御する制御部１７と、各種のデータを記憶し、記憶データが読み出される記憶部１８とが設けられている。更に、遠隔操作制御信号を被制御機器３０へ送信する信号送信部１９は、図２に示した携帯電話装置１０の筐体の裏側、又はアンテナ１５側の上端部に設けられている。なお、図１及び図２には図示を省略したが、携帯電話装置１０は従来と同様に、受話音声を発音するスピーカ（レシーバ）や、電源電圧を出力するバッテリ等も備えている。
【００２４】
上記の操作部１１、マイク１２、表示部１３及びカメラ部１４は、携帯電話装置１０に従来から元々搭載されているものである。無線部１６は他の無線機器、もしくはネットワークとの通信を行う際に使用される回路部で、携帯電話装置に本来備えられている回路部である。
【００２５】
制御部１７は、カメラ部１４は、マイク１２への音声入力時に、カメラ部１４により撮影されたユーザーの唇の画像信号を入力として受け、その画像信号から唇の形状の変化を解析してその解析データを出力する機能を有する。また、記憶部１８は携帯電話装置１０の動作上必要なデータが格納、保存される部分であり、遠隔制御信号も保存される。信号送信部１９は、被制御機器３０に信号を送信する際に使用される。被制御機器３０は遠隔操作制御信号により遠隔制御される機器を示す。
【００２６】
次に、本実施の形態の遠隔操作制御のための動作について、図１乃至図４と共に説明する。ここで、図３は本実施の形態の動作説明用フローチャート、図４は唇の動きの解析動作を説明するための図である。まず、操作部１１を操作して、遠隔操作制御するための音声入力モードのメニューを表示部１３に表示させる。本実施の形態では、上記のメニュー表示される音声入力モードには、登録モードと制御モードの２種類がある。
【００２７】
上記の登録モードとは、入力された音声データと取得した唇の動きのデータを、制御内容と関連付けて記憶部１８に格納するためのモードである。他方、上記の制御モードとは、入力された音声データと取得した唇の動きのデータに基づいて、記憶部１８から、関連付けられて保存されている制御内容を信号送信部１９にセットして被制御機器３０を制御するためのモードである。
【００２８】
通常は、最初に登録モードが実行された後は、任意の遠隔制御時に制御モードが実行される。勿論、登録モードを必要に応じて任意のタイミングで実行することも可能である。メニュー表示された音声入力モードから登録モードが選択されると、図３（ａ）のフローチャートに示す動作が行われる。すなわち、登録モードの音声入力受け付け状態となり（ステップＳ２１）、マイク１２に入力された被制御機器３０の遠隔制御に用いる音声が音声信号に変換されて制御部１７に入力されると共に（ステップＳ２２）、カメラ部１４で撮影されたユーザーの唇の画像信号が制御部１７に入力される（ステップＳ２３）。
【００２９】
制御部１７は、入力された音声信号の音声パターンを解析し、その解析内容を表示部１３に表示すると共に、入力された画像信号に基づき唇の動きを解析する（ステップＳ２４）。この唇の動きの解析方法について更に詳細に説明する。カメラ部１４に撮影された画像信号を入力として受けた制御部１７は、画像信号に基づき唇の形状を０．１ｍｓ間隔で取得し、取得した唇の形状を８点（左端点、右端点、上端点、下端点、左上点、右上点、左下点、右下点）の座標データに解析する。
【００３０】
続いて、０．１ｍｓ毎に取得した唇の形状の座標データのうち、前後の座標データの変化から唇の動きを数値化する。例えば、制御部１７は、ある時刻の入力画像が図４（ａ）に示すように、顔画像部４０と耳画像部４１と唇の画像部４２ａとからなり、唇の画像部４２ａの上端点▲１▼の座標「２５．６０」、左上点▲２▼の座標「３４．５０」、左端点▲３▼の座標「４２．４０」、左下点▲４▼の座標「４９．５０」、下端点▲５▼の座標「５５．６０」、右下点▲６▼の座標「４９．７０」、右端点▲７▼の座標「４２．８０」、右上点▲８▼の座標「３４．７０」であるものと解析したものとする。
【００３１】
続いて、０．１ｍｓ後の入力画像が図４（ｂ）に示すように、顔画像部４０と耳画像部４１と唇の画像部４２ｂとからなり、唇の画像部４２ｂの上端点▲１▼の座標「３８．６０」、左上点▲２▼の座標「４２．４５」、左端点▲３▼の座標「４５．３０」、左下点▲４▼の座標「４７．４５」、下端点▲５▼の座標「５０．６０」、右下点▲６▼の座標「４７．７５」、右端点▲７▼の座標「４５．９０」、右上点▲８▼の座標「４２．７５」であるものと解析したものとする。
【００３２】
この場合、上端点▲１▼の座標は「２５．６０」から「３８．６０」に変化しているので、唇の上端は下方向に「１３．００」の座標分に移動していると数値化する。他の７箇所の位置についても同様に数値化する。以上の作業を繰り返すことにより、唇の動きのデータを作成する。
【００３３】
音声入力が終了した後、その音声パターンが入力された際に遠隔制御したい制御内容を操作部１１にて入力する（ステップＳ２５）。なお、制御させたい内容が記憶部１８に無い場合は、無線部１６を用いて事前にネットワークから取得しておく。
【００３４】
最後に、制御部１７は、音声信号と制御内容の両方の情報が入力されると、解析した音声パターンと唇の動きのデータを、入力された制御内容に関連付けして、記憶部１８に保存する（ステップＳ２６）。このようにして、登録モードでは、必要な制御内容に応じた数の音声パターンと唇の動きのデータとが、制御内容に関連付けて記憶部１８に記憶される。
【００３５】
次に、任意の遠隔制御時に、メニュー表示された音声入力モードから制御モードが選択されると、図３（ｂ）のフローチャートに示す動作が行われる。すなわち、制御モードの音声入力受け付け状態となり（ステップＳ３１）、マイク１２に入力された被制御機器３０を遠隔制御しようとする内容の音声が音声信号に変換されて制御部１７に入力されると共に（ステップＳ３２）、カメラ部１４で撮影されたユーザーの唇の画像信号が制御部１７に入力される（ステップＳ３３）。
【００３６】
制御部１７は、入力された音声信号の音声パターンを解析し、その解析内容を表示部１３に表示すると共に、入力された画像信号に基づき唇の動きを登録モード時と同様の手法にて解析する（ステップＳ３４）。続いて、制御部１７は、解析した音声パターンと記憶部１８から読み出した音声パターンとを比較照合して、合致した音声パターンがあるかどうか、すなわち音声認識解析が失敗したか否か判定する（ステップＳ３５）。
【００３７】
雑音等が混じるなどの影響で音声パターンの比較照合による音声認識解析が失敗であると判定された場合は、ステップＳ３４で解析した唇の動きのデータを、記憶部１８から読み出した唇の動きのデータと比較照合して、合致した唇の動きのデータを識別する（ステップＳ３６）。
【００３８】
ステップＳ３５で合致した音声データを取得できた（音声認識解析が成功した）と判定された場合、又はステップＳ３６で合致した唇の動きのデータを取得すると、続いて制御部１７は、記憶部１８を参照して、合致した音声データ又は合致した唇の動きのデータに対応して記憶されている制御内容のデータを取り出して表示部１３に表示する（ステップＳ３７）。
【００３９】
続いて、制御部１７は、記憶部１８から取り出した上記の制御内容のデータを、信号送信部１９へ供給し、制御内容のデータに対応した遠隔制御信号を設定する（ステップＳ３８）。その後、任意のタイミングでユーザーによる操作部１１の操作により遠隔制御信号を例えば赤外線の形態で被制御機器３０に向けて信号送信部１９から送信する（ステップＳ３９）。これにより、ユーザーがマイク１２を用いて音声入力した制御内容の遠隔操作を、被制御機器３０に対して行うことができる。
【００４０】
このように、本実施の形態によれば、従来の音声データの登録だけでなく、唇の動きのデータを制御内容と対応付けて登録しているので、音声認識失敗時に制御モードの音声入力時の唇の動きのデータを、登録してある唇の動きのデータと比較照合して制御内容を判断でき、これにより、制御内容の認識率を従来に比べて向上できる。
【００４１】
なお、上記の実施の形態では、音声認識に失敗した場合は、ステップＳ３６で唇の動きのデータによる識別が常に成功するものとしているが、万一、唇の動きのデータによる識別が失敗した場合は、従来と同様に処理を終了する。
【００４２】
なお、本発明は上記の実施の形態に限定されるものではなく、例えば、唇の動きはカメラ部１４が撮影した画像信号から検出しているが、赤外線センサ装置により唇の動きの画像信号を得ることもでき、また、唇の動き以外の、例えば頬の動きの画像の変化によって入力制御内容を識別することもできる。
【００４３】
更に、ユーザーの顔と背景からなる画像を撮影したときの、ユーザーが音声入力した時に生じる顔の動きと背景の割合の変化に応じた光量の変化によって入力制御内容を識別することもできる。また、信号送信部１９が送信する遠隔制御信号の信号形態は、赤外線に限定されるものではなく、超音波その他の信号形態でもよい。
【００４４】
【発明の効果】
以上説明したように、本発明によれば、制御モード時に、音声入力して得た第２の音声パターンが記憶部に記憶されている第１の音声パターンの中に合致するものがあることを識別できなかったときには、更に制御モード時の音声入力時のユーザーを撮影して得た画像の変化を示す第２の変化データが記憶部に記憶されている第１の変化データの中から合致するものを識別し、合致した第１の変化パターンに対応して記憶部に記憶されている制御内容のデータを信号送信部に設定することにより、従来の音声パターンのみの識別よりも音声入力された制御内容の認識率を向上させるようにしたため、従来に比べて入力制御内容の認識失敗による使用者の再入力操作を大幅に低減することができ、操作の煩わしさを軽減することができ、またより正確な遠隔制御ができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態のブロック図である。
【図２】本発明の一実施の形態の外観正面図である。
【図３】本発明の一実施の形態の動作説明用フローチャートである。
【図４】唇の動きの解析の方法の一例の説明図である。
【図５】従来装置の一例のブロック図である。
【図６】従来装置の動作説明用フローチャートである。
【符号の説明】
１０ 携帯電話装置
１１ 操作部
１２ マイク
１３ 表示部
１４ カメラ部
１５ アンテナ
１６ 無線部
１７ 制御部
１８ 記憶部
１９ 信号送信部
３０ 被制御機器
Claims (8)
- ユーザーの音声を音声信号に変換する音声入力手段と、
ユーザーの顔全体又は顔の一部の動きを示す画像信号を取得する撮影手段と、
少なくとも制御内容を示すデータを入力する操作部と、
被制御機器に対して遠隔制御信号を送信する信号送信部と、
登録モード時に、前記撮影手段により撮影して得られた画像信号に基づいて、画像の変化を解析して第１の変化データを生成すると共に、前記音声入力手段に入力された制御内容を示す音声信号に基づいて、第１の音声パターンを解析する第１の解析手段と、
前記第１の解析手段からの前記第１の変化データと前記第１の音声パターンとを、前記操作部により入力された前記制御内容を示すデータにそれぞれ関連付けて記憶部に記憶する記憶手段と、
制御モード時に、前記撮影手段により撮影して得られた画像信号に基づいて、画像の変化を解析して第２の変化データを生成すると共に、前記音声入力手段に入力された制御内容を示す音声信号に基づいて、第２の音声パターンを解析する第２の解析手段と、
前記記憶部からの前記第１の音声パターンの中で前記第２の解析手段により解析された前記第２の音声パターンに合致するものがあるかどうかの音声認識解析を行う音声認識解析手段と、
前記音声認識解析手段による音声認識解析が失敗した場合に、前記記憶部からの前記第１の変化データの中から前記第２の解析手段により解析された前記第２の変化データと合致するものを識別する変化データ識別手段と、
前記音声認識解析手段による音声認識解析が成功したときの前記第１の音声パターン、又は前記変化データ識別手段により識別された前記第１の変化データと関連付けて前記記憶部に記憶されている前記制御内容を示すデータを取り出して前記信号送信部に設定し、該信号送信部から該制御内容を示すデータに対応した遠隔制御信号を送信させる設定手段と
を有することを特徴とする携帯電話装置。 - 前記登録モードと前記制御モードの選択メニュー表示を行う表示部を有し、前記操作部の操作によりメニュー表示された該登録モードと該制御モードの一方を選択することを特徴とする請求項１記載の携帯電話装置。
- 前記撮影手段として、所望の被写体撮影のために設けられたカメラ部を利用することを特徴とする請求項１記載の携帯電話装置。
- 前記第１及び第２の解析手段は、前記第１及び第２の変化データとして、所定時間毎のユーザーの唇の形状の変化を示す唇の動きのデータを生成することを特徴とする請求項１乃至３のうちいずれか一項記載の携帯電話装置。
- 前記第１及び第２の解析手段は、前記第１及び第２の変化データとして、所定時間毎のユーザーの頬の変化を示す頬の動きのデータを生成することを特徴とする請求項１乃至３のうちいずれか一項記載の携帯電話装置。
- 前記第１及び第２の解析手段は、前記第１及び第２の変化データとして、所定時間毎のユーザーの顔と背景の画像割合の変化に基づく光量変化を示すデータを生成することを特徴とする請求項１乃至３のうちいずれか一項記載の携帯電話装置。
- ユーザーの音声を音声信号に変換するマイクと、ユーザーの顔全体又は顔の一部の動きを示す画像信号を取得するカメラ部と、少なくとも制御内容を示すデータを入力する操作部と、被制御機器に対して遠隔制御信号を送信する信号送信部とを備えた携帯電話装置を用いた遠隔制御方法であって、
登録モード時に、前記カメラ部により撮影して得られた画像信号に基づいて、画像の変化を解析して第１の変化データを生成すると共に、前記マイクに入力された制御内容を示す音声信号に基づいて、第１の音声パターンを解析する第１のステップと、
前記第１の変化データと前記第１の音声パターンとを、前記操作部により入力された前記制御内容を示すデータにそれぞれ関連付けて記憶部に記憶する第２のステップと、
制御モード時に、前記カメラ部により撮影して得られた画像信号に基づいて、画像の変化を解析して第２の変化データを生成すると共に、前記マイクに入力された制御内容を示す音声信号に基づいて、第２の音声パターンを解析する第３のステップと、
前記記憶部からの前記第１の音声パターンの中で前記第３のステップで解析された前記第２の音声パターンに合致するものがあるかどうかの音声認識解析を行う第４のステップと、
前記第４のステップによる音声認識解析が失敗した場合に、前記記憶部からの前記第１の変化データの中から前記第３のステップで解析された前記第２の変化データと合致するものを識別する第５のステップと、
前記第４のステップによる音声認識解析が成功したときの前記第１の音声パターン、又は前記第５のステップにより識別された前記第１の変化データと関連付けて前記記憶部に記憶されている前記制御内容を示すデータを取り出して前記信号送信部に設定する第６のステップと、
前記信号送信部から前記制御内容を示すデータに対応した遠隔制御信号を、前記操作部の操作により任意のタイミングで送信させる第７のステップと
を含むことを特徴とする遠隔制御方法。 - 前記第１及び第３のステップは、前記第１及び第２の変化データとして、所定時間毎のユーザーの唇の形状の変化を示す唇の動きのデータを生成することを特徴とする請求項７記載の遠隔制御方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003036084A JP2004246095A (ja) | 2003-02-14 | 2003-02-14 | 携帯電話装置及び遠隔制御方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003036084A JP2004246095A (ja) | 2003-02-14 | 2003-02-14 | 携帯電話装置及び遠隔制御方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004246095A true JP2004246095A (ja) | 2004-09-02 |
Family
ID=33021283
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003036084A Pending JP2004246095A (ja) | 2003-02-14 | 2003-02-14 | 携帯電話装置及び遠隔制御方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004246095A (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006080161A1 (ja) * | 2005-01-28 | 2006-08-03 | Kyocera Corporation | 発声内容認識装置及び発声内容認識方法 |
| JP2011070224A (ja) * | 2010-12-24 | 2011-04-07 | Kyocera Corp | 発声内容認識装置 |
| KR20120013032A (ko) * | 2010-08-04 | 2012-02-14 | 엘지전자 주식회사 | 음성 인식 방법 및 그에 따른 영상 표시 장치 |
| KR101373206B1 (ko) * | 2007-02-12 | 2014-03-12 | 삼성전자 주식회사 | 음성인식과 영상인식을 이용한 휴대단말기에서의 문서작성방법 |
| WO2014106927A1 (ja) * | 2013-01-07 | 2014-07-10 | 日立マクセル株式会社 | 携帯端末装置及び情報処理システム |
| JP2016129069A (ja) * | 2016-03-10 | 2016-07-14 | 日立マクセル株式会社 | 携帯端末装置及び情報処理システム |
| JP2019124838A (ja) * | 2018-01-17 | 2019-07-25 | 株式会社Ｊｖｃケンウッド | 音声出力制御装置、電子機器、音声出力制御方法およびプログラム |
-
2003
- 2003-02-14 JP JP2003036084A patent/JP2004246095A/ja active Pending
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006208751A (ja) * | 2005-01-28 | 2006-08-10 | Kyocera Corp | 発声内容認識装置 |
| WO2006080161A1 (ja) * | 2005-01-28 | 2006-08-03 | Kyocera Corporation | 発声内容認識装置及び発声内容認識方法 |
| US7979276B2 (en) | 2005-01-28 | 2011-07-12 | Kyocera Corporation | Speech recognition apparatus and speech recognition method |
| KR101373206B1 (ko) * | 2007-02-12 | 2014-03-12 | 삼성전자 주식회사 | 음성인식과 영상인식을 이용한 휴대단말기에서의 문서작성방법 |
| KR101687614B1 (ko) * | 2010-08-04 | 2016-12-19 | 엘지전자 주식회사 | 음성 인식 방법 및 그에 따른 영상 표시 장치 |
| KR20120013032A (ko) * | 2010-08-04 | 2012-02-14 | 엘지전자 주식회사 | 음성 인식 방법 및 그에 따른 영상 표시 장치 |
| JP2011070224A (ja) * | 2010-12-24 | 2011-04-07 | Kyocera Corp | 発声内容認識装置 |
| WO2014106927A1 (ja) * | 2013-01-07 | 2014-07-10 | 日立マクセル株式会社 | 携帯端末装置及び情報処理システム |
| JP2014132396A (ja) * | 2013-01-07 | 2014-07-17 | Hitachi Consumer Electronics Co Ltd | 携帯端末装置及び情報処理システム |
| US10303433B2 (en) | 2013-01-07 | 2019-05-28 | Maxell, Ltd. | Portable terminal device and information processing system |
| US11487502B2 (en) | 2013-01-07 | 2022-11-01 | Maxell, Ltd. | Portable terminal device and information processing system |
| US11861264B2 (en) | 2013-01-07 | 2024-01-02 | Maxell, Ltd. | Portable terminal device and information processing system |
| JP2016129069A (ja) * | 2016-03-10 | 2016-07-14 | 日立マクセル株式会社 | 携帯端末装置及び情報処理システム |
| JP2019124838A (ja) * | 2018-01-17 | 2019-07-25 | 株式会社Ｊｖｃケンウッド | 音声出力制御装置、電子機器、音声出力制御方法およびプログラム |
| JP7010012B2 (ja) | 2018-01-17 | 2022-01-26 | 株式会社Ｊｖｃケンウッド | 音声出力制御装置、電子機器、音声出力制御方法およびプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109151180B (zh) | 一种对象识别方法及移动终端 | |
| KR20100061582A (ko) | 이동통신단말기에서 감정 표시 서비스를 제공하기 위한 장치 및 방법 | |
| CN108763999B (zh) | 条形码识别方法以及终端设备 | |
| KR101593916B1 (ko) | 이동통신 단말에서 영상 인식을 이용한 무선 연결 방법 및 장치 | |
| CN105532634A (zh) | 超声波驱蚊方法、装置及系统 | |
| CN107682359B (zh) | 一种应用注册方法、移动终端 | |
| CN107845386B (zh) | 声音信号处理方法、移动终端和服务器 | |
| US11144422B2 (en) | Apparatus and method for controlling external device | |
| CN108763475B (zh) | 一种录制方法、录制装置及终端设备 | |
| KR101336951B1 (ko) | 휴대 단말기 및 그 파노라마 이미지 촬영 모드 수행 방법 | |
| JP2008306487A (ja) | 個人識別通信システム及び個人識別通信システムにおいて実行されるプログラム | |
| JP2004246095A (ja) | 携帯電話装置及び遠隔制御方法 | |
| CN111738100A (zh) | 一种基于口型的语音识别方法及终端设备 | |
| CN112735388B (zh) | 网络模型训练方法、语音识别处理方法及相关设备 | |
| US11227423B2 (en) | Image and sound pickup device, sound pickup control system, method of controlling image and sound pickup device, and method of controlling sound pickup control system | |
| CN111401283A (zh) | 面部识别方法及装置、电子设备及存储介质 | |
| KR20120076676A (ko) | 휴대단말기의 보안 인증 장치 및 방법 | |
| JP2004015250A (ja) | 携帯端末装置 | |
| CN110321680B (zh) | 身份验证方法和终端设备 | |
| KR101264797B1 (ko) | 휴대 단말기에서 얼굴인식을 통한 사진 검색 방법 | |
| CN108280189B (zh) | 一种基于智能笔的语音搜题方法及系统 | |
| CN110213431B (zh) | 消息发送方法及移动终端 | |
| CN109978757B (zh) | 一种图像处理方法及终端设备 | |
| KR100996427B1 (ko) | 사용자 식별 아이콘을 이용한 사용자 인증 기능을 가지는영상 전화기 및 이를 이용한 원격 건강 관리 서비스 방법 | |
| CN111857326A (zh) | 信号控制方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060417 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060829 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20061226 |