JP2011128766A5 - - Google Patents

Claims (10)

1. 操作対象装置へ入力するコマンドを操作者による音声及びジェスチャの両方に基づいて決定する入力装置であって、
   操作者による音声が入力される音声入力部と、
   操作者によるジェスチャを撮影した画像が入力される画像入力部と、
   前記入力される音声に対して音声認識処理を行い、操作対象装置へコマンドを入力するための音声として予め定められた音声のうち該入力される音声と一致する音声の候補を特定し、該入力される音声が該特定した候補に一致する確からしさの指標である音声認識スコアを算出する音声認識スコア算出部と、
   前記入力される画像に対して画像認識処理を行い、操作対象装置へコマンドを入力するためのジェスチャとして予め定められたジェスチャのうち該入力される画像に撮影されたジェスチャと一致するジェスチャの候補を特定し、該入力される画像に撮影されたジェスチャが該特定した候補に一致する確からしさの指標であるジェスチャ認識スコアを算出するジェスチャ認識スコア算出部と、
   前記特定した候補に基づいて操作対象装置へ入力するコマンドを決定するコマンド決定部と、
   を備え、
   前記コマンド決定部は、前記算出した音声認識スコア及びジェスチャ認識スコアのいずれか一方が所定の第１の閾値より小さい場合、他方の認識スコアに対応する候補のみに基づいて操作対象装置へ入力するコマンドを決定することを特徴とする入力装置。
2. 前記コマンド決定部は、前記算出した音声認識スコア及びジェスチャ認識スコアが両方とも前記第１の閾値より小さい場合、前記特定した候補を破棄し、前記特定した候補に基づく操作対象装置へ入力するコマンドの決定を行わないことを特徴とする請求項１に記載の入力装置。
3. 前記コマンド決定部は、前記算出した音声認識スコア及びジェスチャ認識スコアの少なくとも一方が、前記第１の閾値より小さい所定の第２の閾値より小さい場合、前記特定した両方の候補を破棄し、前記特定した候補に基づく操作対象装置へ入力するコマンドの決定を行わないことを特徴とする請求項１又は２に記載の入力装置。
4. 操作対象装置へ入力するコマンドを操作者による音声及びジェスチャの両方に基づいて決定する入力装置であって、
   操作者による音声が入力される音声入力部と、
   操作者によるジェスチャを撮影した画像が入力される画像入力部と、
   前記入力される音声に対して音声認識処理を行い、操作対象装置へコマンドを入力するための音声として予め定められた音声のうち該入力される音声と一致する音声の候補を特定し、該入力される音声が該特定した候補に一致する確からしさの指標である音声認識スコアを算出する音声認識スコア算出部と、
   前記入力される画像に対して画像認識処理を行い、操作対象装置へコマンドを入力するためのジェスチャとして予め定められたジェスチャのうち該入力される画像に撮影されたジェスチャと一致するジェスチャの候補を特定し、該入力される画像に撮影されたジェスチャが該特定した候補に一致する確からしさの指標であるジェスチャ認識スコアを算出するジェスチャ認識スコア算出部と、
   前記特定した候補に基づいて操作対象装置へ入力するコマンドを決定するコマンド決定部と、
   を備え、
   前記コマンド決定部は、前記算出した音声認識スコアとジェスチャ認識スコアとの差の大きさが所定の第３の閾値より大きい場合、該音声認識スコアとジェスチャ認識スコアのうち大きい方に対応する候補のみに基づいて操作対象装置へ入力するコマンドを決定することを特徴とする入力装置。
5. 前記コマンド決定部は、前記算出した音声認識スコア及びジェスチャ認識スコアの少なくとも一方が、所定の第２の閾値より小さい場合、前記特定した両方の候補を破棄し、前記特定した候補に基づく操作対象装置へ入力するコマンドの決定を行わないことを特徴とする請求項４に記載の入力装置。
6. 操作対象装置へ入力するコマンドを操作者による音声及びジェスチャの両方に基づいて決定する入力方法であって、
   操作者による音声が入力される音声入力工程と、
   操作者によるジェスチャを撮影した画像が入力される画像入力工程と、
   前記入力される音声に対して音声認識処理を行い、操作対象装置へコマンドを入力するための音声として予め定められた音声のうち該入力される音声と一致する音声の候補を特定し、該入力される音声が該特定した候補に一致する確からしさの指標である音声認識スコアを算出する音声認識スコア算出工程と、
   前記入力される画像に対して画像認識処理を行い、操作対象装置へコマンドを入力するためのジェスチャとして予め定められたジェスチャのうち該入力される画像に撮影されたジェスチャと一致するジェスチャの候補を特定し、該入力される画像に撮影されたジェスチャが該特定した候補に一致する確からしさの指標であるジェスチャ認識スコアを算出するジェスチャ認識スコア算出工程と、
   前記特定した候補に基づいて操作対象装置へ入力するコマンドを決定するコマンド決定工程と、
   を有し、
   前記コマンド決定工程は、前記算出した音声認識スコア及びジェスチャ認識スコアのいずれか一方が所定の第１の閾値より小さい場合、他方の認識スコアに対応する候補のみに基づいて操作対象装置へ入力するコマンドを決定することを特徴とする入力方法。
7. 前記コマンド決定工程では、前記算出した音声認識スコア及びジェスチャ認識スコアが両方とも前記第１の閾値より小さい場合、前記特定した候補を破棄し、前記特定した候補に基づく操作対象装置へ入力するコマンドの決定を行わないことを特徴とする請求項６に記載の入力方法。
8. 前記コマンド決定工程では、前記算出した音声認識スコア及びジェスチャ認識スコアの少なくとも一方が、前記第１の閾値より小さい所定の第２の閾値より小さい場合、前記特定した両方の候補を破棄し、前記特定した候補に基づく操作対象装置へ入力するコマンドの決定を行わないことを特徴とする請求項６又は７に記載の入力方法。
9. 操作対象装置へ入力するコマンドを操作者による音声及びジェスチャの両方に基づいて決定する入力方法であって、
   操作者による音声が入力される音声入力工程と、
   操作者によるジェスチャを撮影した画像が入力される画像入力工程と、
   前記入力される音声に対して音声認識処理を行い、操作対象装置へコマンドを入力するための音声として予め定められた音声のうち該入力される音声と一致する音声の候補を特定し、該入力される音声が該特定した候補に一致する確からしさの指標である音声認識スコアを算出する音声認識スコア算出工程と、
   前記入力される画像に対して画像認識処理を行い、操作対象装置へコマンドを入力するためのジェスチャとして予め定められたジェスチャのうち該入力される画像に撮影されたジェスチャと一致するジェスチャの候補を特定し、該入力される画像に撮影されたジェスチャが該特定した候補に一致する確からしさの指標であるジェスチャ認識スコアを算出するジェスチャ認識スコア算出工程と、
   前記特定した候補に基づいて操作対象装置へ入力するコマンドを決定するコマンド決定工程と、
   を有し、
   前記コマンド決定工程は、前記算出した音声認識スコアとジェスチャ認識スコアとの差の大きさが所定の第３の閾値より大きい場合、該音声認識スコアとジェスチャ認識スコアのうち大きい方に対応する候補のみに基づいて操作対象装置へ入力するコマンドを決定することを特徴とする入力方法。
10. 前記コマンド決定工程では、前記算出した音声認識スコア及びジェスチャ認識スコアの少なくとも一方が、所定の第２の閾値より小さい場合、前記特定した両方の候補を破棄し、前記特定した候補に基づく操作対象装置へ入力するコマンドの決定を行わないことを特徴とする請求項９に記載の入力方法。