JP2002091754A - 作業支援コンピュータ操作装置、作業支援コンピュータ操作システム、作業支援コンピュータ制御方法及びそのためのプログラムを記録した記録媒体 - Google Patents
作業支援コンピュータ操作装置、作業支援コンピュータ操作システム、作業支援コンピュータ制御方法及びそのためのプログラムを記録した記録媒体Info
- Publication number
- JP2002091754A JP2002091754A JP2000278557A JP2000278557A JP2002091754A JP 2002091754 A JP2002091754 A JP 2002091754A JP 2000278557 A JP2000278557 A JP 2000278557A JP 2000278557 A JP2000278557 A JP 2000278557A JP 2002091754 A JP2002091754 A JP 2002091754A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- computer
- user interface
- graphical user
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
(57)【要約】
【課題】 １台のコンピュータで複数作業者（操作者）
に対応可能とし、作業者の装着負担を軽減する。 【解決手段】 複数の作業者（操作者）からの発声を、
音声受信部およびミキサ部を介してコンピュータ部１０
０、２００に入力可能としたうえで、特定のグラフィカ
ルユーザインタフェースの操作に該当する発声かを識別
する音声認識部１０１、２０１と、その認識結果に基づ
きコンピュータのグラフィカルユーザインタフェースを
操作する情報を出力する操作部１０２、２０２により、
複数の作業者が同一のコンピュータを操作し、業務に必
要な映像や音声、データ入出力などの情報支援を受ける
ことを可能とする。
に対応可能とし、作業者の装着負担を軽減する。 【解決手段】 複数の作業者（操作者）からの発声を、
音声受信部およびミキサ部を介してコンピュータ部１０
０、２００に入力可能としたうえで、特定のグラフィカ
ルユーザインタフェースの操作に該当する発声かを識別
する音声認識部１０１、２０１と、その認識結果に基づ
きコンピュータのグラフィカルユーザインタフェースを
操作する情報を出力する操作部１０２、２０２により、
複数の作業者が同一のコンピュータを操作し、業務に必
要な映像や音声、データ入出力などの情報支援を受ける
ことを可能とする。
Description
【０００１】
【発明の属する技術的分野】本発明は、インフラ、生
産、流通および各種サービス関連の作業者等が使用す
る、映像や音声、データ入出力などの情報支援を行う作
業支援コンピュータの操作技術に関するものである。
産、流通および各種サービス関連の作業者等が使用す
る、映像や音声、データ入出力などの情報支援を行う作
業支援コンピュータの操作技術に関するものである。
【０００２】
【従来の技術】インフラ、生産、流通および各種サービ
ス関連の作業者等が使用する、映像や音声、データ入出
力などの情報支援を行うコンピュータシステムの従来技
術としては、作業者（操作者）がそれぞれコンピュータ
およびヘッドマウンテンディスプレイ等を身につけ、こ
の身につけたコンピュータの情報処理機能により業務支
援を行う方法が一般的である。
ス関連の作業者等が使用する、映像や音声、データ入出
力などの情報支援を行うコンピュータシステムの従来技
術としては、作業者（操作者）がそれぞれコンピュータ
およびヘッドマウンテンディスプレイ等を身につけ、こ
の身につけたコンピュータの情報処理機能により業務支
援を行う方法が一般的である。
【０００３】
【発明が解決しようとする課題】しかしながら、上記従
来技術においては、作業者毎に１台のコンピュータが必
要であること、作業者の装着負担が大きいことなどの問
題があった。
来技術においては、作業者毎に１台のコンピュータが必
要であること、作業者の装着負担が大きいことなどの問
題があった。
【０００４】本発明の目的は、このような従来技術の問
題に鑑み、１台のコンピュータで複数作業者の対応を可
能とするとともに、作業者の装着負担を軽減する作業支
援コンピュータ操作装置やシステムを提供することにあ
る。
題に鑑み、１台のコンピュータで複数作業者の対応を可
能とするとともに、作業者の装着負担を軽減する作業支
援コンピュータ操作装置やシステムを提供することにあ
る。
【０００５】
【課題を解決するための手段】本発明は、複数の作業者
（操作者）からの発声を、音声受信部およびミキサ部等
を介してコンピュータ部に入力可能としたうえで、特定
のグラフィカルユーザインタフェースの操作に該当する
発声かを識別する音声認識部と、その認識結果に基づき
コンピュータにグラフィカルユーザインタフェースを操
作する情報を出力する操作部により、複数の作業者が同
一のコンピュータを操作し、業務に必要な映像や音声、
データ入出力などの情報支援を受けることを可能とした
ものである。
（操作者）からの発声を、音声受信部およびミキサ部等
を介してコンピュータ部に入力可能としたうえで、特定
のグラフィカルユーザインタフェースの操作に該当する
発声かを識別する音声認識部と、その認識結果に基づき
コンピュータにグラフィカルユーザインタフェースを操
作する情報を出力する操作部により、複数の作業者が同
一のコンピュータを操作し、業務に必要な映像や音声、
データ入出力などの情報支援を受けることを可能とした
ものである。
【０００６】これにより、作業者はマイク部、音声送信
部、ワイヤレスマイク部などを身につけるのみでよく、
コンピュータのＣＰＵ、記憶装置およびそのための電源
装置を装着する必要がなくなるため、作業者の装着負担
を軽減することができる。
部、ワイヤレスマイク部などを身につけるのみでよく、
コンピュータのＣＰＵ、記憶装置およびそのための電源
装置を装着する必要がなくなるため、作業者の装着負担
を軽減することができる。
【０００７】
【発明の実施の形態】以下、本発明の一実施例を図面に
より説明する。図１は本発明の一実施例の全体構成図を
示したものである。これは、多数の作業者（操作者）が
例えば梱包等の作業を行い、異常等がみつかった場合、
各作業者が音声により、作業者の撮影した映像のフィル
ム化、作業記録等をアプリケーシヨンに操作指示する実
施例である。
より説明する。図１は本発明の一実施例の全体構成図を
示したものである。これは、多数の作業者（操作者）が
例えば梱包等の作業を行い、異常等がみつかった場合、
各作業者が音声により、作業者の撮影した映像のフィル
ム化、作業記録等をアプリケーシヨンに操作指示する実
施例である。
【０００８】図１において、１は作業者の音声を電気信
号に変換するマイク部、２はこれを無線送信する音声送
信部であり、複数の作業者がそれぞれ装着する。各作業
者が発声した音声は、これらマイク部１、音声送信部２
を介してそれぞれ無線送信される。３は音声受信部であ
り、音声送信部２と一対一に対応し、それぞれ対応する
音声送信部２からの音声信号を受信する。４はミキサ部
であり、複数の音声受信部３からの音声信号を入力して
加算する処理を行い、制御用コンピュータ部２００に該
加算した信号を出力するとともに、制御用コンピュータ
２００からの制御用信号に基づき、情報支援コンピュ−
タ部１００に出力する音声信号を選択する処理を行う。
号に変換するマイク部、２はこれを無線送信する音声送
信部であり、複数の作業者がそれぞれ装着する。各作業
者が発声した音声は、これらマイク部１、音声送信部２
を介してそれぞれ無線送信される。３は音声受信部であ
り、音声送信部２と一対一に対応し、それぞれ対応する
音声送信部２からの音声信号を受信する。４はミキサ部
であり、複数の音声受信部３からの音声信号を入力して
加算する処理を行い、制御用コンピュータ部２００に該
加算した信号を出力するとともに、制御用コンピュータ
２００からの制御用信号に基づき、情報支援コンピュ−
タ部１００に出力する音声信号を選択する処理を行う。
【０００９】５はワイヤレスカメラ部であり、各作業者
がそれぞれ装着し、作業者が撮影した画面の映像信号を
無線送信する。６はワイヤレスカメラ映像受信部であ
り、ワイヤレスカメラ部５と一対一に対応し、それぞれ
対応するワイヤレスカメラ部５からの映像信号を受信す
る。７は工場内等を撮影するカメラ部である。８は映像
選択部であり、複数のワイヤレスカメラ映像受信部６お
よびカメラ部７からの映像信号を入力するとともに、制
御用コンピュータ部２００からの制御用信号に基づき、
該映像信号を選択し、情報支援コンピュ−タ部１００に
選択した映像信号を出力する処理を行う。
がそれぞれ装着し、作業者が撮影した画面の映像信号を
無線送信する。６はワイヤレスカメラ映像受信部であ
り、ワイヤレスカメラ部５と一対一に対応し、それぞれ
対応するワイヤレスカメラ部５からの映像信号を受信す
る。７は工場内等を撮影するカメラ部である。８は映像
選択部であり、複数のワイヤレスカメラ映像受信部６お
よびカメラ部７からの映像信号を入力するとともに、制
御用コンピュータ部２００からの制御用信号に基づき、
該映像信号を選択し、情報支援コンピュ−タ部１００に
選択した映像信号を出力する処理を行う。
【００１０】情報支援コンピュータ部１００は、内部
に、ミキサ部４からの音声出力信号が、特定のグラフィ
カルユーザインタフェースの操作に該当する発声かを判
断（識別）する音声認識部や、認識結果に基づきグラフ
ィカルユーザインタフェースを操作する情報を出力する
操作部を具備するとともに、映像選択部８からの映像信
号やミキサ部４からの音声信号について、グラフィカル
ユーザインタフェースにより操作可能な各種情報支援コ
ンピュータアプリケーションを実行する処理を行う。
に、ミキサ部４からの音声出力信号が、特定のグラフィ
カルユーザインタフェースの操作に該当する発声かを判
断（識別）する音声認識部や、認識結果に基づきグラフ
ィカルユーザインタフェースを操作する情報を出力する
操作部を具備するとともに、映像選択部８からの映像信
号やミキサ部４からの音声信号について、グラフィカル
ユーザインタフェースにより操作可能な各種情報支援コ
ンピュータアプリケーションを実行する処理を行う。
【００１１】制御用コンピュータ部２００は、内部に、
ミキサ部４からの出力音声信号が、特定のグラフィカル
ユーザインタフェースの操作に該当する発声かを判断
（識別）する音声認識部や、認識結果に基づきグラフィ
カルユーザインタフェースを操作する操作部２０２を具
備するとともに、ミキサ部４に選択・加算する音声信号
を制御する制御信号を送信し、映像選択部８に選択する
映像信号を制御する制御信号を送信するための制御用コ
ンピュータアプリケーションを実行する処理を行う。
ミキサ部４からの出力音声信号が、特定のグラフィカル
ユーザインタフェースの操作に該当する発声かを判断
（識別）する音声認識部や、認識結果に基づきグラフィ
カルユーザインタフェースを操作する操作部２０２を具
備するとともに、ミキサ部４に選択・加算する音声信号
を制御する制御信号を送信し、映像選択部８に選択する
映像信号を制御する制御信号を送信するための制御用コ
ンピュータアプリケーションを実行する処理を行う。
【００１２】上記ミキサ部４、映像選択部８、情報支援
コンピュ−タ部１００および制御用コンピュータ部２０
０の構成については後述する。
コンピュ−タ部１００および制御用コンピュータ部２０
０の構成については後述する。
【００１３】９はプロジエクタ部であり、情報支援コン
ピュ−タ部１００の出力画面を映写する。１０はスクリ
ーンであり、プロジエクタ部９の映像が映し出される部
分である。
ピュ−タ部１００の出力画面を映写する。１０はスクリ
ーンであり、プロジエクタ部９の映像が映し出される部
分である。
【００１４】１１は出力結果送信部であり、情報支援コ
ンピュータ部１００の出力画面信号を無線送信する処理
および、出力音声信号を無線送信する処理を行う。１２
は出力結果受信・出力部であり、出力結果送信部１１よ
り無線送信された情報支援用コンピュータ１００の出力
画面信号を無線受信する処理および、出力音声信号を無
線受信する処理、ならびに、これらを映像、音声として
出力する処理を行う。出力結果送信部１１と出力結果受
信・出力部１２を対応する機器として、ＲＦ無線やＳＳ
無線による映像音声送受信機、あるいはＵＨＦやＢＳな
どの無線により無線送信し、携帯型テレビ等の機器の利
用により映像・音声を受信・出力することが可能であ
る。
ンピュータ部１００の出力画面信号を無線送信する処理
および、出力音声信号を無線送信する処理を行う。１２
は出力結果受信・出力部であり、出力結果送信部１１よ
り無線送信された情報支援用コンピュータ１００の出力
画面信号を無線受信する処理および、出力音声信号を無
線受信する処理、ならびに、これらを映像、音声として
出力する処理を行う。出力結果送信部１１と出力結果受
信・出力部１２を対応する機器として、ＲＦ無線やＳＳ
無線による映像音声送受信機、あるいはＵＨＦやＢＳな
どの無線により無線送信し、携帯型テレビ等の機器の利
用により映像・音声を受信・出力することが可能であ
る。
【００１５】以下、図１の全体的動作を説明する。作業
者が発声した音声は、マイク部１、音声送信部２および
音声受信部３を介してミキサ部４に音声信号として入力
される。複数の作業者からの音声信号も同様にしてミキ
サ部４に音声信号として入力される。これらの音声信号
は、ミキサ部４で加算処理され、制御用コンピュータ部
２００に入力される。制御用コンピュータ部２００で
は、ミキサ部４からの音声信号が、特定のグラフィカル
ユーザインタフェースの操作に該当する発声かを判断
し、その認識結果に基づきグラフィカルユーザインタフ
ェースを操作して、ミキサ部４に音声信号を選択する選
択する制御信号を送信し、映像選択部８に映像信号を選
択する制御信号を送信する。ミキサ部４では制御用コン
ピュータ部２００からの制御信号に基づき加算する音声
信号を選択し、情報支援コンピュ−タ部１００に出力す
る。
者が発声した音声は、マイク部１、音声送信部２および
音声受信部３を介してミキサ部４に音声信号として入力
される。複数の作業者からの音声信号も同様にしてミキ
サ部４に音声信号として入力される。これらの音声信号
は、ミキサ部４で加算処理され、制御用コンピュータ部
２００に入力される。制御用コンピュータ部２００で
は、ミキサ部４からの音声信号が、特定のグラフィカル
ユーザインタフェースの操作に該当する発声かを判断
し、その認識結果に基づきグラフィカルユーザインタフ
ェースを操作して、ミキサ部４に音声信号を選択する選
択する制御信号を送信し、映像選択部８に映像信号を選
択する制御信号を送信する。ミキサ部４では制御用コン
ピュータ部２００からの制御信号に基づき加算する音声
信号を選択し、情報支援コンピュ−タ部１００に出力す
る。
【００１６】作業者が撮影する映像は、ワイヤレスカメ
ラ部５およびワイヤレスカメラ映像受信部６を介して映
像選択部８に映像信号として入力される。複数の作業者
からの映像信号も同様にして、映像選択部８に映像信号
として入力される。また、固定されたカメラ部７の映像
も映像選択部８に映像信号として入力される。映像選択
部８では、これらの映像信号のなかから所定の映像信号
を、制御用コンピュータ部２００からの制御用信号に基
づき選択して、これを情報支援コンピュータ部１００へ
送出する。
ラ部５およびワイヤレスカメラ映像受信部６を介して映
像選択部８に映像信号として入力される。複数の作業者
からの映像信号も同様にして、映像選択部８に映像信号
として入力される。また、固定されたカメラ部７の映像
も映像選択部８に映像信号として入力される。映像選択
部８では、これらの映像信号のなかから所定の映像信号
を、制御用コンピュータ部２００からの制御用信号に基
づき選択して、これを情報支援コンピュータ部１００へ
送出する。
【００１７】情報支援コンピュータ部１００では、ミキ
サ部４からの出力声音信号が、特定のグラフィカルユー
ザインタフェースの操作に該当する発声かを判断し、そ
の認識結果に基づきグラフィカルユーザインタフェース
を操作して、該グラフィカルユーザインタフェースによ
り操作可能な各種情報支援コンピュータアプリケーショ
ンを実行する。例えば、映像選択部８から入力される映
像信号をもとに、作業者の撮影した映像をファイル化
し、また、作業者が音声で入力する撮影時刻、撮影者等
をもとに作業内容を記録する情報支援アプリケーション
を実行する。他には、作業のやり方を示したマニュアル
を表示する情報支援アプリケーション、作業者が撮影し
た音声や映像をネッワークを介して他のコンピュータと
送受信する情報支援アプリケーションなどが、例として
あげられる。また、グラフィカルユーザインタフェース
により操作可能な種々の情報支援アプリケーションを、
多数の作業者が操作することが可能である。
サ部４からの出力声音信号が、特定のグラフィカルユー
ザインタフェースの操作に該当する発声かを判断し、そ
の認識結果に基づきグラフィカルユーザインタフェース
を操作して、該グラフィカルユーザインタフェースによ
り操作可能な各種情報支援コンピュータアプリケーショ
ンを実行する。例えば、映像選択部８から入力される映
像信号をもとに、作業者の撮影した映像をファイル化
し、また、作業者が音声で入力する撮影時刻、撮影者等
をもとに作業内容を記録する情報支援アプリケーション
を実行する。他には、作業のやり方を示したマニュアル
を表示する情報支援アプリケーション、作業者が撮影し
た音声や映像をネッワークを介して他のコンピュータと
送受信する情報支援アプリケーションなどが、例として
あげられる。また、グラフィカルユーザインタフェース
により操作可能な種々の情報支援アプリケーションを、
多数の作業者が操作することが可能である。
【００１８】情報支援コンピュータ部１００からの出力
画面および出力音声信号は、プロジェクタ部９に入力さ
れ、画像はスクリーン１０に映写されるとともに、出力
音声信号はプロジェクタ部９に内蔵された音声出力部よ
り出力される。また、情報支援コンピュータ部１００の
出力画面および出力音声信号は、出力結果送信部１１を
介して作業者が装備する出力結果・出力部１２に出力さ
れる。
画面および出力音声信号は、プロジェクタ部９に入力さ
れ、画像はスクリーン１０に映写されるとともに、出力
音声信号はプロジェクタ部９に内蔵された音声出力部よ
り出力される。また、情報支援コンピュータ部１００の
出力画面および出力音声信号は、出力結果送信部１１を
介して作業者が装備する出力結果・出力部１２に出力さ
れる。
【００１９】図２は、ミキサ部４、映像選択部８、情報
支援コンピュータ部１００および制御用コンピュータ部
２００の構成例を示したものである。
支援コンピュータ部１００および制御用コンピュータ部
２００の構成例を示したものである。
【００２０】ミキサ部４は、制御信号受信部４０１、加
算部４０２、出力部Ａ４０３、出力部Ｂ４０４から構成
される。制御信号受信部４０１は、制御用コンピュータ
部２００が出力した制御信号を受信する。加算部４０２
は、入力された音声信号を加算して出力部Ｂ４０４に出
力するとともに、制御信号受信部４０１で受信した制御
信号に基づき、入力された音声信号の中から、制御信号
に該当する音声信号を選択・加算して、出力部Ａ４０３
に出力する。出力部Ａ４０３は、加算部４０２から出力
された音声信号を情報支援コンピュータ部１００に出力
する。出力部Ｂ４０４は、加算部４０２から出力された
音声信号を制御用コンピュータ部２００に出力する。
算部４０２、出力部Ａ４０３、出力部Ｂ４０４から構成
される。制御信号受信部４０１は、制御用コンピュータ
部２００が出力した制御信号を受信する。加算部４０２
は、入力された音声信号を加算して出力部Ｂ４０４に出
力するとともに、制御信号受信部４０１で受信した制御
信号に基づき、入力された音声信号の中から、制御信号
に該当する音声信号を選択・加算して、出力部Ａ４０３
に出力する。出力部Ａ４０３は、加算部４０２から出力
された音声信号を情報支援コンピュータ部１００に出力
する。出力部Ｂ４０４は、加算部４０２から出力された
音声信号を制御用コンピュータ部２００に出力する。
【００２１】映像選択部８は、制御信号受信部８０１、
映像信号選択部８０２から構成される。制御信号受信部
８０１は、制御用コンピュータ部２００が出力した制御
信号を受信する。映像信号選択部８０２は、制御信号受
信部８０１で受信された制御信号に基づき、入力された
映像信号の中から、制御信号に該当する映像信号を選択
し、情報支援コンピュータ部１００に出力する。
映像信号選択部８０２から構成される。制御信号受信部
８０１は、制御用コンピュータ部２００が出力した制御
信号を受信する。映像信号選択部８０２は、制御信号受
信部８０１で受信された制御信号に基づき、入力された
映像信号の中から、制御信号に該当する映像信号を選択
し、情報支援コンピュータ部１００に出力する。
【００２２】制御用コンピュータ部２００は、音声信号
が、特定のグラフィカルユーザインタフェースの操作に
該当する発声かを判断する音声認識部２０１と、認識結
果に基づきグラフィカルユーザインタフェースを操作す
る情報を出力する操作部２０２と、ミキサ部４に音声信
号を選択する制御信号を、映像選択部１１に映像信号を
制御する制御信号を送信する制御用アプリケーション部
２０３から構成される。
が、特定のグラフィカルユーザインタフェースの操作に
該当する発声かを判断する音声認識部２０１と、認識結
果に基づきグラフィカルユーザインタフェースを操作す
る情報を出力する操作部２０２と、ミキサ部４に音声信
号を選択する制御信号を、映像選択部１１に映像信号を
制御する制御信号を送信する制御用アプリケーション部
２０３から構成される。
【００２３】制御用アプリケーション部２０３は現在開
かれている制御画面のグラフィカルユーザインタフェー
ス情報を音声認識部２０１に送信する。音声認識部２０
１は、ミキサ部４から音声信号を周知の方法で音声認識
して文字コード列に変換した後、この文字コード列と制
御用アプリケーション部２０３からのグラフィカルユー
ザインタフェース情報とを照合して、特定のグラフィカ
ルユーザインタフェースの操作に該当する発声があった
かを判断する。そして、特定のグラフィカルユーザイン
タフェースの操作に該当する発声があったと判断した場
合、音声認識部２０１では、そのグラフィカルユーザイ
ンタフェース情報を認識情報として操作部２０２に送信
する。操作部２０２は、音声認識部２０１からの認識情
報に基づき、制御用アプリケーション部２０３に対して
特定のグラフィカルユーザインタフェースの操作を実行
させる操作情報を送信する。制御用アプリケーション部
２０３は、操作部２０２からのグラフィカルユーザイン
タフェース操作情報にもとづき、ミキサ部４や映像選択
部８に所定の制御信号を送信する。
かれている制御画面のグラフィカルユーザインタフェー
ス情報を音声認識部２０１に送信する。音声認識部２０
１は、ミキサ部４から音声信号を周知の方法で音声認識
して文字コード列に変換した後、この文字コード列と制
御用アプリケーション部２０３からのグラフィカルユー
ザインタフェース情報とを照合して、特定のグラフィカ
ルユーザインタフェースの操作に該当する発声があった
かを判断する。そして、特定のグラフィカルユーザイン
タフェースの操作に該当する発声があったと判断した場
合、音声認識部２０１では、そのグラフィカルユーザイ
ンタフェース情報を認識情報として操作部２０２に送信
する。操作部２０２は、音声認識部２０１からの認識情
報に基づき、制御用アプリケーション部２０３に対して
特定のグラフィカルユーザインタフェースの操作を実行
させる操作情報を送信する。制御用アプリケーション部
２０３は、操作部２０２からのグラフィカルユーザイン
タフェース操作情報にもとづき、ミキサ部４や映像選択
部８に所定の制御信号を送信する。
【００２４】上記処理により、制御用アプリケーション
部２０３は、通常のマウス操作やキーボード操作と同様
の操作を、音声にて操作されて、所定の制御信号をミキ
サ部４や映像選択部８に送信することが可能となる。そ
の結果として、情報支援コンピュータ部１００に送信さ
れる音声情報および映像情報を音声にて操作可能とな
る。
部２０３は、通常のマウス操作やキーボード操作と同様
の操作を、音声にて操作されて、所定の制御信号をミキ
サ部４や映像選択部８に送信することが可能となる。そ
の結果として、情報支援コンピュータ部１００に送信さ
れる音声情報および映像情報を音声にて操作可能とな
る。
【００２５】図３は、制御用アプリケーション部２０３
の制御画面の一例を示したものである。例えば、音声認
識部２０１にて「Ａ系統１番マイク有効」の発声が認識
された場合、あたかもマウスやキーボードで「Ａ系統１
番マイク有効」ボタンが選択されたと同様に、対応する
グラフィカルユーザインタフェース操作情報が操作部２
０２から制御用アプリケーション部２０３に送信され、
制御用アプリケーション部２０３では、ミキサ部４に対
して、Ａ系統１番マイクからの音声信号を選択する制御
信号を送信する。同様に、音声認識部２０１にて「カメ
ラ１選択」の発声が認識された場合、制御用アプリケー
ション部２０３では、映像選択部８に対して、カメラ１
からの映像信号を選択する制御信号を送信する。
の制御画面の一例を示したものである。例えば、音声認
識部２０１にて「Ａ系統１番マイク有効」の発声が認識
された場合、あたかもマウスやキーボードで「Ａ系統１
番マイク有効」ボタンが選択されたと同様に、対応する
グラフィカルユーザインタフェース操作情報が操作部２
０２から制御用アプリケーション部２０３に送信され、
制御用アプリケーション部２０３では、ミキサ部４に対
して、Ａ系統１番マイクからの音声信号を選択する制御
信号を送信する。同様に、音声認識部２０１にて「カメ
ラ１選択」の発声が認識された場合、制御用アプリケー
ション部２０３では、映像選択部８に対して、カメラ１
からの映像信号を選択する制御信号を送信する。
【００２６】図２に戻り、情報支援コンピュータ部１０
０は、音声信号が、特定のグラフィカルユーザインタフ
ェースの操作に該当する発声かを判断する音声認識部１
０１と、認識結果に基づきグラフィカルユーザインタフ
ェースを操作する情報を出力する操作部１０２と、各種
映像情報等を処理する情報支援アプリケーション部１０
３から構成される。
０は、音声信号が、特定のグラフィカルユーザインタフ
ェースの操作に該当する発声かを判断する音声認識部１
０１と、認識結果に基づきグラフィカルユーザインタフ
ェースを操作する情報を出力する操作部１０２と、各種
映像情報等を処理する情報支援アプリケーション部１０
３から構成される。
【００２７】情報支援アプリケーション部１０３は、現
在開かれている操作画面等のグラフィカルユーザインタ
フェース情報を、音声認識部１０１に送信する。音声認
識部１０１は、ミキサ部４からの音声信号を周知の方法
で音声認識して文字コード列に変換した後、この文字コ
ード列と情報支援アプリケーション部１０３からのグラ
フィカルユーザインタフェース情報とを照合して、特定
のグラフィカルユーザインタフェースの操作に該当する
発声があったかを判断し、あったと判断した場合、その
グラフィカルユーザインタフェース情報を認識情報とし
て操作部１０２に送信する。操作部１０２は、音声認識
部２０１からの認識情報に基づき、情報支援アプリケー
ション部１０３に対して特定のグラフィカルユーザイン
タフェースの操作を実行させる操作情報を送信する。
在開かれている操作画面等のグラフィカルユーザインタ
フェース情報を、音声認識部１０１に送信する。音声認
識部１０１は、ミキサ部４からの音声信号を周知の方法
で音声認識して文字コード列に変換した後、この文字コ
ード列と情報支援アプリケーション部１０３からのグラ
フィカルユーザインタフェース情報とを照合して、特定
のグラフィカルユーザインタフェースの操作に該当する
発声があったかを判断し、あったと判断した場合、その
グラフィカルユーザインタフェース情報を認識情報とし
て操作部１０２に送信する。操作部１０２は、音声認識
部２０１からの認識情報に基づき、情報支援アプリケー
ション部１０３に対して特定のグラフィカルユーザイン
タフェースの操作を実行させる操作情報を送信する。
【００２８】上記処理により、情報支援アプリケーショ
ン部１０３に対して、通常のマウス操作やキーボード操
作と同様の操作を、音声にて操作せしめることが可能と
なる。その結果として、複数の作業者が選択的に情報支
援コンピュータ１００を音声にて操作して、各種映像情
報や音声情報の処理を行うことが可能となる。
ン部１０３に対して、通常のマウス操作やキーボード操
作と同様の操作を、音声にて操作せしめることが可能と
なる。その結果として、複数の作業者が選択的に情報支
援コンピュータ１００を音声にて操作して、各種映像情
報や音声情報の処理を行うことが可能となる。
【００２９】図４は、情報支援アプリケーション部１０
３の操作画面の一例を示したものである。例えば、音声
認識部１０１にて「保存する」の発声が認識された場
合、対応するグラフィカルユーザインタフェース操作情
報が操作部１０２から情報支援アプリケーション部１０
３に送信され、情報支援アプリケーション部１０３で
は、映像選択部８で選択された例えばカメラ１からの映
像信号を取り込んで保存する処理を実行する。また、声
音認識部２０１にて「撮影目的」の発声が認識され、引
き続いて「不具合現象の記録」の音声情報が入力されて
音声認識された場合、情報支援アプリケーション部１０
３では、撮影目的の欄に音声認識結果の「不具合現象の
記録」の文字列を挿入する処理を実行する。
３の操作画面の一例を示したものである。例えば、音声
認識部１０１にて「保存する」の発声が認識された場
合、対応するグラフィカルユーザインタフェース操作情
報が操作部１０２から情報支援アプリケーション部１０
３に送信され、情報支援アプリケーション部１０３で
は、映像選択部８で選択された例えばカメラ１からの映
像信号を取り込んで保存する処理を実行する。また、声
音認識部２０１にて「撮影目的」の発声が認識され、引
き続いて「不具合現象の記録」の音声情報が入力されて
音声認識された場合、情報支援アプリケーション部１０
３では、撮影目的の欄に音声認識結果の「不具合現象の
記録」の文字列を挿入する処理を実行する。
【００３０】以上、本発明の一実施例について説明した
が、情報支援コンピュータ部１００および制御用コンピ
ュータ部２００は図示のように２台の別のコンピュータ
を使用すること、並びに１台のコンピュータでその２つ
の処理を行うこと、また３台以上のコンピュータにより
その処理を分担することなどが可能である。
が、情報支援コンピュータ部１００および制御用コンピ
ュータ部２００は図示のように２台の別のコンピュータ
を使用すること、並びに１台のコンピュータでその２つ
の処理を行うこと、また３台以上のコンピュータにより
その処理を分担することなどが可能である。
【００３１】また、情報支援コンピュータ部１００およ
び情報支援コンピュータ部２００について、図示しない
無線式ポインティングデバイス送信部と無線式ポインテ
ィングデバイス受信部により、無線式ポインティングデ
バイス受信部が受信した信号に基づき、情報支援コンピ
ュータ部または制御用コンピュータ部のグラフィカルユ
ーザインタフェースを操作する処理を行うことにより、
音声認識処理が困難な状況等における作業者の操作が可
能となる。
び情報支援コンピュータ部２００について、図示しない
無線式ポインティングデバイス送信部と無線式ポインテ
ィングデバイス受信部により、無線式ポインティングデ
バイス受信部が受信した信号に基づき、情報支援コンピ
ュータ部または制御用コンピュータ部のグラフィカルユ
ーザインタフェースを操作する処理を行うことにより、
音声認識処理が困難な状況等における作業者の操作が可
能となる。
【００３２】また、図２で説明した情報支援コンピュー
タ部１００の音声認識部１０１と操作部１０２と情報支
援アプリケーション部１０３の処理機能、制御コンピュ
ータ部２００の音声認識部２０１と操作部２０２と制御
用アプリケーション部２０３の処理機能等は、コンピュ
ータで実行可能なプログラムとして、あらかじめコンピ
ュータで読み取り可能な記録媒体、例えばフロッピー
（登録商標）ディスク、ＭＯ、ＣＤ−ＲＯＭ、メモリカ
ード等に記録して提供することも可能である。
タ部１００の音声認識部１０１と操作部１０２と情報支
援アプリケーション部１０３の処理機能、制御コンピュ
ータ部２００の音声認識部２０１と操作部２０２と制御
用アプリケーション部２０３の処理機能等は、コンピュ
ータで実行可能なプログラムとして、あらかじめコンピ
ュータで読み取り可能な記録媒体、例えばフロッピー
（登録商標）ディスク、ＭＯ、ＣＤ−ＲＯＭ、メモリカ
ード等に記録して提供することも可能である。
【００３３】
【発明の効果】以上説明したように、本発明によれば、
インフラ、生産、流通および各種サービス関連の作業者
が映像や音声、データ等を入出力する場合、作業者や操
作者毎にコンピュータが必要であるという問題等、なら
びに作業者の装着負担が大きいという問題点を解決した
作業用支援コンピュータ操作装置が実現される。
インフラ、生産、流通および各種サービス関連の作業者
が映像や音声、データ等を入出力する場合、作業者や操
作者毎にコンピュータが必要であるという問題等、なら
びに作業者の装着負担が大きいという問題点を解決した
作業用支援コンピュータ操作装置が実現される。
【図１】本発明の一実施例のシステム構成を示す図であ
る。
る。
【図２】図１の要部の構成例を示す図である。
【図３】制御用アプリケーションの制御画面の一例を示
す図である。
す図である。
【図４】情報支援アプリケーションの操作画面の一例を
示す図である。
示す図である。
１ マイク部 ２ 音声送信部 ３ 音声受信部 ４ ミキサ部 ５ ワイヤレスカメラ部 ６ ワイヤレスカメラ映像受信部 ７ 固定カメラ部 ８ 映像選択部 ９ プロジェクタ部 １１ 出力結果送信部 １２ 出力結果受信・出力部 １００ 情報支援コンピュータ部 １０１ 音声認識部 １０２ 操作部 １０３ 情報支援アプリケーション部 ２００ 制御用コンピュータ部 ２０１ 音声認識部 ２０２ 操作部 ２０３ 制御用アプリケーション部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 平岩 明 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 (72)発明者 茂木 学 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 5C054 DA07 EA01 EA03 5D015 KK01 KK02 5E501 AA01 AC13 BA05 CA01 CB15 EA21
Claims (10)
- 【請求項１】 複数の操作者から音声によりコンピュー
タのグラフィカルユーザインタフェースを操作する作業
支援コンピュータ操作装置であって、 複数の操作者からの音声信号を受信する音声受信部と、 前記音声受信部からの出力音声信号について、特定のグ
ラフィカルユーザインタフェース操作に関する操作を識
別する音声認識部と、 前記音声認識部の認識結果に基づきコンピュータにグラ
フィカルユーザインタフェース操作情報を出力する操作
部と、を具備することを特徴とする作業支援コンピュー
タ操作装置。 - 【請求項２】 請求項１記載の作業支援コンピュータ操
作装置において、複数の操作者やその他から映像信号を
受信する映像受信部を具備し、操作者から音声により前
記映像信号の選択および処理のグラフィカルユーザイン
タフェースを操作することを特徴とする作業支援コンピ
ュータ操作装置。 - 【請求項３】 複数の操作者から音声によりコンピュー
タのグラフィカルユーザインタフェースを操作する作業
支援コンピュータ操作装置であって、 複数の操作者からの音声信号を受信する複数の音声受信
部と、前記複数の音声受信部からの音声信号をミキシン
グするミキサ部と、制御用コンピュータ部と、情報支援
コンピュータ部を具備し、 前記制御用コンピュータ部は、ミキサ部からの出力音声
信号について、特定のグラフィカルユーザインタフェー
スに関する操作を識別する音声認識部と、前記音声認識
部の認識結果に基づきグラフィカルユーザインタフェー
ス操作情報を出力する操作部と、前記操作部のグラフィ
カルユーザインタフェース操作情報に基づいて前記ミキ
サ部を制御する制御信号を出力する制御用アプリケーシ
ョンを有し、 前記ミキサ部は、前記制御用コンピュータ部からの制御
信号を受信して、ミキシングされた音声信号から一つあ
るいはそれ以上の音声信号を選択する制御信号受信部を
有し、 前記情報支援コンピュータ部は、前記ミキサ部で選択さ
れた音声信号について、特定のグラフィカルユーザイン
タフェースに関する操作を識別する音声認識部と、前記
音声認識部の認識結果に基づきグラフィカルユーザイン
タフェース操作情報を出力する操作部と、前記グラフィ
カルユーザインタフェース操作情報に基づいた処理を実
行する情報支援アプリケーションを有する、ことを特徴
とする作業支援コンピュータ操作装置。 - 【請求項４】 請求項３記載の作業支援コンピュータ操
作装置において、 複数の操作者やその他からの映像信号を受信する複数の
映像受信部と、前記複数の映像受信部からの映像信号を
選択して情報支援コンピュータ部に出力する映像選択部
とを具備し、 制御用コンピュータ部は、操作部のグラフィカルユーザ
インタフェース操作情報に基づいて映像信号を選択する
制御信号を前記映像選択部に出力することを特徴とする
作業支援コンピュータ操作装置。 - 【請求項５】 複数の操作者からの音声によりコンピュ
ータのグラフィカルユーザインタフェースを操作する作
業支援コンピュータ操作システムであって、 操作者の音声を入力するマイク部と、 前記マイク部に入力された音声信号を無線送信する音声
送信部と、 前記音声送信部より無線送信された音声信号を受信する
音声受信部と、 前記音声受信部からの出力音声信号について、特定のグ
ラフィカルユーザインタフェースに関する操作を識別す
る音声認識部と、 前記音声認識部の認識結果に基づきコンピュータにグラ
フィカルユーザインタフェース操作情報を出力する操作
部と、を具備することを特徴とする作業支援コンピュー
タシステム。 - 【請求項６】 請求項５記載の作業支援コンピュータ操
作システムにおいて、 無線式ポインティングデバイス送信部と、無線式ポイン
タイングデバイス受信部を具備し、 操作部は前記無線式ポインティングデバイス受信部が受
信した信号に基づき、コンピュータにグラフィカルユー
ザインタフェース操作情報を出力することを特徴とする
作業支援コンピュータシステム。 - 【請求項７】 複数の操作者から音声によりコンピュー
タのグラフィカルユーザインタフェースを操作する作業
支援コンピュータ制御方法であって、 複数の操作者からの音声信号を受信し、該受信した音声
信号について、特定のグラフィカルユーザインタフェー
スに関する操作を識別し、該識別結果に基づいてグラフ
ィカルユーザインタフェース操作情報を出力してコンピ
ュータを操作することを特徴とする作業支援コンピュー
タ制御方法。 - 【請求項８】 請求項７記載の作業支援コンピュータ制
御方法において、グラフィカルユーザインタフェース操
作情報に基づいて、所望の音声信号を選択するための制
御信号を出力する処理を実行することを特徴とする作業
支援コンピュータ制御方法。 - 【請求項９】 請求項７、８記載の作業支援コンピュー
タ制御方法において、複数の操作者やその他からの映像
信号を受信し、グラフィカルユーザインタフェース操作
情報に基づいて、所望の映像信号を選択するための制御
信号を出力する処理を実行することを特徴とする作業支
援コンピュータ制御方法。 - 【請求項１０】 請求項７、８、９記載の作業支援コン
ピュータ制御方法を実現するためのプログラムを記録し
たことを特徴とするコンピュータ読み取り可能な記録媒
体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000278557A JP2002091754A (ja) | 2000-09-13 | 2000-09-13 | 作業支援コンピュータ操作装置、作業支援コンピュータ操作システム、作業支援コンピュータ制御方法及びそのためのプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000278557A JP2002091754A (ja) | 2000-09-13 | 2000-09-13 | 作業支援コンピュータ操作装置、作業支援コンピュータ操作システム、作業支援コンピュータ制御方法及びそのためのプログラムを記録した記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002091754A true JP2002091754A (ja) | 2002-03-29 |
Family
ID=18763701
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000278557A Pending JP2002091754A (ja) | 2000-09-13 | 2000-09-13 | 作業支援コンピュータ操作装置、作業支援コンピュータ操作システム、作業支援コンピュータ制御方法及びそのためのプログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002091754A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004234604A (ja) * | 2003-01-29 | 2004-08-19 | Mitac Technology Corp | 無線音声信号受信モジュールを配置したコンピュータ装置 |
-
2000
- 2000-09-13 JP JP2000278557A patent/JP2002091754A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004234604A (ja) * | 2003-01-29 | 2004-08-19 | Mitac Technology Corp | 無線音声信号受信モジュールを配置したコンピュータ装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10216916B2 (en) | Method and apparatus for controlling lock/unlock state of terminal through voice recognition | |
| US20240046934A1 (en) | Display apparatus capable of releasing a voice input mode by sensing a speech finish and voice control method thereof | |
| EP3142107A1 (en) | Voice recognition apparatus and controlling method thereof | |
| CN109584872A (zh) | 一种语音控制系统、控制方法、设备及介质 | |
| JP6396021B2 (ja) | カメラの画像データ圧縮方法及びこれを支援する端末 | |
| US6397187B1 (en) | System for obtaining assistance in operating an apparatus | |
| CN104122979A (zh) | 一种语音控制大屏幕的方法及装置 | |
| JP2006338406A (ja) | 通信端末装置、情報処理装置、通信システム、映像表示システム、通信端末制御方法、情報処理方法、通信端末制御プログラム、情報処理プログラムおよび記録媒体 | |
| JP2002091754A (ja) | 作業支援コンピュータ操作装置、作業支援コンピュータ操作システム、作業支援コンピュータ制御方法及びそのためのプログラムを記録した記録媒体 | |
| JP2009543422A (ja) | 携帯電話に連結される統合インタフェース情報を内蔵する通信環境設定装置及びその設定方法 | |
| US20200178257A1 (en) | User terminal device and control method therefor | |
| KR101452226B1 (ko) | 스마트폰과 인터넷을 이용하여 제어 가능한 방송장비 | |
| CN110865853B (zh) | 云服务的智能操作方法和装置以及电子设备 | |
| KR102093353B1 (ko) | 서비스 제공 장치 및 방법 | |
| JP2003215707A (ja) | プレゼンテーションシステム | |
| JP2021180369A (ja) | 作業者端末、遠隔作業支援装置、作業支援システム | |
| JP7351642B2 (ja) | 音声処理システム、会議システム、音声処理方法、及び音声処理プログラム | |
| KR20150070620A (ko) | 음성 명령 실행 기능 제어 방법 및 시스템과 이를 위한 무선 송수신 장치 및 방법과 원격 무선 제어 시스템 | |
| JP2002032241A (ja) | 携帯電話用コンテンツのデバッグ方法およびデバッグ装置 | |
| KR102359163B1 (ko) | 전자 장치 및 이의 음성 인식 방법 | |
| JP7489928B2 (ja) | 音声により機器を操作するための情報処理装置、システム、機器制御装置、およびプログラム | |
| CN116127995A (zh) | 一种扫码方法、设备、装置及计算机可读存储介质 | |
| JP2009296049A (ja) | テレビ会議システム | |
| KR20220020859A (ko) | 전자 장치 및 이의 음성 인식 방법 | |
| JP2021043629A (ja) | 端末制御プログラム、端末装置、端末制御方法および情報通信方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050628 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050829 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20061004 |