JP2006289514A - Robot control system and its control method - Google Patents
Robot control system and its control method Download PDFInfo
- Publication number
- JP2006289514A JP2006289514A JP2005109589A JP2005109589A JP2006289514A JP 2006289514 A JP2006289514 A JP 2006289514A JP 2005109589 A JP2005109589 A JP 2005109589A JP 2005109589 A JP2005109589 A JP 2005109589A JP 2006289514 A JP2006289514 A JP 2006289514A
- Authority
- JP
- Japan
- Prior art keywords
- command
- robot
- voice
- unit
- vocabulary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、音声を利用してロボットを操作するシステムに関し、特に音声認識に対する安全性と作業効率を両立させるものである。 The present invention relates to a system for operating a robot by using voice, and particularly, to achieve both safety for voice recognition and work efficiency.
従来の音声によって制御されるロボットについて、図を用いて説明する。図１１は、従来のロボット制御装置の構成を示した図である。図１１において、４１０は送信機、４２０はクレーン制御部を示している。送信機４１０はマイク４１１および送信部４１２を含んで構成されており、マイク４１１は送信部４１２に接続され、送信部４１２には送信アンテナ４１２ａが取り付けられている。クレーン制御部４２０は受信部４２１、音声認識部４２２、信号処理部４２３および油圧変換部４２４を含んで構成されている。受信部４２１は音声認識部４２２に接続されており、音声認識部４２２は信号処理部４２３に接続され、信号処理部４２３は油圧変換部４２４に接続されて、油圧変換部４２４は図示しないクレーン駆動部に接続されている。受信部４２１には受信アンテナ４２１ａが取り付けられており、信号処理部４２３には現在動作に対する禁止動作が記憶された記憶手段４２３ａが内設されている。
図１２は、従来のロボット制御装置の信号処理部４２３における処理を示したフローチャートである。信号処理部４２３では、図１２において、ステップ５１で音声指示入力があるかどうか判断され、音声指示入力がなければ音声指示入力が送信されてくるまで待機する。音声指示入力があればステップ５２に進み、図１１の記憶手段４２３ａに記憶されている情報が読み出され、禁止動作であるかどうか判断される。ステップ５２での判断の結果、前記音声指示入力が禁止動作でなければ、ステップ５３に移って音声指示入力に従った動作をするように図１１の油圧変換部４２４に制御信号を送り、ステップ５１に戻る。
一方、音声指示入力が禁止動作であれば、ステップ５４に進んでクレーンの動作を一時停止させるように油圧変換部４２４に制御信号を送り、ステップ５１に戻る。信号処理部４２３から制御信号を受信した油圧変換部４２４は、制御信号に従って図示しないクレーン駆動部を駆動しクレーンを動作させる（例えば、特許文献１参照）。
このように従来のロボットは、予め記憶した現在の動作に対する禁止動作が音声指示された場合にクレーンなどのロボットを一旦停止させ、安全性を確保するものである。
A conventional robot controlled by voice will be described with reference to the drawings. FIG. 11 is a diagram showing a configuration of a conventional robot control apparatus. In FIG. 11, reference numeral 410 denotes a transmitter, and 420 denotes a crane control unit. The transmitter 410 includes a
FIG. 12 is a flowchart showing processing in the
On the other hand, if the voice instruction input is a prohibited operation, the process proceeds to step 54 to send a control signal to the hydraulic
As described above, the conventional robot temporarily stops a robot such as a crane when a voice instruction is given for a prohibition operation for a current operation stored in advance, thereby ensuring safety.
しかしながら、マイクから入力される音声は使用者が意図して発話した音声のみではなく、周囲の騒音も入力される。音声認識部では、使用者が意図して発話した音声なのか、それとも周囲の騒音なのかを判断することはできないので、周囲の騒音を発話音声と間違えて音声指示として認識（誤認識）することがある。
一般に音声認識は、周囲騒音が大きければ大きいほど認識率が低くなる。すなわち誤認識率が高くなる傾向にある。図１３は周囲騒音が４０[ｄＢ]、７５[ｄＢ]、８０[ｄＢ]の場合の音声認識率を実験によって示した図である。図１３に示すように周囲騒音が大きくなるとともに認識率が低下し本実験では８５[ｄＢ]以上の騒音下では正確に音声認識できなかった。すなわち、周囲騒音が大きくなれば誤認識率も高くなるのである。
このような背景により、従来のロボット制御装置では、現在の動作に対する禁止動作を記憶し、禁止動作に該当すれば動作を停止するといった構成となっているので、騒音下で使用した場合、安全性を確保するためには多くの禁止動作を記憶する必要がある。しかし、禁止動作を多く記憶すると騒音下においては誤認識が多いため禁止動作に該当する確率が高くなり頻繁に動作停止を繰り返すこととなり作業効率が著しく低下する。逆に、作業効率を向上させるために禁止動作を削減すると誤認識による誤動作の確率が高くなるため、安全性の面で問題を生じるといった相反する問題を抱えていた。
本発明は、このような問題点に鑑みてなされたものであり、音声の誤認識によるロボットの誤動作を防止し、安全性を向上するロボット制御システムおよび制御方法を提供することを目的とする。
However, not only the voice intended by the user but also ambient noise is input from the microphone. Since the voice recognition unit cannot determine whether the voice is intentionally spoken by the user or the ambient noise, it recognizes (misrecognizes) the ambient noise as a voice instruction by mistakenly speaking. There is.
In general, in speech recognition, the greater the ambient noise, the lower the recognition rate. That is, the recognition error rate tends to increase. FIG. 13 is a diagram showing the speech recognition rate by experiments when the ambient noise is 40 [dB], 75 [dB], and 80 [dB]. As shown in FIG. 13, the ambient noise increased and the recognition rate decreased. In this experiment, speech recognition could not be performed accurately under noise of 85 [dB] or more. That is, the false recognition rate increases as the ambient noise increases.
With such a background, the conventional robot control device is configured to store the prohibited operation with respect to the current operation and stop the operation if it falls under the prohibited operation. It is necessary to memorize many prohibition operations in order to ensure However, if a large number of prohibited operations are stored, there are many misrecognitions under noisy conditions, so the probability of corresponding to the prohibited operation increases and the operation is frequently stopped, resulting in a significant reduction in work efficiency. On the contrary, if the prohibited operation is reduced in order to improve the work efficiency, the probability of malfunction due to misrecognition increases, and thus there is a conflicting problem that causes a problem in terms of safety.
The present invention has been made in view of such problems, and an object of the present invention is to provide a robot control system and a control method that prevent malfunction of a robot due to erroneous recognition of speech and improve safety.
上記問題を解決するため、本発明は、次のように構成したのである。
請求項１に記載の発明は、少なくとも１つのアクチュエータを備えたロボット機構部と、前記ロボット機構部の動作を制御するロボット制御装置と、使用者の音声を前記ロボットのコマンドに変換し、前記ロボット制御装置にコマンドを送信する音声インターフェースとを備えたロボット制御システムにおいて、前記音声インターフェースは、前記使用者の音声を入力する音声入力部と、前記音声入力部に入力された音声を語彙として認識する音声認識部と、認識対象の語彙と前記ロボットのコマンドとを関連付けた情報を記憶した語彙−コマンド記憶部と、前記音声認識部にて認識した語彙と前記語彙−コマンド記憶部に記憶した情報から前記ロボットのコマンドを決定するコマンド決定部と、前記コマンド決定部にて決定したコマンドを前記ロボット制御装置に送信する第１の通信部とを備え、 前記ロボット制御装置は、前記音声インターフェースから送信されたコマンドを受信する第２の通信部と、前記第２の通信部が受信したコマンドを実行するか無視するかを判定するコマンド制御部と、前記ロボットの稼動状態に応じて実行可能なコマンドを記憶する許可コマンド記憶部と、前記コマンドに従って前記ロボット機構部の動作を制御するロボット制御部とを備えたことを特徴とする。
請求項２に記載の発明は、前記コマンド制御部は、前記受信したコマンドが前記許可コマンド記憶部に記憶されたコマンドと一致しなければ前記受信したコマンドを無視し、一致していれば前記受信したコマンドを実行すると判定し、前記コマンドの実行開始時に、前記コマンドに予め関連付けられた手順に従って、少なくとも１つのコマンドを前記許可コマンド記憶部から削除することを特徴とする。
請求項３に記載の発明は、前記コマンド制御部は、前記コマンドの実行完了時に、前記手順に従って、少なくとも1つのコマンドを前記許可コマンド記憶部に登録することを特徴とする。
請求項４に記載の発明は、使用者の音声に基づいてロボットを制御するロボット制御方法において、入力された前記使用者の音声を認識し、前記認識した音声に基づいて前記ロボットのコマンドを決定し、前記決定したコマンドをロボット制御装置に送信し、前記ロボット制御装置は受信した前記コマンドが実行を許可されているコマンドかどうか判定し、許可されていなければ前記コマンドを無視し、許可されていれば、前記コマンドに予め関連付けられた手順に従って、その時点で許可されている複数のコマンドから少なくとも１つを削除し、前記コマンドに従って前記ロボットを動作させ、その後に前記手順に従って許可するコマンドを少なくとも１つ登録することを特徴とする。
In order to solve the above problem, the present invention is configured as follows.
According to the first aspect of the present invention, there is provided a robot mechanism unit including at least one actuator, a robot control device that controls the operation of the robot mechanism unit, a voice of a user is converted into a command of the robot, and the robot In the robot control system including a voice interface that transmits a command to the control device, the voice interface recognizes the voice input unit that inputs the user's voice and the voice input to the voice input unit as a vocabulary. From a speech recognition unit, a vocabulary-command storage unit that stores information relating the recognition target vocabulary and the robot command, a vocabulary recognized by the speech recognition unit, and information stored in the vocabulary-command storage unit A command determination unit for determining a command of the robot, and a command determined by the command determination unit. A first communication unit that transmits to the robot control device, wherein the robot control device receives a command transmitted from the voice interface, and a command received by the second communication unit. A command control unit that determines whether to execute or ignore, a permission command storage unit that stores a command that can be executed according to the operating state of the robot, and a robot control that controls the operation of the robot mechanism unit according to the command And a section.
According to a second aspect of the present invention, the command control unit ignores the received command if the received command does not match the command stored in the permission command storage unit, and receives the reception if it matches. The command is determined to be executed, and at the start of execution of the command, at least one command is deleted from the permitted command storage unit according to a procedure associated with the command in advance.
According to a third aspect of the present invention, the command control unit registers at least one command in the permission command storage unit according to the procedure when the execution of the command is completed.
According to a fourth aspect of the present invention, in the robot control method for controlling a robot based on a user's voice, the input voice of the user is recognized and a command of the robot is determined based on the recognized voice. The determined command is transmitted to the robot control device, and the robot control device determines whether the received command is a command that is permitted to be executed. If the command is not permitted, the command is ignored and the command is permitted. Then, according to a procedure associated with the command in advance, at least one command is deleted from the plurality of commands permitted at that time, the robot is operated according to the command, and then at least a command permitted according to the procedure is issued. One is registered.
請求項１、４に記載の発明によると、音声インターフェースから送信されるコマンドをロボットの動作状態に応じて実行することができるため、音声の誤認識により誤ったコマンドが送信されてもロボットが誤動作する確率を著しく低くすることができる。
また、請求項２、３に記載の発明によると、許可コマンドの削除や登録を任意に制御することができるため、許可するコマンドをロボットの動作状態に応じて動的に変更できるようになり、誤ったコマンドが送信されてもロボットが誤動作する確率をさらに低くすることができる。
According to the first and fourth aspects of the present invention, since the command transmitted from the voice interface can be executed according to the operation state of the robot, the robot malfunctions even if an erroneous command is transmitted due to erroneous voice recognition. The probability of doing so can be significantly reduced.
Further, according to the inventions of claims 2 and 3, since it is possible to arbitrarily control the deletion and registration of the permitted command, the permitted command can be dynamically changed according to the operation state of the robot. Even if an incorrect command is transmitted, the probability that the robot malfunctions can be further reduced.
以下、本発明の実施の形態について図を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図１は、本発明のロボット制御システムのブロック図である。図において、１００は使用者の音声を認識してロボットへコマンドを送信する音声インターフェースである。この音声インターフェース１００は、使用者の音声を入力する音声入力部１０１と、入力した音声を語彙として認識する音声認識部１０２と、認識する語彙とロボットの動作コマンドを関連付けて記憶した語彙−コマンド記憶部１０３と、音声認識部１０２にて認識した語彙と語彙−コマンド記憶部１０３の情報からロボットの動作コマンドを決定するコマンド決定部１０４と、コマンドをロボット制御装置１１０へ送信する第１の通信部１０５から構成されている。
FIG. 1 is a block diagram of the robot control system of the present invention. In the figure,
また、ロボット制御装置１１０は、音声インターフェースから送信されたコマンドを受信して、受信ステータスを音声インターフェース１００に送信する第２の通信部１１１と、第２の通信部１１１が受信したコマンドをロボットの状態に応じてロボット制御部１１４へ送信したり、無視したりを制御するコマンド制御部１１２と、ロボットの状態に応じて実行可能なコマンドを記憶した許可コマンド記憶部１１３と、コマンドに基づいてロボット機構部１２０の動作軌道を生成し、各関節を駆動するサーボモータなどのアクチュエータを制御するロボット制御部１１４から構成されている。
さらに本発明の実施例では、ロボット制御装置１１０に力センサやビジョンセンサ、距離センサなどの外界センサ１１５を接続し、ロボット機構部１２０の周辺や外部の状態の情報を取得できるようになっており、ロボット機構部１２０の内部状態と合わせてロボットの状態情報とする。
本発明では、ロボットの状態および外界センサの情報に応じてロボットに実行させることができる許可コマンドを記憶しており、コマンド制御部１１２は、許可コマンド記憶部１１３に記憶したそれらのコマンドを参照することで音声インターフェース１００から送信されたコマンドが実行可能かどうか判定し、実行可能すなわち許可コマンド記憶部１１３に記憶したコマンドと送信されたコマンドとが一致した場合にはロボット制御部１１４へコマンドを送るとともに、音声インターフェース側に第２の通信部１１１を介してコマンドを実行可能と判定したという内容を含んだステータス情報を送信する。
許可コマンド記憶部１１３に記憶したコマンドと送信されたコマンドとが一致しない場合は、そのコマンドを無視するとともに音声インターフェース側に第２の通信部１１１を介してコマンドを無視したという内容を含んだステータス情報を送信する。ここで、コマンドを実行あるいは無視したというステータス情報は、音声インターフェース１００とロボット制御装置１１０との間の情報通信だけでなく、音声や光などに変換することで、使用者や周囲の人間が分かるように提示することが望ましい。
Further, the robot control device 110 receives a command transmitted from the voice interface, transmits a reception status to the
Furthermore, in the embodiment of the present invention, an
In the present invention, permission commands that can be executed by the robot according to the state of the robot and information from the outside world are stored, and the
If the command stored in the allowed
図２は、本発明の処理の流れを示すフローチャートである。以下、図のステップに従って説明する。
まずStep201では、マイクを使用した音声入力部１０１から音声を入力する。
続くStep202では、入力した音声は音声認識部１０２にて語彙として認識処理される。
Step203では、語彙−コマンド記憶部１０３に記憶した、語彙−コマンドテーブルを参照して認識した語彙に対応するコマンドを決定する。
Step204では、決定したコマンドを第１の通信部１０５により音声インターフェース１００からロボット制御装置１１０へ送信する。
Step205にて音声インターフェース１００から送信されたコマンドを第２の通信部１１１にて受信する。
Step206では、コマンド制御部１１２が、受信したコマンドが許可されたコマンドであるかどうか許可コマンド記憶部１１３を検索し、コマンドが一致した場合はStep207へ進み、一致するコマンドがない場合はStep208へ進む。
Step207では、受信したコマンドが許可されたコマンドであることをロボットステータス情報として音声インターフェース１００に送信する。
Step208では、受信したコマンドが許可されていないことをロボットステータス情報として音声インターフェース１００に送信する。
Step209では、ロボット制御部１１４へコマンドを送る。
Step210では、
（１）許可コマンドのうち、受信したコマンドと同一のコマンドやロボットの状態などによって実行不可のコマンドを許可コマンド記憶部１１３から削除する。
（２）ロボット機構部１２０を動作させる。
（３）次に実行可能なコマンドを許可コマンド記憶部１１３に登録する。
という処理を行う。
FIG. 2 is a flowchart showing the processing flow of the present invention. In the following, description will be given according to the steps in the figure.
First, in Step 201, voice is input from the
In the subsequent Step 202, the input speech is recognized and processed as a vocabulary by the
In Step 203, a command corresponding to the vocabulary recognized by referring to the vocabulary-command table stored in the vocabulary-
In Step 204, the determined command is transmitted from the
In Step 205, the
In Step 206, the
In Step 207, information indicating that the received command is a permitted command is transmitted to the
In Step 208, information indicating that the received command is not permitted is transmitted to the
In Step 209, a command is sent to the
In Step210,
(1) Of the permitted commands, commands that cannot be executed due to the same command as the received command, the state of the robot, or the like are deleted from the permitted
(2) The robot mechanism unit 120 is operated.
(3) The next executable command is registered in the permitted
Perform the process.
次に、使用者の発する音声を認識する音声インターフェースを利用したロボットの操作を具体的に説明する。
図３は語彙−コマンド記憶部１０３に記憶した語彙−コマンドテーブルの例である。この語彙−コマンドテーブルには、認識対象の語彙とコマンドが登録されており、一組の語彙とコマンドに対して固有のＩＤが割り振られる。
以下では、使用者の音声指示によりロボットが待機位置で起動(サーボＯＮ)し、外界センサであるビジョンセンサの情報をもとに、ロボット先端に取り付けられたツール（グリッパ）にて物体を把持し、決められた場所へ物体を運び、その後待機位置へ移動してサーボＯＦＦし作業を終了するといった一連の動作で説明する。
図３の語彙−コマンドテーブルに登録しているコマンドおよび語彙について説明する。
まず、ロボットの動作を停止するコマンドである「ROBOT_CTRL_STOP」に対しては、“とまれ”、“ストップ”、“危ない”といった人間が危険を感じた際に発声する語彙を冗長に登録している。
また、ロボットが待機位置で起動(サーボＯＮ)するコマンド「ROBOT_JOB_BGN」に“作業開始”という語彙を、ビジョンセンサの情報をもとに把持物体の位置姿勢を取得して物体にアプローチするコマンド「ROBOT_JOB_APRCH」に“アプローチ”という語彙を、物体を把持するコマンド「ROBOT_JOB_GRASP」に“把持”という語彙を、物体を把持した後に決められた場所へ物体を運ぶコマンド「ROBOT_JOB_CARRY」に“運搬”という語彙を、把持した物体を放して待機位置へ移動するコマンド「ROBOT_JOB_OPEN」に“開放”という語彙を、待機位置に移動した後にサーボＯＦＦして作業を終了するコマンド「ROBOT_JOB_END」に“作業終了”という語彙をそれぞれ登録している。
Next, the operation of the robot using the voice interface for recognizing the voice uttered by the user will be specifically described.
FIG. 3 is an example of a vocabulary-command table stored in the vocabulary-
In the following, the robot starts at the standby position (servo ON) according to the voice instruction of the user, and grips the object with the tool (gripper) attached to the tip of the robot based on the information of the vision sensor that is the external sensor. A series of operations will be described in which an object is carried to a predetermined place, then moved to a standby position, the servo is turned off, and the operation is completed.
The commands and vocabulary registered in the vocabulary-command table of FIG. 3 will be described.
First, for “ROBOT_CTRL_STOP” which is a command to stop the robot operation, vocabulary uttered when a person feels danger such as “Tare rare”, “Stop”, “Dangerous” is registered redundantly.
In addition, the command “ROBOT_JOB_APRCH” is used to acquire the position and orientation of the gripped object based on the information from the vision sensor and to approach the object using the vocabulary “start work” in the command “ROBOT_JOB_BGN” that the robot starts (servo ON) at the standby position. "Approach" vocabulary, "ROBOT_JOB_GRASP" command to grasp the object "gripping" vocabulary, "ROBOT_JOB_CARRY" command to carry the object to the place after grasping the object "transport" vocabulary The command "ROBOT_JOB_OPEN" that releases the gripped object and moves to the standby position has the vocabulary "Open", and the command "ROBOT_JOB_END" that moves to the standby position and ends the work ends with the vocabulary "End of work" Registered.
また、ロボット制御装置１１０では、図示しない記憶部に複数の動作コマンドが記述されたコマンドリストを予め記憶しており、ロボット制御部１１４が音声インターフェース１００から送られ、かつ許可されたコマンドを受信すると、そのコマンドと同じ名が付けられたコマンドリストを開き、そのコマンドリストに記述された動作コマンドを実行するようになっている。
図４は、ロボット制御部１１４で実行可能な動作コマンドの一例を示している。各コマンドの説明は図中に示しているのでここでは割愛する。
In the robot control device 110, a command list in which a plurality of operation commands are described is stored in advance in a storage unit (not shown), and when the
FIG. 4 shows an example of operation commands that can be executed by the
ここで、ロボットの動作を停止するコマンドである「ROBOT_CTRL_STOP」は、安全のためにその実行に緊急を要する。よって、「ROBOT_CTRL_STOP」は前述のようにコマンドとして語彙−コマンドテーブルに登録できるとともに、ロボット制御部１１４は、「ROBOT_CTRL_STOP」コマンドを受信すると同名のコマンドリストを参照せずに即座に対応する動作コマンドを実行するようになっている。
コマンドリストを参照するコマンドは「ROBOT_JOB_」を含む名称となっている一方、参照しないコマンドは「ROBOT_CTRL_」を含む名称となっており、ロボット制御部１１４は、受信したコマンドがコマンドリストを参照する必要があるものかどうかをコマンド名の文字列によって認識することができる。
すなわち、コマンド「ROBOT_CTRL_STOP」が音声インターフェース１１０から送信されると、ロボット制御部１１４は動作コマンドであると認識するとともに「ROBOT_CTRL_」以下に続く「STOP」を動作コマンドとして解釈、実行し、ロボットの動作を停止する。
Here, “ROBOT_CTRL_STOP”, which is a command for stopping the operation of the robot, requires urgent execution for safety. Therefore, as described above, “ROBOT_CTRL_STOP” can be registered as a command in the vocabulary-command table, and when the
The command that refers to the command list has a name including “ROBOT_JOB_”, while the command that does not refer to has a name that includes “ROBOT_CTRL_”, and the
That is, when the command “ROBOT_CTRL_STOP” is transmitted from the voice interface 110, the
図５〜１０は、実際のロボットの動作を説明するための図である。
図５では、使用者が“作業開始”と発声すると音声インターフェース１００はその音声を認識し、図３に示す語彙−コマンドテーブルを参照してコマンド「ROBOT_JOB_BGN」をロボットに送信する。ロボット制御装置１１０はコマンドを受信すると許可されているコマンドか否かをコマンド制御部１１２にて判断する。
ここでは、「ROBOT_JOB_BGN」がコマンドリストを作成した使用者によって予め許可コマンドとして許可コマンド記憶部１１３に登録されており、コマンド制御部１１２はロボット制御部１１４へコマンドを送信することができる。コマンドを受信したロボット制御部１１４は、「ROBOT_JOB_BGN」という名前が付けられたコマンドリストを参照し、そのコマンドリスト内の動作コマンドを実行することで許可コマンドの登録／削除およびロボット機構部の動作を制御するようになっている。
図５に示すコマンドリストでは、現在実行中のコマンド「ROBOT_JOB_BGN」を許可コマンド記憶部１１３から削除し、「SVON」によってサーボＯＮを実行した後、サーボＯＮの状態で許可することのできるコマンド「ROBOT_JOB_APRCH」、「ROBOT_JOB_END」、「ROBOT_CTRL_STOP」を許可コマンド記憶部１１３に登録する。
「SVON」は、図４の説明にあるようにロボット機構部１２０の各関節を駆動するサーボモータの電源をＯＮにするコマンドである。
このようにすることで、誤認識によって許可コマンド以外のコマンドを受信しても、コマンド制御部１１２によって無視されるため、ロボットは誤動作しないようになっている。
なお、許可コマンドは、ロボット制御部１１４からコマンド制御部１１２を介して許可コマンド記憶部１１３への登録や削除を行なうようになっている。許可コマンド記憶部１１３に一度記憶したコマンドは、削除するまで保持されるようになっている。
5 to 10 are diagrams for explaining the actual operation of the robot.
In FIG. 5, when the user utters “work start”, the
Here, “ROBOT_JOB_BGN” is registered in advance in the permitted
In the command list shown in FIG. 5, the command “ROBOT_JOB_APRCH” that can be permitted in the servo ON state after deleting the currently executed command “ROBOT_JOB_BGN” from the permission
“SVON” is a command for turning on the power of the servo motor that drives each joint of the robot mechanism unit 120 as described in FIG. 4.
In this way, even if a command other than the permission command is received due to erroneous recognition, the
The permission command is registered or deleted from the
続いて、図６に示すように使用者が“アプローチ”と発声するとコマンド「ROBOT_JOB_APRCH」がロボット制御装置１１０に送信される。コマンド制御部１１２では前回のコマンド「ROBOT_JOB_BGN」にて既に「ROBOT_JOB_APRCH」を許可コマンド記憶部１１３に登録しているためロボット制御部１１４にコマンドを送信する。ロボット制御部１１４では、「ROBOT_JOB_APRCH」という名前が付けられたコマンドリストを参照し、そのコマンドリスト内の動作コマンドを実行する。
図６に示すコマンドリストでは、「ROBOT_JOB_APRCH」を許可コマンド記憶部１１３から削除し、「MOVJ P1」によりロボット機構部１２０を動作させた後に「MOVJ P2」により動作させ、さらに「MOVL *VISION」により、ビジョンセンサが取得した物体の位置へ直線的に動作した後、「ROBOT_JOB_GRASP」を許可コマンド記憶部１１３に登録する。
「MOVJ P1」は、図４の説明にあるようにロボットのそれぞれの関節を指定された各関節角度（P1ベクトル）へと動作させるコマンドであり、「MOVJ P2」も同じく各関節角度（P2ベクトル）へと動作させるコマンドである。また、「MOVL」はロボットのツール先端を指定された三次元位置および姿勢（この場合は*VISION）へと移動させるコマンドである。
Subsequently, as shown in FIG. 6, when the user utters “approach”, a command “ROBOT_JOB_APRCH” is transmitted to the robot controller 110. The
In the command list shown in FIG. 6, “ROBOT_JOB_APRCH” is deleted from the permission
“MOVJ P1” is a command to move each joint of the robot to each specified joint angle (P1 vector) as described in FIG. 4, and “MOVJ P2” is also a command for each joint angle (P2 vector). ) Is a command to be operated. “MOVL” is a command for moving the tip of the robot tool to the specified 3D position and orientation (* VISION in this case).
図７では、使用者が“把持”と発声するとコマンド「ROBOT_JOB_GRASP」がロボット制御装置１１０に送信される。コマンド制御部１１２では前回のコマンド「ROBOT_JOB_APRCH」にて既に「ROBOT_JOB_ GRASP」を許可コマンド記憶部１１３に登録しているためロボット制御部１１４にコマンドを送信する。ロボット制御部１１４では、「ROBOT_JOB_ GRASP」という名前が付けられたコマンドリストを参照し、そのコマンドリスト内の動作コマンドを実行する。
図７に示すコマンドリストでは、「ROBOT_JOB_ GRASP」を許可コマンド記憶部１１３から削除し、「MOVJ E1」によりロボット先端のグリッパを移動させた後にグリッパを閉じ、「ROBOT_JOB_CARRY」と「ROBOT_JOB_OPEN」を許可コマンド記憶部１１３に登録する。
「MOVJ P*」の場合は、ロボットのそれぞれの関節を指定された各関節角度へと動作させるのみであるが、「MOVJ E*」の場合はそれに加え、グリッパなどロボット本体以外の外部軸の操作も指定できるようになっている。
In FIG. 7, when the user utters “grip”, the command “ROBOT_JOB_GRASP” is transmitted to the robot controller 110. Since the
In the command list shown in FIG. 7, “ROBOT_JOB_GRASP” is deleted from the permitted
In the case of “MOVJ P *”, each joint of the robot is only moved to each specified joint angle, but in the case of “MOVJ E *”, in addition to this, an external axis other than the robot body such as a gripper is used. You can also specify the operation.
図８では、使用者が“運搬”と発声するとコマンド「ROBOT_JOB_CARRY」がロボット制御装置１１０に送信される。コマンド制御部１１２では前回のコマンド「ROBOT_JOB_GRASP」にて既に「ROBOT_JOB_CARRY」を許可コマンド記憶部１１３に登録しているためロボット制御部１１４にコマンドを送信する。ロボット制御部１１４では、「ROBOT_JOB_CARRY」という名前が付けられたコマンドリストを参照し、そのコマンドリスト内の動作コマンドを実行する。
図８に示すコマンドリストでは、「ROBOT_JOB_CARRY」を許可コマンド記憶部１１３から削除し、各関節角度(P3ベクトル)に移動した後、各関節角度(P4ベクトル)に移動する。
In FIG. 8, when the user utters “transport”, the command “ROBOT_JOB_CARRY” is transmitted to the robot controller 110. Since the
In the command list shown in FIG. 8, “ROBOT_JOB_CARRY” is deleted from the permission
図９では、使用者が“開放”と発声するとコマンド「ROBOT_JOB_OPEN」がロボット制御装置１１０に送信される。コマンド制御部１１２では前回のコマンド「ROBOT_JOB_GRASP」にて既に「ROBOT_JOB_ OPEN」を許可コマンド記憶部１１３に登録しているためロボット制御部１１４にコマンドを送信する。ロボット制御部１１４では、「ROBOT_JOB_OPEN」という名前が付けられたコマンドリストを参照し、そのコマンドリスト内の動作コマンドを実行する。
図９に示すコマンドリストでは、「ROBOT_JOB_OPEN」を許可コマンド記憶部１１３から削除し、グリッパを開いた状態にして各関節角度(E2ベクトル)へ移動させた後、各関節角度(P5ベクトル)に移動し、その後待機姿勢である各関節角度(P1ベクトル)に移動し、図示しないベルトコンベアなどで運ばれてきた物体を把持することができるように「ROBOT_JOB_APRCH」を許可コマンド記憶部１１３に登録する。
In FIG. 9, when the user utters “open”, the command “ROBOT_JOB_OPEN” is transmitted to the robot controller 110. Since the
In the command list shown in FIG. 9, “ROBOT_JOB_OPEN” is deleted from the permission
図１０は、使用者が“作業終了”と発声するとコマンド「ROBOT_JOB_END」がロボット制御装置１１０に送信される。コマンド制御部１１２では前回のコマンド「ROBOT_JOB_BGN」にて既に「ROBOT_JOB_ END」を許可コマンド記憶部１１３に登録しているためロボット制御部１１４にコマンドを送信する。ロボット制御部１１４では、「ROBOT_JOB_END」という名前が付けられたコマンドリストを参照し、そのコマンドリスト内の動作コマンドを実行する。
図１０に示すコマンドリストでは、「ROBOT_JOB_END」を許可コマンド記憶部１１３から削除し、「SVOF」によりサーボＯＦＦした後、次の作業ができるように「ROBOT_JOB_BGN」を許可コマンド記憶部１１３に登録して作業を終了する。
「SVOF」は、図４の説明にあるように「SVON」とは逆にロボット機構部１２０の各関節を駆動するサーボモータの電源をＯＦＦにするコマンドである。
ここで、各コマンドリストの動作コマンドの記述で実行中のコマンドを初めに削除するのは、記憶するメモリの節約とコマンド実行中に音声インターフェースが誤認識して同名のコマンドが再送された場合にロボットが誤動作しないようにするためであり、本実施例のようにコマンドリストに記述せず、ロボット制御部１１４が一度受信したコマンドを許可コマンド記憶部１１３から削除するようにしてもよい。
In FIG. 10, when the user utters “work end”, the command “ROBOT_JOB_END” is transmitted to the robot control device 110. Since the
In the command list shown in FIG. 10, “ROBOT_JOB_BGN” is registered in the permission
“SVOF” is a command to turn off the power of the servo motor that drives each joint of the robot mechanism unit 120, as opposed to “SVON” as described in FIG. 4.
Here, the command being executed in the description of the operation command of each command list is deleted first when the command with the same name is resent because the voice interface is misrecognized during the command execution and saving of memory to be stored. In order to prevent the robot from malfunctioning, the command once received by the
このように、ロボットの状態に応じて実行可能なコマンドのみを許可するため、音声インターフェース部で騒音などを誤認識した場合でも送信されるコマンドが制限されるのでロボットの誤動作を著しく低減することができる。
また、本発明では音声インターフェースは、使用者の発声した音声を認識し、コマンドをロボット制御装置へ送信するといった単純な機能であるため、複数のロボットと接続して音声操作することができる。
In this way, only commands that can be executed according to the state of the robot are allowed, so even if the voice interface unit misrecognizes noise or the like, the transmitted commands are limited, which can significantly reduce the robot malfunction. it can.
In the present invention, since the voice interface has a simple function of recognizing the voice uttered by the user and transmitting a command to the robot control device, the voice interface can be connected to a plurality of robots for voice operation.
装置の状態に応じて実行するコマンドを制限することができるので、ロボットの操作以外にもモータやエンジンなどで駆動する装置を音声で操作するという用途にも適用できる。 Since commands to be executed can be limited according to the state of the apparatus, the present invention can be applied not only to the operation of the robot but also to the use of operating the apparatus driven by a motor, an engine or the like by voice.
１００ 音声インターフェース
１０１ 音声入力部
１０２ 音声認識部
１０３ 語彙−コマンド記憶部
１０４ コマンド決定部
１０５ 通信部
１１０ ロボット制御装置
１１１ 通信部
１１２ コマンド制御部
１１３ 許可コマンド記憶部
１１４ ロボット制御部
１１５ 外界センサ
１２０ ロボット機構部
４１０ 送信機
４１１ マイク
４１２ 送信部
４２０ クレーン制御部
４２１ 受信部
４２２ 音声認識部
４２３ 信号処理部
４２４ 油圧変換部
DESCRIPTION OF
Claims (4)
前記音声インターフェースは、前記使用者の音声を入力する音声入力部と、前記音声入力部に入力された音声を語彙として認識する音声認識部と、認識対象の語彙と前記ロボットのコマンドとを関連付けた情報を記憶した語彙−コマンド記憶部と、前記音声認識部にて認識した語彙と前記語彙−コマンド記憶部に記憶した情報から前記ロボットのコマンドを決定するコマンド決定部と、前記コマンド決定部にて決定したコマンドを前記ロボット制御装置に送信する第１の通信部とを備え、
前記ロボット制御装置は、前記音声インターフェースから送信されたコマンドを受信する第２の通信部と、前記第２の通信部が受信したコマンドを実行するか無視するかを判定するコマンド制御部と、前記ロボットの稼動状態に応じて実行可能なコマンドを記憶する許可コマンド記憶部と、前記コマンドに従って前記ロボット機構部の動作を制御するロボット制御部とを備えたことを特徴とするロボット制御システム。 A robot mechanism unit including at least one actuator, a robot control device that controls the operation of the robot mechanism unit, and a voice interface that converts a user's voice into a command of the robot and transmits the command to the robot control unit In a robot control system equipped with
The voice interface associates a voice input unit that inputs the voice of the user, a voice recognition unit that recognizes a voice input to the voice input unit as a vocabulary, a vocabulary to be recognized, and a command of the robot A vocabulary-command storage section storing information, a vocabulary recognized by the speech recognition section, a command determination section for determining commands of the robot from the information stored in the vocabulary-command storage section, and the command determination section A first communication unit that transmits the determined command to the robot control device;
The robot control device includes: a second communication unit that receives a command transmitted from the voice interface; a command control unit that determines whether to execute or ignore the command received by the second communication unit; A robot control system comprising: a permission command storage unit that stores a command that can be executed according to an operating state of the robot; and a robot control unit that controls the operation of the robot mechanism unit according to the command.
前記コマンドの実行開始時に、前記コマンドに予め関連付けられた手順に従って、少なくとも１つのコマンドを前記許可コマンド記憶部から削除することを特徴とする請求項１記載のロボット制御システム。 The command control unit determines to ignore the received command if the received command does not match the command stored in the permission command storage unit, and to execute the received command if the command matches.
The robot control system according to claim 1, wherein at the start of execution of the command, at least one command is deleted from the permission command storage unit according to a procedure associated with the command in advance.
入力された前記使用者の音声を認識し、前記認識した音声に基づいて前記ロボットのコマンドを決定し、前記決定したコマンドをロボット制御装置に送信し、
前記ロボット制御装置は受信した前記コマンドが実行を許可されているコマンドかどうか判定し、
許可されていなければ前記コマンドを無視し、
許可されていれば、前記コマンドに予め関連付けられた手順に従って、その時点で許可されている複数のコマンドから少なくとも１つを削除し、前記コマンドに従って前記ロボットを動作させ、その後に前記手順に従って許可するコマンドを少なくとも１つ登録することを特徴とするロボット制御方法。 In a robot control method for controlling a robot based on a user's voice,
Recognizing the input voice of the user, determining a command of the robot based on the recognized voice, and transmitting the determined command to a robot controller;
The robot controller determines whether the received command is a command that is permitted to be executed,
Ignore the command if not allowed,
If permitted, according to a procedure pre-associated with the command, delete at least one of the commands allowed at that time, operate the robot according to the command, and then permit according to the procedure A robot control method, wherein at least one command is registered.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005109589A JP4453596B2 (en) | 2005-04-06 | 2005-04-06 | Robot control method and robot apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005109589A JP4453596B2 (en) | 2005-04-06 | 2005-04-06 | Robot control method and robot apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006289514A true JP2006289514A (en) | 2006-10-26 |
| JP4453596B2 JP4453596B2 (en) | 2010-04-21 |
Family
ID=37410662
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005109589A Expired - Fee Related JP4453596B2 (en) | 2005-04-06 | 2005-04-06 | Robot control method and robot apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4453596B2 (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1731072A2 (en) * | 2005-06-07 | 2006-12-13 | LG Electronics Inc. | Apparatus and method for notifying state of self-moving cleaning robot |
| WO2010083768A1 (en) * | 2009-01-24 | 2010-07-29 | 泰怡凯电器(苏州)有限公司 | Speech system used for robot and robot with speech system |
| JP2013136131A (en) * | 2011-12-28 | 2013-07-11 | Toyota Motor Corp | Method and device for controlling robot, and robot |
| JP2016078791A (en) * | 2014-10-22 | 2016-05-16 | 株式会社大林組 | Visible light communication control device and underwater work support system |
| JP2018103326A (en) * | 2016-12-27 | 2018-07-05 | ファナック株式会社 | Industrial robot control device |
| CN108665891A (en) * | 2017-03-28 | 2018-10-16 | 卡西欧计算机株式会社 | Sound detection device, sound detection method and recording medium |
| CN108899026A (en) * | 2018-07-25 | 2018-11-27 | 浙江工业大学 | A kind of sound control method and control system of photocatalysis processing platform |
| JP2019144759A (en) * | 2018-02-19 | 2019-08-29 | コニカミノルタ株式会社 | Image processing apparatus, image processing apparatus control method, and program |
| JP2022525176A (en) * | 2019-04-29 | 2022-05-11 | ソニーグループ株式会社 | Techniques for controlling the camera interface using voice commands |
-
2005
- 2005-04-06 JP JP2005109589A patent/JP4453596B2/en not_active Expired - Fee Related
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1731072A2 (en) * | 2005-06-07 | 2006-12-13 | LG Electronics Inc. | Apparatus and method for notifying state of self-moving cleaning robot |
| EP1731072A3 (en) * | 2005-06-07 | 2011-11-16 | LG Electronics Inc. | Apparatus and method for notifying state of self-moving cleaning robot |
| WO2010083768A1 (en) * | 2009-01-24 | 2010-07-29 | 泰怡凯电器(苏州)有限公司 | Speech system used for robot and robot with speech system |
| JP2013136131A (en) * | 2011-12-28 | 2013-07-11 | Toyota Motor Corp | Method and device for controlling robot, and robot |
| JP2016078791A (en) * | 2014-10-22 | 2016-05-16 | 株式会社大林組 | Visible light communication control device and underwater work support system |
| US10456921B2 (en) | 2016-12-27 | 2019-10-29 | Fanuc Corporation | Industrial-robot control device |
| JP2018103326A (en) * | 2016-12-27 | 2018-07-05 | ファナック株式会社 | Industrial robot control device |
| DE102017130693B4 (en) * | 2016-12-27 | 2021-03-04 | Fanuc Corporation | Industrial robot control device |
| CN108665891A (en) * | 2017-03-28 | 2018-10-16 | 卡西欧计算机株式会社 | Sound detection device, sound detection method and recording medium |
| CN108665891B (en) * | 2017-03-28 | 2023-05-02 | 卡西欧计算机株式会社 | Voice detection device, voice detection method, and recording medium |
| JP2019144759A (en) * | 2018-02-19 | 2019-08-29 | コニカミノルタ株式会社 | Image processing apparatus, image processing apparatus control method, and program |
| JP7003720B2 (en) | 2018-02-19 | 2022-01-21 | コニカミノルタ株式会社 | Image processing equipment, image processing equipment control methods, and programs |
| CN108899026A (en) * | 2018-07-25 | 2018-11-27 | 浙江工业大学 | A kind of sound control method and control system of photocatalysis processing platform |
| CN108899026B (en) * | 2018-07-25 | 2023-10-20 | 浙江工业大学 | Voice control method and control system for photocatalysis processing platform |
| JP2022525176A (en) * | 2019-04-29 | 2022-05-11 | ソニーグループ株式会社 | Techniques for controlling the camera interface using voice commands |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4453596B2 (en) | 2010-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4453596B2 (en) | Robot control method and robot apparatus | |
| US11037564B2 (en) | Robot apparatus and method for registering shortcut command thereof based on a predetermined time interval | |
| EP1308799A4 (en) | Voice-actuated control device of construction machine | |
| JP4266211B2 (en) | Robot device, method of moving robot device, and program | |
| CN107901915A (en) | Vehicle drive automated system and method based on voice control | |
| US7813837B2 (en) | Robot control system | |
| JP4544145B2 (en) | Robot interference avoidance method and robot | |
| AU2003289142A1 (en) | Robot control device, robot control method, and robot control program | |
| WO2005022295A3 (en) | Media center controller system and method | |
| WO2005008476A3 (en) | Method and system for intelligent prompt control in a multimodal software application | |
| CA2200716A1 (en) | A speech interface for an automated endoscopic system | |
| EP1426147A3 (en) | Industrial robot with means for detecting an operation command | |
| EP1085500A3 (en) | Timing between commands of a voice controlled device | |
| KR101724748B1 (en) | Speech recognition apparatus for vehicle | |
| JP2004268151A (en) | Robot control device and control method | |
| TW200643895A (en) | Voice-controlled vehicle control method and system with restricted condition for assisting recognition | |
| Fischer et al. | Human-robot-interface for intelligent service robot assistance | |
| JP2006289543A (en) | Robot teaching device | |
| WO2019146586A1 (en) | Robot instruction device | |
| JP2006187825A (en) | Robot device and method of controlling the same | |
| KR20130041421A (en) | Voice recognition multimodality system based on touch | |
| JPH07187562A (en) | Crane operating method | |
| JPS6456428A (en) | Control system for camera by sound | |
| JP2019126902A (en) | Robot teaching device | |
| EP4011567A1 (en) | Robot control |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080314 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091026 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091029 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091215 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100112 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100125 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130212 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140212 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150212 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |