JP2017084041A - Voice command input device and welding system - Google Patents
Voice command input device and welding system Download PDFInfo
- Publication number
- JP2017084041A JP2017084041A JP2015210677A JP2015210677A JP2017084041A JP 2017084041 A JP2017084041 A JP 2017084041A JP 2015210677 A JP2015210677 A JP 2015210677A JP 2015210677 A JP2015210677 A JP 2015210677A JP 2017084041 A JP2017084041 A JP 2017084041A
- Authority
- JP
- Japan
- Prior art keywords
- command
- voice
- unit
- welding
- speaker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、加速度センサを用いた音声指令入力装置、及びその音声指令入力装置を用いた溶接システムに関するものである。 The present invention relates to a voice command input device using an acceleration sensor and a welding system using the voice command input device.
従来、音声による指令(以下、「音声指令」という。)が入力可能な溶接システムが提案されている。例えば、特許文献1には、作業者が音声指令を入力するための耳掛け式のマイクを設ける一方、溶接トーチにそのマイクを接続するためのマイク接続部を設け、作業者が溶接作業をする際にマイクを溶接トーチのマイク接続部に接続する構成が開示されている。 Conventionally, a welding system capable of inputting a voice command (hereinafter referred to as a “voice command”) has been proposed. For example, Patent Document 1 provides an ear-hook type microphone for an operator to input a voice command, while providing a microphone connection portion for connecting the microphone to a welding torch, and the operator performs a welding operation. A configuration is disclosed in which a microphone is connected to a microphone connection portion of a welding torch.
特許文献1は、作業者がマイクに入力した音声指令を、マイク接続部と、溶接トーチを溶接電源装置に接続する接続ケーブルとを介して溶接電源装置内の制御回路に送信し、当該制御回路で音声指令の入力処理をする構成である。 Patent Document 1 transmits a voice command input to a microphone by an operator to a control circuit in the welding power supply device via a microphone connection portion and a connection cable that connects the welding torch to the welding power supply device. In this configuration, voice command input processing is performed.
溶接現場は、アークの発生に起因する騒音を初めとして比較的高い騒音が発生する環境である。このため、作業者の発した音声指令(騒音が混入した音声指令)によって溶接システムの溶接電源装置を制御するには、音声指令を電気信号に変換した指令信号に対して騒音に基づくノイズを十分に抑制する必要がある。 The welding site is an environment in which relatively high noise is generated, including noise caused by arc generation. For this reason, in order to control the welding power supply device of the welding system by a voice command (voice command mixed with noise) issued by an operator, noise based on noise is sufficient for the command signal obtained by converting the voice command into an electrical signal. It is necessary to suppress it.
従来、音声認識システムにおいては、環境騒音による誤認識や誤動作を低減する技術が提案されている。例えば、特許文献2には、環境騒音による誤認識や誤動作を低減する有効な方法として、音声用マイクと騒音用マイクを設け、音声用マイクで得られた音声から騒音用マイクで得られた騒音成分(ノイズ成分)を差し引く方法(ノイズキャンセラー)や、音声用マイクに指向性の強いマイクや骨伝導マイクを用いて利用者の音声だけを拾う方法が開示されている。
Conventionally, in a speech recognition system, a technique for reducing misrecognition and malfunction due to environmental noise has been proposed. For example, in
また、特許文献3には、人の撮影画像の唇の動きを用いてその人が発する音声を認識する技術が示されている。具体的には、撮影装置で撮影者自身を撮影するセルフタイマー撮影において、被写体である撮影者の動画像から唇領域の画像を抽出し、その抽出画像の唇の動きから撮影者がシャッターに関するキーワードを発したことを検出して静止画像を撮影する技術が記載されている。
例えば、パルス溶接では、溶接電流がパルス周波数で小電流と大電流に交互に切り換えられるので、その溶接電流の変化に応じてアークの太さが変化する。このため、アークの周りの空気が振動して非常に大きな騒音が発生する。この騒音の大きさは、場合によっては80〜100[dB]の大騒音になることがあり、パルス溶接では一般的な工場騒音よりも大きな騒音やノイズが発生する。 For example, in pulse welding, since the welding current is alternately switched between a small current and a large current at the pulse frequency, the thickness of the arc changes according to the change in the welding current. For this reason, the air around the arc vibrates and a very large noise is generated. The magnitude of this noise may be as high as 80 to 100 [dB] in some cases, and noise and noise larger than general factory noise are generated in pulse welding.
溶接現場では、非常に大きな騒音が発生するので、マイクで集音した音声信号にフィルタリング処理を施して騒音を十分に除去することは困難である。このため、溶接システムに適用される音声指令入力装置では、音声による操作指令を高い精度で入力することが困難である。 Since very large noise is generated at the welding site, it is difficult to sufficiently remove the noise by performing filtering processing on the audio signal collected by the microphone. For this reason, in the voice command input device applied to the welding system, it is difficult to input a voice operation command with high accuracy.
騒音の影響を受けない方法として、特許文献3に開示されている作業者の顔を撮影した動画像を用いて当該作業者の発する音声を読み取る方法を適用することが考えられる。
As a method not affected by noise, it is conceivable to apply a method disclosed in
しかしながら、この方法では、作業者の顔に対してカメラを正対させるように配置しなければならず、カメラの配設が容易でない。特に、溶接作業中は作業者の姿勢が常に変化するので、作業者とは別の位置に固定したカメラでは作業者の顔の部分を撮影できない場合も生じ、作業者の発する音声を読み取れないことが生じる。 However, in this method, it is necessary to arrange the camera so as to face the operator's face, and it is not easy to arrange the camera. In particular, since the posture of the worker always changes during welding work, it may happen that the face part of the worker cannot be photographed with a camera fixed at a position different from the worker, and the voice produced by the worker cannot be read. Occurs.
この不都合を回避するために、作業者の頭部にカメラを取り付ける場合は、カメラを作業者の顔に正対させるように取り付けることになるので、カメラやそのカメラの支持部材が作業者の溶接作業の邪魔になるという問題が生じる。 In order to avoid this inconvenience, when the camera is attached to the operator's head, the camera and the camera support member are welded to the operator because the camera is attached to face the operator's face. The problem of getting in the way of work arises.
本発明は、上記の課題に鑑みてなされたもので、作業現場の周囲の騒音の影響を受けることなく高い精度で音声指令を入力することができる音声指令入力装置及びその音声指令入力装置を用いた溶接システムを提供することを目的とする。 The present invention has been made in view of the above problems, and uses a voice command input device and a voice command input device that can input voice commands with high accuracy without being affected by noise around the work site. The purpose is to provide a welding system.
本発明に係る音声指令入力装置は、音声により指令信号を入力する音声指令入力装置であって、話者が音声指令を発声したときの当該話者の口の動きを検出する検出手段と、検出手段が検出した口の動きを話者が発声した指令語に変換する指令語変換手段と、変換手段が変換した指令語に対応する指令信号を生成する指令信号生成手段と、を備えたことを特徴とする。 A voice command input device according to the present invention is a voice command input device for inputting a command signal by voice, and a detection means for detecting a movement of the speaker's mouth when the speaker utters a voice command; Command word conversion means for converting the mouth movement detected by the means into a command word uttered by the speaker, and command signal generation means for generating a command signal corresponding to the command word converted by the conversion means. Features.
この構成によれば、話者の口の動きから話者が発声した音声指令を認識することにより、周囲の騒音の影響を受けることなく音声指令に対応する指令信号を入力することができる。 According to this configuration, by recognizing the voice command uttered by the speaker from the movement of the speaker's mouth, it is possible to input a command signal corresponding to the voice command without being affected by ambient noise.
上記の音声指令入力装置において、検出手段は、話者の頬若しくは口元の周辺部に取り付けられる加速度センサと、話者が音声指令を発声するのに応じて加速度センサから出力される加速度の検出値を話者の口の動きのデータに変換する第1の変換手段とを含み、指令語変換手段は、話者の発声する音素と当該音素に対応する口の動きとの対応関係を示す第1の変換テーブルを記憶する第1の記憶手段と、予め登録された1以上の指令語を記憶する第2の記憶手段と、第1の変換テーブルを用いて、第1の変換手段から出力される話者の口の動きのデータを音素の列に変換する第2の変換手段と、第2の変換手段で変換された音素の列を第2の記憶手段に登録された指令語と照合して話者の発声した指令語を認識する音声認識手段とを含み、指令信号生成手段は、第2の記憶手段に記憶された1以上の指令語と指令信号との対応関係を示す第2の変換テーブルを記憶する第3の記憶手段と、第2の変換テーブルを用いて、音声認識手段が認識した指令語を当該指令語に対応する指令信号に変換する第3の変換手段とを含むとよい。 In the above voice command input device, the detection means includes an acceleration sensor attached to the speaker's cheek or peripheral portion of the mouth, and a detected acceleration value output from the acceleration sensor in response to the speaker speaking the voice command. The first conversion means for converting the voice into the mouth movement data of the speaker, the command word conversion means is a first indicating a correspondence relationship between the phoneme uttered by the speaker and the mouth movement corresponding to the phoneme. Output from the first conversion means using the first storage means for storing the first conversion table, the second storage means for storing one or more command words registered in advance, and the first conversion table. A second conversion means for converting the speech movement data of the speaker into a phoneme string, and collating the phoneme string converted by the second conversion means with a command word registered in the second storage means. Voice recognition means for recognizing command words spoken by a speaker, The command signal generating means includes a third storage means for storing a second conversion table indicating a correspondence relationship between one or more command words stored in the second storage means and the command signal, and a second conversion table. And a third conversion means for converting the command word recognized by the voice recognition means into a command signal corresponding to the command word.
この構成によれば、加速度センサにより検出した話者の口の動きのデータと第1の変換テーブルとから話者の発声した音声指令を構成する音素を適切に検出することができとともに、検出した音声指令の構成音素と登録した指令語とから当該音声指令の指令語を適切に認識することができる。また、第2の変換テーブルを用いて、認識した指令語を当該指令語に対応する指令信号に変換して入力することができる。 According to this configuration, the phoneme constituting the voice command uttered by the speaker can be appropriately detected and detected from the data of the mouth movement of the speaker detected by the acceleration sensor and the first conversion table. The command word of the voice command can be appropriately recognized from the constituent phonemes of the voice command and the registered command word. Further, the recognized command word can be converted into a command signal corresponding to the command word and input using the second conversion table.
さらに、上記の音声指令入力装置において、音声認識手段は、第2の記憶手段に登録された指令語と第2の変換手段で変換された音素の列との一致度を算出し、所定の閾値以上の一致度を有し、かつ、一致度が最も高い指令語を話者が発声した音声指令と認識するとよい。 Furthermore, in the above voice command input device, the voice recognition means calculates the degree of coincidence between the command word registered in the second storage means and the phoneme string converted by the second conversion means, and has a predetermined threshold value. The command word having the above matching degree and the highest matching degree may be recognized as a voice command uttered by the speaker.
この構成によれば、音声認識により認識した指令語に完全に一致する指令語が登録されてなくても、音声指令を高い精度で当該音声指令に対応する指令語に変換して入力することができる。 According to this configuration, even if a command word that completely matches the command word recognized by voice recognition is not registered, the voice command can be converted into a command word corresponding to the voice command and input with high accuracy. it can.
また、上記の音声指令入力装置において、話者の発声した音素に応じた口の動きのデータは、話者が音声を発声しない表情を基準として音声を発声したときの表情の変化に基づく加速度センサの変位ベクトルのデータであるとよい。 In the voice command input device, the mouth movement data corresponding to the phoneme uttered by the speaker is an acceleration sensor based on a change in facial expression when the speaker utters the speech based on an expression that does not utter the speech. The displacement vector data may be good.
この構成によれば、話者の発声した音声指令の音素の応じた口の動きを高い精度で検出することができる。 According to this configuration, the movement of the mouth according to the phoneme of the voice command uttered by the speaker can be detected with high accuracy.
また、上記の音声指令入力装置において、加速度センサは、互いに直交する3軸方向の加速度を検出する三軸加速度センサであり、話者の両頬もしくは口元の両側にそれぞれ取り付けられているとよい。 In the voice command input device described above, the acceleration sensor is a triaxial acceleration sensor that detects acceleration in three axial directions orthogonal to each other, and may be attached to both sides of the speaker's cheeks or mouth.
この構成によれば、話者の発声した音声指令の音素の応じた微妙な口の動きを高い精度で検出することができる。 According to this configuration, it is possible to detect a delicate movement of the mouth corresponding to the phoneme of the voice command uttered by the speaker with high accuracy.
本発明に係る溶接システムは、溶接トーチと、溶接トーチに溶接ワイヤを送給するワイヤ送給装置と、ワイヤ送給装置を介して溶接トーチと母材との間に溶接用の電力を供給する溶接電源と、溶接電源に各種の指令を入力するための指令入力装置と、を備えた溶接システムであって、指令入力装置は上記の本発明に係る音声指令入力装置で構成されている、ことを特徴とする。 A welding system according to the present invention supplies a welding torch, a wire feeding device that feeds a welding wire to the welding torch, and electric power for welding between the welding torch and the base material via the wire feeding device. A welding system comprising a welding power source and a command input device for inputting various commands to the welding power source, wherein the command input device comprises the voice command input device according to the present invention described above. It is characterized by.
この構成によれば、作業者の口の動きから話者が発声した音声指令を認識することにより、周囲の騒音の影響を受けることなく高い精度で溶接に関する音声指令を当該音声指令に対応する指令信号を変換して溶接電源に入力することができる溶接システムを適用することができる。 According to this configuration, by recognizing the voice command uttered by the speaker from the movement of the worker's mouth, the command corresponding to the voice command can be given to the voice command related to welding with high accuracy without being affected by ambient noise. A welding system that can convert a signal and input it to a welding power source can be applied.
上記の溶接システムにおいて、音声指令入力装置は、ワイヤ送給装置に設けられているとよい。 In the above welding system, the voice command input device may be provided in the wire feeding device.
この構成によれば、作業者の近くに配置されるワイヤ送給装置に音声指令入力装置を設けることにより、溶接システムへの音声指令入力装置の配設が容易かつコンパクトになる。 According to this configuration, the voice command input device is easily and compactly arranged in the welding system by providing the voice command input device in the wire feeding device arranged near the worker.
また、上記の溶接システムにおいて、ワイヤ送給装置に無線通信により接続可能な遠隔操作装置を備え、音声指令入力装置は遠隔操作装置に設けられている、とよい。 The welding system may include a remote operation device that can be connected to the wire feeding device by wireless communication, and the voice command input device may be provided in the remote operation device.
この構成によれば、作業者に保持される遠隔操作装置に音声指令入力装置を設けることにより、溶接システムへの音声指令入力装置の配設が容易かつコンパクトになる。 According to this configuration, the voice command input device is easily and compactly arranged in the welding system by providing the voice command input device in the remote control device held by the operator.
本発明による音声指令入力装置及び溶接システムによれば、作業者が発した音声指令を騒音の影響を受けることなく高い精度で認識し、その認識した音声指令に基づいて信頼性の高い指令信号を生成することができる。 According to the voice command input device and the welding system of the present invention, a voice command issued by an operator is recognized with high accuracy without being affected by noise, and a highly reliable command signal is generated based on the recognized voice command. Can be generated.
以下、本発明に係る音声指令入力装置と、その音声指令入力装置を備えた溶接システムの実施の形態について、図面を参照して説明する。 DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments of a voice command input device according to the present invention and a welding system including the voice command input device will be described with reference to the drawings.
まず、音声指令入力装置について説明する。 First, the voice command input device will be described.
図1は、本発明に係る音声指令入力装置の構成を示すブロック図である。図2は、同音声指令入力装置に用いられる加速度センサの外観を示す外観図である。 FIG. 1 is a block diagram showing a configuration of a voice command input device according to the present invention. FIG. 2 is an external view showing an external appearance of an acceleration sensor used in the voice command input device.
音声指令入力装置1は、加速度センサ101、座標変換部102、変換テーブル記憶部103、音声変換部104、音声認識部105、言語モデル記憶部106、指令信号変換部107及び指令語記憶部108を含む。
The voice command input device 1 includes an
加速度センサ101は、音声指令を発する話者(作業者)Qの頬や口元の周辺部に取り付けられ、口角を動かす頬筋や口元の表情を作る口輪筋などの動きを検出するためのセンサである。座標変換部102、変換テーブル記憶部103、音声変換部104、音声認識部105、言語モデル記憶部106、指令信号変換部107及び指令語記憶部108は、音声指令入力装置1の装置本体100内に設けられる。
The
加速度センサ101及び座標変換部102は、本発明に係る「検出手段」に対応し、座標変換部102は、本発明に係る「第1の変換手段」に対応している。また、変換テーブル記憶部103、音声変換部104、音声認識部105及び言語モデル記憶部106は、本発明に係る「指令語変換手段」に対応し、変換テーブル記憶部103と言語モデル記憶部106は、本発明に係る「第1の記憶手段」と「第2の記憶手段」とにそれぞれ対応している。また、音声変換部104と音声認識部105は、本発明に係る「第2の変換手段」と「音声認識手段」とにそれぞれ対応している。
The
また、指令信号変換部107及び指令語記憶部108は、本発明に係る「指令信号生成手段」に対応し、指令信号変換部107は、本発明に係る「第3の変換手段」に対応し、指令語記憶部108は、本発明に係る「第3の記憶手段」に対応している。
The command
加速度センサ101は、話者Qの頭部に装着されるケーブル中継部材2を介して装置本体100内の座標変換部102に接続されている。ケーブル中継部材2は、円弧型に湾曲した弾性を有する頭部装着部201と、頭部装着部201の両端に設けられた加速度センサ101との接続部202と、一方端が接続部202に接続され、頭部装着部201のほぼ中央から引き出された他方端が装置本体100に接続される信号線203と、を有する。
The
加速度センサ101からはフレキシブルなリード線1011が引き出され、そのリード線1011の先端には接続部202に電気的に接続するためのコネクタ1012が設けられている。加速度センサ101のコネクタ1012をケーブル中継部材2の接続部202に接続することにより、加速度センサ101は、リード線1011及び信号線203によって装置本体100内の座標変換部102に電気的に接続される。加速度センサ101の検出信号は、リード線1011及び信号線203を介して座標変換部102に入力される。
A
加速度センサ101には、図2に示すように、数mm径の円盤状を有する小型・軽量の半導体式加速度センサが用いられている。半導体式加速度センサは、例えば、MEMS(Micro Electro Mechanical Systems)技術を用いたものが好適である。
As the
半導体式加速度センサ101は、加速度を検出するセンサチップと、センサチップから出力される検出信号に所定の信号処理を行って外部に出力する信号処理回路を含む。加速度検出方式には静電容量型、ピエゾ抵抗型、ガス温度分布型、動電型、磁気型などの各種のタイプがあるが、いずれのタイプのセンサチップを用いてもよい。
The
加速度センサには、一般に、XYZ直交座標系(図2参照)の各軸方向(3方向)の加速度を検出する3軸加速度センサ、2方向(XY方向)の加速度を検出する2軸加速度センサ、1方向(X方向)の加速度を検出する1軸加速度センサがある。加速度センサ101は、好ましくは2軸加速度センサ又は3軸加速度センサを用いるとよい。
The acceleration sensor generally includes a three-axis acceleration sensor that detects acceleration in each axial direction (three directions) of an XYZ orthogonal coordinate system (see FIG. 2), a two-axis acceleration sensor that detects acceleration in two directions (XY direction), There is a one-axis acceleration sensor that detects acceleration in one direction (X direction). As the
加速度センサ101は、話者Qの両頬若しくは口元の両側の近傍に1対取り付けるのが好ましいが、2対以上取り付けてもよく、話者Qの一方の頬若しくは口元の一方側の近傍に1個取り付けてもよい。
The
加速度センサ101は、例えば、シート状の接着部材3によって話者Qの頬若しくは口元の周辺部に接着されている。接着部材3には、皮膚への密着性や接着強度などを考慮して、例えば、医療用テープや皮膚貼付用テープ等を用いるとよい。図1の例では、加速度センサ101に接着部材3を直接接着しているが、加速度センサ101と接着部材3との間に、話者Qが口を動かしたときの皮膚の振動を吸収するための緩衝部材を介在させるようにしてもよい。
The
図1の例では、話者Qの口元の両側の近傍にそれぞれ加速度センサ101Rと加速度センサ101L(Rは、話者Qの顔の右側にあるセンサを示し、Lは、話者Qの顔の左側にあるセンサを示す。)が取り付けられている。また、加速度センサ101R,101Lは、3軸加速度センサである。話者Qの口元の両側に一対の3軸加速度センサ101R,101Lを設けることにより、両加速度センサ101R,101Lの検出信号Sx,Sy,Szを用いて話者Qが音声を発したときの口元の微妙な動きを検出することができる。
In the example of FIG. 1, the acceleration sensor 101R and the
図3は、話者Qの顔に加速度センサ101を取り付けた場合の当該加速度センサ101の加速度の検出方向を示す図である。
FIG. 3 is a diagram illustrating the acceleration detection direction of the
3軸の加速度センサ101には、当該加速度センサ101に対して互いに直交するXYZ座標系が仮想設定されており、加速度センサ101からはそのXYZ座標系のX軸、Y軸、Z軸の各軸方向の加速度を検出した検出信号Sx,Sy,Szが出力される。
An XYZ coordinate system that is orthogonal to the
加速度センサ101は、当該加速度センサ101に仮想設定されるXYZ座標系のX軸方向とY軸方向を話者Qの顔の横方向(左右方向)と縦方向(上下方向)にそれぞれ一致させて話者Qの顔の頬若しくは口元の周辺部に取り付けられる。
The
話者Qの顔の頬若しくは口元の周辺部に加速度センサ101が取り付けられると、図3に示すように、加速度センサ101に仮想設定されているXYZ座標系は、話者Qの顔の加速度を計測する直交座標系となる。
When the
すなわち、話者Qの顔の加速度センサ101の取り付け位置がXYZ座標系の原点Oとなり、話者Qの顔の表面(通常、曲面)の原点Oにおける横方向の接線がX軸方向となり、縦方向の接線がY軸方向となる。また、話者Qの顔の表面の原点Oにおける法線方向がZ軸方向となる。
That is, the attachment position of the
話者Qが頬筋や口輪筋を動かしていない顔の表情を基準表情とすると、その基準表情におけるXYZ座標系の原点Oの位置は話者Qの頬や口角の動きを検出する検出位置Prとなる。話者Qが頬筋や口輪筋を動かして顔の表情を変化させると、その変化に応じて加速度センサ101が変位し、話者Qの顔に取り付けられた加速度センサ101から話者Qの顔の横方向の加速度を検出した検出信号Sxと、話者Qの顔の縦方向の加速度を検出した検出信号Syと、話者Qの顔の法線方向の加速度を検出した検出信号Szが出力される。
If the facial expression of the speaker Q whose cheek and muzzle muscles are not moved is a reference facial expression, the position of the origin O of the XYZ coordinate system in the reference facial expression is a detection position for detecting the movement of the speaker's cheek and mouth corner. Pr. When the speaker Q moves the cheek muscles or the muzzle muscles to change the facial expression, the
加速度センサ101が変位すると、図4に示すように、話者Qの頬や口角の動きを検出する検出位置Prが基準表情のときの位置(以下、この位置を「基準位置」という。)から変位する。検出位置Prの基準位置からの変位は変位ベクトルVによって表され、その変位ベクトルVのX軸、Y軸及びZ軸方向の各軸方向の成分Xd、Yd、Zdは、検出信号Sx,Sy,Szを用いてそれぞれ算出することができる。
When the
座標変換部102は、加速度センサ101から出力される検出信号Sx,Sy,Szを用いて、変位ベクトルVのX軸方向、Y軸方向及びZ軸方向の座標Xd、Yd、Zdに変換する。座標変換部102は、所定の周期で加速度センサ101から検出信号Sx,Sy,Szを取り込み、検出信号毎に積分処理を2回行って各軸方向の距離、すなわち、検出位置Prが基準位置から変位した位置Pd(以下、「変位位置Pd」という。)の座標Xd、Yd、Zdを算出する。
The coordinate
変換テーブル記憶部103は、座標変換部102が算出した変位位置Pdの座標Xd、Yd、Zdを、「あ」、「い」、「う」、…「ん」の音素のデータに変換するための変換テーブルを格納している。音素のデータは、例えば、周知の文字コード表における音素に対応する文字(ひらかな又はカタカナ)のコードデータである。
The conversion
話者Qが「あ」、「い」、「う」等の音素を発声するとき、話者Qの口の形は、発生する音素によって異なる。例えば、「あ」、「い」、「う」の母音を発声する場合、口の形は、通常、図5の(a)〜(c)に示すようになる。 When speaker Q utters a phoneme such as “A”, “I”, “U”, etc., the mouth shape of speaker Q varies depending on the phoneme generated. For example, when vowels of “A”, “I”, and “U” are uttered, the mouth shape is usually as shown in FIGS.
すなわち、「あ」を発声するときの口の形は、上唇と下唇を上下に大きく開けた形となり(図5(a))、「い」を発声するときの口の形は、上唇と下唇を上下に少し開いた状態で口角を横に引っ張る形となり(図5(b))、「う」を発声するときの口の形は、唇を突き出すように口を窄めた形となる(図5(c))。 That is, the shape of the mouth when uttering “a” is a shape with the upper lip and lower lip greatly opened up and down (FIG. 5A), and the shape of the mouth when uttering “i” is the upper lip and With the lower lip slightly opened up and down, the corner of the mouth is pulled sideways (Fig. 5 (b)), and the shape of the mouth when saying "U" is a shape that narrows the mouth so that the lips protrude. (FIG. 5C).
音素によって話者Qの口の形が異なるので、話者Qが言葉を発するとき、各音素の発声時の話者Qの頬若しくは口元の周辺部に取り付けた加速度センサ101の位置(検出位置Pr)の動き(変位量)が異なる。例えば、加速度センサ101が話者Qの口角の真横に取り付けられている場合、例えば、「あ」を発声したときの検出位置Prの変位ベクトルVは、X方向とY方向の変位量は小さく、Z方向の変位量がX方向,Y方向の変位量に対して大きくなる傾向がある。一方、「い」を発声したときの検出位置Prの変位ベクトルVは、Y方向の変位量は小さく、Y方向の変位量がX方向の変位量に対して大きくなる傾向がある。
Since the shape of the mouth of the speaker Q differs depending on the phoneme, when the speaker Q speaks, the position of the
このように、話者Qが音素を発声したときの検出位置Prの変位ベクトルVは、各音素に応じた特徴的な変化をするので、変換テーブル記憶部103には、検出位置Prの変位ベクトルV(変位位置Pdの座標)と音素のデータとの対応関係を示すデータが変換テーブルとして記憶されている。この変換テーブルは、本発明に係る「第1の変換テーブル」に対応するものである。
Thus, since the displacement vector V of the detection position Pr when the speaker Q utters a phoneme changes characteristically according to each phoneme, the conversion
変換テーブルの音素に対応する変位ベクトルV(X,Y,Z)には、例えば、予め音声指令入力装置1を使用する話者Qに「あ」、「い」、「う」等の音素を発声させて取得した変位ベクトルV(X,Y,Z)の実測値が用いられる。多数の話者Qに音素を発声させて変位ベクトルV(X,Y,Z)を計測し、その計測値に基づいて算出した代表的な変位ベクトルV(X,Y,Z)を、変換テーブルの音素に対応する変位ベクトルV(X,Y,Z)に用いてもよい。代表的な変位ベクトルV(X,Y,Z)は、例えば、n人の変位ベクトルの計測値(Xm,Ym,Zm)の平均値(ΣXm/n,ΣYm/n,ΣZm/n)によって定義することができる。 In the displacement vector V (X, Y, Z) corresponding to the phoneme in the conversion table, for example, a phoneme such as “A”, “I”, “U” is given to the speaker Q who uses the voice command input device 1 in advance. The measured value of the displacement vector V (X, Y, Z) acquired by speaking is used. A large number of speakers Q utter phonemes to measure displacement vectors V (X, Y, Z), and a representative displacement vector V (X, Y, Z) calculated based on the measured values is converted into a conversion table. May be used for the displacement vector V (X, Y, Z) corresponding to the phonemes. Representative displacement vector V (X, Y, Z), for example, measured values for the n displacement vector (X m, Y m, Z m) the mean value of (ΣX m / n, ΣY m / n, ΣZ m / n).
図6は、変換テーブル記憶部103に記憶されている変換テーブルの一例を示す図である。
FIG. 6 is a diagram illustrating an example of a conversion table stored in the conversion
変換テーブルは、「あ」、「い」、…「ん」の各音素のデータと、予め取得された変位ベクトルVi(Xi,Yi,Zi)(iは、音素を区別するための便宜上の符合。i=1,2,…)との対応関係を示すデータである。図6の表では、音素の欄に、音素に対応する「ひらがな」の文字を記載しているが、変換テーブルでは「ひらかな」又は「カタカナ」の文字コード表におけるコードデータが記載されている。 The conversion table includes the phoneme data “a”, “i”,... “N” and the displacement vector Vi (Xi, Yi, Zi) (i is a code for convenience for distinguishing phonemes. .., I = 1, 2,... In the table of FIG. 6, the “Hiragana” character corresponding to the phoneme is described in the phoneme column, but the code data in the character code table of “Hiragana” or “Katakana” is described in the conversion table. .
図6に示す変換テーブルには、50音の音素について、変位位置Pdの座標Xd、Yd、Zdを音素の文字コードに変換するデータが含まれているが、音声認識の対象とならない音素については、変換データがなくてもよい。例えば、音声指令入力装置1を溶接システムに用いる場合、溶接システムの音声指令に登録される指令の言葉(以下、「指令語」という。)は限られており、その指令語に使用される音素も限られるので、音声の指令語に使用されない音素については、変換データがなくてもよい。 The conversion table shown in FIG. 6 includes data for converting the coordinates Xd, Yd, and Zd of the displacement position Pd into phoneme character codes for 50 phonemes, but for phonemes that are not subject to speech recognition. The conversion data may not be present. For example, when the voice command input device 1 is used in a welding system, command words (hereinafter referred to as “command words”) registered in the voice command of the welding system are limited, and phonemes used for the command words are limited. Therefore, there is no need for conversion data for phonemes that are not used as speech command words.
例えば、溶接システムの音声指令に使用される用語が[かいし]、「ていし」、「でんりゅう」、「でんあつ」、「あげる」、「さげる」などの簡単な言葉で、例えば、「を」、「わ」などの音素が用いられない場合は、「を」、「わ」の音素については変換テーブルに変換データが含まれていなくてもよい。 For example, the terminology used for welding system voice commands is simple words such as [Kaishi], “Tashishi”, “Denryu”, “Denatsu”, “Give”, “Sageru”, etc. , “Wa”, “Wa” and other phonemes are not used, the conversion table does not have to include conversion data for the phonemes of “Wa” and “Wa”.
音声変換部104は、座標変換部102から出力される変位位置Pdの座標Xd、Yd、Zdを変換テーブル記憶部103に記憶された変換テーブルを参照して話者Qが発声した音声のデータ(音素の列を文字コードの列に変換したデータ)に変換する。
The
例えば、座標変換部102から出力される変位位置Pdの座標Xd、Yd、Zdが(X1,Y1,Z1)を中心とした所定の誤差範囲(±ΔX,±ΔY,±ΔZ)内であれば、音声変換部104は、「あ」の音素(文字コード)に変換する。同様に、変位位置Pdの座標Xd、Yd、Zdが(X6,Y6,Z6)であれば、音声変換部104は、「か」の音素(文字コード)に変換する。従って、座標変換部102から(X1,Y1,Z1)と(X6,Y6,Z6)の座標データが順番に出力されると、音声変換部104は、「あ」と「か」の音素(文字コード)に順番に変換して出力する。
For example, if the coordinates Xd, Yd, Zd of the displacement position Pd output from the coordinate
音声認識部105は、音声変換部104から出力される文字列を言語モデル記憶部106に記憶されている言語モデルを用いて認識する処理(話者Qが発声した音声の認識処理)を行う。言語モデル記憶部106は、音声認識処理における周知の言語モデルを記憶する。言語モデルとは、日本語言語における文の品詞、統語構造、単語同士の関係性などを定式化したものである。
The
音声認識部105は、例えば、音声変換部104から入力される文字コードの列が「よ」、「う」、「せ」、「つ」、「か」、「い」、「し」の場合、音声認識部105は、「ようせつ」+「かいし」=「溶接 開始」と認識する処理を行う。
For example, when the character code string input from the
指令信号変換部107は、音声認識部105から出力される音声認識の結果を指令語記憶部108に記憶されている指令語を用いて指令信号に変換する処理を行う。指令語記憶部108は、音声指令として登録された指令語と指令信号との対応関係を示す変換テーブルを記憶する。この変換テーブルは、本発明に係る「第2の変換テーブル」に対応するものである。
The command
指令信号は、例えば、制御部にアクチュエータの動作の制御を行わせるために当該制御部に入力する電気信号である。例えば、操作部に「動作開始」の操作ボタンが設けられ、その操作ボタンが操作されたときに制御部に「動作開始」に対応する所定の指令信号Scが入力される構成の場合、「動作開始」の指令語には「指令信号Sc」の指令信号が対応付けられる。 The command signal is, for example, an electrical signal that is input to the control unit in order to cause the control unit to control the operation of the actuator. For example, in the case where an operation button “start operation” is provided in the operation unit and a predetermined command signal Sc corresponding to “start operation” is input to the control unit when the operation button is operated, The command signal “command signal Sc” is associated with the command word “start”.
従って、指令信号変換部107は、音声認識部105から出力される音声認識の結果が「動作開始」の指令語の場合、指令語記憶部108に記憶された指令語を指令信号に変換するための変換テーブルを用いてその指令語に対応する指令信号Scを生成して出力する。
Therefore, the command
上記のように、本実施の形態に係る音声指令入力装置1によれば、話者(作業者)Qの頬若しくは口元の周辺部に加速度センサ101を取り付け、話者Qが音声指令を発声したときの加速度センサ101の検出信号Sx,Sy,Szを用いて話者Qの口の動きを検出し、その動きから話者Qが発声した音声指令を認識するようにしているので、例えば、話者Qの発声した音声指令をマイクで集音し、その集音した音声信号を用いて音声を認識する場合に比べて話者Qの周囲で発生する雑音や騒音の影響を殆ど受けることがなく、高い精度で音声指令を認識して当該音声指令に対応する指令信号を出力させることができる。
As described above, according to the voice command input device 1 according to the present embodiment, the
次に、本実施の形態に係る音声指令入力装置1の応用例として、音声による操作指令が入力可能な溶接システムについて説明する。 Next, as an application example of the voice command input device 1 according to the present embodiment, a welding system capable of inputting a voice operation command will be described.
図7は、音声指令入力装置1を備える溶接システムの構成を示すブロック図である。 FIG. 7 is a block diagram illustrating a configuration of a welding system including the voice command input device 1.
図7に示す溶接システム4は、音声による操作指令が入力可能な消耗電極式の半自動アーク溶接システムである。溶接システム4は、溶接電源装置5、ワイヤ送給装置6、溶接トーチ7、ガス供給装置8及びワイヤリール9を含み、ワイヤ送給装置6には音声により操作指令を入力するための上述した音声指令入力装置1が設けられている。
A
溶接電源装置5は、溶接ワイヤWと母材Bとの間に供給する電力(溶接用電力)と、ワイヤ送給装置6のワイヤ送給機構601に供給する電力(ワイヤ送給用電力)を生成し、ワイヤ送給装置6を介して溶接用電力を溶接トーチ7に供給するとともに、ワイヤ送給用電力をワイヤ送給装置6のワイヤ送給機構601に供給する機能を有する。
The welding power source device 5 supplies power (welding power) supplied between the welding wire W and the base material B and power (wire feeding power) supplied to the
溶接電源装置5は、機能ブロックとして、電源部501、制御部502、操作部503及びは表示部504を含む。電源部501、操作部503及び表示部504は、制御部502に接続されている。
The welding power supply device 5 includes a
電源部501は、溶接電源装置5の駆動電力を生成するとともに、ワイヤ送給装置6の駆動電力と溶接用電力を生成する。ワイヤ送給装置6の駆動電力は、主として制御部603や表示部605などを駆動するための電力と溶接作業中に溶接ワイヤWを溶接トーチ7に送給するための駆動電力である。溶接用電力は、主として溶接ワイヤWと母材Bとの間にアークAを発生させるための電力とアーク発生後の溶接作業用の電力である。
The
電源部501の電力発生動作は、制御部502によって制御される。ワイヤ送給装置6は、パワーケーブル(図示省略)と制御ケーブル(図示省略)とによって溶接電源装置5に接続される。溶接電源装置5の電源部501で生成されたワイヤ送給装置6の駆動電力と溶接トーチ7への溶接用電力は、パワーケーブルでワイヤ送給装置6に供給され、溶接用電力は、更にワイヤ送給装置6を介して溶接ワイヤWと母材Bとの間に供給される。溶接電源装置5の制御部502とワイヤ送給装置6の制御部603との間のデータ通信は、制御ケーブルを介して行われる。
The power generation operation of the
電源部501は、溶接用電力を生成する溶接用電源5011と溶接ワイヤ送給用の電力を生成するワイヤ送給用電源5012とを有する。溶接用電源5011は、三相交流の商用電源Pから制御部502の制御指令に基づく所定の溶接用直流電力又は溶接用交流電力を生成する。溶接用電力は、溶接中の作業者の操作指令や予め設定されたプログラムに基づいて変化する。
The
ワイヤ送給用電源5012は、例えば、ワイヤ送給装置6のワイヤ送給機構601が直流モータで溶接ワイヤWを送給する場合、商用電源Pから直流電力を生成する周知の直流電源で構成されている。ワイヤ送給用電源5012は、商用電源Pから直流電力を生成し、ワイヤ送給機構601に規定されている駆動電圧でパワーケーブルを介してワイヤ送給装置6に出力する。
For example, when the
電源部501は、電力の発生動作に同期してガス供給装置8からシールドガスを溶接トーチ7に供給する制御を行う。電源部501は、制御ケーブルによってワイヤ送給装置6内のガス電磁弁602に接続されている。電源部501は、電力の生成の開始に同期してガス電磁弁602を「開」状態に制御し、電力の生成の停止に同期してガス電磁弁602を「閉」状態に制御する。
The
制御部502は、操作部503による情報の入力、表示部504よる情報の出力、電源部501によるワイヤ送給装置6への電源供給などの各処理を統括的に制御する。
The
制御部502は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)及びMPU(Micro−Processing Unit)を有するマイクロコンピュータで実現されている。なお、制御部502は、FPGA(Field−Programmable Gate Array)などのPLD(Programmable Logic Device)で実現してもよい。
The
操作部503は、作業者がアーク溶接に関する各種の情報を制御部502に入力する操作を行うブロックである。操作部503は、例えば、溶接電源装置5の筐体面に配設された操作パネルに設けられている。作業者が操作する操作部材は、例えば、操作パネルに所定の項目毎に配設された1又は2以上の操作ボタンや電源スイッチなどで構成される。なお、操作部503は、タッチパネルやキーボードなどの他の種類の入力装置で構成してもよい。
The
作業者が操作部503の操作ボタンを操作すると、その操作ボタンに対応する所定の指令信号が制御部502に入力される。
When the operator operates the operation button of the
作業者が操作部503から入力するアーク溶接に関する情報は、例えば、スタート方式や交流/直流の溶接方式などの方式に関する情報や、初期電流、溶接電圧、溶接電流、交流波形(パルス波形や正弦波波形などの波形)、交流溶接における周波数などの溶接条件に関する情報などである。操作部503から制御部502に入力されるアーク溶接に関する情報は、一旦メモリ(RAM)に保存され、表示部504に転送される。
Information on arc welding input by the operator from the
表示部504は、アーク溶接に関する各種の情報を作業者が視認できるように表示する。表示部504は、例えば、LEDや7セグメントなどの表示機で構成される。表示部504は、液晶ディスプレイなどの表示装置で構成してもよい。表示部504は、制御部502から転送される情報を所定の表示態様で表示する。
The
ワイヤ送給装置6は、機能ブロックとして、ワイヤ送給機構601、ガス電磁弁602、制御部603、操作部604、表示部605及び電圧/電流検出部606を含む。ワイヤ送給装置6には、上述した音声指令入力装置1が設けられている。操作部604、表示部605、電圧/電流検出部606及び音声指令入力装置1は、制御部603に接続されている。
The wire feeding device 6 includes a
ワイヤ送給機構601は、溶接作業中に溶接ワイヤWが巻き付けられたワイヤリール9から当該溶接ワイヤWを繰り出して溶接トーチ7に連続的に供給するための機構である。ワイヤ送給機構601は、ワイヤリール9から溶接トーチ7まで溶接ワイヤWをガイドするガイド機構と溶接ワイヤWを繰り出す駆動源であるワイヤ送給モータとを有する。ワイヤ送給モータは、溶接電源装置5から供給されるワイヤ送給用電力によって駆動される。
The
ガス電磁弁602は、ガス供給装置8から溶接トーチ7へのシールドガスの供給を制御するための弁である。シールドガスは、溶接面を空気から遮断するためのアルゴン(Ar)、ヘリウム(He)といった不活性ガスである。シールドガスは、ガス供給装置8に封入されており、作業者が溶接作業を開始する際にガス供給装置8の栓を開くことによって、所定の圧力で溶接トーチ7への供給が可能になる。 The gas electromagnetic valve 602 is a valve for controlling the supply of shield gas from the gas supply device 8 to the welding torch 7. The shield gas is an inert gas such as argon (Ar) or helium (He) for shielding the welding surface from air. The shield gas is sealed in the gas supply device 8 and can be supplied to the welding torch 7 at a predetermined pressure by opening the plug of the gas supply device 8 when the operator starts the welding operation.
ガス電磁弁602は、溶接開始から溶接終了までの期間に流路を開いてガス供給装置8から溶接トーチ7にシールドガスを供給する。ガス電磁弁602の開閉は、上述したように、溶接電源装置5の電源部501によって制御される。
The gas solenoid valve 602 opens the flow path during the period from the start of welding to the end of welding and supplies the shield gas from the gas supply device 8 to the welding torch 7. The opening and closing of the gas electromagnetic valve 602 is controlled by the
制御部603は、操作部604による情報の入力、表示部605による情報の出力、ワイヤ送給機構601による溶接ワイヤWの送給などの各処理を統括的に制御する。制御部603は、ROM、RAM及びMPUを有するマイクロコンピュータで実現されている。制御部603もFPGAなどのPLDで実現してもよい。
The
操作部604は、ワイヤ送給装置6の筐体面に配設された操作パネルに設けられている。作業者が操作する操作部材は、例えば、操作パネルに所定の項目毎に配設された1又は2以上の操作ボタンや電源スイッチなどで構成される。なお、操作部604もタッチパネルなどの他の種類の入力装置で構成してもよい。
The
作業者が操作部604の操作ボタンを操作すると、その操作ボタンに対応する所定の指令信号が制御部603に入力される。
When the operator operates the operation button of the
作業者が操作部604によって入力するアーク溶接に関する情報は、基本的に、作業者が操作部503によって溶接電源装置5の制御部502に入力する情報と同じである。操作部604から制御部603に入力されるアーク溶接に関する情報は、一旦メモリ(RAM)に保存され、表示部605に転送される。
Information regarding arc welding input by the operator through the
溶接トーチ7は、ワイヤ送給機構601で送給される溶接ワイヤWを保持するとともに、ガス供給装置8からガス電磁弁602を介して供給されるシールドガスを当該シールドガスが溶接ワイヤWと母材Bとの間に発生するアークAと溶接金属を覆うように出力する機能を果たす機器である。溶接トーチ7には、作業者が手元で溶接電流を調整するためのトーチスイッチ701が設けられている。
The welding torch 7 holds the welding wire W fed by the
トーチスイッチ701は、制御ケーブル(図示省略)でワイヤ送給装置6の制御部603に接続されている。トーチスイッチ701は、例えば、押しボタン式のモーメンタリー・スイッチで構成される。制御部603には、例えば、トーチスイッチ701が「ON」になると、ハイレベルの信号が入力され、トーチスイッチ701が「OFF」になると、ローレベルの信号が入力される。
The
作業者は、トーチスイッチ701をONにした後、所定の時間tが経過してOFFにする操作をすることにより、制御部603にパルス幅tのパルス信号を入力することができる。制御部603には、トーチスイッチ701から入力されるパルス信号の波形を特定の操作指令に変換するテーブルが設けられている。
The operator can input a pulse signal having a pulse width t to the
例えば、制御部603には、パルス幅tが所定の時間よりも大きいパルス信号となるクリック操作を溶接電流の通電又は遮断を行う操作指令に割り当て、パルス幅tが所定の時間以内のパルス信号となるシングルクリック操作を所定のステップで溶接電流を減少させる指令信号に割り当て、同パルス信号が所定の時間間隔内で連続して2回発生させるダブルクリック操作を所定のステップで溶接電流を増加させる指令信号に割り当てたテーブルが設けられている。
For example, the
作業者は、トーチスイッチ701を所定の操作パターンで操作することにより、溶接作業の開始、溶接中の溶接電流の変更、溶接作業の終了などの指令を制御部603に入力することができる。制御部603は、操作部604から指令信号が入力されると、その指令信号を溶接電源装置5の制御部502に送信する。
By operating the
本実施の形態では、トーチスイッチ701をワイヤ送給装置6の制御部603に接続しているが、トーチスイッチ701を溶接電源装置5の制御部502に接続し、トーチスイッチ701の操作信号を制御部502に直接入力するようにしてもよい。
In the present embodiment, the
電圧/電流検出部606は、溶接ワイヤWと母材Bとの間の電圧(溶接電圧)と溶接ワイヤWと母材Bとの間に流れる電流(溶接電流)を検出する。電圧/電流検出部606は、電圧を検出する電圧センサと、その電圧センサから出力される電圧検出値をデジタル信号に変換して制御部603に出力する。また、電圧/電流検出部606は、電流を検出する電流センサと、その電流センサから出力される電流検出値をデジタル信号に変換して制御部603に出力する。
The voltage /
制御部603には、操作部604若しくはトーチスイッチ701から作業者によって入力されたアーク溶接に関する情報と、電圧/電流検出部606から溶接作業中の溶接電圧検出値と溶接電流検出値に関する情報が入力される。制御部603に入力されるこれらの情報は、制御ケーブルを介してデータ通信によりワイヤ送給装置6から溶接電源装置5に送信される。
Information on arc welding input by the operator from the
表示部605は、例えば、LEDや7セグメントなどの表示機で構成される。表示部605は、液晶ディスプレイなどの表示装置で構成されてもよい。表示部605は、制御部603から転送される情報に基づいて、所定の表示をする。
The
音声指令入力装置1は、図1に示した音声指令入力装置1の装置本体100内に設けられる座標変換部102、変換テーブル記憶部103、音声変換部104、音声認識部105、言語モデル記憶部106、指令信号変換部107及び指令語記憶部108がワイヤ送給装置6内に設けられ、音声指令入力装置1の加速度センサ101は、作業者Qの頬若しくは口元の周辺部に取り付けられている。図7では、音声指令入力装置1の装置本体100内に設けられる部分を音声指令入力部109で示している。
The voice command input device 1 includes a coordinate
ワイヤ送給装置6では、作業者は、操作指令を操作部604と音声指令入力装置1のいずれかで入力することができる。このため、ワイヤ送給装置6の操作パネルには、操作指令を入力する装置を選択するための選択ボタンが設けられている。この選択ボタンは、例えば、モーメンタリー・スイッチで構成され、作業者がモーメンタリー・スイッチをオン状態にしている期間に音声指令入力装置1を用いて音声により操作指令を制御部603に入力することができる。
In the wire feeding device 6, the operator can input an operation command with either the
音声指令入力装置1における加速度センサ101及び座標変換部102については、上述した通りであるから、以下では、音声変換部104〜指令語記憶部108について説明する。
Since the
溶接システム4で音声指令に使用される単語は、50音の中の一部であるから、音声指令で使用される音素について、予め変換テーブルが作成され、変換テーブル記憶部103に記憶されている。例えば、音声指令に登録されている用語が「でんりゅう」、「でんあつ」、「あげる」、「さげる」、「ようせつ」、「かいし」、「ていし」などの場合、「て/で」、「ん」、「りゅ」、「う」、「つ」、「あ」、「け/げ」、「る」、「か」、「さ」、「よ」、「せ」、「い」、「し」などの音素に対する変換テーブルが変換テーブル記憶部103に記憶されている。
Since the word used for the voice command in the
音声変換部104は、座標変換部102から入力される変位位置Pdの座標(Xd,Yd,Zd)の列を変換テーブル記憶部103に記憶された変換テーブルを参照して作業者Qが発声した音声のデータ(音素の列を文字コードの列に変換したデータ)に変換する。
The
音声変換部104は、例えば、座標(Xd,Yd,Zd)が(X19±ΔX,Y19±ΔY,Z19±ΔZ)(図6参照)であれば、「て」の音素(文字コード)に変換する。しかし、座標(Xd,Yd,Zd)が変換テーブル記憶部103に記憶されていない場合は、音声変換部104は、例えば、「?」などの文字でない記号のコードに変換する。
For example, when the coordinates (Xd, Yd, Zd) are (X19 ± ΔX, Y19 ± ΔY, Z19 ± ΔZ) (see FIG. 6), the
例えば、座標変換部102から音声変換部104に、(X19±ΔX,Y19±ΔY,Z19±ΔZ)、(X2±ΔX,Y2±ΔY,Z2±ΔZ)、(X12±ΔX,Y12±ΔY,Z12±ΔZ)(図6参照)の座標のデータが順番に入力された場合、これらの座標を音素に変換する変換データは存在するので、音声変換部104は、「て」、「い」、「し」の音素に順番に変換して出力する。
For example, from the coordinate
しかし、音声変換部104に2番目に入力された座標のデータが変換テーブル記憶部103に記憶されていない音素、例えば、「い」の口の形に似ている「に」の音素の場合、音声変換部104は、「て」、「?」、「し」の音素に順番に変換して出力する。
However, in the case where the second coordinate data input to the
音声認識部105は、音声変換部104から入力される文字コードの列を言語モデル記憶部106に記憶されている言語モデルを用いて音声を認識する処理を行う。言語モデル記憶部106には、溶接システムにおける指令語で使用される用語や単語のデータが記憶されている。
The
図8は、言語モデル記憶部106に記憶されている指令語に使用される用語や単語のデータの一例を示す図である。
FIG. 8 is a diagram illustrating an example of term and word data used for the command word stored in the language
図8に示すように、言語モデル記憶部106には、「溶接」、「電圧」、「電流」、「上げる」、「下げる」、「開始」、「停止」、「高い」、「低い」、「有り」、「無し」などの溶接作業での指令に使用される用語や単語が登録されている。
As shown in FIG. 8, the language
なお、言語モデル記憶部106には、ひらがな又はカタカナで2文字以上の溶接用の用語や単語が登録されるが、1文字の用語や単語が登録されていてもよい。以下の説明では、説明の便宜上、言語モデル記憶部106には2文字以上の溶接用の用語や単語が登録されるものとする。
In the language
また、指令に使用される用語や単語に同音異義語の用語や単語が含まれる場合、文字列が異なるように、一方の用語を同意語や類義語に変更して言語モデル記憶部106に登録されているものとする。例えば、指令に使用される用語に「加工(かこう)」と「下降(かこう)」の用語が含まれる場合、「下降(かこう)」の用語は「降下(こうか)」の用語に変更して言語モデル記憶部106に登録される。これにより、言語モデル記憶部106には、指令に使用される用語や単語が、可能な限り同音異義語の用語が含まれないように登録されている。
Also, if the term or word used in the command includes a homonym term or word, one term is changed to a synonym or synonym and registered in the language
音声認識部105は、音声変換部104から入力される文字列(文字コードの列)と言語モデル記憶部106に記憶されている用語(以下、「登録用語」という。)とを照合して、文字列が完全に一致する用語を話者Qが発声した用語と認識する。例えば、音声変換部104から入力される文字列が「で」、「ん」、「あ」、「つ」で、言語モデル記憶部106に「電圧(でんあつ)」の用語が登録されている場合、音声認識部105は、「でんあつ」=「電圧」と認識する処理を行う。
The
また、音声認識部105は、音声変換部104から入力される文字列が言語モデル記憶部106に記憶されている登録用語と完全に一致しない場合、文字列と同一文字数の用語について、文字列の一致度Eを算出し、その一致度Eを用いて音声認識処理を行う。
In addition, when the character string input from the
本実施の形態では、例えば、音声変換部104から入力される文字列の文字数をn(整数)とし、その文字列の文字のうち登録用語の文字に一致している文字の数をr(1≦r≦n−1の整数)とすると、文字列の一致度Eは、E=r/n(<1)又はE=r×100/n(<100)[%]で定義している。例えば、音声変換部104から入力される文字列の文字数が4個で、4文字からなる登録用語と一致している文字の数が3個の場合、一致度Eは3/4=0.75または75[%]となる。
In the present embodiment, for example, the number of characters of the character string input from the
音声認識部105は、同一文字数の登録用語が2以上ある場合、各登録用語について一致度Eを算出し、予め設定された閾値ETH以上の一致度Eを有する登録用語の中で最も一致度Eが高い登録用語を認識対象の用語に選出する。
When there are two or more registered terms having the same number of characters, the
閾値ETHは、0.5<ETH<1.0の範囲で任意に設定することができるが、本実施の形態では、例えば、文字数nが奇数の登録用語に対しては閾値ETH1=2/3≒0.67を設定し、文字数nが偶数の登録用語に対しては閾値ETH2=3/4=0.75を設定している。 The threshold E TH can be arbitrarily set within the range of 0.5 <E TH <1.0. However, in the present embodiment, for example, for a registered term having an odd number of characters n, the threshold E TH1 = 2 / 3≈0.67 is set, and a threshold value E TH2 = 3/4 = 0.75 is set for a registered term having an even number of characters n.
文字数nが奇数の登録用語に対する閾値ETH1=2/3は、3文字の登録用語で過半数の文字(2文字)が一致する場合の一致度Eに相当している。3文字の登録用語の場合は、2/3以上の一致度Eを有する場合は2文字が一致する場合しかないので、音声変換部104から入力される3文字の文字列のうち2文字が一致した登録用語が認識対象の用語に選出されることになる。また、5文字の登録用語では、2/3以上の一致度Eを有する場合は4文字が一致する場合しかないので、音声変換部104から入力される5文字の文字列のうち4文字が一致した登録用語が認識対象の用語に選出されることになる。
The threshold value E TH1 = 2/3 for a registered term with an odd number of characters n corresponds to the degree of coincidence E when a majority of characters (2 characters) match in a registered character of 3 characters. In the case of a registered term of 3 characters, if there is a match E of 2/3 or more, there is only a case where 2 characters match, so 2 characters out of 3 character strings input from the
従って、音声認識部105は、音声変換部104から入力される文字列が3文字の場合は、文字列のうち2文字が一致した登録用語を話者Qが発声した用語と認識する。また、音声認識部105は、音声変換部104から入力される文字列が5文字の場合は、文字列のうち4文字が一致した登録用語を話者Qが発声した用語と認識する。
Therefore, when the character string input from the
7文字の登録用語では、2/3以上の一致度Eを有する登録用語は5文字又は6文字が一致する登録用語が認識対象の用語となるが、最も一致度Eの高いのは6文字が一致する登録用語である。従って、音声認識部105は、音声変換部104から入力される7文字の文字列のうち6文字が一致した登録用語があれば、その登録用語を話者Qが発声した用語と認識し、5文字が一致した登録用語しかない場合は、その登録用語を話者Qが発声した用語と認識する。
For 7-character registered terms, registered terms that have a match E of 2/3 or more are registered terms that match 5 or 6 characters. However, the 6-character has the highest match E. Matching registered terms. Therefore, the
音声認識部105は、9文字以上の登録用語の場合も、7文字の登録用語の場合と同様にして2/3以上の一致度Eを有する登録用語の中で最も一致度Eが高い登録用語を話者Qが発声した用語と認識する。
In the case of a registered term of 9 characters or more, the
例えば、音声認識部105に「で」、「ん」、「あ」、「つ」、「し」の文字列が入力された場合、言語モデル記憶部106には5文字の用語で2/3以上の一致度Eを有する登録用語が「でんあつち」=「電圧値」しか登録されていなければ、音声認識部105は、「でんあつし」の文字列を「電圧値」と認識する。すなわち、音声認識部105は、「でんあつし」の文字列の「し」は、「ち」の音素の誤変換とみなして「でんあつち(電圧値)」と認識する。
For example, when a character string “de”, “n”, “a”, “tsu”, “shi” is input to the
また、認識対象の用語が複数ある場合は、音声認識部105は、その用語の前後の用語との関係を加味していずれか1の用語を話者Qが発声した用語と認識する。例えば、音声認識部105に「で」、「ん」、「りゅ」、「う」、「え」、「い」、「し」の文字列(「え」は誤変換された文字)が入力され、音声認識部105が「で」、「ん」、「りゅ」、「う」の文字列は「でんりゅう」=「電流」と認識し、「え」、「い」、「し」の文字列の認識対象として「かいし」=「開始」と「ていし」=「停止」を選出したとする。
If there are a plurality of recognition target terms, the
「開始」は、「電流」に対して意味が通じない指令語「電流開始」となる関係であるのに対し、「停止」は、「電流」に対して意味が通じる指令語「電流停止」となる関係であるので、音声認識部105は、「え」、「い」、「し」の文字列を「ていし」=「停止」と認識する。
“Start” is a command word “current start” that has no meaning for “current”, whereas “stop” is a command word “current stop” that has a meaning for “current”. Therefore, the
文字数nが偶数の登録用語に対する閾値ETH2=3/4は、4文字の登録用語で過半数の文字(3文字)が一致する場合の一致度Eに相当している。 The threshold E TH2 = 3/4 for a registered term having an even number of characters n corresponds to the degree of coincidence E when a majority of characters (3 characters) match in a registered character of 4 characters.
2文字の登録用語は、過半数の文字が一致する場合は完全に一致する場合であり、この場合は音声認識が可能であるから、音声認識部105は、通常の音声認識処理を行う。一方、音声変換部104から入力される2文字の文字列のいずれか一方の文字が登録用語の文字に一致する場合又は2文字の文字列のいずれの文字も登録用語に一致しない場合は、一致度Eが閾値ETH2=3/4以上の条件を満たさないので、正しい音声認識をすることはできない。従って、これらの場合は、音声認識部105は、認識不可の処理を行う。
The two-character registered term is a case where the majority of the characters match, and in this case, the voice recognition is possible. Therefore, the
4文字の登録用語の場合は、3/4以上の一致度Eを有する場合は3文字が一致する場合しかないので、音声変換部104から入力される4文字の文字列のうち3文字が一致した登録用語が認識対象の用語に選出されることになる。また、6文字の登録用語では、3/4以上の一致度Eを有する場合は5文字が一致する場合しかないので、音声変換部104から入力される6文字の文字列のうち5文字が一致した登録用語が認識対象の用語に選出されることになる。
In the case of a registered term of 4 characters, if there is a match E of 3/4 or more, there is only a case where 3 characters match, so 3 characters in the 4 character string input from the
従って、音声認識部105は、音声変換部104から入力される文字列が4文字の場合は、文字列のうち3文字が一致した登録用語を話者Qが発声した用語と認識する。また、音声認識部105は、音声変換部104から入力される文字列が6文字の場合は、文字列のうち5文字が一致した登録用語を話者Qが発声した用語と認識する。
Therefore, when the character string input from the
8文字の登録用語では、3/4以上の一致度Eを有する登録用語は6文字又は7文字が一致する登録用語が認識対象の用語となるが、最も一致度Eの高いのは7文字が一致する登録用語である。従って、音声認識部105は、音声変換部104から入力される8文字の文字列のうち7文字が一致した登録用語があれば、その登録用語を話者Qが発声した用語と認識し、6文字が一致した登録用語しかない場合は、その登録用語を話者Qが発声した用語と認識する。
For registered terms with 8 characters, registered terms with a matching degree E of 3/4 or higher are registered terms that match 6 or 7 characters, but 7 characters have the highest degree of matching E. Matching registered terms. Therefore, the
音声認識部105は、音声変換部104から入力される文字列が偶数の文字数の場合も上述した文字列が奇数の文字数の場合と同様の認識処理を行う。また、音声認識部105は、音声変換部104から入力される文字列に対して閾値ETH以上の一致度Eを有する登録用語が無い場合は、認識不可の処理を行う。認識不可の処理は、例えば、音声認識部105から指令信号変換部107に認識結果を出力しない処理や指令信号に変換できない所定の認識結果のデータを指令信号変換部107に出力する処理である。
The
例えば、認識不可の処理として音声認識部105から指令信号変換部107に認識結果を出力しない処理をした場合は、指令信号変換部107には認識した指令語のデータが入力されないので、指令信号変換部107は指令信号への変換処理をしない。また、認識不可の処理として音声認識部105から所定の認識結果のデータを指令信号変換部107に出力した場合は、第2の変換テーブルに所定の認識結果のデータに対応する指令信号のデータがないので、この場合も指令信号変換部107は実質的に指令信号への変換処理をしない。
For example, when processing that does not output the recognition result from the
上記の例では、文字数が奇数の登録用語に対する閾値ETH1と文字数が偶数の登録用語に対する閾値ETH2を文字数に関係なくそれぞれ1個に固定しているが、登録用語の文字数に応じて閾値THを異ならせるようにしてもよい。 In the above example, the threshold value E TH1 for a registered term having an odd number of characters and the threshold value E TH2 for a registered term having an even number of characters are fixed to one regardless of the number of characters, but the threshold value TH depends on the number of characters of the registered term. May be different.
また、上記の例では、文認識対象の登録用語が複数ある場合、その登録用語の前後の用語との関係を加味していずれか1の登録用語を話者Qが発声した用語と認識するようにしているが、各登録用語の一致しない文字の誤変換を推定して話者Qが発声した用語を認識するようにしてもよい。 Further, in the above example, when there are a plurality of registered terms that are sentence recognition targets, any one registered term is recognized as a term uttered by the speaker Q in consideration of the relationship with terms before and after the registered term. However, it is also possible to recognize a term uttered by the speaker Q by estimating erroneous conversion of characters that do not match each registered term.
例えば、音声認識部105が「え」、「い」、「し」の3文字の文字列の認識対象として「かいし」=「開始」と「ていし」=「停止」を選出した上記の例では、音声認識部105は、「えいし」の文字列と「かいし」、「ていし」の登録用語との一致しない文字「え」について誤変換を推定する処理をする。音声認識部105は、例えば、「え」、「か」、「て」の各文字の母音を抽出し、「か」、「て」の文字のうち、「え」の口の形に近い母音を有する文字「て」を選出する。
For example, the
音声認識部105は、「え」の文字が「て」の文字の誤変換と推定し、認識対象として選出した登録用語のうち、「ていし」=「停止」の登録用語を話者Qが発声した用語と認識する。
The
指令信号変換部107は、音声認識部105から出力される音声認識の結果を指令信号に変換する処理を行う。指令語記憶部108は、溶接システムにおける音声指令として登録された指令語と指令信号との対応関係を示す変換テーブルを記憶する。指令信号変換部107は、指令語記憶部108に記憶されている変換テーブルを用いて、音声認識部105から出力される音声認識の結果を指令信号に変換して制御部603に入力する。
The command
音声指令は、操作部604の操作ボタン又はトーチスイッチ701によって制御部603に入力される複数の操作指令の一部に対応する指令である。音声指令は、特に、作業者が溶接作業中に溶接電源装置5に入力する必要性の高い操作指令が選定されている。また、溶接用の用語は、操作指令を構成する単語である。
The voice command is a command corresponding to a part of a plurality of operation commands input to the
図9は、指令語記憶部108に登録されている溶接システムの指令語とその内容の一例を示す図である。
FIG. 9 is a diagram showing an example of a command word of the welding system registered in the command
図9に示すように、指令語記憶部108には、「溶接 開始」、「溶接 停止」、「電圧 上げる」、「電圧 下げる」、「電流 上げる」、「電流 上げる」…などの溶接作業での指令語が登録されている。例えば、「溶接 開始」又は「溶接 停止」の指令語は、溶接トーチ7と母材Bへの溶接電力(アーク発生用の電力と溶接用の電力)の供給開始又は供給停止を指示する指令語である。
As shown in FIG. 9, the command
また、「電圧 上げる」又は「電圧 下げる」の指令語は、現在の溶接電圧値に対して予め設定された単位電圧値ΔV(例えば、0.1[V])で溶接電圧を増加させる又は減少させる指令である。また、「電流 上げる」又は「電流 下げる」の指令語は、現在の溶接電流値に対して予め設定された単位電流値ΔI(例えば、1.0[A])で溶接電流を増加させる又は減少させる指令である。 Moreover, the command word “voltage increase” or “voltage decrease” increases or decreases the welding voltage by a unit voltage value ΔV (for example, 0.1 [V]) preset with respect to the current welding voltage value. It is a command to make. Further, the command word “current increase” or “current decrease” increases or decreases the welding current by a unit current value ΔI (for example, 1.0 [A]) set in advance with respect to the current welding current value. It is a command to be made.
指令信号変換部107は、例えば、音声認識部105から「溶接 開始」の認識結果が入力されると、「溶接開始」の指令に対応する指令信号を生成し、制御部603に入力する。また、指令信号変換部107は、例えば、音声認識部105から「電圧 上げる」又は「電圧 下げる」の認識結果が入力されると、「溶接電圧 増加」又は「溶接電圧 減少」の指令に対応する指令信号を生成し、制御部603に入力する。
For example, when the recognition result of “welding start” is input from the
一方、指令信号変換部107は、音声認識部105から入力される認識結果に対応する指令語が指令語記憶部108の変換テーブルに含まれていなければ、認識結果に対応する指令信号がないので、指令信号への変化処理をしない。また、指令信号変換部107は、音声認識部105から認識不可の処理として認識結果が入力されない場合も指令信号への変化処理をしない。従って、これらの場合は、制御部603には指令信号は入力されない。
On the other hand, if the command word corresponding to the recognition result input from the
作業者Qが発声した音声指令の認識ができなかった場合は、制御部603に指令信号が入力されないので、作業者Qは、制御部603に指令信号が入力されるまで、音声指令の発声動作を繰り返すことになる。
When the voice command uttered by the worker Q cannot be recognized, the command signal is not input to the
制御部603は、指令信号変換部107から指令信号が入力されると、制御ケーブルを介してその指令信号を溶接電源装置5の制御部502に送信する。制御部502は、ワイヤ送給装置6の制御部603から指令信号が入力されると、その指令信号に対応した所定の処理を実行する。
When the command signal is input from the command
例えば、制御部502は、制御部603は、「溶接電流 増加」の指令信号が入力されると、電源部501の溶接用電源5011が出力している溶接電流を所定の電流値(例えば、1[A])だけ増加させる制御を行う。
For example, when the
次に、音声指令入力装置1による音声指令の入力制御について、図10のフローチャートを用いて説明する。 Next, voice command input control by the voice command input device 1 will be described with reference to the flowchart of FIG.
以下の説明では、溶接作業中に作業者が操作部604の選択ボタンを操作してワイヤ送給装置6を音声指令の入力許可状態にし、音声指令入力装置1を用いて音声指令を制御部603に入力する場合について、説明する。また、溶接作業中に作業者が入力する音声指令として、溶接電流を所定の電流値だけ増加させる「溶接電流 増加」の音声指令を例に説明する。
In the following description, the operator operates the selection button of the
制御部603は、操作部604から音声指令の入力許可が入力されたか否かを監視している(S100のループ処理)。制御部603は、音声指令の入力許可が入力されていなければ(S100:N)、操作部604若しくはトーチスイッチ701により操作指令を入力する通常の入力状態を維持し、音声指令の入力許可が入力されると(S100:Y)、通常の入力状態を音声指令の入力許可状態に切り換え、ステップS101に移行して音声指令の入力処理を行う。
The
ステップS101に移行すると、座標変換部102は、加速度センサ101から出力されるX軸、Y軸、Z軸の各軸方向の加速度の検出信号Sx,Sy,Szを受け付け、その検出信号Sx,Sy,Szを検出位置Prの変位した変位位置Pdの座標(Xd,Yd,Zd)に変換する。
In step S101, the coordinate
続いて、音声変換部104が座標変換部102から出力される座標(Xd,Yd,Zd)を変換テーブル記憶部103に記憶されている変換テーブルを参照して音素のデータ(文字コードのデータ)に変換する(S102)。
Subsequently, the phonetic data (character code data) with reference to the conversion table stored in the conversion
続いて、音声認識部105が音声変換部104から出力される文字列のデータ(文字コードの列のデータ)に対して、言語モデル記憶部106に記憶されている言語モデルを用いて音声の認識処理を行い(S103)、その音声認識処理で指令語が認識できたか否かを判断する(S104)。
Subsequently, the
音声認識部105は、音声変換部104から入力される文字列と言語モデル記憶部106に記憶されている登録用語とを照合して、文字列が完全に一致する登録用語があれば、その登録用語若しくは登録用語の組合せを話者Qが発声した指令語と認識し、その認識結果(指令語のデータ)を指令信号変換部107に出力して(S104:Y)、ステップS108に移行する。
The
例えば、音声変換部104から出力される文字列が「で」、「ん」、「りゅ」、「う」、「あ」、「げ」、「る」の場合、言語モデル記憶部106に「でんりゅう」と「あげる」の登録用語が登録されていれば、音声認識部105は、その文字列を「でんりゅう」+「あげる」=「電流 上げる」の指令語と認識し、「電流 上げる」のデータを指令信号変換部107に出力して(S104:Y)、ステップS108に移行する。
For example, if the character string output from the
一方、音声変換部104から入力される文字列と完全に一致する登録用語が言語モデル記憶部106に記憶されていない場合(S104:N)、音声認識部105は、言語モデル記憶部106に記憶されている登録用語のうち、音声変換部104から入力される文字列と同一の文字数の登録用語について、一致度Eを算出する(S105)。
On the other hand, when the registered term that completely matches the character string input from the
そして、音声認識部105は、一致度Eを用いた音声認識処理を行い(S106)、その音声認識処理で指令語が認識できたか否かを判断する(S107)。
Then, the
すなわち、音声認識部105は、一致度Eを算出した各登録用語について、予め設定された閾値ETH以上の一致度Eを有する登録用語の中で最も一致度Eが高い登録用語を話者Qが発声した指令語と認識し、その認識結果を指令信号変換部107に出力して(S107:Y)、ステップS108に移行する。
That is, for each registered term for which the matching degree E is calculated, the
また、音声認識部105は、閾値ETH以上の一致度Eを有する登録用語の中で最も一致度Eが高い登録用語が2以上ある場合は、例えば、各登録用語の前後の認識された登録用語との関係を加味して1の登録用語を決定し、その登録用語と前後の登録用語の組合せを話者Qが発声した指令語と認識する。
In addition, when there are two or more registered terms having the highest matching degree E among the registered terms having the matching degree E equal to or higher than the threshold E TH , the
例えば、音声認識部105は、選出した登録用語が前後の認識された登録用語との関係で全体として指令の意味をなさない指令語となる場合は、その選出した登録用語は認識対象から除外し、指令の意味をなす指令語となる場合にその選出した登録用語と前後の登録用語の組合せを話者Qが発声した指令語と認識する。
For example, the
例えば、音声認識部105が音声変換部104から入力された「でんりゅうえいし」の文字列に対して、「でんりゅう」=「電流」と認識し、「えいし」に対して「停止」と「開始」の登録用語を選出したとする。音声認識部105は、「電流開始」は指令語として意味をなさないが、「電流停止」は指令語として意味をなすので、「でんりゅうえいし」を「電流停止」と認識する。
For example, the
そして、音声認識部105は、認識した指令語のデータを指令信号変換部107に出力して(S107:Y)、ステップS108に移行する。
Then, the
一方、音声認識部105は、音声変換部104から入力される文字列に対して閾値ETH以上の一致度Eを有する登録用語が無い場合は、認識不可の処理結果を指令信号変換部107に出力して(S107:N)、ステップS100に戻る。
On the other hand, if there is no registered term having a matching degree E equal to or higher than the threshold E TH with respect to the character string input from the
ステップS108に移行すると、指令信号変換部107は音声認識部105から出力される音声認識の結果に対して、指令語記憶部108に記憶されている指令語を用いて指令信号に変換する処理を行う。
In step S108, the command
指令信号変換部107は、音声認識結果(指令語のデータ)が指令語記憶部108の変換テーブルに含まれている場合、音声認識結果に対応する指令信号を生成して制御部603に出力した後(S108)、ステップS100に戻る。例えば、音声認識部105から出力される音声認識結果が「電流 上げる」の場合、指令信号変換部107は、[電流 上げる](溶接電流を単位電流値ΔI[A]だけ増加させる)の指令語に対応する指令信号を生成して制御部603に入力した後、ステップS100に戻る。
When the voice recognition result (command word data) is included in the conversion table of the command
また、指令信号変換部107は、音声認識結果が指令語記憶部108の変換テーブルに含まれてない場合や音声認識部105から認識不可により音声認識結果が入力されていない場合、指令信号を生成することなくステップS100に戻る。
The command
以上、説明したように、本実施の形態に係る溶接システム4によれば、音声指令入力装置1を用いているので、溶接作業中に作業者が音声により指令を入力した場合でも作業現場に生じる非常に高い騒音の影響を殆ど受けることなく高い精度で安定して音声指令に対応する指令信号を入力することができる。
As described above, according to the
また、作業者Qの頬若しくは口元の周辺部に直接加速度センサ101を取り付け、その加速度センサ101の検出信号Sx,Sy,Szを用いて作業者Qが発声した音声を検出するので、作業者Qの口に近接させてマイクを設ける構成よりもセンサが邪魔にならず、作業者Qの溶接作業への悪影響を低減することができる。
Further, since the
また、3軸の加速度センサ101を作業者Qの口元の両側に一対設けて当該口の動きを検出するようにしているので、作業者Qが発声する音声に応じて微妙に変化する口の動きを精度良く検出することができる。
In addition, since a pair of three-
また、加速度センサ101は、作業者Qの顔に直接貼着し、ケーブル中継部材2を介して加速度センサ101と装置本体100を電気的に接続するので、加速度センサ101が作業者Qの溶接作業を邪魔して作業性を低下するということがない。
Further, since the
また、音声認識部105に入力された音声指令の文字列が言語モデル記憶部106に記憶されている登録用語に完全に一致しない場合でも、例えば、文字列と登録用語の文字の一致度Eを算出し、その一致度Eを用いて音声指令の文字列に一致する確率の高い指令語を作業者Qの発声した音声指令と認識するようにしているので、加速度センサ101による作業者Qの口の動きの検出値を用いて音声指令を好適に認識することができる。
Further, even when the character string of the voice command input to the
また、音声変換部104が音声指令の音素を変換した文字に誤変換が含まれている場合でも音声認識部105で登録用語との一致度Eを算出し、その一致度Eを用いて音声指令による指令語を認識するようにしているので、高い精度で作業者Qが発声した音声指令に対応する指令信号をワイヤ送給装置6の制御部603に入力することができる。
Further, even when a character obtained by converting the phoneme of the voice command by the
上記の実施の形態では、操作部604に選択スイッチを設け、作業者が選択スイッチを操作して音声による操作指令を入力可能にしていたが、選択スイッチに代えてモード切換スイッチを操作部604に設けてもよい。
In the above embodiment, the
モード切換スイッチは、操作指令の入力モードを音声による入力モード(音声入力モード)と操作ボタン又はトーチスイッチ701による入力モード(通常入力モード)とに切り換えるスイッチである。
The mode switch is a switch for switching the operation command input mode between a voice input mode (voice input mode) and an operation button or
作業者がモード切換スイッチで音声入力モードを設定すると、制御部603は、操作部604の操作ボタン又はトーチスイッチ701による操作指令信号の受け付け制御を行うとともに、音声指令入力装置1からの操作指令信号の受け付け制御を行う。逆に、作業者がモード切換スイッチで通常入力モードを設定すると、制御部603は、操作部604操作ボタン又はトーチスイッチ701による操作指令信号を受け付けるが、音声指令入力装置1からの操作指令信号を受け付けない制御を行う。
When the operator sets the voice input mode with the mode change switch, the
図7に示す溶接システム4では、遠隔操作装置を備えていてないが、遠隔操作装置を備えていてもよい。
The
図11は、遠隔操作装置を備えた溶接システム野構成の一例を示す図である。 FIG. 11 is a diagram illustrating an example of a welding system field configuration including a remote control device.
図11に示す溶接システム4Aは、ワイヤ送給装置6Aに無線通信によって接続可能な遠隔操作装置10を備えたもので、その遠隔操作装置10に音声指令入力装置1を設けたものである。
A welding system 4A shown in FIG. 11 includes a
図7に示す溶接システム4では、音声指令入力装置1を作業者Qの近くに配置されるワイヤ送給装置6に設けていたが、図11に示す溶接システム4Aでは作業者Qが保持する遠隔操作装置10に設けているので、溶接システム4Aへの音声指令入力装置1の配設をより容易且つコンパクトにすることができる。
In the
特に、ワイヤ送給装置6に音声指令入力装置1を設ける場合は、作業者Qのワイヤ送給装置6からの移動を考慮して加速度センサ101から音声指令入力装置1の装置本体100までの配線に余裕を必要とするが、遠隔操作装置10に音声指令入力装置1を設ける場合は、作業者Qと遠隔操作装置10との距離が短く、その距離の変化も少ないので、加速度センサ101から音声指令入力装置1の装置本体100までの配線をよりコンパクトにすることができる。
In particular, when the voice command input device 1 is provided in the wire feeding device 6, wiring from the
溶接システム4Aの図7に示す溶接システム4との構成上の相違点について、簡単に説明すると、以下の通りである。
The difference in configuration of the welding system 4A from the
溶接システム4Aでは、ワイヤ送給装置6Aは、無線通信部607を備えている。無線通信部607は、例えば、無線LANにより遠隔操作装置10との間で無線通信を行う。無線通信部607は、無線LANアクセスポイント(図示省略)を介して遠隔操作装置10と無線接続を行い、無線通信により所定の情報の送受信を行う。無線通信部607は、所定の変調方式でキャリア信号を送信すべき情報で変調して無線通信信号を生成し、その無線通信信号をアンテナ607Aから放射する。
In the welding system 4A, the wire feeder 6A includes a
例えば、無線通信部607は、制御部603から溶接電圧と溶接電流の情報が転送されると、その情報を用いて無線通信信号を生成し、その無線通信信号を遠隔操作装置10に送信する。また、無線通信部607は、制御部603から溶接電圧検出値と溶接電流検出値の情報が転送されると、その情報を用いて無線通信信号を生成し、その無線通信信号を遠隔操作装置10に送信する。
For example, when information on the welding voltage and welding current is transferred from the
また、無線通信部607は、遠隔操作装置10から無線通信信号を受信すると、送信された情報を復調し、制御部603に転送する。また、無線通信部607は、受信レベルを検出し、その検出値を制御部603に入力する。制御部603は、無線通信の通信状態を表示させるために、その検出値に基づいて、受信レベルに関する情報を生成し、その情報を表示部605に転送する。
In addition, when receiving a wireless communication signal from the
遠隔操作装置10は、リモコンと呼ばれるものである。遠隔操作装置10は、機能ブロックとして、電池1001、制御部1002、無線通信部1003、操作部1004及び表示部1005と、上述した音声指令入力装置1の音声指令入力部109を含む。
The
電池1001は、遠隔操作装置10の駆動電源である。電池1001、無線通信部1003、操作部1004、表示部1005及び音声指令入力部109は制御部1002に接続されている。
The
制御部1002は、操作部1004による情報の入力、表示部1005による情報の出力、音声指令入力部109による音声指令の入力、無線通信部1003によるワイヤ送給装置6Aとのデータ通信などの各処理を統括的に制御する。制御部1002は、ROM、RAM及びMPUを有するマイクロコンピュータで実現されている。制御部1002もFPGAなどのPLDで実現してもよい。
The
操作部1004は、作業者がアーク溶接に関する各種の情報を制御部1002に入力する操作を行うブロックである。操作部1004は、遠隔操作装置10の筐体面に配設された操作パネルに設けられており、ワイヤ送給装置6Aの操作部604と同様の機能を果たす。
The
作業者が操作部1004の起動、溶接電圧の設定・変更、溶接電流の設定・変更など操作ボタンを操作すると、その操作ボタンに対応する所定の操作指令信号が制御部1002に入力される。
When the operator operates an operation button such as starting the
遠隔操作装置10では、作業者は、操作指令を操作部1004と音声指令入力装置1のいずれかで入力することができる。このため、遠隔操作装置10の操作パネルには、操作指令を入力する装置を選択するための選択ボタンが設けられている。この選択ボタンは、例えば、モーメンタリー・スイッチで構成され、作業者がモーメンタリー・スイッチをオン状態にしている期間に音声指令入力装置8を用いて音声により操作指令を制御部1002に入力することができる。
In the
表示部1005は、アーク溶接に関する各種の情報や電池1001の残容量に関する情報やワイヤ送給装置6Aとの無線通信状態などを表示する。表示部1005は、例えば、液晶ディスプレイなどの表示装置で構成される。表示部1005は、LEDや7セグメントなどの表示機で構成されてもよい。
The
表示部1005は、制御部1002から転送される情報に基づいて、所定の表示をする。例えば、表示部1005は、制御部1002から入力される電池1001の電圧に関する情報に基づいて、電池1001の残容量に関する情報を絵文字や記号や文字メッセージなどで表示する。また、表示部1005は、制御部1002から入力される受信レベルに関する情報に基づいて、無線通信の通信状態に関する情報を絵文字や記号や文字メッセージなどで表示する。
The
また、表示部1005は、制御部1002から転送される入力情報(操作部1004又は音声指令入力部109から入力された情報や無線通信部1003を介してワイヤ送給装置6Aから入力された情報)を表示する。
The
無線通信部1003は、ワイヤ送給装置6Aとの間で無線通信を行う。無線通信部1003は、無線通信部34と同様に、無線LANによりワイヤ送給装置6Aとの間で無線通信を行う。 The wireless communication unit 1003 performs wireless communication with the wire feeding device 6A. Similarly to the wireless communication unit 34, the wireless communication unit 1003 performs wireless communication with the wire feeding device 6A through a wireless LAN.
無線通信部1003は、無線LANアクセスポイント(図示省略)を介してワイヤ送給装置6Aと無線接続を行い、無線通信により所定の情報の送受信を行う。無線通信部1003は、無線通信部607と同じ変調方式でキャリア信号を送信すべき情報で変調して無線通信信号を生成し、その無線通信信号をアンテナ1003Aから放射する。
The wireless communication unit 1003 wirelessly connects to the wire feeding device 6A via a wireless LAN access point (not shown), and transmits / receives predetermined information by wireless communication. The wireless communication unit 1003 generates a wireless communication signal by modulating a carrier signal with information to be transmitted using the same modulation method as the
例えば、無線通信部1003は、制御部1002から溶接電圧と溶接電流の情報が転送されると、その情報を用いて無線通信信号を生成し、その無線通信信号をワイヤ送給装置6Aに送信する。
For example, when information on the welding voltage and welding current is transferred from the
また、無線通信部1003は、ワイヤ送給装置6Aから無線通信信号を受信すると、送信された情報を復調し、制御部1002に転送する。また、無線通信部1003は、受信レベルを検出し、その検出値を制御部1002に入力する。制御部1002は、無線通信の通信状態を表示させるために、その検出値に基づいて、受信レベルに関する情報を生成し、その情報を表示部1005に転送する。
Further, when receiving the wireless communication signal from the wire feeding device 6 </ b> A, the wireless communication unit 1003 demodulates the transmitted information and transfers it to the
溶接システム4Aでは、音声指令入力装置1によって作業者Qの発声した音声指令が指令信号に変換されて遠隔操作装置10の制御部1002に入力されると、制御部1002がその指令信号に対応する操作指令の情報を無線通信によってワイヤ送給装置6Aの制御部603に送信し、さらに制御部603からその操作指令の情報が溶接電源装置5の制御部502に転送される。
In the welding system 4A, when the voice command uttered by the worker Q is converted into a command signal by the voice command input device 1 and input to the
これにより、溶接電源装置5ではワイヤ送給装置6Aから入力された操作指令の情報に対応する所定の動作が行われる。例えば、操作指令の内容が「溶接電流の増加」であれば、溶接電源装置5では、溶接用電源5011が溶接トーチ7と母材Bに供給している溶接電流をΔIだけ増加する制御が行われる。
As a result, the welding power supply device 5 performs a predetermined operation corresponding to the information of the operation command input from the wire feeding device 6A. For example, if the content of the operation command is “increase in welding current”, the welding power source device 5 performs control to increase the welding current supplied to the welding torch 7 and the base material B by the
なお、図11の構成では、遠隔操作装置10がワイヤ送給装置6Aとの間で無線通信をする構成であるが、遠隔操作装置10は、溶接電源装置5との間で無線通信をする構成であってもよく、溶接電源装置5とワイヤ送給装置6Aの両方に対して無線通信をする構成であってもよい。
In the configuration of FIG. 11, the
以上、説明したように本実施の形態に係る溶接システム4,4Aによれば、加速度センサ101によって作業者Qが音声指令を発したときの頬若しくは口元の動きを検出し、その検出結果に基づいて音声指令の内容を認識し、その音声指令に対応する指令信号を溶接電源装置5の制御部502に入力するようにしているので、溶接作業現場の騒音が高い環境でもその騒音の影響を受けることなく音声指令の内容を認識することができる。
As described above, according to the
特に、溶接システム4,4Aでは、操作ボタンによる溶接条件の変更等の操作指令が比較的簡単な内容であり、音声による指令語も簡単且つ少ない音素で構成されるので、加速度センサ101による作業者Qの頬若しくは口元の動きの検出値を用いた音声指令の認識処理でも誤動作や誤認識を低減することができる。
In particular, in the
また、加速度センサ101による作業者Qの頬若しくは口元の動きの検出値から求めた音声指令の音素の一部に誤検出があっても、例えば、文字列と登録用語の文字の一致度Eを算出し、その一致度Eを用いて音声指令の文字列に一致する確率の高い登録用語又は登録用語の組合せを作業者Qの発声した音声指令と認識するようにしているので、音声指令を高い精度で当該音声指令に対応した指令信号に変換して入力することができる。
Even if a part of the phoneme of the voice command obtained from the detected value of the movement of the cheek or mouth of the worker Q by the
従って、音声指令により高い精度で安定して溶接に関する捜査指令の指令信号を溶接電源装置5に入力することができる。これにより、作業者Qは、溶接作業中における溶接条件の変更等のための手入力操作が低減され、溶接作業が容易になる。 Therefore, the command signal of the investigation command regarding welding can be input to the welding power source device 5 stably with high accuracy by the voice command. Thereby, the operator Q can reduce the manual input operation for changing the welding conditions during the welding operation, and the welding operation is facilitated.
1 音声指令入力装置
100 装置本体
101,101R,101L 加速度センサ
1011 リード線
1012 コネクタ
102 座標変換部(第1の変換手段)
103 音声変換部(第2の変換手段)
104 変換テーブル記憶部(第1の記憶手段)
105 音声認識部(音声認識手段)
106 言語モデル記憶部(第2の記憶手段)
107 指令信号変換部(第3の変換手段)
108 指令語記憶部(第3の記憶手段)
109 音声指令入力部
2 ケーブル中継部材
201 頭部装着部
202 接続部
203 信号線
3 接着部材
4,4A 溶接システム
5 溶接電源装置
501 電源部
5011 溶接用電源
5012 ワイヤ送給用電源
502 制御部
503 操作部
504 表示部
6,6A ワイヤ送給装置
601 ワイヤ送給機構
602 ガス電磁弁
603 制御部
604 操作部
605 表示部
606 電圧/電流検出部
607 無線通信部
607A アンテナ
7 溶接トーチ
701 トーチスイッチ
8 ガス供給装置
9 ワイヤリール
10 遠隔操作装置
1001 電池
1002 制御部
1003 無線通信部
1003A アンテナ
1004 操作部
1005 表示部
A アーク
B 母材
W 溶接ワイヤ
DESCRIPTION OF SYMBOLS 1 Voice
103 Voice conversion unit (second conversion means)
104 Conversion table storage unit (first storage unit)
105 Voice recognition unit (voice recognition means)
106 Language model storage unit (second storage means)
107 Command signal converter (third converter)
108 Command word storage unit (third storage means)
DESCRIPTION OF
Claims (8)
話者が音声指令を発声したときの当該話者の口の動きを検出する検出手段と、
前記検出手段が検出した口の動きを前記話者が発声した指令語に変換する指令語変換手段と、
前記変換手段が変換した指令語に対応する前記指令信号を生成する指令信号生成手段と、
を備えた、ことを特徴とする音声指令入力装置。 A voice command input device for inputting a command signal by voice,
Detecting means for detecting movement of the speaker's mouth when the speaker utters a voice command;
Command word conversion means for converting the movement of the mouth detected by the detection means into a command word uttered by the speaker;
Command signal generating means for generating the command signal corresponding to the command word converted by the converting means;
A voice command input device characterized by comprising:
前記話者の頬若しくは口元の周辺部に取り付けられる加速度センサと、
前記話者が音声指令を発声するのに応じて前記加速度センサから出力される加速度の検出値を前記話者の口の動きのデータに変換する第1の変換手段と、
を含み、
前記指令語変換手段は、
前記話者の発声する音素と当該音素に対応する口の動きとの対応関係を示す第1の変換テーブルを記憶する第1の記憶手段と、
予め登録された1以上の指令語を記憶する第2の記憶手段と、
前記第1の変換テーブルを用いて、前記第1の変換手段から出力される前記話者の口の動きのデータを音素の列に変換する第2の変換手段と、
前記第2の変換手段で変換された音素の列を前記第2の記憶手段に登録された指令語と照合して前記話者の発声した指令語を認識する音声認識手段と、
を含み、
前記指令信号生成手段は、
前記第2の記憶手段に記憶された1以上の指令語と指令信号との対応関係を示す第2の変換テーブルを記憶する第3の記憶手段と、
前記第2の変換テーブルを用いて、前記音声認識手段が認識した指令語を当該指令語に対応する指令信号に変換する第3の変換手段と、
を含む、請求項1に記載の音声指令入力装置。 The detection means includes
An acceleration sensor attached to the periphery of the speaker's cheek or mouth;
First conversion means for converting a detection value of acceleration output from the acceleration sensor into data of movement of the mouth of the speaker in response to the speaker speaking a voice command;
Including
The command word conversion means includes
First storage means for storing a first conversion table indicating a correspondence between a phoneme uttered by the speaker and a mouth movement corresponding to the phoneme;
Second storage means for storing one or more command words registered in advance;
Second conversion means for converting the mouth movement data of the speaker output from the first conversion means into a phoneme string using the first conversion table;
Speech recognition means for recognizing a command word uttered by the speaker by collating a sequence of phonemes converted by the second conversion means with a command word registered in the second storage means;
Including
The command signal generating means includes
Third storage means for storing a second conversion table showing a correspondence relationship between one or more command words and the command signal stored in the second storage means;
Third conversion means for converting a command word recognized by the voice recognition means into a command signal corresponding to the command word using the second conversion table;
The voice command input device according to claim 1, comprising:
前記溶接トーチに溶接ワイヤを送給するワイヤ送給装置と、
前記ワイヤ送給装置を介して前記溶接トーチと母材との間に溶接用の電力を供給する溶接電源と、
前記溶接電源に各種の指令を入力するための指令入力装置と、
を備えた溶接システムであって、
前記指令入力装置は、請求項1乃至5のいずれかに記載の音声指令入力装置で構成されている、ことを特徴とする溶接システム。 Welding torch,
A wire feeding device for feeding a welding wire to the welding torch;
A welding power source for supplying welding power between the welding torch and the base material via the wire feeding device;
A command input device for inputting various commands to the welding power source;
A welding system comprising:
The said command input device is comprised by the audio | voice command input device in any one of Claims 1 thru | or 5, The welding system characterized by the above-mentioned.
前記音声指令入力装置は、前記遠隔操作装置に設けられている、請求項7に記載の溶接システム。 A remote control device that can be connected to the wire feeding device by wireless communication,
The welding system according to claim 7, wherein the voice command input device is provided in the remote control device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015210677A JP6562815B2 (en) | 2015-10-27 | 2015-10-27 | Voice command input device and welding system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015210677A JP6562815B2 (en) | 2015-10-27 | 2015-10-27 | Voice command input device and welding system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017084041A true JP2017084041A (en) | 2017-05-18 |
JP6562815B2 JP6562815B2 (en) | 2019-08-21 |
Family
ID=58714359
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015210677A Active JP6562815B2 (en) | 2015-10-27 | 2015-10-27 | Voice command input device and welding system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6562815B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7116829B1 (en) | 2021-07-09 | 2022-08-10 | 日鉄エンジニアリング株式会社 | Welding system, relay device, welding method, relay method and welding system installation method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006220880A (en) * | 2005-02-10 | 2006-08-24 | Yusuke Kusushima | Vocalization support device |
JP2012118679A (en) * | 2010-11-30 | 2012-06-21 | Nec Commun Syst Ltd | Information processor, word discrimination device, screen display operation device, word registration device and method and program related to the same |
JP2013248663A (en) * | 2012-06-04 | 2013-12-12 | Daihen Corp | Welding machine |
JP2014041292A (en) * | 2012-08-23 | 2014-03-06 | Daihen Corp | Welding system and welding control device |
-
2015
- 2015-10-27 JP JP2015210677A patent/JP6562815B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006220880A (en) * | 2005-02-10 | 2006-08-24 | Yusuke Kusushima | Vocalization support device |
JP2012118679A (en) * | 2010-11-30 | 2012-06-21 | Nec Commun Syst Ltd | Information processor, word discrimination device, screen display operation device, word registration device and method and program related to the same |
JP2013248663A (en) * | 2012-06-04 | 2013-12-12 | Daihen Corp | Welding machine |
JP2014041292A (en) * | 2012-08-23 | 2014-03-06 | Daihen Corp | Welding system and welding control device |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7116829B1 (en) | 2021-07-09 | 2022-08-10 | 日鉄エンジニアリング株式会社 | Welding system, relay device, welding method, relay method and welding system installation method |
JP2023010202A (en) * | 2021-07-09 | 2023-01-20 | 日鉄エンジニアリング株式会社 | Welding system, relay device, welding method, relay method and method for installing welding system |
Also Published As
Publication number | Publication date |
---|---|
JP6562815B2 (en) | 2019-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10663316B2 (en) | Navigation device and method | |
US7519537B2 (en) | Method and apparatus for a verbo-manual gesture interface | |
EP1609568B1 (en) | Robot device, information processing method, and program | |
KR20200111853A (en) | Electronic device and method for providing voice recognition control thereof | |
JP2018049143A (en) | Voice acquisition system and voice acquisition method | |
JP2022539794A (en) | Multimodal user interface | |
JP5366048B2 (en) | Information provision system | |
JP6402748B2 (en) | Spoken dialogue apparatus and utterance control method | |
US11087775B2 (en) | Device and method of noise suppression based on noise source positions | |
JP2009222969A (en) | Speech recognition robot and control method for speech recognition robot | |
JP2006279796A (en) | Cellphone, holder therefor, program therefor, and semiconductor device | |
Mayer et al. | Examples of multimodal user interfaces for socially assistive robots in Ambient Assisted Living environments | |
JPWO2019187834A1 (en) | Information processing equipment, information processing methods, and programs | |
JP6562815B2 (en) | Voice command input device and welding system | |
JP2024023193A (en) | Information processing device and information processing method | |
JP2005202965A (en) | Method and apparatus employing electromyographic sensor to initiate oral communication with voice-based device | |
JP5324956B2 (en) | Road guidance robot | |
KR20140117771A (en) | Motion sensor-based portable automatic interpretation apparatus and controlling method thereof | |
JP2018075657A (en) | Generating program, generation device, control program, control method, robot device and telephone call system | |
JP7435641B2 (en) | Control device, robot, control method and program | |
JP5610283B2 (en) | External device control apparatus, external device control method and program | |
KR20220106643A (en) | Electronic device controlled based on sound data and method of controlling electronic device based on sound data | |
EP3744483A1 (en) | Robot instruction device | |
JP2000089779A (en) | Apparatus angle control system | |
Matsunaga et al. | Development of hands-free speech enhancement system for both el-users and esophageal speech users |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180510 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190719 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190723 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6562815 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |