JP2018097401A - Transmitting/receiving system and terminal apparatus thereof - Google Patents

Transmitting/receiving system and terminal apparatus thereof Download PDF

Info

Publication number
JP2018097401A
JP2018097401A JP2016238129A JP2016238129A JP2018097401A JP 2018097401 A JP2018097401 A JP 2018097401A JP 2016238129 A JP2016238129 A JP 2016238129A JP 2016238129 A JP2016238129 A JP 2016238129A JP 2018097401 A JP2018097401 A JP 2018097401A
Authority
JP
Japan
Prior art keywords
communication module
terminal device
sensor
display terminal
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016238129A
Other languages
Japanese (ja)
Other versions
JP6570505B2 (en
Inventor
亮 齊藤
Akira Saito
亮 齊藤
隆太 稲葉
Ryuta Inaba
隆太 稲葉
松尾　英治
Eiji Matsuo
英治 松尾
亜希 君家
Aki Kimiya
亜希 君家
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2016238129A priority Critical patent/JP6570505B2/en
Publication of JP2018097401A publication Critical patent/JP2018097401A/en
Application granted granted Critical
Publication of JP6570505B2 publication Critical patent/JP6570505B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a terminal apparatus capable of clearly detecting a starting point and an end point of voice recognition with an inexpensive configuration.SOLUTION: A terminal apparatus includes a display terminal 9 that incorporates a microphone 91 and has a voice recognition function, a communication module 8 that wirelessly communicates information with an external, a deformable communication cable 10 that electrically connects the display terminal 9 and the communication module 8, a first attachment member 13 for attaching the display terminal 9 to a forearm, a second attachment member 12 for attaching the communication module 8 to an upper arm, and a sensor 30 that detects the deformation of the deformable communication cable 10, and sends output of the sensor 30 to the display terminal 9 so as to detect a start point and an end point of voice recognition.SELECTED DRAWING: Figure 2

Description

この発明は、腕に取り付けられた通信ケーブル等が屈曲動作されたことを電気信号で検出し、腕や手首の動きの検知信号により音声認識が開始される端末装置、およびその端末装置を使用して遠隔にある監視装置と情報の送受信を行う送受信システムに関するものである。   The present invention uses a terminal device that detects that a communication cable or the like attached to an arm is bent by an electric signal, and starts voice recognition by a detection signal of movement of an arm or a wrist, and the terminal device. The present invention relates to a transmission / reception system for transmitting / receiving information to / from a remote monitoring apparatus.

近年、原子力発電所や工場などの作業現場で、作業者が防護服を着て作業する必要になる場合がある。この場合、作業者は遠隔に居る人との通信手段として、携帯端末などの通信装置を使用することが考えられるが、手袋を装着した状態で、携帯端末のボタンなどを操作することは困難であったり、入力ミスを起こす問題がある。
例えば、原子力発電所の廃止措置などにおいて、放管従事者が身体に表示端末と環境測定装置を装着する場合の一例に、上腕部に環境測定装置を装着し、前腕部に表示端末を装着して、それをケーブルで接続する構成がある。 In recent years, it may be necessary for an operator to wear a protective suit at a work site such as a nuclear power plant or factory. In this case, the operator may use a communication device such as a portable terminal as a means of communication with a remote person, but it is difficult to operate the buttons of the portable terminal while wearing gloves. There is a problem that causes input mistakes.
For example, in the case of decommissioning of a nuclear power plant, for example, when a tube operator wears a display terminal and an environmental measurement device on the body, the environmental measurement device is attached to the upper arm, and the display terminal is attached to the forearm. There is a configuration in which it is connected with a cable.

表示端末は音声認識機能を用いた入力端末であり、音声認識を処理する場合、音声認識させたい会話の始まりと終わりを明確に指示する必要がある。
表示端末は音声入力に従って音声認識処理をおこない、設定や動作を制御する。音声認識は常時マイクから入力される会話を処理していると、誤まった指令や設定を実施してしまうことがある。また、音声認識処理を常時行っていると、処理の負荷が高くなり、電池の消耗や発熱の問題が出てくる。 The display terminal is an input terminal using a voice recognition function, and when processing voice recognition, it is necessary to clearly indicate the start and end of a conversation to be voice-recognized.
The display terminal performs voice recognition processing according to voice input, and controls settings and operations. When voice recognition always processes a conversation input from a microphone, an erroneous command or setting may be performed. In addition, if the voice recognition process is always performed, the processing load increases, resulting in problems of battery consumption and heat generation.

特許文献１には、音声認識処理を開始するためのスイッチ操作を取り除き、更にノイズの多い車室内においても音声認識率を向上させるため、処理要求入力を行うユーザの口元を継続的に撮影しながら口元の画像の変化を監視し、口元の画像に変化があった時が音声入力のタイミングであるとして、そのタイミングの起点に、マイクから入力された音声に対して音声認識処理を実行する技術が示されている。   In Patent Document 1, in order to remove the switch operation for starting the speech recognition processing and improve the speech recognition rate even in a noisy vehicle interior, the user's mouth performing the process request input is continuously photographed. There is a technology that monitors changes in the mouth image and executes voice recognition processing on the voice input from the microphone at the start of the timing, assuming that there is a change in the mouth image as the voice input timing. It is shown.

特許文献２には、図７に示すように、腕に装着された変位パッド７１と、胸部に固定された変位センサ７２を設け、変位パッド７１の動きを腕の動きとして変位センサ７２が検出することで、マイクロホン７３で入力された音声をモバイルＰＣ７４で音声認識し、管理者からの音声出力はヘッドホン７５で、また画面表示は目の前に装着された表示手段７６を使用することで、利用者が要求する処理を特定している。   In Patent Document 2, as shown in FIG. 7, a displacement pad 71 attached to the arm and a displacement sensor 72 fixed to the chest are provided, and the displacement sensor 72 detects the movement of the displacement pad 71 as the movement of the arm. Thus, the voice input from the microphone 73 is recognized by the mobile PC 74, the voice output from the administrator is output from the headphone 75, and the screen display is used by using the display means 76 attached in front of the eyes. The processing requested by the person is specified.

特開平１１−３３８４９０号公報JP 11-338490 A 特開２００７−８０２４２号公報JP 2007-80242 A

特許文献１に記載の手法は、ユーザの口元を継続的に撮影するカメラが別途必要になり、またカメラが撮影した画像信号から多数の実唇パターンに基づいて音声認識の始端信号を作成するなど、そもそも音声認識処理の演算負荷が高い上に、さらに上記処理が必要となり、ＣＰＵの負担が重くなるという問題があった。
特許文献２に記載の手法は、腕に装着する変位パッドと、胸部に装着する変位センサが必要となり、それぞれの装着位置をどの位置にするかなどの手間が必要であり、また腕の
変位を変位センサを介して身体に装着されたモバイルＰＣで処理するため、変位センサとモバイルＰＣ間の配線が複雑となり、またマイクもヘッドホンに固定されたマイクで行うため、配線等が複雑であった。 The method described in Patent Document 1 requires a separate camera that continuously captures the user's mouth, creates a speech recognition start signal based on a number of real lip patterns from image signals captured by the camera, and the like. In the first place, there is a problem that the calculation load of the voice recognition processing is high and the above processing is further required, which increases the burden on the CPU.
The method described in Patent Document 2 requires a displacement pad to be worn on the arm and a displacement sensor to be worn on the chest, which requires time and effort such as the position of each wearing position. Since the processing is performed by the mobile PC attached to the body via the displacement sensor, the wiring between the displacement sensor and the mobile PC is complicated, and the microphone is also a microphone fixed to the headphones, so the wiring is complicated.

この発明は、上記のような課題を解決するためになされたものであり、腕を曲げるといった簡単な動作で、マイクを内蔵した表示端末が音声認識を開始することができるようにした端末装置、及びその端末装置を使用して遠隔にある監視装置と情報の送受信を行う送受信システムを提供することを目的とするものである。   The present invention was made to solve the above-described problems, and a terminal device in which a display terminal with a built-in microphone can start speech recognition with a simple operation such as bending an arm, It is another object of the present invention to provide a transmission / reception system that transmits / receives information to / from a remote monitoring device using the terminal device.

この発明に係わる端末装置は、マイクを内蔵し音声認識機能を有した表示端末と、外部と情報を無線通信する通信モジュールと、表示端末と通信モジュールを電気的に接続する変形自在な部材と、表示端末を前腕部に装着するための第１の装着部材と、通信モジュールを上腕部に装着するための第２の装着部材と、変形自在な部材の変形を検知するセンサを備え、センサの出力を表示端末へ送るようにしたものである。   A terminal device according to the present invention includes a display terminal with a built-in microphone and a voice recognition function, a communication module that wirelessly communicates information with the outside, a deformable member that electrically connects the display terminal and the communication module, A first mounting member for mounting the display terminal on the forearm portion; a second mounting member for mounting the communication module on the upper arm portion; and a sensor for detecting deformation of the deformable member. Is sent to the display terminal.

この発明に係わる送受信システムは、上記した端末装置と、端末装置の通信モジュールと無線で通信する中継用の通信モジュールと、中継用の通信モジュールと有線で接続されて端末装置に指示やデータの情報を伝送する監視装置を備えたものである。   A transmission / reception system according to the present invention includes a terminal device, a communication module for relay that communicates wirelessly with the communication module of the terminal device, and a communication module for relay that is connected to the terminal device by wire to provide instructions and data information Is provided with a monitoring device for transmitting the signal.

この発明によれば、音声認識を行う表示端末が前腕部に装着され、外部と無線通信する通信モジュールが上腕部に装着され、表示端末と通信モジュールが変形自在な部材で電気的に接続されて、その変形自在な部材の変形をセンサが検知することで、腕の曲げを検出できる。これにより表示端末に内蔵されたマイクに口を近づける動作を検出できるので、コストをかけずに音声認識の開始点を明確に表示端末の音声認識機能に指示することができるという効果がある。   According to this invention, the display terminal for performing voice recognition is mounted on the forearm, the communication module for wireless communication with the outside is mounted on the upper arm, and the display terminal and the communication module are electrically connected by a deformable member. The bending of the arm can be detected by the sensor detecting the deformation of the deformable member. As a result, the operation of bringing the mouth close to the microphone built in the display terminal can be detected, so that it is possible to clearly instruct the voice recognition function of the display terminal of the start point of the voice recognition without cost.

この発明の実施の形態１に係る送受信システムの概略を示すブロック図である。It is a block diagram which shows the outline of the transmission / reception system which concerns on Embodiment 1 of this invention. この発明の実施の形態１に係わる端末装置の概略を示す構成図である。It is a block diagram which shows the outline of the terminal device concerning Embodiment 1 of this invention. この発明の実施の形態１に係る端末装置に使用されるセンサの一例を示す概略図である。It is the schematic which shows an example of the sensor used for the terminal device which concerns on Embodiment 1 of this invention. この発明の実施の形態１に係る端末装置に使用されるセンサの出力回路の一例を示す回路図である。It is a circuit diagram which shows an example of the output circuit of the sensor used for the terminal device which concerns on Embodiment 1 of this invention. この発明の実施の形態２に係る端末装置の概略を示す構成図である。It is a block diagram which shows the outline of the terminal device which concerns on Embodiment 2 of this invention. この発明の実施の形態２に係る端末装置に使用されるセンサの一例を示す概略図である。It is the schematic which shows an example of the sensor used for the terminal device which concerns on Embodiment 2 of this invention. 従来の音声認識機能を有する情報処理装置の概略構成図である。It is a schematic block diagram of the information processing apparatus which has the conventional speech recognition function.

実施の形態１．
以下、この発明の実施の形態１に係る送受信システムおよびその端末装置について図１から図４に基づいて説明する。
図１はこの発明の実施の形態１に係る送受信システムの全体構成を示す概略図で、図１において、総合監視室に設置されている総合監視装置１は、ハブ２で分岐されて、複数の有線のＬＡＮまたは電力線伝送（ＰＬＣ）などの通信線３により各作業室４と電気的に接続されている。 Embodiment 1 FIG.
Hereinafter, a transmission / reception system and a terminal device thereof according to Embodiment 1 of the present invention will be described with reference to FIGS.
FIG. 1 is a schematic diagram showing the overall configuration of a transmission / reception system according to Embodiment 1 of the present invention. In FIG. 1, a general monitoring device 1 installed in a general monitoring room is branched by a hub 2 and has a plurality of components. Each work room 4 is electrically connected by a communication line 3 such as a wired LAN or power line transmission (PLC).

各作業室４は、天井に設置された照明装置５に中継用の通信モジュール６が設けられ、通信モジュール６にはＬＥＤ照明手段６１と赤外線受光部６２が設けられている。
一方、作業室４の中で作業する作業員が装着する端末装置７には、中継用の通信モジュール６と無線でデータを送受信する通信モジュール８と、この通信モジュール８と有線で電気的に接続される表示端末９が設けられている。また、通信モジュール８には可視光受光部８１と赤外線放射部８２が設けられている。端末装置７の詳細な構成は図２で詳しく説明する。 In each work room 4, a relay communication module 6 is provided in an illumination device 5 installed on the ceiling, and the communication module 6 is provided with an LED illumination means 61 and an infrared light receiving unit 62.
On the other hand, a terminal device 7 worn by a worker who works in the work room 4 is electrically connected to the communication module 6 for relay and a communication module 8 for wirelessly transmitting and receiving data, and to the communication module 8 in a wired manner. A display terminal 9 is provided. The communication module 8 is provided with a visible light receiving part 81 and an infrared radiation part 82. The detailed configuration of the terminal device 7 will be described in detail with reference to FIG.

図１に示すシステムにおいて、各作業室４で作業をしている作業者（図示省略）は通信モジュール８と表示端末９を腕に装着した状態で作業をしている。
このとき、総合監視装置１から、作業者に指示やデータを伝送するとき、ハブ２で分岐されて、通信線３により作業室４の天井に設置された照明装置５の通信モジュール６にデータが伝送される。
総合監視装置１から伝送されたデータは通信モジュール６が受け取り、通信モジュール６はデータを変調してその波形をＬＥＤ照明手段６１からの可視光Ｌｋの点滅として重畳し、端末装置７へ送信する。 In the system shown in FIG. 1, a worker (not shown) working in each work room 4 is working in a state where the communication module 8 and the display terminal 9 are worn on the arm.
At this time, when instructions and data are transmitted from the general monitoring device 1 to the worker, the data is branched to the communication module 6 of the lighting device 5 branched by the hub 2 and installed on the ceiling of the work room 4 by the communication line 3. Is transmitted.
The data transmitted from the comprehensive monitoring device 1 is received by the communication module 6, and the communication module 6 modulates the data and superimposes the waveform as blinking of the visible light Lk from the LED illumination means 61 and transmits it to the terminal device 7.

照明装置５は可視光Ｌｋとして作業者に照射しており、作業者の腕に装着した端末装置７にデータ変調された可視光Ｌｋの点滅が照射される。端末装置７に含まれる通信モジュール８の可視光受光部８１が、その可視光Ｌｋを受光して電気信号に変換し、これを通信モジュール８で復調して、伝送されたデータを取り出す。そのデータを有線で表示端末９に伝送して、作業指示の画面や、音声指示として作業者に伝える。   The illumination device 5 irradiates the worker with visible light Lk, and the terminal device 7 attached to the operator's arm is irradiated with blinking of the data-modulated visible light Lk. The visible light receiving unit 81 of the communication module 8 included in the terminal device 7 receives the visible light Lk and converts it into an electrical signal, which is demodulated by the communication module 8 and takes out the transmitted data. The data is transmitted to the display terminal 9 by wire and transmitted to the operator as a work instruction screen or a voice instruction.

作業者は、指示に対する応答や、作業内容の質問などを、腕を曲げて、表示端末９のマイクに向かって発話する。この腕の曲げる動作を検出して表示端末９の音声認識機能が開始され、発話された内容は表示端末９により音声認識され、テキストデータや命令コードに変換されて、通信モジュール８により変調されて、赤外線放射部８２にて上方向に赤外線光ＬＲの点滅として照射する。
照明装置５の通信モジュール６に含まれる赤外線受光部６２は、赤外線放射部８２から照射された赤外線光ＬＲを電気信号に変換し、この電気信号を復調してデータに変換したあと、通信線３により、ハブ２を経由して、総合監視装置１に伝送され、総合監視室にいる監視監督者に内容が伝えられる。 The worker utters a response to the instruction, a question about the work content, etc. toward the microphone of the display terminal 9 with his arm bent. The voice recognition function of the display terminal 9 is started by detecting the movement of the arm, and the spoken content is voice-recognized by the display terminal 9, converted into text data or command code, and modulated by the communication module 8. The infrared radiation unit 82 irradiates the infrared light LR as blinking upward.
Infrared light receiving unit 62 included in the communication module 6 of the illumination device 5, converts the infrared light L R emitted from the infrared emitting unit 82 into an electric signal, after converting the data by demodulating the electric signal, a communication line 3 is transmitted to the general monitoring apparatus 1 via the hub 2 and the contents are transmitted to the supervisor in the general monitoring room.

このような、双方向の通信を行うことで、監視監督者と作業者はお互いに連絡をとりながら、すべての作業者と情報を共有しながら作業をすすめることができる。
複数の作業室に分かれて作業する場合や、天井に複数の照明があり、照射されている面積が広い部屋においては、作業者に照明光が照射されている照明装置に切り替えながら、双方向通信を行うことができる。 By performing such two-way communication, the supervisor and the worker can proceed with work while sharing information with all the workers while contacting each other.
When working in multiple work rooms, or in a room with multiple lights on the ceiling and a large area being illuminated, two-way communication is possible while switching to a lighting device that is illuminated by the worker. It can be performed.

図２は上記した端末装置７の概略を示す構成図で、端末装置７は、通信モジュール８と表示端末９を備える。
通信モジュール８は、図１に示したように中継用の通信モジュール６と情報を無線通信する可視光受光部８１および赤外線により中継用の通信モジュール６と無線通信する赤外線放射部８２と、腕を曲げた時の抵抗値変化を電圧に変換する変位検出装置（図４参照）とからなる。
表示端末９は、音声を入力するマイク９１と、端末の情報を発話するスピーカ９２と、情報を表示する表示部９３と、マイク９１から入力された音声を認識して音声データ処理を行う音声認識装置（図示省略）とからなる。 FIG. 2 is a configuration diagram showing an outline of the terminal device 7 described above. The terminal device 7 includes a communication module 8 and a display terminal 9.
As shown in FIG. 1, the communication module 8 includes a visible light receiving unit 81 that wirelessly communicates information with the relay communication module 6, an infrared radiation unit 82 that wirelessly communicates with the relay communication module 6 using infrared rays, and an arm. It comprises a displacement detection device (see FIG. 4) that converts a change in resistance value when bent into a voltage.
The display terminal 9 includes a microphone 91 that inputs voice, a speaker 92 that speaks information of the terminal, a display unit 93 that displays information, and voice recognition that recognizes the voice input from the microphone 91 and performs voice data processing. Device (not shown).

通信モジュール８は、たとえばＬＥＤ照明手段６１からの可視光の点滅にデータ変調し
て載せた通信方式で、データを可視光受光部８１にて受信し、データに対し復調を行った後、復調結果の信号を出力する。また、赤外線放射部８２により送信すべきデータを変調して、赤外線で照明装置５の近傍に設置された赤外線受光部６２に向けて、赤外線ＬＥＤの点滅にデータ変調して発光させる。 The communication module 8 is, for example, a communication method in which data is modulated by blinking visible light from the LED illumination means 61, and the data is received by the visible light receiving unit 81, demodulated with respect to the data, and then the demodulation result The signal is output. Further, the data to be transmitted is modulated by the infrared radiation unit 82, and the data is modulated by flashing the infrared LED and emitted to the infrared light receiving unit 62 installed in the vicinity of the illumination device 5 by infrared rays.

また、通信モジュール８と表示端末９は可撓性の通信ケーブル１０で電気的に接続され、通信ケーブル１０には腕の曲げの量が抵抗値で変化する曲げセンサ３０が内蔵されている。曲げセンサ３０は腕の曲げによる変位を抵抗値として検出して通信モジュール８に伝送する。通信モジュール８は抵抗値に基づく変位計測した結果を表示端末９に通信ケーブル１０を介して伝送する。表示端末９は抵抗値の変位から作業者が腕を曲げてマイク９１を口の近くに持ってきた動作を感知し、音声認識の開始を行う。
なお、上記は通信モジュール８と表示端末９を電気的に接続するものとして、可撓性の通信ケーブル１０を用いたが、腕を曲げた時の変位をセンサ３０が検出できるものであれば、可撓性の通信ケーブル１０に限らず、腕の曲げに応じて変形する変形自在な部材であればどのようなものでもよい。 The communication module 8 and the display terminal 9 are electrically connected by a flexible communication cable 10, and the communication cable 10 has a built-in bending sensor 30 in which the amount of bending of the arm changes with a resistance value. The bending sensor 30 detects a displacement caused by bending of the arm as a resistance value and transmits it to the communication module 8. The communication module 8 transmits the displacement measurement result based on the resistance value to the display terminal 9 via the communication cable 10. The display terminal 9 detects the movement of the operator bending the arm and bringing the microphone 91 near the mouth from the displacement of the resistance value, and starts speech recognition.
The above uses the flexible communication cable 10 as an electrical connection between the communication module 8 and the display terminal 9, but if the sensor 30 can detect the displacement when the arm is bent, Not only the flexible communication cable 10 but any deformable member that deforms according to the bending of the arm may be used.

通信モジュール８には、作業者の上腕部に装着するためのベルトのような装着部材１２が取り付けられ、表示端末９には、作業者の前腕部に装着するためのベルトのような装着部材１３が取り付けられている。
通信モジュール８が装着部材１２で上腕部に固定されたとき、可視光受光部８１と赤外線放射部８２は作業室４の天井、すなわち照明装置５の方に向くように構成されている。 A mounting member 12 such as a belt for mounting on the upper arm of the worker is attached to the communication module 8, and a mounting member 13 such as a belt for mounting on the forearm of the worker is attached to the display terminal 9. Is attached.
When the communication module 8 is fixed to the upper arm portion by the mounting member 12, the visible light receiving portion 81 and the infrared radiation portion 82 are configured to face the ceiling of the work room 4, that is, the illumination device 5.

図３は通信ケーブル１０に内蔵された曲げセンサ３０の構成を示し、曲がりが自由なフレキシブル基板３１の上に抵抗体３２が貼りつけられている。抵抗体３２の一方の端点３３はリード線３４で端子３５に、抵抗体３２の他方の端点３６はリード線３７で端子３８に接続されている。このフレキシブル基板３１が曲げられると、抵抗体３２に力が加わり、抵抗値が変化する。   FIG. 3 shows a configuration of a bending sensor 30 built in the communication cable 10, and a resistor 32 is attached on a flexible substrate 31 that can be bent freely. One end point 33 of the resistor 32 is connected to a terminal 35 by a lead wire 34, and the other end point 36 of the resistor 32 is connected to a terminal 38 by a lead wire 37. When the flexible substrate 31 is bent, a force is applied to the resistor 32, and the resistance value changes.

次に、曲げセンサ３０の抵抗値の変化を電圧に変換する回路（変位検出装置）について図４を用いて説明する。
回路は図４に示すように構成されていて、腕の曲げによる抵抗体３２の変化をオペアンプ４１で電圧に変換している。オペアンプ４１の＋端子に抵抗体３２（抵抗値Ｒ１）を介して基準電圧４３となる電圧Ｖｉｎを加え、抵抗体３２の他方の端点は抵抗体４２（抵抗値Ｒ２）を介してグランド４４に設置することで、オペアンプ４１の出力端子４５には出力Ｖｏｕｔとして次の式（１）によって示される電圧値が出力される。
Ｖｏｕｔ＝Ｖｉｎ×Ｒ２÷（Ｒ１＋Ｒ２） ・・・（１） Next, a circuit (displacement detection device) that converts a change in resistance value of the bending sensor 30 into a voltage will be described with reference to FIG.
The circuit is configured as shown in FIG. 4, and the operational amplifier 41 converts the change of the resistor 32 caused by bending of the arm into a voltage. The voltage Vin which becomes the reference voltage 43 is applied to the + terminal of the operational amplifier 41 via the resistor 32 (resistance value R1), and the other end point of the resistor 32 is installed on the ground 44 via the resistor 42 (resistance value R2). As a result, a voltage value represented by the following equation (1) is output to the output terminal 45 of the operational amplifier 41 as the output Vout.
Vout = Vin × R2 ÷ (R1 + R2) (1)

こうしてオペアンプ４１の出力端子４５から、腕の曲げによる抵抗体３２（抵抗値Ｒ１）の変化量を電圧の変化として取り出すことができる。曲げセンサ３０はケーブル１０に内蔵されており、曲げセンサ３０の端子３５、３８は通信モジュール８の方向に向いており、前記の回路は通信モジュール８に内蔵されている。しかしながら、前記の回路は通信モジュール８に必ずしも内蔵する必要はなく、表示端末９側に内蔵してもよい。その場合は通信ケーブル１０を通じて伝送する必要がなくなる。   Thus, the change amount of the resistor 32 (resistance value R1) due to the bending of the arm can be taken out from the output terminal 45 of the operational amplifier 41 as a change in voltage. The bending sensor 30 is built in the cable 10, the terminals 35 and 38 of the bending sensor 30 are directed toward the communication module 8, and the circuit is built in the communication module 8. However, the circuit is not necessarily built in the communication module 8 and may be built in the display terminal 9 side. In that case, there is no need to transmit through the communication cable 10.

次に図１から図４に示す送受信システムの動作について説明する。表示端末９は、作業員の前腕部にベルトのような装着部材１３で固定されており、腕を曲げることで、作業員は表示端末９の表示部９３を見ることが出来、また口の近傍に持っていくことで、内蔵されたマイク９１に音声入力をすることができる。通信モジュール８と表示端末９は通信ケーブル１０で接続されており、通信ケーブル１０は腕を曲げるとケーブルが曲がるように構成されている。通信ケーブル１０には曲げによって抵抗値が変化する曲げセンサ３０が内蔵されている。   Next, the operation of the transmission / reception system shown in FIGS. 1 to 4 will be described. The display terminal 9 is fixed to the forearm portion of the worker by a mounting member 13 such as a belt, and by bending the arm, the worker can see the display portion 93 of the display terminal 9 and in the vicinity of the mouth. By carrying it in, it is possible to input voice to the built-in microphone 91. The communication module 8 and the display terminal 9 are connected by a communication cable 10, and the communication cable 10 is configured such that the cable bends when the arm is bent. The communication cable 10 incorporates a bending sensor 30 whose resistance value changes due to bending.

作業者の腕の曲げの変化を曲げセンサ３０が抵抗値の変化量として検出し、通信モジュール８は、ＡＤ変換器やＣＰＵが内蔵されており、曲げセンサ３０が検出した抵抗値の変化量を電圧に変換し、更には電圧をデジタルデータに変換して、通信ケーブル１０の通信線で表示端末９に伝送する。表示端末９は内蔵されているＣＰＵにより、音声認識ソフトウエアが動作するように構成されているが、音声がマイク９１から入力されて、音声認識が開始される開始点は、マイク９１が口元に近づくように、腕が曲げられた時の電圧値近傍のデータになった時に一致するように構成されている。また、音声認識を終了する点は、腕が延ばされた時の電圧値近傍のデータになった時に一致するように構成されている。   The bending sensor 30 detects a change in the bending of the operator's arm as a change amount of the resistance value. The communication module 8 includes an AD converter and a CPU, and the change amount of the resistance value detected by the bending sensor 30 is calculated. The voltage is converted into voltage, and further the voltage is converted into digital data, which is transmitted to the display terminal 9 through the communication line of the communication cable 10. The display terminal 9 is configured such that voice recognition software is operated by a built-in CPU. However, the starting point at which voice is input from the microphone 91 and voice recognition is started is based on the microphone 91. In order to approach, it is configured to match when the data is near the voltage value when the arm is bent. Further, the point at which the voice recognition is finished is configured to coincide with the data near the voltage value when the arm is extended.

この発明の実施態様１によれば、上腕部に装着する通信モジュール８と、前腕部に装着する表示端末９とを電気的に接続する変形自在な部材にセンサを入れるという簡単な構成で、腕の曲げを検知して、音声認識の開始点や終了点を明確に音声認識ソフトウエアに指示することができるという効果がある。
即ち、音声認識動作に入るには、表示端末９に内蔵されたマイクに口を近づける動作するため、腕を曲げる動作を行う。この腕を曲げる動作を検出して、それ以降のマイクより入力される会話に音声認識処理を行う。一方、腕を伸ばすことで、音声認識を終了するということもできるため、音声認識して利用者が要求する処理を特定することが容易になるという手法を提供することできる。 According to the first embodiment of the present invention, the arm is configured with a simple configuration in which a sensor is placed in a deformable member that electrically connects the communication module 8 attached to the upper arm and the display terminal 9 attached to the forearm. Therefore, the voice recognition software can be clearly instructed to start and end the voice recognition.
That is, in order to enter the voice recognition operation, an operation of bending the arm is performed in order to move the mouth close to the microphone built in the display terminal 9. The movement of bending the arm is detected, and voice recognition processing is performed for the conversation input from the subsequent microphone. On the other hand, since the voice recognition can be terminated by extending the arm, it is possible to provide a technique that makes it easy to identify the process requested by the user by voice recognition.

実施の形態２．
次に、この発明の実施の形態２に係る送受信システムの端末装置を図５および図６に基づいて説明する。
図５はこの発明の実施の形態２に係る端末装置の概略を示す構成図であり、図６は端末装置に使用されるセンサの一例を示す概略図である。 Embodiment 2. FIG.
Next, a terminal device of a transmission / reception system according to Embodiment 2 of the present invention will be described based on FIG. 5 and FIG.
5 is a block diagram showing an outline of a terminal device according to Embodiment 2 of the present invention, and FIG. 6 is a schematic diagram showing an example of a sensor used in the terminal device.

図５において、通信モジュール８と表示端末９を電気的に接続する変形自在な部材として、実施の形態１で使用された通信ケーブル１０に代えて、複数の自在継ぎ手５１ａ、５１ｂ、５１ｃと、自在継ぎ手５１ａ〜５１ｃの間を電気的に接続する連結部材５２で構成したものである。またセンサ５３は自在継ぎ手５１ａ〜５１ｃの回転により抵抗値が変化するセンサとしたものである。その他の構成は実施の形態１の図２と同じ構成につき、同じまたは相当部分には同じ符号を付して説明を省略する。
自在継ぎ手５１ａのセンサ５３により腕の曲げを、自在継ぎ手５１ｂのセンサ５３により上腕部の回転を、自在継ぎ手５１ｃのセンサ５３により前腕部の回転を、それぞれ検出できるように構成されている。 In FIG. 5, as a deformable member for electrically connecting the communication module 8 and the display terminal 9, a plurality of universal joints 51a, 51b, 51c are used in place of the communication cable 10 used in the first embodiment. The coupling member 52 is configured to electrically connect the joints 51a to 51c. The sensor 53 is a sensor whose resistance value changes as the universal joints 51a to 51c rotate. Other configurations are the same as those in FIG. 2 of the first embodiment, and the same or corresponding parts are denoted by the same reference numerals, and description thereof is omitted.
The bending of the arm can be detected by the sensor 53 of the universal joint 51a, the rotation of the upper arm can be detected by the sensor 53 of the universal joint 51b, and the rotation of the forearm can be detected by the sensor 53 of the universal joint 51c.

自在継ぎ手５１ａ〜５１ｃの動きを検出するセンサ５３について、図５を用いて説明する。
自在継ぎ手５１ａ〜５１ｃのセンサ５３は、ベース部材５３１に回転軸５３２が回転自由に取り付けられており、回転軸５３２に固定された摺動部材５３３が抵抗体５３４に接触しなから回転するように構成されている。抵抗体５３４の端点には端子５３５、５３６が接続されており、摺動部材５３３には端子５３７が接触しながら接続されている。
このように自在継ぎ手５１ａ〜５１ｃを構成することで、端子５３５と５３７の間、もしくは端子５３６と５３７の間の抵抗値が回転により変化する。この抵抗値の変化を、実施の形態１の図４に示すような回路で電圧に変換することは可能である。 The sensor 53 that detects the movement of the universal joints 51a to 51c will be described with reference to FIG.
The sensors 53 of the universal joints 51 a to 51 c have a rotating shaft 532 attached to the base member 531 so as to freely rotate, and the sliding member 533 fixed to the rotating shaft 532 rotates without contacting the resistor 534. It is configured. Terminals 535 and 536 are connected to the end points of the resistor 534, and the terminal 537 is connected to the sliding member 533 while being in contact therewith.
By configuring the universal joints 51a to 51c in this way, the resistance value between the terminals 535 and 537 or between the terminals 536 and 537 is changed by rotation. This change in resistance value can be converted into a voltage by a circuit as shown in FIG. 4 of the first embodiment.

また、自在継ぎ手５１ａ〜５１ｃの間を電気的に接続する連結部材５２として、変形可能な弾性体などの部材にすることで、腕の動きに追従することができるため、腕の曲げ伸ばし動作の妨げにはならない。
また、通信モジュール８と表示端末９を電気的に接続する変形自在な部材として図５のような構成にすると、上腕部の回転と、前腕部の回転と、腕の曲げを電気的に検出できるため、３つの回転角度のデータより、マイク９１を口の近くに持って行ったか否かを正確に検出することができるという効果がある。同様にして、腕の曲げ伸ばしで、作業者が音声認識を終了したのかを正確に判定できるという効果がある。 In addition, since the connecting member 52 that electrically connects the universal joints 51a to 51c can be a member such as a deformable elastic body, it can follow the movement of the arm. It won't interfere.
In addition, when the communication module 8 and the display terminal 9 are electrically connected to each other and have a configuration as shown in FIG. 5, the rotation of the upper arm, the rotation of the forearm, and the bending of the arm can be detected electrically. Therefore, it is possible to accurately detect whether or not the microphone 91 is held near the mouth from the data of the three rotation angles. Similarly, there is an effect that it is possible to accurately determine whether or not the operator has finished the voice recognition by bending and extending the arm.

以上、この発明の実施の形態を記述したが、この発明は実施の形態に限定されるものではなく、種々の設計変更を行うことが可能であり、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。   Although the embodiments of the present invention have been described above, the present invention is not limited to the embodiments, and various design changes can be made. Within the scope of the present invention, each embodiment is described. These embodiments can be freely combined, and each embodiment can be modified or omitted as appropriate.

１：総合監視装置、 ３：通信線、 ４：作業室、 ５：照明装置、
６：中継用通信モジュール、 ７：端末装置、 ８：通信モジュール、９：表示端末、
１０：通信ケーブル（変形自在な部材）、 １２、１３：装着部材、 ３０：センサ、
３２：抵抗体、 ５１ａ〜５１ｃ：自在継ぎ手、 ５２：連結部材、 ５３：センサ、
８１：可視光受光部、 ８２：赤外線放射部、 ９１：マイク、９２：スピーカ、
９３：表示部 1: General monitoring device 3: Communication line 4: Work room 5: Lighting device
6: Relay communication module, 7: Terminal device, 8: Communication module, 9: Display terminal,
10: Communication cable (deformable member) 12, 13: Mounting member, 30: Sensor,
32: resistor, 51a to 51c: universal joint, 52: connecting member, 53: sensor,
81: Visible light receiving unit, 82: Infrared radiation unit, 91: Microphone, 92: Speaker
93: Display section

Claims (7)

マイクを内蔵し音声認識機能を有した表示端末と、外部と情報を無線通信する通信モジュールと、前記表示端末と前記通信モジュールを電気的に接続する変形自在な部材と、前記表示端末を前腕部に装着するための第１の装着部材と、前記通信モジュールを上腕部に装着するための第２の装着部材と、前記変形自在な部材の変形を検知するセンサを備え、前記センサの出力を前記表示端末へ送るようにした端末装置。   A display terminal having a built-in microphone and having a voice recognition function; a communication module that wirelessly communicates information with the outside; a deformable member that electrically connects the display terminal and the communication module; and a forearm portion of the display terminal A first mounting member for mounting on the upper arm, a second mounting member for mounting the communication module on the upper arm, and a sensor for detecting deformation of the deformable member, and outputting an output of the sensor A terminal device that sends data to a display terminal. 前記変形自在な部材は、可撓性の通信ケーブルで構成され、前記センサは前記通信ケーブルに内蔵されて腕部の曲がりにより抵抗値が変化する曲げセンサとしたことを特徴とする請求項１に記載の端末装置。   2. The deformable member is formed of a flexible communication cable, and the sensor is a bending sensor that is built in the communication cable and has a resistance value that changes due to bending of an arm portion. The terminal device described. 前記変形自在な部材は、複数の自在継ぎ手と前記自在継ぎ手の間を電気的に接続する連結部材で構成され、前記センサは前記自在継ぎ手の回転により抵抗値が変化するセンサとしたことを特徴とする請求項１に記載の端末装置。   The deformable member is composed of a plurality of universal joints and a coupling member that electrically connects the universal joints, and the sensor is a sensor whose resistance value changes as the universal joint rotates. The terminal device according to claim 1. 前記通信モジュールは、前記センサが検出した抵抗値変化を電圧データに変換して前記端末装置に伝送し、前記端末装置は前記電圧データの受信に応じて音声認識を開始するようにした請求項２または請求項３に記載の端末装置。   3. The communication module converts a change in resistance value detected by the sensor into voltage data and transmits the voltage data to the terminal device, and the terminal device starts voice recognition in response to reception of the voltage data. Or the terminal device of Claim 3. 前記連結部材は、変形可能な部材とした請求項３に記載の端末装置。   The terminal device according to claim 3, wherein the connecting member is a deformable member. 請求項１から請求項５のいずれか１項に記載の端末装置と、前記端末装置の通信モジュールと無線で通信する中継用の通信モジュールと、前記中継用の通信モジュールと有線で接続されて前記端末装置に指示やデータの情報を伝送する監視装置を備えた送受信システム。   The terminal device according to any one of claims 1 to 5, a communication module for relay that wirelessly communicates with a communication module of the terminal device, and the relay communication module that is connected by wire. A transmission / reception system including a monitoring device for transmitting instructions and data information to a terminal device. 前記中継用の通信モジュールは、作業室の照明装置に設けられていることを特徴とする請求項６に記載の送受信システム。
The transmission / reception system according to claim 6, wherein the relay communication module is provided in a lighting device of a work room.
JP2016238129A 2016-12-08 2016-12-08 Transmission / reception system and terminal device thereof Active JP6570505B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016238129A JP6570505B2 (en) 2016-12-08 2016-12-08 Transmission / reception system and terminal device thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016238129A JP6570505B2 (en) 2016-12-08 2016-12-08 Transmission / reception system and terminal device thereof

Publications (2)

Publication Number Publication Date
JP2018097401A true JP2018097401A (en) 2018-06-21
JP6570505B2 JP6570505B2 (en) 2019-09-04

Family

ID=62633547

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016238129A Active JP6570505B2 (en) 2016-12-08 2016-12-08 Transmission / reception system and terminal device thereof

Country Status (1)

Country Link
JP (1) JP6570505B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220075076A (en) * 2020-11-27 2022-06-07 유명희 Safety vest for checking facility safety

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05113327A (en) * 1991-07-16 1993-05-07 Yamaha Corp Bending angle detector
JPH09198164A (en) * 1996-01-16 1997-07-31 M S A:Kk Wearing computer
JPH10176919A (en) * 1996-12-18 1998-06-30 Olympus Optical Co Ltd Shape-inputting device
JP2000138745A (en) * 1998-10-29 2000-05-16 Masako Yasuda Telephone system
JP2001133300A (en) * 1999-11-04 2001-05-18 Sony Corp Apparatus and method for recognizing action, and apparatus of presenting inner force sensor, and its control method
JP2001233410A (en) * 2000-02-23 2001-08-28 Matsushita Electric Ind Co Ltd Rfid-frequency identification reading/communication device, and method of and system for delivery article handling using the same
JP2006503350A (en) * 2002-08-15 2006-01-26 インターナショナル・ビジネス・マシーンズ・コーポレーション Personal data entry device with limited hand capabilities
JP2007080242A (en) * 2005-08-15 2007-03-29 Kobe Steel Ltd Information processing apparatus and program for same
US20140379341A1 (en) * 2013-06-20 2014-12-25 Samsung Electronics Co., Ltd. Mobile terminal and method for detecting a gesture to control functions
JP2016015709A (en) * 2014-06-12 2016-01-28 パナソニックＩｐマネジメント株式会社 Operator management element, operator management system and work clothes
JP2016080522A (en) * 2014-10-17 2016-05-16 ヤマハ株式会社 Strain detection module and strain sensor fixing method

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05113327A (en) * 1991-07-16 1993-05-07 Yamaha Corp Bending angle detector
JPH09198164A (en) * 1996-01-16 1997-07-31 M S A:Kk Wearing computer
JPH10176919A (en) * 1996-12-18 1998-06-30 Olympus Optical Co Ltd Shape-inputting device
JP2000138745A (en) * 1998-10-29 2000-05-16 Masako Yasuda Telephone system
JP2001133300A (en) * 1999-11-04 2001-05-18 Sony Corp Apparatus and method for recognizing action, and apparatus of presenting inner force sensor, and its control method
JP2001233410A (en) * 2000-02-23 2001-08-28 Matsushita Electric Ind Co Ltd Rfid-frequency identification reading/communication device, and method of and system for delivery article handling using the same
JP2006503350A (en) * 2002-08-15 2006-01-26 インターナショナル・ビジネス・マシーンズ・コーポレーション Personal data entry device with limited hand capabilities
JP2007080242A (en) * 2005-08-15 2007-03-29 Kobe Steel Ltd Information processing apparatus and program for same
US20140379341A1 (en) * 2013-06-20 2014-12-25 Samsung Electronics Co., Ltd. Mobile terminal and method for detecting a gesture to control functions
JP2016015709A (en) * 2014-06-12 2016-01-28 パナソニックＩｐマネジメント株式会社 Operator management element, operator management system and work clothes
JP2016080522A (en) * 2014-10-17 2016-05-16 ヤマハ株式会社 Strain detection module and strain sensor fixing method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220075076A (en) * 2020-11-27 2022-06-07 유명희 Safety vest for checking facility safety
KR102540115B1 (en) * 2020-11-27 2023-06-07 유명희 Safety vest for checking facility safety

Also Published As

Publication number Publication date
JP6570505B2 (en) 2019-09-04

Similar Documents

Publication Publication Date Title
KR101797246B1 (en) Operating device and movement device with the same
CN203622451U (en) Industrial robot visualizing system
JP2006123158A (en) Robot control system and robot control method
KR20170018747A (en) Smart Helmet, Worker Safety Management System Using the Same
CN111614919B (en) Image recording device and head-mounted display
KR101611237B1 (en) A Stic for visually impaired person
KR20160070224A (en) Online transfer and monitoring system for wearable living body signal and moving image using broadband convergence network
CN108576961A (en) Power construction operation field informationization intelligent work takes
JP6570505B2 (en) Transmission / reception system and terminal device thereof
KR102314710B1 (en) System sign for providing language translation service for the hearing impaired person
TWI652656B (en) Visual assistant system and wearable device having the same
US10499315B2 (en) Information processing apparatus and information processing method
JP4111959B2 (en) Distance measuring system
CN107968973A (en) A kind of microphone and its stage lighting system of controllable light of stage
JP5791444B2 (en) Operating device and moving device provided with the operating device
JP4272440B2 (en) Clothing with display and image transmission system
CN221042937U (en) AR real-time communication auxiliary system under transformer inspection scene
JP6122051B2 (en) Operating device and moving device provided with the operating device
CN109571423A (en) The user equipment of robot control system, robot control method and robot control system
CN220305567U (en) Light assembly, handle and head-mounted equipment
CN112424573A (en) Sensor device, use of a sensor device and method for detecting solid noise
KR101054607B1 (en) Stereoscopic multifunctional mouse system by image processing.
WO2023015490A1 (en) Terminal control system and method
TWI543031B (en) Wearable control system
US20220264987A1 (en) Human wear mountable electronic system for near proximity monitoring

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190626

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190806

R151 Written notification of patent or utility model registration

Ref document number: 6570505

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250