JP2007152470A - Robot with self-diagnostic function - Google Patents

Robot with self-diagnostic function Download PDF

Info

Publication number
JP2007152470A
JP2007152470A JP2005349117A JP2005349117A JP2007152470A JP 2007152470 A JP2007152470 A JP 2007152470A JP 2005349117 A JP2005349117 A JP 2005349117A JP 2005349117 A JP2005349117 A JP 2005349117A JP 2007152470 A JP2007152470 A JP 2007152470A
Authority
JP
Japan
Prior art keywords
robot
diagnosis
unit
self
output signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2005349117A
Other languages
Japanese (ja)
Inventor
Ryota Hiura
亮太 日浦
Ken Onishi
献 大西
Keiichiro Osada
啓一郎 長田
Kyoko Oshima
京子 大嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Heavy Industries Ltd
Original Assignee
Mitsubishi Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Heavy Industries Ltd filed Critical Mitsubishi Heavy Industries Ltd
Priority to JP2005349117A priority Critical patent/JP2007152470A/en
Publication of JP2007152470A publication Critical patent/JP2007152470A/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a robot with a self-diagnostic function, which is low in cost and carries out self-diagnosis. <P>SOLUTION: The robot with the self-diagnostic function is formed of: a robot main body 1; ultrasonic distance sensors 16, 22 arranged in the robot main body; right and left arm sections 4a, 4b arranged on the robot main body 1; a driving control section 56 for controlling operations of the right and left arm sections 4a, 4b; and a diagnosing section 73 for diagnosing the ultrasonic distance sensors 16, 22, the right and left arm sections 4a, 4b, and the driving control section 56. According to the diagnosing section 73, after issuing an operation command to the driving control section 56, for moving the right and left arm sections 4a, 4b between a detection possible region and a detection impossible region of the ultrasonic distance sensors 16, 22, if output signals from the ultrasonic distance sensors 16, 22 do not fluctuate, it is determined that the sensors undergo a failure. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、自己診断機能付きロボットに関する。   The present invention relates to a robot with a self-diagnosis function.

ロボットには、正確な動作のため、もしくは安全を確保するために、各種のセンサが設けられている。
このため、ロボットには、各センサに故障が生じていないかどうかを判定する自己診断機能を設けることが求められている。
センサの診断部としては、例えば後記の特許文献1に記載のガスセンサの診断部が知られている。
このガスセンサの診断部は、第一の検知手段と、第二の検知手段と、これら第一、第二の検知手段の出力値を比較する比較手段とを有しており、第一の検知手段の出力値と第二の検知手段の出力値とがほぼ等しくなる条件下でこれらの出力値の差が設定値以上となった場合にセンサが異常であると診断するものである。
特開2004−212145号公報(段落[0013]参照)
The robot is provided with various sensors for accurate operation or for ensuring safety.
For this reason, the robot is required to have a self-diagnosis function for determining whether or not a failure has occurred in each sensor.
As a sensor diagnosis unit, for example, a gas sensor diagnosis unit described in Patent Document 1 described below is known.
The diagnostic unit of the gas sensor includes first detection means, second detection means, and comparison means for comparing the output values of the first and second detection means. When the difference between these output values is equal to or larger than the set value under the condition that the output value of the second detection means is substantially equal to the output value of the second detection means, the sensor is diagnosed as abnormal.
JP 2004-212145 A (see paragraph [0013])

しかしながら、このようにセンサを二重化すると、コストがかかってしまうので、好ましくない。   However, duplicating the sensor in this way is not preferable because it costs more.

本発明は、上記問題を解決するためになされたもので、低コストで自己診断を行うことができる自己診断機能付きロボットを提供することを目的とする。   The present invention has been made to solve the above problems, and an object thereof is to provide a robot with a self-diagnosis function capable of performing self-diagnosis at low cost.

上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、ロボット本体と、該ロボット本体に設けられる距離センサと、前記ロボット本体に設けられるアームと、該アームの動作を制御する駆動制御部と、前記距離センサ、前記アーム、及び前記駆動制御部の診断を行う診断部とを有しており、該診断部が、前記駆動制御部に、前記アームを前記距離センサの検出領域内と該検出領域外との間で移動させる動作指令を送ったのちに、前記距離センサの出力信号に変動が生じなかった場合に、故障が生じていると判定する自己診断機能付きロボットを提供する。
In order to solve the above problems, the present invention employs the following means.
The present invention provides a robot main body, a distance sensor provided in the robot main body, an arm provided in the robot main body, a drive control unit that controls the operation of the arm, the distance sensor, the arm, and the drive control. A diagnosis unit that performs diagnosis of the unit, and the diagnosis unit sends an operation command to move the arm between the detection area of the distance sensor and the outside of the detection area to the drive control unit. A robot with a self-diagnosis function that determines that a failure has occurred when there is no change in the output signal of the distance sensor is provided.

このように構成される自己診断機能付きロボットでは、自己診断を行うにあたって、診断部が、駆動制御部に、アームを距離センサの検出領域内と検出領域外との間で移動させる動作指令を送る。
このとき、距離センサ、アーム、駆動制御部の全てが正常に機能している場合には、動作指令のとおりにアームが距離センサの検出領域内と検出領域外との間で移動するので、距離センサの出力信号には、なんらかの変動が生じる。
言い換えれば、診断部が動作指令を発しても、距離センサの出力信号に変化が見られない場合は、距離センサ、アーム、駆動制御部のうちの少なくともいずれか一つが故障しているということである。
このように、本発明に係る自己診断機能付きロボットでは、センサを二重化することなしに、自身に設けられている構成のみを用いて、自身の故障の有無を診断することができる。
In the robot with the self-diagnosis function configured as described above, in performing the self-diagnosis, the diagnosis unit sends an operation command for moving the arm between the detection area of the distance sensor and the outside of the detection area to the drive control unit. .
At this time, if all of the distance sensor, arm, and drive control unit are functioning normally, the arm moves between the detection area of the distance sensor and the outside of the detection area according to the operation command. Some variation occurs in the output signal of the sensor.
In other words, even if the diagnosis unit issues an operation command, if there is no change in the output signal of the distance sensor, it means that at least one of the distance sensor, the arm, and the drive control unit has failed. is there.
Thus, the robot with a self-diagnosis function according to the present invention can diagnose the presence or absence of its own failure using only the configuration provided in itself without duplicating the sensor.

ここで、距離センサ、アーム、駆動制御部の全てが機能していて、アームが動作指令に従って動作すると、距離センサによってアームの動作が検出される。このときの距離センサの出力信号には、アームの動作パターンを反映した波形が現れる。
言い換えれば、距離センサの実際の出力信号波形と、アームが動作指令に忠実に従って動作した場合に検出されるであろう出力信号波形(予想出力信号波形)とを比較し、これらの差が大きい場合には、アームが動作指令のとおりに動作していないか、距離センサが故障していると判断することができる。
そこで、診断部を、駆動制御部に対してアームを距離センサの検出領域内で所定のパターンで動作させる動作指令を送ったのちに、距離センサの実際の出力信号波形と、予想出力信号波形とを比較し、これらの差が基準範囲を超えた場合には、故障と判断する構成とすることで、より高精度に故障の判定を行うことができる。
Here, when the distance sensor, the arm, and the drive control unit are all functioning and the arm operates according to the operation command, the operation of the arm is detected by the distance sensor. At this time, a waveform reflecting the operation pattern of the arm appears in the output signal of the distance sensor.
In other words, when the actual output signal waveform of the distance sensor is compared with the output signal waveform (expected output signal waveform) that would be detected when the arm moved according to the operation command, and the difference between them is large It can be determined that the arm is not operating according to the operation command or that the distance sensor is malfunctioning.
Therefore, after sending the operation command for operating the arm in a predetermined pattern within the detection area of the distance sensor to the drive control unit, the diagnosis unit outputs the actual output signal waveform and the expected output signal waveform of the distance sensor. If these differences exceed the reference range, it is possible to determine a failure with higher accuracy by adopting a configuration in which a failure is determined.

また、本発明は、ロボット本体と、該ロボット本体に設けられるマイクロフォンと、前記ロボット本体に設けられるスピーカと、該スピーカの動作を制御する音声処理部と、前記マイクロフォン、前記スピーカ、及び前記音声処理部の診断を行う診断部とを有しており、該診断部が、前記音声処理部に、前記スピーカから音声を出力させる動作指令を送ったのちに、前記マイクロフォンの出力信号に変動が生じなかった場合に、故障が生じていると判定する自己診断機能付きロボットを提供する。   The present invention also provides a robot main body, a microphone provided in the robot main body, a speaker provided in the robot main body, a sound processing unit that controls the operation of the speaker, the microphone, the speaker, and the sound processing. The microphone output signal does not change after the diagnosis unit sends an operation command to output sound from the speaker to the sound processing unit. A robot with a self-diagnosis function that determines that a failure has occurred is provided.

このように構成される自己診断機能付きロボットでは、自己診断を行うにあたって、診断部が、音声処理部に、スピーカから音声を出力させる動作指令を送る。
このとき、マイクロフォン、スピーカ、音声処理部の全てが正常に機能している場合には、動作指令のとおりにスピーカから音声が出力されるので、マイクロフォンの出力信号には、なんらかの変動が生じる。
言い換えれば、診断部が動作指令を発しても、マイクロフォンの出力信号に変化が見られない場合は、マイクロフォン、スピーカ、音声処理部のうちの少なくともいずれか一つが故障しているということである。
このように、本発明に係る自己診断機能付きロボットでは、センサを二重化することなしに、自身に設けられている構成のみを用いて、自身の故障の有無を診断することができる。
In the robot with the self-diagnosis function configured as described above, when performing the self-diagnosis, the diagnosis unit sends an operation command for outputting sound from the speaker to the sound processing unit.
At this time, if all of the microphone, the speaker, and the sound processing unit are functioning normally, the sound is output from the speaker as instructed by the operation command, so that some variation occurs in the output signal of the microphone.
In other words, even if the diagnosis unit issues an operation command, if no change is observed in the output signal of the microphone, it means that at least one of the microphone, the speaker, and the sound processing unit has failed.
Thus, the robot with a self-diagnosis function according to the present invention can diagnose the presence or absence of its own failure using only the configuration provided in itself without duplicating the sensor.

ここで、マイクロフォン、スピーカ、音声処理部の全てが機能していて、スピーカが動作指令に従って動作すると、マイクロフォンによってスピーカが出力した音声が検出される。このときのマイクロフォンの出力信号には、スピーカが出力した音声パターンを反映した波形が現れる。
言い換えれば、マイクロフォンの実際の出力信号波形と、スピーカが動作指令に忠実に従って動作した場合に検出されるであろう出力信号波形(予想出力信号波形)とを比較し、これらの差が大きい場合には、スピーカが動作指令のとおりに動作していないか、マイクロフォンが故障していると判断することができる。
そこで、診断部を、音声処理部に対してスピーカから所定の音声を出力させる動作指令を送ったのちに、マイクロフォンの実際の出力信号波形と、予想出力信号波形とを比較し、これらの差が基準範囲を超えた場合には、故障と判断する構成とすることで、より高精度に故障の判定を行うことができる。
Here, when the microphone, the speaker, and the sound processing unit are all functioning and the speaker operates according to the operation command, the sound output from the speaker is detected by the microphone. At this time, a waveform reflecting the sound pattern output from the speaker appears in the output signal of the microphone.
In other words, when the actual output signal waveform of the microphone is compared with the output signal waveform (expected output signal waveform) that will be detected when the speaker operates in accordance with the operation command, and the difference between these is large Can determine that the speaker is not operating according to the operation command or that the microphone is malfunctioning.
Therefore, after sending the operation command to output a predetermined sound from the speaker to the sound processing unit, the diagnosis unit compares the actual output signal waveform of the microphone with the expected output signal waveform, and the difference between them is When it exceeds the reference range, it is possible to determine a failure with higher accuracy by adopting a configuration in which a failure is determined.

本発明に係る自己診断機能付きロボットによれば、センサを二重化することなしに、自己診断を行うことができるので、コストを低減することができる。   According to the robot with a self-diagnosis function according to the present invention, the self-diagnosis can be performed without duplicating the sensor, and thus the cost can be reduced.

以下に、本発明に係る自己診断機能付きロボット(以下、単に「ロボット」という。)の一実施形態について、図面を参照して説明する。
図1は、本発明の一の実施形態に係るロボットの正面図、図2は、図1に示したロボットの左側面図である。
図1および図2に示すように、ロボット本体1には、頭部2と、この頭部2を下方から支持する胸部3と、この胸部3の右側に設けられた右腕部4a(アーム)、胸部3の左側に設けられた左腕部4b(アーム)と、胸部3の下方に接続された腰部5と、この腰部5の下方に接続されたスカート部6と、このスカート部6の下方に接続された脚部7とが設けられている。
Hereinafter, an embodiment of a robot with a self-diagnosis function (hereinafter simply referred to as “robot”) according to the present invention will be described with reference to the drawings.
FIG. 1 is a front view of a robot according to an embodiment of the present invention, and FIG. 2 is a left side view of the robot shown in FIG.
As shown in FIGS. 1 and 2, the robot body 1 includes a head 2, a chest 3 that supports the head 2 from below, and a right arm 4a (arm) provided on the right side of the chest 3. A left arm part 4b (arm) provided on the left side of the chest part 3, a waist part 5 connected below the chest part 3, a skirt part 6 connected below the waist part 5, and a connection below the skirt part 6 Leg portions 7 are provided.

頭部2には、頭頂部近傍に全方位カメラ11(周辺状況撮影装置)が一つ設けられている。この全方位カメラ11の外周に沿って複数の赤外線LED12が所定の間隔で円環上に配置されている。
頭部2の前面の中央近傍には、図1に示すように、前方を撮像するための前方カメラ13が正面視して右側に一つ、マイクロフォン14が正面視して左側に一つ、それぞれ設けられている。
The head 2 is provided with one omnidirectional camera 11 (peripheral situation photographing device) near the top of the head. A plurality of infrared LEDs 12 are arranged on the ring at predetermined intervals along the outer periphery of the omnidirectional camera 11.
In the vicinity of the center of the front surface of the head 2, as shown in FIG. 1, the front camera 13 for imaging the front is one on the right side when viewed from the front, and the microphone 14 is one on the left side when viewed from the front. Is provided.

胸部3の前面の中央近傍には、モニタ15が一つ設けられている。このモニタ15の上方には、人を検知するための超音波距離センサ16が一つ設けられている。モニタ15の下方には、電源スイッチ17が一つ設けられている。超音波距離センサ16の上方には、2つのスピーカ18が左右に一つずつ設けられている。また、図2に示すように、胸部3の背面には、荷物を収納することができるランドセル部33が設けられている。ランドセル部33には、上部に設けたヒンジ周りに回動可能な開閉扉33aが設けられている。   One monitor 15 is provided near the center of the front surface of the chest 3. One ultrasonic distance sensor 16 for detecting a person is provided above the monitor 15. One power switch 17 is provided below the monitor 15. Above the ultrasonic distance sensor 16, two speakers 18 are provided one on each side. In addition, as shown in FIG. 2, a backpack 33 that can store luggage is provided on the back of the chest 3. The school bag 33 is provided with an opening / closing door 33a that can be rotated around a hinge provided at the top.

図1に示すように、胸部3の左右の肩部には、マンマシンインターフェースとして機能する肩スイッチ19がそれぞれ一つずつ設けられている。肩スイッチ19には、例えば、タッチセンサが採用されている。
ここで、本実施形態では、ユーザが肩スイッチ19を所定時間(例えば5秒間)押しつづけることで、後述する制御装置51がロボット本体1の現在の動作モードを中止させたり、直前に終了した各種認識処理をやり直すようになっている。
このように、肩スイッチ19をユーザが直接押圧することで、音声認識や画像認識等、外的要因によって精度が低下する可能性のある手段を用いて制御装置51にユーザの意思を伝達する場合よりも、確実かつ直感的にユーザの意思を制御装置51に伝達することが可能である。
As shown in FIG. 1, one shoulder switch 19 that functions as a man-machine interface is provided on each of the left and right shoulders of the chest 3. For the shoulder switch 19, for example, a touch sensor is employed.
Here, in this embodiment, when the user keeps pressing the shoulder switch 19 for a predetermined time (for example, 5 seconds), the control device 51 to be described later cancels the current operation mode of the robot body 1 or various types of operations that have just ended. The recognition process is redone.
As described above, when the user directly presses the shoulder switch 19, the user's intention is transmitted to the control device 51 by using means that may reduce accuracy due to external factors such as voice recognition and image recognition. Rather, it is possible to transmit the user's intention to the control device 51 reliably and intuitively.

右腕部4aおよび左腕部4bには、多関節構造が採用されている。右腕部4a、左腕部4bにおいて、胸部3との接続部近傍には、体や物の挟み込みを検知して腕の動作を止めるための脇スイッチ20がそれぞれ設けられている。図1に示すように、右腕部4aの手のひら部分には、マンマシンインターフェースとして機能する握手スイッチ21が内蔵されている。これら脇スイッチ20や握手スイッチ21には、例えば、押圧センサが採用される。
ここで、本実施形態では、ユーザが握手スイッチ21を所定時間(例えば5秒間)押し続けることで、制御装置51が、現在のロボット本体51の動作またはユーザに対する確認に対して、ユーザの承認が下りたと判断するようになっている。
また、このように、握手スイッチ21をユーザが直接押圧することで、音声認識や画像認識等、外的要因によって精度が低下する可能性のある手段を用いて制御装置51にユーザの意思を伝達する場合よりも、確実かつ直感的にユーザの意思を制御装置51に伝達することが可能である。
A multi-joint structure is adopted for the right arm portion 4a and the left arm portion 4b. In the right arm portion 4a and the left arm portion 4b, side switches 20 are provided in the vicinity of the connection portion with the chest portion 3 to detect the pinching of a body or an object and stop the movement of the arm. As shown in FIG. 1, a handshake switch 21 that functions as a man-machine interface is built in the palm of the right arm 4a. For the side switch 20 and the handshake switch 21, for example, a pressure sensor is employed.
Here, in the present embodiment, when the user continues to press the handshake switch 21 for a predetermined time (for example, 5 seconds), the control device 51 allows the user to approve the current operation of the robot main body 51 or confirmation to the user. It comes to judge that it got down.
In addition, when the user directly presses the handshake switch 21 as described above, the user's intention is transmitted to the control device 51 by using means that may reduce accuracy due to external factors such as voice recognition and image recognition. It is possible to transmit the user's intention to the control device 51 more reliably and intuitively than in the case of doing so.

腰部5の前面の中央近傍には、人を検知するための超音波距離センサ22が左右に一つずつ設けられている。これら超音波距離センサ22の下方には、複数の赤外線センサ23が配列されたセンサ領域24が設けられている。これら赤外線センサ23は、ロボット本体1の下方前方にある障害物等を検出するためのものである。図1および図2に示すように、腰部5の下方には、前面および背面において、音源方向を検出するためのマイクロフォン25が左右に一つずつ、計4つ設けられている。図2に示すように、腰部5の側面の左右には、本体を持ち上げるときに使用する取手部26がそれぞれ一つずつ設けられている。取手部26は、凹所とされており、操作者の手が挿入できるようになっている。   In the vicinity of the center of the front surface of the waist 5, one ultrasonic distance sensor 22 for detecting a person is provided on each side. Below these ultrasonic distance sensors 22, a sensor region 24 in which a plurality of infrared sensors 23 are arranged is provided. These infrared sensors 23 are for detecting an obstacle or the like in the lower front of the robot body 1. As shown in FIG. 1 and FIG. 2, a total of four microphones 25 are provided below the waist 5 for detecting the sound source direction, one on the left and one on the front and back. As shown in FIG. 2, one handle portion 26 used for lifting the main body is provided on each of the left and right sides of the waist portion 5. The handle 26 is a recess so that the operator's hand can be inserted.

スカート部6の前面下方には、段差を検出するための赤外線センサ27が、中央および左右に計3つ設けられている。図2に示すように、スカート部6の背面には、充電コネクタ28が設けられている。   Below the front surface of the skirt portion 6, a total of three infrared sensors 27 for detecting a step are provided in the center and on the left and right. As shown in FIG. 2, a charging connector 28 is provided on the back surface of the skirt portion 6.

図1に示すように、脚部7の前面には、側方の距離を検出するための赤外線センサ29が左右に一つずつ設けられている。これら赤外線センサ29は、主に段差検出に用いられるものである。
図2に示すように、脚部7の背面には、充電ステーションにロボット本体1を位置固定するためのフック30が設けられている。脚部7は、走行用車輪31および4つのボールキャスタ32を備えた台車とされている。
上述したロボットにおいて、胸部3の超音波距離センサ16、腰部5の超音波距離センサ22およびマイクロフォン25は、ロボット周辺にいる人物を検知する人検知センサ34として機能する。
As shown in FIG. 1, one infrared sensor 29 for detecting a lateral distance is provided on the front surface of the leg portion 7 on the left and right sides. These infrared sensors 29 are mainly used for level difference detection.
As shown in FIG. 2, a hook 30 for fixing the position of the robot body 1 to the charging station is provided on the back surface of the leg portion 7. The leg portion 7 is a carriage provided with traveling wheels 31 and four ball casters 32.
In the robot described above, the ultrasonic distance sensor 16 in the chest 3, the ultrasonic distance sensor 22 in the waist 5, and the microphone 25 function as a human detection sensor 34 that detects a person around the robot.

このようなロボットは、ロボット本体1に内蔵されたバッテリからの電源供給により、作業空間を自立的に移動することが可能な構成を備えており、一般家庭等の屋内を作業空間として人間と共存し、例えば、一般家庭内でロボットの所有者や操作者などのユーザの生活を補助・支援・介護するための各種サービスを提供するために用いられる。
そのため、ロボットは、ユーザとの会話を実現させる会話機能のほか、ユーザの行動を見守ったり、ユーザの行動を補助したり、ユーザと一緒に行動したりする機能を備えている。このような機能は、例えば、後述するロボット本体1の内部に内蔵されたマイクロコンピュータ等からなる制御装置により実現されるものである。制御装置には、図1および図2に示した各種カメラや各種センサ等が接続されており、カメラからの画像情報やセンサからのセンサ検出情報を取得し、これらの情報に基づいて各種プログラムを実行することにより、上述した各種機能を実現させる。なお、ロボット本体1の形状としては、図1および図2に示した形状に限られず、愛玩用に動物を模したものなど、種々のものを採用することが可能である。
Such a robot has a configuration capable of moving independently in a work space by supplying power from a battery built in the robot body 1, and coexists with a human being as a work space indoors. For example, it is used to provide various services for assisting, supporting, and caring for the lives of users such as robot owners and operators in general households.
Therefore, in addition to a conversation function that realizes a conversation with the user, the robot has a function of watching the user's action, assisting the user's action, and acting with the user. Such a function is realized by, for example, a control device including a microcomputer or the like built in the robot body 1 described later. Various cameras and various sensors shown in FIGS. 1 and 2 are connected to the control device, acquire image information from the cameras and sensor detection information from the sensors, and execute various programs based on these information. By executing this, the various functions described above are realized. The shape of the robot body 1 is not limited to the shape shown in FIGS. 1 and 2, and various shapes such as a model imitating an animal for pets can be adopted.

以下、ロボット本体1に内蔵されるロボットの電気的構成について図3を参照して説明する。図3において、図1乃至図2と同様の構成要素には、同一の符号を付している。
図3に示すように、本実施形態に係るロボットは、その本体内部に、制御装置51、画像処理部52、音声処理部53、表示制御部54、無線通信部55、駆動制御部56、駆動機構57、及びバッテリ58を備えている。
画像処理部52、音声処理部53、表示制御部54、無線通信部55、及び駆動制御部56は、制御装置51と互いに接続されており、制御装置51からの制御信号に基づいて各種処理を実行するとともに、その処理結果や各種センサからの情報等を制御装置51へ提供する。バッテリ58は、各構成要素に対して電力を供給する電源装置として機能する。
Hereinafter, the electrical configuration of the robot built in the robot body 1 will be described with reference to FIG. 3, the same components as those in FIGS. 1 and 2 are denoted by the same reference numerals.
As shown in FIG. 3, the robot according to the present embodiment includes a control device 51, an image processing unit 52, an audio processing unit 53, a display control unit 54, a wireless communication unit 55, a drive control unit 56, and a drive inside the main body. A mechanism 57 and a battery 58 are provided.
The image processing unit 52, the audio processing unit 53, the display control unit 54, the wireless communication unit 55, and the drive control unit 56 are connected to the control device 51, and perform various processes based on control signals from the control device 51. In addition to the execution, the processing result, information from various sensors, and the like are provided to the control device 51. The battery 58 functions as a power supply device that supplies power to each component.

画像処理部52は、制御装置51からの制御信号に基づいて、図1に示した全方位カメラ11、前方カメラ13によって撮影された画像を処理して、制御装置51へ出力する。
音声処理部53は、制御装置51からの制御信号に基づいて、マイクロフォン14から入力される音声信号を認識する音声認識処理を実行し、この音声認識結果を制御装置51へ出力する。更に、音声処理部53は、制御装置51から供給される音声データに基づいて、スピーカ18から発すべき音声信号を生成する音声合成処理を実行し、この音声信号をスピーカ18へ出力する。すなわち、制御装置51内の発話に関する情報処理、並びに、上記音声処理部53、マイクロフォン14、およびスピーカ18等により、このロボット本体1の発話手段が構成される。
表示制御部54は、制御装置51から与えられた画像データを処理して、モニタ15に表示させる。
The image processing unit 52 processes the images taken by the omnidirectional camera 11 and the front camera 13 shown in FIG. 1 based on the control signal from the control device 51 and outputs the processed images to the control device 51.
The speech processing unit 53 executes speech recognition processing for recognizing the speech signal input from the microphone 14 based on the control signal from the control device 51, and outputs the speech recognition result to the control device 51. Further, the voice processing unit 53 executes voice synthesis processing for generating a voice signal to be emitted from the speaker 18 based on the voice data supplied from the control device 51, and outputs the voice signal to the speaker 18. That is, the information processing related to the utterance in the control device 51, the voice processing unit 53, the microphone 14, the speaker 18, and the like constitute the utterance means of the robot body 1.
The display control unit 54 processes the image data given from the control device 51 and displays it on the monitor 15.

無線通信部55は、アンテナ55aを介して外部との無線通信を実行する。具体的には、無線通信部55は、外部に設けられた情報管理装置(図示せず)とネットワークを介して接続することにより、両者間での情報の授受を実現させる。
駆動制御部56は、制御装置51からの指令に応じて走行用駆動機構57を制御することにより、走行用車輪31を駆動してロボット本体1の走行および操舵を実行する。更に、駆動制御部56は、頭部2と胸部3との間の首関節や、胸部3と右腕部4a間、胸部3と左腕部4b間の肩関節、右腕部4a、左腕部4b内の肘関節、手首関節等を駆動するためにそれぞれ設けられている各駆動機構(図示略)を制御することにより、ロボットの腕等を駆動し、様々な動作を実現させる。
例えば、ユーザに意思確認を求める状況になった場合には、制御装置51から駆動制御部56に動作指令が送られて、握手スイッチ21が設けられた右腕部4aをロボット本体1の前方に差し出して、握手スイッチ21による意思確認をユーザに促すようになっている。
また、上記頭部2の顔表情についても、モータ等の駆動機構を制御することにより可変となっている。
バッテリ58は、充電コネクタ28が家庭内に設けられた充電ステーション(図示せず)に電気的に接続することにより自動的に充電される。
The wireless communication unit 55 performs wireless communication with the outside via the antenna 55a. Specifically, the wireless communication unit 55 is connected to an information management device (not shown) provided outside via a network, thereby realizing information exchange between the two.
The drive control unit 56 controls the traveling drive mechanism 57 in accordance with a command from the control device 51 to drive the traveling wheel 31 to execute traveling and steering of the robot body 1. Further, the drive control unit 56 includes a neck joint between the head 2 and the chest part 3, a shoulder joint between the chest part 3 and the right arm part 4a, a shoulder joint between the chest part 3 and the left arm part 4b, a right arm part 4a, and a left arm part 4b. By controlling each drive mechanism (not shown) provided to drive the elbow joint, wrist joint and the like, the robot arm and the like are driven to realize various operations.
For example, when the user is asked to confirm his / her intention, an operation command is sent from the control device 51 to the drive control unit 56, and the right arm 4 a provided with the handshake switch 21 is pushed out to the front of the robot body 1. Thus, the user is prompted to confirm the intention by the handshake switch 21.
The facial expression of the head 2 is also variable by controlling a driving mechanism such as a motor.
The battery 58 is automatically charged when the charging connector 28 is electrically connected to a charging station (not shown) provided in the home.

制御装置51は、上述したように、ロボット本体1の各構成要素を制御するものであり、動作モード設定部61、動作モード実行部62、ユーザ認識部(顔認識処理部)63、自己位置認識部64、光源位置判定部65、撮影状況通知部66、サービス用スケジュール情報管理部70、動作アプリケーション記憶部72、診断部73等を備えている。   As described above, the control device 51 controls each component of the robot body 1, and includes an operation mode setting unit 61, an operation mode execution unit 62, a user recognition unit (face recognition processing unit) 63, and a self-position recognition. Unit 64, light source position determination unit 65, imaging state notification unit 66, service schedule information management unit 70, operation application storage unit 72, diagnosis unit 73, and the like.

上記サービス用スケジュール情報管理部70は、ユーザにより予約されたサービス用スケジュール情報を管理する。このサービス用スケジュール情報は、予約を登録したユーザの識別番号、予約されたサービスの内容、該サービスの開始時間ならびに終了時間が互いに対応付けられた情報である。サービス用スケジュール情報管理部70は、一定時間間隔でこのサービス用スケジュール情報を参照し、予約開始時刻になると、予約開始時刻となったサービスの内容、終了時間、ユーザの識別番号等を予約開始情報として動作モード設定部61へ出力する。   The service schedule information management unit 70 manages service schedule information reserved by the user. The service schedule information is information in which the identification number of the user who registered the reservation, the content of the reserved service, the start time and the end time of the service are associated with each other. The service schedule information management unit 70 refers to the service schedule information at regular time intervals. When the reservation start time is reached, the service content, the end time, the user identification number, etc., at the reservation start time are set as the reservation start information. To the operation mode setting unit 61.

動作アプリケーション記憶部72には、後述する各種動作モードを実現させるために必要となる各種動作アプリケーションが格納されているほか、該動作アプリケーションを実行するのに必要となる付加情報等、例えば、家庭内の地図情報、ユーザへの話かけを行うための音声データ、ユーザとの会話時やユーザとの対話時における身振り動作の駆動データ等が格納されている。
上記地図情報は、ロボット本体1が家庭内を自律的に移動するために必要となるマップ情報であり、家庭内での後述するマーカの位置、ユーザにより予め登録された家庭内の所定の位置(例えば、テラス、リビング、寝室、玄関等の各任意位置)に関する位置情報、後述する巡回モードにおいて巡回を行う各巡回ポイントの位置情報、充電ステーションの位置情報、並びに、これらを移動するために必要となる経路情報等が含まれている。
The operation application storage unit 72 stores various operation applications necessary for realizing various operation modes described later, and additional information necessary for executing the operation application, for example, in the home Map information, voice data for talking to the user, driving data for gesture operation during conversation with the user or dialogue with the user, and the like are stored.
The map information is map information necessary for the robot body 1 to move autonomously in the home, and the position of a marker to be described later in the home, a predetermined location in the home registered in advance by the user ( For example, location information on each of the terraces, living rooms, bedrooms, entrances, etc.), location information of each traveling point for patrol in the patrol mode described later, location information of the charging station, and necessary to move these Route information and the like.

動作モード設定部61は、上記サービス用スケジュール情報管理部70および音声処理部53から入力されたユーザからのサービス要求指令に基づいて、動作モード実行部62に実行させる動作モードを現在のモードとして設定する。
動作モード実行部62は、動作モード設定部61により現在のモードとして設定された動作モードに対応する動作アプリケーションを動作アプリケーション記憶部72から読み出し、この動作アプリケーションを実行することにより、各種動作モードに基づくサービス等をユーザに提供する。
The operation mode setting unit 61 sets the operation mode to be executed by the operation mode execution unit 62 as the current mode based on the service request command from the user input from the service schedule information management unit 70 and the voice processing unit 53. To do.
The operation mode execution unit 62 reads out an operation application corresponding to the operation mode set as the current mode by the operation mode setting unit 61 from the operation application storage unit 72, and executes the operation application to thereby perform various operation modes. Provide services to users.

ユーザ認識部63は、画像処理部52から受け付けた画像に基づいて顔認証を行うことにより、予め登録されているユーザを識別する。顔認証によるユーザ認証の手法については、公知の技術を採用することが可能である。   The user recognition unit 63 identifies a user registered in advance by performing face authentication based on the image received from the image processing unit 52. A known technique can be adopted as a user authentication method using face authentication.

自己位置認識部64は、画像処理部52から受け付けた画像情報に基づいてロボット本体1の位置および方位(向き、姿勢)を認識するとともに、上記地図情報を参照することにより、家庭内における現在位置を特定する。
ここで、ロボット本体1が運用される作業空間では、各室内に、赤外線を反射する複数のマーカが設けられている。これにより、制御装置51が赤外線LED12を発光させると、全方位カメラ11にマーカからの赤外線の反射光が撮影され、全方位カメラ11の撮影画像から、画像処理部52によってマーカの位置が認識される。
自己位置認識部64は、画像処理部52が認識したマーカの位置と、予め取得しておいたこのマーカの位置情報とに基づいて、ロボット本体1の現在位置と向きとを特定する。
このように、自己の位置を常に把握するこのできる自己位置認識部64を備えているので、当該ロボットは、自律的に家庭内を移動することができる。
The self position recognizing unit 64 recognizes the position and orientation (orientation and orientation) of the robot body 1 based on the image information received from the image processing unit 52, and refers to the map information to determine the current position in the home. Is identified.
Here, in the work space in which the robot body 1 is operated, a plurality of markers that reflect infrared rays are provided in each room. As a result, when the control device 51 causes the infrared LED 12 to emit light, infrared reflected light from the marker is photographed by the omnidirectional camera 11, and the position of the marker is recognized by the image processing unit 52 from the photographed image of the omnidirectional camera 11. The
The self-position recognition unit 64 specifies the current position and orientation of the robot body 1 based on the marker position recognized by the image processing unit 52 and the marker position information acquired in advance.
As described above, since the self-position recognition unit 64 capable of constantly grasping the position of the self is provided, the robot can autonomously move in the home.

診断部73は、赤外線LED12の発光動作を制御し、音声処理部53へはスピーカ18の動作指令を送り、駆動制御部56へは右腕部4a及び左腕部4bの動作指令を送り、その後の制御装置51の出力、画像処理部52の出力、音声処理部53の出力に基づいて、ロボット本体1の各部について故障の有無を判定する。診断部73による故障の判定方法については後述する。   The diagnostic unit 73 controls the light emission operation of the infrared LED 12, sends the operation command of the speaker 18 to the sound processing unit 53, sends the operation command of the right arm unit 4a and the left arm unit 4b to the drive control unit 56, and performs subsequent control Based on the output of the apparatus 51, the output of the image processing unit 52, and the output of the sound processing unit 53, the presence or absence of a failure is determined for each unit of the robot body 1. A method for determining a failure by the diagnosis unit 73 will be described later.

上述した制御装置51は、例えば、CPU(中央演算装置)、ROM(Read Only Memory)、RAM(Random Access Memory)等を備えるマイクロコンピュータ等により構成されている。上述した各部を実現するための一連の処理手順は、プログラムの形式でROM等に記録されており、このプログラムをCPUがRAM等に読み出して、情報の加工・演算処理を実行することにより、上述の動作モード設定部61、動作モード実行部62等の機能や各動作モードの実行によるサービスの提供が実現される。   The control device 51 described above is configured by, for example, a microcomputer including a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like. A series of processing procedures for realizing each unit described above is recorded in a ROM or the like in the form of a program, and the CPU reads the program into the RAM or the like and executes information processing / calculation processing. The service is provided by the functions of the operation mode setting unit 61, the operation mode execution unit 62, and the like, and the execution of each operation mode.

次に、本実施形態に係るロボットの動作について説明する。
まず、図3の動作モード設定部61は、ロボットが起動された後は、動作モードを自己診断モードに移行して、ロボットに各部の自己診断を行わせる。なお、自己診断の詳細については後述する。
動作モード設定部61は、自己診断を終えたのちは、自己診断モードを終了させ、動作モードに対応する各種キーワード等が音声により入力された場合、或いは、サービス用スケジュール情報管理部70から予約開始情報を受け付けた場合に、対応する動作モードを現在のモードとして設定する。
Next, the operation of the robot according to this embodiment will be described.
First, after the robot is activated, the operation mode setting unit 61 in FIG. 3 shifts the operation mode to the self-diagnosis mode and causes the robot to perform self-diagnosis of each unit. Details of the self-diagnosis will be described later.
After completing the self-diagnosis, the operation mode setting unit 61 ends the self-diagnosis mode, and when various keywords corresponding to the operation mode are input by voice, or the reservation start from the service schedule information management unit 70 When information is received, the corresponding operation mode is set as the current mode.

上記のように、所定の動作モードが現在のモードとして設定されると、動作モード実行部62は、現在のモードとして設定された動作モードに対応する動作アプリケーションを動作アプリケーション記憶部72から読み出して実行する。これにより、各種動作モードに対応する動作が提供されたり、各動作モードに対応するサービスがユーザに対して提供されることとなる。
また、上述のようなサービスの提供と並行して、ユーザ認識部63によりサービスを提供している相手であるユーザの認証が行われる。
As described above, when the predetermined operation mode is set as the current mode, the operation mode execution unit 62 reads the operation application corresponding to the operation mode set as the current mode from the operation application storage unit 72 and executes it. To do. As a result, operations corresponding to various operation modes are provided, and services corresponding to the respective operation modes are provided to the user.
In parallel with the provision of the service as described above, the user recognition unit 63 authenticates the user who is providing the service.

以下、このロボットの自己診断の流れについて、図4のフローチャートを参照して詳細に説明する。なお、以下では、一例として、超音波距離センサ16,22、右腕部4a、左腕部4b、及び駆動制御部56の自己診断の流れについて説明する。
動作モードが自己診断モードに設定されると、制御装置51は、診断部73に、自己診断指令を出力する。
診断部73は、自己診断指令を受けることで、音声処理部53に、ユーザに自己診断開始を通知するような音声データ(例えば「今日の調子はどうかな?」といったセリフの音声データ)を発するように動作指令を送る。音声処理部53がこの音声データに基づく音声信号をスピーカ18へ出力することにより、この音声がスピーカ18から発せられることとなる(ステップS1)。
Hereinafter, the flow of the self-diagnosis of the robot will be described in detail with reference to the flowchart of FIG. In the following, the flow of self-diagnosis of the ultrasonic distance sensors 16 and 22, the right arm portion 4a, the left arm portion 4b, and the drive control unit 56 will be described as an example.
When the operation mode is set to the self-diagnosis mode, the control device 51 outputs a self-diagnosis command to the diagnosis unit 73.
Upon receiving the self-diagnosis command, the diagnosis unit 73 emits sound data (for example, speech data such as “how is it today?”) That notifies the sound processing unit 53 of the start of self-diagnosis to the user. Send the operation command as follows. When the audio processing unit 53 outputs an audio signal based on the audio data to the speaker 18, the audio is emitted from the speaker 18 (step S1).

その後、診断部73は、肩スイッチ19が押されたかどうかを監視し(ステップS2)、肩スイッチ19が所定時間以上押されたことを検出すると、自己診断処理を停止して、動作モード設定部61に他の動作モードを現在のモードとして設定させる(ステップS3)。   Thereafter, the diagnosis unit 73 monitors whether or not the shoulder switch 19 has been pressed (step S2). When the diagnosis unit 73 detects that the shoulder switch 19 has been pressed for a predetermined time or longer, the diagnosis unit 73 stops the self-diagnosis process and the operation mode setting unit 61 is caused to set another operation mode as the current mode (step S3).

一方、肩スイッチ19が押されていない場合には、診断部73は、自己診断処理を継続する。
自己診断処理が継続される場合には、診断部73は、まず、駆動制御部56に、右腕部4aまたは左腕部4bを、超音波距離センサ16,22の検出領域外から検出領域内に進入させるよう、動作指令を出力する(ステップS4)。
これにより、右腕部4aまたは左腕部4bが正常であれば、超音波距離センサ16、22の検出領域外から検出領域内に進入する。具体的には、右腕部4aが右側の超音波距離センサ22の検出領域に進入させられ、左腕部4bが左側の超音波距離センサ22の検出領域に進入させられる。ここで、胸部3に設けられた超音波距離センサ16の検出領域には、右腕部4aと左腕部4bとのうちのどちらが進入させられても良い。
On the other hand, when the shoulder switch 19 is not pressed, the diagnosis unit 73 continues the self-diagnosis process.
When the self-diagnosis process is continued, the diagnosis unit 73 first causes the drive control unit 56 to enter the right arm portion 4a or the left arm portion 4b from outside the detection region of the ultrasonic distance sensors 16 and 22 into the detection region. An operation command is output so as to make it happen (step S4).
Thereby, if the right arm part 4a or the left arm part 4b is normal, the ultrasonic distance sensors 16 and 22 enter the detection area from outside the detection area. Specifically, the right arm portion 4 a is caused to enter the detection area of the right ultrasonic distance sensor 22, and the left arm portion 4 b is caused to enter the detection area of the left ultrasonic distance sensor 22. Here, either the right arm portion 4a or the left arm portion 4b may be made to enter the detection region of the ultrasonic distance sensor 16 provided in the chest 3.

診断部73は、駆動制御部56に動作指令を出力したのちは、超音波距離センサ16,22の出力信号をそれぞれ監視する(ステップS5)。そして、この出力信号に変化が生じた場合には、右腕部4aまたは左腕部4bが動作して、超音波距離センサ16,22の検出領域に進入し、これが超音波距離センサ16,22によって検出されたと判断して(すなわち故障が生じていないと判断して)、自己診断処理を終了し、動作モード設定部61に他の動作モードを現在のモードとして設定させる(ステップS6)。   After outputting the operation command to the drive control unit 56, the diagnosis unit 73 monitors the output signals of the ultrasonic distance sensors 16 and 22 (step S5). When a change occurs in the output signal, the right arm 4a or the left arm 4b operates to enter the detection area of the ultrasonic distance sensors 16 and 22, and this is detected by the ultrasonic distance sensors 16 and 22. If it is determined that a failure has not occurred (ie, it is determined that no failure has occurred), the self-diagnosis process is terminated, and the operation mode setting unit 61 sets another operation mode as the current mode (step S6).

一方、診断部73は、超音波距離センサ16,22の出力信号に変化が生じなかった場合には、ロボットの動作履歴を参照して、自己診断処理を開始してから再起動処理を経験したかどうかを判定する(ステップS7)。まだ再起動を経験していない場合には、ロボットを再起動して各装置を一旦初期化したのち(ステップS8)、改めて自己診断モードを開始させる。
ここで、ステップS7において、すでに再起動を経験している場合には、診断部73は、右腕部4a、左腕部4b、超音波距離センサ16,22、駆動制御部56のうちの少なくともいずれかが正しく動作していないと判断して(すなわち故障が生じていると判断して)、この故障情報を検証することができるように、無線通信部55に動作指令を送って、故障が生じている旨の履歴情報を外部の情報管理装置に送信して記録させ、その後、自己診断処理を含むロボットの全ての動作を停止させる。(ステップS9)。
On the other hand, when there is no change in the output signals of the ultrasonic distance sensors 16 and 22, the diagnosis unit 73 refers to the operation history of the robot and experiences the restart process after starting the self-diagnosis process. Whether or not (step S7). If restart has not been experienced yet, the robot is restarted to initialize each device once (step S8), and then the self-diagnosis mode is started again.
Here, in step S <b> 7, when restarting has already been experienced, the diagnosis unit 73 has at least one of the right arm unit 4 a, the left arm unit 4 b, the ultrasonic distance sensors 16 and 22, and the drive control unit 56. Is determined not to operate correctly (ie, it is determined that a failure has occurred), and an operation command is sent to the wireless communication unit 55 so that the failure information can be verified. The history information to the effect is transmitted to an external information management device and recorded, and then all the operations of the robot including the self-diagnosis process are stopped. (Step S9).

また、診断部73は、上記の超音波距離センサ16,22に関連する自己診断と前後して、もしくは超音波距離センサ16,22に関連する自己診断と並行して、他のセンサに関連する自己診断を行う。
以下では、音声処理部53、スピーカ18、及びマイクロフォン14,25の自己診断の流れについて、図5のフローチャートを用いて説明する。
なお、音声処理部53、スピーカ18、及びマイクロフォン14,25の自己診断の流れは、超音波距離センサ16,22に関連する自己診断の流れと、ステップS3までが共通しており、ステップS4以降の処理が独自の処理となる。
The diagnosis unit 73 is related to other sensors before or after the self-diagnosis related to the ultrasonic distance sensors 16 and 22 or in parallel with the self-diagnosis related to the ultrasonic distance sensors 16 and 22. Perform self-diagnosis.
Below, the flow of the self-diagnosis of the audio processing unit 53, the speaker 18, and the microphones 14 and 25 will be described using the flowchart of FIG.
Note that the flow of the self-diagnosis of the voice processing unit 53, the speaker 18, and the microphones 14 and 25 is the same as the flow of the self-diagnosis related to the ultrasonic distance sensors 16 and 22, up to step S3, and after step S4. This process is unique.

具体的には、ステップS2において、肩スイッチ19が押されておらず、自己診断処理が継続される場合には、診断部73は、まず、音声処理部53に、スピーカ18から任意の音声を出力させる動作指令を送る。(ステップS14)。   Specifically, in step S2, when the shoulder switch 19 is not pressed and the self-diagnosis process is continued, the diagnosis unit 73 first sends an arbitrary sound from the speaker 18 to the sound processing unit 53. Send the operation command to be output. (Step S14).

診断部73は、音声処理部53に動作指令を出力したのちは、マイクロフォン14,25の出力信号をそれぞれ監視する(ステップS15)。そして、この出力信号に変化が生じた場合には、スピーカ18が音声を発して、この音声がマイクロフォン14,25によって検出されたと判断して(すなわち故障が生じていないと判断して)、自己診断処理を終了し、動作モード設定部61に他の動作モードを現在のモードとして設定させる(ステップS16)。   After outputting the operation command to the sound processing unit 53, the diagnosis unit 73 monitors the output signals of the microphones 14 and 25 (step S15). When the output signal is changed, the speaker 18 emits sound, and it is determined that the sound is detected by the microphones 14 and 25 (that is, it is determined that no failure has occurred). The diagnosis process is terminated, and the operation mode setting unit 61 sets another operation mode as the current mode (step S16).

一方、診断部73は、マイクロフォン14,25の出力信号に変化が生じなかった場合には、ロボットの動作履歴を参照して、自己診断処理を開始してから再起動処理を経験したかどうかを判定する(ステップS17)。まだ再起動を経験していない場合には、ロボットを再起動して各装置を一旦初期化したのち(ステップS18)、改めて自己診断モードを開始させる。
ここで、ステップS17において、すでに再起動を経験している場合には、診断部73は、音声処理部53、スピーカ18、及びマイクロフォン14,25のうちの少なくともいずれかが正しく動作していないと判断して(すなわち故障が生じていると判断して)、無線通信部55に動作指令を送って、故障が生じている旨の履歴情報を、外部の情報管理装置に送信して記録させ、その後、自己診断処理を含むロボットの全ての動作を停止させる。(ステップS19)。
On the other hand, if there is no change in the output signals of the microphones 14 and 25, the diagnosis unit 73 refers to the operation history of the robot and determines whether or not it has experienced the restart process after starting the self-diagnosis process. Determination is made (step S17). If restart has not been experienced yet, the robot is restarted to initialize each device once (step S18), and then the self-diagnosis mode is started again.
Here, if restart has already been experienced in step S17, the diagnosis unit 73 determines that at least one of the voice processing unit 53, the speaker 18, and the microphones 14 and 25 is not operating correctly. Judging (i.e., judging that a failure has occurred), sending an operation command to the wireless communication unit 55, sending history information to the effect that a failure has occurred to an external information management device, Thereafter, all operations of the robot including the self-diagnosis process are stopped. (Step S19).

次に、赤外線LED12、全方位カメラ11、及び画像処理部52の自己診断の流れについて説明する。なお、赤外線LED12、全方位カメラ11、及び画像処理部52の自己診断の流れは、超音波距離センサ16,22に関連する自己診断の流れと、ステップS3までが共通しており、ステップS4以降の処理が独自の処理となる。   Next, the flow of self-diagnosis of the infrared LED 12, the omnidirectional camera 11, and the image processing unit 52 will be described. The flow of the self-diagnosis of the infrared LED 12, the omnidirectional camera 11, and the image processing unit 52 is the same as the flow of the self-diagnosis related to the ultrasonic distance sensors 16 and 22 up to step S3, and after step S4. This process is unique.

具体的には、ステップS2において、肩スイッチ19が押されておらず、自己診断処理が継続される場合には、診断部73は、まず、赤外線LED12を発光させるとともに、以降は、画像処理部52の出力信号を監視する。そして、この出力信号に変化が生じた場合、もしくはマーカが一個でも認識された場合には、赤外線LEDが発光して、この光が全方位カメラ11によって検出されたと判断して(すなわち故障が生じていないと判断して)、自己診断処理を終了し、動作モード設定部61に他の動作モードを現在のモードとして設定させる。   Specifically, in step S2, when the shoulder switch 19 is not pressed and the self-diagnosis process is continued, the diagnosis unit 73 first causes the infrared LED 12 to emit light, and thereafter the image processing unit. 52 output signals are monitored. When the output signal changes or when even one marker is recognized, the infrared LED emits light, and it is determined that this light is detected by the omnidirectional camera 11 (that is, a failure occurs). If not, the self-diagnosis process is terminated, and the operation mode setting unit 61 is made to set another operation mode as the current mode.

一方、診断部73は、画像処理部52の出力信号に変化が生じなかった場合には、ロボットの動作履歴を参照して、自己診断処理を開始してから再起動処理を経験したかどうかを判定する。まだ再起動を経験していない場合には、ロボットを再起動して各装置を一旦初期化したのち、改めて自己診断モードを開始させる。
ここで、ロボットがすでに再起動を経験している場合には、診断部73は、赤外線LED12、全方位カメラ11、画像処理部52のうちの少なくともいずれかが正しく動作していないと判断して(すなわち故障が生じていると判断して)、無線通信部55に動作指令を送って、故障が生じている旨の履歴情報を、外部の情報管理装置に送信して記録させ、その後、自己診断処理を含むロボットの全ての動作を停止させる。
On the other hand, if there is no change in the output signal of the image processing unit 52, the diagnosis unit 73 refers to the operation history of the robot and determines whether or not it has experienced the restart process after starting the self-diagnosis process. judge. If restart has not been experienced yet, the robot is restarted to initialize each device once, and then the self-diagnosis mode is started again.
Here, when the robot has already experienced the restart, the diagnosis unit 73 determines that at least one of the infrared LED 12, the omnidirectional camera 11, and the image processing unit 52 is not operating correctly. (In other words, it is determined that a failure has occurred), an operation command is sent to the wireless communication unit 55, and history information indicating that the failure has occurred is transmitted to an external information management device to be recorded. Stop all robot operations including diagnostic processing.

ここで、障害物検出用の赤外線センサ23、段差検出用の赤外線センサ27,29の自己診断にあたっては、診断部73は、前記の地図情報から判断して周囲に障害物や段差のないと思われる領域で、各赤外線センサ23,27,29を作動させて、障害物や段差が検出されない場合にはこれらセンサが正常であると判断して通常動作に移行させ、障害物や段差が検出された場合には故障が生じていると判断して、無線通信部55に動作指令を送って、故障が生じている旨の履歴情報を、外部の情報管理装置に送信して記録させ、その後、自己診断処理を含むロボットの全ての動作を停止させる。   Here, in the self-diagnosis of the infrared sensor 23 for detecting obstacles and the infrared sensors 27 and 29 for detecting steps, the diagnosis unit 73 judges that there are no obstacles or steps in the surroundings based on the map information. In the area where each infrared sensor 23, 27, 29 is operated and no obstacles or steps are detected, it is determined that these sensors are normal and the normal operation is performed, and the obstacles or steps are detected. In the case of failure, it is determined that a failure has occurred, an operation command is sent to the wireless communication unit 55, and history information indicating that the failure has occurred is transmitted to an external information management device for recording. Stop all robot operations including self-diagnosis.

このように、本実施形態にかかるロボットによれば、センサの二重化を行わずに、自身に設けられている構成のみを用いて、自身の故障の有無を診断することができるので、コストを抑えることができる。   As described above, according to the robot according to the present embodiment, it is possible to diagnose the presence / absence of the own failure without using dual sensors and using only the configuration provided in the robot. be able to.

ここで、上記実施形態では、診断部73が、自己診断の過程で各センサの出力信号に変化があった場合には、このセンサに関連する装置に故障がないと判断する構成を示したが、これに限られることなく、より詳細に各センサ及びこのセンサに関連する装置の状態を検出する構成としても良い。   Here, in the above embodiment, a configuration has been described in which the diagnosis unit 73 determines that there is no failure in the device related to the sensor when there is a change in the output signal of each sensor during the self-diagnosis process. However, the present invention is not limited to this, and it may be configured to detect the state of each sensor and the device related to this sensor in more detail.

例えば、超音波距離センサ16,22、右腕部4a、左腕部4b、駆動制御部56の全てが機能していて、右腕部4a及び左腕部4bが動作指令に従って動作すると、超音波距離センサ16,22によって右腕部4aまたは左腕部4bの動作が検出される。このときの超音波距離センサ16,22の出力信号には、右腕部4aまたは左腕部4bの動作パターンを反映した波形が現れる。
そこで、前記の超音波距離センサ16(または超音波距離センサ22)に関連する自己診断の際に、図6のフローチャートに示すように、ステップS4を終えたのちは、超音波距離センサ16の実際の出力信号波形R(図7(a)参照)と、右腕部4a(または左腕部4b)が動作指令に忠実に従って動作した場合に検出されるであろう出力信号波形(予想出力信号波形I、図7(b)参照)とを比較し(ステップS21、S22)、一定時間範囲内でのこれらの差D(図8参照)が大きい場合には、右腕部4aまたは左腕部4bが動作指令のとおりに動作していないか、超音波距離センサ16,22が故障していると判断する。
これにより、右腕部4a(または左腕部4b)や超音波距離センサ16(または超音波距離センサ22)の故障の判定を、さらに高精度に行うことができる。
For example, when all of the ultrasonic distance sensors 16 and 22, the right arm part 4a, the left arm part 4b, and the drive control part 56 are functioning and the right arm part 4a and the left arm part 4b operate according to the operation command, the ultrasonic distance sensor 16, 22, the movement of the right arm 4a or the left arm 4b is detected. In the output signals of the ultrasonic distance sensors 16 and 22 at this time, a waveform reflecting the operation pattern of the right arm portion 4a or the left arm portion 4b appears.
Therefore, at the time of self-diagnosis related to the ultrasonic distance sensor 16 (or ultrasonic distance sensor 22), as shown in the flowchart of FIG. Output signal waveform R (see FIG. 7A) and an output signal waveform (expected output signal waveform I, which will be detected when the right arm portion 4a (or left arm portion 4b) operates according to the operation command faithfully). (See FIG. 7B) (steps S21 and S22), and when these differences D (see FIG. 8) within a certain time range are large, the right arm 4a or the left arm 4b It is determined whether the ultrasonic distance sensors 16 and 22 are malfunctioning.
Thereby, the determination of the failure of the right arm part 4a (or the left arm part 4b) or the ultrasonic distance sensor 16 (or the ultrasonic distance sensor 22) can be performed with higher accuracy.

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。   The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes design changes and the like within a scope not departing from the gist of the present invention.

本発明の一実施形態に係るロボットの正面図である。It is a front view of the robot which concerns on one Embodiment of this invention. 図1に示したロボットの左側面図である。It is a left view of the robot shown in FIG. 図1に示したロボット本体に内蔵されるロボットの電気的構成例を示す図である。It is a figure which shows the electrical structural example of the robot incorporated in the robot main body shown in FIG. 図1に示したロボットによる超音波距離センサに関連する自己診断処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the self-diagnosis process relevant to the ultrasonic distance sensor by the robot shown in FIG. 図1に示したロボットによるマイクロフォンに関連する自己診断処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the self-diagnosis process relevant to the microphone by the robot shown in FIG. 図1に示したロボットによる超音波距離センサに関連する自己診断処理の他の例における流れを示すフローチャートである。It is a flowchart which shows the flow in the other example of the self-diagnosis process relevant to the ultrasonic distance sensor by the robot shown in FIG. 図1に示したロボットによる超音波距離センサに関連する自己診断処理の他の例の原理を示すグラフである。It is a graph which shows the principle of the other example of the self-diagnosis process relevant to the ultrasonic distance sensor by the robot shown in FIG. 図1に示したロボットによる超音波距離センサに関連する自己診断処理の他の例の原理を示すグラフである。It is a graph which shows the principle of the other example of the self-diagnosis process relevant to the ultrasonic distance sensor by the robot shown in FIG.

符号の説明Explanation of symbols

1 ロボット本体
4a 右腕部(アーム)
4b 左腕部(アーム)
14,25 マイクロフォン
16,22 超音波距離センサ
18 スピーカ
53 音声処理部
56 駆動制御部
73 診断部
1 Robot body 4a Right arm (arm)
4b Left arm (arm)
14, 25 Microphone 16, 22 Ultrasonic distance sensor 18 Speaker 53 Audio processing unit 56 Drive control unit 73 Diagnosis unit

Claims (4)

ロボット本体と、
該ロボット本体に設けられる距離センサと、
前記ロボット本体に設けられるアームと、
該アームの動作を制御する駆動制御部と、
前記距離センサ、前記アーム、及び前記駆動制御部の診断を行う診断部とを有しており、
該診断部が、前記駆動制御部に、前記アームを前記距離センサの検出領域内と該検出領域外との間で移動させる動作指令を送ったのちに、前記距離センサの出力信号に変動が生じなかった場合に、故障が生じていると判定する自己診断機能付きロボット。
The robot body,
A distance sensor provided in the robot body;
An arm provided in the robot body;
A drive control unit for controlling the operation of the arm;
A diagnostic unit for diagnosing the distance sensor, the arm, and the drive control unit;
After the diagnosis unit sends an operation command to the drive control unit to move the arm between the detection area of the distance sensor and the outside of the detection area, the output signal of the distance sensor fluctuates. A robot with a self-diagnosis function that determines that a failure has occurred if there is not.
前記診断部が、前記駆動制御部に対して前記アームを前記距離センサの検出領域内で所定のパターンで動作させる動作指令を送ったのちに、前記距離センサの実際の出力信号波形と、前記アームが前記動作指令に従ったパターンで動作した場合に予想される前記距離センサの予想出力信号波形とを比較し、前記実際の出力信号波形と前記予想出力信号波形との差が基準範囲を超えた場合に、故障が生じていると判定する請求項1記載の自己診断機能付きロボット。   After the diagnosis unit sends an operation command for operating the arm in a predetermined pattern within the detection area of the distance sensor to the drive control unit, an actual output signal waveform of the distance sensor, and the arm Is compared with the expected output signal waveform of the distance sensor that is expected when operating in a pattern according to the operation command, the difference between the actual output signal waveform and the expected output signal waveform exceeds the reference range The robot with a self-diagnosis function according to claim 1, wherein it is determined that a failure has occurred. ロボット本体と、
該ロボット本体に設けられるマイクロフォンと、
前記ロボット本体に設けられるスピーカと、
該スピーカの動作を制御する音声処理部と、
前記マイクロフォン、前記スピーカ、及び前記音声処理部の診断を行う診断部とを有しており、
該診断部が、前記音声処理部に、前記スピーカから音声を出力させる動作指令を送ったのちに、前記マイクロフォンの出力信号に変動が生じなかった場合に、故障が生じていると判定する自己診断機能付きロボット。
The robot body,
A microphone provided in the robot body;
A speaker provided in the robot body;
An audio processing unit for controlling the operation of the speaker;
A diagnostic unit for diagnosing the microphone, the speaker, and the voice processing unit;
The diagnosis unit determines that a failure has occurred when the microphone output signal does not change after the operation command to output sound from the speaker is sent to the sound processing unit. Robot with function.
前記診断部が、前記音声処理部に対して前記スピーカから所定の音声を出力させる動作指令を送ったのちに、前記マイクロフォンの実際の出力信号波形と、前記スピーカが前記動作指令に従った音声を出力した場合に予想される前記マイクロフォンの予想出力信号波形とを比較し、前記実際の出力信号波形と前記予想出力信号波形との差が基準範囲を超えた場合に、故障が生じていると判定する請求項3記載の自己診断機能付きロボット。   After the diagnosis unit sends an operation command for outputting a predetermined sound from the speaker to the sound processing unit, an actual output signal waveform of the microphone and a sound according to the operation command are output from the speaker. Compared with the expected output signal waveform of the microphone that is expected in the case of output, it is determined that a failure has occurred when the difference between the actual output signal waveform and the expected output signal waveform exceeds the reference range The robot with a self-diagnosis function according to claim 3.
JP2005349117A 2005-12-02 2005-12-02 Robot with self-diagnostic function Withdrawn JP2007152470A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005349117A JP2007152470A (en) 2005-12-02 2005-12-02 Robot with self-diagnostic function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005349117A JP2007152470A (en) 2005-12-02 2005-12-02 Robot with self-diagnostic function

Publications (1)

Publication Number Publication Date
JP2007152470A true JP2007152470A (en) 2007-06-21

Family

ID=38237464

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005349117A Withdrawn JP2007152470A (en) 2005-12-02 2005-12-02 Robot with self-diagnostic function

Country Status (1)

Country Link
JP (1) JP2007152470A (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009050970A (en) * 2007-08-28 2009-03-12 Nec Access Technica Ltd Robot system and rescue robot
JP2009196030A (en) * 2008-02-21 2009-09-03 Nachi Fujikoshi Corp Output torque limit circuit of industrial robot
WO2013168285A1 (en) * 2012-05-11 2013-11-14 トヨタ自動車株式会社 Pressure sensor failure diagnosis device and pressure sensor failure diagnosis method
WO2014167700A1 (en) * 2013-04-12 2014-10-16 株式会社日立製作所 Mobile robot and sound source position estimation system
WO2016157944A1 (en) * 2015-03-31 2016-10-06 シャープ株式会社 Robot
JP2018153880A (en) * 2017-03-16 2018-10-04 トヨタ自動車株式会社 Failure diagnosis support system and failure diagnosis support method of robot
US10471601B2 (en) 2016-12-07 2019-11-12 Hanwha Precision Machinery Co., Ltd. Apparatus and method of controlling robot arm
US10664334B2 (en) 2016-09-23 2020-05-26 Casio Computer Co., Ltd. Robot that diagnoses failure, failure diagnosis system, failure diagnosis method, and recording medium
CN112441158A (en) * 2019-08-30 2021-03-05 北京京东乾石科技有限公司 Sensor assembly, chassis and robot

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009050970A (en) * 2007-08-28 2009-03-12 Nec Access Technica Ltd Robot system and rescue robot
JP2009196030A (en) * 2008-02-21 2009-09-03 Nachi Fujikoshi Corp Output torque limit circuit of industrial robot
WO2013168285A1 (en) * 2012-05-11 2013-11-14 トヨタ自動車株式会社 Pressure sensor failure diagnosis device and pressure sensor failure diagnosis method
JPWO2014167700A1 (en) * 2013-04-12 2017-02-16 株式会社日立製作所 Mobile robot and sound source position estimation system
WO2014167700A1 (en) * 2013-04-12 2014-10-16 株式会社日立製作所 Mobile robot and sound source position estimation system
US9989626B2 (en) 2013-04-12 2018-06-05 Hitachi, Ltd. Mobile robot and sound source position estimation system
WO2016157944A1 (en) * 2015-03-31 2016-10-06 シャープ株式会社 Robot
JP2016193466A (en) * 2015-03-31 2016-11-17 シャープ株式会社 robot
US10664334B2 (en) 2016-09-23 2020-05-26 Casio Computer Co., Ltd. Robot that diagnoses failure, failure diagnosis system, failure diagnosis method, and recording medium
US10471601B2 (en) 2016-12-07 2019-11-12 Hanwha Precision Machinery Co., Ltd. Apparatus and method of controlling robot arm
JP2018153880A (en) * 2017-03-16 2018-10-04 トヨタ自動車株式会社 Failure diagnosis support system and failure diagnosis support method of robot
US10713486B2 (en) 2017-03-16 2020-07-14 Toyota Jidosha Kabushiki Kaisha Failure diagnosis support system and failure diagnosis support method of robot
CN112441158A (en) * 2019-08-30 2021-03-05 北京京东乾石科技有限公司 Sensor assembly, chassis and robot

Similar Documents

Publication Publication Date Title
JP2007152470A (en) Robot with self-diagnostic function
US9427863B2 (en) Robot cleaner and method of caring for human using the same
JP5033994B2 (en) Communication robot
US7222000B2 (en) Mobile videoconferencing platform with automatic shut-off features
WO2020071060A1 (en) Information processing apparatus, information processing method, computer program, and package receipt support system
JP2002352354A (en) Remote care method
KR100857578B1 (en) Assistance robot for visually impaired
US20070291109A1 (en) Remote controlled mobile robot with auxillary input ports
JP2007160473A (en) Interactive object identifying method in robot and robot
JP2009222969A (en) Speech recognition robot and control method for speech recognition robot
JP4658891B2 (en) Robot control device
JP2006007342A (en) Robot control program updating method and system
JP2009050970A (en) Robot system and rescue robot
KR20170098621A (en) Companion animal friend robot based internet of things companion animal management system using the same
KR20130060952A (en) Remote control system for service robot
JP2018075192A (en) Vacuum cleaner
JP2007156689A (en) Light source position detection device and face recognition device using the same and self-propelled robot
JP2007156688A (en) User authentication device and its method
JP2007152444A (en) Self-propelled robot and information management system
JP2007226634A (en) Person status recognition device, method, program, robot and life support system
JP2019220145A (en) Operation terminal, voice input method, and program
JP6730087B2 (en) Monitoring system
KR101324168B1 (en) Robot cleaner, method for the robot cleaner and remote controlling system for the same
JP2007152446A (en) Robot system
CN106384471A (en) Electronic dog

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20090203