JP2019118993A - ロボット、自己診断プログラム、及び自己診断方法 - Google Patents

ロボット、自己診断プログラム、及び自己診断方法 Download PDF

Info

Publication number
JP2019118993A
JP2019118993A JP2017255190A JP2017255190A JP2019118993A JP 2019118993 A JP2019118993 A JP 2019118993A JP 2017255190 A JP2017255190 A JP 2017255190A JP 2017255190 A JP2017255190 A JP 2017255190A JP 2019118993 A JP2019118993 A JP 2019118993A
Authority
JP
Japan
Prior art keywords
robot
image
captured image
unit
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017255190A
Other languages
English (en)
Other versions
JP6922733B2 (ja
Inventor
井出 勝
Masaru Ide
勝 井出
清水 雅芳
Masayoshi Shimizu
雅芳 清水
真司 神田
Shinji Kanda
真司 神田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2017255190A priority Critical patent/JP6922733B2/ja
Publication of JP2019118993A publication Critical patent/JP2019118993A/ja
Application granted granted Critical
Publication of JP6922733B2 publication Critical patent/JP6922733B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Manipulator (AREA)

Abstract

【課題】ロボットが可動部位を自己診断する場合に撮像画像から対象部位を認識しやすくする技術を提供する。【解決手段】ロボットは、撮像部と、可動部位を有するロボットの表面に露出しているパーツの色彩情報を記憶する記憶部と、ロボットの対象部位についての自己診断を指示する自己診断指示に基づいて、ロボットの可動部位に所定のアクションを実行させるアクション指令部と、アクションの実行後に撮像部により撮像した撮像画像を取得し、記憶部から撮像画像の対象とする被写体の色に対応する色彩情報を取得し、取得した色彩情報と撮像画像に撮像された背景色との類似度に応じて、ロボットの姿勢を調整する毎に撮像部により撮像することにより、撮像画像から対象となる被写体を特定することができる撮像画像である特定撮像画像を取得する背景処理部と、特定撮像画像に基づいて、対象部位が正常か否かの判定を行う判定部と、を備えることにより、上記課題の解決を図る。【選択図】図1

Description

本明細書は、ロボット、自己診断プログラム、及び自己診断方法に関する。
従来、産業界では、ファクトリーオートメーション(FA)化の流れを受けて、産業用ロボット(以下、「FAロボット」と称する。)が用いられている。FAロボットは、使用環境やユーザに対する仕様は定まっており、使用者の管理の下で運用されていることが多い。
一方で、近年、人間の発話や身体接触動作(スキンシップ)、身体運動(ジェスチャ)等に対して、あたかも生物のような振る舞いを示し、人間と自然なコミュニケーションを行うロボットが開発されている。この種のロボットは、ソーシャルロボットと呼ばれており、家庭内やエンターテイメントの分野だけでなく、宿泊施設や店舗、医療施設といったさまざまな生活空間での活用が期待されている。
ソーシャルロボットは、ユーザ層が様々であり、どの年代のユーザが、どのような使用環境で運用するか等が定まっていない。そのため、例えば、ロボット内部に頭、胴、腕などの関節駆動やカメラ、マイク、スピーカ等の精密機器が備わっている場合、ユーザ層によっては容易に破壊される可能性が高い。
そこで、ロボットが正常に機能するかの診断をロボット自身に実行させる自己診断機能付きロボットに関する第1の技術がある(例えば、特許文献1)。第1の技術では、自己診断機能付きロボットは、ロボット本体と、ロボット本体に設けられる距離センサと、ロボット本体に設けられるアームと、アームの動作を制御する駆動制御部と、距離センサ、アーム、及び駆動制御部の診断を行う診断部とを有している。診断部が、駆動制御部に、アームを距離センサの検出領域内と検出領域外との間で移動させる動作指令を送ったのちに、距離センサの出力信号に変動が生じなかった場合に、故障が生じていると判定する。このとき、距離センサの実際の出力信号波形と、アームが動作指令に忠実に従って動作した場合に検出されるであろう出力信号波形(予想出力信号波形)とが比較され、これらの差が大きい場合には、アームが動作指令のとおりに動作していないか、距離センサが故障していると判断することができる。
第1の技術では、自己診断をする場合、ロボットが、距離センサの実際の出力信号波形と、アームが動作指令に忠実に従って動作した場合に検出されるであろう出力信号波形(予想出力信号波形)とを比較し、異常状態を診断する。
しかしながら、その出力信号波形そのものを取得できないロボットの場合、第1の技術を適用することができない。すなわち、ソーシャルロボットのような、高精度の位置決め制御などは必要としない大まかなモーション制御を行うようなロボットの場合、ロボットのアーム等の移動軌跡はリアルタイムで検出されていない。そのため、第1の技術のような出力信号波形の連続データを比較するような診断方法を、ソーシャルロボットに適用するのは難しい。
なお、ロボットに関する技術として、例えば、特許文献2〜特許文献5がある。
特開2007−152470号公報 特開昭61−226289号公報 特開2001−150374号公報 特開2014−29664号公報 特開平05−064237号公報
FAロボットでは、それを用いて製造する製品に要求される仕様や品質の観点から、高精度の位置決め制御が求められるが、人間とのコミュニケーションを目的とするソーシャルロボットでは、そのような高精度の位置決め制御は要求されていない。そのため、ソーシャルロボットに、自己診断のために、診断対象部位を監視するセンサが設けられていることは少ない場合が多い。
一方で、ソーシャルロボットは、多くの場合、コミュニケーションの相手方や自身の周囲の環境を認識するために、視覚としての撮像装置を有することが多い。
このような前提の下で、ソーシャルロボットは、人間と共有する空間に配置されることが多いため、ソーシャルロボットは動的に配置され、その配置の場所は多種多様である。また、ソーシャルロボット自身がその空間を徘徊するため、ソーシャルロボットの周囲の環境はその時々で変動する。
すると、自己診断の対象部位を撮像した撮像画像を用いて自己診断を行う場合、撮像画像の背景と対象部位の色が同色である場合、撮像画像から対象部位を容易に判別することができない。
本発明の一側面として、ロボットが可動部位を自己診断する場合に撮像画像から対象部位を認識しやすくする技術を提供する。
本発明の一側面に係るロボットは、被写体を撮像する撮像部と、1以上の可動部位を有するロボットの表面に露出しているパーツの色彩情報を記憶する記憶部と、ロボットの対象部位についての自己診断を指示する自己診断指示に基づいて、ロボットの可動部位に所定のアクションを実行させるアクション指令部と、アクションの実行後に撮像部により撮像した撮像画像を取得し、記憶部から撮像画像の対象とする被写体の色に対応する色彩情報を取得し、取得した色彩情報と撮像画像に撮像された背景色との類似度に応じて、ロボットの姿勢を調整する毎に撮像部により撮像することにより、撮像画像から対象となる被写体を特定することができる撮像画像である特定撮像画像を取得する背景処理部と、特定撮像画像に基づいて、対象部位が正常か否かの判定を行う判定部と、を備える。
本明細書に記載の技術によれば、ロボットが可動部位を自己診断する場合に撮像画像から対象部位を認識しやすくする。
本実施形態におけるロボットの一例を示す図である。 本実施形態におけるロボットの外観を例示する図である。 本実施形態におけるロボットのハードウェア構成の一例を示す図である。 本実施形態における制御部の機能ブロック図である。 本実施形態(実施例1)における背景影響処理部の処理を説明する図である。 本実施形態(実施例1)における画像比較部46の処理(その1)を説明するための図である。 本実施形態(実施例1)における画像比較部46の処理(その2)を説明するための図である。 本実施形態(実施例1)における全体の処理を示すフローチャートである。 本実施形態(実施例1)における背景影響処理(S4)の詳細な処理を示すフローチャートである。 本実施形態(実施例1)における駆動処理(S14)の詳細な処理を示すフローチャートである。 本実施形態(実施例2)における画像比較部46の処理を説明するための図である。 本実施形態(実施例2)における全体の処理を示すフローチャートである。 本実施形態(実施例2)における背景影響処理(S4a)の詳細な処理を示すフローチャートである。 本実施形態(実施例3)の処理を説明するための図である。 本実施形態(実施例3)における背景影響処理(S4)の詳細な処理を示すフローチャートである。
FAロボットでは、それを用いて製造する製品に要求される仕様や品質の観点から、高精度の位置決め制御が求められるが、人間とのコミュニケーションを目的とするソーシャルロボットでは、そのような高精度の位置決め制御は要求されていない。そのため、ソーシャルロボットに、自己診断のために、診断対象部位を監視するセンサが設けられていることは少ない場合が多い。
一方で、ソーシャルロボットは、多くの場合、コミュニケーションの相手方や自身の周囲の環境を認識するために、視覚としての撮像装置を有することが多い。
そこで、本実施形態では、ソーシャルロボットに設けられた、視覚として用いられる撮像装置を利用して、ソーシャルロボットに、自己診断を行わせる。
例えば、故障発見の方法として、ソーシャルロボットの診断対象の可動部位を駆動させた場合、撮像装置により撮像された撮像画像と、到達点に関する正常時の画像と比較して、可動部位の到達位置の妥当性を判断する方法が考えられる。
ここで、例えば「腕」の位置に基づいてソーシャルロボットが自己診断をすると想定する。自己診断の開始後、指定された動作により、目標とする位置まで「腕」が移動した場合において、腕の色と外界(その腕を撮像した撮像画像の背景部)の色とが近い色である場合、その撮像画像からでは腕の位置をセンシングするのは容易ではない。
FAロボットは、工場内において、作業工程のうちの所定のプロセスを特化して行えるように、予め設置場所が定まっており、撮像画像から被写体を検出するのを容易にするため、その設置場所において周囲の環境に対する最適化が図られている。
しかしながら、ソーシャルロボットはどの現場に置かれるか定まっていないため、撮像画像のうち被写体以外の背景部はソーシャルロボットにおける特有の外的ノイズであるといえる。
そこで、本実施形態では、ロボットが可動することにより、周辺環境が変化して、動作前後のロボットの対象部位の状態を撮像した画像を用いて自己診断を行う際、画像の背景と対象部位が異なる色となるように対象部位を移動させて撮像した画像を用いる。これにより、画像から対象部位を認識することが容易になるので、自己診断における画像解析処理の負担が軽減される。したがって、ロボットの設置環境に関わらず、ロボットの可動部位を自己診断することが容易になる。
以下の実施形態では、ソーシャルロボットの自己診断において、撮像画像の背景色を診断対象部位と同色でない背景色にするため、次を行う。
すなわち、ソーシャルロボットは、撮像画像から背景と診断対象部位とが同色でないかを判定する。同色である場合、ソーシャルロボットは、撮像画像の背景部の色と診断対象部位の色とが相違するように、ロボットの関節等の可動部位を回転駆動させる。ソーシャルロボットは、可動部位の回転駆動に応じて、撮像画像の背景色と診断対象部位の色との差分が閾値を超えたかどうかを判定する。撮像画像の背景色と診断対象部位の色との差分が閾値を超えた場合、ソーシャルロボットは、診断対象部位の色とは異なる背景色が検出されたと判定し、可動部位の駆動を停止させる。
これにより、ソーシャルロボットは、自己診断において、撮像画像からその背景における診断対象部位の位置センシングを行うことができるようになり、様々な環境に対応した自己診断を確実に行わせることが可能となる。
図1は、本実施形態におけるロボットの一例を示す図である。ロボット1は、撮像部2、記憶部3、アクション指令部4、背景処理部5、判定部6を含む。
撮像部2は、被写体を撮像する。撮像部2の一例として、後述する撮像部17が挙げられる。
記憶部3は、1以上の可動部位を有するロボット1の表面に露出しているパーツの色彩情報を記憶する。記憶部3の一例として、後述する記憶部28が挙げられる。
アクション指令部4は、ロボット1の対象部位についての自己診断を指示する自己診断指示に基づいて、ロボット1の可動部位に所定のアクションを実行させる。アクション指令部4の一例として、アクション指令部44が挙げられる。
背景処理部5は、アクションの実行後に撮像部2により撮像した撮像画像を取得し、記憶部2から撮像画像の対象とする被写体の色に対応する色彩情報を取得する。背景処理部5は、取得した色彩情報と撮像画像に撮像された背景色との類似度に応じて、ロボットの姿勢を調整する毎に撮像部により撮像する。これにより、背景処理部5は、撮像画像から対象となる被写体を特定することができる撮像画像である特定撮像画像を取得する。背景処理部5の一例として、背景影響処理部45が挙げられる。
判定部6は、特定撮像画像に基づいて、対象部位が正常か否かの判定を行う。判定部6の一例として、判定部47が挙げられる。
このように構成することにより、ロボットが可動部位を自己診断する場合に撮像画像から対象部位を認識しやすくする。したがって、ロボットの設置環境に関わらず、ロボットの可動部位を自己診断することが容易になる。
背景処理部5は、対象部位が撮像部2以外の部位である場合、取得した色彩情報と撮像画像に撮像された背景色との類似度に応じて、ロボットの姿勢を調整する毎に撮像部2により撮像する。これにより、背景処理部5は、撮像画像から対象部位を特定することができる特定撮像画像を取得する。
このように構成することにより、ロボット1の自己診断において、対象部位が正常に動作しているかどうかの判定に用いる画像処理の際に、撮像画像上の対象部位を認識しやすいように前処理を行うことができる。
背景処理部5は、対象が撮像部である場合、ロボット自身の一部またはロボットの周囲にある物体を特徴体とする。背景処理部5は、特徴体の色に対応する色彩情報と撮像画像に撮像された背景色との類似度に応じて、ロボットの姿勢を調整する毎に撮像部2により撮像することにより、撮像画像から特徴体を特定することができる特定撮像画像を取得する。
このように構成することにより、対象部位が撮像部2である場合、撮像部2自体を動作させることによって、撮像部2に関わる間接的な評価を行い、ロボット1自身の一部または外界の被写体を特徴点として用いて自己診断が可能となる。
ロボット1は、さらに、光を照射する光源7を含む。光源7の一例として、光源38が挙げられる。背景処理部5は、光源7から被写体に光が照射された状態において、取得した色彩情報と撮像画像に撮像された背景色との類似度に応じて、ロボット1の姿勢を調整する毎に撮像部2により撮像する。
このように構成することにより、ロボット1に搭載しているLED等の光源によって背景色を調整し、背景と対象部位または特徴点(または外界特徴点)との色の差分を作り出す処理を行うことができる。
光源7は、対象部位に設けられている。背景処理部5は、対象部位の色彩情報と背景色とが類似する場合、光源に背景色とは異なる色を発色させて、撮像部2により撮像する。
このように構成することにより、より対象部位を強調させることができるので、撮像画像においてより対象部位の輪郭線を明瞭にできる。
判定部6は、撮像部2の撮像位置に基づいて、撮像位置に対する対象部位の相対的な変位を判別し、対象部位が正常か否かの判定を行う。このように構成することにより、撮像位置に対する対象部位の相対的な変位に基づいて、対象部位が正常か否かの判定を行うことができる。
図2は、本実施形態におけるロボットの外観を例示する図である。ロボット11は、人間とのコミュニケーションを目的として製造された据え置き型のソーシャルロボットである。本実施形態のロボット11の外観は、利用者に親しみやすくすべく、人を模した形状とされる。ロボット11には、人間のさまざまな行動や動作及び音(音声を含む)を検出するための各種センサや、人間の行動や動作及び音(音声を含む)に対してさまざまなリアクションを表現するための駆動装置,音響装置が内蔵される。
ロボット11は、胴体部15に対して頭部12,左腕部13,右腕部14,土台部16を連結した構造を持つ。これらの頭部12,左腕部13,右腕部14,土台部16は、それぞれが関節装置を介して胴体部15に連結される。頭部12の前側には、静止画及び動画を撮影可能な撮像部17が設けられている。
図3は、本実施形態におけるロボットのハードウェア構成の一例を示す図である。ロボット11は、手動入力部21、センサ22、撮像部17、外部インターフェース(外部I/F)23、コントローラ24、アクチュエータ部32、スピーカ36、光源38を含む。
手動入力部21は、ロボット11に直接指示を入力するための入力装置である。センサ22は、温度を検出する温度センサ、音を検出する音センサ、速度を検出する速度センサ、加速度を検出する加速度センサ、被写体までの距離を計測する距離センサ、ロボット11に接触したことを検出するタッチセンサ等の各種センサの総称である。
撮像部17は、ロボット11の周囲を撮影する撮像装置であり、例えば頭部12に内蔵される。外部I/F23は、図示しないコンピュータやリモコン装置等を接続するための接続装置である。
コントローラ24は、ロボット11の内部での情報処理全般を統括管理する。コントローラ24は、制御部25、入力部26、通信部27、記憶部28、アクチュエータ制御部29、音声出力部30、発光制御部37、バス(通信ライン)31を含む。
バス31は、制御部25、入力部26、通信部27、記憶部28、アクチュエータ制御部29、音声出力部31、発光制御部37を相互に接続する。
制御部2は、例えばプロセッサ記憶装置等を有するコンピュータである。プロセッサは、例えば、Central Processing Unit(CPU,中央処理装置),Micro Processing Unit(MPU,超小型演算処理装置)である。制御部2は、タイマ機能を有する。
入力部26は、手動入力部21、センサ22、撮像部17、外部I/F23から入力される電圧信号を数値情報に変換し、制御部25に伝達するものである。
通信部27は、ロボット11の無線通信機能に係る通信装置を制御するものであり、例えば図示しないアンテナ装置に接続される。通信部27は、アンテナで受信した無線信号を数値情報に変換し、制御部25に伝達する。
記憶部28は、Read Only Memory(ROM,読み出し専用メモリ),Random Access Memory(RAM,ランダムアクセスメモリ)であり、さらに、ソリッドステートドライブ(Solid State Drive、SSD)等の大容量記憶装置であってもよい。
記憶装置28のROMには、人間とロボット11との間のコミュニケーションに係るソフトウェアプログラムやこのプログラム用のデータ類、及び本実施形態におけるプログラムが書き込まれている。記憶装置28上のソフトウェアプログラムは、制御部25に適宜読み込まれて実行される。また、制御部25のRAMは、一次記憶メモリあるいはワーキングメモリとして利用される。
アクチュエータ制御部29は、アクチュエータ部32の駆動を制御する。音声出力部30は、スピーカ36の動作を制御するものであり、制御部25から伝達された制御信号をスピーカ36の駆動用の電圧信号に変換する。
アクチュエータ部32は、アクチュエータ制御部29の制御に基づいて、入力された電力を物理的運動に変換するものであり、機械・電気回路を構成する機械要素である。アクチュエータ部32は、腕軸駆動部33、胴軸駆動部34、頭軸駆動部35を含む。
腕軸駆動部33は、胴体部15と左腕部13との間の関節,胴体部15と右腕部14との関節を駆動させるモータ等を含む機構である。胴軸駆動部34は、胴体部15と土台部16との間の関節を駆動させるモータ等を含む機構である。頭軸駆動部35は、胴体部15と頭部12との間の関節を駆動させるモータ等を含む機構である。
スピーカ36は、音や音声を発するための音響装置である。光源38は、ロボット11に搭載している発光ダイオード(light emitting diode:LED)等の光を照射する光源である。発光制御部37は、制御部25の制御に基づいて光源37の動作を制御する。
制御部25は、記憶部28に記録されたソフトウェアプログラムを呼び出して実行し、入力部26及び通信部27から伝達される情報に基づいて制御信号を生成する。ここで生成された制御信号は、バス31を介してアクチュエータ制御部29及び音声出力部30に伝達される。
上記の入力部26,通信部27,アクチュエータ制御部29,音声出力部30、発光制御部37のそれぞれは、記憶部28が設けられた基盤上に設けられたものであってもよいし、独立した基盤上に設けられたもの(所謂センサ入力ボードや通信ボード、モータ制御ボード、音声出力ボード等)であってもよい。
図4は、本実施形態における制御部の機能ブロック図である。制御部17は、ロボット制御部41、自己診断部42を含む。ロボット制御部41は、ロボット11がソーシャルロボットとして機能するための動作全般の制御を行う。
自己診断部42は、自己診断開始指令に基づいて、自己診断開始指令で指定された対象部位が故障していていないかどうかを判定する。
自己診断部42は、取得部43、アクション指定部44、背景影響処理部45、画像比較部46、判定部47を含む。
取得部43は、自己診断開始指令情報、静止画像、動画を取得したり、記憶部21に格納された情報を取得する。以下、撮像された静止画像及び動画を「画像」または「撮像画像」と称する。
アクション指令部44は、自己診断の際に対象部位及びその他の部位を動作させる。
背景影響処理部45は、アクション指令部44の指令に基づいて動作した部位を被写体として撮像された撮像画像から背景色と診断対象部位の画像部分とが判別可能なように、本実施形態における前処理を行う。背景影響処理部45は、すなわち対象部位を駆動させたり、背景色を変化させたりして、背景色と診断対象部位の画像部分との画素値の差が明確になる画像を撮像し、取得する。
画像比較部46は、記憶部28に予め記憶されている基準画像51と、背景影響処理部45による処理後の撮影画像とを比較する。判定部47は、画像比較部46の比較結果に基づいて、自己診断の対象部位が正常かどうかを判定する。
記憶部28は、基準画像51、色彩情報52を記憶する。基準画像51は、例えば、製造出荷時や正常に動作する時点で撮像部17により撮像された、診断対象となり得るロボット11の各部位が所定角度駆動した場合の画像である。色彩情報28は、診断対象となり得るロボット11の部位(パーツ)の表面色の情報である。
以下では、本実施形態の実施例について説明する。
図5は、本実施形態(実施例1)における背景影響処理部の処理を説明する図である。図5(a)は、撮像画像において、自己診断の対象部位とその周辺の背景色とが同色(類似色)であるため、対象部位と背景の境界線が不明瞭であるため対象部位を認識できないまたは認識しづらいことを説明する図である。枠61で示すように、対象部位と背景の境界線が不明瞭であるため対象部位を認識できないまたは認識しづらい。
そこで、図5(b)に示すように、背景影響処理部45は、記録装置28から対象部位の色彩情報52を取得し、撮像画像から背景の色彩情報を抽出し、取得した撮像画像の背景の色彩情報から、対象部位と異なる背景色を検索する。枠62で示すように、対象部位と背景の境界線が明瞭であるため対象部位を認識可能であり、その結果、自己診断が可能になる。
次に、画像比較部46の処理を説明する。
図6は、本実施形態(実施例1)における画像比較部46の処理(その1)を説明するための図である。図6(a)は、ロボット11が両腕を下げている状態と(上側)、その状態で、撮像部17より撮像した画像(下側)を示す。図6(b)は、ロボット11が右腕を90度まで上げている状態と(上側)、その状態で、撮像部17より撮像した画像(下側)を示す。図6(c)は、ロボット11が右腕をさらに180度まであげている状態と(上側)、その状態で、撮像部17より撮像した画像(下側)を示す。
例えば、右腕について工場出荷時に撮像された正常状態時における図6(a)(b)(c)の画像が基準画像51として記憶部28に記憶されているとする。そして、自己診断が行われた場合、アクション指令部45の指令に基づいて、例えば、右腕を90度上げて撮像部17より対象部位を被写体とする画像が撮像される(ここでは、背景影響処理部45の処理済みであるとする)。このとき、画像比較部46は、自己診断時に撮像された撮像画像と、記憶部28に記憶された基準画像51(図6(b))とを比較する。
比較の結果、両画像が類似していると判断される場合には、自己診断時に撮像された撮像画像は、正常動作を行っているといえるので、対象部位は、正常と判断される。一方で、両画像が類似していないと判断される場合には、自己診断時に撮像された撮像画像は、正常動作を行っていない、すなわち故障しているといえるので、対象部位は、故障と判断される。
比較処理は、例えば、自己診断時に撮像された撮像画像とをそれぞれ輝度値化して、その差分を取り、その差分が閾値以内かどうかで両画像が類似しているかどうか判断することが考えられる。または、両画像のエッジ及び特徴点を抽出し、特徴点の位置に基づいて両画像が類似しているかどうか判断することが考えられる。例えば、図6(a)〜(c)の撮像画像において、特徴点の変位の大きさが同じかどうかで両画像が類似しているかどうか判断することが考えられる。ここで、例えば基準画像の変位の大きさに、誤差±10%の範囲内の変位は、変位の大きさが同じであるとする(例えば、Y1=30±10%、(Y2=100±10%、Y3=0±10%)。なお、画像の類似判断のアルゴリズムは、これらに限定されず、様々な類似判断のアルゴリズムをもちいることができる。
なお、基準画像を用いずに、例えば、アクション前とアクション後の特徴点の変位の変化量に基づいて、アクション指令通りに対象部位が動作しているどうかを判定してもよい。すなわち、上記の場合には、Y1、Y2、Y3の変位、すなわち特徴点の位置のずれに基づいて、アクション指令通りに対象部位が動作しているどうかを判定してもよい。
なお、図6では、対象部位の例として腕を用いたが、これに限定されず、ロボットのあらゆる可動部位が対象となりうる。また、対象部位のアクションとしては、対象部位の上げ下げだけでなく、右左方向、斜め方向、円運動等、その可動部位の可能な可動域の範囲でアクションすることができる。
図7は、本実施形態(実施例1)における画像比較部46の処理(その2)を説明するための図である。図7(a)は、ロボット11の胴軸が駆動していない状態と(上側)、その状態で、撮像部17より撮像した画像(下側)を示す。図7(b)は、ロボット11の胴軸が前方に傾いている状態と(上側)、その状態で、撮像部17より撮像した画像(下側)を示す。図7(c)は、ロボット11の胴軸が後方に傾いている状態と(上側)、その状態で、撮像部17より撮像した画像(下側)を示す。
撮像部17の設定位置のため、例えば、頭軸及び胴軸を被写体として撮像することができないから、頭軸の駆動や、胴軸の駆動の状態を直接撮像することはできない。この場合は、頭軸、胴軸のように、撮像部17の設定位置に起因して直接その動作の前後の状態が撮像できない場合には、基準画像51として、頭軸や胴軸を駆動させた場合に撮像部17により撮像された撮像画像が工場出荷時に記憶されている。
そして、自己診断が行われた場合、アクション指令部45の指令に基づいて、例えば、胴軸を前方に傾けた状態での画像が撮像部17より撮像される(ここでは、背景影響処理部45の処理済みであるとする)。このとき、画像比較部46は、自己診断時に撮像された撮像画像と、記憶部28に記憶された基準画像51(図7(b))とを比較する。
比較の結果、両画像が類似していると判断される場合には、自己診断時に撮像された撮像画像は、正常動作を行っているといえるので、対象部位は、正常と判断される。一方で、両画像が類似していないと判断される場合には、自己診断時に撮像された撮像画像は、正常動作を行っていない、すなわち故障しているといえるので、対象部位は、故障と判断される。
比較処理は、例えば、自己診断時に撮像された撮像画像とをそれぞれ輝度値化して、その差分を取り、その差分が閾値以内かどうかで両画像が類似しているかどうか判断することが考えられる。または、両画像のエッジ及び特徴点を抽出し、特徴点の位置に基づいて両画像が類似しているかどうか判断することが考えられる。
例えば、図7(a)〜(c)の撮像画像において、特徴点の変位の大きさが同じかどうかで両画像が類似しているかどうか判断することが考えられる。ここで、例えば基準画像の変位の大きさに、誤差±10%の範囲内の変位は、変位の大きさが同じであるとする(例えば、Y1=30±10%、(Y2=100±10%、Y3=0±10%)。なお、画像の類似判断のアルゴリズムは、これらに限定されず、様々な類似判断のアルゴリズムをもちいることができる。
なお、基準画像を用いずに、例えば、アクション前とアクション後の特徴点の変位の変化量に基づいて、アクション指令通りに対象部位が動作しているどうかを判定してもよい。すなわち、上記の場合には、Y1、Y2、Y3の変位に基づいて、アクション指令通りに対象部位が動作しているどうかを判定してもよい。
図8は、本実施形態(実施例1)における全体の処理を示すフローチャートである。取得部43は、自己診断開始指示(自己診断の対象部位を指定する情報及び対象部位の動作を指定する情報を含む。)を取得する(S1)。自己診断開始指示は、例えば、手動入力部21や外部I/Fを介して入力されたり、タイマにより所定の日時になると発生するように設定していてもよい。
自己診断開始指示が取得されると、アクション指令部44は、対象部位の動作を指定する情報に基づいて、対象部位を動作させ(S2)、撮像部17により動作後の対象部位を撮像する(S3)。
背景影響処理部45は、アクション指令部44の指令に基づいて動作した部位を被写体として撮像された撮像画像から背景色と診断対象部位の画像部分とが判別可能なように、図5で説明した前処理を行う(S4)。S4の処理の詳細は、図9で説明する。
画像比較部46は、記憶部28からアクション指示及びS4の処理で動作した状態に対応する基準画像51を記憶部28から読み出す。ここで、アクション指示及びS4の処理で動作した状態とは、アクション指示で駆動した対象部位の変位から、S4の処理で駆動した対象部位の変位後の状態を示す。また、基準画像51として各対象部位の、アクション指示で駆動した対象部位の変位と、S4の処理で駆動した対象部位の変位との組み合わせに基づく対象部位の画像が予め記憶部28に記憶されている。
画像比較部46は、基準画像51と、撮像画像とを比較し、両者がどれだけ類似しているかを判定する(S6)。たとえば、画像比較部46は、自己診断時に撮像された撮像画像とをそれぞれ輝度値化して、その差分を取り、その差分が閾値未満かどうかで両画像が類似しているかどうかを判定する。
その差分が閾値未満の場合(S6で「NO」)、判定部47は、対象部位は正常(故障無し)と判定する(S7)。その差分が閾値未満の場合(S6で「YES」)、判定部47は、対象部位は故障ありと判定する(S8)。
図9は、本実施形態(実施例1)における背景影響処理(S4)の詳細な処理を示すフローチャートである。背景影響処理部45は、記憶部28から対象部位の色彩情報52を取得する。背景影響処理部45は、撮像画像の所定領域の背景色を抽出する(S12)。
背景影響処理部45は、S12で抽出した背景色と色彩情報52(対象部位の色)は、同色かどうかを判定する。S12で抽出した背景色と色彩情報52(対象部位の色)が同色でない場合(S13で「NO」)、本フローは終了する。
S12で抽出した背景色と色彩情報52(対象部位の色)が同色である場合(S13で「YES」)、背景影響処理部45は、駆動処理により、対象部位を所定角度回動させる(S14)。S14の処理については、図10で詳述する。
S14で所定角度回動させた後、背景影響処理部45は、その回動後の位置にある対象部位を撮像部17により撮像する(S15)。取得部43は、S15で撮像された撮像画像を取得する(S16)。取得された撮像画像は、再びS12以降の処理がなされる。
図10は、本実施形態(実施例1)における駆動処理(S14)の詳細な処理を示すフローチャートである。背景影響処理部45は、いずれか一方または双方の腕(対象部位がいずれかの腕である場合には対象部位を含む腕の方)の腕軸を全角度にまで駆動させたかどうか判定する(S21)。いずれか一方または双方の腕の腕軸を全角度にまで駆動させていない場合(S21で「NO」の場合)、背景影響処理部45は、腕軸を指定角度駆動させる(S23)。
いずれか一方または双方の腕の腕軸を全角度にまで駆動させている場合(S21で「YES」の場合)、背景影響処理部45は、胴軸を全角度にまで駆動させたかどうかを判定する(S22)。
胴軸を全角度にまで駆動させていない場合(S22で「NO」)、背景影響処理部45は、胴軸を指定角度駆動させる(S24)。胴軸を全角度にまで駆動させている場合(S22で「YES」)、背景影響処理部45は、頭軸を指定角度駆動させる(S25)。
本実施形態の実施例1によれば、ロボット11の自己診断において、対象部位が正常に動作しているかどうかの判定に用いる画像処理の際に、撮像画像上の対象部位を認識しやすいように前処理を行うことができる。
なお、対象部位の動かし方を変化させてもよい。例えば、対象部位を右周り、左回りそれぞれの方向から同じ位置に到達させて撮像した撮像画像を用いて比較してもよい。
次に、本実施形態の実施例2について説明する。実施例1では、対象部位の駆動状態を撮像部17で客観的に撮影することができたが、対象部位が撮像部17である場合、自分で自分を直接撮影することができない。そこで、実施例2では、対象部位が撮像部17である場合、撮像部17自体を動作させて撮像画像を取得し、撮像部17の動作状態について、間接的に撮像部17が駆動しているかどうかを判定する。
図11は、本実施形態(実施例2)における画像比較部46の処理を説明するための図である。図11(a)は、ロボット11自身の一部を特徴点として撮像する場合の例を示す。この場合、特徴点としてのロボット11自身の一部の周辺の境界線が明瞭である場合には、その特徴点を目印(基準)として用いて自己診断可能である。撮像部17により撮像した場合に撮像部17が駆動すると、駆動前後の撮像画像において特徴点が相対的に移動するから、その特徴点(基準)の変化を評価することで撮像部17が正常に動作しているかを判断することができる。
特徴点としてのロボット11自身の一部の色と、その周辺の背景色とが同色である場合には、実施例1と同様に、背景影響処理部45は、前処理を行う。
しかしながら、特徴点としてのロボット11自身の一部から離れると、特徴点が撮像画像の被写体として写らないので、自己診断することができない。この場合、図11(b)に示すように、ロボット11の周囲(外界)にある特徴点となり得るものを外界特徴点として、目印(基準)に用いることができる。外界特徴点としては、ロボット11が配置されている部屋の壁に飾られている絵画でもよいし、この場合、外界特徴点の周辺は境界線が明瞭なので、自己診断可能である。
この場合、外界特徴点を含む境界線(エッジ)が明瞭である場合には、その外界特徴点を目印(基準)として用いて自己診断可能である。撮像部17により撮像した場合に撮像部17が駆動すると、駆動前後の撮像画像において外界特徴点が相対的に移動するから、その外界特徴点(基準)の変化を評価することで撮像部17が正常に動作しているかを判断することができる。
また、外界特徴点の色と、その周辺の背景色とが同色である場合には、実施例1と同様に、背景影響処理部45は、前処理を行う。
図12は、本実施形態(実施例2)における全体の処理を示すフローチャートである。図12のフローチャートは、図8のフリーチャートに、S31,S32の処理を追加し、S4の処理をS4aの処理として一部調整したものである。
取得部43は、自己診断開始指示(自己診断の対象部位を指定する情報及び対象部位の動作を指定する情報を含む。)を取得する(S1)。自己診断開始指示は、例えば、手動入力部21や外部I/Fを介して入力されたり、タイマにより所定の日時になると発生するように設定していてもよい。
自己診断開始指示が取得されると、アクション指令部44は、対象部位の動作を指定する情報に基づいて、対象部位を動作させる(S2)。このとき、背景影響処理部45は、撮像部17自体の診断か、すなわち対象部位が撮像部17かどうかを判定する(S31)。
撮像部17自体の診断でない場合(S31で「NO」)、撮像部17は動作後の対象部位を撮像する(S3)。撮像部17自体の診断である場合(S31で「YES」)、背景影響処理部45は、自身の一部(または外界の被写体)を特徴点(または外界特徴点)として探索し、決定する(S32)。撮像部17は動作後の特徴点(または外界特徴点)を撮像する(S3)。
背景影響処理部45は、アクション指令部44の指令に基づいて対象部位(撮像部)を駆動させて撮像された撮像画像から背景色と特徴点(または外界特徴点)の画像部分とが判別可能なように、図11で説明した前処理を行う(S4a)。S4aの処理の詳細は、図13で説明する。
S5〜S8の処理は、図8のフローチャートと同様なので、その説明を省略する。
図13は、本実施形態(実施例2)における背景影響処理(S4a)の詳細な処理を示すフローチャートである。背景影響処理部45は、記憶部28から特徴点(または外界特徴点)の色彩情報52を取得する。図13のフローチャートは、図9のフリーチャートに、S41,S32の処理を追加したものである。
背景影響処理部45は、撮像画像の所定領域の背景色を抽出する(S12)。
背景影響処理部45は、S12で抽出した背景色と特徴点(または外界特徴点)の色彩情報52は、同色かどうかを判定する。S12で抽出した背景色と特徴点(または外界特徴点)の色彩情報52が同色でない場合(S13で「NO」)、本フローは終了する。
S12で抽出した背景色と特徴点(または外界特徴点)の色彩情報52が同色である場合(S13で「YES」)、背景影響処理部45は、駆動処理により、対象部位を所定角度回動させる(S14)。S14の勝利については、図10で詳述する。
所定角度回動させた後、背景影響処理部45は、その回動後の位置にある特徴点(または外界特徴点)を撮像部17により撮像する(S15)。取得部43は、S15で撮像された撮像画像を取得する(S16)。取得された撮像画像は、再びS12以降の処理がなされる。
実施例2によれば、対象部位が撮像部17である場合、撮像部自体を動作させることによって、撮像部に関わる間接的な評価を行い、ロボット11自身の一部または外界の被写体を特徴点として用いて自己診断が可能となる。そのため、実施例1と異なり、実施例2の背景影響処理では、診断しきれない範囲を診断することができる。実施例2の背景影響処理により同様の背景処理対象の境界線が不明瞭な箇所においても対象と異なる背景色を探索することができる。その結果、境界線を明瞭にすることができる箇所まで撮像部17自体を動かせば、自己診断が成立する。
次に、本実施形態の実施例3について説明する。実施例1、2の背景影響処理は、対象部位または特徴点(または外界特徴点)と背景色とが同色である場合に、対象部位を駆動させて背景色から対象部位または特徴点(または外界特徴点)の部分の認識を容易にする処理をした。しかしながら、この処理でも診断できない範囲がある。そこで、実施例3では、ロボット11に搭載しているLED等の光源によって背景色を調整し、背景と対象部位または特徴点(または外界特徴点)との色の差分を作り出す処理を行う。
図14は、本実施形態(実施例3)の処理を説明するための図である。図14(a)は、撮像画像の背景の全領域において、対象部位をどのように移動させても、背景色と対象部位の色との差で差がなく、境界線が不明瞭であることを示している。この場合、自己診断ができない。
そこで、図14(b)に示すように、ロボットに設けられた光源を用いて照射することで、背景色を変化させる。これにより、背景色と対象部位の色との差で差が生じ、境界線が明瞭になる。
図15は、本実施形態(実施例3)における背景影響処理(S4)の詳細な処理を示すフローチャートである。図15のフローチャートは、図9のフローチャートに、S51、S52の処理を追加したものである。以下では、図9と異なる部分について説明し、同様の処理についてはその説明を省略する。
S14で所定角度回動させた後、背景影響処理部45は、撮像画像に基づいて、対象部位の可動域全てで背景色と同色かどうかを判定する(S51)。対象部位の可動域全てで背景色と同色でない場合(S51で「NO」)、背景影響処理部45は、その回動後の位置にある対象部位を撮像部17により撮像する(S15)。
対象部位の可動域全てで背景色と同色である場合(S51で「YES」)、背景影響処理部45は、ロボット11内の光源を用いて背景色を変化させる(S52)。背景影響処理部45は、対象部位を撮像部17により撮像する(S15)。
取得部43は、S15で撮像された撮像画像を取得する(S16)。取得された撮像画像は、再びS12以降の処理がなされる。
実施例3によれば、ロボット11に搭載しているLED等の光源によって背景色を調整し、背景と対象部位または特徴点(または外界特徴点)との色の差分を作り出す処理を行うことができる。これにより、実施例1,2では診断できなかった範囲を診断可能とすることができる。
また、対象部位またはその周辺に光源38を設けてもよい。この場合、背景影響処理部45は、S52において、光源38に背景色とは異なる色を発光させて対象部位を照射し、撮像部17により撮像してもよい。
また、センサ22として音声センサをロボット11に設けておき、ロボットの可動部位の動作中に発生した異常音を検出するようにしてもよい。これにより、可動部位が正常に機能しているか否かを判定することができる。
また、センサ22として温度センサをロボット11に設けておき、ロボットの可動部位の動作中に発生した異常熱を検出するようにしてもよい。これにより、可動部位が正常に機能しているか否かを判定することができる。
さらに、センサ22として速度センサをロボット11に設けておき、ロボットの可動部位の動作中における動作速度を検出するようにしてもよい。これにより、動作速度が所定の範囲内にあるか否かに応じて、可動部位が正常に機能しているか否かを判定することができる。
なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を取ることができる。
上記実施形態に関し、さらに以下の付記を開示する。
(付記1)
被写体を撮像する撮像部と、
1以上の可動部位を有するロボットの表面に露出しているパーツの色彩情報を記憶する記憶部と、
前記ロボットの対象部位についての自己診断を指示する自己診断指示に基づいて、前記ロボットの可動部位に所定のアクションを実行させるアクション指令部と、
前記アクションの実行後に前記撮像部により撮像した撮像画像を取得し、前記記憶部から前記撮像画像の対象とする被写体の色に対応する色彩情報を取得し、取得した該色彩情報と前記撮像画像に撮像された背景色との類似度に応じて、前記ロボットの姿勢を調整する毎に前記撮像部により撮像することにより、前記撮像画像から対象となる被写体を特定することができる撮像画像である特定撮像画像を取得する背景処理部と、
前記特定撮像画像に基づいて、前記対象部位が正常か否かの判定を行う判定部と、
を備えることを特徴とするロボット。
(付記2)
前記背景処理部は、前記対象部位が前記撮像部以外の部位である場合、前記取得した色彩情報と前記撮像画像に撮像された背景色との類似度に応じて、前記ロボットの姿勢を調整する毎に前記撮像部により撮像することにより、前記撮像画像から前記対象部位を特定することができる前記特定撮像画像を取得する
ことを特徴とする付記1に記載のロボット。
(付記3)
前記背景処理部は、前記対象が前記撮像部である場合、ロボット自身の一部または前記ロボットの周囲にある物体を特徴体とし、該特徴体の色に対応する色彩情報と前記撮像画像に撮像された背景色との類似度に応じて、前記ロボットの姿勢を調整する毎に前記撮像部により撮像することにより、前記撮像画像から前記特徴体を特定することができる前記特定撮像画像を取得する
ことを特徴とする付記1又は2に記載のロボット。
(付記4)
前記ロボットは、さらに、光を照射する光源を備え、
前記背景処理部は、前記光源から前記被写体に光が照射された状態において、前記取得した該色彩情報と前記撮像画像に撮像された背景色との類似度に応じて、前記ロボットの姿勢を調整する毎に前記撮像部により撮像する
ことを特徴とする付記1〜3のいずれ1項に記載のロボット。
(付記5)
前記光源は、前記対象部位に設けられ、
前記背景処理部は、前記対象部位の色彩情報と前記背景色とが類似する場合、前記光源に該背景色とは異なる色を発色させて、前記撮像部により撮像する
ことを特徴とする付記4に記載のロボット。
(付記6)
前記判定部は、前記撮像部の撮像位置に基づいて、該撮像位置に対する前記対象部位の相対的な変位を判別し、前記対象部位が正常か否かの判定を行う
ことを特徴とする付記1〜5のいずれ1項に記載のロボット。
(付記7)
1以上の可動部位と、被写体を撮像する撮像部とを有するロボットに搭載されたコンピュータに、
前記ロボットの対象部位についての自己診断を指示する自己診断指示に基づいて、前記ロボットの可動部位に所定のアクションを実行させ、
前記アクションの実行後に前記撮像部により撮像した撮像画像を取得し、
前記ロボットの表面に露出しているパーツの色彩情報を記憶する記憶部から前記撮像画像の対象とする被写体の色に対応する色彩情報を取得し、
取得した該色彩情報と前記撮像画像に撮像された背景色との類似度に応じて、前記ロボットの姿勢を調整する毎に前記撮像部により撮像することにより、前記撮像画像から対象となる被写体を特定することができる撮像画像である特定撮像画像を取得し、
前記特定撮像画像に基づいて、前記対象部位が正常か否かの判定を行う
ことを特徴とする自己診断プログラム。
(付記8)
前記特定撮像画像の取得において、前記対象部位が前記撮像部以外の部位である場合、前記取得した色彩情報と前記撮像画像に撮像された背景色との類似度に応じて、前記ロボットの姿勢を調整する毎に前記撮像部により撮像することにより、前記撮像画像から前記対象部位を特定することができる前記特定撮像画像を取得する
ことを特徴とする付記7に記載の自己診断プログラム。
(付記9)
前記特定撮像画像の取得において、前記対象が前記撮像部である場合、ロボット自身の一部または前記ロボットの周囲にある物体を特徴体とし、該特徴体の色に対応する色彩情報と前記撮像画像に撮像された背景色との類似度に応じて、前記ロボットの姿勢を調整する毎に前記撮像部により撮像することにより、前記撮像画像から前記特徴体を特定することができる前記特定撮像画像を取得する
ことを特徴とする付記7又は8に記載の自己診断プログラム。
(付記10)
前記ロボットは、さらに、光を照射する光源を有し、
前記特定撮像画像を取得する場合、前記光源から前記被写体に光が照射された状態において、前記取得した該色彩情報と前記撮像画像に撮像された背景色との類似度に応じて、前記ロボットの姿勢を調整する毎に前記撮像部により撮像する
ことを特徴とする付記7〜9のいずれ1項に記載の自己診断プログラム。
(付記11)
前記光源は、前記対象部位に設けられ、
前記特定撮像画像の取得において、前記対象部位の色彩情報と前記背景色とが類似する場合、前記光源に該背景色とは異なる色を発色させて、前記撮像部により撮像する
ことを特徴とする付記10に記載の自己診断プログラム。
(付記12)
前記判定を行う場合、前記撮像部の撮像位置に基づいて、該撮像位置に対する前記対象部位の相対的な変位を判別し、前記対象部位が正常か否かの判定を行う
ことを特徴とする付記7〜11のいずれ1項に記載の自己診断プログラム。
(付記13)
1以上の可動部位と、被写体を撮像する撮像部とを有するロボットに搭載されたコンピュータが、
前記ロボットの対象部位についての自己診断を指示する自己診断指示に基づいて、前記ロボットの可動部位に所定のアクションを実行させ、
前記アクションの実行後に前記撮像部により撮像した撮像画像を取得し、
前記ロボットの表面に露出しているパーツの色彩情報を記憶する記憶部から前記撮像画像の対象とする被写体の色に対応する色彩情報を取得し、
取得した該色彩情報と前記撮像画像に撮像された背景色との類似度に応じて、前記ロボットの姿勢を調整する毎に前記撮像部により撮像することにより、前記撮像画像から対象となる被写体を特定することができる撮像画像である特定撮像画像を取得し、
前記特定撮像画像に基づいて、前記対象部位が正常か否かの判定を行う
ことを特徴とする自己診断方法。
(付記14)
前記特定撮像画像の取得において、前記対象部位が前記撮像部以外の部位である場合、前記取得した色彩情報と前記撮像画像に撮像された背景色との類似度に応じて、前記ロボットの姿勢を調整する毎に前記撮像部により撮像することにより、前記撮像画像から前記対象部位を特定することができる前記特定撮像画像を取得する
ことを特徴とする付記13に記載の自己診断方法。
(付記15)
前記特定撮像画像の取得において、前記対象が前記撮像部である場合、ロボット自身の一部または前記ロボットの周囲にある物体を特徴体とし、該特徴体の色に対応する色彩情報と前記撮像画像に撮像された背景色との類似度に応じて、前記ロボットの姿勢を調整する毎に前記撮像部により撮像することにより、前記撮像画像から前記特徴体を特定することができる前記特定撮像画像を取得する
ことを特徴とする付記13又は14に記載の自己診断方法。
(付記16)
前記ロボットは、さらに、光を照射する光源を有し、
前記特定撮像画像を取得する場合、前記光源から前記被写体に光が照射された状態において、前記取得した該色彩情報と前記撮像画像に撮像された背景色との類似度に応じて、前記ロボットの姿勢を調整する毎に前記撮像部により撮像する
ことを特徴とする付記13〜15のいずれ1項に記載の自己診断方法。
(付記17)
前記光源は、前記対象部位に設けられ、
前記特定撮像画像の取得において、前記対象部位の色彩情報と前記背景色とが類似する場合、前記光源に該背景色とは異なる色を発色させて、前記撮像部により撮像する
ことを特徴とする付記16に記載の自己診断方法。
(付記18)
前記判定を行う場合、前記撮像部の撮像位置に基づいて、該撮像位置に対する前記対象部位の相対的な変位を判別し、前記対象部位が正常か否かの判定を行う
ことを特徴とする付記13〜17のいずれ1項に記載の自己診断方法。
1 ロボット
2 撮像部
3 記憶部
4 アクション指令部
5 背景処理部
6 判定部
7 光源
11 ロボット
12 頭部
13 左腕部
14 右腕部
15 胴体部
16 土台部
17 撮像部
21 手動入力部
22 センサ
23 外部I/F
24 コントローラ
25 制御部
26 入力部
27 通信部
28 記憶部
29 アクチュエータ制御部
30 音声出力部
31 バス
32 アクチュエータ部
33 腕軸駆動部
34 胴軸駆動部
35 頭軸駆動部
36 スピーカ
37 発光制御部
38 光源

Claims (8)

  1. 被写体を撮像する撮像部と、
    1以上の可動部位を有するロボットの表面に露出しているパーツの色彩情報を記憶する記憶部と、
    前記ロボットの対象部位についての自己診断を指示する自己診断指示に基づいて、前記ロボットの可動部位に所定のアクションを実行させるアクション指令部と、
    前記アクションの実行後に前記撮像部により撮像した撮像画像を取得し、前記記憶部から前記撮像画像の対象とする被写体の色に対応する色彩情報を取得し、取得した該色彩情報と前記撮像画像に撮像された背景色との類似度に応じて、前記ロボットの姿勢を調整する毎に前記撮像部により撮像することにより、前記撮像画像から対象となる被写体を特定することができる撮像画像である特定撮像画像を取得する背景処理部と、
    前記特定撮像画像に基づいて、前記対象部位が正常か否かの判定を行う判定部と、
    を備えることを特徴とするロボット。
  2. 前記背景処理部は、前記対象部位が前記撮像部以外の部位である場合、前記取得した色彩情報と前記撮像画像に撮像された背景色との類似度に応じて、前記ロボットの姿勢を調整する毎に前記撮像部により撮像することにより、前記撮像画像から前記対象部位を特定することができる前記特定撮像画像を取得する
    ことを特徴とする請求項1に記載のロボット。
  3. 前記背景処理部は、前記対象が前記撮像部である場合、ロボット自身の一部または前記ロボットの周囲にある物体を特徴体とし、該特徴体の色に対応する色彩情報と前記撮像画像に撮像された背景色との類似度に応じて、前記ロボットの姿勢を調整する毎に前記撮像部により撮像することにより、前記撮像画像から前記特徴体を特定することができる前記特定撮像画像を取得する
    ことを特徴とする請求項1又は2に記載のロボット。
  4. 前記ロボットは、さらに、光を照射する光源を備え、
    前記背景処理部は、前記光源から前記被写体に光が照射された状態において、前記取得した該色彩情報と前記撮像画像に撮像された背景色との類似度に応じて、前記ロボットの姿勢を調整する毎に前記撮像部により撮像する
    ことを特徴とする請求項1〜3のいずれ1項に記載のロボット。
  5. 前記光源は、前記対象部位に設けられ、
    前記背景処理部は、前記対象部位の色彩情報と前記背景色とが類似する場合、前記光源に該背景色とは異なる色を発色させて、前記撮像部により撮像する
    ことを特徴とする請求項1〜4のいずれ1項に記載のロボット。
  6. 前記判定部は、前記撮像部の撮像位置に基づいて、該撮像位置に対する前記対象部位の相対的な変位を判別し、前記対象部位が正常か否かの判定を行う
    ことを特徴とする請求項1〜5のいずれ1項に記載のロボット。
  7. 1以上の可動部位と、被写体を撮像する撮像部とを有するロボットに搭載されたコンピュータに、
    前記ロボットの対象部位についての自己診断を指示する自己診断指示に基づいて、前記ロボットの可動部位に所定のアクションを実行させ、
    前記アクションの実行後に前記撮像部により撮像した撮像画像を取得し、
    前記ロボットの表面に露出しているパーツの色彩情報を記憶する記憶部から前記撮像画像の対象とする被写体の色に対応する色彩情報を取得し、
    取得した該色彩情報と前記撮像画像に撮像された背景色との類似度に応じて、前記ロボットの姿勢を調整する毎に前記撮像部により撮像することにより、前記撮像画像から対象となる被写体を特定することができる撮像画像である特定撮像画像を取得し、
    前記特定撮像画像に基づいて、前記対象部位が正常か否かの判定を行う
    ことを特徴とする自己診断プログラム。
  8. 1以上の可動部位と、被写体を撮像する撮像部とを有するロボットに搭載されたコンピュータが、
    前記ロボットの対象部位についての自己診断を指示する自己診断指示に基づいて、前記ロボットの可動部位に所定のアクションを実行させ、
    前記アクションの実行後に前記撮像部により撮像した撮像画像を取得し、
    前記ロボットの表面に露出しているパーツの色彩情報を記憶する記憶部から前記撮像画像の対象とする被写体の色に対応する色彩情報を取得し、
    取得した該色彩情報と前記撮像画像に撮像された背景色との類似度に応じて、前記ロボットの姿勢を調整する毎に前記撮像部により撮像することにより、前記撮像画像から対象となる被写体を特定することができる撮像画像である特定撮像画像を取得し、
    前記特定撮像画像に基づいて、前記対象部位が正常か否かの判定を行う
    ことを特徴とする自己診断方法。
JP2017255190A 2017-12-29 2017-12-29 ロボット、自己診断プログラム、及び自己診断方法 Active JP6922733B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017255190A JP6922733B2 (ja) 2017-12-29 2017-12-29 ロボット、自己診断プログラム、及び自己診断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017255190A JP6922733B2 (ja) 2017-12-29 2017-12-29 ロボット、自己診断プログラム、及び自己診断方法

Publications (2)

Publication Number Publication Date
JP2019118993A true JP2019118993A (ja) 2019-07-22
JP6922733B2 JP6922733B2 (ja) 2021-08-18

Family

ID=67307562

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017255190A Active JP6922733B2 (ja) 2017-12-29 2017-12-29 ロボット、自己診断プログラム、及び自己診断方法

Country Status (1)

Country Link
JP (1) JP6922733B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112757284A (zh) * 2019-10-21 2021-05-07 佳能株式会社 机器人控制装置、方法和存储介质
JP7516140B2 (ja) 2019-12-25 2024-07-16 ニデックインスツルメンツ株式会社 ロボットの監視システム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61226289A (ja) * 1985-03-29 1986-10-08 株式会社神戸製鋼所 ロボツト・マニピユレ−タの診断装置
JPH02262991A (ja) * 1989-03-31 1990-10-25 Mitsubishi Electric Corp ロボット動作監視装置
JP2005349556A (ja) * 2004-06-11 2005-12-22 Toshiyuki Horiuchi 飛翔ロボット
JP2009066678A (ja) * 2007-09-11 2009-04-02 Yaskawa Electric Corp ロボットハンドおよびロボットハンドシステム
DE102010023736A1 (de) * 2009-06-15 2011-01-27 Fanuc Ltd Robotersystem mit Problemerkennungsfunktion
JP2015199192A (ja) * 2014-03-31 2015-11-12 キヤノン株式会社 ロボットシステムの制御方法、プログラム、記録媒体、及びロボットシステム
JP2015221474A (ja) * 2014-05-23 2015-12-10 学校法人立命館 ロボット制御装置、ロボット制御方法、及びプログラム
US9375841B1 (en) * 2014-05-28 2016-06-28 Google Inc. Robotic devices with ambient indications of joint status
JP2017124468A (ja) * 2016-01-14 2017-07-20 キヤノン株式会社 ロボット制御方法、部品の製造方法、ロボット装置、プログラム及び記録媒体

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61226289A (ja) * 1985-03-29 1986-10-08 株式会社神戸製鋼所 ロボツト・マニピユレ−タの診断装置
JPH02262991A (ja) * 1989-03-31 1990-10-25 Mitsubishi Electric Corp ロボット動作監視装置
JP2005349556A (ja) * 2004-06-11 2005-12-22 Toshiyuki Horiuchi 飛翔ロボット
JP2009066678A (ja) * 2007-09-11 2009-04-02 Yaskawa Electric Corp ロボットハンドおよびロボットハンドシステム
DE102010023736A1 (de) * 2009-06-15 2011-01-27 Fanuc Ltd Robotersystem mit Problemerkennungsfunktion
JP2015199192A (ja) * 2014-03-31 2015-11-12 キヤノン株式会社 ロボットシステムの制御方法、プログラム、記録媒体、及びロボットシステム
JP2015221474A (ja) * 2014-05-23 2015-12-10 学校法人立命館 ロボット制御装置、ロボット制御方法、及びプログラム
US9375841B1 (en) * 2014-05-28 2016-06-28 Google Inc. Robotic devices with ambient indications of joint status
JP2017124468A (ja) * 2016-01-14 2017-07-20 キヤノン株式会社 ロボット制御方法、部品の製造方法、ロボット装置、プログラム及び記録媒体

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112757284A (zh) * 2019-10-21 2021-05-07 佳能株式会社 机器人控制装置、方法和存储介质
CN112757284B (zh) * 2019-10-21 2024-03-22 佳能株式会社 机器人控制装置、方法和存储介质
JP7516140B2 (ja) 2019-12-25 2024-07-16 ニデックインスツルメンツ株式会社 ロボットの監視システム

Also Published As

Publication number Publication date
JP6922733B2 (ja) 2021-08-18

Similar Documents

Publication Publication Date Title
US8214082B2 (en) Nursing system
CN101522377B (zh) 机械手
US20170303825A1 (en) Gait Analysis Medical Assistance Robot
JP2011067941A5 (ja)
JP7351383B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20200041384A (ko) 충돌 검출, 추정 및 회피
WO2019087495A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP5001930B2 (ja) 動作認識装置及び方法
JP2017094409A (ja) 動作予告装置
US20180129303A1 (en) Information processing apparatus, information processing method, and program
JP2019118993A (ja) ロボット、自己診断プログラム、及び自己診断方法
US20210200311A1 (en) Proxy controller suit with optional dual range kinematics
KR20120033414A (ko) 자기 위치 인식을 수행하는 로봇 및 그의 운용 방법
KR101378305B1 (ko) 로봇맵 생성 방법 및 시스템
CN113056315B (zh) 信息处理装置、信息处理方法和程序
US11256925B2 (en) Monitoring system and monitoring method thereof
CN111673745A (zh) 一种基于体感互动的机器人控制系统和方法
US12115686B2 (en) Operation system and operation method
KR20190091870A (ko) 모션센서와 vr을 활용한 로봇 제어 시스템
JP4568024B2 (ja) 眼球運動測定装置、及び眼球運動測定プログラム
JP2019202354A (ja) ロボット制御装置、ロボット制御方法及びロボット制御プログラム
JP2006007390A (ja) 撮像装置、撮像方法、撮像プログラム、撮像プログラムを記録したコンピュータ読取可能な記録媒体
US20220016773A1 (en) Control apparatus, control method, and program
CN109571423A (zh) 机器人控制系统、机器人控制方法及机器人控制系统用的用户设备
JP2020175466A (ja) 教示装置及び教示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201008

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210623

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210712

R150 Certificate of patent or registration of utility model

Ref document number: 6922733

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150