以下、実施の形態について、図面を参照しながら説明する。以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
また、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略または簡略化される場合がある。
(実施の形態)
[1.作業指示システムの構成]
まず、実施の形態に係る作業指示システムの構成について、図1〜図3を用いて説明する。図1は、実施の形態に係る作業指示システム1の機能構成を示すブロック図である。
図1に示すように、作業指示システム1は、作業指示装置10と、第1ドライバ20と、第2ドライバ30と、センサ装置40と、表示装置70とを備える。以下では、作業指示システム1は、2つの工具(第1ドライバ20及び第2ドライバ30)を備える例について説明するが、これに限定されない。なお、以降において、第1ドライバ20及び第2ドライバ30を区別しない場合、単にドライバとも記載する。なお、作業指示システム1は、作業表示システムの一例である。
作業指示装置10は、作業ミスの防止と習熟支援、作業時間の遵守、作業の改善、及び、作業ミスの通知等を可能にするためのサーバ装置である。作業指示装置10の基本動作等については、後述する。本実施の形態に係る作業指示装置10は、例えば、組立作業等において一人で複数の作業を受け持たせる一人組立作業を行う作業者に対して、作業指示及び作業間違いの検出等を行う。なお、作業者が行う作業は、例えば、工具(例えば、ドライバ)を用いる作業と、工具を用いない作業とを含む。工具を用いない作業は、複数の作業のいずれかで使用される工具の全てを用いない作業である。工具を用いない作業は、手作業による作業を含み、例えば、ワッシャを挿入する作業、クリップを締める作業、及び、検査作業などである。なお、作業指示装置10は、作業者が行う作業における作業内容を表示装置70に表示するための作業表示装置の一例である。
作業指示装置10は、通信部11と、制御部12と、記憶部13とを有する。
通信部11は、作業指示システム1が備える各種装置と無線通信又は有線通信を介して通信可能に接続される通信インターフェースである。通信部11は、例えば、制御部12によって生成されたセンサ装置40を制御するためのセンサ制御情報をセンサ装置40に出力する。また、通信部11は、センサ部60のセンシング結果に基づく情報を、センサ装置40を介して取得する。このように、通信部11は、センサ制御情報を出力する出力部、及び、センサ部60のセンシング結果を取得する取得部として機能する。
また、通信部11は、複数の作業それぞれの開始を示す開始信号及び終了を示す終了信号を取得してもよい。通信部11は、例えば、作業がドライバを使用する作業である場合、開始信号及び終了信号の少なくとも一方を第1ドライバ20又は第2ドライバ30から取得してもよい。また、通信部11は、例えば、開始信号及び終了信号の少なくとも一方を作業者の操作(例えば、ボタン及びフットスイッチ(図示しない)に対する操作)により取得してもよい。
制御部12は、作業指示装置10と接続された各種装置に当該装置が実行する処理に関する情報を生成及び出力し、かつ、各種装置から当該装置が取得した(例えば、計測することで取得した)情報を取得し、当該情報に基づいて所定の処理を行う処理部である。
具体的には、制御部12は、例えば、記憶部13に格納されている作業用テーブルT1(図2A参照)に基づいて、第1ドライバ20及び第2ドライバ30を制御するドライバ制御情報を第1ドライバ20及び第2ドライバ30に出力する。また、制御部12は、記憶部13に格納されている検出用テーブルT2(図2B参照)に基づいて、センサ装置40が有する各種センサを制御するためのセンサ制御情報をセンサ装置40に出力する。
また、制御部12は、センサ装置40から取得した各種センサのセンシング結果に基づいて、作業が正常に行われたか否かを判定する。そして、制御部12は、判定結果を表示するための情報を、通信部11を介して表示装置70に出力する。
記憶部13は、作業指示装置10が備える制御部、制御部12が実行する制御プログラムを格納する記憶装置である。また、記憶部13は、作業用テーブルT1及び検出用テーブルT2を格納する。また、記憶部13は、通信部11を介して取得した情報(例えば、センシング結果など)を格納してもよい。記憶部13は、例えば、半導体メモリなどによって実現される。
ここで、記憶部13が格納する作業用テーブルT1及び検出用テーブルT2について、図2A及び図2Bを参照しながら説明する。図2Aは、作業用テーブルT1の一例を示す図である。なお、図2Aでは、ネジの一例としてビスを締める場合を示している。なお、以下において、ビスを単にネジとも記載する。
図2Aに示すように、記憶部13は、作業手順と、作業名と、ドライバ名と、ビス本数と、上下限パルスとが対応付けられた作業用テーブルT1を格納する。作業手順1、2及び4の作業は、ドライバを用いる作業の一例であり、作業手順2の作業は、ドライバを用いない作業の一例である。言い換えると、作業用テーブルT1は、ドライバを用いる作業とドライバを用いない作業とを含む複数の作業を行うためのテーブルである。なお、作業用テーブルT1に含まれるドライバを用いる作業及びドライバを用いない作業の数及び順番は、特に限定されない。
作業手順は、作業者が行う複数の作業の順番を示す。作業手順は、予め定められている。図2Aの例では、作業手順1〜4がその順番で行われることを示している。
作業名は、作業内容を示しており、複数の作業それぞれに設定される。作業者は、作業名を見るだけで、作業の内容を知ることができる。
ドライバ名は、作業者がドライバを識別するための名称を示しており、ドライバそれぞれに設定される。ドライバ名は、作業者がドライバを識別できればよく、ドライバの型番等であってもよい。
ビス本数は、当該作業においてビス締めするビスの数を示す。
上限パルス及び下限パルスは、制御部12がビスの締め付け情報に基づいてドライバを用いる作業が完了したか否かを判定するために用いられる閾値(パルス数)である。上限パルス及び下限パルスは、例えば、複数人の作業者それぞれの、ビス締め作業(ネジ締め作業)におけるビス締めが適切に完了したときの回転数(又はパルス数)に基づいて、決定される。上限パルス及び下限パルスは、例えば、複数人の作業者それぞれの回転数のうち、所定以上の回転数(例えば、最大回転数)と所定以下の回転数(例えば、最小回転数)とに基づいて決定されてもよい。これにより、複数の作業者それぞれにおいてネジ締め作業におけるネジ締めが適切に完了したときの回転数が異なっていても、上限パルス及び下限パルスを適切に設定することができる。
なお、作業用テーブルT1は、上限パルス及び下限パルスの少なくとも一方を含んでいればよい。また、作業用テーブルT1は、ネジの締め付け情報にトルクの情報が含まれる場合、トルクの上限及び下限の少なくとも一方を含んでいてもよい。また、作業用テーブルT1は、ドライバにおいて作業が完了したか否かを判定する場合、上限パネル及び下限パルスの情報は含んでいなくてもよい。
作業手順1の作業(以降において、作業1とも記載する)は、ドライバXを使用してビスAを2本締める作業であることを示している。ドライバXは、例えば、第1ドライバ20である。また、上限パルス及び下限パルスは、ドライバXを用いてビスAをビス締めたときに当該ビスAのビス締めが完了したか否かを判定するための基準であり、ビスAの回転数に対応する数値である。
作業手順2の作業(以降において、作業2とも記載する)は、ドライバYを使用してビスBを3本締める作業であることを示している。作業2では、作業1とは異なるドライバが用いられる。ドライバYは、例えば、第2ドライバ30である。
作業手順3の作業(以降において、作業3とも記載する)は、クリップを1つ取り付ける作業である例を示している。
作業手順4の作業(以降において、作業4とも記載する)は、作業手順1と同じドライバを用いてビスCを4本締める作業である例を示している。
上記のように、作業指示装置10は、ドライバを用いる作業(例えば、ネジ締め作業)とドライバを用いない作業とを含む複数の作業を、作業者が予め定められた作業手順で行うための情報(例えば、作業用テーブルT1)を保持している。
次に、記憶部13が格納する検出用テーブルT2について説明する。図2Bは、検出用テーブルT2の一例を示す図である。
図2Bに示すように、記憶部13は、作業手順と、作業名と、センサ装置40に関する情報とが対応づけられた検出用テーブルT2を格納する。センサ装置40に関する情報は、検出ポイント用センサと、禁止ポイント用センサと、停止センサと、検出部位と、検出色と、検出ポイントの形状とを含む。なお、センサ装置40に関する情報は、少なくとも検出ポイント用センサに関する情報を含んでいればよい。
検出ポイント用センサは、現在の作業が正常に行われたか否かを判定するために動作させるセンサを示す。例えば、作業1においては、センサa〜センサdのうちセンサaを検出ポイント用センサとして動作させる例を示している。
禁止ポイント用センサは、現在の作業において作業者の体の一部が通過してはいけない禁止ポイントを当該作業者の体の一部が通過したか否かを判定するために動作させるセンサを示す。例えば、作業1においては、センサa〜センサdのうちセンサcを禁止ポイント用センサとして動作させる例を示している。また、例えば、作業2においては、禁止ポイント用センサとしていずれのセンサも動作させない例を示している。
停止センサは、現在の作業において、動作を停止するセンサを示す。つまり、停止センサに記載されているセンサは、その作業においてセンシングを行わない。例えば、作業1においては、センサa〜センサdのうちセンサc及びセンサdの動作を停止させる例を示している。なお、センサ装置40がセンサ部60のセンサa〜センサdの動作の開始及び停止を制御しない場合、検出用テーブルT2に停止センサの情報は含まれていなくてもよい。なお、停止センサには、少なくとも1つのセンサが設定される。
検出部位は、作業が正常に行われたか否かを判定するための、所定の領域(検出ポイント)を通過する作業者の対象部位を示す。例えば、作業1において当該作業1が正常に行われるには、作業者の右手(作業者の体の一部の一例)が所定の領域を通過する必要があることを示している。
なお、センサ制御部50がセンサ部60のセンシング結果から作業者の体の部位を特定する機能を有していない場合、検出部位の項目は検出用テーブルT2に含まれていなくてもよい。
検出色は、作業が正常に行われたか否かを判定するための検出対象の色を示す。例えば、作業2において当該作業2が正常に行われるには、検出対象の色が青である必要があることを示している。検出対象は、作業者の体の一部であってもよいし、その作業で用いる部品であってもよい。すなわち、検出対象の色は、作業者の体の一部の色であってもよいし、部品の色であってもよい。なお、ここでの作業者の体の一部の色は、手を例に説明すると、その作業が素手で行われる場合は、肌の色であり、手袋等を装着して行われる場合は、手袋の色である。また、センサ部60からのセンシング結果に色の情報が含まれていない場合、検出色に関する項目は検出用テーブルT2に含まれていなくてもよい。
検出ポイントの形状は、センサ部60がセンシングする対象エリアの形状を示す。検出ポイントの形状は、点状、線状、及び、面状を含む。例えば、作業1においては、センサa(検出ポイント用センサ)の検出ポイントが点状である例を示している。なお、検出ポイントが面状である場合、面状の領域における作業者の体の一部の専有面積に関する情報を含んでいてもよい。図2Bでは、専有面積に関する情報が、面状の領域の面積に対する、当該面状の領域のうち作業者の体の一部が通過した面積の割合を示す専有面積の割合(例えば、図2Bに示す「80%以上」)である例を示している。
図1を再び参照して、第1ドライバ20及び第2ドライバ30は、作業者が工具を用いる作業で使用する動力によって作動可能な工具の一例である。なお、ここでの工具とは、例えば、電動工具を意味する。また、動力とは、電気又はエアなどである。第1ドライバ20は、例えば、ビスA及びビスCのネジ締めに用いる締結工具であり、第1工具の一例である。第2ドライバ30は、第1ドライバ20とは異なる締結工具である。第2ドライバ30は、例えば、ビスBのネジ締めに用いる締結工具であり、第2工具の一例である。なお、作業指示装置10と接続されるドライバの数及び種類は特に限定されない。
なお、図示しないが、第1ドライバ20及び第2ドライバ30のそれぞれは、作業指示装置10と通信するための通信部と、ドライバの回転数を計測するパルス計測部と、トルクアップ、回転開始及び回転終了を検出する検出部とを有する。パルス計測部は、例えば、ドライバのモータ(図示しない)に組み込まれてエンコーダ(図示しない)の発するパルス信号を計測可能な回路を有し、パルス信号の計測結果から回転数を検出する。エンコーダは、モータが回転すると、これに応じた回転信号としてパルス信号を発する。検出部は、例えば、ドライバの消費電流を計測することで、トルクアップ、回転開始及び回転終了を検出する。通信部は、パルス計測部が計測した計測結果、及び、検出部が検出した検出結果(例えば、回転開始及び回転終了の検出結果であり、開始信号及び終了信号の一例)の少なくとも1つを作業指示装置10に出力する。
なお、第1ドライバ20及び第2ドライバ30のそれぞれは、パルス計測部が計測した回転数に基づいて、ネジ締めが完了したか否かを判定する処理部を有していてもよい。
センサ装置40は、作業指示装置10からのセンサ制御情報に基づいて検出ポイントのセンシングを行い、かつ、センシング結果を作業指示装置10に出力する。センサ装置40は、センサ制御部50と、センサ部60とを有する。
センサ制御部50は、作業指示装置10からのセンサ制御情報に基づいて、センサ部60を制御する処理部である。また、センサ制御部50は、センサ部60からのセンシング結果を取得し、取得したセンシング結果に基づく情報を作業指示装置10に出力する。
センシング結果に基づく情報は、センシング結果そのものを含んでいてもよいし、センシング結果を解析した解析結果(例えば、センシング結果が画像である場合、画像解析結果)を含んでいてもよい。センサ制御部50は、センシング結果が画像である場合、当該画像に基づいて、作業者の体の部位(例えば、頭、手(右手、左手など)、腕(右腕、左腕など)、脚など)を検出する機能を有していてもよい。つまり、センサ装置40は、いわゆるモーションセンサであってもよい。また、センサ制御部50は、検出ポイントが面状である場合、センシング結果である画像に基づいて、上記の専有面積を算出する機能を有していてもよい。作業者の体の部位、及び、専有面積は、解析結果の一例である。
センサ制御部50は、例えば、マイクロコンピュータにより実現される。センサ制御部50は、内蔵する記憶部から制御プログラムを読み出し、読み出したプログラムを実行する。
センサ部60は、作業者の体の一部が検出ポイントを通過したか否かを検出するための1以上のセンサを有する。本実施の形態では、センサ部60は、センサa〜センサdにより構成される。センサa〜センサdはそれぞれ、センサごとに設定された検出ポイントのセンシングを行い、センシング結果をセンサ制御部50に出力する。
センサa〜センサdは、作業者の体の一部が検出ポイントを通過したか否かを判定するためのセンシング結果を取得できるセンサであればよく、撮像装置であってもよいし、物体の有無を遮光により検出する光センサ又はエリアセンサであってもよいし、それらの組み合わせであってもよい。また、センサa〜センサdのそれぞれは、同じ種類のセンサであってもよいし、互いに異なる種類のセンサであってもよい。センサa〜センサdは、例えば、作業内容、検出精度及び検出ポイントの形状等に応じて適宜決定されるとよい。なお、センサ部60が有するセンサの数は特に限定されない。
なお、センサ装置40は、センサ制御部50を有していなくてもよい。この場合、作業指示装置10は、例えば、センサ制御部50が有する機能を有していてもよい。作業指示装置10は、通信部11を介してセンサ部60の各センサに対して、センサ制御情報を出力し、かつ、センサ部60の各センサのそれぞれからセンシング結果を取得してもよい。
図2Bに示すように、本実施の形態では、センサaは、作業1における検出ポイント(第1領域の一例)を作業者の体の一部が通過したかを判定するためのセンサである。センサbは、作業2における検出ポイント(第2領域の一例)を作業者の体の一部が通過したかを判定するためのセンサである。センサcは、作業3における検出ポイント(第3領域の一例)を作業者の体の一部が通過したかを判定するためのセンサである。センサdは、作業4における検出ポイント(第4領域の一例)を作業者の体の一部が通過したかを判定するためのセンサである。第1領域〜第4領域は、例えば、互いに重ならない領域である。
作業1は、作業者の体の一部が第1領域を通過し、かつ、第1領域と異なる第2領域を通過しない作業(第1作業の一例)である。作業2は、作業者の体の一部が第2領域を通過し、かつ、第1領域を通過しない作業(第2作業の一例)である。また、第1作業においては、作業者の体の一部が第3領域を通過することが禁止されており、作業3においては、作業者の体の一部が第4領域を通過することが禁止されている。そのため、第1作業においては、禁止ポイント用センサにセンサcが設定されており、第3作業においては、禁止ポイント用センサにセンサdが設定されている。
なお、センサが撮像装置であり、かつ、当該撮像装置の画角が複数の検出ポイントのそれぞれ及び作業者を撮影できている場合などにおいては、センサ部60が当該撮像装置のみで構成されていてもよい。
ここで、センサ部60の検出ポイントについて、図3を参照しながら説明する。図3は、実施の形態に係る検出ポイントを示す模式図である。図3は、検出ポイントd1〜d7が設定されており、作業者Hの左腕Aが検出ポイントd2を通過している状態を示している。
図3に示すように、検出ポイントd1は、形状が点状である検出ポイントである。検出ポイントd1は、例えば、作業1に対応する検出ポイントであり、センサaによりセンシングされる。検出ポイントd2及びd3は、形状が線状である検出ポイントである。検出ポイントd2は、例えば、作業2に対応する検出ポイントであり、センサbによりセンシングされる。検出ポイントd3は、例えば、作業3に対応する検出ポイントであり、センサcによりセンシングされる。検出ポイントd4は、形状が面状である検出ポイントである。検出ポイントd4は、例えば、作業4に対応する検出ポイントであり、センサdによりセンシングされる。検出ポイントd5〜d13においては、作業1〜4以外の作業に対応する検出ポイントである。
検出ポイントは、例えば、作業において所定の部品(図示しない)を取るために通過する領域であってもよい。図3に示すように、作業者Hの周囲には、部品が収容されるケースが複数配置される。検出ポイントは、例えば、作業において用いる部品が収容されているケースから当該部品を取るために作業者Hの体の一部が通過する領域であって、かつ、他の作業において作業者Hの体の一部が通過しない領域であるとよい。また、検出ポイントは、例えば、作業において工具(例えば、ドライバ)を用いる場合、当該工具を取るために作業者Hの体の一部が通過する領域であって、かつ、他の工具を用いる作業において作業者Hの体の一部が通過しない領域であってもよい。また、検出ポイントは、例えば、作業が所定の操作部を操作する(例えば、ボタンを押す)ことを含む場合、当該操作部を操作するために作業者Hの体の一部が通過する領域であって、かつ、他の操作部を操作する作業において作業者Hの体の一部が通過しない領域であってもよい。
また、検出ポイントd3は、例えば、作業1に対応する禁止ポイントであり、センサcによりセンシングされる。検出ポイントd4は、例えば、作業3に対応する禁止ポイントであり、センサdによりセンシングされる。
禁止ポイントは、例えば、作業において所定の部品を取るために通過してはいけない領域であってもよい。禁止ポイントは、例えば、作業において用いる部品と外観等が類似した部品が収容されているケースから当該類似した部品を取るために作業者Hの体の一部が通過する領域であって、かつ、作業において用いる部品を取るために作業者Hの体の一部が通過する領域以外の領域であってもよい。このように、禁止ポイントは、作業において作業者Hが誤った部品を取ることを検出するためのポイントであってもよい。また、禁止ポイントは、作業において作業者Hが誤った工具を取ること、又は、誤った操作部を操作することを検出するためのポイントであってもよい。
なお、センサが図3に示す画角で撮影を行う撮像装置である場合、つまり当該撮像装置が作業者H、及び、複数の検出ポイントd1〜d7の全てを撮影可能である場合、センサ部60は、当該センサのみで構成されていてもよい。
図1を再び参照して、表示装置70は、作業指示装置10から取得した情報を画像として表示する。画像は、写真、動画、イラスト、文字等を含む。表示装置70は、液晶ディスプレイ等により実現される。表示装置70が出力した画像は作業者によって視認され、作業内容及び判定結果の確認等に用いられる。表示装置70は、判定結果として、現在行っている作業が正常に行われたことを示す情報、当該作業が正常に行われなかったことを示す情報、及び、当該作業が行われなかったことを示す情報などを表示する。
また、表示装置70は、現在行っている作業に関する情報を表示する。表示装置70は、例えば、作業手順、用いるドライバを特定する情報(例えば、ドライバ名)、ネジ締めを行う本数、ネジ締めの判定結果、及び、作業経過時間の少なくとも1つを表示する。表示装置70は、作業者が作業する上で邪魔にならない位置に配置される。
表示装置70は、作業指示装置10から取得した情報を出力する出力装置の一例である。なお、作業指示システム1は、出力装置として、表示装置70に替えて又は表示装置70とともに、出音装置(例えば、スピーカ)、プロジェクタなどの対象物(例えば、スクリーン)に情報を表示する装置、発光装置などの光(例えば、光の色)で情報を出力する装置などを有していてもよい。
[2.作業指示システムの基本動作]
次に、上記のような作業指示システム1における基本動作について、図4A〜図4Cを参照しながら説明する。具体的には、作業指示装置10が作業者に作業指示する動作について説明する。作業指示装置10の各処理部が所定のアプリケーションプログラム(以降に置いて、専用アプリとも記載する)を実行することによって実現される。
まずは、記憶部13に格納されている作業指示画像等を用いて行われる基本動作について説明する。図4Aは、実施の形態に係る作業指示装置10の基本動作を説明するための第1図である。
図4Aに示すように、作業者は、まず専用アプリを起動させ、メニューに表示される項目に所定の情報を入力する。所定の情報とは、例えば、作業者及び作業者が行う作業を特定するための情報を含む。メニューに表示される項目は、例えば、作業者を特定する情報を入力する「作業者入力」、使用する作業端末を特定する「端末No.入力」、及び、作業する製品の品番を入力する「製品番号入力」である。また、メニューに表示される項目には、さらに過去に作業した際に取得した実績データの取り扱い、及び、画面のレイアウトの調整などが含まれる。
所定の情報が入力されると、表示装置70に作業に応じた画像が表示される。図4Bは、実施の形態に係る作業指示装置10の基本動作を説明するための第2図である。具体的には、作業指示装置10が表示装置70に表示する作業指示画像Pを示している。
図4Bに示すように、製品品種を設定(図4Bでは、「DEMO−2017」を設定)すると、表示装置70に作業指示画像Pが表示される。作業指示装置10は、作業者から操作を取得すると、当該操作に応じた作業指示画像Pを表示装置70に表示させる。作業指示画像Pには、製品品種、作業名p1(図4Bでは、「部品Aを取る」)、作業時の注意事項p2(図4Bでは、「確実に取ること」)、作業を説明する説明画像p3、及び、部品名p4(図4Bでは「部品A」)などが表示される。また、図示していないが、作業指示システム1は、出音装置を備えており、当該出音装置から説明画像p3に対応した作業指示が音声で出音される。なお、説明画像p3は、例えば動画である。また、作業名p1(作業内容)、注意事項p2、説明画像p3、及び、部品名p4などは、複数の作業それぞれに作成される。
これにより、作業者は、作業指示画像Pと音声とによる作業指示を受けることになる。作業指示装置10は、説明画像p3と音声とによる作業指示、文字による作業指示、及び、注意事項p2の表示等により、作業者の作業ミスの防止を支援することができる。また、例えば、作業者が熟練者である場合、表示装置70の説明画像p3を見なくても出音装置による音声指示で作業を行うことができる。また、例えば作業者が当該作業に慣れていない場合、表示装置70の説明画像p3を必要なときだけ見ることで作業を円滑に進めることができる。よって、作業指示装置10によれば、作業ミスの防止と習熟支援とを実現することができる。
なお、例えば、作業がドライバを用いる作業である場合、作業名p1は、使用するドライバ、ビスの種類、及び、ビス本数を含み、例えば「ドライバXで、ビス1を2ヶ所締付ける」と表示される。
また、作業指示画像Pには、さらに作業者の熟練度に応じて作業者区分を選択する選択画像が表示されていてもよい。図4Cは、実施の形態に係る作業指示装置10の基本動作を説明するための第3図である。
図4Cに示すように、作業者が作業を開始する前又は作業中に、ドロップダウンメニューなどをクリックすると、作業者の作業者区分を選択するための選択画像p5が表示される。図4Cの例では、「新人」、「通常」及び「熟練」の3つの区分が表示されている例を示しているが、作業者区分の数は特に限定されず、2以上であればよい。作業者が自身の作業者区分を選択することで、表示装置70における出力内容が変更されてもよい。作業指示装置10は、例えば、「新人」が選択されると、記憶部13に格納されている作業指示の全てを出力する。また、作業指示装置10は、例えば「通常」又は「熟練」が選択されると、複数の作業のうち予め設定された作業の作業指示の出力を行わなくてもよい。これにより、作業指示システム1は、作業者の熟練度に適した作業指示画像Pを出力することができる。
図4Bを再び参照して、作業指示画像Pには、経過時間表示バーp6が表示される。経過時間表示バーp6には、複数の作業の進捗率を示すバーと、進捗時間とが表示される。進捗率を示すバーには、現在作業中の作業の経過時間(経過時間表示バーp6の上段に示す「作業単位進捗」)、複数の作業それぞれの標準作業時間の累計(経過時間表示バーp6の中段に示す「累積作業ベース」)、及び、1サイクル動作中の経過時間(経過時間表示バーp6の下段に示す「全作業進捗」)が含まれる。標準作業時間は、予め設定されている。なお、作業者が行う複数の作業を要素作業とも記載する。1サイクル動作中とは、作業者が複数の作業を作業手順に沿って一通り行うことを1サイクルとした場合、作業者が複数の作業を作業手順に沿って行っている最中であることを意味する。
これにより、作業者は、経過時間表示バーp6を確認することで、標準時間が守れているか否かを確認することができ、作業ペースの維持に役立つ。よって、作業指示装置10によれば、作業者が作業時間を遵守することを支援することができる。なお、作業指示装置10は、作業中の経過時間が当該作業の標準時間の所定割合を超えると、作業者に注意を促してもよい。作業指示装置10は、例えば、作業単位進捗バー及び進捗時間の色を変化させることで注意を促してもよいし、出音装置に音声を出音させることで注意を促してもよい。作業指示装置10は、例えば、作業中の経過時間が当該作業の標準時間の70%を経過すると作業単位進捗バー及び進捗時間の色をオレンジ色とし、作業中の経過時間が当該作業の標準時間を経過すると作業単位進捗バー及び進捗時間の色をさらに注意を促す赤色にしてもよい。
なお、説明画像p3に示すように、ワッシャが複数種類あり、複数種類のワッシャのそれぞれが異なるケースに収容されている場合、説明画像p3において作業者が当該作業で取るワッシャが入ったケースが強調して表示されてもよい。
作業指示装置10は、現在の作業が正常に行われるたびに、次の作業に対応した作業指示画像Pを表示装置70に表示する。
作業指示装置10は、1サイクルの作業(作業者に割り当てられた複数の作業)が完了すると、作業結果を表示装置70に表示させてもよい。図4Dは、実施の形態に係る作業指示装置10の基本動作を説明するための第4図である。
図4Dに示すように、作業指示装置10は、1サイクルの完了時の作業時間を表示装置70に表示させてもよい。また、作業指示装置10は、さらに1サイクルの標準時間を合わせて表示装置70に表示させてもよい。
図4Bを再び参照して、作業指示画像Pには、作業の実績を示す実績情報p7が表示される。図4Bは、作業がドライバを用いる作業であり、作業指示画像Pには、ドライバを用いる作業における実績などを示す実績情報p7が表示されている例を示している。つまり、図4Bに示す実績情報p7を含む作業指示画像Pは、ドライバを用いる作業を行うときに表示される、ドライバ連携時の画像である。実績情報p7として、例えば、作業結果(図4Bに示す「OK」)、当該作業に用いるドライバ名(図4Bに示す「ドライバX」)、パルス、カウント、及び、NG回数が表示される。
作業結果は、ビス締めが成功したか否かの判定結果を示す。作業結果には、例えば、制御部12によりビスが適切に締め付けられた又は締め付けられていないと判定されるたびに、当該ビス締めに対する判定結果が表示される。作業結果は、例えば、ビス1本ごとに表示される。
ドライバ名は、当該ドライバを用いる作業で使用されるドライバを特定する情報を示す。ドライバ名に表示されているドライバのみが、動作可能な状態となっている。
パルスは、ビス締め作業ごとに表示される実績のパルス数である。
カウントは、制御部12によりビスが締め付けられたと判定された(例えば、OKと判定された)数を示す。具体的には、カウントには、「OK」判定されたビスの本数である実績本数(図4Bに示す「0」)と、当該作業において取り付けるビスの総数である計画本数(図4Bに示す「3」)とが表示される。
NG回数は、ビスの締め付けが失敗した回数である。NG回数は、制御部12によりビス締め付けが失敗したと判定されると、カウントアップされる。
このように実績情報p7が表示されることで、作業者は、ドライバを用いる作業における実績を確認することができる。また、作業者は、表示装置70に作業結果及びドライバ名等が表示されるので、作業結果及び使用するドライバの情報を容易に知ることができる。
なお、ドライバを用いない作業における実績情報p7は、現在行っている作業が正常に行われたことを示す情報、当該作業が正常に行われなかったことを示す情報、及び、当該作業が行われなかったことを示す情報などを含む。
また、作業指示画像Pには、説明画像p3の切り替えなど操作を行うための操作画像p8が表示される。例えば、マウス等で操作画像p8の所定のボタンを選択すると、当該ボタンに応じて説明画像p3等が切り替わる。操作画像p8のボタンは、例えば、現在表示されている説明画像p3を停止する又は停止した説明画像p3を再開するボタン、次の作業に進めるボタン、前の作業に戻すボタン、音声指示の読み上げを開始又は停止するボタンなどが含まれる。
なお、上記ボタンの替わりにキーボードで簡単に操作ができるようにショートカットキーが割り当てられていてもよい。また、作業指示システム1が収音装置(図示しないが、例えばマイクロフォン)を備えており、作業指示装置10は当該収音装置が取得した作業者の音声に基づいて、作業指示画像Pに表示される内容を変更してもよい。
これにより、作業者は、作業の進捗状況などに応じて作業指示画像Pの表示内容等を変更することができる。例えば、わかりにくかった部分の説明画像p3を再度表示することで、作業ミスの防止につながる。また、例えば、説明画像p3の説明が終了する前に作業が完了したときは、次に作業に進めることで、作業を円滑に進めることができる。
また、作業指示画像Pには、1サイクルの要素作業の一覧を示す作業一覧p9等の情報が表示されてもよい。
これにより、作業者は、現在の作業の前に行った作業及び現在の作業の後に行う作業の情報を知ることができる。
作業指示装置10は、例えば、現在行っている作業が終了したことを検出する(例えば、センサ装置40からのセンシング結果に基づいて検出する)と、表示装置70に出力する情報を次に行う作業の情報に自動的に切り替える。作業指示装置10は、例えば、表示装置70に表示する作業指示画像Pを次に行う作業の作業指示画像Pに自動で切り替える。なお、作業指示装置10は、作業指示画像P等を自動で切り替えることに限定されず、作業者からの操作(例えば、フットスイッチの操作)により、作業指示画像P等を切り替えてもよい。
[3.作業指示システムの動作]
次に、上記のような作業指示システム1の動作について、図5を参照しながら説明する。図5は、実施の形態に係る作業指示システム1の動作を示すシーケンス図である。なお、以下では、禁止ポイントが設定されていない例について説明する。また、作業手順は、作業1〜作業nまであるとする。N番目の作業を作業Nとも記載する。
図5に示すように、作業指示装置10は、作業者の操作により、専用アプリを起動して所定の情報が入力されることで作業手順(1〜n)を読み込む(S11)。作業指示装置10は、「作業者」及び「製品番号」が入力されることで、当該作業者が当該製造番号の作業を行う作業者であるか否かを判定することができる。作業指示装置10は、記憶部13に格納された複数の作業指示画像及び情報テーブルの中から所定の情報に応じた作業指示画像P、作業用テーブルT1、及び、検出用テーブルT2を取り出す。なお、読み込みには、作業指示装置10の外部の記録媒体(CD−ROM又はUSBメモリなど)から作業指示画像P、作業用テーブルT1、及び、検出用テーブルT2を読み込みことも含まれる。また、読み込みには、通信部11が外部の機器から通信により作業指示画像P、作業用テーブルT1、及び、検出用テーブルT2を取得することも、作業手順を読み込むことに含まれる。
次に、作業指示装置10は、作業Nの情報を読み出し、表示装置70に出力する(S12)。作業Nは、これから行う作業である。制御部12は、ステップS12において、作業Nに対応する作業指示画像P、及び、検出用テーブルT2から作業1で動作させるセンサに関する情報(例えば、検出ポイント用センサ)を取得する。そして、制御部12は、作業Nに対応する作業指示画像Pを表示装置70に出力する。
表示装置70は、作業指示装置10から作業Nの情報を取得し、当該情報を表示する(S13)。これにより、作業者は、表示装置70を確認してから、又は、確認しつつ作業を行うことができる。なお、例えば、作業指示システム1が出力装置として出音装置を備える場合、ステップS14において、取得した情報に基づく音声が出力されてもよい。
次に、作業指示装置10は、作業Nにおけるセンサ制御情報をセンサ制御部50に出力する(S14)。具体的には、作業指示装置10は、検出用テーブルT2に基づいて当該作業Nにおいてセンシング結果を取得するセンサを特定するための情報を含むセンサ制御情報を生成し、センサ制御部50に出力する。
本実施の形態では、作業指示装置10は、作業1を例に説明すると、作業1における検出ポイント(第1領域の一例)をセンシングするためにセンサaを動作させ、かつ、それ以外の作業における検出ポイント(例えば、作業2のおける検出ポイントであり、第2領域の一例)のセンシングを停止するためにセンサ(例えば、センサb)の動作を停止することを示すセンサ制御情報を生成し、センサ制御部50に出力する。これは、第1領域における作業者の体の一部が通過するか否かの検出を有効とし、かつ、第2領域における作業者の体の一部が通過するか否かの検出を無効とすることの一例である。
センサ制御部50は、センサ制御情報を取得し、取得したセンサ制御情報に基づいてセンサ部60を制御する(S15)。本実施の形態では、センサ制御部50は、センサ制御情報に基づいて、作業Nに対応するセンサのみを動作させるようにセンサ部60を制御する。なお、センサ制御部50によるセンサ部60の制御は、これに限定されない。センサ制御部50は、作業Nに対応するセンサ以外のセンサを動作させてもよい。
センサ部60は、作業Nに対応するセンサのみ動作し(S16)、作業Nに対応する検出ポイント(領域)をセンシングしたセンシング結果をセンサ制御部50に出力する(S17)。センシング結果は、作業Nに対応するセンサが光センサ又はエリアセンサである場合、例えば、検出ポイントが遮光されたか否か、及び、遮光された回数の少なくとも一方を含む。また、センシング結果は、作業Nに対応するセンサが撮像装置である場合、画像を含む。なお、センシング結果の出力は、逐次実行されてもよいし、所定時間ごとに実行されてもよい。
センサ制御部50は、センサ部60からセンシング結果を取得し(S18)、取得したセンシング結果を解析する(S19)。センサ制御部50は、センシング結果が画像である場合、当該画像の画像解析により作業者の体の部位を検出する。体の部位は、解析結果の一例である。そして、センサ制御部50は、センシング結果及び解析結果を作業指示装置10に出力する(S20)。センシング結果及び解析結果の出力は、逐次実行されてもよいし、所定時間ごとに実行されてもよい。
なお、センサ制御部50は、センシング結果に対して解析を行わなくてもよい。センサ制御部50は、例えば、センサ部60からセンシング結果を取得し、取得したセンシング結果を作業指示装置10に出力する中継装置として機能してもよい。
また、センサ制御部50は、図5に示すステップS15において作業Nに対応するセンサ以外のセンサも動作させている場合(例えば、全てのセンサを動作させている場合)、ステップS20において、作業Nに対応するセンサ及び当該センサ以外のセンサのセンシング結果から作業Nに対応するセンサのセンシング結果のみを作業指示装置10に出力してもよい。このように、センサ制御部50は、センサ部60から取得した複数のセンサのセンシング結果の中から、作業Nに対応するセンサのセンシング結果を抽出し、作業指示装置10に出力してもよい。センサ制御部50が作業N(例えば、作業1)に対応するセンサのセンシング結果のみを作業指示装置10に出力することは、第1領域における作業者の体の一部が通過するか否かの検出を有効とし、かつ、第2領域における作業者の体の一部が通過するか否かの検出を無効とすることの一例である。
また、センサ制御部50は、センサ部60が撮像装置を有する場合、当該撮像装置から取得した画像(例えば、図3に示す画角の画像)を用いて、作業Nに対応する領域(第1領域の一例)において作業者の体の一部が通過したか否かを検出し、当該検出結果を作業指示装置10に出力してもよい。言い換えると、作業Nにおいて、作業Nに対応する領域と異なる領域(第2領域の一例)を作業者の体の一部が通過したか否かの検出結果は、作業指示装置10に出力されない。センサ制御部50が画像から作業Nに対応する領域の検出結果のみを作業指示装置10に出力することは、第1領域における作業者の体の一部が通過するか否かの検出を有効とし、かつ、第2領域における作業者の体の一部が通過するか否かの検出を無効とすることの一例である。
次に、作業指示装置10は、センサ装置40から作業Nに対応するセンシング結果及び解析結果を取得する(S21)。作業指示装置10は、取得したセンシング結果及び解析結果に基づいて、作業Nが正常に行われたか否かを判定する(S22)。当該判定においては、後述する。そして、作業指示装置10は、判定した判定結果を表示装置70に出力する(S23)。判定結果(例えば、作業Nが正常に行われたことを示す情報)は、作業内容に含まれる。本実施の形態に係る作業内容は、少なくとも判定結果を含む。
表示装置70は、判定結果を取得し、取得した判定結果を表示する(S24)。これにより、作業者に作業Nが正常に行われたか否かを知らせることができる。
作業用テーブルT1に含まれる作業手順(例えば、作業1〜作業n)の全てが終了するまで、ステップS12〜S24の処理が繰り返し実行される。なお、作業指示装置10は、ステップS22において、作業Nが正常に行われていないと判定した場合、作業Nが正常に行われていないことを示す判定結果を表示装置70に出力する。そして、作業指示装置10は、次の作業におけるステップS12以降の処理を実行しない。つまり、それ以降の作業は、行われない。
なお、上記では、作業指示装置10は、判定結果を表示装置70に直接出力する例について説明したが、作業指示装置10と表示装置70との通信を中継する中継装置(例えば、サーバ装置)に出力してもよい。作業指示装置10が当該中継装置に判定結果を出力することは、判定結果を表示装置70に出力することに含まれる。
なお、作業指示装置10は、判定結果を当該作業における作業指示画像Pに重ねて表示装置70に表示させてもよい。
次に、作業指示装置10の動作について、図6を参照しながら説明する。図6は、実施の形態に係る作業指示装置10の動作を示すフローチャートである。なお、図6に示す各ステップは、作業者に対する作業内容を表示するための表示ステップの一例である。
図6に示すように、制御部12は、作業手順の読み込みを行う(S31)。ステップS31は、図5に示すステップS11に相当する。そして、制御部12は、読み込んだ作業手順において、これから行う作業Nを作業1に設定する。つまり、制御部12は、N=1に設定する(S32)。ステップS34以降においては、主にN=1である場合について説明する。
次に、制御部12は、作業1の情報を読み出し、読み出した作業1の情報を表示装置70に出力する(S33)。具体的には、制御部12は、作業1に対応する作業指示画像Pを表示装置70に出力する。
次に、制御部12は、作業1の検出ポイントを有効に設定する(S34)。作業1の検出ポイントを有効にするとは、作業指示装置10がセンシング結果として、作業1の検出ポイントをセンシングするセンサのセンシング結果を用いて、ステップS36の判定を行うことを意味する。言い換えると、作業1の検出ポイント以外の検出ポイントをセンシングするセンサのセンシング結果を用いずに、後述べるステップS36の判定を行うことを意味する。ステップS34は、作業1の検出ポイント(第1領域の一例)における作業者の体の一部が通過するか否かの検出を有効とし、かつ、作業2などの検出ポイント(第2領域の一例)における作業者の体の一部が通過するか否かの検出を無効とすることの一例である。
具体的には、制御部12は、検出用テーブルT2に基づいて、センサ制御情報を生成し、センサ装置40に出力する。ここでのセンサ制御情報は、作業1においてセンシング結果を取得するセンサであるセンサaを特定するための情報を含んでもよい。センサ制御情報は、例えば、センサa〜センサdのうちセンサaのみを動作させる指示を含んでいてもよい。ステップS34は、図5に示すステップS13に相当する。
次に、制御部12は、センサ装置40から作業1に対する検出結果を取得する(S35)。制御部12は、例えば、検出結果として、センシング結果及び解析結果を取得する。具体的には、制御部12は、センサaのセンシング結果と、当該センシング結果における解析結果とを取得する。なお、制御部12は、少なくともセンシング結果のみを取得すればよい。以降では、制御部12は、ステップS35において、センシング結果のみを取得した例について説明する。ステップS35は、図5に示すステップS21に相当する。なお、ステップS35は、例えば、作業ごとに複数回行われてもよい。
次に、制御部12は、センシング結果に基づいて、作業者の体の一部が検出ポイントを通過したか否かを判定する(S36)。作業1に対応する検出ポイントは、第1領域の一例である。ステップS36は、図5に示すステップS22に相当する。
制御部12は、センシング結果が作業1に対応する検出ポイントで作業者の体の一部を検出したことを示す場合、作業者の体の一部が検出ポイントを通過したと判定する。制御部12は、検出ポイントを通過したと判定した場合(S36でYes)、作業1が正常に行われたことを示す情報を出力する(S37)。制御部12は、例えば、当該情報を表示装置70に出力する。ステップS37は、図5に示すステップS23に相当する。また、作業1が正常に行われたことを示す情報は、第1作業内容の一例である。
そして、制御部12は、読み出した作業手順に含まれる作業の全てが終了したか否かを判定する。具体的には、制御部12は、N=nであるか否かを判定する(S38)。制御部12は、N=nである場合(S38でYes)、処理を終了する。また、制御部12は、N=nではない場合(S38でNo)、次の作業へ進む(S39)。具体的には、制御部12は、N=n+1に設定し、ステップS33以降の処理を継続する。例えば、作業1の後に、作業2が行われる。例えば、ステップS37における作業2が正常に行われたことを示す情報は、第2作業内容の一例である。
これにより、作業N(例えば第1作業の一例)における検出ポイントにおいて、作業者の体の一部が通過したことが検出された場合に、次の作業(例えば、第2作業の一例)を行うための情報が表示装置70に出力される。言い換えると、作業Nにおける検出ポイントにおいて、作業者の体の一部が通過したことが検出されなかった場合に、次の作業を行うための情報が表示装置70に出力されない。
また、制御部12は、検出ポイントを通過していないと判定した場合(S36でNo)、さらに、所定時間経過したか否かを判定する(S40)。所定期間は、作業1を開始してからの経過時間であり、例えば、ステップS34において作業1の検出ポイントを有効に設定したときからの経過時間であってもよい。
制御部12は、所定時間経過した場合(S40でYes)、作業1が行われなかったことを示す情報を出力する(S41)。制御部12は、例えば、当該情報を表示装置70に出力する。そして、制御部12は、処理を終了する。ステップS41は、図5に示すステップS23に相当する。また、制御部12は、所定時間経過していない場合(S40でNo)、ステップS35に戻り処理を継続する。なお、作業1が行われなかったことを示す情報は、第1作業内容の一例である。
上記のように、作業指示装置10は、作業に応じた検出ポイントを有効に設定し、当該検出ポイントをセンシングセンサのセンシング結果に基づいて、作業が正常に行われたか否かを判定する。また、作業指示装置10は、作業に応じた検出ポイント以外の検出ポイントを無効に設定する。つまり、作業指示装置10は、作業に応じた検出ポイント以外の検出ポイントのセンシング結果を用いずに、上記の判定を行う。
[4.効果など]
以上説明したように、本実施の形態に係る作業指示方法(作業表示方法の一例)は、作業者の体の一部が第1領域を通過し、かつ、第1領域と異なる第2領域を通過しない作業である第1作業と、作業者の体の一部が第2領域を通過し、かつ、第1領域を通過しない作業である第2作業とを含む複数の作業を行う作業者に対して作業内容を表示するための作業表示方法である。作業表示方法は、第1作業における第1作業内容を表示するための第1表示ステップと、第2作業における第2作業内容を表示するための第2表示ステップとを含む。第1表示ステップは、第1領域における作業者の体の一部が通過するか否かの検出を有効とし、かつ、第2領域における作業者の体の一部が通過するか否かの検出を無効とし(S34)、センサ部60から取得したセンシング結果に基づいて第1領域において作業者の体の一部が検出された場合に、第1作業が正常に行われたことを示す情報を第1作業内容として表示装置70に出力する(S37)。また、第2表示ステップは、第2領域における作業者の体の一部が通過するか否かの検出を有効とし、かつ、第1領域における作業者の体の一部が通過するか否かの検出を無効とし(S34)、センサ部60から取得したセンシング結果に基づいて第2領域において作業者の体の一部が検出された場合に、第2作業が正常に行われたことを示す情報を第2作業内容として表示装置70に出力する(S37)。
なお、第1領域は、例えば、検出ポイント1であり、第2領域は、例えば、検出ポイント2である。また、第1作業は、例えば、作業1であり、第2作業は、例えば、作業2である。また、第1表示ステップは、例えば、作業1に対して実行される図6に示す各ステップであり、第2表示ステップは、作業2に対して実行される図6に示す各ステップである。
例えば、第1作業を行う場合に、第2領域における作業者の体の一部が通過するか否かの検出が有効であると、第1領域及び第2領域のそれぞれのセンシング結果に基づいて、第1作業が正常に行われたか否かが判定される。この場合、第1作業が正常に行われていたとしても、第2領域において作業者の体の一部が通過したことが検出された場合、第1作業が正常に行われなかったと判定される場合がある。つまり、誤検出される場合がある。
一方、本実施の形態に係る作業指示方法(作業表示方法の一例)は、第1作業を行う場合に、第2領域における作業者の体の一部が通過するか否かの検出を無効にするので、第1領域及び第2領域のうち第1領域のみをセンシングしたセンシング結果に基づいて、第1作業が正常に行われたか否かを判定することができる。つまり、作業表示方法は、第1作業を行う場合に、当該第1作業において通過しない第2領域におけるセンシング結果の影響を受けずに上記の判定を行うことができる。よって、本実施の形態に係る作業表示方法によれば、誤検出を抑制することができる。
また、センサ部60は、センシング結果として、第1領域及び第2領域を含む画像を撮影する撮像装置を有する。
これにより、撮像装置により撮影された画像(センシング結果)に基づいて、作業が正常に行われたか否かを判定することができる。例えば、画像の画像解析結果(例えば、作業者の体の部位、色など)を用いる場合、作業が正常に行われたか否かの判定をより正確に行うことができる。言い換えると、作業表示方法によれば、誤検出をより抑制することができる。
また、第1領域及び第2領域のそれぞれは、点状、線状、及び、面状のうち少なくとも1つで設定される。
これにより、第1領域及び第2領域が、例えば、作業又は作業者に応じた形状に設定されることで、誤検出をより抑制することができる。
また、第2作業は、第1作業の後に続けて行われる作業であり、第1表示ステップは、さらに、表示装置70に第1作業を行うための画像を表示し、第2表示ステップは、さらに、第1表示ステップにおいて、作業者の体の一部が第1領域を通過したことが検出された場合、表示装置70に第2作業を行うための画像を表示する。
これにより、第1作業が正常に行われた場合、次の作業を行うための画像が自動で表示されるので、作業効率が向上する。
また、以上説明したように、本実施の形態に係る作業指示装置10(作業表示装置の一例)は、作業者の体の一部が第1領域を通過し、かつ、第1領域と異なる第2領域を通過しない作業である第1作業と、作業者の体の一部が第2領域を通過し、かつ、第1領域を通過しない作業である第2作業とを含む複数の作業を行う作業者に対して作業内容を表示するための作業表示装置である。作業指示装置10は、第1作業が行われる場合に、第1領域における作業者の体の一部が通過するか否かの検出を有効とし、かつ、第2領域における作業者の体の一部が通過するか否かの検出を無効とする、及び、第2作業が行われる場合に、第2領域における作業者の体の一部が通過するか否かの検出を有効とし、かつ、第1領域における作業者の体の一部が通過するか否かの検出を無効とする制御部12と、第1作業が行われる場合に、センサ部60から取得したセンシング結果に基づいて第1領域において作業者の体の一部が検出されたときに、第1作業が正常に行われたことを示す情報を第1作業内容として表示装置70に出力し、かつ、第2作業が行われる場合に、センサ部60から取得したセンシング結果に基づいて第2領域において作業者の体の一部が検出されたときに、第2作業が正常に行われたことを示す情報を第2作業内容として表示装置70に出力する通信部11(出力部の一例)とを備える。
これにより、上記の作業指示方法と同様の効果を奏する。
(実施の形態の変形例1)
次に、実施の形態の変形例1に係る作業指示方法について、図7を参照しながら説明する。図7は、実施の形態の変形例1に係る作業指示装置10の動作を示すフローチャートである。なお、図7に示す各ステップは、作業者に対する作業内容を表示するための表示ステップの一例である。
なお、作業指示装置10の構成は実施の形態に係る作業指示装置10と同様であり、説明を省略する。また、図7におけるフローチャートにおいても、図6におけるフローチャートと同様の処理については、同一の符号を付し、説明を省略又は簡略する。なお、後述する実施の形態の変形例2〜4においても、同様である。
図7に示すように、制御部12は、ステップS33で作業Nの読み出しを行った後、作業1の検出ポイント及び禁止ポイントを有効に設定する(S134)。作業1の検出ポイント及び禁止ポイントを有効にするとは、作業指示装置10がセンシング結果として、作業1の検出ポイント及び禁止ポイントをセンシングするセンサのセンシング結果を用いて、後述するステップS136及びS142の判定を行うことを意味する。ステップS134は、作業1の検出ポイント(第1領域の一例)における作業者の体の一部が通過するか否かの検出を有効とし、かつ、作業2などの検出ポイント(第2領域の一例)における作業者の体の一部が通過するか否かの検出を無効とし、さらに、作業1の禁止ポイント(第3領域の一例)における作業者の体の一部が通過するか否かの検出を有効とすることの一例である。
具体的には、制御部12は、検出用テーブルT2に基づいて、センサ制御情報を生成し、センサ装置40に出力する。ここでのセンサ制御情報は、作業1に対応するセンサであるセンサa及びセンサcのそれぞれのセンシング結果を作業指示装置10に出力する指示を含んでもよい。センサ制御情報は、例えば、センサa〜センサdのうちセンサa及びセンサcのみを動作させる指示を含んでいてもよい。ステップS134は、図5に示すステップS13に相当する。
次に、制御部12は、センサ装置40から作業1に対する検出結果を取得する(S135)。制御部12は、例えば、センシング結果及び解析結果を取得する。具体的には、制御部12は、センサa及びセンサcのそれぞれのセンシング結果と、当該センシング結果における解析結果とを取得する。なお、制御部12は、少なくともセンシング結果のみを取得すればよい。以降では、制御部12は、ステップS135において、センシング結果のみを取得した例について説明する。ステップS135は、図5に示すステップS21に相当する。なお、ステップS135は、例えば、作業ごとに複数回行われてもよい。
次に、制御部12は、センシング結果に基づいて、作業者の体の一部が検出ポイントを通過したか否かを判定する(S36)。具合的には、制御部12は、センサaのセンシング結果に基づいて、作業者の体の一部が検出ポイントを通過したか否かを判定する。作業1に対応する検出ポイントは、第1領域の一例である。
制御部12は、センサaのセンシング結果が作業1に対応する検出ポイントで作業者の体の一部を検出したことを示す場合、作業者の体の一部が検出ポイントを通過したと判定する。そして、制御部12は、検出ポイントを通過したと判定した場合(S36でYes)、さらに、センシング結果に基づいて、作業者の体の一部が禁止ポイントを通過したか否かを判定する(S142)。
具合的には、制御部12は、センサcのセンシング結果に基づいて、作業者の体の一部が禁止ポイントを通過したか否かを判定する。作業1に対応する禁止ポイントは、第3領域の一例である。なお、ステップS36における体の一部と、ステップS142における体の一部とは、同一の部位であってもよいし、互いに異なる部位であってもよい。ステップS36及びS142は、図5に示すステップS22に相当する。
制御部12は、センサcのセンシング結果が作業1に対応する禁止ポイントで作業者の体の一部を検出していないことを示す場合、禁止ポイントを通過していないと判定する。制御部12は、禁止ポイントを通過していないと判定した場合(S142でNo)、作業1が正常に行われたことを示す情報を出力する(S37)。制御部12は、例えば、当該情報を表示装置70に出力する。
また、制御部12は、禁止ポイントを通過したと判定した場合(S142でYes)、作業1が正常に行われなかったことを示す情報を出力する(S143)。そして、制御部12は、処理を終了する。なお、ステップS37、S41、及び、S143は、図5に示すステップS23に相当する。また、作業1が正常に行われなかったことを示す情報は、第1作業内容の一例である。
上記のように、作業指示装置10は、作業に応じた検出ポイント及び禁止ポイントを有効に設定し、当該検出ポイントをセンシングするセンサ、及び、当該禁止ポイントをセンシングするセンサのみのセンシング結果に基づいて、作業が正常に行われたか否かを判定する。また、作業指示装置10は、作業に応じた検出ポイント及び禁止ポイント以外の検出ポイントを無効に設定する。
なお、図2Bに示すように、禁止ポイント用センサが設定されていない作業(例えば、作業2など)においては、ステップS142の処理は行われなくてもよい。この場合、ステップS36でYesであった場合、ステップS37に進む。制御部12は、例えば、ステップS36でYesであった場合、検出用テーブルT2に基づいて(例えば、当該作業において禁止ポイント用センサが設定されているか否かに基づいて)、ステップS142の判定処理を実行するか否かの判定を行ってもよい。
以上説明したように、本変形例に係る作業指示方法(作業表示方法の一例)は、第1領域及び第2領域と異なる第3領域であって、第1作業において作業者の体の一部の通過が禁止されている第3領域を含み、第1表示ステップは、さらに、第3領域における作業者の体の一部が通過するか否かの検出を有効とし(S134)、センサ部60から取得したセンシング結果に基づいて第3領域において作業者の体の一部が検出されていない場合(S142でNo)に、第1作業が正常に行われたことを示す情報を第1作業内容として表示装置70に出力する(S37)。
これにより、作業が正常に行われたか否かの判定を、さらに、作業者の体の一部が禁止ポイントを通過したか否かに基づいて行うことができる。例えば、第1領域及び第3領域の双方において、作業者の体の一部が検出された場合、作業者は、誤った作業を行っている(例えば、誤った部品を取っている)可能性がある。本変形例に係る作業表示方法によれば、作業者の体の一部が第3領域を通過しなかった場合、つまり誤った作業を行っている可能性がない場合に、作業が正常に行われたと判定する。よって、作業が正常に行われたか否かをより正確に判定することができる。
また、第1表示ステップは、さらに、第3領域において作業者の体の一部が検出された場合(S142でYes)に、第1作業が正常に行われなかったことを示す情報を第1作業内容として表示装置70に出力する(S143)。
これにより、作業者に作業が正常に行われなかったことを知らせることができる。また、作業が正常に行われなかったことを示す情報に、禁止ポイントを通過したことを示す情報が含まれる場合、作業者は体の一部が禁止ポイントを通過したことにより作業が正常に行われなかったと判定されたことを知ることができる。例えば、禁止ポイントが作業で用いる部品と類似する部品を取るために通過するポイントである場合、作業者は、部品の取り間違いをしていないかを確認することができる。
(実施の形態の変形例2)
次に、実施の形態の変形例2に係る作業指示方法について、図8を参照しながら説明する。図8は、実施の形態の変形例2に係る作業指示装置10の動作を示すフローチャートである。図8に示すフローチャートは、例えば、センサ部60が撮像装置を有する場合に行われる。なお、図8に示す各ステップは、作業者に対する作業内容を表示するための表示ステップの一例である。
図8に示すように、制御部12は、ステップS34で作業Nの検出ポイントを有効に設定した後、センサ装置40から作業1に対する検出結果を取得する(S235)。制御部12は、例えば、センシング結果及び解析結果を取得する。ここでの解析結果は、例えば、作業者の体の部位を検出した結果である。つまり、制御部12は、ステップS235において、解析結果として作業者の体の部位に関する情報を取得する。当該情報は、作業者の体の部位であって、センサaの検出ポイントを通過した部位に関する情報を含んでいればよい。ステップS235は、図5に示すステップS21に相当する。なお、ステップS235は、例えば、作業ごとに複数回行われてもよい。また、センシング結果の取得と、解析結果の取得とは、同じタイミングで行われてもよいし、互いに異なるタイミングで行われてもよい。
なお、ステップS235において、制御部12は、さらに、センサcのセンシング結果と、当該センシング結果における解析結果とを取得してもよい。
次に、制御部12は、センシング結果及び解析結果に基づいて、作業者の体の所定の部位が検出ポイントを通過したか否かを判定する(S236)。具合的には、制御部12は、センサaのセンシング結果及び解析結果と検出用テーブルT2とに基づいて、作業者の体の所定の部位が作業Nに対応する検出ポイントを通過したか否かを判定する。図2Bに示すように、作業1に対応する所定の部位は、右手であり、第1作業に関連付けられた部位の一例である。
制御部12は、センサaのセンシング結果及び解析結果が作業1に対応する検出ポイントで作業者の体の所定の部位を検出したことを示す場合、所定の部位が検出ポイントを通過したと判定する。そして、制御部12は、所定の部位が検出ポイントを通過したと判定した場合(S236でYes)、S37に進み、以降の処理を実行する。また、制御部12は、所定の部位が検出ポイントを通過していないと判定した場合(S236でNo)、ステップS40に進み、以降の処理を実行する。
上記のように、作業指示装置10は、作業に応じた検出ポイントを有効に設定し、当該検出ポイントにおいて当該作業に対応する所定の部位が通過したか否かを示す検出結果に基づいて作業が正常に行われたか否かを判定するための制御を行う。
なお、センサ制御部50が作業者の体の部位を検出(認識)する方法は特に限定されないが、例えば、センシング結果(例えば、画像)から作業者の姿勢を推定することにより行われてもよい。センサ制御部50は、例えば、画像から作業者の複数の部位を認識する。
なお、図2Bに示すように、検出部位が設定されていない作業(例えば、作業2など)においては、ステップS236で検出ポイントを通過したか否かのみの判定が行われてもよい。この場合、作業者の体の一部が検出ポイントを通過した場合(S236でYes)、ステップS37に進む。制御部12は、例えば、検出用テーブルT2に基づいて(例えば、当該作業において検出部位が設定されているか否かに基づいて)、ステップS236において、所定の部位であるか否かの判定を実行するか否かを判定してもよい。
以上説明したように、本変形例に係る作業指示方法(作業表示方法の一例)の第1表示ステップは、さらに、第1表示ステップにおいて撮影された画像から作業者の体の複数の部位を検出した検出結果に基づいて、第1領域において検出された作業者の体の部位が第1作業に関連付けられた部位である場合(S236でYes)に、第1作業が正常に行われたことを示す情報を第1作業内容とし表示装置70に出力する(S37)。また、第2表示ステップは、さらに、第2表示ステップにおいて撮影された画像から作業者の体の複数の部位を検出した検出結果に基づいて、第2領域において検出された作業者の体の部位が第2作業に関連付けられた部位である場合(S236でYes)に、第2作業が正常に行われたことを示す情報を第2作業内容として表示装置70に出力する(S37)。
これにより、第1作業が所定の部位(例えば、右手など)を用いて行う作業である場合に、第1領域において当該所定の部位が検出されたときに当該作業が正常に行われたと判定することができる。よって、作業が正常に行われたか否かをより正確に判定することができる。また、例えば、第1作業に禁止ポイント及び当該禁止ポイントを通過する部位が設定されている場合、禁止ポイントにおいて当該部位が通過しなかった(当該部位以外の部位は通過した)ときでも作業が正常に行われたと判定されるので、誤検出をより抑制することができる。
(実施の形態の変形例3)
次に、実施の形態の変形例3に係る作業指示方法について、図9を参照しながら説明する。図9は、実施の形態の変形例3に係る作業指示装置10の動作を示すフローチャートである。なお、図9に示す各ステップは、作業者に対する作業内容を表示するための表示ステップの一例である。
図9に示すように、制御部12は、ステップS34で作業Nの検出ポイントを有効に設定した後、センサ装置40から作業1に対する検出結果を取得する(S335)。制御部12は、例えば、センシング結果及び解析結果を取得する。具体的には、制御部12は、センサaのセンシング結果と、当該センシング結果における解析結果とを取得する。ここでの解析結果は、例えば、検出ポイントを通過した作業者の体の一部の色、又は、当該作業において作業者が用いた部品の色に関する情報である。つまり、制御部12は、ステップS335において、解析結果として作業者の体の一部又は部品の色に関する情報を取得する。ステップS335は、図5に示すステップS21に相当する。
なお、ステップS335において、制御部12は、さらに、センサcのセンシング結果と、当該センシング結果における解析結果とを取得してもよいし、作業者の体の部位に関する情報を取得してもよい。
次に、制御部12は、センシング結果に基づいて、作業者の体の一部が検出ポイントを通過したか否かを判定する(S36)。制御部12は、検出ポイントを通過したと判定した場合(S36でYes)、さらに、解析結果に基づいて、所定の色を検出したか否かを判定する(S342)。具合的には、制御部12は、センサaのセンシング結果に対する解析結果と検出用テーブルT2とに基づいて、所定の色を検出したか否かを判定する。
作業2を例に説明すると、制御部12は、検出色が作業者の体の一部の色である場合、作業2に対応する検出ポイント(第1領域の一例)を通過した作業者の体の一部の色が検出用テーブルT2に示す検出色と同じである場合に、所定の色を検出したと判定する。また、制御部12は、検出色が作業2において用いる部品の色である場合、所定の位置に配置されたビスBの色が検出用テーブルT2に示す検出色と同じである場合に、所定の色を検出したと判定する。ステップS36及びS342は、図5に示すステップS22に相当する。
制御部12は、所定の色を検出した場合(S342でYes)、ステップS37に進み、以降の処理を実行する。また、制御部12は、所定の色を検出しなかった場合(S342でNo)、作業1が正常に行われなかったことを示す情報を出力する(S343)。そして、制御部12は、処理を終了する。なお、ステップS37、S41、及び、S343は、図5に示すステップS23に相当する。
上記のように、作業指示装置10は、作業に応じた検出ポイントを通過したか否か、及び、所定の色を検出したか否かにより、作業が正常に行われたか否かを判定するための制御を行う。
なお、図2Bに示すように、検出色が設定されていない作業(例えば、作業1など)においては、ステップS36で検出ポイントを通過したか否かのみの判定が行われてもよい。この場合、検出ポイントを通過した場合(S36でYes)、ステップS37に進む。制御部12は、例えば、検出用テーブルT2に基づいて(例えば、当該作業において検出色が設定されているか否かに基づいて)、ステップS342の判定処理を実行するか否かの判定を行ってもよい。
上記のように、作業指示装置10は、作業に応じた検出ポイントを有効に設定し、当該検出ポイントにおいて当該作業に対応する所定の色が検出された否かに基づいて作業が正常に行われたか否かを判定するための制御を行う。
以上説明したように、本変形例に係る作業指示方法(作業表示方法の一例)における画像は、第1領域及び第2領域における色に関する情報を含む。
これにより、色の情報を用いて作業が正常に行われたか否かを判定することができるので、より正確に上記判定を行うことができる。また、例えば、禁止ポイントが設定されている場合に、禁止ポイントにおいて所定の色が検出されなかった場合に作業が正常に行われたと判定されることで、誤検出をより抑制することができる。
また、色に関する情報は、作業者の体の一部の色を含む。
これにより、例えば、作業に対応する作業者の体の部位以外の部位が当該検出ポイントを通過したときに、部位の色により検出することができる。例えば、作業者が手と腕とで互いに異なる色の着衣を身に付けているときなどに、上記検出を行うことができる。よって、作業が正常に行われたか否かをさらに正確に判定することができる。
また、色に関する情報は、第1作業及び第2作業の少なくとも一方において用いられる部品の色を含む。
これにより、例えば、作業者が作業において誤った部品を取った場合に、部品の色により検出することができる。よって、作業が正常に行われたか否かをさらに正確に判定することができる。
(実施の形態の変形例4)
次に、実施の形態の変形例4に係る作業指示方法について、図10を参照しながら説明する。図10は、実施の形態の変形例4に係る作業指示装置10の動作を示すフローチャートである。図10に示すフローチャートは、例えば、センサ部60が撮像装置を有する場合に行われる。なお、図10に示す各ステップは、作業者に対する作業内容を表示するための表示ステップの一例である。
図10に示すように、制御部12は、ステップS34で作業Nの検出ポイントを有効に設定した後、センサ装置40から作業Nに対する検出結果を取得する(S435)。制御部12は、例えば、センシング結果及び解析結果を取得する。具体的には、制御部12は、センサaのセンシング結果と、当該センシング結果における解析結果とを取得する。ここでの解析結果は、例えば、検出ポイントが面状である場合、面状の領域における作業者の体の一部の専有面積に関する情報を含んでいてもよい。なお、検出ポイントの形状は、例えば、センサ部60が撮像装置を有する場合、当該撮像装置の撮影方向から見たときの形状である。
専有面積に関する情報は、例えば、面状の領域の面積に対する作業者の体の一部が通過した面積の割合である専有割合を含んでもよい。つまり、制御部12は、ステップS435において、解析結果として専有割合を取得する。ステップS435は、図5に示すステップS21に相当する。
次に、制御部12は、センシング結果に基づいて、作業者の体の一部が検出ポイントを通過したか否かを判定する(S36)。制御部12は、検出ポイントを通過したと判定した場合(S36でYes)、さらに、検出ポイントの形状が面状であるか否かを判定する(S442)。制御部12は、例えば、検出用テーブルT2に基づいて、当該作業の検出ポイントの形状が面状であるか否かを判定してもよい。
制御部12は、当該作業における検出ポイントが面状ではないと判定した場合(S442でNo)、ステップS37に進み、以降の処理を実行する。また、制御部12は、当該作業における検出ポイントが面状であると判定した場合(S442でYes)、さらに、専有面積が閾値以上であるか否かを判定する(S443)。制御部12は、例えば、専有割合と検出用テーブルT2とに基づいて、ステップS443の判定処理を実行する。
作業4を例に説明すると、ステップS435で取得した解析結果に含まれる専有割合が、検出用テーブルT2に含まれる閾値以上(図2Bの例では、80%以上)である場合(S443でYes)、ステップS37に進み、以降の処理を実行する。また、ステップS435で取得した解析結果に含まれる専有割合が、検出用テーブルT2に含まれる閾値より小さい(図2Bの例では、80%より小さい)場合(S443でNo)、作業4が正常に行われなかったことを示す情報を出力する(S444)。そして、制御部12は、処理を終了する。なお、ステップS37、S41、及び、S444は、図5に示すステップS23に相当する。
上記のように、作業指示装置10は、作業に応じた検出ポイントを有効に設定し、当該検出ポイントの形状が面状である場合、さらに当該検出ポイントにおける作業者の体の一部の専有面積に基づいて作業が正常に行われたか否かを判定するための制御を行う。
これにより、制御部12は、例えば、複数の作業者ごとに体の一部の動きにバラつきがある場合であっても、検出ポイントを面状とすることで、当該バラつきの影響を抑制しつつ、作業者の体の一部が当該検出ポイントを通過したか否かを判定することができる。
(その他の実施の形態)
以上、実施の形態及び各変形例(以降において、実施の形態等とも記載する)について説明したが、本発明は、このような実施の形態等に限定されるものではない。
例えば、上記実施の形態等では、1つの作業に対する検出ポイントが1つである例について説明したが、検出ポイントは複数あってもよい。また、禁止ポイントも同様であり、1つの作業に複数の禁止ポイントがあってもよい。
また、上記実施の形態等では、禁止ポイントには、検出ポイントのうち現在の作業以外の検出ポイントが設定される例について説明したが、これに限定されない。禁止ポイントは、検出ポイントとは別に設定されてもよい。つまり、禁止ポイントと検出ポイントとは、互いに異なる領域であってもよい。
また、上記実施の形態等における作業指示装置10の動作(図6〜図10に示す動作)は、検出用テーブルT2に含まれる情報に基づいて、作業ごとに決定されてもよい。例えば、作業1においては、禁止ポイント用センサの情報が含まれるので、図7に示す判定処理(S36以降の処理)が実行され、作業2においては、検出色の情報が含まれているので、図9に示す判定処理(S36以降の処理)が実行されてもよい。
また、上記実施の形態等では、センサ制御部50がセンシング結果に対して解析処理を行う例について説明したが、作業指示装置10の制御部12が当該解析処理を行ってもよい。
また、上記実施の形態等では、作業指示装置10は、読み出した作業Nの情報を表示装置70に出力する(例えば、図6に示すS33を参照)例について説明したが、これに限定されない。作業指示装置10は、作業Nに対応する作業指示画像Pを表示装置70に出力しなくてもよい。
また、上記実施の形態等では、作業指示装置10と接続される表示装置70が1台である例について説明したが、これに限定されない。例えば、作業者が作業1〜4のそれぞれを異なる作業台等で行う場合、作業台のそれぞれに表示装置70が配置されていてもよい。
また、上記実施の形態等では、作業者が行う作業は、工具(例えば、ドライバ)を用いる作業と、工具を用いない作業とを含む例について説明したが、これに限定されない。作業者が行う作業は、例えば、工具を用いない作業のみであってもよい。
また、上記実施の形態等では、工具はドライバである例について説明したが、これに限定されない。工具は、作業指示装置10と通信可能に接続され、作業指示装置10からの制御情報により制御可能なものであればよい。工具は、例えば、ドライバ以外の工具(例えば、電動工具)であってもよいし、治具(例えば、検査治具など)であってもよい。
また、図1に示すブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを1つの機能ブロックとして実現したり、1つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
また、上記実施の形態等では、作業指示装置及びセンサ装置は、単一の装置で実現されていたが、互いに接続された複数の装置で実現されてもよい。
また、上記実施の形態等における作業指示システムが備える装置間の通信方法については特に限定されるものではない。装置間では、無線通信が行われてもよいし、有線通信が行われてもよい。
また、上記実施の形態等における作業指示装置が備える構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。例えば、作業指示装置は、制御部の処理部を有するシステムLSIから構成されてもよい。
システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM(Read Only Memory)、RAM(Random Access Memory)などを含んで構成されるコンピュータシステムである。ROMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。
なお、ここでは、システムLSIとしたが、集積度の違いにより、IC、LSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)、あるいはLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
また、本発明の一態様は、作業指示方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムであってもよい。また、本発明の一態様は、そのようなコンピュータプログラムが記録された、コンピュータ読み取り可能な非一時的な記録媒体であってもよい。
なお、上記実施の形態等において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
その他、実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。