以下、図面を参照して、本発明の実施形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
図1は、実施形態の製造原価算出予測システムの構成を説明するための説明図である。図2は、実施形態の製造原価算出予測システムの機能構成を説明するためのブロック図である。なお、図1に描かれている設備、作業テーブル、および作業者の大きさ、向き、配置などは、本実施形態を説明するための一例であり、実際の作業現場がこのような構成に限定されるものではない。また、作業現場とは、製品を製造する設備などが配置された作業場所を含む。以下では、単に「現場」ということもある。
製造原価算出予測システム1は、サーバー10と、サーバー10に接続されたカメラ20と、サーバー10に接続されたPC(Personal Computer)60と、作業者識別装置70とを有する。サーバー10の機能については後述する。
カメラ20は、設備50の信号灯51、および作業者の作業範囲を撮影範囲として含む。本実施形態においては、カメラ20の撮影範囲には、設備50の信号灯51のほかに、設備50の操作パネル52、扉53、さらに作業テーブル55が含まれる。作業者の作業範囲は、作業者が設備50および作業テーブル55に対して作業を行うために必要な範囲である。カメラ20は、信号灯51や、操作パネル52、扉53の状況を検出して設備50の稼働実績の情報を取得する。このため、カメラ20は設備センサーとなる。
設備50は、どのような設備50でもよく、たとえば、数値制御加工機などの自動加工機である。また、以下の説明において、生産とは、自動加工機による物品の加工を含む。
カメラ20は、たとえば、設備50と作業テーブル55を含めて、作業者が作業する範囲を上方から撮影する位置に設置されている。作業者の上方から撮影することで、撮影された画像において作業者が腕を出している方向が認識される。このため本実施形態においては、作業者が腕を出している方向から作業者の向きが認識される(詳細後述)。さらに、カメラ20は、設備50の操作パネル52を撮影できる位置に設置されることがより好ましい。特に、カメラ20は、操作パネル52にあるディスプレイを撮影できる位置に設置されることがより好ましい。これらのことから、本実施形態においては、カメラ20を、設備50の斜め上方に設置し、作業者を上から撮影できるようにすると共に、操作パネル52も撮影できるようにした。操作パネル52に表示される内容からは、信号灯51の情報に加えて、設備50の状態をより詳しく認識することができる。
カメラ20は、動画または連続した静止画を撮影できるものであれば特に限定されない。具体的には、カメラ20として、たとえば、一般的なムービーカメラやスチールカメラを用いることができる。カメラ20は、後述するように、サーバー10と通信するためのインターフェース(不図示)を備えている。カメラ20からは、画像データが出力されて、サーバー10へ送信される。画像データは、動画または連続した静止画を示すデータであるが、本実施形態おいては、動画を撮影するものとした。なお、連続した静止画を撮影する場合は、撮影間隔は、作業状態を認識できる程度の時間間隔とする。この時間間隔があまり開いてしまうと作業状態の認識が難しくなる。作業内容にもよるが、たとえば撮影間隔を10秒以下とすることが好ましい。
また、カメラ20は、1台のカメラ20で作業範囲全体を撮影できるように、たとえば、広角レンズや魚眼レンズを備えることが好ましい。広角レンズや魚眼レンズを備えた場合は、撮影された画像にゆがみが生じる場合がある。広角レンズや魚眼レンズを備えた場合は、カメラ20側またはサーバー10側、あるいは、これらとは別に、広角レンズや魚眼レンズ特有の画像のゆがみを補正する画像補正部を設けることが好ましい。広角レンズや魚眼レンズを備えた場合は、画像補正部によって画像補正を行った画像データを用いることで、画像処理を効率的に行うことができる。本実施形態においては、サーバー10が画像補正部118の機能を有する(図2参照)。画像補正部118の機能は、ソフトウェアによって実現することができる。
PC60は、サーバー10と接続されたコンピューターであり、たとえば、作業現場に設けられたコンピューターや、遠隔地にある工程管理部門に設けられたコンピューターである。また、PC60は、たとえば、工程管理者または現場の作業者が持つタブレット、スマートフォンなどの携帯端末であってもよい。PC60は、原価計算に必要な情報の入力に使用される。またPC60は、原価計算の結果、および原価予測の結果などの表示に使用される。
作業者識別装置70は、たとえば、RFID(Radio Frequency Identifier)システムが用いられる。作業現場には、RFIDシステムの読み取り装置71が設置される。作業者は、RFIDシステムの無線タグ72を携帯している。RFIDシステムは、無線タグ72が読み取り装置71から所定の範囲に入ることで、その無線タグ72が読み取られる。本実施形態では、ユニークな番号や記号が記憶された無線タグ72を作業者に携帯させることで、読み取られた無線タグ72の番号または記号から、作業者が識別される。RFIDシステムにより読み取られた作業者の識別情報は、サーバー10へ送られる。
また、作業者識別装置70は、顔認識システムを用いることもできる。顔認識システムを用いる場合には、作業者の顔を撮影できる位置にカメラが設置される。この場合のカメラは、設備50の稼働状態を認識するためのカメラ20と共用してもよい。
サーバー10は、図2に示すように、演算部11、記憶部12、およびインターフェース13(I/F)を有する。
演算部11は、サーバー10において、各種の演算処理を実行するプロセッサーを有す。プロセッサーは、CPU(Central Processing Unit)である。プロセッサーは、CPUだけでなく、さらにGPU(Graphics Processing Unit)を有してもよい。
記憶部12は、サーバー10に備えられた記憶装置であり、たとえば、ROM(Read Only Memory)、RAM(Random Access Memory)およびHDD(Hard Disk Drive)などが適宜組み合わされて構成されている。ROMは、各種プログラムおよび各種データを保存する読み取り専用の記憶装置である。RAMは、作業領域として一時的にプログラムおよびデータを記憶する高速のランダムアクセス記憶装置である。HDDは、各種プログラムや各種データを保存する大容量のランダムアクセス記憶装置である。記憶部12は、その他の記憶装置であってもよい。
インターフェース13は、カメラ20からの画像データの入力を受信する。また、インターフェース13は、PC60との間でデータを送受信するためにも使用される。また、インターフェース13は、クランプメーター(後述)などからのデータ入力のためにも使用される。また、インターフェース13は読み取り装置71から作業者識別情報を受信する。
インターフェース13は、カメラ20、PC60、クランプメーター、およびRFIDシステムの読み取り装置71などに設けられているインターフェース13に対応している。インターフェース13は、具体的には、たとえば、イーサネット(登録商標)、SATA、PCI Express、USBなどの有線通信インターフェース、IEEE1394などの規格によるBluetooth(登録商標)、IEEE802.11や、その他の無線通信インターフェースなどである。
サーバー10へ入力される画像データは、本実施形態おいては、デジタルデータであるが、これに限定されない。仮に、カメラ20が出力する画像データが、アナログデータの場合は、デジタルデータに変換するための装置をカメラ20やサーバー10、またはカメラ20とサーバー10の間に設ければよい。
サーバー10がアナログデータを受信する場合は、アナログ回線用のインターフェース13が備えられる。
サーバー10は、一般的なコンピューターであり、各機能はサーバー10となるコンピューターが各部の機能を実施するためのプログラムを実行することで達成される。
サーバー10の各部の機能をさらに説明する。
演算部11は、その機能として、現場情報取得部110、入力情報取得部115、および原価算出部116を有する。現場情報取得部110は、さらに、設備状態認識部111、作業認識部112、物品認識部113、分析処理部114、を有する。
演算部11は、カメラ20から受信した画像データ122を記憶部12に記憶させる。演算部11は、現場情報取得部110および入力情報取得部115が取得した原価計算に必要な情報を原価データ123として記憶部12に記憶させる。
現場情報取得部110は、製品を製造する現場からの情報を収集する。現場情報取得部110内の各部の機能の詳細は後述する。
入力情報取得部115は、PC60から入力された情報を取得する。
演算部11は、原価データ123に記憶させた原価計算に必要な情報に基づき原価計算を実行する。演算部11は、生産された製品の原価データ123をもとに、生産予定の製品の原価を予測する。演算部11は、生産された製品の原価、生産予定の製品の原価予測をデータベース124として記憶部12に記憶させる。
記憶部12に記憶させる期間は、たとえば、数時間から数日、数週間など、必要に応じて選定される。
現場情報取得部110の各部の機能を説明する。
設備状態認識部111は、画像データ122から、設備50に設けられている信号灯51の色を認識して、設備50の稼働状態を認識する。
設備状態認識部111は、画像データ122が記憶部12に記憶されるのとほぼ同時に画像データ122を読み出してリアルタイムに処理する。リアルタイムに処理されることで、現在の稼働状態が判断される。
信号灯51は、積層信号灯、シグナルタワーなどとも称されており、たとえば、設備50の稼働状態に合わせて発光する緑色、黄色、赤色の3色のランプを有する。信号灯51の各色は、たとえば以下のような状態を示している。緑色は、設備50が正常に稼働中であるという状態を示す。黄色は正常に一時停止中であるという状態を示す。赤色は不具合発生などによる異常停止中であるという状態を示す。また、信号灯51が消灯している場合は、設備50が正常に停止しているという状態を示す。作業工程においては、通常、加工する物品を設備50に設置したり、設備50から取り出したりするときは、安全のために設備50の電源をオフにする。このような場合、信号灯51は、消灯する。なお、設備50によっては、電源をオフにしなくても物品の設置や取り出しができるものがある。このような設備50の場合は、物品の設置や取り出しの際、信号灯51は黄色の点灯や点滅となる。また、計画的に設備50を停止させているときも、信号灯51は、消灯する。このような信号灯51の発光色と、その時の設備50の状態は、任意に設定可能であり、上記の組み合わせに限定されない。
設備状態認識部111は、画像データ122の画像において、信号灯51が写っている所定領域をあらかじめ設定しておいて、その所定領域内の色変化から設備50の稼働状態を認識する。設備状態認識部111は、信号灯51の発光色ではなく、発光位置から設備50の稼働状態を認識してもよい。信号灯51は、たとえば、上から赤色、黄色、緑色の順となっている。
なお、信号灯51の発光色は、カメラ20による画像データ122からの認識に代えて、たとえば、別途設けられた光センサー(不図示)からの信号により認識するようにしてもよい。光センサーは、信号灯51の発光色を検知し、検知した発光色に応じた信号をサーバー10(設備状態認識部)へ出力する。この場合、光センサーは、設備センサーとなる。
また、設備50が、設備50とは別に設けられている設備制御装置によって制御されている場合は、設備制御装置からの信号により設備50の稼働、非稼働を検出するようにしてもよい。その場合は、設備制御装置が設備センサーとなる。設備制御装置は、たとえば、シーケンサー、PLC(programmable logic controller)などと称されているものがある。また、通常のPCが設備50とは別に設けられていて設備50の制御を行っている場合もあり、その場合は、PCが設備制御装置となる。
また、設備状態認識部111は、操作パネル52の表示から設備50の稼働状態を認識することもできる。この場合、設備状態認識部111は、画像において、操作パネル52が写っている領域をあらかじめ設定しておいて、その領域内の文字を認識する。本実施形態おいては、カメラ20、設備50ともに固定物であるので、画像が動画であっても、操作パネル52が写っている領域が移動することはない。たとえば、設備50が自動加工機である場合、操作パネル52に表示される文字は、それほど種類が多いものではない。操作パネル52に表示される文字は、たとえば、時間であったり、現在の状態を示すコード番号などであったりする。これらは、英数字による略号や数値の場合が多い。したがって、設備状態認識部111は、英数字を文字認識できるだけでもよい。もちろん、設備状態認識部111は、英数字に限らず、ひらがな、カタカナ、漢字などを画像から文字認識できるようにしてもよい。
たとえば、信号灯51が緑色で、操作パネル52に数字が表示されている場合は、当該数字は、作業終了までの時間、または作業開始からの経過時間であると認識される。作業終了までの時間か、経過時間かは、あらかじめ設定しておいてもよいし、または、数値が時間経過に伴い減る場合は作業終了までの時間、増える場合は経過時間などと判断されてもよい。また、信号灯51が黄色や赤色で、操作パネル52に数字が表示されている場合は、停止している理由を示すコードが表示されているものと認識される。たとえば、信号灯51が黄色の場合に表示されているコードから、設備50の加工途中での確認のための停止、あるいは加工終了による停止などであると認識されてもよい。また、信号灯51が赤色の場合には、異常を示すコードが表示されていると認識される。記憶部12には、これらのコードの数値とそれに対応する理由が記憶される。設備状態認識部111は、読み取ったコードと、記憶部12に記憶されている理由を対比することで、停止理由を判断する。判断された停止理由は、たとえば、工程管理用のコンピューターなど(不図示)へ送信されることで、工程管理者に設備50の停止と、その理由を知らせることができる。
また、たとえば、自動工作機においては、操作パネル52には、電圧値や電流値、そのほかの数値が表示される。このような設備50においては、電圧値や電流値の表示(数値)を文字認識することで、設備50の稼働状態として、現在実行中の加工の状態が細かく認識される。
そのほかの態様としては、たとえば、単純に、操作パネル52が写っている画像が工程管理用のコンピューターなどへ送信されてもよい。この場合は、操作パネル52の表示から文字認識されなくてもよい。また、この場合は、あらかじめ操作パネル52の領域が工程管理用のコンピューターにおいて拡大表示されるように設定されてもよい。
さらに、設備状態認識部111は、操作パネル52を監視することで、操作パネル52での入力操作なども認識することができる。
このように、本実施形態おいては、信号灯51の色だけでなく、操作パネル52の表示を読み取ることで、より細かな設備50の稼働状態を認識することができる。
また、設備状態認識部111は、設備50の扉53の位置から、扉53の開閉状態を認識して、設備50の稼働状態を認識することもできる。扉53の開閉状態は、たとえば、画像から扉53の特徴を抽出して、その特徴となっている部分の位置が、時系列に並んだ画像のフレーム間で異なることによって認識される。扉53の特徴とは、画像から扉53を識別するための特徴量である。このような特徴量は、たとえば、扉53全体でもよいし、扉53と共に移動する付属物(たとえば、取っ手など)などでもよい。特徴量はあらかじめ記憶部12に記憶させておいて、画像から扉53を識別する際に使用する。
具体的には、たとえば、扉53が開いていれば設備50に対して物品を出し入れしたと認識される。また、信号灯51との組み合わせとしては、たとえば、扉53が開く前まで消灯していれば、扉53が開かれたときに物品が設備50に設置されたと認識される。また、扉53が開く前まで緑色で、その後、消灯に変化して、扉53が開かれたときには、物品が設備50から取り出されたと認識される。また、黄色のときに扉53が開かれたときには、加工中の物品が確認されていると認識される。
このように、本実施形態においては、さらに扉53の開閉状態を認識することで、いっそう細かく設備50の稼働状態を認識することができる。
また、設備状態認識部111は、設備50が使用する電力使用量を取得するようにしてもよい。電力使用量は、たとえば、電流計や電圧計が設備50に備えられている場合は、それらから電流値や電圧値を取得する。電流計や電圧計が設備50に備えられていない場合は、たとえば、設備50の配線にクランプメーター58を取り付けて取得することとしてもよい。クランプメーター58は、周知のとおり電流計である。通常、設備稼働中の電圧変動は少ないため、電流の測定のみで、電圧の測定は省略してもよい。クランプメーター58を用いて、設備稼働中の電流値を測定することで、より正確な設備50の電力消費量が取得される。また、クランプメーター58を用いた場合は、測定された電流値が所定値以上となることで設備50が稼働していることがわかる。所定値としては、たとえば、設備50が稼働中のときの電流値、または設備稼働中の電流値よりわずかに低い電流値を設定しておくとよい。この場合、クランプメーター58は、設備50の稼働情報を検出するための設備センサー(クランプセンサー)となる。
なお、電力消費量は、クランプメーター58を用いることなく取得することもできる。前述したように、設備50の稼働、非稼働は信号灯51の発光色から取得できる。一方、設備50の消費電力は、設備50や加工内容にもよるが、稼働中に変動することは少ない。したがって、電力消費量は、信号灯51から得られた設備50の稼働、非稼働の状態に対して、あらかじめわかっている設備50の消費電力から取得できる。
本実施形態おいては、設備状態認識部111によって得られる設備50の情報、すなわち信号灯51の発光色(消灯を含む)、操作パネル52から認識された文字列や操作、扉53の開閉状態、および電力消費量を総称して設備情報という。なお、設備情報は、信号灯51の発光色(消灯を含む)、操作パネル52から認識された文字列や操作、扉53の開閉状態、および電力消費量のうち、いずれか一つを取得するだけでもよい。また、設備情報は、これらの情報を複数並列的に取得してもよい。
次に、作業認識部112は、作業者識別装置70から作業者を個別に認識すると共に、カメラ20の画像データ122から作業者に作業内容を認識する。
作業者の識別は、作業者識別装置70から取得した作業者識別情報により行われる。作業者識別装置70として、RFIDシステムを用いた場合には、読み取り装置71から作業者を特定する情報が取得される。RFIDシステムを用いた場合には、たとえば、無線タグ72内に、個々の作業者を識別するための情報と共に、その作業者の属性(後述)の情報が記憶される。これにより、作業認識部112は、無線タグ72を読み取ることによって、作業者を識別すると共に、作業者の属性を取得することができる。
作業者識別装置70として、顔認識システムを用いる場合には、カメラ20(または別途設けられた顔を撮影するカメラ)からの動画データから、作業者の顔を認識して、作業者が特定される。この場合、作業者の属性は、別途、記憶部12に個々の作業者ごとに記憶させておいて、特定された作業者を識別する情報をキーに、記憶部12を検索して、その作業者の属性を取得する。なお、RFIDシステムを用いた場合にも、属性は、記憶部12に記憶しておいて、無線タグ72からは、作業者を特定する情報のみを読み出すようにしてもよい。
作業内容の認識は、画像データ122から作業者の位置と向きを検出して、設備50に対する作業(設備作業)か、それ以外の作業(非設備作業)かを認識する。
カメラ20の画像データ122からの作業者の位置および向きの検出は、既存の技術を用いることができる。既存の技術としては、たとえば、オープンポーズ(Open Pose(https://github.com/CMU-Perceptual-Computing-Lab/openpose など参照))や、ディープポーズ(Deep Pose(https://www.slideshare.net/mitmul/deeppose-human-pose-estimation-via-deep-neural-networks など参照))を用いることができる。オープンポーズやディープポーズは、2次元の動画データから人の骨格を推定して姿勢を認識する技術である、このような技術は、骨格認識技術と称されている。そのほかには、デプスカメラ(RBG−Dカメラ)やTOF(Time of Flight)を使用した技術を用いることができる。この場合は、カメラ20として、通常のムービーカメラに代えて、距離を含めて画像認識できる専用のカメラ20を用いてもよい。
骨格認識技術を用いた作業者の位置および向きの検出について、具体例を挙げて説明する。図3は、骨格認識技術を用いた作業者の位置および向きの検出を説明するための説明図である。
図3における撮影範囲は、作業者が作業を行う領域と重なるように設定されている。したがって、作業者は撮影範囲内において作業をする。作業者が作業を行う範囲を、作業範囲と称する。なお、これに代えて、撮影範囲が、作業範囲よりも広く設定され、作業認識部112は、画像データ122の画像にあらかじめ設定された作業範囲内の作業者のみ検出対象とするようにしてもよい。
まず、作業認識部112は、撮影範囲内の作業者を検出する。そして、作業認識部112は、作業者を検出したなら、作業者の頭や肩などの要部骨格の座標値を取得する。要部骨格の座標値から作業者の位置が検出される。骨格認識技術においては、撮影範囲において、処理に必要な座標系があらかじめ設定される。たとえば、2次元座標系が設定されるが、それ以外にも3次元座標系が設定されてもよい。また、作業者の位置は、頭や肩以外にも、たとえば足の骨格の座標値から判断されてもよい。
次に、作業認識部112は、頭や肩などの要部骨格に対して腕(特に肘から先の部分)が突出している方向を判断し、その方向を、作業者が向いている方向であると判断する。本実施形態おいては、少なくとも片方の腕の向きから作業者の向きを判断することとした。これは設備50などに対する作業中は、作業者の両腕が設備50の方向に突出している場合もあるが、片手作業のこともある。片手作業とは、具体的にはたとえば、プログラムの設定変更や再起動などがある。このような作業は、設備50の操作パネル52に対して片手でも行い得る。このとき、作業者はもう片方の腕を自身の身体に沿って下げている。このような場合、片方の腕は設備50の方向に突出しているが、もう片方の腕は突出していないことになる。そこで、本実施形態おいては、上記のように、少なくとも片方の腕が向いている方向から作業者の向きを判断し、さらにそこから作業者の作業状態を判断することとしている。
図3において、たとえば、作業者30aは、片腕が突出している方向が設備50の方向であるので、設備50を向いていると判断できる。このため、作業認識部112は、作業者30aが設備50に対して作業していると判断する。
また、作業者30bは、両腕が突出している方向が作業テーブル55の方向であるので作業テーブル55を向いていると判断できる。このため、作業認識部112は、作業者30bが作業テーブル55に対して作業していると判断する。
さらに、作業者30cは、両腕が突出している方向が設備50の方向でもなく、作業テーブル55の方向でもない。このような場合、作業認識部112は、作業者30cが撮影範囲、すなわち作業範囲おいては作業していないと判断する。
本実施形態おいては、作業認識部112によって取得される作業者の属性、作業者の位置や向きの認識結果を作業者情報と称する。
次に、物品認識部113は、画像から物品の種類と状態を認識する。物品の認識は、たとえば、画像処理により実行される。物品認識部113は、画像内にある物体の形状を画像解析により認識して、あらかじめ記憶されている所定の物品の特徴(特徴量)と対比する。対比の結果、特徴の差異が所定の範囲内である場合、物品認識部113は、画像内で認識した物体を、所定の物品と同じ種類の物品であると認識する。この物品の認識においては、画像内にあるすべての物体を対象とした場合、処理に時間がかかる。そこで、本実施形態おいては、画像内の所定領域において物品を認識することとした。所定領域は、たとえば、作業テーブル55の上、および設備50の扉53付近などである。これにより、物品認識部113によって、物品の状態として、作業テーブル55上の物品の有無が認識され、物品がある場合はその種類が認識される。また、所定領域としては、作業テーブル55から設備50までの作業者が移動する導線の付近としてもよい。このように物品の認識のために、所定領域を決めておくことで、認識速度を上げることができる。また、所定の物品として記憶された特徴(特徴量)は、1個または1種類ではなく、種類の異なる様々な物品の特徴(特徴量)を記憶させておくことで、種類の異なる様々な物品を認識させることができる。
物品の認識のほかの方法としては、たとえば、物品に貼り付けられているシールや、取り付けられているタグなどに描かれているマーク、物品コード、またはバーコードなどを物品認識部113に読み取らせてもよい。バーコードは1次元でも2次元でもよい。画像からシールやタグを読み取る範囲は、あらかじめ決めておくことが好ましい。シールやタグを読み取る範囲は、たとえば、作業テーブル55上、設備50の扉53付近、作業者の導線の付近などである。
本実施形態おいては、物品認識部113によって得られる物品の認識結果を物品情報と称する。
次に、分析処理部114は、設備状態認識部111により収集された設備情報、作業認識部112により収集された作業者情報、および物品認識部113により収集された物品情報を元に、撮影範囲内の工程全体の稼働状態を求める。また、分析処理部114は、これらの情報から、様々な分析を行う。
工程全体の稼働状態を求めるには、たとえば、あらかじめ決められた判定テーブルが用いられる。判定テーブル121は記憶部12に記憶されている。判定テーブル121は、設備情報、作業者情報、および物品情報の組み合わせと、その組み合わせに対応する作業手順を記述したテーブルデータである。
表1は、判定テーブル121の一例である
表1を参照して説明する。
たとえば、手順(1)おいては、作業者情報の内容が作業者認識、設備情報の内容として、信号灯51が消灯、操作パネル52および扉53が認識なしとなっていて、物品情報の内容が作業テーブル55で物品を認識となっている。この段階においては、作業者が初めて認識されるので、作業者情報の内容が作業者認識となっている。作業者認識は、作業者を個別に認識する。このとき、作業者の人数も特定される。また、認識した個別の作業者の属性も取得される。また、この段階においては、設備50が停止中であり、物品が作業テーブル55上に初めて認識された状態である。これにより、これから加工される物品の選定が行われていると判定される。
続いて、手順(2)おいては、作業者情報の内容が設備作業、設備情報の内容として、信号灯51が消灯、操作パネル52が認識なし、扉53が扉開閉の認識となっていて、物品情報の内容が認識なしとなっている。この段階においては、物品が作業テーブル55上からなくなっていて、設備50の扉53が開閉されて、作業者が作業を行っている。また、設備50は停止中である。そして、手順は、物品の選定後である。これらの状態から、設備50に物品が設置されたものと判断される。これにより、物品の設置が行われていると判定される。なお、設備作業とは、たとえば、作業者が設備50に向かっているとの情報から、作業者が設備50に対して作業を行っていると判断されたものである。
続いて、手順(3)おいては、作業者情報の内容が設備作業、設備情報の内容として、信号灯51が消灯、操作パネル52が入力操作の認識、扉53が認識なしとなっていて、物品情報の内容が認識なしとなっている。この段階においては、物品を設備50に設置後、作業者が操作パネル52に向かって操作しているものと判断される。また、設備50は停止中である。これにより、設備50の操作が行われていると判定される。
続いて、手順(4)おいては、作業者情報の内容が設備作業、設備情報の内容として、信号灯51が緑、操作パネル52および扉53が認識なしとなっていて、物品情報の内容が物品の認識なしとなっている。この段階においては、設備50が正常に稼働を開始したと判断される。これにより、設備50の稼働と判定される。
続いて、手順(5)おいては、作業者情報の内容が設備作業またはテーブル作業(設備作業/テーブル作業)、設備情報の内容として、信号灯51が緑、操作パネル52および扉53が認識なしとなっていて、物品情報の内容が物品の認識なしとなっている。この段階においては、設備50が正常に稼働しているため、作業者が他の作業を行っていると判断される。これにより、付随作業と判定される。他の作業とは、たとえば、他の物品を計測したり、あるいは設備50の稼働状態を確認したりするなど、様々である。
続いて、手順(6)おいては、作業者情報の内容が設備作業、設備情報の内容として、信号灯51が黄、操作パネル52および扉53が認識なしとなっていて、物品情報の内容が物品の認識なしとなっている。この段階においては、設備50が正常に停止している。したがって、信号灯51の緑が点灯した手順(4)から、信号灯51の緑が消灯し、黄が点灯した手順(6)までの時間が設備稼働時間となる。手順(6)では、操作パネル52および扉53が認識なしとなっているので、作業者が、設備50から物品をまだ取り出していない状態であるため、加工状態を確認していると判断される。これにより、手順(6)では、物品の確認と判定される。
続いて、手順(7)おいては、作業者情報の内容が設備作業、設備情報の内容として、信号灯51が黄、操作パネル52が入力操作の認識、扉53が認識なしとなっていて、物品情報の内容が物品の認識なしとなっている。この段階においては、設備50を引き続き稼働させるための準備をしていると判断される。これにより、設備50の操作と判定される。
続いて、手順(8)おいては、作業者情報の内容が設備作業、設備情報の内容として、信号灯51が緑、操作パネル52および扉53が認識なしとなっていて、物品情報の内容が物品の認識なしとなっている。この段階においては、設備50が正常稼働していると判断される。これにより、設備50の稼働と判定される。
ここで、手順(6)〜(8)は、繰り返し行われてもよい。
続いて、手順(9)おいては、作業者情報の内容が設備作業、設備情報の内容として、信号灯51が消灯、操作パネル52が認識なし、扉53が扉開閉の認識となっていて、物品情報の内容が物品の認識なしとなっている。この段階においては、信号灯51の緑が再び点灯した手順(7)から、信号灯51の緑が消灯し、黄が点灯した手順(9)までの時間が設備稼働時間として加算される。この段階においては、設備50が正常に停止し、扉53の開閉が行われていると判断される。しかも、手順の流れから加工が終了して停止したので、物品を取り出しているものと判断される。これにより、物品取り外しと判定される。
続いて、手順(10)おいては、作業者情報の内容がテーブル作業、設備情報の内容として、信号灯51が消灯、操作パネル52および扉53が認識なしとなっていて、物品情報の内容が物品を作業テーブル55上で認識となっている。この段階においては、作業者が作業テーブル55上で作業しているものと判断される。しかも、手順の流れから加工が終了した後であるので、物品を計測していると判断される。これにより、物品計測と判定される。
続いて、手順(11)おいては、作業者情報の内容が設備作業、設備情報の内容として、信号灯51が消灯、操作パネル52および扉53が認識なしとなっていて、物品情報の内容が認識なしとなっている。この段階においては、作業者が設備作業を行っている。しかも、手順の流れから物品計測が終了した後であるので、設備50の中で物品を洗浄していると判断される。これにより、物品洗浄と判定される。
続いて、手順(12)おいては、作業者情報の内容がテーブル作業、設備情報の内容として、信号灯51が消灯、操作パネル52および扉53が認識なしとなっていて、物品情報の内容が物品を作業テーブル55上で認識となっている。この段階においては、作業者が作業テーブル55上で作業しているものと判断される。しかも、手順の流れから物品洗浄が終了した後であるので、ここでは、物品を検査していると判断される。これにより、物品検査と判定される。
また、判定テーブル121には、手順外の判定とその組み合わせについても記述されている。
たとえば、手順外1においては、作業者情報の内容が設備作業、設備情報の内容として、信号灯51が消灯、操作パネル52が認識なし、扉53が扉開閉の認識となっていて、物品情報の内容が認識なしとなっている。このような情報の組み合わせが認識された場合、手順外1の前の段階において信号灯51が赤であったなら、修理中であると判定される。
また、手順外2においては、作業者情報の内容が認識なし、設備情報の内容として、信号灯51が赤、操作パネル52がエラー表示の認識、扉53が認識なしとなっていて、物品情報の内容が認識なしとなっている。このような情報の組み合わせが認識された場合、何らかの原因で設備50が停止しているにもかかわらず、何も対処されていない可能性がある。このような情報の組み合わせが認識された場合は、作業遅延と判定される。
なお、以上説明した判定テーブル121の内容は、あくまでも説明のための一例であり、当然ながら、様々な工程や物品の加工内容などによって変わるものである。
次に、分析処理部114による情報の分析例を説明する。
たとえば、分析処理部114は、各情報を1つのダッシュボードに集約する。また、分析処理部114は、製品を生産するために費やしたリソースを算出する。算出されたリソースは、たとえば、原価計算に活用される。また、分析処理部114は、製品を生産するために係るリードタイムを算出して実績値とする。算出された実績値は、たとえば、目標として立てた予算や予定時間と実績を比較する予実管理や、案件獲得時の見積もりの精度向上に活用される。
具体的な分析としては、たとえば、リソースは、上述した作業手順(1)の物品の選定において得られた作業者の人数から設備1台あたりに費やされる作業者の人数として算出される。また、リソースとして、作業手順(1)〜(12)のために費やした作業者の延べ人数と作業時間が判明する。 また、生産のリードタイムとして、上述した作業手順(1)〜(12)にかかった時間から全体の生産時間を求めることができる。また、作業手順(4)〜(8)にかかった時間から、製品製造に費やした設備50の稼働時間が判明する。得られた稼働時間は設備稼働実績の情報となる。
このように本実施形態おいては、1台のカメラ20の画像から物品情報、設備稼働実績の情報、作業者情報といった複数の情報を取得している。このように各情報は、もともと1台のカメラ20から収集されたものである。すなわち、各情報は、1つの画像データ122から得られた情報ため、時系列が同じである。したがって、各情報が1つのダッシュボードに集約される際に、時系列合わせが不要となる。集約された複数の情報は、さらに様々な分析に使用されてもよい。
各情報の取得および分析の処理手順を説明する。図4は、処理手順を示すフローチャートである。この処理手順は、演算部11(詳細にはCPU)が、この処理手順に基づき作成されたプログラムを実行することで、上述した演算部11の機能としての各部の動作が行われることになる。
まず、演算部11は、カメラ20からの画像データ122を受信し、取得する(S1)。取得された画像データ122は、記憶部12へ記憶される。
続いて、演算部11は、記憶された画像データ122を読み出して、画像から、設備情報、作業者情報、物品情報を収集する(S2)。
続いて、演算部11は、収集した各情報を分析しやすいように1つにして、これを記憶部12に記憶させる(S3)。このS3の段階で、既に集約された情報がある場合は、演算部11は、その情報を更新する。
S3の後、演算部11は、処理終了の入力がなければ(S4:NO)、そのままS1へ戻り、順次、画像データ122を受信し続けて各段階を継続する。演算部11は、処理終了が入力されたなら(S4:YES)、処理を終了する。
以上の処理により、演算部11は、現場情報取得部110の機能として、設備状態認識部111が認識した設備情報、作業認識部112が認識した作業者情報、および物品認識部113が認識した物品情報を取得する。
一方、演算部11は、入力情報取得部115の機能として、PC60から入力された情報を取得する。
ここで、原価計算について説明する。
図5は、原価計算の一例を説明するための説明図である。
図5に示すように、原価501は、大別して、材料費510、労務費520、経費530により構成される。
材料費510は、直接材料費511と間接材料費512に分けられる。直接材料費511は、たとえば、製品の製造に必要な部品、原材料などの費用514である。間接材料費512は、たとえば、製品の製造(加工を含む)に使用する加工液、消耗品などの費用515である。
労務費520は、直接労務費521と間接労務費522に分けられる。直接労務費521は、作業者情報524により得られる。作業者情報524は、既に説明したように、カメラ20の画像データ122から得られる。
作業者情報524は、この例では、たとえば、作業時間527と、作業を行った作業者の属性528である。
作業時間527は、直接労務費521の算出に用いられる。直接労務費521は、たとえば、作業時間527と、作業を行った作業者の時間当たりの賃金等から、原価算出部116により算出される。
属性528は、作業者を個々に分類したものである。属性528は、たとえば、作業者ごとの習熟度(スキル)による分類である。習熟度は、数値や記号であらわしてもよいし、作業者が新人か経験者かといった経験年数に関連した情報であってもよい。
間接労務費522は、たとえば、生産管理費(生管)、製造に必要な技術費用(技術)、製造後の品質保証(品証)525などの、製造には直接関与しないが人手を要する費用である。これらは、時間当たりの経費530、または製品1個当たりの経費530などとして計上される。
経費530は、直接経費531と間接経費532に分けられる。直接経費531は、たとえば、外注費534、輸送費535である。間接経費532は、設備50の稼働により費やされる経費である。間接経費532は、たとえば電力消費量537と、設備50の減価償却費538である。電力消費量537は、設備状態認識部111による設備情報として認識された設備の稼働実績情報(稼働時間)から、原価算出部116により算出される。減価償却費538は、設備状態認識部111により認識された設備50の設備の稼働実績情報(稼働時間)に基づいて、製品の製造時間ごとに分配される。減価償却費538は、原価算出部116により算出される。
なお、製品の製造(加工)に使用される工具は、たとえば、固有の製品に限定されて使用される場合、直接材料費511として計上される。一方、固有の製品に限定されない工具は、間接材料費512または間接経費532の減価償却費538として、工具の使用時間、すなわち、設備稼働時間に応じて計上される。
このように、原価計算に必要な情報のうち、直接労務費521である作業者情報524と、間接経費532である設備稼働情報536は、サーバー10(演算部11)の現場情報取得部110の機能によって自動的に取得される。図5においては、これらはハッチングで示した。
これら直接労務費521および間接経費532は、従来、現場の作業者が作業の開始や終了時、または作業途中で入力していた情報である。このため、直接労務費521および間接経費532は、入力忘れの可能性が高い情報であった。この点、本実施形態では、作業者の手を煩わせることなく、自動的に取得できるので、入力忘れの可能性がなくなり、原価計算の精度を向上させることができる。
一方、直接材料費511、間接材料費512、間接労務費522、直接経費531は、PC60から入力される。PC60から入力されたこれらの情報は、入力情報取得部115が受け付けて取得される。入力情報取得部115は、取得した各情報を原価データ123の一つとして記憶部12へ記憶させる。これらの情報は、現場の作業者から入力される情報ではない。したがって、これらの情報は、入力忘れが発生するといった可能性は低い。
また、PC60からは製造する製品の仕様、製品を製造する際の難易度などの製品情報も入力される。製品情報は入力情報取得部115によって受け付けられて取得される。
原価算出部116は、取得された各情報をもとに原価を算出し、データベース124として記憶部12に記憶する。また、原価算出部116は、データベースに記憶させた完成した製品の原価データと原価計算の結果に基づき、今後生産する予定の製品に対する原価を予測する。
原価算出部116による原価計算とデータベース124の作成について説明する。ここでは、金属製品の切削加工を例に説明する。
図6は、加工前の段階での情報が入力された状態のデータベース124を説明する説明図である。図6のデータベース124は、製品番号#1〜4の4つの製品について示している。図6のデータベース124には、入力情報取得部115よって取得された製品情報として、製品の仕様、製品を切削する際に使用する加工プログラム、製造の難易度などが記憶されている。
一方、作業者および設備50に関連する情報は、まだ作業が始まっていないので入力されていない。
図6のデータベース124において、素材は、被加工製品の素材であり、ここでは、対応できる素材として、炭素鋼、合金工具鋼、ステンレス、非鉄合金が挙げられている。切削速度は、図示するとおり、それぞれの素材ごとに決められている。同様に、回転数および送り速度も決められている。また、外径および刃数は、切削に使用するドリルまたはリーマーである。また、難易度は、それぞれの製品を加工する際に必要な、作業者のスキルを示している。ここでは、Aが最も難易度が低く、B、Cと順に難易度が上がるものとする。
これらの情報は、PC60から被加工製品を受注した段階でPC60から入力される。これらの情報は、PC60からの入力に代えて、製品仕様が決まれば、別途、あらかじめ決められた加工プログラムが選択されるようにしてもよい。
図7は、加工が終了した状態でのデータベース124を説明するための説明図である。図7に示したデータベース124は、図6に示したデータベース124が加工終了後に更新されたものである。
図7に示したように、作業終了後のデータベース124では、設備情報として得られた設備50の稼働時間(図中「時間」)が入っている。また、作業終了後のデータベース124では、作業者情報524として得られた作業者の名前、氏名の下に()で示した作業者の属性528、および作業時間が入っている。作業者の属性528は、ここでは、作業者ごとの習熟度を示しており、Iが最も習熟度が低く、II、IIIと順に習熟度が上がる。習熟度は、製品の難易度に対応している。習熟度Iは、難易度Aまでの製品の製造が可能である。習熟度IIは、難易度Bまでの製品の製造が可能である。習熟度IIIは、難易度Cまでの製品の製造が可能である。
図8は、加工が終了した製品の情報から精査に予定の製品の原価を予測したデータベース124を説明するための説明図である。図8に示したデータベース124は、図7に示したデータベース124からの予測である。
図8では生産に予定の製品は、#5である。図8においては。点線の枠で示している。図8に示したデータベース124では、生産に予定の製品#5に対して、これまで生産した製品の情報から予測される、設備50の稼働時間、および作業者による作業時間が入っている。この予測においては、難易度がBであるので、作業者個人は特定されていないが、属性528として習熟度はII以上とされる。
そして、原価算出部116は、予測された稼働時間および作業時間の情報をもとに生産予定の製品#5について原価を算出し、データベース124へ記憶する。この場合、図8に示された製品#5についての原価は、予測値である。
本実施形態によれば、以下のような効果を奏する。
本実施形態おいては、作業者の作業に伴う情報および設備50の稼働実績の情報は、製造現場から作業者を介さずに取得することとした。このため、本実施形態では、原価計算に必要な現場の情報を作業者に負担をかけずに取得することができるので、製造原価の計算精度を向上できる。したがって、本実施形態では、原価予測の精度を向上することができる。
特に、中小の製造業は、特急案件が多く、原価予測は、利益が確保できるかどうかを左右するうえで重要である。しかしながら、中小の製造業は、特急案件であるほど、これまでの原価計算の結果を加味しつつ見積もることが難しい。実際には、社長や工場長など経験のある人間が過去の経験から感覚で試算し、原価予測している現実がある。たとえば、標準時間=(リードタイム+前段取りに1時間または2時間)×余裕率1.3、などとして算出している。ここでのリードタイムは、現時点で、受注した製品がこの仕様なら、「これくらいかかるだろう」という、まさしく経験や勘に頼った設定時間である。
一方、本実施形態では、既に説明したとおり、製造現場からの情報も正確にわかるので原価予測の元になる、これまでの製品についての原価がデータベース124として得られる。本実施形態では、受注した製品の仕様がわかれば、あとは、これまでの原価計算結果をもとにしたデータベース124に、その製品情報(製品仕様)を入力することで、精度の高い原価予測を行うことができる。
また、本実施形態は、製造現場に設けられたカメラ20の画像から作業者が行った作業時間を認識して、作業時間から直接労務費521を算出することとしたので、作業者が自身の作業時間を入力する必要がなくなる。
また、本実施形態は、PC60から入力された製品情報(製品仕様)に製品を製造するために必要な難易度をと記憶させる一方、作業者の情報として、どの難易度の製品を製造できるかを示す習熟度を設定することとした。これにより、本実施形態では、入力された製品の難易度に合わせた習熟度の作業者が作業することとして、原価計算の予測精度を上げることができる。
また、本実施形態は、製造現場に設けられた設備センサーから設備50の稼働時間を認識することとした。これにより、設備50が稼働しているか、停止しているかを、作業者を介さずに取得できる。
以上、本発明の実施形態を説明したが、本発明は、様々な変形が可能である。
実施形態においては、情報の取得、原価計算、および原価予測にサーバー10を用いる例を説明したが、サーバー10に限らず、たとえば、小型のコンピューター(ボードPCなど)を利用できる。
また、上述したサーバー10の各機能は、クラウドサーバーにより代替するようにしてもよい。これには、たとえば、カメラ20や設備センサーにインターネットに接続可能なインターフェース13を設けて、データを直接クラウドサーバーへ送信する。そして、クラウドサーバー上では、既に説明した処理を実行させることで、クラウドサーバー上で取得した各情報から、原価計算、および原価予測を行わせる。これにより、たとえば、遠隔地にいるユーザーの端末から、原価計算、および原価予測の算出結果や作成されたデータベース124を閲覧させることができる。
また、実施形態においては、1つの設備50を含む領域をカメラ20の撮影範囲としているが、撮影範囲は、複数の設備50を一度に撮影できるようにしてもよい。この場合、各設備50に向かっている作業者の向きから、作業者がどの設備50に対して作業を行っているかが判断される。または、設備50ごとに作業範囲を設けて、各作業範囲内にいる作業者が、その設備50に対して作業していると判断されてもよい。
また、実施形態においては、作業者の作業状態は作業者の位置と向きから判断することとしたが、設備50の周囲に作業判断領域を設けて、作業判断領域内に作業者がいれば、設備作業を行っていると判断してもよい。また、逆に、作業者の向きのみから判断してもよい。特に、撮影範囲が狭い場合、たとえば、作業者の移動範囲として5歩程度以下の範囲の場合は、作業者が設備50を向いていれば設備作業、設備50を向いていない場合はその他の作業または作業していないと判断できる。
また、実施形態においては、3色の信号灯51としたが、3色とは限らず、2色の信号灯51、1色の信号灯51などの場合でも適用可能である。たとえば、2色の信号灯51の場合は、緑色の正常稼働と、黄色の正常停止または赤色の異常停止などである。このような設備50に実施形態を対応させる際は、黄色または赤色の場合の処理を行わないようにすればよい。さらに、1色の場合、また、4色、5色といった場合においても、設備50の稼働状態に対応して処理すればよい。
そのほか、実施形態の説明の中で使用した条件や数値などは、あくまでも説明のためのものであり、本発明がこれら条件や数値に限定されるものではない。
また、本発明に係るプログラムは、専用のハードウェア回路によっても実現することも可能である。また、プログラムは、USB(Universal Serial Bus)メモリやDVD(Digital Versatile Disc)−ROM(Read Only Memory)などのコンピューター読み取り可能な記録媒体によって提供したり、記録媒体によらず、インターネットなどのネットワークを介してオンラインで提供したりすることも可能である。この場合、プログラムは、通常、記憶部12を構成する磁気ディスク装置などに記憶される。また、プログラムは、単独のアプリケーションソフトウェアとして提供したり、一機能として別のソフトウェアに組み込んで提供したりすることも可能である。
さらに、本発明は特許請求の範囲に記載された構成に基づき様々な改変が可能であり、それらについても本発明の範疇である。