JP2016127374A - 生産エリア撮影システム - Google Patents

Abstract

【課題】工場の生産エリアで生産中の種々のワークや部品の現状を示す鉛直上方から視た俯瞰画像を作成可能な生産エリア撮影システムを提供する。【解決手段】工場の生産エリア(1A)を上方から俯瞰した俯瞰画像を作成する生産エリア撮影システム(10)は、前記生産エリア(1A)の上方所定高さ位置を生産エリア(1A)の長手方向に移動可能な天井クレーン(5)と、前記天井クレーン(5)に装備された複数のカメラ(6)と、前記クレーン(5)が設定距離移動する毎又は設定時間おきに複数のカメラ(6)で撮影した複数の画像から夫々切出した複数の切出し画像を生産エリアの幅方向と長手方向に合成して前記俯瞰画像を作成する画像合成手段(12)と、複数の撮像手段で撮影した複数の画像から切出し画像を夫々切出す固有切出し領域を前記撮像手段別に予め設定する切出し領域設定手段(12)を備えている。【選択図】図２

Description

本発明は、工場の生産エリアの俯瞰画像を作成する生産エリア撮影システムに関するものである。

種々の形状、構造、サイズの比較的大重量の鋼製の製品を製作する工場の生産エリアには、複数のステージが設けられ、これら複数のステージには種々の形状、構造、サイズののワークが配置されて、組み立て作業、溶接作業、塗装、検査等に供せられる。
それらステージの傍らには、部材や部品類を保管するスペース、治具や工具類を保管するスペースが配置され、作業者や台車類の通行の為の通路も設けられている。

生産計画を立案する際には、生産エリアを有効活用することが重要である。そのために、生産エリアを目視にて十分に確認し、ワークや部品等の配置や作業の進行状況を把握した上で立案しなければならない。作業の進行に応じてワークを移動する際にも、上記と同様であり、ワークを移動させる移動先のスペースを確認することも重要で、巻き尺等で、移動先のスペースの縦横の寸法を計測することも少なくない。何れにしても、生産エリアの現状を把握するためには、スタッフが生産エリアに実際に出向いて行き、目視にて確認したり、ワーク等の見取り図をメモする等によりワーク等の配置状況や各種作業の進行状況を把握しなければならない。

特許文献１には、工場における設備状況管理システムが開示されている。この設備状況管理システムでは、生産エリアのエリア構成、電気設備、圧空設備、製造設備等のレイアウトに関する情報を格納したレイアウト情報データベースと、電気設備、圧空設備、製造設備等に含まれる種々の装置類に関する属性情報を格納した属性情報データベースとを設け、エリア構成のレイアウトに例えば電気設備のレイアウトを重ねてディスプレイに表示した状態で、電気設備の中の所望の電気装置を指定すると、その電気装置の属性情報を同画面に表示することができる。こうして設備の位置（場所）と属性情報の管理を容易に行うことができる。

特開２００４−１３１９７号公報

特許文献１の設備状況管理システムは、設備の種々の機器や装置についてのデータベースを準備しておき、それら機器や装置の位置と属性情報を簡単に表示可能にしたものであるが、工場の生産エリアで生産中の種々のワーク、場所や状態が日々変動する種々のワークについての位置（場所）や属性情報を知ることはできない。

このように、従来の技術では、工場の生産エリアで生産中の種々のワークや部品についての現状（位置又は場所、作業の進捗状況、空きスペース、空きスペースの縦横寸法等々）を簡単に正確に把握可能な生産エリア俯瞰画像を作成できるシステムが何ら提案されていない。
本発明の目的は、工場の生産エリアで生産中の種々のワークや部品の現状を示す鉛直上方から視た俯瞰画像を作成可能な生産エリア撮影システムを提供することである。

請求項１の生産エリア撮影システムは、工場の生産エリアを上方から俯瞰した俯瞰画像を作成する生産エリア撮影システムにおいて、前記生産エリアの上方所定高さ位置を生産エリアの長手方向に移動可能な移動体と、前記移動体に装備された複数の撮像手段と、前記移動体が設定距離移動する毎又は設定時間おきに複数の撮像手段で撮影した複数の画像から夫々切出した複数の切出し画像を生産エリアの幅方向と長手方向に合成して前記俯瞰画像を作成する画像合成手段とを備えたことを特徴としている。

請求項２の生産エリア撮影システムは、請求項１の発明において、複数の撮像手段で撮影した複数の画像から切出し画像を夫々切出す固有切出し領域を前記撮像手段別に予め設定する切出し領域設定手段を備え、前記画像合成手段は、複数の撮像手段で同時に撮影した複数の画像から前記固有切出し領域に基づいて夫々切出した複数の切出し画像を前記幅方向に合成して帯状俯瞰画像を作成し、その帯状俯瞰画像を前記長手方向に複数合成することで前記俯瞰画像を作成することを特徴としている。

請求項３の生産エリア撮影システムは、請求項１又は２の発明において、前記生産エリアにおける前記移動体の移動方向の位置を検知する移動体位置検知手段を設けたことを特徴としている。

請求項４の生産エリア撮影システムは、請求項３の発明において、前記移動体位置検知手段は、前記移動体に装備された投光受光機能のある複数の光センサと、生産エリアの側部に所定間隔おきに立設された複数の柱部材のうちの前記複数の光センサに対向可能な複数部位に、柱毎に異なる配置態様で付設された１又は複数の反射板と、前記移動体の駆動輪を駆動する駆動軸の回転角を検出するロータリエンコーダとを備え、前記移動体位置検知手段は、前記複数の光センサの受光信号と、前記ロータリエンコーダの検出信号とに基づいて前記移動体の位置を検知するように構成されたことを特徴としている。

請求項５の生産エリア撮影システムは、請求項１又は２の発明において、同時に撮影した複数の画像から切出した複数の切出し画像を画像合成用メモリ上に貼り付ける際に、複数の撮像手段で撮影する際のシャッター開時刻のズレを加味して複数の切出し画像の貼り付け位置を補正する貼り付け位置補正手段を設けたことを特徴としている。

請求項１の発明によれば、前記のように、移動体と、複数の撮像手段と、移動体が設定距離移動する毎又は設定時間おきに複数の撮像手段で撮影した複数の画像から夫々切出した複数の切出し画像を生産エリアの幅方向と長手方向に合成して前記俯瞰画像を作成する画像合成手段とを備えたので、次の効果が得られる。

複数の撮像手段は、生産エリアを鉛直上方から俯瞰した画像を撮影できるため、生産エリアを鉛直上方から俯瞰した生産エリアの平面図的な俯瞰画像を合成することができる。 その俯瞰画像は、生産エリアのワークや部品や設備・工具類の現在の状況を示す画像であるため、生産計画の立案や、ワークの移動先の確認、空きスペースの把握等に有効活用することができる。生産エリアに出向いて観察することなく、生産エリアの現在の状況を把握できるため、生産エリアの生産性を高めることができる。

請求項２の発明によれば、前記のように複数の撮像手段別に固有切出し領域を予め設定可能な切出し領域設定手段を備え、前記画像合成手段は、複数の撮像手段で同時に撮影した複数の画像から前記固有切出し領域に基づいて夫々切出した複数の切出し画像を前記幅方向に合成して帯状俯瞰画像を作成し、その帯状俯瞰画像を前記長手方向に複数合成することで前記俯瞰画像を作成する。
それ故、複数の撮像手段の取り付け位置や姿勢の精度にバラツキがある場合にも、撮像手段別に固有切出し領域を設定して、その固有切出し領域から切出した画像を用いて画像合成をすることにより、所期の画像合成を行うことができ、精度の高い俯瞰画像を作成することができる。

請求項３の発明によれば、生産エリアにおける移動体の移動方向の位置を検知する移動体位置検知手段を設けたため、移動体が設定距離移動する毎に、複数の撮像手段で撮像することができる。また、移動体の位置情報と複数の撮像手段で撮影した複数の画像のデータとを対応付けて記憶し、それらの情報に基づいて画像合成を行うことで、生産エリアの長手方向の位置と俯瞰画像との整合性を確保することができる。

請求項４の発明によれば、移動体位置検知手段は、前記のように、移動体に装備した複数の光センサと、生産エリアの側部に所定間隔おきに立設された複数の柱毎に異なる配置態様で付設した１又は複数の反射板と、ロータリエンコーダとを備え、複数の光センサの受光信号と、ロータリエンコーダの検出信号とに基づいて移動体の位置を検知するため、移動体の移動方向の位置を高精度に検知することができる。

請求項５の発明によれば、同時に撮影した複数の画像から切出した複数の切出し画像を画像合成用メモリ上に貼り付ける際に、複数の撮像手段で撮影する際のシャッター開時刻のズレを加味して複数の切出し画像の貼り付け位置を補正する貼り付け位置補正手段を設けたため、複数の切出し画像の貼り付け位置を高精度に補正して高精度の俯瞰画像を作成することができる。

本発明の実施例に係る工場の生産エリアの平面図である。 生産エリアの天井走行クレーンと複数の撮影用カメラと複数の撮影領域等を示す平面図である。 天井走行クレーンに装備した複数組の光センサの斜視図である。 ＃１柱〜＃Ｗ柱の上端付近に装備した反射板を説明する説明図である。 生産エリア撮影システムの制御系の構成図である。 撮影用カメラの移動と撮影間隔と撮影領域と切出し画像対応領域を説明する説明図である。 天井クレーン上の複数の撮影用カメラの配置と撮影領域と切出し画像対応領域を説明する説明図である。 ＃１カメラの画像と切出し画像とサイズの説明図である。 固有切出し領域を設定する技術を説明する説明図である。 ＃１カメラの画像とその固有切出し領域の説明図である。 ＃２カメラの画像とその固有切出し領域の説明図である。 （ａ）シャッター開時刻のズレに起因する切出し画像のズレを説明する図、（ｂ）シャッター開時刻のズレを無視して切出し画像を合成した場合の説明図、（ｃ）シャッター開時刻のズレを補正するように貼り付け位置を補正した場合の切出し画像の合成画像の説明図である。 固有切出し領域設定制御のフローチャートである。 生産エリア撮影システムの制御プログラムのフローチャートである。 切出し画像を複数行複数列に連続させて合成した俯瞰画像の要部を示す説明図である。 生産エリアを撮影した画像から合成した俯瞰画像の要部を示す図である。

以下、本発明を実施するための形態について実施例に基づいて説明する。

図１、図２に示すように、この生産エリア撮影システム１０は、鋼製の種々の製品を生産する工場１の生産エリア１Ａを上方（真上）から俯瞰した俯瞰画像を作成するシステムである。
この工場の建屋１のサイズは幅Ｂ、長さＬであり、建屋１の両側には一定間隔でＷ本の柱２（＃１柱〜＃Ｗ柱）が立設され、これら柱２の上端付近の内側部には全長に亙る桁部材３が付設され、それら桁部材３の上面には天井クレーン走行用のレール４が固定されている。尚、建屋１の長手方向の一部は屋根なしの構造である。以下、図１に図示のように東西南北を定義して説明する。

前記両側の桁部材３に架け渡された天井クレーン５（移動体に相当し、以下クレーンと言う）は、桁部材３の上面のレール４上を転動する例えば１対の駆動輪５ａと１対の従動輪５ｂとを有し、建屋１の長手方向（東西方向）に往復走行可能である。
クレーン５の走行速度は、速度設定レバーにより設定されるが、１〜４ノッチの４段階の定格速度に切換え可能であり、走行開始直後にはほぼリニアに加速し、停止直前にはほぼリニアに減速する。

図２に示すように、クレーン５の東側側面には、Ｎ台の撮影用カメラ６（撮像手段に相当し、以下カメラという）が、共通の鉛直面Ｖ内において建屋の幅方向に所定間隔ａおきに床面から所定高さ位置に装備され、Ｎ台のカメラ６で生産エリア１Ａの全幅分を真上から撮影可能になっている。カメラ６は、望遠レンズ付きのディジタルカメラであり、その解像度は床面上の１０ｃｍ×１０ｃｍの物体を識別可能である。

各カメラ６は、カメラ固定用ブラケット６ａと補強用ブレース６ｂによりクレーン５の本体フレーム５ｃに固定され、光軸が鉛直方向の下方に向くように精密に位置決めされている。上記のＮ台のカメラ６は、図５に示すように、ケーブルにより後述のサーバユニット１２に接続され、サーバユニット１２からの指令に基づいて撮影を実行し、撮影した画像データをサーバユニット１２に供給するように構成してある。

図２において、ハッチングで縁取りした領域Ａｒは、１台のカメラ６で撮影する撮影領域であり、カメラ６の直下の１本の帯状領域Ｂｒは、領域Ａｒの画像Ａから切出される切出し画像Ｂに対応する切出し画像対応領域である（図８参照）。
Ｎ台のカメラ６で１回に同時に撮影するＮ個の切出し画像対応領域Ｂｒの画像は、生産エリア１Ａの全幅分の帯状俯瞰画像となる。クレーン５を生産エリア１Ａの西端から東端まで移動させながら多数回の撮影を介して作成した複数組の全幅分の帯状俯瞰画像を生産エリア１Ａの全長に亙って作成し、それらを合成することで生産エリア全域の俯瞰画像を作成する。

図１〜図５に示すように、クレーン位置検知手段１１は、クレーン５の駆動輪５ａを駆動する駆動軸５ｄの回転角を検知するロータリエンコーダ１１Ａと、クレーン５に装備した複数組の光センサ１１ａ及び＃１柱〜＃Ｗ柱に異なる配置態様で夫々付設した１又は複数の反射板１１ｂとを備えている。

前記ロータリエンコーダ１１Ａは、駆動軸５ｄに摩擦接触した回転板１１ｃと、この回転板１１ｃの回転角を検出するエンコーダ本体１１ｄとを有し、エンコーダ本体１１ｄは取付けブラケット１１ｅを介して本体フレーム５ｃに固定されている。ロータリエンコーダ１１Ａの検出信号は、サーバユニット１２へケーブルにより供給される。

図４示すように、＃１柱〜＃Ｗ柱の生産エリア１Ａ側の側面に、複数組の光センサ１１ａに対応する１又は複数の反射板１１ｂを柱２ごとに異なる配置態様（２進法で１〜Ｗを表す態様）で取り付け、複数組の光センサ１１ａで受光する１又は複数の受光信号の組み合わせから柱番号を検知し、建屋１の西端（＃１柱）から順に番号付けた柱番号を用いて生産エリア１Ａの西端を基準とする柱位置を検知可能に構成している。

天井クレーン５を生産エリア１Ａの西端から東方向へ移動させつつ、クレーン５の移動方向の位置をリアルタイムで検知する際には、各柱２の位置で受光信号が入力される毎に、反射板１１ｂの配置態様（つまり、受光信号のパターン）から柱番号を検知し、その柱番号から各柱２の位置を検知することで、クレーン５の走行方向の位置（＃１柱を基準とする東西方向の位置）を検知する。そして、各柱２からその東隣りの柱２までの間におけるクレーン５の位置は、ロータリエンコーダ１１Ａの検出信号に基づいて算出することで、＃１柱を基準とするクレーン５の移動方向の現在位置をリアルタイムで高精度に検知することができる。

こうして、クレーン５の移動方向の位置は、複数組の光センサ１１ａの受光信号と、ロータリエンコーダ１１Ａの検出信号とに基づいてリアルタイムで高精度に検知することができる。

次に、この生産エリア撮影システム１０の制御系について図５に基づいて説明する。
この制御系には制御ユニットを含むサーバユニット１２が装備され、このサーバユニット１２には、複数組の光センサ１１ａと、Ｎ台のカメラ６と、ロータリエンコーダ１１Ａとが電気的に接続され、サーバユニット１２は、パソコン１３及びタブレット１４とも無線通信可能になっている。サーバユニット１２は、天井クレーン５の本体フレーム５ｃ上の所定の設置場所に設置され、パソコン１３は技術スタッフが駐在する所定の場所に設置されている。タブレット１４は主として撮影の指令入力用に使用される。

サーバユニット１２は、ＣＰＵと主記憶装置(ＲＯＭ)と補助記憶装置(ＲＡＭ)を含むコンピュータと、画像データを蓄積する大容量の画像データメモリ（これはＳＳＤからなる）と、表示画面及びキーボードと、入出力インターフェースとを有する。主記憶装置には、次のような演算処理や制御を実行する種々の制御プログラムが格納されている。
（ａ）画像撮影
画像データの取得、保存（画像データメモリへの格納）
・固有切出し領域設定用の画像データ（クレーン停止中に撮影）
・俯瞰画像作成用画像データ（クレーン移動中に撮影、生産エリア全域）
（ｂ）固有切出し領域の設定、領域設定データの記憶（切出し領域設定手段）
（ｃ）俯瞰画像の合成（画像合成手段、貼り付け位置補正手段）
・切出し画像作成
・切出し画像の配置と貼り付け（俯瞰画像作成）、俯瞰画像データ保存
（ｄ）クレーン位置検出信号取得、クレーン位置演算（移動体位置検知手段）
・光センサの受光信号とロータリエンコーダの検出信号の読み込み
・クレーン位置演算
（ｅ）生産エリア撮影システムのネットワーク
・データ転送と制御

前記画像データメモリには、少なくとも、前記固有切出し領域設定の為に使用する画像データを格納すると共に固有切出し領域設定データを格納する切出し領域記憶部、俯瞰画像作成用に使用する大量の画像データをクレーン位置及び撮影時刻と共に格納する画像記憶部、合成した俯瞰画像の画像データを記憶する俯瞰画像記憶部が設けられている。

パソコン１３は、主として、サーバユニット１２において作成した俯瞰画像を読み出して画面上で俯瞰画像を参照する際に使用する。

次に、１台のカメラ６で撮影する図２に示す撮影領域Ａｒと切出し画像対応領域Ｂｒについて説明する。図６は、撮影領域Ａｒの生産エリア１Ａの長手方向の寸法Ｃと、切出し画像対応領域Ｂｒの生産エリア１Ａの長手方向の寸法ｂを示す図である。クレーン５を加速→定速→減速で走行させながら、設定時間ｔ間隔毎に順次撮影する。例えば、時間ｔ，２ｔ，３ｔ・・・経過後の位置は位置Ｔ１，Ｔ２，Ｔ３・・・である。尚、クレーン５が定速走行する場合には、クレーン５が設定距離ｂ移動する毎に順次撮影することに相当する。

図７は、複数のカメラ６と、撮影領域Ａｒの生産エリア幅方向の寸法Ｄと、切出し画像対応領域Ｂｒの生産エリア幅方向の寸法ａを示す図である。
次に、撮影領域Ａｒを撮影した画像Ａから切出し画像Ｂを切出す固有切出し領域であって各カメラ６に対応付けた固有切出し領域を設定する技術について、図８と図９に基づいて説明する。

図８は、＃１カメラ６で撮影した画像Ａ１と、この画像Ａ１から切出す切出し画像Ｂ１（これは、固有切出し領域と一致している）を示し、切出し画像Ｂ１の南北方向の幅Ｂａは、生産エリア１Ａ上のａに対応する幅であり、切出し画像Ｂ１の東西方向の長さＢｂは生産エリア１Ａ上のｂに対応する長さである。切出し画像Ｂ１は細長い長方形であるため、画像Ａ１のＸＹ座標系において、頂点Ｐ１，Ｑ１，Ｒ１の３点で固有切出し領域を設定できる。

ここで、Ｎ台のカメラ６の取り付け姿勢（鉛直に対する傾き、鉛直軸回りの回転角）や取り付け位置に誤差があるため、各撮影画像から切出し画像を切出す切出し領域を一律に設定することは出来ず、各カメラ６に対応付けた固有切出し領域を設定する必要がある。生産エリア撮影システム１０の機器の設置後、クレーン５を生産エリア１Ａの所定の場所に停止させた状態で、Ｎ台のカメラ６で同時に撮影した画像データを用いて、図９に示すようにして固有切出し領域を設定する。
但し、この撮影の際、図９に示す白黒に塗り分けた基準スケールＭ（これは目盛り付きのスケール）を生産エリア１Ａの全幅に亙って南北方向向きに正確に位置決めした状態に設置し、この基準スケールＭが画像内に入るように撮影する。

図９は、＃１〜＃３のカメラ６で撮影した撮影画像Ａ１〜Ａ３を用いて固有切出し領域Ｂ１〜Ｂ３を設定する説明図である。
制御ユニット１２から読み出した撮影画像Ａ１〜Ａ３をパソコン１３の画面上に重複的に表示させ、基準スケールＭが一直線状に並び且つ基準スケールＭの目盛りが連続的になるように、撮影画像Ａ１〜Ａ３を配置する。

図９の例では、画像Ａ１のＸＹ座標系のＸ方向が基準スケールＭと平行であるとして説明する。画像Ａ１はスタート側の画像であるため、画像Ａ１に固有の固有切出し領域Ｂ１の頂点Ｐ１は、画像Ａ１の中心Ｇ１から幅方向に切出し画像Ｂ１の南北方向の幅Ｂａの１／２の距離の位置に設定する。頂点Ｒ１は頂点Ｐ１から切出し画像Ｂ１の東西方向の幅Ｂｂの位置に設定する。

固有切出し領域Ｂ１の頂点Ｑ１（画像Ａ２に固有の固有切出し領域Ｂ２の頂点Ｐ２）は、中心Ｇ１と画像Ａ２の中心Ｇ２の中間に対応する位置に設定する。固有切出し領域Ｂ２の頂点Ｒ２は頂点Ｑ１から切出し画像Ｂ１の東西方向の幅Ｂｂの位置に設定する。同様に、固有切出し領域Ｂ２の頂点Ｑ２（画像Ａ３に固有の固有切出し領域Ｂ３の頂点Ｐ３）は、中心Ｇ２と画像Ａ３の中心Ｇ３の中間に対応する位置に設定する。固有切出し領域Ｂ３の頂点Ｒ３は頂点Ｑ２から切出し画像Ｂ１の東西方向の幅Ｂｂの位置に設定する。以下、同様に繰り返すことで、画像Ａ４〜画像ＡＮから切出す固有切出し領域Ｂ４〜ＢＮが設定される。

図１０は、画像Ａ１とその固有切出し領域Ｂ１と、画像Ａ１のＸＹ座標系における頂点Ｐ１，Ｑ１，Ｒ１とを示し、図１１は、画像Ａ２とその固有切出し領域Ｂ２と、画像Ａ２のＸＹ座標系における頂点Ｐ２，Ｑ２，Ｒ２とを示す図である。
前記のように、画像Ａｉ（ｉ＝１，２，・・Ｎ）から切出し画像Ｂｉ（ｉ＝１，２，・・Ｎ）を切出す場合、各画像のＸＹ座標系で定義する固有切出し領域の頂点Ｐｉ，Ｑｉ，Ｒｉ（ｉ＝１，２，・・Ｎ）に基づいて切出すことになる。また、同時に撮影した切出し画像Ｂｉを画像合成用メモリ上に貼り付ける場合、例えば、図１１に示すＸ軸に対する傾き角θ２に対応する傾き角θｉだけ画像を回転させて貼り付けることになる。

そのため、切出し画像作成用に次のようなデータを準備して記憶する。
カメラ番号ｉ（＃１〜＃Ｎ）、固有切出し領域を規定する頂点Ｐｉ，Ｑｉ，Ｒｉ（ｉ＝１，２，・・Ｎ）のデータ、傾き角θｉ（ｉ＝１，２，・・Ｎ）のデータを、対応付けてサーバユニット１２の切出し領域記憶部に記憶する。尚、上記の固有切出し領域の設定は、この撮影システム構築時に１回だけ行えばよい。尚、上記のデータ作成に供する撮影画像Ａｉ（ｉ＝１，２，・・Ｎ）のデータもサーバユニット１２の切出し領域記憶部に記憶する。

次に、切出し画像作成用のデータを準備後、クレーン５を生産エリア１Ａの西端から東端まで走行させながら、生産エリア１ＡをＮ台の撮影用カメラ６で同時撮影するのを繰り返して、生産エリア１Ａの全域の撮影画像のデータを取得する。この撮影は、例えば工場の操業開始前や昼食の休憩時間内に適宜行うものとする。

撮影は所定の設定時間ｔ間隔でなされるが、加速時や減速時にも設定時間ｔ間隔で撮影するため、クレーン５が設定距離ｂ移動する間における撮影回数が多くなるが、クレーン５の速度に応じて前記Ｂｂの幅を変えることで高精度に画像を合成できる。但し、クレーン５が設定距離ｂ移動した時点毎の画像データを選択して採用してもよい。

ここで、加速時や減速時にはクレーン運転手の手動操作で走行速度が設定されるため、加速度や減速度が一定になるとは限らないので、走行時間からクレーン５の移動距離を算出することは難しく、また、雨天のとき駆動輪５ａがレール４に対してスリップすることもあるため、クレーン５の東西方向の位置（移動方向の位置）をリアルタイムで検知可能なクレーン位置検知手段１１（移動体位置検知手段に相当する）を設け、撮影した画像データをクレーン５の移動方向の位置と対応付けて記憶し、それらの情報に基づいて、生産エリア１Ａの俯瞰画像の合成を行う。

この俯瞰画像作成用の一連の対応付けられたデータ類は、次のとおりである。
・カメラ番号ｉのデータ
・撮影画像Ａｉｊのデータ（シャッター開の時刻データを含む）
・クレーン５の移動方向位置データ
ここで、ｉはカメラ番号を示す添え字で、ｉ＝１，２，・・・Ｎである。ｊは撮影開始後の撮影順序を示す添え字であり、例えば、ｊ＝ｔ，２ｔ，３ｔ・・・である。但し、ｊとして１，２，３，・・・を採用してもよい。尚、クレーン５が加速領域や減速領域にあるときにも、同様に設定時間ｔ間隔で撮影した画像データが格納される。

上記のクレーンの移動方向位置は、光センサからの受光信号とロータリエンコーダ１１Ａからの検出信号に基づいて、サーバユニット１２において時々刻々演算されており、撮影時の移動方向位置が上記のように記憶される。

ところで、サーバユニット１２からＮ台のカメラ６に撮影指令を同時に送信する際に、カメラ６へ送信する信号に微小な伝達遅延が発生するため、カメラ６のシャッター開時刻に微小なズレが発生し、画像Ａ１，Ａ２，Ａ３，・・・の撮影時刻（シャッター開の時刻）がズレ、図１２（ａ）に示すように、切出し画像Ｂ１，Ｂ２，Ｂ３，・・・にズレが発生する。図示の例では、＃１カメラに対して＃２カメラ、＃３カメラのシャッター開時刻が遅れている。

そのため、画像Ａ１，Ａ２，Ａ３,・・・を同タイミングで撮影したものとして、図１２（ｂ）に示すように、切出し画像Ｂ１，Ｂ２，Ｂ３，・・・を貼り付けると、生産エリア幅方向に画像の連続性のない合成画像となってしまう。そこで、図１２（ｃ）に示すように、シャッター開時刻のズレを加味して切出し画像Ｂ１，Ｂ２，Ｂ３,・・・の貼り付け位置を補正する。

生産エリア１Ａの全域を撮影する際には、サーバユニット１２はタブレット１４からの指令に基づいて、Ｎ台のカメラ６を設定時間ｔ秒毎に作動させ、それらカメラ６から受信する時々刻々の画像データを画像記憶部に記憶する。

サーバユニット１２が有する基準クロックと各カメラ６が有するクロックとを同期させ、角カメラ６において実際にシャッターが押された時刻の時刻データを画像データと共にサーバユニット１２に転送している。

図１２（ｃ）において、切出し画像Ｂ１に対する切出し画像Ｂ２のクレーン移動方向の画像上のズレ量α２（貼り付け位置補正量）は、次のとおりである。
α２＝Ｖ×△ｔ２×ｒ
但し、Ｖはクレーン５の撮影時の走行速度
△ｔ２は＃１カメラに対する＃２カメラの撮影時刻の遅延時間
ｒは生産エリア上の実寸法を画像上の寸法に変換する比率（縮尺）である。
切出し画像Ｂ３〜ＢＮについても、上記と同様に算出することができる。

ここで、貼り付け位置の補正は、次の手順で行うことも可能である。
（１）クレーン位置検知手段１１により検知したクレーン５の移動方向位置と基準クロックにおける時刻との関係をサーバユニット１２に予め記憶しておく。
（２）カメラ６により撮影を行うときに、画像と共にシャッターが切られた時刻をサーバユニット１２に転送する。このとき、サーバユニット１２が有する基準クロックと各カメラが有するクロックは同期されており、基準クロックにおける時刻が転送される。
（３）（２）で転送された時刻におけるクレーン５の移動方向位置を（１）より求め、その位置を開時刻におけるカメラ６の位置として採用する。

次に、前記固有切出し領域を設定する方法について図１３に基づいて補足説明する。
この方法はサーバユニット１２において実行する。まず、クレーン５を所定位置に停止させる（Ｓ１）。次に＃１〜＃Ｎカメラで同時に撮影し、その画像データを切出し領域記憶部の所定のエリア（記憶部）に記憶する（Ｓ２）。次に＃１〜＃Ｎカメラ（これらカメラで撮影した画像）に対応する固有切出し領域の設定が既述のように行われる（Ｓ３）。次に、固有切出し領域を設定した既述の頂点Ｐｉ，Ｑｉ，Ｒｉのデータを切出し領域記憶部に保存する（Ｓ４）。これにより、固有切出し領域の設定は完了する。尚、Ｓ３を実行するサーバユニット１２が「切出し領域設定手段」に相当する。

次に、俯瞰画像を作成する制御について、図１４に基づいて補足説明する。
この制御の開始後にシステムを初期設定する処理が実行される（Ｓ１０）。次に、クレーン５の走行が開始される（Ｓ１１）。次に、設定時間ｔ毎の撮影タイミングか否か判定し（Ｓ１２）、その判定がＹｅｓのときはクレーン５の現在の位置情報としてのエンコーダの検出信号と光センサ１１ａからの受光信号が読み込まれ、クレーン５の移動方向の位置が演算される（Ｓ１３）。Ｓ１２の判定がＮｏのときはＳ１２へリターンする。

次に、Ｓ１４において、＃１〜＃Ｎカメラで同時に撮影する制御が実行され、撮影した画像データを、撮影時刻データ及びクレーン位置データと対応付けて画像記憶部に格納する処理が実行される。次に生産エリア１Ａの全域の撮影が終了した否か判定し（Ｓ１５）、その判定がＮｏのときはＳ１２へリターンし、Ｓ１２〜Ｓ１５を繰り返し、Ｓ１５の判定がＹｅｓになると、Ｓ１６に移行する。

Ｓ１６では、クレーン５の走行を停止させる。次に、Ｓ１７において、俯瞰画像の合成が実行される。この場合、段落［００４３］に記載の切出し画像作成用データと、段落［００４７］に記載のデータとを用いて、最初に生産エリア１Ａの全域に亘る切出し画像Ｂｉｊが作成される。但し、ｉ，ｊは段落［００４３］、［００４７］に記載のものと同じものである。
次に、ｊの小さいものから順に、各ｊ毎の切出し画像Ｂｉ（ｉ＝１，２，・・・Ｎ）を幅方向に合成する処理が実行され、その帯状合成画像（帯状俯瞰画像）をクレーン位置に対応する位置（画像合成メモリ上の位置）に貼り付ける。尚、このとき、シャッター開時刻のズレを加味して貼り付け位置を補正する。以上を繰り返えすことで、生産エリア１Ａの全域を真上から視た俯瞰画像を合成することができる。
尚、Ｓ１７を実行するサーバユニット１２が「貼り付け位置補正手段」を含む「画像合成手段」に相当する。

図１５は、帯状合成画像をクレーン位置に対応する位置に貼り付けていく途中状態を説明する説明図である。図１６は俯瞰画像１Ｇの要部を示す概略図である。次に、Ｓ１７において作成された俯瞰画像１Ｇのデータが、俯瞰画像記憶部に保存され、パソコン１３からの要求に基づいてパソコン１３へ俯瞰画像１Ｇのデータがダウンロードされる（Ｓ１８）。その後、この制御は終了する。

次に、以上説明した生産エリア撮影システム１０の作用、効果について説明する。
天井クレーン５と、複数のカメラ６と、クレーン５が設定距離移動する毎又は設定時間ｔおきに複数のカメラ６で生産エリア１Ａを撮影した複数の画像から夫々切出した複数の切出し画像を生産エリア１Ａの幅方向と長手方向に合成して俯瞰画像１Ｇを作成する画像合成手段とを設けたので、次の効果が得られる。

複数のカメラ６は、生産エリア１Ａを鉛直上方から俯瞰した画像を撮影できるため、生産エリア１Ａを鉛直上方から俯瞰した生産エリア１Ａの平面図的な俯瞰画像１Ｇを合成することができる。その俯瞰画像１Ｇは、生産エリア１Ａのワークや部品や設備・工具類の現在の状況を示す画像であるため、生産計画の立案や、ワークの移動先の確認、空きスペースの把握等に有効活用することができる。生産エリア１Ａに出向いて観察することなく、生産エリア１Ａの現在の状況を把握できるため、生産エリア１Ａの生産性を高めることができる。

前記のように複数のカメラ６別に固有切出し領域を予め設定可能な切出し領域設定手段を設け、複数のカメラ６で同時に撮影した複数の画像から固有切出し領域に基づいて夫々切出した複数の切出し画像を前記幅方向に合成して帯状俯瞰画像を作成し、その帯状俯瞰画像を前記長手方向に複数合成することで前記俯瞰画像１Ｇを作成する。
それ故、複数のカメラ６の取り付け位置や姿勢の精度にバラツキがある場合にも、カメラ６別に固有切出し領域を設定して、その固有切出し領域から切出した画像を用いて画像合成をすることにより、所期の画像合成を行うことができ、精度の高い俯瞰画像１Ｇを作成することができる。

生産エリア１Ａにおけるクレーン５の移動方向の位置を検知するクレーン位置検知手段を設けたため、クレーン５の位置情報を高精度に検知することができる。また、クレーン６の位置情報と複数のカメラ６で撮影した複数の画像のデータとを対応付けて記憶し、それらの情報に基づいて画像合成を行うことで、生産エリア１Ａの長手方向の位置と俯瞰画像１Ｇとを整合させることができる。

移動体位置検知手段は、クレーン５に装備した複数の光センサ１１ａと、生産エリア１Ａの側部に所定間隔おきに立設された複数の柱２毎に異なる配置態様で付設した１又は複数の反射板１１ｂと、ロータリエンコーダ１１Ａとを備え、複数の光センサ１１ａの受光信号と、ロータリエンコーダ１１Ａの検出信号とに基づいてクレーン６の位置を検知するため、クレーン５の移動方向の位置を高精度に検知することができる。

同時に撮影した複数の画像から切出した複数の切出し画像を画像合成用メモリ上に貼り付ける際に、複数のカメラ６で撮影する際のシャッター開時刻のズレを加味して複数の切出し画像の貼り付け位置を補正する貼り付け位置補正手段を設けたため、複数の切出し画像の貼り付け位置を高精度に補正して高精度の俯瞰画像を作成することができる。

次に、前記実施例を部分的に変更する例について説明する。
１）設置高さの異なるカメラがある場合には、画像の縮尺を合致させる為の拡縮データを作成して、画像データに付随させて記憶し、固有切出し領域を設定する前に、拡縮データを用いて画像を拡大又は縮小してから、固有切出し領域を設定する。この拡縮データは切出し画像切出し用のデータに付随させて記憶される。それ故、俯瞰画像作成時には、拡縮データを用いて画像を拡大又は縮小してから切出し画像を切出すようにする。

２）カメラ６の台数、カメラ６の配設間隔、カメラの設置高さ、生産エリア１Ａの幅と長さ等は、実施例に記載の例に限定されるものではない。
生産エリアエリアの撮影をクレーン５が設定距離移動する毎（しかも、設定時間おきに）行う場合を例として説明したが、「設定距離移動する毎に」又は「設定時間おきに」行うように構成してもよい。
３）生産エリア撮影システムは、生産エリアの全域を撮影するように構成してもよく、生産エリアの一部を撮影するように構成してもよい。この場合、撮影したい場所にクレーン５を移動させた状態から、クレーン５を走行開始させると共に、タブレット１４からの撮影指令により複数のカメラ６による撮影を開始し、所望の場所で、タブレット１４からの撮影停止指令により撮影を停止すると共クレーン５の走行を停止する。

４）前記実施例では、固有切出し領域の設定処理をコンピュータにより自動的に処理したが、固有切出し領域の設定処理は、パソコン１３の画面に複数の画像を表示させ、それら画像を移動させたり回動させたりしながら、手動操作にて固有切出し領域の設定を行うことも可能である。
５）撮影対象の生産エリアも、重工業関係の生産エリアに限定されるものではなく、種々の生産エリアに本発明を適用可能である。

６）クレーン位置検知手段として、生産エリアの長さ方向の一端側にレーザ光を用いた距離測定手段を設け、クレーンにレーザ光を反射する反射板を設けてもよい。
７）クレーン位置検知手段の光センサと反射板の代わりに、各柱に柱毎に特有のパターンの無線信号を生産エリア幅方向に発する発信器を取り付け、クレーン側に無線信号を受信する受信器を装備してもよい。
８） その他、当業者ならば、前記実施例に種々の変更を付加した形態で実施可能であり、本発明はその種の変更形態をも包含するものである。

本発明は、工場の生産エリアで生産中の種々のワークや部品の現状を示す鉛直上方から視た俯瞰画像を作成可能な生産エリア撮影システムを提供する。

１Ａ 生産エリア
１Ｇ 俯瞰画像
５ 天井クレーン（移動体）
６ 撮影用カメラ（撮像手段）
１０ 生産エリア撮影システム
１１ クレーン位置検知手段
１１ａ 光センサ
１１ｂ 反射板
１１Ａ ロータリエンコーダ
１２ サーバユニット（切出し領域設定手段、画像合成手段）
Ｓ３ 切出し領域設定手段
Ｓ１７ 画像合成手段
Ａｉ 撮影画像
Ｂｉ 切出し画像（固有切出し領域）

Claims (5)

1. 工場の生産エリアを上方から俯瞰した俯瞰画像を作成する生産エリア撮影システムにおいて、
   前記生産エリアの上方所定高さ位置を生産エリアの長手方向に移動可能な移動体と、
   前記移動体に装備された複数の撮像手段と、
   前記移動体が設定距離移動する毎又は設定時間おきに複数の撮像手段で撮影した複数の画像から夫々切出した複数の切出し画像を生産エリアの幅方向と長手方向に合成して前記俯瞰画像を作成する画像合成手段と、
   を備えたことを特徴とする生産エリア撮影システム。
2. 複数の撮像手段で撮影した複数の画像から切出し画像を夫々切出す固有切出し領域を前記撮像手段別に予め設定する切出し領域設定手段を備え、
   前記画像合成手段は、複数の撮像手段で同時に撮影した複数の画像から前記固有切出し領域に基づいて夫々切出した複数の切出し画像を前記幅方向に合成して帯状俯瞰画像を作成し、その帯状俯瞰画像を前記長手方向に複数合成することで前記俯瞰画像を作成することを特徴とする請求項１に記載の生産エリア撮影システム。
3. 前記生産エリアにおける前記移動体の移動方向の位置を検知する移動体位置検知手段を設けたことを特徴とする請求項１又は２に記載の生産エリア撮影システム。
4. 前記移動体位置検知手段は、前記移動体に装備された投光受光機能のある複数の光センサと、生産エリアの側部に所定間隔おきに立設された複数の柱部材のうちの前記複数の光センサに対向可能な複数部位に、柱毎に異なる配置態様で付設された１又は複数の反射板と、前記移動体の駆動輪を駆動する駆動軸の回転角を検出するロータリエンコーダとを備え、
   前記移動体位置検知手段は、前記複数の光センサの受光信号と、前記ロータリエンコーダの検出信号とに基づいて前記移動体の位置を検知するように構成されたことを特徴とする請求項３に記載の生産エリア撮影システム。
5. 同時に撮影した複数の画像から切出した複数の切出し画像を画像合成用メモリ上に貼り付ける際に、複数の撮像手段で撮影する際のシャッター開時刻のズレを加味して複数の切出し画像の貼り付け位置を補正する貼り付け位置補正手段を設けたことを特徴とする請求項１又は２に記載の生産エリア撮影システム。