JP2020188432A - 撮影方向設定装置、撮影方向設定プログラム、撮影方向設定方法、侵入検出装置、侵入検出プログラム、侵入検出方法 - Google Patents

Abstract

【課題】 簡単な距離画像処理によって危険領域への人の侵入を検出することができる。【解決手段】 人が侵入すると危険な危険領域を含む撮影領域を所定の撮影方向から撮影する距離画像センサ（１２）を設け、コンピュータ（１４）は、危険領域と、人が侵入しても安全な安全領域と、障害物によって遮蔽される遮蔽領域と、障害物が存在しない開放領域とを含み、撮影領域に対応する判定領域についての３次元地図を生成し（ステップＳ１、Ｓ３、Ｓ５）、３次元地図に基づいて最も死角の少ない方向から前記危険領域を撮影することができる侵入検出用の撮影方向を設定し（ステップＳ７〜Ｓ１７）、侵入検出用の撮影方向に直交する切断方向で、距離画像から複数の断面画像を生成し（ステップＳ４１）、複数の断面画像に基づいて、危険領域に人が侵入したかどうかを検出する（ステップＳ４３）。【選択図】 図４

Description

この発明は撮影方向設定装置、撮影方向設定プログラム、撮影方向設定方法、侵入検出装置、侵入検出設定プログラム、侵入検出方法に関し、特にたとえば、危険領域を含む撮影領域を撮影する距離画像センサからの距離画像に基づいて、危険領域への人の侵入を検出する、撮影方向設定装置、撮影方向設定プログラム、撮影方向設定方法、侵入検出装置、侵入検出設定プログラム、侵入検出方法に関する。

この種の技術は、たとえば、機械等の周囲で作業する作業者の安全確保を図るために利用され得る。

この発明の背景となる作業環境監視装置の一例が特許文献１に開示されている。特許文献１の作業環境監視装置は、ロボットの作業空間を撮るカメラと、カメラの撮影画像に基づいて作業空間内における移動物体の有無とその位置を検出する検出手段と、移動物体の位置がロボットに近接した位置にある場合に警告を発生する警告手段とを備えている。

また、特許文献１の作業環境監視装置では、ロボット作業空間を上方向から撮るカメラと、ロボット作業空間を横方向から撮るカメラとの２台のカメラを備え、上方向からの撮影画像と横方向からの撮影画像とを合わせることにより作業空間を３次元画像として取り扱い、移動物体の位置を３次元空間において検出し、ロボットと移動物体との接触の可能性を判断することができる。

以上のような構成を備えることによって、特許文献１の作業環境監視装置は、上方向からの画像だけでは接触の危険性があると判断される場合にも、横方向からの画像により高低差があるため接触しないと判断できれば、無用な警告やロボットの停止を極力減らすことができるとしている。

特開平05−261692号公報［G01B 11/00］

しかしながら、特許文献１の作業環境監視装置では、移動物体の位置を３次元空間において検出するためには、２台以上のカメラを設ける必要があり、構成が複雑化し、ひいては製造コストの増大を招くという問題がある。また、作業環境によっては、２台以上のカメラを設けることが困難な場合もある。

それゆえに、この発明の主たる目的は、新規な、撮影方向設定装置、撮影方向設定プログラム、撮影方向設定方法、侵入検出装置、侵入検出設定プログラム、侵入検出方法を提供することである。

この発明の他の目的は、簡単な距離画像処理によって危険領域への人の侵入を検出することができる、撮影方向設定装置、撮影方向設定プログラム、撮影方向設定方法、侵入検出装置、侵入検出設定プログラム、侵入検出方法を提供することである。

この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、本発明の理解を助けるために後述する実施の形態との対応関係を示したものであって、本発明を何ら限定するものではない。

第１の発明は、人が侵入すると危険な危険領域と、人が侵入しても安全な安全領域と、障害物によって遮蔽される遮蔽領域と、障害物が存在しない開放領域とを含む判定領域についての３次元地図を生成する地図生成部、および３次元地図に基づいて、危険領域を撮影するにあたって最も死角の少ない方向に侵入検出用の撮影方向を設定する設定部を備える、撮影方向設定装置である。

第１の発明では、地図生成部（１４、Ｓ１、Ｓ３、Ｓ５）は、人が侵入すると危険な危険領域と、人が侵入しても安全な安全領域と、障害物によって遮蔽される遮蔽領域と、障害物が存在しない開放領域とを含む判定領域についての３次元地図を生成する。設定部（１４、Ｓ７〜Ｓ１７）は、３次元地図に基づいて、危険領域を撮影するにあたって最も死角の少ない方向に侵入検出用の撮影方向を設定する。

第１の発明によれば、最も死角の少ない方向に侵入検出用の撮影方向が設定されるので、簡単な距離画像処理によって危険領域への人の侵入を検出することができる。

第２の発明は、第１の発明に従属し、３次元地図は、複数のボクセルを含むボクセル地図として表現され、地図生成部は、危険領域、安全領域、遮蔽領域および開放領域のそれぞれを各ボクセルに書き込んで３次元地図を生成する、撮影方向設定装置である。

第２の発明によれば、侵入検出用の撮影方向を適切に設定することができる。

第３の発明は、第２の発明に従属し、設定部が、３次元地図に含まれる各ボクセルに対する複数の方向のそれぞれにおいて、遮蔽領域を通過せず、危険領域に到達可能な数をカウントし、当該数が大きい方向を、撮影方向として設定する、撮影方向設定装置である。

第３の発明によれば、侵入検出用の撮影方向を適切に設定することができる。

第４の発明は、第１から第３までのいずれかの発明に従属し、地図生成部は、危険領域および安全領域を含む危険領域地図と、遮蔽領域および開放領域を含む遮蔽領域地図とを生成し、危険領域地図と、遮蔽領域地図とを合成して３次元地図を生成する、撮影方向設定装置である。

第４の発明によれば、適切に３次元地図を生成することができ、侵入検出用の撮影方向を適切に設定することができる。

第５の発明は、撮影方向設定装置のコンピュータを、人が侵入すると危険な危険領域と、人が侵入しても安全な安全領域と、障害物によって遮蔽される遮蔽領域と、障害物が存在しない開放領域とを含む判定領域についての３次元地図を生成する地図生成部、および３次元地図に基づいて、危険領域を撮影するにあたって最も死角の少ない方向に侵入検出用の撮影方向を設定する設定部として機能させる、撮影方向設定プログラムである。

第６の発明は、（ａ）人が侵入すると危険な危険領域と、人が侵入しても安全な安全領域と、障害物によって遮蔽される遮蔽領域と、障害物が存在しない開放領域とを含む判定領域についての３次元地図を生成する地図生成ステップと、（ｂ）ステップ（ａ）で生成された３次元地図に基づいて、危険領域を撮影するにあたって最も死角の少ない方向に侵入検出用の撮影方向を設定する設定ステップを含む、撮影方向設定方法である。

第５および第６の発明によれば、第１の発明と同様の効果が期待できる。

第７の発明は、人が侵入すると危険な危険領域を含む撮影領域を撮影して距離画像を出力する距離画像センサ、危険領域と、人が侵入しても安全な安全領域と、障害物によって遮蔽される遮蔽領域と、障害物が存在しない開放領域とを含み、撮影領域に対応する判定領域についての３次元地図に基づいて、危険領域を撮影するにあたって最も死角の少ない方向に設定された侵入検出用の撮影方向に直交する切断方向で、距離画像から複数の断面画像を生成する断面画像生成部、および複数の断面画像に基づいて、危険領域に人が侵入したかどうかを検出する侵入検出部を備える、侵入検出装置である。

第７の発明では、距離画像センサ（１２）は、人が侵入すると危険な危険領域を含む撮影領域を撮影して距離画像を出力する。断面画像生成部（１４、Ｓ４１）は、危険領域と、人が侵入しても安全な安全領域と、障害物によって遮蔽される遮蔽領域と、障害物が存在しない開放領域とを含み、撮影領域に対応する判定領域についての３次元地図に基づいて、危険領域を撮影するにあたって最も死角の少ない方向に設定された侵入検出用の撮影方向に直交する切断方向で、距離画像から複数の断面画像を生成する。侵入検出部（１４、Ｓ４３）は、複数の断面画像に基づいて、危険領域に人が侵入したかどうかを検出する。

第７の発明によれば、最も死角の少ない方向に侵入検出用の撮影方向が設定されるので、簡単な距離画像処理によって危険領域への人の侵入を検出することができる。

第８の発明は、人が侵入すると危険な危険領域を含む撮影領域を撮影して距離画像を出力する距離画像センサを備える侵入検出装置のコンピュータを、危険領域と、人が侵入しても安全な安全領域と、障害物によって遮蔽される遮蔽領域と、障害物が存在しない開放領域とを含み、撮影領域に対応する判定領域についての３次元地図に基づいて、危険領域を撮影するにあたって最も死角の少ない方向に設定された侵入検出用の撮影方向に直交する切断方向で、距離画像から複数の断面画像を生成する断面画像生成部、および複数の断面画像に基づいて、危険領域に人が侵入したかどうかを検出する侵入検出部として機能させる、侵入検出プログラムである。

第９の発明は、人が侵入すると危険な危険領域を含む撮影領域を撮影した距離画像に基づいて、危険領域への人の侵入を検出する侵入検出方法であって、（ａ）危険領域と、人が侵入しても安全な安全領域と、障害物によって遮蔽される遮蔽領域と、障害物が存在しない開放領域とを含み、撮影領域に対応する判定領域についての３次元地図に基づいて、危険領域を撮影するにあたって最も死角の少ない方向に設定された侵入検出用の撮影方向に直交する切断方向で、距離画像から複数の断面画像を生成する断面画像生成ステップと、（ｂ）複数の断面画像に基づいて、危険領域に人が侵入したかどうかを検出する侵入検出ステップを含む、侵入検出方法である。

第１０の発明は、人が侵入すると危険な危険領域を含む撮影領域を互いに異なる方向から撮影して距離画像を出力する複数の距離画像センサを備える侵入検出システムの侵入検出方法であって、（ａ）危険領域と、人が侵入しても安全な安全領域と、障害物によって遮蔽される遮蔽領域と、障害物が存在しない開放領域とを含む判定領域についての３次元地図を生成する地図生成ステップと、（ｂ）ステップ（ａ）で生成された３次元地図に基づいて、複数の距離画像センサのうち、最も死角の少ない方向から危険領域を撮影することができる侵入検出用の距離画像センサを設定する設定ステップと、（ｃ）ステップ（ｂ）で設定された侵入検出用の距離画像センサの撮影方向に直交する切断方向で、侵入検出用の距離画像センサから出力される距離画像から複数の断面画像を生成する断面画像生成ステップと、（ｄ）ステップ（ｃ）で生成された複数の断面画像に基づいて、危険領域に人が侵入したかどうかを検出する侵入検出ステップを含む、侵入検出方法である。

この発明によれば、簡単な距離画像処理によって危険領域への人の侵入を検出することができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１はこの発明の一実施例の安全制御システムの構成を示すブロック図である。 図２は図１に示すメモリのメモリマップの一例を示す図解図である。 図３は図１に示すコンピュータが実行する撮影方向設定動作の一例を示すフロー図である。 図４は危険領域を含む判定領域の一例を示す側面図である。 図５は図４実施例における判定領域の上面図である。 図６は図４実施例の判定領域に基づいた遮蔽領域地図の一例を示す図解図である。 図７は図４実施例の判定領域に基づいた危険領域地図の一例を示す図解図である。 図８は図４実施例の判定領域に基づいた合成地図の一例を示す図解図である。 図９は図４実施例の判定領域に基づいたスコアの算出方法の一例を示す図解図である。 図１０は図４実施例における撮影方向毎のスコアを示す図解図である。 図１１は危険領域を含む判定領域の他の例を示す側面図である。 図１２は図１１実施例における判定領域の上面図である。 図１３は図１１実施例の判定領域に基づいたスコアを示す図解図である。 図１４は図１に示すコンピュータが実行する侵入検出動作の一例を示すフロー図である。 図１５は侵入検出ステップを詳細に示すフロー図である。 図１６は第２実施例の安全制御システムの構成を示す図解図である。 図１７は第２実施例の撮影方向設定動作の一例を示すフロー図である。

＜第１実施例＞
図１を参照して、この実施例の安全制御システム１０は、所定の撮影領域を撮影する距離画像センサ１２を含む。距離画像センサ１２は、一例として、前後左右にそれぞれ４０°の視野角または画角を有する。

距離画像センサ１２は、撮影領域の距離画像を取得するためのセンサである。ただし、距離画像センサ１２の撮影領域には、少なくとも判定領域が含まれる。判定領域には、危険領域が含まれる。危険領域とは、人が侵入すると危険な領域のことであり、たとえば工作機械またはロボットなどの機械の周囲に設定される領域のことである。すなわち、距離画像センサ１２は、危険領域およびその周辺の領域の距離画像を取得するためのセンサである。

この距離画像センサ１２は、赤外光またはレーザなどの光を照射し、対象物から反射した光（反射光）をＣＣＤ（Charge Coupled Device）センサなどの光学センサによって捉える。距離画像センサ１２は、光が戻るまでの時間を画素毎に計測することで、対象物までの実際の距離を測定する。実施例の距離画像センサ１２には、ASUS（登録商標）製のXtion（登録商標）と言われる製品が採用されている。なお、他の実施例では、距離画像センサ１２は、Microsoft（登録商標）製のKinect（登録商標）センサ、パナソニック（登録商標）製の３次元距離画像センサD-IMager（登録商標）などを使用することも可能である。この種のセンサは、３次元距離計測センサ、３Ｄスキャナなどと言われる場合もある。

なお、距離画像センサとしては、たとえばＬｉＤＡＲ（たとえば、Ｖｅｌｏｄｉｎｅ社製のイメージングユニットＬｉＤＡＲ（ＨＤＬ‐３２ｅ）（商品名））のような全方位レーザ距離計や、ステレオカメラなども利用可能である。

距離画像センサ１２からの距離画像信号は、コンピュータ１４に入力され、コンピュータ１４では、その距離画像信号をディジタルデータとして、たとえばＲＡＭのようなメモリ１６に記憶する。詳細は後述するが、コンピュータ１４は、メモリ１６に記憶された距離画像データを処理した結果から危険領域への人の侵入を検出する。危険領域への人の侵入が検出された場合には、コンピュータ１４は、危険領域への人の侵入が検出された旨の警告画面をディスプレイ１８に表示したり、警告音声をスピーカ２４から出力したり、管理者端末などの他の装置に警告メッセージを送信したりする等の警告（アラート）を発する。

メモリ１６は、図２に示すように、プログラム記憶領域２０およびデータ記憶領域２２を含む。

プログラム記憶領域２０には、地図生成プログラム２０ａ、撮影方向設定プログラム２０ｂ、データ取得プログラム２０ｃ、前処理プログラム２０ｄ、塊り認識プログラム２０ｅ、侵入検出プログラム２０ｆおよび警告プログラム２０ｇが予め設定されている。

地図生成プログラム２０ａは、撮影領域に対応する判定領域３０（図４参照）に対応する３次元地図である合成地図についての合成地図データを生成して、データ記憶領域２２の合成地図データ領域２２ｃに記憶するためのプログラムである。ただし、判定領域は、危険領域と、人が侵入しても安全な安全領域と、障害物によって遮蔽される遮蔽領域と、障害物が存在せず、遮蔽されない開放領域（非遮蔽領域）とを含む。

遮蔽領域は、障害物によって距離画像センサ１２の死角となる領域のことである。障害物は、典型的には、判定領域に含まれる機械等の構造物が該当する。ただし、本願発明では、機械等を操作する人が存在する領域（機械等の操作部の正面付近の領域）も障害物として取り扱われる。侵入検出を行う際に、機械等を操作する人の体によって距離画像センサ１２の死角が生じる（作業者が被る）ことがあるからである。

また、地図生成プログラム２０ａは、判定領域に対応する３次元地図であって、危険領域および安全領域を含む危険領域地図についての危険領域地図データを生成して、データ記憶領域２２の危険領域地図データ領域２２ａに記憶するためのプログラム（危険領域地図生成プログラム）でもある。

さらに、地図生成プログラム２０ａは、判定領域に対応する３次元地図であって、遮蔽領域および開放領域を含む遮蔽領域地図についての遮蔽領域地図データを生成して、データ記憶領域２２の遮蔽領域地図データ領域２２ｂに記憶するためのプログラム（遮蔽領域地図生成プログラム）でもある。詳細は後述するが、合成地図は、危険領域地図および遮蔽領域地図が合成されることによって生成される。

撮影方向設定プログラム２０ｂは、合成地図に基づいて、侵入検出用の撮影方向を設定して、侵入検出用の撮影方向についての撮影方向データを生成して、データ記憶領域２２の撮影方向データ領域２２ｄに記憶するためのプログラムである。ただし、侵入検出用の撮影方向は、合成地図に含まれる、危険領域、安全領域、遮蔽領域および開放領域の位置関係に応じて、危険領域を撮影するにあたって最も死角の少ない方向に設定される。

データ取得プログラム２０ｃは、侵入検出用の撮影方向から判定領域を撮影した距離画像センサ１２からの距離画像信号を、判定領域の全体の距離画像についての距離画像データ（３次元距離画像データ）として取り込んで、データ記憶領域２２の取得距離画像データ領域２２ｅに記憶するためのプログラムである。

前処理プログラム２０ｄは、取得距離画像データ領域２２ｅに記憶した距離画像データのノイズ除去などの前処理を行うためのプログラムである。

塊り認識プログラム２０ｅは、前処理を終えた距離画像データから人の体の一部に対応する所定形状の塊り距離画像についての距離画像データ（塊り距離画像データ）を抽出して、データ記憶領域２２の塊り距離画像データ領域２２ｇに記憶するためのプログラムである。

侵入検出プログラム２０ｆは、侵入検出用の撮影方向に直交する切断方向で、塊り距離画像から複数の断面画像を生成し、複数の断面画像および危険領域地図に基づいて、危険領域に人が侵入したかどうかを検出して、検出結果をデータ記憶領域２２の侵入検出データ領域２２ｈに記憶するためのプログラムである。

警告プログラム２０ｇは、危険領域に人が侵入した場合に、警告（アラート）を発するためのプログラムである。

データ記憶領域２２は、上述の危険領域地図データ領域２２ａ、遮蔽領域地図データ領域２２ｂ、合成地図データ領域２２ｃ、撮影方向データ領域２２ｄ、取得距離画像データ領域２２ｅ、塊り距離画像データ領域２２ｇおよび侵入検出データ領域２２ｈの他に、背景距離画像データ領域２２ｆを含む。背景距離画像データ領域２２ｆには、撮影領域に人が存在しない背景だけの、距離画像センサ１２からの距離画像（背景距離画像）を記憶するための領域であり、この背景距離画像データは後述のように前処理プログラム２０ｄによる前処理に利用される。

図３はこの実施例の安全制御システム１０におけるコンピュータ１４の撮影方向設定動作の処理内容を示すフロー図である。

コンピュータ１４は、撮影方向設定動作を開始すると、ステップＳ１で、地図生成プログラム２０ａに従って、判定領域３０に対応する遮蔽領域地図についての遮蔽領域地図データを生成して遮蔽領域地図データ領域２２ｂに記憶する。

判定領域３０の一例が、図４および図５に示される。図４および図５に示すように、判定領域３０は、人ＰＳＮが操作する機械Ｍを含むように設定され、機械Ｍの周囲には、危険領域３２が設定される。危険領域３２は、機械Ｍの形状、機能および動作等に応じて、人が侵入すると危険な領域の全部を含むように設定される。たとえば、機械Ｍの外形形状に沿って危険領域３２が設定される。

また、図４実施例では、機械Ｍの前端部には、構造物が存在しない空間部分３４，３６が設けられる。この空間部分３４，３６は、人ＰＳＮの腕の高さの辺りおよび人ＰＳＮの足元の辺りに、左右方向に延びるように形成される。また、空間部分３４，３６は、撮影方向によっては死角とならないため、上述の開放領域として扱われる。ただし、人ＰＳＮの腕の高さの辺りの空間部分３４は、危険領域３２に含まれ、人ＰＳＮの足元の辺りの空間部分３６は、危険領域３２に含まれない。

また、本実施例では、遮蔽領域地図は、複数のボクセルを含むボクセル地図として表現される。遮蔽領域地図の一例が、図６に示される。図６に示すように、遮蔽領域地図は、４×４×４の６４個のボクセルを含むボクセル地図として表現される。すなわち、遮蔽領域地図は、判定領域３０を６４個の空間に分割して、各空間をボクセルとして表現したボクセル地図である。

また、後述する危険領域地図および合成地図も６４個のボクセルを含むボクセル地図として表現され、遮蔽領域地図、危険領域地図および合成地図のそれぞれは、互いに対応する位置にボクセルが配置される。さらに、遮蔽領域地図、危険領域地図および合成地図のそれぞれにおいて同じ位置に配置される各ボクセルは、互いに関連付けられている。

遮蔽領域地図に含まれる各ボクセルには、遮蔽領域および開放領域のいずれかの情報が書き込まれる。ただし、遮蔽領域についての情報には、第１種類の遮蔽領域（遮蔽領域１）についての情報と、第２種類の遮蔽領域（遮蔽領域２）についての情報とが含まれる。第１種類の遮蔽領域とは、機械等を操作する人が存在する領域のことであり、第２種類の遮蔽領域とは、機械等の構造物が存在する領域のことである。

次にステップＳ３で、地図生成プログラム２０ａに従って、判定領域３０に対応する危険領域地図についての危険領域地図データを生成して危険領域地図データ領域２２ａに記憶する。危険領域地図の一例が、図７に示される。図７に示すように、危険領域地図に含まれる各ボクセルには、安全領域および危険領域のいずれかの情報が書き込まれる。

なお、遮蔽領域地図および危険領域地図は、予め判定領域３０の実際の環境を複数の方向、たとえば３軸から撮影した距離画像に基づいて生成されても良いし、判定領域３０の環境を３次元で仮想的に再現したデータに基づいて生成されても良い。

次にステップＳ５で、地図生成プログラム２０ａに従って、危険領域地図および遮蔽領域地図を合成した合成地図についての合成地図データを生成して合成地図データ領域２２ｃに記憶する。合成地図の一例が、図８に示される。図８に示す合成地図は、図６に示す遮蔽領域地図と図７に示す危険領域地図とを合成して生成された地図である。

図８に示すように、合成地図では、遮蔽領域地図で遮蔽領域であるボクセルは、危険領域地図において危険領域であるか安全領域であるかに関わらず、遮蔽領域として取り扱われる。これに対し、遮蔽領域地図で開放領域であるボクセルは、危険領域地図において危険領域であれば危険領域として取り扱われ、危険領域地図において安全領域であれば開放領域または安全領域として取り扱われる。

次にステップＳ７で、撮影方向を第１の方向に設定する。ただし、第１の方向とは、侵入検出用の撮影方向となりうる複数の方向のうち、いずれかの方向のことである。侵入検出用の撮影方向となりうる複数の方向には、たとえば、前後方向、左右方向、上下方向およびその他の任意の方向等が含まれる。

次にステップＳ９で、合成地図において、撮影方向から見たときに最初に接するボクセル（基準ボクセル）から遮蔽領域を通過せず、危険領域に到達可能な数（基準ボクセルからのスコア）を算出する。

たとえば、図９（Ａ）に示すように、撮影方向が下方向（“ｂ”の矢印の方向）である場合には、縦方向において上端に位置する１６個のボクセルが撮影方向から見たときに最初に接する基準ボクセルとなる。また、撮影方向が前方向（“ｃ”の矢印の方向）である場合には、前後方向において後端に位置する１６個のボクセルが基準ボクセルとなる。また、撮影方向が右方向（“ｄ”の矢印の方向）である場合には、左右方向において左端に位置する１６個のボクセルが基準ボクセルとなる。

そして、基準ボクセルから撮影方向に向かってボクセル地図の反対側に抜けるまでの間に通過する危険領域の数をカウントする。ただし、基準ボクセルからボクセル地図の反対側に抜けるまでの間に遮蔽領域を通過する場合には、それ以降の危険領域の数はカウントしない。すなわち、遮蔽領域を通るまでに通過する危険領域の数のみをカウントする。遮蔽領域の奥側は距離画像センサ１２の死角となるからである。このようにすれば、距離画像センサ１２（撮影方向）から見たときに、視認可能（撮影可能）な危険領域の数をカウントすることになる。

たとえば、撮影方向が下方向であって、“ｂ”の矢印に接する基準ボクセルからボクセル地図の反対側に抜ける場合には、図９（Ｂ）に示すように、開放領域、危険領域、遮蔽領域、遮蔽領域の順に通過する。この場合、遮蔽領域を通るまでに通過した危険領域の数が１個であるので、“ｂ”の矢印に接する基準ボクセルからのスコアは“１”となる。

また、撮影方向が前方向であって、“ｃ”の矢印に接する基準ボクセルからボクセル地図の反対側に抜ける場合には、図９（Ｃ）に示すように、遮蔽領域、危険領域、危険領域、遮蔽領域の順に通過する。この場合、最初に遮蔽領域を通るので、これ以降の危険領域の数はカウントされず、“ｃ”の矢印に接する基準ボクセルからのスコアは“０”となる。

さらに、撮影方向が左方向であって、“ｄ”の矢印に接する基準ボクセルからボクセル地図の反対側に抜ける場合には、図９（Ｄ）に示すように、危険領域、危険領域、危険領域、危険領域の順に通過する。この場合、遮蔽領域を通ることが無いので、通過した危険領域の数（４個）がそのままカウントされる。したがって、“ｄ”の矢印に接する基準ボクセルからのスコアは“４”となる。

以上のような手順で、撮影方向から見たときに最初に接する全ての基準ボクセルからのスコアを算出し、全ての基準ボクセルからのスコアを合計して、その撮影方向についての合計スコアとする。図１０は図４実施例における撮影方向についての合計スコアを示す図解図である。図１０（Ａ）および図１０（Ｂ）に示すように、図４実施例では、前方向から（撮影方向が後方向）および後方向から（撮影方向が前方向）の合計スコアは、“０”であり、図１０（Ｃ）に示すように、上方向から（撮影方向が下方向）の合計スコアは、“４”であり、図１０（Ｄ）に示すように、右方向から（撮影方向が左方向）の合計スコアは、“８”である。

次にステップＳ１１で、撮影方向についての合計スコアを、撮影方向に関連づけてスコアリストに登録して、ステップＳ１３に進む。なお、スコアリストは、侵入検出用の撮影方向となりうる複数の方向の各々の合計スコアを記録するためのリストである。このスコアリストは、撮影方向データ領域２２ｄに記憶される。

次にステップＳ１３で、侵入検出用の撮影方向となりうる他の方向があるかどうかを判断する。ここでは、侵入検出用の撮影方向となりうる全ての方向の合計スコアがスコアリストに記録されたかどうかを判断する。ステップＳ１３で“ＹＥＳ”であれば、つまり、他の撮影方向があると判断した場合には、ステップＳ１５で、撮影方向を侵入検出用の撮影方向となりうる他の方向に変更して、ステップＳ９に戻る。

一方、ステップＳ１３で“ＮＯ”であれば、つまり、侵入検出用の撮影方向となりうる他の方向が無いと判断した場合には、ステップＳ１７で、撮影方向についての合計スコアが最も大きくなる方向を、侵入検出用の撮影方向として設定して、撮影方向設定動作を終了する。たとえば、図１０に示すように、図４実施例では、右方向から見たときの合計スコア、すなわち撮影方向が左方向の合計スコアが最も大きくなるので、侵入検出用の撮影方向が左方向に設定される。

図１１および図１２に示した例でも、図４に示す実施例と同様に、侵入検出用の撮影方向となりうる全ての方向の合計スコアを算出し、合計スコアが最も大きくなる撮影方向を、侵入検出用の撮影方向として設定する。

図１１および図１２に示す例では、危険領域３２は、機械Ｍの周囲に設定される。ただし、機械Ｍの周囲とは、機械Ｍから上方向および前後左右方向において所定距離以内の領域のことである。

図１３は図１１実施例における撮影方向についての合計スコアを示す図解図である。図１３（Ａ）に示すように、図１１実施例では、前方向から（撮影方向が後方向）の合計スコアは、“１２”であり、図１３（Ｂ）に示すように、後方向から（撮影方向が前方向）の合計スコアは、“４０”であり、図１３（Ｃ）に示すように、上方向から（撮影方向が下方向）の合計スコアは、“４２”であり、図１３（Ｄ）に示すように、右方向から（撮影方向が左方向）の合計スコアは、“３０”である。

したがって、図１１実施例では、上方向から見たときの合計スコア、すなわち撮影方向が下方向の合計スコアが最も大きくなるので、侵入検出用の撮影方向が下方向に設定される。

以上のように、コンピュータ１４は、メモリ１６等と協働して、侵入検出用の撮影方向を設定する撮影方向設定装置としての機能を有する。

そして、コンピュータ１４は、侵入検出用の撮影方向が設定された後に、侵入検出動作のメイン処理を開始する。コンピュータ１４は、侵入検出動作のメイン処理を開始すると、ステップＳ２１で、データ取得プログラム２０ｃに従って、距離画像センサ１２からの距離画像信号を、距離画像データとして取得して取得距離画像データ領域２２ｅに記憶する。ただし、侵入検出動作のメイン処理における距離画像センサ１２の撮影方向は、侵入検出用の撮影方向である。

次にステップＳ２３、Ｓ２５およびＳ２７において、コンピュータ１４は前処理プログラム２０ｄに従って、距離画像のノイズ除去（ステップＳ２３）、歪み補正（ステップＳ２５）および背景情報除去（ステップＳ２７）のような前処理を実行する。

距離画像センサ１２の計測値には様々なノイズが混入しているので、必要に応じて、この種のノイズを、ステップＳ２３で、平滑化やメディアンフィルタ等のフィルタを使用して除去する。具体的には、計測値の外れ値を除去し、平滑化（粗い量子化）し、小さすぎる物体、細すぎる物体を除去し、その結果を取得距離画像データ領域２２ｅまたは別の領域（図示せず）に記憶する。

次のステップＳ２５では、前処理の一環として、歪み補正を行う。赤外線レーザなどの光軸をレンズ等で曲げて広範囲の計測を行う距離画像センサの場合、歪曲収差等が発生するので、必要に応じて、ステップＳ２５でこの補正を行い、その結果を取得距離画像データ領域２２ｅまたは別の領域（図示せず）に記憶する。

ステップＳ２７では背景情報除去処理を実行する。人や動きのあるもののみを検出するため、静的に存在するものの反射を学習し、計測値から除去する。具体的には、予め記憶している背景距離画像データをデータ記憶領域２２の背景距離画像データ領域２２ｆから読み出し、処理中の距離画像データからこの背景距離画像データを減算する。併せて、予め設定している判定領域の外側のデータを消去し、その結果（前処理が終わった距離画像データ）を取得距離画像データ領域２２ｅに記憶する。

ステップＳ２９では塊り分離処理を実行する。ここでは、前処理を終えた距離画像データから、人の形状に類似した塊りを選別して、塊りを含む所定形状の画像（塊り距離画像）として抽出し、塊り距離画像毎の距離画像データ（塊り距離画像データ）に分離する。塊り距離画像の選別方法としては、たとえば、前処理を終えた距離画像に含まれる物体を示す画像のうち、２次元の大きさで考えると、Ｘ軸Ｙ軸がそれぞれ所定以上の長さおよびそれぞれ所定の長さ以下を有するサイズの画像であって、その画像に外接する長方形の面積とその画像の面積の比率が一定以上であり、縦横比が所定の比率以下であるなど、輪郭が人の形状に類似した画像を塊り距離画像として抽出する。したがって、人の形状に類似しない画像、たとえば矩形形状などの丸みを帯びていない形状の画像および大きすぎるまたは小さすぎる画像等については、塊り距離画像として抽出されない。すなわち、人の形状に類似しない画像は、侵入検出動作の対象から除外される。

なお、塊り距離画像の別の選別方法としては、距離画像に代えて、所定の高さ（たとえば１２００ｍｍ）の横断面画像を生成して、横断面画像に含まれる画像のうち、輪郭が人の形状に類似した画像を塊り距離画像として抽出するようにしても良い。

次にステップＳ３１で、接続領域に人が存在するかどうかを判断する。ここでは、距離画像センサ１２の撮影方向から見たときに、危険領域から所定距離までの領域（接続領域）内に人（塊り距離画像）が存在するかどうかを判断する。たとえば、塊り距離画像の中心が、危険領域から所定距離以内かどうかを判断する。

ステップＳ３１で“ＮＯ”であれば、つまり、接続領域に人が存在しないと判断した場合は、ステップＳ２１に戻る。一方、ステップＳ３１で“ＹＥＳ”であれば、つまり、接続領域に人が存在すると判断した場合は、ステップＳ３３に進む。

続くステップＳ３３では、図１５に示すサブルーチンに従って、侵入検出処理を実行する。簡単に説明すると、侵入検出処理は、塊り距離画像についての塊り距離画像データから複数の断面画像を生成して、複数の断面画像に基づいて、危険領域に人が侵入したかどうかを検出するための処理である。

コンピュータ１４は、侵入検出処理を開始すると、最初のステップＳ４１で、塊り距離画像についての塊り距離画像データから、侵入検出用の撮影方向に直交する切断方向で切断した複数の断面画像を生成する。

次にステップＳ４３で、危険領域に人が侵入したかどうかを判断する。ここでは、複数の断面画像に含まれる物体を示す画像と、危険領域地図とを重ね合わせて（照合して）、複数の断面画像に含まれる物体を示す画像と、危険領域地図に含まれる危険領域とが重なるかどうかを判断する。

ステップＳ４３で“ＮＯ”であれば、つまり、危険領域に人が侵入していないと判断した場合は、後述するステップＳ４７に進む。一方、ステップＳ４３で“ＹＥＳ”であれば、つまり、危険領域に人が侵入したと判断した場合は、ステップＳ４５で、警告処理を実行して、ステップＳ４７に進む。なお、ステップＳ４５の警告処理では、危険領域への人の侵入が検出された旨の警告画面がディスプレイ１８に表示されたり、警告音声がスピーカ２４から出力されたり、管理者端末などの他の装置に警告メッセージが送信されたりする等の警告が発せられる。

続いて、ステップＳ４７では、侵入検出処理を終了するかどうかを判断する。ここでは、接続領域に人が存在しなくなったかどうかを判断する。ステップＳ４７で“ＮＯ”であれば、つまり、侵入検出処理を終了しないと判断した場合は、ステップＳ４１に戻る。一方、ステップＳ４７で“ＹＥＳ”であれば、つまり、侵入検出処理を終了すると判断した場合は、侵入検出動作のメイン処理にリターンする。

以上のように、コンピュータ１４は、距離画像センサ１２およびメモリ１６等と協働して、危険領域に人が侵入したかどうかを検出する侵入検出装置としての機能も有する。

このように、本実施例によれば、侵入検出用の撮影方向に直交する切断方向で切断した複数の断面画像を生成し、複数の断面画像に基づいて、危険領域に人が侵入したかどうかを検出する。ただし、侵入検出用の撮影方向は、３次元地図である合成地図に含まれる、危険領域、安全領域、遮蔽領域および開放領域の位置関係に応じて、危険領域を撮影するにあたって最も死角の少ない方向に設定される。このようにすれば、簡単な距離画像処理によって危険領域への人の侵入を検出することができる。

また、本実施例によれば、３次元地図は、複数のボクセルを含むボクセル地図として表現され、各ボクセルには、危険領域、安全領域、遮蔽領域および開放領域のそれぞれが書き込まれる。このようにすれば、侵入検出用の撮影方向を適切に設定することができる。

さらに、本実施例によれば、３次元地図に含まれる各ボクセルに対する複数の方向のそれぞれにおいて、遮蔽領域を通過せず、危険領域に到達可能な数に対応するスコアをカウントし、当該スコアが大きい方向を、撮影方向として設定する。このようにすれば、侵入検出用の撮影方向を適切に設定することができる。

さらにまた、本実施例によれば、３次元地図は、危険領域および安全領域を含む危険領域地図と、遮蔽領域および開放領域を含む遮蔽領域地図とを含み、地図生成部は、危険領域地図と、遮蔽領域地図とを合成して３次元地図を生成する。このようにすれば、侵入検出用の撮影方向を適切に設定することができる。

＜第２実施例＞
第２実施例の安全制御システム１０は、複数の距離画像センサ１２を含み、複数の距離画像センサ１２のうち、最も死角の少ない方向から危険領域を撮影することができる侵入検出用の距離画像センサから出力される距離画像に基づいて、危険領域に人が侵入したかどうかを検出するようにした以外は第１実施例と同じである。以下、第２実施例の安全制御システム１０について説明するが、第１実施例で説明した内容と重複する内容については省略することにする。

図１６に示すように、第２実施例の安全制御システム１０は、複数の距離画像センサ１２を含む。複数の距離画像センサ１２の各々は、判定領域３０を互いに異なる方向から撮影するように配置される。図１６に示す例では、安全制御システム１０は、４つの距離画像センサ１２ａ〜１２ｄを含む。

図１７は第２実施例の安全制御システム１０におけるコンピュータ１４の撮影方向設定動作の処理内容を示すフロー図である。

以下、フロー図を用いて、第２実施例における撮影方向設定動作について説明するが、第１実施例で説明した撮影方向設定動作と同じ処理については同じ参照符号を付し、重複した内容については、説明を省略するまたは簡単に説明することにする。

コンピュータ１４は、撮影方向設定動作を開始すると、ステップＳ５で、合成地図についての合成地図データを生成して合成地図データ領域２２ｃに記憶し、続くステップＳ６１で、合成地図において、複数の距離画像センサ１２のうちのいずれか１つの距離画像センサ１２から見たときに最初に接する基準ボクセルからのスコアを算出する。そして、全ての基準ボクセルからのスコアを合計して、その距離画像センサ１２についての合計スコアとする。なお、スコアの算出方法は第１実施例と同じであるので詳しい説明を省略する。

次にステップＳ６３で、距離画像センサ１２についての合計スコアを、距離画像センサ１２に関連づけてスコアリストに登録して、ステップＳ６５に進む。

次にステップＳ６５で、スコアを算出していない他の距離画像センサ１２があるかどうかを判断する。ここでは、安全制御システム１０に含まれる全ての距離画像センサ１２についての合計スコアがスコアリストに記録されたかどうかを判断する。ステップＳ６５で“ＹＥＳ”であれば、つまり、他の距離画像センサ１２があると判断した場合には、ステップＳ６７で、距離画像センサ１２を変更して、ステップＳ６１に戻る。

一方、ステップＳ６５で“ＮＯ”であれば、つまり、スコアを算出していない他の距離画像センサ１２が無いと判断した場合には、ステップＳ６９で、合計スコアが最も大きい距離画像センサ１２を、侵入検出用の距離画像センサ１２として設定して、撮影方向設定動作を終了する。

なお、第２実施例では、侵入検出用の距離画像センサ１２の撮影方向（距離画像センサ１２の画角の中心）が侵入検出用の撮影方向となる。また、侵入検出動作のメイン処理では、侵入検出用の距離画像センサ１２からの距離画像信号に応じて処理が行われる。ただし、侵入検出動作のメイン処理およびステップＳ３３の侵入検出処理の内容については、第１実施例と同じであるので説明を省略する。

このように、第２実施例によれば、複数の距離画像センサ１２のうち、危険領域を撮影するにあたって最も死角の少ない方向から危険領域を撮影することができる侵入検出用の距離画像センサから出力される距離画像に基づいて、危険領域に人が侵入したかどうかを検出する。このようにすれば、第１実施例と同様に、簡単な距離画像処理によって危険領域への人の侵入を検出することができる。

また、第２実施例では、複数の距離画像センサ１２が設けられるので、遮蔽領域地図、危険領域地図および合成地図が作成されていない場合には、各距離画像センサ１２から撮影した距離画像に基づいて、遮蔽領域地図、危険領域地図および合成地図を作成することができる。

なお、第２実施例で挙げた距離画像センサ１２の数および各距離画像センサ１２の配置等はいずれも単なる一例であり、必要に応じて適宜変更可能である。

上述の実施例では、図３、図１４（図１５）、図１７のすべてのステップを１つのコンピュータ１４が実行するものとして説明したが、複数のコンピュータを用いてもよく、あるいは特定の処理をコンピュータではなくＤＳＰのような専用処理回路で処理するようにしてもよい。

なお、上で挙げた角度、距離、割合および変更幅などの具体的数値はいずれも単なる一例であり、必要に応じて適宜変更可能である。

また、上で挙げたボクセル地図に含まれるボクセルの数および各ボクセルの配置等はいずれも単なる一例であり、必要に応じて適宜変更可能である。

１０ …安全制御システム
１２ …距離画像センサ
１４ …コンピュータ
１６ …メモリ
１８ …ディスプレイ

Claims (10)

1. 人が侵入すると危険な危険領域と、人が侵入しても安全な安全領域と、障害物によって遮蔽される遮蔽領域と、障害物が存在しない開放領域とを含む判定領域についての３次元地図を生成する地図生成部、および
   前記３次元地図に基づいて、前記危険領域を撮影するにあたって最も死角の少ない方向に侵入検出用の撮影方向を設定する設定部を備える、撮影方向設定装置。
2. 前記３次元地図は、複数のボクセルを含むボクセル地図として表現され、
   前記地図生成部は、前記危険領域、前記安全領域、前記遮蔽領域および前記開放領域のそれぞれを各ボクセルに書き込んで前記３次元地図を生成する、請求項１記載の撮影方向設定装置。
3. 前記設定部は、前記３次元地図に含まれる各ボクセルに対する複数の方向のそれぞれにおいて、前記遮蔽領域を通過せず、前記危険領域に到達可能な数をカウントし、当該数が大きい方向を、前記撮影方向として設定する、請求項２記載の撮影方向設定装置。
4. 前記地図生成部は、前記危険領域および前記安全領域を含む危険領域地図と、前記遮蔽領域および前記開放領域を含む遮蔽領域地図とを生成し、前記危険領域地図と、前記遮蔽領域地図とを合成して前記３次元地図を生成する、請求項１から３までのいずれかに記載の撮影方向設定装置。
5. 撮影方向設定装置のコンピュータを、
   人が侵入すると危険な危険領域と、人が侵入しても安全な安全領域と、障害物によって遮蔽される遮蔽領域と、障害物が存在しない開放領域とを含む判定領域についての３次元地図を生成する地図生成部、および
   前記３次元地図に基づいて、前記危険領域を撮影するにあたって最も死角の少ない方向に侵入検出用の撮影方向を設定する設定部として機能させる、撮影方向設定プログラム。
6. （ａ）人が侵入すると危険な危険領域と、人が侵入しても安全な安全領域と、障害物によって遮蔽される遮蔽領域と、障害物が存在しない開放領域とを含む判定領域についての３次元地図を生成する地図生成ステップと、
   （ｂ）前記ステップ（ａ）で生成された前記３次元地図に基づいて、前記危険領域を撮影するにあたって最も死角の少ない方向に侵入検出用の撮影方向を設定する設定ステップを含む、撮影方向設定方法。
7. 人が侵入すると危険な危険領域を含む撮影領域を撮影して距離画像を出力する距離画像センサ、
   前記危険領域と、人が侵入しても安全な安全領域と、障害物によって遮蔽される遮蔽領域と、障害物が存在しない開放領域とを含み、前記撮影領域に対応する判定領域についての３次元地図に基づいて、前記危険領域を撮影するにあたって最も死角の少ない方向に設定された侵入検出用の撮影方向に直交する切断方向で、前記距離画像から複数の断面画像を生成する断面画像生成部、および
   前記複数の断面画像に基づいて、前記危険領域に人が侵入したかどうかを検出する侵入検出部を備える、侵入検出装置。
8. 人が侵入すると危険な危険領域を含む撮影領域を撮影して距離画像を出力する距離画像センサを備える侵入検出装置のコンピュータを、
   前記危険領域と、人が侵入しても安全な安全領域と、障害物によって遮蔽される遮蔽領域と、障害物が存在しない開放領域とを含み、前記撮影領域に対応する判定領域についての３次元地図に基づいて、前記危険領域を撮影するにあたって最も死角の少ない方向に設定された侵入検出用の撮影方向に直交する切断方向で、前記距離画像から複数の断面画像を生成する断面画像生成部、および
   前記複数の断面画像に基づいて、前記危険領域に人が侵入したかどうかを検出する侵入検出部として機能させる、侵入検出プログラム。
9. 人が侵入すると危険な危険領域を含む撮影領域を撮影した距離画像に基づいて、前記危険領域への人の侵入を検出する侵入検出方法であって、
   （ａ）前記危険領域と、人が侵入しても安全な安全領域と、障害物によって遮蔽される遮蔽領域と、障害物が存在しない開放領域とを含み、前記撮影領域に対応する判定領域についての３次元地図に基づいて、前記危険領域を撮影するにあたって最も死角の少ない方向に設定された侵入検出用の撮影方向に直交する切断方向で、前記距離画像から複数の断面画像を生成する断面画像生成ステップと、
   （ｂ）前記複数の断面画像に基づいて、前記危険領域に人が侵入したかどうかを検出する侵入検出ステップを含む、侵入検出方法。
10. 人が侵入すると危険な危険領域を含む撮影領域を互いに異なる方向から撮影して距離画像を出力する複数の距離画像センサを備える侵入検出システムの侵入検出方法であって、
    （ａ）前記危険領域と、人が侵入しても安全な安全領域と、障害物によって遮蔽される遮蔽領域と、障害物が存在しない開放領域とを含む判定領域についての３次元地図を生成する地図生成ステップと、
    （ｂ）前記ステップ（ａ）で生成された前記３次元地図に基づいて、前記複数の距離画像センサのうち、最も死角の少ない方向から前記危険領域を撮影することができる侵入検出用の距離画像センサを設定する設定ステップと、
    （ｃ）前記ステップ（ｂ）で設定された前記侵入検出用の距離画像センサの撮影方向に直交する切断方向で、前記侵入検出用の距離画像センサから出力される距離画像から複数の断面画像を生成する断面画像生成ステップと、
    （ｄ）前記ステップ（ｃ）で生成された前記複数の断面画像に基づいて、前記危険領域に人が侵入したかどうかを検出する侵入検出ステップを含む、侵入検出方法。

Images