JP2018048839A - 三次元データ生成装置及び三次元データ生成方法、並びに三次元データ生成装置を備えた監視システム - Google Patents

Abstract

【課題】三次元センサの測定データを用いて、観察領域に存在する死角の認識や物体間の距離の把握を行う。
【解決手段】三次元データ生成装置１０は、観察領域を測定する三次元センサ１２の測定データＤに基づき、観察領域に設定される直交三軸座標系における物体の測定座標Ｍを取得する測定座標取得部１４と、直交三軸座標系のＸＹ平面に平行な基準面を観察領域に定めるとともに、この基準面を、複数の区画に等分し、それら複数の区画のうち、物体の測定座標ＭのＸＹ座標値が含まれる区画に、同じ測定座標ＭのＺ値を当該区画の代表高さＨとして与える区画情報作成部１６とを備える。三次元データ生成装置１０は、複数の区画の各々の、基準面における位置と寸法と代表高さＨとを用いて、観察領域２２の三次元データを生成する。
【選択図】図１

Description

本発明は、観察領域に存在する物体を認識するための三次元データを生成する三次元データ生成装置及び三次元データ生成方法に関する。本発明はまた、三次元データ生成装置を備えた監視システムに関する。

所定の空間的広がりを有する観察領域を、当該観察領域を撮像した画像情報を用いて監視するシステムは知られている。例えば特許文献１は、広域に渡って人物や車両等の移動物体を監視する広域監視装置を開示する。この広域監視装置は、監視対象領域の画像情報から移動物体の位置と特徴量とを検出し、移動物体の位置を監視対象領域地図の座標に変換して座標と特徴量とを出力する移動物体認識装置と、移動物体が有する識別情報を検出する個体識別装置と、移動物体の識別情報と予め登録した登録識別情報とを照合して照合結果を出力する照合装置と、移動物体の座標及び特徴量の情報と、識別情報及び照合結果とを結合して、移動物体を監視対象領域地図上で追跡する移動物体追跡装置とを有する。

特開平９−１３０７８１号公報

画像情報を用いて観察領域を監視するシステムでは、画像情報を取得するセンサの撮像部と観察領域に存在する物体との位置関係に応じて、撮像部から見て物体の背後に位置するために画像情報を取得できない区域（いわゆる死角）が生ずる場合がある。死角が生ずると、死角に相当する空間の状態を知ることができず、例えば撮像部から２つの物体が重なって見える場合にはそれら物体間の距離を把握することもできない。一般に撮像部の個数を増やすことにより死角を削減できるが、例えば、画像情報に基づき観察領域を自動監視するシステムでは、個々の撮像部の画像情報を組み合わせて物体を認識するための演算量の増加により処理速度が低下する懸念があり、また、観察領域を画像表示するモニタを観察者が随時監視するシステムでは、撮像部及びモニタの増加により監視作業が煩雑になる危惧がある。

本発明の一態様は、観察領域に存在する物体を認識するための三次元データを生成する三次元データ生成装置であって、観察領域を測定する三次元センサの測定データに基づき、観察領域に設定される直交三軸座標系における物体の測定座標を取得する測定座標取得部と、直交三軸座標系のＸＹ平面に平行な基準面を観察領域に定めるとともに、基準面を複数の区画に等分し、複数の区画のうち、物体の測定座標のＸＹ座標値が含まれる区画に、同じ測定座標のＺ値を区画の代表高さとして与える区画情報作成部と、を具備し、複数の区画の各々の、基準面における位置と寸法と代表高さとを用いて、観察領域の三次元データを生成する、三次元データ生成装置である。

本発明の他の態様は、観察領域に存在する物体を認識するための三次元データを生成する三次元データ生成方法であって、観察領域を測定する三次元センサの測定データに基づき、観察領域に設定される直交三軸座標系における物体の測定座標を取得し、直交三軸座標系のＸＹ平面に平行な基準面を観察領域に定めるとともに、基準面を複数の区画に等分し、複数の区画のうち、物体の測定座標のＸＹ座標値が含まれる区画に、同じ測定座標のＺ値を区画の代表高さとして与え、複数の区画の各々の、基準面における位置と寸法と代表高さとを用いて、観察領域の三次元データを生成する、三次元データ生成方法である。

本発明のさらに他の態様は、観察領域を測定する三次元センサと、上記した三次元データ生成装置と、を具備し、三次元データ生成装置が生成した三次元データを用いて観察領域を監視する、監視システムである。

一態様に係る三次元データ生成装置によれば、観察領域を測定した三次元センサの測定データに基づき、基準面における位置及び寸法と代表高さとをそれぞれに持つ複数の区画で観察領域を表現した三次元データが生成される。三次元センサと物体との位置関係に起因して観察領域に生ずる死角は、代表高さを持たない区画として、代表高さを持つ他の区画とは区別可能な状態で、三次元データが生成される。したがって、生成された三次元データを参照することにより、観察領域内の死角を正確に認識できる。また、観察領域に存在する２つの物体の間の距離を、それら物体の間に存在する区画の、基準面における位置及び寸法に基づき容易に把握できる。さらに、三次元センサの個数を増やすことで死角を削減できることに加えて、残留している死角については単一の画像上で物体とは区別可能な状態で表現できるので、例えば、モニタに画像表示した三次元データを観察者が随時監視する監視システムで三次元データ生成装置を使用する場合に、観察者が複数の三次元センサに対応する画像を見比べて死角の有無を判断するといった、煩雑な監視作業が不要になる。しかも、基準面を等分する複数の区画の各々の、基準面における位置と寸法と代表高さとを用いて三次元データを生成する構成であるから、例えば、電算機等が三次元データに基づき観察領域を自動監視する監視システムで三次元データ生成装置を使用する場合に、三次元センサの個数を増やしたとしても、個々の三次元センサの測定データを組み合わせて物体及び死角を認識するための演算量の増加を抑制でき、以って、処理速度の低下を防止できる。

他の態様に係る三次元データ生成方法によれば、三次元データ生成装置の前述した効果と同等の効果が奏される。

他の態様に係る監視システムによれば、三次元データ生成装置を備えたことにより、観察領域内の死角を正確に認識したり物体間の距離を容易に把握したりすることが可能になり、また、死角を削減するべく三次元センサの個数を増やす場合にも、観察者が複数の三次元センサに対応する画像を見比べて死角の有無を判断するといった煩雑な監視作業を排除でき、或いは、個々の三次元センサの測定データを組み合わせて物体及び死角を認識するための演算量の増加を抑制して処理速度の低下を防止できる。また、三次元センサに予め設定される観察領域の測定周期に合わせて三次元データ生成装置が生成する三次元データを用いることで、観察領域を実時間で継続して監視することができる。

一実施形態による三次元データ生成装置の基本構成を示す機能ブロック図である。 一実施形態による監視システムの構成を概念的に示す図である。 従来の監視システムで生成される監視画像の一例を示す図である。 図２の監視システムで生成される監視画像の一例を示す図である。 一実施形態による三次元データ生成方法を概念的に示す図である。 三次元データ生成装置が生成した三次元データの一例を概念的に示す図である。 三次元データ生成装置の一構成例を示す機能ブロック図である。 図６の三次元データ生成装置における座標選択条件の一例を概念的に示す図である。 三次元データ生成装置の他の構成例を示す機能ブロック図である。 三次元データ生成装置のさらに他の構成例を示す機能ブロック図である。 図９の三次元データ生成装置におけるデータ変換方法を説明する図である。 図９の三次元データ生成装置におけるデータ変換方法を説明する図である。 図９の三次元データ生成装置におけるデータ変換方法を説明する図である。 図１０の一部分を拡大して示す図である。 図９の三次元データ生成装置におけるデータ変換方法を説明する図である。 三次元データ生成装置のさらに他の構成例を示す機能ブロック図である。 三次元データ生成装置のさらに他の構成例を示す機能ブロック図である。 三次元データ生成装置のさらに他の構成例を示す機能ブロック図である。 図１６の三次元データ生成装置が表示する画像の一例を示す図である。 図１７Ａの画像の一部分を拡大して示す図である。

以下、添付図面を参照して本発明の実施の形態を説明する。全図面に渡り、対応する構成要素には共通の参照符号を付す。

図１は、一実施形態による三次元データ生成装置１０の基本構成を機能ブロック図で示す。三次元データ生成装置１０は、所定の空間的広がりを有する観察領域に存在する物体を認識するための三次元データを生成するものであって、例えば電算機の一機能（ハードウェア及びソフトウェア）として構成できる。三次元データ生成装置１０は、観察領域を測定する三次元センサ１２の測定データＤに基づき、観察領域に設定される直交三軸座標系における物体の測定座標Ｍを取得する測定座標取得部１４と、直交三軸座標系のＸＹ平面に平行な基準面を観察領域に定めるとともに、この基準面を、三次元センサ１２が各々を測定可能な複数の区画に等分し、それら複数の区画のうち、物体の測定座標ＭのＸＹ座標値が含まれる区画に、同じ測定座標ＭのＺ値を当該区画の代表高さＨとして与える区画情報作成部１６とを備える。三次元データ生成装置１０は、複数の区画の各々の、基準面における位置と寸法と代表高さＨとを用いて、観察領域の三次元データを生成する。三次元データ生成装置１０が実行する三次元データ生成方法の詳細は後述する。

図２は、一実施形態による監視システム２０の構成を概念的に示す。監視システム２０は、三次元データ生成装置１０が生成した三次元データを用いて観察領域２２を監視するものであって、三次元データ生成装置１０と、観察領域２２を測定する三次元センサ１２とを備える。三次元センサ１２は、被写体を撮像する撮像部（以下、カメラと称する）２４と、カメラ２４の撮像動作を制御するカメラ制御部２６とを備える。カメラ制御部２６は、カメラ２４が撮像した被写体の位置情報から測定データＤを演算したり、測定データＤを適宜に画像処理したりすることができる。或いは、これらデータ演算機能や画像処理機能を三次元データ生成装置１０に持たせることもできる。

図２の実施形態では、監視システム２０は、それぞれが三次元センサ１２の構成要素である２個のカメラ２４を備え、各カメラ２４が、観察領域２２の床面２８から鉛直上方へ離れた所定位置に設置される。２個のカメラ２４は、それぞれの視野２４ａが一部重複する位置であって、互いに協働して少なくとも床面２８の全体を撮像可能な位置に配置される。観察領域２２には、床、壁、設備等の静止構造体が常時存在することに加えて、人、移動機械等の移動体が常時又は一時的に存在する（これら静止構造体や移動体を物体ＯＢと総称する）。各カメラ２４は好ましくは、観察領域２２において観察対象となり得る全ての物体ＯＢの現実の高さよりも、高い位置に設置される。なお、カメラ２４の個数（すなわち三次元センサ１２の個数）は、観察領域２２の全体に渡って物体ＯＢの測定データＤを生成できることを前提として、２個に限定されず、１個でもよいし３個以上であってもよい。

図３Ａは、比較のため、図２に示す観察領域２２を２個のカメラ２４で撮像して得た測定データＤを従来一般的な手法で画像化した監視画像の一例を示す。図３Ａの左側の図は、図２の観察領域２２の上方左側に設置したカメラ２４による監視画像を示す。また図３Ａの右側の図は、図２の観察領域２２の上方右側に設置したカメラ２４による監視画像を示す。図示のように、三次元センサ１２で得た測定データＤを従来手法で画像化すると、被写体である物体ＯＢは、高さ情報（例えば色で表現）を含む透視図で表される。このような手法では、カメラ２４から見て物体ＯＢの背後に位置する区域は、画像情報を取得できないために死角となって画像化することができない。２個のカメラ２４を設置することで、一方のカメラ２４で死角となった区域を他方のカメラ２４で画像化できる場合もあるが、例えば観察領域２２を画像表示するモニタを観察者が随時監視する構成では、カメラ２４及びモニタの増加により、観察者が両カメラ２４の画像を見比べて死角の有無を判断する必要が生じる。また物体ＯＢが透視図で表されると、特にカメラ２４の光軸を中心として放射状の方向へ隣り合う物体ＯＢについては、それら物体ＯＢの間の距離を把握することが困難になる。

これに対し図３Ｂは、監視システム２０において三次元データ生成装置１０が生成した三次元データを画像化した監視画像の一例を示す。図示のように、図３Ａの手法と同じ２個のカメラ２４の測定データＤを用いているにも拘らず、三次元データ生成装置１０によると、２個のカメラ２４の測定データＤの組合せに相当する三次元データを生成することで、被写体である物体ＯＢは、あたかも床面２８の鉛直上方無限遠の位置から観察領域２２の全体を俯瞰したような、高さ情報（例えば色で表現）を含む単一の平面図で表される。このように、三次元データ生成装置１０によれば、カメラ２４から見て物体ＯＢの背後に位置する区域をそれ以外の区域と共に単一の画像内で可視化できるので、例えば観察領域２２を画像表示するモニタを観察者が随時監視する構成では、観察者が両カメラ２４の画像を見比べて死角の有無を判断する必要が無くなる。また、物体ＯＢが平面図で表されるから、カメラ２４の光軸から放射状の方向へ隣り合う物体ＯＢについても、それら物体ＯＢの間の距離を単一の画像内で容易に把握することができる。

図４は、２個のカメラ２４を備えた監視システム２０（図２）において実行される一実施形態による三次元データ生成方法を概念的に示す。また図５は、三次元データ生成装置１０が生成した三次元データの一例を概念的に示す。以下、図１〜図５を参照して、三次元データ生成装置１０が実行する三次元データ生成方法の一実施形態の構成を説明する。

図４に示すように、観察領域２２には、複数の物体ＯＢとして、床面２８を有する床３０と、床面２８上に置かれた大小２つの構造体３２（左側の構造体３２１、右側の構造体３２２）とが存在する。また図４は、２個のカメラ２４（左側のカメラ２４１、右側のカメラ２４２）が複数の物体ＯＢの表面の三次元位置を測定する状況を、観察領域２２に設定される直交三軸座標系３４（図２）のＸＺ平面において簡略化して示している。直交三軸座標系３４は、監視システム２０におけるグローバル座標系であり、Ｘ軸及びＹ軸を床面２８に平行に位置付けるとともにＺ軸の正方向を床面２８に対し鉛直上方に向けた姿勢で、観察領域２２に設定されている。

図４において、個々のカメラ２４１、２４２から下方へ放射状に延びる複数の実線Ｓ１、Ｓ２は、各カメラ２４１、２４２のセンサチップ（撮像素子）が有する複数の受光素子に物体ＯＢから入射する光線を示す。カメラ２４１は、個々の受光素子において個々の実線Ｓ１と物体ＯＢの表面との交点Ｍ１の位置情報を取得し、カメラ２４２は、個々の受光素子において個々の実線Ｓ２と物体ＯＢの表面との交点Ｍ２の位置情報を取得する。カメラ制御部２６（図２）は、これら点Ｍ１、Ｍ２（以下、撮像点Ｍ１、Ｍ２と称する）の位置情報（いわゆる生データ）に基づき、物体ＯＢの表面の測定データＤを演算することができる。なお図４には、カメラ２４１の視野２４ａの右半分及び視野中心の光軸２４ｂと、カメラ２４２の視野２４ａの左半分及び視野中心の光軸２４ｂとが示されている。

図４に示すように、カメラ２４１は、大きい方の構造体３２１の頂面の一部分及び左側面と、構造体３２１よりもカメラ２４１に近い側に位置する床面２８とを撮像できる（つまり撮像点Ｍ１の位置情報を取得できる）一方、構造体３２１の頂面の他部分及び右側面と、構造体３２１よりもカメラ２４１から遠い側に位置する床面２８及び小さい方の構造体３２２とを撮像できない。またカメラ２４２は、小さい方の構造体３２２の頂面及び右側面と、大きい方の構造体３２１の頂面及び右側面と、構造体３２２よりもカメラ２４２に近い側に位置する床面２８と、構造体３２２と構造体３２１との間に位置する床面２８の一部分と、構造体３２１よりもカメラ２４２から遠い側に位置する床面２８の一部分とを撮像できる（つまり撮像点Ｍ２の位置情報を取得できる）一方、構造体３２２の左側面と、構造体３２１の左側面と、構造体３２２と構造体３２１との間に位置する床面２８の他部分と、構造体３２１よりもカメラ２４２から遠い側に位置する床面２８の他部分とを撮像できない。構造体３２２と構造体３２１との間に位置する床面２８の他部分は、いずれのカメラ２４１、２４２によっても撮像されない死角となっている。

測定座標取得部１４（図１）は、カメラ２４１、２４２が観察領域２２を撮像することで得られた三次元センサ１２の測定データＤに基づき、観察領域２２に設定される直交三軸座標系３４における構造体３２１、３２２の表面及び床３０の床面２８の測定座標Ｍを取得する。測定座標Ｍは、カメラ２４１、２４２が撮像した撮像点Ｍ１、Ｍ２の位置情報を直交三軸座標系３４（つまりＸ座標、Ｙ座標、Ｚ座標）で表したものであって、必要に応じて測定座標取得部１４が、撮像点Ｍ１、Ｍ２の測定データＤに対し座標変換等の演算処理を行うことにより取得される。なお、測定座標Ｍを取得するために用いられる測定データＤは、三次元センサ１２の種類に応じて、カメラ２４１、２４２が撮像した撮像点Ｍ１、Ｍ２の位置情報（生データ）自体であってもよいし、例えばカメラ制御部２６（図２）がこの位置情報（生データ）に何らかの演算処理を施したものであってもよい。測定座標取得部１４が測定データＤに対し実行可能な演算処理の一例は後述する。

区画情報作成部１６（図１）は、直交三軸座標系３４のＸＹ平面に平行な基準面３６を観察領域２２に仮想的に定めるとともに、この基準面３６を、三次元センサ１２が各々を測定可能な（つまりカメラ２４１、２４２が撮像点Ｍ１、Ｍ２の位置情報を取得可能な）複数の区画３８に等分する。基準面３６を複数に等分する区画３８の形状としては、形状把握や演算処理の容易さから正方形を採用できるが、基準面３６を等分できる形状であることを前提として正方形以外の形状（例えば、他の矩形、三角形、六角形等）を採用することもできる。また、基準面３６を等分する区画３８の個数及び各区画３８の寸法は、各カメラ２４１、２４２が個々の区画３８に撮像点Ｍ１、Ｍ２を少なくとも１つずつ持つことを前提として、各カメラ２４１、２４２の画素数、要求される三次元データの精度（解像度）、許容される死角の大きさ等に応じて予め設定される。区画情報作成部１６は、複数の区画３８の各々の、基準面３６における位置（区画３８の任意点のＸＹ座標）と寸法（区画３８の面積）とを、三次元データを生成するための情報として保有する。

区画情報作成部１６は、基準面３６を等分する複数の区画３８のうち、構造体３２１、３２２の表面及び床３０の床面２８の測定座標ＭのＸＹ座標値（つまり撮像点Ｍ１、Ｍ２に対応する二次元座標値）が含まれる区画３８を特定する。図４に簡略化して示す観察領域２２では、構造体３２２と構造体３２１との間で死角となった床面２８の部分に対応する位置にある区画３８１だけが、測定座標ＭのＸＹ座標値が含まれない区画であって、それ以外の区画３８には測定座標ＭのＸＹ座標値が含まれる。区画情報作成部１６は、測定座標ＭのＸＹ座標値が含まれる区画３８に、同じ測定座標ＭのＺ値を、当該区画３８の代表高さＨとして与える。区画情報作成部１６は、複数の区画３８の各々の代表高さＨを、三次元データを生成するための情報として保有する。

基準面３６を等分する個々の区画３８に代表高さＨが与えられると、各区画３８を底面とする高さＨの角柱（直角柱）の外形に相当する三次元データが生成される。各区画３８を底面とする角柱で表される三次元データは、基準面３６における位置と底面の寸法とを情報として持つものである。三次元データ生成装置１０は、複数の区画３８の各々の、基準面３６における位置と寸法と代表高さＨとを用いて、物体ＯＢ（構造体３２１、３２２及び床３０）を含む観察領域２２の三次元データを生成する。このようにして生成された図４の観察領域２２の三次元データは、例えば図５に示すような、区画３８の個数に対応する個数の角柱（直角柱）を隙間無く集合させた形態で表現できるものとなる。

図５では例として、代表高さＨ１を有する２０個の角柱の集合体で構造体３２１が表現され、代表高さＨ２を有する１８個の角柱の集合体で構造体３２２が表現され、代表高さＨ３を有する多数の角柱の集合体で床３０が表現されている。なお、個々の物体ＯＢを表す角柱の集合体は、物体ＯＢを単純化ないし様式化したものに相当し、物体ＯＢの現実の形状と一致する形状を必ずしも有さないものである。カメラ２４の画素数を増加させるとともに基準面３６を等分する区画３８の個数を増加させるに伴い、角柱の集合体の形状を物体ＯＢの現実の形状に近付けることができ、三次元データの精度（解像度）を向上させることができる。

上記した三次元データは、２個の三次元センサ１２による観察領域２２の測定データＤを適宜組み合わせたものに相当するが、構造体３２１、３２２が、床面２８から鉛直に突出する角柱の集合体で表されるので、観察領域２２を上方から俯瞰した状態を表現する際には、構造体３２１、３２２に遮られることなく床面２８を表現できるものである。つまり、上記した三次元データは、２個の三次元センサ１２による観察領域２２の測定データＤを用いているにも拘らず、図３Ａで説明したような２つの透視図ではなく、図３Ｂで説明したような、床面２８の鉛直上方無限遠の位置から観察領域２２の全体を俯瞰した単一の平面図で画像化できるものである。この単一の画像には、個々の物体ＯＢの高さ情報（代表高さＨの大きさ）を、例えば色（明度、彩度、色相）や網掛け等で識別可能に付加することができる。

各区画３８を底面とする角柱の集合として観察領域２２の三次元データを生成する上記した三次元データ生成方法によると、例えば、構造体３２２と構造体３２１との間で死角となった床面２８の部分に対応する区画３８１は、代表高さＨが与えられないので角柱で表すことができない。しかしこのような区画３８１についても、区画情報作成部１６が基準面３６における位置及び寸法の情報を保有しているから、代表高さＨを持たない区画（つまり死角）として、代表高さＨを持つ他の区画３８とは区別可能な状態で三次元データを生成できる。例えば監視システム２０が、三次元データ生成装置１０が生成した三次元データに基づき電算機等により観察領域２２を自動監視する構成を有する場合、基準面３６における区画３８１の位置及び寸法に基づき、代表高さＨを持たない区画３８１を死角として正確に自動認識できる。或いは監視システム２０が、三次元データ生成装置１０が生成した三次元データをモニタに画像表示して観察者が随時監視する構成を有する場合、基準面３６における区画３８１の位置及び寸法に基づき、区画３８１を他の区画３８（つまり物体ＯＢ）とは区別可能な形態（図５に例として×印で示す）で表示でき、その結果、観察者は区画３８１を死角として正確に視認できる。

また、各区画３８を底面とする角柱の集合として観察領域２２の三次元データを生成する上記した三次元データ生成方法によると、カメラ２４１、２４２の光軸２４ｂを中心に放射状の方向へ隣り合う２つの構造体３２１、３２２が、いずれも床面２８から鉛直に突出する角柱の集合体で表されるので、それら構造体３２１、３２２の間に位置する床３０を表す角柱によって、２つの構造体３２１、３２２の間の距離を実質的に表現することができる。例えば監視システム２０が、三次元データ生成装置１０が生成した三次元データに基づき電算機等により観察領域２２を自動監視する構成を有する場合、２つの構造体３２１、３２２の間の区画３８の個数、位置及び寸法に基づき、それら構造体３２１、３２２の間の距離を比較的容易な演算で自動把握できる。或いは監視システム２０が、三次元データ生成装置１０が生成した三次元データをモニタに画像表示して観察者が随時監視する構成を有する場合、２つの構造体３２１、３２２の間の区画３８の個数、位置及び寸法に基づき、それら構造体３２１、３２２の間に床面２８（つまり空間）を表示でき、その結果、観察者はそれら構造体３２１、３２２の間の距離を容易に把握できる。

上記した三次元データ生成方法によると、１個の三次元センサ１２（したがってカメラ２４）の測定データＤのみを用いる構成においても、同様に、複数の区画３８の各々を底面とする角柱の集合として観察領域２２の三次元データを生成することができる。この構成では、前述した区画３８１のような死角が増加することが予測されるものの、２個以上の三次元センサ１２の測定データＤを用いる構成と同様の効果が奏される。例えば図４のシステム構成において、右側のカメラ２４２による測定データＤのみを用いることを想定すると、大きい方の構造体３２１よりもカメラ２４２から遠い側に位置する床面２８の部分に、区画３８１のような死角が生ずることになるが、前述したように、それら死角となる複数の区画を代表高さＨを持たない区画として、代表高さＨを持つ他の区画３８とは区別可能な状態で三次元データを生成できる。その結果、電算機等は死角を正確に自動認識でき、或いは観察者はモニタ表示から死角を正確に視認できる。また、例えば図４のシステム構成において、右側のカメラ２４２による測定データＤのみを用いたとしても、前述したように、２つの構造体３２１、３２２の間の距離を、それら構造体３２１、３２２の間に位置する床３０を表す角柱によって実質的に表現できる。その結果、電算機等は２つの構造体３２１、３２２の間の距離を容易に自動把握でき、或いは観察者はモニタ表示からそれら構造体３２１、３２２の間の距離を容易に把握できる。

このように、三次元データ生成装置１０及び三次元データ生成方法によれば、観察領域２２を測定した三次元センサ１２の測定データＤに基づき、基準面３６における位置及び寸法と代表高さＨとをそれぞれに持つ複数の区画３８（つまり角柱）で観察領域２２を表現した三次元データが生成される。三次元センサ１２のカメラ２４と観察領域２２に存在する物体ＯＢとの位置関係に起因して観察領域２２に生ずる死角は、代表高さＨを持たない区画として、代表高さＨを持つ他の区画３８とは区別可能な状態で、三次元データが生成される。したがって、生成された三次元データを参照することにより、観察領域２２内の死角を正確に認識できる。また、観察領域２２に存在する２つの物体ＯＢの間の距離を、それら物体ＯＢの間に存在する区画３８の、基準面３６における位置及び寸法に基づき容易に把握できる。

さらに、三次元センサ１２（カメラ２４）の個数を増やすことで死角を削減できることに加えて、残留している死角については単一の画像上で物体ＯＢとは区別可能な状態で表現できるので、例えば、モニタに画像表示した三次元データを観察者が随時監視する監視システムで三次元データ生成装置１０を使用する場合に、観察者が複数のカメラ２４に対応する画像を見比べて死角の有無を判断するといった、煩雑な監視作業が不要になる。しかも、基準面３６を等分する複数の区画３８の各々の、基準面３６における位置と寸法と代表高さＨとを用いて、観察領域２２の三次元データを生成する構成であるから、例えば、電算機等が三次元データに基づき観察領域２２を自動監視する監視システムで三次元データ生成装置１０を使用する場合に、三次元センサ１２（カメラ２４）の個数を増やしたとしても、個々の三次元センサ１２の測定データＤを組み合わせて物体ＯＢ及び死角を認識するための演算量の増加を抑制でき、以って、処理速度の低下を防止できる。

一方、監視システム２０によれば、三次元データ生成装置１０を備えたことにより、観察領域２２内の死角を正確に認識したり物体ＯＢ間の距離を容易に把握したりすることが可能になり、また、死角を削減するべく三次元センサ１２（カメラ２４）の個数を増やす場合にも、観察者が複数の三次元センサ１２に対応する画像を見比べて死角の有無を判断するといった煩雑な監視作業を排除でき、或いは、個々の三次元センサ１２の測定データＤを組み合わせて物体ＯＢ及び死角を認識するための演算量の増加を抑制して処理速度の低下を防止できる。また、三次元センサ１２に予め設定される観察領域２２の測定周期に合わせて三次元データ生成装置１０が生成する三次元データを用いることで、観察領域２２を実時間で継続して監視することができる。

上記した三次元データ生成方法において、三次元データ生成装置１０の区画情報作成部１６が、基準面３６を等分する複数の区画３８のうち物体ＯＢの測定座標ＭのＸＹ座標値が含まれる区画３８を特定する際に、単一の区画３８に複数の異なる測定座標ＭのＸＹ座標値が含まれる場合がある。例えば図４に示す三次元データ生成方法において、基準面３６を等分する複数の区画３８には、単一の測定座標Ｍのみが含まれる区画３８２に加えて、同じ（又は測定や演算の誤差を含む実質同一の）Ｚ値を持つ複数の異なる測定座標Ｍが含まれる区画３８３、３８４や、明確に異なるＺ値を持つ複数の異なる測定座標Ｍが含まれる区画３８５、３８６が存在する。同じ（又は実質同一の）Ｚ値を持つ複数の異なる測定座標Ｍが含まれる区画３８３、３８４については、それら測定座標Ｍの共通の（実質同一の場合はいずれか任意の）Ｚ値を代表高さＨとして区画３８３、３８４に与えればよい。しかし、明確に異なるＺ値を持つ複数の異なる測定座標Ｍが含まれる区画３８５、３８６については、いずれの測定座標ＭのＺ値を代表高さＨとするかを、適宜選定する必要がある。

図６は、基準面３６を等分する複数の区画３８の各々に対し複数の測定座標Ｍから１つの測定座標Ｍを選択する機能を有する三次元データ生成装置４０の構成を示す。三次元データ生成装置４０は、前述した三次元データ生成装置１０の基本構成を有する１つの具体的構成例であって、対応する構成要素には共通する参照符号を付してその詳細説明を省略する。なお図２の監視システム２０は、三次元データ生成装置１０に代えて三次元データ生成装置４０を備えることもできる。

三次元データ生成装置４０は、測定座標取得部１４及び区画情報作成部１６を備える。区画情報作成部１６は、１つの区画３８に複数の測定座標ＭのＸＹ座標値が含まれる場合に、予め定めた条件Ｃに従い、それら複数の測定座標Ｍのうちいずれか１つの測定座標Ｍを選択する座標選択部４２を備える。区画情報作成部１６は、座標選択部４２が選択した測定座標ＭのＺ値を、代表高さＨとして、同じ測定座標ＭのＸＹ座標値が含まれる区画３８に与える。なお条件Ｃは、１つの区画３８内の複数の測定座標Ｍから条件Ｃを満たす測定座標Ｍを選択することで、それ以外の測定座標Ｍを選択した場合よりも、前述した角柱集合体で表現される物体ＯＢの三次元データの形状を、物体ＯＢの現実の形状に一層近付けることができる条件として、予め定められる。

例えば座標選択部４２は、１つの区画３８にＸＹ座標値が含まれる複数の測定座標Ｍのうち、条件Ｃとして、三次元センサ１２のカメラ２４までの距離Ｌが最も短い測定座標Ｍを選択するように構成できる。例えば図４に示す三次元データ生成方法において、区画３８５に対応する空間範囲には、構造体３２１の左側面に、カメラ２４１が撮像する複数の撮像点Ｍ１が鉛直方向へ並んで存在するとともに、構造体３２１の頂面の左端近傍に、カメラ２４１が撮像する２つの撮像点Ｍ１（Ｍ１−１、Ｍ１−２）とカメラ２４２が撮像する２つの撮像点Ｍ２（Ｍ２−１、Ｍ２−２）とが水平方向へ並んで存在する。測定座標取得部１４は、区画３８５に対応する全ての撮像点Ｍ１、Ｍ２に基づきそれぞれの測定座標Ｍを取得する。座標選択部４２は、これら測定座標Ｍのうち、カメラ２４１、２４２までの距離Ｌが最も短い撮像点Ｍ１、Ｍ２に対応する測定座標Ｍを選択する。図４の例では、構造体３２１の頂面の左端近傍に存在する右側の撮像点Ｍ２−２とカメラ２４２との間の距離Ｌが、区画３８５に対応する全ての撮像点Ｍ１、Ｍ２とカメラ２４１、２４２との間の距離Ｌの中で最も短い。したがって座標選択部４２は、カメラ２４２が撮像した構造体３２１の頂面左端近傍の右側の撮像点Ｍ２−２に対応する測定座標Ｍを選択し、区画情報作成部１６は、選択した測定座標ＭのＺ値を代表高さＨとして区画３８５に与える。

或いは座標選択部４２は、１つの区画３８にＸＹ座標値が含まれる複数の測定座標Ｍのうち、条件Ｃとして、当該区画の中心点までの距離ｒが最も短い測定座標Ｍを選択するように構成できる。例えば図７は、１つの区画３８７に対応する空間範囲に、座標値の異なる３つの撮像点Ｍ１−１、Ｍ２−１、Ｍ２−２が存在する状態を示す。この状態では、区画３８７の中心点（正確には中心点を通る法線Ｎ）までの距離ｒが最も短い撮像点は、カメラ２４２が撮像する撮像点Ｍ２−１である。したがって座標選択部４２は、カメラ２４２が撮像した撮像点Ｍ２−１に対応する測定座標Ｍを選択し、区画情報作成部１６は、選択した測定座標ＭのＺ値を代表高さＨとして区画３８７に与える。

座標選択部４２は、上記した２種類の条件Ｃを含む複数の条件Ｃのうち、観察領域２２の状況や要求される三次元データの精度等に応じてシステム設計者が予め選定した１つの条件Ｃを用いて、測定座標Ｍを選択することができる。

図８に他の構成例として示すように、三次元データ生成装置４０は、複数の区画３８の各々について、ＸＹ座標値が含まれる複数の測定座標Ｍ（撮像点Ｍ１又はＭ２）の各々とカメラ２４との間の距離Ｌ又は区画中心点（法線Ｎ）との間の距離ｒを記憶する選択条件記憶部４４をさらに備えることができる。区画情報作成部１６は、基準面３６を等分する複数の区画３８のうち物体ＯＢの測定座標ＭのＸＹ座標値が含まれる区画３８を特定する際に、座標選択部４２の機能として、各区画３８において測定座標Ｍ（撮像点Ｍ１又はＭ２）の距離Ｌ又はｒを演算する都度、選択条件記憶部４４に設けた各区画３８の記憶領域を参照し、当該記憶領域に距離Ｌ又はｒが記憶されていない場合は、新たに演算した距離Ｌ又はｒを当該記憶領域に格納する。また座標選択部４２の機能として、各区画３８の記憶領域を参照したときに当該記憶領域に別の測定座標Ｍの距離Ｌ又はｒが記憶されていた場合には、記憶されている距離Ｌ又はｒと新たに演算した測定座標Ｍの距離Ｌ又はｒとを比較して、新たな距離Ｌ又はｒの方が短い場合に当該記憶領域を新たな距離Ｌ又はｒで更新する（つまり記憶されていた距離Ｌ又はｒを新たな距離Ｌ又はｒに書き換える）。区画情報作成部１６は、個々の区画３８に対し、選択条件記憶部４４に格納する最新の距離Ｌ又はｒを持つ測定座標ＭのＺ値を代表高さＨとして与える。

三次元データ生成装置４０は、観察領域２２（図２）を任意の時間に渡り継続して測定する三次元センサ１２の測定データを用いて、測定座標取得部１４による測定座標Ｍの取得と区画情報作成部１６による代表高さＨの付与とを含むデータ生成動作を、任意の時間に渡って繰り返し実行することができる。ここで、１回のデータ生成動作は、単一の三次元センサ１２（カメラ２４）の測定データを用いる構成においては、単一のカメラ２４の全ての受光素子で取得される物体ＯＢの位置情報に対し連続して１回行う処理（測定座標Ｍを取得するための処理及び区画３８に代表高さＨを与えるための処理）を意味し、複数の三次元センサ１２（カメラ２４）の測定データを用いる構成においては、全てのカメラ２４の全ての受光素子で取得される物体ＯＢの位置情報に対し連続して１回行う処理（測定座標Ｍを取得するための処理及び区画３８に代表高さＨを与えるための処理）を意味する。

選択条件記憶部４４を備える三次元データ生成装置４０が上記データ生成動作を繰り返し実行する場合、区画情報作成部１６は、１回のデータ生成動作が完了したとき（つまり測定座標Ｍの選択が必要であった区画３８に対する測定座標Ｍの選択がひと通り完了したとき）に、選択条件記憶部４４が有する区画３８毎の記憶領域の全てを無効状態にするように構成できる。ここで「無効状態」とは、記憶領域にデータが全く格納されていない状態、又は記憶領域に無効を示すデータ（例えば無限大等の特殊値を示すデータ）が格納されている状態を意味する。

１回のデータ生成動作が完了する都度、選択条件記憶部４４が有する全ての記憶領域を無効状態にすることで、区画情報作成部１６（座標選択部４２）は、毎回のデータ生成動作において、前回のデータ生成動作における区画３８毎の測定座標Ｍの選択結果とは無関係に、新たに区画３８毎の測定座標Ｍの選択を実行できる。したがって、観察領域２２において物体ＯＢが移動したり新たな物体ＯＢが出現したりする状況に対しても、区画情報作成部１６は毎回のデータ生成動作で、物体ＯＢの移動や出現に追従するように区画３８毎に新たな代表高さＨを与えることができる。なお、選択条件記憶部４４の記憶領域を無効状態にする時期として、１回のデータ生成動作の完了時点に代えて、１回のデータ生成動作の完了に要する時間以上の予め設定した周期を採用することもできる。

また、図８に他の構成例として示すように、三次元データ生成装置４０は、選択条件記憶部４４に加えて、或いはその代わりに、複数の区画３８の各々について代表高さＨを記憶する高さ記憶部４６を備えることができる。区画情報作成部１６は、基準面３６を等分する複数の区画３８のうち物体ＯＢの測定座標ＭのＸＹ座標値が含まれる区画３８を特定する際に、各区画３８において測定座標Ｍ（撮像点Ｍ１又はＭ２）のＺ値（つまり代表高さＨ）を求める都度、求めた代表高さＨを、高さ記憶部４６に設けた各区画３８の記憶領域に格納する。なお、前述した三次元データ生成装置１０も（つまり座標選択部４２の有無に関わらず）高さ記憶部４６を備えることができる。

高さ記憶部４６を備える三次元データ生成装置４０が任意の時間に渡り前述したデータ生成動作を繰り返し実行する構成では、区画情報作成部１６は、毎回のデータ生成動作において、個々の区画３８の代表高さＨを求めるたびに高さ記憶部４６の当該区画３８の記憶領域を参照する。参照した記憶領域が無効状態であった場合は、区画情報作成部１６は、新たに求めた代表高さＨを当該記憶領域に格納する。また、参照した記憶領域に別の代表高さＨが記憶されていた場合は、区画情報作成部１６は、新たに求めた代表高さＨによって当該記憶領域を更新する（つまり記憶されていた代表高さＨを新たな代表高さＨに書き換える）。区画情報作成部１６は毎回のデータ生成動作において、個々の区画３８に対し、高さ記憶部４６に格納する最新の代表高さＨを与える。

さらに、区画情報作成部１６は、毎回のデータ生成動作において、代表高さＨが与えられない区画３８が生じるたびに、高さ記憶部４６の当該区画３８の記憶領域を無効状態にすることができる。代表高さＨが与えられない区画３８が生じるたびに記憶領域を無効状態にすることで、例えば観察領域２２において物体ＯＢが移動したり新たな物体ＯＢが出現したりする状況に対し、三次元データ生成装置４０は、物体ＯＢの移動や出現に追従して発生する新たな死角を正確に表す三次元データを生成できる。なお、三次元データ生成装置４０が選択条件記憶部４４と高さ記憶部４６との双方を備える構成においては、区画情報作成部１６は、例えば１回のデータ生成動作の完了時に、前述した選択条件記憶部４４の記憶領域を無効状態にする動作に先立って、選択条件記憶部４４に既に無効状態となっている記憶領域が存在するか否かを探索し、既に無効状態の記憶領域が存在する（つまり代表高さＨが与えられない区画３８が存在している）場合は、当該記憶領域に対応する区画３８の、高さ記憶部４６における記憶領域を無効状態にすることができる。

なお１つの実施例として、複数の区画３８にそれぞれを識別可能な番号を付すとともに、高さ記憶部４６の複数の記憶領域に対応の区画３８と同じ番号を用いたアドレスを付して、個々の区画３８に与えられた代表高さＨが対応のアドレスの記憶領域に格納されるように構成することができる。この実施例によれば、生成した三次元データから各物体ＯＢの形状や物体ＯＢ間の距離を算出したり、生成した三次元データを画像化したりする際の処理が容易になる利点が得られる。

上記した三次元データ生成装置４０によれば、座標選択部４２を備えたことにより、三次元データ生成装置４０が生成する物体ＯＢの三次元データの形状（特に鉛直上方無限遠から俯瞰した平面図における輪郭及び高さ情報）を、物体ＯＢの現実の形状に近似させることが可能になる。

図９は、測定座標取得部１４が三次元センサ１２の測定データＤに対し座標変換等の演算処理を行うことにより測定座標Ｍを取得する機能を有する三次元データ生成装置５０の構成を示す。三次元データ生成装置５０は、前述した三次元データ生成装置１０の基本構成を有する他の１つの具体的構成例であって、対応する構成要素には共通する参照符号を付してその詳細説明を省略する。なお、前述した三次元データ生成装置４０に、三次元データ生成装置５０と同様のデータ変換機能を持たせることもできる。また図２の監視システム２０は、三次元データ生成装置１０に代えて三次元データ生成装置５０を備えることもできる。

三次元データ生成装置５０は、測定座標取得部１４及び区画情報作成部１６を備える。測定座標取得部１４は、直交三軸座標系３４（図２）における三次元センサ１２のカメラ２４の位置及び撮像方向を含むセンサ情報Ｅを予め格納するセンサ情報格納部５２と、センサ情報格納部５２に格納されたセンサ情報Ｅに基づき、三次元センサ１２の測定データＤを直交三軸座標系３４の測定座標Ｍに変換するデータ変換部５４とを備える。センサ情報Ｅの１つであるカメラ２４の位置は、監視システム２０（図２）の構築時に定まるパラメータであって、観察領域２２に対するカメラ２４の位置関係を直交三軸座標系３４で表すものである。また、センサ情報Ｅの他の１つであるカメラ２４の撮像方向は、監視システム２０の構築時に定まるパラメータであって、観察領域２２に対するカメラ２４の姿勢関係（つまり光軸方向）を直交三軸座標系３４で表すものである。測定座標取得部１４が行うデータ変換方法は、三次元センサ１２の種類に応じて異なるが、以下、図１０〜図１３を参照して、三次元センサ１２としてＴＯＦ（Time of Flight）カメラを用いた場合のデータ変換方法の一例を説明する。

図１０は、一般的なＴＯＦカメラの撮像部（カメラ２４に相当）の構造及び撮像部と被写体との関係性を模式的に示す。ＴＯＦカメラの撮像部は、主な構成要素としてセンサチップ５６とレンズ５８とを備える。センサチップ５６は、複数の受光素子の各々において、被写体までの距離Ｌを撮像点の位置情報（生データ）として取得できる。一般にＴＯＦカメラは予め、センサチップ５６とレンズ５８の中心点（光学中心）Ｏとの間の距離がレンズ５８の焦点距離ｆに等しく、またセンサチップ５６の中心点をレンズ５８の光軸５８ａが鉛直に貫くように調整されている。

図１１Ａ及び図１１Ｂは、センサチップ５６の構造を模式的に示す。センサチップ５６は、一般に一辺長（或いはピッチ）ｐの正方格子状に配置される複数の受光素子（ピクセル）Ｐを有する。図示の例では、センサチップ５６は横ｍ個、縦ｎ個の受光素子Ｐ（１，１）〜Ｐ（ｍ，ｎ）で構成されている（図１１Ａ）。個々の受光素子Ｐは、当該受光素子Ｐが撮像している被写体上の撮像点までの距離Ｌ（１，１）〜Ｌ（ｍ，ｎ）を取得できる（図１１Ｂ）。距離Ｌは一般に、極座標系のデータとして取得される。なお、焦点距離ｆ、画素数ｍ及びｎ、並びに画素ピッチｐは、ＴＯＦカメラの仕様によって定められるパラメータである。

まず、ＴＯＦカメラによる被写体上の個々の撮像点の位置情報（距離Ｌ）を、ＴＯＦカメラ自体に設定されるローカルな直交三軸座標系（以下、ローカル座標系と称する。）の座標値に変換する手法を説明する。なおこのデータ変換は、前述したように、撮像点の位置情報（生データ）自体を三次元センサ１２の測定データＤとして用いる場合は、データ変換部５４（図９）が行う演算処理であり、或いは、位置情報（生データ）に演算処理を施したものを三次元センサ１２の測定データＤとして用いる場合は、カメラ制御部２６（図２）が行う当該演算処理である。

図１０には、理解を助ける目的で、レンズ５８を挟んでセンサチップ５６とは反対側（被写体側）に、レンズ５８から同じ焦点距離ｆだけ離れた仮想のセンサチップ５６′を補足して描いている。また図１０は、ＴＯＦカメラのローカル座標系６０を、原点が光学中心Ｏに位置するとともにｘ軸、ｙ軸及びｚ軸が図示の方向を向くものとして示している。さらに図１０は、センサチップ５６の１つの受光素子Ｐ（ｕ，ｖ）が、被写体である物体ＯＢ上の撮像点（ｘ，ｙ，ｚ）（ローカル座標系６０の座標値）を撮像している状態を示している。

図１２は、理解を助ける目的で、仮想センサチップ５６′における１つの受光素子Ｐ（ｕ，ｖ）を拡大して模式的に示している。受光素子Ｐは所定の面積を有するが、実質的には受光素子Ｐの中心部が撮像を行うので、距離Ｌの測定点として仮想センサチップ５６′上での受光素子Ｐ（ｕ，ｖ）の中心位置（ｉ，ｊ）を求める。図１１Ａ及び図１２から理解されるように、受光素子Ｐ（ｕ，ｖ）の中心位置（ｉ，ｊ）は以下の式１で表される。

光学中心Ｏから受光素子Ｐ（ｕ，ｖ）の中心位置（ｉ，ｊ）までの距離Ｌ′は、以下の式２で表される。

相似の関係から、比例関係の式３が得られる。

したがって、物体ＯＢ上の撮像点の座標値（ｘ，ｙ，ｚ）は、以下の式４〜６によって計算される。

式４〜６から理解されるように、Ｌ（ｕ，ｖ）以外の項は、ＴＯＦカメラの仕様と個々の受光素子Ｐ（ｕ，ｖ）の位置とによって決まる定数である。よって、個々の撮像点の位置情報Ｌ（ｕ，ｖ）をローカル座標系６０の座標値（ｘ，ｙ，ｚ）に変換する際には、例えば、受光素子Ｐ毎に定数項を予め計算して記憶しておき、この定数項にＬ（ｕ，ｖ）を乗ずることで座標値を求めることができる。

次に、ローカル座標系６０の座標値（ｘ，ｙ，ｚ）を、直交三軸座標系（グローバル座標系）３４の座標値（ｘ_ｇ，ｙ_ｇ，ｚ_ｇ）（すなわち測定座標Ｍ）に変換する手法（データ変換部５４による行為）を説明する。図１３は、ローカル座標系と直交三軸座標系３４との関係性を示す。図１３では識別のため、ローカル座標系６０を原点Ｏ_Ｌ及び各軸ｘ_Ｌ、ｙ_Ｌ、ｚ_Ｌで示す一方、直交三軸座標系（グローバル座標系）３４を原点Ｏ_Ｇ及び各軸ｘ_Ｇ、ｙ_Ｇ、ｚ_Ｇで示している。

ローカル座標系６０と直交三軸座標系３４との関係性は、通常、各軸同士の回転成分と原点同士の平行移動成分とによって表すことができる。この関係性は、以下の式７で表される。

ここで、Ｒ及びＴはそれぞれ、以下に示す回転行列及び平行移動ベクトルである。

回転行列Ｒの各成分（パラメータ）及び並行移動ベクトルＴは、センサ情報格納部５２に格納されたセンサ情報Ｅに含まれるＴＯＦカメラの撮像部（カメラ２４）の位置及び撮像方向のデータに基づいて決定される。データ変換部５４は、これら回転行列Ｒ及び並行移動ベクトルＴを用いて、ローカル座標系６０の座標値（ｘ，ｙ，ｚ）を、以下の式８により、直交三軸座標系３４の座標値（ｘ_ｇ，ｙ_ｇ，ｚ_ｇ）（つまり測定座標Ｍ）に変換する。これにより、１つの受光素子Ｐが測定した測定データＤから測定座標Ｍへの変換が完了する。

上記した三次元データ生成装置５０によれば、データ変換部５４を備えたことにより、三次元センサ１２の種類に応じて測定データＤから測定座標Ｍを適正に取得することができる。

図１４は、測定座標取得部１４が、任意の時間に渡り継続して三次元センサ１２の測定データＤを監視し、測定データＤに変化が確認されたときに、変化後の測定データＤに基づき測定座標Ｍを取得する機能を有する三次元データ生成装置７０の構成を示す。三次元データ生成装置７０は、前述した三次元データ生成装置１０の基本構成を有するさらに他の１つの具体的構成例であって、対応する構成要素には共通する参照符号を付してその詳細説明を省略する。なお、前述した三次元データ生成装置４０、５０に、三次元データ生成装置７０と同様の測定データ監視機能を持たせることもできる。また図２の監視システム２０は、三次元データ生成装置１０に代えて三次元データ生成装置７０を備えることもできる。

三次元データ生成装置７０は、観察領域２２（図２）を任意の時間に渡り継続して測定する三次元センサ１２の測定データを用いて、測定座標取得部１４による測定座標Ｍの取得と区画情報作成部１６による代表高さＨの付与とを含むデータ生成動作を、任意の時間に渡って繰り返し実行するものであって、測定座標取得部１４及び区画情報作成部１６に加えて、三次元センサ１２の測定データＤを過去データＤｐとして格納する過去データ格納部７２を備える。測定座標取得部１４は、毎回のデータ生成動作において、三次元センサ１２の測定データＤに基づき直交三軸座標系３４における物体ＯＢの測定座標Ｍを取得する際に、三次元センサ１２から現在の測定データＤがカメラ２４の受光素子毎に出力されるたびに、過去データ格納部７２に設けた受光素子毎の記憶領域を参照する。そして、現在の測定データＤを生じた受光素子に対応する記憶領域が無効状態であった場合は、測定座標取得部１４は、当該受光素子の現在の測定データＤに基づき測定座標Ｍを取得するとともに、現在の測定データＤを対応の記憶領域に格納する。

また、現在の測定データＤを生じた受光素子に対応する記憶領域に過去データＤｐが格納されていた場合は、測定座標取得部１４は、当該受光素子の現在の測定データＤを過去データＤｐと比較して、現在の測定データＤが過去データＤｐから変化しているときに、現在の測定データＤに基づき測定座標Ｍを取得するとともに、過去データ格納部７２の対応の記憶領域を現在の測定データＤで更新する（つまり現在の測定データＤを新たな過去データＤｐとして格納する）。区画情報作成部１６は、現在の測定データＤに基づき取得された測定座標ＭのＸＹ座標値が含まれる区画３８に、同じ測定座標ＭのＺ値を代表高さＨとして与える。受光素子の現在の測定データＤを過去データＤｐと比較して、現在の測定データＤが過去データＤｐから変化していない場合、測定座標取得部１４は、当該受光素子に関する測定座標Ｍの取得を実行しない。現在の測定データＤを過去データＤｐと比較する際に、測定対象の物体ＯＢの寸法、測定や演算の誤差、要求される三次元データの精度等を考慮して、変化量の許容値を予め設定し、現在の測定データＤが許容値を超えて過去データＤｐから変化している場合に、現在の測定データＤに基づいて上記処理を進めるように構成することもできる。

三次元センサ１２が予め設定される測定周期において観察領域２２を最初に測定するときには、過去データ格納部７２の全ての記憶領域が無効状態であるから、測定座標取得部１４は、カメラ２４の全受光素子が生じる現在の測定データＤに基づき測定座標Ｍを取得するとともに、それら測定データＤを対応の記憶領域に格納する。そして区画情報作成部１６は、現在の測定データＤに基づき取得された測定座標Ｍを用いて個々の区画３８に代表高さＨを与えるとともに、測定座標ＭのＸＹ座標値が含まれない区画３８（例えば図４の区画３８１）を死角として処理する。次の測定周期以降、測定座標取得部１４は、１測定周期の間に観察領域２２において物体ＯＢが移動したり新たな物体ＯＢが出現したりした場合（つまり受光素子毎の現在の測定データＤが過去データＤｐから変化した場合）のみ、移動又は出現した物体ＯＢの測定座標Ｍを現在の測定データＤに基づき取得する。そして区画情報作成部１６は、物体ＯＢの移動や出現に伴い状態が変化した区画３８のみに対し、現在の測定データＤに基づき取得された測定座標Ｍを用いて、代表高さＨを与えるか或いは死角として処理するように動作する。このように、三次元データ生成装置７０によれば、観察領域２２において物体ＯＢが移動したり新たな物体ＯＢが出現したりしたときに、それに伴って状態が変化した区画３８のみに対して三次元データを生成するので、演算量が削減されて、三次元データ生成に関わる処理速度を向上させることができる。

図１５は、測定座標取得部１４が、任意の時間に渡り継続して三次元センサ１２の測定データＤを監視し、現在の測定データＤが、予め定めた位置で恒常に静止する物体ＯＢのみが観察領域２２（図２）に存在するとき（以下、平静時と称する。）の測定データＤから変化しているときに、平静時の物体ＯＢの測定座標Ｍを現在の観察領域２２の三次元データ生成に利用する機能を有する三次元データ生成装置８０の構成を示す。三次元データ生成装置８０は、前述した三次元データ生成装置１０の基本構成を有するさらに他の１つの具体的構成例であって、対応する構成要素には共通する参照符号を付してその詳細説明を省略する。なお、前述した三次元データ生成装置４０、５０に、三次元データ生成装置８０と同様の平静時データ利用機能を持たせることもできる。また図２の監視システム２０は、三次元データ生成装置１０に代えて三次元データ生成装置８０を備えることもできる。

三次元データ生成装置８０は、観察領域２２（図２）を任意の時間に渡り継続して測定する三次元センサ１２の測定データを用いて、測定座標取得部１４による測定座標Ｍの取得と区画情報作成部１６による代表高さＨの付与とを含むデータ生成動作を、任意の時間に渡って繰り返し実行するものであって、測定座標取得部１４及び区画情報作成部１６に加えて、予め定めた位置で恒常に静止する物体ＯＢのみが存在する（つまり平静時の）観察領域２２を測定した測定データＤを、平静時データＤｑとして保持する平静時データ保持部８２と、平静時の観察領域２２を測定した測定データＤに基づき測定座標取得部１４が取得した測定座標Ｍの、ＸＹ座標値が含まれる区画３８に、区画情報作成部１６が与えた代表高さＨを、平静時高さＨｑとして保持する平静時高さ保持部８４とを備える。

測定座標取得部１４は、毎回のデータ生成動作において、三次元センサ１２の測定データＤに基づき直交三軸座標系３４における物体ＯＢの測定座標Ｍを取得する際に、三次元センサ１２から現在の測定データＤがカメラ２４の受光素子毎に出力されるたびに、平静時データ保持部８２に設けた受光素子毎の記憶領域を参照する。そして、受光素子毎に現在の測定データＤを平静時データＤｑと比較して、現在の測定データＤが平静時データＤｑから変化しているときに、現在の測定データＤに基づき測定座標Ｍを取得する。受光素子の現在の測定データＤを平静時データＤｑと比較して、現在の測定データＤが平静時データＤｑから変化していない場合、測定座標取得部１４は、当該受光素子に関する測定座標Ｍの取得を実行しない。現在の測定データＤを平静時データＤｑと比較する際に、測定対象の物体ＯＢの寸法、測定や演算の誤差、要求される三次元データの精度等を考慮して、変化量の許容値を予め設定し、現在の測定データＤが許容値を超えて平静時データＤｑから変化している場合に、現在の測定データＤに基づいて上記処理を進めるように構成することもできる。

区画情報作成部１６は、毎回のデータ生成動作において、現在の測定データＤに基づき取得された測定座標ＭのＸＹ座標値が含まれる区画に、同じ測定座標ＭのＺ値を代表高さＨとして与える。また区画情報作成部１６は、１回のデータ生成動作が完了したときに、現在の測定データＤに基づき取得された測定座標ＭのＸＹ座標値が含まれない区画３８（例えば図４の区画３８１）に対しては、同じＸＹ座標値が含まれる区画３８の平静時高さＨｑを平静時高さ保持部８２から抽出して、この平静時高さＨｑを代表高さＨとして与える。

三次元センサ１２が予め設定される測定周期で観察領域２２を測定したときに、平静時の観察領域２２に存在した物体ＯＢとは別の物体ＯＢが観察領域２２に新たに存在する場合、カメラ２４と当該別の物体ＯＢとの位置関係に応じて、平静時には生じていなかった位置に新たな死角が生じることがある。三次元データ生成装置８０によれば、そのような新たな死角を、代表高さＨを持たない区画３８として扱う代わりに、平静時高さＨｑを持つ区画３８として扱って、観察領域２２の三次元データを生成することができる。この構成は、例えば監視システム２０において、観察領域２２における新たな死角の検出よりも新たな物体ＯＢの侵入検知を重視する場合に有用である。また測定座標取得部１４は、１測定周期の間に平静時の観察領域２２に存在した物体ＯＢとは別の物体ＯＢが観察領域２２に新たに存在する場合（つまり受光素子毎の現在の測定データＤが平静時データＤｑから変化した場合）のみ、別の物体ＯＢの測定座標Ｍを現在の測定データＤに基づき取得する。そして区画情報作成部１６は、別の物体ＯＢの存在に伴い平静時から状態が変化した区画３８のみに対し、現在の測定データＤに基づき取得された測定座標Ｍを用いて、代表高さＨ（平静時高さＨｑを含む）を与えるように動作する。このように、三次元データ生成装置８０によれば、観察領域２２において平静時とは別の物体ＯＢが存在したときに、それに伴い平静時から状態が変化した区画３８のみに対して三次元データを生成するので、演算量が削減されて、三次元データ生成に関わる処理速度を向上させることができる。

図１６は、三次元センサ１２が測定している観察領域２２（図２）を画像化して表示する機能を有する三次元データ生成装置９０の構成を示す。三次元データ生成装置９０は、前述した三次元データ生成装置１０の基本構成を有するさらに他の１つの具体的構成例であって、対応する構成要素には共通する参照符号を付してその詳細説明を省略する。なお、前述した三次元データ生成装置４０、５０、７０、８０に、三次元データ生成装置９０と同様の画像表示機能を持たせることもできる。また図２の監視システム２０は、三次元データ生成装置１０に代えて三次元データ生成装置９０を備えることもできる。

三次元データ生成装置９０は、測定座標取得部１４及び区画情報作成部１６に加えて、複数の区画３８（図４）の各々の、基準面３６（図４）における位置と寸法と代表高さＨとを用いて、物体ＯＢを含む観察領域２２の画像Ｉを生成する画像生成部９２と、画像生成部９２が生成した画像Ｉを表示する表示部９４とを備える。画像生成部９２は、観察領域２２の三次元データに基づき、図３Ｂで説明したような、床面２８の鉛直上方無限遠の位置から観察領域２２の全体を俯瞰した単一の平面図の形態で、観察領域２２の画像Ｉを生成する。また画像生成部９２は、観察領域２２に存在する物体ＯＢの高さ情報（代表高さＨの大きさ）を、例えば色（明度、彩度、色相）や網掛け等で、識別可能に画像化することができる。表示部９４は、例えば液晶ディスプレイや有機ＥＬディスプレイ等の内蔵又は外付けの表示装置（図示せず）に画像Ｉを表示できる。表示部９４は、区画情報作成部１６により代表高さＨが与えられない区画３８（すなわち死角）を、画像Ｉの中に物体ＯＢとは区別可能な形態で表示することができる。

図１７Ａは、表示部９４が表示する観察領域２２の画像Ｉの一例を、三次元センサ１２の測定対象となった観察領域２２の概略図と共に示す。また図１７Ｂは、画像Ｉの一部分を拡大して示す。図示の例では、画像Ｉは、物体ＯＢの高さ情報（代表高さＨの大きさ）を、色（明度）の違いで表している。図示のように、三次元データ生成装置９０は、三次元センサ１２の個数に関わらず、観察領域２２の全体を単一の平面図の形態で画像化できる。また三次元データ生成装置９０は、観察領域２２に存在する移動体ＯＢ１（図１７Ｂ）を、実時間で追跡しながら画像化して表示できるとともに、移動体ＯＢ１と静止構造体ＯＢ２（図１７Ｂ）との間の距離が変化する態様を、実時間で追跡しながら画像化して表示できる。三次元データ生成装置９０に、図１５の三次元データ生成装置８０が有する平静時データ利用機能を付加すれば、図示のように全体として死角の無い画像Ｉを表示できる。

三次元データ生成装置９０によれば、表示部９４により観察領域２２の画像Ｉが単一の平面図の形態で表示されるので、例えば観察者が画像Ｉを観察することにより、観察領域２２に存在する死角を視認したり、物体ＯＢ同士の間隔を把握したりすることができる。また、監視システム２０に三次元データ生成装置９０を装備すれば、観察者が画像Ｉを観察することにより、観察領域２２における物体ＯＢの移動や観察領域２２への新たな物体ＯＢの侵入等を、視覚により監視できる。

以上、図面を参照して本発明の実施形態を説明したが、本発明は図示の構成に限定されず、様々な修正を施すことができる。例えば、電子機器の一般的な特性として電源ＯＮ時には記憶領域の値が乱れる傾向があるので、選択条件記憶部４４、高さ記憶部４６、センサ情報格納部５２、過去データ格納部７２については、三次元データ生成装置４０、５０、７０の起動時に初期化処理を行って、記憶領域に格納されていたデータを消去したり記憶領域を無効状態にしたりすることができる。その後にそれぞれの記憶領域にデータを格納することで、起動時の揺らぎの影響を排除できる。

１０、４０、５０、７０、８０、９０ 三次元データ生成装置
１２ 三次元センサ
１４ 測定座標取得部
１６ 区画情報作成部
２０ 監視システム
２２ 観察領域
２４ カメラ
３４ 直交三軸座標系
３６ 基準面
３８ 区画
４２ 座標選択部
４４ 選択条件記憶部
４６ 高さ記憶部
５２ センサ情報格納部
５４ データ変換部
７２ 過去データ格納部
８２ 平静時データ保持部
８４ 平静時高さ保持部
９２ 画像生成部
９４ 表示部
Ｄ 測定データ
Ｈ 代表高さ
Ｍ 測定座標
ＯＢ 物体

Claims (15)

1. 観察領域に存在する物体を認識するための三次元データを生成する三次元データ生成装置であって、
   前記観察領域を測定する三次元センサの測定データに基づき、前記観察領域に設定される直交三軸座標系における前記物体の測定座標を取得する測定座標取得部と、
   前記直交三軸座標系のＸＹ平面に平行な基準面を前記観察領域に定めるとともに、該基準面を複数の区画に等分し、該複数の区画のうち、前記物体の前記測定座標のＸＹ座標値が含まれる区画に、同じ前記測定座標のＺ値を該区画の代表高さとして与える区画情報作成部と、
   を具備し、
   前記複数の区画の各々の、前記基準面における位置と寸法と前記代表高さとを用いて、前記観察領域の三次元データを生成する、三次元データ生成装置。
2. １つの前記区画に複数の前記測定座標の前記ＸＹ座標値が含まれる場合に、予め定めた条件に従い、複数の前記測定座標のうちいずれか１つの測定座標を選択する座標選択部を具備し、
   前記区画情報作成部は、選択した前記測定座標のＺ値を前記代表高さとする、
   請求項１に記載の三次元データ生成装置。
3. 前記座標選択部は、１つの前記区画に前記ＸＹ座標値が含まれる前記複数の測定座標のうち、三次元センサの撮像部までの距離が最も短い測定座標を選択する、請求項２に記載の三次元データ生成装置。
4. 前記座標選択部は、１つの前記区画に前記ＸＹ座標値が含まれる前記複数の測定座標のうち、当該区画の中心点までの距離が最も短い測定座標を選択する、請求項２に記載の三次元データ生成装置。
5. 前記複数の区画の各々について、前記ＸＹ座標値が含まれる前記複数の測定座標の各々と前記撮像部又は前記中心点との間の前記距離を記憶する選択条件記憶部を具備する、請求項３又は４に記載の三次元データ生成装置。
6. 前記測定座標の取得と前記代表高さの付与とを含むデータ生成動作を任意の時間に渡って繰り返し実行する、請求項５に記載の三次元データ生成装置において、
   前記区画情報作成部は、１回の前記データ生成動作が完了したときに、前記選択条件記憶部が有する区画毎の記憶領域を無効状態にする、請求項５に記載の三次元データ生成装置。
7. 前記複数の区画の各々について前記代表高さを記憶する高さ記憶部を具備する、請求項１〜６のいずれか１項に記載の三次元データ生成装置。
8. 前記測定座標の取得と前記代表高さの付与とを含むデータ生成動作を任意の時間に渡って繰り返し実行する、請求項７に記載の三次元データ生成装置において、
   前記区画情報作成部は、毎回の前記データ生成動作において、前記代表高さが与えられない前記区画が生じるたびに、前記高さ記憶部が有する当該区画の記憶領域を無効状態にする、請求項７に記載の三次元データ生成装置。
9. 前記測定座標の取得と前記代表高さの付与とを含むデータ生成動作を任意の時間に渡って繰り返し実行する、請求項１〜８のいずれか１項に記載の三次元データ生成装置において、
   前記測定データを過去データとして格納する過去データ格納部を具備し、
   前記測定座標取得部は、毎回の前記データ生成動作において、現在の前記測定データを前記過去データと比較して、現在の前記測定データが前記過去データから変化しているときに、現在の前記測定データに基づき前記測定座標を取得するとともに、前記過去データ格納部を現在の前記測定データで更新し、
   前記区画情報作成部は、現在の前記測定データに基づき取得された前記測定座標のＸＹ座標値が含まれる区画に、同じ前記測定座標のＺ値を前記代表高さとして与える、
   請求項１〜８のいずれか１項に記載の三次元データ生成装置。
10. 前記測定座標の取得と前記代表高さの付与とを含むデータ生成動作を任意の時間に渡って繰り返し実行する、請求項１〜８のいずれか１項に記載の三次元データ生成装置において、
    予め定めた位置で恒常に静止する物体のみが存在する前記観察領域を測定した前記測定データを、平静時データとして保持する平静時データ保持部と、
    予め定めた位置で恒常に静止する物体のみが存在する前記観察領域を測定した前記測定データに基づき前記測定座標取得部が取得した前記測定座標の、前記ＸＹ座標値が含まれる前記区画に、前記区画情報作成部が与えた前記代表高さを、平静時高さとして保持する平静時高さ保持部とを具備し、
    前記測定座標取得部は、毎回の前記データ生成動作において、現在の前記測定データを前記平静時データと比較して、現在の前記測定データが前記平静時データから変化しているときに、現在の前記測定データに基づき前記測定座標を取得し、
    前記区画情報作成部は、現在の前記測定データに基づき取得された前記測定座標のＸＹ座標値が含まれる区画に、同じ前記測定座標のＺ値を前記代表高さとして与える一方、現在の前記測定データに基づき取得された前記測定座標のＸＹ座標値が含まれない前記区画に対しては、同じＸＹ座標値が含まれる前記区画の前記平静時高さを前記代表高さとして与える、
    請求項１〜８のいずれか１項に記載の三次元データ生成装置。
11. 前記測定座標取得部は、
    前記直交三軸座標系における前記三次元センサの撮像部の位置及び撮像方向を含むセンサ情報を予め格納するセンサ情報格納部と、
    前記センサ情報に基づき、前記測定データを前記測定座標に変換するデータ変換部と、
    を具備する、請求項１〜１０のいずれか１項に記載の三次元データ生成装置。
12. 前記複数の区画の各々の前記位置と前記寸法と前記代表高さとを用いて、前記物体を含む前記観察領域の画像を生成する画像生成部と、
    前記画像を表示する表示部と、
    をさらに具備する、請求項１〜１１のいずれか１項に記載の三次元データ生成装置。
13. 前記表示部は、前記代表高さが与えられない前記区画を、前記画像の中に前記物体とは区別可能な形態で表示する、請求項１２に記載の三次元データ生成装置。
14. 観察領域に存在する物体を認識するための三次元データを生成する三次元データ生成方法であって、
    前記観察領域を測定する三次元センサの測定データに基づき、前記観察領域に設定される直交三軸座標系における前記物体の測定座標を取得し、
    前記直交三軸座標系のＸＹ平面に平行な基準面を前記観察領域に定めるとともに、該基準面を複数の区画に等分し、該複数の区画のうち、前記物体の前記測定座標のＸＹ座標値が含まれる区画に、同じ前記測定座標のＺ値を該区画の代表高さとして与え、
    前記複数の区画の各々の、前記基準面における位置と寸法と前記代表高さとを用いて、前記観察領域の三次元データを生成する、
    三次元データ生成方法。
15. 観察領域を測定する三次元センサと、
    請求項１〜１３のいずれか１項に記載の三次元データ生成装置と、
    を具備し、
    前記三次元データ生成装置が生成した前記三次元データを用いて前記観察領域を監視する、監視システム。