JP2023020071A - 物体移動計測装置、システム、方法、及びプログラム - Google Patents

Abstract

【課題】データ処理を高速化して任意の場所で物体の移動の計測を容易に行うことに貢献することができる物体移動計測装置等を提供すること。【解決手段】物体移動計測装置は、３次元点群データから平面を検出して基準面を決定し、３次元点群データから物体の点群を抽出して基準面と平行な平面に２次元射影し、２次元射影された画素群の各画素を膨張して近接する画素が互いに接する画素に同じラベルでラベリング処理し、３次元に変換して同じラベルでラベリング処理した点群を作成し、ラベリング処理した点群のうち検出条件に適合する点群に係る物体を検出し、最新の物体について、過去の物体との同一性及び種別を判定して、過去の物体と同一かつ同種の物体に共通の識別情報を付与し、識別情報を付与した物体の移動方向を特定し、特定した物体の移動方向に基づいて、カウントポイントで移動している物体の数をカウントする。【選択図】図９

Description

本発明は、物体移動計測装置、システム、方法、及びプログラムに関する。

室内や屋外のある一定空間に在籍する人数を把握したり、そこでの人の流量、つまり移動方向を把握・調査したい（例えば、右手方向に進んだのは何人で、左手方向に進んだのは何人なのか）という要望は、マーケティングや不動産業界での立地調査などの様々な分野において需要がある。このような需要に応える技術として、機械学習を用いて監視カメラの映像データ（２次元データ、動画、静止画）を解析して物体の移動方向を検出する技術が存在する（例えば、特許文献１、２参照）。

特開２０２１－８６４６７号公報 国際公開第２０１０／０９８０２４号 特開２０１９－２０７６５３号公報

以下の分析は、本願発明者により与えられる。

しかしながら、特許文献１、２のような技術では、学習データを取得する際には実際に使用が想定される設置位置および設置角度と同等の環境でなければ、学習結果が異なってしまい、誤動作の原因となる。

また、人の流量調査は常時実施することよりも、ある期間だけスポット的に実施することが多いが、特許文献１、２のような技術では、機械学習に合わせて監視カメラや設置位置や角度を調整することが難しく、監視カメラが設置可能な位置や角度に合わせて改めて学習から開始する必要があり、無駄が多い。

そこで、機械学習を行わないで、３次元センサの３次元点群データを解析して物体の移動方向を検出する技術を用いることが考えられる（例えば、特許文献３参照）。

しかしながら、特許文献３のように、３次元点群データから、直接、近傍の点群をつないで、ある一定量以上の塊（グループ）を探し出す（つまり、人などを捉えた複数個の点群をクラスタリング、あるいはラベリングする）技術では、計算機に対して多大な計算負荷を与え、大幅に処理時間を要する。つまり、３次元点群データは２次元データと比べて距離の計算次元が増加するため、２次元データの処理であれば単純な木構造を用いて処理を簡素化できるが、３次元点群データの処理では構造が複雑化してしまい、処理負荷及び処理時間が嵩む。

また、物体の移動の検出において、物体がどう移動したかという情報は、計算機が認識したフレーム（瞬間）間の情報を繋ぎ合わせる必要があるが、特許文献３のような技術では、処理負荷及び処理時間が影響して、計算機が認識できるフレームが減少し、フレーム間の情報を繋ぎ合わせる処理に支障が出て、正しい測定が困難になる可能性がある。そのため、ある瞬間の空間内の人物を捉えても、次の瞬間の処理までにその人物は既に歩き去ってしまい、いずれの方向に進行したかの情報が重要な流量把握において、その情報が得られないという事態に陥る可能性がある。

本発明の主な課題は、データ処理を高速化して任意の場所で物体の移動の計測を容易に行うことに貢献することができる物体移動計測装置、システム、方法、及びプログラムを提供することである。

第１の視点に係る物体移動計測装置は、３次元センサで撮影された撮影現場の３次元点群データから１又は複数の平面を検出し、検出した前記平面の中から基準面を決定するように構成された基準面決定部と、前記３次元点群データから物体の点群を抽出するように構成された物体抽出部と、抽出した前記物体の前記点群を、前記基準面と平行な平面に、各点１画素として２次元射影した画素群を作成するように構成された２次元射影部と、２次元射影した前記画素群の各画素を、近接する画素が互いに接するように、膨張した画素群を作成するように構成された膨張部と、膨張した前記画素群のうち、近接する画素が互いに接する画素に同じラベルでラベリング処理した画素群を作成するように構成されたラベリング部と、２次元射影したときの点群と画素群との関係に基づいて、ラベリング処理した前記画素群を、３次元に変換して同じラベルでラベリング処理した点群を作成するように構成された３次元変換部と、３次元に変換して同じラベルでラベリング処理した前記点群のうち検出条件に適合する点群に係る物体を検出するように構成されたマッチング部と、検出された最新の物体について、検出された過去の物体との同一性及び種別のそれぞれを判定して、前記過去の物体と同一かつ同種の物体に共通の識別情報を付与するように構成された識別情報付与部と、前記識別情報を付与した前記物体の移動方向を特定するように構成された移動方向特定部と、特定した前記物体の前記移動方向に基づいて、カウントポイントで移動している物体の数をカウントするように構成されたカウント部と、を備える。

第２の視点に係る物体移動計測システムは、前記第１の視点に係る物体移動計測装置と、前記物体移動計測装置と通信可能に接続されるとともに、撮影現場を撮影する３次元センサと、を備える。

第３の視点に係る物体移動計測方法は、ハードウェア資源を用いて物体の移動を計測する物体移動計測方法であって、３次元センサで撮影された撮影現場の３次元点群データから１又は複数の平面を検出し、検出した前記平面の中から基準面を決定するステップと、前記３次元点群データから物体の点群を抽出するステップと、抽出した前記物体の前記点群を、前記基準面と平行な平面に、各点１画素として２次元射影した画素群を作成するステップと、２次元射影した前記画素群の各画素を、近接する画素が互いに接するように、膨張した画素群を作成するステップと、膨張した前記画素群のうち、近接する画素が互いに接する画素に同じラベルでラベリング処理した画素群を作成するステップと、２次元射影したときの点群と画素群との関係に基づいて、ラベリング処理した前記画素群を、３次元に変換して同じラベルでラベリング処理した点群を作成するステップと、３次元に変換して同じラベルでラベリング処理した前記点群のうち検出条件に適合する点群に係る物体を検出するステップと、検出された最新の物体について、検出された過去の物体との同一性及び種別のそれぞれを判定して、前記過去の物体と同一かつ同種の物体に共通の識別情報を付与するステップと、前記識別情報を付与した前記物体の移動方向を特定するステップと、特定した前記物体の前記移動方向に基づいて、カウントポイントで移動している物体の数をカウントするステップと、を含む。

第４の視点に係るプログラムは、物体の移動を計測する処理をハードウェア資源に実行させるプログラムであって、３次元センサで撮影された撮影現場の３次元点群データから１又は複数の平面を検出し、検出した前記平面の中から基準面を決定する処理と、前記３次元点群データから物体の点群を抽出する処理と、抽出した前記物体の前記点群を、前記基準面と平行な平面に、各点１画素として２次元射影した画素群を作成する処理と、２次元射影した前記画素群の各画素を、近接する画素が互いに接するように、膨張した画素群を作成する処理と、膨張した前記画素群のうち、近接する画素が互いに接する画素に同じラベルでラベリング処理した画素群を作成する処理と、２次元射影したときの点群と画素群との関係に基づいて、ラベリング処理した前記画素群を、３次元に変換して同じラベルでラベリング処理した点群を作成する処理と、３次元に変換して同じラベルでラベリング処理した前記点群のうち検出条件に適合する点群に係る物体を検出する処理と、検出された最新の物体について、検出された過去の物体との同一性及び種別のそれぞれを判定して、前記過去の物体と同一かつ同種の物体に共通の識別情報を付与する処理と、前記識別情報を付与した前記物体の移動方向を特定する処理と、特定した前記物体の前記移動方向に基づいて、カウントポイントで移動している物体の数をカウントする処理と、を前記ハードウェア資源に実行させる。

なお、プログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（non-transient）なものとすることができる。また、本開示では、コンピュータプログラム製品として具現することも可能である。プログラムは、コンピュータ装置に入力装置又は外部から通信インタフェイスを介して入力され、記憶装置に記憶されて、プロセッサを所定のステップないし処理に従って駆動させ、必要に応じ中間状態を含めその処理結果を段階毎に表示装置を介して表示することができ、あるいは通信インタフェイスを介して、外部と交信することができる。そのためのコンピュータ装置は、一例として、典型的には互いにバスによって接続可能なプロセッサ、記憶装置、入力装置、通信インタフェイス、及び必要に応じ表示装置を備える。

前記第１～第４の視点によれば、データ処理を高速化して任意の場所で物体の移動の計測を容易に行うことに貢献することができる。

実施形態１に係る物体移動計測システムを用いて物体を検出する例を示したイメージ図である。 実施形態１に係る物体移動計測システムの構成を模式的に示したブロック図である。 実施形態１に係る物体移動計測システムにおいて現場を撮影してから物体検出処理画像が作成されるまでの処理を模式的に示したイメージ図である。 実施形態１に係る物体移動計測システムにおいて点群を基準面に射影してからラベリングするまでの処理を模式的に示したイメージ図である。 実施形態１に係る物体移動計測システムにおいて検出した物体に識別情報を付与したときの識別情報付与画像を模式的に示したイメージ図である。 実施形態１に係る物体移動計測システムにおいて図５の状態から物体が移動した後の識別情報付与画像に各物体の移動方向に係る情報を付与した画像を模式的に示したイメージ図である。 実施形態１に係る物体移動計測システムの物体移動計測装置の動作を模式的に示したフローチャートである。 実施形態１に係る物体移動計測システムの物体移動計測装置の物体検出処理の詳細を模式的に示したフローチャートである。 実施形態２に係る物体移動計測装置の構成を模式的に示したブロック図である。 ハードウェア資源の構成を模式的に示したブロック図である。

以下、実施形態について図面を参照しつつ説明する。なお、本出願において図面参照符号を付している場合は、それらは、専ら理解を助けるためのものであり、図示の態様に限定することを意図するものではない。また、下記の実施形態は、あくまで例示であり、本発明を限定するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。さらに、本願開示に示す回路図、ブロック図、内部構成図、接続図などにおいて、明示は省略するが、入力ポート及び出力ポートが各接続線の入力端及び出力端のそれぞれに存在する。入出力インタフェイスも同様である。プログラムはコンピュータ装置を介して実行され、コンピュータ装置は、例えば、プロセッサ、記憶装置、入力装置、通信インタフェイス、及び必要に応じ表示装置を備え、コンピュータ装置は、通信インタフェイスを介して装置内又は外部の機器（コンピュータを含む）と、有線、無線を問わず、交信可能に構成される。

［実施形態１］
実施形態１に係る物体移動計測システムについて図面を用いて説明する。図１は、実施形態１に係る物体移動計測システムを用いて物体を検出する例を示したイメージ図である。図２は、実施形態１に係る物体移動計測システムの構成を模式的に示したブロック図である。図３は、実施形態１に係る物体移動計測システムにおいて現場を撮影してから物体検出処理画像が作成されるまでの処理を模式的に示したイメージ図である。図４は、実施形態１に係る物体移動計測システムにおいて点群を基準面に射影してからラベリングするまでの処理を模式的に示したイメージ図である。図５は、実施形態１に係る物体移動計測システムにおいて検出した物体に識別情報を付与したときの識別情報付与画像を模式的に示したイメージ図である。図６は、実施形態１に係る物体移動計測システムにおいて図５の状態から物体が移動した後の識別情報付与画像に各物体の移動方向に係る情報を付与した画像を模式的に示したイメージ図である。

物体移動計測システム１は、撮影現場における物体（例えば、人１０、車１１等）の移動を計測するシステムである（図１～図３参照）。物体移動計測システム１は、信号や標識等の設置要否判断のための交通量調査や、不動産物件、特に店舗テナントに関わる交通量調査や、個人特定が不要あるいは禁止・忌避される場所での入出カウントや、職場の特定フロア、トイレなどの利用者数調査や、ドローンの交通量把握や、クレーンなど長いアームを持った重機の特定領域への侵入頻度の把握や、家畜の放牧地と畜舎との間の入出カウント、登山道の分岐での進行方向調査等に用いることができる。物体移動計測システム１は、物体移動計測装置２００と、３次元センサ３００と、を備える。

物体移動計測装置２００は、３次元センサ３００で撮影された撮影現場の３次元点群データ１００に基づいて検物体の移動を計測する装置である（図２参照）。物体移動計測装置２００には、コンピュータを構成する機能部（例えば、プロセッサ、記憶装置、入力装置、通信インタフェイス、及び表示装置）を備えた端末（コンピュータ端末）を用いることができ、例えば、パーソナルコンピュータ、サーバ、タブレット端末、スマートフォンなどを用いることができる。物体移動計測装置２００は、３次元センサ３００と直接的又は間接的に通信可能（無線通信可能、有線通信可能）に接続されており、ネットワーク（図示せず）を介して３次元センサ３００と通信可能に接続してもよい。物体移動計測装置２００は、所定のプログラムを実行することによって、前処理部２１０と、監視対象領域指定部２２０と、基準面決定部２３０と、物体検出部２４０と、経路監視部２５０と、ユーザインタフェイス部２６０と、結果出力部２７０と、結果データベース２８０と、を備えた構成を実現する。

前処理部２１０は、入力された３次元点群データ１００に対して前処理（データ整形）を行う機能部である（図２参照）。前処理部２１０で処理された３次元点群データ１００は、ユーザインタフェイス部２６０の表示部２６１で表示させることができる。前処理部２１０は、フォーマット変換部２１１と、ノイズ除去部２１２と、を備える。

フォーマット変換部２１１は、前処理として、入力された３次元点群データ１００のフォーマットを、物体移動計測装置２００において共通に使える共通フォーマットに変換する機能部である（図２参照）。フォーマット変換部２１１は、変換された共通フォーマットの３次元点群データ１００を、ノイズ除去部２１２に向けて出力する。なお、３次元点群データ１００のフォーマットがもともと共通フォーマットの場合は、フォーマット変換部２１１でのフォーマット変換処理をスキップしてもよい。

ノイズ除去部２１２は、前処理として、フォーマット変換部２１１からの３次元点群データ１００における点群の中からノイズ（計測に不要な点群）を除去する機能部である（図２参照）。ノイズ除去部２１２は、ノイズが除去された３次元点群データ１００を、監視対象領域指定部２２０、基準面決定部２３０、及びユーザインタフェイス部２６０に向けて出力する。ノイズ除去方法として、例えば、平滑化処理、フィルタリング（例えば、移動平均フィルタ処理、メディアンフィルタ処理など）、外れ値除去処理（例えば、カイの二乗検定による外れ値除去処理）などが挙げられる。なお、ノイズがほとんどない状態であれば、ノイズ除去部２１２でのノイズ除去処理をスキップしてもよい。

監視対象領域指定部２２０は、３次元点群データ１００に対して監視対象領域を指定する機能部である（図２参照）。監視対象領域は、複数指定してもよい。監視対象領域指定部２２０は、ユーザの操作によって入力されたユーザインタフェイス部２６０の入力部２６２からの指定情報に基づいて監視対象領域を指定する。なお、３次元点群データ１００の全領域が監視対象領域である場合には、監視対象領域の指定をスキップすることができる。監視対象領域指定部２２０で指定された監視対象領域は、ユーザインタフェイス部２６０の表示部２６１で表示させることができる。監視対象領域指定部２２０は、範囲指定部２２１と、角度指定部２２２と、を備える。

範囲指定部２２１は、３次元点群データ１００の撮像全景における監視対象領域の範囲（幅、奥行き、高さ）を指定する機能部である（図２参照）。範囲指定部２２１は、ユーザの操作によって入力されたユーザインタフェイス部２６０の入力部２６２からの指定情報に基づいて、監視対象領域の範囲を指定する。範囲指定部２２１は、指定された監視対象領域の範囲に係る情報を基準面決定部２３０及び物体検出部２４０に向けて出力する。

角度指定部２２２は、３次元点群データ１００の点群を所定の座標点（指定した任意の座標点でも可）を中心に回転させる角度を指定する機能部である（図２参照）。角度指定部２２２は、ユーザの操作によって入力されたユーザインタフェイス部２６０の入力部２６２からの指定情報に基づいて、点群を回転させる角度を指定する。角度指定部２２２による点群を回転させる角度の指定は、範囲指定部２２１による監視対象領域の範囲の指定を補助するものである。点群の回転が不要であれば、角度指定部２２２を省略したり、角度の指定をスキップするようにしてもよい。角度指定部２２２は、指定された角度に係る情報を基準面決定部２３０及び物体検出部２４０に向けて出力する。なお、指定された角度に係る情報は、指定された監視対象領域の範囲に係る情報とは独立したものである。

基準面決定部２３０は、監視対象領域における基準面（例えば、床面）を決定する機能部である（図２参照）。基準面は、水平な床面、地面だけでなく、坂道、階段、梯子にある平面でもよい。基準面は、空中に設定してもよい。これにより、地面上での車や人の監視だけでなく、鳥類やドローンなどを監視することができる。基準面決定部２３０で決定された基準面は、ユーザインタフェイス部２６０の表示部２６１で表示させることができる。基準面決定部２３０は、平面検出部２３１と、基準面選択部２３２と、基準面記憶部２３３と、を備える。

平面検出部２３１は、３次元点群データ１００の点群のうち監視対象領域にある点群の中から平面（例えば、予め設定された面積以上の平面；図３（Ａ）では地面１２）を検出する機能部である（図２、図３参照）。平面検出部２３１は、前処理部２１０で前処理された３次元点群データ１００を取得し、監視対象領域指定部２２０で指定された監視対象領域に係る情報（範囲、角度）を取得する。平面検出部２３１は、指定された範囲で３次元点群データ１００に監視対象領域を設定し、指定された角度で３次元点群データ１００（監視対象領域を含む）の点群を回転させた画像を作成してもよい。平面検出部２３１は、監視対象領域にある点群の中に複数の平面があれば当該複数の平面を検出する。平面検出部２３１は、検出する平面の種類（例えば、水平面、垂直面、傾斜面、監視対象領域の範囲の境界面など）を予め設定しておいて、設定した種類の平面を選択的に検出するようにしてもよい。なお、３次元センサ３００の特性によっては取得できる座標の誤差のバラつきから実際の平面が撮像では波打つような点群となる場合があるが、その場合、平面検出部２３１の設定において、平面と認識する各点群間の誤差閾値の指定範囲を大きくするように設定することで、波打ちの影響を小さくして平面を検出することができる。

基準面選択部２３２は、平面検出部２３１で検出された平面の中から基準面を選択する機能部である（図２参照）。基準面選択部２３２は、ユーザの操作によって入力されたユーザインタフェイス部２６０の入力部２６２からの選択情報に基づいて基準面を選択する。

基準面記憶部２３３は、基準面選択部２３２で選択された基準面に係る情報を記憶する機能部である（図２参照）。基準面記憶部２３３に記憶された基準面に係る情報は、物体検出部２４０において利用可能になる。

物体検出部２４０は、監視対象領域の中の点群を画像処理して、指定された検出条件を満たす物体（検出対象物；図３（Ａ）では人１０、車１１）を検出する機能部である（図２参照）。物体検出部２４０で処理された画面は、ユーザインタフェイス部２６０の表示部２６１で表示させることができる。物体検出部２４０は、検出条件指定部２４１と、物体抽出部２４２と、２次元射影部２４３と、膨張部２４４と、ラベリング部２４５と、３次元変換部２４６と、マッチング部２４７と、を備える。

検出条件指定部２４１は、ユーザの操作によって入力されたユーザインタフェイス部２６０の入力部２６２からの指定情報に基づいて、検出対象物の検出条件を指定する機能部である（図２参照）。検出条件として、例えば、検出対象物の寸法範囲や体積範囲の他、時系列で確認して動体を発見させる等が挙げられる。なお、検出条件は指定しなくてもよく、検出条件の指定がない場合は、予め設定されている検出条件を用いて、検出条件の指定をスキップするようにしてもよい。

物体抽出部２４２は、３次元点群データ１００から監視対象領域の点群を抽出して、基準面決定部２３０で決定された基準面の点群（図３（Ａ）の地面１２の点群に相当）を削除することで、物体（図３（Ａ）では人１０、車１１）の点群（図３（Ｂ）では人点群１０ａ、車点群１１ａ）を抽出する機能部である（図２、図３参照）。物体抽出部２４２は、平面検出部２３１で作成された画像を用いて物体の点群を抽出するようにしてもよい。物体抽出部２４２は、平面検出部２３１で検出された平面が複数ある場合、基準面の点群を削除する際、基準面以外の平面も削除するようにしてもよい。

２次元射影部２４３は、物体抽出部２４２で抽出された物体の点群（図３（Ｂ）では人点群１０ａ、車点群１１ａ）を、基準面決定部２３０で決定された基準面（図３（Ｂ）では基準面１２ａ）と平行な平面（図３（Ｃ）では射影基準面１２ｂを含む平面）に、各点１画素として２次元射影（基準面に対して垂直方向から射影）する機能部である（図２、図３参照）。２次元射影部２４３は、検出対象物の点群（図３（Ｂ）では人点群１０ａ、車点群１１ａ）を２次元射影した射影画素群（図３（Ｃ）では人射影画素群１０ｂ、車射影画素群１１ｂ）に係る射影画素群画像を作成する。２次元射影部２４３は、２次元射影時に点群と画素群との対応関係に係る情報を保持する。なお、射影画素群（図３（Ｃ）では人射影画素群１０ｂ、車射影画素群１１ｂ）は、３次元センサ３００で撮影された検出対象物の表面の点群（図３（Ｂ）では人点群１０ａ、車点群１１ａ）を２次元射影したものであり、検出対象物の裏面（３次元センサ３００から見えないオクルージョン部分）が反映されないので、オクルージョン部分の点群又は画素群を予測して射影画素群画像を作成するようにしてもよい。

膨張部２４４は、２次元射影部２４３で作成された射影画素群画像に基づいて近接する画素が互いに接する（重なる部分があってもよい）ように各射影画素を膨張させる機能部である（図２参照）。膨張部２４４は、射影画素群画像の射影画素群（図４の４０ａ、４０ｂ、４０ｃ）の各射影画素を同じ大きさ（面積；例えば、射影画素の上下左右に１つ分隣接する画素を組み合わせた大きさ）に膨張させた膨張画素群（図４の４１ａ、４１ｂ、４１ｃ）に係る膨張画素群画像を作成する（図４参照）。各射影画素の膨張は、予め設定された大きさに膨張したり、ユーザによって設定された大きさに膨張したり、近接する射影画素が互いに接するように大きさを自動調整して膨張するようにしてもよい。

ラベリング部２４５は、膨張部２４４で作成された膨張画素群（図４の４１ａ、４１ｂ、４１ｃ）に係る膨張画素群画像に基づいて、近接する膨張画素が互いに接する膨張画素群の各膨張画素にラベリング（同じラベル（番号又は符号）を割り振る）処理を行う機能部である（図２参照）。ラベリング部２４５は、検出対象物ごとに異なるラベル（図４では、１、２、３）を割り振る。ラベリング部２４５は、各膨張画素にラベリングしたラベリング画素群（図４の４２ａ、４２ｂ、４２ｃ；図３（Ｄ）では人ラベリング膨張画素群１０ｃ、車ラベリング膨張画素群１１ｃ）に係るラベリング画素群画像を作成する（図３、図４参照）。なお、ラベリング部２４５は、ラベリング画素群（図４の４２ａ、４２ｂ、４２ｃ）のうち、予め設定された画素数（例えば、１０画素）未満のラベリング画素群（図４では４２ｃ）を削除（除外）するようにしてもよく、ラベリング処理する前に、予め設定された画素数（例えば、１０画素）未満の膨張画素群（図４では４１ｃ）を削除（除外）するようにしてもよい。

３次元変換部２４６は、２次元射影部２４３で保持された画素と点群との対応関係に係る情報に基づいて、ラベリング部２４５で作成されたラベリング画素群画像を、ラベリングされた３次元点群（図３（Ｅ）では人ラベリング点群１０ｄ、車ラベリング点群１１ｄ）に係るラベリング点群画像に変換する機能部である（図２、図３参照）。３次元変換部２４６は、変換の際、ラベリング画素群に対応するラベリング点群に、当該ラベリング画素群に割り振られたラベルと同じラベルを付与する。

マッチング部２４７は、３次元変換部２４６で変換されたラベリング点群画像と、検出条件指定部２４１で指定された検出条件と、に基づいて、ラベリング点群画像におけるラベリング点群のうち検出条件に適合するラベリング点群に係る物体（検出対象物）のみを検出する機能部である（図２参照）。マッチング部２４７は、検出された各物体に係るラベリング点群について、同じラベルが割り振られたラベリング点群（図３（Ｅ）では人ラベリング点群１０ｄ、車ラベリング点群１１ｄ）ごとに検出枠（図３（Ｅ）では人検出枠２０、車検出枠２１）を付与してもよい。マッチング部２４７は、検出条件に適合しなかったラベリング点群を削除するようにしてもよい。マッチング部２４７は、検出結果（例えば、検出された各物体に係るラベリング点群に検出枠が付与された物体検出処理画像；図３（Ｅ）のような物体検出処理画像）を、経路監視部２５０に向けて出力するとともに、結果データベース２８０に格納させ、ユーザインタフェイス部２６０の表示部２６１で表示させることができる。

経路監視部２５０は、物体（各検出対象物に係るラベリング点群）の移動経路を監視する機能部である（図２参照）。経路監視部２５０は、識別情報付与部２５１と、移動方向特定部２５２と、カウント部２５３と、を備える。

識別情報付与部２５１は、最新の検出結果における各物体について、過去の結果（検出結果、識別結果）における物体と同一かつ同種の物体に共通の識別情報を付与する機能部である。なお、識別情報付与部２５１は、過去の結果がない場合には、最新の検出結果における各物体について、新規の識別情報を付与する。識別情報付与部２５１は、最新の検出結果と、結果データベース２８０に格納された過去の結果（検出結果、識別結果）と、に基づいて、最新の検出結果における各物体の同一性要素（物体の位置、寸法、形状など）を算出して最新の検出結果と過去の検出結果との各物体の同一性を判定する。識別情報付与部２５１は、同一と判定された最新の検出結果の各物体について、最新の検出結果と、結果データベース２８０に格納された過去の結果（検出結果、識別結果）と、に基づいて、最新の検出結果における各物体の種別要素（物体の体積、移動方向、移動速度など）を算出して最新の検出結果の各物体の種別を判定する。識別情報付与部２５１は、最新の検出結果における各物体について、過去の結果における物体と同一の物体（例えば、各検出対象物に係るラベリング点群の検出枠；図５、図６では人検出枠２０、車検出枠２１）に共通の識別情報（例えば、物体の種別と番号；図５、図６では人識別情報５０、車識別情報５１）を付与する。識別情報付与部２５１は、識別結果（例えば、図５、図６のような各物体に係るラベリング点群の検出枠に識別情報を付与した識別情報付与画像、算出した各要素の値）を、結果データベース２８０に格納させ、ユーザインタフェイス部２６０の表示部２６１で表示させることができる。識別情報は、物体の追跡に用いられる。

移動方向特定部２５２は、識別情報を付与した各物体の移動方向を特定する機能部である（図２参照）。移動方向特定部２５２は、識別情報付与部２５１で算出された移動方向を用いて物体の移動方向を特定するようにしてもよい。移動方向特定部２５２は、特定された各物体の移動方向に係る情報（例えば、矢印；図６では人移動方向６０、車移動方向６１の矢印）を識別情報付与画像（図６参照）に付与するようにしてもよい。

カウント部２５３は、移動方向特定部２５２で特定された各物体の移動方向（例えば、３次元センサ３００側から見て右方向、左方向など）に基づいて、カウントポイント（例えば、移動経路に設けた仮想的なゲート、複数でも可）を移動（通過）している物体の数をカウントする機能部である（図２参照）。カウント部２５３は、カウントポイントにおける物体の移動方向（一方向だけでなく、双方向でも可）に応じてカウントするようにしてもよい。カウントポイントは、計測前にユーザが設定してもよく、計測前の予行で撮影した３次元点群データ１００に基づいて物体の移動パターンを学習して自動設定してもよく、計測前の予行で撮影した３次元点群データ１００に基づいて物体の移動パターンを学習して提示されたいくつかのカウントポイントの中からユーザが選択したり修正したりして設定してもよい。

ユーザインタフェイス部２６０は、ユーザと物体移動計測装置２００との間を仲介する機能部である（図２参照）。ユーザインタフェイス部２６０は、表示部２６１と、入力部２６２と、を備える。

表示部２６１は、情報を表示する機能部である（図２参照）。表示部２６１は、前処理部２１０で前処理された３次元点群データ１００の他、監視対象領域指定部２２０で指定された監視対象領域、基準面決定部２３０で決定された基準面、物体検出部２４０で処理された物体検出処理画像などを表示することができる。表示部２６１は、結果出力部２７０からの指示によって、検出した流量測定の結果を表示する。

入力部２６２は、ユーザが操作した情報を物体移動計測装置２００に入力する機能部である（図２参照）。入力部２６２は、主に監視対象領域指定部２２０、基準面決定部２３０、物体検出部２４０の検出条件指定部２４１に対して情報の入力などを行う。

結果出力部２７０は、カウント部２５３にてカウントがあった場合に、その結果をユーザインタフェイス部２６０の表示部２６１に向けて出力する機能部である（図２参照）。

結果データベース２８０は、物体検出部２４０での検出結果、識別情報付与部２５１での識別結果や算出結果などの結果（前提となる指定条件、設定条件等を含む）を関連付けて蓄積するデータベースである（図２参照）。

３次元センサ３００は、被写体（図１では人１０、車１１、地面１２）の表面を３次元的にセンシングして撮影する装置である（図１、図２参照）。３次元センサ３００は、物体移動計測装置２００と通信可能に接続されている。３次元センサ３００は、被写体を撮影することによって所定のフォーマットの３次元点群データ１００を生成し、生成された３次元点群データ１００を物体移動計測装置２００に向けて出力する。なお、３次元点群データ１００は、３次元センサ３００で生成しないで、物体移動計測装置２００で生成するようにしてもよい。３次元センサ３００には、例えば、ＴｏＦ（Time of Flight）カメラ、ステレオカメラ、３次元－ＬＩＤＡＲ（Laser Imaging Detection And Ranging）、デプスセンサ、測距センサ、距離カメラ等を用いることができる。ここで、３次元点群データ１００は、３次元センサ３００によって所定のフォーマットで生成されたデータであり、点群（ＸＹＺ座標（３次元座標）情報を持った多数の点の集まり）で描画された点群データである（図２参照）。３次元センサ３００は、顧客の要望に応じて様々な出力形式のセンサ装置に変更することが可能である。３次元センサ３００は、複数台あってもよく、複数の３次元点群データ１００を物体移動計測装置２００で合成して１台の３次元センサ３００では不可能な広範囲の計測を行うようにしてもよい。

次に、実施形態１に係る物体移動計測システムにおける物体移動計測装置の動作について図面を用いて説明する。図７は、実施形態１に係る物体移動計測システムの物体移動計測装置の動作を模式的に示したフローチャートである。なお、物体移動計測システムの詳細な構成については図２及びその説明を参照されたい。

まず、物体移動計測装置２００の前処理部２１０は、３次元センサ３００で撮影された被写体の３次元点群データ１００（監視対象領域を含む領域の点群データ）を取得する（ステップＡ１）。

次に、物体移動計測装置２００の前処理部２１０のフォーマット変換部２１１は、前処理として、取得した３次元点群データ１００のフォーマットを、物体移動計測装置２００において共通に使える共通フォーマットに変換する（ステップＡ２）。

次に、物体移動計測装置２００の前処理部２１０のノイズ除去部２１２は、前処理として、フォーマット変換部２１１でフォーマット変換された３次元点群データ１００における点群の中からノイズを除去する（ステップＡ３）。

次に、物体移動計測装置２００の監視対象領域指定部２２０は、ユーザの操作によって入力されたユーザインタフェイス部２６０の入力部２６２からの指定情報に基づいて、３次元点群データ１００の撮像全景における監視対象領域（範囲、回転角度）を指定する（ステップＡ４）。なお、最初に監視対象領域を指定した後は、ステップＡ４をスキップすることができる。

次に、物体移動計測装置２００の基準面決定部２３０は、３次元点群データ１００の点群のうち監視対象領域にある点群の中から平面を検出し、ユーザの操作によって入力されたユーザインタフェイス部２６０の入力部２６２からの選択情報に基づいて、検出された平面の中から基準面（例えば、床面）を決定（選択）し、決定された基準面に係る情報を記憶する（ステップＡ５）。なお、最初に基準面を決定した後は、ステップＡ５をスキップすることができる。

次に、物体移動計測装置２００の物体検出部２４０の検出条件指定部２４１は、ユーザの操作によって入力されたユーザインタフェイス部２６０の入力部２６２からの指定情報に基づいて、検出対象物の検出条件（例えば、寸法範囲、体積範囲等）を指定する（ステップＡ６）。なお、最初に検出条件を指定した後は、ステップＡ６をスキップすることができる。また、検出条件は指定しなくてもよく、検出条件の指定がない場合は、予め設定されている検出条件を用いて、ステップＡ６をスキップすることができる。

次に、物体移動計測装置２００の物体検出部２４０は、監視対象領域の中の点群を画像処理して、指定された検出条件を満たす物体を検出する（ステップＡ７）。ステップＡ７の詳細は、後述する（図８参照）。

次に、物体移動計測装置２００の経路監視部２５０の識別情報付与部２５１は、最新の検出結果における各物体について、過去の結果（検出結果、識別結果）における各物体との同一性及び種別のそれぞれを判定して、過去の結果（検出結果、識別結果）における物体と同一かつ同種の物体に共通の識別情報を付与する（ステップＡ８）。

次に、物体移動計測装置２００の経路監視部２５０の移動方向特定部２５２は、識別情報を付与した各物体の移動方向を特定する（ステップＡ９）。なお、物体の移動方向の特定は、物体の同一性及び種別の判定の際に算出された物体の移動方向に基づいて特定することができる（詳細は上記参照）。

次に、物体移動計測装置２００の経路監視部２５０のカウント部２５３は、特定された各物体の移動方向に基づいて、カウントポイントを移動（通過）している物体の数をカウントする（ステップＡ１０）。カウントポイントを移動（通過）している物体がない場合は、スキップする。

次に、物体移動計測装置２００の結果出力部２７０は、最新のカウント結果をユーザインタフェイス部２６０の表示部２６１に出力させ（ステップＡ１１）、その後、ステップＡ１に戻り、ステップＡ１からステップＡ１１のフローを繰り返し実行する。

次に、実施形態１に係る物体移動計測システムにおける物体移動計測装置の物体検出処理（ステップＡ７）の詳細について図面を用いて説明する。図８は、実施形態１に係る物体移動計測システムの物体移動計測装置の物体検出処理の詳細を模式的に示したフローチャートである。なお、物体移動計測システムの詳細な構成については図２及びその説明を参照されたい。

図７のステップＡ６の後の物体検出処理（ステップＡ７）では、まず、物体移動計測装置２００の物体検出部２４０の物体抽出部２４２は、３次元点群データ１００から監視対象領域の点群を抽出して基準面の点群を削除することで、物体の点群を抽出する（ステップＢ１）。

次に、物体移動計測装置２００の物体検出部２４０の２次元射影部２４３は、抽出された検出対象物の点群を、基準面と平行な平面に、各点１画素として２次元射影して射影画素群画像を作成し、２次元射影時の点群と画素群との対応関係に係る情報を保持する（ステップＢ２）。

次に、物体移動計測装置２００の物体検出部２４０の膨張部２４４は、作成された射影画素群画像に基づいて近接する画素が互いに接するように各画素を膨張させて膨張画素群画像を作成する（ステップＢ３）。

次に、物体移動計測装置２００の物体検出部２４０のラベリング部２４５は、作成された膨張画素群画像に基づいて、近接する膨張画素が互いに接する膨張画素群の各膨張画素にラベリング処理を行ってラベリング画素群画像を作成する（ステップＢ４）。

次に、物体移動計測装置２００の物体検出部２４０の３次元変換部２４６は、保持された２次元射影時の画素と点群との対応関係に係る情報に基づいて、作成されたラベリング画素群画像をラベリング点群画像に変換する（ステップＢ５）。

次に、物体移動計測装置２００の物体検出部２４０のマッチング部２４７は、変換されたラベリング点群画像と、指定された検出条件と、に基づいて、ラベリング点群画像におけるラベリング点群のうち検出条件に適合するラベリング点群に係る物体（検出対象物）のみを検出し（マッチングし）（ステップＢ６）、その後、図７のステップＡ８に進むことになる。

実施形態１によれば、３次元点群データ１００を２次元射影して画素を膨張させることでラベリング処理（クラスタリング処理）を高速化することができるので、可能な限り多くの瞬間を捉え連続性を確認することができるようになる。なお、特許文献３のクラスタリング処理は、近傍点群をつなぐ処理であり、適切なノイズ除去や適切な連結部分の抽出ができない処理となっている。また、特許文献３の近傍点群を探索する処理は、処理時間がかかりすぎるため、処理間隔が開きすぎてしまい、正しい結果が得られない可能性がある。

また、実施形態１によれば、３次元センサ３００の取り付け制約が少なくなり、現場に行って任意の場所にセンサを設置して、最低限の設定だけで即座に調査を開始して測定結果を得ることができるので、任意の場所で物体の移動の計測を容易に行うことに貢献することができる。

また、実施形態１によれば、機械学習やＡＩ（Artificial Intelligence）を用いず、簡単な設定（監視対象領域の指定、基準面の選択、検出条件の指定）を行えば物体検出処理が行えるので、訓練されていないユーザでも操作して任意の場所で物体の移動の計測を容易に行うことに貢献することができる。なお、ＡＩ、機械学習を利用した場合、学習済みデータを取得した時と異なる取り付け位置や角度での設置となった場合、正しい結果が得られない可能性が増加する。特に、３次元情報を機械学習により判定する場合は、２次元情報よりも１次元分の情報が多い分、誤作動が顕著になる。また、３次元情報のまま機械学習で判定する場合、設置位置・角度は関係なくなるが、学習データの量や種類が多くなり、かつ、非常に計算コストがかかり、現実的ではない。

また、実施形態１によれば、３次元点群のラベリングによる個体切り分け処理を高速化し、空間内を流量測定対象が横断しきる前に可能な限り多くの切り分け処理を行えるようになる。

また、実施形態１によれば、寸法以外にも体積や移動速度、移動方向の変化度合いなどによって物体の種別の切り分けを行っているので、人やバイクなどの切り分けにも柔軟に対応でき、オクルージョン発生時の追跡も可能となる。なお、特許文献３では物体の寸法のみで車両と非車両との種別の切り分けを実施しており、人やバイクなどの切り分けに柔軟に対応できない可能性があり、オクルージョン発生時の追跡も困難となる。

また、実施形態１によれば、３次元センサ３００による３次元点群データ１００は疎な点群データであることから、個人情報を保護した状態で流量検知が実施できる。近年、プライバシーへの配慮の観点から、監視カメラの使用を回避する傾向があるが、実施形態１によれば、３次元センサ３００で撮影された疎（スパース）な３次元点群データ１００を用いているので、個人を特定することなく、流量検知を実施することができる。

また、実施形態１によれば、射影面を床面（地面）以外の平面にすることで、垂直方向の移動をカウントするなどの活用もできる。

また、実施形態１によれば、３次元センサ３００を複数台用いても、複数の３次元点群データ１００の対応する点群の座標の位置合わせが容易なので、３次元点群データ間の合成は簡単に行うことができ、広範囲な場所の流量調査が可能となる。なお、ＲＧＢ（Red-Green-Blue）カメラなどの複数の監視カメラを使う場合は、スポット毎に設置位置・角度が変わるので、それぞれの画像（映像）間のマッピングが難しい。

［実施形態２］
実施形態２に係る物体移動計測装置について図面を用いて説明する。図９は、実施形態２に係る物体移動計測装置の構成を模式的に示したブロック図である。

物体移動計測装置２００は、３次元センサ３００で撮影された撮影現場の３次元点群データ１００に基づいて検物体の移動を計測する装置である。物体移動計測装置２００は、基準面決定部２３０と、物体抽出部２４２と、２次元射影部２４３と、膨張部２４４と、ラベリング部２４５と、３次元変換部２４６と、マッチング部２４７と、識別情報付与部２５１と、移動方向特定部２５２と、カウント部２５３と、を備える。

基準面決定部２３０は、３次元センサ３００で撮影された撮影現場の３次元点群データ１００から１又は複数の平面を検出し、検出した平面の中から基準面を決定するように構成されている。物体抽出部２４２は、３次元点群データ１００から物体の点群を抽出するように構成されている。２次元射影部２４３は、抽出した物体の点群を、基準面と平行な平面に、各点１画素として２次元射影した画素群を作成するように構成されている。膨張部２４４は、２次元射影した画素群の各画素を、近接する画素が互いに接するように、膨張した画素群を作成するように構成されている。ラベリング部２４５は、膨張した前記画素群のうち、近接する画素が互いに接する画素に同じラベルでラベリング処理した画素群を作成するように構成されている。３次元変換部２４６は、２次元射影したときの点群と画素群との関係に基づいて、ラベリング処理した前記画素群を、３次元に変換して同じラベルでラベリング処理した点群を作成するように構成されている。マッチング部２４７は、３次元に変換して同じラベルでラベリング処理した前記点群のうち検出条件に適合する点群に係る物体を検出するように構成されている。識別情報付与部２５１は、検出された最新の物体について、検出された過去の物体との同一性及び種別のそれぞれを判定して、過去の物体と同一かつ同種の物体に共通の識別情報を付与するように構成されている。移動方向特定部２５２は、識別情報を付与した物体の移動方向を特定するように構成されている。カウント部２５３は、特定した物体の移動方向に基づいて、カウントポイントで移動している物体の数をカウントするように構成されている。

実施形態２によれば、３次元点群データ１００を２次元射影して画素を膨張させることでラベリング処理を高速化することができるので、データ処理を高速化して任意の場所で物体の移動の計測を容易に行うことに貢献することができる。

なお、実施形態１、２に係る物体移動計測装置は、いわゆるハードウェア資源（情報処理装置、コンピュータ）により構成することができ、図１０に例示する構成を備えたものを用いることができる。例えば、ハードウェア資源１０００は、内部バス１００４により相互に接続される、プロセッサ１００１、メモリ１００２、ネットワークインタフェイス１００３等を備える。

なお、図１０に示す構成は、ハードウェア資源１０００のハードウェア構成を限定する趣旨ではない。ハードウェア資源１０００は、図示しないハードウェア（例えば、入出力インタフェイス）を含んでもよい。あるいは、装置に含まれるプロセッサ１００１等のユニットの数も図１０の例示に限定する趣旨ではなく、例えば、複数のプロセッサ１００１がハードウェア資源１０００に含まれていてもよい。プロセッサ１００１には、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processor Unit）、ＧＰＵ（Graphics Processing Unit）等を用いることができる。

メモリ１００２には、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等を用いることができる。

ネットワークインタフェイス１００３には、例えば、ＬＡＮ（Local Area Network）カード、ネットワークアダプタ、ネットワークインタフェイスカード等を用いることができる。

ハードウェア資源１０００の機能は、上述の処理モジュールにより実現される。当該処理モジュールは、例えば、メモリ１００２に格納されたプログラムをプロセッサ１００１が実行することで実現される。また、そのプログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。即ち、上記処理モジュールが行う機能は、何らかのハードウェアにおいてソフトウェアが実行されることによって実現できればよい。

上記実施形態の一部または全部は以下の付記のようにも記載され得るが、以下には限られない。

［付記１］
３次元センサで撮影された撮影現場の３次元点群データから１又は複数の平面を検出し、検出した前記平面の中から基準面を決定するように構成された基準面決定部と、
前記３次元点群データから物体の点群を抽出するように構成された物体抽出部と、
抽出した前記物体の前記点群を、前記基準面と平行な平面に、各点１画素として２次元射影した画素群を作成するように構成された２次元射影部と、
２次元射影した前記画素群の各画素を、近接する画素が互いに接するように、膨張した画素群を作成するように構成された膨張部と、
膨張した前記画素群のうち、近接する画素が互いに接する画素に同じラベルでラベリング処理した画素群を作成するように構成されたラベリング部と、
２次元射影したときの点群と画素群との関係に基づいて、ラベリング処理した前記画素群を、３次元に変換して同じラベルでラベリング処理した点群を作成するように構成された３次元変換部と、
３次元に変換して同じラベルでラベリング処理した前記点群のうち検出条件に適合する点群に係る物体を検出するように構成されたマッチング部と、
検出された最新の物体について、検出された過去の物体との同一性及び種別のそれぞれを判定して、前記過去の物体と同一かつ同種の物体に共通の識別情報を付与するように構成された識別情報付与部と、
前記識別情報を付与した前記物体の移動方向を特定するように構成された移動方向特定部と、
特定した前記物体の前記移動方向に基づいて、カウントポイントで移動している物体の数をカウントするように構成されたカウント部と、
を備える、物体移動計測装置。
［付記２］
前記３次元点群データにおいて監視対象領域を指定するように構成された監視対象領域指定部をさらに備え、
前記基準面決定部は、指定した前記監視対象領域にある点群の中から１又は複数の平面を検出するように構成されている、
付記１記載の物体移動計測装置。
［付記３］
前記監視対象領域指定部は、
前記３次元点群データの撮像全景における前記監視対象領域の範囲を指定するように構成された範囲指定部と、
前記３次元点群データの点群を所定の座標点を中心に回転させる角度を指定するように構成された角度指定部と、
を備え、
前記基準面決定部は、指定された前記範囲で前記３次元点群データに前記監視対象領域を設定し、指定された前記角度で前記監視対象領域を含む前記３次元点群データの点群を前記所定の座標点を中心に回転させた画像を作成するように構成されている、
付記２記載の物体移動計測装置。
［付記４］
前記検出条件を指定するように構成された検出条件指定部をさらに備え、
前記マッチング部は、３次元に変換して同じラベルでラベリング処理した前記点群のうち、指定した前記検出条件に適合する点群に係る物体を検出するように構成されている、
付記１乃至３のいずれか一に記載の物体移動計測装置。
［付記５］
前記識別情報付与部は、
物体の同一性の判定において、検出された前記最新の物体の所定の同一性要素を算出して、検出された前記過去の物体について算出された同一性要素と比較して、前記最新の物体と前記過去の物体との同一性を判定し、
物体の種別の判定において、前記最新の物体の種別要素を算出して、最新の物体の種別を判定する、
ように構成されている、
付記１乃至４のいずれか一に記載の物体移動計測装置。
［付記６］
前記物体抽出部は、前記３次元点群データから、決定した前記基準面の点群を削除することで、前記物体の点群を抽出するように構成されている、
付記１乃至５のいずれか一に記載の物体移動計測装置。
［付記７］
ユーザの操作により、前記基準面の決定に係る情報、及び、前記検出条件に係る情報を入力するように構成されている入力部をさらに備える、
付記１乃至６のいずれか一に記載の物体移動計測装置。
［付記８］
付記１乃至７のいずれか一に記載の物体移動計測装置と、
前記物体移動計測装置と通信可能に接続されるとともに、撮影現場を撮影する３次元センサと、
を備える、物体移動計測システム。
［付記９］
ハードウェア資源を用いて物体の移動を計測する物体移動計測方法であって、
３次元センサで撮影された撮影現場の３次元点群データから１又は複数の平面を検出し、検出した前記平面の中から基準面を決定するステップと、
前記３次元点群データから物体の点群を抽出するステップと、
抽出した前記物体の前記点群を、前記基準面と平行な平面に、各点１画素として２次元射影した画素群を作成するステップと、
２次元射影した前記画素群の各画素を、近接する画素が互いに接するように、膨張した画素群を作成するステップと、
膨張した前記画素群のうち、近接する画素が互いに接する画素に同じラベルでラベリング処理した画素群を作成するステップと、
２次元射影したときの点群と画素群との関係に基づいて、ラベリング処理した前記画素群を、３次元に変換して同じラベルでラベリング処理した点群を作成するステップと、
３次元に変換して同じラベルでラベリング処理した前記点群のうち検出条件に適合する点群に係る物体を検出するステップと、
検出された最新の物体について、検出された過去の物体との同一性及び種別のそれぞれを判定して、前記過去の物体と同一かつ同種の物体に共通の識別情報を付与するステップと、
前記識別情報を付与した前記物体の移動方向を特定するステップと、
特定した前記物体の前記移動方向に基づいて、カウントポイントで移動している物体の数をカウントするステップと、
を含む、物体移動計測方法。
［付記１０］
物体の移動を計測する処理をハードウェア資源に実行させるプログラムであって、
３次元センサで撮影された撮影現場の３次元点群データから１又は複数の平面を検出し、検出した前記平面の中から基準面を決定する処理と、
前記３次元点群データから物体の点群を抽出する処理と、
抽出した前記物体の前記点群を、前記基準面と平行な平面に、各点１画素として２次元射影した画素群を作成する処理と、
２次元射影した前記画素群の各画素を、近接する画素が互いに接するように、膨張した画素群を作成する処理と、
膨張した前記画素群のうち、近接する画素が互いに接する画素に同じラベルでラベリング処理した画素群を作成する処理と、
２次元射影したときの点群と画素群との関係に基づいて、ラベリング処理した前記画素群を、３次元に変換して同じラベルでラベリング処理した点群を作成する処理と、
３次元に変換して同じラベルでラベリング処理した前記点群のうち検出条件に適合する点群に係る物体を検出する処理と、
検出された最新の物体について、検出された過去の物体との同一性及び種別のそれぞれを判定して、前記過去の物体と同一かつ同種の物体に共通の識別情報を付与する処理と、
前記識別情報を付与した前記物体の移動方向を特定する処理と、
特定した前記物体の前記移動方向に基づいて、カウントポイントで移動している物体の数をカウントする処理と、
を前記ハードウェア資源に実行させる、プログラム。

なお、上記の特許文献の各開示は、本書に引用をもって繰り込み記載されているものとし、必要に応じて本発明の基礎ないし一部として用いることが出来るものとする。本発明の全開示（特許請求の範囲及び図面を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせないし選択（必要により不選択）が可能である。すなわち、本発明は、請求の範囲及び図面を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、本願に記載の数値及び数値範囲については、明記がなくともその任意の中間値、下位数値、及び、小範囲が記載されているものとみなされる。さらに、上記引用した文献の各開示事項は、必要に応じ、本願発明の趣旨に則り、本願発明の開示の一部として、その一部又は全部を、本書の記載事項と組み合わせて用いることも、本願の開示事項に含まれる（属する）ものと、みなされる。

１ 物体移動計測システム
１０ 人
１０ａ 人点群
１０ｂ 人射影画素群
１０ｃ 人ラベリング膨張画素群
１０ｄ 人ラベリング点群
１１ 車
１１ａ 車点群
１１ｂ 車射影画素群
１１ｃ 車ラベリング膨張画素群
１１ｄ 車ラベリング点群
１２ 地面
１２ａ 基準面
１２ｂ 射影基準面
２０ 人検出枠
２１ 車検出枠
４０ａ、４０ｂ、４０ｃ 射影画素群
４１ａ、４１ｂ、４１ｃ 膨張画素群
４２ａ、４２ｂ、４２ｃ ラベリング画素群
５０ 人識別情報
５１ 車識別情報
６０ 人移動方向
６１ 車移動方向
１００ ３次元点群データ
２００ 物体移動計測装置
２１０ 前処理部
２１１ フォーマット変換部
２１２ ノイズ除去部
２２０ 監視対象領域指定部
２２１ 範囲指定部
２２２ 角度指定部
２３０ 基準面決定部
２３１ 平面検出部
２３２ 基準面選択部
２３３ 基準面記憶部
２４０ 物体検出部
２４１ 検出条件指定部
２４２ 物体抽出部
２４３ ２次元射影部
２４４ 膨張部
２４５ ラベリング部
２４６ ３次元変換部
２４７ マッチング部
２５０ 経路監視部
２５１ 識別情報付与部
２５２ 移動方向特定部
２５３ カウント部
２６０ ユーザインタフェイス部
２６１ 表示部
２６２ 入力部
２７０ 結果出力部
２８０ 結果データベース
３００ ３次元センサ
１０００ ハードウェア資源
１００１ プロセッサ
１００２ メモリ
１００３ ネットワークインタフェイス
１００４ 内部バス

Claims (10)

1. ３次元センサで撮影された撮影現場の３次元点群データから１又は複数の平面を検出し、検出した前記平面の中から基準面を決定するように構成された基準面決定部と、
   前記３次元点群データから物体の点群を抽出するように構成された物体抽出部と、
   抽出した前記物体の前記点群を、前記基準面と平行な平面に、各点１画素として２次元射影した画素群を作成するように構成された２次元射影部と、
   ２次元射影した前記画素群の各画素を、近接する画素が互いに接するように、膨張した画素群を作成するように構成された膨張部と、
   膨張した前記画素群のうち、近接する画素が互いに接する画素に同じラベルでラベリング処理した画素群を作成するように構成されたラベリング部と、
   ２次元射影したときの点群と画素群との関係に基づいて、ラベリング処理した前記画素群を、３次元に変換して同じラベルでラベリング処理した点群を作成するように構成された３次元変換部と、
   ３次元に変換して同じラベルでラベリング処理した前記点群のうち検出条件に適合する点群に係る物体を検出するように構成されたマッチング部と、
   検出された最新の物体について、検出された過去の物体との同一性及び種別のそれぞれを判定して、前記過去の物体と同一かつ同種の物体に共通の識別情報を付与するように構成された識別情報付与部と、
   前記識別情報を付与した前記物体の移動方向を特定するように構成された移動方向特定部と、
   特定した前記物体の前記移動方向に基づいて、カウントポイントで移動している物体の数をカウントするように構成されたカウント部と、
   を備える、物体移動計測装置。
2. 前記３次元点群データにおいて監視対象領域を指定するように構成された監視対象領域指定部をさらに備え、
   前記基準面決定部は、指定した前記監視対象領域にある点群の中から１又は複数の平面を検出するように構成されている、
   請求項１記載の物体移動計測装置。
3. 前記監視対象領域指定部は、
   前記３次元点群データの撮像全景における前記監視対象領域の範囲を指定するように構成された範囲指定部と、
   前記３次元点群データの点群を所定の座標点を中心に回転させる角度を指定するように構成された角度指定部と、
   を備え、
   前記基準面決定部は、指定された前記範囲で前記３次元点群データに前記監視対象領域を設定し、指定された前記角度で前記監視対象領域を含む前記３次元点群データの点群を前記所定の座標点を中心に回転させた画像を作成するように構成されている、
   請求項２記載の物体移動計測装置。
4. 前記検出条件を指定するように構成された検出条件指定部をさらに備え、
   前記マッチング部は、３次元に変換して同じラベルでラベリング処理した前記点群のうち、指定した前記検出条件に適合する点群に係る物体を検出するように構成されている、
   請求項１乃至３のいずれか一に記載の物体移動計測装置。
5. 前記識別情報付与部は、
   物体の同一性の判定において、検出された前記最新の物体の所定の同一性要素を算出して、検出された前記過去の物体について算出された同一性要素と比較して、前記最新の物体と前記過去の物体との同一性を判定し、
   物体の種別の判定において、前記最新の物体の種別要素を算出して、最新の物体の種別を判定する、
   ように構成されている、
   請求項１乃至４のいずれか一に記載の物体移動計測装置。
6. 前記物体抽出部は、前記３次元点群データから、決定した前記基準面の点群を削除することで、前記物体の点群を抽出するように構成されている、
   請求項１乃至５のいずれか一に記載の物体移動計測装置。
7. ユーザの操作により、前記基準面の決定に係る情報、及び、前記検出条件に係る情報を入力するように構成されている入力部をさらに備える、
   請求項１乃至６のいずれか一に記載の物体移動計測装置。
8. 請求項１乃至７のいずれか一に記載の物体移動計測装置と、
   前記物体移動計測装置と通信可能に接続されるとともに、撮影現場を撮影する３次元センサと、
   を備える、物体移動計測システム。
9. ハードウェア資源を用いて物体の移動を計測する物体移動計測方法であって、
   ３次元センサで撮影された撮影現場の３次元点群データから１又は複数の平面を検出し、検出した前記平面の中から基準面を決定するステップと、
   前記３次元点群データから物体の点群を抽出するステップと、
   抽出した前記物体の前記点群を、前記基準面と平行な平面に、各点１画素として２次元射影した画素群を作成するステップと、
   ２次元射影した前記画素群の各画素を、近接する画素が互いに接するように、膨張した画素群を作成するステップと、
   膨張した前記画素群のうち、近接する画素が互いに接する画素に同じラベルでラベリング処理した画素群を作成するステップと、
   ２次元射影したときの点群と画素群との関係に基づいて、ラベリング処理した前記画素群を、３次元に変換して同じラベルでラベリング処理した点群を作成するステップと、
   ３次元に変換して同じラベルでラベリング処理した前記点群のうち検出条件に適合する点群に係る物体を検出するステップと、
   検出された最新の物体について、検出された過去の物体との同一性及び種別のそれぞれを判定して、前記過去の物体と同一かつ同種の物体に共通の識別情報を付与するステップと、
   前記識別情報を付与した前記物体の移動方向を特定するステップと、
   特定した前記物体の前記移動方向に基づいて、カウントポイントで移動している物体の数をカウントするステップと、
   を含む、物体移動計測方法。
10. 物体の移動を計測する処理をハードウェア資源に実行させるプログラムであって、
    ３次元センサで撮影された撮影現場の３次元点群データから１又は複数の平面を検出し、検出した前記平面の中から基準面を決定する処理と、
    前記３次元点群データから物体の点群を抽出する処理と、
    抽出した前記物体の前記点群を、前記基準面と平行な平面に、各点１画素として２次元射影した画素群を作成する処理と、
    ２次元射影した前記画素群の各画素を、近接する画素が互いに接するように、膨張した画素群を作成する処理と、
    膨張した前記画素群のうち、近接する画素が互いに接する画素に同じラベルでラベリング処理した画素群を作成する処理と、
    ２次元射影したときの点群と画素群との関係に基づいて、ラベリング処理した前記画素群を、３次元に変換して同じラベルでラベリング処理した点群を作成する処理と、
    ３次元に変換して同じラベルでラベリング処理した前記点群のうち検出条件に適合する点群に係る物体を検出する処理と、
    検出された最新の物体について、検出された過去の物体との同一性及び種別のそれぞれを判定して、前記過去の物体と同一かつ同種の物体に共通の識別情報を付与する処理と、
    前記識別情報を付与した前記物体の移動方向を特定する処理と、
    特定した前記物体の前記移動方向に基づいて、カウントポイントで移動している物体の数をカウントする処理と、
    を前記ハードウェア資源に実行させる、プログラム。

Images