JP2017091063A - 物体検知装置、情報処理装置およびその方法 - Google Patents
物体検知装置、情報処理装置およびその方法 Download PDFInfo
- Publication number
- JP2017091063A JP2017091063A JP2015217920A JP2015217920A JP2017091063A JP 2017091063 A JP2017091063 A JP 2017091063A JP 2015217920 A JP2015217920 A JP 2015217920A JP 2015217920 A JP2015217920 A JP 2015217920A JP 2017091063 A JP2017091063 A JP 2017091063A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- detection
- area
- information processing
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【課題】 物体を検知する領域の設定を容易にする。【解決手段】 画像取得部101は、検知領域の画像を少なくとも含む画像データを取得する。距離画像取得部102は、検知領域の距離情報を少なくとも示す距離データを取得する。2D領域設定部103は、画像データに基づき、検知領域に対応する二次元領域を設定する。点群取得部104は、二次元領域の三次元位置を表す三次元点群を距離データから取得する。平面推定部105は、三次元点群に基づき、検知領域の基礎である平面を推定する。3D領域設定部107は、二次元領域および推定された平面に基づき、検知領域に対応する三次元領域を設定する。【選択図】 図1
Description
本発明は、監視カメラなどを用いる物体検知に関する。
監視カメラと距離センサを用いて、特定エリア内の被写体の変化に基づく異常の有無を検出する装置が提案されている(特許文献1)。特許文献1に示されるように、カメラと距離センサを用いることで、検出精度を向上させることができる。しかし、監視カメラのように床面を俯瞰するような設置例においては、カメラ座標系と、設定したい検知領域(例えば床面)の座標系(ワールド座標系)が一致しないため、距離を利用した単純な検知を行うことができない。そのため、監視カメラを設置する際は、俯角や設置高さを厳密に計測する必要がある。
特許文献2は、ユーザ入力により検知領域を設定し、カメラ座標系とワールド座標系の関係を算出することで、検知領域の設定を簡便に行う方法を提案する。しかし、床面にテーブルなどの物体が配置されている場合、検知領域が正しく設定できないという問題がある。この問題に対処するため、特許文献2の技術は、検知領域を床面に限定する。そのため、検知領域を設定する際に移動体が検知領域にある場合、当該移動体が正しく検知されないという問題がある。
特許文献2は、床面の領域を特定する具体的な手法を述べないが、画像中の床面の色などを利用して、類似色の領域を床面とする方法などが考えられる。しかし、床面に多彩な色が含まれる場合や、床面に類似する色をもつ床面以外の物体がある場合、床面の特定が困難である。また、監視カメラと距離センサが離れた場合、監視カメラに写った画像に対して、距離情報が得られない領域(オクルージョン)が発生するため、床面の特定が困難である。このように、物体を検知する領域の容易かつ高精度な設定が望まれる。
本発明は、物体を検知する領域の設定を容易にすることを目的とする。
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
本発明にかかる情報処理は、検知領域の画像を少なくとも含む画像データ、および、前記検知領域の距離情報を少なくとも示す距離データを取得し、前記画像データに基づき、前記検知領域に対応する二次元領域を設定し、前記二次元領域の三次元位置を表す三次元点群を前記距離データから取得し、前記三次元点群に基づき、前記検知領域の基礎である平面を推定し、前記二次元領域および前記推定された平面に基づき、前記検知領域に対応する三次元領域を設定する。
本発明によれば、物体を検知する領域の設定が容易になる。
以下、本発明にかかる実施例の物体検知装置、情報処理装置および情報処理方法を図面を参照して詳細に説明する。なお、実施例は特許請求の範囲にかかる本発明を限定するものではなく、また、実施例において説明する構成の組み合わせのすべてが本発明の解決手段に必須とは限らない。
[装置の構成]
図1のブロック図により実施例の物体検知の処理構成例を示す。図1において、画像取得部101は、監視カメラなどが撮像した特定領域(例えば、監視領域)の画像データを取得する。距離画像取得部102は、測距センサや測距装置などから特定領域の距離情報を示す距離データを取得する。
図1のブロック図により実施例の物体検知の処理構成例を示す。図1において、画像取得部101は、監視カメラなどが撮像した特定領域(例えば、監視領域)の画像データを取得する。距離画像取得部102は、測距センサや測距装置などから特定領域の距離情報を示す距離データを取得する。
詳細は後述するが、距離データと画像データは、画素ごとに対応がとられている。また、監視カメラの視野と測距装置の視野は、必ずしも一致している必要はなく、物体を検知すべき領域(以下、物体検知領域)を含む視野であればよい。言い替えれば、物体検知領域の画像を少なくとも含む画像データ、および、物体検知領域の距離情報を少なくとも示す距離データを取得すればよい。
2D領域設定部103は、画像データを用いて二次元の領域(以下、2D検知領域)を設定する。2D検知領域は、上記の物体検知領域の二次元領域に相当する。点群取得部104は、2D検知領域に対応する三次元位置を表す三次元点群を距離データから取得する。
平面推定部105は、三次元点群を用いて、三次元の物体検知領域の基礎である平面を推定する。物体検知領域の基礎としては、例えば建造物の床面、壁面、屋根や庇の面、什器の天板、底板や棚板の面、敷地の地面や壁面などが挙げられる。評価部106は、三次元点群を用いて、推定された平面(以下、推定平面)の平面らしさを評価した評価結果を平面推定部105に出力する。
3D領域設定部107は、2D検知領域および推定平面を用いて、2D検知領域の傾きを算出し、2D検知領域の高さを設定することで、三次元の領域(以下、3D検知領域)を設定する。3D検知領域は、上記の物体検知領域の三次元領域に相当する。
検知部108は、距離データから、3D検知領域に存在する物体の物体検知結果を出力する。侵入検知部109は、検知部108の物体検知結果に基づき、物体検知領域への物体の侵入検知などを行う。
[情報処理装置の構成]
図2のブロック図により実施例の物体検知処理を実行する情報処理装置200の構成例を示す。CPU201は、RAM202をワークメモリとして、ROM203や記憶部204に格納されたプログラムを実行し、システムバス208を介して、後述する構成を制御する。記憶部204は、ハードディスクドライブ(HDD)、ソリッドステートドライブ(SSD)、フラッシュメモリなどであり、OSや、後述する事前設定および物体検知処理を実現するプログラムを格納する。
図2のブロック図により実施例の物体検知処理を実行する情報処理装置200の構成例を示す。CPU201は、RAM202をワークメモリとして、ROM203や記憶部204に格納されたプログラムを実行し、システムバス208を介して、後述する構成を制御する。記憶部204は、ハードディスクドライブ(HDD)、ソリッドステートドライブ(SSD)、フラッシュメモリなどであり、OSや、後述する事前設定および物体検知処理を実現するプログラムを格納する。
汎用インタフェイス205は、例えばUSBなどのシリアルバスインタフェイスであり、マウスやキーボードなどの操作部211などが接続される。ビデオインタフェイス206は、HDMI(登録商標)やDisplayPort(商標)などのビデオインタフェイスであり、モニタ212が接続される。
ネットワークインタフェイス207は、有線または無線ネットワーク213と接続するためのインタフェイスである。ユーザ操作やは、ネットワークインタフェイス207を介して行われてもよい。また、情報処理装置が実行する各種処理のプログラムはネットワーク213上のサーバ装置から供給されてもよい。
監視カメラ220と測距装置221、汎用インタフェイス205を介して、コンピュータ機器である情報処理装置200に接続される。あるいは、監視カメラ220と測距装置221の片方または両方がネットワーク213とネットワークインタフェイス207を介して情報処理装置200に接続されてもよい。実施例の物体検知装置は、情報処理装置200と、情報処理装置200に接続された監視カメラ220および測距装置221によって構成される。
[物体検知装置の動作]
以下では、物体検知装置の動作を検知領域の事前設定、物体検知処理、侵入検知処理に分けて説明する。なお、カメラ座標系の位置座標ベクトルをアルファベットの小文字で示し、物体検知領域に座標系(ワールド座標系)の位置座標ベクトルをアルファベットの大文字で示す。同様に、カメラ座標系における三次元位置を(x, y, z)で表し、ワールド座標系における三次元位置を(X, Y, Z)で表す。
以下では、物体検知装置の動作を検知領域の事前設定、物体検知処理、侵入検知処理に分けて説明する。なお、カメラ座標系の位置座標ベクトルをアルファベットの小文字で示し、物体検知領域に座標系(ワールド座標系)の位置座標ベクトルをアルファベットの大文字で示す。同様に、カメラ座標系における三次元位置を(x, y, z)で表し、ワールド座標系における三次元位置を(X, Y, Z)で表す。
●事前設定
図3のフローチャートにより事前設定の手順例を説明する。事前設定は、物体検知装置として機能する情報処理装置200のCPU201によって実行される処理である。画像取得部101は、監視カメラ220から画像データを取得する(S101)。
図3のフローチャートにより事前設定の手順例を説明する。事前設定は、物体検知装置として機能する情報処理装置200のCPU201によって実行される処理である。画像取得部101は、監視カメラ220から画像データを取得する(S101)。
画像取得部101は、画像取得部101が出力する撮像データに画素補間や色変換処理を含む所定の画像処理を施して、RGBデータやYUVデータなどの画像データを生成する。さらに、画像取得部101は、生成した画像データにホワイトバランス、シャープネス、コントラスト補正、色変換などの所定の画像補正処理を施して画像データを生成する。
次に、2D領域設定部103は、画像データをモニタ212に表示して、2D検知領域を設定する(S102)。図4により画像データ、並びに、2Dおよび3D検知領域の例を示す。図4(a)の例において、画像データが表示された画面を観察するユーザは、操作部211により、画面に表示されたポインタを画面位置v1、v2、v3、v4に移動し、各画面位置v1、v2、v3、v4においてマウスボタンをクリックする。2D領域設定部103は、マウスボタンがクリックされた画面位置に対応する画像データの座標を、物体検知領域の基礎である2D検知領域の頂点座標として取得する。
図4(a)の例において、2D検知領域の頂点座標として{v1, v2, v3, v4}={(x1, y1),(x2, y2),(x3, y3),(x4, y4)}が取得される。2D領域設定部103は、取得した頂点座標が囲む多角形の領域を2D検知領域に設定する。なお、2D検知領域の設定は、上記方法に限らず、記憶部204やサーバ装置から2D検知領域を示す座標群を読み込む方法でもよい。また、図4には2D検知領域が四辺形の例を示すが、2D検知領域は多角形であればよい。
次に、距離画像取得部102は、測距装置221から距離データを取得する(S103)。距離データの取得は、測距装置221から奥行き方向の距離を取得して距離データとし、画像取得部101が取得した画像データと、画素ごとの対応付けを行う。
測距装置221は、例えば、光の飛行時間をもとに距離を測定するTOF(Time-of-Flight)方式の原理に基づいて距離を測定する装置である。あるいは、測距装置221の方式として、複数のカメラの間の視差を基に距離を測定するステレオマッチング方式や、符号化パターンを投影して距離を得るパターン投光方式を用いることができる。
距離データと画像データの間の画素ごと対応付けは、監視カメラ220と測距装置221の間の相対的な回転および並進の情報を示す外部パラメータによって行われる。外部パラメータの算出は、例えば、自然特徴を用いて既知の方法により自動で算出してもよいし、監視カメラ220と測距装置221の設置間隔や俯角や設置高さを厳密に測定することで事前に求めてもよい。また、距離データの視野と画像データの視野は、完全に重畳する必要はなく、少なくとも物体検知領域において視野が重畳すればよい。
次に、点群取得部104は、2D検知領域の三次元位置を表す三次元点群を距離データから取得する(S104)。点群取得部104は、2D検知領域の画素(x, y)に対応する距離データの画素の距離zを取得することで、当該画素の三次元位置(x, y, z)を得る。例えば、図4に示す2D検知領域の頂点{v1, v2, v3, v4}について三次元位置{(x1, y1, z1),(x2, y2, z2),(x3, y3, z3),(x4, y4, z4)}が取得される。
取得される三次元点は、2D検知領域の頂点{v1, v2, v3, v4}に限らず、2D検知領域の各画素に対応する三次元点である。なお、距離zが得られない画素については三次元点の取得を除外する。また、2D検知領域のすべての画素に対応する三次元点群を取得する必要はなく、物体検知領域の精度に応じて2D検知領域の画素をサンプリングした一部の画素に対応する三次元点群を取得してもよい。
次に、平面推定部105は、三次元点群からランダムに複数の三次元点を選択し(S105)、選択三次元点に基づき、推定平面として三次元平面を算出する(S106)。なお、選択三次元点は三点以上あればよく、三点を超える場合は最小二乗法によって三次元平面を算出する。推定平面を二つのベクトル{p1, p2}で表す。
次に、評価部106は、推定平面の平面らしさを示す評価値を算出する(S107)。評価部106は、三次元点群の各点と推定平面の間の距離を算出し、算出距離が所定の閾値以下の三次元点の数を評価値とする。閾値は、例えば3cmとするが、測距装置221の精度などに応じてユーザが適切な値を設定してもよい。
次に、平面推定部105は、評価部106が出力する評価値に基づき、平面の推定を終了するか否かを判定する(S108)。例えば、比率R(=評価値/三次元点群の点数)が所定比率Rthを超える場合に終了と判定すればよい。あるいは、平面推定と評価が所定回数Nth(または所定時間Tth)繰り返された場合に終了と判定して、評価値が最大の推定平面を出力すればよい。平面の推定を終了しない場合、平面推定部105は、処理をステップS105に戻し、選択三次元点を更新して平面の推定を繰り返すが、その際、平面の推定に使用済みの三次元点の組み合わせが選択されないことは言うまでもない。
平面の推定が終了すると、3D領域設定部107は、次の処理により3D検知領域を設定する。まず、推定平面を用いて、2D検知領域の三次元位置を修正する(S109)。続いて、カメラ座標系からワールド座標系への回転ベクトルRと並進ベクトルtを設定する(S110)。そして、修正後の2D検知領域をワールド座標系に変換し(S111)、変換後の2D検知領域に高さ情報Hを加える(S112)。これらの処理により、図4(b)に示す3D検知領域が設定される。
2D検知領域の三次元位置の修正(S109)を、図4に示す2D検知領域の頂点の三次元位置を用いて説明する。前述したように、2D検知領域の頂点{v1, v2, v3, v4}の三次元位置は{(x1, y1, z1),(x2, y2, z2),(x3, y3, z3),(x4, y4, z4)}である。3D領域設定部107は、推定平面を用いて2D検知領域の三次元位置の距離z1-z4を修正する。修正後の2D検知領域の三次元位置は、推定平面のベクトル{p1, p2}を用いて、下式によって算出される。
vn't = (xn', yn', zn')t
= A*(At*A)-1*At*(xn, yn, zn)t …(1)
ここで、A = (p1, p2)、
n=1、2、3、4。
vn't = (xn', yn', zn')t
= A*(At*A)-1*At*(xn, yn, zn)t …(1)
ここで、A = (p1, p2)、
n=1、2、3、4。
つまり、ステップS109において、2D検知領域の頂点および頂点以外の三次元位置が推定平面に射影され、修正後の2D検知領域の三次元位置が得られる。修正後の2D検知領域の頂点{v1', v2', v3', v4'}の三次元位置を{(x1', y1', z1'),(x2', y2', z2'),(x3', y3', z3'),(x4', y4', z4')}で表す。
ステップS110において、3D領域設定部107は、2D検知領域の上向きベクトルuとして推定平面に直交する方向のベクトルを設定する。そして、カメラ座標系からワールド座標系への変換式により、2D検知領域の上向きベクトルuとカメラ座標系の上向きベクトルcから、座標系の間の相対的な回転ベクトルRを算出する。また、カメラ座標系とワールド座標系の相対的な並進ベクトルtとして、2D検知領域の中心(平均)の三次元位置を設定する。
ステップS111において、3D領域設定部107は、回転ベクトルRと並進ベクトルtにより、修正後の2D検知領域をワールド座標系に変換する。修正後の2D検知領域の頂点{v1', v2', v3', v4'}は{V1, V2, V3, V4}={(X1, Y1, 0),(X2, Y2, 0),(X3, Y3, 0),(X4, Y4, 0)}に変換される。また、3D領域設定部107は、推定平面の上向きベクトルuを、下式により、ワールド座標系の2D検知領域の上向きベクトルU=(X, Y, Z)に変換する。
T = R*t
(X, Y, Z)t = R*{(x, y, z)t - t} + T …(2)
T = R*t
(X, Y, Z)t = R*{(x, y, z)t - t} + T …(2)
ステップS112において、3D領域設定部107は、上向きベクトルUに高さH(Uの大きさ)を与えて、3D検知領域{V1, V2, V3, V4, H}を設定する。高さHは、例えば、物体検知領域に侵入する人間を検知する場合は人間の身長をカバーする3mとするが、ユーザが任意に設定することができる。
物体検知処理に利用するために、3D領域設定部107は、カメラ座標系からワールド座標系への変換に必要な回転ベクトルRと並進ベクトルt、および、3D検知領域{V1, V2, V3, V4, H}を記憶部204などに格納する(S113)。
●物体検知処理
図5のフローチャートにより物体検知処理を説明する。物体検知処理は、物体検知装置として機能する情報処理装置200のCPU201によって実行される処理である。検知部108は、カメラ座標系からワールド座標系への変換に必要な回転ベクトルRと並進ベクトルt、および、3D検知領域{V1, V2, V3, V4, H}を記憶部204から取得する(S201)。
図5のフローチャートにより物体検知処理を説明する。物体検知処理は、物体検知装置として機能する情報処理装置200のCPU201によって実行される処理である。検知部108は、カメラ座標系からワールド座標系への変換に必要な回転ベクトルRと並進ベクトルt、および、3D検知領域{V1, V2, V3, V4, H}を記憶部204から取得する(S201)。
次に、検知部108は、距離画像取得部102から距離データを取得し(S202)、式(2)を用いて、距離データの三次元位置(x, y, z)をワールド座標系の三次元位置(X, Y, Z)に変換する(S203)。そして、検知部108は、ワールド座標系に変換した三次元位置が3D検知領域に存在するか否かに基づいて物体検知を行う。なお、距離データの全画素をワールド座標系に変換する必要はなく、検知精度に応じてサンプリングした画素をワールド座標系に変換してもよい。
検知部108は、注目三次元位置の二次元座標(X, Y)が、3D検知領域の基礎内(例えば頂点{V1, V2, V3, V4}が構成する多角形内)に存在するか否かを判定する(S204)。判定には交差数判定(crossing number algorithm)を用いる。交差数判定は、判定対象の座標(以下、判定座標)を起点とする水平線が、多角形の辺と何回交差するかによって内外判定を行う。交差回数が奇数の場合、判定座標が多角形内に存在すると判定され、交差回数が偶数の場合、判定座標が多角形外に存在すると判定される。
次に、検知部108は、3D検知領域の高さHに基づき、基礎内に存在すると判定された二次元座標(X, Y)をもつ注目三次元位置(X, Y, Z)が3D検知領域に存在するか否かの判定を行う(S205)。注目三次元位置のZ座標が0<Z<Hを満たす場合、検知部108は、注目三次元位置が3D検知領域に存在すると判定し、注目三次元位置にラベル‘1’を付与する(S206)。
一方、検知部108は、多角形外に存在すると判定した二次元座標(X, Y)をもつ注目三次元位置、または、3D検知領域外に存在すると判定した三次元位置にラベル‘0’を付与する(S207)。
次に、検知部108は、ワールド座標系に変換した三次元位置について、ステップS204からS207の処理が終了したか否かを判定し(S208)、未処理の三次元位置がある場合は処理をステップS204に戻す。
検知部108がステップS204からS207の処理を繰り返すことで、測距装置221が取得した距離データの各画素についてラベリングが行われる。言い替えれば、検知部108は、距離データの画素が示す三次元位置をワールド座標系に変換し、変換後の三次元位置が3D検知領域に存在するか否かに応じて、距離データの各画素をラベリングする。その結果、ラベル‘1’が付与された三次元位置の集合として、3D検知領域に存在する物体が検知される。また、三次元位置に付与されたラベルがすべて‘0’の場合、3D検知領域に物体が存在しないことが検知されたことになる。
●侵入検知処理
図6のフローチャートにより侵入検知部109の処理を説明する。侵入検知処理は、物体検知装置として機能する情報処理装置200のCPU201によって実行される処理である。
図6のフローチャートにより侵入検知部109の処理を説明する。侵入検知処理は、物体検知装置として機能する情報処理装置200のCPU201によって実行される処理である。
侵入検知部109は、検知部108からラベリングされた距離データ(以下、ラベリング距離データ)を取得する(S301)。そして、ラベリング距離データに基づき物体の三次元的な追跡を行う。前フレームの距離データの画素のラベルLpと、後フレームの距離データの対応する画素のラベルLcの組み合わせにより、各画素を次のように判定することができる。
Lp=‘0’かつLc=‘0’の画素:物体検知領域の基礎に相当する、
Lp=‘1’かつLc=‘1’の画素:物体検知領域に位置する物体に対応する、
Lp=‘0’かつLc=‘1’の画素:物体検知領域に侵入する物体に対応する、
Lp=‘1’かつLc=‘0’の画素:物体検知領域から退出する物体に対応する。
Lp=‘0’かつLc=‘0’の画素:物体検知領域の基礎に相当する、
Lp=‘1’かつLc=‘1’の画素:物体検知領域に位置する物体に対応する、
Lp=‘0’かつLc=‘1’の画素:物体検知領域に侵入する物体に対応する、
Lp=‘1’かつLc=‘0’の画素:物体検知領域から退出する物体に対応する。
前フレームと後フレームは連続する二つのフレームに限らず、それらフレームの間に一つ以上のフレームが存在してもよく、時間が異なる複数のフレームであればよい。また、物体検知領域に侵入する物体に対応する画素(Lp=‘0’かつLc=‘1’)を「侵入物画素」、物体検知領域から退出する物体に対応する画素(Lp=‘1’かつLc=‘0’)を「退出物画素」と呼ぶ。
侵入検知部109は、外乱やノイズの影響を避けるために、例えば、一つ前のフレームのラベリング距離データと現フレームのラベリング距離データから侵入物画素をカウントし(S302)、カウント値に基づき侵入検知を行う(S303)。例えば、カウント値が第一の所定数を超える場合、物体検知領域に物体が侵入したと判定し、侵入検知情報を出力する。
また、侵入検知に限らず、退出物体を検知する退出検知も可能である。つまり、侵入検知部109は、例えば、一つ前のフレームのラベリング距離データと現フレームのラベリング距離データから退出物画素をカウントし(S304)、カウント値に基づき退出検知を行う(S305)。例えば、カウント値が第二の所定数を超える場合、物体検知領域から物体が退出すると判定し、退出検知情報を出力する。
侵入検知部109は、侵入/退出検知情報の出力として、侵入/退出検知結果をモニタ212に表示したり、モニタ212に表示された画像上に侵入/退出を検知した物体を示すマーカ表示などの処理を行う。また、ユーザ設定に応じて、侵入検知部109は、侵入/退出検知結果を記憶部204にログとして記録したりサーバ装置に通知したりする。
このように、距離データから取得した、2D検知領域に対応する三次元点群から平面を推定し、物体を検知する3D検知領域を設定する。従って、ユーザは2D検知領域を指定するだけであり、物体検知におけるユーザの操作性が向上し、物体を検知する3D検知領域の設定が容易になる。さらに、推定された平面は、三次元点群を用いて、その平面らしさが評価される。従って、3D検知領域の高精度な設定が可能になり、物体検知装置の精度向上する。
[その他の実施例]
本発明は、上述の実施形態の一以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、一以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の一以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、一以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
101 … 画像取得部、102 … 距離画像取得部、103 … 2D領域設定部、104 … 点群取得部、105 … 平面推定部、107 … 3D領域設定部
Claims (15)
- 検知領域の画像を少なくとも含む画像データ、および、前記検知領域の距離情報を少なくとも示す距離データを取得する第一の取得手段と、
前記画像データに基づき、前記検知領域に対応する二次元領域を設定する第一の設定手段と、
前記二次元領域の三次元位置を表す三次元点群を前記距離データから取得する第二の取得手段と、
前記三次元点群に基づき、前記検知領域の基礎である平面を推定する推定手段と、
前記二次元領域および前記推定された平面に基づき、前記検知領域に対応する三次元領域を設定する第二の設定手段とを有する情報処理装置。 - 前記推定手段は、前記三次元点群から選択した三つ以上の三次元点から前記平面を推定する請求項1に記載された情報処理装置。
- 前記三次元点群を用いて、前記推定された平面の評価値を算出する評価手段を有する請求項2に記載された情報処理装置。
- 前記評価手段は、前記三次元点群の各点と前記推定された平面の間の距離を算出し、前記距離が所定の閾値以下の三次元点の数を評価値とする請求項3に記載された情報処理装置。
- 前記推定手段は、前記評価値に基づき、前記選択する複数の三次元点を更新して前記平面の推定を繰り返す請求項3または請求項4に記載された情報処理装置。
- 前記第二の設定手段は、前記二次元領域の三次元位置を前記推定された平面に射影して前記二次元領域を修正し、前記修正後の二次元領域を前記検知領域の座標系に変換し、前記変換後の二次元領域に高さ情報を加えることで、前記三次元領域を設定する請求項1から請求項5の何れか一項に記載された情報処理装置。
- 前記距離データを用いて、前記三次元領域に存在する物体を検知する第一の検知手段を有する請求項1から請求項6の何れか一項に記載された情報処理装置。
- 前記第一の検知手段の物体検知結果に基づき、前記検知領域への物体の侵入の検知、または、前記検知領域からの物体の退出の検知を行う第二の検知手段を有する請求項7に記載された情報処理装置。
- 前記第一の検知手段は、前記距離データの画素が示す三次元位置を前記検知領域の座標系に変換し、前記変換後の三次元位置が前記三次元領域に存在するか否かに応じて、前記距離データの各画素をラベリングする請求項7または請求項8に記載された情報処理装置。
- 前記第二の検知手段は、複数のフレームの前記ラベリングされた距離データから、前記検知領域へ侵入する物体に対応する画素の数をカウントし、そのカウント値に基づき前記物体の侵入の検知を行う請求項9に記載された情報処理装置。
- 前記第二の検知手段は、複数のフレームの前記ラベリングされた距離データから、前記検知領域から退出する物体に対応する画素の数をカウントし、そのカウント値に基づき前記物体の退出の検知を行う請求項9に記載された情報処理装置。
- 画像データを撮像する撮像部と、
距離データを生成する測距部と、
請求項1から請求項11の何れか一項に記載された情報処理装置とを有する物体検知装置。 - 前記撮像部および前記測距部の少なくとも一方はネットワークを介して前記情報処理装置に接続される請求項12に記載された物体検知装置。
- 第一の取得手段が、検知領域の画像を少なくとも含む画像データ、および、前記検知領域の距離情報を少なくとも示す距離データを取得し、
第一の設定手段が、前記画像データに基づき、前記検知領域に対応する二次元領域を設定し、
第二の取得手段が、前記二次元領域の三次元位置を表す三次元点群を前記距離データから取得し、
推定手段が、前記三次元点群に基づき、前記検知領域の基礎である平面を推定し、
第二の設定手段が、前記二次元領域および前記推定された平面に基づき、前記検知領域に対応する三次元領域を設定する情報処理方法。 - コンピュータを請求項1から請求項13の何れか一項に記載された情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015217920A JP2017091063A (ja) | 2015-11-05 | 2015-11-05 | 物体検知装置、情報処理装置およびその方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015217920A JP2017091063A (ja) | 2015-11-05 | 2015-11-05 | 物体検知装置、情報処理装置およびその方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017091063A true JP2017091063A (ja) | 2017-05-25 |
Family
ID=58771751
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015217920A Pending JP2017091063A (ja) | 2015-11-05 | 2015-11-05 | 物体検知装置、情報処理装置およびその方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017091063A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111009089A (zh) * | 2019-11-25 | 2020-04-14 | 国网安徽省电力有限公司建设分公司 | 基于rgb-d相机的电网基建现场虚拟围栏系统及其控制方法 |
CN111507938A (zh) * | 2020-03-10 | 2020-08-07 | 博微太赫兹信息科技有限公司 | 一种人体危险物品检测方法及系统 |
JP2020135076A (ja) * | 2019-02-13 | 2020-08-31 | Necソリューションイノベータ株式会社 | 顔向き検出装置、顔向き検出方法、及びプログラム |
JP2022110291A (ja) * | 2021-01-18 | 2022-07-29 | ピクシーダストテクノロジーズ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
WO2024070751A1 (ja) * | 2022-09-30 | 2024-04-04 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
2015
- 2015-11-05 JP JP2015217920A patent/JP2017091063A/ja active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020135076A (ja) * | 2019-02-13 | 2020-08-31 | Necソリューションイノベータ株式会社 | 顔向き検出装置、顔向き検出方法、及びプログラム |
JP7279892B2 (ja) | 2019-02-13 | 2023-05-23 | Necソリューションイノベータ株式会社 | 顔向き検出装置、顔向き検出方法、及びプログラム |
CN111009089A (zh) * | 2019-11-25 | 2020-04-14 | 国网安徽省电力有限公司建设分公司 | 基于rgb-d相机的电网基建现场虚拟围栏系统及其控制方法 |
CN111009089B (zh) * | 2019-11-25 | 2024-02-13 | 国网安徽省电力有限公司建设分公司 | 基于rgb-d相机的电网基建现场虚拟围栏系统及其控制方法 |
CN111507938A (zh) * | 2020-03-10 | 2020-08-07 | 博微太赫兹信息科技有限公司 | 一种人体危险物品检测方法及系统 |
CN111507938B (zh) * | 2020-03-10 | 2023-04-21 | 博微太赫兹信息科技有限公司 | 一种人体危险物品检测方法及系统 |
JP2022110291A (ja) * | 2021-01-18 | 2022-07-29 | ピクシーダストテクノロジーズ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP7344570B2 (ja) | 2021-01-18 | 2023-09-14 | ピクシーダストテクノロジーズ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
WO2024070751A1 (ja) * | 2022-09-30 | 2024-04-04 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、画像処理方法及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8988317B1 (en) | Depth determination for light field images | |
EP3016071B1 (en) | Estimating device and estimation method | |
US10638115B2 (en) | Calibration device | |
JP2017091063A (ja) | 物体検知装置、情報処理装置およびその方法 | |
CN103377471B (zh) | 物体定位方法和装置、最优摄像机对确定方法和装置 | |
TWI696906B (zh) | 處理地板之方法 | |
JP6712778B2 (ja) | 物体検知装置、物体検知システムおよび物体検知方法 | |
WO2019225547A1 (ja) | オブジェクトトラッキング装置、オブジェクトトラッキング方法およびオブジェクトトラッキングプログラム | |
EP3153990A1 (en) | Display control apparatus, display control method, and program | |
US8599278B2 (en) | Method for estimating a plane in a range image and range image camera | |
TW201616451A (zh) | 點雲套索選取系統及方法 | |
US20170109932A1 (en) | Content projection apparatus, content projection method, and computer readable storage medium | |
KR101330531B1 (ko) | 3차원 카메라를 이용한 가상 터치 방법 및 장치 | |
US20130050483A1 (en) | Apparatus, method, and program for video surveillance system | |
CN106264537B (zh) | 图像中人体姿态高度的测量系统及方法 | |
JP2015049776A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
US20160140736A1 (en) | Viewpoint position calculation device, image generation device, and viewpoint position calculation method | |
JP2019040229A5 (ja) | ||
EP3147864A2 (en) | Position estimating device and position estimating method | |
JP2016099316A (ja) | 地物異動判別方法及び地物異動判別装置並びに地物異動判別プログラム | |
JP2018036898A5 (ja) | 画像処理装置及び画像処理方法及びプログラム | |
KR101620580B1 (ko) | 달리기 감지 방법 및 시스템 | |
JP5727969B2 (ja) | 位置推定装置、方法、及びプログラム | |
US10019635B2 (en) | Vehicle-mounted recognition device | |
JP5960472B2 (ja) | 画像監視装置 |