JP2021077018A

JP2021077018A - 点群データ処理装置

Info

Publication number: JP2021077018A
Application number: JP2019202383A
Authority: JP
Inventors: 渡邉　功一; Koichi Watanabe; 功一渡邉
Original assignee: Toshiba TEC Corp
Current assignee: Toshiba TEC Corp
Priority date: 2019-11-07
Filing date: 2019-11-07
Publication date: 2021-05-20
Anticipated expiration: 2039-11-07
Also published as: US11244465B2; US20210142499A1; JP7393184B2

Abstract

【課題】効率的な点群データを生成することができる点群データ処理装置を提供する。【解決手段】点群データ処理装置１は、通信インタフェースと、プロセッサと、を具備する。通信インタフェースは、距離センサから距離データを取得する。プロセッサは、前記距離データに基づく第１の点群データの座標に対して予め設定された単位セル毎に１つの点を採用して第２の点群データを生成する。【選択図】図４

Description

本発明の実施形態は、点群データ処理装置に関する。

棚を有する什器に置かれた商品（物品）を距離センサにより撮像し、距離データを取得し、距離データに基づき点群データを生成する装置（点群データ処理装置）がある。点群データは、奥行方向、幅方向、及び高さ方向からなる空間（三次元空間）中における点の集合を示すデータである。各点は、座標（ｘ，ｙ，ｚ）により表すことができる。

このように生成された点群データに基づき、棚に並べられた商品を検出することができる。しかしながら、点群データを棚の全域に亘って生成すると、データ量が膨大になるという課題がある。

特開２０１８−２０６０３８号公報

本発明が解決しようとする課題は、効率的な点群データを生成することができる点群データ処理装置を提供することである。

一実施形態に係る点群データ処理装置は、通信インタフェースと、プロセッサと、を具備する。通信インタフェースは、距離センサから距離データを取得する。プロセッサは、前記距離データに基づく第１の点群データの座標に対して予め設定された単位セル毎に１つの点を採用して第２の点群データを生成する。

図１は、一実施形態に係る点群データ処理装置の概略的な構成の例について説明する為の図である。図２は、一実施形態に係る点群データ処理装置の制御装置の構成の例について説明する為の図である。図３は、一実施形態に係る点群データ処理装置の動作の例について説明する為の図である。図４は、一実施形態に係る点群データ処理装置の動作の例について説明する為の図である。図５は、一実施形態に係る点群データ処理装置の動作の例について説明する為の図である。図６は、一実施形態に係る点群データ処理装置の他の動作の例について説明する為の図である。図７は、一実施形態に係る点群データ処理装置の他の動作の例について説明する為の図である。

以下、実施の形態について図面を参照して説明する。
図１は、一実施形態に係る点群データ処理装置１の概略的な構成の例について説明するための説明図である。

点群データ処理装置１は、店舗、倉庫などの所定の場所に設置された陳列用の什器２と、什器２に置かれた商品（物品）３などを撮像する。

什器２は、バックボード１１と、バックボード１１から突出した棚１２とを備える。

バックボード１１は、什器２を構成する部材である。バックボード１１は、例えば、垂直方向に起立した板状に構成される。

棚１２は、商品３を支持する棚板である。棚１２は、例えばバックボード１１から水平方向に突出するように構成される。また、棚１２のバックボード１１と逆側の端部には、例えば商品名、価格、または他の種々の商品情報が記載された棚札が設けられていてもよい。

例えば、什器２は、所定間隔離されて配置された他の什器２、または壁などとともに通路を構成する。棚１２は、バックボード１１から通路側に突出するように構成される。即ち、棚札は、通路に向けて設けられている。また、棚１２に並べられた商品３は、商品３の正面（所謂フェイス）が通路に向かうように陳列される。

なお、図１において、棚１２がバックボード１１から突出した方向をＸ方向（奥行方向）と称する。また、Ｘ方向（奥行方向）と直交し、且つバックボード１１と平行な方向をＹ方向（幅方向）と称する。また、Ｘ方向（奥行方向）とＹ方向（幅方向）とに直交する方向を、Ｚ方向（高さ方向）と称する。即ち、Ｘ方向とＹ方向とＺ方向とは、互いに直交する。

点群データ処理装置１は、Ｘ方向においてバックボード１１に対して所定の距離を維持した状態で、Ｙ方向に移動しつつ撮像（距離データの取得）を行う。

次に、点群データ処理装置１の詳細な構成について説明する。
点群データ処理装置１は、距離センサ２１、移動機構２２、及び制御装置２３を備える。

距離センサ２１は、対象物までの距離を計測するセンサである。距離センサ２１は、対象物との距離を示す距離データを生成する。距離センサ２１は、距離データを、制御装置２３に供給する。

距離センサ２１は、例えば異なる２点（瞳位置）から対象物を撮像した際の視差に基づいて対象物までの距離を計測するステレオカメラとして構成される。即ち、距離センサ２１は、レンズ（光学系）と、レンズにより結像された光を画像に変換する撮像素子とが組み合わされたカメラを２つ以上備える。なお、通常、光学系の光軸は、撮像素子の撮像面に直交するように構成される。

上記の構成によると、距離センサ２１は、撮像素子の撮像面と直交する方向を検出方向として、検出方向と直交する方向に配列された複数の点(座標）ごとに、対象物との距離を測定する。即ち、距離センサ２１は、対象物と距離センサ２１との検出方向における距離を、座標ごとに距離値として示す距離データを生成する。

また、距離センサ２１は、例えばレーザーレンジファインダーとして構成されていてもよい。レーザーレンジファインダーは、測定対象にレーザを照射し、反射光が入射するまでの時間に基づいて、測定対象までの距離を測定する。

距離センサ２１は、例えば、毎秒30フレームの距離データを取得するように構成されている。１フレームの距離データ（距離画像）は、距離センサ２１の検出範囲内から検出されたデータ（例えば640x480画素）である。

移動機構２２は、制御装置２３の制御に基づいて、距離センサ２１を移動させる装置である。移動機構２２は、例えば距離センサ２１が固定される台車（基部）と、台車の車輪を回転駆動させるモータとを備える。例えば距離センサ２１は、光学系の光軸が水平になるように台車に固定される。移動機構２２は、モータにより車輪を駆動することにより、台車に固定された距離センサ２１を移動させる。なお、移動機構２２は、クランクを利用した可動脚、またはプロペラなど、如何なる手段によって基部を移動させる構成であってもよい。

制御装置２３は、距離センサ２１の動作の制御、及び移動機構２２の動作の制御を行う装置である。さらに、制御装置２３は、距離センサ２１により取得した距離データに基づく種々の処理を行う。

図２は、点群データ処理装置１の制御装置２３の構成例について説明する為の説明図である。
制御装置２３は、システムコントローラ３１、通信インタフェース３２、移動機構コントローラ３３、及び距離センサコントローラ３４を備える。

システムコントローラ３１は、点群データ処理装置１の制御を行う。システムコントローラ３１は、例えば、プロセッサ４１及びメモリ４２を備える。

プロセッサ４１は、演算処理を実行する演算素子である。プロセッサ４１は、例えばＣＰＵである。プロセッサ４１は、メモリ４２に記憶されているプログラムなどのデータに基づいて種々の処理を行う。プロセッサ４１は、メモリ４２に格納されているプログラムを実行することにより、種々の動作を実行可能な制御部として機能する。

メモリ４２は、プログラム及びプログラムで用いられるデータなどを記憶する記憶媒体である。また、メモリ４２は、ワーキングメモリとしても機能する。すなわち、メモリ４２は、プロセッサ４１の処理中のデータ、及びプロセッサ４１が実行するプログラムなどを一時的に格納する。

通信インタフェース３２は、他の機器と通信する為のインターフェースである。通信インタフェース３２は、例えば、上位装置（外部機器）との通信に用いられる。通信インタフェース３２は、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ−ｆｉ（登録商標）などの規格に従って他の機器と無線通信を行う。また、例えば、通信インタフェース３２は、ＬＡＮコネクタなどとして構成されてもよい。

移動機構コントローラ３３は、移動機構２２の制御を行う。移動機構コントローラ３３は、システムコントローラ３１の制御に基づき、移動機構２２による距離センサ２１の移動を実行させる。

また、移動機構２２は、地図上の点群データ処理装置１の位置（絶対位置）、什器２のバックボード１１に対する相対的な位置（相対位置）、または什器２の棚１２に対する相対的な位置（相対位置を検出する図示されない位置検出手段を有する。また、移動機構２２は、位置検出手段により台車の向いている方向を認識することができる。位置検出手段は、例えばレーザーレンジファインダー、ＧＰＳ、カメラにより撮像された画像に基づく画像処理など如何なるものであってもよい。点群データ処理装置１の位置は、例えばＸ方向及びＹ方向における座標として認識される。

台車上の距離センサ２１の位置及び距離センサ２１の検出方向は基地である為、移動機構コントローラ３３またはプロセッサ４１は、位置検出手段の検出結果に基づいて、距離センサ２１の位置と、距離センサ２１の検出方向とをそれぞれ特定することができる。

距離センサコントローラ３４は、距離センサ２１の制御を行う。距離センサコントローラ３４は、システムコントローラ３１の制御に基づき、距離センサ２１に撮像を実行させる。

次に、点群データ処理装置１の動作について説明する。
図３は、点群データ処理装置１の動作について説明する為のフローチャートである。

点群データ処理装置１のシステムコントローラ３１のプロセッサ４１は、使用する走行ルートを決定する（ＡＣＴ１１）。複数の走行ルートがメモリ４２または移動機構コントローラ３３に予め保存されているとする。また、メモリ４２または移動機構コントローラ３３は、店舗または倉庫などの所定の場所の地図を予め記憶している。地図は、什器２の位置（Ｘ方向及びＹ方向における座標）を示す。各走行ルートは、それぞれ距離センサ２１による撮像を開始する位置から、撮像を終了する位置までのルートを示す情報である。また、各走行ルートは、距離センサ２１により撮像を行う複数の測定対象位置の情報を含む。各走行ルートは、店舗フロアの地図上の位置を基準とした情報であってもよいし、什器２または他の設置物の位置を基準とした情報であってもよいし、ＧＰＳなどに基づく情報であってもよい。プロセッサ４１は、メモリ４２の複数の走行ルートのうち、図示されない操作インタフェースの操作に応じて１つの走行ルートを決定する構成であってもよい。また、プロセッサ４１は、メモリ４２の複数の走行ルートのうち、予め設定された順番で走行ルートを決定していく構成であってもよい。

プロセッサ４１は、決定した走行ルートに基づき走行を開始するように、移動機構２２及び移動機構コントローラ３３を制御する（ＡＣＴ１２）。プロセッサ４１は、距離センサ２１が什器２のバックボード１１と平行且つ水平方向に移動するように、移動機構２２及び移動機構コントローラ３３を制御する。この場合、プロセッサ４１は、距離センサ２１の検出方向（即ち距離センサ２１のカメラの光軸）と什器２のバックボード１１とが直交するように、距離センサ２１の向きを移動機構２２及び移動機構コントローラ３３により制御する。また、距離センサ２１の向きを調整する機構が移動機構２２の台車に設けられていてもよい。

プロセッサ４１は、決定した走行ルートに基づき点群データ処理装置１が移動させるように、移動機構コントローラ３３を制御する（ＡＣＴ１３）。

プロセッサ４１は、位置検出手段により点群データ処理装置１の距離センサ２１の位置及び検出方向を確認しつつ、決定した走行ルートを距離センサ２１が移動するように、移動機構コントローラ３３を制御する（ＡＣＴ１４）。この場合、プロセッサ４１は、検出方向が什器２のバックボード１１に直交する方向に近くなるように制御する。

プロセッサ４１は、点群データ処理装置１が決定した走行ルート上の測定対象位置に到達したか否か判断する（ＡＣＴ１５）。プロセッサ４１は、点群データ処理装置１が決定した走行ルート上の測定対象位置に到達していないと判断した場合（ＡＣＴ１５、ＮＯ）、ＡＣＴ１３に移行し、移動機構２２による移動を継続するように移動機構コントローラ３３を制御する。

プロセッサ４１は、点群データ処理装置１が決定した走行ルート上の測定対象位置に到達したと判断した場合（ＡＣＴ１５、ＹＥＳ）、１フレーム分の（１つの）距離データを取得するように、距離センサ２１を制御する（ＡＣＴ１６）。距離センサ２１は、対象物と距離センサ２１との検出方向における距離を、座標ごとに距離値として示す距離データを生成する。距離データの座標は、距離センサ２１の検出方向（光軸）に直交する平面上の座標である。即ち、距離データは、距離センサ２１の検出方向に直交する方向に並んだ座標ごとに、距離センサ２１の検出方向における距離センサ２１と対象物との距離値を示すデータである。

プロセッサ４１は、距離センサ２１により取得した距離データを、点群データ（第１の点群データ）に変換する（ＡＣＴ１７）。

点群データは、奥行方向（バックボード１１に対する直交方向）、幅方向、及び高さ方向からなる空間（三次元空間）中における点の集合を示すデータである。即ち、本例における点群データは、Ｘ方向、Ｙ方向、Ｚ方向からなる三次元空間中に配置された点の集合を示すものである。各点は、それぞれ座標（ｘ，ｙ，ｚ）により表すことができる。

プロセッサ４１は、ＡＣＴ１４で取得した距離センサ２１の位置に基づいて、什器２のバックボード１１に対する距離センサ２１の相対的な位置を算出する。これにより、プロセッサ４１は、距離センサ２１の検出方向とバックボード１１に対する直交方向との差を算出する。さらに、プロセッサ４１は、算出した離センサ２１の検出方向とバックボード１１に対する直交方向との差、及び什器２のバックボード１１に対する距離センサ２１の相対的な位置などに基づいて、距離データを点群データ（第１の点群データ）に変換する。即ち、プロセッサ４１は、距離データの各座標ごとの距離値を、Ｘ方向、Ｙ方向、Ｚ方向からなる三次元空間中の座標に変換する。即ち、プロセッサ４１は、Ｙ方向及びＺ方向に配列された各座標ごとに、距離データの各距離値に応じたＸ方向の位置に点をプロットすることにより、第１の点群データを生成する。これにより、バックボード１１を基準とした第１の点群データが生成される。

図４は、点群データ処理装置１の走行方向と、距離センサ２１の検出方向及び検出範囲について説明する為の説明図である。なお、図４の例では、距離センサ２１の検出方向とバックボード１１に対する直交方向（Ｘ方向）とが一致しているものと仮定して説明する。

図４の例によると、点群データ処理装置１は、バックボード１１と平行かつ水平なＹ方向に移動しつつ、連続して距離データの取得を行う。なお、距離センサ２１の距離データの取得可能な範囲（検出範囲）は、距離センサ２１を構成する光学系及び撮像素子などにより決定される。

次に、プロセッサ４１は、１フレームの距離データに基づき生成された第１の点群データに対して孤立点除去を行う（ＡＣＴ１８）。第１の点群データにおけるノイズを除去する処理である。例えば、プロセッサ４１は、第１の点群データにおいて、他の点との距離が予め設定された閾値以上である点（孤立点）を特定し、第１の点群データから孤立点を除去する。具体的には、プロセッサ４１は、第１の点群データの各点ごとに、所定の半径により内に他の点が存在するか否か判断し、他の点が存在しない点を孤立点と特定する。また、プロセッサ４１は、第１の点群データのＸ方向の座標に基づいてヒストグラムを生成し、生成したヒストグラムにおける頻度が所定値未満の点を孤立点と特定してもよい。

上記のように生成された第１の点群データは、距離センサ２１の分解能に応じた解像度に基づく為、情報量が膨大である。しかしながら、棚に並べられた商品を検出するためには、すくなくとも商品ごとにＸ方向における位置がわかればよい。この為、点群データ処理装置１は、用途に応じて第１の点群データの情報量を圧縮し、第２の点群データを生成する。

まず、プロセッサ４１は、単位セル毎に、奥行の値（Ｘ方向の座標）を決定する（ＡＣＴ１９）。プロセッサ４１は、第１の点群データ上の座標に対して予め設定された単位セル毎に、１つの点を採用して第２の点群データを生成する。例えば、プロセッサ４１は、第１の点群データ中の点のうち、バックボード１１に対する直交方向において、最もバックボード１１との距離が大きい（Ｘ方向の座標が大きい）点を、単位セル毎に採用する。また、プロセッサ４１は、単位セル内の他の点を削除する。

単位セルは、第１の点群データにおいて複数の座標を有し、且つ第１の点群データのＸ方向（奥行方向）の全域に亘って形成された空間である。即ち、単位セルは、バックボード１１に平行な領域が、第１の点群データのＸ方向（奥行方向）の全域に延長された空間である。例えば、単位セルは、Ｙ方向及びＺ方向の面の２点の座標から決まる領域が、第１の点群データのＸ方向（奥行方向）の全域に延長された空間である。また、例えば、単位セルは、Ｙ方向及びＺ方向の面上の任意の形状の領域が、第１の点群データのＸ方向（奥行方向）の全域に延長された空間であってもよい。単位セルは、予め設定されていてもよい。

図５は、単位セルの設定の例について説明する為の説明図である。例えば、単位セルは、棚１２及び値札などの位置を避けて配置される。例えば、単位セルは、下側の棚板より所定の長さだけ上の位置から、上側の棚板より所定の長さだけ下の位置までの範囲で配置される。また、プロセッサ４１は、距離データに基づいて棚１２を検出し、検出した棚１２の位置に基づいて、単位セルの位置を逐次決定する構成であってもよい。

プロセッサ４１は、全ての単位セルの処理が完了したか否か判断する（ＡＣＴ２０）。プロセッサ４１は、全ての単位セルの処理が完了していないと判断した場合（ＡＣＴ２０、ＮＯ）、ＡＣＴ１９の処理に移行し、次の単位セルについて、採用する点を決定する処理を実行する。即ち、プロセッサ４１は、全ての単位セルについて、採用する点を決定する処理を実行する。なお、プロセッサ４１は、第１の点群データにおいて、単位セルに含まれない点を除去してもよい。

さらに、プロセッサ４１は、全ての単位セルの処理が完了したと判断した場合（ＡＣＴ２０、ＹＥＳ）、走行ルートに基づく走行を終了するか否か判断する（ＡＣＴ２１）。プロセッサ４１は、走行ルートに基づく走行を終了しないと判断した場合（ＡＣＴ２１、ＮＯ）、ＡＣＴ１３に移行し、移動機構２２による移動を継続するように移動機構コントローラ３３を制御する。これにより、プロセッサ４１は、移動しつつ什器２の全域から第１の点群データを取得する。

プロセッサ４１は、走行ルートに基づく走行を終了すると判断した場合（ＡＣＴ２１、ＹＥＳ）、距離センサ２１による距離データの取得を終了し、第２の点群データを生成し（ＡＣＴ２２）、図３の処理を終了する。

プロセッサ４１は、移動しつつ取得した複数のフレームの距離データに基づいて生成された、複数の第１の点群データを合成して第２の点群データを生成する。例えば、プロセッサ４１は、それぞれの距離データの取得時の距離センサ２１の位置の差に応じて、Ｙ方向の座標をずらして複数の第１の点群データを重ねる。さらに、プロセッサ４１は、Ｙ方向及びＺ方向の座標ごとに（または単位セル毎に）複数の点が存在する場合、Ｘ方向の座標が大きな点を採用し、他方の点を除去することにより、第２の点群データを生成する。これにより、プロセッサ４１は、什器２の棚１２の全面に亘る第２の点群データを生成することができる。

プロセッサ４１は、生成した第２の点群データに基づいて、棚１２に並べられた商品が十分であるか否か判断する。例えば、プロセッサ４１は、第２の点群データに基づいて、バックボード１１が見えている状態（商品が棚１２に並べられていない状態）を検出し、他の機器に結果を出力する。また、プロセッサ４１は、奥行の値が予め設定された閾値未満である場合、棚１２に並べられた商品が残り少ないことを検出し、他の機器に結果を出力する。また例えば、プロセッサ４１は、上記の処理の前に、奥行の値（Ｘ方向の座標）が近い単位セルを結合するラベリング処理を行ってもよい。また、プロセッサ４１は、棚１２に並べられた商品が十分であるか否か判断する機器に対して、第２の点群データを出力する構成であってもよい。

上記したように、点群データ処理装置１のプロセッサ４１は、第１の点群データにおける座標に対して予め設定された単位セル毎に、バックボード１１からの距離が最も大きい点を採用して第２の点群データを生成する。これにより、プロセッサ４１は、棚に並べられた商品を検出することができ、且つデータ量を抑えた点群データを生成することができる。この結果、点群データ処理装置１は、効率的な点群データを生成することができる。

また、点群データ処理装置１は、距離センサ２１と、距離センサ２１を移動させる移動機構２２と、をさらに備える。この場合、プロセッサ４１は、移動機構２２により移動しつつ距離センサ２１により取得した距離データを、第１の点群データに変換する。さらに、プロセッサ４１は、第１の点群データに対して単位セルに基づくデータの削減を行い、複数の第１の点群データを合成することにより、第２の点群データを生成する。これにより、点群データ処理装置１は、棚１２の全面に亘って第２の点群データを生成することができる。

次に、距離データの取得及び第１の点群データの生成に関する他の例について説明する。
上記の例では、プロセッサ４１は、距離センサ２１により取得した距離データを第１の点群データに変換し、変換した第１の点群データを合成すると説明したが、この構成に限定されない。プロセッサ４１は、距離センサ２１により取得した距離データを第１の点群データに変換し、変換した第１の点群データの一部分を合成する構成であってもよい。

一般的に、カメラの光学系は、光学系を構成するレンズの種々の収差によって、解像度（コントラスト）が低下する。コントラストの低下は、光軸からの距離に応じて大きく成る傾向がある。この為、カメラにより得られた画像の隅では、十分な解像度が得られない可能性がある。

図６は、距離センサ２１の検出範囲よりも狭い有効範囲（クリッピング領域）について説明する為の説明図である。図６の例によると、点群データ処理装置１は、バックボード１１と平行かつ水平なＹ方向に移動しつつ、連続して距離データの取得を行う。なお、距離センサ２１は、距離データの有効範囲の内側に相当するデータをシステムコントローラ３１に供給する。即ち、距離センサ２１は、距離データの一部を除去するクリッピングを行い、システムコントローラ３１に供給する。

この場合、プロセッサ４１は、距離センサ２１から供給された有効範囲内の距離データに基づいて、第１の点群データを生成する。即ち、プロセッサ４１は、距離センサ２１が取得した距離データの一部を用いて第１の点群データを生成し、複数の第１の点群データに対して上記の単位セルを用いたデータ除去を行い、合成し、棚１２の全面の第２の点群データを生成する。このような構成によると、点群データの精度を向上させることができる。

なお、プロセッサ４１は、距離センサ２１が取得した距離データを全て用いて第１の点群データを生成し、生成した第１の点群データから、有効範囲外の距離データに相当する点を除去する構成であってもよい。

さらに、点群データ処理装置１の距離センサ２１は、距離データをダウンサンプリングした上で、システムコントローラ３１に供給する構成であってもよい。

図７は、有効範囲の設定及びダウンサンプリングを行う場合の点群データ処理装置１の動作について説明するためのフローチャートである。

点群データ処理装置１のシステムコントローラ３１のプロセッサ４１は、使用する走行ルートを決定する（ＡＣＴ３１）。

プロセッサ４１は、決定した走行ルートに基づき走行を開始するように、移動機構２２及び移動機構コントローラ３３を制御する（ＡＣＴ３２）。

プロセッサ４１は、決定した走行ルートに基づき点群データ処理装置１を移動させるように移動機構コントローラ３３を制御する（ＡＣＴ３３）。

プロセッサ４１は、位置検出手段により点群データ処理装置１の距離センサ２１の位置及び検出方向を確認しつつ、決定した走行ルートを距離センサ２１が移動するように、移動機構コントローラ３３を制御する（ＡＣＴ３４）。この場合、プロセッサ４１は、検出方向が什器２のバックボード１１に直交する方向に近くなるように制御する。

プロセッサ４１は、点群データ処理装置１が決定した走行ルート上の測定対象位置に到達したか否か判断する（ＡＣＴ３５）。プロセッサ４１は、点群データ処理装置１が決定した走行ルート上の測定対象位置に到達していないと判断した場合（ＡＣＴ３５、ＮＯ）、ＡＣＴ３３に移行し、移動機構２２による移動を継続するように移動機構コントローラ３３を制御する。

プロセッサ４１は、点群データ処理装置１が決定した走行ルート上の測定対象位置に到達したと判断した場合（ＡＣＴ３５、ＹＥＳ）、１フレーム分の（１つの）距離データを取得するように、距離センサ２１を制御する（ＡＣＴ３６）。

距離センサ２１は、取得した距離データをクリッピングする（ＡＣＴ３７）。即ち、距離センサ２１は、有効範囲に相当する一部を残し、他のデータを除去する。

距離センサ２１は、クリッピングした距離データをダウンサンプリングし、システムコントローラ３１のプロセッサ４１に供給する（ＡＣＴ３８）。例えば、距離センサ２１は、システムコントローラ３１からの制御に基づいて、ダウンサンプリング後の解像度を決定する。具体的に、距離センサ２１の垂直解像度が１０８０ｐであり、ダウンサンプリング後の水平解像度が３２０ｐとして設定されているとする。この場合、距離センサ２１は、垂直解像度が１０８０ｐの距離データを、垂直解像度が３２０ｐの距離データに変換する。

プロセッサ４１は、距離センサ２１から供給された距離データを、点群データ（第１の点群データ）に変換する（ＡＣＴ３９）。

次に、プロセッサ４１は、１フレームの距離データに基づき生成された第１の点群データに対して孤立点除去を行う（ＡＣＴ４０）。

プロセッサ４１は、第１の点群データの座標に対して予め設定された単位セル毎に、奥行の値（Ｘ方向の座標）を決定する（ＡＣＴ４１）。

プロセッサ４１は、全ての単位セルの処理が完了したか否か判断する（ＡＣＴ４２）。プロセッサ４１は、全ての単位セルの処理が完了していないと判断した場合（ＡＣＴ４２、ＮＯ）、ＡＣＴ４１の処理に移行し、次の単位セルについて、奥行の値を決定する処理を実行する。即ち、プロセッサ４１は、全ての単位セルについて、奥行の値を決定する処理を実行する。なお、プロセッサ４１は、第１の点群データにおいて、単位セルに含まれない点を除去してもよい。

プロセッサ４１は、全ての単位セルについて、奥行の値を決定する処理が完了したと判断した場合（ＡＣＴ４２、ＹＥＳ）、走行ルートに基づく走行を終了するか否か判断する（ＡＣＴ４３）。プロセッサ４１は、走行ルートに基づく走行を終了しないと判断した場合（ＡＣＴ４３、ＮＯ）、ＡＣＴ３３に移行し、移動機構２２による移動を継続するように移動機構コントローラ３３を制御する。これにより、プロセッサ４１は、移動しつつ什器２の全域から第１の点群データを取得する。

プロセッサ４１は、走行ルートに基づく走行を終了すると判断した場合（ＡＣＴ４３、ＹＥＳ）、距離センサ２１による距離データの取得を終了し、第２の点群データを生成し（ＡＣＴ４４）、図７の処理を終了する。

上記したように、点群データ処理装置１は、距離データにおいて精度の低い領域を採用せず、且つダウンサンプリングして第１の点群データを生成する。これにより、精度が不十分な点群データを生成することを防ぐことができるとともに、孤立点除去及び単位セルの奥行の設定などの処理の負荷を軽減させることができる。この結果、効率的な点群データを生成することができる点群データ処理装置を提供することができる。

なお、上記の実施形態では、点群データ処理装置は、ダウンサンプリングした距離データを第１の点群データに変換すると説明したが、この構成に限定されない。点群データ処理装置は、距離データを第１の点群データに変換した上で、ダウンサンプリングする構成であってもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…点群データ処理装置、２…什器、３…商品、１１…バックボード、１２…棚、２１…距離センサ、２２…移動機構、２３…制御装置、３１…システムコントローラ、３２…通信インタフェース、３３…移動機構コントローラ、３４…距離センサコントローラ、４１…プロセッサ、４２…メモリ。

Claims

距離センサから距離データを取得する通信インタフェースと、
前記距離データに基づく第１の点群データの座標に対して予め設定された単位セル毎に１つの点を採用して第２の点群データを生成するプロセッサと、
を具備する点群データ処理装置。
前記距離センサと、
前記距離センサを移動させる移動機構と、をさらに具備し、
前記プロセッサは、前記移動機構により移動しつつ前記距離センサにより取得した複数の前記第１の点群データに基づいて、前記第２の点群データを生成する請求項１に記載の点群データ処理装置。
前記プロセッサは、前記第１の点群データ中の点のうち、バックボードと前記バックボードから突出し物品を支持する棚とを有する什器の、前記バックボードに対する直交方向において、最も前記バックボードとの距離が大きい点を前記単位セル毎に採用する請求項２に記載の点群データ処理装置。
前記プロセッサは、前記複数の第１の点群データのそれぞれの一部を前記第２の点群データの生成に用いる請求項２または３に記載の点群データ処理装置。
前記単位セルは、前記バックボードに平行な領域が、前記バックボードに対する直交方向の全域に延長された空間である請求項３に記載の点群データ処理装置。
前記プロセッサは、前記第１の点群データ中の孤立点を除去し、孤立点を除去した前記第１の点群データを前記第２の点群データの生成に用いる請求項１乃至５のいずれか１項に記載の点群データ処理装置。