JP2019211425A - 計測システム及び計測方法 - Google Patents

Abstract

【課題】物品の寸法を効率よく計測することを課題とする。【解決手段】搬送路１００上を移動する直方体の物品Ｂを撮像するステレオカメラ２と、ステレオカメラ２が撮像した画像の中から深層学習を用いた物体検出アルゴリズムによって物品Ｂを検出する対象物特定部３１と、対象物特定部３１が検出した物品Ｂの直方体の頂点を検出する検出処理部３２と、ステレオカメラ２が撮像した画像をもとに深度マップを生成する深度マップ生成部３３と、深度マップ上の頂点の位置をもとに計測対象物の三辺の長さを推定する三辺長推定部３４と、三辺の距離を計測結果として受信して出力する端末装置４とを備える。【選択図】図１

Description

本発明は、物品の寸法を計測する計測システム及び計測方法に関する。

従来、物流分野等において、作業対象の物品の寸法を測定することが行われている。

例えば、特許文献１には、ベルトコンベアなどの搬送路上に作業対象の物品を連続載置して移動させる場合であって、搬送する物品の載置状態や搬送速度が一定でない場合でもそれに影響されることなく、搬送中の物品の寸法を正しく測定することができる寸法測定装置が記載されている。この寸法測定装置では、物品の長さ及び幅を計測している。

特開２００１−３４１８２５号公報

しかしながら、このような物品の寸法の測定作業に対する効率化が要望されている。

本発明は、上記従来技術の課題を解決するためになされたものであって、物品の寸法を効率よく計測することができる計測システム及び計測方法を提供することを目的とする。

上述した課題を解決するため、本発明は、計測対象物を撮像する撮像部と、前記撮像部により取得された画像から前記計測対象物を特定する対象物特定部と、前記対象物特定部により特定された前記計測対象物を包含する立体を特定する検出処理部と、前記画像から深度マップを生成する深度マップ生成部と、前記検出処理部で特定された立体と前記深度マップをもとに前記計測対象物の三辺の長さを推定する三辺長推定部と、前記三辺の長さを出力する出力部とを備え、少なくとも前記対象物特定部は、機械学習を用いたアルゴリズムが用いられることを特徴とする。

また、本発明は、計測対象物を撮像する撮像部により取得された画像から前記計測対象物を特定する対象物特定ステップと、前記対象物特定ステップにより特定された前記計測対象物を包含する立体を特定する検出処理ステップと、前記画像から深度マップを生成する深度マップ生成ステップと、前記検出処理ステップで特定された立体と前記深度マップをもとに前記計測対象物の三辺の長さを推定する三辺長推定ステップと、前記三辺の長さを出力する出力ステップとを含み、少なくとも前記対象物特定ステップは、機械学習を用いたアルゴリズムが用いられることを特徴とする。

本発明によれば、物品の寸法を効率よく計測することができる。

図１は、本実施例に係る計測システムの構成を示す図である。 図２は、図１に示したサーバ装置による画像処理を含む処理の流れを説明する説明図である。 図３は、自動計測システムにおる計測処理手順を示すフローチャートである。 図４は、本変形例１による、物品がタイヤである場合に生成される外接直方体を示す説明図である。 図５は、本変形例２に係る計測システムの構成を示す図である。 図６は、本変形例３による物品の仕分けを説明する説明図である。 図７は、本変形例４に係る自動計測システムの構成を示す図である。

以下、添付図面を参照して、本発明の実施形態に係る計測システム及び計測方法の実施形態を説明する。

＜実施例１＞
本実施例では、段ボール箱等の略直方体の形状をなす計測対象物の三辺の長さの計測（以下、本明細書において「三辺計測」ということがある）を行う。さらに、搬送路１００を移動する計測対象物（物品Ｂ）が規定の寸法、形状であることを前提とし、計測結果が所定範囲でない場合、その旨を報知する。

図１は、本実施例に係る自動計測システム１の構成を示す図である。計測システム１は、ステレオカメラ２、サーバ装置３及び端末装置４を有する。

ステレオカメラ２は、計測対象物を撮像し、計測対象物の画像を取得する撮像部の一例である。ステレオカメラ２は、ベルトコンベアなどの搬送路１００の近傍の所定の位置に配設され、搬送路１００上をＡ方向に移動する物品Ｂの画像を撮像する。ステレオカメラ２は、所定距離だけ離隔した２つのレンズ位置（以下、「視点」と言う）から、搬送路１００上の物品Ｂの画像を同時に撮像して２つの画像を取得する。ステレオカメラ２は、同時に撮像した２つの画像をサーバ装置３に送信する。

その詳細な説明については後述するが、ステレオカメラ２によって同時に撮像された２つの画像は、視点間の視差をもとに三角測量の原理を用いて三次元の深度マップを生成するために用いられる。２つの視点は、１つのステレオカメラ２上に設けられ、視点間の所定距離は固定されている。なお、複数の単眼カメラを用いて２以上の画像を同時に撮像してもよいが、所定距離の固定が容易な２眼のステレオカメラ２を用いることが好ましい。

サーバ装置３は、例えばエッジサーバとして機能し、ステレオカメラ２から送信された２つの画像をもとに物品Ｂの三辺計測を行い、この計測結果を出力部である端末装置４に送信する。以下、図２を参照しつつ、図１に示したサーバ装置３の構成を説明する。

サーバ装置３は、入力部１１、表示部１２、通信部１３、制御部３０及び記憶部４０を有する。入力部１１は、キーボードやマウス等の入力デバイスであり、表示部１２は、液晶パネルやディスプレイ装置などの表示デバイスである。通信部１３は、ステレオカメラ２や端末装置４との通信を行う通信インタフェースである。

記憶部４０は、フラッシュメモリ等の不揮発性メモリ又はハードディスク装置等の二次記憶媒体等からなる記憶デバイスであり、撮像画像Ｄ１、物体検出結果Ｄ２、頂点検出結果Ｄ３、深度マップＤ４、及び計測結果Ｄ５を記憶する。

制御部３０は、サーバ装置３を全体制御する制御部であり、対象物特定部３１、検出処理部３２、深度マップ生成部３３及び三辺長推定部３４を有する。ここで、図２を参照しつつ、サーバ装置３の制御部３０に含まれる各部の処理について説明する。なお、対象物特定部３１、検出処理部３２、深度マップ生成部３３及び三辺長推定部３４は、それぞれ請求項１の対象物特定部、検出処理部、深度マップ生成部及び三辺長推定部に対応する。

本実施例の対象物特定部３１は、ステレオカメラ２が同時に撮像した２つの撮像画像Ｄ１１，Ｄ１２からなる撮像画像Ｄのそれぞれから、機械学習、好ましくは深層学習を用いた物体検出アルゴリズム（ＳＳＤ：Single Shot multibox Detector）によって画像中の物品Ｂを特定する。例えば、対象物特定部３１は、図２（ａ）に示した撮像画像Ｄ１１，Ｄ１２に対して物体検出アルゴリズムを適用し、図２（ｂ）に示すように、領域Ｅ１内に物品Ｂのオブジェクトがあることを検出する。本実施例においては、このオブジェクトは、直方体の段ボールである。物体検出アルゴリズムは、他のオブジェクトも検出するが、検出したオブジェクトの中から計測対象の物品Ｂのオブジェクトのみを物体検出結果Ｄ２として抽出する。なお、物体検出アルゴリズムを適用するにあたり、画像に対しノイズ除去などの前処理を施すことが物品検出の精度を高めることができるため、好ましい。

検出処理部３２は、前記計測対象物を包含する立体を特定する。具体的には、対象物特定部３１が特定した物品Ｂに対する画像に処理を施し、例えば、検出処理部３２は、図２（ｂ）に示すように、領域Ｅ１の画像に対してエッジ抽出処理を行い、このエッジの交点をなす物品Ｂの頂点Ｖを検出し、頂点検出結果Ｄ３として出力する。本実施例においては、物品Ｂの外形と概ね等しい直方体の頂点を検出する。

深度マップ生成部３３は、ステレオカメラ２が同時に撮像した２つの撮像画像Ｄ１１，Ｄ１２をもとに、図２（ｃ）に示したように、撮像領域内の点群の深度を示す深度マップＤ４を生成する。深度マップ生成部３３は、例えば、ＳＬＡＭ（Simultaneously Localization and Mapping）を用いて、３Ｄ深度マップＤ４を生成する。

三辺長推定部３４は、図２（ｄ）に示すように、深度マップＤ４上の頂点Ｖ（本実施例においては直方体の８つ）の位置をもとに物品ＢのＸ方向、Ｙ方向、Ｚ方向の三辺の距離ＬＸ，ＬＹ，ＬＺを推定する。三辺長推定部３４は、頂点Ｖを有する撮像画像Ｄ１１，Ｄ１２と深度マップＤ４との三次元空間座標の対応関係を推定するマッピング処理を行い、頂点Ｖの深度マップＤ４の三次元位置（Ｘ，Ｙ，Ｚ）を推定する。その後、三辺長推定部３４は、推定した頂点Ｖの三次元位置（Ｘ，Ｙ，Ｚ）間の距離を、計測対象物の三辺の長さＬＸ，ＬＹ，ＬＺとして求め、計測結果Ｄ５として出力する。制御部３０は、この計測結果Ｄ５を端末装置４に送信する。

端末装置４は、出力部であり、例えば、タブレット端末などの携帯型端末装置あるいはパーソナルコンピュータなどの固定端末装置である。端末装置４は、表示部４ａ、報知部４ｂ、制御部４ｃを有する。表示部４ａは、液晶ディスプレイなどの表示デバイスである。報知部４ｂは、ブザーや警報表示を行う表示デバイスである。

制御部４ｃは、端末装置４の全体制御を行い、特にサーバ装置３から送信された計測結果Ｄ５を表示部４ａに表示するとともに、計測結果が所定範囲でない場合、その旨を報知部４ｂから報知する制御を行う。制御部４ｃは、予め計測された物品Ｂの計測結果と、サーバ装置３から送信された計測結果とが所定範囲でない場合、報知部４ｂからその旨を報知する。所定範囲は、荷姿としての許容範囲であってもよいし、計測システム１の誤差範囲であってもよい。制御部４ｃは、所定範囲を誤差範囲とする場合、予め計測された物品Ｂの計測結果と、検出した計測結果とが一致するか否かを判定することになる。

＜計測処理＞
次に、本実施例の計測システム１による計測処理手順について説明する。図３は、計測システム１におる計測処理手順を示すフローチャートである。図３に示すように、まず、サーバ装置３は、撮像部であるステレオカメラ２が同時に撮像した２枚の撮像画像Ｄ１１，Ｄ１２を取得する（ステップＳ１０１）。その後、サーバ装置３は、撮像画像Ｄ１１，Ｄ１２を用いた物品Ｂの立体の検出処理と深度マップ生成処理とを並行処理する。

立体の検出処理では、まず、対象物特定部３１において、取得した撮像画像Ｄ１１，Ｄ１２に対するノイズ除去等の前処理を行う（ステップＳ１０２）。その後、対象物特定部３１は、深層学習による物体検出アルゴリズムを用いて物品Ｂを撮像画像Ｄ１１，Ｄ１２から特定し、物体検出結果Ｄ２を出力する（ステップＳ１０３）。その後、検出処理部３２は、検出された物品Ｂを包含する立体の頂点Ｖ及びエッジを特定し、頂点Ｖの位置を頂点検出結果として出力する（ステップＳ１０４）。

一方、深度マップ生成処理では、撮像画像Ｄ１１，Ｄ１２をもとに、ステレオカメラ２の視点からの深度を示す深度マップＤ４を生成する（ステップＳ１０５）。

頂点Ｖが検出され、かつ、深度マップＤ４が生成されると、三辺長推定部３４は、頂点Ｖの位置と深度マップＤ４の位置とを対応づける三次元座標推定処理を行う（ステップＳ１０６）。その後、三辺長推定部３４は、深度マップＤ４上の頂点Ｖの位置をもとに、立体の三辺の長さＬＸ，ＬＹ，ＬＺを求め、計測結果Ｄ５として端末装置４に送信する（ステップ１０７）。

その後、端末装置４は、三辺の計測結果が所定範囲内であるか否かを判定する（ステップ１０８）。計測結果が所定範囲内であるならば（ステップＳ１０８；Ｙｅｓ）、本処理を終了する。なお、この際、表示部４ａに計測結果及び合否判定結果を表示することが好ましい。一方、計測結果が所定範囲内でないならば（ステップＳ１０８；Ｎｏ）、報知部４ｂからその旨をアラーム出力し（ステップＳ１０９）、本処理を終了する。このステップＳ１０の場合も、表示部４ａに計測結果及び合否判定結果を表示することが好ましい。なお、上記の処理は、所定時間ごとに繰り返し行う。

本実施例では、ステレオカメラ２が同時に撮像した２つの撮像画像Ｄ１１，Ｄ１２を用い、生成した深度マップＤ４上に計測対象物を包含する立体の頂点Ｖの位置を対応付けて、立体の頂点Ｖの三次元位置を推定して、計測対象物の三辺の長さを推定するようにしている。これにより、効率よく、また高精度に物品の寸法の計測を行うことができる。また、物品を包含する立体の検出処理と深度マップ生成処理を並行して行うことで、計測処理を迅速に行うことができる。

なお、本実施例では、搬送路１００の搬送速度は、最大速度１２０ｍ／ｍｉｎ、すなわち、２ｍ／ｓｅｃであり、最小２０ｃｍ四方の物品Ｂの場合、高精度の計測結果を、約１０個／ｓｅｃという高速で行うことができる。

＜変形例１＞
上記の実施例では、物品Ｂの外形が直方体であって、物品Ｂの外形と物品Ｂを包含するとして特定される立体とが略一致する場合を説明したが、物品Ｂが例えば梱包されていない物品等であって頂点と辺の特定が困難な場合、検出処理部３２は、この物品を特定し、この物品の外形を包含する仮想的な立体（本変形例については外接直方体）を特定し、三辺長推定部３４は、この生成された仮想的な立体を計測対象物ないし物品として三辺の長さを推定する処理を行う。

例えば、図４に示すように、検出処理部３２は、円環状のタイヤＢ１が物品である場合タイヤＢ１に外接する外接直方体Ｂ２を特定し、この外接直方体を物品として外接直方体の頂点を検出する。

＜変形例２＞
上記の実施例では、搬送路１００を移動する物品Ｂの寸法が予め計測された同一形状のものであることを前提とし、計測結果が所定範囲内でない場合、その旨を報知するようにしていたが、図５に示すように、本変形例２では、計測結果が所定範囲内でない物品Ｂである場合、端末装置４は、仕分け装置２００を制御して、主搬送路である搬送路１００から分岐搬送路１０１に物品Ｂを搬送して仕分けするようにしている。

＜変形例３＞
変形例３では、、図６に示すように、様々な寸法の物品Ｂを主搬送路としての搬送路１００上に搬送し、搬送された各物品Ｂの三辺を計測し、計測結果に応じて搬送路１００から、計測結果に応じた分岐搬送路１０２，１０３に仕分けするようにしている。なお、端末装置４は、搬送路１００から分岐搬送路１０２，１０３の仕分けを行う仕分け装置２０１を制御する。これにより、計測対象物の大きさに応じて容易に仕分けを行うことができる。

＜変形例４＞
本変形例４では、様々な寸法の物品Ｂを主搬送路としての搬送路１００上に搬送し、物品Ｂの寸法を計測し、計測結果及び計測結果に応じた金額を物品Ｂに設けられたＩＣタグに書き込むようにしている。

図７は、本変形例４に係る計測システム１の構成を示す図である。図７に示すように、出力部としての端末装置４は、制御部４ｃに金額算出部５０を有する。金額算出部５０は、計測対象物の三辺と金額との対応関係を示す三辺−金額対応情報Ｄ５０を参照し、計測結果に応じた金額を算出する。

端末装置４には、ステレオカメラ２による撮像位置の下流に配置されるリーダライタ５１が接続される。リーダライタ５１は、端末装置４の制御のもとに、搬送する物品Ｂが有するＩＣタグ５２に、計測結果及び計測結果に応じた金額を書き込む。物品ＢのＩＣタグ５２に計測結果、及び計測結果に応じた金額が書き込まれることにより、その後の仕分け、及び流通管理を容易に行うことができる。

なお、上記の実施例及び変形例１〜４では、サーバ装置３をエッジサーバとして機能するものとして説明したが、本発明のサーバ装置３はこれに限られない。サーバ装置３は、クラウド上に配置されてもよいし、ネットワークを介してステレオカメラ２及び端末装置４に接続される単独のサーバ装置であってもよい。

また、上記の実施例及び変形例１〜４では、対象物特定部に、機械学習を用いたアルゴリズムを用いたが、検出処理部、深度マップ生成部、三辺長推定部のいずれかに機械学習を用いたアルゴリズムが用いられることが好ましい。これにより、各部での処理を迅速にまたは精度よく行うことができる。

また、上記の実施例及び変形例１〜４では、三辺長推定部において、特定された立体の全ての辺の長さ（直方体の三辺の長さ）を推定することとしたが、目的に応じ、立体の一部の辺の長さ（例えば、直方体の三辺のうちの一辺または二辺のみの長さ）を推定してもよい。これにより、計算量を減らすことができ、各部での処理を迅速にまたは精度よく行うことができる。また、検出処理部で特定される立体が方体以外の場合には、立体の形状に応じ、三つ以下または三つ以上の辺の長さを推定してもよい。例えば、立体が八面体である場合には、四つの辺の長さを推定してもよい。

さらに、本実施例で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部又は一部を各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

本発明の計測システム及び計測方法は、物品の寸法を効率よく計測する場合に有用である。

１ 自動計測システム
２ ステレオカメラ（撮像部）
３ サーバ装置
４ 端末装置（出力部）
４ａ 表示部
４ｂ 報知部
４ｃ 制御部
１１ 入力部
１２ 出力部
１３ 通信部
３０ 制御部
３１ 対象物特定部
３２ 検出処理部
３３ 深度マップ生成部
３４ 三辺長推定部
４０ 記憶部
５０ 金額算出部
５１ リーダライタ
５２ ＩＣタグ
１００ 搬送路
１０１，１０２，１０３ 分岐搬送路
２００，２０１ 仕分け装置
Ａ 方向
Ｂ 物品
Ｂ１ タイヤ
Ｂ２ 外接直方体（立体）
Ｄ，Ｄ１，Ｄ１１，Ｄ１２ 撮像画像
Ｄ２ 物体検出結果
Ｄ３ 頂点検出結果
Ｄ４ 深度マップ
Ｄ５ 計測結果
Ｄ５０ 三辺−金額対応情報
Ｅ１ 領域
ＬＸ，ＬＹ，ＬＺ 距離
Ｖ 頂点

Claims (7)

1. 計測対象物を撮像する撮像部と、
   前記撮像部により取得された画像から前記計測対象物を特定する対象物特定部と、
   前記対象物特定部により特定された前記計測対象物を包含する立体を特定する検出処理部と、
   前記画像から深度マップを生成する深度マップ生成部と、
   前記検出処理部で特定された立体と前記深度マップをもとに前記計測対象物の三辺の長さを推定する三辺長推定部と、
   前記三辺の長さを出力する出力部と
   を備え、
   少なくとも前記対象物特定部は、機械学習を用いたアルゴリズムが用いられることを特徴とする計測システム。
2. 前記検出処理部は、前記計測対象物が直方体でない場合、該計測対象物を包む仮想的な外接直方体を生成し、該外接直方体の頂点を検出し、前記三辺長推定部は、該外接直方体の三辺の長さを推定することを特徴とする請求項１に記載の計測システム。
3. 前記出力部は、推定した前記三辺の長さが所定範囲でない場合、その旨を報知する報知部を備えることを特徴とする請求項１または２に記載の計測システム。
4. 計測結果をＩＤタグに書き込むリーダライタを備え、
   前記出力部は、前記リーダライタを介して、前記計測対象物の計測結果を計測した計測対象物に設けられたＩＤタグに書き込むことを特徴とする請求項１〜３のいずれか一つに記載の計測システム。
5. 前記出力部は、計測結果に応じた金額を算出し、前記リーダライタを介して、計測した前記計測対象物のＩＤタグに前記計測結果及び前記金額を書き込むことを特徴とする請求項４に記載の計測システム。
6. 計測対象物を撮像する撮像部により取得された画像から前記計測対象物を特定する対象物特定ステップと、
   前記対象物特定ステップにより特定された前記計測対象物を包含する立体を特定する検出処理ステップと、
   前記画像から深度マップを生成する深度マップ生成ステップと、
   前記検出処理ステップで特定された立体と前記深度マップをもとに前記計測対象物の三辺の長さを推定する三辺長推定ステップと、
   前記三辺の長さを出力する出力ステップと
   を含み、
   少なくとも前記対象物特定ステップは、機械学習を用いたアルゴリズムが用いられることを特徴とする計測方法。
7. 前記検出処理ステップと、前記深度マップ生成ステップとを並行して処理することを特徴とする請求項６に記載の計測方法。

Images