JP2015215224A - 物体測定システムおよび物体測定方法 - Google Patents

Abstract

【課題】部材を容易かつ正確に、低コストで測定することができる物体測定システムおよび物体測定方法を提供する。
【解決手段】物体を撮像する撮像部１０１と、撮像された物体の深度を検知する検知部１０２と、撮像された物体の画像および深度を示す深度情報とをコンピュータ２００に送信する通信部１０３とを備えたセンサ装置１００と、センサ装置１００から受信した画像を解析し、その解析結果と深度情報とに基づいて、物体のサイズを測定する映像解析部２０２と、測定された物体のサイズと、あらかじめ商品マスタに記憶されている物体のサイズとに基づいて、商品マスタに登録されている物体の中から測定された物体を特定する照合判定部２０３と、特定された物体のサイズを登録または更新する登録部３０２と、を備える。
【選択図】図１

Description

本発明は、測定対象となる物体の測定システムおよび測定方法に関する。

一般に、鋼材等、部材の一次加工業者は、納入された部材を切断し、半製品を出荷する。納入された部材のうち、残りの部材は在庫として保持するが、在庫を正しく把握するため、鋼材の長さをひとつひとつ定規等の測定器を利用して手で測り、その結果を専用紙へ記入したり、データとして打ち込んだりしている。このような方法では、部材の測定や在庫管理に多大な労力がかかってしまう。また、部材を手作業で測定する場合には、その精度が低下してしまう。そこで、例えば、特許文献１では、剛体に複数のレーザ光を照射することにより、正確かつ容易に剛体表面の形状を測定している。

特開２０１３−２２１７９９号公報

半製品の小ロット短納期が求められており、手作業を少なくして入力ミスの低減や作業の効率化が、より一層望まれている。しかしながら、上記従来技術では、剛体に発生した高さ方向振動及びｙ軸周りの回転に起因する格子点位置のズレを補正する処理を行うことで、剛体の３次元形状データから高さ方向振動及びｙ軸周りの回転に起因する誤差を除去する等の複雑な処理を実行する必要がある。

また、従来の手法では、在庫管理がシステム化されているため、データの電子化が必要となる。測定専用の機材を導入することも考えられるが、一般に測定専用の機材は高価であるため、中小規模の事業所では導入が難しい。

本発明は、上記に鑑みてなされたものであって、部材を容易かつ正確に、低コストで測定することができる物体測定システムおよび物体測定方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる物体測定システムは、物体を撮像する撮像部と、撮像された物体の深度を検知する検知部と、前記撮像された物体の画像および前記深度を示す深度情報とをコンピュータに送信する通信部とを備えたセンサ装置と、前記センサ装置から受信した画像を解析し、その解析結果と前記深度情報とに基づいて、前記物体のサイズを測定する映像解析部と、測定された前記物体のサイズと、あらかじめ商品マスタに記憶されている物体のサイズとに基づいて、商品マスタに登録されている物体の中から測定された前記物体を特定する照合判定部と、特定された前記物体のサイズを登録または更新する登録部と、を備えることを特徴とする物体測定システムとして構成される。

また、本発明は、上記物体測定システムで行われる物体測定方法としても把握される。

本発明によれば、部材を容易かつ正確に、低コストで測定することが可能となる。

本実施の形態における物体測定システムの構成例を示す図である。 表示部が表示する深度画像の例を示す図である。 商品マスタの例を示す図である。 本システムで行われる物体測定処理の処理手順を示すフローチャートである。 物体のサイズを修正するインタフェースを表示部に表示した様子を示す図である。 物体が収納されている場所が特定される様子を示す図である。 物体である商品とその収納場所を示す棚とが対応付けた例を示す図である。 商品の一覧の中から測定対象となる物体を特定する様子を示す図である。

以下に添付図面を参照して、本発明にかかる物体測定システムおよび物体測定方法の実施の形態を詳細に説明する。

図１は、本実施の形態における物体測定システム１０００の構成例を示す図である。図１に示すように、物体測定システム１０００は、測定対象となる物体Ｍを検知するセンサ装置１００と、センサ装置１００が検知した情報に基づいて物体Ｍを解析、測定し、商品マスタにある物体と照合するコンピュータ２００と、物体Ｍのマスタ情報を登録するサーバ３００とを有して構成されている。センサ装置１００とコンピュータ２００とは有線または無線通信によって物体の測定に関する各種情報を送受信し、コンピュータ２００とサーバ３００とはネットワークを介して接続され、上述した各種情報を送受信している。なお、以下では、これらの各装置が別個の筺体である前提で説明しているが、これらの全部または一部が１つの筺体で構成されていてもよい。

センサ装置１００は、測定対象となる物体Ｍを撮像し、その画像と、物体Ｍの幅、高さなどの測定情報をコンピュータ２００に送信する装置である。図１に示すように、センサ装置１００は、撮像部１０１と、検知部１０２と、通信部１０３とを有して構成されている。センサ装置１００は、例えば、Kinect for Windows（登録商標）によって実現される。

撮像部１０１は、物体Ｍを撮像するＲＧＢカメラである。検知部１０２は、物体Ｍとの距離を測定する深度センサである。検知部１０２は、深度センサによって得られた距離データを含む深度情報を読み取り、撮像部１０１が撮像した画像に物体の輪郭や骨格を示す境界が認識された画像（深度画像）を出力する。深度画像の例については図２を用いて後述する。通信部１０３は、撮像部１０１が撮像したＲＧＢ画像や、上述した深度画像、深度情報を含む各種情報をコンピュータ２００に送信する。続いて、コンピュータ２００について説明する。

コンピュータ２００は、一般的なＰＣから構成され、センサ装置１００から受信したＲＧＢ画像、深度画像を解析するとともに深度情報を読み取り、物体Ｍの幅や高さなどを測定する。図１に示すように、コンピュータ２００は、表示部２０１と、映像解析部２０２と、照会判定部２０３と、通信部２０４とを有して構成されている。

表示部２０１は、ＬＣＤ（Liquid Crystal Display）等の一般的なディスプレイから構成され、センサ装置１００から受信したＲＧＢ画像、深度画像等、測定に関する様々な情報を表示する。

図２は、表示部２０１が表示する深度画像の例を示す図である。図２では、表示部２０１が、測定者Ｏが測定対象となる物体Ｍを持っている様子が撮像された深度画像を表しており、測定者Ｏは物体Ｍを前方（センサ装置１００側）に突き出して保持している。ＲＧＢ画像は、撮像部１０１から出力され、図２に示した深度画像がＲＧＢ化されている画像である。

映像解析部２０２は、センサ装置１０１から受信した深度情報を読み取り、深度画像およびＲＧＢ画像を解析する。映像解析部２０２は、深度画像から物体Ｍの特徴点（Ｘ，Ｙ，Ｚ）を検出するとともに、ＲＧＢ画像から物体Ｍの特徴点（Ｘ，Ｙ）を検出する。深度画像から特徴点Ｚを検出することにより、物体が斜めになっている状態におけるＺ（奥行方向）の位置を考慮し、物体の長さを正確に測定することができる。このように深度画像およびＲＧＢ画像の両方の画像から物体Ｍの特徴点を検出する理由は、深度画像で検出した特徴点が正しく解析されているか否かの検証を行うためであり、特徴点が正しく検出されていれば、通常、両者は一致する。

また、本実施例では、測定者Ｏが物体Ｍを前方に突き出して持っているため、物体Ｍの深度情報（例えば、Ｘ（幅方向），Ｙ（高さ方向），Ｚ（奥行方向）で表される空間上の位置）では、Ｚ方向の値が深度画像の中で認識されている他の物体とくらべて最も小さい値となっている。従って、映像解析部２０２は、Ｚ方向の値が最も小さい物体を測定対象となる物体であると認識し、その幅や高さを求める。

照会判定部２０３は、映像解析部２０２によって求められた物体Ｍの幅や高さを含む測定情報と、あらかじめ商品マスタに記憶されている物体の商品名、サイズ、単重を含む物体情報とを比較して物体Ｍを特定し、その物体が商品マスタにあるか否かを判定する。照会判定部２０３は、その物体が商品マスタにあると判定した場合には、既に登録されている物体のサイズをその時の物体のサイズに更新し、その物体が商品マスタにないと判定した場合には、新たにその物体の物体情報を登録する。

通信部２０４は、センサ装置１００からＲＧＢ画像、深度画像、深度情報を含む各種情報を受信したり、物体情報をサーバ３００に送信する。続いて、サーバ３００について説明する。

サーバ３００は、一般的なサーバから構成され、コンピュータ２００から受信した物体情報を登録またはそのサイズを更新し、商品である物体を管理するサーバである。図１に示すように、サーバ３００は、記憶部３０１と、登録部３０２と、通信部３０３とを有して構成されている。

記憶部３０１は、一般的な記憶装置から構成され、上述した商品マスタを記憶する。図３は、商品マスタの例を示す図である。図３に示すように、商品マスタは、物体を識別するためのＩＤと、その商品名と、物体のサイズおよび単重とが対応付けて記憶されている。図３では、例えば、ＩＤ「００２」のＨ型鋼の現在のサイズは幅１０００ｍｍ×高さ５００ｍｍであり、単重が９．３ｋｇであることを示している。具体的には後述するが、本システムでは、センサで検知された値をもとにこのサイズを更新したり、登録しておくことにより、その物体を正確に管理している。

なお、本実施例では、物体を識別するための情報として、上述したＩＤを用いているが、例えば、映像解析部２０２が、センサ装置１００が撮像した画像の中から、あらかじめ物体に付されたバーコードを検出し、検出されたバーコードによって物体を識別することとしてもよい。

登録部３０２は、コンピュータ２００によって物体が商品マスタにないと判定された場合には、その物体の物体情報を商品マスタに登録し、その物体が商品マスタにあると判定された場合には、その物体のサイズを更新する。

通信部３０３は、コンピュータ２００から物体情報やそのサイズを含む各種情報を受信する。続いて、本システムで行われる物体測定処理について説明する。

図４は、本システムで行われる物体測定処理の処理手順を示すフローチャートである。図４に示すように、まず、物体測定処理では、操作者から操作によってセンサ装置１００の撮像部１０１が物体を撮像し、そのＲＧＢ画像を出力する。また、検知部１０２は、深度センサによって得られた距離データを含む深度情報を読み取り、その深度画像を出力する（Ｓ４０１）。その後、通信部１０３は、ＲＧＢ画像、深度情報、深度画像をコンピュータ２００に送信する。

コンピュータ２００は、センサ装置１００からこれらの情報を受信すると、映像解析部２０２が、深度画像を解析するとともに深度情報を読み取り、物体Ｍの特徴点（Ｘ，Ｙ，Ｚ）を検出するとともに、ＲＧＢ画像から物体Ｍの特徴点（Ｘ，Ｙ）を検出し、物体Ｍを測定する。このとき、映像解析部２０２は、両者が一致していない場合には、ＲＧＢ画像から検出した特徴点によって深度画像から検出した特徴点を補正する。本実施例ではこのような補正を実行しているが、このような補正を考慮しない場合には、そのまま深度画像から検出した特徴点を用いてもよい。

物体Ｍが測定されると、照会判定部２０３は、その測定情報と物体情報とを比較してその物体を特定し、商品マスタにあるか否かを判定する（Ｓ４０３、Ｓ４０４）。照会判定部２０３が、その物体が商品マスタにあると判定した場合には（Ｓ４０４；Ｙｅｓ）、登録部３０２は、既に登録されている物体のサイズをコンピュータ２００から受信したサイズ（すなわち、現時点で測定された物体のサイズ）に更新する（Ｓ４０５）。

一方、照会判定部２０３が、その物体が商品マスタにないと判定した場合（Ｓ４０４；Ｎｏ）、登録部３０２は、新たにその物体の物体情報を登録する（Ｓ４０６）。Ｓ４０５またはＳ４０６の処理が終了すると、本システムにおける物体測定処理が終了する。

このように、本実施例では、上述した処理を行うので、部材である物体を容易かつ正確に測定することが可能となる。また、従来から知られている深度センサを用いているので、低コストで、その物体の測定が実現できる。具体的には、物体の測定を機械化することにより、人手で行っていたような測定のミスがなくなり、在庫管理の正確性が向上するとともに、低コストで作業効率を向上させることができる。

なお、上述した各処理は、例えば、ＣＰＵ（Central Processing Unit）等の演算装置がＲＯＭ（Read Only Memory）等のメモリに記憶されているプログラムを実行することにより実現される。また、そのプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供することも可能である。さらに、そのプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードして提供または配布したり、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

本実施例では、操作者が物体を持った状態で幅や高さを測定し、そのサイズを商品マスタに登録または更新した。しかし、測定誤差があった場合等（例えば、ＲＧＢ画像により補正せずにそのまま深度画像を用いた場合）、測定されたサイズを修正したい場合もある。そこで、そのような場合には、映像解析部２０２は、センサ装置１００から受信した画像上に、サイズを修正するためのインタフェースを表示し、操作者によるジェスチャによって、物体のサイズを修正してもよい。

図５は、物体のサイズを修正するインタフェースを表示部に表示した様子を示す図である。図５に示すように、物体のサイズを修正する場合、映像解析部２０２は、センサ装置１００が撮像した深度画像またはＲＧＢ画像上に、操作者からのジェスチャによって修正すべき内容（図５に示した例では、物体の幅、高さ等の数値を含む商品マスタの内容）と、その内容を修正するためのインタフェースを表示する。

例えば、操作者が手を上から下に動かして腕全体で手招きするような動作をすると、その動作に合わせてドラムが回転して修正すべき値を選択することができる。図５では、ＩＤ「００２」のＨ型鋼のサイズを修正対象として選択し、上述したジェスチャによってそのサイズを修正していることを示している。

物体のサイズを修正するために上述したインタフェースを画像に表示させる方法としては、手をたたく動作等、映像解析部２０２があらかじめ定められた動作を認識することにより、インタフェースを画面上に表示する。もちろん、コンピュータ２００が有するキーボードやマウス等の入力装置（不図示）によって上述したインタフェースを表示することももちろん可能である。このように、映像解析部２０２が、物体のサイズを修正するためのインタフェースを画面上に表示し、ジェスチャによって物体のサイズを修正することができるので、容易にその修正が可能となる。

また、本実施例では、操作者が物体を持ったままの状態でその幅や高さを測定したが、物体を測定し、その物体が商品マスタに登録されている物体であることが判定された後、収納庫に戻す動作をすることによって、その物体が収納されている場所を特定することも可能である。

図６は、物体が収納されている場所が特定される様子を示す図である。図６に示すように、照会判定部２０３によって測定対象となっている物体が商品マスタに登録されているどの商品かが特定され、そのサイズが更新または登録されると、映像解析部２０２は、測定対象となっている物体が、あらかじめ定められた画面上で表示されるどの位置に移動されたのか、あるいはその時の操作者の動きを判定し、物体が収納される位置を特定する。図６に示す例では、物体Ｍが、あらかじめ定められた画面上の領域Ｒ１１〜Ｒ１３、Ｒ２１〜Ｒ２３の計６個の領域の中で、Ｒ１１の領域（例えば、その位置にある棚）に収納されることを示している。

画面上の領域と物体の収納場所との関係は、図７に示すように、物体である商品とその収納場所を示す棚とが対応付けてあらかじめ記憶されている。例えば、操作者が上述した動作を行うことによって、物体がＲ１１の場所に移動され、手をたたく等のジェスチャが行われると、その領域に対応する棚（Ｒ１１）に測定対象とされた商品である物体「００１」が更新または登録される。

このように、映像解析部２０２が、物体が移動された画面上の位置、あるいはその時の操作者の動きを判定することによって、物体が収納される位置を特定するので、その収納場所の登録、物体の収納場所の管理を容易に実現することができる。

さらに、本実施例では、照会判定部２０３によって測定対象となっている物体が特定される際に、複数の商品がマッチして候補とされる場合もある。そこで、そのような場合には、映像解析部２０２は、これらの商品の一覧および物体を商品マスタにある商品に確定させるための確定ボックスを画面上に一旦表示し、画面上に表示された商品の一覧の中から測定対象となる商品を選択するジェスチャを解析し、登録部３０２が、その物体を商品マスタに登録したり、そのサイズを更新することとしてもよい。

図８は、商品の一覧の中から測定対象となる物体を特定する様子を示す図である。図８に示すように、画面上にはマッチした商品の一覧と、確定ボックスＦとが表示され、操作者が、商品の一覧の中に表示されている商品を確定ボックスＦに移動させる動作Ｍを行うことにより、測定対象となっている物体がどの商品であるのか特定させる。図８に示す例では、ＩＤ「００２」の商品を選択し、確定させていることがわかる。

このように、映像解析部２０２が、候補となる商品の一覧と、その候補の中から物体を商品マスタにある商品に確定させるための確定ボックスとを画面上に表示し、その商品の一覧の中から所望の商品を選択するジェスチャを解析し、照会判定部２０３が、確定ボックスに移動された物体を商品マスタに登録したり、そのサイズを更新するので、複数の候補の中から測定対象となっている物体である商品を容易に特定することができる。

また、本実施例では、物体を計測する際に、本システムが起動されている前提で説明したが、物体を計測する前に本システムにログインした上で、物体の計測を行ってもよい。この場合、あらかじめ登録された利用者のみが本システムを利用することができ、セキュリティが向上する。このとき、単にコンピュータ２００の入力装置（不図示）からユーザＩＤやパスワードを入力するのではなく、例えば、映像解析部２０２が、操作者があらかじめ定められたジェスチャをしたか否かを判定し、操作者があらかじめ定められたジェスチャをしたと判定した場合に、本システムへのログインを可能としてもよい。

さらに、そのようなジェスチャによって、本システムの起動、スリープ、ロック解除等、システムに関する様々な操作をジェスチャによってそのトリガとしたり、センサ装置１００の撮像部１０１が撮像した画像に含まれる顔があらかじめ登録されている顔画像であるか否かを判定することにより、本システムの利用者本人を認証することとしてもよい。この場合、ジェスチャによる操作や入力装置による入力操作が不要となるため、利用者にとって利便性をより向上させることができる。

本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、図２、５、６、８に示した操作者による動作の一部または全部を組み合わせて、測定された物体のサイズを修正したり、その物体の収納場所を判定してもよい。

１０００ 物体測定システム
１００ センサ装置
１０１ 撮像部
１０２ 検知部
１０３ 通信部
２００ コンピュータ
２０１ 表示部
２０２ 映像解析部
２０３ 照合判定部
２０４ 通信部
３００ サーバ
３０１ 記憶部
３０２ 登録部
３０３ 通信部。

Claims (10)

1. 物体を撮像する撮像部と、撮像された物体の深度を検知する検知部と、前記撮像された物体の画像および前記深度を示す深度情報とをコンピュータに送信する通信部とを備えたセンサ装置と、
   前記センサ装置から受信した画像を解析し、その解析結果と前記深度情報とに基づいて、前記物体のサイズを測定する映像解析部と、
   測定された前記物体のサイズと、あらかじめ商品マスタに記憶されている物体のサイズとに基づいて、商品マスタに登録されている物体の中から測定された前記物体を特定する照合判定部と、
   特定された前記物体のサイズを登録または更新する登録部と、
   を備えることを特徴とする物体測定システム。
2. 前記撮像部は、物体およびその物体を持つ操作者を撮像し、
   前記映像解析部は、前記操作者が所定のジェスチャをしたか否かを判定し、前記所定のジェスチャをしたと判定した場合、測定した前記物体のサイズを修正するためのインタフェースを表示部に表示し、前記所定のジェスチャに基づいて、測定した前記物体のサイズを修正する、
   ことを特徴とする請求項１に記載の物体測定システム。
3. 前記撮像部は、前記物体およびその物体を持つ操作者を撮像し、
   前記映像解析部は、前記操作者が所定のジェスチャをしたか否かを判定し、前記所定のジェスチャをしたと判定した場合、前記物体測定システムの起動または停止、またはログインまたはログオフを含む前記物体測定システムに関する操作を実行する、
   ことを特徴とする請求項１または２に記載の物体測定システム。
4. 前記撮像部は、前記物体およびその物体を持つ操作者を撮像し、
   前記映像解析部は、前記操作者が所定のジェスチャをしたか否かを判定し、前記所定のジェスチャをしたと判定した場合、前記物体が、あらかじめ定められた表示部上における移動位置またはその際の操作者の動きを判定し、前記物体の収納位置を特定する、
   ことを特徴とする請求項１〜３のいずれか１項に記載の物体測定システム。
5. 前記映像解析部は、前記照合判定部による判定の結果、商品マスタに登録されている物体の中から特定された物体が複数ある場合、商品マスタに登録されているそれら複数の物体の一覧と、前記一覧にある物体に確定させるための確定ボックスとを表示部に表示して前記一覧の中から測定対象となる物体を選択するジェスチャを解析し、
   前記登録部は、選択された物体のサイズを商品マスタに登録または更新する、
   ことを特徴とする請求項１〜４のいずれか１項に記載の物体測定システム。
6. 物体を撮像する撮像部により撮像された物体の深度を検知する検知ステップと、
   前記撮像された物体の画像および前記深度を示す深度情報とをコンピュータに送信する送信ステップと、
   送信された画像を解析し、その解析結果と前記深度情報とに基づいて、前記物体のサイズを測定する映像解析ステップと、
   測定された前記物体のサイズと、あらかじめ商品マスタに記憶されている物体のサイズとに基づいて、商品マスタに登録されている物体の中から測定された前記物体を特定する照合判定ステップと、
   特定された前記物体のサイズを登録または更新する登録ステップと、
   を含むことを特徴とする物体測定方法。
7. 前記撮像ステップにおいて、物体およびその物体を持つ操作者を撮像し、
   前記映像解析ステップにおいて、前記操作者が所定のジェスチャをしたか否かを判定し、前記所定のジェスチャをしたと判定した場合、測定した前記物体のサイズを修正するためのインタフェースを表示部に表示し、前記所定のジェスチャに基づいて、測定した前記物体のサイズを修正する、
   ことを特徴とする請求項６に記載の物体測定方法。
8. 前記撮像ステップにおいて、前記物体およびその物体を持つ操作者を撮像し、
   前記映像解析ステップにおいて、前記操作者が所定のジェスチャをしたか否かを判定し、前記所定のジェスチャをしたと判定した場合、前記物体測定システムの起動または停止、またはログインまたはログオフを含む前記物体測定システムに関する操作を実行する、
   ことを特徴とする請求項６または７に記載の物体測定方法。
9. 前記撮像ステップにおいて、前記物体およびその物体を持つ操作者を撮像し、
   前記映像解析ステップにおいて、前記操作者が所定のジェスチャをしたか否かを判定し、前記所定のジェスチャをしたと判定した場合、前記物体が、あらかじめ定められた表示部上における移動位置またはその際の操作者の動きを判定し、前記物体の収納位置を特定する、
   ことを特徴とする請求項６〜８のいずれか１項に記載の物体測定方法。
10. 前記映像解析ステップにおいて、前記照合判定ステップにおける判定の結果、商品マスタに登録されている物体の中から特定された物体が複数ある場合、商品マスタに登録されているそれら複数の物体の一覧と、前記一覧にある物体に確定させるための確定ボックスとを表示部に表示して前記一覧の中から測定対象となる物体を選択するジェスチャを解析し、
    前記登録ステップにおいて、選択された物体のサイズを商品マスタに登録または更新する、
    ことを特徴とする請求項６〜９のいずれか１項に記載の物体測定方法。

Images