JP2022110928A - 物体計測装置、及び計測装置 - Google Patents

Abstract

【課題】計測対象物の外観が、任意の形状、任意の色、又は、任意のテクスチャを有する不特定物の寸法計測、形状計測等の物体計測が可能な物体計測装置、及び計測装置を提供する。【解決手段】撮像時に計測対象物１０の背後に配置される背景部２０と、計測対象物１０の画像を取得する撮像部３０と、撮像部３０により取得した撮像画像に基づいて、計測対象物１０の寸法計測、形状計測等の計測処理を実行する制御部４０と、を有し、背景部２０は、パターン模様を有した物体計測装置１を構成する。また、深度情報も取得可能なカメラを備え、計測対象物の重量を計測可能な構成とすることにより計測装置１００を構成する。【選択図】図１

Description

本発明は、物体計測装置、及び計測装置に関する。

従来、閾値の設定に基づく装置ごとの検出精度のバラツキを小さくすることのできる寸法測定装置が提案されている（例えば、特許文献１参照）。

この寸法測定装置は、計測対象物を撮像装置により撮像し、撮像した撮像情報から計測対象物のエッジを閾値（スレッシュホールド）に基づいて検出することにより計測対象物の寸法を測定する。閾値を設定する閾値設定モードを設け、閾値設定モードにおいて、計測対象物及び背景を撮像した撮像情報に基づいて閾値を算出するように構成されている。

また、外観検査の精度や信頼性等の向上が容易となる撮影装置が提案されている（例えば、特許文献２参照）。

この撮影装置は、制御部による指令に基づき、白棒移動機構部は、白棒をワーク内側に挿入させる。そして、ローラ駆動部がローラ部を用いてワークを６０°回転させる。このとき、撮影部は撮影を行うことにより、白色を背景色として、ワークの胴部を周方向全体に亘って撮影することができる。次に、制御部による指令に基づき、白棒移動機構部は、白棒をワーク内側から排出させ、黒棒移動機構部は、黒棒をワーク内側へ挿入させる。そして、ローラ駆動部がローラ部を用いてワークを３６０°回転させる。このとき、撮影部は撮影を行うことにより、黒色を背景色として、ワークの胴部を周方向全体に亘って撮影するように構成されている。

特開平１１－３２５８３６号公報 特開２０２０－５１８１０号公報

特許文献１及び特許文献２に開示された寸法測定装置、撮影装置では、一般的な品質検査等における計測において、特定の決められた物体に対する計測には適用が可能である。しかし、任意の計測対象物、すなわち、計測対象物の外観が、任意の形状、任意の色、又は、任意のテクスチャを有する場合には、形状認識のための閾値の設定において十分な精度が出ず、正確な形状抽出、寸法測定ができないという問題があった。

したがって、本発明の目的は、計測対象物の外観が、任意の形状、任意の色、又は、任意のテクスチャを有する不特定物の寸法計測、形状計測等の物体計測が可能な物体計測装置、及び計測装置を提供することにある。

［１］本発明は、撮像時に計測対象物の背後に配置される背景部と、前記計測対象物の画像を取得する撮像部と、前記撮像部により取得した撮像画像に基づいて、前記計測対象物の計測処理を実行する制御部と、を有し、前記背景部は、パターン模様を有している、物体計測装置を提供する。
［２］前記制御部は、前記撮像画像と前記背景部のみの背景画像との差分画像を生成する背景差分法による差分画像生成部を有する構成であってもよい。
［３］また、前記制御部は、前記撮像画像から変換した複数の異なる色空間画像を、それぞれから生成した色空間画像のヒストグラムパターンの評価値に基づいて利用する寸法測定画像を選択する画像選択部を有する構成であってもよい。
［４］また、前記制御部は、前記画像選択部により選択された色空間画像である前記寸法測定画像を使用して外接矩形計測を行なう外接矩形計測部を有する構成であってもよい。
［５］また、前記外接矩形計測部は、前記計測対象物に対してスレッシュホールド値を変化させて得られる、複数のサイズの外接矩形のうち、スレッシュホールドの変化に対し、サイズ変化の少ない区間を選択する構成であってもよい。
［６］前記パターン模様は、２色のチェック模様とされた構成であってもよい。
［７］本発明は、上記［１］に記載の寸法計測装置と、前記計測対象物の重量を計測する重量計測部と、を有し、前記撮像部は、深度情報も取得して、前記計測対象物の計測を行なう、計測装置を提供する。

本発明の物体計測装置、計測装置によれば、計測対象物の外観が、任意の形状、任意の色、又は、任意のテクスチャを有する不特定物の寸法計測、形状計測等の物体計測が可能となる。

図１（ａ）は、本発明の第１の実施の形態に係る物体計測装置の構成を示す構成概略図であり、図１（ｂ）は、図１（ａ）においてＡ方向から見た、背景部の上に載置された計測対象物の撮像時の一例を示す図である。 図２（ａ）は、図１（ａ）においてＡ方向から見た背景部のパターン模様が格子柄（チェック柄）である一例を示す図であり、図２（ｂ）は、格子柄（チェック柄）が４５度斜めに配置されたパターン模様の一例を示す図であり、図２（ｃ）は、パターン模様が３角形で構成された一例を示す図である。 図３は、本発明の第１の実施の形態に係る物体計測装置を構成する構成要素の接続関係を示すブロック構成図である。 図４は、本発明の第１の実施の形態に係る物体計測装置の全体の動作を示すフローチャートである。 図５（ａ）～（ｃ）は、差分画像生成部により背景差分法で計測対象物を抽出する手順を順に説明するための画像の図であり、図５（ａ）は、計測対象物と背景部が撮影された物体画像であり、図５（ｂ）は、背景部のみが撮影された背景画像であり、図５（ｃ）は、計測対象物が抽出された差分画像である。 図６（ａ）～（ｅ）は、画像選択部による画像選択、決定の動作を説明するための図であって、図６（ａ）は、背景差分を行なった画像における基本のヒストグラム形状を示す図であり、図６（ｂ）は、ＲＧＢ差分グレースケールのヒストグラムを示す図であり、図６（ｃ）は、Ｒ要素抽出したヒストグラムを示す図であり、図６（ｄ）は、Ｇ要素抽出したヒストグラムを示す図であり、図６（ｅ）は、Ｂ要素抽出したヒストグラムを示す図である。 図７（ａ）～（ｄ）は、画像選択部による画像選択、決定の動作を説明するための図であって、図７（ａ）は、背景の山（Ｐ１部分）と物体による山（Ｐ２部分）を説明するヒストグラムを示す図であり、図７（ｂ）は、スレッシュホールドが０に近いものでは明確に分離することができない場合を示す例の図であり、図７（ｃ）は、スレッシュホールドから右側の物体によって生じたピクセル変化分は、面積が広いほうが分離しやすいことを示す例の図であり、図７（ｄ）は、谷の部分において、分離の難しいピクセルの量が少ないほうがより明確に分離できる場合を示す例の図である。 図８は、図４で示したＳｔｅｐ０８のサブルーチン、関数として処理する場合のものであって、撮像画像から、グレースケール，Ｒ要素，Ｇ要素、Ｂ要素，Ｈ要素，Ｓ要素，Ｖ要素の７つの画像について、ヒストグラムパターン評価を行ない、利用する画像を決定する画像選択部の動作を示すフローチャートである。 図９（ａ）、（ｂ）は、最適なスレッシュホールドの値を決定するための方法を説明する図である。 図１０（ａ）～（ｃ）は、ピクセル輝度値を等分に分割し、その分割位置による外接矩形のサイズを計測することにより最適なスレッシュホールドの値を決定する方法を説明する図である。 図１１は、図４で示したＳｔｅｐ０９のサブルーチン、関数として処理する場合のものであって、決定した画像に対してフィードバック制御によるスレッシュホールドの最適化を行った外接矩形を求める動作を示すフローチャートである。 図１２は、図１１で示したＳｔｅｐ９６のサブルーチン、関数として処理する場合のものであって、取得した長辺、短辺のスレッシュホールド位置での長さ情報を基に、各々の安定区間を抽出する動作を示すフローチャートである。 図１３（ａ）～（ｉ）は、辺の長さリストからの安定区間の決定動作の一例を各区間の処理毎に説明するための図である。 図１４（ａ）は、パターン模様を有しない単色の背景部に計測対象物を載置した場合の一例を示す図であり、図１４（ｂ）は、本願発明に係るパターン模様の背景部に計測対象物を載置した場合の一例を示す図である。 図１５（ａ）は、本発明の第２の実施の形態に係る計測装置の構成を示す構成概略図であり、図１５（ｂ）は、本発明の第２の実施の形態に係る計測装置を構成する構成要素の接続関係を示すブロック構成図である。

〔本発明の第１の実施の形態〕
図１（ａ）は、本発明の第１の実施の形態に係る物体計測装置の構成を示す構成概略図であり、図１（ｂ）は、図１（ａ）においてＡ方向から見た、背景部の上に載置された計測対象物の撮像時の一例を示す図である。

図１に示すように、本発明の第１の実施の形態に係る物体計測装置１は、撮像時に計測対象物１０の背後に配置される背景部２０と、計測対象物１０の画像を取得する撮像部３０と、撮像部３０により取得した撮像画像に基づいて、計測対象物１０の寸法計測処理、形状計測処理等の計測を実行する制御部４０と、を有し、背景部２０は、パターン模様を有して構成されている。なお、撮像時に計測対象物１０を照明し、また、影の映り込みを低減するために、照明装置８０を適宜配置することが好ましい。本実施の形態に係る物体計測装置１は、上記に示したように、計測対象物１０の寸法計測、形状計測等の物体計測を行なうことができる。例えば、複数個所の寸法計測により計測対象物１０の寸形計測が可能である。また、計測対象物１０の形状を抽出することにより、検出された輪郭から、例えば、パターンマッチングにより形状の特定を行なうことで形状計測が可能である。以下の説明では、計測対象物１０の寸法計測を行なう場合について説明する。

（計測対象物１０）
計測対象物１０は、外観が、任意の形状、任意の色、又は、任意のテクスチャを有する不特定物である。一般的な品質検査等における計測では、特定の決められた物体に対する計測となるため、背景、測定方向、距離など、最適化が可能であるが、本実施の形態に係る測定対象は、一般に物流で流れる様々な商品（箱状、袋状、円筒など）であるため、測定対象を特定できない、不特定物である。

（背景部２０）
背景部２０は、図１（ａ）に示すように、載置台２５の上面に設置されている。背景部２０は、載置台２５の上面に直接パターン模様として印刷等されていてもよく、また、パターン模様が印刷等されたシート等を載置台２５の上面に貼り付けたものでもよい。その他、背景のパターンは、直接転写、張り付け、更にはスライド型で複数枚を利用、液晶によるカラー画像等、種々の形態のものが可能である。

図２（ａ）は、図１（ａ）においてＡ方向から見た背景部のパターン模様が格子柄（チェック柄）である一例を示す図であり、図２（ｂ）は、格子柄（チェック柄）が４５度斜めに配置されたパターン模様の一例を示す図であり、図２（ｃ）は、パターン模様が３角形で構成された一例を示す図である。

背景部２０のパターン模様は、図２（ａ）に示すような、格子柄（チェック柄）、市松模様であり、例えば、２色で構成できる。また、３色以上のパターン模様であってもよい。また、グラデーション画像であってもよい。また、背景部２０のパターン模様は、図２（ｂ）に示すような、格子柄（チェック柄）が４５度斜めに配置されたパターン模様であってもよい。また、背景部２０のパターン模様は、図２（ｃ）に示すような、パターン模様が３角形で構成されたものあってもよい。

なお、上記は、パターン模様の一例を示すものであって、直線、曲線、円形、円弧、図形、記号等の組み合わせによるパターン模様が使用可能である。また、パターン模様は、繰り返して表示される模様以外に、ランダムに配置されたパターンの模様であってもよい。

（撮像部３０）
撮像部３０は、図１（ａ）に示すように、計測対象物１０を撮像するカメラである。撮像部３０は、一般に使用される、主に可視光域に感度を有するカメラが使用可能である。撮像部３０は、計測対象物１０を撮像することにより、撮像画像としての物体画像RGBを取得することができる。

また、本実施の形態における計測対象物１０の寸法計測が可能な程度の解像度、１ピクセルの画素寸法を備えたものを使用する。使用する光学系、レンズにより所定の画角とすることにより、撮像部３０により取得された撮像画像により、１ピクセルに対応する寸法が算出される。これにより、計測対象物１０の長辺、短辺等の寸法の算出が可能となる。なお、１ピクセルに対応する計測対象物１０の寸法は、予め、図１（ａ）に示すような、背景部２０、撮像部３０の配置後に、キャリブレーションを行なうことにより求めておくことができる。

（制御部４０）
図３は、本発明の第１の実施の形態に係る物体計測装置を構成する構成要素の接続関係を示すブロック構成図である。制御部４０は、記憶されたプログラムに従って、取得した画像データに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるコンピュータを備える。

制御部４０は、撮像部３０、照明装置８０等の制御、外部との入出力制御を行なうと共に、後述する、差分画像生成部４１、画像選択部４２、外接矩形計測部４３を備えている。また、制御部４０は、外部機器と接続可能であり、例えば、物体計測装置１に対する制御信号Ｓ_Ｃ、外部への出力信号Ｓ_Ｏにより、外部との入出力が可能である。

差分画像生成部４１は、撮像画像と背景部のみの背景画像との差分画像を生成する背景差分法による差分画像を生成する。

画像選択部４２は、撮像画像から変換した複数の異なる色空間画像を、それぞれから生成した色空間画像のヒストグラムパターンの評価値に基づいて利用する寸法測定画像を選択する。ここで、色空間画像は、グレースケール画像、ＲＧＢ画像、ＨＳＶ画像、ＨＳＬ画像、ＣＭＹ画像、ＹＩＱ画像等の種々の色空間画像とすることができる。本実施の形態では、複数の異なる色空間画像として、グレースケール画像、ＲＧＢ画像、ＨＳＶ画像を使用するものとして説明する。

外接矩形計測部４３は、計測対象物に対してスレッシュホールド値を変化させて得られる、複数のサイズの外接矩形のうち、スレッシュホールドの変化に対し、サイズ変化の少ない区間を選択する。サイズ変化の少ない区間は、サイズ変化の安定区間である。また、より詳しくは、スレッシュホールド位置での長辺、短辺の情報を基に、区間の伸延、短縮を実行しながら、各々の安定区間を抽出して安定区間の決定動作を行なう。

プログラム言語としては、Ｃ言語、Ｊａｖａ、Ｐｙｔｈｏｎ等の種々の言語が使用可能であるが、本実施の形態では、プログラム言語としてＰｙｔｈｏｎ環境で行なう。本実施の形態で使用する、後述する大津の２値化、外接矩形を求める等においては、例えば、ＯｐｅｎＣＶモジュールとして、ライブラリ化、関数化されており、これらを利用することができる。

（物体計測装置１の動作概略）
図４は、本発明の第１の実施の形態に係る物体計測装置の全体の動作を示すフローチャートである。以下において、物体計測装置１の全体の動作を各ステップに従って説明する。

（Ｓｔｅｐ０１）
処理が開始されると、制御部４０は、撮像部３０により、背景画像（RGB）を取得する。

（Ｓｔｅｐ０２）
制御部４０は、終了キーが押下されたかどうかを判断する。終了キーは、制御部４０が有する操作キーでも、外部において制御信号Ｓ_Ｃを生成するための外部操作キーでもよい。制御部４０は、終了キーが押下されたかどうかを判断し、終了キーが押下されない場合はＳｔｅｐ０３へ進み（Ｓｔｅｐ０２：Ｎｏ）、終了キーが押下された場合はＳｔｅｐ１２へ進んで（Ｓｔｅｐ０２：Ｙｅｓ）、処理を終了する。

（Ｓｔｅｐ０３）
制御部４０は、撮像部３０により、撮像画像としての物体画像（RGB）を取得する。

（Ｓｔｅｐ０４）
制御部４０は、物体画像（RGB）と背景部のみの背景画像との差分画像を生成する背景差分法による差分画像生成部４１において、背景画像と物体画像（RGB）からRGBの差分を取得する。

（Ｓｔｅｐ０５）
制御部４０は、撮像画像としての物体画像（RGB）から、グレースケール画像、Ｒ、Ｇ、Ｂ、Ｈ、Ｓ、Ｖの各色空間画像を生成し、それぞれ生成した色空間画像のヒストグラムパターンの評価値に基づいて利用する寸法測定画像を選択する画像選択部４２において、差分画像をグレースケール画像に変換する。

（Ｓｔｅｐ０６）
また、制御部４０は、画像選択部４２において、差分画像から、Ｒ，Ｇ，Ｂの各要素のみを抽出した色空間画像を各々生成する。

（Ｓｔｅｐ０７）
同様にして、制御部４０は、画像選択部４２において、背景と物体画像をHSVに各々変換し、差分を取得することにより、差分画像から、Ｈ，Ｓ，Ｖの各要素のみを抽出した色空間画像を各々生成する。

（Ｓｔｅｐ０８）
制御部４０は、画像選択部４２において、グレースケール、Ｒ要素，Ｇ要素、Ｂ要素、Ｈ要素、Ｓ要素、Ｖ要素の７つの色空間画像（グレー画像、Ｒ画像、Ｇ画像、Ｂ画像、Ｈ画像、Ｓ画像、Ｖ画像）について、ヒストグラムパターン評価を行ない、利用する寸法測定画像を選択して、決定する。

（Ｓｔｅｐ０９）
制御部４０は、外接矩形計測部４３において、決定した色空間画像、すなわち、グレー画像、Ｒ画像、Ｇ画像、Ｂ画像、Ｈ画像、Ｓ画像、Ｖ画像の中から選択、決定された色空間画像に対して、フィードバック制御によるスレッシュホールドの最適化を行った外接矩形を求める。

（Ｓｔｅｐ１０）
制御部４０は、登録キーが押下されたかどうかを判断する。登録キーは、制御部４０が有する操作キーでも、外部において制御信号Ｓ_Ｃを生成するための外部操作キーでもよい。制御部４０は、登録キーが押下されたかどうかを判断し、登録キーが押下されない場合はＳｔｅｐ０２へ戻って処理を続行し（Ｓｔｅｐ１０：Ｎｏ）、登録キーが押下された場合はＳｔｅｐ１１へ進む（Ｓｔｅｐ１０：Ｙｅｓ）。

（Ｓｔｅｐ１１）
制御部４０は、データ登録を行ない、Ｓｔｅｐ０２へ戻って処理を続行する。

（差分画像生成部４１による差分画像生成の動作）
差分画像生成部４１による差分画像生成の動作は、図４で示したＳｔｅｐ０４により実行される。差分画像生成部４１は、計測対象物１０のテクスチャ(模様)の影響を軽減するための背景差分法を実行する。本実施の形態では、背景部２０にパターン模様を持たせることで、計測対象物１０が背景に同化し、認識できないという事象を回避することができる。

図５（ａ）～（ｃ）は、差分画像生成部により背景差分法で計測対象物を抽出する手順を順に説明するための画像の図であり、図５（ａ）は、計測対象物と背景部が撮影された物体画像であり、図５（ｂ）は、背景部のみが撮影された背景画像であり、図５（ｃ）は、計測対象物が抽出された差分画像である。

制御部４０は、差分画像生成部４１において、図５（ａ）に示す物体画像（RGB）２０１と、図５（ｂ）に示す背景部のみの背景画像２０２から、差分をとることにより、図５（ｃ）に示す差分画像２０３を抽出する。なお、差分画像２０３には、背景部のパターン模様との差分を取ることにより、色の変化や、テクスチャが現れるが、サイズ計測という目的からは、このパターンの表出は問題にならない。

差分画像生成部４１による差分画像の生成により、背景部のパターン模様を消去し、計測対象物１０の画像のみを浮き上がらせることができる。これにより、計測対象物１０が背景に同化し、コンピュータが計測対象物１０を認識できないという事象は回避することができる。

（画像選択部４２による画像選択、決定の動作）
画像選択部４２による画像選択、決定の動作は、図４で示したＳｔｅｐ０５からＳｔｅｐ０８により実行される。

本実施の形態で扱う計測対象物１０のサイズ測定において、もっとも重要なことは如何に背景部２０と計測対象物１０の境界を精度良く認識するかにある。背景部２０だけの画像と計測対象物１０の映った撮像画像の差分を取ることで、理論的には背景部分は全くエネルギーを持たない黒の状態になり、物体の存在する部分は、物体の色や明るさに応じた何らかのエネルギーを持った状態になる。これを、エネルギー強度(ピクセルの持つ輝度値）を横軸に、画像の中でのピクセル数を縦軸に取ったヒストグラムで表すと、図６（ａ）のような形状になる。このヒストグラムは、物体の色や明るさの影響を受けるため、図６（ｂ）に示すようにカラーカメラで撮った撮像画像（RGB）からRGBの差分をとり、その３つの値から直接グレースケールに変換した場合と、差分のRGBの中から、Ｒ、Ｇ、Ｂの各要素を各々独立して抽出した場合を示す図６（ｃ）～図６（ｅ）とでは、その形状が異なる。また、図示は省略するが、カラーカメラで撮った撮像画像（RGB）からＨ、Ｓ、Ｖの各要素を各々独立して抽出した場合においてもその形状が異なる。したがって、背景部２０と計測対象物１０の分離処理では、使う画像（RGBグレー画像、Ｒ画像、Ｇ画像、Ｂ画像、Ｈ画像、Ｓ画像、Ｖ画像）によって精度が異なってくる。

ここで、撮像部３０により取得された、撮像画像としての物体画像（RGB）は、各ピクセル（画素）は、Ｒ（赤Red)、Ｇ（緑Green）、Ｂ（青Blue）の成分を有している。ピクセルの成分ＲＧＢの内、ＧとＢを０にして、赤み成分Ｒのみが残った画像として生成された色空間画像をＲ画像という。同様に、Ｇのみが残った画像として生成された色空間画像をＧ画像、Ｂのみが残った画像として生成された色空間画像をＢ画像という。また、背景画像（RGB）、物体画像（RGB）を、各々HSV画像に変換し、色相(Hue)のみが残った画像として生成された色空間画像をＨ画像という。同様に、彩度(Saturation・Chroma)のみが残った画像として生成された色空間画像をＳ画像、明度(Value・Brightness)のみが残った画像として生成された色空間画像をＶ画像という。

図７（ａ）に示すように、ヒストグラムにおける、背景の山（Ｐ１部分）と物体による山（Ｐ２部分）が明確に判別できるヒストグラムのほうが高い精度で分離できる。実際の分離における評価は、図７（ｂ）～図７（ｄ）に示すようにいくつかの評価を行った値を、総合的な評価値に合成し、その合成値の最も高い値を持つ画像（イメージ）を採用する。

実際の評価値の算出方法としては、図７（ｂ）に示すように、２値化分離スレッシュホールドが規定値以上かどうかを評価する。ヒストグラムを物体と背景に分離する最初の段階として、最初に大津の２値化処理により、まず、初期の分離スレッシュホールドを得る。この結果、図７（ｂ）に示すように、スレッシュホールドの値がピクセル輝度値の０に近い場合は、分離が上手くできない。したがって、このような場合には評価値は０とする。

ここで、大津の２値化処理とは、自動的に閾値Ｔ（スレッシュホールド）を決定して２値化処理を行う手法の１つである。この手法では、閾値Ｔでヒストグラムを２つのクラスに分け、２つの分散から、分離度Ｓ（クラス内分散とクラス間分散の比）を求めて、分離度が最大になるときの閾値Ｔを２値化処理に用いる閾値に決定する、というものである。

また、オブジェクトによる変化分ピクセル数の積分結果を評価する。ヒストグラムにおける初期のスレッシュホールドより右の部分は物体によって生じた画像の差分に伴うピクセルの変化分である。図７（ｃ）に示すように、この部分の面積が大きいほうが分離は行い易い。したがって、この部分を積分し、求めた面積を評価値の一つとする。

また、背景の山と、物体の山の間に生じる谷の深さによる評価を行なう。ヒストグラムにおける背景の山と、物体の山の間に生じる谷の部分は物体と背景を分離する場合に分離の難しいピクセル（エネルギーを中途半端に持ったピクセル）の量になる。したがって、図７（ｄ）に示すように、この谷が低い位置まで下がっているほうが、物体と背景の分離は明確に行える。この谷の最低値も評価値の一つとする。

以上の評価方法により、スレッシュホールドが大きく、オブジェクトよる変化分が大きく、かつ、背景の山と物体の山に生じる谷の最低値がより低いイメージを物体の輪郭抽出用の画像、寸法測定画像として選択する。実際には、ＲＧＢからの派生に加え、人間の色感覚に近いＨＳＶに変換した各々の要素値も使い、ＲＧＢグレー、Ｒ、Ｇ、Ｂ、Ｈ、Ｓ、Ｖの７種類の色空間画像を評価する。

上記の処理は、図４で示したＳｔｅｐ０８のサブルーチン、関数として処理される。上記の処理を実行して、決定された選択画像に対応する値を戻り値として返す動作を、図８に示すフローチャートで説明する。

（ヒストグラムパターンの評価動作）
図８は、図４で示したＳｔｅｐ０８のサブルーチン、関数として処理する場合のものであって、撮像画像から、グレースケール，Ｒ要素，Ｇ要素、Ｂ要素，Ｈ要素，Ｓ要素，Ｖ要素の７つの画像について、ヒストグラムパターン評価を行ない、利用する画像を決定する画像選択部の動作を示すフローチャートである。

（Ｓｔｅｐ８１）
処理が開始されると、制御部４０は、画像選択部４２において、画像をヒストグラム(輝度とピクセル数）に変換する。

（Ｓｔｅｐ８２）
大津の２値化により、ヒストグラムを背景と物体に分離し、結果の２値化画像とスレッシュホールドを取得する。

（Ｓｔｅｐ８３）
ヒストグラムのうち、スレッシュホールドより大きい部分(物体部分)を積分し、物体部分の面積を求める。

（Ｓｔｅｐ８４）
ヒストグラムの最初の山(背景)と２つ目の山(物体）の間にある谷の部分の最低値(分離最低値)を求める。

（Ｓｔｅｐ８５）
スレッシュホールドと、物体部分の面積、分離最低値をもとに、画像の評価値を決定する。

（Ｓｔｅｐ８６）
制御部４０は、画像選択部４２において、画像（RGBグレー画像、Ｒ画像、Ｇ画像、Ｂ画像、Ｈ画像、Ｓ画像、Ｖ画像）がまだあるかどうかを判断する。画像がある場合は、次の画像をセットしてＳｔｅｐ８１に戻って処理を続行し（Ｓｔｅｐ８６：Ｙｅｓ）、画像がない場合は、Ｓｔｅｐ８７へ進む（Ｓｔｅｐ８６：Ｎｏ）。

（Ｓｔｅｐ８７）
制御部４０は、画像選択部４２において、評価値の最も高い画像を選択する。

（Ｓｔｅｐ８８）
制御部４０は、選択画像に対応する値を戻り値として、リターン動作を実行し、図４で示す、Ｓｔｅｐ０８に戻る。

（外接矩形計測部４３による外接矩形計測の動作）
外接矩形計測部４３による外接矩形計測の動作は、図４で示したＳｔｅｐ０９により実行される。

実際に撮影した計測対象物１０の画像では、差分を取った後の画像でも、物体の周りに影の影響で淡い変化が見られる。このため、単純にヒストグラムを使った背景部２０と計測対象物１０の分離では、この淡い変化分も計測対象物１０の一部として認識されてしまう。

図９（ａ）、（ｂ）は、最適なスレッシュホールドの値を決定するための方法を説明する図である。上記のことを避けるため、図９（ａ）に示すように、スレッシュホールドを背景の山と、物体の山の間にある谷の最低値の中間位置（Ａ位置）から、物体の山の終わりまでの位置（Ｂ位置）で変化させ、最適なスレッシュホールドの値を決定する。スレッシュホールドを動かすと、物体のサイズを示す矩形は、図９（ｂ）に示すように、Ａ位置では、物体の全体と影を含む大きな矩形の状態になり、Ｂ位置の近くでは、物体のピクセルのうち、大部分は背景として分離された小さな矩形になる。

図１０（ａ）～（ｃ）は、ピクセル輝度値を等分に分割し、その分割位置による外接矩形のサイズを計測することにより最適なスレッシュホールドの値を決定する方法を説明する図である。最適なスレッシュホールド位置に対する評価は、図１０（ａ）に示すように、Ａ位置からＢ位置までの間を、等分に分割し、その分割位置による外接矩形のサイズを計測することにより行う。各位置で外接矩形の長辺と短辺の変化は、図１０（ｂ）に示すように、スレッシュホールドの変化に対し、大きく変化する位置（物体の外形を外れ、微妙な画像変化の影響を顕著に受ける区間）と、図１０（ｃ）に示すように、あまり変化しない場所（物体の外形に接し、淡い変化分に従い緩やかにサイズが変化する部分）が存在する。したがって、最適なスレッシュホールド位置は、図１０（ｃ）に示すように、測定値の変化が少ない区間の中央（平均）の値を採用する。このようにすることで、物体による影の影響を抑え、より物体の外形に近い位置に外接矩形をフィットさせることができる。

（フィードバック制御による最適なスレッシュホールド値の決定動作）
図１１は、図４で示したＳｔｅｐ０９をサブルーチン、関数として処理する場合のものであって、決定した画像に対してフィードバック制御によるスレッシュホールドの最適化を行った外接矩形を求める動作を示すフローチャートである。

（Ｓｔｅｐ９１）
処理が開始されると、制御部４０は、外接矩形計測部４３において、ヒストグラムの最初の山(背景)の頂点とスレッシュホールド位置の中間値から、物体の山の終端までの間を評価数で等分し、スレッシュホールドとしてのピクセル輝度値を求める。

（Ｓｔｅｐ９２）
スレッシュホールドとしてのピクセル輝度値を基準に画像を分離し、２値化する。

（Ｓｔｅｐ９３）
２値化した画像を基に、最も外側になる輪郭に対し、外接矩形(回転含む)を求める。外接矩形(回転含む)を求めるために、エッジ抽出、ノイズフィルタリング、輪郭抽出、最大輪郭選択、外接矩形取得を実行する。これらの処理は、本実施の形態ではプログラム言語としてＰｙｔｈｏｎ環境で行なうので、例えば、ＯｐｅｎＣＶモジュールとして、ライブラリ化、関数化されており、これらを利用することができる。

（Ｓｔｅｐ９４）
外接矩形の長辺、短辺の長さを評価値として登録する。

（Ｓｔｅｐ９５）
制御部４０は、外接矩形計測部４３において、評価位置をすべて処理したかを判断する。評価位置をすべて処理した場合は、Ｓｔｅｐ９６へ進み（Ｓｔｅｐ９５：Ｙｅｓ）、評価位置をすべて処理していない場合は、次の画像をセットしてＳｔｅｐ９２に戻って処理を続行する（Ｓｔｅｐ９５：Ｎｏ）。

（Ｓｔｅｐ９６）
取得した長辺、短辺のスレッシュホールド位置での長さ情報を基に、各々の安定区間を抽出する。

（Ｓｔｅｐ９７）
長辺、短辺の各々の安定位置の重なった位置を抽出し、最適スレッシュホールド位置をその真ん中に設定する。

（Ｓｔｅｐ９８）
制御部４０は、外接矩形計測部４３において、決定したスレッシュホールドで外接矩形を求める。

（Ｓｔｅｐ９９）
制御部４０は、外接矩形に対応する値を戻り値として、リターン動作を実行し、図４で示す、Ｓｔｅｐ０９に戻る。

（辺の長さリストからの安定区間の決定動作）
図１２は、図１１で示したＳｔｅｐ９６をサブルーチン、関数として処理する場合のものであって、取得した長辺、短辺のスレッシュホールド位置での長さ情報を基に、各々の安定区間を抽出する動作を示すフローチャートである。また、図１３（ａ）～（ｉ）は、辺の長さリストからの安定区間の決定動作の一例を各区間の処理毎に説明するための図である。

（Ｓｔｅｐ９６１）
制御部４０は、初期のスレッシュホールド位置を基に、開始区間を設定する。図１３（ａ）に示すように、例えば、初期スレッシュホールドの入るＳ２区間から開始する。

（Ｓｔｅｐ９６２）
制御部４０は、区間の前後における辺の長さ変化を求める。図１３（ｂ）～図１３（ｈ）に示すように、区間の前後における辺の長さ変化を求める。

（Ｓｔｅｐ９６３）
制御部４０は、変化値がいずれも許容範囲を超えるかどうかを判断する。変化値がいずれも許容範囲を超えない場合は、Ｓｔｅｐ９６５へ進み（Ｓｔｅｐ９６３：Ｎｏ）、変化値がいずれも許容範囲を超える場合は、Ｓｔｅｐ９６４へ進む（Ｓｔｅｐ９６３：Ｙｅｓ）。

（Ｓｔｅｐ９６４）
図１３（ａ）～（ｉ）に示す処理を実行して安定区間を出力した場合、制御部４０は、安定区間に対応する値を戻り値として、リターン動作を実行し、図１１で示す、Ｓｔｅｐ９６に戻る。

（Ｓｔｅｐ９６５）
制御部４０は、変化の小さい側に区間を延伸する。例えば、図１３（ｂ）に示す例では、Ｄ１よりＤ３が小さいためＤ３側に伸延する。

（Ｓｔｅｐ９６６）
制御部４０は、区間の両端にあたる部分の変化値を計算する。

（Ｓｔｅｐ９６７）
制御部４０は、どちらかの変化が許容範囲を超えるかどうかを判断する。どちらかの変化が許容範囲を超える場合は、Ｓｔｅｐ９６８へ進み（Ｓｔｅｐ９６７：Ｙｅｓ）、どちらかの変化が許容範囲を超えない場合は、Ｓｔｅｐ９６２に戻って処理を続行する（Ｓｔｅｐ９６７：Ｎｏ）。

（Ｓｔｅｐ９６８）
制御部４０は、大きな変化を起こす側の区間を削除(短縮)する。例えば、図１３（ｃ）に示す例では、伸延とは逆側のＤ２が誤差範囲を超えているためＳ２区間を削除して短縮する。制御部４０は、Ｓｔｅｐ９６２に戻って処理を続行する。

上記示したような一連の動作により、本実施の形態に係る物体計測装置１は、一般に物流で流れる様々な商品（箱状、袋状、円筒など）である不特定の計測対象物の外形サイズ（幅Ｗ、奥行きＤ、正確には回転角を持つ外接矩形）を計測することが可能になる。特に、背景部は、パターン模様を有している構成とされていることから、計測対象物の外観が、任意の形状、任意の色、又は、任意のテクスチャを有する不特定物であっても寸法計測が可能となる。

また、撮像画像から、グレースケール画像、Ｒ、Ｇ、Ｂ、Ｈ、Ｓ、Ｖの各色空間画像を生成し、それぞれ生成した色空間画像のヒストグラムパターンの評価値に基づいて利用する寸法測定画像を選択する画像選択部を有する構成としていることから、最適な色空間画像を使用して、スレッシュホールド位置を決定し、外接矩形計測を実行することが可能となる。

（第１の実施の形態の効果）
図１４（ａ）は、パターン模様を有しない単色の背景部に計測対象物を載置した場合の一例を示す図であり、図１４（ｂ）は、本願発明に係るパターン模様の背景部に計測対象物を載置した場合の一例を示す図である。図１４（ａ）の場合は、背景２０５が単色であり、計測対象物２０７である物体の輪郭付近２０８の色が同色、近似する色、又は、近似する輝度を有する色である。このような場合、スレッシュホールドの設定が難しく、計測対象物２０７である容器の縁の輪郭付近２０８が背景に同化し、ラベル２０９のみが検出され、正しい輪郭を検出できないことがある。これに対して、図１４（ｂ）に示すような本実施の形態では、計測対象物２０７である容器の少なくとも一部の縁が輪郭抽出可能であり、複数色パターンを使った輪郭消失の抑止効果が期待できる。

背景部２０と計測対象物１０の分離処理では、使う画像（例えば、RGBグレー画像、Ｒ画像、Ｇ画像、Ｂ画像、Ｈ画像、Ｓ画像、Ｖ画像等）によって分離の精度が異なってくるという問題がある。本実施の形態において、画像選択部４２は、撮像画像から変換した複数の異なる色空間画像を、それぞれから生成した色空間画像のヒストグラムパターンの評価を行なう。これにより、スレッシュホールドが大きく、オブジェクトよる変化分が大きく、かつ、背景の山と物体の山に生じる谷の最低値がより低いイメージを物体の輪郭抽出用の画像、寸法測定画像として選択することができる。上記示した画像選択の動作において、撮像画像は、パターン模様の背景部に計測対象物を載置した場合に限られず、単色の背景部に計測対象物を載置した場合においても、物体の輪郭抽出の精度を向上させることができる。

実際に撮影した計測対象物１０の画像では、差分を取った後の画像でも、物体の周りに影の影響で淡い変化が見られ、単純にヒストグラムを使った背景部２０と計測対象物１０の分離では、この淡い変化分も計測対象物１０の一部として認識されてしまうという問題がある。本実施の形態では、外接矩形計測部４３は、計測対象物に対してスレッシュホールド値を変化させて得られる、複数のサイズの外接矩形のうち、スレッシュホールドの変化に対し、サイズ変化の少ない区間（安定区間）を選択する。最適なスレッシュホールド位置として、図１０（ｃ）に示すように、測定値の変化が少ない区間の中央（平均）の値を採用することで、物体による影の影響を抑え、より物体の外形に近い位置に外接矩形をフィットさせることができる。

〔本発明の第２の実施の形態〕
図１５（ａ）は、本発明の第２の実施の形態に係る計測装置１００の構成を示す構成概略図であり、図１５（ｂ）は、本発明の第２の実施の形態に係る計測装置１００を構成する構成要素の接続関係を示すブロック構成図である。第２の実施の形態では、計測装置１００は、計測対象物１０の重量を計測する重量計測部１２５と、撮像部１３０が深度（高さＨ）情報の取得も可能な３Ｄカメラを備えている。これにより、計測対象物１０の重量、及び、形状寸法（幅Ｗ、奥行きＤ、高さＨ）が計測可能となる。

図１５（ａ）、（ｂ）に示すように、背景部２０は、重量計測部１２５の上面に設置されている。計測対象物１０は、重量計測部１２５の上面に載置されて、重量を計測されると共に、パターン模様を背景として撮像部１３０により撮像される。重量計測部１２５は、制御部４０に接続されており、重量の計測制御、重量計測値の入出力が可能である。

撮像部１３０は、深度情報も取得可能なカメラである。例えば、撮像部１３０は、ＴＯＦカメラ（トフカメラ、Time-of-Flight Camera）が使用できる。ＴＯＦカメラは、被写体に対して照射したパルス光の反射時間を画素毎に計測することで三次元的な情報を計測できる。これにより、計測対象物１０の重量、及び、形状寸法（幅Ｗ、奥行きＤ、高さＨ）が計測可能となる。

制御部４０は、差分画像生成部４１、画像選択部４２、外接矩形計測部４３の処理を実行すると共に、重量計測部１２５、撮像部１３０の制御も行なう。したがって、計測装置１００においては、計測対象物１０の重量計測、容積の算出を行なうことが可能となる。

なお、上記示した撮像部１３０による深度情報を含めた情報以外に、計測対象物１０の温度、色等の種々の情報取得を行なう各種センサーによる情報に基づいて計測を行なうことも可能である。その他の構成は、第１の実施の形態と同様である。

本発明の第２の実施の形態によれば、計測装置１００は、計測対象物１０の重量を計測する重量計測部１２５と、撮像部１３０が深度（高さＨ）情報の取得も可能な３Ｄカメラを備えているので、物流における商品の外径寸法（幅Ｗ、奥行きＤ、高さＨ）、及び重量が計測可能となる。これにより、計測装置１００は、保管管理、輸送管理等の物流管理に適用可能となる。

以上、本発明の実施の形態を説明したが、本発明は、上記の実施の形態に限定されず、発明の主旨を逸脱しない範囲内において種々変形実施が可能である。また、上記の実施の形態は特許請求の範囲に係る発明を限定するものではない。また、実施の形態の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない点に留意すべきである。

１…物体計測装置、計測対象物１０…、２０…背景部、２５…載置台、３０…撮像部、４０…制御部、４１…差分画像生成部、４２…画像選択部、４３…外接矩形計測部、８０…照明装置
１００…計測装置、１２５…重量計測部、１３０…撮像部

Claims (7)

1. 撮像時に計測対象物の背後に配置される背景部と、
   前記計測対象物の画像を取得する撮像部と、
   前記撮像部により取得した撮像画像に基づいて、前記計測対象物の計測処理を実行する制御部と、を有し、
   前記背景部は、パターン模様を有している、物体計測装置。
2. 前記制御部は、前記撮像画像と前記背景部のみの背景画像との差分画像を生成する背景差分法による差分画像生成部を有する、請求項１に記載の物体計測装置。
3. 前記制御部は、前記撮像画像から変換した複数の異なる色空間画像を、それぞれから生成した色空間画像のヒストグラムパターンの評価値に基づいて利用する寸法測定画像を選択する画像選択部を有する、請求項１又は２に記載の物体計測装置。
4. 前記制御部は、前記画像選択部により選択された色空間画像である前記寸法測定画像を使用して外接矩形計測を行なう外接矩形計測部を有する、請求項３に記載の物体計測装置。
5. 前記外接矩形計測部は、前記計測対象物に対してスレッシュホールド値を変化させて得られる、複数のサイズの外接矩形のうち、スレッシュホールドの変化に対し、サイズ変化の少ない区間を選択する、請求項４に記載の物体計測装置。
6. 前記パターン模様は、２色のチェック模様である、請求項１から５のいずれか１項に記載の物体計測装置。
7. 請求項１に記載の物体計測装置と、
   前記計測対象物の重量を計測する重量計測部と、を有し、
   前記撮像部は、深度情報も取得して、前記計測対象物の計測を行なう、計測装置。
   

Images