JP2021076559A - 画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】段ボール箱等に貼られたテープに生じた種々の態様の皺や、貼り位置のずれを、撮影画像に基づいて検出可能な画像処理装置及び、画像処理方法を提供する。【解決手段】第一部材と第二部材の閉じ目に貼付されたテープ２０２を含むように撮像された画像を取得し、画像の各部のコントラスト比を算出し、閉じ目の部分のコントラスト比を用いて、貼り付けられた前記テープの状態を検出する。第一部材と第二部材の閉じ目に貼付されたテープを含むように撮像された画像を取得する画像取得部１０５と、画像取得部が取得した画像の各部のコントラスト比を算出するコントラスト比検出部１０９と、コントラスト比検出部が算出した閉じ目の部分のコントラスト比を用いて、貼り付けられたテープの状態を検出する貼り付け不具合検出部１０３と、を備える。【選択図】図１

Description

本発明は、例えば、段ボール等の素材にテープを貼り付けて箱を組み立てる際に、貼り付けたテープの状態を検出するのに用いられる画像処理装置、画像処理方法に関する。

段ボール等を素材とする箱の自動組立においては、フラップ折り畳み専用治工具やロボットハンドを備えた製函機が一般に使用されている。製函機の中には、段ボールの折り曲げや組立だけでなく、段ボール箱を閉じる為のテープ貼り付け作業まで自動で行う装置がある。テープ貼り付け作業を可能にするには、製函機に専用の機構を設ける。

例えば、フラップ折り畳み専用治工具を用いる製函機であれば、段ボール箱を移動させるコンベヤの上方に市販のテープ貼り機を配置し、製函機に組込んでテープ貼りを行う。具体的には、段ボール箱がコンベヤを移動してきた時にテープ貼り機を箱に押し当て、テープは固定させ、箱を移動させて貼り付けを行う。

また、例えば特許文献１に記載されたように、ロボットハンドを用いる製函機であれば、ロボットハンドに小型テーピングユニットを搭載し、テープ貼りを行う。すなわち、箱を固定させ、ロボットハンドを用いてテープを移動させながら貼り付けを行う。

しかし、フラップ折り畳み専用治工具やロボットハンドの動作精度が不十分な場合や、テープ貼り機やテーピングユニットの動作精度が経年劣化等により低下した場合には、テープの貼り付けに不具合が生じる場合がある。例えば、前者の場合であれば、段ボールの両側のフラップを閉じた際に、閉じ目部分に高さ方向のがたつきが生じてテープの貼り付けに不具合が生じる。また、後者の場合であれば、例えばテープの張架の制御が不十分な状態で段ボールに貼り付けられるため、テープに皺が発生したり段ボールの閉じ目に対して斜行したりする不具合が生じる。
テープの貼り付けに不具合が生じた段ボール箱は、不良品として除外する必要があるとともに、不具合の再発を防止するための手段を製函機に対して講じる必要がある。そこで、テープの貼り付け状態の良否を自動的に判定する貼り付け不具合検出システムが求められている。

特許文献２には、テープやフィルムの表面に生じた皺を検出するシステムが提案されている。すなわち、撮像部と画像処理部を備え、被写体に照明を当ててビデオカメラもしくはラインセンサー等の撮像手段を用いて撮影を行うが、照明をあてることでテープ表面上に生じた皺の輝度濃淡を明確にするものである。
図９（ａ）〜図９（ｃ）を参照して、製函機の貼り付け不具合検出システムに、特許文献２に記載された皺の判定方法を適用した場合について説明する。

まず、図９（ａ）は、組み立てられた段ボール箱の一部、すなわち閉じられた２つのフラップ２０１の閉じ目２０３の上にテープ２０２が貼られた部分を、特許文献２に記載された撮像手段を用いて上から撮影した画像を模式的に表している。また、図９（ｂ）は、この段ボール箱を側面から観察した図である。
図９（ａ）において閉じ目２０３の周辺に見える曲線は、テープ２０２の表面上に発生した皺を表している。図９（ａ）、図９（ｂ）に示す態様でテープ表面に生じた皺を、テープ皺９０４と呼ぶ。尚、テープ皺は、後に図１０（ａ）、図１０（ｂ）を参照して説明するたるみ皺とは、類型が異なる皺である。テープ皺９０４は、平面視ではＸＹ方向に不規則に走行し、側面視では高さＨが不規則に突出した山脈状の形態である。そのため、照明をあてると不規則な形状のテープ皺９０４によって入射光が乱反射され、上方から視た時にテープ皺９０４の部分で輝度変化（濃淡）が発生する。

図９（ｃ）は、特許文献２が備える画像処理部が、撮影画像に対して行う画像処理を説明するための図で、Ｘ方向に沿って一次元の微分処理を行うことにより、濃淡の変化が数値化される。Ｘ軸と平行な微分処理線に沿って微分処理を行いながら、微分処理線をＹ方向に走査して画像全域の処理を行う。テープ皺９０４が形成されていない位置における微分処理線９０５ａでは、ほとんど濃淡には変化が生じない。しかし、テープ皺９０４が存在する位置における微分処理線９０５ｂでは、Ｘ方向に濃淡の輝度変化があるため、数値に変化が生じる。その数値変化が閾値より大きい場合、貼り付け不具合検出システムはテープ皺９０４が有ると判定する。

特開２０１４−８２３号公報 特開平４−３０５１４５号公報

特許文献２に記載された方法を適用した製函機の貼り付け不具合検出システムであれば、平面視ではＸＹ方向に不規則に走行し、側面視では高さＨが不規則な山脈状に突出した形状を有するテープ皺を検出するのには一定の効果がある。
しかし、特許文献２に記載された方法では、テープ皺とは異なる類型の皺（以下、たるみ皺と記す）に対しては、検出感度が不十分であった。

図１０（ａ）、図１０（ｂ）を参照して、たるみ皺について説明する。たるみ皺とは、テープ皺のように平面視でＸＹ方向に不規則に走行し、側面視では高さＨが不規則な山脈状に突出した皺ではなく、平面視では幅方向の全幅にわたり、側面視では高さが略一定の尾根を形成するように膨らんだ皺を指す。テープが長手方向においてたるんだ状態で段ボールに貼られたため、テープの一部領域において幅方向（短手方向）の全幅が段ボールから浮いている状態である。

図１０（ａ）は、閉じられた２つのフラップ２０１の閉じ目２０３の上にテープ２０２が貼られた部分を、撮像手段を用いて上方から撮影した画像を模式的に表しており、Ｘ方向に沿ってたるみ皺２０４が形成された状態を示している。図１０（ｂ）は、この段ボール箱を側面から観察した図である。たるみ皺２０４は、フラップ２０１よりも高さＨだけ突出した略かまぼこ形状の膨らみとなる。たるみ皺の高さＨは、テープ幅、テープ厚と、テープを引く張力の関係に依存して決まる。十分な張力で引けば、高さは０（つまり、たるみ皺は形成されない）であるが、張力が不足すると、たるみ皺が生じる。例えば、幅６５ｍｍのビニールテープを使用すると、３．４ｍｍ程度までの高さをもつたるみ皺が生じる場合がある。

図１０（ａ）に示すように上方から撮影した場合、テープ皺９０４と異なり、照明を当ててもたるみ皺２０４では乱反射が起きないため、Ｘ方向に沿って画像を走査しても濃淡の変化が小さい。そのため、特許文献２による微分処理で濃淡の変化を読み取っても、変化量が小さいため、たるみ皺を検出することは困難であった。

また、特許文献２に記載された方法を製函機の貼り付け不具合検出システムに適用しても、段ボールの閉じ目に対してテープが斜行しながら貼られた場合に生ずる貼り位置ずれを検出することはできなかった。

そこで、段ボール箱等に貼られたテープに生じた種々の態様の皺や、貼り位置のずれを、撮影画像に基づいて検出可能な画像処理装置、画像処理方法が求められていた。

本発明の第一の態様は、第一部材と第二部材の閉じ目に貼付されたテープを含むように撮像された画像を取得し、前記画像の各部のコントラスト比を算出し、前記閉じ目の部分のコントラスト比を用いて、貼り付けられた前記テープの状態を検出する、ことを特徴とする画像処理方法である。

本発明の第二の態様は、第一部材と第二部材の閉じ目に貼付されたテープを含むように撮像された画像を取得する画像取得部と、前記画像取得部が取得した画像の各部のコントラスト比を算出するコントラスト比検出部と、前記コントラスト比検出部が算出した前記閉じ目の部分のコントラスト比を用いて、貼り付けられた前記テープの状態を検出する貼り付け検出部と、を備えることを特徴とする画像処理装置である。

本発明の第三の態様は、第一部材と第二部材の閉じ目にテープを貼付する作業を行うロボットと、第一部材と第二部材の閉じ目に貼付されたテープを含むように撮像された画像を取得する画像取得部と、前記画像取得部が取得した画像の各部のコントラスト比を算出するコントラスト比検出部と、前記コントラスト比検出部が算出した前記閉じ目の部分のコントラスト比を用いて、貼り付けられた前記テープの状態を検出する貼り付け検出部と、を備えることを特徴とするロボットシステムである。

本発明の第四の態様は、撮像部と、第一部材と第二部材の閉じ目に貼付されたテープを含むように撮像された画像を前記撮像部から取得する画像取得部と、前記画像取得部が取得した画像の各部のコントラスト比を算出するコントラスト比検出部と、前記コントラスト比検出部が算出した前記閉じ目の部分のコントラスト比を用いて、貼り付けられた前記テープの状態を検出する貼り付け検出部と、を備えることを特徴とする撮像装置である。

本発明は、段ボール箱等に貼られたテープに生じた種々の態様の皺や、貼り位置のずれを、撮影画像に基づいて検出可能な画像処理装置、画像処理方法を提供する。

（ａ）実施形態に係る画像処理装置が備える機能ブロックの構成を示す機能ブロック図。（ｂ）ビジョンの設置位置を示す側面図。 たるみ皺が発生したテープ貼付部を、上から撮影した画像を示す模式図。 （ａ）コントラスト比の計算方法を説明するための図。（ｂ）たるみ皺がある場合のコントラスト比の変化の一例を示す図。 たるみ皺の有無を判定する手順を示すフローチャート。 たるみ皺の有無を判定する別の手順を示すフローチャート。 取得した画像から正常コントラスト比を推測する手順を示すフローチャート。 ずれ貼りが生じた状態を上から撮影した画像を模式的に示す図。 ずれ貼りの有無を判定する処理のフローチャート。 （ａ）組み立てられた段ボール箱のテープ貼付部を、上から撮影した画像を示す図。（ｂ）段ボール箱を側面から観察した図。（ｃ）従来の画像処理を説明するための図。 （ａ）たるみ皺が発生したテープ貼付部を、上から撮影した画像を示す模式図。（ｂ）たるみ皺が発生したテープ貼付部を側面から観察した図。 実施形態に係る画像処理装置のハードウェア構成の模式図。 実施形態に係る画像処理装置と、ロボットハンドを備えたロボットとを組み合わせたロボットシステムの構成を示す模式図。

図面を参照して、本発明の実施形態である画像処理装置、画像処理方法について説明する。実施形態の画像処理装置、画像処理方法は、段ボールを素材とする箱に対するテープの貼り付け具合の良否を検出する。ただし、これは例示であり、箱の素材は段ボールには限らない。また、テープの貼り付け具合の良否を検出する対象は箱には限られず、テープを用いて組み立てや封止等がなされた物のテープ貼付部の検査に広く適用することができる。
尚、以下の説明において参照する図面では、特に但し書きがない限り、同一の参照番号を付して示す要素は、同一の機能を有するものとする。

［機能ブロック構成］
図１（ａ）は、実施形態の画像処理装置が備える機能ブロックの構成を示す機能ブロック図である。実施形態の画像処理装置は、検査対象物である段ボール箱のテープ貼付部を撮影した画像データに基づいて、種々の態様でテープに生じた皺の有無や、貼り位置のずれの有無を検出する。

画像処理装置１０２は、外部機器とのインターフェース部分である外部ＩＦ１０４を備えており、外部ＩＦ１０４を介して、ビジョン１０１および照明装置１１０と接続されている。
ビジョン１０１は、具体的にはＣＭＯＳセンサやＣＣＤを撮像素子として備えたデジタルカメラであり、図１（ｂ）に示すように、段ボール箱のフラップ２０１の閉じ目、およびそこに貼られたテープ２０２の周辺を撮像可能な位置に設置されている。照明装置１１０は、図１（ｂ）では不図示であるが、テープ２０２の貼付位置周辺をビジョン１０１で撮影する際に、フラップの閉じ目や、テープに生じた皺や、ダンボールとテープの境界で画像のコントラストが際立つように撮影位置を照明する。撮像画像は、階調画像であれば、カラー、モノクロのいずれでもよい。

画像処理装置１０２は、外部ＩＦ１０４を介して制御信号をビジョン１０１、照明装置１１０に送信して動作を制御するとともに、外部ＩＦ１０４を介してビジョン１０１が撮像した画像データ（多階調のデジタル信号）を受信することができる。
画像処理装置１０２は、受信した画像データを格納するためのメモリである画像取得部１０５を備えており、画像取得部１０５に格納された画像データに対しては、貼り付け不具合検出部１０３において各種の画像処理が行われる。

貼り付け不具合検出部１０３は、輝度変化検出部１０７、フラップ閉じ目コントラスト比検出部１０８、およびテープ端コントラスト比検出部１０９を備えている。輝度変化検出部１０７は、テープ皺の有無を検出する際に用いられる。フラップ閉じ目コントラスト比検出部１０８は、たるみ皺の有無を検出する際に用いられる。また、テープ端コントラスト比検出部１０９は、貼り位置ずれの有無を検出する際に用いられる。輝度変化検出部１０７、フラップ閉じ目コントラスト比検出部１０８、およびテープ端コントラスト比検出部１０９は、画像処理結果と閾値管理部１０６に格納されている閾値とを比較して、テープの貼り付け具合の良否を検出する。良否の検出方法については、後述する。

閾値管理部１０６は後述する輝度変化検出部１０７、フラップ閉じ目コントラスト比検出部１０８、テープ端コントラスト比検出部１０９が算出する輝度値、コントラスト比に対する閾値を管理する。また、テープ端コントラスト比検出部１０９が算出するフラップ閉じ目とテープ端との距離に対する閾値を管理する。閾値はユーザが任意に設定することができ、必要に応じて変更をすることも可能である。

以上、各機能ブロックについて説明したが、これらの機能ブロックは、例えば記憶装置に記憶された制御プログラムを、画像処理装置のＣＰＵが読み出して実行することにより構成される。あるいは、画像処理装置が備えるＡＳＩＣ等のハードウェアにより、機能ブロックの一部または全部を構成してもよい。

［ハードウエア構成］
図１１に、実施形態の画像処理装置のハードウェア構成の一例を模式的に示す。画像処理装置は、図１１に示すように、主制御手段としてのＣＰＵ１６０１、記憶装置としてのＲＯＭ１６０２、およびＲＡＭ１６０３を備えたＰＣハードウェアを含むことができる。ＲＯＭ１６０２には、後述する貼付不具合の検出方法を実現するための処理プログラムや推論アルゴリズムなどの情報を格納しておくことができる。また、ＲＡＭ１６０３は、その制御手順を実行する時にＣＰＵ１６０１のワークエリアなどとして使用される。また、制御系には、外部記憶装置１６０６が接続されている。外部記憶装置１６０６は、ＨＤＤやＳＳＤ、ネットワークマウントされた他のシステムの外部記憶装置などから構成される。

後述する本実施形態の画像処理方法を実現するためのＣＰＵ１６０１の処理プログラムは、ＨＤＤやＳＳＤなどから成る外部記憶装置１６０６や、ＲＯＭ１６０２（例えばＥＥＰＲＯＭ領域）のような記憶部に格納しておくことができる。その場合、画像処理方法を実現するためのＣＰＵ１６０１の処理プログラムは、ネットワークインターフェース（ＮＩＦ）１６０７を介して、上記の各記憶部に供給し、また新しい（別の）プログラムに更新することができる。あるいは、画像処理方法を実現するためのＣＰＵ１６０１の処理プログラムは、各種の磁気ディスクや光ディスク、フラッシュメモリなどの記憶手段と、そのためのドライブ装置を経由して、上記の各記憶部に供給し、またその内容を更新することができる。画像処理方法を実現するためのＣＰＵ１６０１の処理プログラムを格納した状態における各種の記憶手段、記憶部、ないし記憶デバイスは、本発明の画像処理手順を格納したコンピュータ読み取り可能な記録媒体を構成する。

ＣＰＵ１６０１には、図１（ａ）に示したビジョン１０１、照明装置１１０が接続される。図１１では、図示を簡略化するため、ビジョン１０１はＣＰＵ１６０１に直接接続されているように示されているが、例えばＩＥＥＥ４８８（いわゆるＧＰＩＢ）などを介して接続されていてもよい。また、ビジョン１０１は、ネットワークインターフェース１６０７、ネットワーク１６０８を介して接続される構成であってもよい。

ネットワークインターフェース１６０７は、例えばＩＥＥＥ ８０２．３のような有線通信、ＩＥＥＥ ８０２．１１、８０２．１５のような無線通信による通信規格を用いて構成することができる。ＣＰＵ１６０１は、ネットワークインターフェース１６０７を介して、他の装置１１０４、１１２１と通信することができる。装置１１０４、１１２１は、例えば段ボール箱を組み立てる製函機やロボット、その生産制御、管理のために配置されたＰＬＣやシーケンサのような統轄制御装置や、管理サーバなどであってもよい。

図１１に示す例では、ＵＩ装置（ユーザインターフェース装置）として、図１に示す画像処理装置１０２に関係する操作部１６０４および表示装置１６０５が接続されている。操作部１６０４は、ハンディターミナルのような端末、あるいはキーボード、ジョグダイアル、マウス、ポインティングデバイスなどのデバイス（あるいはそれらを備える制御端末）によって構成することができる。表示装置１６０５は、撮影画像やテープの貼り付け状態の評価等に係る情報を表示画面に表示できるものであればよく、例えば液晶ディスプレイ装置を用いることができる。

［画像処理方法］
次に、本実施形態に係る画像処理方法、すなわち、各種の貼り付け不具合を検査して判定する処理について説明する。

（テープ皺の有無の検査）
テープ皺の有無の検査処理について、手順を説明する。画像処理装置１０２の輝度変化検出部１０７は、画像取得部１０５で取得した画像中からテープ部分を抽出し、周囲に対して輝度が大きく変化している箇所（コントラスト比が大きな部分）の有無を検出する。コントラスト比が大きくなっている部分を検出するには、例えば図９（ｂ）に示したように一次元方向に沿って輝度データに対して微分処理を行い、算出される輝度値の変化をデータ値としてリスト化する。平面視ではＸＹ方向に不規則に走行し、側面視では高さが不規則に突出した山脈状のテープ皺が無い場合には濃淡の輝度値の変化がほとんど発生しないが、テープ皺が発生している場合には濃淡の輝度値が変化する。輝度変化検出部１０７は、閾値管理部１０６にアクセスして、テープ皺を検出するためのコントラスト比に対応する閾値を取得し、算出した輝度値の変化が閾値内か否かを比較する。これにより、テープ皺による貼り付け不具合が発生していないかの判定を行う。

尚、上記の検出結果、判定結果に係る情報、すなわちテープ皺の有無や、テープ皺がある場合の位置や数などについては、ユーザインターフェースを介してユーザに通知するとともに、記憶装置に記憶したり、外部インターフェースを通じて製函機に送信する。ユーザに通知するには、画像処理装置に接続された表示装置に表示したり、音声メッセージを発する等の処理をしてもよい。

（たるみ皺の有無の検査）
たるみ皺の有無の検査処理について、手順を説明する。たるみ皺は、テープの幅方向の全幅にわたり高さが略一定の尾根を形成するようにテープが浮き上がった態様の皺である。
図２は、閉じられた２つのフラップ２０１の閉じ目２０３の上にテープ２０２が貼られた物を、撮像手段を用いて上方から撮影した画像を模式的に表しており、Ｘ方向に沿ってたるみ皺２０４が形成された状態を示している。２つのフラップ２０１のうちの一方を第一部材、他方を第二部材と呼ぶこともでき、第一部材と第二部材とは一体物であっても別体であってもよい。

たるみ皺２０４の部分では、フラップ２０１の上面からテープ２０２が全幅にわたり浮き上がっているが、たるみ皺無く貼られた部分２０７では、テープ２０２はフラップ２０１と密着する。そのため、上面からの撮影画像において、たるみ皺２０４がある部分と、たるみ皺無く貼られた部分２０７では、フラップの閉じ目２０３の映り方が異なってくる。
すなわち、たるみ皺２０４の部分では、テープと閉じ目部分との間に距離があるので、テープ越しに見える閉じ目部分２０５は、たるみ皺無く貼られた部分２０７においてテープ越しに見える閉じ目部分２０６よりも輝度値が高くなる。尚、図２では、これを模式的に表すため、たるみ皺が無くテープ越しに見える閉じ目部分２０６を太い破線で、たるみ皺を介して見える閉じ目部分２０５を細い破線で図示している。後述するコントラスト比の計算式に照らすと、たるみ皺の部分では算出されるコントラスト比は低くなる。逆に、たるみ皺無く貼られた部分２０７では、テープ２０２と閉じ目部分２０６との間が密着して距離がないので、テープ越しに見える閉じ目部分２０６の輝度値は低くなる、つまり暗くなる。したがって、算出されるコントラスト比は、たるみ皺とは逆に高くなる。このようにして、フラップの閉じ目２０３のコントラスト比の高低を検出することによって、たるみ皺の有無を検査して判定することができる。

フラップ閉じ目コントラスト比検出部１０８は、画像取得部１０５で取得した画像からフラップ閉じ目部分を抽出してコントラスト比を算出する処理を行う。フラップ閉じ目コントラスト比検出部１０８は、閾値管理部１０６にアクセスしてコントラスト比の変化量に対する閾値を取得し、算出したコントラスト比の変化が閾値内か否かを比較し、たるみ皺の有無を判定する。また、算出するコントラスト比が変化する位置から、取得画像におけるフラップ閉じ目位置を推定する。

図３（ａ）は、コントラスト比の計算方法を説明するための図で、図３（ｂ）は、たるみ皺がある場合のコントラスト比の変化の一例を示す図である。
図３（ａ）は、テープ２０２およびフラップの閉じ目２０３を拡大した模式的な平面図である。ＸＹ方向を図のように設定すると、閉じ目２０３のコントラスト比は、Ｙ（ｎ），Ｙ（ｎ＋１），Ｙ（ｎ＋２）・・・の順に計算される。Ｙ（ｎ）のコントラスト比は、閉じ目２０３の画素Ｘ（ｎ）の輝度値と、閉じ目２０３周辺のＸ（ｎ＋ｋ）の輝度値によって求められる。すなわち、画素Ｘ（ｎ）の輝度値は暗部、画素Ｘ（ｎ＋ｋ）の輝度値は明部であるため、以下の式（１）によって、コントラスト比が算出される。

コントラスト比＝（明部）／（暗部）
＝画素Ｘ（ｎ＋ｋ）の輝度値／画素Ｘ（ｎ＋ｋ）の輝度値・・（１）

図３（ａ）では、図示の便宜のため、Ｙ（ｎ），Ｙ（ｎ＋１），Ｙ（ｎ＋２）を離間して示しているが、基本的にＹ（ｎ）のスキャンは１ピクセルごとに行う。ｎのスタートとエンドは、この例では予めユーザがユーザインターフェースを介して入力するものとする。また明部と暗部の計測する位置であるＸ（ｎ）とＸ（ｎ＋ｋ）も、ユーザがユーザインターフェースを介して入力して指定するものとする。ただし、明部と暗部は画像によって広がりが発生するため、１ピクセルのみとはせず、たとえばＸ（ｎ）、Ｘ（ｎ＋ｋ）を、ともに複数のピクセルの平均値などにしてもかまわない。

図３（ｂ）は、図２のたるみ皺がある場合の閉じ目２０３のコントラスト比の変化を、模式的にグラフ化にしたものである。Ｙ（１５）からたるみ皺が発生しているので、この位置でコントラスト比の変化も生じる。そして、たるみ皺の高さが最も高くなるＹ（２１），Ｙ（２２），Ｙ（２３）あたりで、コントラスト比の低下のピークとなる。このようにしてコントラスト比の変化によってたるみ皺を検出することができる。

図４は、たるみ皺の有無を判定する手順を示すフローチャートである。本実施形態では、Ｙ方向において前後のコントラスト比の差分による変化量を求め、差分が閾値より大きい場合にたるみ皺が有りと判定する処理を実施する。

まず、Ｓ４０１では、コントラスト比の閾値を設定する。閾値とは、たるみ皺が無い場合に、コントラスト比がどこまで変化してよいかを表す基準値である。閾値は、ユーザが設定する。
次に、Ｓ４０２では、Ｙ方向に関してスキャンするスタートからエンドまでのピクセル座標を設定する。また、Ｘ方向において輝度値を算出するピクセル座標の設定を行う。
次に、Ｓ４０３では、取得した画像に対してコントラスト比の計算を開始する。すなわち、Ｙ（ｎ）はＳ４０２で設定されたスタートのピクセル座標から、コントラスト比が計算される。そしてＳ４０４で最初のピクセル座標のＹ（ｎ）とＹ（ｎ＋１）が計算される。
Ｓ４０５では、Ｙ（ｎ＋１）−Ｙ（ｎ）を演算することにより、その変化量Ｐが算出される。

そして、Ｓ４０６では、変化量Ｐが閾値より大きいか否かの比較を行う。ここで、変化量Ｐが閾値より大きい場合（Ｓ４０６：Ｙｅｓ）には、Ｓ４０７にて、たるみ皺があると判定する。変化量Ｐが閾値より小さい場合（Ｓ４０６：Ｎｏ）には、Ｙ（ｎ＋１）−Ｙ（ｎ）の間には、たるみ皺がないと判定し、Ｓ４０８にて全範囲のスキャンが完了したかを判定する。全範囲のスキャンが完了していない場合（Ｓ４０８：Ｎｏ）には、Ｓ４０９にて次のｎ、すなわちｎ＋１にスキャンを進め、Ｓ４０４に戻る。Ｓ４０６にてたるみ皺が有りと判定されない限り、全範囲が完了するまでスキャンラインが更新され、たるみ皺の有無の判定が繰り返される。たるみ皺が有りと判定されないまま全範囲が完了した場合（Ｓ４０８：Ｙｅｓ）には、Ｓ４１０にて、たるみ皺が無しと判定される。
以上のようにして、たるみ皺を検出し、その有無を判定することができる。

尚、たるみ皺の検出のフローチャートは、上記に示した方法に限定されるわけではない。例えば、予め、たるみ皺のない場合のコントラスト比を入力・保管しておき、それぞれのＹ（ｎ）のコントラスト比との差分が閾値より大きい場合に、たるみ皺が有りと判定する方法も考えられる。

図５のフローチャートを参照して、たるみ皺の有無を判定する別の処理手順を示す。以後の説明では、たるみ皺のない場合のコントラスト比を正常コントラスト比と呼ぶ。
まず、Ｓ５０１では、正常コントラスト比を設定する。正常コントラスト比は、さまざまな段ボール箱を成形して実験検証によって得られた値を求めるなどして得る。

次に、Ｓ５０２で、コントラスト比の閾値を設定する。閾値とは、たるみ皺のない場合に、コントラスト比がどこまで変化し得るかを表す基準である。閾値はユーザが設定する。
次に、Ｓ５０３では、Ｙ方向に関して、スキャンするスタートからエンドまでのピクセル座標を設定する。また、Ｘ方向に関して、輝度値を算出するピクセル座標の設定を行う。
Ｓ５０４では、取得した画像に対してコントラスト比を計算するスキャンを開始する。そして、Ｓ５０５では、Ｙ（ｎ）すなわちＳ５０４で設定されたスタートのピクセル座標からコントラスト比が計算される。

次に、Ｓ５０６では、コントラスト比Ｙ（ｎ）と正常コントラスト比−Ｙ（ｎ）の差分を求め、その変化量Ｐを算出する。そして、Ｓ５０７では、変化量Ｐが閾値より大きいか否かの比較を行う。ここで、変化量Ｐが閾値より大きい場合（Ｓ５０７：Ｙｅｓ）には、Ｓ５０８にて、たるみ皺があると判定する。変化量Ｐが閾値より小さい場合（Ｓ５０７：Ｎｏ）には、Ｙ（ｎ）ではたるみ皺がないと判定し、Ｓ５０９にて全範囲のスキャンが完了したかを判定する。全範囲のスキャンが完了していない場合（Ｓ５０９：Ｎｏ）には、Ｓ５１０にて次のｎ、すなわちｎ＋１にスキャンを進め、Ｓ５０５に戻る。Ｓ５０７にてたるみ皺が有りと判定されない限り、全範囲が完了するまでスキャンラインが更新され、たるみ皺の有無の判定が繰り返される。たるみ皺が有りと判定されないまま全範囲が完了した場合（Ｓ５０９：Ｙｅｓ）には、Ｓ５１１にて、たるみ皺が無しと判定される。
以上のようにして、たるみ皺を検出し、その有無を判定することができる。

また、上記では正常コントラスト比を予め入力したが、取得した画像から正常コントラスト比を推測する方法も考えられる。図６のフローチャートを参照して、これを説明する。
まず、Ｓ６０１にて、コントラスト比の閾値を設定する。閾値とは、たるみ皺が無い場合に、コントラスト比がどこまで変化し得るかを表す基準である。閾値は、ユーザが設定する。

次に、Ｓ６０２では、Ｙ方向に関して、スキャンするスタートからエンドまでのピクセル座標を設定する。また、Ｘ方向に関して、輝度値を算出するピクセル座標の設定を行う。
Ｓ６０３では、取得した画像に対してコントラスト比を計算するスキャンを開始する。そして、Ｓ６０４では、Ｙ（ｎ）すなわちＳ６０２で設定されたスタートのピクセル座標からコントラスト比が計算される。
次に、Ｓ６０５では、ｎがエンドか否かが判定される。ｎがエンドでない場合（Ｓ６０５：Ｎｏ）には、Ｓ６０６に進み、次のｎ、すなわちｎ＋１にスキャンを進める。ｎがエンドになるまで、コントラスト比の計算を繰り返し行う。

ｎがエンドになった場合（Ｓ６０５：Ｙｅｓ）には、Ｓ６０７に進み、算出したコントラスト比の母体から正常コントラスト比を推測する。推測する手段として、コントラスト比の母体から標準偏差を求め、正常コントラスト比とする。あるいは、別の手段として、Ｓ６０１の閾値を利用して、コントラスト比の母体から、前後で変化量の少ないコントラスト比の集団のみを抽出して、その平均値を用いる方法もある。Ｓ６０８以下の推定した正常コントラスト比を用いてたるみ皺を判定する処理手順は、図５の例と同様であるため、ここでは説明を省略する。

以上のように、本実施形態によれば、貼付したテープを撮影できるように上側にカメラを配置し、フラップの閉じ目のコントラスト比の変化を観察することによって、たるみ皺の検出を行うことができ、たるみ皺の有無を判定できる。

尚、上記の検出結果、判定結果に係る情報、すなわちたるみ皺の有無や、たるみ皺がある場合の位置などについては、ユーザインターフェースを介してユーザに通知するとともに、記憶装置に記憶したり、外部インターフェースを通じて製函機に送信する。ユーザに通知するには、画像処理装置に接続された表示装置に表示したり、音声メッセージを発する等の処理をしてもよい。

（貼り位置ずれの有無の検査）
次に、テープを貼付する位置の位置ずれの有無を検出する処理について、手順を説明する。
画像処理装置１０２のテープ端コントラスト比検出部１０９は、画像取得部１０５で取得した画像からテープ端部分を抽出してコントラスト比算出処理を行う。テープ端コントラスト比検出部１０９は、閾値管理部１０６にアクセスして、フラップ閉じ目とテープ端との距離に対する許容閾値を取得し、算出した距離値の変化量が許容閾値内か否かを比較し、貼り付け位置の位置ずれの有無を判定する。また、算出するコントラスト比から、取得画像におけるテープ端位置を推定する。フラップ閉じ目コントラスト比検出部１０８とテープ端コントラスト比検出部１０９の内部処理については、後述する。

以下に、テープを貼付する位置の位置ずれの有無を検出するアルゴリズムについて、概要を説明する。尚、説明の便宜のため、テープを貼付する位置が、本来の設定位置から許容範囲以上ずれていた場合を、ずれ貼りと呼ぶ。

図７は、閉じられた２つのフラップ２０１の閉じ目２０３の上にテープ２０２が、ずれ貼りをともなって貼られた状態を上から撮影し、撮影画像を模式的に示した図である。２つのフラップ２０１のうちの一方を第一部材、他方を第二部材と呼ぶこともでき、第一部材と第二部材とは一体物であっても別体であってもよい。もし、ずれ貼りが生じていなければ、フラップの閉じ目２０３と、テープ２０２の幅方向の端部であるテープ端７０１との距離は、常に許容範囲以内になる。しかし、図７のようにテープが閉じ目に対して斜行して貼られた場合には、閉じ目とテープ端の距離が場所によって変化する。７０２の位置におけるＷａと、７０３の位置におけるＷｂの差分（Ｗａ−Ｗｂ）が、ずれ量に相当する。

本実施形態では、コントラスト比を用いて閉じ目２０３およびテープ端７０１の位置を算出して、閉じ目−テープ間距離であるＷａとＷｂの差分量（Ｗａ−Ｗｂ）を求める。コントラスト比は、すでに説明した手順に則り計算を行い、Ｙ（ｎ）における閉じ目２０３の位置情報Ｘ（ｎ）とテープ端の位置情報Ｘ（ｎ＋ｕ）を求めればよい。そして、Ｘ（ｎ＋ｕ）−Ｘ（ｎ）で閉じ目とテープ端の距離であるＷａを求め、同様の方法でＹ（ｎ）のスタートからエンドまで全てについてＸ方向の閉じ目とテープ端の距離を算出すること、でずれ貼りの検出を行うことができる。

図８に、ずれ貼りの有無を判定する処理のフローチャートを示す。すなわち、Ｙ方向において閉じ目とテープ端の距離のＭａｘとＭｉｎを求め、ＭａｘとＭｉｎの差分が所定の閾値より大きい場合には、ずれ貼りであると判定する処理である。

まず、Ｓ８０１で、閉じ目とテープ端の距離のＭａｘとＭｉｎの差分の閾値を設定する。閾値とは、フラップの閉じ目に対するテープの斜行の許容範囲を表す基準である。閾値は、予めユーザが設定する。
次に、Ｓ８０２では、Ｙ方向に関してスキャンするスタートからエンドまでのピクセル座標を設定する。また、Ｘ方向において輝度値を算出するピクセル座標の設定を行う。
次に、Ｓ８０３では、取得した画像に対してコントラスト比の計算を開始する。Ｓ８０４にて、Ｙ（ｎ）はＳ８０２で設定されたスタートのピクセル座標からコントラスト比が計算される。

次に、Ｓ８０５では、Ｙ（ｎ）におけるコントラスト比の計算結果から、Ｙ（ｎ）における閉じ目２０３の位置情報Ｘ（ｎ）とテープ端の位置情報Ｘ（ｎ＋ｕ）を決定する。
そして、Ｓ８０６で閉じ目２０３の位置情報Ｘ（ｎ）と、テープ端の位置情報Ｘ（ｎ＋ｕ）との差分を計算し、閉じ目とテープ端の距離を求める。
Ｓ８０７では、ｎがエンドであるか否か、すなわちＹ方向のスキャンが完了したか否かを判定する。
ｎがエンドでない場合（Ｓ８０７：Ｎｏ）には、Ｓ８０８に進み、次のｎ、すなわちｎ＋１にスキャンを進める。ｎがエンドになるまで、閉じ目２０３の位置情報Ｘ（ｎ）とテープ端の位置情報Ｘ（ｎ＋ｕ）との差分の計算を繰り返し行う。Ｙ方向のスキャンが完了した場合（Ｓ８０７：Ｙｅｓ）には、Ｓ８０９に進み、閉じ目とテープ端の距離のＭａｘ（最大値）とＭｉｎ（最小値）を抽出する。そして、Ｓ８１０にて閉じ目とテープ端の距離のＭａｘとＭｉｎの差分を計算する。

Ｓ８１１では、閉じ目とテープ端の距離のＭａｘとＭｉｎの差分と許容閾値との比較を行う。閾値より大きい場合（Ｓ８１１：Ｙｅｓ）には、ずれが大きいため、Ｓ８１２に進み、ずれ貼り有りと判定する。閾値より小さい場合（Ｓ８１１：Ｎｏ）には、ずれが許容範囲内のため、Ｓ８１３にてずれ貼り無しと判定する。

以上のように、本実施形態によれば、上側に配置したカメラを用いて、フラップの閉じ目とテープ端のコントラスト比の変化を観察し、それぞれの位置を決定することによって、ずれ貼りの有無を判定することができる。

尚、上述したずれ貼りの検出を行う際には、コントラスト比を算出してフラップとテープの境界（テープ端）を検出したが、この検出結果は、たるみ皺の検出にも適用できる。すなわち、たるみ皺の部分ではテープの上面はフラップよりも高い位置にあるため、フラップの上に配置されたカメラに近接していることになる。そのため、図２に示すように、たるみ皺２０４の幅は正常に貼られた部分よりもテープの幅が広がって撮影される。すなわち、テープとフラップとの境界位置が左右両側に離れたように撮影される。これを利用して、たるみ皺による幅の広がりを考慮した閾値を設定し、テープの左右端の距離と比較することで、たるみ皺の検出を行うことが出来る。

尚、上記の検出結果、判定結果に係る情報、すなわち、ずれ貼りの発生の有無、あるいはたるみ皺の有無については、ユーザインターフェースを介してユーザに通知するとともに、記憶装置に記憶したり、外部インターフェースを通じて製函機に送信する。ユーザに通知するには、画像処理装置に接続された表示装置に表示したり、音声メッセージを発する等の処理をしてもよい。

［ロボットシステム］
図１２は、上述した実施形態の画像処理装置と、組み立てロボットとを組み合わせたロボットシステムの一例を示す模式図である。
組み立てロボットは、第１ロボットアーム３１０、第２ロボットアーム３２０、検査台３００、制御用コンピュータ（不図示）を備える。第１ロボットアーム３１０の手先部には、段ボール箱の素材である段ボール材Ｗを保持するための段ボール保持部３１１が実装されている。第２ロボットアーム３２０の手先部には、ロボットハンド３２１が取り付けられている。ロボットハンド３２１は、フィンガ３２３を備えるとともに、テーピングユニット３２２が実装されている。本ロボットシステムは、物品としての段ボール箱を製造する製造装置、あるいは製造システムであるとも言える。

第２ロボットアーム３２０のフィンガ３２３は、第１ロボットアーム３１０に保持された段ボール材Ｗを折り曲げたり組み立てたりするのに用いられる。そして、テーピングユニット３２２は、例えばフラップの閉じ目に沿ってテープを貼付するのに用いられる。第１ロボットアーム３１０は、第２ロボットアーム３２０と協働して段ボール箱を組み立てた後、組み立てられた段ボール箱３３０を検査台３００に載置する。

ロボットシステムには、検査台３００の上に載置された段ボール箱３３０のテープ貼付部を適宜照明して撮影できるように、照明装置１１０およびビジョン１０１が設置されている。ビジョン１０１および照明装置１１０と、画像処理装置１０２は、制御信号や画像信号の授受が可能なように、有線あるいは無線で通信可能に接続されている。

画像処理装置１０２は、すでに説明した処理を行い、テープ皺、たるみ皺、貼り位置ずれ等の貼り付け不具合の有無を検査して判定する。判定結果に係る情報については、ユーザインターフェースを介してユーザに通知するとともに、記憶装置に記憶したり、外部インターフェースを通じてロボット制御部に送信する。ユーザに通知するには、画像処理装置に接続された表示装置に表示したり、音声メッセージを発する等の処理をしてもよい。

尚、上記のロボットシステムでは、貼り付け不具合の検査は、組み立てられた段ボール箱３３０を検査台３００上に載置して行ったが、段ボール箱３３０を第１ロボットアーム３１０で保持したまま検査を行ってもよい。その場合には、ビジョン１０１の代わりに組み立て作業用のロボットカメラでテープ貼付部を撮影し、画像データをロボット制御部から画像処理装置１０２に送信して画像処理を実施してもよい。組み立て作業用のロボットカメラは、組み立て作業スペースの上部に設置してもよいし、場合によっては第２ロボットアーム３２０に実装してもよい。

［他の実施形態］
なお、本発明は、以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で多くの変形が可能である。
本発明は、段ボールを素材とする箱についてテープの貼り付け具合の良否を検出する用途で好適に実施されるが、箱の素材は段ボールには限らない。本発明は、例えば、フラップ折り畳み専用治工具やロボットハンドを備えた製函機と組み合わせて実施することができ、テープ貼り機の機構も限定されない。また、テープの貼り付け具合の良否を検出する対象は箱には限られず、テープを用いて組み立てや封止等がなされた物のテープ貼付部の検査に広く適用することができる。
実施形態の画像処理装置と組み合わせる装置は、双腕ロボットに限らず、他の方式のロボットや、フラップ折り畳み専用装置、等であってもよい。

本発明は、実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１・・・ビジョン／１０２・・・画像処理装置／１０３・・・貼り付け不具合検出部／１０４・・・外部ＩＦ／１０５・・・画像取得部／１０６・・・閾値管理部／１０７・・・輝度変化検出部／１０８・・・フラップ閉じ目コントラスト比検出部／１０９・・・テープ端コントラスト比検出部／１１０・・・照明装置／２０１・・・フラップ／２０２・・・テープ／２０３・・・閉じ目／２０４・・・たるみ皺／２０５・・・テープ越しに見える閉じ目部分／２０６・・・閉じ目部分／２０７・・・たるみ皺無く貼られた部分

Claims (14)

1. 第一部材と第二部材の閉じ目に貼付されたテープを含むように撮像された画像を取得し、
   前記画像の各部のコントラスト比を算出し、
   前記閉じ目の部分のコントラスト比を用いて、貼り付けられた前記テープの状態を検出する、
   ことを特徴とする画像処理方法。
2. 前記閉じ目の部分の前記コントラスト比を所定の閾値と比較し、前記テープの幅方向の全幅にわたり高さが略一定の尾根を形成するように前記テープが浮き上がったたるみ皺を検出する、
   ことを特徴とする請求項１に記載の画像処理方法。
3. 前記閉じ目の部分のコントラスト比を含む前記画像の各部のコントラスト比を用いて、前記閉じ目の位置情報と、前記第一部材と前記テープの境界の位置情報と、前記第二部材と前記テープの境界の位置情報と、を求め、
   それらの位置情報に基づき、所定の貼付位置からの前記テープの位置ずれを検出する、
   ことを特徴とする請求項１に記載の画像処理方法。
4. さらに、算出された前記画像の各部のコントラスト比を用いて、
   平面視および側面視で不規則に突出した山脈状のテープ皺を検出する、
   ことを特徴とする請求項２または３に記載の画像処理方法。
5. 請求項１から４のいずれか１項に記載の画像処理方法を、コンピュータが実行するための制御プログラム。
6. 請求項５に記載の制御プログラムを記録したコンピュータにより読み取り可能な記録媒体。
7. 第一部材と第二部材の閉じ目に貼付されたテープを含むように撮像された画像を取得する画像取得部と、
   前記画像取得部が取得した画像の各部のコントラスト比を算出するコントラスト比検出部と、
   前記コントラスト比検出部が算出した前記閉じ目の部分のコントラスト比を用いて、貼り付けられた前記テープの状態を検出する貼り付け検出部と、
   を備えることを特徴とする画像処理装置。
8. 更に、所定の閾値を記憶した閾値管理部を備え、
   前記貼り付け検出部は、前記コントラスト比検出部が算出した前記閉じ目の部分の前記コントラスト比を、前記閾値管理部が記憶した所定の閾値と比較し、前記テープの幅方向の全幅にわたり高さが略一定の尾根を形成するように前記テープが浮き上がったたるみ皺を検出する、
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記貼り付け検出部は、前記コントラスト比検出部が算出した前記閉じ目の部分のコントラスト比を含む前記画像の各部のコントラスト比を用いて、前記閉じ目の位置情報と、前記第一部材と前記テープの境界の位置情報と、前記第二部材と前記テープの境界の位置情報と、を求め、
   それらの位置情報に基づき、所定の貼付位置からの前記テープの位置ずれを検出する、
   ことを特徴とする請求項７に記載の画像処理装置。
10. さらに、前記貼り付け検出部は、前記コントラスト比検出部が算出した前記画像の各部のコントラスト比を用いて、
    平面視および側面視で不規則に突出した山脈状のテープ皺を検出する、
    ことを特徴とする請求項８または９に記載の画像処理装置。
11. 第一部材と第二部材の閉じ目にテープを貼付する作業を行うロボットと、
    前記第一部材と前記第二部材の閉じ目に貼付されたテープを含むように撮像された画像を取得する画像取得部と、
    前記画像取得部が取得した画像の各部のコントラスト比を算出するコントラスト比検出部と、
    前記コントラスト比検出部が算出した前記閉じ目の部分のコントラスト比を用いて、貼り付けられた前記テープの状態を検出する貼り付け検出部と、
    を備えることを特徴とするロボットシステム。
12. 撮像部と、
    第一部材と第二部材の閉じ目に貼付されたテープを含むように撮像された画像を前記撮像部から取得する画像取得部と、
    前記画像取得部が取得した画像の各部のコントラスト比を算出するコントラスト比検出部と、
    前記コントラスト比検出部が算出した前記閉じ目の部分のコントラスト比を用いて、貼り付けられた前記テープの状態を検出する貼り付け検出部と、
    を備えることを特徴とする撮像装置。
13. 前記ロボットにより、第一部材と第二部材の閉じ目にテープを貼付する作業を行う工程と、
    前記画像取得部により、前記第一部材と前記第二部材の閉じ目に貼付された前記テープを含むように撮像された画像を取得する画像取得工程と、
    前記コントラスト比検出部により、前記画像取得部が取得した画像の各部のコントラスト比を算出するコントラスト比検出工程と、
    前記貼り付け検出部により、前記コントラスト比検出部が算出した前記閉じ目の部分のコントラスト比を用いて、貼り付けられた前記テープの状態を検出する貼り付け検出工程と、
    を有することを特徴とする請求項１１に記載のロボットシステムを制御するロボットシステムの制御方法。
14. 前記ロボットにより、前記第一部材と前記第二部材の閉じ目にテープを貼付する作業を行う工程と、
    前記画像取得部により、前記第一部材と前記第二部材の閉じ目に貼付された前記テープを含むように撮像された画像を取得する画像取得工程と、
    前記コントラスト比検出部により、前記画像取得部が取得した画像の各部のコントラスト比を算出するコントラスト比検出工程と、
    前記貼り付け検出部により、前記コントラスト比検出部が算出した前記閉じ目の部分のコントラスト比を用いて、貼り付けられた前記テープの状態を検出する貼り付け検出工程と、
    を有することを特徴とする請求項１１に記載のロボットシステムを用いた物品の製造方法。
    
    

Images