JP2023094752A - パレット検出装置およびパレット検出方法 - Google Patents

Abstract

【課題】荷台に設置されたパレット数をより簡易な方法で迅速かつ正確に把握することができるパレット検出装置を提供する。【解決手段】本発明のパレット検出装置１０は、荷台に積載されたパレットの画像を含む第１の画像情報を取得する撮像部１１と、第１の画像情報の形状を幾何変換することにより、所定の形状を有する第２の画像情報を取得し、第２の画像情報が所定の画角に対応する画像であるかを判定する画像処理部１３と、画像処理部１３で取得された第２の画像情報と予め登録されたパレットの画像情報を比較することにより、第２の画像情報からパレットの画像を検出するパレット検出部１４とを備え、パレット検出部１４は、第２の画像情報おいて検出された荷台の床面に配置された最下段パレットと整列している画像をパレットの画像として検出する。【選択図】図２

Description

本発明は、荷台に設置されたパレットを検出するパレット検出技術に関する。

倉庫における荷物を管理する技術として、荷物やパレットに付与した識別コードを読み取ることにより、倉庫内の荷物やパレットの設置場所を管理する方法が提案されている。最近では、倉庫内を移動する搬送車やドローンに搭載したカメラを用いて、倉庫内の荷物やパレットの画像情報を取得することにより、倉庫内の荷物の点検や棚卸作業の負荷を低減する技術が提案されている。

例えば、特許文献１、２では、倉庫内の荷物の画像を撮影するカメラが搭載されたロボットやドローンを用いたパレット検出システムが提案されている。ロボットやドローンに搭載されたカメラにより荷物や棚に設置されたバーコードを読み取ることにより荷物の種類や数の情報を取得することができる。

特開２０１９－５２７１７２号公報 特開２０１９－１６７１７７号公報

ここで、上述したような荷物やパレットに設置されたバーコードを読み取る技術では、比較的近距離でかつ正面方向から荷物やパレットの画像を取得する必要があるので、トラックの荷台等に設置された荷物やパレットを点検する場合には、正確に荷物やパレットを検出できない場合がある。トラックの荷台等に設置された荷物の搬入時や搬出時においては、倉庫に設置された荷物と比較して、より簡易な方法で迅速かつ正確に荷物やパレットの数を正確に把握できる技術が望まれている。

本発明は、以上のような問題を解消するためになされたものであり、荷台に設置されたパレット数をより簡易な方法で迅速かつ正確に把握することができるパレット検出装置を提供することを目的とする。

上述したような課題を解決するために、本発明のパレット検出装置は、荷台に積載されたパレットの画像を含む第１の画像情報を取得する撮像部と、前記第１の画像情報の形状を幾何変換することにより、所定の形状を有する第２の画像情報を取得し、前記第２の画像情報が所定の画角に対応する画像であるかを判定する画像処理部と、前記第２の画像情報が所定の画角に対応する画像である場合に、前記第２の画像情報と予め登録された前記パレットの画像情報を比較することにより、前記第２の画像情報から前記パレットの画像を検出するパレット検出部とを備え、前記パレット検出部は、前記第２の画像情報において検出された前記荷台の床面に配置された最下段パレットと整列している画像を前記パレットの画像として検出する。

また、前記撮像部は、前記画像処理部における前記判定の結果に基づいて、ズームインおよびズームアウトの少なくとも何れかを行って、前記第１の画像情報を取得してもよい。

また、前記パレット検出部は、前記第２の画像情報のラインプロファイル、前記第２の画像情報と予め用意したパレット穴の画像とのパターンマッチング結果、前記第２の画像情報の周波数解析結果におけるパレットの穴のパターンの抽出結果のいずれかに基づいて、前記荷台の床面に配置された最下段パレットを検出してもよい。

上述したような課題を解決するために、本発明のパレット検出方法は、パレットの画像を取得する撮像部と前記撮像部で取得した画像を画像処理する画像処理部と前記画像処理部で処理された画像から前記パレットの画像を検出するパレット検出部を備えたパレット検出装置において実行されるパレット検出方法であって、前記撮像部が、荷台に積載されたパレットの画像を含む第１の画像情報を取得する画像取得ステップと、前記画像処理部が、前記第１の画像情報の形状を幾何変換することにより、予め定めた所定の形状を有する第２の画像情報を取得し、前記第２の画像情報が所定の画角に対応する画像であるかを判定する画像処理ステップと、前記パレット検出部が、前記第２の画像情報が所定の画角に対応する画像である場合に、前記第２の画像情報と予め登録された前記パレットの画像情報を比較することにより、前記第２の画像情報から前記パレットの画像を検出する画像検出ステップとを有し、前記パレット検出部は、前記第２の画像情報において検出された前記荷台の床面に配置された最下段パレットと整列している画像を前記パレットの画像として検出する。

前記画像取得ステップは、前記画像処理ステップにおける前記判定の結果に基づいて、ズームインおよびズームアウトの少なくとも何れかを行って、前記第１の画像情報を取得してもよい。

また、前記パレット検出部は、前記第２の画像情報のラインプロファイル、前記第２の画像情報と予め用意したパレット穴の画像とのパターンマッチング結果、前記第２の画像情報の周波数解析結果におけるパレットの穴のパターンの抽出結果のいずれかに基づいて、前記荷台の床面に配置された最下段パレットを検出してもよい。

本発明によれば、荷台に設置されたパレット数をより簡易な方法で迅速かつ正確に把握することができるパレット検出装置を提供することが可能となる。

図１は、本発明の実施の形態におけるパレット検出装置を備えたシステム構成の一例である。 図２は、本発明の実施の形態におけるパレット検出装置の機能ブロックの一例である。 図３は、本発明の実施の形態におけるパレットの検出方法を説明するための図である。 図４は、本発明の実施の形態における最下段パレットの検出方法を説明するための図である。 図５は、本発明の実施の形態におけるパレットの検出結果を説明するための図である。 図６は、本発明の実施の形態におけるパレット検出方法の動作フローの一例である。

以下、本発明の実施の形態について図面を参照して説明する。尚、本発明は、様々な実施の形態で実施することが可能であり、以下に説明する発明の実施の形態に限定されるものではない。

＜パレット検出システムの構成＞
図１は、本発明の実施の形態におけるパレット検出システムの構成の一例である。図１のパレット検出システムは、トラック１等の搬送車両の荷台に設置された荷物２が載置された状態のパレット３の画像を取得し、取得した画像を用いて荷台のパレット３の種別と数を検出するパレット検出装置１０と、パレット検出装置１０において検出されたパレットの種別と数を管理するパレット管理サーバ２０とから構成されている。

図１のパレット検出システムは、パレット検出装置１０に搭載した撮像部で取得した画像情報と予め登録したパレットの画像情報を比較することにより、トラック１の荷台に積載されている荷物２が載置された状態のパレット３を検出するように構成されている。パレット３を検出した画像およびパレット３の検出結果は、必要に応じて、パレット管理サーバ２０に送信される。

トラック１等の荷台に設置された荷物２の搬出時や搬入時においては、搬送される荷物が積まれているかを、トラック１等の荷台に設置された状態においてパレット３の数を検出する必要がある。そのため、倉庫に設置された荷物を確認する場合と比較して、時間的あるいは場所的な制約があるため、より簡易な方法で迅速かつ正確に荷物やパレットの数を正確に把握したいという要請がある。

図１の構成例では、トラック１の荷台には、荷物２が複数載置されたパレット３が複数段積載された状態で配置されている。トラック１の荷台におけるパレット３の種別は１種類とは限らないので、荷物全体の画像を取得することで、複数種類のパレットの種類と数を把握する必要がある。

なお、図１の後面図に示されるように、図１の構成例におけるトラック１の荷台は、左右の２区分に区分けされた構造を有しており、区分けされた左右の区分はそれぞれパレット１枚分の奥行を有している。このような構成の荷台においては、左右の荷台のそれぞれの外側から取得した画像を用いてパレットの検出を行うことで、荷台全体におけるパレットの数を把握することが可能である。

パレット検出装置１０の撮像部は、パレットの画像を含む荷台全体の画像情報を取得するための撮像素子である。撮像部としては、荷台全体の画像情報からパレットの色や形状を検出するための汎用的なＲＧＢカメラを用いることができる。撮像部を備えたパレット検出装置１０としては、例えば、ＲＧＢカメラを搭載したデジタルカメラやスマートホン等を用いることができる。

パレット検出装置１０は、パレット３の画像を含む荷台全体の画像情報を取得し、予め保存しておいたパレットの画像情報と比較することにより、荷台全体の画像情報からパレットの画像を検出する。予め保存しておくパレットの画像情報としては、パレットの色や形状等のパレットの特徴を表すための情報が含まれる。

パレットの画像情報としては、パレットの種別毎に撮影した画像を保存しておいてもよいし、多数のパレットの画像情報を用いて学習させた画像情報を用いてもよい。パレット３の画像情報を含む荷台全体の画像情報から、パレットの色や形状等のパレットの特徴を表すための情報を検出することで、荷台におけるパレットの種別と数を把握することができる。

トラック１等の荷台に設置された荷物の搬入時や搬出時においては、荷台の画像を撮影する撮影者の撮影位置が同じ位置とは限らないので、荷台画像を撮像するデジタルカメラやスマートホンと荷台の間の距離や角度が撮影者によって一定ではない。そのため、取得した荷台画像において、予め保存しておいたパレットの画像情報の検出ができず、パレット画像の検出精度が低下する場合がある。本実施の形態のパレット検出装置は、取得した荷台画像において幾何変換等の画像処理を行うことにより、パレット画像の検出精度を向上させるように構成されている。

具体的には、荷台の画像を撮影する撮影者によってデジタルカメラやスマートホンと荷台の間の距離や角度が異なる場合、荷台画像の形状に歪が生じるので、取得した荷台画像（第１の画像情報）の形状を幾何変換することにより、撮影画像が所定の形状を有するように画像の歪を補正し、歪が補正された所定の形状を有する画像が所定の画角に対応している場合には歪が補正された所定の形状を有する画像（第２の画像情報）を用いてパレットの画像情報の検出を行う。

一方、歪が補正された所定の形状を有する画像が所定の画角に対応していない場合には、必要に応じて撮像部のズームインあるいはズームアウトを行って、再度荷台画像の情報を取得し、取得した荷台画像において幾何変換等の画像処理を行って、歪が補正された所定の形状を有する画像を取得する。

このように、撮影画像が所定の形状を有するように画像の歪を補正し、所定の画角に対応する荷台画像を用いてパレットの画像情報と比較することで、補正後の荷台画像からパレットの画像情報を検出する際のパレットの画像情報の検出精度を向上させることができる。

荷台画像の幾何変換の方法としては、例えば、台形の画像を長方形の画像に補正する台形補正が考えられるが、台形補正に限定されるものではない。台形補正に限らず、任意の形状の四角形の画像を所定の画角に対応する画像となるように画像変換を行えばよい。

幾何変換によって必要な大きさの画像が得られた場合には、撮像部のズームインあるいはズームアウトを必ずしも行う必要はない。パレットの画像情報を検出するための所定の画角に対応する画像としては、所定の画角における画像サイズとほぼ同一の面積となるように、撮像部のズームインあるいはズームアウトを行うことや、画像サイズが所定の画角における所定の範囲内となるように、撮像部のズームインあるいはズームアウトを行うことが考えられる。予め学習しておいた荷台の画像情報に対応する画像の大きさとなるように、撮像部のズームインあるいはズームアウトを行うようにしてもよい。

＜パレット検出装置の構成＞
図２を用いて、パレット検出装置１０の構成を説明する。図２は、本発明の実施の形態におけるパレット検出装置の機能ブロックの一例である。

パレット検出装置１０は、パレットの画像情報を含む荷台の画像情報を取得するための撮像部１１、撮像部１１で取得した画像の画像処理およびパレット検出を行うための中央処理部１２、パレット管理サーバ２０と情報を送受信するための無線部１８、各種情報等を保存するための記憶部１５、撮影者が情報を入力するための入力部１６、パレットの画像の検出状況を表示するための表示部１７を備える。

中央処理部１２は、撮像部１１で取得した画像の画像処理を行う画像処理部１３、およびパレットの検出を行うパレット検出部１４として機能する。パレット検出装置１０は、ＣＰＵ、メモリ、および外部機器と接続するためのインタフェースを備えたコンピュータにより構成することができる。

記憶部１５には、取得した荷台の画像情報と比較するためのパレットの画像情報やパレットの検出結果を記憶することができる。パレットの画像情報としては、パレットの色や形状等のパレットの特徴を表すための情報が含まれる。パレットの画像情報として、複数のパレットの画像データを学習させた画像データを用いてもよい。

＜パレットの検出方法＞
図３、４は、本発明の実施の形態におけるパレットの検出方法を説明するための図である。図３は、荷台画像における幾何変換等の画像処理の一例である。

図３の例では、荷台における基準位置（ａ、ｂ、ｃ、ｄ）が長方形の画像（Ａ、Ｂ、Ｃ、Ｄ）となるように幾何変換を行うとともに、撮像部１１でズームインを行って得られた荷台画像に対して再度幾何変換を行っている。再度幾何変換を行った結果、荷物画像を検出するための画像の面積が、所定の画角における所定の範囲内となるような画像が得られている。

図３では、撮像部１１でズームインした画像を再度幾何変換することにより得られた画像は、所定の画角における所定の範囲内となっており、パレット３の画像情報と比較し得る形状と大きさの画像となっている。この画像を用いて、パレット３の画像情報と比較することでパレット３の種類と数を特定することができる。撮像部１１により取得された画像情報を幾何変換し、必要に応じてズームインあるいはズームアウトを行った画像を用いて、予めパレット３の種別毎に保存しておいたパレットの画像情報と比較することで、荷台におけるパレット３の種別を特定し、パレット３の種別毎のパレット３の数を把握することができる。なお、撮像部１１におけるズームインあるいはズームアウトは、撮像部１１による電子ズームや撮像部１１の光学レンズによる光学ズーム等により実施すればよい。

予め保存しておいたパレットの画像情報を用いてパレットの種別と数を検出する方法では、パレットの画像情報との差異が所定の閾値以下の場合に、パレットの画像であると判定する方法が考えられる。この方法では、パレットの画像情報との差異が閾値近傍の画像をパレット画像として誤検出する場合がある。

図１に示したように、トラック等の搬送車両の荷台に荷物が載置されたパレットを複数段積載する場合には、荷物の積載状態を安定させるために、荷台の床面に配置された最下段のパレットに整列するようにパレットを積載する積載方法が採用されている。

本実施の形態のパレット検出方法では、この積載方法を利用して、トラックの荷台における最下段パレットの位置情報を用いてパレット画像の検出精度を向上させる。具体的には、荷台の最下段のパレットの画像に整列している画像をパレットの画像として検出し、荷台の最下段のパレットの画像に整列している画像は誤検出パレットとして除外する。

図４は、本発明の実施の形態における最下段パレットの検出方法を説明するための図である。図４では、荷台の最下段のパレットを荷物の画像情報のラインプロファイルを用いて検出する。図３において幾何変換された画像情報において、横方向に画像情報をサーチして画像情報のラインプロファイルを取得し、サーチする位置を上方向にシフトしていき、パレットの穴に対応するラインプロファイルが検出された位置を荷台の最下段パレットの位置として検出する。

最下段パレットの検出方法としては、上述したパレットの穴に対応するラインプロファイルを検出する方法に限定されるものではない。荷物の画像情報と、予め用意したパレット穴の画像とをパターンマッチングする方法や、荷物の画像情報のデータを周波数解析することによりパレットの穴と同じ周期のパターンを抽出する方法等の他の方法を用いて、最下段パレットを検出してもよい。

パレットの画像を検出した結果において、荷台の最下段のパレットの画像に整列している画像をパレットの画像として検出し、荷台の最下段のパレットの画像に整列していない画像は誤検出パレットとして除外する。これにより、パレットの画像情報との差異が閾値近傍の画像をパレット画像として誤検出する場合を排除して、パレット画像の検出精度を向上させることができる。

＜パレットの検出結果＞
図４は、パレットの種別（色）が３種類の場合におけるパレットの検出結果の一例である。撮像部１１により取得された画像情報を幾何変換し、必要に応じてズームインあるいはズームアウトを行った画像を用いて、予めパレット３の種別毎に保存しておいたパレットの画像情報と比較することで、荷台におけるパレット３の種別を特定し、パレット３の種別毎のパレット３の数を把握することができる。図４の例では、パレット３の種類は３種類であり、それぞれのパレットの枚数は「６」、「３」、「５」である。

図４で説明したように、荷台の最下段のパレットの画像に整列していない画像は誤検出パレットとして除外されている。これにより、パレットの画像情報との差異が閾値近傍の画像をパレット画像として誤検出する場合を排除して、パレット画像の検出精度を向上させることができる。

なお、図４、５では、荷物の画像情報におけるパレット画像を検出し、荷物の画像情報におけるパレット画像の検出結果から、荷台の最下段のパレットの画像に整列していない画像を誤検出パレットとして除外したが、荷物の画像情報において、パレットの画像は、荷台の最下段のパレットの画像に整列しているという前提のもとにパレットの画像の検出処理行うようにしてもよい。

本実施の形態によれば、トラック１等の荷台の画像を撮影する撮影者によってデジタルカメラやスマートホンと荷台の間の距離や角度が一定ではない場合においても、取得した画像において幾何変換等の画像処理を行うことにより、トラック１等の荷台に設置された荷物におけるパレット画像の検出精度を向上させることができる。

＜パレット検出装置の動作フロー＞
図５を用いて、パレット検出装置１０におけるパレット検出動作を説明する。図５は、本発明の実施の形態におけるパレット検出方法の動作フローの一例である。

パレット検出装置の撮像部は、パレットの画像を含む荷台の画像を取得する（Ｓ１－１：画像取得ステップ）。パレット検出装置の画像処理部は、荷台の画像から所定の基準位置を検出し（Ｓ１－２）、基準位置から構成される画像の形状が所定の形状になるように荷台画像の幾何変換を行う（Ｓ１－３：画像処理ステップ）。

パレット検出装置の画像処理部は、さらに、幾何変換後の荷台画像の面積が、所定の画角に対応しているか判定し（Ｓ１－４、Ｓ１－５）、所定の画角に対応している画像の面積である場合には（Ｓ１－５：ＹＥＳ）、幾何変換後の荷台画像と予め登録されたパレットの画像情報を比較することにより、荷台画像からパレットの画像を検出する（Ｓ１－７：画像検出ステップ）。

幾何変換後の荷台画像が、所定の画角に対応する画像でない場合には（Ｓ１－５：ＮＯ）、パレット検出装置の撮像部は、ズームインまたはズームアウトを行って再度荷台の画像情報を取得し、画像情報の幾何変換後の荷台画像が、所定の画角に対応する画像であるかの判定を行う。

ズームインまたはズームアウトを行った結果、幾何変換後の画像が所定の画角に対応している場合には（Ｓ１－５：ＹＥＳ）、幾何変換後の荷台画像と予め登録されたパレットの画像を比較することにより、荷台画像からパレットの画像を検出する（Ｓ１－７）。

図６の動作フローでは、荷物の画像情報におけるパレット画像の検出結果から、荷台の床面に配置された最下段のパレットの画像に整列していない画像を誤検出パレットとして除外する（Ｓ１－８）。これにより、パレットの画像情報との差異が閾値近傍の画像をパレット画像として誤検出する場合を排除して、パレット画像の検出精度を向上させることができる。

パレットを検出した画像およびパレットの検出結果は、必要に応じて、パレット管理サーバに送信される。パレットを検出した画像およびパレットの検出結果を検証することにより検出結果を検証し、検出結果が誤っている場合には、修正後の検出結果を用いてパレットの画像を学習させることで検出の精度向上を図るようにしてもよい。

例えば、パレットを検出した画像およびパレットの検出結果をユーザが参照し、パレットでないものをパレットであると検出したような場合（誤検出）や、逆に、本来パレットであると検出すべき画像を検出しなかった場合（検出漏れ）があったと認定された場合には、誤検出された画像をパレット以外の画像として、検出漏れの画像をパレットの画像として学習させることで、検出の精度向上を図るようにしてもよい。

このように、本実施の形態によれば、荷台に設置されたパレット数をより簡易な方法で迅速かつ正確に把握することができるパレット検出装置を提供することが可能となる。

１…トラック、２…荷物、３…パレット、１０…パレット検出装置、１１…撮像部、１２…中央処理部、１３…画像処理部、１４…パレット検出部、１５…記憶部、１６…入力部、１７…表示部、２０…パレット管理サーバ。

Claims (6)

1. 荷台に積載されたパレットの画像を含む第１の画像情報を取得する撮像部と、
   前記第１の画像情報の形状を幾何変換することにより、所定の形状を有する第２の画像情報を取得し、前記第２の画像情報が所定の画角に対応する画像であるかを判定する画像処理部と、
   前記第２の画像情報が所定の画角に対応する画像である場合に、前記第２の画像情報と予め登録された前記パレットの画像情報を比較することにより、前記第２の画像情報から前記パレットの画像を検出するパレット検出部と
   を備え、
   前記パレット検出部は、前記第２の画像情報において検出された前記荷台の床面に配置された最下段パレットと整列している画像を前記パレットの画像として検出する
   パレット検出装置。
2. 前記撮像部は、前記画像処理部における前記判定の結果に基づいて、ズームインおよびズームアウトの少なくとも何れかを行って、前記第１の画像情報を取得する
   請求項１に記載のパレット検出装置。
3. 前記パレット検出部は、前記第２の画像情報のラインプロファイル、前記第２の画像情報と予め用意したパレット穴の画像とのパターンマッチング結果、前記第２の画像情報の周波数解析結果におけるパレットの穴のパターンの抽出結果のいずれかに基づいて、前記荷台の床面に配置された最下段パレットを検出する
   請求項１または２に記載のパレット検出装置。
4. パレットの画像を取得する撮像部と前記撮像部で取得した画像を画像処理する画像処理部と前記画像処理部で処理された画像から前記パレットの画像を検出するパレット検出部を備えたパレット検出装置において実行されるパレット検出方法であって、
   前記撮像部が、荷台に積載されたパレットの画像を含む第１の画像情報を取得する画像取得ステップと、
   前記画像処理部が、前記第１の画像情報の形状を幾何変換することにより、予め定めた所定の形状を有する第２の画像情報を取得し、前記第２の画像情報が所定の画角に対応する画像であるかを判定する画像処理ステップと、
   前記パレット検出部が、前記第２の画像情報が所定の画角に対応する画像である場合に、前記第２の画像情報と予め登録された前記パレットの画像情報を比較することにより、前記第２の画像情報から前記パレットの画像を検出する画像検出ステップと
   を有し、
   前記パレット検出部は、前記第２の画像情報において検出された前記荷台の床面に配置された最下段パレットと整列している画像を前記パレットの画像として検出する
   パレット検出方法。
5. 前記画像取得ステップは、前記画像処理ステップにおける前記判定の結果に基づいて、ズームインおよびズームアウトの少なくとも何れかを行って、前記第１の画像情報を取得する
   請求項４に記載のパレット検出方法。
6. 前記パレット検出部は、前記第２の画像情報のラインプロファイル、前記第２の画像情報と予め用意したパレット穴の画像とのパターンマッチング結果、前記第２の画像情報の周波数解析結果におけるパレットの穴のパターンの抽出結果のいずれかに基づいて、前記荷台の床面に配置された最下段パレットを検出する
   請求項４または５に記載のパレット検出方法。

Images