JP2020040790A - 情報処理装置および情報処理方法 - Google Patents

Abstract

【課題】フォークの位置合わせの容易化。【解決手段】フォークリフト制御装置（１）は、パレットとフォークポケットとが写った画像を教師データとした機械学習により生成された学習済みモデルを用いて、パレットを撮影した画像からフォークポケットを検出する検出部（１０３）と、検出されたフォークポケットに、フォーク（３０）を位置合わせするための所定の処理を実行するフォークリフト制御部（１０４）を備える。【選択図】図１

Description

本発明は、フォークリフトのフォークを、フォークポケットに位置合わせするための情報処理装置等に関する。

フォークリフトを用いて積荷を運搬する場合、該フォークリフトの運転者は、積荷を積載したパレットのフォークポケットにフォークを挿入するフォーク挿入操作を行う。そして、パレットごと積荷を持ち上げて、その積荷を運搬するという一連の操作を行う。これら一連の操作のうち、フォーク挿入操作の難易度が特に高く、運転者によっては、フォークの挿入に手間取ったり、パレットにフォークを衝突させてしまったりすることがある。

そこで、フォーク挿入操作を容易にするための技術が求められている。例えば、下記特許文献１には、レーザ光を反射する光線反射面を形成したパレットに、フォークと同じ高さのレーザ光を照射し、このレーザ光の反射光を目印にして、運転手にフォークのパレットに対する高さ位置合わせを行わせる技術が開示されている。

特開２００５−２９８０００号公報

特許文献１の技術によれば、フォークのパレットに対する高さ位置合わせは容易になる。しかしながら、レーザ光の照射装置という特別なハードウェアをフォークリフトに搭載する必要がある。このため、ソフトウェアを用いた情報処理によりフォークの高さ位置合わせを容易にする技術が求められている。

本発明の一態様は、上記の問題点に鑑みてなされたものであり、その目的は、レーザ光の照射装置を用いなくとも、フォークリフトのフォークをフォークポケットに容易に位置合わせすることを可能にする情報処理装置等を提供することにある。

上記の課題を解決するために、本発明の一態様に係る情報処理装置は、荷役対象物を載置するパレットと該パレットのフォークポケットとが写った画像を教師データとした機械学習により生成された学習済みモデルを用いて、フォークリフトが荷役を行う対象である荷役対象物が載置されたパレットを撮影した画像からフォークポケットを検出する検出部と、上記検出部が検出した上記フォークポケットに、上記フォークリフトのフォークを位置合わせするための所定の処理を実行する処理実行部と、を備えている。

また、上記の課題を解決するために、本発明の一態様に係る情報処理方法は、情報処理装置による情報処理方法であって、荷役対象物を載置するパレットと該パレットのフォークポケットとが写った画像を教師データとした機械学習により生成された学習済みモデルを用いて、フォークリフトが荷役を行う対象である荷役対象物が載置されたパレットを撮影した画像からフォークポケットを検出する検出ステップと、上記検出ステップにおいて検出された上記フォークポケットに、上記フォークリフトのフォークを位置合わせするための所定の処理を実行する処理実行ステップと、を含んでいる。

本発明の一態様によれば、レーザ光の照射装置を用いなくとも、フォークリフトのフォークをフォークポケットに容易に位置合わせすることが可能となる。

本発明の実施形態１に係るフォークリフト制御装置の要部構成の一例を示すブロック図である。 上記フォークリフト制御装置による処理の概要について説明するための図である。 上記フォークリフト制御装置が実行する処理の一例を示すフローチャートである。 本発明の実施形態２に係る位置合わせ補助装置の要部構成の一例を示すブロック図である。 上記位置合わせ補助装置が表示するガイド画像の例を示す図である。

〔実施形態１〕
（実施形態１における処理の概要）
実施形態１のフォークリフト制御装置１による処理の概要を図２に基づいて説明する。図２は、フォークリフト制御装置１による処理の概要について説明するための図である。フォークリフト制御装置１は、フォークリフト３のフォーク３０を、パレット８００のフォークポケットＦＰに容易に位置合わせするための情報処理装置の一例である。

図２の例では、パレット８００上に載置された積荷９００（荷役対象物）を運搬するために、運転者Ｍがフォークリフト３を運転している。パレット８００は、所定の高さの架台上に載置されている。図２の（ａ）には、フォーク３０がフォークポケットＦＰに位置合わせされる前の状態が示されている。これに対し、図２の（ｂ）には、フォーク３０がフォークポケットＦＰに位置合わせされた後の状態が示されている。なお、図２の紙面において、縦方向は高さ方向（上下方向、鉛直方向）を、横方向は水平方向をそれぞれ表す。この点については、後述の図５も同様である。

フォークリフト３は、前面にフォーク３０を備える。一例として、フォーク３０は、水平方向前方に突出する一組の爪部３１ａ・３１ｂを有する。爪部３１ａと３１ｂはフォークリフト３の幅方向に隣接して、平行に設けられている（後述の図５も参照）。パレット８００の前面（フォークリフト３の前面と相対する面）には、爪部３１ａ・３１ｂにそれぞれ対応するように、水平方向に隣接する一組のフォークポケットＦＰａ・ＦＰｂが設けられている。なお、フォークポケットＦＰａ・ＦＰｂを区別する必要のないときには、単にフォークポケットＦＰと記載する。

撮影装置４は、フォークポケットＦＰの検出に用いる画像（以下、ＩＭＧ１）を撮影する装置である。つまり、フォークリフト制御装置１は、撮影装置４が撮影したＩＭＧ１からフォークポケットＦＰを検出する。なお、実施形態１では、ＩＭＧ１が静止画像である場合を例示するが、該ＩＭＧ１は動画像であってもよい。

図２の例では、撮影装置４は、フォーク３０の基部であって、爪部３１ａ・３１ｂの中間の位置に取り付けられている。つまり、撮影装置４は爪部３１ａ・３１ｂと同じ高さに取り付けられている。また、撮影装置４は、撮影方向が水平方向（フォーク３０の延在方向に沿った方向）となるように取り付けられている。

なお、撮影装置４はフォークポケットＦＰが撮影できる位置に取り付ければよく、図示の例に限られない。ただし、フォーク３０の基部のようにフォーク３０の昇降に合わせて昇降する位置に撮影装置４を設置することにより、フォークポケットＦＰを正面あるいは正面に近い方向から撮影することができるので、このような位置に撮影装置４を設置することが好ましい。

また、図２の（ａ）には、撮影装置４が撮影したＩＭＧ１の例についても併せて図示している。このＩＭＧ１には、積荷９００が載置されたパレット８００が写っていると共に、パレット８００のフォークポケットＦＰが写っている。なお、図２の（ａ）のＩＭＧ１の例では、フォーク３０の図示を省略しているが、図２のような配置の撮影装置４で撮影した場合、ＩＭＧ１にはフォーク３０（爪部３１ａ・３１ｂ）も写る。

図２の（ａ）に示されるように、フォークリフト制御装置１は、撮影装置４からＩＭＧ１を取得する。そして、フォークリフト制御装置１は、ＩＭＧ１からフォークポケットＦＰを検出する（より正確には、ＩＭＧ１の画像領域から、フォークポケットＦＰの像が写っている領域を検出する）。この検出には、後述する学習済みモデルが使用される。

図２の（ａ）の例では、高さ方向において、フォーク３０および撮影装置４は、フォークポケットＦＰよりも高い位置にあるから、撮影されたＩＭＧ１の画像領域の中心よりも下方の領域にフォークポケットＦＰが検出される。このように、フォーク３０とフォークポケットＦＰの位置関係に応じて、ＩＭＧ１の何れの位置にフォークポケットＦＰが検出されるかが決まる。よって、フォークリフト制御装置１は、ＩＭＧ１の画像領域におけるフォークポケットＦＰが検出された位置から、フォーク３０とフォークポケットＦＰの位置関係（どちらがどの程度高い位置にあるか）を特定することができる。

そして、図２の（ｂ）に示されるように、フォークリフト制御装置１は、フォークリフト３の動作を制御して、フォークポケットＦＰに対してフォーク３０を位置合わせさせる。具体的には、本実施形態のフォークリフト制御装置１は、上記所定の処理として、フォーク３０（爪部３１ａ・３１ｂ）をフォークポケットＦＰ（フォークポケットＦＰａ・ＦＰｂ）に挿入可能な位置に移動させる処理を実行する。図２の（ｂ）の例では、フォーク３０の高さ方向の位置が図２の（ａ）の場合に比べて低くなるように、該高さ方向の位置が変更（調整）される。

このように、フォークリフト制御装置１によれば、フォーク３０をフォークポケットＦＰに自動で位置合わせすることができる。また、フォークリフト制御装置１によるフォークポケットＦＰの検出は、ソフトウェアを用いた情報処理によって実現することができる。つまり、フォークリフト制御装置１によるフォーク３０の位置合わせにおいては、従来技術（例：特許文献１の技術）のように、目印用のレーザ光を照射する照射装置を必要としないという利点がある。

なお、図２では、１つ（１台）のフォークリフト制御装置１が１台のフォークリフト３を制御している場合を例示しているが、１つのフォークリフト制御装置１が複数のフォークリフト３を制御することもできる。この場合、フォークリフト制御装置１は、各フォークリフト３の荷役作業の対象となるパレット８００のフォークポケットＦＰが写った画像を取得すればよい。また、フォークリフト制御装置１の配置も特に限定されず、例えばフォークリフト制御装置１をフォークリフト３に搭載あるいは内蔵してもよい。これらの点については、後述の実施形態２の位置合わせ補助装置２（情報処理装置）についても同様である。

（フォークリフト制御装置１の要部構成）
フォークリフト制御装置１の要部構成について図１に基づいて説明する。図１は、フォークリフト制御装置１の要部構成の一例を示すブロック図である。図１に示されるように、フォークリフト制御装置１は、フォークリフト制御装置１の各部を統括して制御する制御部１０と、フォークリフト制御装置１が使用する各種データを記憶する記憶部２０を備えている。制御部１０には、撮影制御部１０１、入力データ生成部１０２、検出部１０３、およびフォークリフト制御部１０４が含まれている。

フォークリフト制御部１０４は、フォークリフト３を制御する。実施形態１では、フォークリフト制御部１０４が、フォークリフト３のフォーク３０をフォークポケットＦＰに位置合わせするための所定の処理を実行する処理実行部としての役割を担う。

撮影制御部１０１は、撮影装置４を制御して上述のＩＭＧ１の撮影を行わせる。より詳細には、撮影制御部１０１は、フォーク３０の位置合わせが開始されたことを検出し、この検出を契機として撮影装置４にＩＭＧ１の撮影を行わせる。本実施形態では、運転者Ｍがフォーク３０の昇降操作を行ったことが検出されたときに、フォーク３０の位置合わせが開始されたとみなして撮影を行わせる例を説明する。フォーク３０の昇降操作が行われたことは、例えばフォークリフト３と通信する等により検出することができる。

なお、図２の例のように、フォーク３０の昇降に伴って撮影装置４の位置が変わる場合には、撮影制御部１０１は、昇降開始から終了までの期間において、撮影装置４に複数回撮影を行わせてもよい。この場合、フォークリフト制御装置１は、時系列で撮影された複数のＩＭＧ１からフォークポケットＦＰの検出を試みることになる。また、撮影制御部１０１は、複数回撮影を行う代わりに、撮影装置４に昇降開始から終了までの動画像を撮影させて、その動画像から抽出したフレーム画像をＩＭＧ１としてもよい。

無論、撮影の契機は上記の例に限定されず、例えば、撮影制御部１０１は、荷役作業時に行われることの多いフォーク３０のティルト操作が検出されたときに撮影を行わせてもよい。また、例えば、撮影制御部１０１は、フォークリフト３が低速で前進および後退を行いながら、進行方向の微調整を行っている等の荷役作業の開始時に特有の態様でフォークリフト３が運転されていることを検出したときに撮影を行わせてもよい。

以上の各例のように、適切なタイミングで撮影を行わせることにより、撮影装置４の撮影回数や撮影時間を必要最小限に抑えることができる。そして、これにより、撮影されたＩＭＧ１を用いたフォークリフト制御装置１の処理回数や処理時間も必要最小限に抑えることができるので、フォークリフト制御装置１の負荷を抑えた効率的な処理が実現される。

（入力データ生成部１０２と入力データについて）
入力データ生成部１０２は、検出部１０３が使用する学習済みモデルに入力する入力データを生成する。より詳細には、入力データ生成部１０２は、撮影装置４からＩＭＧ１を取得して、ＩＭＧ１から入力データを生成する。本実施形態では、撮影装置４から取得したＩＭＧ１をそのまま入力データとする例を説明する。

ＩＭＧ１は、上記学習済みモデルの生成に用いた教師データの画像と同様の撮影条件で撮影した画像であることが好ましい。上記撮影条件には、例えば、撮影装置４と、被写体（特にパレット８００およびフォークポケットＦＰ）との位置関係、被写体の背景、および周囲の明るさ等が含まれる。撮影条件を揃えるため、例えば、教師データに用いた画像が、フォークの基部に固定した撮影装置で撮影された画像であれば、ＩＭＧ１も図２の例のようにフォーク３０の基部に固定した撮影装置４で撮影されたものとすることが好ましい。

なお、入力データはフォークポケットＦＰの特徴が表れたデータ（ＩＭＧ１にフォークポケットＦＰが写っている場合に限る）であればよく、必ずしもＩＭＧ１をそのまま入力データとする必要はない。例えば、入力データ生成部１０２は、ＩＭＧ１に対して所定の処理を施した画像を、入力データとして検出部１０３に供給してもよい。上記所定の処理は、フォークポケットＦＰの特徴を失わせることなく、該特徴と関係のない情報を減らすことができるものであればよい。例えば、ＩＭＧ１がカラー画像である場合、入力データ生成部１０２は、該ＩＭＧ１をグレースケール化したデータを、入力データとして検出部１０３に供給してもよい。あるいは、ＩＭＧ１が動画像である場合、入力データ生成部１０２は、該ＩＭＧ１を構成する一部のフレームを抽出し、該一部のフレームを入力データとして検出部１０３に供給してもよい。

さらに、入力データ生成部１０２は、例えばＩＭＧ１に写る被写体の中から所定の被写体（例えばパレット８００）を検出し、検出した被写体が写る領域のみから入力データを生成してもよい。これにより、被写体の背景の影響を排除することができるので、検出部１０３における検出精度を高めることができる。なお、所定の被写体の検出には、例えばＣＮＮ（Convolutional Neural Network）等の学習済みモデルを用いることができる。

ただし、入力データ生成部１０２は、入力データとして、教師データと同じ形式のデータを生成する必要がある。例えば、教師データが静止画像であれば、入力データ生成部１０２も入力データとして静止画像を生成する必要がある。

（検出部と学習済みモデルについて）
検出部１０３は、機械学習により生成された学習済みモデルを用いて、ＩＭＧ１からフォークポケットＦＰを検出する。この学習済みモデルの生成には、例えば、フォークポケットが写った画像から上記の入力データと同様にして生成した入力データと、該画像におけるフォークポケットが写っている領域を示す正解データとを対応付けた教師データを用いることができる。

教師データが静止画像である場合、学習済みモデルとしては、例えば当該教師データを用いて機械学習したＣＮＮを用いることができる。一方、教師データが動画像である場合、学習済みモデルとしては、例えば、ＣＮＮとＲＮＮ（Recurrent Neural Network）、あるいはＣＮＮとＬＳＴＭ（Long Short-Term Memory）を組み合わせた学習済みモデルを用いることが好ましい。ＲＮＮおよびＬＳＴＭ等の時系列データの扱いに適したモデルと、画像認識性能の高いＣＮＮとを組み合わせることにより、信頼性の高い出力データを得ることができる。

（学習済みモデルの出力データと検出部１０３の処理について）
以上のようにして生成された学習済みモデルに対し、入力データ生成部１０２がＩＭＧ１から生成した入力データを入力すると、学習済みモデルはＩＭＧ１においてフォークポケットＦＰが写っている可能性のある領域を示す出力データを出力する。また、学習済みモデルは、上記可能性の高さを示す確率値についても出力する。検出部１０３は、これらの出力データに基づいて、フォークポケットＦＰが写っている領域を検出する。例えば、検出部１０３は、フォークポケットＦＰが写っている可能性が閾値以上である領域を、ＩＭＧ１におけるフォークポケットＦＰが写っている領域として検出してもよい。

（処理の流れ）
フォークリフト制御装置１が実行する処理の流れを図３に基づいて説明する。図３は、フォークリフト制御装置１が実行する処理（情報処理方法）の一例を示すフローチャートである。

Ｓ１では、撮影制御部１０１は、フォークリフト３とフォークポケットＦＰとの位置合わせが開始されたか否かを判定する。該位置合わせが開始されたと判定された場合（Ｓ１でＹＥＳ）、Ｓ２に進む。他方、該位置合わせが開始されていないと判定された場合（Ｓ１でＮＯ）、Ｓ１に戻り、同様の処理を繰り返す。

Ｓ２では、撮影制御部１０１は、撮影装置４にＩＭＧ１を撮影させる。そして、入力データ生成部１０２は、撮影装置４からＩＭＧ１を取得し、入力データを生成する。実施形態１では、上述の通り、入力データ生成部１０２は、ＩＭＧ１をそのまま入力データとして用いる。

Ｓ３（検出ステップ）では、検出部１０３は、学習済みモデルを用いて、入力データであるＩＭＧ１から、フォークポケットＦＰを検出する。

Ｓ４（処理実行ステップ）では、フォークリフト制御部１０４は、検出部１０３の検出結果に応じて、フォーク３０を位置合わせするための所定の処理を実行する。実施形態１では、ＩＭＧ１から検出されたフォークポケットＦＰに対し、フォーク３０の位置合わせを行う（上述の図２の（ｂ）を参照）。

上述のように、ＩＭＧ１の画像領域におけるフォークポケットＦＰが検出された位置から、フォーク３０とフォークポケットＦＰの位置関係（どちらがどの程度高い位置にあるか）を特定することができる。このため、フォークポケットＦＰの検出位置と、フォーク３０の制御量（何れの方向にどれだけフォーク３０を動かすか）との対応関係を予め定式化しておくことにより、フォークリフト制御部１０４に自動でフォーク３０の位置合わせを行わせることができる。

（実施形態１のまとめ）
以上のように、検出部１０３は、パレットと該パレットのフォークポケットとが写った画像を教師データとした機械学習により生成された学習済みモデルを用いて、ＩＭＧ１からフォークポケットＦＰを検出する。そして、フォークリフト制御部１０４は、検出部１０３が検出したフォークポケットＦＰに、フォーク３０を位置合わせするための所定の処理を実行する。それゆえ、フォークリフト制御装置１によれば、上述の通り、レーザ光の照射装置を用いなくとも、フォーク３０をフォークポケットＦＰに容易に位置合わせすることができる。

より具体的には、実施形態１では、フォークリフト制御部１０４は、フォーク３０をフォークポケットＦＰに挿入可能な位置に移動させる。つまり、実施形態１では、上記所定の処理は、フォーク３０をフォークポケットＦＰに挿入可能な位置に移動させる処理である。該処理によれば、運転者Ｍの操作によらず、フォーク３０をフォークポケットＦＰに位置合わせできる。すなわち、フォーク挿入操作を自動的に行うことができる。従って、運転者Ｍの操作の負担を、特に効果的に低減できる。

なお、フォークリフト３は、運転手Ｍの操作によらず、自動で荷役作業を行うことができるものであってもよい。この場合、フォークリフト制御部１０４は、フォーク３０をフォークポケットＦＰに挿入可能な位置に移動させた後、フォークを挿し込んで積荷を持ち上げ、搬送する処理までフォークリフト３に行わせてもよい。ただし、フォークリフト３に運転手Ｍが搭乗している場合、本実施形態のように、フォーク３０の位置合わせ（垂直方向の位置合わせ）は自動で行い、フォーク３０の挿し込みやフォークリフト３の水平方向への移動は、運転手Ｍに行わせることが好ましい。このような構成とすれば、仮にフォークポケットＦＰの検出結果が誤っていた場合であっても、フォーク３０を積荷に接触させる等の事態を発生させることがないためである。

〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態１にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

図４は、実施形態２の位置合わせ補助装置２の要部構成の一例を示すブロック図である。位置合わせ補助装置２は、フォーク３０をフォークポケットＦＰに容易に位置合わせするための情報処理装置の別の例である。図４に示されるように、位置合わせ補助装置２では、実施形態１のフォークリフト制御装置１のフォークリフト制御部１０４が、位置合わせ補助部２０４に置き換えられている。実施形態２の位置合わせ補助部２０４は、処理実行部の別の例である。

また、位置合わせ補助装置２は、位置合わせ補助装置２が情報を出力するための出力部２５を備えている。以下では、出力部２５が情報を表示出力する表示装置である例を説明する。但し、後述するように、出力部２５は、位置合わせを補助するための情報を出力できるものであればよく、表示装置に限定されない。

位置合わせ補助部２０４は、フォーク３０をフォークポケットＦＰに挿入可能な位置に移動させる操作を行うように運転者Ｍをガイド（案内）する処理を行う。実施形態２の例では、位置合わせ補助部２０４は、運転者Ｍをガイドするためのガイド画像（以下、ＩＭＧ２）を生成する。そして、位置合わせ補助部２０４は、出力部２５を制御してＩＭＧ２を表示させる。このように、位置合わせ補助部２０４は、ＩＭＧ２を用いて、フォーク３０をフォークポケットＦＰに挿入可能な位置に移動させるように運転者Ｍを視覚的にガイドする。

（ガイド画像について）
図５は、ガイド画像の例を示す図である。図５の（ａ）は、運転者Ｍによるフォーク３０の位置合わせ開始時におけるＩＭＧ２を示す。図５の（ｂ）は、運転者Ｍによるフォーク３０の位置合わせ終了時におけるＩＭＧ２を示す。ここでは、図２のように配置された撮影装置４にてパレット８００等を撮影したＩＭＧ１が動画像であり、ＩＭＧ２がＩＭＧ１に情報を重畳することにより生成した、いわゆるＡＲ（Augmented Reality）画像である例を説明する。なお、図５では説明を分かりやすくするため、爪部３１ａ・３１ｂ等の写り方について、図２のように配置された撮影装置４で実際に撮影した画像とは異なる態様で示している。

図５の（ａ）に示すガイド画像を表示させる場合、位置合わせ補助部２０４は、検出部１０３の検出結果に基づいて、ＩＭＧ１に重畳させる各種情報の重畳位置および表示態様を決定する。図５の例では、位置合わせ補助部２０４は、下記（１）（２）の情報をＩＭＧ１の画像領域における何れの位置に重畳させるかを決定する。
（１）フォーク３０の爪部３１ａ・３１ｂの位置を示す情報（具体的には、図５の点ＰＴ１、線分ＬＶ１、および線分ＬＨ１）。
（２）フォークポケットＦＰａ・ＦＰｂの位置を示す情報（具体的には、図５の点ＰＴ２、線分ＬＶ２、および線分ＬＨ２）。

上記の点ＰＴ１は、爪部３１ａ・３１ｂの中間位置（爪部３１ａ・３１ｂから等距離の位置）を示すものである。例えば、図２のように爪部３１ａ・３１ｂの中間位置に設置した撮影装置４からフォーク３０の正面方向を撮影して得られたＩＭＧ１であれば、位置合わせ補助部２０４は、ＩＭＧ１の画像平面における中心位置を点ＰＴ１の重畳位置と決定する。また、位置合わせ補助部２０４は、点ＰＴ１を通るように、垂直方向に延在する線分ＬＶ１と、水平方向に延在する線分ＬＨ１の重畳位置を決定する。なお、撮影装置４の設置位置や撮影方向が上記と異なる場合には、その設置位置や撮影方向等に基づいて点ＰＴ１等の位置を算出すればよい。

また、上記の点ＰＴ２は、フォークポケットＦＰａ・ＦＰｂの中間位置（フォークポケットＦＰａ・ＦＰｂから等距離の位置）を示すものである。位置合わせ補助部２０４は、検出部１０３が検出したフォークポケットＦＰａ・ＦＰｂの中間位置を点ＰＴ２の重畳位置と決定する。また、位置合わせ補助部２０４は、点ＰＴ２を通るように、垂直方向に延在する線分ＬＶ２と、水平方向に延在する線分ＬＨ２の重畳位置を決定する。

さらに、位置合わせ補助部２０４は、下記の情報の情報位置と表示態様を決定する。
（３）フォーク３０の垂直方向の移動量を示す情報（具体的には、図５の矢印ＧＶ）。
（４）フォーク３０の水平方向の移動量を示す情報（具体的には、図５の矢印ＧＨ）。

具体的には、位置合わせ補助部２０４は、矢印ＧＨを、線分ＬＶ１から線分ＬＶ２まで水平方向に延びる矢印とすることを決定する。言い換えれば、位置合わせ補助部２０４は、始点が線分ＬＶ１上となり終点が線分ＬＶ２上となる矢印ＧＨを線分ＬＶ１と線分ＬＶ２との間に重畳することを決定する。同様に、位置合わせ補助部２０４は、始点が線分ＬＨ１上となり終点が線分ＬＨ２上となる矢印ＧＶを線分ＬＨ１と線分ＬＨ２との間に重畳することを決定する。そして、位置合わせ補助部２０４は、上記決定した各種情報をＩＭＧ１に重畳して表示するように出力部２５を制御し、これにより図５に示すようなＩＭＧ２が出力部２５に表示される。

図５の例のように線分ＬＶ１・ＬＶ２を表示させることにより、フォーク３０とフォークポケットＦＰとが水平方向にどの程度ずれているかを運転者Ｍに容易に認識させることができる。また、矢印ＧＨの向きはフォーク３０を移動させるべき向きを示しており、矢印ＧＨの長さはフォーク３０を移動させるべき移動量を示している。このため、矢印ＧＨを表示させることにより、フォーク３０を水平方向の何れの向きにどの程度動かすべきかを運転者Ｍに容易に認識させることができる。同様に、線分ＬＨ１・ＬＨ２を表示させることにより、フォーク３０とフォークポケットＦＰとが垂直方向にどの程度ずれているかを運転者Ｍに容易に認識させることができる。そして、矢印ＧＶを表示させることにより、フォーク３０を垂直方向の何れの向きにどの程度動かすべきかを運転者Ｍに容易に認識させることができる。なお、必ずしもこれらの全ての情報を表示させる必要はない。また、表示させる各情報は、運転者Ｍによるフォーク３０の位置合わせの補助となるものであればよく、図示の例に限定されない。

位置合わせ補助部２０４は、上記の各情報のうち、点ＰＴ２、線分ＬＶ２、線分ＬＨ２、矢印ＧＶ、および矢印ＧＨについては、周期的に、あるいはフォーク３０の移動に応じて表示位置等を更新する。これにより、フォーク３０を何れの向きにあとどの程度動かすべきかを運転者Ｍに容易に認識させることができる。

また、位置合わせ補助部２０４は、フォーク３０の移動によって位置合わせが完了したときには、そのことを運転者Ｍが認識できるような表示を行ってもよい。例えば、水平方向の位置合わせが完了したときには、位置合わせ補助部２０４は、水平方向の位置合わせを補助するための情報（線分ＬＶ２、矢印ＧＨ）の表示を終了してもよい。同様に、位置合わせ補助部２０４は、垂直方向の位置合わせが完了したときには、垂直方向の位置合わせを補助するための情報（線分ＬＨ２、矢印ＧＶ）の表示を終了してもよい。そして、水平方向および垂直方向の位置合わせが何れも完了したときには、位置合わせ補助部２０４は、図５の（ｂ）に示すように、点ＰＴ２の表示も終了してもよい。無論、位置合わせの完了を運転者Ｍに報知する方法はこの例に限られず、例えば、位置合わせ補助部２０４は、位置合わせが完了したことを示す音声や文字を出力することによって報知してもよい。

なお、位置合わせの完了を判定する方法は特に限定されない。例えば、位置合わせ補助部２０４は、線分ＬＶ１とＬＶ２の距離が閾値以下となったとき、つまり矢印ＧＨの長さが閾値以下となったときに、水平方向の位置合わせが完了したと判定してもよい。同様に、位置合わせ補助部２０４は、線分ＬＨ１とＬＨ２の距離が閾値以下となったとき、つまり矢印ＧＶの長さが閾値以下となったときに、垂直方向の位置合わせが完了したと判定してもよい。

（実施形態２のまとめ）
以上のように、実施形態２では、位置合わせ補助部２０４は、フォーク３０をフォークポケットＦＰに挿入可能な位置に移動させる操作を行うように運転者Ｍをガイドする。つまり、実施形態２では、フォークポケットＦＰにフォーク３０を位置合わせするための所定の処理は、フォーク３０をフォークポケットＦＰに挿入可能な位置に移動させる操作を行うように運転者Ｍをガイドする処理である。該処理によれば、運転者Ｍは、該ガイドに従って、フォークポケットＦＰにフォーク３０を容易に位置合わせすることができる。

なお、位置合わせ補助部２０４によって提供されるガイドの態様は、視覚的なガイドのみに限定されない。位置合わせ補助部２０４は、運転者Ｍが認識可能である限り、任意の態様によるガイドを行ってよい。一例として、位置合わせ補助部２０４は、聴覚的に運転者Ｍをガイドしてもよい。例えば、出力部２５が音声を出力可能な音声出力装置（例：スピーカ）である場合、位置合わせ補助部２０４は、フォーク３０を動かすべき方向や動かすべき距離等を示す音声によって運転者Ｍをガイドしてもよい。また、位置合わせ補助部２０４は、音声と画像（ＩＭＧ２）との両方を組み合わせて、運転者Ｍをガイドしてもよい。

また、上記では位置合わせ補助装置２が備えている出力部２５にガイド用の情報を出力させる例を説明したが、該情報を出力させる対象となる装置は任意である。例えば、フォークリフト３が表示装置を備えている場合には、該表示装置にガイド用の情報を出力させてもよい。また、運転者Ｍが所持する装置（例えば、眼鏡型等のウェアラブルデバイスであってもよいし、携帯電話機やタブレット端末等）にガイド用の情報を出力させてもよい。

〔フォークポケットの検出の変形例〕
上記各実施形態の検出部１０３は、学習済みモデルの出力データに加えて、フォークポケットＦＰの外観的特徴についても考慮してフォークポケットＦＰを検出してもよい。例えば、フォークポケットＦＰは、図２のＩＭＧ１の例で示したように、（１）水平方向に並んだ２つの孔部（ＦＰａとＦＰｂ）で構成されている。また、（２）各孔部の形状は長方形状である。さらに、（３）フォークポケットＦＰはＩＭＧ１においてパレット８００の内側に位置する。

よって、これらの外観的特徴の少なくとも１つを、フォークポケットＦＰを検出する条件としてもよい。つまり、検出部１０３は、学習済みモデルの出力データに基づいて検出した、フォークポケットＦＰが写る領域が、上記の外観的特徴を有しているか判定する。例えば、上記（１）の外観的特徴を利用する場合、検出部１０３は、フォークポケットＦＰが写る領域が水平方向に２つ並んでいれば上記（１）の外観的特徴を有していると判定し、それらの領域を、フォークポケットＦＰが写る領域として検出する。また、上記（３）の外観的特徴を利用する場合、検出部１０３は、機械学習済みのＣＮＮ等を用いてＩＭＧ１からパレット８００の写る領域を検出し、該領域内にフォークポケットＦＰが写っているか否かを判定すればよい。

以上のように、検出部１０３は、学習済みモデルの出力データに基づいて検出した、フォークポケットＦＰが写る領域が、所定の外観的特徴を有しているか判定し、有している場合に当該領域をフォークポケットＦＰが写る領域として検出してもよい。これにより、ＩＭＧ１におけるフォークポケットＦＰではない領域を、フォークポケットＦＰが写った領域であると誤検出する可能性を低減し、フォークポケットＦＰの検出精度を向上させることができる。

〔分散処理について〕
上記各実施形態で説明した情報処理装置（フォークリフト制御装置１および位置合わせ補助装置２）の実行する処理の一部は、該情報処理装置と通信接続された１または複数の装置に実行させてもよい。例えば、検出部１０３の実行する処理の一部を、情報処理装置と通信接続されたＡＩサーバに実行させてもよい。この場合、例えば、情報処理装置は、入力データをＡＩサーバに送信し、該ＡＩサーバから出力データを受信してフォークポケットＦＰを検出する。

〔ソフトウェアによる実現例〕
フォークリフト制御装置１および位置合わせ補助装置２の制御ブロック（特に制御部１０に含まれる各部）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、フォークリフト制御装置１および位置合わせ補助装置２は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１ フォークリフト制御装置（情報処理装置）
２ 位置合わせ補助装置（情報処理装置）
３ フォークリフト
３０ フォーク
１０３ 検出部
１０４ フォークリフト制御部（処理実行部）
２０４ 位置合わせ補助部（処理実行部）
８００ パレット
９００ 積荷（荷役対象物）
Ｍ 運転者
ＩＭＧ１ 荷役対象物が載置されたパレットを撮影した画像
ＦＰ，ＦＰａ，ＦＰｂ フォークポケット

Claims (4)

1. 荷役対象物を載置するパレットと該パレットのフォークポケットとが写った画像を教師データとした機械学習により生成された学習済みモデルを用いて、フォークリフトが荷役を行う対象である荷役対象物が載置されたパレットを撮影した画像からフォークポケットを検出する検出部と、
   上記検出部が検出した上記フォークポケットに、上記フォークリフトのフォークを位置合わせするための所定の処理を実行する処理実行部と、を備えていることを特徴とする情報処理装置。
2. 上記所定の処理は、上記フォークリフトのフォークを、上記検出部が検出した上記フォークポケットに挿入可能な位置に移動させる処理であることを特徴とする請求項１に記載の情報処理装置。
3. 上記所定の処理は、上記フォークリフトのフォークを、上記検出部が検出した上記フォークポケットに挿入可能な位置に移動させる操作を行うように、上記フォークリフトの運転者を案内する処理であることを特徴とする請求項１に記載の情報処理装置。
4. 情報処理装置による情報処理方法であって、
   荷役対象物を載置するパレットと該パレットのフォークポケットとが写った画像を教師データとした機械学習により生成された学習済みモデルを用いて、フォークリフトが荷役を行う対象である荷役対象物が載置されたパレットを撮影した画像からフォークポケットを検出する検出ステップと、
   上記検出ステップにおいて検出された上記フォークポケットに、上記フォークリフトのフォークを位置合わせするための所定の処理を実行する処理実行ステップと、を含んでいることを特徴とする情報処理方法。

Images