JP2020062707A - 情報処理装置 - Google Patents

Abstract

【課題】 容易に倉庫管理システムから情報を取得することができる情報処理装置を提供する。【解決手段】 一実施形態に係る情報処理装置は、倉庫管理システムの指示画面から、設定ファイルに基づいて、商品が収納されたトレイからピッキングする商品の個数と、ピッキングする商品の前記トレイにおける位置と、を取得し、前記トレイから商品をピッキングするロボットアームに、把持点を示す動作計画を供給する情報処理装置であって、前記指示画面の画像を取得する通信インタフェースと、プロセッサとを具備する。プロセッサは、前記指示画面の画像から、予め設定されたキーワードに対応した文字列を検出し、検出した前記文字列の位置に基づいて、前記指示画面の画像におけるピッキングする商品の個数及びピッキングする商品の前記トレイにおける位置が表示されている領域を特定し、前記領域に基づいて前記設定ファイルを生成する。【選択図】図３

Description

本発明の実施形態は、情報処理装置に関する。

物品（商品または荷物など）が収納された複数のトレイと、トレイを移動させる機構（トレイ移動機構）とを有する倉庫管理システムが実用化されている。トレイは、ラックに収納されている。トレイ移動機構は、商品の取り出しが指示された場合、指定された商品が収納されたトレイをラックから所定の位置に移動させる。また、倉庫管理システムは、所定の位置に移動させたトレイから取り出す商品を識別する為の情報（商品識別情報）、取り出す個数（ピッキング個数）、及び取り出す商品のトレイ上の位置（ピッキングエリア）などの、商品の取出に関する情報を、操作パネルに表示させる。

また、商品を仕分するロボットアームを有するピッキングシステムが実用化されている。ピッキングシステムは、ロボットアーム、ロボットアーム制御装置、情報処理装置などを備える。情報処理装置は、動作計画を生成する。ロボットアーム制御装置は、情報処理装置から供給される動作計画に基づいて、ロボットアームを制御する。ロボットアームは、ロボットアーム制御装置の制御に基づいて、商品を把持し、移動させる。

ピッキングシステムにより、倉庫管理システムのトレイから商品をピッキングする為には、ピッキングシステムに、商品の取出に関する情報を入力する必要がある。しかし、商品の取出に関する情報を人手により入力することは、手間である。また、商品の取出に関する情報を、倉庫管理システムからピッキングシステムに電子的に入力する為には、倉庫管理システムの修正が必要であるという課題がある。

特開２０１５−７６０４２号公報

本発明が解決しようとする課題は、容易に倉庫管理システムから情報を取得することができる情報処理装置を提供することである。

一実施形態に係る情報処理装置は、倉庫管理システムの指示画面から、設定ファイルに基づいて、商品が収納されたトレイからピッキングする商品の個数と、ピッキングする商品の前記トレイにおける位置と、を取得し、前記トレイから商品をピッキングするロボットアームに、把持点を示す動作計画を供給する情報処理装置であって、前記指示画面の画像を取得する通信インタフェースと、プロセッサとを具備する。プロセッサは、前記指示画面の画像から、予め設定されたキーワードに対応した文字列を検出し、検出した前記文字列の位置に基づいて、前記指示画面の画像におけるピッキングする商品の個数及びピッキングする商品の前記トレイにおける位置が表示されている領域を特定し、前記領域に基づいて前記設定ファイルを生成する。

図１は、一実施形態に係る倉庫管理システム及びピッキングシステムの概略的な構成例について説明する為の説明図である。 図２は、一実施形態に係る倉庫管理システムの指示画面の例について説明する為の説明図である。 図３は、一実施形態に係る情報処理装置及び操作端末について説明する為の説明図である。 図４は、一実施形態に係る情報処理装置の動作の例について説明する為の説明図である。 図５は、一実施形態に係る情報処理装置の動作の例について説明する為の説明図である。 図６は、一実施形態に係るキーワードファイルの例について説明する為の説明図である。 図７は、一実施形態に係る初期設定画面の例について説明する為の説明図である。 図８は、一実施形態に係る初期設定画面の例について説明する為の説明図である。 図９は、一実施形態に係る初期設定画面の例について説明する為の説明図である。

以下、実施形態について、図面を参照して説明する。
図１は、実施形態に係る倉庫管理システム１及びピッキングシステム２の概略的な構成例について説明する為の説明図である。

まず、倉庫管理システム１の構成について説明する。
倉庫管理システム１は、指示に基づいて、物品（商品または荷物など）が収納されたトレイを入出させる自動倉庫のシステムである。なお、実施形態では、物品が商品であるとして説明する。倉庫管理システム１は、複数のトレイ１１、トレイ移動機構１２、制御装置１３、操作パネル１４を有する。

複数のトレイ１１は、商品を収納する。各トレイ１１は、自動倉庫のラックに収納されている。各トレイ１１は、識別情報（トレイ識別コード）が予め設定されている。

また、例えば、各トレイ１１は、商品を収納する収納部を複数備える構成であってもよい。複数の収納部は、例えば仕切り板などによって仕切られて構成される。また、複数の収納部は、それぞれ識別情報（収納位置コード）が予め設定されている。なお、トレイ１１は、商品を収納することができるものであれば如何なるものであってもよい。

各トレイ１１に収納されている商品は、識別情報（商品識別情報）が予め設定されている。例えば、商品識別情報は、商品の種類ごとに付与されたコード（商品コード）である。また、例えば、商品識別情報は、商品の名称（商品名）であってもよい。また、例えば、商品識別情報は、商品コードと商品名との両方であってもよい。

トレイ移動機構１２は、制御装置１３の制御に基づいて、指定されたトレイ１１をラックから取り出し、取り出したトレイ１１を所定の位置に移動させる。

制御装置１３は、倉庫管理システム１における種々の制御を行う。制御装置１３は、トレイ移動機構１２を制御する。また、制御装置１３は、操作パネル１４への種々の画面表示を行う為の、表示用のデータ（画面データ）を生成し、操作パネル１４に画面データを供給する。制御装置１３は、通信インタフェース、プロセッサ、及びメモリを備える。制御装置１３は、プロセッサがメモリに記憶されているプログラムを実行することにより、トレイ移動機構１２の制御及び画面データの出力を行う。また、制御装置１３のメモリは、トレイ識別コードと商品識別情報とを対応付けて記憶している。また、制御装置１３のメモリは、トレイ識別コードと商品識別情報とに、さらに収納位置コードを対応付けて記憶していてもよい。

操作パネル１４は、制御装置１３から供給された画面を表示する。例えば、操作パネル１４は、表示装置と操作部材とを備える。具体的には、操作パネル１４は、表示装置及び操作部材として、タッチパネルを備える。タッチパネルは、画面の表示と、操作に基づく操作信号の生成とを行う装置である。タッチパネルは、一体に構成されたディスプレイ（表示装置）及びタッチセンサ（操作部材）を備える。ディスプレイは、制御装置１３から供給されるに基づいて画面を表示する。タッチセンサは、ディスプレイに表示された画面上において、オペレータがタッチした位置を示す操作信号を生成し、制御装置１３に供給する。

上記のように構成された倉庫管理システム１の制御装置１３は、取出指示を図示されないネットワークを経由した上位のシステム（倉庫管理システム）、または操作パネル１４から受け取る。取出指示は、トレイ１１から取り出す商品に関する情報である。取出指示は、例えば、商品識別情報と、取り出す商品の個数（ピッキング個数）と、を有する。

制御装置１３は、受け取った取出指示に基づいて、商品が収納されているトレイ１１を特定する。また、制御装置１３は、受け取った取出指示に基づいて、トレイ１１のどの収納部に商品は収納されているか特定する。具体的には、制御装置１３のプロセッサは、メモリを参照し、取出指示の商品識別情報に対応付けられたトレイ識別コード及び収納位置コードを取得する。制御装置１３は、トレイ識別コード及び収納位置コードに基づいて、商品が収納されているトレイ１１と、商品が収納されている収納部とを特定する。

制御装置１３は、特定したトレイ１１を所定の位置に移動させるように、トレイ移動機構１２を制御する。所定の位置は、ピッキングシステム２によりピッキングが行われる位置である。

また、制御装置１３は、指示画面２１の画面データを生成する。制御装置１３は、商品識別情報の商品コード及び商品名、ピッキング個数、及び収納位置コードに基づいて、指示画面２１の画面データを生成する。制御装置１３は、生成した指示画面２１の画面データを出力する。制御装置１３は、指示画面２１の画面データを、後述する分岐器３５を介して操作パネル１４に供給する。操作パネル１４は、指示画面２１をタッチパネルのディスプレイに表示させる。また、操作パネル１４は、指示画面２１上での選択操作に基づいて操作信号を生成し、逐次制御装置１３に供給する。

オペレータは、指示画面２１を確認し、ピッキングシステム２に情報を入力することにより、ピッキングシステム２によりトレイ１１の商品をピッキングさせる手動操作を行う。また、ピッキングシステム２は、人手を介さずに、倉庫管理システム１から情報を取得し、トレイ１１の商品をピッキングする自動操作を行うこともできる。

図２は、指示画面２１の例について説明する為の説明図である。指示画面２１は、トレイ１１から取り出す商品に関する種々の情報を示す画面である。例えば、指示画面２１は、商品コード表示欄２２、商品名表示欄２３、ピッキング個数表示欄２４、ピッキングエリア表示欄２５、完了数表示欄２６、テンキー２７、確定ボタン２８、及びキャンセルボタン２９などを有する。

商品コード表示欄２２は、トレイ１１からピッキングする商品の商品コードが表示される表示欄である。商品名表示欄２３は、トレイ１１からピッキングする商品の商品名が表示される表示欄である。ピッキング個数表示欄２４は、トレイ１１からピッキングする商品の数が表示される表示欄である。ピッキングエリア表示欄２５は、トレイ１１からピッキングする商品が、トレイ１１のどの収納部に収納されているかを示す表示欄である。即ち、ピッキングエリア表示欄２５は、トレイ１１からピッキングシステム２により商品をピッキングするべき位置を示す。

完了数表示欄２６は、テンキー２７の入力結果を表示する表示欄である。テンキー２７は、オペレータの操作により選択可能な操作部材である。操作パネル１４において、テンキー２７のキーが選択された場合、制御装置１３は、選択されたキーに応じた数字を完了数表示欄２６に表示する。

確定ボタン２８は、オペレータの操作により選択可能な操作部材である。操作パネル１４において、確定ボタン２８が選択された場合、制御装置１３は、取出指示に基づく処理の結果を生成する。具体的には、制御装置１３は、取出指示が示す商品を、完了数表示欄２６に表示されている数だけトレイ１１からピッキングしたことを示す処理結果を生成する。例えば、制御装置１３は、処理結果を上位の倉庫管理システムに供給する。また例えば、制御装置１３は、処理結果をメモリに記憶する。

キャンセルボタン２９は、オペレータの操作により選択可能な操作部材である。操作パネル１４において、キャンセルボタン２９が選択された場合、制御装置１３は、処理を停止する。なお、制御装置１３は、キャンセルボタン２９が選択された場合、トレイ１１をラックに戻すようにトレイ移動機構１２を制御してもよい。

次に、ピッキングシステム２の構成について説明する。
図２は、実施形態に係る倉庫管理システム１及びピッキングシステム２の構成例について説明する為のブロック図である。

ピッキングシステム２は、倉庫管理システム１のトレイ１１に収納された商品を、所定の仕分先に仕分けるシステムである。商品の仕分先は、例えばベルトコンベア、他のトレイ、カゴ車、仕分用のカゴ、作業台など、如何なるものであってもよい。

ピッキングシステム２は、ロボットアーム３１、距離センサ３２、操作端末３３、情報処理装置３４、分岐器３５、画像収集器３６、及び信号生成器３７を備える。

まず、ロボットアーム３１の構成について説明する。
ロボットアーム３１は、倉庫管理システム１のトレイ１１に収納されている商品を把持し、把持した商品を持ち上げ、商品を仕分先に供給する装置である。ロボットアーム３１は、把持機構４１、アーム機構４２、及びコントローラ４３を備える。

把持機構４１は、商品を把持する機構である。把持機構４１は、例えば、商品に吸着する吸着パッドを備える。吸着パッドは、商品の表面に接し、且つコントローラ４３の制御によりパッド内が負圧になった場合に、商品の表面に吸着し、商品を把持することができる。また、把持機構４１は、２点以上の接点で商品を挟むことにより商品を把持する複数の指部を備えるグリッパとして構成されていてもよい。

アーム機構４２は、把持機構４１を移動させる機構である。アーム機構４２は、複数のアームと、複数のアームを連結する関節機構とを備える。関節機構は、コントローラ４３により制御されるアクチュエータ（図示せず）により可動することにより、アームを駆動する。

コントローラ４３は、情報処理装置３４から供給される動作計画に基づいて、把持機構４１及びアーム機構４２の動作を制御する。コントローラ４３は、例えば、メモリ（図示せず）と、メモリに記憶されたプログラムを実行することにより把持機構４１及びアーム機構４２の動作を制御する演算素子（図示せず）とを備える。また、コントローラ４３は、シーケンサとして構成されていてもよい。

動作計画は、ピッキング位置（把持点）を示すピッキング位置データと、軌跡とを含む情報である。コントローラ４３は、動作計画が示す軌跡を通り、動作計画のピッキング位置データが示すピッキング位置まで把持機構４１が移動するように、アーム機構４２を制御する。

ピッキング位置データは、把持機構４１により商品を把持させる位置（把持点）を示す情報である。例えば、ピッキング位置データは、把持機構４１により商品を把持させる場合に把持機構４１を移動させる位置を示す。より具体的には、ピッキング位置データは、把持機構４１の基準点の移動先の３次元空間上の座標である。なお、以下ピッキング位置データが示すピッキング位置を、単にピッキング位置と称する。

軌跡は、ロボットアーム３１の把持機構４１をピッキング位置まで移動させる際の経路を示す。より具体的には、軌跡は、把持機構４１の基準点の移動経路を示す３次元空間上の複数の座標である。また、軌跡は、把持機構４１の基準点の移動経路を示す３次元空間上の複数の座標とベクトルとの組み合わせであってもよい。なお、ピッキング位置は、軌跡に含まれていてもよい。

把持機構４１が吸着パッドとして構成されている場合、把持機構４１の基準点は、例えば、吸着パッドの中心（重心）であってもよいし、吸着パッドにおける任意の点であってもよい。また、把持機構４１がグリッパとして構成されている場合、把持機構４１の基準点は、例えば、グリッパを構成する複数の指部の中心であってもよい。

次に、距離センサの構成について説明する。
距離センサ３２は、対象物までの距離を計測するセンサである。距離センサ３２は、対象物との距離を示す距離情報を取得する。距離センサ３２は、距離情報を、情報処理装置３４に供給する。

距離センサ３２は、対象物との距離を示す点が、３次元空間に配列された距離情報を取得する。即ち、距離情報は、互いに直交するｘ方向、ｙ方向、ｚ方向からなる空間における点の集合（点群）を有する距離画像である。距離情報は、二次元状に配列された複数の点毎に、距離センサ３２との距離を示す距離値を有するデータであると、言い換えることもできる。

距離センサ３２は、例えば異なる２点（瞳位置）から対象物を撮像した際の視差に基づいて対象物までの距離を計測するステレオカメラとして構成される。即ち、距離センサ３２は、レンズと、レンズにより結像された光を画像に変換する撮像素子とが組み合わされたカメラを２つ以上備える。このような構成によると、距離センサ３２は、距離情報と同時に、色情報を有する座標（画素）が２次元的に配列されたラスタ画像を取得することができる。なお、ラスタ画像は、カラー画像であっても単色画像であってもよい。

距離センサ３２のレンズは、ロボットアーム３１により持ち上げられる商品が収納されたトレイ１１を含む領域を撮影することができるように画角及び光軸の向きが調整されている。例えば、距離センサ３２のレンズは、光軸がトレイ１１の底面に対向するように調整される。例えば、距離センサ３２のレンズは、距離センサ３２のレンズの光軸と、上記のｚ方向（鉛直方向）とが平行になるように調整される。即ち、距離センサ３２は、トレイ１１の底面に対向する方向から、トレイ１１を含む所定範囲を撮像し、距離情報及びラスタ画像を取得する。

距離センサ３２は、距離情報及びラスタ画像を情報処理装置３４に供給する。なお、商品を含む所定範囲の画像を商品画像と称する。商品画像は、距離情報とラスタ画像とのいずれであってもよいが、本実施形態では、商品画像は距離情報であると仮定して説明する。

次に、操作端末３３について説明する。
操作端末３３は、オペレータによる操作入力に基づいて、処理を行い、処理結果を情報処理装置３４に供給する装置である。即ち、操作端末３３は、情報処理装置３４の操作インタフェースとして機能する。操作端末３３は、通信インタフェース５１、制御部５２、及びタッチパネル５３を備える。

通信インタフェース５１は、他の機器と通信する為のインタフェースである。通信インタフェース５１は、情報処理装置３４と通信する。

制御部５２は、種々の処理を実行する処理部である。制御部５２は、プロセッサ５４及びメモリ５５を備える。

プロセッサ５４は、演算処理を実行する演算素子である。プロセッサ５４は、例えばＣＰＵとして構成される。プロセッサ５４は、メモリ５５に記憶されているプログラムに基づいて種々の処理を行う。

メモリ５５は、プログラム及びデータを記憶する記憶装置である。メモリ５５は、例えば、読み出し専用の不揮発性メモリであるＲＯＭ、データを一時的に記憶するＲＡＭ、及びデータを記憶するストレージのいずれか、または複数を備える。

タッチパネル５３は、画面の表示と、操作に基づく操作信号の生成とを行う装置である。タッチパネル５３は、一体に構成されたディスプレイ５６及びタッチセンサ５７を備える。操作端末３３は、タッチパネル５３の代わりに画面を表示するディスプレイと、操作に基づき操作信号を生成する操作部とを備える構成であってもよい。操作部は、マウス、トラックボール、キーボード、トラックパッドなど如何なるものであってもよい。

ディスプレイ５６は、制御部５２または図示されないグラフィックコントローラから供給される表示用のデータ（画面データ）に基づいて画面を表示する。

タッチセンサ５７は、ディスプレイ５６に表示された画面上において操作端末３３を操作するオペレータがタッチした位置を示す操作信号を生成する。

次に、情報処理装置３４の構成について説明する。
情報処理装置３４は、ロボットアーム３１に動作計画を供給する装置である。情報処理装置３４は、ロボットアーム３１により商品を把持させる位置であるピッキング位置を決定する。情報処理装置３４は、ピッキング位置と把持機構４１の移動経路である軌跡とを示す動作計画を生成し、ロボットアーム３１に動作計画を供給する。

情報処理装置３４は、パーソナルコンピュータ（ＰＣ）などの、データの処理及びデータの保存を行うことができる装置により構成される。情報処理装置３４は、通信インタフェース６１及び制御部６２を備える。

通信インタフェース６１は、情報処理装置３４以外の他の機器と通信する為のインタフェースである。通信インタフェース６１は、ロボットアーム３１、距離センサ３２、操作端末３３、画像収集器３６、及び信号生成器３７と通信する。

制御部６２は、種々の処理を実行する処理部である。制御部６２は、プロセッサ６３及びメモリ６４を備える。

プロセッサ６３は、演算処理を実行する演算素子である。プロセッサ６３は、例えばＣＰＵとして構成される。プロセッサ６３は、メモリ６４に記憶されているプログラムに基づいて種々の処理を行う。

メモリ６４は、プログラム及びデータを記憶する記憶装置である。メモリ６４は、例えば、読み出し専用の不揮発性メモリであるＲＯＭ、データを一時的に記憶するＲＡＭ、及びデータを記憶するストレージのいずれか、または複数を備える。

分岐器３５は、入力された画面データ（画像信号）を分岐して出力する。例えば、分岐器３５は、制御装置１３から出力された指示画面の画面データを分岐して、操作パネル１４と画像収集器３６とに供給する。

画像収集器３６は、分岐器３５から供給された画面データをキャプチャする。例えば、画像収集器３６は、分岐器３５から供給された指示画面の画面データが、複数のフレーム（静止画）が時間に応じて順次切り替えられる動画像として構成されている場合に、画面データから１つのフレームを取得し、情報処理装置３４に供給する。なお、画像収集器３６が指示画面の画面データから取得した１つのフレームを、指示画面画像と称する。なお、分岐器３５から供給された指示画面の画面データが、静止画である場合、画像収集器３６は、キャプチャを行わずに分岐器３５から供給された指示画面の画面データを情報処理装置３４に供給する。

なお、ピッキングシステム２において、倉庫管理システム１の指示画面画像を取得する手段は、上記の分岐器３５及び画像収集器３６に限定されるものではなく、如何なるものであってもよい。例えば、操作パネル１４に表示された指示画面を光学的に撮像して指示画面画像を取得する構成であってもよい。

信号生成器３７は、情報処理装置３４の制御に基づいて、信号を生成し、生成した信号を制御装置１３に供給する。信号生成器３７が生成する信号は、操作パネル１４の操作に基づいて生成される操作信号に相当する。即ち、信号生成器３７は、情報処理装置３４の制御に基づいて、操作パネル１４の操作に基づいて生成される操作信号に対応した信号（エミュレーション信号）を生成する。具体的には、信号生成器３７は、操作パネル１４で指示画面２１のテンキー２７、確定ボタン２８、及びキャンセルボタン２９の操作に対応するエミュレーション信号を生成し、制御装置１３に供給する。

次に、ピッキングシステム２における各構成の動作について説明する。
ここでは、ピッキングシステム２が、人手を介さずに、倉庫管理システム１から情報を取得し、トレイ１１の商品をピッキングする自動操作を行う例について説明する。

まず情報処理装置３４による動作計画の供給について説明する。
図４は、動作計画の生成に関する情報処理装置３４の動作について説明する為のフローチャートである。

制御部６２のプロセッサ６３は、まず画像収集器３６から、指示画面画像を取得する（ステップＳ１１）。プロセッサ６３は、取得した指示画面画像を認識する（ステップＳ１２）。プロセッサ６３は、予め設定された設定ファイルに基づいて、指示画面画像に含まれている種々の情報を認識する。

設定ファイルは、指示画面画像に含まれている種々の情報を認識する為のファイルである。例えば、設定ファイルは、指示画面画像上の情報の種類と、情報を含む領域（認識対象領域）の位置を示すファイルである。即ち、設定ファイルは、指示画面画像上のどの位置にどのような情報が含まれているかを示すファイルである。例えば、設定ファイルは、指示画面画像上の矩形状の領域の四隅の座標として構成される。また、例えば、設定ファイルは、矩形状の領域のある１点の座標と、矩形状の領域の幅及び高さと、を含む構成であってもよい。なお、設定ファイルの生成方法については後述する。

上記したように、指示画面２１は、商品コード表示欄２２、商品名表示欄２３、ピッキング個数表示欄２４、及びピッキングエリア表示欄２５などの、指示内容が表示される領域を有する。また、指示画面２１は、完了数表示欄２６、テンキー２７、確定ボタン２８、及びキャンセルボタン２９などの、操作入力用の領域を有する。設定ファイルは、指示画面画像上で、商品コード表示欄２２、商品名表示欄２３、ピッキング個数表示欄２４、及びピッキングエリア表示欄２５、完了数表示欄２６、テンキー２７、確定ボタン２８、及びキャンセルボタン２９に相当する領域の位置をそれぞれ示す。

プロセッサ６３は、設定ファイルを参照し、指示画面画像を解析することにより、商品コード表示欄２２、商品名表示欄２３、ピッキング個数表示欄２４、及びピッキングエリア表示欄２５、完了数表示欄２６、テンキー２７、確定ボタン２８、及びキャンセルボタン２９に相当する領域をそれぞれ特定する。

プロセッサ６３は、指示画面画像の商品コード表示欄２２に相当する領域に基づいて、商品コードを認識する。プロセッサ６３は、指示画面画像の商品名表示欄２３に相当する領域に基づいて、商品名を認識する。プロセッサ６３は、指示画面画像のピッキング個数表示欄２４に相当する領域に基づいて、ピッキングする商品の数を認識する。プロセッサ６３は、指示画面画像のピッキングエリア表示欄２５に相当する領域に基づいて、ピッキングする商品が、トレイ１１のどの収納部に収納されているかを認識する。

次に、制御部６２のプロセッサ６３は、距離センサ３２から、商品画像を取得する（ステップＳ１３）。上記したように、距離センサ３２は、ロボットアーム３１により持ち上げられる商品が収納されたトレイ１１内を、ステレオカメラにより撮像して１対の画像データを取得する。距離センサ３２は、ロボットアーム３１の把持機構４１が画角外にある時に、１対の画像データを取得する。さらに、距離センサ３２は、１対の画像データに基づき、画像データ上の所定の領域（点）毎に距離センサ３２との距離を算出し、点群データとしての商品画像を生成する。距離センサ３２は、生成した商品画像を情報処理装置３４に供給する。

情報処理装置３４のプロセッサ６３は、商品画像と、メモリ６４に予め記憶された画像認識パラメータとに基づいて、画像認識を行う。これにより、プロセッサ６３は、商品画像内において商品が存在する領域である商品領域を認識する（ステップＳ１４）。

画像認識パラメータは、商品画像から、商品が写った領域を認識する為のパラメータである。画像認識パラメータは、例えば、商品画像を問題とし、商品画像上の商品が存在する領域を答えとして構成された学習用データに基づいて、機械学習により生成されたパラメータである。機械学習は、例えば、セグメンテーション用のニューラルネットワークなどの手法である。

プロセッサ６３は、商品画像における商品領域の認識結果に基づいて、ピッキング位置を決定する（ステップＳ１５）。例えば、プロセッサ６３は、商品領域の重心（若しくは中心）の座標に基づいて、ピッキング位置を決定する。上記したように、商品画像の取得に用いられた距離センサ３２の画角及び設置位置は、既知である。この為、プロセッサ６３は、商品画像上の座標を、ロボットアーム３１などが設置された三次元空間の位置（ピッキング位置）に置き換えることができる。

また、ステップＳ１２で、指示画面画像のピッキングエリア表示欄２５に相当する領域から、ピッキングする商品が、トレイ１１のどの収納部に収納されているかを認識した場合、認識結果に基づいて、ピッキング位置を制限してもよい。例えば、プロセッサ６３は、ピッキングする商品が収納されているトレイ１１の収納部を、商品画像上で認識する。具体的には、プロセッサ６３は、トレイ１１の外形と、トレイ１１の収納部の既知の構成とに基づいて、ピッキングする商品が収納されているトレイ１１の収納部に相当する領域を、商品画像上で認識する。プロセッサ６３は、認識した領域内の商品画像と、メモリ６４に予め記憶された画像認識パラメータとに基づいて、画像認識を行い、商品領域を認識し、ピッキング位置を決定する。

プロセッサ６３は、決定したピッキング位置に基づいて、動作計画を生成する（ステップＳ１６）。例えば、プロセッサ６３は、ロボットアーム３１の把持機構４１を、初期位置からピッキング位置まで移動させる場合の把持機構４１の軌跡を生成する。プロセッサ６３は、生成した軌跡と、ピッキング位置とを示す動作計画を生成する。さらに、プロセッサ６３は、生成した動作計画をロボットアーム３１のコントローラ４３に送信する（ステップＳ１７）。

ロボットアーム３１のコントローラ４３は、情報処理装置３４から動作計画が供給されると、動作計画に基づき把持機構４１を移動させる。例えば、コントローラ４３は、動作計画が示す軌跡に基づき、動作計画が示すピッキング位置まで把持機構４１を移動させるように、アーム機構４２を制御する。

コントローラ４３は、把持機構４１がピッキング位置に到達した場合、把持機構４１により、トレイ１１の中の商品を把持させる。コントローラ４３は、把持機構４１により商品を把持させる動作を行わせた後、把持が正常に行われたか否か判断する。

コントローラ４３は、把持機構４１による把持が正常に行われたと判断した場合、商品を把持した把持機構４１を、仕分先に対応する位置まで移動させ、把持機構４１による商品の把持を解除するように把持機構４１を制御する。これにより、コントローラ４３は、商品を仕分先に降ろす。また、コントローラ４３は、１つの商品のピッキングが完了したことを示す完了通知を情報処理装置３４に送信する。さらに、コントローラ４３は、アーム機構４２及び把持機構４１を距離センサ３２の画角外に移動させ、次の動作計画の受信を待つ。

また、コントローラ４３は、把持機構４１による把持が正常に行われなかったと判断した場合、把持が正常に行われなかったことを示すエラーを情報処理装置３４に送信する。

プロセッサ６３は、ロボットアーム３１からピッキング結果を取得する（ステップＳ１８）。ピッキング結果は、ロボットアーム３１のコントローラ４３から供給される上記の完了通知またはエラーである。プロセッサ６３は、ロボットアーム３１から取得したピッキング結果が完了通知である場合、１つの商品のピッキングが完了したと判断する。

プロセッサ６３は、ピッキングが完了した商品の数（完了数）が、指示画面画像のピッキング個数表示欄２４から認識した、ピッキングする商品の数（ピッキング個数）に達したか否か判断する（ステップＳ１９）。プロセッサ６３は、完了数がピッキング個数に達していないと判断した場合（ステップＳ１９、ＮＯ）、ステップＳ１３に移行し、商品画像に基づいて、次の動作計画を生成し、ロボットアーム３１に供給する。

プロセッサ６３は、完了数がピッキング個数に達したと判断した場合（ステップＳ１９、ＹＥＳ）、倉庫管理システム１の制御装置１３に信号を供給するように、信号生成器３７を制御し（ステップＳ２０）、処理を終了する。プロセッサ６３は、操作パネル１４においてオペレータによる操作が入力された場合に、操作パネル１４から制御装置１３に供給される操作信号と同じ信号を生成し、制御装置１３に供給するように、信号生成器３７を制御する。即ち、プロセッサ６３は、ロボットアーム３１によるピッキングの結果に基づいて、指示画面上でのタッチ位置を示す操作信号を生成するように、信号生成器３７を制御する。

具体的には、オペレータによる操作は、ピッキングした商品の数に基づいて、オペレータが操作パネル１４に表示された指示画面２１のテンキー２７を選択する操作である。プロセッサ６３は、この操作が行われた場合と同じ操作信号を信号生成器３７から制御装置１３に供給させる。これにより、プロセッサ６３は、入力されたテンキー２７に応じた数字を、制御装置１３により、指示画面２１の完了数表示欄２６に表示させる。

また、オペレータによる操作は、オペレータが操作パネル１４に表示された指示画面２１の確定ボタン２８を選択する操作である。プロセッサ６３は、この操作が行われた場合と同じ操作信号を信号生成器３７から制御装置１３に供給させる。これにより、プロセッサ６３は、完了数表示欄２６に表示されている数字に相当する個数の商品のピッキングが完了したと、制御装置１３に判断させる。

このような構成により、情報処理装置３４は、操作パネル１４に表示された指示画面２１に基づくロボットアーム３１の制御と、オペレータによる操作パネル１４の操作を模倣（emulate）することができる。

次に、設定ファイルの生成方法について説明する。
図５は、プロセッサ６３による設定ファイルを生成する動作について説明するための説明図である。プロセッサ６３は、例えば、ピッキングシステム２の初期設定として、図５の処理を実行し、設定ファイルを生成する。

まず、プロセッサ６３は、予め設定されたキーワードファイルを読み込む（ステップＳ３１）。キーワードファイルは、指示画面画像から、種々の情報を取得する領域を特定するためのファイルである。キーワードファイルは、例えば、通信インタフェース６１を介して情報処理装置３４に供給される。キーワードファイルは、例えば、メモリ６４に記憶される。

図６は、キーワードファイルの例を示す。キーワードファイルは、情報の種類と、複数のキーワードとが対応付けられたファイルである。図６の例では、キーワードの種類（キーワード種類）は、「ｎａｍｅ」として示されている。また、図６の例では、キーワード種類に対応付けられたキーワードは、「ｗｏｒｄ１」、「ｗｏｒｄ２」、「ｗｏｒｄ３」・・・として示されている。また、「ｋｅｙｗｏｒｄ１」及び「ｋｅｙｗｏｒｄ２」は、キーワード種類ごとに割り振られた識別情報である。

より具体的には、図６の例では、「ｋｅｙｗｏｒｄ１」のキーワード種類が「ｎａｍｅ＝商品コード」となっている。また、「ｋｅｙｗｏｒｄ１」に「ｗｏｒｄ１＝商品コード」、「ｗｏｒｄ２＝商品番号」、「ｗｏｒｄ３＝アイテムコード」、「ｗｏｒｄ４＝アイテム番号」などのキーワードが対応付けられている。また、「ｋｅｙｗｏｒｄ２」のキーワード種類が「ｎａｍｅ＝ピッキング個数」となっている。また、「ｋｅｙｗｏｒｄ２」に「ｗｏｒｄ１＝ピッキング個数」、「ｗｏｒｄ２＝ピッキング数」、「ｗｏｒｄ３＝出荷個数」、「ｗｏｒｄ４＝出荷数」などのキーワードが対応付けられている。このように、キーワード種類と、具体的な複数のキーワード（文字列）とが対応付けられていることにより、指示画面に表示される文字列にバリエーションがある場合であっても対応が可能である。

また、キーワードファイルは、キーワード種類ごとに、指示内容が示されている領域を特定する為のものであるか、操作入力用の領域を特定する為のものであるかを示す情報を有していてもよい。またさらに、キーワードファイルは、ピッキング位置（ピッキングエリア）のように、指示内容がパターンとして示されている領域を特定するためのものであることを示す情報を、キーワード種類に対応付けて記憶していてもよい。これにより、プロセッサ６３は、検出したキーワードに基づいて、どのような処理を行えばよいかを把握することが容易になる。

次に、プロセッサ６３は、画像収集器３６から、指示画面画像を取得する（ステップＳ３２）。プロセッサ６３は、取得した指示画面画像に基づいて、初期設定画面７１を生成し、出力する（ステップＳ３３）。例えば、プロセッサ６３は、初期設定画面７１を操作端末３３に出力し、操作端末３３のタッチパネル５３のディスプレイ５６に表示させる。また、プロセッサ６３は、キーワードファイルに基づいて、指示画面画像からキーワードを検出し（ステップＳ３４）、初期設定画面７１にキーワードの検出結果を反映させる。

図７は、初期設定画面７１の例について説明する為の説明図である。初期設定画面７１は、指示画面画像７２、キーワード種類表示欄７３、キーワード種類変更ボタン７４、キーワード表示欄７５、キーワード変更ボタン７６、ＯＫボタン７７、キャンセルボタン７８、及びマニュアル設定ボタン７９を有する。

キーワード種類表示欄７３は、現在選択されているキーワード種類が表示される表示欄である。キーワード種類変更ボタン７４は、オペレータの操作により選択可能な操作部材である。キーワード種類変更ボタン７４が選択された場合、情報処理装置３４のプロセッサ６３は、キーワード種類を変更する。例えば、プロセッサ６３は、キーワードファイルに基づいて、キーワード種類の一覧を選択可能な状態で表示させてもよい。また、プロセッサ６３は、キーワード種類変更ボタン７４が選択されるごとに、異なるキーワード種類を選択する構成であってもよい。

キーワード表示欄７５は、現在選択されているキーワードが表示される表示欄である。キーワード変更ボタン７６は、オペレータの操作により選択可能な操作部材である。キーワード変更ボタン７６が選択された場合、情報処理装置３４のプロセッサ６３は、キーワードを変更する。例えば、プロセッサ６３は、キーワードファイルに基づいて、キーワードの一覧を選択可能な状態で表示させてもよい。また、プロセッサ６３は、キーワード変更ボタン７６が選択されるごとに、異なるキーワードを選択する構成であってもよい。

ＯＫボタン７７は、オペレータの操作により選択可能な操作部材である。プロセッサ６３は、ＯＫボタン７７が選択された場合、次の処理に移行する。

キャンセルボタン７８は、オペレータの操作により選択可能な操作部材である。プロセッサ６３は、キャンセルボタン７８が選択された場合、前の処理に戻る。

マニュアル設定ボタン７９は、オペレータの操作により選択可能な操作部材である。プロセッサ６３は、マニュアル設定ボタン７９が選択された場合、後述するマニュアル設定処理を行う。

プロセッサ６３は、現在選択されているキーワード（即ちキーワード表示欄７５に表示されているキーワード）と一致する文字列を指示画面画像７２から検出する。例えば、プロセッサ６３は、指示画面画像７２に対して光学的文字認識（ＯＣＲ）を行う。プロセッサ６３は、指示画面画像７２から認識した文字列と、キーワードとを比較し、キーワードと一致する文字列を検出する。さらに、プロセッサ６３は、検出されたキーワードの位置の近傍に、インジケータ８１を表示させる。これにより、プロセッサ６３は、キーワードの検出結果を初期設定画面７１上に反映させる。

プロセッサ６３は、初期設定画面７１において、マニュアル設定ボタン７９が選択されたか否か判断する（ステップＳ３５）。

プロセッサ６３は、初期設定画面７１において、マニュアル設定ボタン７９が選択されていないと判断した場合（ステップＳ３５、ＮＯ）、初期設定画面７１において、候補が検出されたか否か判断する（ステップＳ３６）。具体的には、プロセッサ６３は、選択中のキーワードと一致する文字列が、初期設定画面７１の指示画面画像７２の中から検出されたか否か判断する。

プロセッサ６３は、初期設定画面７１において、候補が検出されたと判断した場合（ステップＳ３６、ＹＥＳ）、操作端末３３のオペレータによる操作入力に基づいて、キーワードの位置（キーワード位置）を確定する（ステップＳ３７）。キーワード位置は、キーワード種類表示欄７３に表示されているキーワード種類に対応する文字列の位置を示す情報である。具体的には、操作端末３３において、図７の初期設定画面７１のＯＫボタン７７が選択された場合、プロセッサ６３は、その時点で検出されている文字列の位置を、キーワード種類表示欄７３に表示されているキーワード種類に対応する文字列の位置として確定する。

プロセッサ６３は、キーワード位置に基づいて、認識対象領域を検出する（ステップＳ３８）。認識対象領域は、指示内容が記載された領域、または操作入力用の領域である。即ち、プロセッサ６３は、商品コード、商品名、ピッキングする商品の個数、及びピッキングする商品のトレイ１１における位置などの指示内容が記載されている領域を検出する。また、プロセッサ６３は、完了数表示欄２６、テンキー２７、確定ボタン２８、及びキャンセルボタン２９などの、操作入力用の領域を検出する。

プロセッサ６３は、例えば、キーワード位置の近傍で、背景色コントラスト差を有する矩形状の領域を、認識対象領域として検出する。キーワード位置の近傍とは、キーワード位置の「右側」または「下側」である。さらに、「右側」の方が、「下側」より優先される。これは、一般的に、認識対象の記載が、キーワードの右側に配置されるケースが最も多く、次にキーワードの下側に配置されるケースが多い為である。なお、プロセッサ６３は、背景色コントラスト差を有する矩形状の領域を、認識対象領域として検出するのではなく、他の方法で認識対象領域を検出してもよい。例えば、プロセッサ６３は、キーワード種類に応じて、優先して検出する認識対象領域の位置を変える構成であってもよい。即ち、プロセッサ６３は、キーワード種類によっては、「右側」よりも「下側」の領域を優先して認識対象領域として検出する構成であってもよい。また、プロセッサ６３は、キーワード位置から所定の距離以内に、矩形状の領域が存在しない場合、文字列の検出結果を採用しない構成であってもよい。また例えば、プロセッサ６３は、所定のマーカー（図柄または特定の文字列など）により囲まれている領域を認識対象領域として検出する構成であってもよい。

プロセッサ６３は、初期設定画面７１に認識対象領域の検出結果を反映させ、操作端末３３のオペレータによる操作入力に基づいて、認識対象領域を確定する（ステップＳ３９）。例えば、プロセッサ６３は、図８に示されるように、検出された認識対象領域の近傍に、インジケータ８２を表示させる。これにより、プロセッサ６３は、認識対象領域の検出結果を初期設定画面７１上に反映させる。さらに、操作端末３３において、図８の初期設定画面７１のＯＫボタン７７が選択された場合、プロセッサ６３は、その時点で検出されている認識対象領域を確定する。

また、ステップＳ３５でマニュアル設定ボタン７９が選択されたと判断した場合（ステップＳ３５、ＹＥＳ）、または、ステップＳ３６で初期設定画面７１において候補が検出されなかったと判断した場合（ステップＳ３６、ＮＯ）、プロセッサは、ステップＳ４０に移行し、操作端末３３のオペレータによる操作入力に基づいて、キーワード位置を確定するマニュアル設定を行い（ステップＳ４０）、ステップＳ３８に移行する。

図９は、マニュアル設定ボタン７９が選択された場合の初期設定画面７１の例を示す。プロセッサ６３は、マニュアル設定ボタン７９が選択された場合、光学的文字認識の結果に基づいて、指示画面画像７２に含まれている複数の文字列の近傍に、選択可能なインジケータ８３を表示させる。

図９の初期設定画面７１において、インジケータ８３が選択された場合、プロセッサ６３は、選択されたインジケータ８３の位置を、キーワード種類表示欄７３に表示されているキーワード種類に対応する文字列の位置として確定する。プロセッサ６３は、キーワード位置が確定し、ステップＳ３８に移行すると、マニュアルで設定されたキーワード位置に基づいて、認識対象領域の検出及び確定を行う。

次に、プロセッサ６３は、全てのキーワードについて、上記の判断を行ったか否か判断する（ステップＳ４１）。即ち、プロセッサ６３は、キーワードファイルに設定されているキーワード種類ごとに、上記のステップＳ３４乃至ステップＳ４０の処理を行ったか否か判断する。プロセッサ６３は、全てのキーワードについて、上記の判断を行っていないと判断した場合（ステップＳ４１、ＮＯ）、ステップＳ３４に移行し、キーワードの検出及び認識対象領域の確定を繰り返し行う。

プロセッサ６３は、全てのキーワードについて、上記の判断を行ったと判断した場合（ステップＳ４１、ＹＥＳ）、キーワードの検出及び認識対象領域の確定の結果に基づいて、設定ファイルを生成し、メモリ６４に保存する（ステップＳ４２）。

プロセッサ６３は、認識対象領域の位置と、認識対象領域に含まれている情報の種類（即ちキーワード種類）とを対応付けて、設定ファイルを生成する。例えば、プロセッサ６３は、指示画面画像上の矩形状の領域の四隅の座標を認識対象領域の位置として設定ファイルを生成する。また、例えば、プロセッサ６３は、指示画面画像上の矩形状の領域のある１点の座標と、矩形状の領域の幅及び高さと、を認識対象領域の位置として設定ファイルを生成する構成であってもよい。これにより、プロセッサ６３は、商品コードに相当する記載を含む領域、商品名に相当する記載を含む領域、ピッキング個数に相当する記載を含む領域、ピッキング位置に相当する記載を含む領域、及びテンキー２７及び確定ボタン２８などの操作入力用の領域を、それぞれ指示画面画像上から特定する為の設定ファイルを生成することができる。

上記したように、倉庫管理システム１は、商品が収納された複数のトレイ１１から、取り出す商品が収納されたトレイ１１を選択し、所定の位置に移動させる。また、倉庫管理システム１は、ピッキングする商品の個数と、ピッキングする商品のトレイ１１における位置と、を示す指示画面を出力する。

実施形態に係る情報処理装置３４は、倉庫管理システム１から出力された指示画面に基づいて、倉庫管理システム１のトレイ１１から商品をピッキングするロボットアーム３１にピッキング位置を供給する。情報処理装置３４は、指示画面画像を取得する通信インタフェースと、プロセッサとを備える。プロセッサ６３は、指示画面画像から、予め設定されたキーワードに対応した文字列を検出する。プロセッサ６３は、検出した文字列の位置に基づいて、ピッキングする商品の個数及びピッキングする商品のトレイ１１における位置が記載されている領域を特定する。プロセッサ６３は、指示画面画像からピッキングする商品の個数及びピッキングする商品のトレイ１１における位置を取得する為の設定ファイルを生成する。

このように、プロセッサ６３は、指示画面画像からキーワードに対応した文字列を検出することによって、所望の情報が記載されている領域を特定し、特定した領域を示す設定ファイルを生成する。これにより、プロセッサ６３は、運用時に、指示画面画像から所望の情報を抽出することを容易にする為の、設定ファイルの生成に要する人手を、軽減することができる。即ち、情報処理装置３４は、倉庫管理システム１から情報を取得し、ピッキングシステム２を制御する為の初期設定を容易にすることができる。この結果、自動倉庫へのピッキングシステム２の導入コストを削減することが可能になる。この結果、容易に倉庫管理システム１から情報を取得することができる情報処理装置３４を提供することができる。

また、プロセッサ６３は、オペレータによる操作端末３３への入力に基づいて、検出されたキーワード位置を採用し、認識対象領域を確定するか否か判断する。即ち、プロセッサ６３は、光学的文字認識により検出されたキーワード位置に基づく認識対象領域を採用するか否かを、オペレータによる操作端末３３への入力に基づいて判断する。これにより、誤った設定ファイルが生成されることを防ぐことができる。

また、プロセッサ６３は、上記のようにオペレータに判断を行わせるために、指示画面画像７２と、キーワードに対応した文字列の検出結果と、を示した初期設定画面７１を操作端末３３に出力する。これにより、情報処理装置３４は、オペレータに判断を容易に行わせることができる。

また、通信インタフェースは、トレイ１１に収納された商品の画像である商品画像を取得する。プロセッサは、設定ファイルに基づいて、指示画面画像からピッキングする商品の個数及びピッキングする商品のトレイ１１における位置を取得する。プロセッサ６３は、取得したピッキングする商品の個数及びピッキングする商品のトレイ１１における位置と、商品画像とに基づいて、ピッキング位置を生成する。これにより、情報処理装置３４は、倉庫管理システム１から人手を介さずに情報を取得し、ロボットアーム３１にピッキングを行わせることができる。

また、情報処理装置３４は、信号を生成する信号生成器３７をさらに備える。プロセッサ６３は、ロボットアーム３１によるピッキングの結果に基づいて、信号を生成し、且つ生成した信号を倉庫管理システム１に供給するように信号生成器３７を制御する。これにより、情報処理装置３４は、人手を介さずに、ロボットアーム３１によるピッキングの結果を、倉庫管理システム１に供給することができる。

また、プロセッサ６３は、指示画面画像から操作入力用の領域を特定する。プロセッサ６３は、特定した操作入力用の領域と、ロボットアーム３１によりピッキングが完了した商品の数とに基づいて、信号を生成するように、信号生成器３７を制御する。これにより、情報処理装置３４は、人手を介さずに、ロボットアーム３１によりピッキングした商品の数を、倉庫管理システム１に供給することができる。

また、プロセッサ６３は、指示画面画像において、キーワードと一致する文字列が検出された位置の右側の矩形状の領域を、ピッキングする商品の個数またはピッキングする商品のトレイ１１における位置が記載されている領域であると判断する。また、プロセッサ６３は、指示画面画像において、キーワードと一致する文字列が検出された位置の下側の矩形状の領域を、ピッキングする商品の個数またはピッキングする商品のトレイ１１における位置が記載されている領域であると判断する。

また、上記の実施形態では、倉庫管理システム１は、商品コード、商品名、ピッキング個数、及びピッキング位置を示す指示画面２１を出力する。プロセッサ６３は、商品コード、商品名、ピッキング個数、及びピッキング位置にそれぞれ対応したキーワードが予め設定されたキーワードファイルに基づいて、指示画面２１から光学的文字認識によりキーワードを検出し、認識対象領域を特定する。即ち、プロセッサ６３は、キーワードファイルに基づいて、指示画面２１から、商品コードを認識する為の認識対象領域、商品名を認識する為の認識対象領域、ピッキング個数を認識する為の認識対象領域、及びピッキング位置を認識する為の認識対象領域をそれぞれ特定し、特定結果に基づいて、設定ファイルを生成する。これにより、情報処理装置３４は、倉庫管理システム１から人手を介さずに、商品コード、商品名、ピッキング個数、及びピッキング位置を取得し、ロボットアーム３１にピッキングを行わせることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…倉庫管理システム、２…ピッキングシステム、１１…トレイ、１２…トレイ移動機構、１３…制御装置、１４…操作パネル、３１…ロボットアーム、３２…距離センサ、３３…操作端末、３４…情報処理装置、３５…分岐器、３６…画像収集器、３７…信号生成器、４１…把持機構、４２…アーム機構、４３…コントローラ、５１…通信インタフェース、５２…制御部、５３…タッチパネル、５４…プロセッサ、５５…メモリ、５６…ディスプレイ、５７…タッチセンサ、６１…通信インタフェース、６２…制御部、６３…プロセッサ、６４…メモリ。

Claims (10)

1. 倉庫管理システムの指示画面から、設定ファイルに基づいて、商品が収納されたトレイからピッキングする商品の個数と、ピッキングする商品の前記トレイにおける位置と、を取得し、前記トレイから商品をピッキングするロボットアームに、把持点を示す動作計画を供給する情報処理装置であって、
   前記指示画面の画像を取得する通信インタフェースと、
   前記指示画面の画像から、予め設定されたキーワードに対応した文字列を検出し、検出した前記文字列の位置に基づいて、前記指示画面の画像におけるピッキングする商品の個数及びピッキングする商品の前記トレイにおける位置が表示されている領域を特定し、前記領域に基づいて前記設定ファイルを生成するプロセッサと、
   を具備する情報処理装置。
2. 前記通信インタフェースは、オペレータが操作する操作端末とさらに通信し、
   前記プロセッサは、オペレータによる前記操作端末への入力に基づいて生成された操作信号を、前記通信インタフェースを介して受信し、受信した前記操作信号に基づいて、特定された前記領域を前記設定ファイルの生成に用いるか否か判断する請求項１に記載の情報処理装置。
3. 前記プロセッサは、
   前記指示画面の画像と、前記キーワードに対応した文字列の検出結果と、を示した初期設定画面の画像を前記通信インタフェースにより前記操作端末に送信し、
   前記操作信号に基づいて、特定された前記領域を前記設定ファイルの生成に用いるか否か判断する請求項２に記載の情報処理装置。
4. 前記通信インタフェースは、前記トレイに収納された商品の画像である商品画像をさらに取得し、
   前記プロセッサは、
   前記設定ファイルに基づいて、前記指示画面の画像からピッキングする商品の個数及びピッキングする商品の位置を取得し、
   取得したピッキングする商品の個数及びピッキングする商品の位置と、前記商品画像とに基づいて、前記動作計画を生成する請求項１乃至３のいずれかに記載の情報処理装置。
5. 前記倉庫管理システムに供給する信号を生成する信号生成器をさらに具備し、
   前記プロセッサは、前記ロボットアームによるピッキングの結果に基づいて、前記信号生成器に前記信号を生成させる請求項４に記載の情報処理装置。
6. 前記プロセッサは、
   前記指示画面の画像から前記ロボットアームによるピッキングの結果を入力する為の操作入力用領域を特定し、
   特定した前記操作入力用領域と、前記ロボットアームによりピッキングが完了した商品の数とに基づいて、信号を生成するように、前記信号生成器を制御する請求項５に記載の情報処理装置。
7. 前記プロセッサは、前記指示画面の文字列が検出された位置に最も近い矩形状の領域を、ピッキングする商品の個数またはピッキングする商品の前記トレイにおける位置が記載されている領域であると判断する請求項１に記載の情報処理装置。
8. 前記プロセッサは、前記指示画面の文字列が検出された位置から所定の距離以内に、矩形状の領域が存在しない場合、文字列の検出結果を前記領域の特定に用いないと判断する請求項７に記載の情報処理装置。
9. 前記プロセッサは、
   前記指示画面の画像から、商品コードが記載されている領域を特定し、前記指示画面の画像から商品コードを取得する為の情報を前記設定ファイルに追加する請求項１に記載の情報処理装置。
10. 前記プロセッサは、
    前記指示画面の画像から、商品名が記載されている領域を特定し、前記指示画面の画像から商品名を取得する為の情報を前記設定ファイルに追加する請求項１に記載の情報処理装置。