JP2022130814A - 情報処理装置、情報処理システム、及びプログラム - Google Patents

Abstract

【課題】収納棚を用いた作業を行う作業者に対して、より適切な支援を行う。【解決手段】複数の収納部を含む収納棚の撮像画像を取得する画像取得部と、前記撮像画像に基づいて、前記複数の収納部の各々に設定された認識エリアにおけるオブジェクトの存在をそれぞれ認識するオブジェクト認識部と、前記認識エリアにて所定時間継続して前記オブジェクトの存在が認識された場合、該認識エリアが設定された前記収納部を前記オブジェクト認識部の認識対象から除外する除外制御部と、を備える、情報処理装置。【選択図】図３

Description

本発明は、情報処理装置、情報処理システム、及びプログラムに関する。

現在、複数の収納部を有する収納棚を用いた作業が様々な分野で行われている。例えば、作業者は、収納棚の複数の収納部の各々には収納された対象物を順次取り出すことで作業を行うことができる。

例えば、特許文献１には、複数の収納部を有し、部品組立業務に用いられる収納棚に対して、作業者が収納部から採取する部品を指示する情報をプロジェクタにて投影する作業支援システムが記載されている。

特開２０１８－４５６６９号公報

このような作業支援システムでは、収納棚の撮像画像に基づいて収納棚に対する作業の進捗状況を認識し、認識した作業の進捗状態に応じた支援を作業者に対して行っている。しかしながら、収納部に収納される対象物の形状又は大きさによっては、作業者による収納棚への作業が認識されないことがあり得る。このような場合、作業支援システムは、収納棚を用いる作業者に対して、適切な支援を行うことが困難となってしまう。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、収納棚を用いた作業を行う作業者に適切な支援を行うことが可能な新規かつ改良された情報処理装置、情報処理システム、及びプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、複数の収納部を含む収納棚の撮像画像を取得する画像取得部と、前記撮像画像に基づいて、前記複数の収納部の各々に設定された認識エリアにおけるオブジェクトの存在をそれぞれ認識するオブジェクト認識部と、前記認識エリアにて所定時間継続して前記オブジェクトの存在が認識された場合、該認識エリアが設定された前記収納部を前記オブジェクト認識部の認識対象から除外する除外制御部と、を備える、情報処理装置が提供される。

前記複数の収納部は、配達物をそれぞれ収納してもよい。

前記オブジェクトは、前記収納部に前記配達物を収納する作業者の手であってもよい。

前記オブジェクトは、前記収納部の開口から突出する前記配達物であってもよい。

前記認識エリアは、前記収納部の開口の外側に設定された領域であってもよい。

前記認識対象から除外された前記収納部において、前記収納部を撮像した画像と、空の状態の前記収納部の画像との差分が閾値以下となる場合、前記除外制御部は、前記収納部から前記配達物が取り出されたと判断してもよい。

前記除外制御部は、前記配達物が取り出されたと判断された前記収納部を前記オブジェクト認識部の認識対象に復帰させてもよい。

前記配達物が取り出された前記収納部に対応する居住者名簿を含む支援画像を投影させる投影制御部をさらに備えてもよい。

前記居住者名簿は、前記配達物の配達ルートに沿った順で世帯が並べられた名簿であってもよい。

また、上記課題を解決するために、本発明の別の観点によれば、複数の収納部を含む収納棚の撮像画像を取得する画像取得部と、前記撮像画像に基づいて、前記複数の収納部の各々に設定された認識エリアにおけるオブジェクトの存在をそれぞれ認識するオブジェクト認識部と、前記認識エリアにて所定時間継続して前記オブジェクトの存在が認識された場合、該認識エリアが設定された前記収納部を前記オブジェクト認識部の認識対象から除外する除外制御部と、を備える、情報処理システムが提供される。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、複数の収納部を含む収納棚の撮像画像を取得する画像取得部と、前記撮像画像に基づいて、前記複数の収納部の各々に設定された認識エリアにおけるオブジェクトの存在をそれぞれ認識するオブジェクト認識部と、前記認識エリアにて所定時間継続して前記オブジェクトの存在が認識された場合、該認識エリアが設定された前記収納部を前記オブジェクト認識部の認識対象から除外する除外制御部と、として機能させる、プログラムが提供される。

以上説明したように本発明によれば、収納棚を用いた作業を行う作業者に適切な支援を行うことが可能である。

本発明の一実施形態に係る作業支援システムの構成の一例を示す斜視図である。 同実施形態に係る情報処理装置と、管理者端末との接続を示すブロック図である。 同実施形態に係る情報処理装置の機構構成を示すブロック図である。 収納部に対する認識エリアの設定位置を示す収納棚１２の外観図である。 同実施形態に係る情報処理装置の動作の流れを示すフローチャート図である。 同実施形態に係る情報処理装置を具現するハードウェア構成の一例を示すブロック図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜１．収納棚を用いた作業について＞
まず、本発明の一実施形態に係る情報処理装置が適用される収納棚を用いた作業について説明する。作業者は、作業に関する対象物が収納される複数の収納部を有する収納棚から、作業における必要性に応じて対象物を取り出すことができる。

以下では、収納部に収納される対象物として、指定された宛先に配達される配達物を例示して説明を行う。しかしながら、本実施形態に係る技術は、配達物に対する作業に限定されず、部品に対する作業（例えば、部品の組み立て順に応じた仕分け又は並び替え作業）に対して適用することも可能である。また、複数の収納部を備える収納棚の構成は、作業の種類に応じて適宜変更することが可能である。

例えば、収納棚は、配達物の配達業務において、配達物の仕分け、及び並び替え等の事前作業に用いられる。具体的には、配達物の配達業務における事前作業は、以下の手順１～手順３に従って行われる。

・手順１：複数の配達物を同一方面の宛先ごとにまとめ、対応する収納部に収納する（仕分け作業）。
・手順２：収納部から配達物を取り出し、実際の配達ルート順に従って配達物を並べ替えて収納部に戻す（並べ替え作業）。
・手順３：並べ替えた配達物を収納部の各々から実際の配達ルート順に従って順次取り出し、配達に用いるキャリーボックス等に積み込む（配達のための回収作業）。

ここで、同一方面の宛先とは、配達の出発地点を基準として方向が同一又は類似する宛先であってもよい（ただし、類似の範囲は特に限定されない）。または、同一方面の宛先とは、同一の地域（都道府県、市、又は町など）に含まれる宛先であってもよい。作業に用いられる収納棚では、複数の収納部の各々と、方面の各々とが対応付けられており、「手順１」では、作業者は、各方面に対応する収納部に配達物を収納する。これにより、配達物は、同一方面の宛先ごとにまとめられる。

「手順２」では、配達ルートに沿った順序で宛先の世帯が並べられた名簿（以下、居住者名簿とも称する）が収納部ごとに作業者に提示される。作業者は、収納部に収納された配達物を取り出し、提示された居住者名簿を参照して配達ルート順に配達物を並べ替えた後、並び替えた配達物を元の収納部に戻す。作業者は、配達物を収納した収納部の全てに対して上記作業を順次行う。このような配達物の並べ替え作業は、「配達物並替作業」とも称される。

「手順３」では、作業者は、配達ルートに沿った順序で収納部の各々に収納された配達物を取り出し、取り出した配達物をキャリーボックスに順次積み込む。このとき、作業者は、収納部から順次取り出した配達物の束をキャリーボックスに並び順を変えずに積み込む。これにより、配達物の配達業務において、配達者は、手前から順に配達物を取り出すことで、配達ルート順に配達物を取り出すことができるようになる。

＜２．システム構成例＞
次に、図１及び図２を参照して、上記の収納棚を用いた作業を支援する作業支援システムについて説明する。図１は、本実施形態に係る作業支援システム１０の構成の一例を示す斜視図である。作業支援システム１０は、本実施形態に係る情報処理装置を含む。

図１に示すように、作業支援システム１０は、情報処理装置１１と、収納棚１２と、作業台１３と、センサ部１４と、表示投影部１５と、ミラー１８とを備える。作業支援システム１０は、上述した配達物並替作業を行う作業者に対して、居住者名簿を含む各種情報を提示することで、作業者の配達物並替作業を支援する。

なお、図１では、収納棚１２から作業台１３に向かう方向を前方向とし、前方向と逆方向を後方向とする。また、作業台１３から収納棚１２を見たとき（すなわち、前方向側から後方向側を見たとき）の上下左右の方向をそれぞれ上方向、下方向、左方向、及び右方向とする。

収納棚１２は、複数の収納部１２１を備える。作業者は、いずれかの収納部１２１に手を入れて、収納部１２１に配達物を収納することができる。また、作業者は、いずれかの収納部１２１に手を入れて、収納部１２１に収納された配達物を取り出すことができる。図１に示す例では、収納棚１２は、縦方向に４段、横方向に４列の合計１６個の収納部１２１を備える。ただし、収納棚１２が備える収納部１２１の数は、特に限定されない。収納棚１２は、２０個、３０個、又は５０個等のさらに多くの収納部１２１を備えてもよい。

作業台１３は、作業者が配達物並替作業を行う際に用いる台である。作業台１３は、収納棚１２の全幅に亘って水平方向に延在する平坦な台面（上面）を備える。作業台１３は、表示投影部１５から投影された画像が結像する投影可能領域として機能してもよい。

センサ部１４は、作業者による作業に関する情報をセンシングする各種センサを含む。具体的には、センサ部１４は、可視光を検出するカメラを含み、カメラによる撮像によってセンシングを行ってもよい。センサ部１４は、センシング結果を示す情報として、例えば、カメラによる撮像にて得られた画像を情報処理装置１１に出力してもよい。例えば、センサ部１４は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）にて情報処理装置１１に接続される左右２台のライブカメラ（ＵＳＢカメラとも称される）を含んでもよい。ただし、センサ部１４が含むカメラの種類は限定されない。例えば、センサ部１４は、赤外線を検出するカメラを含んでもよく、深度情報を取得可能なカメラを含んでもよい。

センサ部１４は、標準的な身長の作業者の頭部の高さよりも上側の位置（例えば、最上段の収納部１２１よりも上方の位置）、かつ収納棚１２の前面よりも前方側の位置に配置されたカメラを含んでもよい。このような場合、センサ部１４は、作業支援システム１０の前方に位置する作業者の一部又は全身を含む画像を撮像することができる。センサ部１４は、例えば、図１に示すように、ミラー１８を支持する支持フレーム１７に取り付けられてもよい。

また、センサ部１４は、収納棚１２を撮像するように配置されたカメラをさらに含んでもよい。このような場合、センサ部１４は、収納棚１２の画像を撮像することができる。したがって、情報処理装置１１は、収納棚１２の撮像画像に基づいて、作業者による収納部１２１への配達物の収納、又は作業者による収納部１２１からの配達物の取り出しを認識することができる。

なお、センサ部１４に含まれるカメラの数及び設置場所は、特に限定されない。センサ部１４は、例えば、作業台１３の上面を撮像するように配置されたカメラ、又は作業支援システム１０の周囲の環境を撮像するように配置されたカメラなどを含んでもよい。

表示投影部１５は、情報処理装置１１の制御に基づいて、作業者の作業を支援するための各種情報を含む支援画像を投影によって表示させる。例えば、表示投影部１５は、プロジェクタによる、いわゆるプロジェクションマッピング技術を用いて、収納棚１２又は作業台１３に支援画像を投影してもよい。

表示投影部１５は、例えば、図１に示すように、収納棚１２の上に配置されてもよい。このような場合、表示投影部１５は、ミラー１８に向けて投影光を照射することで、ミラー１８に反射された投影光を収納棚１２又は作業台１３に投影することができる。すなわち、表示投影部１５は、ミラー１８を介して、収納棚１２の前面、又は作業台１３の上面に支援画像を投影することができる。

なお、表示投影部１５は、収納棚１２の前面、又は作業台１３の上面に投影光を直接投影可能な位置（例えば、作業支援システム１０が配置された空間の図示しない天井又は壁など）に配置されてもよい。また、表示投影部１５は、複数のプロジェクタを含んでもよい。例えば、表示投影部１５は、収納棚１２の前面に投影光を投影するプロジェクタと、作業台１３の上面に投影光を投影するプロジェクタとを含んでもよい。

ミラー１８は、例えば、図１に示すように、標準的な身長の作業者の頭部の高さよりも上側の位置（例えば、最上段の収納部１２１よりも上方の位置）、かつ収納棚１２の前面よりも前方側の位置に配置される。具体的には、ミラー１８は、反射面が収納棚１２の前面又は作業台１３の上面と、表示投影部１５とに対向するように、作業台１３の上方かつ収納棚１２の斜め上方向に配置されてもよい。これによれば、ミラー１８は、表示投影部１５から照射された投影光を収納棚１２の前面又は作業台１３の上面に向けて反射することができる。

ミラー１８は、反射角度が上下方向に変更可能なように、支持機構によって回動可能に支持されてもよい。これによれば、ミラー１８は、表示投影部１５から照射された投影光を任意の反射角度で反射することができる。したがって、ミラー１８は、表示投影部１５から照射された投影光を収納棚１２の前面又は作業台１３の上面に対して選択的に反射することができる。

情報処理装置１１は、作業支援システム１０の動作全般を制御するコンピュータ等である。情報処理装置１１の機能構成については、図３を参照して後述する。

情報処理装置１１には、作業者のＩＤ（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）カードを読み取るカードリーダ１９が接続されてもよい。カードリーダ１９は、収納棚１２又は作業台１３の周辺に設けられる。カードリーダ１９は、ＩＤカードから作業者情報（例えば作業者の識別番号及び氏名等）を読み取り、情報処理装置１１に出力することができる。ＩＤカードは、磁気カードであってもよく、ＩＣ（ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）カードであってもよい。例えば、情報処理装置１１は、ＩＤカードの読み取りによって、どの作業者によって作業が開始されたかを認識してもよい。

なお、作業支援システム１０は、カードリーダ１９に替えて又は加えて、指紋又は掌紋等の生体情報を認識する生体情報認識装置、識別番号を入力する識別番号入力装置、又は作業者の情報が格納されたバーコード又は二次元コード（例えば、ＱＲコード（登録商標））を読み取るコードリーダ装置を備えていてもよい。

情報処理装置１１は、例えば、ネットワーク４０を介して、管理者が操作する管理者端末３０と接続されてもよい。図２は、本実施形態に係る情報処理装置１１と、管理者端末３０との接続を示すブロック図である。

図２に示すように、管理者端末３０は、ネットワーク４０を介して、少なくとも１つ以上の情報処理装置１１と接続するコンピュータ等で構成される。管理者端末３０は、接続された情報処理装置１１から送信されるデータを管理することで、作業支援システム１０の各々における作業の進捗等を管理することができる。

ここで、作業支援システム１０は、収納部１２１の開口に設定された認識エリアに入り込んだ作業者の手などのオブジェクトを認識することで、作業者によって作業が行われた収納部１２１を認識している。一方で、近年、配達物の多様化に伴って、収納部１２１の開口からはみ出すような大型の配達物が増加している。

したがって、開口から大きくはみ出るような配達物が収納部１２１に収納される場合、作業支援システム１０は、収納部１２１の認識エリアに入り込んだ該配達物をオブジェクトとして認識してしまう。このような場合、作業支援システム１０は、他の収納部１２１の認識エリアに作業者の手が入り込んだ際に、作業者の手が入り込んだ認識エリアを有する収納部１２１を特定することが困難になるため、作業者によって作業が行われた収納部１２１を認識することが困難になる。

以下では、収納部１２１の認識エリアに入り込むような大型の配達物が収納部１２１に収納された場合でも、作業が行われた収納部１２１を認識することが可能となる技術について説明する。具体的には、本実施形態に係る情報処理装置１１は、収納部１２１の開口に設定された認識エリアにて、所定時間継続してオブジェクト（例えば、作業者の手、又は収納部１２１からはみ出る配達物）の存在が認識された場合、該認識エリアに対するオブジェクトの認識を一時停止する。

これによれば、情報処理装置１１は、収納部１２１の開口からはみ出す配達物に影響されることなく、作業者によって作業が行われた収納部１２１を認識することが可能である。したがって、情報処理装置１１は、作業者によって作業が行われた収納部１２１を適切に認識することができるため、作業者に対してより適切な支援を行うことが可能である。

なお、認識エリアにおけるオブジェクトの認識が一時停止された収納部１２１は、収納部１２１から配達物が取り出されたと判断された場合に、オブジェクトの認識が再開される。収納部１２１からの配達物の取り出しは、例えば、収納部１２１の撮像画像と、空の状態の収納部１２１の画像との比較によって判断されてもよい。これによれば、情報処理装置１１は、収納部１２１の認識エリアに入り込む配達物が取り出された際に、収納部１２１に対する処理を自動的に元に戻すことが可能である。

＜３．情報処理装置の構成例＞
続いて、図３を参照して、本実施形態に係る情報処理装置１１の機能構成について説明する。図３は、本実施形態に係る情報処理装置１１の機構構成を示すブロック図である。

図３に示すように、情報処理装置１１は、制御部１１０と、Ｉ／Ｆ（インタフェース）部１２０と、記憶部１３０とを備える。

（制御部１１０）
制御部１１０は、作業支援システム１０の動作全般を制御する。制御部１１０は、画像取得部１１１と、オブジェクト認識部１１２と、作業進捗推定部１１３と、除外制御部１１４とを含む。

例えば、制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算装置と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの記憶装置とを含む。制御部１１０は、ＲＯＭに記憶されたプログラムがＲＡＭに一時的に展開され、ＣＰＵにて実行されることにより、作業支援システム１０の動作全般を制御することができる。

画像取得部１１１は、センサ部１４によって連続的に得られる収納棚１２のリアルタイムの撮像画像をＩ／Ｆ部１２０を介して取得する。画像取得部１１１は、取得したリアルタイムの撮像画像を記憶部１３０に記憶させてもよい。例えば、画像取得部１１１は、過去一定時間のリアルタイムの撮像画像を記憶部１３０に記憶させてもよい。または、画像取得部１１１は、センサ部１４から取得するごとに記憶部１３０に記憶させたリアルタイムの撮像画像を上書き（更新）してもよい。

また、画像取得部１１１は、仕分け作業（手順１の作業）が開始される前に、収納部１２１のいずれにも配達物が収納されていない空の状態の収納棚１２の撮像画像を取得し、取得した撮像画像を記憶部１３０に記憶させる。記憶部１３０に記憶された空の状態の収納棚１２の撮像画像は、後述する除外制御部１１４にて収納部１２１から配達物が取り出されたか否かを判断するための基準画像として用いられる。なお、空の状態の収納棚１２の撮像画像は、仕分け作業開始前に取得されて記憶部１３０に記憶されてもよく、あらかじめ記憶部１３０に記憶されてもよい。

オブジェクト認識部１１２は、画像取得部１１１により取得された収納棚１２の撮像画像に基づいて、収納部１２１の各々に設定された認識エリアにオブジェクトが存在するか否かを認識する。具体的には、オブジェクト認識部１１２は、画像取得部１１１により取得されたリアルタイムの収納棚１２の撮像画像と、空の状態の収納棚１２の撮像画像とを比較することで、収納部１２１の各々に設定された認識エリアにオブジェクトが入り込んだか否かを認識する。

認識エリアは、例えば、収納部１２１に対して図４に示す位置に設定されてもよい。図４は、収納部１２１に対する認識エリア１２７の設定位置を示す収納棚１２の外観図である。

図４に示す収納棚１２では、例えば、縦方向に４段、横方向に４列の合計１６個の収納部１２１が設けられる。収納部１２１の各々には、作業者による作業によって配達物１５０が収納される。また、収納部１２１の開口１２５の下方の収納棚１２の前面には、収納部１２１の各々を識別するための情報を含む識別画像１２３が表示される。識別画像１２３は、例えば、対応する収納部１２１に収納される配達物１５０の宛先の方面を示す情報を含んでもよい。

認識エリア１２７は、収納部１２１の開口１２５から外側に設定される。例えば、認識エリア１２７は、収納部１２１の開口１２５の全幅に広がって開口１２５から前面側に設けられてもよい。認識エリア１２７は、配達物１５０が収納部１２１に収納される際に作業者の手が通過する位置に設定されることにより、認識エリア１２７におけるオブジェクトの認識によって、作業者による収納部１２１への作業を検出することができる。

ここで、オブジェクトとは、空の状態の収納部１２１に対する差分となる物体全般であり、具体的には、収納棚１２を用いて作業を行う作業者の手である。オブジェクト認識部１１２は、認識エリアに入り込んだ作業者の手を認識することで、作業者が作業を行うために手を入れた収納部１２１を作業進捗推定部１１３で特定することが可能となる。

ただし、オブジェクト認識部１１２は、認識エリアに入り込んだ、空の状態の収納部１２１に対する差分となる物体全般をオブジェクトとして認識してしまう。そのため、オブジェクト認識部１１２は、収納部１２１の開口から突出する配達物もオブジェクトとして認識してしまう。本実施形態に係る情報処理装置１１では、所定時間継続してオブジェクト（すなわち、収納部１２１から突出する配達物）が認識された認識エリアは、オブジェクト認識部１１２の認識対象から除外される。これにより、後段の作業進捗推定部１１３は、作業者が作業を行うために手を入れた収納部１２１を容易に特定することが可能となる。

作業進捗推定部１１３は、オブジェクト認識部１１２によるオブジェクトの認識に基づいて、作業が行われた収納部１２１を判断し、作業の進捗を推定する。

具体的には、作業進捗推定部１１３は、オブジェクト認識部１１２にてオブジェクトが認識された認識エリアを有する収納部１２１を作業者によって作業が行われた収納部１２１と判断する。

また、作業進捗推定部１１３は、作業者による作業が上述した手順１～手順３のいずれの段階で行われたかを考慮することで、作業者によって行われた作業の内容を推定する。

例えば、作業進捗推定部１１３は、手順１が開始された後に収納部１２１に行われた作業を収納部１２１に配達物を収納する作業（仕分け作業）と推定することができる。また、作業進捗推定部１１３は、手順２が開始された後に収納部１２１に行われた作業を収納部１２１から配達物を取り出す作業と推定することができる。作業進捗推定部１１３は、手順２の収納部１２１から配達物を取り出す作業の後に収納部１２１に行われた作業を配達物並替作業が行われた配達物を収納部１２１に戻す作業と推定することができる。さらに、作業進捗推定部１１３は、手順３が開始された後に収納部１２１に行われた作業を収納部１２１から配達物を取り出す作業（回収作業）と推定することができる。

除外制御部１１４は、オブジェクト認識部１１２によるオブジェクト認識の対象となる収納部１２１を制御する。具体的には、除外制御部１１４は、所定時間継続してオブジェクトが認識された認識エリアを有する収納部１２１をオブジェクト認識部１１２による認識対象から除外する。なお、所定時間とは、例えば、１秒～３秒としてもよい。

認識エリアにて所定時間継続してオブジェクトが認識された場合、認識されたオブジェクトは、作業者の手ではなく、収納部１２１の開口から突出する配達物である可能性が高い。除外制御部１１４は、所定時間継続してオブジェクトが認識された収納部１２１ではオブジェクトの認識を行わないようにオブジェクト認識部１１２を制御することで、収納部１２１の開口から突出する配達物がオブジェクトとして認識され続けることを防止することができる。

これによれば、オブジェクト認識部１１２は、収納部１２１の認識エリアに入り込んだ作業者の手のみをオブジェクトとして認識することができるため、作業者によって作業が行われた収納部１２１を作業進捗推定部１１３にて容易に特定することが可能となる。したがって、本実施形態に係る情報処理装置１１は、作業者による作業の進捗をより適切に推定することができるため、作業者に対してより適切な支援を行うことが可能である。

また、除外制御部１１４は、認識対象から除外された収納部１２１にて、リアルタイムの収納部１２１の撮像画像と、空の状態の収納部１２１の撮像画像との差分が閾値以下となった場合、収納部１２１から配達物が取り出されたと判断してもよい。具体的には、リアルタイムの収納部１２１の撮像画像と、空の状態の収納部１２１の撮像画像との画素値の差分が５％以下となった場合、除外制御部１１４は、収納部１２１から配達物が取り出されて収納部１２１が空の状態となったと判断してもよい。このような場合、オブジェクト認識部１１２にてオブジェクトとして認識される収納部１２１の開口から突出する配達物が収納部１２１から取り除かれた可能性がある。したがって、除外制御部１１４は、認識対象から除外されていた収納部１２１をオブジェクト認識部１１２の認識対象に復帰させることで、収納部１２１の認識エリアに作業者の手が入り込んだことを再び認識可能とすることができる。

（Ｉ／Ｆ部１２０）
Ｉ／Ｆ部１２０は、有線又は無線にて接続された外部装置とデータの入出力を行う。具体的には、Ｉ／Ｆ部１２０は、通信接続したセンサ部１４から、センサ部１４にて撮像された画像を受信してもよい。また、Ｉ／Ｆ部１２０は、通信接続したカードリーダ１９から、カードリーダ１９により読み取られたＩＤ情報を受信してもよい。さらに、Ｉ／Ｆ部１２０は、通信接続した管理者端末３０に作業進捗に関する情報を送信してもよい。例えば、Ｉ／Ｆ部１２０は、ネットワークに接続するための通信デバイス等で構成されたインタフェースであってもよい。

（記憶部１３０）
記憶部１３０は、制御部１１０を動作させるためのプログラム及びデータを記憶する記憶装置である。また、記憶部１３０は、制御部１１０の動作の過程で必要となる各種データを一時的に記憶してもよい。記憶部１３０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成されてもよい。

以上の構成を備える情報処理装置１１は、手順２の並び替え作業において、作業者が配達物を取り出した収納部１２１を容易に特定することができるため、配達物が取り出された収納部１２１に対応する居住者名簿の画像を作業者に提示することができる。また、情報処理装置１１は、手順３の配達のための回収作業において、作業者が配達物を取り出した収納部１２１を容易に特定することができるため、配達物を取り出す収納部１２１を配達ルート順に作業者に誘導することができる。よって、情報処理装置１１は、収納棚１２を用いて作業を行う作業者により適切な支援を行うことが可能である。

＜４．情報処理装置の動作例＞
続いて、図５を参照して、本実施形態に係る情報処理装置１１の動作例について説明する。図５は、本実施形態に係る情報処理装置１１の動作の流れを示すフローチャート図である。

図５に示すように、まず、画像取得部１１１は、収納棚１２のリアルタイムの撮像画像を取得する（Ｓ１０１）。

続いて、オブジェクト認識部１１２は、収納部１２１の各々に設定された認識エリアに存在するオブジェクトを認識する（Ｓ１０２）。例えば、オブジェクト認識部１１２は、リアルタイムの収納棚１２の撮像画像と、空の状態の収納棚１２の撮像画像とを比較することで、収納部１２１の各々に設定された認識エリアに存在するオブジェクトを認識してもよい。オブジェクト認識部１１２にて認識されるオブジェクトは、例えば、収納棚１２を用いて作業を行う作業者の手、又は収納部１２１の開口から突出する配達物などである。

次に、除外制御部１１４は、所定時間（例えば、１秒～３秒など）、認識エリアにオブジェクトが継続して存在しているか否かを判断する（Ｓ１０３）。

所定時間継続して認識エリアにオブジェクトが存在しない場合（Ｓ１０３／Ｎｏ）、除外制御部１１４は、認識されたオブジェクトは作業者の手であると判断し、ステップＳ１０２に戻ってオブジェクトの認識を続行する。一方、所定時間継続して認識エリアにオブジェクトが存在する場合（Ｓ１０３／Ｙｅｓ）、除外制御部１１４は、認識されたオブジェクトは収納部１２１から突出する配達物であると判断し、該当する収納部１２１をオブジェクト認識部１１２の認識対象から除外する（Ｓ１０４）。

その後、画像取得部１１１は、収納棚１２のリアルタイムの撮像画像を取得し（Ｓ１０５）、除外制御部１１４は、認識対象から除外された収納部１２１のリアルタイムの撮像画像と、空の状態の収納部１２１の撮像画像（基準画像）との差が閾値以下となったか否かを判断する（Ｓ１０６）。例えば、除外制御部１１４は、認識対象から除外された収納部１２１のリアルタイムの撮像画像と、空の状態の収納部１２１の撮像画像との画素値の差が５％以下となったか否かを判断してもよい。

認識対象から除外された収納部１２１のリアルタイムの撮像画像と、基準画像との差が閾値以下ではない場合（Ｓ１０６／Ｎｏ）、除外制御部１１４は、認識対象から除外された収納部１２１に収納された配達物は取り出されていないと判断し、ステップＳ１０５に戻ってリアルタイムの撮像画像の取得を続行する。

一方、認識対象から除外された収納部１２１のリアルタイムの撮像画像と、基準画像との差が閾値以下である場合（Ｓ１０６／Ｙｅｓ）、除外制御部１１４は、認識対象から除外された収納部１２１に収納された配達物が取り出されたと判断する（Ｓ１０７）。その後、除外制御部１１４は、収納部１２１の認識対象からの除外を解除し、該当する収納部１２１をオブジェクト認識部１１２によるオブジェクトの認識対象に復帰させる（Ｓ１０８）。

以上の動作によれば、情報処理装置１１は、収納部１２１から突出する配達物に影響されることなく、収納部１２１に対して作業を行う作業者の手を認識することができるため、作業の進捗をより適切に推定することができる。したがって、情報処理装置１１は、収納棚１２を用いて作業を行う作業者に対して、より適切な支援を行うことが可能である。

＜６．ハードウェア構成例＞
以上、本発明の実施形態を説明した。上述した作業支援システム１０により実施される各種の情報処理は、ソフトウェアと、以下に説明する作業支援システム１０のハードウェアとの協働により実現される。

図６は、本実施形態に係る作業支援システム１０（より具体的には、例えば情報処理装置１１）を具現する情報処理装置９００のハードウェア構成の一例を示すブロック図である。情報処理装置９００は、ＣＰＵ９０１と、ＲＯＭ９０２と、ＲＡＭ９０３と、ホストバス９０４と、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力機器９０８と、出力機器９０９と、ストレージ機器９１０と、ドライブ９１１と、通信機器９１３とを備える。

ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラム及び演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラム、及びプログラムの実行において適宜変化するパラメータ等を一時記憶する。これらのＣＰＵ９０１、ＲＯＭ９０２、及びＲＡＭ９０３は、ＣＰＵバス等から構成されるホストバス９０４により相互に接続されている。ＣＰＵ９０１、ＲＯＭ９０２、及びＲＡＭ９０３の協働により、上述した制御部１１０の機能が実現される。

ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス９０６に接続されている。なお、ホストバス９０４、ブリッジ９０５、及び外部バス９０６は、必ずしも分離構成されずともよく、１つのバスにこれらの機能が実装されてもよい。

入力機器９０８は、マウス、キーボード、タッチパネル、ボタン、スイッチ、又はマイクロフォン等ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路とから構成される。情報処理装置９００を操作するユーザは、入力機器９０８を操作することにより、情報処理装置９００に対して各種のデータを入力したり、処理動作を指示したりすることができる。

また、入力機器９０８は、作業に関する情報を検出する装置により構成されてもよい。例えば、入力機器９０８は、画像センサ（例えば、カメラ）、深度センサ（例えば、ステレオカメラ）、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサを含んで構成されてもよい。入力機器９０８は、例えば、センサ部１４の機能を実現し得る。

出力機器９０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置、ランプ等の表示装置、及びスピーカ等の音声出力装置を含む。出力機器９０９は、例えば、表示投影部１５の機能を実現し得る。

ストレージ機器９１０は、データ格納用の機器である。ストレージ機器９１０は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ機器９１０は、例えば、記憶部１３０の機能を実現し得る。

ドライブ９１１は、記憶媒体用リーダライタであり、情報処理装置９００に外付けされる。ドライブ９１１は、装着される磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記憶媒体９１２に記録されている情報を読み出し、ＲＡＭ９０３に出力する。また、ドライブ９１１は、リムーバブル記憶媒体９１２に情報を書き込むことも可能である。

通信機器９１３は、通信を行うための通信デバイス等で構成された通信インタフェースである。通信機器９１３は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であってもよく、有線による通信を行うワイヤー通信装置であってもよい。通信機器９１３は、例えば、Ｉ／Ｆ部１２０の機能を実現し得る。

なお、情報処理装置９００のハードウェア構成は、図６に示す構成に限定されない。例えば、情報処理装置９００は、接続されている外部の通信デバイスを介して通信を行う場合には、通信機器９１３を備えなくてもよい。また、情報処理装置９００は、例えば、入力機器９０８又は出力機器９０９等を備えなくてもよい。さらに、図６に示す構成の一部又は全部は、１又は２以上のＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）で実現されてもよい。

＜５．まとめ＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、本明細書においてフローチャートを用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

また、本明細書において説明した情報処理装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組み合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｍｅｄｉａ）に予め格納される。そして、各プログラムは、例えば、コンピュータによる実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。上記記憶媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記憶媒体を用いずに、例えば、ネットワークを介して配信されてもよい。

１０ 作業支援システム
１１ 情報処理装置
１２ 収納棚
１２１ 収納部
１３ 作業台
１４ センサ部
１５ 表示投影部
１７ 支持フレーム
１８ ミラー
１９ カードリーダ
３０ 管理者端末
４０ ネットワーク
１１０ 制御部
１１１ 画像取得部
１１２ オブジェクト認識部
１１３ 作業進捗推定部
１１４ 除外制御部
１２０ Ｉ／Ｆ部
１３０ 記憶部
１２３ 識別画像
１２５ 開口
１２７ 認識エリア
１５０ 配達物

Claims (11)

1. 複数の収納部を含む収納棚の撮像画像を取得する画像取得部と、
   前記撮像画像に基づいて、前記複数の収納部の各々に設定された認識エリアにおけるオブジェクトの存在をそれぞれ認識するオブジェクト認識部と、
   前記認識エリアにて所定時間継続して前記オブジェクトの存在が認識された場合、該認識エリアが設定された前記収納部を前記オブジェクト認識部の認識対象から除外する除外制御部と、
   を備える、情報処理装置。
2. 前記複数の収納部は、配達物をそれぞれ収納する、請求項１に記載の情報処理装置。
3. 前記オブジェクトは、前記収納部に前記配達物を収納する作業者の手である、請求項２に記載の情報処理装置。
4. 前記オブジェクトは、前記収納部の開口から突出する前記配達物である、請求項２に記載の情報処理装置。
5. 前記認識エリアは、前記収納部の開口の外側に設定された領域である、請求項２～４のいずれか一項に記載の情報処理装置。
6. 前記認識対象から除外された前記収納部において、前記収納部を撮像した画像と、空の状態の前記収納部の画像との差分が閾値以下となる場合、
   前記除外制御部は、前記収納部から前記配達物が取り出されたと判断する、請求項２～５のいずれか一項に記載の情報処理装置。
7. 前記除外制御部は、前記配達物が取り出されたと判断された前記収納部を前記オブジェクト認識部の認識対象に復帰させる、請求項６に記載の情報処理装置。
8. 前記配達物が取り出された前記収納部に対応する居住者名簿を含む支援画像を投影させる投影制御部をさらに備える、請求項６又は７に記載の情報処理装置。
9. 前記居住者名簿は、前記配達物の配達ルートに沿った順で世帯が並べられた名簿である、請求項８に記載の情報処理装置。
10. 複数の収納部を含む収納棚の撮像画像を取得する画像取得部と、
    前記撮像画像に基づいて、前記複数の収納部の各々に設定された認識エリアにおけるオブジェクトの存在をそれぞれ認識するオブジェクト認識部と、
    前記認識エリアにて所定時間継続して前記オブジェクトの存在が認識された場合、該認識エリアが設定された前記収納部を前記オブジェクト認識部の認識対象から除外する除外制御部と、
    を備える、情報処理システム。
11. コンピュータを、
    複数の収納部を含む収納棚の撮像画像を取得する画像取得部と、
    前記撮像画像に基づいて、前記複数の収納部の各々に設定された認識エリアにおけるオブジェクトの存在をそれぞれ認識するオブジェクト認識部と、
    前記認識エリアにて所定時間継続して前記オブジェクトの存在が認識された場合、該認識エリアが設定された前記収納部を前記オブジェクト認識部の認識対象から除外する除外制御部と、
    として機能させる、プログラム。
    

Images