JP2020101846A - 予測装置、搬送制御システム、および予測方法 - Google Patents

Abstract

【課題】搬送処理の効率化を実現する。【解決手段】対象物の搬送前における、対象物の状態、および、対象物の周囲の状態の少なくともいずれか一方を撮影するカメラ（１３５）の撮影画像に基づいて、対象物が搬送可能となる搬送可能時刻を予測し、予測した搬送可能時刻を、搬送処理の進捗を管理する進捗管理装置（１１０）に送信する。【選択図】図２

Description

本発明は、無人搬送台車および搬送作業者の少なくともいずれか一方により対象物を搬送する搬送システムにおける処理状況を予測する予測装置、搬送制御システム、および予測方法に関する。

従来、作業者が組立作業を行うセル生産現場における対象物の搬送、半導体ウエハを処理する半導体製造現場における対象物の搬送、および物流業界等での荷物等の対象物の搬送において、無人搬送台車を用いて対象物を搬送する搬送システムが知られている。これらの搬送システムでは、対象物の装置での処理が終了したタイミング、対象物が出荷エリアに配置されたタイミング、又は搬送作業者が無人搬送台車の配車を要求する指示を出したタイミングで、無人搬送台車が所定の積荷位置に移動するように配車されていた。

また、例えば、搬送する対象物の種類、搬送開始場所、搬送終了場所、搬器の利用日時などの情報を管理する搬送管理システムが提案されている（例えば、特許文献１参照）。特許文献１に記載の搬送管理システムでは、搬器の内部を撮影する撮影部によって撮影された搬器の積載物の撮影画像に基づいて積載物の種類が特定されている。

特開２０１８−１２２９８９号公報（２０１８年８月９日公開）

しかしながら、上述のような従来技術は、搬送する対象物の搬送準備が終わってから、無人搬送台車および搬送作業者の少なくともいずれか一方に搬送を行う指示が出されていたため、無人搬送台車および搬送作業者の少なくともいずれか一方が対象物の搬送開始位置に到着するまで待ち時間が発生し、対象物の搬送によるタイムロスが生じていた。

本発明の一態様は、上述した事情に鑑みてなされてものであり、搬送処理の効率化を実現することを目的とする。

上記の課題を解決するために、本発明の一態様に係る予測装置は、無人搬送台車および搬送作業者の少なくともいずれか一方により対象物を搬送する搬送システムにおける処理状況を予測する予測装置であって、前記対象物の搬送前における、前記対象物の状態、および、前記対象物の周囲の状態の少なくともいずれか一方を撮影するカメラの撮影画像に基づいて、前記対象物が搬送可能となる搬送可能時刻を予測する時刻予測部と、前記時刻予測部が予測した前記搬送可能時刻を、前記無人搬送台車および前記搬送作業者の少なくともいずれか一方による搬送処理の進捗を管理する進捗管理装置に送信する通信部と、を備える。

また、上記の課題を解決するために、本発明の一態様に係る予測方法は、無人搬送台車および搬送作業者の少なくともいずれか一方により対象物を搬送する搬送システムにおける処理状況を予測する予測方法であって、前記対象物の搬送前における、前記対象物の状態、および、前記対象物の周囲の状態の少なくともいずれか一方を撮影するカメラの撮影画像に基づいて、前記対象物が搬送可能となる搬送可能時刻を予測する時刻予測ステップと、予測した前記搬送可能時刻を、前記無人搬送台車および前記搬送作業者の少なくともいずれか一方による搬送処理の進捗を管理する進捗管理装置に送信する通信ステップと、を含む。

前記の構成によれば、カメラの撮影画像に基づいて対象物が搬送可能となる搬送可能時刻を予測することができ、予測した搬送可能時刻を搬送処理の進捗を管理する進捗管理装置に送信することができる。これにより、進捗管理装置は、予測装置から受信した搬送可能時刻の情報に基づいて、対象物を搬送する無人搬送台車および搬送作業者の少なくともいずれか一方が、所定の搬送開始位置に到着するように進捗を管理することが可能となる。したがって、無人搬送台車および搬送作業者の少なくともいずれか一方による搬送を、搬送可能となった直後から即座に実行することが可能となり、搬送処理の効率化を実現することができる。

また、本発明の一態様に係る予測装置は、前記時刻予測部は、前記撮影画像を機械学習により学習した結果に基づいて、前記対象物が搬送可能となる搬送可能時刻を予測する。

前記の構成によれば、撮影画像における画像の状態が多様であっても、学習によって状況を的確に認識し、搬送可能時刻を精度良く予測することが可能となる。

また、本発明の一態様に係る予測装置は、前記時刻予測部は、前記進捗管理装置から、前記搬送処理の進捗の状況を示す状況情報を取得し、当該状況情報に基づいて、前記撮影画像に基づく、前記対象物が搬送可能となる搬送可能時刻の予測を開始する。

前記の構成によれば、進捗管理装置から取得した状況情報に基づいて、搬送可能時刻の予測を開始するので、撮影画像に基づく搬送可能時刻を予測する処理を適時に開始することができる。

また、本発明の一態様に係る予測装置は、前記時刻予測部は、前記撮影画像に生じた所定の変化に基づいて前記対象物が搬送可能となる搬送可能時刻を予測する処理を開始するかを決定する。

前記の構成によれば、搬送可能時刻を予測する処理の開始トリガーが、撮影画像に生じた変化となる。よって、予測処理の開始判断から予測処理までを撮影画像に基づいて実行することができるので、他の手法で外部から情報を収集するなどの処理が不要となる。

また、本発明の一態様に係る予測装置は、前記時刻予測部は、複数の前記カメラの撮影画像の少なくともいずれか１つに基づいて、前記対象物が搬送可能となる搬送可能時刻を予測する。

前記の構成によれば、工場等で、複数の搬送対象物が、それぞれ異なるタイミングで搬送可能となる状況において、複数のカメラの撮影画像のそれぞれに基づいて、複数の搬送対象物のそれぞれの搬送可能時刻を予測することができる。

また、本発明の一態様に係る予測装置は、前記進捗管理装置から、前記搬送処理の進捗の状況を示す状況情報を取得し、当該状況情報に基づいて、複数の前記カメラのうち、どのカメラからの撮影画像に基づいて前記対象物が搬送可能となる搬送可能時刻を予測するかを決定する。

前記の構成によれば、工場等で、複数の搬送対象物が、それぞれ異なるタイミングで搬送可能となる状況において、進捗管理装置が送信した状況情報に基づいて、搬送可能時刻を予測するタイミングとなった特定の対象物の状態を撮影しているカメラを特定することができる。これにより、複数のカメラから、特定の対象物の状態、または、対象物の周囲の状態を撮影しているカメラを正確に特定し、当該カメラの撮影画像に基づいて、搬送可能時刻を予測することができる。

また、本発明の一態様に係る予測装置は、前記時刻予測部は、前記複数のカメラのそれぞれの撮影画像に生じた所定の変化に基づいて、複数の前記カメラのうち、どのカメラからの撮影画像に基づいて前記対象物が搬送可能となる搬送可能時刻を予測するかを決定する。これにより、複数のカメラから、搬送可能時刻を予測するタイミングとなった対象物の状態、または、当該対象物の周囲の状態を撮影しているカメラを特定し、当該カメラの撮影画像に基づいて、対象物の搬送可能時刻を予測することができる。

また、上記の課題を解決するために、本発明の一態様に係る搬送制御システムは、前記の予測装置と、前記進捗管理装置と、を備える。

前記の構成によれば、進捗管理装置は、予測装置から受信した搬送可能時刻の情報に基づいて、対象物を搬送する無人搬送台車および搬送作業者の少なくともいずれか一方が、所定の搬送開始位置に到着するように進捗を管理することが可能となる。したがって、無人搬送台車および搬送作業者の少なくともいずれか一方による搬送を、搬送可能となった直後から即座に実行することが可能となり、搬送処理の効率化を実現することができる。

また、本発明の一態様に係る搬送制御システムは、前記進捗管理装置からの指示に基づいて前記無人搬送台車の動作を制御する搬送制御装置、および、前記進捗管理装置からの指示に基づいて前記搬送作業者に対して作業指示に関する情報を提示する制御を行う作業者指示装置、の少なくともいずれか一方をさらに備える。

前記の構成によれば、無人搬送台車および搬送作業者の少なくともいずれか一方による搬送を適切に実行させることができる。

本発明の一態様によれば、搬送処理の効率化を実現することができる。

本発明の実施形態に係る予測装置の概略構成を示すブロック図である。 本発明の実施形態１に係る搬送制御システムの全体構成を示すブロック図である。 工場内における複数のカメラの設置例を示す図である。 予測装置による搬送可能時刻を予測する処理の流れを示すフローチャートである。 （ａ）〜（ｃ）は、搬送可能時刻を予測する処理を開始する対象物の状態、または、対象物の周囲の状態の例を示す図である。 実施形態２に係る搬送制御システムの全体構成を示すブロック図である。 実施形態２の予測装置による搬送可能時刻を予測する処理の流れを示すフローチャートである。 （ａ）〜（ｃ）は、搬送可能時刻を予測する処理を開始する対象物の状態、または対象物の周囲の状態の例を示す図である。 実施形態３に係る搬送制御システムの全体構成を示すブロック図である。 実施形態３に係る搬送制御システムが用いられる物流の現場を模式的に示した図である。 実施形態３の予測装置による搬送可能時刻を予測する処理の流れを示すフローチャートである。 実施形態４に係る搬送制御システムの全体構成を示すブロック図である。 実施形態４に係る搬送制御システムが用いられる物流の現場を模式的に示した図である。

以下、本発明の一側面に係る実施形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。

§１ 適用例
図１を用いて、本発明が適用される場面の一例について説明する。

図１は、本実施形態に係る予測装置１２０の概略構成を示すブロック図である。予測装置１２０は、無人搬送台車および搬送作業者の少なくともいずれか一方により対象物を搬送するシステムにおいて、当該対象物の処理状況を予測する装置である。

対象物を搬送するシステムの例としては、詳細は後述するが、作業者が組立作業を行うセル生産現場において製品の入ったコンテナを搬送するシステム、半導体製造装置により処理が終了したウエハロットを搬送するシステム、および、物流の現場においてコンテナが積み込まれたかご台車を所定の搬送開始位置から所定の搬送先まで搬送するシステムなどが挙げられる。

図１に示すように、予測装置１２０は、進捗管理装置１１０と、カメラ管理装置１３０と通信接続されている。進捗管理装置１１０は、無人搬送台車および前記搬送作業者の少なくとも一方による搬送処理の進捗を管理する装置である。カメラ管理装置１３０は、対象物の搬送前における、対象物の状態、および、対象物の周囲の状態の少なくともいずれか一方を撮影するカメラ１３５（図２に示す）の撮影画像を管理する装置である。進捗管理装置１１０およびカメラ管理装置１３０の詳細については後述する。

予測装置１２０は、時刻予測部１２１と、通信部１２２と、を備えている。通信部１２２は、イーサネット（登録商標）などのフィールドネットワークを介して進捗管理装置１１０、およびカメラ管理装置１３０と通信する。

時刻予測部１２１は、カメラ管理装置１３０から通信部１２２を介して受信した撮影画像に基づいて、搬送する対象物が搬送可能となる搬送可能時刻を予測する。予測された搬送可能時刻の情報が、通信部１２２を介して進捗管理装置１１０に送信される。

これにより、進捗管理装置１１０は、予測装置１２０から受信した搬送可能時刻の情報に基づいて、対象物を搬送する無人搬送台車および搬送作業者の少なくともいずれか一方が、所定の搬送開始位置に到着するように進捗を管理することが可能となる。したがって、無人搬送台車および搬送作業者の少なくともいずれか一方による搬送を、搬送可能となった直後から即座に実行することが可能となり、搬送処理の効率化を実現することができる。

§２ 構成例
〔実施形態１〕
以下、本発明の実施形態１について、詳細に説明する。

（搬送制御システム１００の構成について）
図２は、実施形態１に係る搬送制御システム１００の全体構成を示すブロック図である。図２に示すように、搬送制御システム１００は、進捗管理装置１１０、予測装置１２０、装置制御装置１４０、および搬送制御装置１５０を含んでいる。なお、進捗管理装置１１０が、装置制御装置１４０、および搬送制御装置１５０の機能を備えている構成であってもよい。

実施形態１の搬送制御システム１００は、主にセル生産方式による製造現場において用いられるシステムである。搬送制御システム１００は、セル生産装置１４５によって生産された製品を、無人搬送台車１５５および搬送作業者の少なくともいずれか一方により搬送するシステムである。

進捗管理装置１１０は、ＭＥＳ（Manufacturing Execution System）などと呼ばれる管理サーバであり、搬送制御システム１００の全体を統合的に管理・制御する。また、進捗管理装置１１０は、無人搬送台車および搬送作業者の少なくともいずれか一方による搬送処理の進捗を管理する。

装置制御装置１４０は、進捗管理装置１１０からの指令に基づいて、セル生産装置１４５を制御する。搬送制御システム１００には、１又は複数のセル生産装置１４５が含まれており、これらの１又は複数のセル生産装置１４５は、１又は複数の装置制御装置１４０により制御される構成であってもよい。

セル生産装置１４５は、セル生産方式による製造現場において製品の組み立てに用いられる装置である。

搬送制御装置１５０は、進捗管理装置１１０からの指令に基づいて、無人搬送台車１５５を制御し、所定の位置に無人搬送台車１５５を移動させる。この搬送制御装置１５０は、例えばプログラマブルコントローラ（Programmable Logic Controller、以下「ＰＬＣ」と略記）等によって構成される。なお、搬送制御システム１００は、複数の無人搬送台車１５５を含み、これらの複数の無人搬送台車１５５を１又は複数の搬送制御装置１５０により制御する構成であってもよい。

無人搬送台車１５５は、自律走行可能なロボットであり、駆動輪、モータ、バッテリー、セーフティーセンサー等の、無人走行を実現するための各種ハードウェアを備えている。搬送制御装置１５０は、無人搬送台車１５５に対して無線通信により指示を送信することにより、無人搬送台車１５５を走行させ、無人搬送台車１５５を製造現場内の所定の位置に移動させる。

カメラ１３５は、生産現場である工場内の所定の箇所に設置されている。このカメラ１３５は、予測装置１２０に予測処理を行うための撮影を行うことを目的として設置されたものでもよいし、工場内に既に設定されている監視カメラであってもよい。

図３は、工場内における複数のカメラ１３５の設置例を示す図である。図３に示すように、カメラ１３５は、工場１内に複数設定されていてもよい。工場１内は、複数のエリアＡ〜Ｎに分けられており、カメラ１３５は、エリア毎に設定されている。工場１内に設置されたこれらの複数のカメラ１３５は、カメラ管理装置１３０により集中管理されている。

カメラ１３５は、対象物の搬送前における状態、および、対象物の搬送前における対象物の周囲の状態の少なくともいずれか一方を撮影する。カメラ１３５の撮影画像は、カメラ管理装置１３０によって収集管理され、予測装置１２０に提供される。カメラ１３５による撮影は、連続的な動画データでもよいし、所定の時間間隔で撮影された時系列の静止画データでもよい。なお、カメラ１３５の撮影画像のデータは、カメラ管理装置１３０の記録部に記録されていてもよいし、フィールドネットワーク上のストレージに記録されていてもよいし、予測装置１２０の記録部に記録されていてもよい。

進捗管理装置１１０は、無人搬送台車１５５の位置や、セル生産装置１４５の位置に基づいて、どのカメラ１３５からの撮影画像を用いて、搬送可能時刻を予測するかを予測装置１２０に対して指示してもよい。

時刻予測部１２１は、進捗管理装置１１０から取得した搬送処理の進捗の状況を示す状況情報に基づいて、撮影画像に基づく、対象物が搬送可能となる搬送可能時刻を予測する処理を開始する。ここで、搬送処理の進捗の状況とは、搬送する対象物のセル生産装置１４５における処理の状況、対象物を搬送する無人搬送台車１５５および搬送作業者の状況、および対象物の搬送状況などが挙げられる。進捗管理装置１１０は、搬送処理の進捗の状況を、例えば各種センサによる検知結果や、作業者による作業開始ボタン操作などによって把握する。時刻予測部１２１は、定期的に進捗管理装置１１０に問い合わせることによって状況情報を取得してもよいし、進捗管理装置１１０側から定期的に状況情報を予測装置１２０に送信してもよい。また、通知すべき所定の状況が生じたタイミングで進捗管理装置１１０が状況情報を予測装置１２０に送信してもよい。

なお、予測する処理を開始するトリガーとしては、カメラ１３５の撮影画像に生じた所定の変化を検知してもよい。所定の変化としては、例えば、作業者が所定の動作を行った、撮影画像内に所定の物体が入ってきた、ランプが点灯した、などが挙げられる。撮影画像に生じた所定の変化の検知は、例えばパターンマッチングによって所定の物体を検知することによって行われる。

時刻予測部１２１は、搬送可能時刻を予測する処理を開始すると、カメラ１３５の撮影画像を機械学習により学習した結果に基づいて、対象物が搬送可能となる搬送可能時刻を予測する。搬送可能時刻の予測における機械学習は例えば以下のように行われる。まず、撮影画像と、対象物が搬送可能となった搬送可能時刻とが紐付けられた複数の教師データを事前に用意しておき、これらに基づいて任意の学習装置によって学習を事前に行っておく。この学習結果に基づいて生成された学習モデルを用いることによって、時刻予測部１２１は搬送可能時刻の予測を行う。

なお、搬送可能時刻の予測は、機械学習に基づくものに限定されるものではなく、例えばパターンマッチングによって所定の物体を検知することによって行われてもよい。

また、時刻予測部１２１は、工場１内に設置された複数のカメラ１３５の撮影画像の少なくともいずれか１つに基づいて、対象物が搬送可能となる搬送可能時刻を予測してもよい。また、無人搬送台車１５５に搭載されているカメラ１３５の撮影画像を利用しても良い。この場合、無人搬送台車１５５のカメラ１３５の撮影画像は無線でフィールドネットワークを介して予測装置１２０に送信されるようにすればよい。

ここで、時刻予測部１２１は、進捗管理装置１１０から取得した搬送処理の進捗の状況を示す状況情報に基づいて、複数のカメラ１３５のうち、どのカメラ１３５からの撮影画像に基づいて対象物が搬送可能となる搬送可能時刻を予測するかを決定する。

なお、時刻予測部１２１は、複数のカメラ１３５の撮影画像のそれぞれを監視し、所定の変化が生じた撮影画像を撮影したカメラ１３５からの撮影画像に基づいて、搬送可能時刻を予測する処理を開始してもよい。

予測装置１２０は、時刻予測部１２１が、カメラ１３５の撮影画像に基づいて予測した、対象物が搬送可能となる搬送可能時刻を、通信部１２２の機能により、進捗管理装置１１０に送信する。

進捗管理装置１１０は、受信した搬送可能時刻を、無人搬送台車１５５を制御する搬送制御装置１５０に通知することにより、搬送可能時刻に基づいて、無人搬送台車１５５を所定の搬送開始位置に移動させる。進捗管理装置１１０は、搬送可能時刻に基づいて無人搬送台車１５５の配車を行う代わりに、搬送作業者に対して、搬送可能時刻を提示することにより、搬送作業者を搬送開始位置に移動させてもよい。また、進捗管理装置１１０は、搬送作業者に対して、搬送可能時刻を提示することにより、搬送作業者に無人搬送台車１５５を搬送開始位置に移動させる所定の作業を実行させてもよい。

（予測装置１２０による搬送可能時刻の予測処理の流れ）
図４は、予測装置１２０による搬送可能時刻を予測する処理の流れの１例を示すフローチャートである。

時刻予測部１２１は、進捗管理装置１１０から送信された状況情報に基づいて、作業者が折り畳みコンテナ（オリコン）等のコンテナに製品を入れる作業が行われているか否かを判定する（ステップＳ１）。セル生産装置１４５の周囲において、作業者がコンテナに製品を入れる作業を行っている状態は、セル生産装置１４５における対象物の組み立てが終了し、搬送対象物である製品の搬送準備が行われていることを示す。つまり、作業者がコンテナに製品を入れる作業を行っている状態は、対象物が搬送可能な状態になる時刻が近づいていることを示す。

時刻予測部１２１は、ステップＳ１において、作業者がコンテナに製品を入れる作業を行っていない（ステップＳ１でＮＯ）と判定すると、ステップＳ１に戻り処理を継続する。時刻予測部１２１は、ステップＳ１において、作業者がコンテナに製品を入れる作業を行っている（ステップＳ１でＹＥＳ）と判定すると、ステップＳ２に進む。

ステップＳ２において、時刻予測部１２１は、セル生産装置１４５の周囲の状態を撮影したカメラ１３５の撮影画像を取得し、学習モデルを利用することによって、対象物の状態、または、対象物の周囲の状態が所定の状態であるか否かを判定する（ステップＳ２）。

時刻予測部１２１は、ステップＳ２において、対象物の状態、または、対象物の周囲の状態が所定の状態ではない（ステップＳ２でＮＯ）と判定すると、ステップＳ１に戻り処理を継続する。時刻予測部１２１は、ステップＳ２において、対象物の状態、または、対象物の周囲の状態が所定の状態である（ステップＳ２でＹＥＳ）と判定すると、ステップＳ３に進む。

時刻予測部１２１は、対象物の状態、または、対象物の周囲の状態が所定の状態となっている場合に対応付けられている搬送可能時刻を特定する（ステップＳ３）。

通信部１２２は、時刻予測部１２１が予測した搬送可能時刻を進捗管理装置１１０に送信する（ステップＳ４）。

進捗管理装置１１０は、受信した搬送可能時刻に応じて、所定の搬送開始位置に遅延なく無人搬送台車が到着することができるように、搬送可能時刻を搬送制御装置１５０に通知する。搬送制御装置１５０は、通知された搬送可能時刻に基づいて、無人搬送台車１５５を、所定の搬送開始位置に移動させる。なお、進捗管理装置１１０は、受信した搬送可能時刻に応じて、所定の搬送開始位置に遅延なく搬送作業者が到着することができるように、搬送可能時刻を搬送作業者に提示してもよい。

（撮影画像に生じた変化に基づいて搬送可能時刻を予測する処理を開始する例）
図５の（ａ）〜（ｃ）は、ステップＳ２における対象物の状態、または、対象物の周囲の状態が所定の状態となっている例を示す図である。

図５の（ａ）に示すように、搬送する対象物が入れられるコンテナ１１には、対象物を特定するための出荷票１２が取り付けられる。作業者がこの出荷票１２を記入する作業を行っている状況は、対象物が搬送可能な状態になる時刻が近づいている状況であることを示す。よって、時刻予測部１２１は、カメラ１３５の撮影画像に生じた変化に基づいて、作業者が出荷票１２を記入する作業を行っている状態であると判定した場合には、対象物の状態、または、対象物の周囲の状態が所定の状態である（ステップＳ２でＹＥＳ）と判定する。

また、時刻予測部１２１は、カメラ１３５の撮影画像に生じた変化に基づいて、作業者が出荷票１２をコンテナに取り付ける作業を行っている状態であると判定した場合に、対象物の状態、または、対象物の周囲の状態が所定の状態である（ステップＳ２でＹＥＳ）と判定してもよい。

図５の（ｂ）に示すように、セル生産装置１４５において組み立てが終了した製品は、作業者１５によって、コンテナ１１に入れられ、セル生産装置１４５から、荷受け棚１６に移動される。荷受け棚１６は、からくり機構を有し、無人搬送台車１５５が荷受け棚からの荷受け位置に到着すると、荷受け棚１６に置かれたコンテナ１１が、無人搬送台車１５５に自動移載されるように構成されている。

つまり、作業者１５がコンテナ１１を荷受け棚１６に向かって移動させている作業を行っている状況は、対象物が搬送可能となる時刻が近づいている状況であることを示す。よって、時刻予測部１２１は、カメラ１３５の撮影画像に生じた変化に基づいて、作業者がコンテナ１１を荷受け棚１６に向かって移動させている作業を行っている状態であると判定した場合には、対象物の状態、または、対象物の周囲の状態が所定の状態である（ステップＳ２でＹＥＳ）と判定してもよい。

図５の（ｃ）に示すように、セル生産装置１４５では、部品ケース１７内の部品１８が組み立てられて製品が生産される。セル生産装置１４５における製品の組み立てが終了すると、部品ケース１７内の組み立て用の部品１８が無くなる、つまり、部品ケース１７が空になる。つまり、部品ケース１７内の組み立て用の部品１８が無くなる状況は、セル生産装置１４５における対象物の組み立て作業が終了し、対象物が搬送可能となる時刻が近づいている状況であることを示す。

時刻予測部１２１は、カメラ１３５の撮影画像に生じた変化に基づいて、部品ケース１７内の組み立て用の部品１８が無くなったと判定した場合には、対象物の状態、または、対象物の周囲の状態が所定の状態である（ステップＳ２でＹＥＳ）と判定してもよい。

〔実施形態２〕
本発明の実施形態２について、以下に説明する。なお、説明の便宜上、上記実施形態１にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

（搬送制御システム２００の構成について）
図６は、実施形態２に係る搬送制御システム２００の全体構成を示すブロック図である。図６に示すように、搬送制御システム２００は、進捗管理装置１１０、予測装置２２０、装置制御装置２４０、搬送制御装置１５０を含んでいる。なお、進捗管理装置１１０が、装置制御装置２４０、および搬送制御装置１５０の機能を備えていてもよい。

実施形態２の搬送制御システム２００は、主に半導体製造現場において用いられるシステムであり、対象物である、半導体製造装置２４５によって処理されるウエハロットが格納された格納容器、例えばＦＯＵＰ、を無人搬送台車１５５および搬送作業者の少なくともいずれか一方により搬送するシステムである。

進捗管理装置１１０は、ＭＥＳ（Manufacturing Execution System）などと呼ばれる管理サーバであり、搬送制御システム２００の全体を統合的に管理・制御する。

装置制御装置２４０は、進捗管理装置１１０からの指令に基づいて、半導体製造装置２４５を制御する。搬送制御システム２００には、１又は複数の半導体製造装置２４５が含まれており、これらの１又は複数の半導体製造装置２４５は、１又は複数の装置制御装置２４０により制御される構成であってもよい。

時刻予測部１２１は、搬送可能時刻を予測する処理を開始すると、カメラ１３５の撮影画像を機械学習により学習した結果に基づいて、対象物が搬送可能となる搬送可能時刻を予測する。なお、搬送可能時刻の予測は、機械学習に基づくものに限定されるものではなく、例えばパターンマッチングによって所定の物体を検知することによって行われてもよい。

また、予測装置２２０の時刻予測部１２１は、機械学習により学習した結果と、進捗管理装置１１０から取得した、搬送対象物の半導体製造装置２４５における処理の状況を示す状況情報とを整合して、対象物が搬送可能となる搬送可能時刻を予測してもよい。

（搬送制御システム２００における予測装置１２０による搬送可能時刻の予測処理について）
図７は、搬送制御システム２００における予測装置２２０による搬送可能時刻を予測する処理の流れの１例を示すフローチャートである。

時刻予測部１２１は、通信部１２２を介して、進捗管理装置１１０から送信された状況情報を受信し、状況情報に基づいて、処理中のロットのウエハの枚数を特定する。例えば、時刻予測部１２１は、進捗管理装置１１０に対して、ロットのウエハの枚数に係る情報の問い合わせ行い、進捗管理装置１１０からロットのウエハの枚数に係る情報を取得する（ステップＳ１１）。

ステップＳ１２において、時刻予測部１２１は、半導体製造装置２４５の周囲の状態を撮影したカメラ１３５の撮影画像を取得し、学習モデルを利用することによって、対象物の状態、または、対象物の周囲の状態が所定の状態であるか否かを判定する。例えば、時刻予測部１２１は、ロットの最後のウエハが半導体製造装置２４５に入ったか否かを判定する。

時刻予測部１２１は、ステップＳ１２において対象物の状態、または、対象物の周囲の状態が所定の状態ではない（ステップＳ１２でＮＯ）と判定すると、ステップＳ１２に戻る。時刻予測部１２１は、ステップＳ１２において、対象物の状態、または、対象物の周囲の状態が所定の状態である（ステップＳ１２でＹＥＳ）と判定すると、ステップＳ１３に進む。

時刻予測部１２１は、進捗管理装置１１０に対して、搬送対象物の半導体製造装置２４５における処理の状況を示す状況情報の提供を求める問い合わせを送信する。進捗管理装置１１０は、装置制御装置２４０から取得した、半導体製造装置２４５における搬送対象物の処理の状況を示す状況情報を予測装置１２０に送信する。時刻予測部１２１は、進捗管理装置１１０から受信した状況情報を収集し、該状況情報と、カメラ１３５の撮影画像について学習モデルを利用することによって検出した対象物の状態とが整合していることを確認する（ステップＳ１３）。なお、基本的には判断結果は正しいため図示はしないが、状況情報が判断結果と整合しない場合には、ステップＳ１２に戻る。その後、時刻予測部１２１は、対象物の状態、または、対象物の周囲の状態が所定の状態となっている場合に対応付けられている搬送可能時刻を特定する（ステップＳ１４）
なお、ステップＳ１３における整合確認処理を省略し、ステップＳ１２における判断結果に基づいてステップＳ１４を実行してもよい。

予測装置２２０の通信部１２２は、時刻予測部１２１が予測した搬送可能時刻を進捗管理装置１１０に送信する（ステップＳ１５）。

以上により、進捗管理装置１１０は、予測装置１２０から受信した搬送可能時刻の情報に基づいて、対象物を搬送する無人搬送台車１５５および搬送作業者の少なくともいずれか一方が、所定の搬送開始位置に到着するように進捗を管理することが可能となる。したがって、無人搬送台車１５５および搬送作業者の少なくともいずれか一方による搬送を、搬送可能となった直後から即座に実行することが可能となり、搬送処理の効率化を実現することができる。

（搬送可能時刻を予測する処理を開始する対象物の状態の例について）
図８の（ａ）〜（ｃ）は、ステップＳ１２において、予測装置２２０の時刻予測部１２１が、搬送可能時刻を予測する処理を開始する対象物の状態、または対象物の周囲の状態の例を示す図である。予測装置２２０の時刻予測部１２１は、進捗管理装置１１０が送信した状況情報、および、カメラ１３５の撮影画像に生じた変化の少なくともいずれか一方に基づいて、対象物の状態、または対象物の周囲の状態が、図８の（ａ）〜（ｃ）に示した状態であるか否か判定する。

図８の（ａ）に示すように、半導体製造装置２４５は、１又は複数の入出庫兼用ポート２１を備えている構成であってもよい。入出庫兼用ポート２１のそれぞれは、ウエハロットが格納された格納容器２０が着脱可能に構成されている。入出庫兼用ポート２１が、ドッキングされている格納容器２０をアンドッキングし始める状況は、対象物が搬送可能となる時刻が近づいている状況であることを示す。

よって、このように、入出庫兼用ポート２１を備えている半導体製造装置２４５では、時刻予測部１２１は、カメラ１３５の撮影画像に生じた変化に基づいて、入出庫兼用ポート２１にドッキングされている格納容器２０がアンドッキングされ始めている状態であると判定した場合に、対象物の状態、または、対象物の周囲の状態が所定の状態である（ステップＳ１２でＹＥＳ）と判定してもよい。

図８の（ｂ）に示すように、半導体製造装置２４５は、入庫ポート２２と、出庫ポート２３と別である構成であってもよい。このように、入庫ポート２２と、出庫ポート２３とが別である半導体製造装置２４５では、入庫ポート２２にドッキングされたウエハ格納容器２０に格納されたロットのウエハの処理が終了すると、ウエハ格納容器２０が、入庫ポート２２から出庫ポート２３に移動する。

時刻予測部１２１は、カメラ１３５の撮影画像に生じた変化に基づいて、ウエハ格納容器２０が、入庫ポート２２から出庫ポート２３に移動し始めた状態であると判定した場合に、対象物の状態、または、対象物の周囲の状態が所定の状態である（ステップＳ１２でＹＥＳ）と判定してもよい。

図８の（ｃ）に示すように、半導体製造装置２４５がウエハを洗浄する洗浄装置である場合には、ウエハは、フッ素樹脂製のウエハカセットに入れられて洗浄槽に運ばれて洗浄され、洗浄処理終了後に、通常のウエハカセットに入れかえられる。このように、半導体製造装置２４５がウエハを洗浄する洗浄装置である場合には、時刻予測部１２１は、カメラ１３５の撮影画像に生じた変化に基づいて、ウエハがフッ素樹脂製のウエハカセットから、通常のウエハカセットに入れ替えられている状態であると判定した場合に、対象物の状態、または、対象物の周囲の状態が所定の状態である（ステップＳ１２でＹＥＳ）と判定してもよい。

〔実施形態３〕
本発明の実施形態３について、以下に説明する。なお、説明の便宜上、上記実施形態１にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

（搬送制御システム３００の構成について）
図９は、実施形態３に係る搬送制御システム３００の全体構成を示すブロック図である。図９に示すように、搬送制御システム３００は、進捗管理装置１１０、予測装置３２０、搬送制御装置１５０を含んでいる。なお、進捗管理装置１１０が、搬送制御装置１５０の機能を備えていてもよい。

図１０は、搬送制御システム３００が用いられる物流の現場を模式的に示した図である。図１０に示すように、実施形態３の搬送制御システム３００は、主に物流の現場において用いられるシステムである。物流の現場においては、作業者１５によって、荷物が入れられた例えば折り畳みコンテナ（オリコン）等のコンテナが、所謂かご台車４０に複数積み込まれる。かご台車４０にコンテナが積み終わると、コンテナが積み込まれたかご台車４０は、所定の搬送開始位置から、所定の搬送先まで無人搬送台車１５５および搬送作業者の少なくともいずれか一方により搬送される。

進捗管理装置１１０は、ＭＥＳ（Manufacturing Execution System）などと呼ばれる管理サーバであり、搬送制御システム３００の全体を統合的に管理・制御する。

時刻予測部１２１は、搬送可能時刻を予測する処理を開始すると、カメラ１３５の撮影画像を機械学習により学習した結果に基づいて、対象物が搬送可能となる搬送可能時刻を予測する。

より具体的には、時刻予測部１２１は、カメラ１３５の撮影画像に対して学習モデルを適用することによって、対象物の状態、および、対象物の周囲の状態が所定の状態であるか否かを判定する。所定の状態である場合に、時刻予測部１２１は対象物であるかご台車が搬送可能となる搬送可能時刻を特定する。なお、搬送可能時刻の予測は、機械学習に基づくものに限定されるものではなく、例えばパターンマッチングによって所定の物体を検知することによって行われてもよい。

例えば、時刻予測部１２１は、カメラ１３５の撮影画像を機械学習した結果に基づいて生成された学習モデルに基づいて、カメラ１３５の撮影画像に生じた変化から、対象物であるかご台車の状態が、荷物が満杯に積まれている状態となったことを検出した場合に、対象物が搬送可能になる時刻が近づいていると判断して、対象物が搬送可能となる搬送可能時刻の予測を開始する。また、時刻予測部１２１は、かご台車が荷物で満杯となる最後の１つの荷物が作業者により積まれている状態となったことを検出した場合に、対象物が搬送可能になる時刻が近づいていると判断して、対象物が搬送可能となる搬送可能時刻の予測を開始してもよい。また、時刻予測部１２１は、作業者１５がかご台車４０に設けられている、荷物の落下や倒れ等を防止するため扉、または、バーを閉めている状態となったことを検出した場合に、対象物が搬送可能になる時刻が近づいていると判断して、対象物が搬送可能となる搬送可能時刻の予測を開始してもよい。

（搬送制御システム３００における予測装置３２０による搬送可能時刻の予測処理について）
図１１は、搬送制御システム３００における予測装置３２０による搬送可能時刻を予測する処理の流れの１例を示すフローチャートである。

予測装置３２０の時刻予測部１２１は、進捗管理装置１１０が送信した状況情報に基づいて、作業者１５がかご台車４０にコンテナを積み入れる作業を行っているか否かを判定する（ステップＳ２１）。

時刻予測部１２１は、作業者１５がかご台車４０にコンテナを積み入れる作業を行っていないと判定すると（ステップＳ２１でＮＯ）、ステップＳ２１に戻る。時刻予測部１２１は、作業者１５がかご台車４０にコンテナを積み入れる作業を行っていると判定すると（ステップＳ２１でＹＥＳ）、ステップＳ２２，Ｓ２３に進む。

ステップＳ２２において、時刻予測部１２１は、カメラ１３５の撮影画像を取得し、学習モデルを利用することによって、かご台車４０が、最後の１つのコンテナ１１が積み入れられると満杯になるか否かを判定する（ステップＳ２２）。時刻予測部１２１は、かご台車４０が、コンテナ１１を残り１つ積み入れられても満杯にならないと判定すると（ステップＳ２２でＮＯ）、ステップＳ２１に戻る。時刻予測部１２１は、かご台車４０が、コンテナ１１を残り１つ積み入れられると満杯になると判定すると（ステップＳ２２でＹＥＳ）、ステップＳ２４に進む。

ステップＳ２３において、時刻予測部１２１は、ステップＳ２２と並行して、カメラ１３５の撮影画像を取得し、学習モデルを利用することによって、かご台車４０の落下防止バーが掛けられたか否かを判定する（ステップＳ２３）。時刻予測部１２１は、かご台車４０の落下防止バーが掛けられていないと判定すると（ステップＳ２３でＮＯ）、ステップＳ２１に戻る。時刻予測部１２１は、かご台車４０の落下防止バーが掛けられたと判定すると（ステップＳ２３でＹＥＳ）、ステップＳ２４に進む。

時刻予測部１２１は、ステップＳ２２、およびステップＳ２３の何れか一方の判定においてＹＥＳと判定すると、ステップＳ２４に進む。

ステップＳ２４において、時刻予測部１２１は、ステップＳ２２またはステップＳ２３でＹＥＳと判定される場合に対応付けられている搬送可能時刻を特定する（ステップＳ２４）
予測装置３２０の通信部１２２は、時刻予測部１２１が予測した搬送可能時刻を進捗管理装置１１０に送信する（ステップＳ２５）。

このように、予測装置３２０は、物流の現場において、作業者によってコンテナが積み込まれたかご台車４０が搬送可能となる搬送可能時刻を予測して、進捗管理装置１１０する。これにより、進捗管理装置１１０は、予測装置３２０から受信した搬送可能時刻の情報に基づいて、対象物を搬送する無人搬送台車１５５および搬送作業者の少なくともいずれか一方が、所定の搬送開始位置に到着するように進捗を管理することが可能となる。したがって、無人搬送台車１５５および搬送作業者の少なくともいずれか一方による搬送を、搬送可能となった直後から即座に実行することが可能となり、搬送処理の効率化を実現することができる。

〔実施形態４〕
本発明の実施形態４について、以下に説明する。なお、説明の便宜上、上記実施形態１にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

（搬送制御システム４００の構成について）
図１２は、実施形態４に係る搬送制御システム４００の全体構成を示すブロック図である。図１２に示すように、搬送制御システム４００は、進捗管理装置１１０、予測装置４２０、作業者指示装置４４０、搬送制御装置１５０を含んでいる。なお、進捗管理装置１１０が、作業者指示装置４４０、および搬送制御装置１５０の機能を備えていてもよい。

進捗管理装置１１０は、ＭＥＳ（Manufacturing Execution System）などと呼ばれる管理サーバであり、搬送制御システム４００の全体を統合的に管理・制御する。

作業者指示装置４４０は、進捗管理装置１１０からの指示に基づいて、作業者端末４４５に所定の情報を送信する。作業者端末４４５は、タブレット端末、およびスマートフォン等の携帯型端末装置であり、表示部、音声出力部等を備えている。

図１３は、実施形態４に係る搬送制御システム４００が用いられる物流の現場を模式的に示した図である。図１３に示すように、実施形態４の搬送制御システム４００は、主に物流の現場において用いられるシステムである。物流の現場においては、コンテナが複数積み込まれたかご台車４０が、所定の搬送開始位置から、所定の搬送先まで無人搬送台車１５５および搬送作業者の少なくともいずれか一方により搬送される。かご台車４０の搬送先では、作業者１５による作業、例えばコンテナをかご台車から下ろす作業、コンテナ、またはコンテナが積み込まれたかご台車４０をトラック等の配送車に積み込む作業等、が必要な場合がある。

予測装置４２０の時刻予測部１２１は、カメラ１３５の撮影画像に基づいて、対象物であるコンテナが積み込まれたかご台車４０が搬送先に到着する時刻である搬送可能時刻を予測する。例えば、カメラ１３５が所定の複数の箇所に設置されている場合、時刻予測部１２１は、各カメラ１３５による撮影画像内にかご台車４０が認識された時刻を収集することによって、かご台車４０の位置および移動速度を認識することができる。このかご台車４０の位置および移動速度に基づいて、搬送可能時刻を予測する。また、かご台車４０の位置および移動速度は、１つのカメラ１３５による撮影画像内におけるかご台車の移動状態を認識することによっても検出することができる。

また、前記した実施形態と同様に、撮影画像に学習モデルを適用することによって搬送可能時刻を予測してもよい。すなわち、撮影画像と、搬送可能時刻とが紐付けられた複数の教師データを事前に用意しておき、これらに基づいて任意の学習装置によって学習を事前に行っておく。この学習結果に基づいて生成された学習モデルを用いることによって、時刻予測部１２１は搬送可能時刻の予測を行ってもよい。

予測装置４２０は、時刻予測部１２１が予測した搬送可能時刻を、通信部１２２を介して、進捗管理装置１１０に送信する。

進捗管理装置１１０は、予測装置４２０から受信した搬送可能時刻を、作業者に提示する指示を作業者指示装置４４０に送信する。作業者指示装置４４０は、作業者端末４４５に対して、予測装置４２０によって予測された搬送可能時刻の情報を送信する。作業者端末４４５は、作業者指示装置４４０から受信した搬送可能時刻を表示部で表示する、または音声出力部からの音声出力することによって作業者１５に提示する。これにより、作業者１５は、対象物がもうすぐ所定の搬送先に到着することを知ることができる。

作業者１５は、作業者端末４４５によって提示された搬送可能時刻に基づいて、所定の搬送先に移動したり、所定の搬送先で対象物の到着を待ったりすることができる。これにより、作業者１５は、遅延なく対象物の搬送先においての作業を行うことができ、作業の効率化を図ることができる。

〔ソフトウェアによる実現例〕
予測装置１２０の制御ブロック（特に時刻予測部１２１）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、予測装置１２０は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

なお、時刻予測部１２１による搬送可能時刻予測のための分類及び学習処理の具体構成は本実施形態を限定するものではなく、例えば、以下のような機械学習的手法の何れかまたはそれらの組み合わせを用いることができる。

・サポートベクターマシン（SVM: Support Vector Machine）
・クラスタリング（Clustering）
・帰納論理プログラミング（ILP: Inductive Logic Programming）
・遺伝的アルゴリズム（GP: Genetic Programming）
・ベイジアンネットワーク（BN: Baysian Network）
・ニューラルネットワーク（NN: Neural Network）
ニューラルネットワークを用いる場合、データをニューラルネットワークへのインプット用に予め加工して用いるとよい。このような加工には、データの１次元的配列化、または多次元的配列化に加え、例えば、データオーグメンテーション（Data Augmentation）等の手法を用いることができる。

また、ニューラルネットワークを用いる場合、畳み込み処理を含む畳み込みニューラルネットワーク（CNN: Convolutional Neural Network）を用いてもよい。より具体的には、ニューラルネットワークに含まれる１又は複数の層（レイヤ）として、畳み込み演算を行う畳み込み層を設け、当該層に入力される入力データに対してフィルタ演算（積和演算）を行う構成としてもよい。またフィルタ演算を行う際には、パディング等の処理を併用したり、適宜設定されたストライド幅を採用したりしてもよい。

また、ニューラルネットワークとして、数十〜数千層に至る多層型又は超多層型のニューラルネットワークを用いてもよい。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１００、２００、３００、４００ 搬送制御システム（搬送システム）
１１０ 進捗管理装置
１２０、２２０、３２０、４２０ 予測装置
１２１ 時刻予測部
１２２ 通信部
１３５ カメラ
１５５ 無人搬送台車
４４０ 作業者指示装置
４４５ 作業者端末（提示部）

Claims (10)

1. 無人搬送台車および搬送作業者の少なくともいずれか一方により対象物を搬送する搬送システムにおける処理状況を予測する予測装置であって、
   前記対象物の搬送前における、前記対象物の状態、および、前記対象物の周囲の状態の少なくともいずれか一方を撮影するカメラの撮影画像に基づいて、前記対象物が搬送可能となる搬送可能時刻を予測する時刻予測部と、
   前記時刻予測部が予測した前記搬送可能時刻を、前記無人搬送台車および前記搬送作業者の少なくともいずれか一方による搬送処理の進捗を管理する進捗管理装置に送信する通信部と、を備える予測装置。
2. 前記時刻予測部は、前記撮影画像を機械学習により学習した結果に基づいて、前記対象物が搬送可能となる搬送可能時刻を予測する請求項１に記載の予測装置。
3. 前記時刻予測部は、前記進捗管理装置から、前記搬送処理の進捗の状況を示す状況情報を取得し、当該状況情報に基づいて、前記撮影画像に基づく、前記対象物が搬送可能となる搬送可能時刻の予測を開始する請求項１または２に記載の予測装置。
4. 前記時刻予測部は、前記撮影画像に生じた所定の変化に基づいて前記対象物が搬送可能となる搬送可能時刻を予測する処理を開始するかを決定する請求項１から３のいずれか一項に記載の予測装置。
5. 前記時刻予測部は、複数の前記カメラの撮影画像の少なくともいずれか１つに基づいて、前記対象物が搬送可能となる搬送可能時刻を予測する請求項１から４の何れか１項に記載の予測装置。
6. 前記時刻予測部は、前記進捗管理装置から、前記搬送処理の進捗の状況を示す状況情報を取得し、当該状況情報に基づいて、複数の前記カメラのうち、どのカメラからの撮影画像に基づいて前記対象物が搬送可能となる搬送可能時刻を予測するかを決定する請求項５に記載の予測装置。
7. 前記時刻予測部は、前記複数のカメラのそれぞれの撮影画像に生じた所定の変化に基づいて、複数の前記カメラのうち、どのカメラからの撮影画像に基づいて前記対象物が搬送可能となる搬送可能時刻を予測するかを決定する請求項５に記載の予測装置。
8. 請求項１から７の何れか１項に記載の予測装置と、
   前記進捗管理装置と、を備える搬送制御システム。
9. 前記進捗管理装置からの指示に基づいて前記無人搬送台車の動作を制御する搬送制御装置、および、前記進捗管理装置からの指示に基づいて前記搬送作業者に対して作業指示に関する情報を提示する制御を行う作業者指示装置、の少なくともいずれか一方をさらに備える請求項８に記載の搬送制御システム。
10. 無人搬送台車および搬送作業者の少なくともいずれか一方により対象物を搬送する搬送システムにおける処理状況を予測する予測方法であって、
    前記対象物の搬送前における、前記対象物の状態、および、前記対象物の周囲の状態の少なくともいずれか一方を撮影するカメラの撮影画像に基づいて、前記対象物が搬送可能となる搬送可能時刻を予測する時刻予測ステップと、
    予測した前記搬送可能時刻を、前記無人搬送台車および前記搬送作業者の少なくともいずれか一方による搬送処理の進捗を管理する進捗管理装置に送信する通信ステップと、を含む予測方法。

Images