JP2020131306A - ロボットハンド付きロボットアームの制御方法、制御装置および制御システム - Google Patents

Abstract

【課題】本発明の課題は、ロボットハンド付きロボットアームにより紙葉類束収容箱から紙葉類束を抜き出す際に、紙葉類束が崩れたり、紙葉類束の一部がロボットハンドから脱落したりするおそれを低減させることにある。【解決手段】本発明に係る制御システム５００は、ロボットハンド１００付きのロボットアームＲＡ、撮像装置ＤＣおよび制御装置４００を備える。制御装置は、記憶部４２０、取得部４４０、導出部４３０および制御部４１０を有する。記憶部には、紙葉類束の画像情報が特性値情報に関連付けられて記憶される。取得部は、撮像装置から紙葉類束の画像情報を取得する。導出部は、取得部において取得された紙葉類束の画像情報を、記憶部に記憶される紙葉類束の画像情報と照合して紙葉類束の特性値情報を導出する。制御部は、導出部により導出された紙葉類束の特性値情報に基づいてロボットハンド付きのロボットアームの動作を制御する。【選択図】図５

Description

本発明は、紙葉類束の特性値（例えば、厚さや、傷み等の状態など）の情報に基づいてロボットハンド付きロボットアームを制御する方法、装置およびシステムに関する。

過去に「ロボットハンド付きロボットアームを利用した紙幣処理装置」が提案されている（例えば、特開昭６２−９２０９５号公報等）。このような紙幣処理装置では、ロボットハンド付きロボットアームによって紙幣収容箱から紙幣束が取り出された後に紙幣カウント紙幣確認ユニットまで搬送され、紙幣カウント紙幣確認ユニットにて紙幣束が金種別に仕分けされながら金種毎の枚数がカウントされる。そして、金種毎に仕分けされた紙幣束は金種別に別のロボットハンド付きロボットアームによって規定の位置まで搬送される。

特開昭６２−９２０９５号公報

ところで、従前、紙幣束等の紙葉類束を収容する箱（以下「紙葉類束収容箱」という。）に収容される紙葉類束をロボットハンドに掴ませ、そのロボットハンドをロボットアームにより後退させて紙葉類束収容箱からその紙葉類束を抜き出す際、紙葉類束が崩れたり、紙葉類束の一部がロボットハンドから脱落したりすることがあった。

本発明の課題は、ロボットハンド付きロボットアームにより紙葉類束収容箱から紙葉類束を抜き出す際に、紙葉類束が崩れたり、紙葉類束の一部がロボットハンドから脱落したりするおそれを低減させることにある。

本発明の第１局面に係るロボットハンド付きロボットアーム制御システムは、ロボットハンド付きロボットアーム、撮像装置および制御装置を備える。制御装置は、記憶部、取得部、導出部および制御部を有する。記憶部には、紙葉類束の画像情報が特性値情報に関連付けられて記憶される。取得部は、撮像装置から紙葉類束の画像情報を取得する。導出部は、取得部において取得された紙葉類束の画像情報を、記憶部に記憶される紙葉類束の画像情報と照合して紙葉類束の特性値情報を導出する。制御部は、導出部により導出された紙葉類束の特性値情報に基づいてロボットハンド付きロボットアームの動作を制御する。

このため、このロボットハンド付きロボットアーム制御システムでは、制御装置が、ロボットハンドおよびロボットアームに対して、紙葉類束の特性値を加味した動作を行わせることができる。したがって、このロボットハンド付きロボットアーム制御システムでは、制御部がロボットハンド付きロボットアームに対して紙葉類束収容箱から紙葉類束を抜き出させる際に、紙葉類束の一部がロボットハンドから脱落したりするおそれを低減させることができる。

本発明の第２局面に係るロボットハンド付きロボットアーム制御システムは、第１局面に係るロボットハンド付きロボットアーム制御システムであって、特性値情報は、紙葉類束の厚みに関する情報（以下「厚み関連情報」という。）である。なお、厚み関連情報としては、例えば、厚みの実寸値、厚みの相対値等である。

ところで、一般的に、紙葉類束の厚みが増すほど、紙葉類束が崩れたり、紙葉類束の一部が脱落したりするおそれが高い。これに対して、このシステムでは、紙葉類束の厚みに応じてロボットハンドおよびロボットアームの動作を制御することができる。そして、このシステムでは、例えば、紙葉類束の厚みが増す程ロボットアームによるロボットハンドの後退速度や後退加速度等を低下させるようにすれば、紙葉類束収容箱から紙葉類束を抜き出す際に、紙葉類束の一部がロボットハンドから脱落したりするおそれを低減させることができる。また、このシステムでは、例えば、ロボットハンドに対して紙葉類束の厚みよりも少し広めに指部を離間させてから指部を閉じさせてその紙葉類束を掴ませることができる。このようにすれば、ロボットハンドに対して紙葉類束を把持させるまでの時間を短縮させることができる。

本発明の第３局面に係るロボットハンド付きロボットアーム制御システムは、第１局面に係るロボットハンド付きロボットアーム制御システムであって、特性値情報は、紙葉類束の状態を示す状態指標値の情報である。

ところで、一般的に、紙葉類束の状態が良好である程、紙葉類間の滑りがよく、その結果、紙葉類束が崩れたり、紙葉類束の一部が脱落したりするおそれが高い。これに対して、このシステムでは、紙葉類束の状態に応じてロボットハンドおよびロボットアームの動作を制御することができる。そして、このシステムでは、例えば、紙葉類束の状態が良好である程ロボットハンドの把持圧や掴み代等を増すようにすれば、葉類束収容箱から紙葉類束を抜き出す際に、紙葉類束の一部がロボットハンドから脱落したりするおそれを低減させることができる。

本発明の第４局面に係るロボットハンド付きロボットアーム制御装置は、記憶部、取得部、導出部および制御部を備える。記憶部には、紙葉類束の画像情報が特性値情報に関連付けられて記憶される。取得部は、紙葉類束の画像情報を取得する。導出部は、取得部において取得された紙葉類束の画像情報を、記憶部に記憶される紙葉類束の画像情報と照合して紙葉類束の特性値情報を導出する。制御部は、導出部により導出された紙葉類束の特性値情報に基づいてロボットハンド付きロボットアームの動作を制御する。

このため、このロボットハンド付きロボットアーム制御装置は、ロボットハンドおよびロボットアームに対して、紙葉類束の特性値を加味した動作を行わせることができる。したがって、このロボットハンド付きロボットアーム制御装置は、ロボットハンド付きロボットアームに対して紙葉類束収容箱から紙葉類束を抜き出させる際に、紙葉類束の一部がロボットハンドから脱落したりするおそれを低減させることができる。

本発明の第５局面に係るロボットハンド付きロボットアーム制御方法では、紙葉類束の特性値情報に基づいてロボットハンド付きロボットアームの動作が制御される。

このため、このロボットハンド付きロボットアーム制御方法では、ロボットハンドおよびロボットアームに対して、紙葉類束の特性値を加味した動作を行わせることができる。したがって、このロボットハンド付きロボットアーム制御方法を実施することにより、ロボットハンド付きロボットアームにより紙葉類束収容箱から紙葉類束を抜き出す際に、紙葉類束の一部がロボットハンドから脱落したりするおそれを低減させることができる。

本発明の実施の形態に係るロボットハンド付きロボットアーム制御システムの概略構成図である。 本発明の実施の形態に係るロボットハンドの斜視図である。 本発明の実施の形態に係るロボットハンドの押当部待機状態の右側面図である。 本発明の実施の形態に係るロボットハンドの押当部突出状態の右側面図である。 本発明の実施の形態に係る制御装置の記憶部に格納される制御テーブルのイメージ図である。 本発明の実施の形態に係るロボットハンドが抜き出す紙幣束を収容する紙葉類束収容箱の斜視図である。 本発明の実施の形態に係るロボットハンドにより紙幣束を紙幣整理機の載置トレイに載置する際の状態を示す断面図である。 本発明の実施の形態にロボットハンドの指部を紙葉類束収容箱に差し込む際のスライド受け部の状態を示す斜視図である。 本発明の実施の形態にロボットハンドの指部を紙葉類束収容箱から抜き出す際のスライド受け部の状態を示す斜視図である。 本発明の実施の形態に係る紙葉類束の特性判定用画像データ形成装置の概略構成図である。 本発明の実施の形態に係る紙葉類束の特性判定用画像データ形成装置のストレージに格納されるプログラムやデータベースのイメージ図である。 本発明の実施の形態に係る紙葉類束の特性判定用画像データ形成装置の動作を説明する図である。 本発明の実施の形態に係る紙葉類束の特性判定用画像データ形成装置のストレージに格納されるメインテーブルのイメージ図である。 本発明の実施の形態に係る紙葉類束の特性判定用画像データ形成装置のストレージに格納される画像加工用データテーブルのイメージ図である。 本発明の実施の形態に係る紙葉類束の特性判定用画像データ形成装置の厚み導出モジュールの機能を説明するための概略図である。本図において（ａ）側の図が元の実画像データを示しており、（ｂ）側の図が加工画像データを示している。 本発明の実施の形態に係る紙葉類束の特性判定用画像データ形成装置の第１状態指標値導出モジュールの機能を説明するための概略図である。本図において（ｃ）側の図が実画像データを示しており、（ｄ）側の図が加工画像データを示している。

本発明の実施の形態に係るロボットハンド付きロボットアーム制御システム５００は、図１に示されるように、主に、ロボットハンド１００、ロボットアームＲＡ、撮像装置ＤＣおよび制御装置４００から構成されている。なお、本発明の実施の形態においてロボットアームＲＡの先端部にはロボットハンド１００が固着されており、以下、これを「ロボットハンド付きロボットアーム」と称することがある。また、本発明の実施の形態において撮像装置ＤＣはロボットハンド１００に配設されている。以下、ロボットハンド付きロボットアーム制御システム５００の構成要素について詳述する。

（１）ロボットハンド付きロボットアーム
本発明の実施の形態に係るロボットハンド付きロボットアームは、図２〜図４に示されるように、主に、ロボットハンド１００およびロボットアームＲＡから構成されている。以下、これらの構成要素について詳述する。

（１−１）ロボットハンド
本発明の実施の形態に係るロボットハンド１００は、図２に示されるように、二指型のロボットハンドであって、ロボットアームＲＡの先端に固着されている。そして、このロボットハンド１００は、図２に示されるように、主に、可動指１１０、固定指１２０、可動指往復動機構１３０、押当部１４０、押当部往復動機構１５０、スライド受け部１６０、スライド受け部付勢部材１７０および連結部１８０から構成されている。以下、これらの構成要素について詳述する。

（１−１−１）可動指
可動指１１０は、図２に示されているように、基部１１１および爪部１１２から形成される。基部１１１は、略台形状の厚板部位である。爪部１１２は、細長い矩形の厚板部位であって、基部１１１の短辺側の側面から前方に向かって延びている。そして、この可動指１１０は、可動指往復動機構１３０の基部１１１の長辺側で昇降板１３２（後述）に固定されている。

（１−１−２）固定指
固定指１２０は、図２に示されているように、基部１２１および爪部１２２から形成されている。基部１２１は、矩形の厚板部位である。爪部１２２は、細長い矩形の厚板部位であって、基部１２１の前方中央の側面から前方に向かって延びている。すなわち、この固定指１２０は、平面視において凸状を呈する厚板部材である。そして、この固定指１２０は、可動指往復動機構１３０の支持板１３１（後述）に固定されている。そして、この固定指１２０は、図２に示されるように、可動指１１０の往復動方向において可動指１１０と対向している。

（１−１−３）可動指往復動機構
可動指往復動機構１３０は、図２〜図４に示されるように、主に、支持板１３１、昇降板１３２、エアシリンダ機構１３３および昇降テーブル１３４から構成されている。支持板１３１は、エアシリンダ機構１３３を支持している。エアシリンダ機構１３３は、複動式のものであって、昇降テーブル１３４を昇降させる際の駆動源である。そして、このエアシリンダ機構１３３は、上述の通り支持板１３１に取り付けられている。そして、この昇降テーブル１３４には、昇降板１３２が取り付けられている。すなわち、エアシリンダ機構１３３は、昇降テーブル１３４を昇降させることによって昇降板１３２を昇降させている。また、このエアシリンダ機構１３３には、図３および図４に示されるようにエア給排気口１３５，１３６が設けられている。なお、このエア給排気口１３５，１３６には、エア給排気管（図示せず）が接続されている。

（１−１−４）押当部
押当部１４０は、図２〜図４に示されるように、略凹状の板状部材であって、両側の起立部ＲＵが可動指側に向かって延びるように、押当部往復動機構１５０のピストン１５２（後述）の連結片１５２ｂ（後述）に取り付けられている。そして、この押当部１４０は、押当部往復動機構１５０によって前後方向に沿って往復動することができる。

（１−１−５）押当部往復動機構
押当部往復動機構１５０は、押当部１４０を前後方向に沿って往復動させるための複動式のエアシリンダ機構であって、図２〜図４に示されるように、主に、シリンダブロック１５１、ピストン１５２、エア給排気口１５３およびつまみ１５４から構成されている。シリンダブロック１５１は略直方体状の部材であって、図２に示されるように固定指１２０の可動指対向側の反対側に接合されている。そして、シリンダブロック１５１の内部には、長手方向に沿って二列のシリンダ孔（図示せず）が形成されている。ピストン１５２は、一対のピストン１５２ａおよび連結片１５２ｂから形成されている。一対のピストン１５２ａは、連結片１５２ｂの一面から同方向に向かって平行に延びている。そして、この一対のピストン１５２ａは、それぞれ上記二列のシリンダ孔に挿入されている。連結片１５２ｂのピストン延在側と反対側には、上述の押当部１４０が接合されている。エア給排気口１５３は、左右に１つずつ設けられている。そして、これらのエア給排気口１５３にはそれぞれエア給排気管（図示せず）が接続される。つまみ１５４は、各エア給排気口１５３に取り付けられている。このつまみ１５４は、エアの給気量または排気量を調整するための部材であって、昇降テーブル１３４の昇降速度すなわち昇降板１３２の昇降速度を調整することができる。なお、このつまみ１５４は、速度調整のしやすさ（速度ムラの発生しにくさ）の観点から排気量を調整するものであることが好ましい。

押当部往復動機構１５０は、上述の通りに構成されることによって、エアの導入・排気によって、押当部１４０を前後方向に沿って往復動させることができる。その結果として、ロボットハンド１００を、図３に示される押当部待機状態と、図４に示される押当部突出状態とに切り換えることができる。

（１−１−６）スライド受け部
スライド受け部１６０は、図２に示されるように固定指１２０の爪部１２２の両脇に配設される一対の長細い矩形の厚板部材であって、後述するスライド受け部付勢部材１７０によって前方に向かって付勢されている。また、このスライド受け部１６０の先端部の上面は、固定指１２０の爪部１２２の先端部の上面（可動指１１０に対向する側の面）を含む面上に存在する。なお、ここで、スライド受け部１６０の先端部の上面は、固定指１２０の爪部１２２の先端部の上面よりも僅かに下側に位置していても差し支えない。

（１−１−７）スライド受け部付勢機構
スライド受け部付勢部材１７０は、引張りコイルばねであって、図２に示されるように固定指１２０の爪部１２２の両脇であって、スライド受け部１６０の後側に配設されており、スライド受け部１６０を前方に向かって付勢している。すなわち、スライド受け部１６０を後方に向かって押した後、スライド受け部１６０を解放すれば、スライド受け部付勢部材１７０によりスライド受け部１６０は初期位置まで押し戻されることになる。

（１−１−８）連結部
連結部１８０は、ロボットハンド１００をロボットアームＲＡに連結させる部位であって、例えば、フランジ等である。

（１−２）ロボットアーム
ロボットアームＲＡは、例えば、既存の多軸ロボットアームである。

（２）撮像装置
撮像装置ＤＣは、例えば、ＣＣＤカメラ等のデジタル式カメラであって、図２〜図４に示されるようにロボットハンド１００の可動指往復動機構１３０の支持板１３１から延びる支持アームＳＡにより可動指往復動機構１３０の右脇に固定されている。なお、この撮像装置ＤＣは、間欠的に撮像を行いながら撮影した画像の電子データを制御装置４００に送信する。

（３）制御装置
制御装置４００は、図１に示されるように、主に、制御部４１０、導出部４３０、記憶部４２０および取得部４４０から構成されている。以下、これらの構成要素について詳述する。

（３−１）制御部
制御部４１０は、例えば、コンピュータの中央処理演算装置の制御装置等であって、図１に示されるようにロボットアームＲＡ、ロボットハンド１００および撮像装置ＤＣに通信接続されており、種々の制御信号をロボットアームＲＡ、ロボットハンド１００および撮像装置ＤＣに送信することによってロボットアームＲＡおよびロボットハンド１００の動作や、撮像装置ＤＣの撮像処理を制御する。なお、図１に示されるように、制御部４１０は、記憶部４２０に格納される制御プログラムに記述される命令に従って、ロボットアームＲＡ、ロボットハンド１００および撮像装置ＤＣに制御信号を送信したり、記憶部４２０および導出部４３０の少なくとも一方から制御信号の生成に必要なデータを読み出し、そのデータから制御信号を生成してロボットアームＲＡ、ロボットハンド１００および撮像装置ＤＣに送信したりする。

（３−２）導出部
導出部４３０は、例えば、コンピュータの中央処理演算装置の演算装置等であって、図１に示されるように、記憶部４２０に格納されるデータ、および、取得部４４０から送信されてくるデータから、制御信号の生成に必要なデータを生成してそのデータを制御部４１０に供給する役目を担っている。例えば、この導出部４３０は、取得部４４０を介して撮像装置ＤＣから送られてくる画像データを受信し、その画像データを制御テーブル（後述）Ｔｏ０中の画像データＤｔ２と照合して、その画像データＤｔ２と最も一致する画像データＤｔ２に対応する厚みデータＤｔ４および状態指標値データＤｔ５を導出し、それらのデータＤｔ４，Ｄｔ５を制御部４１０に送信する。なお、状態指標値データＤｔ５を導出する際、深層学習に代表される機械学習等を利用して画像データＤｔ２から状態指標値を導出してもよい。

（３−３）記憶部
記憶部４２０には、制御プログラム、制御パラメータ、制御テーブル等が格納されている。制御テーブルには、図５に示される制御テーブルＴｏ０が含まれている。なお、この制御テーブルＴｏ０は、例えば、後述する紙葉類束の特性判定用画像データ形成装置１によって作成される。なお、ここで、紙葉類束とは、例えば、紙幣束（札束）等である。この制御テーブルＴｏ０には、図５に示されるように、主に、ＩＤフィールドＦｏ１、画像フィールドＦｏ２、厚みフィールドＦｏ３および状態指標値フィールドＦｏ４が設けられている。ＩＤフィールドＦｏ１には、１レコード毎に付される固有の数値データ（以下、ＩＤデータという。）Ｄｔ１が格納されている。画像フィールドＦｏ２には、種々の厚みや状態を有する紙葉類束を収容する紙葉類束収容箱（後述）２００の正面画像データ（以下、画像データという。）Ｄｔ２が複数格納されている。なお、この画像では、紙葉類束収容箱２００の前扉（後述）２２０が開けられた状態になっており、種々の厚みや状態を有する紙葉類束の一面が視認可能となっている。また、紙葉類束収容箱２００の正面画像には、紙葉類束の他、紙葉類束収容箱２００の筐体（後述）２１０の正面枠や、上側支持板（後述）２３０および下側支持板（後述）２４０等が含まれている。厚みフィールドＦｏ３には、画像データＤｔ２に対応する紙葉類束の厚みのデータ（以下、厚みデータという。）Ｄｔ４が格納されている。状態指標値フィールドＦｏ４には、画像データＤｔ２に対応する紙葉類束の状態指標値のデータ（以下、状態指標値データという。）Ｄｔ５が格納されている。なお、この状態指標値は、紙葉類束のシワや傷み等の損傷を表す０から１の指標値であって、損傷具合が少ないものほど、また、紙葉類間に隙間がないものほど１に近くなる。そして、上述の各フィールドＦｏ１〜Ｆｏ４に入力されているデータＤｔ１，Ｄｔ２，Ｄｔ４，Ｄｔ５は、１レコード毎（図５のメインテーブルＴｏ０の行毎）に関連付けられており、データセットを構成している。

（３−４）取得部
取得部４４０は、例えば、コンピュータの通信インターフェイス等であって、図１に示されるように、撮像装置ＤＣによって得られた画像データを導出部４３０に送る役目を担っている。

＜本発明の実施の形態に係るロボットハンド付きロボットアームの制御例＞
ここでは、一例として、本実施の形態に係るロボットハンド付きロボットアームが紙葉類束収容箱から紙幣束を抜き出して、その紙幣束を紙幣整理機の載置トレイに移動させる例を説明する。なお、ここで、紙葉類束収容箱の一例として、図６に示される紙葉類束収容箱２００を採用し、紙幣整理機の載置トレイの一例として、図７に示される紙幣整理機３００の載置トレイ３２０を採用する。なお、この例は、本発明を限定するものでないことに留意すべきである。

ロボットハンド付きロボットアームの制御例の説明に先立って、以下に紙葉類束収容箱２００および紙幣整理機３００について簡単に説明する。紙葉類束収容箱２００は、図６に示されるように、主に、筐体２１０、前扉２２０、上側支持板２３０および下側支持板２４０から構成されている。筐体２１０は、図６に示されるように、前側に開口する直方体状の箱体である。前扉２２０は、略長方形状の板部材であって、ヒンジ等の開閉機構を介して筐体２１０の開口縁の上側に開閉可能に軸支されている。上側支持板２３０は、下側支持板２４０と協働して紙幣束ＭＴを挟持する部材であって、図６に示されるように、筐体２１０の高さ方向中央よりやや上側に上下移動自在に配設されている。また、この上側支持板２３０の前側中央には半円状の切欠Ｒｓが形成されている。下側支持板２４０は、上側支持板２３０と協働して紙幣束ＭＴを挟持する部材であって、図６に示されるように、筐体２１０の下側に固定されている。また、この下側支持板２４０の幅方向中央にはスリットＲｔが形成されている。そして、この紙葉類束収容箱２００では、上側支持板２３０が、その上側に配設される付勢部材（コイルスプリング等）によって下方に向かって付勢されている。すなわち、この紙葉類束収容箱２００に収容される紙幣束ＭＴは、上側支持板２３０によって下側支持板２４０に押し付けられている。

紙幣整理機３００は、紙葉類束収容箱２００に収容される紙幣束ＭＴを金種別に仕分けながら各種金種を計数する装置であって、図７に示されるように本体３１０および載置トレイ３２０から構成される。本体３１０には、載置トレイ３２０から供給される紙幣束ＭＴを金種別に仕分けながら各種金種を計数する紙幣整理機構が配設されている。載置トレイ３２０は、紙幣束ＭＴを載置するためのトレイであって、紙幣整理機構の紙幣吸込機構の脇に配設されている。すなわち、載置トレイ３２０に載置された紙幣束ＭＴは、紙幣整理機構の紙幣吸込機構の紙幣検出センサによってその存在が認識されると紙幣吸込装置によって自動的に紙幣整理機構内に吸い込まれていく。

ロボットハンド付きロボットアームが紙葉類束収容箱２００中の紙幣束ＭＴを抜き出して紙幣整理機３００の載置トレイ３２０に移動させる際、ロボットハンド付きロボットアームの動作は以下の通りに制御される。

先ず、制御装置４００がロボットアームＲＡの動作を制御してロボットハンド１００を規定位置に移動させると共に規定方向に向ける。なお、ここで、規定位置は紙葉類束収容箱２００の正面側の位置であり、規定方向は撮像装置ＤＣが紙葉類束収容箱２００の正面を撮像することができる方向である。

次に、制御装置４００は、ロボットハンド１００を規定位置まで移動させると、撮像装置ＤＣに対して撮像命令信号を送信して撮像装置ＤＣに紙葉類束収容箱２００の正面画像を撮像させる。なお、この際、紙葉類束収容箱２００の前扉２２０が開状態とされている。ところで、このとき、紙葉類束収容箱２００も規定位置に規定方向を向くように載置される必要があるが、紙葉類束収容箱２００をその規定位置まで移動させると共に規定方向に向ける作業は、コンベアや他のロボットハンド付きロボットアーム等によって自動的に行われてもよいし、手作業で行われてもよい。また、紙葉類束収容箱２００の前扉２２０の開錠・開扉処理は、制御装置４００に通信接続される他のロボットハンド付きロボットアームによって実現されてもよく、手作業で行われてもよい。そして、撮像装置ＤＣは、その紙葉類束収容箱２００の正面画像データを、取得部４４０を介して導出部４３０に送信する。

導出部４３０が紙葉類束収容箱２００の正面画像データを受信すると、導出部４３０は、その正面画像データを制御テーブルＴｏ０中の画像データＤｔ２と照合して、その画像データと最も一致する画像データＤｔ２に対応する厚みデータＤｔ４および状態指標値データＤｔ５を導出し、それらのデータＤｔ４，Ｄｔ５を制御部４１０に送信する。そして、制御部４１０は、これらのデータＤｔ４，Ｄｔ５を利用してロボットハンド１００およびロボットアームＲＡに対して以下の各所に記載される制御を実行する。

次いで、制御部４１０は、ロボットアームＲＡおよびロボットハンド１００を制御して可動指１１０を（紙幣束ＭＴの厚み＋α）の位置まで引き上げさせてから、下側支持板２４０のスリットＲｔに固定指１２０の先端部を差し込ませる。なお、このとき、可動指１１０は、上側支持板２３０の切欠Ｒｓの上方に位置する。また、このとき、スライド受け部１６０は、図８に示されるように、下側支持板２４０のスリットＲｔの両側の壁部位に当接して後退する。

続いて、制御装置４００は、可動指１１０を下方に移動させて固定指１２０と共に紙幣束ＭＴを把持させる。かかる段階において、制御装置４００が厚みデータＤｔ４や状態指標値データＤｔ５を利用して可動指１１０の降下距離やロボットハンド１００の把持圧力を制御するようにしてもよい。具体的な制御内容としては、例えば、（ｉ）可動指１１０の降下距離を（紙幣束ＭＴの厚み＋α−β（ただし、β＞α））とし、紙幣束ＭＴの厚みが厚くなる程、紙幣束ＭＴの状態指標値が大きくなる程、または、紙幣束ＭＴの厚みが厚くなると共に紙幣束ＭＴの状態指標値が大きくなる程、βの値を大きくすることや、（ｉｉ）可動指１１０および固定指１２０の少なくとも一方に圧力センサを設け、紙幣束ＭＴの厚みが厚くなる程、紙幣束ＭＴの状態指標値が大きくなる程、または、紙幣束ＭＴの厚みが厚くなると共に紙幣束ＭＴの状態指標値が大きくなる程、把持完了時の圧力センサ値を高くすることが挙げられる。かかる場合、紙幣束ＭＴの厚み、状態指標値を段階的に分けて、各段階でβの値や、把持完了時の圧力センサ値を規定してもよい。

さらに続いて、制御装置４００は、ロボットアームＲＡの動作を制御してロボットハンド１００を後退させ、紙葉類束収容箱２００から紙幣束ＭＴを抜き取らせる。このとき、図９に示されるように、ロボットハンド１００の後退に伴ってスライド受け部１６０が前方に移動させられる。かかる段階において、制御装置４００が厚みデータＤｔ４や状態指標値データＤｔ５を利用してロボットハンド１００の後退速度および後退加速度の少なくとも一方を制御するようにしてもよい。具体的な制御内容としては、例えば、紙幣束ＭＴの厚みが厚くなる程、紙幣束ＭＴの状態指標値が小さくなる程、または、紙幣束ＭＴの厚みが厚くなると共に紙幣束ＭＴの状態指標値が小さくなる程、後退速度および後退加速度の少なくとも一方を低くすることが挙げられる。かかる場合、紙幣束ＭＴの厚み、状態指標値を段階的に分けて、各段階でロボットハンド１００の後退速度、後退加速度を規定してもよい。

さらに続いて、制御装置４００は、ロボットアームＲＡを制御して、図７に示されるようにロボットハンド１００を先端側から紙幣整理機３００の載置トレイ３２０の奥側にまで差し入れさせた後、押当部往復動機構１５０を動作させて押当部１４０を前方に移動させると共に、可動指往復動機構１３０を制御して可動指１１０を上方に引き上げて紙幣束ＭＴを手放させる。なお、紙幣束ＭＴの引抜処理完了から紙幣整理機３００への搬送処理完了までの搬送段階において、制御装置４００が厚みデータＤｔ４や状態指標値データＤｔ５を利用してロボットハンド１００の移動速度および移動加速度の少なくとも一方を制御するようにしてもよい。具体的な制御内容としては、例えば、紙幣束ＭＴの厚みが厚くなる程、紙幣束ＭＴの状態指標値が小さくなる程、または、紙幣束ＭＴの厚みが厚くなると共に紙幣束ＭＴの状態指標値が小さくなる程、移動速度および移動加速度の少なくとも一方を低くすることが挙げられる。かかる場合、紙幣束ＭＴの厚み、紙幣束ＭＴの状態指標値を段階的に分けて、各段階でロボットハンド１００の移動速度、移動加速度を規定してもよい。

そして、押当部１４０が前方に移動している最中に、制御装置４００が、ロボットアームＲＡを制御して、ロボットハンド１００の傾斜角度を維持したままロボットハンド１００を斜め後方に向かって引き上げさせる。この動作により、紙幣整理機３００の載置トレイ３２０への紙幣束ＭＴの搬送が完了する。紙幣束ＭＴの搬送完了後、制御装置４００が、押当部往復動機構１５０を動作させて押当部１４０を後方に引き戻させながら、ロボットアームＲＡの動作を制御してロボットハンド１００を規定位置に移動させると共に規定方向に向ける。この後、上述の通りにして、同位置まで搬送された次の紙葉類束収容箱２００から紙幣束ＭＴを抜き取ってその紙幣束ＭＴを紙幣整理機３００の載置トレイ３２０に搬送する。

＜制御テーブルの作成例＞
制御テーブルＴｏ０は、例えば、以下に説明する紙葉類束の特性判定用画像データ形成装置によって生成される。

＜紙葉類束の特性判定用画像データ形成装置の構成＞
紙葉類束の特性判定用画像データ形成装置１は、いわゆる電子計算機（コンピュータ）であって、図１０に示されるように、主に、本体１０、入力装置３１、及びディスプレイ３２を備える。以下、これらの構成要素について詳述した後に紙葉類束の特性判定用画像データ形成装置１の動作についても説明する。

＜紙葉類束の特性判定用画像データ形成装置の構成要素＞
（１）本体
本体１０は、図１０に示されるように、主に、中央処理部１１、メインメモリ１３、ストレージ１４、接続部１２、ＳＴＲインターフェイス１５、入力インターフェイス１６およびＤＳＰインターフェイス１７から構成されている。そして、図１０に示されるように、この本体１０では、中央処理部１１が第１バス線２１を介して、メインメモリ１３が第２バス線２２を介して、各種インターフェイス１５〜１７が第３バス線２３を介して接続部１２に接続されている。以下、これらの構成要素について説明する。

（１−１）中央処理部
中央処理部１１は、例えば、マイクロプロセッサと呼ばれる半導体チップ等であって、主に、制御部１１Ａおよび演算部１１Ｂから構成される（なお、この中央処理部１１には、他に１次キャッシュメモリや２次キャッシュメモリ等が含まれてもよい）。

（１−２）メインメモリ
メインメモリ１３は、例えば、ＲＡＭ（ランダムアクセスメモリ）等の揮発性高速メモリである。

（１−３）接続部
接続部１２は、チップセット等の半導体チップである。

（１−４）ストレージ
ストレージ１４は、ハードディスクドライブやソリッドステートドライブ等の補助記憶装置である。そして、このストレージ１４には、図１１に示されるように、オペレーティングシステム１４ａ、デバイスドライバ１４ｂおよび紙葉類束の特性判定用画像データ形成アプリケーション１４ｃ等のプログラム等が格納されている。なお、このストレージ１４は、内蔵タイプに限られず、外付けタイプであってもかまわない。

オペレーティングシステム１４ａは、例えば、ＷＩＮＤＯＷＳ（登録商標）、ＭＡＣ ＯＳ（登録商標）、ＯＳ／２、ＵＮＩＸ（登録商標）（例えば、Ｌｉｎｕｘ（登録商標）等）、あるいはＢｅＯＳ（登録商標）等であって、各部１２〜１４、各種インターフェイス１５〜１７、各装置３１，３２等のハードウェア管理や、ユーザインターフェイスの提供、各種データの管理、各種アプリケーションの共通部分の処理等を行う。

デバイスドライバ１４ｂは、ストレージ１４、接続部１２、および各装置３１，３２それぞれに対して用意されている専用プログラムであって、オペレーティングシステム１４ａがストレージ１４、接続部１２および各装置３１，３２を制御するための橋渡しをする役目を担っている。

紙葉類束の特性判定用画像データ形成アプリケーション１４ｃは、深層学習用のビッグデータを生み出すプログラムであって、主に、基本モジュール１４ｆ、画像加工モジュール１４ｇ、厚み導出モジュール１４ｈ、第１状態指標値導出モジュール１４ｉおよびデータベース１４ｊから構成されている。

上述の各モジュール１４ｆ〜１４ｉには、中央処理部１１に様々な処理を行わせるための種々の命令が記述されている。例えば、基本モジュール１４ｆには、ａ）基本データセットを作成するために必要なデータを入力するための入力ページをディスプレイ３２に表示する入力ページ表示命令、ｂ）データベース１４ｊからデータセット（後述）を呼び出すデータ呼出命令、ｃ）画像加工モジュール１４ｇ、厚み導出モジュール１４ｈおよび第１状態指標値導出モジュール１４ｉからの出力をデータセット化してデータベース１４ｊに登録するデータセット登録命令等が記述されている。また、画像加工モジュール１４ｇには、後述する画像伸縮命令や画像置換命令等が記述されている。厚み導出モジュール１４ｈには、後述する変換厚みを計算する変換厚み計算命令等が記述されている。第１状態指標値導出モジュール１４ｉには、後述する第１状態指標値Ｄｔ５’を計算する加工状態指標値計算命令等が記述されている。

データベース１４ｊには、図１３に示されるメインテーブルＴｏ１、および、図１４に示される画像加工用データテーブルＴｏ２が格納されている。メインテーブルＴｏ１には、図１３に示されるように、主に、第１ＩＤフィールドＦｏ１１、画像フィールドＦｏ１２、領域フィールドＦｏ１３、厚みフィールドＦｏ１４および第１状態指標値フィールドＦｏ１５が設けられている。第１ＩＤフィールドＦｏ１１には、１レコード毎に付される固有の数値データ（以下、第１ＩＤデータという。）Ｄｔ１１が格納されている。画像フィールドＦｏ１２には、後に図１５において説明する、前扉２２０を開けた状態における紙葉類束収容箱２００の正面の実画像データ（以下、基本実画像データという。）Ｄｔ１２が格納されている。なお、紙葉類束収容箱の正面の実画像には、紙葉類束ならびに紙葉類束収容箱２００の筐体２１０の正面枠や、上側支持板２３０および下側支持板２４０等が含まれている。領域フィールドＦｏ１３には、基本実画像データＤｔ１２中の紙葉類束の領域データ（以下、紙葉類束領域データという。）Ｄｔ１３が格納されている。なお、この領域データＤｔ１３は、対応する基本画像データのトリミング画像データであって、紙葉類束の画像のみから構成されている。厚みフィールドＦｏ１４には、紙葉類束領域データＤｔ１３に対応する紙葉類束の厚みのデータ（以下、厚みデータという。）Ｄｔ１４が格納されている。第１状態指標値フィールドＦｏ１５には、紙葉類束の状態指標値のデータ（以下、第１状態指標値データという。）Ｄｔ１５が格納されている。なお、この状態指標値は、紙葉類束のシワや傷み等の損傷を表す０から１の指標値であって、損傷具合が少ないものほど、また、紙葉類間に隙間がないものほど１に近くなる（なお、紙葉類間の隙間は実画像の色彩等から判断される。）。そして、上述の各フィールドＦｏ１１〜Ｆｏ１５に入力されているデータＤｔ１１〜Ｄｔ１５は、１レコード毎（図１３のメインテーブルＴｏ１の行毎）に関連付けられており、データセットを構成している。

画像加工用データテーブルＴｏ２には、図１４に示されるように、主に、第２ＩＤフィールドＦｏ２１、置換画像フィールドＦｏ２２および第２状態指標値フィールドＦｏ２３が設けられている。第２ＩＤフィールドＦｏ２１には、１レコード毎に付される固有の数値データ（以下、第２ＩＤデータという。）Ｄｔ２１が格納されている。置換画像フィールドＦｏ２２には、画像加工モジュール１４ｇで用いられる置換画像データＤｔ２２が格納されている。置換画像データＤｔ２２としては、種々の状態指標値に対する置換画像データＤｔ２２ａ〜Ｄｔ２２ｅが登録されている（図１６参照）。なお、この置換画像データＤｔ２２は、画像合成で作成されてもよいし、基本実画像データＤｔ１２の一部を切り出して作成されてもよい。第２状態指標値フィールドＦｏ２３には、上述の置換画像に対応する状態指標値データ（以下、第２状態指標値データという。）Ｄｔ２３が格納されている。なお、この第２状態指標値は、第１状態指標値と同様に紙葉類束のシワや傷み等の損傷を表す０から１の指標値であって、損傷具合が少ないものほど、また、紙葉類間に隙間がないものほど１に近くなる。そして、上述の各フィールドＦｏ２１〜Ｆｏ２３に入力されているデータＤｔ２１〜Ｄｔ２３は、１レコード毎（図１４の画像加工用データテーブルＴｏ２の行毎）に関連付けられており、データセットを構成している。

（１−５）インターフェイス
ＳＴＲインターフェイス１５は、ＩＤＥ（Integrated Drive Electronics）やＳｅｒｉａｌ ＡＴＡ等の補助記憶装置用インターフェイスであって、ストレージ１４を接続部１２に接続する。入力インターフェイス１６は、例えば、ＰＳ／２、ＵＳＢ、ＩＥＥＥ１２８４、ＲＳ２３２あるいはＩｒＤＡ（Infrared Data Association）等のインターフェイスであって、メインメモリ１３にデータを入力するためのキーボード、マウス、スキャナ、あるいはＯＣＲ（Optical Character Reader）等といった入力装置３１を接続する。ＤＳＰインターフェイス１７は、例えば、ＡＧＰ（Accelerated Graphics Port）、ＰＣＩ（Peripheral Component Interconnect）あるいはＲＳ２３２等のインターフェイス等であって、メインメモリ１３から送信されてきたデータを文字や画像として表示するためのＣＲＴディスプレイ、液晶ディスプレイ、あるいはプラズマディスプレイ等といったディスプレイ３２を接続する。

（１−６）紙葉類束の特性判定用画像データ形成装置の動作
次に、図１２を用いて紙葉類束の特性判定用画像データ形成装置１の動作について説明する。

制御部１１Ａは、図１２に示されるように、メインメモリ１３に一時記憶されるプログラムを読み込み（Ｆｄ６参照）、読み込んだプログラムに従って各部１３，１４および各装置３１，３２に動作を指示する（Ｆｃ１〜Ｆｃ５参照）。演算部１１Ｂは、制御部１１Ａの命令に従ってメインメモリ１３から必要なデータを取得して（Ｆｄ２参照）演算処理（例えば、算術演算処理や論理演算処理等）を行う。メインメモリ１３は、プログラムやデータ等をストレージ１４から取得して（Ｆｄ４参照）一時記憶したり、入力装置３１において入力されたデータを一時記憶したり（Ｆｄ１参照）、演算部１１Ｂから送信されるデータ等（Ｆｄ３参照）を一時記憶したりする。また、このメインメモリ１３は、制御部１１Ａの命令に応じて一時記憶しているデータ等を各部１１，１４およびディスプレイ３２に送信する（Ｆｄ２、Ｆｄ５、Ｆｄ６およびＦｄ７参照）。ストレージ１４は、制御部１１Ａの命令に応じてメインメモリ１３にプログラムやデータ等を供給したり（Ｆｄ４参照）メインメモリ１３から送信されるデータ等を格納したりする（Ｆｄ５参照）。

（２）入力装置
入力装置３０は、例えば、キーボード、マウス、スキャナ、あるいはＯＣＲ（Optical Character Reader）等の入力装置である。

（３）ディスプレイ
ディスプレイ３２は、例えば、ＣＲＴディスプレイ、液晶ディスプレイ、あるいはプラズマディスプレイ等の情報表示装置である。

＜紙葉類束の特性判定用画像データ形成アプリケーションによるデータセット増殖方法＞
上述の通り、本発明の実施の形態に係る紙葉類束の特性判定用画像データ形成アプリケーション１４ｃは、深層学習に代表される機械学習用のビッグデータを人工的に生み出すプログラムである。この紙葉類束の特性判定用画像データ形成アプリケーション１４ｃは、データベース１４ｊに保存されるメインテーブルＴｏ１のデータセットに対してデータ加工を施した後に、加工済みのデータセットを新規のデータセットとしてメインテーブルＴｏ１に保存することによってデータセットを増殖させるものである。以下、このデータセット増殖処理について詳述する。

（１）データセットを構成する各種データの準備
先ず、この紙葉類束の特性判定用画像データ形成アプリケーション１４ｃを用いてメインテーブルＴｏ１のデータセットを増殖させようとする者（以下「利用者」という。）は、厚みを測定すると共に第１状態指標値を付与した紙葉類束を、前扉を開けた状態の紙葉類束収容箱２００の規定位置に収納した後、その状態でその紙葉類束収容箱２００を正面側から定点デジタルカメラ（図示せず）で撮像し、紙葉類束を含む紙葉類束収容箱２００の正面の実画像データ（以下「実画像データ」と略する。）を入手する。なお、ここで、第１状態指標値を付与する際、例えば、多人数による主観評価の平均値などが用いられることが好ましい。次に、利用者は、画像編集アプリケーション等を用いてその実画像中の紙葉類束以外の箇所をトリミングして紙葉類束の領域画像データ（以下、これを「領域データ」という。）を作成する。そして、その利用者は、紙葉類束の厚みや状態を変える度に、その紙葉類束の厚みを測定すると共にその紙葉類束に対して第１状態指標値を付与し、さらにその基本実画像データＤｔ１２を入手した後に領域データＤｔ１３を作成する。すなわち、基本実画像データＤｔ１２、領域データＤｔ１３、厚みデータＤｔ１４、第１状態指標値データＤｔ１５から成る複数種類のデータセットを用意する。なお、ここで、上述の紙葉類束の厚み測定、紙葉類束への第１状態指標値付与、紙葉類束を含む紙葉類束収容箱２００の正面画像データ入手は、順不同で行われてもかまわない。

そして、利用者は、入力装置３１およびディスプレイ３２を利用して上述の４種のデータをデータセット単位でできるだけ多くメインテーブルＴｏ１に入力する。これで、準備は完了する。なお、上述の各種データは、入手毎に利用者によってメインテーブルＴｏ１に入力されてもかまわない。

（２）自動データセット増殖処理
上述の準備が完了し、紙葉類束の特性判定用画像データ形成アプリケーション１４ｃにおいて自動データセット増殖処理が開始されると、以下の通りにして自動的に新たなデータセットが増殖される。なお、ここでは、基本モジュール１４ｆ、画像加工モジュール１４ｇ、厚み導出モジュール１４ｈおよび第１状態指標値導出モジュール１４ｉがその主な役割を担う。基本モジュール１４ｆは、データベース１４ｊのメインテーブルＴｏ１からデータセットを読み出したり、画像加工用データテーブルＴｏ２からデータセットを読み出したりした後、さらにメインテーブルＴｏ１のデータセット中の基本実画像データＤｔ１２を読み出して、画像加工モジュール１４ｇにその基本実画像データＤｔ１２を加工させる。画像加工モジュール１４ｇは、その基本実画像データＤｔ１２を加工して厚みデータＤｔ１４’の導出用の加工画像データＤｔ１２’を作成するか、第１状態指標値データＤｔ１５’の導出用の加工画像データＤｔ１２’を作成する。なお、データセットを読み出す順序やデータ導出用の画像データの作成順序は、規則的であってもよいし、不規則的であってもよい。なお、この画像加工モジュール１４ｇは、画像加工モジュール１４ｇによって加工された加工画像データＤｔ１２’をさらに加工して厚みデータＤｔ１４’の導出用の加工画像データＤｔ１２’を作成するか、第１状態指標値データＤｔ１５’の導出用の加工画像データＤｔ１２’を作成してもよい。そして、厚み導出モジュール１４ｈは厚みデータＤｔ１４’の導出用の画像作成時にその厚みデータＤｔ１４’を導出し、第１状態指標値導出モジュール１４ｉは第１状態指標値データＤｔ１５’の導出用の画像作成時にその第１状態指標値データＤｔ１５’を導出する。このため、以下では、厚みデータＤｔ１４’の導出と第１状態指標値データＤｔ１５’の導出とを分けて自動データセット増殖処理の詳細について説明する。

（２−１）厚みデータ導出用画像データ作成および厚みデータ導出
以下、図１５を用いて厚みデータ導出用画像データ作成および厚みデータ導出について説明する。なお、図１５において（ａ）および（ｂ）は共に紙葉類束収容箱ＣＢを前から見た図であるが、（ａ）には元の実画像データＤｔ１２が示されており、（ｂ）には加工画像データＤｔ１２’が示されている。すなわち、図１５では、データセット中の領域データＤｔ１３を上下方向に沿って規定の倍率で引き伸ばす加工が行われている。図中の符号「ＯＬ」は元の実画像データにおける領域データＤｔ１３に対応する紙葉類束の厚みを示し、符号「ＭＬ」は加工画像データにおける領域データＤｔ１３’に対応する紙葉類束の厚みを示し、符号「ＭＤ」は加工前後における押え具部分ＰＤの移動距離を示している。なお、押え具部分ＰＤは、例えば、図６における実施の紙葉類束収容箱２１０では、上側支持板２３０とその上側に配設される付勢部材（コイルスプリング等）によって構成される。

先ず、画像加工モジュール１４ｇが、データセット中の領域データＤｔ１３を上下方向に沿って規定の倍率（＝ＭＬ／ＯＬ）で引き伸ばす加工を行う（図１５参照）。なお、ここで、画像加工モジュール１４ｇが、データセット中の領域データＤｔ１３を上下方向に沿って規定の倍率（＝ＭＬ／ＯＬ）で押し縮める加工を行って紙葉類束の加工領域データＤｔ１３’を作成してもかまわない。次に、画像加工モジュール１４ｇが、図１５に示されるように基本実画像データＤｔ１２中の領域データＤｔ１３を加工領域データＤｔ１３’で置き換えると共に、押え具部分ＰＤの下面が加工領域データＤｔ１３’の直上に位置するように押え具部分ＰＤを上下方向に沿ってＭＤ分だけ移動させて加工画像データＤｔ１２’を作成する。なお、図１５中、符号ＣＢで示される角枠体は紙葉類束収容箱２００の正面枠を指している。そして、データセット中の厚みデータＤｔ１４に、加工領域データＤｔ１３’作成時の倍率（伸縮率）（＝ＭＬ／ＯＬ）を乗じて新たな厚みデータＤｔ１４’を導出する。このようにして、元データセット（基本実画像データＤｔ１２，領域データＤｔ１３，厚みデータＤｔ１４，第１状態指標値データＤｔ１５）中３つのデータが新たにされた新データセット（加工画像データＤｔ１２’，加工領域データＤｔ１３’，厚みデータＤｔ１４’，第１状態指標値データＤｔ１５）が作成され、この新データセットが、固有の数値データＤｔ１１と共にデータベース１４ｊのメインテーブルＴｏ１に新たに登録される。

（２−２）第１状態指標値データ導出用画像データ作成および第１状態指標値データ導出
先ず、画像加工モジュール１４ｇが、図１６に示されるように、データセット中の領域データＤｔ１３の一部または全部を、データベース１４ｊの画像加工用データテーブルＴｏ２から読み出した１または複数の置換画像データＤｔ２２で置換し、加工領域データＤｔ１３’を作成する。なお、この際、領域データＤｔ１３の置換位置、および、用いられる置換画像データＤｔ２２の種類は、規則的に決められてもよいし、不規則的に決められてもよい。次に、画像加工モジュール１４ｇが、基本実画像データＤｔ１２中の領域データＤｔ１３を加工領域データＤｔ１３’で置き換えて加工画像データＤｔ１２’を作成する。そして、その領域データＤｔ１３に関連付けられている第１状態指標値データＤｔ１５、および、置換画像データＤｔ２２に関連付けられている第２状態指標値データＤｔ２３の少なくとも第２状態指標値データＤｔ２３の線形和を面積比率で算出して新たな第１状態指標値データＤｔ１５’を導出する。すなわち、図１６における加工領域データＤｔ１３’において、置換画像データＤｔ２２ｂに関連付けられる第２状態指標値データＤｔ２３が「０．９０」であり、置換画像データＤｔ２２ｃに関連付けられる第２状態指標値データＤｔ２３が「０．８０」であり、置換画像データＤｔ２２ｅに関連付けられる第２状態指標値データＤｔ２３が「０．６０」であり、置換画像データＤｔ２２ｆに関連付けられる第２状態指標値データＤｔ２３が「０．５０」であり、置換画像データＤｔ２２ｈに関連付けられる第２状態指標値データＤｔ２３が「０．３０」である場合、新たな第１状態指標値データＤｔ１５’は０．６１（＝０．９×（２／８）＋０．８×（１／８）＋０．６×（２／８）＋０．５０×（１／８）＋０．３０×（２／８））となる。このようにして、元データセット（基本実画像データＤｔ１２，領域データＤｔ１３，厚みデータＤｔ１４，第１状態指標値データＤｔ１５）中３つのデータが新たにされた新データセット（加工画像データＤｔ１２’，加工領域データＤｔ１３’，厚みデータＤｔ１４，第１状態指標値データＤｔ１５’）が作成され、この新データセットが、固有の数値データＤｔ１１と共にデータベース１４ｊのメインテーブルＴｏ１に新たに登録される。

＜制御テーブル中のデータとメインテーブル中のデータの対応関係＞
メインテーブルＴｏ１の基本実画像データＤｔ１２および加工画像データＤｔ１２’が制御テーブルＴｏ０の画像データＤｔ２に対応し、メインテーブルＴｏ１の厚みデータＤｔ１４，Ｄｔ１４’が制御テーブルＴｏ０の厚みデータＤｔ４に対応し、メインテーブルＴｏ１の第１状態指標値データＤｔ１５，Ｄｔ１５’が制御テーブルＴｏ０の状態指標値データＤｔ５に対応する。

＜本発明の実施の形態に係るロボットハンド付きロボットアーム制御システムの特徴＞
本発明の実施の形態に係るロボットハンド付きロボットアーム制御システム５００では、制御装置４００が、ロボットハンド１００およびロボットアームＲＡに対して、紙幣束ＭＴの厚みや状態を加味した動作を行わせることができる。したがって、このロボットハンド付きロボットアーム制御システム５００では、制御装置４００がロボットハンド付きロボットアームに対して紙葉類束収容箱２００から紙幣束ＭＴを抜き出させる際に、紙幣束ＭＴの一部がロボットハンド１００から脱落したりするおそれを低減させることができる。

＜変形例＞
（Ａ）
先の実施の形態に係るロボットハンド付きロボットアーム制御システム５００では、ロボットハンド１００に撮像装置ＤＣが取り付けられていたが、撮像装置ＤＣは、定点配置されてもかまわない。かかる場合、撮像装置ＤＣは複数個配置されてもよい。

（Ｂ）
先の実施の形態では特に言及しなかったが、ロボットハンド付きロボットアーム制御システム５００の制御装置４００に、紙葉類束の特性判定用画像データ形成装置１の機能を全て持たせるようにしてもよい。
（Ｃ）
先の実施の形態に係るロボットハンド付きロボットアーム制御システム５００では、制御装置４００により、可動指１１０を下方に移動して固定指１２０と共に紙幣束ＭＴを把持した後に、ロボットハンド１００を後退させて紙葉類束収容箱２００から紙幣束ＭＴを抜き取るように制御されたが、ロボットハンド１００が可動指１１０と固定指１２０により紙幣束ＭＴを把持した後に、ロボットハンド１００が一定距離だけ後退して紙幣束ＭＴを一定長さだけ手前に引き出してから紙幣束ＭＴを手放し、その引き出した紙幣束ＭＴの部分をロボットハンド１００が再び把持するように制御されてもよい。このようにすれば、ロボットハンド１００の紙幣束ＭＴの把持長さを長くとることができ、その把持状態をさらに安定化させることができる。なお、かかる段階において、制御装置４００が厚みデータＤｔ４や状態指標値データＤｔ５を利用して紙幣束ＭＴに対するロボットハンド１００の引き出し代および再把持時の把持代（掴み代）の少なくとも一方を制御するようにしてもよい。具体的な制御内容としては、例えば、紙幣束ＭＴの厚みが厚くなる程、紙幣束ＭＴの状態指標値が小さくなる程、または、紙幣束ＭＴの厚みが厚くなると共に紙幣束ＭＴの状態指標値が小さくなる程、引き出し代および再把持時の把持代（掴み代）の少なくとも一方を長くすることが挙げられる。かかる場合、紙幣束ＭＴの厚み、状態指標値を段階的に分けて、各段階でロボットハンド１００による引き出し代、再把持時の把持代（掴み代）を規定してもよい。

（Ｄ）
先の実施の形態では紙葉類束の特性判定用画像データ形成装置として図１０に示されるようなスタンドアローン型の電子計算機が利用されたが、通信ネットワークで相互接続されたグリッドコンピュータ等が利用されてもよい。

（Ｅ）
先の実施の形態に係る紙葉類束の特性判定用画像データ形成装置１では、データベース１４ｊのメインテーブルＴｏ１に領域フィールドＦｏ１３が設けられ、その領域フィールドＦｏ１３に予め領域データＤｔ１３が格納されていたが、（ｉ）エッジ抽出プログラム等により基本実画像データＤｔ１２から領域データＤｔ１３が自動的に抽出され、その領域データＤｔ１３が領域フィールドＦｏ１３に自動的に格納されるようにしてもよいし、（ｉｉ）領域フィールドＦｏ１３を設けず、エッジ抽出プログラム等により基本実画像データＤｔ１２から領域データＤｔ１３が自動的に抽出された後に、それを用いて加工画像データＤｔ１２’を作成するようにしてもよい。

（Ｆ）
先の実施の形態に係る紙葉類束の特性判定用画像データ形成装置１では特に言及しなかったが、紙葉類束が複数国の紙幣等である場合、メインテーブルＴｏ１に国識別フィールドが追加されてもよい。

（Ｇ）
先の実施の形態に係る紙葉類束の特性判定用画像データ形成装置１では、メインテーブルＴｏ１に厚みデータとして厚みの実寸データが登録されたが、この実寸データに代えて相対データを登録してもよい。この相対データとしては、例えば、紙葉類束収容箱２００の最大収容時厚みに対する紙葉類束の厚みの比率データ等が挙げられる。

（Ｈ）
先の実施の形態に係るロボットハンド１００では固定指１２０が固定され、可動指１１０のみが可動したが、固定指１２０も可動指１１０と同様に可動化されてもよい。

（Ｉ）
先の実施の形態に係るロボットハンド１００では可動指往復動機構１３０としてエアシリンダ機構が採用されたが、可動指往復動機構１３０として公知の往復動機構、例えば、ラック・アンド・ピニオン機構、ボールネジ機構、エアシリンダ機構、モータシリンダ機構、電動スライダ機構、ベルトスライダ機構およびリニアスライダ機構などの機構が採用されてもかまわない。また、かかる場合、駆動源として電動機を採用してもかまわない。

（Ｊ）
先の実施の形態に係るロボットハンド付きロボットアーム制御システム５００では、ロボットハンド１００に撮像装置ＤＣが１つ取り付けられていたが、ロボットハンド１００に複数の撮像装置ＤＣが取り付けられてもよい。かかる場合、各撮像装置ＤＣで取得された各画像データの照合結果から得られる値の平均値を採用してもよいし、各撮像装置ＤＣで取得された画像データの平均画像を用いて照合処理を行ってもよい。

１００ ロボットハンド
４００ 制御装置
４１０ 制御部
４２０ 記憶部
４３０ 導出部
４４０ 取得部
５００ ロボットハンド付きロボットアーム制御システム
Ｄｔ４ 厚みデータ（特性値情報，厚みに関する情報）
Ｄｔ５ 状態指標値データ（特性値情報，状態指標値の情報）
ＲＡ ロボットアーム
ＤＣ 撮像装置

本発明は、紙葉類束の特性値（例えば、厚さや、傷み等の状態など）の情報に基づいてロボットハンド付きロボットアームを制御する方法、装置およびシステムに関する。

過去に「ロボットハンド付きロボットアームを利用した紙幣処理装置」が提案されている（例えば、特開昭６２−９２０９５号公報等）。このような紙幣処理装置では、ロボットハンド付きロボットアームによって紙幣収容箱から紙幣束が取り出された後に紙幣カウント紙幣確認ユニットまで搬送され、紙幣カウント紙幣確認ユニットにて紙幣束が金種別に仕分けされながら金種毎の枚数がカウントされる。そして、金種毎に仕分けされた紙幣束は金種別に別のロボットハンド付きロボットアームによって規定の位置まで搬送される。

特開昭６２−９２０９５号公報

ところで、従前、紙幣束等の紙葉類束を収容する箱（以下「紙葉類束収容箱」という。）に収容される紙葉類束をロボットハンドに掴ませ、そのロボットハンドをロボットアームにより後退させて紙葉類束収容箱からその紙葉類束を抜き出す際、紙葉類束が崩れたり、紙葉類束の一部がロボットハンドから脱落したりすることがあった。

本発明の課題は、ロボットハンド付きロボットアームにより紙葉類束収容箱から紙葉類束を抜き出す際に、紙葉類束が崩れたり、紙葉類束の一部がロボットハンドから脱落したりするおそれを低減させることにある。

本発明の第１局面に係るロボットハンド付きロボットアーム制御システムは、ロボットハンド付きロボットアーム、撮像装置および制御装置を備える。制御装置は、記憶部、取得部、導出部および制御部を有する。記憶部には、紙葉類束の画像情報が、紙葉類束の損傷状態を示す損傷状態指標値の情報に関連付けられて記憶される。取得部は、撮像装置から紙葉類束の画像情報を取得する。導出部は、取得部において取得された紙葉類束の画像情報を、記憶部に記憶される紙葉類束の画像情報と照合して損傷状態指標値の情報を導出する。制御部は、導出部により導出された損傷状態指標値の情報に基づいてロボットハンド付きロボットアームの動作を制御する。

ところで、一般的に、紙葉類束の損傷状態が小さい程、紙葉類間の滑りがよく、その結果、紙葉類束が崩れたり、紙葉類束の一部が脱落したりするおそれが高い。これに対して、このシステムでは、紙葉類束の損傷状態に応じてロボットハンドおよびロボットアームの動作を制御することができる。そして、このシステムでは、例えば、紙葉類束の損傷状態が小さい程ロボットハンドの把持圧や掴み代等を増すようにすれば、紙葉類束収容箱から紙葉類束を抜き出す際に、紙葉類束の一部がロボットハンドから脱落したりするおそれを低減させることができる。

本発明の第２局面に係るロボットハンド付きロボットアーム制御システムは、第１局面に係るロボットハンド付きロボットアーム制御システムであって、ロボットハンドは、互いに対向する一対のフィンガを有する。そして、制御部は、損傷状態指標値が、損傷状態が小さいことを示す値に近づく程、ロボットハンドによる紙葉類束の把持時のフィンガ間の距離を短くする。

本発明の第３局面に係るロボットハンド付きロボットアーム制御システムは、第１局面に係るロボットハンド付きロボットアーム制御システムであって、ロボットハンドは、互いに対向する一対のフィンガを有する。また、このロボットアーム制御システムでは、一対のフィンガの少なくとも一方のフィンガに圧力センサが設けられる。そして、制御部は、損傷状態指標値が、損傷状態が小さいことを示す値に近づく程、圧力センサが示す値が大きくなるようにフィンガを制御する。

本発明の第４局面に係るロボットハンド付きロボットアーム制御システムは、第１局面から第３局面のいずれか１つの局面に係るロボットハンド付きロボットアーム制御システムであって、制御部は、損傷状態指標値が、損傷状態が大きいことを示す値に近づく程、紙葉類束の把持時のロボットハンドの移動速度および移動加速度の少なくとも一方を低くする。

本発明の第５局面に係るロボットハンド付きロボットアーム制御システムは、第４局面に係るロボットハンド付きロボットアーム制御システムであって、移動速度は後退速度であり、移動加速度は後退加速度である。

本発明の第６局面に係るロボットハンド付きロボットアーム制御システムは、第１局面から第５局面のいずれか１つの局面に係るロボットハンド付きロボットアーム制御システムであって、制御部は、紙葉類束収容箱に収容されている紙葉類束をロボットハンドに把持させた後に、ロボットハンドを一定距離だけ後退させて紙葉類束を一定長さだけ手前に引き出してから紙葉類束を手放し、その引き出した紙葉類束の部分をロボットハンドに再び把持させるように制御する際において、損傷状態指標値が、前記損傷状態が大きいことを示す値に近づく程、前記紙葉類束の引き出し代および再把持時の把持代の少なくとも一方を長くする。

本発明の第７局面に係るロボットハンド付きロボットアーム制御装置は、記憶部、取得部、導出部および制御部を備える。記憶部には、紙葉類束の画像情報が、紙葉類束の損傷状態を示す損傷状態指標値の情報に関連付けられて記憶される。取得部は、紙葉類束の画像情報を取得する。導出部は、取得部において取得された紙葉類束の画像情報を、記憶部に記憶される紙葉類束の画像情報と照合して損傷状態指標値の情報を導出する。制御部は、導出部により導出された損傷状態指標値の情報に基づいてロボットハンド付きロボットアームの動作を制御する。

このため、このロボットハンド付きロボットアーム制御装置は、ロボットハンドおよびロボットアームに対して、紙葉類束の損傷状態を加味した動作を行わせることができる。したがって、このロボットハンド付きロボットアーム制御装置は、ロボットハンド付きロボットアームに対して紙葉類束収容箱から紙葉類束を抜き出させる際に、紙葉類束の一部がロボットハンドから脱落したりするおそれを低減させることができる。

本発明の第８局面に係るロボットハンド付きロボットアーム制御方法では、紙葉類束の損傷状態を示す損傷状態指標値の情報に基づいてロボットハンド付きロボットアームの動作が制御される。

このため、このロボットハンド付きロボットアーム制御方法では、ロボットハンドおよびロボットアームに対して、紙葉類束の損傷状態を加味した動作を行わせることができる。したがって、このロボットハンド付きロボットアーム制御方法を実施することにより、ロボットハンド付きロボットアームにより紙葉類束収容箱から紙葉類束を抜き出す際に、紙葉類束の一部がロボットハンドから脱落したりするおそれを低減させることができる。

本発明の実施の形態に係るロボットハンド付きロボットアーム制御システムの概略構成図である。 本発明の実施の形態に係るロボットハンドの斜視図である。 本発明の実施の形態に係るロボットハンドの押当部待機状態の右側面図である。 本発明の実施の形態に係るロボットハンドの押当部突出状態の右側面図である。 本発明の実施の形態に係る制御装置の記憶部に格納される制御テーブルのイメージ図である。 本発明の実施の形態に係るロボットハンドが抜き出す紙幣束を収容する紙葉類束収容箱の斜視図である。 本発明の実施の形態に係るロボットハンドにより紙幣束を紙幣整理機の載置トレイに載置する際の状態を示す断面図である。 本発明の実施の形態にロボットハンドの指部を紙葉類束収容箱に差し込む際のスライド受け部の状態を示す斜視図である。 本発明の実施の形態にロボットハンドの指部を紙葉類束収容箱から抜き出す際のスライド受け部の状態を示す斜視図である。 本発明の実施の形態に係る紙葉類束の特性判定用画像データ形成装置の概略構成図である。 本発明の実施の形態に係る紙葉類束の特性判定用画像データ形成装置のストレージに格納されるプログラムやデータベースのイメージ図である。 本発明の実施の形態に係る紙葉類束の特性判定用画像データ形成装置の動作を説明する図である。 本発明の実施の形態に係る紙葉類束の特性判定用画像データ形成装置のストレージに格納されるメインテーブルのイメージ図である。 本発明の実施の形態に係る紙葉類束の特性判定用画像データ形成装置のストレージに格納される画像加工用データテーブルのイメージ図である。 本発明の実施の形態に係る紙葉類束の特性判定用画像データ形成装置の厚み導出モジュールの機能を説明するための概略図である。本図において（ａ）側の図が元の実画像データを示しており、（ｂ）側の図が加工画像データを示している。 本発明の実施の形態に係る紙葉類束の特性判定用画像データ形成装置の第１状態指標値導出モジュールの機能を説明するための概略図である。本図において（ｃ）側の図が実画像データを示しており、（ｄ）側の図が加工画像データを示している。

本発明の実施の形態に係るロボットハンド付きロボットアーム制御システム５００は、図１に示されるように、主に、ロボットハンド１００、ロボットアームＲＡ、撮像装置ＤＣおよび制御装置４００から構成されている。なお、本発明の実施の形態においてロボットアームＲＡの先端部にはロボットハンド１００が固着されており、以下、これを「ロボットハンド付きロボットアーム」と称することがある。また、本発明の実施の形態において撮像装置ＤＣはロボットハンド１００に配設されている。以下、ロボットハンド付きロボットアーム制御システム５００の構成要素について詳述する。

（１）ロボットハンド付きロボットアーム
本発明の実施の形態に係るロボットハンド付きロボットアームは、図２〜図４に示されるように、主に、ロボットハンド１００およびロボットアームＲＡから構成されている。
以下、これらの構成要素について詳述する。

（１−１）ロボットハンド
本発明の実施の形態に係るロボットハンド１００は、図２に示されるように、二指型のロボットハンドであって、ロボットアームＲＡの先端に固着されている。そして、このロボットハンド１００は、図２に示されるように、主に、可動指１１０、固定指１２０、可動指往復動機構１３０、押当部１４０、押当部往復動機構１５０、スライド受け部１６０、スライド受け部付勢部材１７０および連結部１８０から構成されている。以下、これらの構成要素について詳述する。

（１−１−１）可動指
可動指１１０は、図２に示されているように、基部１１１および爪部１１２から形成される。基部１１１は、略台形状の厚板部位である。爪部１１２は、細長い矩形の厚板部位であって、基部１１１の短辺側の側面から前方に向かって延びている。そして、この可動指１１０は、可動指往復動機構１３０の基部１１１の長辺側で昇降板１３２（後述）に固定されている。

（１−１−２）固定指
固定指１２０は、図２に示されているように、基部１２１および爪部１２２から形成されている。基部１２１は、矩形の厚板部位である。爪部１２２は、細長い矩形の厚板部位であって、基部１２１の前方中央の側面から前方に向かって延びている。すなわち、この固定指１２０は、平面視において凸状を呈する厚板部材である。そして、この固定指１２０は、可動指往復動機構１３０の支持板１３１（後述）に固定されている。そして、この固定指１２０は、図２に示されるように、可動指１１０の往復動方向において可動指１１０と対向している。

（１−１−３）可動指往復動機構
可動指往復動機構１３０は、図２〜図４に示されるように、主に、支持板１３１、昇降板１３２、エアシリンダ機構１３３および昇降テーブル１３４から構成されている。支持板１３１は、エアシリンダ機構１３３を支持している。エアシリンダ機構１３３は、複動式のものであって、昇降テーブル１３４を昇降させる際の駆動源である。そして、このエアシリンダ機構１３３は、上述の通り支持板１３１に取り付けられている。そして、この昇降テーブル１３４には、昇降板１３２が取り付けられている。すなわち、エアシリンダ機構１３３は、昇降テーブル１３４を昇降させることによって昇降板１３２を昇降させている。また、このエアシリンダ機構１３３には、図３および図４に示されるようにエア給排気口１３５，１３６が設けられている。なお、このエア給排気口１３５，１３６には、エア給排気管（図示せず）が接続されている。

（１−１−４）押当部
押当部１４０は、図２〜図４に示されるように、略凹状の板状部材であって、両側の起立部ＲＵが可動指側に向かって延びるように、押当部往復動機構１５０のピストン１５２（後述）の連結片１５２ｂ（後述）に取り付けられている。そして、この押当部１４０は、押当部往復動機構１５０によって前後方向に沿って往復動することができる。

（１−１−５）押当部往復動機構
押当部往復動機構１５０は、押当部１４０を前後方向に沿って往復動させるための複動式のエアシリンダ機構であって、図２〜図４に示されるように、主に、シリンダブロック１５１、ピストン１５２、エア給排気口１５３およびつまみ１５４から構成されている。シリンダブロック１５１は略直方体状の部材であって、図２に示されるように固定指１２０の可動指対向側の反対側に接合されている。そして、シリンダブロック１５１の内部には、長手方向に沿って二列のシリンダ孔（図示せず）が形成されている。ピストン１５２は、一対のピストン１５２ａおよび連結片１５２ｂから形成されている。一対のピストン１５２ａは、連結片１５２ｂの一面から同方向に向かって平行に延びている。そして、この一対のピストン１５２ａは、それぞれ上記二列のシリンダ孔に挿入されている。連結片１５２ｂのピストン延在側と反対側には、上述の押当部１４０が接合されている。エア給排気口１５３は、左右に１つずつ設けられている。そして、これらのエア給排気口１５３にはそれぞれエア給排気管（図示せず）が接続される。つまみ１５４は、各エア給排気口１５３に取り付けられている。このつまみ１５４は、エアの給気量または排気量を調整するための部材であって、昇降テーブル１３４の昇降速度すなわち昇降板１３２の昇降速度を調整することができる。なお、このつまみ１５４は、速度調整のしやすさ（速度ムラの発生しにくさ）の観点から排気量を調整するものであることが好ましい。

押当部往復動機構１５０は、上述の通りに構成されることによって、エアの導入・排気によって、押当部１４０を前後方向に沿って往復動させることができる。その結果として、ロボットハンド１００を、図３に示される押当部待機状態と、図４に示される押当部突出状態とに切り換えることができる。

（１−１−６）スライド受け部
スライド受け部１６０は、図２に示されるように固定指１２０の爪部１２２の両脇に配設される一対の長細い矩形の厚板部材であって、後述するスライド受け部付勢部材１７０によって前方に向かって付勢されている。また、このスライド受け部１６０の先端部の上面は、固定指１２０の爪部１２２の先端部の上面（可動指１１０に対向する側の面）を含む面上に存在する。なお、ここで、スライド受け部１６０の先端部の上面は、固定指１２０の爪部１２２の先端部の上面よりも僅かに下側に位置していても差し支えない。

（１−１−７）スライド受け部付勢機構
スライド受け部付勢部材１７０は、引張りコイルばねであって、図２に示されるように固定指１２０の爪部１２２の両脇であって、スライド受け部１６０の後側に配設されており、スライド受け部１６０を前方に向かって付勢している。すなわち、スライド受け部１６０を後方に向かって押した後、スライド受け部１６０を解放すれば、スライド受け部付勢部材１７０によりスライド受け部１６０は初期位置まで押し戻されることになる。

（１−１−８）連結部
連結部１８０は、ロボットハンド１００をロボットアームＲＡに連結させる部位であって、例えば、フランジ等である。

（１−２）ロボットアーム
ロボットアームＲＡは、例えば、既存の多軸ロボットアームである。

（２）撮像装置
撮像装置ＤＣは、例えば、ＣＣＤカメラ等のデジタル式カメラであって、図２〜図４に示されるようにロボットハンド１００の可動指往復動機構１３０の支持板１３１から延びる支持アームＳＡにより可動指往復動機構１３０の右脇に固定されている。なお、この撮像装置ＤＣは、間欠的に撮像を行いながら撮影した画像の電子データを制御装置４００に送信する。

（３）制御装置
制御装置４００は、図１に示されるように、主に、制御部４１０、導出部４３０、記憶部４２０および取得部４４０から構成されている。以下、これらの構成要素について詳述する。

（３−１）制御部
制御部４１０は、例えば、コンピュータの中央処理演算装置の制御装置等であって、図１に示されるようにロボットアームＲＡ、ロボットハンド１００および撮像装置ＤＣに通信接続されており、種々の制御信号をロボットアームＲＡ、ロボットハンド１００および撮像装置ＤＣに送信することによってロボットアームＲＡおよびロボットハンド１００の動作や、撮像装置ＤＣの撮像処理を制御する。なお、図１に示されるように、制御部４１０は、記憶部４２０に格納される制御プログラムに記述される命令に従って、ロボットアームＲＡ、ロボットハンド１００および撮像装置ＤＣに制御信号を送信したり、記憶部４２０および導出部４３０の少なくとも一方から制御信号の生成に必要なデータを読み出し、そのデータから制御信号を生成してロボットアームＲＡ、ロボットハンド１００および撮像装置ＤＣに送信したりする。

（３−２）導出部
導出部４３０は、例えば、コンピュータの中央処理演算装置の演算装置等であって、図１に示されるように、記憶部４２０に格納されるデータ、および、取得部４４０から送信されてくるデータから、制御信号の生成に必要なデータを生成してそのデータを制御部４１０に供給する役目を担っている。例えば、この導出部４３０は、取得部４４０を介して撮像装置ＤＣから送られてくる画像データを受信し、その画像データを制御テーブル（後述）Ｔｏ０中の画像データＤｔ２と照合して、その画像データＤｔ２と最も一致する画像データＤｔ２に対応する厚みデータＤｔ４および状態指標値データＤｔ５を導出し、それらのデータＤｔ４，Ｄｔ５を制御部４１０に送信する。なお、状態指標値データＤｔ５を導出する際、深層学習に代表される機械学習等を利用して画像データＤｔ２から状態指標値を導出してもよい。

（３−３）記憶部
記憶部４２０には、制御プログラム、制御パラメータ、制御テーブル等が格納されている。制御テーブルには、図５に示される制御テーブルＴｏ０が含まれている。なお、この制御テーブルＴｏ０は、例えば、後述する紙葉類束の特性判定用画像データ形成装置１によって作成される。なお、ここで、紙葉類束とは、例えば、紙幣束（札束）等である。この制御テーブルＴｏ０には、図５に示されるように、主に、ＩＤフィールドＦｏ１、画像フィールドＦｏ２、厚みフィールドＦｏ３および状態指標値フィールドＦｏ４が設けられている。ＩＤフィールドＦｏ１には、１レコード毎に付される固有の数値データ（以下、ＩＤデータという。）Ｄｔ１が格納されている。画像フィールドＦｏ２には、種々の厚みや状態を有する紙葉類束を収容する紙葉類束収容箱（後述）２００の正面画像データ（以下、画像データという。）Ｄｔ２が複数格納されている。なお、この画像では、紙葉類束収容箱２００の前扉（後述）２２０が開けられた状態になっており、種々の厚みや状態を有する紙葉類束の一面が視認可能となっている。また、紙葉類束収容箱２００の正面画像には、紙葉類束の他、紙葉類束収容箱２００の筐体（後述）２１０の正面枠や、上側支持板（後述）２３０および下側支持板（後述）２４０等が含まれている。厚みフィールドＦｏ３には、画像データＤｔ２に対応する紙葉類束の厚みのデータ（以下、厚みデータという。）Ｄｔ４が格納されている。状態指標値フィールドＦｏ４には、画像データＤｔ２に対応する紙葉類束の状態指標値のデータ（以下、状態指標値データという。）Ｄｔ５が格納されている。なお、この状態指標値は、紙葉類束のシワや傷み等の損傷を表す０から１の指標値であって、損傷具合が少ないものほど、また、紙葉類間に隙間がないものほど１に近くなる。そして、上述の各フィールドＦｏ１〜Ｆｏ４に入力されているデータＤｔ１，Ｄｔ２，Ｄｔ４，Ｄｔ５は、１レコード毎（図５のメインテーブルＴｏ０の行毎）に関連付けられており、データセットを構成している。

（３−４）取得部
取得部４４０は、例えば、コンピュータの通信インターフェイス等であって、図１に示されるように、撮像装置ＤＣによって得られた画像データを導出部４３０に送る役目を担っている。

＜本発明の実施の形態に係るロボットハンド付きロボットアームの制御例＞
ここでは、一例として、本実施の形態に係るロボットハンド付きロボットアームが紙葉類束収容箱から紙幣束を抜き出して、その紙幣束を紙幣整理機の載置トレイに移動させる例を説明する。なお、ここで、紙葉類束収容箱の一例として、図６に示される紙葉類束収容箱２００を採用し、紙幣整理機の載置トレイの一例として、図７に示される紙幣整理機３００の載置トレイ３２０を採用する。なお、この例は、本発明を限定するものでないことに留意すべきである。

ロボットハンド付きロボットアームの制御例の説明に先立って、以下に紙葉類束収容箱２００および紙幣整理機３００について簡単に説明する。紙葉類束収容箱２００は、図６に示されるように、主に、筐体２１０、前扉２２０、上側支持板２３０および下側支持板２４０から構成されている。筐体２１０は、図６に示されるように、前側に開口する直方体状の箱体である。前扉２２０は、略長方形状の板部材であって、ヒンジ等の開閉機構を介して筐体２１０の開口縁の上側に開閉可能に軸支されている。上側支持板２３０は、下側支持板２４０と協働して紙幣束ＭＴを挟持する部材であって、図６に示されるように、筐体２１０の高さ方向中央よりやや上側に上下移動自在に配設されている。また、この上側支持板２３０の前側中央には半円状の切欠Ｒｓが形成されている。下側支持板２４０は、上側支持板２３０と協働して紙幣束ＭＴを挟持する部材であって、図６に示されるように、筐体２１０の下側に固定されている。また、この下側支持板２４０の幅方向中央にはスリットＲｔが形成されている。そして、この紙葉類束収容箱２００では、上側支持板２３０が、その上側に配設される付勢部材（コイルスプリング等）によって下方に向かって付勢されている。すなわち、この紙葉類束収容箱２００に収容される紙幣束ＭＴは、上側支持板２３０によって下側支持板２４０に押し付けられている。

紙幣整理機３００は、紙葉類束収容箱２００に収容される紙幣束ＭＴを金種別に仕分けながら各種金種を計数する装置であって、図７に示されるように本体３１０および載置トレイ３２０から構成される。本体３１０には、載置トレイ３２０から供給される紙幣束ＭＴを金種別に仕分けながら各種金種を計数する紙幣整理機構が配設されている。載置トレイ３２０は、紙幣束ＭＴを載置するためのトレイであって、紙幣整理機構の紙幣吸込機構の脇に配設されている。すなわち、載置トレイ３２０に載置された紙幣束ＭＴは、紙幣整理機構の紙幣吸込機構の紙幣検出センサによってその存在が認識されると紙幣吸込装置によって自動的に紙幣整理機構内に吸い込まれていく。

ロボットハンド付きロボットアームが紙葉類束収容箱２００中の紙幣束ＭＴを抜き出して紙幣整理機３００の載置トレイ３２０に移動させる際、ロボットハンド付きロボットアームの動作は以下の通りに制御される。

先ず、制御装置４００がロボットアームＲＡの動作を制御してロボットハンド１００を規定位置に移動させると共に規定方向に向ける。なお、ここで、規定位置は紙葉類束収容箱２００の正面側の位置であり、規定方向は撮像装置ＤＣが紙葉類束収容箱２００の正面を撮像することができる方向である。

次に、制御装置４００は、ロボットハンド１００を規定位置まで移動させると、撮像装置ＤＣに対して撮像命令信号を送信して撮像装置ＤＣに紙葉類束収容箱２００の正面画像を撮像させる。なお、この際、紙葉類束収容箱２００の前扉２２０が開状態とされている。ところで、このとき、紙葉類束収容箱２００も規定位置に規定方向を向くように載置される必要があるが、紙葉類束収容箱２００をその規定位置まで移動させると共に規定方向に向ける作業は、コンベアや他のロボットハンド付きロボットアーム等によって自動的に行われてもよいし、手作業で行われてもよい。また、紙葉類束収容箱２００の前扉２２０の開錠・開扉処理は、制御装置４００に通信接続される他のロボットハンド付きロボットアームによって実現されてもよく、手作業で行われてもよい。そして、撮像装置ＤＣは、その紙葉類束収容箱２００の正面画像データを、取得部４４０を介して導出部４３０に送信する。

導出部４３０が紙葉類束収容箱２００の正面画像データを受信すると、導出部４３０は、その正面画像データを制御テーブルＴｏ０中の画像データＤｔ２と照合して、その画像データと最も一致する画像データＤｔ２に対応する厚みデータＤｔ４および状態指標値データＤｔ５を導出し、それらのデータＤｔ４，Ｄｔ５を制御部４１０に送信する。そして、制御部４１０は、これらのデータＤｔ４，Ｄｔ５を利用してロボットハンド１００およびロボットアームＲＡに対して以下の各所に記載される制御を実行する。

次いで、制御部４１０は、ロボットアームＲＡおよびロボットハンド１００を制御して可動指１１０を（紙幣束ＭＴの厚み＋α）の位置まで引き上げさせてから、下側支持板２４０のスリットＲｔに固定指１２０の先端部を差し込ませる。なお、このとき、可動指１１０は、上側支持板２３０の切欠Ｒｓの上方に位置する。また、このとき、スライド受け部１６０は、図８に示されるように、下側支持板２４０のスリットＲｔの両側の壁部位に当接して後退する。

続いて、制御装置４００は、可動指１１０を下方に移動させて固定指１２０と共に紙幣束ＭＴを把持させる。かかる段階において、制御装置４００が厚みデータＤｔ４や状態指標値データＤｔ５を利用して可動指１１０の降下距離やロボットハンド１００の把持圧力を制御するようにしてもよい。具体的な制御内容としては、例えば、（ｉ）可動指１１０の降下距離を（紙幣束ＭＴの厚み＋α−β（ただし、β＞α））とし、紙幣束ＭＴの厚みが厚くなる程、紙幣束ＭＴの状態指標値が大きくなる程、または、紙幣束ＭＴの厚みが厚くなると共に紙幣束ＭＴの状態指標値が大きくなる程、βの値を大きくすることや、（ｉｉ）可動指１１０および固定指１２０の少なくとも一方に圧力センサを設け、紙幣束ＭＴの厚みが厚くなる程、紙幣束ＭＴの状態指標値が大きくなる程、または、紙幣束ＭＴの厚みが厚くなると共に紙幣束ＭＴの状態指標値が大きくなる程、把持完了時の圧力センサ値を高くすることが挙げられる。かかる場合、紙幣束ＭＴの厚み、状態指標値を段階的に分けて、各段階でβの値や、把持完了時の圧力センサ値を規定してもよい。

さらに続いて、制御装置４００は、ロボットアームＲＡの動作を制御してロボットハンド１００を後退させ、紙葉類束収容箱２００から紙幣束ＭＴを抜き取らせる。このとき、図９に示されるように、ロボットハンド１００の後退に伴ってスライド受け部１６０が前方に移動させられる。かかる段階において、制御装置４００が厚みデータＤｔ４や状態指標値データＤｔ５を利用してロボットハンド１００の後退速度および後退加速度の少なくとも一方を制御するようにしてもよい。具体的な制御内容としては、例えば、紙幣束ＭＴの厚みが厚くなる程、紙幣束ＭＴの状態指標値が小さくなる程、または、紙幣束ＭＴの厚みが厚くなると共に紙幣束ＭＴの状態指標値が小さくなる程、後退速度および後退加速度の少なくとも一方を低くすることが挙げられる。かかる場合、紙幣束ＭＴの厚み、状態指標値を段階的に分けて、各段階でロボットハンド１００の後退速度、後退加速度を規定してもよい。

さらに続いて、制御装置４００は、ロボットアームＲＡを制御して、図７に示されるようにロボットハンド１００を先端側から紙幣整理機３００の載置トレイ３２０の奥側にまで差し入れさせた後、押当部往復動機構１５０を動作させて押当部１４０を前方に移動させると共に、可動指往復動機構１３０を制御して可動指１１０を上方に引き上げて紙幣束ＭＴを手放させる。なお、紙幣束ＭＴの引抜処理完了から紙幣整理機３００への搬送処理完了までの搬送段階において、制御装置４００が厚みデータＤｔ４や状態指標値データＤｔ５を利用してロボットハンド１００の移動速度および移動加速度の少なくとも一方を制御するようにしてもよい。具体的な制御内容としては、例えば、紙幣束ＭＴの厚みが厚くなる程、紙幣束ＭＴの状態指標値が小さくなる程、または、紙幣束ＭＴの厚みが厚くなると共に紙幣束ＭＴの状態指標値が小さくなる程、移動速度および移動加速度の少なくとも一方を低くすることが挙げられる。かかる場合、紙幣束ＭＴの厚み、紙幣束ＭＴの状態指標値を段階的に分けて、各段階でロボットハンド１００の移動速度、移動加速度を規定してもよい。

そして、押当部１４０が前方に移動している最中に、制御装置４００が、ロボットアームＲＡを制御して、ロボットハンド１００の傾斜角度を維持したままロボットハンド１００を斜め後方に向かって引き上げさせる。この動作により、紙幣整理機３００の載置トレイ３２０への紙幣束ＭＴの搬送が完了する。紙幣束ＭＴの搬送完了後、制御装置４００が、押当部往復動機構１５０を動作させて押当部１４０を後方に引き戻させながら、ロボットアームＲＡの動作を制御してロボットハンド１００を規定位置に移動させると共に規定方向に向ける。この後、上述の通りにして、同位置まで搬送された次の紙葉類束収容箱２００から紙幣束ＭＴを抜き取ってその紙幣束ＭＴを紙幣整理機３００の載置トレイ３２０に搬送する。

＜制御テーブルの作成例＞
制御テーブルＴｏ０は、例えば、以下に説明する紙葉類束の特性判定用画像データ形成装置によって生成される。

＜紙葉類束の特性判定用画像データ形成装置の構成＞
紙葉類束の特性判定用画像データ形成装置１は、いわゆる電子計算機（コンピュータ）であって、図１０に示されるように、主に、本体１０、入力装置３１、及びディスプレイ３２を備える。以下、これらの構成要素について詳述した後に紙葉類束の特性判定用画像データ形成装置１の動作についても説明する。

＜紙葉類束の特性判定用画像データ形成装置の構成要素＞
（１）本体
本体１０は、図１０に示されるように、主に、中央処理部１１、メインメモリ１３、ストレージ１４、接続部１２、ＳＴＲインターフェイス１５、入力インターフェイス１６およびＤＳＰインターフェイス１７から構成されている。そして、図１０に示されるように、この本体１０では、中央処理部１１が第１バス線２１を介して、メインメモリ１３が第２バス線２２を介して、各種インターフェイス１５〜１７が第３バス線２３を介して接続部１２に接続されている。以下、これらの構成要素について説明する。

（１−１）中央処理部
中央処理部１１は、例えば、マイクロプロセッサと呼ばれる半導体チップ等であって、主に、制御部１１Ａおよび演算部１１Ｂから構成される（なお、この中央処理部１１には、他に１次キャッシュメモリや２次キャッシュメモリ等が含まれてもよい）。

（１−２）メインメモリ
メインメモリ１３は、例えば、ＲＡＭ（ランダムアクセスメモリ）等の揮発性高速メモリである。

（１−３）接続部
接続部１２は、チップセット等の半導体チップである。

（１−４）ストレージ
ストレージ１４は、ハードディスクドライブやソリッドステートドライブ等の補助記憶装置である。そして、このストレージ１４には、図１１に示されるように、オペレーティングシステム１４ａ、デバイスドライバ１４ｂおよび紙葉類束の特性判定用画像データ形成アプリケーション１４ｃ等のプログラム等が格納されている。なお、このストレージ１４は、内蔵タイプに限られず、外付けタイプであってもかまわない。

オペレーティングシステム１４ａは、例えば、ＷＩＮＤＯＷＳ（登録商標）、ＭＡＣ ＯＳ（登録商標）、ＯＳ／２、ＵＮＩＸ（登録商標）（例えば、Ｌｉｎｕｘ（登録商標）等）、あるいはＢｅＯＳ（登録商標）等であって、各部１２〜１４、各種インターフェイス１５〜１７、各装置３１，３２等のハードウェア管理や、ユーザインターフェイスの提供、各種データの管理、各種アプリケーションの共通部分の処理等を行う。

デバイスドライバ１４ｂは、ストレージ１４、接続部１２、および各装置３１，３２それぞれに対して用意されている専用プログラムであって、オペレーティングシステム１４ａがストレージ１４、接続部１２および各装置３１，３２を制御するための橋渡しをする役目を担っている。

紙葉類束の特性判定用画像データ形成アプリケーション１４ｃは、深層学習用のビッグデータを生み出すプログラムであって、主に、基本モジュール１４ｆ、画像加工モジュール１４ｇ、厚み導出モジュール１４ｈ、第１状態指標値導出モジュール１４ｉおよびデータベース１４ｊから構成されている。

上述の各モジュール１４ｆ〜１４ｉには、中央処理部１１に様々な処理を行わせるための種々の命令が記述されている。例えば、基本モジュール１４ｆには、ａ）基本データセットを作成するために必要なデータを入力するための入力ページをディスプレイ３２に表示する入力ページ表示命令、ｂ）データベース１４ｊからデータセット（後述）を呼び出すデータ呼出命令、ｃ）画像加工モジュール１４ｇ、厚み導出モジュール１４ｈおよび第１状態指標値導出モジュール１４ｉからの出力をデータセット化してデータベース１４ｊに登録するデータセット登録命令等が記述されている。また、画像加工モジュール１４ｇには、後述する画像伸縮命令や画像置換命令等が記述されている。厚み導出モジュール１４ｈには、後述する変換厚みを計算する変換厚み計算命令等が記述されている。第１状態指標値導出モジュール１４ｉには、後述する第１状態指標値Ｄｔ５’を計算する加工状態指標値計算命令等が記述されている。

データベース１４ｊには、図１３に示されるメインテーブルＴｏ１、および、図１４に示される画像加工用データテーブルＴｏ２が格納されている。メインテーブルＴｏ１には、図１３に示されるように、主に、第１ＩＤフィールドＦｏ１１、画像フィールドＦｏ１２、領域フィールドＦｏ１３、厚みフィールドＦｏ１４および第１状態指標値フィールドＦｏ１５が設けられている。第１ＩＤフィールドＦｏ１１には、１レコード毎に付される固有の数値データ（以下、第１ＩＤデータという。）Ｄｔ１１が格納されている。画像フィールドＦｏ１２には、後に図１５において説明する、前扉２２０を開けた状態における紙葉類束収容箱２００の正面の実画像データ（以下、基本実画像データという。）Ｄｔ１２が格納されている。なお、紙葉類束収容箱の正面の実画像には、紙葉類束ならびに紙葉類束収容箱２００の筐体２１０の正面枠や、上側支持板２３０および下側支持板２４０等が含まれている。領域フィールドＦｏ１３には、基本実画像データＤｔ１２中の紙葉類束の領域データ（以下、紙葉類束領域データという。）Ｄｔ１３が格納されている。なお、この領域データＤｔ１３は、対応する基本画像データのトリミング画像データであって、紙葉類束の画像のみから構成されている。厚みフィールドＦｏ１４には、紙葉類束領域データＤｔ１３に対応する紙葉類束の厚みのデータ（以下、厚みデータという。）Ｄｔ１４が格納されている。第１状態指標値フィールドＦｏ１５には、紙葉類束の状態指標値のデータ（以下、第１状態指標値データという。）Ｄｔ１５が格納されている。なお、この状態指標値は、紙葉類束のシワや傷み等の損傷を表す０から１の指標値であって、損傷具合が少ないものほど、また、紙葉類間に隙間がないものほど１に近くなる（なお、紙葉類間の隙間は実画像の色彩等から判断される。）。そして、上述の各フィールドＦｏ１１〜Ｆｏ１５に入力されているデータＤｔ１１〜Ｄｔ１５は、１レコード毎（図１３のメインテーブルＴｏ１の行毎）に関連付けられており、データセットを構成している。

画像加工用データテーブルＴｏ２には、図１４に示されるように、主に、第２ＩＤフィールドＦｏ２１、置換画像フィールドＦｏ２２および第２状態指標値フィールドＦｏ２３が設けられている。第２ＩＤフィールドＦｏ２１には、１レコード毎に付される固有の数値データ（以下、第２ＩＤデータという。）Ｄｔ２１が格納されている。置換画像フィールドＦｏ２２には、画像加工モジュール１４ｇで用いられる置換画像データＤｔ２２が格納されている。置換画像データＤｔ２２としては、種々の状態指標値に対する置換画像データＤｔ２２ａ〜Ｄｔ２２ｅが登録されている（図１６参照）。なお、この置換画像データＤｔ２２は、画像合成で作成されてもよいし、基本実画像データＤｔ１２の一部を切り出して作成されてもよい。第２状態指標値フィールドＦｏ２３には、上述の置換画像に対応する状態指標値データ（以下、第２状態指標値データという。）Ｄｔ２３が格納されている。なお、この第２状態指標値は、第１状態指標値と同様に紙葉類束のシワや傷み等の損傷を表す０から１の指標値であって、損傷具合が少ないものほど、また、紙葉類間に隙間がないものほど１に近くなる。そして、上述の各フィールドＦｏ２１〜Ｆｏ２３に入力されているデータＤｔ２１〜Ｄｔ２３は、１レコード毎（図１４の画像加工用データテーブルＴｏ２の行毎）に関連付けられており、データセットを構成している。

（１−５）インターフェイス
ＳＴＲインターフェイス１５は、ＩＤＥ（Integrated Drive Electronics）やＳｅｒｉａｌ ＡＴＡ等の補助記憶装置用インターフェイスであって、ストレージ１４を接続部１２に接続する。入力インターフェイス１６は、例えば、ＰＳ／２、ＵＳＢ、ＩＥＥＥ１２８４、ＲＳ２３２あるいはＩｒＤＡ（Infrared Data Association）等のインターフェイスであって、メインメモリ１３にデータを入力するためのキーボード、マウス、スキャナ、あるいはＯＣＲ（Optical Character Reader）等といった入力装置３１を接続する。ＤＳＰインターフェイス１７は、例えば、ＡＧＰ（Accelerated Graphics Port）、ＰＣＩ（Peripheral Component Interconnect）あるいはＲＳ２３２等のインターフェイス等であって、メインメモリ１３から送信されてきたデータを文字や画像として表示するためのＣＲＴディスプレイ、液晶ディスプレイ、あるいはプラズマディスプレイ等といったディスプレイ３２を接続する。

（１−６）紙葉類束の特性判定用画像データ形成装置の動作
次に、図１２を用いて紙葉類束の特性判定用画像データ形成装置１の動作について説明する。

制御部１１Ａは、図１２に示されるように、メインメモリ１３に一時記憶されるプログラムを読み込み（Ｆｄ６参照）、読み込んだプログラムに従って各部１３，１４および各装置３１，３２に動作を指示する（Ｆｃ１〜Ｆｃ５参照）。演算部１１Ｂは、制御部１１Ａの命令に従ってメインメモリ１３から必要なデータを取得して（Ｆｄ２参照）演算処理（例えば、算術演算処理や論理演算処理等）を行う。メインメモリ１３は、プログラムやデータ等をストレージ１４から取得して（Ｆｄ４参照）一時記憶したり、入力装置３１において入力されたデータを一時記憶したり（Ｆｄ１参照）、演算部１１Ｂから送信されるデータ等（Ｆｄ３参照）を一時記憶したりする。また、このメインメモリ１３は、制御部１１Ａの命令に応じて一時記憶しているデータ等を各部１１，１４およびディスプレイ３２に送信する（Ｆｄ２、Ｆｄ５、Ｆｄ６およびＦｄ７参照）。ストレージ１４は、制御部１１Ａの命令に応じてメインメモリ１３にプログラムやデータ等を供給したり（Ｆｄ４参照）メインメモリ１３から送信されるデータ等を格納したりする（Ｆｄ５参照）。

（２）入力装置
入力装置３０は、例えば、キーボード、マウス、スキャナ、あるいはＯＣＲ（Optical Character Reader）等の入力装置である。

（３）ディスプレイ
ディスプレイ３２は、例えば、ＣＲＴディスプレイ、液晶ディスプレイ、あるいはプラズマディスプレイ等の情報表示装置である。

＜紙葉類束の特性判定用画像データ形成アプリケーションによるデータセット増殖方法＞
上述の通り、本発明の実施の形態に係る紙葉類束の特性判定用画像データ形成アプリケーション１４ｃは、深層学習に代表される機械学習用のビッグデータを人工的に生み出すプログラムである。この紙葉類束の特性判定用画像データ形成アプリケーション１４ｃは、データベース１４ｊに保存されるメインテーブルＴｏ１のデータセットに対してデータ加工を施した後に、加工済みのデータセットを新規のデータセットとしてメインテーブルＴｏ１に保存することによってデータセットを増殖させるものである。以下、このデータセット増殖処理について詳述する。

（１）データセットを構成する各種データの準備
先ず、この紙葉類束の特性判定用画像データ形成アプリケーション１４ｃを用いてメインテーブルＴｏ１のデータセットを増殖させようとする者（以下「利用者」という。）は、厚みを測定すると共に第１状態指標値を付与した紙葉類束を、前扉を開けた状態の紙葉類束収容箱２００の規定位置に収納した後、その状態でその紙葉類束収容箱２００を正面側から定点デジタルカメラ（図示せず）で撮像し、紙葉類束を含む紙葉類束収容箱２００の正面の実画像データ（以下「実画像データ」と略する。）を入手する。なお、ここで、第１状態指標値を付与する際、例えば、多人数による主観評価の平均値などが用いられることが好ましい。次に、利用者は、画像編集アプリケーション等を用いてその実画像中の紙葉類束以外の箇所をトリミングして紙葉類束の領域画像データ（以下、これを「領域データ」という。）を作成する。そして、その利用者は、紙葉類束の厚みや状態を変える度に、その紙葉類束の厚みを測定すると共にその紙葉類束に対して第１状態指標値を付与し、さらにその基本実画像データＤｔ１２を入手した後に領域データＤｔ１３を作成する。すなわち、基本実画像データＤｔ１２、領域データＤｔ１３、厚みデータＤｔ１４、第１状態指標値データＤｔ１５から成る複数種類のデータセットを用意する。なお、ここで、上述の紙葉類束の厚み測定、紙葉類束への第１状態指標値付与、紙葉類束を含む紙葉類束収容箱２００の正面画像データ入手は、順不同で行われてもかまわない。

そして、利用者は、入力装置３１およびディスプレイ３２を利用して上述の４種のデータをデータセット単位でできるだけ多くメインテーブルＴｏ１に入力する。これで、準備は完了する。なお、上述の各種データは、入手毎に利用者によってメインテーブルＴｏ１に入力されてもかまわない。

（２）自動データセット増殖処理
上述の準備が完了し、紙葉類束の特性判定用画像データ形成アプリケーション１４ｃにおいて自動データセット増殖処理が開始されると、以下の通りにして自動的に新たなデータセットが増殖される。なお、ここでは、基本モジュール１４ｆ、画像加工モジュール１４ｇ、厚み導出モジュール１４ｈおよび第１状態指標値導出モジュール１４ｉがその主な役割を担う。基本モジュール１４ｆは、データベース１４ｊのメインテーブルＴｏ１からデータセットを読み出したり、画像加工用データテーブルＴｏ２からデータセットを読み出したりした後、さらにメインテーブルＴｏ１のデータセット中の基本実画像データＤｔ１２を読み出して、画像加工モジュール１４ｇにその基本実画像データＤｔ１２を加工させる。画像加工モジュール１４ｇは、その基本実画像データＤｔ１２を加工して厚みデータＤｔ１４’の導出用の加工画像データＤｔ１２’を作成するか、第１状態指標値データＤｔ１５’の導出用の加工画像データＤｔ１２’を作成する。なお、データセットを読み出す順序やデータ導出用の画像データの作成順序は、規則的であってもよいし、不規則的であってもよい。なお、この画像加工モジュール１４ｇは、画像加工モジュール１４ｇによって加工された加工画像データＤｔ１２’をさらに加工して厚みデータＤｔ１４’の導出用の加工画像データＤｔ１２’を作成するか、第１状態指標値データＤｔ１５’の導出用の加工画像データＤｔ１２’を作成してもよい。そして、厚み導出モジュール１４ｈは厚みデータＤｔ１４’の導出用の画像作成時にその厚みデータＤｔ１４’を導出し、第１状態指標値導出モジュール１４ｉは第１状態指標値データＤｔ１５’の導出用の画像作成時にその第１状態指標値データＤｔ１５’を導出する。このため、以下では、厚みデータＤｔ１４’の導出と第１状態指標値データＤｔ１５’の導出とを分けて自動データセット増殖処理の詳細について説明する。

（２−１）厚みデータ導出用画像データ作成および厚みデータ導出
以下、図１５を用いて厚みデータ導出用画像データ作成および厚みデータ導出について説明する。なお、図１５において（ａ）および（ｂ）は共に紙葉類束収容箱ＣＢを前から見た図であるが、（ａ）には元の実画像データＤｔ１２が示されており、（ｂ）には加工画像データＤｔ１２’が示されている。すなわち、図１５では、データセット中の領域データＤｔ１３を上下方向に沿って規定の倍率で引き伸ばす加工が行われている。図中の符号「ＯＬ」は元の実画像データにおける領域データＤｔ１３に対応する紙葉類束の厚みを示し、符号「ＭＬ」は加工画像データにおける領域データＤｔ１３’に対応する紙葉類束の厚みを示し、符号「ＭＤ」は加工前後における押え具部分ＰＤの移動距離を示している。なお、押え具部分ＰＤは、例えば、図６における実施の紙葉類束収容箱２１０では、上側支持板２３０とその上側に配設される付勢部材（コイルスプリング等）によって構成される。

先ず、画像加工モジュール１４ｇが、データセット中の領域データＤｔ１３を上下方向に沿って規定の倍率（＝ＭＬ／ＯＬ）で引き伸ばす加工を行う（図１５参照）。なお、ここで、画像加工モジュール１４ｇが、データセット中の領域データＤｔ１３を上下方向に沿って規定の倍率（＝ＭＬ／ＯＬ）で押し縮める加工を行って紙葉類束の加工領域データＤｔ１３’を作成してもかまわない。次に、画像加工モジュール１４ｇが、図１５に示されるように基本実画像データＤｔ１２中の領域データＤｔ１３を加工領域データＤｔ１３’で置き換えると共に、押え具部分ＰＤの下面が加工領域データＤｔ１３’の直上に位置するように押え具部分ＰＤを上下方向に沿ってＭＤ分だけ移動させて加工画像データＤｔ１２’を作成する。なお、図１５中、符号ＣＢで示される角枠体は紙葉類束収容箱２００の正面枠を指している。そして、データセット中の厚みデータＤｔ１４に、加工領域データＤｔ１３’作成時の倍率（伸縮率）（＝ＭＬ／ＯＬ）を乗じて新たな厚みデータＤｔ１４’を導出する。このようにして、元データセット（基本実画像データＤｔ１２，領域データＤｔ１３，厚みデータＤｔ１４，第１状態指標値データＤｔ１５）中３つのデータが新たにされた新データセット（加工画像データＤｔ１２’，加工領域データＤｔ１３’，厚みデータＤｔ１４’，第１状態指標値データＤｔ１５）が作成され、この新データセットが、固有の数値データＤｔ１１と共にデータベース１４ｊのメインテーブルＴｏ１に新たに登録される。

（２−２）第１状態指標値データ導出用画像データ作成および第１状態指標値データ導出
先ず、画像加工モジュール１４ｇが、図１６に示されるように、データセット中の領域データＤｔ１３の一部または全部を、データベース１４ｊの画像加工用データテーブルＴｏ２から読み出した１または複数の置換画像データＤｔ２２で置換し、加工領域データＤｔ１３’を作成する。なお、この際、領域データＤｔ１３の置換位置、および、用いられる置換画像データＤｔ２２の種類は、規則的に決められてもよいし、不規則的に決められてもよい。次に、画像加工モジュール１４ｇが、基本実画像データＤｔ１２中の領域データＤｔ１３を加工領域データＤｔ１３’で置き換えて加工画像データＤｔ１２’を作成する。そして、その領域データＤｔ１３に関連付けられている第１状態指標値データＤｔ１５、および、置換画像データＤｔ２２に関連付けられている第２状態指標値データＤｔ２３の少なくとも第２状態指標値データＤｔ２３の線形和を面積比率で算出して新たな第１状態指標値データＤｔ１５’を導出する。すなわち、図１６における加工領域データＤｔ１３’において、置換画像データＤｔ２２ｂに関連付けられる第２状態指標値データＤｔ２３が「０．９０」であり、置換画像データＤｔ２２ｃに関連付けられる第２状態指標値データＤｔ２３が「０．８０」であり、置換画像データＤｔ２２ｅに関連付けられる第２状態指標値データＤｔ２３が「０．６０」であり、置換画像データＤｔ２２ｆに関連付けられる第２状態指標値データＤｔ２３が「０．５０」であり、置換画像データＤｔ２２ｈに関連付けられる第２状態指標値データＤｔ２３が「０．３０」である場合、新たな第１状態指標値データＤｔ１５’は０．６１（＝０．９×（２／８）＋０．８×（１／８）＋０．６×（２／８）＋０．５０×（１／８）＋０．３０×（２／８））となる。このようにして、元データセット（基本実画像データＤｔ１２，領域データＤｔ１３，厚みデータＤｔ１４，第１状態指標値データＤｔ１５）中３つのデータが新たにされた新データセット（加工画像データＤｔ１２’，加工領域データＤｔ１３’，厚みデータＤｔ１４，第１状態指標値データＤｔ１５’）が作成され、この新データセットが、固有の数値データＤｔ１１と共にデータベース１４ｊのメインテーブルＴｏ１に新たに登録される。

＜制御テーブル中のデータとメインテーブル中のデータの対応関係＞
メインテーブルＴｏ１の基本実画像データＤｔ１２および加工画像データＤｔ１２’が制御テーブルＴｏ０の画像データＤｔ２に対応し、メインテーブルＴｏ１の厚みデータＤｔ１４，Ｄｔ１４’が制御テーブルＴｏ０の厚みデータＤｔ４に対応し、メインテーブルＴｏ１の第１状態指標値データＤｔ１５，Ｄｔ１５’が制御テーブルＴｏ０の状態指標値データＤｔ５に対応する。

＜本発明の実施の形態に係るロボットハンド付きロボットアーム制御システムの特徴＞
本発明の実施の形態に係るロボットハンド付きロボットアーム制御システム５００では、制御装置４００が、ロボットハンド１００およびロボットアームＲＡに対して、紙幣束ＭＴの厚みや状態を加味した動作を行わせることができる。したがって、このロボットハンド付きロボットアーム制御システム５００では、制御装置４００がロボットハンド付きロボットアームに対して紙葉類束収容箱２００から紙幣束ＭＴを抜き出させる際に、紙幣束ＭＴの一部がロボットハンド１００から脱落したりするおそれを低減させることができる。

＜変形例＞
（Ａ）
先の実施の形態に係るロボットハンド付きロボットアーム制御システム５００では、ロボットハンド１００に撮像装置ＤＣが取り付けられていたが、撮像装置ＤＣは、定点配置されてもかまわない。かかる場合、撮像装置ＤＣは複数個配置されてもよい。

（Ｂ）
先の実施の形態では特に言及しなかったが、ロボットハンド付きロボットアーム制御システム５００の制御装置４００に、紙葉類束の特性判定用画像データ形成装置１の機能を全て持たせるようにしてもよい。

（Ｃ）
先の実施の形態に係るロボットハンド付きロボットアーム制御システム５００では、制御装置４００により、可動指１１０を下方に移動して固定指１２０と共に紙幣束ＭＴを把持した後に、ロボットハンド１００を後退させて紙葉類束収容箱２００から紙幣束ＭＴを抜き取るように制御されたが、ロボットハンド１００が可動指１１０と固定指１２０により紙幣束ＭＴを把持した後に、ロボットハンド１００が一定距離だけ後退して紙幣束ＭＴを一定長さだけ手前に引き出してから紙幣束ＭＴを手放し、その引き出した紙幣束ＭＴの部分をロボットハンド１００が再び把持するように制御されてもよい。このようにすれば、ロボットハンド１００の紙幣束ＭＴの把持長さを長くとることができ、その把持状態をさらに安定化させることができる。なお、かかる段階において、制御装置４００が厚みデータＤｔ４や状態指標値データＤｔ５を利用して紙幣束ＭＴに対するロボットハンド１００の引き出し代および再把持時の把持代（掴み代）の少なくとも一方を制御するようにしてもよい。具体的な制御内容としては、例えば、紙幣束ＭＴの厚みが厚くなる程、紙幣束ＭＴの状態指標値が小さくなる程、または、紙幣束ＭＴの厚みが厚くなると共に紙幣束ＭＴの状態指標値が小さくなる程、引き出し代および再把持時の把持代（掴み代）の少なくとも一方を長くすることが挙げられる。かかる場合、紙幣束ＭＴの厚み、状態指標値を段階的に分けて、各段階でロボットハンド１００による引き出し代、再把持時の把持代（掴み代）を規定してもよい。

（Ｄ）
先の実施の形態では紙葉類束の特性判定用画像データ形成装置として図１０に示されるようなスタンドアローン型の電子計算機が利用されたが、通信ネットワークで相互接続されたグリッドコンピュータ等が利用されてもよい。

（Ｅ）
先の実施の形態に係る紙葉類束の特性判定用画像データ形成装置１では、データベース１４ｊのメインテーブルＴｏ１に領域フィールドＦｏ１３が設けられ、その領域フィールドＦｏ１３に予め領域データＤｔ１３が格納されていたが、（ｉ）エッジ抽出プログラム等により基本実画像データＤｔ１２から領域データＤｔ１３が自動的に抽出され、その領域データＤｔ１３が領域フィールドＦｏ１３に自動的に格納されるようにしてもよいし、（ｉｉ）領域フィールドＦｏ１３を設けず、エッジ抽出プログラム等により基本実画像データＤｔ１２から領域データＤｔ１３が自動的に抽出された後に、それを用いて加工画像データＤｔ１２’を作成するようにしてもよい。

（Ｆ）
先の実施の形態に係る紙葉類束の特性判定用画像データ形成装置１では特に言及しなかったが、紙葉類束が複数国の紙幣等である場合、メインテーブルＴｏ１に国識別フィールドが追加されてもよい。

（Ｇ）
先の実施の形態に係る紙葉類束の特性判定用画像データ形成装置１では、メインテーブルＴｏ１に厚みデータとして厚みの実寸データが登録されたが、この実寸データに代えて相対データを登録してもよい。この相対データとしては、例えば、紙葉類束収容箱２００の最大収容時厚みに対する紙葉類束の厚みの比率データ等が挙げられる。

（Ｈ）
先の実施の形態に係るロボットハンド１００では固定指１２０が固定され、可動指１１０のみが可動したが、固定指１２０も可動指１１０と同様に可動化されてもよい。

（Ｉ）
先の実施の形態に係るロボットハンド１００では可動指往復動機構１３０としてエアシリンダ機構が採用されたが、可動指往復動機構１３０として公知の往復動機構、例えば、ラック・アンド・ピニオン機構、ボールネジ機構、エアシリンダ機構、モータシリンダ機構、電動スライダ機構、ベルトスライダ機構およびリニアスライダ機構などの機構が採用されてもかまわない。また、かかる場合、駆動源として電動機を採用してもかまわない。

（Ｊ）
先の実施の形態に係るロボットハンド付きロボットアーム制御システム５００では、ロボットハンド１００に撮像装置ＤＣが１つ取り付けられていたが、ロボットハンド１００に複数の撮像装置ＤＣが取り付けられてもよい。かかる場合、各撮像装置ＤＣで取得された各画像データの照合結果から得られる値の平均値を採用してもよいし、各撮像装置ＤＣで取得された画像データの平均画像を用いて照合処理を行ってもよい。

１００ ロボットハンド
４００ 制御装置
４１０ 制御部
４２０ 記憶部
４３０ 導出部
４４０ 取得部
５００ ロボットハンド付きロボットアーム制御システム
Ｄｔ４ 厚みデータ（特性値情報，厚みに関する情報）
Ｄｔ５ 状態指標値データ（特性値情報，状態指標値の情報）
ＲＡ ロボットアーム
ＤＣ 撮像装置

本発明は、紙葉類束の特性値（例えば、厚さや、傷み等の状態など）の情報に基づいてロボットハンド付きロボットアームを制御する方法、装置およびシステムに関する。

過去に「ロボットハンド付きロボットアームを利用した紙幣処理装置」が提案されている（例えば、特開昭６２−９２０９５号公報等）。このような紙幣処理装置では、ロボットハンド付きロボットアームによって紙幣収容箱から紙幣束が取り出された後に紙幣カウント紙幣確認ユニットまで搬送され、紙幣カウント紙幣確認ユニットにて紙幣束が金種別に仕分けされながら金種毎の枚数がカウントされる。そして、金種毎に仕分けされた紙幣束は金種別に別のロボットハンド付きロボットアームによって規定の位置まで搬送される。

特開昭６２−９２０９５号公報

ところで、従前、紙幣束等の紙葉類束を収容する箱（以下「紙葉類束収容箱」という。）に収容される紙葉類束をロボットハンドに掴ませ、そのロボットハンドをロボットアームにより後退させて紙葉類束収容箱からその紙葉類束を抜き出す際、紙葉類束が崩れたり、紙葉類束の一部がロボットハンドから脱落したりすることがあった。

本発明の課題は、ロボットハンド付きロボットアームにより紙葉類束収容箱から紙葉類束を抜き出す際に、紙葉類束が崩れたり、紙葉類束の一部がロボットハンドから脱落したりするおそれを低減させることにある。

本発明の第１局面に係るロボットハンド付きロボットアーム制御システムは、ロボットハンド付きロボットアーム、撮像装置および制御装置を備える。制御装置は、記憶部、取得部、導出部および制御部を有する。記憶部には、紙葉類束の画像情報が、紙葉類束の損傷状態を示す損傷状態指標値の情報に関連付けられて記憶される。取得部は、撮像装置から紙葉類束の画像情報を取得する。導出部は、取得部において取得された紙葉類束の画像情報を、記憶部に記憶される紙葉類束の画像情報と照合して損傷状態指標値の情報を導出する。制御部は、導出部により導出された損傷状態指標値の情報に基づいてロボットハンド付きロボットアームの動作を制御する。

ところで、一般的に、紙葉類束の損傷状態が小さい程、紙葉類間の滑りがよく、その結果、紙葉類束が崩れたり、紙葉類束の一部が脱落したりするおそれが高い。これに対して、このシステムでは、紙葉類束の損傷状態に応じてロボットハンドおよびロボットアームの動作を制御することができる。そして、このシステムでは、例えば、紙葉類束の損傷状態が小さい程ロボットハンドの把持圧や掴み代等を増すようにすれば、紙葉類束収容箱から紙葉類束を抜き出す際に、紙葉類束の一部がロボットハンドから脱落したりするおそれを低減させることができる。

本発明の第２局面に係るロボットハンド付きロボットアーム制御システムは、第１局面に係るロボットハンド付きロボットアーム制御システムであって、ロボットハンドは、互いに対向する一対のフィンガを有する。そして、制御部は、損傷状態指標値が、損傷状態が小さいことを示す値に近づく程、ロボットハンドによる紙葉類束の把持時のフィンガ間の距離を短くする。

本発明の第３局面に係るロボットハンド付きロボットアーム制御システムは、第１局面に係るロボットハンド付きロボットアーム制御システムであって、ロボットハンドは、互いに対向する一対のフィンガを有する。また、このロボットアーム制御システムでは、一対のフィンガの少なくとも一方のフィンガに圧力センサが設けられる。そして、制御部は、損傷状態指標値が、損傷状態が小さいことを示す値に近づく程、圧力センサが示す値が大きくなるようにフィンガを制御する。

本発明の第４局面に係るロボットハンド付きロボットアーム制御システムは、第１局面から第３局面のいずれか１つの局面に係るロボットハンド付きロボットアーム制御システムであって、制御部は、損傷状態指標値が、損傷状態が大きいことを示す値に近づく程、紙葉類束の把持時のロボットハンドの移動速度および移動加速度の少なくとも一方を低くする。

本発明の第５局面に係るロボットハンド付きロボットアーム制御システムは、第４局面に係るロボットハンド付きロボットアーム制御システムであって、移動速度は後退速度であり、移動加速度は後退加速度である。

本発明の第６局面に係るロボットハンド付きロボットアーム制御システムは、第１局面から第５局面のいずれか１つの局面に係るロボットハンド付きロボットアーム制御システムであって、制御部は、紙葉類束収容箱に収容されている紙葉類束をロボットハンドに把持させた後に、ロボットハンドを一定距離だけ後退させて紙葉類束を一定長さだけ手前に引き出してから紙葉類束を手放し、その引き出した紙葉類束の部分をロボットハンドに再び把持させるように制御する際において、損傷状態指標値が、前記損傷状態が大きいことを示す値に近づく程、前記紙葉類束の引き出し代および再把持時の把持代の少なくとも一方を長くする。

本発明の第７局面に係るロボットハンド付きロボットアーム制御装置は、記憶部、取得部、導出部および制御部を備える。記憶部には、紙葉類束の画像情報が、紙葉類束の損傷状態を示す損傷状態指標値の情報に関連付けられて記憶される。取得部は、紙葉類束の画像情報を取得する。導出部は、取得部において取得された紙葉類束の画像情報を、記憶部に記憶される紙葉類束の画像情報と照合して損傷状態指標値の情報を導出する。制御部は、導出部により導出された損傷状態指標値の情報に基づいてロボットハンド付きロボットアームの動作を制御する。

このため、このロボットハンド付きロボットアーム制御装置は、ロボットハンドおよびロボットアームに対して、紙葉類束の損傷状態を加味した動作を行わせることができる。したがって、このロボットハンド付きロボットアーム制御装置は、ロボットハンド付きロボットアームに対して紙葉類束収容箱から紙葉類束を抜き出させる際に、紙葉類束の一部がロボットハンドから脱落したりするおそれを低減させることができる。

本発明の第８局面に係るロボットハンド付きロボットアーム制御方法は、取得ステップ、導出ステップおよび制御ステップを備える。取得ステップでは、紙葉類束の画像情報が取得される。導出ステップでは、（ａ）紙葉類束の画像情報が、紙葉類束の損傷状態を示す損傷状態指標値の情報に関連付けて記憶される記憶部に記憶される紙葉類束の画像情報と、（ｂ）前記取得ステップにおいて取得された前記紙葉類束の画像情報とが照合されて損傷状態指標値の情報が導出される。制御ステップでは、導出ステップにおいて導出された損傷状態指標値の情報に基づいてロボットハンド付きロボットアームの動作が制御される。

ところで、一般的に、紙葉類束の損傷状態が小さい程、紙葉類間の滑りがよく、その結果、紙葉類束が崩れたり、紙葉類束の一部が脱落したりするおそれが高い。これに対して、このロボットハンド付きロボットアーム制御方法では、ロボットハンドおよびロボットアームに対して、紙葉類束の損傷状態を加味した動作を行わせることができる。したがって、このロボットハンド付きロボットアーム制御方法を実施することにより、ロボットハンド付きロボットアームにより紙葉類束収容箱から紙葉類束を抜き出す際に、紙葉類束の一部がロボットハンドから脱落したりするおそれを低減させることができる。

本発明の実施の形態に係るロボットハンド付きロボットアーム制御システムの概略構成図である。 本発明の実施の形態に係るロボットハンドの斜視図である。 本発明の実施の形態に係るロボットハンドの押当部待機状態の右側面図である。 本発明の実施の形態に係るロボットハンドの押当部突出状態の右側面図である。 本発明の実施の形態に係る制御装置の記憶部に格納される制御テーブルのイメージ図である。 本発明の実施の形態に係るロボットハンドが抜き出す紙幣束を収容する紙葉類束収容箱の斜視図である。 本発明の実施の形態に係るロボットハンドにより紙幣束を紙幣整理機の載置トレイに載置する際の状態を示す断面図である。 本発明の実施の形態にロボットハンドの指部を紙葉類束収容箱に差し込む際のスライド受け部の状態を示す斜視図である。 本発明の実施の形態にロボットハンドの指部を紙葉類束収容箱から抜き出す際のスライド受け部の状態を示す斜視図である。 本発明の実施の形態に係る紙葉類束の特性判定用画像データ形成装置の概略構成図である。 本発明の実施の形態に係る紙葉類束の特性判定用画像データ形成装置のストレージに格納されるプログラムやデータベースのイメージ図である。 本発明の実施の形態に係る紙葉類束の特性判定用画像データ形成装置の動作を説明する図である。 本発明の実施の形態に係る紙葉類束の特性判定用画像データ形成装置のストレージに格納されるメインテーブルのイメージ図である。 本発明の実施の形態に係る紙葉類束の特性判定用画像データ形成装置のストレージに格納される画像加工用データテーブルのイメージ図である。 本発明の実施の形態に係る紙葉類束の特性判定用画像データ形成装置の厚み導出モジュールの機能を説明するための概略図である。本図において（ａ）側の図が元の実画像データを示しており、（ｂ）側の図が加工画像データを示している。 本発明の実施の形態に係る紙葉類束の特性判定用画像データ形成装置の第１状態指標値導出モジュールの機能を説明するための概略図である。本図において（ｃ）側の図が実画像データを示しており、（ｄ）側の図が加工画像データを示している。

本発明の実施の形態に係るロボットハンド付きロボットアーム制御システム５００は、図１に示されるように、主に、ロボットハンド１００、ロボットアームＲＡ、撮像装置ＤＣおよび制御装置４００から構成されている。なお、本発明の実施の形態においてロボットアームＲＡの先端部にはロボットハンド１００が固着されており、以下、これを「ロボットハンド付きロボットアーム」と称することがある。また、本発明の実施の形態において撮像装置ＤＣはロボットハンド１００に配設されている。以下、ロボットハンド付きロボットアーム制御システム５００の構成要素について詳述する。

（１）ロボットハンド付きロボットアーム
本発明の実施の形態に係るロボットハンド付きロボットアームは、図２〜図４に示されるように、主に、ロボットハンド１００およびロボットアームＲＡから構成されている。
以下、これらの構成要素について詳述する。

（１−１）ロボットハンド
本発明の実施の形態に係るロボットハンド１００は、図２に示されるように、二指型のロボットハンドであって、ロボットアームＲＡの先端に固着されている。そして、このロボットハンド１００は、図２に示されるように、主に、可動指１１０、固定指１２０、可動指往復動機構１３０、押当部１４０、押当部往復動機構１５０、スライド受け部１６０、スライド受け部付勢部材１７０および連結部１８０から構成されている。以下、これらの構成要素について詳述する。

（１−１−１）可動指
可動指１１０は、図２に示されているように、基部１１１および爪部１１２から形成される。基部１１１は、略台形状の厚板部位である。爪部１１２は、細長い矩形の厚板部位であって、基部１１１の短辺側の側面から前方に向かって延びている。そして、この可動指１１０は、可動指往復動機構１３０の基部１１１の長辺側で昇降板１３２（後述）に固定されている。

（１−１−２）固定指
固定指１２０は、図２に示されているように、基部１２１および爪部１２２から形成されている。基部１２１は、矩形の厚板部位である。爪部１２２は、細長い矩形の厚板部位であって、基部１２１の前方中央の側面から前方に向かって延びている。すなわち、この固定指１２０は、平面視において凸状を呈する厚板部材である。そして、この固定指１２０は、可動指往復動機構１３０の支持板１３１（後述）に固定されている。そして、この固定指１２０は、図２に示されるように、可動指１１０の往復動方向において可動指１１０と対向している。

（１−１−３）可動指往復動機構
可動指往復動機構１３０は、図２〜図４に示されるように、主に、支持板１３１、昇降板１３２、エアシリンダ機構１３３および昇降テーブル１３４から構成されている。支持板１３１は、エアシリンダ機構１３３を支持している。エアシリンダ機構１３３は、複動式のものであって、昇降テーブル１３４を昇降させる際の駆動源である。そして、このエアシリンダ機構１３３は、上述の通り支持板１３１に取り付けられている。そして、この昇降テーブル１３４には、昇降板１３２が取り付けられている。すなわち、エアシリンダ機構１３３は、昇降テーブル１３４を昇降させることによって昇降板１３２を昇降させている。また、このエアシリンダ機構１３３には、図３および図４に示されるようにエア給排気口１３５，１３６が設けられている。なお、このエア給排気口１３５，１３６には、エア給排気管（図示せず）が接続されている。

（１−１−４）押当部
押当部１４０は、図２〜図４に示されるように、略凹状の板状部材であって、両側の起立部ＲＵが可動指側に向かって延びるように、押当部往復動機構１５０のピストン１５２（後述）の連結片１５２ｂ（後述）に取り付けられている。そして、この押当部１４０は、押当部往復動機構１５０によって前後方向に沿って往復動することができる。

（１−１−５）押当部往復動機構
押当部往復動機構１５０は、押当部１４０を前後方向に沿って往復動させるための複動式のエアシリンダ機構であって、図２〜図４に示されるように、主に、シリンダブロック１５１、ピストン１５２、エア給排気口１５３およびつまみ１５４から構成されている。シリンダブロック１５１は略直方体状の部材であって、図２に示されるように固定指１２０の可動指対向側の反対側に接合されている。そして、シリンダブロック１５１の内部には、長手方向に沿って二列のシリンダ孔（図示せず）が形成されている。ピストン１５２は、一対のピストン１５２ａおよび連結片１５２ｂから形成されている。一対のピストン１５２ａは、連結片１５２ｂの一面から同方向に向かって平行に延びている。そして、この一対のピストン１５２ａは、それぞれ上記二列のシリンダ孔に挿入されている。連結片１５２ｂのピストン延在側と反対側には、上述の押当部１４０が接合されている。エア給排気口１５３は、左右に１つずつ設けられている。そして、これらのエア給排気口１５３にはそれぞれエア給排気管（図示せず）が接続される。つまみ１５４は、各エア給排気口１５３に取り付けられている。このつまみ１５４は、エアの給気量または排気量を調整するための部材であって、昇降テーブル１３４の昇降速度すなわち昇降板１３２の昇降速度を調整することができる。なお、このつまみ１５４は、速度調整のしやすさ（速度ムラの発生しにくさ）の観点から排気量を調整するものであることが好ましい。

押当部往復動機構１５０は、上述の通りに構成されることによって、エアの導入・排気によって、押当部１４０を前後方向に沿って往復動させることができる。その結果として、ロボットハンド１００を、図３に示される押当部待機状態と、図４に示される押当部突出状態とに切り換えることができる。

（１−１−６）スライド受け部
スライド受け部１６０は、図２に示されるように固定指１２０の爪部１２２の両脇に配設される一対の長細い矩形の厚板部材であって、後述するスライド受け部付勢部材１７０によって前方に向かって付勢されている。また、このスライド受け部１６０の先端部の上面は、固定指１２０の爪部１２２の先端部の上面（可動指１１０に対向する側の面）を含む面上に存在する。なお、ここで、スライド受け部１６０の先端部の上面は、固定指１２０の爪部１２２の先端部の上面よりも僅かに下側に位置していても差し支えない。

（１−１−７）スライド受け部付勢機構
スライド受け部付勢部材１７０は、引張りコイルばねであって、図２に示されるように固定指１２０の爪部１２２の両脇であって、スライド受け部１６０の後側に配設されており、スライド受け部１６０を前方に向かって付勢している。すなわち、スライド受け部１６０を後方に向かって押した後、スライド受け部１６０を解放すれば、スライド受け部付勢部材１７０によりスライド受け部１６０は初期位置まで押し戻されることになる。

（１−１−８）連結部
連結部１８０は、ロボットハンド１００をロボットアームＲＡに連結させる部位であって、例えば、フランジ等である。

（１−２）ロボットアーム
ロボットアームＲＡは、例えば、既存の多軸ロボットアームである。

（２）撮像装置
撮像装置ＤＣは、例えば、ＣＣＤカメラ等のデジタル式カメラであって、図２〜図４に示されるようにロボットハンド１００の可動指往復動機構１３０の支持板１３１から延びる支持アームＳＡにより可動指往復動機構１３０の右脇に固定されている。なお、この撮像装置ＤＣは、間欠的に撮像を行いながら撮影した画像の電子データを制御装置４００に送信する。

（３）制御装置
制御装置４００は、図１に示されるように、主に、制御部４１０、導出部４３０、記憶部４２０および取得部４４０から構成されている。以下、これらの構成要素について詳述する。

（３−１）制御部
制御部４１０は、例えば、コンピュータの中央処理演算装置の制御装置等であって、図１に示されるようにロボットアームＲＡ、ロボットハンド１００および撮像装置ＤＣに通信接続されており、種々の制御信号をロボットアームＲＡ、ロボットハンド１００および撮像装置ＤＣに送信することによってロボットアームＲＡおよびロボットハンド１００の動作や、撮像装置ＤＣの撮像処理を制御する。なお、図１に示されるように、制御部４１０は、記憶部４２０に格納される制御プログラムに記述される命令に従って、ロボットアームＲＡ、ロボットハンド１００および撮像装置ＤＣに制御信号を送信したり、記憶部４２０および導出部４３０の少なくとも一方から制御信号の生成に必要なデータを読み出し、そのデータから制御信号を生成してロボットアームＲＡ、ロボットハンド１００および撮像装置ＤＣに送信したりする。

（３−２）導出部
導出部４３０は、例えば、コンピュータの中央処理演算装置の演算装置等であって、図１に示されるように、記憶部４２０に格納されるデータ、および、取得部４４０から送信されてくるデータから、制御信号の生成に必要なデータを生成してそのデータを制御部４１０に供給する役目を担っている。例えば、この導出部４３０は、取得部４４０を介して撮像装置ＤＣから送られてくる画像データを受信し、その画像データを制御テーブル（後述）Ｔｏ０中の画像データＤｔ２と照合して、その画像データＤｔ２と最も一致する画像データＤｔ２に対応する厚みデータＤｔ４および状態指標値データＤｔ５を導出し、それらのデータＤｔ４，Ｄｔ５を制御部４１０に送信する。なお、状態指標値データＤｔ５を導出する際、深層学習に代表される機械学習等を利用して画像データＤｔ２から状態指標値を導出してもよい。

（３−３）記憶部
記憶部４２０には、制御プログラム、制御パラメータ、制御テーブル等が格納されている。制御テーブルには、図５に示される制御テーブルＴｏ０が含まれている。なお、この制御テーブルＴｏ０は、例えば、後述する紙葉類束の特性判定用画像データ形成装置１によって作成される。なお、ここで、紙葉類束とは、例えば、紙幣束（札束）等である。この制御テーブルＴｏ０には、図５に示されるように、主に、ＩＤフィールドＦｏ１、画像フィールドＦｏ２、厚みフィールドＦｏ３および状態指標値フィールドＦｏ４が設けられている。ＩＤフィールドＦｏ１には、１レコード毎に付される固有の数値データ（以下、ＩＤデータという。）Ｄｔ１が格納されている。画像フィールドＦｏ２には、種々の厚みや状態を有する紙葉類束を収容する紙葉類束収容箱（後述）２００の正面画像データ（以下、画像データという。）Ｄｔ２が複数格納されている。なお、この画像では、紙葉類束収容箱２００の前扉（後述）２２０が開けられた状態になっており、種々の厚みや状態を有する紙葉類束の一面が視認可能となっている。また、紙葉類束収容箱２００の正面画像には、紙葉類束の他、紙葉類束収容箱２００の筐体（後述）２１０の正面枠や、上側支持板（後述）２３０および下側支持板（後述）２４０等が含まれている。厚みフィールドＦｏ３には、画像データＤｔ２に対応する紙葉類束の厚みのデータ（以下、厚みデータという。）Ｄｔ４が格納されている。状態指標値フィールドＦｏ４には、画像データＤｔ２に対応する紙葉類束の状態指標値のデータ（以下、状態指標値データという。）Ｄｔ５が格納されている。なお、この状態指標値は、紙葉類束のシワや傷み等の損傷を表す０から１の指標値であって、損傷具合が少ないものほど、また、紙葉類間に隙間がないものほど１に近くなる。そして、上述の各フィールドＦｏ１〜Ｆｏ４に入力されているデータＤｔ１，Ｄｔ２，Ｄｔ４，Ｄｔ５は、１レコード毎（図５のメインテーブルＴｏ０の行毎）に関連付けられており、データセットを構成している。

（３−４）取得部
取得部４４０は、例えば、コンピュータの通信インターフェイス等であって、図１に示されるように、撮像装置ＤＣによって得られた画像データを導出部４３０に送る役目を担っている。

＜本発明の実施の形態に係るロボットハンド付きロボットアームの制御例＞
ここでは、一例として、本実施の形態に係るロボットハンド付きロボットアームが紙葉類束収容箱から紙幣束を抜き出して、その紙幣束を紙幣整理機の載置トレイに移動させる例を説明する。なお、ここで、紙葉類束収容箱の一例として、図６に示される紙葉類束収容箱２００を採用し、紙幣整理機の載置トレイの一例として、図７に示される紙幣整理機３００の載置トレイ３２０を採用する。なお、この例は、本発明を限定するものでないことに留意すべきである。

ロボットハンド付きロボットアームの制御例の説明に先立って、以下に紙葉類束収容箱２００および紙幣整理機３００について簡単に説明する。紙葉類束収容箱２００は、図６に示されるように、主に、筐体２１０、前扉２２０、上側支持板２３０および下側支持板２４０から構成されている。筐体２１０は、図６に示されるように、前側に開口する直方体状の箱体である。前扉２２０は、略長方形状の板部材であって、ヒンジ等の開閉機構を介して筐体２１０の開口縁の上側に開閉可能に軸支されている。上側支持板２３０は、下側支持板２４０と協働して紙幣束ＭＴを挟持する部材であって、図６に示されるように、筐体２１０の高さ方向中央よりやや上側に上下移動自在に配設されている。また、この上側支持板２３０の前側中央には半円状の切欠Ｒｓが形成されている。下側支持板２４０は、上側支持板２３０と協働して紙幣束ＭＴを挟持する部材であって、図６に示されるように、筐体２１０の下側に固定されている。また、この下側支持板２４０の幅方向中央にはスリットＲｔが形成されている。そして、この紙葉類束収容箱２００では、上側支持板２３０が、その上側に配設される付勢部材（コイルスプリング等）によって下方に向かって付勢されている。すなわち、この紙葉類束収容箱２００に収容される紙幣束ＭＴは、上側支持板２３０によって下側支持板２４０に押し付けられている。

紙幣整理機３００は、紙葉類束収容箱２００に収容される紙幣束ＭＴを金種別に仕分けながら各種金種を計数する装置であって、図７に示されるように本体３１０および載置トレイ３２０から構成される。本体３１０には、載置トレイ３２０から供給される紙幣束ＭＴを金種別に仕分けながら各種金種を計数する紙幣整理機構が配設されている。載置トレイ３２０は、紙幣束ＭＴを載置するためのトレイであって、紙幣整理機構の紙幣吸込機構の脇に配設されている。すなわち、載置トレイ３２０に載置された紙幣束ＭＴは、紙幣整理機構の紙幣吸込機構の紙幣検出センサによってその存在が認識されると紙幣吸込装置によって自動的に紙幣整理機構内に吸い込まれていく。

ロボットハンド付きロボットアームが紙葉類束収容箱２００中の紙幣束ＭＴを抜き出して紙幣整理機３００の載置トレイ３２０に移動させる際、ロボットハンド付きロボットアームの動作は以下の通りに制御される。

先ず、制御装置４００がロボットアームＲＡの動作を制御してロボットハンド１００を規定位置に移動させると共に規定方向に向ける。なお、ここで、規定位置は紙葉類束収容箱２００の正面側の位置であり、規定方向は撮像装置ＤＣが紙葉類束収容箱２００の正面を撮像することができる方向である。

次に、制御装置４００は、ロボットハンド１００を規定位置まで移動させると、撮像装置ＤＣに対して撮像命令信号を送信して撮像装置ＤＣに紙葉類束収容箱２００の正面画像を撮像させる。なお、この際、紙葉類束収容箱２００の前扉２２０が開状態とされている。ところで、このとき、紙葉類束収容箱２００も規定位置に規定方向を向くように載置される必要があるが、紙葉類束収容箱２００をその規定位置まで移動させると共に規定方向に向ける作業は、コンベアや他のロボットハンド付きロボットアーム等によって自動的に行われてもよいし、手作業で行われてもよい。また、紙葉類束収容箱２００の前扉２２０の開錠・開扉処理は、制御装置４００に通信接続される他のロボットハンド付きロボットアームによって実現されてもよく、手作業で行われてもよい。そして、撮像装置ＤＣは、その紙葉類束収容箱２００の正面画像データを、取得部４４０を介して導出部４３０に送信する。

導出部４３０が紙葉類束収容箱２００の正面画像データを受信すると、導出部４３０は、その正面画像データを制御テーブルＴｏ０中の画像データＤｔ２と照合して、その画像データと最も一致する画像データＤｔ２に対応する厚みデータＤｔ４および状態指標値データＤｔ５を導出し、それらのデータＤｔ４，Ｄｔ５を制御部４１０に送信する。そして、制御部４１０は、これらのデータＤｔ４，Ｄｔ５を利用してロボットハンド１００およびロボットアームＲＡに対して以下の各所に記載される制御を実行する。

次いで、制御部４１０は、ロボットアームＲＡおよびロボットハンド１００を制御して可動指１１０を（紙幣束ＭＴの厚み＋α）の位置まで引き上げさせてから、下側支持板２４０のスリットＲｔに固定指１２０の先端部を差し込ませる。なお、このとき、可動指１１０は、上側支持板２３０の切欠Ｒｓの上方に位置する。また、このとき、スライド受け部１６０は、図８に示されるように、下側支持板２４０のスリットＲｔの両側の壁部位に当接して後退する。

続いて、制御装置４００は、可動指１１０を下方に移動させて固定指１２０と共に紙幣束ＭＴを把持させる。かかる段階において、制御装置４００が厚みデータＤｔ４や状態指標値データＤｔ５を利用して可動指１１０の降下距離やロボットハンド１００の把持圧力を制御するようにしてもよい。具体的な制御内容としては、例えば、（ｉ）可動指１１０の降下距離を（紙幣束ＭＴの厚み＋α−β（ただし、β＞α））とし、紙幣束ＭＴの厚みが厚くなる程、紙幣束ＭＴの状態指標値が大きくなる程、または、紙幣束ＭＴの厚みが厚くなると共に紙幣束ＭＴの状態指標値が大きくなる程、βの値を大きくすることや、（ｉｉ）可動指１１０および固定指１２０の少なくとも一方に圧力センサを設け、紙幣束ＭＴの厚みが厚くなる程、紙幣束ＭＴの状態指標値が大きくなる程、または、紙幣束ＭＴの厚みが厚くなると共に紙幣束ＭＴの状態指標値が大きくなる程、把持完了時の圧力センサ値を高くすることが挙げられる。かかる場合、紙幣束ＭＴの厚み、状態指標値を段階的に分けて、各段階でβの値や、把持完了時の圧力センサ値を規定してもよい。

さらに続いて、制御装置４００は、ロボットアームＲＡの動作を制御してロボットハンド１００を後退させ、紙葉類束収容箱２００から紙幣束ＭＴを抜き取らせる。このとき、図９に示されるように、ロボットハンド１００の後退に伴ってスライド受け部１６０が前方に移動させられる。かかる段階において、制御装置４００が厚みデータＤｔ４や状態指標値データＤｔ５を利用してロボットハンド１００の後退速度および後退加速度の少なくとも一方を制御するようにしてもよい。具体的な制御内容としては、例えば、紙幣束ＭＴの厚みが厚くなる程、紙幣束ＭＴの状態指標値が小さくなる程、または、紙幣束ＭＴの厚みが厚くなると共に紙幣束ＭＴの状態指標値が小さくなる程、後退速度および後退加速度の少なくとも一方を低くすることが挙げられる。かかる場合、紙幣束ＭＴの厚み、状態指標値を段階的に分けて、各段階でロボットハンド１００の後退速度、後退加速度を規定してもよい。

さらに続いて、制御装置４００は、ロボットアームＲＡを制御して、図７に示されるようにロボットハンド１００を先端側から紙幣整理機３００の載置トレイ３２０の奥側にまで差し入れさせた後、押当部往復動機構１５０を動作させて押当部１４０を前方に移動させると共に、可動指往復動機構１３０を制御して可動指１１０を上方に引き上げて紙幣束ＭＴを手放させる。なお、紙幣束ＭＴの引抜処理完了から紙幣整理機３００への搬送処理完了までの搬送段階において、制御装置４００が厚みデータＤｔ４や状態指標値データＤｔ５を利用してロボットハンド１００の移動速度および移動加速度の少なくとも一方を制御するようにしてもよい。具体的な制御内容としては、例えば、紙幣束ＭＴの厚みが厚くなる程、紙幣束ＭＴの状態指標値が小さくなる程、または、紙幣束ＭＴの厚みが厚くなると共に紙幣束ＭＴの状態指標値が小さくなる程、移動速度および移動加速度の少なくとも一方を低くすることが挙げられる。かかる場合、紙幣束ＭＴの厚み、紙幣束ＭＴの状態指標値を段階的に分けて、各段階でロボットハンド１００の移動速度、移動加速度を規定してもよい。

そして、押当部１４０が前方に移動している最中に、制御装置４００が、ロボットアームＲＡを制御して、ロボットハンド１００の傾斜角度を維持したままロボットハンド１００を斜め後方に向かって引き上げさせる。この動作により、紙幣整理機３００の載置トレイ３２０への紙幣束ＭＴの搬送が完了する。紙幣束ＭＴの搬送完了後、制御装置４００が、押当部往復動機構１５０を動作させて押当部１４０を後方に引き戻させながら、ロボットアームＲＡの動作を制御してロボットハンド１００を規定位置に移動させると共に規定方向に向ける。この後、上述の通りにして、同位置まで搬送された次の紙葉類束収容箱２００から紙幣束ＭＴを抜き取ってその紙幣束ＭＴを紙幣整理機３００の載置トレイ３２０に搬送する。

＜制御テーブルの作成例＞
制御テーブルＴｏ０は、例えば、以下に説明する紙葉類束の特性判定用画像データ形成装置によって生成される。

＜紙葉類束の特性判定用画像データ形成装置の構成＞
紙葉類束の特性判定用画像データ形成装置１は、いわゆる電子計算機（コンピュータ）であって、図１０に示されるように、主に、本体１０、入力装置３１、及びディスプレイ３２を備える。以下、これらの構成要素について詳述した後に紙葉類束の特性判定用画像データ形成装置１の動作についても説明する。

＜紙葉類束の特性判定用画像データ形成装置の構成要素＞
（１）本体
本体１０は、図１０に示されるように、主に、中央処理部１１、メインメモリ１３、ストレージ１４、接続部１２、ＳＴＲインターフェイス１５、入力インターフェイス１６およびＤＳＰインターフェイス１７から構成されている。そして、図１０に示されるように、この本体１０では、中央処理部１１が第１バス線２１を介して、メインメモリ１３が第２バス線２２を介して、各種インターフェイス１５〜１７が第３バス線２３を介して接続部１２に接続されている。以下、これらの構成要素について説明する。

（１−１）中央処理部
中央処理部１１は、例えば、マイクロプロセッサと呼ばれる半導体チップ等であって、主に、制御部１１Ａおよび演算部１１Ｂから構成される（なお、この中央処理部１１には、他に１次キャッシュメモリや２次キャッシュメモリ等が含まれてもよい）。

（１−２）メインメモリ
メインメモリ１３は、例えば、ＲＡＭ（ランダムアクセスメモリ）等の揮発性高速メモリである。

（１−３）接続部
接続部１２は、チップセット等の半導体チップである。

（１−４）ストレージ
ストレージ１４は、ハードディスクドライブやソリッドステートドライブ等の補助記憶装置である。そして、このストレージ１４には、図１１に示されるように、オペレーティングシステム１４ａ、デバイスドライバ１４ｂおよび紙葉類束の特性判定用画像データ形成アプリケーション１４ｃ等のプログラム等が格納されている。なお、このストレージ１４は、内蔵タイプに限られず、外付けタイプであってもかまわない。

オペレーティングシステム１４ａは、例えば、ＷＩＮＤＯＷＳ（登録商標）、ＭＡＣ ＯＳ（登録商標）、ＯＳ／２、ＵＮＩＸ（登録商標）（例えば、Ｌｉｎｕｘ（登録商標）等）、あるいはＢｅＯＳ（登録商標）等であって、各部１２〜１４、各種インターフェイス１５〜１７、各装置３１，３２等のハードウェア管理や、ユーザインターフェイスの提供、各種データの管理、各種アプリケーションの共通部分の処理等を行う。

デバイスドライバ１４ｂは、ストレージ１４、接続部１２、および各装置３１，３２それぞれに対して用意されている専用プログラムであって、オペレーティングシステム１４ａがストレージ１４、接続部１２および各装置３１，３２を制御するための橋渡しをする役目を担っている。

紙葉類束の特性判定用画像データ形成アプリケーション１４ｃは、深層学習用のビッグデータを生み出すプログラムであって、主に、基本モジュール１４ｆ、画像加工モジュール１４ｇ、厚み導出モジュール１４ｈ、第１状態指標値導出モジュール１４ｉおよびデータベース１４ｊから構成されている。

上述の各モジュール１４ｆ〜１４ｉには、中央処理部１１に様々な処理を行わせるための種々の命令が記述されている。例えば、基本モジュール１４ｆには、ａ）基本データセットを作成するために必要なデータを入力するための入力ページをディスプレイ３２に表示する入力ページ表示命令、ｂ）データベース１４ｊからデータセット（後述）を呼び出すデータ呼出命令、ｃ）画像加工モジュール１４ｇ、厚み導出モジュール１４ｈおよび第１状態指標値導出モジュール１４ｉからの出力をデータセット化してデータベース１４ｊに登録するデータセット登録命令等が記述されている。また、画像加工モジュール１４ｇには、後述する画像伸縮命令や画像置換命令等が記述されている。厚み導出モジュール１４ｈには、後述する変換厚みを計算する変換厚み計算命令等が記述されている。第１状態指標値導出モジュール１４ｉには、後述する第１状態指標値Ｄｔ５’を計算する加工状態指標値計算命令等が記述されている。

データベース１４ｊには、図１３に示されるメインテーブルＴｏ１、および、図１４に示される画像加工用データテーブルＴｏ２が格納されている。メインテーブルＴｏ１には、図１３に示されるように、主に、第１ＩＤフィールドＦｏ１１、画像フィールドＦｏ１２、領域フィールドＦｏ１３、厚みフィールドＦｏ１４および第１状態指標値フィールドＦｏ１５が設けられている。第１ＩＤフィールドＦｏ１１には、１レコード毎に付される固有の数値データ（以下、第１ＩＤデータという。）Ｄｔ１１が格納されている。画像フィールドＦｏ１２には、後に図１５において説明する、前扉２２０を開けた状態における紙葉類束収容箱２００の正面の実画像データ（以下、基本実画像データという。）Ｄｔ１２が格納されている。なお、紙葉類束収容箱の正面の実画像には、紙葉類束ならびに紙葉類束収容箱２００の筐体２１０の正面枠や、上側支持板２３０および下側支持板２４０等が含まれている。領域フィールドＦｏ１３には、基本実画像データＤｔ１２中の紙葉類束の領域データ（以下、紙葉類束領域データという。）Ｄｔ１３が格納されている。なお、この領域データＤｔ１３は、対応する基本画像データのトリミング画像データであって、紙葉類束の画像のみから構成されている。厚みフィールドＦｏ１４には、紙葉類束領域データＤｔ１３に対応する紙葉類束の厚みのデータ（以下、厚みデータという。）Ｄｔ１４が格納されている。第１状態指標値フィールドＦｏ１５には、紙葉類束の状態指標値のデータ（以下、第１状態指標値データという。）Ｄｔ１５が格納されている。なお、この状態指標値は、紙葉類束のシワや傷み等の損傷を表す０から１の指標値であって、損傷具合が少ないものほど、また、紙葉類間に隙間がないものほど１に近くなる（なお、紙葉類間の隙間は実画像の色彩等から判断される。）。そして、上述の各フィールドＦｏ１１〜Ｆｏ１５に入力されているデータＤｔ１１〜Ｄｔ１５は、１レコード毎（図１３のメインテーブルＴｏ１の行毎）に関連付けられており、データセットを構成している。

画像加工用データテーブルＴｏ２には、図１４に示されるように、主に、第２ＩＤフィールドＦｏ２１、置換画像フィールドＦｏ２２および第２状態指標値フィールドＦｏ２３が設けられている。第２ＩＤフィールドＦｏ２１には、１レコード毎に付される固有の数値データ（以下、第２ＩＤデータという。）Ｄｔ２１が格納されている。置換画像フィールドＦｏ２２には、画像加工モジュール１４ｇで用いられる置換画像データＤｔ２２が格納されている。置換画像データＤｔ２２としては、種々の状態指標値に対する置換画像データＤｔ２２ａ〜Ｄｔ２２ｅが登録されている（図１６参照）。なお、この置換画像データＤｔ２２は、画像合成で作成されてもよいし、基本実画像データＤｔ１２の一部を切り出して作成されてもよい。第２状態指標値フィールドＦｏ２３には、上述の置換画像に対応する状態指標値データ（以下、第２状態指標値データという。）Ｄｔ２３が格納されている。なお、この第２状態指標値は、第１状態指標値と同様に紙葉類束のシワや傷み等の損傷を表す０から１の指標値であって、損傷具合が少ないものほど、また、紙葉類間に隙間がないものほど１に近くなる。そして、上述の各フィールドＦｏ２１〜Ｆｏ２３に入力されているデータＤｔ２１〜Ｄｔ２３は、１レコード毎（図１４の画像加工用データテーブルＴｏ２の行毎）に関連付けられており、データセットを構成している。

（１−５）インターフェイス
ＳＴＲインターフェイス１５は、ＩＤＥ（Integrated Drive Electronics）やＳｅｒｉａｌ ＡＴＡ等の補助記憶装置用インターフェイスであって、ストレージ１４を接続部１２に接続する。入力インターフェイス１６は、例えば、ＰＳ／２、ＵＳＢ、ＩＥＥＥ１２８４、ＲＳ２３２あるいはＩｒＤＡ（Infrared Data Association）等のインターフェイスであって、メインメモリ１３にデータを入力するためのキーボード、マウス、スキャナ、あるいはＯＣＲ（Optical Character Reader）等といった入力装置３１を接続する。ＤＳＰインターフェイス１７は、例えば、ＡＧＰ（Accelerated Graphics Port）、ＰＣＩ（Peripheral Component Interconnect）あるいはＲＳ２３２等のインターフェイス等であって、メインメモリ１３から送信されてきたデータを文字や画像として表示するためのＣＲＴディスプレイ、液晶ディスプレイ、あるいはプラズマディスプレイ等といったディスプレイ３２を接続する。

（１−６）紙葉類束の特性判定用画像データ形成装置の動作
次に、図１２を用いて紙葉類束の特性判定用画像データ形成装置１の動作について説明する。

制御部１１Ａは、図１２に示されるように、メインメモリ１３に一時記憶されるプログラムを読み込み（Ｆｄ６参照）、読み込んだプログラムに従って各部１３，１４および各装置３１，３２に動作を指示する（Ｆｃ１〜Ｆｃ５参照）。演算部１１Ｂは、制御部１１Ａの命令に従ってメインメモリ１３から必要なデータを取得して（Ｆｄ２参照）演算処理（例えば、算術演算処理や論理演算処理等）を行う。メインメモリ１３は、プログラムやデータ等をストレージ１４から取得して（Ｆｄ４参照）一時記憶したり、入力装置３１において入力されたデータを一時記憶したり（Ｆｄ１参照）、演算部１１Ｂから送信されるデータ等（Ｆｄ３参照）を一時記憶したりする。また、このメインメモリ１３は、制御部１１Ａの命令に応じて一時記憶しているデータ等を各部１１，１４およびディスプレイ３２に送信する（Ｆｄ２、Ｆｄ５、Ｆｄ６およびＦｄ７参照）。ストレージ１４は、制御部１１Ａの命令に応じてメインメモリ１３にプログラムやデータ等を供給したり（Ｆｄ４参照）メインメモリ１３から送信されるデータ等を格納したりする（Ｆｄ５参照）。

（２）入力装置
入力装置３０は、例えば、キーボード、マウス、スキャナ、あるいはＯＣＲ（Optical Character Reader）等の入力装置である。

（３）ディスプレイ
ディスプレイ３２は、例えば、ＣＲＴディスプレイ、液晶ディスプレイ、あるいはプラズマディスプレイ等の情報表示装置である。

＜紙葉類束の特性判定用画像データ形成アプリケーションによるデータセット増殖方法＞
上述の通り、本発明の実施の形態に係る紙葉類束の特性判定用画像データ形成アプリケーション１４ｃは、深層学習に代表される機械学習用のビッグデータを人工的に生み出すプログラムである。この紙葉類束の特性判定用画像データ形成アプリケーション１４ｃは、データベース１４ｊに保存されるメインテーブルＴｏ１のデータセットに対してデータ加工を施した後に、加工済みのデータセットを新規のデータセットとしてメインテーブルＴｏ１に保存することによってデータセットを増殖させるものである。以下、このデータセット増殖処理について詳述する。

（１）データセットを構成する各種データの準備
先ず、この紙葉類束の特性判定用画像データ形成アプリケーション１４ｃを用いてメインテーブルＴｏ１のデータセットを増殖させようとする者（以下「利用者」という。）は、厚みを測定すると共に第１状態指標値を付与した紙葉類束を、前扉を開けた状態の紙葉類束収容箱２００の規定位置に収納した後、その状態でその紙葉類束収容箱２００を正面側から定点デジタルカメラ（図示せず）で撮像し、紙葉類束を含む紙葉類束収容箱２００の正面の実画像データ（以下「実画像データ」と略する。）を入手する。なお、ここで、第１状態指標値を付与する際、例えば、多人数による主観評価の平均値などが用いられることが好ましい。次に、利用者は、画像編集アプリケーション等を用いてその実画像中の紙葉類束以外の箇所をトリミングして紙葉類束の領域画像データ（以下、これを「領域データ」という。）を作成する。そして、その利用者は、紙葉類束の厚みや状態を変える度に、その紙葉類束の厚みを測定すると共にその紙葉類束に対して第１状態指標値を付与し、さらにその基本実画像データＤｔ１２を入手した後に領域データＤｔ１３を作成する。すなわち、基本実画像データＤｔ１２、領域データＤｔ１３、厚みデータＤｔ１４、第１状態指標値データＤｔ１５から成る複数種類のデータセットを用意する。なお、ここで、上述の紙葉類束の厚み測定、紙葉類束への第１状態指標値付与、紙葉類束を含む紙葉類束収容箱２００の正面画像データ入手は、順不同で行われてもかまわない。

そして、利用者は、入力装置３１およびディスプレイ３２を利用して上述の４種のデータをデータセット単位でできるだけ多くメインテーブルＴｏ１に入力する。これで、準備は完了する。なお、上述の各種データは、入手毎に利用者によってメインテーブルＴｏ１に入力されてもかまわない。

（２）自動データセット増殖処理
上述の準備が完了し、紙葉類束の特性判定用画像データ形成アプリケーション１４ｃにおいて自動データセット増殖処理が開始されると、以下の通りにして自動的に新たなデータセットが増殖される。なお、ここでは、基本モジュール１４ｆ、画像加工モジュール１４ｇ、厚み導出モジュール１４ｈおよび第１状態指標値導出モジュール１４ｉがその主な役割を担う。基本モジュール１４ｆは、データベース１４ｊのメインテーブルＴｏ１からデータセットを読み出したり、画像加工用データテーブルＴｏ２からデータセットを読み出したりした後、さらにメインテーブルＴｏ１のデータセット中の基本実画像データＤｔ１２を読み出して、画像加工モジュール１４ｇにその基本実画像データＤｔ１２を加工させる。画像加工モジュール１４ｇは、その基本実画像データＤｔ１２を加工して厚みデータＤｔ１４’の導出用の加工画像データＤｔ１２’を作成するか、第１状態指標値データＤｔ１５’の導出用の加工画像データＤｔ１２’を作成する。なお、データセットを読み出す順序やデータ導出用の画像データの作成順序は、規則的であってもよいし、不規則的であってもよい。なお、この画像加工モジュール１４ｇは、画像加工モジュール１４ｇによって加工された加工画像データＤｔ１２’をさらに加工して厚みデータＤｔ１４’の導出用の加工画像データＤｔ１２’を作成するか、第１状態指標値データＤｔ１５’の導出用の加工画像データＤｔ１２’を作成してもよい。そして、厚み導出モジュール１４ｈは厚みデータＤｔ１４’の導出用の画像作成時にその厚みデータＤｔ１４’を導出し、第１状態指標値導出モジュール１４ｉは第１状態指標値データＤｔ１５’の導出用の画像作成時にその第１状態指標値データＤｔ１５’を導出する。このため、以下では、厚みデータＤｔ１４’の導出と第１状態指標値データＤｔ１５’の導出とを分けて自動データセット増殖処理の詳細について説明する。

（２−１）厚みデータ導出用画像データ作成および厚みデータ導出
以下、図１５を用いて厚みデータ導出用画像データ作成および厚みデータ導出について説明する。なお、図１５において（ａ）および（ｂ）は共に紙葉類束収容箱ＣＢを前から見た図であるが、（ａ）には元の実画像データＤｔ１２が示されており、（ｂ）には加工画像データＤｔ１２’が示されている。すなわち、図１５では、データセット中の領域データＤｔ１３を上下方向に沿って規定の倍率で引き伸ばす加工が行われている。図中の符号「ＯＬ」は元の実画像データにおける領域データＤｔ１３に対応する紙葉類束の厚みを示し、符号「ＭＬ」は加工画像データにおける領域データＤｔ１３’に対応する紙葉類束の厚みを示し、符号「ＭＤ」は加工前後における押え具部分ＰＤの移動距離を示している。なお、押え具部分ＰＤは、例えば、図６における実施の紙葉類束収容箱２１０では、上側支持板２３０とその上側に配設される付勢部材（コイルスプリング等）によって構成される。

先ず、画像加工モジュール１４ｇが、データセット中の領域データＤｔ１３を上下方向に沿って規定の倍率（＝ＭＬ／ＯＬ）で引き伸ばす加工を行う（図１５参照）。なお、ここで、画像加工モジュール１４ｇが、データセット中の領域データＤｔ１３を上下方向に沿って規定の倍率（＝ＭＬ／ＯＬ）で押し縮める加工を行って紙葉類束の加工領域データＤｔ１３’を作成してもかまわない。次に、画像加工モジュール１４ｇが、図１５に示されるように基本実画像データＤｔ１２中の領域データＤｔ１３を加工領域データＤｔ１３’で置き換えると共に、押え具部分ＰＤの下面が加工領域データＤｔ１３’の直上に位置するように押え具部分ＰＤを上下方向に沿ってＭＤ分だけ移動させて加工画像データＤｔ１２’を作成する。なお、図１５中、符号ＣＢで示される角枠体は紙葉類束収容箱２００の正面枠を指している。そして、データセット中の厚みデータＤｔ１４に、加工領域データＤｔ１３’作成時の倍率（伸縮率）（＝ＭＬ／ＯＬ）を乗じて新たな厚みデータＤｔ１４’を導出する。このようにして、元データセット（基本実画像データＤｔ１２，領域データＤｔ１３，厚みデータＤｔ１４，第１状態指標値データＤｔ１５）中３つのデータが新たにされた新データセット（加工画像データＤｔ１２’，加工領域データＤｔ１３’，厚みデータＤｔ１４’，第１状態指標値データＤｔ１５）が作成され、この新データセットが、固有の数値データＤｔ１１と共にデータベース１４ｊのメインテーブルＴｏ１に新たに登録される。

（２−２）第１状態指標値データ導出用画像データ作成および第１状態指標値データ導出
先ず、画像加工モジュール１４ｇが、図１６に示されるように、データセット中の領域データＤｔ１３の一部または全部を、データベース１４ｊの画像加工用データテーブルＴｏ２から読み出した１または複数の置換画像データＤｔ２２で置換し、加工領域データＤｔ１３’を作成する。なお、この際、領域データＤｔ１３の置換位置、および、用いられる置換画像データＤｔ２２の種類は、規則的に決められてもよいし、不規則的に決められてもよい。次に、画像加工モジュール１４ｇが、基本実画像データＤｔ１２中の領域データＤｔ１３を加工領域データＤｔ１３’で置き換えて加工画像データＤｔ１２’を作成する。そして、その領域データＤｔ１３に関連付けられている第１状態指標値データＤｔ１５、および、置換画像データＤｔ２２に関連付けられている第２状態指標値データＤｔ２３の少なくとも第２状態指標値データＤｔ２３の線形和を面積比率で算出して新たな第１状態指標値データＤｔ１５’を導出する。すなわち、図１６における加工領域データＤｔ１３’において、置換画像データＤｔ２２ｂに関連付けられる第２状態指標値データＤｔ２３が「０．９０」であり、置換画像データＤｔ２２ｃに関連付けられる第２状態指標値データＤｔ２３が「０．８０」であり、置換画像データＤｔ２２ｅに関連付けられる第２状態指標値データＤｔ２３が「０．６０」であり、置換画像データＤｔ２２ｆに関連付けられる第２状態指標値データＤｔ２３が「０．５０」であり、置換画像データＤｔ２２ｈに関連付けられる第２状態指標値データＤｔ２３が「０．３０」である場合、新たな第１状態指標値データＤｔ１５’は０．６１（＝０．９×（２／８）＋０．８×（１／８）＋０．６×（２／８）＋０．５０×（１／８）＋０．３０×（２／８））となる。このようにして、元データセット（基本実画像データＤｔ１２，領域データＤｔ１３，厚みデータＤｔ１４，第１状態指標値データＤｔ１５）中３つのデータが新たにされた新データセット（加工画像データＤｔ１２’，加工領域データＤｔ１３’，厚みデータＤｔ１４，第１状態指標値データＤｔ１５’）が作成され、この新データセットが、固有の数値データＤｔ１１と共にデータベース１４ｊのメインテーブルＴｏ１に新たに登録される。

＜制御テーブル中のデータとメインテーブル中のデータの対応関係＞
メインテーブルＴｏ１の基本実画像データＤｔ１２および加工画像データＤｔ１２’が制御テーブルＴｏ０の画像データＤｔ２に対応し、メインテーブルＴｏ１の厚みデータＤｔ１４，Ｄｔ１４’が制御テーブルＴｏ０の厚みデータＤｔ４に対応し、メインテーブルＴｏ１の第１状態指標値データＤｔ１５，Ｄｔ１５’が制御テーブルＴｏ０の状態指標値データＤｔ５に対応する。

＜本発明の実施の形態に係るロボットハンド付きロボットアーム制御システムの特徴＞
本発明の実施の形態に係るロボットハンド付きロボットアーム制御システム５００では、制御装置４００が、ロボットハンド１００およびロボットアームＲＡに対して、紙幣束ＭＴの厚みや状態を加味した動作を行わせることができる。したがって、このロボットハンド付きロボットアーム制御システム５００では、制御装置４００がロボットハンド付きロボットアームに対して紙葉類束収容箱２００から紙幣束ＭＴを抜き出させる際に、紙幣束ＭＴの一部がロボットハンド１００から脱落したりするおそれを低減させることができる。

＜変形例＞
（Ａ）
先の実施の形態に係るロボットハンド付きロボットアーム制御システム５００では、ロボットハンド１００に撮像装置ＤＣが取り付けられていたが、撮像装置ＤＣは、定点配置されてもかまわない。かかる場合、撮像装置ＤＣは複数個配置されてもよい。

（Ｂ）
先の実施の形態では特に言及しなかったが、ロボットハンド付きロボットアーム制御システム５００の制御装置４００に、紙葉類束の特性判定用画像データ形成装置１の機能を全て持たせるようにしてもよい。

（Ｃ）
先の実施の形態に係るロボットハンド付きロボットアーム制御システム５００では、制御装置４００により、可動指１１０を下方に移動して固定指１２０と共に紙幣束ＭＴを把持した後に、ロボットハンド１００を後退させて紙葉類束収容箱２００から紙幣束ＭＴを抜き取るように制御されたが、ロボットハンド１００が可動指１１０と固定指１２０により紙幣束ＭＴを把持した後に、ロボットハンド１００が一定距離だけ後退して紙幣束ＭＴを一定長さだけ手前に引き出してから紙幣束ＭＴを手放し、その引き出した紙幣束ＭＴの部分をロボットハンド１００が再び把持するように制御されてもよい。このようにすれば、ロボットハンド１００の紙幣束ＭＴの把持長さを長くとることができ、その把持状態をさらに安定化させることができる。なお、かかる段階において、制御装置４００が厚みデータＤｔ４や状態指標値データＤｔ５を利用して紙幣束ＭＴに対するロボットハンド１００の引き出し代および再把持時の把持代（掴み代）の少なくとも一方を制御するようにしてもよい。具体的な制御内容としては、例えば、紙幣束ＭＴの厚みが厚くなる程、紙幣束ＭＴの状態指標値が小さくなる程、または、紙幣束ＭＴの厚みが厚くなると共に紙幣束ＭＴの状態指標値が小さくなる程、引き出し代および再把持時の把持代（掴み代）の少なくとも一方を長くすることが挙げられる。かかる場合、紙幣束ＭＴの厚み、状態指標値を段階的に分けて、各段階でロボットハンド１００による引き出し代、再把持時の把持代（掴み代）を規定してもよい。

（Ｄ）
先の実施の形態では紙葉類束の特性判定用画像データ形成装置として図１０に示されるようなスタンドアローン型の電子計算機が利用されたが、通信ネットワークで相互接続されたグリッドコンピュータ等が利用されてもよい。

（Ｅ）
先の実施の形態に係る紙葉類束の特性判定用画像データ形成装置１では、データベース１４ｊのメインテーブルＴｏ１に領域フィールドＦｏ１３が設けられ、その領域フィールドＦｏ１３に予め領域データＤｔ１３が格納されていたが、（ｉ）エッジ抽出プログラム等により基本実画像データＤｔ１２から領域データＤｔ１３が自動的に抽出され、その領域データＤｔ１３が領域フィールドＦｏ１３に自動的に格納されるようにしてもよいし、（ｉｉ）領域フィールドＦｏ１３を設けず、エッジ抽出プログラム等により基本実画像データＤｔ１２から領域データＤｔ１３が自動的に抽出された後に、それを用いて加工画像データＤｔ１２’を作成するようにしてもよい。

（Ｆ）
先の実施の形態に係る紙葉類束の特性判定用画像データ形成装置１では特に言及しなかったが、紙葉類束が複数国の紙幣等である場合、メインテーブルＴｏ１に国識別フィールドが追加されてもよい。

（Ｇ）
先の実施の形態に係る紙葉類束の特性判定用画像データ形成装置１では、メインテーブルＴｏ１に厚みデータとして厚みの実寸データが登録されたが、この実寸データに代えて相対データを登録してもよい。この相対データとしては、例えば、紙葉類束収容箱２００の最大収容時厚みに対する紙葉類束の厚みの比率データ等が挙げられる。

（Ｈ）
先の実施の形態に係るロボットハンド１００では固定指１２０が固定され、可動指１１０のみが可動したが、固定指１２０も可動指１１０と同様に可動化されてもよい。

（Ｉ）
先の実施の形態に係るロボットハンド１００では可動指往復動機構１３０としてエアシリンダ機構が採用されたが、可動指往復動機構１３０として公知の往復動機構、例えば、ラック・アンド・ピニオン機構、ボールネジ機構、エアシリンダ機構、モータシリンダ機構、電動スライダ機構、ベルトスライダ機構およびリニアスライダ機構などの機構が採用されてもかまわない。また、かかる場合、駆動源として電動機を採用してもかまわない。

（Ｊ）
先の実施の形態に係るロボットハンド付きロボットアーム制御システム５００では、ロボットハンド１００に撮像装置ＤＣが１つ取り付けられていたが、ロボットハンド１００に複数の撮像装置ＤＣが取り付けられてもよい。かかる場合、各撮像装置ＤＣで取得された各画像データの照合結果から得られる値の平均値を採用してもよいし、各撮像装置ＤＣで取得された画像データの平均画像を用いて照合処理を行ってもよい。

１００ ロボットハンド
４００ 制御装置
４１０ 制御部
４２０ 記憶部
４３０ 導出部
４４０ 取得部
５００ ロボットハンド付きロボットアーム制御システム
Ｄｔ４ 厚みデータ（特性値情報，厚みに関する情報）
Ｄｔ５ 状態指標値データ（特性値情報，状態指標値の情報）
ＲＡ ロボットアーム
ＤＣ 撮像装置

Claims (5)

1. ロボットハンド付きロボットアームと、
   撮像装置と、
   紙葉類束の画像情報を特性値情報に関連付けて記憶する記憶部と、前記撮像装置から前記紙葉類束の画像情報を取得する取得部と、前記取得部において取得された前記紙葉類束の画像情報を、前記記憶部に記憶される前記紙葉類束の画像情報と照合して前記紙葉類束の特性値情報を導出する導出部と、導出部により導出された前記紙葉類束の特性値情報に基づいて前記ロボットハンド付きロボットアームの動作を制御する制御部とを有する制御装置と
   を備える、ロボットハンド付きロボットアーム制御システム。
2. 前記特性値情報は、前記紙葉類束の厚みに関する情報である
   請求項１に記載のロボットハンド付きロボットアーム制御システム。
3. 前記特性値情報は、前記紙葉類束の状態を示す状態指標値の情報である
   請求項１に記載のロボットハンド付きロボットアーム制御システム。
4. 紙葉類束の画像情報を特性値情報に関連付けて記憶する記憶部と、
   前記紙葉類束の画像情報を取得する取得部と、
   前記取得部において取得された前記紙葉類束の画像情報を、前記記憶部に記憶される前記紙葉類束の画像情報と照合して前記紙葉類束の特性値情報を導出する導出部と、
   前記導出部により導出された前記紙葉類束の特性値情報に基づいてロボットハンド付きロボットアームの動作を制御する制御部と
   を備える、ロボットハンド付きロボットアーム制御装置。
5. 紙葉類束の特性値情報に基づいてロボットハンド付きロボットアームの動作を制御する、ロボットハンド付きロボットアーム制御方法。