JP2021047839A - 機械学習用データセットの作成方法、学習モデルの生成方法、学習用データ作成装置、推論装置、ロボットの動作制御装置、訓練済みモデル、及び、ロボット - Google Patents

Abstract

【課題】画像情報に基づく、新規な高精度な物体認識技術を提供する。【解決手段】ロボットの動作制御装置１が実行する機械学習用データセットの作成方法は、紫外光光下において認識可能な発光部としての蛍光マーカ６が設けられた対象物２０を撮像し、対象物２０の可視光下で取得した可視光画像３１と（Ｓ１０３）、蛍光マーカ６が発光した状態の紫外光画像３２と（Ｓ１０５）、を取得する。【選択図】図３

Description

本開示は、機械学習用データセットの作成方法、学習モデルの生成方法、学習用データ作成装置、推論装置、ロボットの動作制御装置、訓練済みモデル、及び、ロボットに関する。

画像情報に基づいてロボットに状況認識や行動選択を行わせる研究が行われている。

例えば、双腕アームを備えるロボットが、乱雑に置かれた衣服の一点を持ち上げ、その３次元形状を推定し、二本の腕で衣服の持ち替えを繰り返すことによって折りたたみに適した把持点を把持できる技術が提案されている。（非特許文献１）

Y. Kita, F. Kanehiro, T. Ueshiba, N. Kita: "Strategy for Folding Clothing on the Basis of Deformable Models", ICIAR 2014, p. 442-452, 2014.

しかしながら、従来手法では、衣服といった柔軟物体の３次元形状を画像情報から推定することが難しい。このため、画像情報に基づく、新規な物体認識技術が求められている。

本発明の実施形態の一観点に係る機械学習用データセットの作成方法は、不可視光下において認識可能な発光部が設けられた対象物を撮像し、前記対象物の可視光下で取得した可視光画像と、前記発光部が発光した状態の不可視光画像と、を取得する。

第１実施形態に係るロボットの動作制御装置の機能ブロック図である。 制御装置のハードウェア構成図である。 第１実施形態における学習データ取得処理のフローチャートである。 第１実施形態における対象物の撮像画像の第１の例を示す図である。 第１実施形態における対象物の撮像画像の第２の例を示す図である。 第１実施形態におけるロボット把持制御のフローチャートである。 第２実施形態に係るロボットの動作制御装置の機能ブロック図である。 第２実施形態におけるロボット把持制御のフローチャートである。 第３実施形態に係るロボットの動作制御装置の機能ブロック図である。 第３実施形態における学習データ取得処理のフローチャートである。 第３実施形態における対象物の撮像画像の例を示す図である。 第３実施形態におけるロボット把持制御のフローチャートである。 第４実施形態に係るロボットの動作制御装置の機能ブロック図である。 第４実施形態におけるロボット動作制御のフローチャートである。 変形例に係るロボットの動作制御装置の要部構成図である。

以下、添付図面を参照しながら実施形態について説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の符号を付して、重複する説明は省略する。

［第１実施形態］
図１〜図６を参照して、第１実施形態を説明する。図１は、第１実施形態に係るロボットの動作制御装置１の機能ブロック図である。

図１に示すロボットの動作制御装置１は、ロボットの対象物２０に係る動作を制御する装置である。ロボットの動作を決める指標としては、対象物２０に設けられ、紫外光（不可視光の一例）の照射によって発光する発光部の情報が用いられる。なお、この「発光」とは、ロボットの視覚系が発光を認識できればよく、ロボットの周囲の人間にとっては必ずしも可視でなくてもよい。

特に第１実施形態では、ロボットの動作は、衣服やマグカップなどの対象物２０を双腕の多自由度ロボットアーム５で把持する把持動作である。また、第１実施形態では、発光部として、対象物２０の把持位置に設けられた、または把持位置の情報を示す蛍光マーカ６が用いられる。本実施形態の蛍光マーカ６は、可視光域の波長に対しては不可視であり、例えば不可視光、例えば紫外光を受光した際に可視光域の波長で発光する材料で形成される。このため、蛍光マーカ６は、可視光による観測時には透明、もしくは透明に近い白色など、対象物２０のテクスチャの判別を阻害しにくい、またユーザが気にならない外観とできる。

なお、蛍光マーカ６は、作成される訓練用データセットの条件等、利用される条件によっては、可視光域の波長に対して不可視（透明、白色等）でなくてもよい。また、不可視光も不可視であることに限られず、蛍光マーカ６の見え方を変えることができるものであればよい。この場合、本開示中の可視光は第１の波長の光、不可視光または紫外光を第２の波長の光と読み替えることができる。

つまり、蛍光マーカとしては、第１の光を照射した際と第２の光を照射した際とで視覚的に変化するものを用いることができる。視覚的な変化とは、例えば色の変化、蛍光マーカ以外の部分とのコントラストの変化を含む。具体的には、蛍光マーカに含有される蛍光物質として、青色光を吸収して黄色光を発光する蛍光体を用いた場合、第１の波長の可視光下では、蛍光マーカは薄い黄色に見え、青色光である第２の波長の発光下では白色等に見え、蛍光マーカは視覚的に変化している。

また、本開示の「蛍光」とは、蛍光および燐光を含むものとする。

さらに、図１に示すように対象物２０が衣服である場合には、把持動作によって衣服を把持した状態から所定の手順で衣服を折り畳むタスクも、ロボットが実行する動作に含むことができる。この場合、例えば蛍光マーカ６は異なる色で発光する複数種が衣服２０に設けられ、発光色情報により設定される順番で、ロボットアームによる衣服２０の把持位置を変更し、動作させることで、所定の手順で折り畳み動作を実行することができる。

ロボットの動作制御装置１は、カメラ４が撮影する対象物２０の画像情報に基づきロボットの行動を決定できる。この行動決定には機械学習を用いることができる。なお、図１に示すように、学習時に用いる対象物２０には、ロボットにより把持されるべき位置に（把持位置）に蛍光マーカ６が添付され、これを撮影した画像を用いて機械学習が行われるが、学習完了後に実際にロボットの動作制御を行う際には、対象物２０には蛍光マーカ６が無くてもよい。学習済みモデルを用いることにより、対象物２０のみの画像情報から蛍光マーカ６で教示された把持位置を推定できるためである。

図１に示すように、ロボットの動作制御装置１は、可視光ライト２と、紫外光ライト３と、カメラ４と、ロボットアーム５と、制御装置１０とを備える。

可視光ライト２（可視光照射部の一例）は、対象物２０に可視光を照射する。紫外光ライト３（不可視光照射部の一例）は、対象物２０に不可視光を照射する。対象物２０に設けられている蛍光マーカ６は、紫外光ライト３による紫外光の照射によって発光させることができる。なお、紫外光ライト３は、不可視光であって蛍光マーカ６を発光させることができるものであれば、紫外光以外の波長の光を照射する構成でもよい。また、紫外光ライトが発する光は完全に人間またはカメラにとって不可視であることに限られず、一部可視光領域の波長を含んでもよい。

カメラ４（撮像部の一例）は、対象物２０を撮像する。

ロボットアーム５は、本実施形態においては、対象物２０の把持操作を行う。ロボットアーム５は、例えば７自由度などの多自由度のロボットアームであり、手先位置を任意の位置、方向に移動させることができる。また、ロボットアーム５の先端には、例えばエンドエフェクタとして対象物２０を把持可能なロボットハンドが設けられる。ロボットアーム５は制御装置１０から出力される動作指令に応じて各部を動作させることができる。なお、ロボットアーム５は、双腕でも単腕でもよいが、本実施形態のように対象物２０が柔軟物であり、その操作を行う場合には双腕が好ましい。

制御装置１０は、ロボット動作全般を制御する。本実施形態の制御装置１０は、ロボット動作制御に関して、照射制御部１１と、画像取得部１２と、学習データ作成部１３と、学習部１４と、把持位置推定部１５と、ロボット制御部１６とを有する。

照射制御部１１は、可視光ライト２と紫外光ライト３の照射タイミングを制御する。具体的には、照射制御部１１は、可視光ライト２による対象物２０への可視光の照射と、紫外光ライト３による対象物２０への紫外光の照射とを所定タイミングで切り替えることができる。

画像取得部１２は、カメラ４により撮像された対象物２０の画像を取得する。本実施形態の画像取得部１２は、照射制御部１１から可視光ライト２と紫外光ライト３の切り替えタイミングの情報を受け取る。画像取得部１２は、この切り替えタイミングに基づき、照射制御部１１による照射の切り替え中にカメラ４により撮像される、対象物２０に可視光が照射されている状態の可視光画像３１（図５、図６参照）と、対象物２０に紫外光が照射され、蛍光マーカ６が発光している状態の紫外光画像（不可視光画像）（図５、図６参照）とを交互に取得する。

学習データ作成部１３は、画像取得部１２により取得された可視光画像３１と紫外光画像３２とを一組の学習データとして取得する。学習データ作成部１３は、所定組数の学習データを作成して学習部１４に出力する。

学習部１４は、特定の入出力関係をもつモデルを有し、機械学習によってモデルの入出力関係を変更する。モデルとしては、例えば多層ニューラルネットワーク、遺伝的アルゴリズムなどの教師あり学習モデルや、強化学習モデルなどを実装できる。また、モデルの機械学習手法としては、ディープラーニング、ランダムフォレスト回帰やカーネルリッジ回帰などを用いることができる。学習部１４は、例えばモデルが教師あり学習モデルの場合には、学習データ作成部１３により作成された学習データを用いて、モデルの入出力関係が学習データの入出力関係に近づくようにモデルの機械学習を実行する。学習部１４は、機械学習が完了し、学習データに基づく入出力関係を得た学習済みモデルを把持位置推定部１５に出力する。なお、「学習」や「学習済みモデル」との文言は、「訓練」、「生成」や「訓練済みモデル」、「生成モデル」とも表記する場合がある。

把持位置推定部１５（推定部）は、学習部１４により機械学習が行われた学習済みモデルを用いて、カメラ４により撮像される可視光画像３１から発光部の情報を推定する。具体的には、把持位置推定部１５は、可視光画像３１から対象物２０中に蛍光マーカ６があるべき位置を推定して、対象物２０の把持位置を推定する。

ロボット制御部１６は、把持位置推定部１５により推定された発光部の情報に応じて、ロボットアーム５による対象物２０に係る動作を制御する。具体的には、対象物２０が衣服の場合、ロボット制御部１６は、把持位置推定部１５により推定された衣服２０の把持位置を把持し、衣服２０を折り畳むタスクを実行するようロボットアーム５の動作を制御する。

第１実施形態では、制御装置１０の各要素の動作時期を、学習データ作成部１３及び学習部１４がモデルの機械学習を行う「学習時」と、把持位置推定部１５及びロボット制御部１６が学習済みモデルを利用して衣服２０の把持位置を推定してロボットアーム５による把持動作、折り畳み動作を行う「推定時」の２段階に分けることができる。図１に示すように、学習時には、把持位置の学習データ取得のために、把持位置に蛍光マーカ６が付加されている対象物２０が用いられ、一方推定時には、蛍光マーカ６が付加されていない対象物２０を用いることができる。

なお、図１などに示す、制御装置１０の各機能ブロックは、あくまで制御装置１０の複数の機能を説明するために便宜上区分したものであり、複数の機能ブロックが単一の構成であってもよいし、単一の機能ブロックをさらに複数に区分する構成でもよい。例えば、学習済みモデルの出力を把持位置ではなくロボットアーム５の制御量とした場合には、把持位置の推定を明示的に行う必要がないので、把持位置推定部１５はロボット制御部１６に包含できる。

第１実施形態では、学習データ作成部１３、学習部１４、把持位置推定部１５が、「照射制御部１１による照射の切り替え中にカメラ４により撮像される紫外光画像３２に基づき、発光部を検出する検出部」を構成する。

図２は、制御装置１０のハードウェア構成図である。図２に示すように、制御装置１０は、物理的には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、主記憶装置であるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２およびＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３、入力デバイスであるキーボード及びマウス等の入力装置１０４、ディスプレイ等の出力装置１０５、ネットワークカード等のデータ送受信デバイスである通信モジュール１０６、補助記憶装置１０７、などを含むコンピュータシステムとして構成することができる。

図１に示す制御装置１０の各機能は、ＣＰＵ１０１、ＲＡＭ１０２等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとで通信モジュール１０６、入力装置１０４、出力装置１０５を動作させるとともに、ＲＡＭ１０２や補助記憶装置１０７におけるデータの読み出し及び書き込みを行うことで実現される。すなわち、本実施形態のプログラムをコンピュータ上で実行させることで、制御装置１０は、図１の照射制御部１１、画像取得部１２、学習データ作成部１３、学習部１４（学習済みモデル）、把持位置推定部１５、ロボット制御部１６として機能する。

また、制御装置１０の各機能は、アナログ回路、デジタル回路又はアナログ・デジタル混合回路で構成された回路であってもよい。また、各機能の制御を行う制御回路を備えていてもよい。各回路の実装は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等によるものであってもよい。

制御装置１０の各機能の少なくとも一部はハードウェアで構成されていてもよいし、ソフトウェアで構成され、ソフトウェアの情報処理によりＣＰＵ等が実施をしてもよい。ソフトウェアで構成される場合には、制御装置１０及びその少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記憶媒体に収納し、コンピュータに読み込ませて実行させるものであってもよい。記憶媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記憶媒体であってもよい。すなわち、ソフトウェアによる情報処理がハードウェア資源を用いて具体的に実装されるものであってもよい。さらに、ソフトウェアによる処理は、ＦＰＧＡ等の回路に実装され、プロセッサ等のハードウェアが実行するものであってもよい。ジョブの実行は、例えば、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のアクセラレータを使用して行ってもよい。

例えば、コンピュータが読み取り可能な記憶媒体に記憶された専用のソフトウェアをコンピュータが読み出すことにより、コンピュータを上記の実施形態の装置とすることができる。記憶媒体の種類は特に限定されるものではない。また、通信ネットワークを介してダウンロードされた専用のソフトウェアをコンピュータがインストールすることにより、コンピュータを上記の実施形態の装置とすることができる。こうして、ソフトウェアによる情報処理が、ハードウェア資源を用いて、具体的に実装される。なお、メモリ、プロセッサ、コンピュータ等のハードウェアは、それぞれ１つ、または１つ以上備えられてもよい。

制御装置１０や、可視光ライト２、紫外光ライト３、カメラ４は、ロボットアーム５を備えるロボットの躯体に設けることができる。または、制御装置１０や、可視光ライト２、紫外光ライト３、カメラ４は、ロボットアーム５を備えるロボットと物理的に離れた場所に設置され、ロボットと通信可能に接続される構成でもよい。または、制御装置１０のうち、学習時に用いられる学習データ作成部１３及び学習部１４がロボットと別体として設けられ、推定時に用いられる把持位置推定部１５及びロボット制御部１６がロボット内に設けられる構成でもよい。

また、制御装置１０が単体ではなく、制御装置１０の各機能の一部が別体として物理的に離れた場所に設置される構成でもよい。例えば、制御装置１０の照射制御部１１を可視光ライト２や紫外光ライト３の内部またはその近傍に設けてもよい。

図３は、第１実施形態における学習データ取得処理のフローチャートである。図３のフローチャートの処理は、学習部１４によるモデルの機械学習の前に実行される。なお、ここではモデルの学習手法として教師あり学習を例示して説明する。

ステップＳ１０１では、カメラ４の撮像範囲に、蛍光マーカ６を付けた対象物２０（訓練対象物）が設置される。

ステップＳ１０２では、照射制御部１１により、可視光ライト２が点灯制御され、かつ、紫外光ライト３が消灯され、可視光が対象物２０に照射される。

ステップＳ１０３では、画像取得部１２により、対象物２０に可視光が照射されている状態の可視光画像３１（訓練用可視光画像）が取得される。

ステップＳ１０４では、照射制御部１１により、可視光ライト２が消灯制御され、かつ、紫外光ライト３が点灯制御され、紫外光が対象物２０に照射される。

ステップＳ１０５では、画像取得部１２により、対象物２０に紫外光が照射されている状態の紫外光画像３２（訓練用不可視光画像）が取得される。

ステップＳ１０６では、学習データ作成部１３により、ステップＳ１０３で取得された可視光画像３１と、ステップＳ１０５で取得された紫外光画像３２とが一組の学習データとして保存される。

ステップＳ１０７では、学習データ作成部１３により、学習データのデータ数が所定量以上保存されているか否かが判断される。学習データが所定数未満の場合（ステップＳ１０７のＮｏ）、ステップＳ１０８に進み、カメラ４の視点や対象物２０の形状を変更する作業が行われ、ステップＳ１０２に戻り引き続き学習データの取得が継続される。なお、カメラ４の視点変更は、例えばカメラ４が載置台の周囲を自動的に移動できる機構を設け、載置台に置かれた対象物２０の周囲をカメラ４が撮像しながら回動する構成が考えられる。また、対象物２０の形状変更は、例えば、対象物２０がカップなどの剛体の場合には、カップの上下を入れ替えるなど、載置台に置かれた対象物２０の接地部分を変える構成が考えられる。また、対象物２０が衣服など柔軟物の場合には、衣類を丸めたり、折りたたむなど、対象物２０上での蛍光マーカ６の位置を変える構成が考えられる。

図４は、第１実施形態における対象物２０の撮像画像の第１の例を示す図である。図５は、第１実施形態における対象物２０の撮像画像の第２の例を示す図である。図４、図５では、（Ａ）が可視光画像３１の画像例であり、（Ｂ）が紫外光画像３２の画像例であり、（Ａ）と（Ｂ）は一対の学習データとして纏められている。

図４の例では、対象物２０のＴシャツがきれいに広げられて置かれている。図４（Ａ）に示すように、蛍光マーカ６は可視光では発光しないため、可視光画像３１には蛍光マーカ６は写っていない。一方、図４（Ｂ）に示すように、紫外光画像３２では、蛍光マーカ６が発光しており、Ｔシャツの両肩の位置で発光しているのが明確に写っている。

一方、図５の例では、対象物２０のＴシャツがくしゃくしゃに丸めて置かれている。ステップＳ１０８では、例えば図４に示す状態から図５に示す状態へと対象物２０の形状を変更すればよい。この例でも、図４の例と同様に、図５（Ａ）に示すように可視光画像３１には蛍光マーカ６は写っておらず、図５（Ｂ）に示すように紫外光画像３２では蛍光マーカ６が発光している。これにより、把持位置の目標である両肩の位置が特定できるようになっている。このように対象物２０のＴシャツが様々な形状のときの蛍光マーカ６の位置、すなわち両肩位置の情報を学習データとして用いることによって、蛍光マーカ６が付与されていない対象物に対しても、対象物の特定の部位であってロボットによる操作に適切な特定の位置を、適切に判別可能な学習済みモデルを作成することができる。これにより学習済みモデルの推定能力を向上でき、ロボットの把持動作の精度を向上できる。

また、このように、マーカとして可視光下で不可視の蛍光マーカ６を利用することで、１つの物体を用いて、マーカが表示された画像と、マーカが表示されていない画像、つまり画像データ上物体にマーカが付与されていないものと同等とみなせる画像とのセットを容易に作成することができる。これにより、学習用データセットを容易に作成することができる。

一方、学習データが所定数以上保存されている場合（ステップＳ１０７のＹｅｓ）には、本制御フローを終了する。その後、学習部１４が保存された学習データを利用してモデルの機械学習を行う。

図６は、第１実施形態におけるロボット把持制御のフローチャートである。図６のフローチャートの処理は、学習部１４によるモデルの機械学習の後に実行される。

ステップＳ２０１では、カメラ４の撮像範囲に、蛍光マーカ６の無い対象物２０（操作対象物）が設置される。

ステップＳ２０２では、照射制御部１１により、可視光ライト２が点灯制御され、かつ、紫外光ライト３が消灯され、可視光が対象物２０に照射される。

ステップＳ２０３では、画像取得部１２により、対象物２０に可視光が照射されている状態の可視光画像３１が取得される。なお、本ステップにて取得される可視光画像３１を撮像するカメラ４は、図３の学習データ取得処理のステップＳ１０３、Ｓ１０５の各画像を撮像したカメラ４と別の物でもよい。

ステップＳ２０４では、把持位置推定部１５により、学習済みモデルに可視光画像が入力されて、対象物２０の把持位置が推定される。図５、図６を参照して説明したように、学習済みモデルでは蛍光マーカ６が表示されていない可視光画像３１の入力に対して、紫外光画像３２に表示されているマーカ位置を出力するようにモデルの入出力関係が学習されるので、学習済みモデルでは蛍光マーカ６が表示されていない可視光画像３１を入力すれば、この可視光画像３１での蛍光マーカ６の位置、すなわち対象物２０の把持位置が出力される。

ステップＳ２０５では、ロボット制御部１６により、ステップＳ２０４にて推定された把持位置をロボットアーム５で把持するよう制御が行われる。

ステップＳ２０６では、ロボット制御部１６により、対象物２０を把持した後のロボットアーム動作が実行される。このような動作としては、例えば対象物２０が衣服の場合には衣服の折り畳みタスクが考えられる。対象物２０がマグカップなどの食器類の場合には、把持した食器を所定位置へ片づけるタスクが考えられる。

なお、対象物２０に添付する蛍光マーカ６として複数種類を利用してもよい。例えば、折り畳みタスクを行わせる場合には、図３のフローチャートのステップＳ１０１において異なる色で発光する複数種の蛍光マーカ６が衣服２０に設けられ、発光色によって折り畳みの順番を教示してもよい。この場合、図６のフローチャートのステップＳ２０６では、蛍光マーカ６の発光色で教示された順番で、ロボットアームによる衣服２０の把持位置を順次変更して、所定の手順で折り畳み動作を実行することができる。この構成により、蛍光マーカ６を対象物２０に付加するという簡単な作業によって、より複雑な動作の教示が可能となる。また、複数種類の蛍光マーカ６は、マーカの形状や付与の方法が異なるものであってもよい。例えば、第１の蛍光マーカを実線、第２の蛍光マーカを破線とすることができる。

第１実施形態のロボットの動作制御装置１では、衣服などの対象物２０の把持位置に蛍光マーカ６を付けて、この蛍光マーカ６を発光させた紫外光画像３２を機械学習の学習データとして用いることにより、把持位置の推定を容易に行うことができる。

また、第１実施形態のロボットの動作制御装置１は、蛍光マーカ６を付した対象物２０の可視光画像３１と紫外光画像３２とを切り替えて撮像することで、学習データを容易に生成できる。これにより、機械学習のための準備作業を容易にできる。また、学習済みモデルの推定精度を向上できる。また、学習済みモデルを用いてロボットの動作を制御する際には、蛍光マーカ６の無い対象物２０の可視光画像３１のみから対象物２０の把持位置を推定できるので、ロボットアーム５による対象物２０の把持操作を容易かつ適切にできる。この結果、第１実施形態のロボットの動作制御装置１は、画像情報に基づく、より簡易かつより高精度な、新規の物体認識技術を提供できる。

また、学習部１４によるモデルの機械学習を済ませてしまえば、実際にロボットに把持操作をさせる場面（上述の「推定時」）では、蛍光マーカ６を対象物２０に付加しなくても把持位置の推定が可能なので、ロボットの動作のために特別な対象物２０を準備する必要がない。このため、例えば人間の住環境下などに低コストでロボットを導入することができ、ロボットの汎用性を向上できる。これらの利点は、人間の住環境下で家事等のさまざまなサポートを行う用途などに用いられるパーソナルロボットの普及に特に有用である。

［第２実施形態］
図７、図８を参照して第２実施形態を説明する。図７は、第２実施形態に係るロボットの動作制御装置１Ａの機能ブロック図である。図７に示すように、第２実施形態のロボットの動作制御装置１Ａは、学習データ作成部１３、学習部１４を備えない点で第１実施形態と異なる。

また、第２実施形態のロボットの動作制御装置１Ａでは、ロボット５に蛍光マーカ６が付与された対象物２０を、蛍光マーカ６を認識した上で把持する。つまり、把持位置推定部１５Ａは、紫外光画像３２を参照して、紫外光画像３２に写っている蛍光マーカ６の位置から対象物２０の把持位置を特定する。

第２実施形態では、把持位置推定部１５Ａが、「カメラ４により撮像される紫外光画像３２に基づき、発光部を検出する検出部」を構成する。

図８は、第２実施形態におけるロボット把持制御のフローチャートである。

ステップＳ３０１では、カメラ４の撮像範囲に、蛍光マーカ６を付けた対象物２０が設置される。

ステップＳ３０２では、照射制御部１１により、紫外光ライト３が消灯され、可視光が対象物２０に照射される。

ステップＳ３０３では、画像取得部１２により、対象物２０に可視光が照射されている状態の可視光画像３１が取得される。

ステップＳ３０４では、照射制御部１１により、紫外光ライト３が点灯制御され、紫外光が対象物２０に照射される。

ステップＳ３０５では、画像取得部１２により、対象物２０に紫外光が照射されている状態の紫外光画像３２が取得される。

ステップＳ３０６では、把持位置推定部１５Ａにより、紫外光画像３２が加工される。把持位置推定部１５Ａは、例えば、紫外光画像３２（図４、図５（Ｂ）参照）のうち蛍光マーカ６の光が写っている部分を強調できるよう、画像を二階調化してマーカ部分が白色、他の部分が黒色で表示されるように紫外光画像３２を加工する。

ステップＳ３０７では、把持位置推定部１５Ａにより、加工済み紫外光画像からマーカ位置が検出され、この検出されたマーカ位置が対象物２０の把持位置として推定される。

ステップＳ３０８では、ロボット制御部１６により、ステップＳ３０７にて推定された把持位置をロボットアーム５で把持するよう制御が行われる。

ステップＳ３０９では、ロボット制御部１６により、対象物２０を把持した後のロボットアーム動作（衣服の折り畳みタスク、マグカップの片づけタスクなど）が実行される。

第２実施形態のロボットの動作制御装置１Ａは、予め機械学習を行わなくても、蛍光マーカ６を付した対象物２０の紫外光画像３２のみから対象物２０中の蛍光マーカ６の位置を直接検出できるので、対象物２０の把持位置を簡易かつ高精度に検出できる。

また、蛍光マーカ６は可視光下では透明となるため、例えば人間の住環境下などに蛍光マーカ６を付けた対象物２０を置いても、人間による対象物２０の視認の際に邪魔にならず、また、対象物２０のデザインや美観を損ねることもない。さらに、紫外光ライト３の点灯を、人間が視認できない程度の高い周波数（例えば３０Ｈｚ以上）で行なえば、把持位置検出用の紫外光画像３２を人間に認識させることなく取得できる。したがって、例えば住宅内などロボットと人間との距離が近く接触し得る環境下でも、人間の行動に影響を与えることなく、ロボットの行動を精度良く制御でき、人間とロボットとの親和性を向上できる。

なお、本実施形態においては、紫外光ライト３の点灯時に可視光ライト２を消灯してもよい。これにより、蛍光マーカ６が明瞭に認識可能な紫外光画像３２を取得できる。一方、蛍光マーカ６が適切に認識可能であれば、紫外光画像３２の取得時において、可視光ライト２は点灯されていてもよい。また、太陽光や部屋の照明等、動作制御装置１Ａが制御しにくい、または制御できない可視光源が存在し、紫外光のみでの撮影ができない環境下においても、同様に紫外光画像３２を取得してもよい。この場合の紫外光画像３２は、可視光下で得られる画像に紫外光下で得られる蛍光マーカ６が表示されたものであってもよい。

［第３実施形態］
図９〜図１２を参照して第３実施形態を説明する。図９は、第３実施形態に係るロボットの動作制御装置１Ｂの機能ブロック図である。図９に示すように、第３実施形態のロボットの動作制御装置１Ｂは、対象物２１が液体、粉粒体等の不定形な物体や気体などであり、発光部（蛍光マーカ）が、対象物２１に混入、または対象物２１の表面に塗布される蛍光材７であり、学習系が可視光画像３１と、紫外光画像３２中の蛍光材７の発光による対象物２１の外形との関係を学習し、学習済みモデルが可視光画像３１から対象物２１の種類や形状、位置等を推定する。

制御装置１０Ｂは、物体認識部１７を有する。

物体認識部１７（推定部）は、学習済みモデルを用いて、カメラ４により撮像される可視光画像３１から発光部の情報を推定する。具体的には、物体認識部１７は、学習部１４により機械学習が行われた学習済みモデルを用いて、カメラ４により撮像される可視光画像３１から対象物２１の外形を推定する。さらに、対象物２１の種類を推定してもよい。例えば、対象物２１の外形が、上方から下方に移動して所定領域に蓄積されるものであれば、物体認識部１７は、対象物２１が不定形の物体、例えば液体や粉粒体等であると認識できる。

第３実施形態では、学習データ作成部１３及び学習部１４がモデルの機械学習を行う「学習時」と、物体認識部１７及びロボット制御部１６が学習済みモデルを利用して対象物２１の物体認識と物体認識に応じたロボットアーム動作を行う「推定時」の２段階に分けることができる。図９に示すように、学習時には、対象物２１の外形の学習データ取得のために、例えば粉末状や液体状の蛍光材７が混入されている対象物２１が用いられ、一方推定時には、蛍光材７が混入されていない対象物２１を用いることができる。

第３実施形態では、学習データ作成部１３、学習部１４、物体認識部１７が、「照射制御部１１による照射の切り替え中にカメラ４により撮像される紫外光画像３２に基づき、発光部を検出する検出部」を構成する。

図１０は、第３実施形態における学習データ取得処理のフローチャートである。図１０のフローチャートの処理は、学習部１４によるモデルの機械学習の前に実行される。

ステップＳ４０１では、カメラ４の撮像範囲に、蛍光材７を混入した対象物２１（訓練対象物）が設置される。

ステップＳ４０２では、照射制御部１１により、可視光ライト２が点灯制御され、かつ、紫外光ライト３が消灯され、可視光が対象物２１に照射される。

ステップＳ４０３では、画像取得部１２により、対象物２１に可視光が照射されている状態の可視光画像３１が取得される。

ステップＳ４０４では、照射制御部１１により、可視光ライト２が消灯制御され、かつ、紫外光ライト３が点灯制御され、紫外光が対象物２１に照射される。

ステップＳ４０５では、画像取得部１２により、対象物２１に紫外光が照射されている状態の紫外光画像３２が取得される。

ステップＳ４０６では、学習データ作成部１３により、ステップＳ４０３で取得された可視光画像３１と、ステップＳ４０５で取得された紫外光画像３２とが一組の学習データとして保存される。

ステップＳ４０７では、学習データ作成部１３により、学習データのデータ数が所定量以上保存されているか否かが判断される。学習データが所定数未満の場合（ステップＳ４０７のＮｏ）、ステップＳ４０８に進み、カメラ４の視点や対象物２１の形状を変更する作業が行われ、ステップＳ４０２に戻り引き続き学習データの取得が継続される。なお、カメラ４の視点変更は、例えばカメラ４が載置台の周囲を自動的に移動できる機構を設け、載置台に置かれた対象物２１の周囲をカメラ４が撮像しながら回動する構成が考えられる。また、対象物２１の形状変更は、例えば、対象物２１が水の場合には、ペットボトルに入っている水の量を増減させたり、ペットボトルからコップへ注ぐスピードを速くして水が流れ落ちる形状を変えたり、などの構成が考えられる。

図１１は、第３実施形態における対象物２１の撮像画像の例を示す図である。図１１では、（Ａ）が可視光画像３１の画像例であり、（Ｂ）が紫外光画像３２の画像例であり、（Ａ）と（Ｂ）は一対の学習データとして纏められている。図１１の例では、図１１（Ａ）に示すように、蛍光材７は可視光では発光しないため、可視光画像３１には蛍光材７は写っておらず対象物２１の透明な水のみが写っている。一方、図１１（Ｂ）に示すように、紫外光画像３２では、蛍光材７が対象物２１の水の形状に沿って発光しているのが明確に写っている。

学習データが所定数以上保存されている場合（ステップＳ４０７のＹｅｓ）には、本制御フローを終了する。その後、学習部１４が保存された学習データを利用してモデルの機械学習を行う。

図１２は、第３実施形態におけるロボット把持制御のフローチャートである。図１２のフローチャートの処理は、学習部１４によるモデルの機械学習の後に実行される。

ステップＳ５０１では、カメラ４の撮像範囲に、蛍光材７を混入しない対象物２１（操作対象物）が設置される。

ステップＳ５０２では、照射制御部１１により、可視光ライト２が点灯制御され、かつ、紫外光ライト３が消灯され、可視光が対象物２１に照射される。

ステップＳ５０３では、画像取得部１２により、対象物２１に可視光が照射されている状態の可視光画像３１が取得される。

ステップＳ５０４では、物体認識部１７により、学習済みモデルに可視光画像が入力されて、対象物２１の物体形状が推定される。図１１を参照して説明したように、学習済みモデルでは蛍光材７が表示されていない可視光画像３１の入力に対して、紫外光画像３２に表示されている蛍光材７の形状を出力するようにモデルの入出力関係が学習されるので、学習済みモデルでは蛍光材７が表示されていない可視光画像３１を入力すれば、この可視光画像３１での蛍光材７の形状、すなわち対象物２１の外形が出力される。

ステップＳ５０５では、物体認識部１７により、ステップＳ５０４にて推定された物体形状に基づく物体認識が行われる。図１１に示した例では、物体認識部１７は、ペットボトルに残っている水の残量や流出量を認識できる。

ステップＳ５０６では、ロボット制御部１６により、ステップＳ５０５の物体認識結果に応じたロボットアーム動作が実行される。例えば、ペットボトルの水の残量が所定量以上の場合には、対象物２１の水が入っているペットボトルを冷蔵庫に移動する動作を実行することができるし、残量が所定量以下の場合にはペットボトルをゴミ箱へ捨てる動作を実行できる。

従来の物体認識技術では水やガラスなどの透明物体は画像による認識が困難であった。特に液体の場合、セグメンテーションを行うとすると形が逐次変化するため、セグメンテーションの教師データを作成すること自体にコストがかかっていた。しかし第３実施形態の手法により、例えば可視光と紫外光とを高速に切り替えて撮影した可視光画像３１と紫外光画像３２とを利用することで、透明物体の位置を容易に把握することとができ、セグメンテーションのアノテーションデータを作成することができる。これらのデータに基づいて学習した学習モデルを利用することで、透明物体の認識精度の向上が期待される。

同様に、透明ではない物体にも、物体の一部にマーカ（蛍光材７）を塗付等により付与すること、特に認識したい部分別に複数の種類のマーカで付与することにより、セマンティックセグメンテーション用のデータを容易に作成できる。

言い換えると、第３実施形態のロボットの動作制御装置１Ｂでは、対象物２１として、液体、粉粒体、気体など、主に透明である、または安定的な形状をとらず一般的な画像認識では識別が難しい物体を対象としている。このような対象物２１でも、蛍光材７を混入させた対象物２１の可視光画像３１と紫外光画像３２とを切り替えて撮像することで、学習データを容易に生成でき、機械学習のための準備作業を容易にできるし、学習済みモデルの推定精度を向上できる。また、例えば、食材などの形状が可変であったり複数の部分に分離可能な対象物２１にマーカ（蛍光材７）を付与しておくことで、対象物に切断等の加工を施した後でも、マーカに基づいて同じ１つの対象物として認識することが可能になる。

第３実施形態の対象物２１の具体例としては、上述の容器内の水の他にも、水はねや油はね、細かく刻まれた食べ物、匙に載せられた粉薬、湯気、などが挙げられる。なお、対象物２１と同様に、一般的な画像認識では識別が難しい他の物体としては、例えばガラスや透明樹脂製の容器などの透明物体や、フェンス、金網など、背景が透けて見えてエッジ検出しにくいものや、スライムなど形状が不規則に変化するもの、窓ガラス、鏡等の鏡面加工が施されているもの、水面、廊下等の光を反射するものが挙げられる。蛍光材７の対象物２１への付与方法は、例えば、対象物２１の表面に塗布することや、対象物２１への表面塗布が困難な場合には対象物２１に混入することがあげられる。

［第４実施形態］
図１３、図１４を参照して第４実施形態を説明する。図１３は、第４実施形態に係るロボットの動作制御装置１Ｃの機能ブロック図である。図１３に示すように、第４実施形態のロボットの動作制御装置１Ｃは、学習系（学習データ作成部１３、学習部１４）を備えず、発光部として、紫外光の照射によって発光し、対象物２２に係る各種情報を含む蛍光情報部８を備える。

制御装置１０Ｃは、第１実施形態の把持位置推定部１５と置き換わる要素として情報読取部１８を有する。

情報読取部１８は、紫外光画像３２の中の蛍光情報部８に基づき対象物２２に関する各種情報を読取る。蛍光情報部８は、例えば図１３に示すような、不可視光の照射によって発光する二次元バーコードである。

ロボット制御部１６は、情報読取部１８により読取られた対象物２２に関する各種情報に応じたロボットアーム５の動作を制御する。例えば図１３の例では、対象物２２がドアノブであり、蛍光情報部８にはこのドアノブが付くドアが押し開きタイプである情報が含まれており、ロボット制御部１６は、この蛍光情報部８の情報に応じて、ロボットアーム５にドアノブ２２を把持してドアを押し開く動作を実行させる。

第４実施形態では、情報読取部１８が、「照射制御部１１による照射の切り替え中にカメラ４により撮像される紫外光画像３２に基づき、発光部を検出する検出部」を構成する。

図１４は、第４実施形態におけるロボット動作制御のフローチャートである。

ステップＳ６０１では、カメラ４の撮像範囲に、蛍光情報部８（蛍光二次元バーコード）を付けた対象物２２が設置される。

ステップＳ６０２では、照射制御部１１により、可視光ライト２が点灯制御され、かつ、紫外光ライト３が消灯され、可視光が対象物２２に照射される。

ステップＳ６０３では、画像取得部１２により、対象物２２に可視光が照射されている状態の可視光画像３１が取得される。

ステップＳ６０４では、照射制御部１１により、紫外光ライト３が点灯制御され、紫外光が対象物２２に照射される。

ステップＳ６０５では、画像取得部１２により、対象物２２に紫外光が照射されている状態の紫外光画像３２が取得される。

ステップＳ６０６では、情報読取部１８により、紫外光画像３２が加工される。情報読取部１８は、例えば、紫外光画像３２のうち蛍光情報部８の光が写っている部分を強調できるよう、画像を二階調化して蛍光情報部８の部分が白色、他の部分が黒色で表示されるように紫外光画像３２を加工する。

ステップＳ６０７では、情報読取部１８により、加工済み紫外光画像から、蛍光情報部８の二次元バーコードが検出される。

ステップＳ６０８では、情報読取部１８により、検出した二次元バーコードから対象物２２の情報が読み取られる。

ステップＳ６０９では、ロボット制御部１６により、ステップＳ６０８にて読取られた対象物２２の情報に応じたロボットアーム動作が実行される。例えば、対象物２２がドアノブであり、蛍光情報部８から読み取った情報が、このドアノブが付くドアが押し開きタイプであるとの情報の場合には、ロボット制御部１６は、ロボットアーム５がドアノブ２２を把持してドアを押し開くタスクをロボットアーム５に実行させる。

第４実施形態のロボットの動作制御装置１Ｃでは、蛍光情報部８を付した対象物２２の紫外光画像３２のみから対象物２２中の蛍光情報部８の情報を直接読取るので、ロボットの動作決定に必要な情報をロボットに簡易に取得させることができる。

また、蛍光情報部８は可視光下では透明となるため、例えば人間の住環境下などに蛍光情報部８を付けた対象物２２を置いても、人間による対象物２２の視認の際に邪魔にならず、また、対象物２０のデザインや美観を損ねることもない。さらに、可視光ライト２と紫外光ライト３との切り替えを、人間が視認できない程度の高い周波数（例えば３０Ｈｚ以上）で行なえば、蛍光情報部８の情報を得るための紫外光画像３２を人間に認識させることなく取得できる。したがって、例えば住宅内などロボットと人間との距離が近く接触し得る環境下でも、人間の行動に影響を与えることなく、ロボットの行動を精度良く制御でき、人間とロボットとの親和性を向上できる。

［変形例］
図１５を参照して、上記実施形態の変形例を説明する。図１５は、変形例に係るロボットの動作制御装置１Ｄの要部構成図である。図１５では、カメラ４や光源２４など、動作制御装置１Ｄの撮像系を図示し、上記実施形態と同様の要素の図示を省略している。変形例に係るロボットの動作制御装置１Ｄは、上記の各実施形態の制御装置１０、１０Ａ、１０Ｂ、１０Ｃと同様の制御装置１０Ｄを備え、上記の各実施形態と同様のロボットの行動学習や行動計画を行うことができる。

変形例では、上記実施形態で用いた「不可視光下で認識可能な発光部（蛍光マーカ６など）」の代わりに「再帰性反射素材を含む反射部」が置き換えて用いられる。

再帰性反射素材とは、光が入射された方向と同じ方向に光が反射される、再帰反射という現象を生じさせる素材のことをいう。一般に、「反射」には、乱反射、鏡面反射（正反射）、再帰性反射の３つの種類がある。乱反射は最も一般的な反射で、表面がでこぼこの素材に光が当たって反射光が様々な方向に拡散する現象である。鏡面反射は、鏡などの表面が滑らかな素材に光が当たって、反射光が入射角＝反射角の原理に従い一方向に反射される現象である。それらに対して再帰反射は、特殊な材料によって、入射した光と同じ方向に光が反射される現象である。

変形例では、この再帰性反射素材による再帰反射を利用して、カメラ４から見た光源２４の位置によって消えたり現れたりするマーカ９（反射部）が作成される。

再帰性反射素材を含むマーカ９を利用して、ロボットの行動学習や行動計画を行う手順は例えば以下のとおりである。
（１） 対象物２３のマーカ９を付けたい位置に再帰性反射塗料を塗布する。
（２）通常の環境光（日光や可視光など）の下で対象物２３をカメラ４から見ると、対象物２３の元の素材の乱反射によって、普通の見え方をする（つまりマーカ９の発光は視認できない）。
（３） 一方、カメラ４の近傍から、光源２４によってカメラ４が見ている方向と同じ方向に光を照射すると、マーカ部分は再帰反射によってカメラ４に向かって光を反射するので、他の（乱反射している）部分より強く反射した光が見える。
（４）この再帰反射で帰ってきた光をカメラ４で観測し、例えば輝度による閾値でマーカ部分を抽出することができる。

変形例では、図１５に示すように、カメラ４の視野と同方向に光を照射する光源２４が設けられる。カメラ４は、光源２４の点灯時のみ、マーカ９からの反射光を含む画像を撮像することができる。そして、変形例の動作制御装置１Ｄでも、制御装置１０Ｄが、この光源２４点灯時のマーカ９からの反射光を含む画像（反射光画像）を用いて、上記実施形態と同様にモデル学習を行なったり、把持点を特定したりすることによって、ロボットの行動学習や行動計画を行うことができる。なお、カメラ４の視野と同方向に光を照射するとは、その光の反射光がカメラによって撮像可能な程度に同じ方向に光を照射することをいう。

つまり、変形例の「再帰性反射素材を含むマーカ９（反射部）」は、実施形態の「発光部」と対応し、両者の上位概念を「標識部」とも表記する。変形例の「カメラ４の視野と同方向に光が照射される環境下」は、実施形態の「不可視光下」と対応し、両者の上位概念を「第１の照明条件」とも表記する。変形例の「環境光下」は、実施形態の「可視光下」と対応し、両者の上位概念を「第２の照明条件」とも表記する。変形例の「カメラ４の視野と同方向に照射する光」は、実施形態の「不可視光」と対応し、両者の上位概念を「第１の照明条件光」とも表記する。変形例の光源２４は実施形態の紫外光ライト３と対応し、両者の上位概念を「第１の照明条件光照射部」とも表記する。変形例の「光源点灯時のマーカ９からの反射光を含む画像（反射光画像）」は、実施形態の「不可視光画像」と対応し、両者の上位概念を「第１画像」とも表記する。また、変形例の「光源２４消灯時の通常の環境光」は、実施形態の「可視光」と対応し、両者の上位概念を「第２の照明条件光」とも表記する。変形例の「光源２４消灯時のマーカ９からの反射光を含まない画像（環境光画像）」は、実施形態の「可視光画像」と対応し、両者の上位概念を「第２画像」とも表記する。

変形例のように再帰性反射素材を発光部に用いる手法は、上記実施形態のように蛍光材料を発光部に用いる手法に比べて、通常の環境光を制限する（例えば暗くする、特定の波長の光をフィルタする、など）必要がないので、より簡易に、モデル学習などに利用する「光源２４点灯時のマーカ９からの反射光を含む画像」を取得することができる。このため、環境光のコントロールが難しい屋外での実装の場合に特に有用であり、本実施形態を実施可能な環境を拡張でき、汎用性を向上できる。

以上、具体例を参照しつつ本実施形態について説明した。しかし、本開示はこれらの具体例に限定されるものではない。これら具体例に、当業者が適宜設計変更を加えたものも、本開示の特徴を備えている限り、本開示の範囲に包含される。前述した各具体例が備える各要素およびその配置、条件、形状などは、例示したものに限定されるわけではなく適宜変更することができる。前述した各具体例が備える各要素は、技術的な矛盾が生じない限り、適宜組み合わせを変えることができる。さらに、本開示は、上記の複数の実施形態の特徴の任意の組合せを包含する。

上記実施形態では、発光部が発光した画像を取得するために紫外光を照射する構成を例示したが、可視光を照射した場合より発光部の発光を強くできれば紫外光以外の不可視光を照射する構成でもよい。なお不可視光とは、可視光外の波長の光線をいう。また、例えば、可視光下または可視光を連続的に照射した状態で、可視光下より発光部の発光を強くできる不可視光の点灯と消灯とを切り替え、第１の照明条件と第２の照明条件とする構成でもよい。そして、不可視光の消灯時と点灯時とに取得した画像の差分をとることで、発光部に関するデータを作成することができる。

また、標識部は、上記の再帰性反射素材または蛍光材料を用いるものに限られない。また、第１の照明条件および第２の照明条件も適宜変更できる。

上記実施形態では、第１画像と第２画像の取得中にカメラ４などの撮像部が固定されている構成を例示したが、第１画像と第２画像の取得中に撮像部が移動する場合が考えられる。この場合、第１の照明条件下で取得した第１画像と第２の照明条件下で取得した第２画像とが想定よりもずれてしまい、そのままで学習データを作成すると、実際に標識部が設けられていない部分以外も標識部であると処理されるおそれがある。このような場合には、２枚の画像の発光部との位置が適切に重なるように、例えば同様の位置から撮影したとみなせるように、画像の処理を行うことが好ましい。画像の処理としては、例えば、平行移動、回転、画像の形の変更などがあげられる。この処理は、例えば学習済みの機械学習モデルや、機械学習を用いない画像特徴からのマッチングによる変換を用いて行うことができる。

上記実施形態では、ロボットの動作制御装置１、１Ａ、１Ｂ、１Ｃが制御するロボット動作の一例として、対象物２０、２１、２２を双腕ロボットアーム５で把持する把持動作を例示したが、把持動作以外の動作を適用してもよい。例えば、把持動作以外の方法、例えば吸着等による物体の操作、または発光部の位置をゴールとして設定し、ロボットが検知したゴール地点に向かう移動など、ロボットアーム５以外の要素を用いたロボットの行動も含む。

上記実施形態では、ロボットを一例として説明したが、これに限られない。本開示は、システムとして実現されてもよい。上記実施形態のロボットは、システムの一例である。

上記実施形態では、学習用データセットの作成と、これを用いた学習モデルの学習を連続して行うものとしたが、これに限られない。

本明細書において、透明とは、完全に透明であることに限られず、人間またはカメラなどの撮像部にとって、認識が困難となるものも含む。

以上の説明に関し、更に以下の項を開示する。
（付記１）
第１の照明条件下において認識可能な標識部が設けられた対象物を撮像し、
前記標識部を認識可能な第１画像と、前記対象物を第２の照明条件下で撮像した第２画像と、を取得する、
機械学習用データセットの作成方法。
（付記２）
対象物に設けられる標識部が第１の照明条件下で認識可能な状態である第１画像と、前記対象物を第２の照明条件下で撮像した第２画像と、を用いて、前記第２画像を入力として前記標識部の情報を推定する学習モデルの生成方法。
（付記３）
第１の照明条件下において認識可能となる標識部が設けられた対象物を撮像する撮像部と、
前記対象物に第２の照明条件光を照射する第２の照明条件光照射部と、
前記対象物に第１の照明条件光を照射する第１の照明条件光照射部と、
前記第２の照明条件光照射部による前記対象物への第２の照明条件光の照射と、前記第１の照明条件光照射部による前記対象物への第１の照明条件光の照射とを所定タイミングで切り替える照射制御部と、
前記対象物に前記第２の照明条件光が照射されている状態の第２画像と、前記対象物に前記第１の照明条件光が照射され、前記標識部が認識可能となっている状態の第１画像とを取得する学習データ作成部と、を含む、学習用データ作成装置。
（付記４）
訓練対象物が第２の照明条件下で撮像された訓練用第２画像と、前記訓練対象物が第１の照明条件下で照射され、前記訓練対象物に設けられた標識部が第１の照明条件下において認識可能な状態である訓練用第１画像とを学習データとして訓練された訓練済みモデルと、
前記訓練済みモデルを用いて、撮像部により撮像される第２画像から標識部の情報を推定する推定部と、
を備える推論装置。
（付記５）
付記４に記載の推論装置と、
前記推定部により推定された前記標識部の情報に応じて、ロボットの行動計画を作成し、前記行動計画に基づき前記ロボットの動作を制御するロボット制御部と、
を備えるロボットの動作制御装置。
（付記６）
第１の照明条件下において認識可能となる標識部が設けられた対象物を撮像する撮像部と、
前記対象物に第１の照明条件光を照射する第１の照明条件光照射部と、
前記対象物に前記第１の照明条件光が照射されている状態の第１画像に基づき、前記標識部を検出する検出部と、
前記検出部により検出された前記標識部の情報に基づき、ロボットの行動計画を作成するロボット制御部と、
を備えるロボットの動作制御装置。
（付記７）
対象物を第２の照明条件下で撮像した第２画像と、前記対象物に設けられ、第１の照明条件下で標識部が認識可能の状態となる第１の照明条件下で撮像した第１画像とを一組の学習データとした学習データにより訓練された、訓練済みモデル。
（付記８）
ロボットであって、
付記７に記載の訓練済みモデルと、
操作対象物に第２の照明条件光が照射されている状態の第２画像に基づいて、当該ロボットの動作を制御する制御部と、
を備えるロボット。
（付記９）
前記識別部が不可視光下において認識可能な発光部であり、
前記第２の照明条件が可視光下であり、前記第１の照明条件が前記発光部が発光する不可視下である、付記１に記載の機械学習用データセットの作成方法。
（付記１０）
前記標識部が再帰性反射素材を含む反射部であり、前記第２の照明条件が環境光であり、前記第１の照明条件が撮像部により前記反射部による反射光が撮像可能な条件である、付記１に記載の機械学習用データセットの作成方法。
（付記１１）
不可視光下において認識可能な発光部が設けられた対象物を撮像し、
前記対象物を可視光下で撮像した可視光画像と、前記発光部が発光した状態の不可視光画像と、を取得する、
付記１に記載の機械学習用データセットの作成方法。
（付記１２）
前記可視光画像を取得するための可視光照射部による前記対象物への可視光の照射と、前記不可視光画像を取得するための不可視光照射部による前記対象物への不可視光の照射とを所定タイミングで切り替え、前記可視光画像及び前記不可視光画像を１つの撮像部により取得する、付記１１に記載の機械学習用データセットの作成方法。
（付記１３）
対象物を可視光下で撮像した可視光画像と、前記対象物に設けられ不可視光下で発光する発光部が可視の状態である不可視光画像と、を用いて、前記可視光画像を入力として前記発光部の情報を推定する
付記２に記載の学習モデルの生成方法。
（付記１４）
不可視光下において認識可能となる発光部が設けられた対象物を撮像する撮像部と、
前記対象物に可視光を照射する可視光照射部と、
前記対象物に不可視光を照射する不可視光照射部と、
前記可視光照射部による前記対象物への可視光の照射と、前記不可視光照射部による前記対象物への不可視光の照射とを所定タイミングで切り替える照射制御部と、
前記対象物に前記可視光が照射されている状態の可視光画像と、前記対象物に前記不可視光が照射され、前記発光部が発光している状態の不可視光画像とを取得する学習データ作成部と、を含む、
付記３に記載の学習用データ作成装置。
（付記１５）
訓練対象物が可視光下で撮像された訓練用可視光画像と、前記訓練対象物が不可視光下で照射され、前記訓練対象物に設けられた不可視光下において認識可能な発光部が発光している状態の訓練用不可視光画像とを学習データとして訓練された訓練済みモデルと、
前記訓練済みモデルを用いて、撮像部により撮像される可視光画像から発光部の情報を推定する推定部と、
を備える
付記４に記載の推論装置。
（付記１６）
訓練対象物が可視光下で撮像された訓練用可視光画像と、前記訓練対象物が不可視光下で照射され、前記訓練対象物に設けられた不可視光下において認識可能な発光部が発光している状態の訓練用不可視光画像とを学習データとして訓練された訓練済みモデルと、
前記訓練済みモデルを用いて、撮像部により撮像される可視光画像から発光部の情報を推定する推定部と、
を有する推論装置と、
前記推定部により推定された前記発光部の情報に応じて、ロボットの行動計画を作成し、前記行動計画に基づき前記ロボットの動作を制御するロボット制御部と、
を備える
付記５に記載のロボットの動作制御装置。
（付記１７）
前記発光部は、前記訓練対象物の把持位置に設置される蛍光マーカであり、
前記推定部は、前記訓練済みモデルを用いて、前記撮像部により撮像される可視光画像から前記蛍光マーカの位置を推定して操作対象物の把持位置を推定する把持位置推定部であり、
前記ロボット制御部は、前記把持位置推定部により推定された前記操作対象物の前記把持位置を把持するように前記ロボットの動作を制御する、
付記１６に記載のロボットの動作制御装置。
（付記１８）
前記操作対象物は衣服であり、
前記ロボット制御部は、前記把持位置推定部により推定された前記衣服の前記把持位置を把持し、衣服を折り畳むタスクを実行するよう前記ロボットを制御する、
付記１７に記載のロボットの動作制御装置。
（付記１９）
前記蛍光マーカは、異なる色で発光する複数種が前記衣服に設けられ、
前記把持位置推定部は、前記蛍光マーカの位置情報と発光色情報とを推定し、
前記ロボット制御部は、前記発光色情報により設定される順番で、前記把持位置を変更して折り畳み動作を実行する、
付記１８に記載のロボットの動作制御装置。
（付記２０）
前記発光部は、前記訓練対象物に混入、または前記訓練対象物の表面に塗布される蛍光材であり、
前記推定部は、可視光画像から前記訓練済みモデルを用いて操作対象物の種類を推定する物体認識部を有し、
前記ロボット制御部は、前記物体認識部により推定された前記操作対象物の種類に応じて前記ロボットの動作を制御する、
付記１６〜１９のいずれか１項に記載のロボットの動作制御装置。
（付記２１）
前記訓練対象物は、液体、粉粒体、または気体であり、
前記蛍光材は、前記学習データの取得時に前記訓練対象物に混入される、
付記２０に記載のロボットの動作制御装置。
（付記２２）
不可視光下において認識可能となる発光部が設けられた対象物を撮像する撮像部と、
前記対象物に不可視光を照射する不可視光照射部と、
前記対象物に前記不可視光が照射されている状態の不可視光画像に基づき、前記発光部を検出する検出部と、
前記検出部により検出された前記発光部の情報に基づき、ロボットの行動計画を作成するロボット制御部と、
を備える
付記６に記載のロボットの動作制御装置。
（付記２３）
前記ロボットはロボットアームにより前記対象物を把持操作し、
前記発光部は、前記対象物の把持位置を示す蛍光マーカであり、
前記検出部は、前記不可視光画像の中の前記蛍光マーカの位置に基づき前記対象物の把持位置を算出する把持位置推定部を有し、
前記ロボット制御部は、前記把持位置推定部により算出された前記対象物の前記把持位置を把持するように前記ロボットアームの動作を制御する、
付記２２に記載のロボットの動作制御装置。
（付記２４）
前記発光部は、不可視光の照射によって発光し、前記対象物に係る各種情報を含む蛍光情報部であり、
前記検出部は、前記不可視光画像の中の前記蛍光情報部に基づき前記対象物に関する各種情報を読取る情報読取部を有し、
前記ロボット制御部は、前記情報読取部により読取られた前記対象物に関する各種情報に応じた前記ロボットの動作を制御する、
付記２２または２３に記載のロボットの動作制御装置。
（付記２５）
前記蛍光情報部は、不可視光の照射によって発光する二次元バーコードである、
付記２４に記載のロボットの動作制御装置。
（付記２６）
対象物を可視光下で撮像した可視光画像と、前記対象物に設けられ、不可視光下で発光する発光部が可視の状態となる不可視光下で撮像した不可視光画像とを一組の学習データとした学習データにより訓練された、
付記７に記載の訓練済みモデル。
（付記２７）
操作対象物の可視光画像の入力に基づいて、前記発光部の情報を推定可能である、付記２６に記載の訓練済みモデル。
（付記２８）
ロボットであって、
対象物を可視光下で撮像した可視光画像と、前記対象物に設けられ、不可視光下で発光する発光部が可視の状態となる不可視光下で撮像した不可視光画像とを一組の学習データとした学習データにより訓練された訓練済みモデルと、
操作対象物に可視光が照射されている状態の可視光画像に基づいて、当該ロボットの動作を制御する制御部と、
を備える
付記８に記載のロボット。
（付記２９）
撮像部の視野と同方向に光が照射される環境下において前記撮像部に反射光を返す再帰性反射素材を含む反射部が設けられた対象物を撮像し、
前記対象物を環境光下で撮像した環境光画像と、前記反射部からの前記反射光を含む反射光画像と、を取得する、
付記１に記載の機械学習用データセットの作成方法。
（付記３０）
前記反射光画像を取得するために前記対象物へ光を照射するための光源の点灯と、前記環境光画像を取得するための前記光源の消灯とを所定タイミングで切り替え、前記反射光画像及び前記環境光画像を１つの撮像部により取得する、付記２９に記載の機械学習用データセットの作成方法。
（付記３１）
対象物を環境光下で撮像した環境光画像と、前記対象物に設けられ、撮像部の視野と同方向に光が照射される環境下で前記撮像部に反射光を返す再帰性反射素材を含む反射部が可視の状態である反射光画像と、を用いて、前記環境光画像を入力として前記反射部の情報を推定する
付記２に記載の学習モデルの生成方法。
（付記３２）
対象物を撮像する撮像部と、
前記対象物に設けられ、前記撮像部の視野と同方向に光が照射される環境下において前記撮像部に反射光を返す再帰性反射素材を含む反射部と、
前記対象物に前記光を照射する光源と、
前記光源の点灯と消灯とを所定タイミングで切り替える照射制御部と、
前記光源が点灯されて前記対象物に前記光源により前記撮像部の視野と同方向の光が照射され、前記反射部が発光している状態の反射光画像と、前記光源が消灯されて前記対象物に環境光が照射されている状態の環境光画像と、を取得する学習データ作成部と、を含む、
付記３に記載の学習用データ作成装置。
（付記３３）
訓練対象物が環境光下で撮像された訓練用環境光画像と、前記訓練対象物に設けられ、撮像部の視野と同方向に光が照射される環境下において前記撮像部に反射光を返す再帰性反射素材を含む反射部が発光している状態の訓練用反射光画像とを学習データとして訓練された訓練済みモデルと、
前記訓練済みモデルを用いて、前記撮像部により撮像される環境光画像から前記反射部の情報を推定する推定部と、
を備える
付記４に記載の推論装置。
（付記３４）
訓練対象物が環境光下で撮像された訓練用環境光画像と、前記訓練対象物に設けられ、撮像部の視野と同方向に光が照射される環境下において前記撮像部に反射光を返す再帰性反射素材を含む反射部が発光している状態の訓練用反射光画像とを学習データとして訓練された訓練済みモデルと、
前記訓練済みモデルを用いて、前記撮像部により撮像される環境光画像から前記反射部の情報を推定する推定部と、を有する推論装置と、
前記推定部により推定された前記反射部の情報に応じて、ロボットの行動計画を作成し、前記行動計画に基づき前記ロボットの動作を制御するロボット制御部と、
を備える
付記５に記載のロボットの動作制御装置。
（付記３５）
対象物を撮像する撮像部と、
前記対象物に設けられ、前記撮像部の視野と同方向に光が照射される環境下において前記撮像部に反射光を返す再帰性反射素材を含む反射部と、
前記対象物に前記光が照射されている状態の反射光画像に基づき、前記反射部を検出する検出部と、
前記検出部により検出された前記反射部の情報に基づき、ロボットの行動計画を作成するロボット制御部と、
を備える
付記６に記載のロボットの動作制御装置。
（付記３６）
対象物を環境光下で撮像した環境光画像と、前記対象物に設けられ、撮像部の視野と同方向に光が照射される環境下で前記撮像部に反射光を返す再帰性反射素材を含む反射部が可視の状態となる環境下で撮像した反射光画像とを一組の学習データとした学習データにより訓練された、
付記７に記載の訓練済みモデル。
（付記３７）
ロボットであって、
対象物を環境光下で撮像した環境光画像と、前記対象物に設けられ、撮像部の視野と同方向に光が照射される環境下で前記撮像部に反射光を返す再帰性反射素材を含む反射部が可視の状態となる環境下で撮像した反射光画像とを一組の学習データとした学習データにより訓練された訓練済みモデルと、
操作対象物を環境光下で撮像した環境光画像に基づいて、当該ロボットの動作を制御する制御部と、
を備える
付記８に記載のロボット。

１、１Ａ、１Ｂ、１Ｃ、１Ｄ ロボットの動作制御装置
２ 可視光ライト（可視光照射部、第２の照明条件光照射部）
３ 紫外光ライト（不可視光照射部、第１の照明条件光照射部）
４ カメラ（撮像部）
５ ロボットアーム
６ 蛍光マーカ（発光部、標識部）
７ 蛍光材（発光部、標識部）
８ 蛍光情報部（発光部、標識部）
９ マーカ（反射部、標識部）
１０、１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ 制御装置
１１ 照射制御部
１２ 画像取得部
１３ 学習データ作成部（検出部）
１４ 学習部（検出部）
１５、１５Ａ 把持位置推定部（推定部、検出部）
１６ ロボット制御部
１７ 物体認識部（推定部、検出部）
１８ 情報読取部（推定部、検出部）
２０、２１、２２、２３ 対象物
３１ 可視光画像（第２画像）
３２ 紫外光画像（不可視光画像、第１画像）
２４ 光源（第１の照明条件光照射部）

Claims (10)

1. 第１の照明条件下において認識可能な標識部が設けられた対象物を撮像し、
   前記標識部を認識可能な第１画像と、前記対象物を第２の照明条件下で撮像した第２画像と、を取得する、
   機械学習用データセットの作成方法。
2. 対象物に設けられる標識部が第１の照明条件下で認識可能な状態である第１画像と、前記対象物を第２の照明条件下で撮像した第２画像と、を用いて、前記第２画像を入力として前記標識部の情報を推定する学習モデルの生成方法。
3. 第１の照明条件下において認識可能となる標識部が設けられた対象物を撮像する撮像部と、
   前記対象物に第２の照明条件光を照射する第２の照明条件光照射部と、
   前記対象物に第１の照明条件光を照射する第１の照明条件光照射部と、
   前記第２の照明条件光照射部による前記対象物への第２の照明条件光の照射と、前記第１の照明条件光照射部による前記対象物への第１の照明条件光の照射とを所定タイミングで切り替える照射制御部と、
   前記対象物に前記第２の照明条件光が照射されている状態の第２画像と、前記対象物に前記第１の照明条件光が照射され、前記標識部が認識可能となっている状態の第１画像とを取得する学習データ作成部と、を含む、学習用データ作成装置。
4. 訓練対象物が第２の照明条件下で撮像された訓練用第２画像と、前記訓練対象物が第１の照明条件下で照射され、前記訓練対象物に設けられた標識部が第１の照明条件下において認識可能な状態である訓練用第１画像とを学習データとして訓練された訓練済みモデルと、
   前記訓練済みモデルを用いて、撮像部により撮像される第２画像から標識部の情報を推定する推定部と、
   を備える推論装置。
5. 請求項４に記載の推論装置と、
   前記推定部により推定された前記標識部の情報に応じて、ロボットの行動計画を作成し、前記行動計画に基づき前記ロボットの動作を制御するロボット制御部と、
   を備えるロボットの動作制御装置。
6. 第１の照明条件下において認識可能となる標識部が設けられた対象物を撮像する撮像部と、
   前記対象物に第１の照明条件光を照射する第１の照明条件光照射部と、
   前記対象物に前記第１の照明条件光が照射されている状態の第１画像に基づき、前記標識部を検出する検出部と、
   前記検出部により検出された前記標識部の情報に基づき、ロボットの行動計画を作成するロボット制御部と、
   を備えるロボットの動作制御装置。
7. 対象物を第２の照明条件下で撮像した第２画像と、前記対象物に設けられ、第１の照明条件下で標識部が認識可能の状態となる第１の照明条件下で撮像した第１画像とを一組の学習データとした学習データにより訓練された、訓練済みモデル。
8. ロボットであって、
   請求項７に記載の訓練済みモデルと、
   操作対象物に第２の照明条件光が照射されている状態の第２画像に基づいて、当該ロボットの動作を制御する制御部と、
   を備えるロボット。
9. 前記標識部が不可視光下において認識可能な発光部であり、
   前記第２の照明条件が可視光下であり、前記第１の照明条件が前記発光部が発光する不可視下である、請求項１に記載の機械学習用データセットの作成方法。
10. 前記標識部が再帰性反射素材を含む反射部であり、前記第２の照明条件が環境光であり、前記第１の照明条件が撮像部により前記反射部による反射光が撮像可能な条件である、請求項１に記載の機械学習用データセットの作成方法。

Images