JP2022139742A - 命令記述支援システム、命令記述支援方法および命令記述支援プログラム - Google Patents

命令記述支援システム、命令記述支援方法および命令記述支援プログラム Download PDF

Info

Publication number
JP2022139742A
JP2022139742A JP2021040256A JP2021040256A JP2022139742A JP 2022139742 A JP2022139742 A JP 2022139742A JP 2021040256 A JP2021040256 A JP 2021040256A JP 2021040256 A JP2021040256 A JP 2021040256A JP 2022139742 A JP2022139742 A JP 2022139742A
Authority
JP
Japan
Prior art keywords
motion
waveform data
robot
unique
indicating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021040256A
Other languages
English (en)
Inventor
篤志 大城
Atsushi Oshiro
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2021040256A priority Critical patent/JP2022139742A/ja
Priority to PCT/JP2021/034739 priority patent/WO2022190435A1/ja
Publication of JP2022139742A publication Critical patent/JP2022139742A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

【課題】ロボットに固有の動作に応じて、ロボットの動作を記述する命令を作成できる技術を提供する。【解決手段】命令記述支援システムは、対象のロボットの動作を示す動作波形データから固有ベクトルを抽出する抽出部と、動作波形データに設定される時間区間の波形データと固有ベクトルとの類似度を示すスコアから、当該時間区間の動作を示すバイナリコードを算出する算出部と、バイナリコードを用いて、動作要素を推定するための動作要素モデルを構成するモデル構成部と、ロボットが所定の動作を行ったときの動作波形データから動作要素モデルを用いて推定される一連の動作要素と、当該所定の動作を示す動詞とを対応付けることで、当該所定の動作に含まれる、１または複数の動作要素で構成される固有動作を決定し、当該決定した固有動作を示す固有動作コードをデータベースに登録するデータベース構成部とを含む。【選択図】図１

Description

本発明は、命令記述支援システム、命令記述支援方法および命令記述支援プログラムに関する。
様々な分野において、ロボットの導入および実用化が進行している。一般的には、ロボットの動作を指示するための命令を記述する必要がある。ロボットが高い自由度で動作する場合には、動作を指示するための命令の記述も複雑化し得る。
このような課題に対して、例えば、特開２０１９－１８８５４５号公報（特許文献１）は、教示者が簡単に制御プログラムの作成を行える技術を開示する。また、特開２０１９－１７７４２２号公報（特許文献２）は、高度なプログラミング技術を有さないユーザーでも容易にプログラミング可能な制御装置を開示する。さらに、特開２０１９－１７１４９８号公報（特許文献３）は、ロボットのティーチングを行うときに、ロボットの具体的な動きに対する教示を容易にする方法等を開示する。
あるいは、特開２０２０－００９８９９号公報（特許文献４）は、組立作業用ロボットに対する組立作業の教示を自動で行う自動教示システムを開示する。
特開２０１９－１８８５４５号公報 特開２０１９－１７７４２２号公報 特開２０１９－１７１４９８号公報 特開２０２０－００９８９９号公報
漆原 理乃、小林 一郎，「人の動作および物体認識に基づく動画像からの文生成」，言語処理学会 第２４回年次大会 発表論文集，２０１８年３月
上述した先行技術文献に開示される技術は、いずれもロボットに対するプログラミングを容易化するというものである。このような技術を用いることで、ロボットの動作を記述することはできるが、同じ動作であっても、作成者のスキルや考え方などに依存して、様々な記述が存在することになる。
本発明は、ロボットに固有の動作に応じて、ロボットの動作を記述する命令を作成できる技術を提供することを目的としている。
本発明のある局面に従う命令記述支援システムは、対象のロボットの動作を示す動作波形データから固有ベクトルを抽出する抽出部と、動作波形データに設定される時間区間の波形データと固有ベクトルとの類似度を示すスコアから、当該時間区間の動作を示すバイナリコードを算出する算出部と、バイナリコードを用いて、動作要素を推定するための動作要素モデルを構成するモデル構成部と、ロボットが所定の動作を行ったときの動作波形データから動作要素モデルを用いて推定される一連の動作要素と、当該所定の動作を示す動詞とを対応付けることで、当該所定の動作に含まれる、１または複数の動作要素で構成される固有動作を決定し、当該決定した固有動作を示す固有動作コードをデータベースに登録するデータベース構成部とを含む。
この構成によれば、対象のロボットについて、１または複数の動作要素で構成される固有動作を決定する。決定された固有動作は、ロボットの動作を記述する基本的な単位として用いることができる。これによって、ロボットの動作を記述する命令を標準化することができるとともに、属人化を抑制できる。
命令記述支援システムは、１または複数の固有動作の組み合わせで定義されるロボットの動作に対応する、１または複数の固有動作コードからなる命令コードを生成する命令生成部をさらに含んでいてもよい。この構成によれば、固有動作コードを基本的な単位として、命令コードを生成できる。
１または複数の固有動作の組み合わせは、連動作または工程の単位で定義されてもよい。この構成によれば、ロボットの単純な動作だけではなく、連動作または工程の単位で、命令コードを生成できる。
命令記述支援システムは、所定の動作を行うロボットを撮影した動画像を動作認識することで、所定の動作を示す動詞を決定する動作認識部をさらに含んでいてもよい。この構成によれば、ロボットの各動作に対して、手動ではなく、自動でラベルを付与できる。
算出部は、複数の固有ベクトルのそれぞれに対する時間区間の波形データの類似度をそれぞれ算出し、算出された類似度のうちランダムに選択される２つの類似度間の大小関係に応じて、バイナリコードを構成する各ビットの値を決定するようにしてもよい。この構成によれば、動作要素を特定するための特徴量を効率的に算出できる。
モデル構成部は、複数のバイナリコードをクラスタリングすることにより、動作要素モデルを構成してもよい。この構成によれば、対象のロボットの動作に含まれる複数の動作要素を効率的に抽出できる。
算出部は、動作波形データに設定される時間区間を時間軸に沿ってシフトさせてもよい。この構成によれば、ロボットの連続的な動作に対して、対応する動作要素を順次決定できる。
本発明の別の局面に従う命令記述支援方法は、対象のロボットの動作を示す動作波形データから固有ベクトルを抽出するステップと、動作波形データに設定される時間区間の波形データと固有ベクトルとの類似度を示すスコアから、当該時間区間の動作を示すバイナリコードを算出するステップと、バイナリコードを用いて、動作要素を推定するための動作要素モデルを構成するステップと、ロボットが所定の動作を行ったときの動作波形データから動作要素モデルを用いて推定される一連の動作要素と、当該所定の動作を示す動詞とを対応付けることで、当該所定の動作に含まれる、１または複数の動作要素で構成される固有動作を決定し、当該決定した固有動作を示す固有動作コードをデータベースに登録するステップとを含む。
本発明の別の局面に従う命令記述支援プログラムは、コンピュータに、対象のロボットの動作を示す動作波形データから固有ベクトルを抽出するステップと、動作波形データに設定される時間区間の波形データと固有ベクトルとの類似度を示すスコアから、当該時間区間の動作を示すバイナリコードを算出するステップと、バイナリコードを用いて、動作要素を推定するための動作要素モデルを構成するステップと、ロボットが所定の動作を行ったときの動作波形データから動作要素モデルを用いて推定される一連の動作要素と、当該所定の動作を示す動詞とを対応付けることで、当該所定の動作に含まれる、１または複数の動作要素で構成される固有動作を決定し、当該決定した固有動作を示す固有動作コードをデータベースに登録するステップとを実行させる。
本発明によれば、ロボットに固有の動作に応じて、ロボットの動作を記述する命令を作成できる技術を提供できる。
本実施の形態に係る命令記述支援システムにおける処理の概要を説明するための模式図である。 本実施の形態に係る命令記述支援システムを含むシステム構成例を概略する模式図である。 本実施の形態に係る制御装置のハードウェア構成例を示す模式図である。 本実施の形態に係るロボットコントローラのハードウェア構成例を示す模式図である。 本実施の形態に係る情報処理装置のハードウェア構成例を示す模式図である。 本実施の形態に係る命令記述支援システムが実行する全体処理の処理手順を示すフローチャートである。 本実施の形態に係る命令記述支援システムにおけるＥＣＴスコアを算出する処理を説明するための図である。 本実施の形態に係る命令記述支援システムにおけるバイナリコードを算出する処理を説明するための図である。 本実施の形態に係る命令記述支援システムにおける動作要素モデルを構成するためのクラスタリング処理を説明するための図である。 本実施の形態に係る命令記述支援システムにおける動作要素モデルを構成するためのラベリング処理を説明するための図である。 本実施の形態に係る命令記述支援システムにおける動作定義データベースを構成する処理を説明するための図である。 本実施の形態に係る命令記述支援システムにおける動作要素を決定する処理を説明するための図である。 本実施の形態に係る命令記述支援システムにおける動作要素を決定する処理例を示す図である。 本実施の形態に係る命令記述支援システムの機能構成例を示す模式図である。 本実施の形態に係る命令記述支援システムにより生成される命令コードの一例を示す図である。 本実施の形態に係る命令記述支援システムにより生成される命令コードの生成処理の一例を示す図である。
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。
＜Ａ．適用例＞
まず、図１を参照して、本発明が適用される場面の一例について説明する。
図１は、本実施の形態に係る命令記述支援システム１における処理の概要を説明するための模式図である。図１を参照して、ロボットの動作を定義する命令コード７２を命令記述支援システム１が出力する処理の一例について説明する。
命令記述支援システム１は、対象のロボットの動作を示す動作波形データ（所定のサンプリング周期毎に収集された動作特徴ベクトルの時系列データ）などに基づいて、動作要素モデル４８（図１０参照）および動作定義データベース６０を構成する（ステップＳ１）。
動作要素モデル４８は、動作要素の特徴に基づいて構成されるものであり、任意の動作波形データに含まれる動作要素（動作要素コード）を特定するために用いることができる。
動作定義データベース６０は、１または複数の動作要素で構成される固有動作６４に割り当てられた固有動作コード６６を格納する。動作定義データベース６０において、１または複数の固有動作６４を１または複数の動作区分６２に分類してもよい。
本明細書において、「固有動作」は、対象のロボットに固有の動作を定義する単位であり、１または複数の「動作要素」で構成される。「動作要素」は、「固有動作」をさらに詳細な単位動作に分解した個々の動作を意味する。
次に、ロボットに対して任意の動作を指示する場合には、動作定義データベース６０を参照して、当該任意の動作を固有動作６４の組み合わせとして定義する（ステップＳ２）。この固有動作６４の組み合わせとして定義する処理は、ユーザが手動で行ってもよいし、後述するようなソフトウェアにより自動で行ってもよい。
最終的に、命令記述支援システム１は、複数の固有動作６４からなる連動作、または、複数の連動作からなる工程を実現するための命令として、固有動作６４を示す固有動作コード６６のデータ列を命令コード７２として出力する。
以上のように、本実施の形態に係る命令記述支援システム１は、ロボットの固有動作６４を定義するとともに、固有動作６４を示す固有動作コード６６を組み合わせることで、対象のロボットに実行させる動作を指示するための命令コード７２を決定する。固有動作６４の単位で命令を記述することで、命令あるいはプログラムの属人化を抑制できるとともに、テンプレート化などを容易に実現できる。
＜Ｂ．ハードウェア構成例＞
次に、本実施の形態に係る命令記述支援システム１のハードウェア構成例について説明する。
（ｂ１：全体構成）
図２は、本実施の形態に係る命令記述支援システム１を含むシステム構成例を概略する模式図である。図２を参照して、命令記述支援システム１は、制御装置１００と、フィールドネットワーク１０を介して制御装置１００に接続されたロボットコントローラ２５０とを含む。制御装置１００は、典型的には、ＰＬＣにより実現されてもよい。
ロボットコントローラ２５０は、ロボット２００の制御を担当する。より具体的には、ロボットコントローラ２５０は、ロボット２００との間のインターフェイスとして機能し、制御装置１００からの指令に従って、ロボット２００を駆動するための指令を出力するとともに、ロボット２００の状態値を取得して制御装置１００へ出力する。
フィールドネットワーク１０には、産業用ネットワーク用のプロトコルである、ＥｔｈｅｒＣＡＴ（登録商標）やＥｔｈｅｒＮｅｔ／ＩＰなどを用いることができる。
制御装置１００は、上位ネットワーク２０を介して、情報処理装置３００および表示装置４００に接続されている。上位ネットワーク２０には、産業用ネットワーク用のプロトコルであるやＥｔｈｅｒＮｅｔ／ＩＰなどを用いることができる。
命令記述支援システム１は、ロボット２００を撮影して動画像を収集するためのカメラ４を含んでいてもよい。
なお、命令記述支援システム１は、制御装置１００、ロボット２００，ロボットコントローラ２５０、および表示装置４００などを必ずしも含んでいる必要はなく、後述するような命令コードを生成する処理を実行できる処理主体が存在すればよい。
（ｂ２：制御装置１００）
図３は、本実施の形態に係る制御装置１００のハードウェア構成例を示す模式図である。図３を参照して、制御装置１００は、プロセッサ１０２と、メインメモリ１０４と、ストレージ１１０と、メモリカードインターフェイス１１２と、上位ネットワークコントローラ１０６と、フィールドネットワークコントローラ１０８と、ローカルバスコントローラ１１６と、ＵＳＢ（Universal Serial Bus）インターフェイスを提供するＵＳＢコントローラ１２０とを含む。これらのコンポーネントは、プロセッサバス１１８を介して接続されている。
プロセッサ１０２は、制御演算を実行する演算処理部に相当し、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などで構成される。具体的には、プロセッサ１０２は、ストレージ１１０に格納されたプログラムを読み出して、メインメモリ１０４に展開して実行することで、制御対象に対する制御演算を実現する。
メインメモリ１０４は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）などの揮発性記憶装置などで構成される。ストレージ１１０は、例えば、ＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）などの不揮発性記憶装置などで構成される。
ストレージ１１０には、基本的な機能を実現するためのシステムプログラム１１０２、および、制御対象に応じて作成されたＩＥＣプログラム１１０４およびロボットプログラム１１０６などが格納される。
ＩＥＣプログラム１１０４は、ＰＬＣプログラムとも称され、ロボット２００を制御する処理以外の処理を実現するために必要な命令を含む。ＩＥＣプログラム１１０４は、国際電気標準会議（ＩＥＣ：International Electrotechnical Commission）が定めるＩＥＣ６１１３１－３で規定されるいずれかの言語で記述されてもよい。
ロボットプログラム１１０６は、ロボット２００を制御するための命令を含む。ロボットプログラム１１０６は、所定のプログラミング言語（例えば、Ｖ＋言語などのロボット制御用プログラミング言語やＧコードなどのＮＣ制御に係るプログラミング言語）で記述された命令を含んでいてもよい。
メモリカードインターフェイス１１２は、着脱可能な記憶媒体の一例であるメモリカード１１４を受け付ける。メモリカードインターフェイス１１２は、メモリカード１１４に対して任意のデータの読み書きが可能になっている。
上位ネットワークコントローラ１０６は、上位ネットワーク２０を介して、任意の情報処理装置（図２に示される情報処理装置３００および表示装置４００など）との間でデータをやり取りする。
フィールドネットワークコントローラ１０８は、フィールドネットワーク１０を介して、ロボットコントローラ２５０などのデバイスとの間でデータをやり取りする。
ローカルバスコントローラ１１６は、ローカルバス１２２を介して、制御装置１００に含まれる任意の機能ユニット１３０との間でデータをやり取りする。
ＵＳＢコントローラ１２０は、ＵＳＢ接続を介して、任意の情報処理装置との間でデータをやり取りする。
（ｂ３：ロボットコントローラ２５０）
図４は、本実施の形態に係るロボットコントローラ２５０のハードウェア構成例を示す模式図である。図４を参照して、ロボットコントローラ２５０は、フィールドネットワークコントローラ２５２と、制御処理回路２６０とを含む。
フィールドネットワークコントローラ２５２は、フィールドネットワーク１０を介して、主として、制御装置１００との間でデータをやり取りする。
制御処理回路２６０は、ロボット２００を駆動するために必要な演算処理を実行する。一例として、制御処理回路２６０は、プロセッサ２６２と、メインメモリ２６４と、ストレージ２７０と、インターフェイス回路２６８とを含む。
プロセッサ２６２は、ロボット２００を駆動するための制御演算を実行する。メインメモリ２６４は、例えば、ＤＲＡＭやＳＲＡＭなどの揮発性記憶装置などで構成される。ストレージ２７０は、例えば、ＳＳＤやＨＤＤなどの不揮発性記憶装置などで構成される。
ストレージ２７０には、ロボット２００を駆動するための制御を実現するためのシステムプログラム２７２が格納される。システムプログラム２７２は、ロボット２００の動作に係る制御演算を実行する命令、および、ロボット２００との間のインターフェイスに係る命令を含む。
インターフェイス回路２６８は、ロボット２００との間でデータをやり取りする。
（ｂ４：情報処理装置３００）
図５は、本実施の形態に係る情報処理装置３００のハードウェア構成例を示す模式図である。図５を参照して、情報処理装置３００は、ＣＰＵやＭＰＵなどのプロセッサ３０２と、メインメモリ３０４と、ストレージ３１０と、ネットワークコントローラ３２０と、ＵＳＢコントローラ３２４と、入力部３２６と、表示部３２８とを含む。これらのコンポーネントは、バス３０８を介して接続される。
プロセッサ３０２は、ストレージ３１０に格納された各種プログラムを読み出して、メインメモリ３０４に展開して実行することで、情報処理装置３００で必要な処理を実現する。
ストレージ３１０は、例えば、ＨＤＤやＳＳＤなどで構成される。ストレージ３１０には、典型的には、ＯＳ３１２と、後述するような処理を実現するための命令記述支援プログラム３１４とが格納される。なお、ストレージ３１０には、図５に示すプログラム以外の必要なプログラムが格納されてもよい。
ネットワークコントローラ３２０は、任意のネットワークを介して、任意の情報処理装置との間でデータをやり取りする。
ＵＳＢコントローラ３２４は、ＵＳＢ接続を介して、任意の情報処理装置との間でデータをやり取りする。
入力部３２６は、マウス、キーボード、タッチパネルなどで構成され、ユーザからの指示を受け付ける。表示部３２８は、ディスプレイ、各種インジケータなどで構成され、プロセッサ３０２からの処理結果などを出力する。
情報処理装置３００は、光学ドライブ３０６を有していてもよい。光学ドライブ３０６は、コンピュータ読取可能なプログラムを非一過的に格納する記録媒体３０７（例えば、ＤＶＤ（Digital Versatile Disc）などの光学記録媒体）からプログラムを読み取って、ストレージ３１０などに格納する。
情報処理装置３００で実行される各種プログラムは、コンピュータ読取可能な記録媒体３０７を介してインストールされてもよいが、ネットワーク上の任意のサーバからダウンロードする形でインストールするようにしてもよい。
（ｂ５：表示装置４００）
本実施の形態に係る表示装置４００は、一例として、汎用パソコンを用いて実現されてもよい。表示装置４００の基本的なハードウェア構成例は、周知であるので、ここでは詳細な説明は行わない。
（ｂ６：その他の形態）
図３～図５には、１または複数のプロセッサがプログラムを実行することで必要な機能が提供される構成例を示したが、これらの提供される機能の一部または全部を、専用のハードウェア回路（例えば、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field-Programmable Gate Array）など）を用いて実装してもよい。
また、情報処理装置３００が本実施の形態に係る命令記述支援の処理のすべてを実行するのではなく、１または複数の情報処理装置３００が連携して必要な処理を実行するようにしてもよい。さらに、本実施の形態に係る命令記述支援の処理の一部または全部を、いわゆるクラウド上のコンピュータリソースを用いて実行するようにしてもよい。
本実施の形態に係る命令記述支援の処理をどのようなハードウェアリソースおよびソフトウェアリソースを用いて実現するのかについては、任意に設計および選択できる事項である。
＜Ｃ．命令コードを生成するための処理＞
次に、本実施の形態に係る命令記述支援システム１が実行する命令コードを生成するための処理について説明する。
（ｃ１：全体処理）
図６は、本実施の形態に係る命令記述支援システム１が実行する全体処理の処理手順を示すフローチャートである。図６に示す各ステップは、典型的には、情報処理装置３００のプロセッサ３０２が命令記述支援プログラム３１４を実行することで実現される。
図６を参照して、情報処理装置３００は、対象のロボットから動作波形データ３０および動画像４６を収集する（ステップＳ１００）。情報処理装置３００は、所定量の動作波形データ３０の収集が完了すると、収集された動作波形データ３０から固有ベクトルを抽出する（ステップＳ１０２）。すなわち、情報処理装置３００は、対象のロボットの動作を示す動作波形データ３０から固有ベクトルを抽出する。
続いて、情報処理装置３００は、対象のロボットから収集された１つの動作波形データ３０を選択する（ステップＳ１０４）。
情報処理装置３００は、選択した動作波形データ３０に対して窓関数３２を設定し（ステップＳ１０６）、抽出した固有ベクトルと、設定した窓関数３２に含まれる動作波形データ３０の特徴量とに基づいて、当該設定した窓関数３２についてのＥＣＴスコアを算出する（ステップＳ１０８）。ＥＣＴスコアは、時間区間である窓関数３２に含まれる動作波形データ３０の特徴量と各固有ベクトルとの類似度を示す値である。
情報処理装置３００は、算出したＥＣＴスコアからバイナリコードを算出する（ステップＳ１１０）。情報処理装置３００は、次の時間区間に窓関数３２をシフトさせる（ステップＳ１１２）。ステップＳ１０６～Ｓ１１２の処理は、動作波形データ３０に対して設定される窓関数３２の数だけ繰り返される。
情報処理装置３００は、対象のロボットから収集された別の動作波形データ３０を選択し（ステップＳ１１４）、ステップＳ１０６～Ｓ１１２の処理を繰り返す。ステップＳ１０４～Ｓ１１４の処理は、対象の動作波形データ３０の数だけ繰り返される。
続いて、情報処理装置３００は、算出したバイナリコードをハイパー空間３８にプロットし（ステップＳ１１６）、ハイパー空間３８上に形成された動作特徴量を示す１または複数のクラスタ４０を決定する（ステップＳ１１８）。そして、情報処理装置３００は、決定したクラスタ４０の各々に対して、動作要素をラベリングするとともに、動作要素に対応する動作要素コード４４を割り当てる（ステップＳ１２０）。
以上の処理によって、動作要素モデル４８が構成される。動作要素モデル４８は、バイナリコードの入力に対して、対応する動作要素および当該動作要素を示す動作要素コード４４を出力する。
続いて、動作定義データベース６０が構成される。より具体的には、情報処理装置３００は、任意のロボット動作に対応する動作波形データ３０から窓関数毎にバイナリコードを算出し（ステップＳ１２２）、算出したバイナリコードを動作要素モデル４８に順次入力することで、動作要素コード４４のデータ列を算出する（ステップＳ１２４）。動作要素コード４４のデータ列は、ロボットの動作要素を時系列に並べたものに相当する。
情報処理装置３００は、ステップＳ１２２においてバイナリコードを算出したロボット動作に対応する動画像４６から動作認識を行って、ロボットの動作要素に対応する動詞（単語）の列を決定する（ステップＳ１２６）。このように、情報処理装置３００は、所定の動作を行うロボットを撮影した動画像４６を動作認識することで、当該所定の動作を示す動詞を決定する。なお、動画像４６に代えて、あるいは、動画像４６に加えて、対象のロボットのパスプランを用いてもよい。また、現実にロボットを撮影して得られる動画像４６ではなく、ロボットを仮想的に撮影して得られる動画像４６を用いてもよい。
情報処理装置３００は、ステップＳ１２４において算出した動作要素コード４４のデータ列と、ステップＳ１２６において決定した動詞とを組み合わせることで、固有動作６４の動作定義を決定し（ステップＳ１２８）、固有動作６４の各々を特定するための固有動作コード６６を割り当てる（ステップＳ１３０）。そして、情報処理装置３００は、固有動作６４および対応する固有動作コード６６を動作定義データベース６０に登録する（ステップＳ１３２）。
なお、情報処理装置３００は、必要に応じて、複数の固有動作６４からなる連動作６８、または、複数の連動作６８からなる工程７０の単位で動作定義データベース６０に登録してもよい。
以上の処理によって構成された動作定義データベース６０を用いることで、任意のロボット動作について標準化されたコードを用いて記述できる。
（ｃ２：動作波形データの収集および固有ベクトルの抽出）
まず、動作波形データを収集および固有ベクトルを抽出する処理（ステップＳ１００，Ｓ１０２）について説明する。
情報処理装置３００は、対象のロボットから所定量の動作波形データを収集する。動作波形データは、所定のサンプリング周期毎に収集された動作特徴ベクトルの時系列データに相当する。動作特徴ベクトルは、対象のロボットの動作に係る複数の特徴量により規定される多次元ベクトルである。特徴量としては、例えば、対象のロボットのＴＣＰ姿勢（各軸の位置）、関節トルク、ＴＣＰ速度、ＴＣＰ加速度、ＴＣＰ加加速度などが挙げられる。
例えば、マニピュレータ（６軸多関節ロボット）では、ＴＣＰ姿勢（Ｘ，Ｙ，Ｚ，Ｒｘ，Ｒｙ，Ｒｚ）、関節回転角度（６軸）、関節トルク（６軸）、ＴＣＰ速度（Ｖｘ，Ｖｙ，Ｖｚ，Ｖｒｘ，Ｖｒｙ，Ｖｒｚ）の合計２４次元の特徴量を用いてもよい。また、モバイルロボットでは、現在の姿勢（Ｘ，Ｙ，θ）、ドライブトレイントルク（Ｌトルク，Ｒトルク）、速度、ＩＭＵデータ（速度、回転位置、回転速度）の合計２４次元の特徴量を用いてもよい。
なお、対象のロボットの動作を規定する情報であれば、どのような特徴量を用いてもよい。
情報処理装置３００は、収集された動作波形データに対して主成分分析を行うことで、１または複数の固有ベクトルを抽出する。固有ベクトルの抽出は、任意の方法を採用できる。抽出された固有ベクトルは、対象のロボットの基本的な動作の特徴を示すと考えられる。
（ｃ３：ＥＣＴスコアの算出）
次に、ＥＣＴスコアを算出する処理について説明する（ステップＳ１０６，Ｓ１０８）。
図７は、本実施の形態に係る命令記述支援システム１におけるＥＣＴスコアを算出する処理を説明するための図である。上述したように、動作波形データ３０は、所定のサンプリング周期毎に収集された動作特徴ベクトルの時系列データに相当する。
情報処理装置３００は、動作波形データ３０に対して、所定の時間幅を有する窓関数３２を時間軸に沿ってシフトさせて順次適用する。すなわち、情報処理装置３００は、動作波形データ３０に設定される時間区間である窓関数３２を時間軸に沿ってシフトさせる。情報処理装置３００は、窓関数３２を用いて、予め抽出された固有ベクトルのうち、動作波形データ３０と合致する固有ベクトルを抽出する。
より具体的には、まず、情報処理装置３００は、窓関数３２に含まれる対象のデータとレファレンスデータとの時間相関行列を算出する。そして、情報処理装置３００は、時間相関行列と固有ベクトルとの比較、および、時間相関行列から固有値を算出する。固有値としては、例えば、ベクトルのドット積（＜ｖ１，ｖ２＞＝Σｖ１ｉ，ｖ２ｉ）を用いて規定されるベクトルの方向を用いることができる。ここで、ドット積は、２つのベクトルがどの程度類似しているかを－１～１の範囲の値で示す。さらに、ドット積を０～１００％の範囲に規格化することで、窓関数３２における相関行列の固有ベクトル内積を示すＥＣＴスコアを算出できる。
すなわち、情報処理装置３００は、動作波形データ３０に設定される窓関数３２毎に、各固有ベクトルについてのスコア（ＥＣＴスコア）を算出する。算出されたＥＣＴスコアは、ＥＣＴスコアリスト３４として出力される。
このように、情報処理装置３００は、所定数の固有ベクトルに対して、動作波形データ３０と時系列的に合致する固有ベクトルを決定し、ノルムの積で除算することで、当該決定した固有ベクトル内積の角度を算出し、算出した角度を正規化してＥＣＴスコアとして算出する。
（ｃ４：バイナリコードの算出）
次に、バイナリコードを算出する処理について説明する（ステップＳ１１０）。
図８は、本実施の形態に係る命令記述支援システム１におけるバイナリコード３６を算出する処理を説明するための図である。図８を参照して、バイナリコード３６は、テストパッチに基づいて算出される。テストパッチは、予め算出されたＥＣＴスコアリスト３４に含まれるＥＣＴスコア群からランダムに選択された２つのＥＣＴスコア（ＥＣＴｘおよびＥＣＴｙ）からなる組み合わせである。
例えば、図８においては、ＥＣＴスコアリスト３４の１番目と３番目のＥＣＴスコアとが第１の組み合わせとして選択され、ＥＣＴスコアリスト３４の１番目と２番目のＥＣＴスコアとが第２の組み合わせとして選択され、ＥＣＴスコアリスト３４の２番目と５番目のＥＣＴスコアとが第３の組み合わせとして選択されている。以下、２つのＥＣＴスコアがランダムに順次選択される。
パッチに含まれる２つのＥＣＴスコアを比較して、第１のＥＣＴスコア（ＥＣＴｘ）が第２のＥＣＴスコア（ＥＣＴｙ）以上であれば「１」を割り当て、第１のＥＣＴスコア（ＥＣＴｘ）が第２のＥＣＴスコア（ＥＣＴｙ）より小さければ「０」を割り当てる。このように、情報処理装置３００は、複数の固有ベクトルのそれぞれに対する窓関数３２に相当する時間区間の波形データの類似度をそれぞれ算出し、算出された類似度のうちランダムに選択される２つの類似度間の大小関係に応じて、バイナリコード３６を構成する各ビットの値を決定する。
バイナリコード３６の長さは、ＥＣＴスコアリスト３４に含まれるＥＣＴスコアの組み合わせの数（例えば、図８に示すように９個のＥＣＴスコアであれば、９Ｃ２＝３６個）となる。例えば、動作特徴量として、３６ビットのバイナリコード３６が算出される。
算出されたバイナリコード３６は、窓関数３２の時間区間におけるロボットの動作を示すコードに相当する。
このように、情報処理装置３００は、動作波形データ３０に設定される時間区間である窓関数３２の波形データと固有ベクトルとの類似度を示すＥＣＴスコアから、当該時間区間の動作を示すバイナリコード３６を算出する。
（ｃ５：動作要素モデル４８の構成）
次に、動作要素モデル４８を構成する処理について説明する（ステップＳ１１６，Ｓ１１８，Ｓ１２０）。
図９は、本実施の形態に係る命令記述支援システム１における動作要素モデル４８を構成するためのクラスタリング処理を説明するための図である。図９を参照して、上述したような手順によって算出された多数のバイナリコード３６をハイパー空間３８にプロットする。バイナリコード３６がプロットされるハイパー空間３８は、バイナリコード３６を構成するビット数と同数の次元（上述の例では、３６次元）を有している。
ハイパー空間３８にプロットされた多数のバイナリコード３６によって、動作要素に対応する１または複数のクラスタ４０が形成される。クラスタ４０の各々は、動作要素の特徴を示すことになる。
図１０は、本実施の形態に係る命令記述支援システム１における動作要素モデル４８を構成するためのラベリング処理を説明するための図である。図１０を参照して、クラスタリングによって得られた動作特徴量に対して、「まがる」、「とまる」、「直進」といった動作要素５６をラベリングするとともに、動作要素５６に対応する動作要素コード４４を割り当てる。動作要素５６は、収集した動作波形データが対象とするロボットの動作内容から決定できる。
以上のようなクラスタリング処理およびラベリング処理によって、動作要素モデル４８が構成される。すなわち、情報処理装置３００は、複数のバイナリコード３６をクラスタリングすることにより、動作要素モデル４８を構成する。なお、動作要素モデル４８は、図１０に示すようなハイパー空間３８を有する必要は必ずしもなく、公知の分類器の形で実装されてもよい。
（ｃ６：動作定義データベース６０の構成）
次に、動作定義データベース６０を構成する処理について説明する（ステップＳ１２２～Ｓ１３２）。
図１１は、本実施の形態に係る命令記述支援システム１における動作定義データベース６０を構成する処理を説明するための図である。
図１１を参照して、情報処理装置３００は、任意のロボット動作についての動作波形データを収集するとともに、当該ロボット動作を撮影することで動画像などを収集する。
情報処理装置３００は、上述の図７および図８に示す処理手順に従って、収集した動作波形データから窓関数毎のバイナリコード３６を算出する（バイナリコードリスト５０）。そして、情報処理装置３００は、窓関数毎のバイナリコード３６が図１０に示すハイパー空間３８上のいずれのクラスタ４０に分類されるのかを決定する（動作要素モデル４８を用いたクラス分類処理５２）。
その結果、窓関数毎に対応する動作要素５６が決定あるいは推定される。決定された動作要素５６を示す動作要素コード４４（「８８」，「２３２」，「２３５」，「３４３」など）が命令記述の基本的な要素となる。
一方、情報処理装置３００は、対応する動画像などから動作認識を行って、一連の動作に対応する動詞（単語）を決定する（動作認識に基づく動作（単語）決定処理５４）。なお、一連の動作に対応する動詞を決定する処理は、例えば、非特許文献１に開示される手法を用いることができる。
１または複数の動作要素５６が固有動作６４（例えば、「さぐる（周辺）」）を構成し、１または複数の固有動作６４が連動作６８（例えば、「はめ込み」）を構成し、１または複数の連動作６８が工程７０（例えば、「カバー取付」）を構成する。
このように、固有動作６４、連動作６８および工程７０は、いずれも時系列に沿った動作要素５６の組み合わせとして定義される。すなわち、固有動作６４、連動作６８および工程７０の各々は、１または複数の動作要素５６に対応する動作要素コード４４からなるコード列として定義される。さらに、コード列の各々をさらに短縮したコードに変換してもよい。この場合、コード列を一意に特定できるようなコード化処理であれば、どのような処理を採用してもよい。
上述したように、窓関数３２毎に対応する動作要素５６を推定することで、一連の動作要素５６を決定し、当該決定した一連の動作要素５６に対して動詞を割り当てることで、固有動作６４に対応する命令コードを定義できる。さらに、固有動作６４を組み合わせて、連動作６８および工程７０についても命令コードを生成できる。
図１２は、本実施の形態に係る命令記述支援システム１における動作要素５６を決定する処理を説明するための図である。図１２を参照して、図９に示すようなハイパー空間３８にプロットされたバイナリコード３６によって形成された動作要素５６を示すクラスタ４０のヒストグラム４２が算出される。ヒストグラム４２においては、動作特徴量のベクトルの方向が互いに類似するほど、動作特徴量の類似度が高いことが示される。
例えば、カルバック・ライブラー情報量（Kullback-Leibler divergence）を用いることで、各分布の類似度を評価できる。すなわち、カルバック・ライブラー情報量（ＫＬ情報量）は、確率分布Ｐ（ｉ）と確率分布Ｑ（ｉ）との間がどの程度類似しているかを示す。ＫＬ情報量がゼロに近付くほど、２つの確率分布は類似度が高いことを意味する。ＫＬ情報量ＤＫＬは図１２に示すような式に従って算出でき、ＫＬ情報量ＤＫＬを評価することで、対象の動作要素５６がいずれのクラスタ４０に属するのかを判断できる。
なお、図１２に適用されるアルゴリズムは、画像処理および物体検出アルゴリズムで利用される「Bag-of-Visual Words」と同様の内容である。
図１３は、本実施の形態に係る命令記述支援システム１における動作要素５６を決定する処理例を示す図である。図１３に示すようなバイナリコードリスト５０Ａが取得された場合に、互いの類似度などを評価することで、バイナリコードリスト５０Ｂのように集約してもよい。また、集約したバイナリコードリスト５０Ｂに対して、対応する動作要素５６が決定されてもよい。
以上のように、情報処理装置３００は、ロボットが所定の動作を行ったときの動作波形データ３０から動作要素モデル４８を用いて推定される一連の動作要素と、当該所定の動作を示す動詞とを対応付けることで、当該所定の動作に含まれる、１または複数の動作要素で構成される固有動作６４を決定し、当該決定した固有動作６４を示す固有動作コード６６を動作定義データベース６０に登録する。このような処理によって、動作定義データベース６０が構成される。
＜Ｄ．機能構成＞
図１４は、本実施の形態に係る命令記述支援システム１の機能構成例を示す模式図である。図１４を参照して、情報処理装置３００は、動作定義に係る機能構成として、固有ベクトル抽出部３５０と、窓関数設定部３５２と、ＥＣＴスコア算出部３５４と、バイナリコード算出部３５６と、動作要素モデル構成部３５８と、動作要素決定部３６０と、動作認識部３６２と、動作定義データベース構成部３６４と、命令コード生成部３７０とを含む。これらの機能は、典型的には、情報処理装置３００のプロセッサ３０２が命令記述支援プログラム３１４を実行することで実現される。
固有ベクトル抽出部３５０は、ロボットから収集された動作波形データ３０から固有ベクトルあるいは固有ベクトルの候補を抽出する。すなわち、固有ベクトル抽出部３５０は、対象のロボットの動作を示す動作波形データ３０から固有ベクトルを抽出する。
窓関数設定部３５２は、ロボットから収集された動作波形データ３０に対して、窓関数３２を設定するとともに、窓関数３２を時間軸に沿って順次シフトさせる。
ＥＣＴスコア算出部３５４は、固有ベクトル抽出部３５０により抽出された固有ベクトルと、窓関数設定部３５２により設定された窓関数３２に含まれる動作波形データ３０の特徴量とに基づいて、ＥＣＴスコアを算出する。
バイナリコード算出部３５６は、ＥＣＴスコア算出部３５４により算出されたＥＣＴスコアからバイナリコード３６を算出する。すなわち、バイナリコード算出部３５６は、動作波形データ３０に設定される時間区間（窓関数３２）の波形データと固有ベクトルとの類似度を示すＥＣＴスコアから、当該時間区間の動作を示すバイナリコード３６を算出する。
動作要素モデル構成部３５８は、複数のバイナリコード３６をクラスタリングすることにより、動作要素５６を推定するための動作要素モデル４８を構成する。より具体的には、動作要素モデル構成部３５８は、バイナリコード算出部３５６により算出されたバイナリコード３６をハイパー空間３８にプロットするとともに、プロットされたバイナリコード３６の集合からクラスタ４０を決定する。動作要素モデル構成部３５８は、各クラスタ４０に対して、動作要素５６をラベリングするとともに、動作要素５６に対応する動作要素コード４４を割り当てることで、動作要素モデル４８を構成する。
動作要素決定部３６０は、バイナリコード算出部３５６が算出する窓関数毎のバイナリコード３６を動作要素モデル４８に入力して、動作波形データ３０に対応する動作要素５６および対応する動作要素コード４４を順次出力する。
動作認識部３６２は、動画像４６に基づいて、動作波形データ３０に対応する動詞（単語）を出力する。すなわち、動作認識部３６２は、所定の動作を行うロボットを撮影した動画像を動作認識することで、当該所定の動作を示す動詞を決定する。
動作定義データベース構成部３６４は、動作要素決定部３６０から時系列に出力される動作要素コード４４と、動作認識部３６２から時系列に出力される動詞とを組み合わせて、動作定義データベース６０を構成する。すなわち、動作定義データベース構成部３６４は、ロボットが所定の動作を行ったときの動作波形データ３０から動作要素モデル４８を用いて推定される一連の動作要素と、当該所定の動作を示す動詞とを対応付けることで、当該所定の動作に含まれる、１または複数の動作要素で構成される固有動作６４を決定し、当該決定した固有動作６４を示す固有動作コード６６を動作定義データベース６０に登録する。
上述したような機能構成を用いて構成された動作定義データベース６０は、例えば、以下のような態様で命令コード７２の生成に利用される。
命令コード生成部３７０は、１または複数の固有動作６４の組み合わせで定義されるロボットの動作に対応する、１または複数の固有動作コード６６からなる命令コード７２を生成する。より具体的には、命令コード生成部３７０は、任意の工程を記述した情報の入力を受けると、動作定義データベース６０を参照して、入力された工程に含まれる１または複数の固有動作６４に対応する１または複数の固有動作コード６６を検索する。探索された１または複数の固有動作コード６６を順番に並べた一連のコードを命令コード７２として出力できる。なお、１または複数の固有動作６４の組み合わせは、連動作６８または工程７０の単位で定義されてもよい。
なお、動作定義データベース６０は、固有動作６４を示す自然言語のラベルを含むため、入力される工程の情報では、固有動作を自然言語で特定すればよい。
＜Ｅ．応用例＞
図１５は、本実施の形態に係る命令記述支援システム１により生成される命令コード７２の一例を示す図である。図１５を参照して、命令コード７２は、複数の固有動作６４の組み合わせで定義される。固有動作６４の各々は、１または複数の動作要素５６から構成される。
なお、動作要素５６の各々には、動作を具体化するためのパラメータが設定可能になっており、ユーザは、所望の動作となるように、パラメータを適宜設定あるいは変更してもよい。
図１６は、本実施の形態に係る命令記述支援システム１により生成される命令コード７２の生成処理の一例を示す図である。図１６を参照して、命令記述支援システム１は、１または複数の工程指示書８０の入力を受けて、工程指示書８０に定義された処理を１または複数の固有動作６４として再構成し、再構成された１または複数の固有動作６４に対応する固有動作コード６６を命令コード７２として出力する。
このように、命令記述支援システム１は、１または複数の工程指示書８０から命令コード７２を生成する。
＜Ｆ．付記＞
上述したような本実施の形態は、以下のような技術思想を含む。
［構成１］
対象のロボット（２００）の動作を示す動作波形データ（３０）から固有ベクトルを抽出する抽出部（３５０）と、
前記動作波形データに設定される時間区間（３２）の波形データと前記固有ベクトルとの類似度を示すスコアから、当該時間区間の動作を示すバイナリコード（３６）を算出する算出部（３５４）と、
前記バイナリコードを用いて、動作要素を推定するための動作要素モデル（４８）を構成するモデル構成部（３５８）と、
前記ロボットが所定の動作を行ったときの動作波形データから前記動作要素モデルを用いて推定される一連の動作要素（５６）と、当該所定の動作を示す動詞とを対応付けることで、当該所定の動作に含まれる、１または複数の動作要素で構成される固有動作を決定し、当該決定した固有動作（６４）を示す固有動作コード（６６）をデータベース（６０）に登録するデータベース構成部（３６４）とを備える、命令記述支援システム。
［構成２］
１または複数の固有動作の組み合わせで定義されるロボットの動作に対応する、１または複数の固有動作コードからなる命令コード（７２）を生成する命令生成部（３７０）をさらに備える、構成１に記載の命令記述支援システム。
［構成３］
前記１または複数の固有動作の組み合わせは、連動作（６８）または工程（７０）単位で定義される、構成２に記載の命令記述支援システム。
［構成４］
前記所定の動作を行う前記ロボットを撮影した動画像（４６）を動作認識することで、前記所定の動作を示す動詞を決定する動作認識部（３６２）をさらに備える、構成１～３のいずれか１項に記載の命令記述支援システム。
［構成５］
前記算出部は、複数の前記固有ベクトルのそれぞれに対する前記時間区間の波形データの類似度をそれぞれ算出し、算出された類似度のうちランダムに選択される２つの類似度間の大小関係に応じて、前記バイナリコードを構成する各ビットの値を決定する。構成１～４のいずれか１項に記載の命令記述支援システム。
［構成６］
前記モデル構成部は、複数の前記バイナリコードをクラスタリングすることにより、前記動作要素モデルを構成する、構成１～５のいずれか１項に記載の命令記述支援システム。
［構成７］
前記算出部は、前記動作波形データに設定される前記時間区間を時間軸に沿ってシフトさせる、構成１～６のいずれか１項に記載の命令記述支援システム。
［構成８］
対象のロボット（２００）の動作を示す動作波形データ（３０）から固有ベクトルを抽出するステップ（Ｓ１０２）と、
前記動作波形データに設定される時間区間（３２）の波形データと前記固有ベクトルとの類似度を示すスコアから、当該時間区間の動作を示すバイナリコード（３６）を算出するステップ（Ｓ１１０）と、
前記バイナリコードを用いて、動作要素を推定するための動作要素モデル（４８）を構成するステップ（Ｓ１１６，Ｓ１１８，Ｓ１２０）と、
前記ロボットが所定の動作を行ったときの動作波形データから前記動作要素モデルを用いて推定される一連の動作要素（５６）と、当該所定の動作を示す動詞とを対応付けることで、当該所定の動作に含まれる、１または複数の動作要素で構成される固有動作（６４）を決定し、当該決定した固有動作を示す固有動作コード（６６）をデータベース（６０）に登録するステップ（Ｓ１２２，Ｓ１２４，Ｓ１２６，Ｓ１２８，Ｓ１３０，Ｓ１３２）とを備える、命令記述支援方法。
［構成９］
コンピュータ（３００）に、
対象のロボット（２００）の動作を示す動作波形データ（３０）から固有ベクトルを抽出するステップ（Ｓ１０２）と、
前記動作波形データに設定される時間区間（３２）の波形データと前記固有ベクトルとの類似度を示すスコアから、当該時間区間の動作を示すバイナリコード（３６）を算出するステップ（Ｓ１１０）と、
前記バイナリコードを用いて、動作要素を推定するための動作要素モデル（４８）を構成するステップ（Ｓ１１６，Ｓ１１８，Ｓ１２０）と、
前記ロボットが所定の動作を行ったときの動作波形データから前記動作要素モデルを用いて推定される一連の動作要素（５６）と、当該所定の動作を示す動詞とを対応付けることで、当該所定の動作に含まれる、１または複数の動作要素で構成される固有動作（６４）を決定し、当該決定した固有動作を示す固有動作コード（６６）をデータベース（６０）に登録するステップ（Ｓ１２２，Ｓ１２４，Ｓ１２６，Ｓ１２８，Ｓ１３０，Ｓ１３２）とを実行させる、命令記述支援プログラム（３１４）。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
１ 命令記述支援システム、４ カメラ、１０ フィールドネットワーク、２０ 上位ネットワーク、３０ 動作波形データ、３２ 窓関数、３４ スコアリスト、３６ バイナリコード、３８ ハイパー空間、４０ クラスタ、４２ ヒストグラム、４４ 動作要素コード、４６ 動画像、４８ 動作要素モデル、５０，５０Ａ，５０Ｂ バイナリコードリスト、５２ クラス分類処理、５４ 決定処理、５６ 動作要素、６０ 動作定義データベース、６２ 動作区分、６４ 固有動作、６６ 固有動作コード、６８ 連動作、７０ 工程、７２ 命令コード、８０ 工程指示書、１００ 制御装置、１０２，２６２，３０２ プロセッサ、１０４，２６４，３０４ メインメモリ、１０６ 上位ネットワークコントローラ、１０８，２５２ フィールドネットワークコントローラ、１１０，２７０，３１０ ストレージ、１１２ メモリカードインターフェイス、１１４ メモリカード、１１６ ローカルバスコントローラ、１１８ プロセッサバス、１２０，３２４ ＵＳＢコントローラ、１２２ ローカルバス、１３０ 機能ユニット、２００ ロボット、２５０ ロボットコントローラ、２６０ 制御処理回路、２６８ インターフェイス回路、２７２，１１０２ システムプログラム、３００ 情報処理装置、３０６ 光学ドライブ、３０７ 記録媒体、３０８ バス、３１２ ＯＳ、３１４ 命令記述支援プログラム、３２０ ネットワークコントローラ、３２６ 入力部、３２８ 表示部、３５０ 固有ベクトル抽出部、３５２ 窓関数設定部、３５４ スコア算出部、３５６ バイナリコード算出部、３５８ 動作要素モデル構成部、３６０ 動作要素決定部、３６２ 動作認識部、３６４ 動作定義データベース構成部、３７０ 命令コード生成部、４００ 表示装置、１１０４ ＩＥＣプログラム、１１０６ ロボットプログラム。

Claims (9)

  1. 対象のロボットの動作を示す動作波形データから固有ベクトルを抽出する抽出部と、
    前記動作波形データに設定される時間区間の波形データと前記固有ベクトルとの類似度を示すスコアから、当該時間区間の動作を示すバイナリコードを算出する算出部と、
    前記バイナリコードを用いて、動作要素を推定するための動作要素モデルを構成するモデル構成部と、
    前記ロボットが所定の動作を行ったときの動作波形データから前記動作要素モデルを用いて推定される一連の動作要素と、当該所定の動作を示す動詞とを対応付けることで、当該所定の動作に含まれる、１または複数の動作要素で構成される固有動作を決定し、当該決定した固有動作を示す固有動作コードをデータベースに登録するデータベース構成部とを備える、命令記述支援システム。
  2. １または複数の固有動作の組み合わせで定義されるロボットの動作に対応する、１または複数の固有動作コードからなる命令コードを生成する命令生成部をさらに備える、請求項１に記載の命令記述支援システム。
  3. 前記１または複数の固有動作の組み合わせは、連動作または工程の単位で定義される、請求項２に記載の命令記述支援システム。
  4. 前記所定の動作を行う前記ロボットを撮影した動画像を動作認識することで、前記所定の動作を示す動詞を決定する動作認識部をさらに備える、請求項１～３のいずれか１項に記載の命令記述支援システム。
  5. 前記算出部は、複数の前記固有ベクトルのそれぞれに対する前記時間区間の波形データの類似度をそれぞれ算出し、算出された類似度のうちランダムに選択される２つの類似度間の大小関係に応じて、前記バイナリコードを構成する各ビットの値を決定する。請求項１～４のいずれか１項に記載の命令記述支援システム。
  6. 前記モデル構成部は、複数の前記バイナリコードをクラスタリングすることにより、前記動作要素モデルを構成する、請求項１～５のいずれか１項に記載の命令記述支援システム。
  7. 前記算出部は、前記動作波形データに設定される前記時間区間を時間軸に沿ってシフトさせる、請求項１～６のいずれか１項に記載の命令記述支援システム。
  8. 対象のロボットの動作を示す動作波形データから固有ベクトルを抽出するステップと、
    前記動作波形データに設定される時間区間の波形データと前記固有ベクトルとの類似度を示すスコアから、当該時間区間の動作を示すバイナリコードを算出するステップと、
    前記バイナリコードを用いて、動作要素を推定するための動作要素モデルを構成するステップと、
    前記ロボットが所定の動作を行ったときの動作波形データから前記動作要素モデルを用いて推定される一連の動作要素と、当該所定の動作を示す動詞とを対応付けることで、当該所定の動作に含まれる、１または複数の動作要素で構成される固有動作を決定し、当該決定した固有動作を示す固有動作コードをデータベースに登録するステップとを備える、命令記述支援方法。
  9. コンピュータに、
    対象のロボットの動作を示す動作波形データから固有ベクトルを抽出するステップと、
    前記動作波形データに設定される時間区間の波形データと前記固有ベクトルとの類似度を示すスコアから、当該時間区間の動作を示すバイナリコードを算出するステップと、
    前記バイナリコードを用いて、動作要素を推定するための動作要素モデルを構成するステップと、
    前記ロボットが所定の動作を行ったときの動作波形データから前記動作要素モデルを用いて推定される一連の動作要素と、当該所定の動作を示す動詞とを対応付けることで、当該所定の動作に含まれる、１または複数の動作要素で構成される固有動作を決定し、当該決定した固有動作を示す固有動作コードをデータベースに登録するステップとを実行させる、命令記述支援プログラム。
JP2021040256A 2021-03-12 2021-03-12 命令記述支援システム、命令記述支援方法および命令記述支援プログラム Pending JP2022139742A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021040256A JP2022139742A (ja) 2021-03-12 2021-03-12 命令記述支援システム、命令記述支援方法および命令記述支援プログラム
PCT/JP2021/034739 WO2022190435A1 (ja) 2021-03-12 2021-09-22 命令記述支援システム、命令記述支援方法および命令記述支援プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021040256A JP2022139742A (ja) 2021-03-12 2021-03-12 命令記述支援システム、命令記述支援方法および命令記述支援プログラム

Publications (1)

Publication Number Publication Date
JP2022139742A true JP2022139742A (ja) 2022-09-26

Family

ID=83226229

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021040256A Pending JP2022139742A (ja) 2021-03-12 2021-03-12 命令記述支援システム、命令記述支援方法および命令記述支援プログラム

Country Status (2)

Country Link
JP (1) JP2022139742A (ja)
WO (1) WO2022190435A1 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3211186B2 (ja) * 1997-12-15 2001-09-25 オムロン株式会社 ロボット、ロボットシステム、ロボットの学習方法、ロボットシステムの学習方法および記録媒体
JP6406900B2 (ja) * 2014-07-09 2018-10-17 キヤノン株式会社 画像処理方法、画像処理装置、プログラム、記録媒体、生産装置、及び組立部品の製造方法
JP6869060B2 (ja) * 2017-03-15 2021-05-12 株式会社オカムラ マニピュレータの制御装置、制御方法およびプログラム、ならびに作業システム
US11693924B2 (en) * 2019-06-06 2023-07-04 Hitachi, Ltd. System and method for maintenance recommendation in industrial networks

Also Published As

Publication number Publication date
WO2022190435A1 (ja) 2022-09-15

Similar Documents

Publication Publication Date Title
Xiong et al. Transferable two-stream convolutional neural network for human action recognition
JP6893233B2 (ja) 画像に基づくデータ処理方法、装置、電子機器、コンピュータ可読記憶媒体およびコンピュータプログラム
Ghosh et al. Synthesis of compositional animations from textual descriptions
CN107150347B (zh) 基于人机协作的机器人感知与理解方法
Etemad et al. Classification and translation of style and affect in human motion using RBF neural networks
CN110069129B (zh) 确定系统和确定方法
JP6248593B2 (ja) 姿勢検出装置、姿勢検出方法および姿勢検出プログラム
Cimen et al. Classification of human motion based on affective state descriptors
JP7031685B2 (ja) モデル学習装置、モデル学習方法及びコンピュータプログラム
KR101912918B1 (ko) 학습 로봇, 그리고 이를 이용한 작업 솜씨 학습 방법
Dering et al. An unsupervised machine learning approach to assessing designer performance during physical prototyping
CN114730407A (zh) 使用神经网络对工作环境中的人类行为进行建模
WO2016084326A1 (ja) 情報処理システム、情報処理方法、及び、記録媒体
KR20170108526A (ko) 모사학습 및 행동 조합에 기반한 로봇의 작업 행동궤적 생성 방법 및 그 장치
Papaioannou et al. Mimicme: A large scale diverse 4d database for facial expression analysis
JP4928193B2 (ja) 顔画像認識装置及び顔画像認識プログラム
JP7472471B2 (ja) 推定システム、推定装置および推定方法
WO2022190435A1 (ja) 命令記述支援システム、命令記述支援方法および命令記述支援プログラム
WO2022190434A1 (ja) 命令記述支援システム、命令記述支援方法および命令記述支援プログラム
Alharbi et al. A data preprocessing technique for gesture recognition based on extended-kalman-filter
Wang et al. Probabilistic graph based spatial assembly relation inference for programming of assembly task by demonstration
CN112507940A (zh) 一种基于差分指导表示学习网络的骨骼动作识别方法
CN112230618A (zh) 一种从全局任务自动合成多机器人分布式控制器的方法
Padilla Deep state-space modeling for explainable representation, analysis, and forecasting of professional human body dynamics in dexterity understanding and computational ergonomics
Hosseini et al. Efficient metric learning for the analysis of motion data