JP2019155546A - 制御装置、制御方法、及び制御プログラム - Google Patents
制御装置、制御方法、及び制御プログラム Download PDFInfo
- Publication number
- JP2019155546A JP2019155546A JP2018047056A JP2018047056A JP2019155546A JP 2019155546 A JP2019155546 A JP 2019155546A JP 2018047056 A JP2018047056 A JP 2018047056A JP 2018047056 A JP2018047056 A JP 2018047056A JP 2019155546 A JP2019155546 A JP 2019155546A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- sound
- learning
- data
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 55
- 238000010801 machine learning Methods 0.000 claims abstract description 49
- 230000004044 response Effects 0.000 claims description 27
- 230000033001 locomotion Effects 0.000 claims description 21
- 230000008451 emotion Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 description 98
- 210000002569 neuron Anatomy 0.000 description 27
- 230000010365 information processing Effects 0.000 description 14
- 230000004048 modification Effects 0.000 description 14
- 238000012986 modification Methods 0.000 description 14
- 238000001914 filtration Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000009471 action Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 206010011469 Crying Diseases 0.000 description 3
- 238000010304 firing Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Landscapes
- Manipulator (AREA)
Abstract
Description
まず、図1を用いて、本発明が適用される場面の一例について説明する。図1は、本実施形態に係る制御装置1及び学習装置2の適用場面の一例を模式的に例示する。
[ハードウェア構成]
<制御装置>
次に、図2を用いて、本実施形態に係る制御装置1のハードウェア構成の一例について説明する。図2は、本実施形態に係る制御装置1のハードウェア構成の一例を模式的に例示する。
次に、図3を用いて、本実施形態に係る学習装置2のハードウェア構成の一例について説明する。図3は、本実施形態に係る学習装置2のハードウェア構成の一例を模式的に例示する。
<制御装置>
次に、図4を用いて、本実施形態に係る制御装置1のソフトウェア構成の一例について説明する。図4は、本実施形態に係る制御装置1のソフトウェア構成の一例を模式的に例示する。
次に、学習器の一例であるニューラルネットワーク6について説明する。図4に示されるとおり、本実施形態に係るニューラルネットワーク6は、いわゆる深層学習に用いられる多層構造のニューラルネットワークであり、入力から順に、入力層61、中間層(隠れ層)62、及び出力層63を備えている。
次に、図5を用いて、本実施形態に係る学習装置2のソフトウェア構成の一例について説明する。図5は、本実施形態に係る学習装置2のソフトウェア構成の一例を模式的に例示する。
制御装置1及び学習装置2の各ソフトウェアモジュールに関しては後述する動作例で詳細に説明する。なお、本実施形態では、制御装置1及び学習装置2の各ソフトウェアモジュールがいずれも汎用のCPUによって実現される例について説明している。しかしながら、以上のソフトウェアモジュールの一部又は全部が、1又は複数の専用のプロセッサにより実現されてもよい。また、制御装置1及び学習装置2それぞれのソフトウェア構成に関して、実施形態に応じて、適宜、ソフトウェアモジュールの省略、置換及び追加が行われてもよい。
[制御装置]
次に、図6を用いて、制御装置1の動作例について説明する。図6は、制御装置1の処理手順の一例を例示するフローチャートである。以下で説明する処理手順は、本発明の「制御方法」の一例である。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
ステップS101では、制御部11は、データ取得部111として動作し、ロボットRの周囲の環境が写る画像データ51、及びロボットRの周囲で発生した周囲音を含む音データ52を取得する。画像データ51は、動画像データであってもよいし、静止画像データであってもよい。
ステップS102では、制御部11は、動作決定部112として動作し、学習済みのニューラルネットワーク6に画像データ51及び音データ52を入力し、学習済みのニューラルネットワーク6の演算処理を実行する。これにより、ステップS103では、制御部11は、動作コマンド53に対応する出力値を学習済みのニューラルネットワーク6から取得する。
ステップS104では、制御部11は、動作制御部113として動作し、ステップS103で取得した動作コマンド53に基づいて、ロボットRの動作を制御する。本実施形態では、制御部11は、外部インタフェース13を介して、動作コマンド53に対応する制御信号をロボットRに送信することで、動作コマンド53に対応する動作をロボットRに実行させる。この動作コマンド53に基づいてロボットRの動作を制御することには、ロボットRの実行中の動作を維持すること、ロボットRの実行する動作を変更すること、ロボットRに所定の動作の実行を開始させること、ロボットRに実行中の動作を停止させること等が含まれてよい。
次に、図7を用いて、学習装置2の動作例について説明する。図7は、学習装置2の処理手順の一例を例示するフローチャートである。なお、以下で説明する学習器の機械学習に関する処理手順は、コンピュータによる学習方法の一例である。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
ステップS201では、制御部21は、学習データ取得部211として動作し、画像データ223及び音データ224と動作コマンド225との組み合わせを学習用データセット222として取得する。
ステップS202では、制御部21は、学習処理部212として動作し、ステップS201で取得した学習用データセット222を用いて、画像データ223及び音データ224を入力層71に入力すると、動作コマンド225に対応する出力値を出力層73から出力するようにニューラルネットワーク7の機械学習を実施する。
ステップS203では、制御部21は、学習処理部212として動作して、機械学習後のニューラルネットワーク7の構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を学習結果データ122として記憶部22に格納する。これにより、制御部21は、本動作例に係るニューラルネットワーク7の学習処理を終了する。
以上のように、本実施形態に係る制御装置1は、上記ステップS101の処理により、ロボットRの周囲の環境が写る画像データ51、及びロボットRの周囲で発生した周囲音を含む音データ52を取得する。そして、制御装置1は、上記ステップS102及びS103において、画像データ51及び音データ52を学習済みのニューラルネットワーク6に入力することで、ロボットRに対する動作コマンド53を決定する。この学習済みのニューラルネットワーク6は、上記学習装置2により、画像データ223及び音データ224と動作コマンド225との組み合わせで構成された学習用データセット222を利用した機械学習(教師あり学習)によって生成される。
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
上記実施形態では、制御装置1は、自律的に動作可能に構成されたロボットRを制御している。しかしながら、制御の対象となるロボットは、上記ロボットRのような自律ロボットに限られなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、制御装置1は、生産ラインにおける産業用ロボット、自動運転可能に構成された車両の制御に利用されてもよい。
上記実施形態では、各ニューラルネットワーク(6、7)は、全結合ニューラルネットワークである。しかしながら、各ニューラルネットワーク(6、7)の構成及び種類は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、各ニューラルネットワーク(6、7)は、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク等により構成されてよい。
上記実施形態では、学習器の一例として、ニューラルネットワークを利用している。しかしながら、学習器の種類は、画像データ及び音データを入力として利用可能であれば、ニューラルネットワークに限られなくてもよく、実施の形態に応じて適宜選択されてよい。利用可能な学習器として、例えば、サポートベクターマシン、自己組織化マップ、強化学習により機械学習を行う学習器等を挙げることができる。
上記実施形態では、制御装置1は、ロボットRに直接接続されている。そのため、制御装置1は、外部インタフェース13を介して接続されたロボットRを直接制御している。しかしながら、ロボットRを制御する形態は、このような例に限定されなくてもよい。例えば、制御装置1とロボットRとはネットワークを介して接続されてもよい。この場合、ロボットRは、動作を制御するためのコントローラを備えてもよく、制御装置1は、ネットワークを介してロボットRのコントローラに制御信号を送信することで、ロボットRの動作を制御してもよい。
上記実施形態では、学習結果データ122は、学習済みのニューラルネットワーク6の構成を示す情報を含んでいる。しかしながら、学習結果データ122の構成は、このような例に限定されなくてもよく、学習済みの学習器の設定に利用可能であれば、実施の形態に応じて適宜決定されてよい。例えば、利用するニューラルネットワークの構成が各装置で共通化されている場合には、学習結果データ122は、学習済みのニューラルネットワーク6の構成を示す情報を含んでいなくてもよい。
上記実施形態では、上記ステップS102において、制御部11は、ステップS101で取得した音データ52を学習済みの学習器(学習済みのニューラルネットワーク6)に直接入力している。しかしながら、音データ52を入力する方法は、このような例に限定されなくてもよい。音データ52には、フィルタリング等により前処理が適用されてよい。
上記実施形態では、上記ステップS102において、制御部11は、ステップS101で取得した画像データ51を学習済みの学習器(学習済みのニューラルネットワーク6)に直接入力している。しかしながら、画像データ51を入力する方法は、このような例に限定されなくてもよい。画像データ51には、フィルタリング等により前処理が適用されてもよい。
上記実施形態では、画像データ51の取得には、ロボットRのカメラ31が用いられている。ロボットRがヒューマノイドロボットであり、このカメラ31がロボットRの目として利用される場合、ロボットRの駆動に応じて、カメラ31の位置及び向きが変更される可能性がある。これに対応するため、制御装置1は、例えば、カメラ31の位置及び向きを測定するセンサ、カメラ31以外のその他のカメラ等を更に備えることで、カメラ31と被写体との相対的な位置関係を算出するように構成されてもよい。
11…制御部、12…記憶部、13…外部インタフェース、
111…データ取得部、112…動作決定部、
113…動作制御部、
121…制御プログラム、122…学習結果データ、
2…学習装置、
21…制御部、22…記憶部、23…通信インタフェース、
24…入力装置、25…出力装置、26…ドライブ、
211…学習データ取得部、212…学習処理部、
221…学習プログラム、222…学習用データセット、
92…記憶媒体、
R…ロボット、U…ユーザ、
31…カメラ、32…マイク、
51…画像データ、52…音データ、
53…動作コマンド、
6…ニューラルネットワーク(学習済みの学習器)、
61…入力層、62…中間層(隠れ層)、63…出力層、
7…ニューラルネットワーク、
71…入力層、72…中間層(隠れ層)、73…出力層
Claims (12)
- ロボットの動作を制御する制御装置であって、
前記ロボットの周囲の環境が写る画像データ、及び前記ロボットの周囲で発生した周囲音を含む音データを取得するデータ取得部と、
画像及び音に反映された状況に応じて前記ロボットの動作内容を決定するための機械学習を行った学習済みの学習器に前記画像データ及び前記音データを入力し、当該学習済みの学習器の演算処理を実行することで、前記ロボットの動作の内容を規定する動作コマンドを当該学習済みの学習器から取得する動作決定部と、
取得した前記動作コマンドに基づいて、前記ロボットの動作を制御する動作制御部と、
を備える、
制御装置。 - 前記学習済みの学習器は、前記機械学習により、画像及び音の少なくとも一方に危険を知らせるシグナルが含まれていることに応じて、前記ロボットの動作を停止させることを決定するように構築されている、
請求項1に記載の制御装置。 - 前記学習済みの学習器は、前記機械学習により、ユーザにより発せられた危険を知らせる音声が前記シグナルとして前記音に含まれていることに応じて、前記ロボットの動作を停止させることを決定するように構築されている、
請求項2に記載の制御装置。 - 前記学習済みの学習器は、前記機械学習により、ユーザの危険を知らせるジェスチャが前記シグナルとして前記画像に含まれていることに応じて、前記ロボットの動作を停止させることを決定するように構築されている、
請求項2又は3に記載の制御装置。 - 前記学習済みの学習器は、前記機械学習により、画像及び音の少なくとも一方に表れる人物の状態に応じて前記ロボットの動作内容を決定するように構築されている、
請求項1から4のいずれか1項に記載の制御装置。 - 前記学習済みの学習器は、前記機械学習により、画像及び音の少なくとも一方に表れる人物の感情に応じて前記ロボットの動作内容を決定するように構築されている、
請求項5に記載の制御装置。 - 前記学習済みの学習器は、前記機械学習により、画像及び音の少なくとも一方に人物の恐怖の感情が表れていることに応じて、前記ロボットの動作を軽減又は停止させることを決定するように構築されている、
請求項6に記載の制御装置。 - 前記ロボットは、生産ラインにおける産業用ロボット、自律的に動作可能に構成された自律ロボット、及び自動運転可能に構成された車両の少なくともいずれかである、
請求項1から7のいずれか1項に記載の制御装置。 - 前記動作制御部は、所定の音を抽出するように構成された音フィルタにより前記音データをフィルタリングし、フィルタリングされた前記音データを前記学習済みの学習器に入力する、
請求項1から8のいずれか1項に記載の制御装置。 - 前記動作制御部は、所定の画像を抽出するように構成された画像フィルタにより前記画像データをフィルタリングし、フィルタリングされた前記画像データを前記学習済みの学習器に入力する、
請求項1から9のいずれか1項に記載の制御装置。 - ロボットの動作を制御する制御方法であって、
コンピュータが、
前記ロボットの周囲の環境が写る画像データ、及び前記ロボットの周囲で発生した周囲音を含む音データを取得するステップと、
画像及び音に反映された状況に応じて前記ロボットの動作内容を決定するための機械学習を行った学習済みの学習器に前記画像データ及び前記音データを入力し、当該学習済みの学習器の演算処理を実行することで、前記ロボットの動作の内容を規定する動作コマンドを当該学習済みの学習器から取得するステップと、
取得した前記動作コマンドに基づいて、前記ロボットの動作を制御するステップと、
を実行する、
制御方法。 - ロボットの動作を制御するための制御プログラムであって、
コンピュータに、
前記ロボットの周囲の環境が写る画像データ、及び前記ロボットの周囲で発生した周囲音を含む音データを取得するステップと、
画像及び音に反映された状況に応じて前記ロボットの動作内容を決定するための機械学習を行った学習済みの学習器に前記画像データ及び前記音データを入力し、当該学習済みの学習器の演算処理を実行することで、前記ロボットの動作の内容を規定する動作コマンドを当該学習済みの学習器から取得するステップと、
取得した前記動作コマンドに基づいて、前記ロボットの動作を制御するステップと、
を実行させるための、
制御プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018047056A JP6904287B2 (ja) | 2018-03-14 | 2018-03-14 | 制御装置、制御方法、及び制御プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018047056A JP6904287B2 (ja) | 2018-03-14 | 2018-03-14 | 制御装置、制御方法、及び制御プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019155546A true JP2019155546A (ja) | 2019-09-19 |
JP6904287B2 JP6904287B2 (ja) | 2021-07-14 |
Family
ID=67995371
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018047056A Active JP6904287B2 (ja) | 2018-03-14 | 2018-03-14 | 制御装置、制御方法、及び制御プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6904287B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102118293B1 (ko) * | 2019-12-10 | 2020-06-02 | 주식회사 아진엑스텍 | 터치스크린을 포함하는 휴대용 단말을 이용한 로봇 장치 제어 방법 |
KR102253791B1 (ko) * | 2019-12-10 | 2021-05-20 | 주식회사 아진엑스텍 | 휴대용 단말을 이용한 로봇 제어 방법 |
CN114454176A (zh) * | 2022-03-11 | 2022-05-10 | 深圳鹏行智能研究有限公司 | 机器人的控制方法、控制装置、机器人和存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09123078A (ja) * | 1995-11-01 | 1997-05-13 | Ricoh Co Ltd | ロボット装置 |
JP2017077442A (ja) * | 2015-10-22 | 2017-04-27 | 株式会社日本自動車部品総合研究所 | 動作体の動作制御装置及び動作制御方法 |
-
2018
- 2018-03-14 JP JP2018047056A patent/JP6904287B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09123078A (ja) * | 1995-11-01 | 1997-05-13 | Ricoh Co Ltd | ロボット装置 |
JP2017077442A (ja) * | 2015-10-22 | 2017-04-27 | 株式会社日本自動車部品総合研究所 | 動作体の動作制御装置及び動作制御方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102118293B1 (ko) * | 2019-12-10 | 2020-06-02 | 주식회사 아진엑스텍 | 터치스크린을 포함하는 휴대용 단말을 이용한 로봇 장치 제어 방법 |
KR102253791B1 (ko) * | 2019-12-10 | 2021-05-20 | 주식회사 아진엑스텍 | 휴대용 단말을 이용한 로봇 제어 방법 |
US11485023B2 (en) | 2019-12-10 | 2022-11-01 | Ajinextek Co., Ltd. | Robot controlling method using portable device including touchscreen |
CN114454176A (zh) * | 2022-03-11 | 2022-05-10 | 深圳鹏行智能研究有限公司 | 机器人的控制方法、控制装置、机器人和存储介质 |
CN114454176B (zh) * | 2022-03-11 | 2024-03-12 | 深圳鹏行智能研究有限公司 | 机器人的控制方法、控制装置、机器人和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP6904287B2 (ja) | 2021-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11358285B2 (en) | Robot and method of recognizing mood using the same | |
KR102448382B1 (ko) | 텍스트와 연관된 이미지를 제공하는 전자 장치 및 그 동작 방법 | |
US20160279790A1 (en) | Apparatus and methods for control of robot actions based on corrective user inputs | |
KR101190660B1 (ko) | 로봇 제어 시나리오 생성 방법 및 장치 | |
JP6904287B2 (ja) | 制御装置、制御方法、及び制御プログラム | |
WO2014151926A2 (en) | Robotic training apparatus and methods | |
JP7110884B2 (ja) | 学習装置、制御装置、学習方法、及び学習プログラム | |
US20200114925A1 (en) | Interaction device, interaction method, and program | |
KR20160072621A (ko) | 학습과 추론이 가능한 로봇 서비스 시스템 | |
KR20190095193A (ko) | 인공 지능 시스템의 동작을 관리하는 인공 지능 장치 및 그 방법 | |
KR20190096875A (ko) | 로봇 및 그의 제어 방법 | |
JP2000200103A (ja) | 疑似感情及び疑似性格を用いた制御対象の制御方法、使用者に適合して動作する自律装置、及び使用者の特徴に装置の行動を適合させる方法 | |
US11548144B2 (en) | Robot and controlling method thereof | |
WO2021084810A1 (ja) | 情報処理装置及び情報処理方法、並びに人工知能モデル製造方法 | |
JP6996455B2 (ja) | 検出器生成装置、モニタリング装置、検出器生成方法及び検出器生成プログラム | |
JP7414735B2 (ja) | 複数のロボットエフェクターを制御するための方法 | |
JP6947091B2 (ja) | 運転支援装置、運転支援方法、運転支援プログラム、動作制御装置、動作制御方法、及び動作制御プログラム | |
WO2017187974A1 (ja) | 感情特定システム、システム及びプログラム | |
KR101606543B1 (ko) | 자율도 조정과 인간 조작자 개입을 통한 hri 로봇 시스템 | |
JP7035912B2 (ja) | 検出器生成装置、モニタリング装置、検出器生成方法及び検出器生成プログラム | |
JP7506180B2 (ja) | 教示支援装置、作業システム、教示支援方法および教示支援プログラム | |
Hou et al. | STMMI: A Self‐Tuning Multi‐Modal Fusion Algorithm Applied in Assist Robot Interaction | |
US20230136159A1 (en) | Augmented Reality Enhanced Interactive Robotic Animation | |
US20210023440A1 (en) | Terminal connected to action robot and operating method thereof | |
KR102147835B1 (ko) | 인터랙티브 로봇의 발화 및 제스처 속성 결정 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200305 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210302 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210421 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210525 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210607 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6904287 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |