JP2019124582A5 - 触覚情報推定装置、触覚情報推定方法、プログラム及び非一時的コンピュータ可読媒体 - Google Patents

触覚情報推定装置、触覚情報推定方法、プログラム及び非一時的コンピュータ可読媒体 Download PDF

Info

Publication number
JP2019124582A5
JP2019124582A5 JP2018005151A JP2018005151A JP2019124582A5 JP 2019124582 A5 JP2019124582 A5 JP 2019124582A5 JP 2018005151 A JP2018005151 A JP 2018005151A JP 2018005151 A JP2018005151 A JP 2018005151A JP 2019124582 A5 JP2019124582 A5 JP 2019124582A5
Authority
JP
Japan
Prior art keywords
information
visual
tactile
tactile information
processors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018005151A
Other languages
English (en)
Other versions
JP2019124582A (ja
JP6587195B2 (ja
Filing date
Publication date
Priority claimed from JP2018005151A external-priority patent/JP6587195B2/ja
Priority to JP2018005151A priority Critical patent/JP6587195B2/ja
Application filed filed Critical
Priority to CN201980008690.6A priority patent/CN111615623A/zh
Priority to EP19741719.9A priority patent/EP3742142A4/en
Priority to PCT/JP2019/000971 priority patent/WO2019142796A1/ja
Publication of JP2019124582A publication Critical patent/JP2019124582A/ja
Publication of JP2019124582A5 publication Critical patent/JP2019124582A5/ja
Publication of JP6587195B2 publication Critical patent/JP6587195B2/ja
Application granted granted Critical
Priority to US16/706,478 priority patent/US11590658B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (25)

  1. 1又は複数のメモリと、
    1又は複数のプロセッサと、を備え、
    前記1又は複数のプロセッサは、
    少なくとも、視覚センサで取得された物体の第1の視覚情報を、視覚情報と前記視覚情報に紐付けられた触覚情報とに基づいて生成されたモデルに入力し、前記物体の触覚情報に関する特徴量を抽出すること、
    を実行するよう構成される、
    触覚情報推定装置。
  2. 前記1又は複数のプロセッサは、
    前記物体の第2の視覚情報に基づいて、把持装置が前記物体を把持する位置を決定すること、
    を実行するようにさらに構成される、
    請求項1に記載の触覚情報推定装置。
  3. 前記第2の視覚情報が前記第1の視覚情報である、
    請求項2に記載の触覚情報推定装置。
  4. 前記1又は複数のプロセッサは、
    決定された前記把持する位置に基づいて、前記把持装置に前記物体を把持させること、
    を実行するようにさらに構成される、
    請求項2又は請求項3に記載の触覚情報推定装置。
  5. 前記1又は複数のプロセッサは、
    前記物体の触覚情報に関する特徴量に基づいて、前記把持装置が前記物体を把持する力を決定すること、
    を実行するようにさらに構成される、
    請求項2乃至請求項4のいずれかに記載の触覚情報推定装置。
  6. 前記1又は複数のプロセッサは、
    決定された前記把持する力に基づいて、前記把持装置に前記物体を把持させること、
    を実行するようにさらに構成される、
    請求項5に記載の触覚情報推定装置。
  7. 前記1又は複数のプロセッサは、
    前記把持装置が前記物体を把持した状態に基づいて、前記把持する位置を更新すること、
    を実行するようにさらに構成される、
    請求項2又は請求項3に記載の触覚情報推定装置。
  8. 前記把持装置が前記物体を把持した状態は、少なくとも、前記物体を安定して把持できているか否かを示す情報又は触覚センサからの情報のいずれかを含む、
    請求項7に記載の触覚情報推定装置。
  9. 前記視覚センサと、
    前記把持装置と、
    を更に備える請求項2乃至請求項8のいずれかに記載の触覚情報推定装置。
  10. 前記モデルは、前記視覚情報と前記視覚情報に紐づけられた触覚情報とを自己組織化したモデルである、
    請求項1乃至請求項9のいずれかに記載の触覚情報推定装置。
  11. 前記第1の視覚情報は、少なくとも、前記物体のテクスチャ情報又は前記物体の形状情報のいずれか一つを含む、
    請求項1乃至請求項10のいずれかに記載の触覚情報推定装置。
  12. 前記物体の触覚情報は、前記物体の表面からの面としての圧力情報を含む、
    請求項1乃至請求項11のいずれかに記載の触覚情報推定装置。
  13. 1又は複数のメモリと、
    1又は複数のプロセッサと、を備え、
    前記1又は複数のプロセッサは、
    視覚情報と前記視覚情報に紐付けられた触覚情報とに基づいて、少なくとも、視覚センサで取得された物体の視覚情報が入力されると、前記物体の触覚情報に関する特徴量を出力するモデルを学習すること、
    を実行するよう構成される、
    触覚情報学習装置。
  14. 1又は複数のプロセッサが、
    少なくとも、視覚センサで取得された物体の第1の視覚情報を、視覚情報と前記視覚情報に紐付けられた触覚情報とに基づいて生成されたモデルに入力し、前記物体の触覚情報に関する特徴量を抽出する、
    触覚情報推定方法。
  15. 前記1又は複数のプロセッサが、
    前記物体の第2の視覚情報に基づいて、把持装置が前記物体を把持する位置を決定する、
    請求項14に記載の触覚情報推定方法。
  16. 前記第2の視覚情報が前記第1の視覚情報である、
    請求項15に記載の触覚情報推定方法。
  17. 前記1又は複数のプロセッサが、
    決定された前記把持する位置に基づいて、前記把持装置に前記物体を把持させる、
    請求項15又は請求項16に記載の触覚情報推定方法。
  18. 前記1又は複数のプロセッサが、
    前記物体の触覚情報に関する特徴量に基づいて、前記把持装置が前記物体を把持する力を決定する、
    請求項15乃至請求項17のいずれかに記載の触覚情報推定方法。
  19. 前記1又は複数のプロセッサが、
    決定された前記把持する力に基づいて、前記把持装置に前記物体を把持させる、
    請求項18に記載の触覚情報推定方法。
  20. 前記1又は複数のプロセッサが、
    前記把持装置が前記物体を把持した状態に基づいて、前記把持する位置を更新する、
    請求項15又は請求項16に記載の触覚情報推定方法。
  21. 1又は複数のプロセッサが
    視覚情報と前記視覚情報に紐付けられた触覚情報とに基づいて、少なくとも、視覚センサで取得された物体の視覚情報が入力されると、前記物体の触覚情報に関する特徴量を出力するモデルを学習する、
    触覚情報学習方法。
  22. コンピュータを
    少なくとも、視覚センサで取得された物体の第1の視覚情報を、視覚情報と前記視覚情報に紐付けられた触覚情報とに基づいて生成されたモデルに入力し、前記物体の触覚情報に関する特徴量を抽出する手段、
    として機能させる、プログラム。
  23. コンピュータを、
    視覚情報と前記視覚情報に紐付けられた触覚情報とに基づいて、少なくとも、視覚センサで取得された物体の視覚情報が入力されると、前記物体の触覚情報に関する特徴量を出力するモデルを学習する手段、
    として機能させる、プログラム。
  24. 1又は複数のプロセッサにより実行させると、
    少なくとも、視覚センサで取得された物体の第1の視覚情報を、視覚情報と前記視覚情報に紐付けられた触覚情報とに基づいて生成されたモデルに入力し、前記物体の触覚情報に関する特徴量を抽出すること、
    を備える方法、
    を実行するプログラムを格納した非一時的コンピュータ可読媒体。
  25. 1又は複数のプロセッサにより実行させると、
    視覚情報と前記視覚情報に紐付けられた触覚情報とに基づいて、少なくとも、視覚センサで取得された物体の視覚情報が入力されると、前記物体の触覚情報に関する特徴量を出力するモデルを学習すること、
    を備える方法、
    を実行するプログラムを格納した非一時的コンピュータ可読媒体。
JP2018005151A 2018-01-16 2018-01-16 触覚情報推定装置、触覚情報推定方法、プログラム及び非一時的コンピュータ可読媒体 Active JP6587195B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018005151A JP6587195B2 (ja) 2018-01-16 2018-01-16 触覚情報推定装置、触覚情報推定方法、プログラム及び非一時的コンピュータ可読媒体
CN201980008690.6A CN111615623A (zh) 2018-01-16 2019-01-15 触觉信息推测装置、触觉信息推测方法以及程序
EP19741719.9A EP3742142A4 (en) 2018-01-16 2019-01-15 TOUCH INFORMATION ESTIMATION DEVICE, TOUCH INFORMATION ESTIMATION PROCESS, AND PROGRAM
PCT/JP2019/000971 WO2019142796A1 (ja) 2018-01-16 2019-01-15 触覚情報推定装置、触覚情報推定方法及びプログラム
US16/706,478 US11590658B2 (en) 2018-01-16 2019-12-06 Tactile information estimation apparatus, tactile information estimation method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018005151A JP6587195B2 (ja) 2018-01-16 2018-01-16 触覚情報推定装置、触覚情報推定方法、プログラム及び非一時的コンピュータ可読媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019155913A Division JP6625784B1 (ja) 2019-08-28 2019-08-28 ロボットシステム、ロボット及び制御方法

Publications (3)

Publication Number Publication Date
JP2019124582A JP2019124582A (ja) 2019-07-25
JP2019124582A5 true JP2019124582A5 (ja) 2019-09-05
JP6587195B2 JP6587195B2 (ja) 2019-10-09

Family

ID=67302419

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018005151A Active JP6587195B2 (ja) 2018-01-16 2018-01-16 触覚情報推定装置、触覚情報推定方法、プログラム及び非一時的コンピュータ可読媒体

Country Status (5)

Country Link
US (1) US11590658B2 (ja)
EP (1) EP3742142A4 (ja)
JP (1) JP6587195B2 (ja)
CN (1) CN111615623A (ja)
WO (1) WO2019142796A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7395968B2 (ja) * 2019-11-06 2023-12-12 日本電気株式会社 制御装置、制御システム、制御方法およびコンピュータプログラム
JP2021084210A (ja) * 2019-11-29 2021-06-03 東京ロボティクス株式会社 ロボット、エンドエフェクタ、システム、方法及びプログラム
JP7317732B2 (ja) * 2020-01-20 2023-07-31 株式会社東芝 推定装置、物体搬送システム、推定方法、およびプログラム
US11794350B2 (en) * 2020-10-22 2023-10-24 Mitsubishi Electric Research Laboratories, Inc. Interactive tactile perception method for classification and recognition of object instances
CN113172663A (zh) * 2021-03-24 2021-07-27 深圳先进技术研究院 一种机械手抓取稳定性识别方法、装置和电子设备
GB2619519A (en) * 2022-06-07 2023-12-13 Imperial College Innovations Ltd Method for updating a scene representation model
US11717974B1 (en) * 2022-06-10 2023-08-08 Sanctuary Cognitive Systems Corporation Haptic photogrammetry in robots and methods for operating the same
CN118042134A (zh) * 2022-11-08 2024-05-14 维沃移动通信有限公司 触觉信号编码方法、触觉信号解码方法及相关设备
US20240181647A1 (en) * 2022-12-06 2024-06-06 Sanctuary Cognitive Systems Corporation Systems, methods, and control modules for controlling end effectors of robot systems

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2193797C2 (ru) * 1990-04-26 2002-11-27 Джон СУТЕРЛАНД Устройство ассоциативной памяти (варианты) и способ распознавания образов (варианты)
JPH05288543A (ja) * 1992-04-07 1993-11-02 Fujitsu Ltd 視覚情報と触覚情報とを統合した認識装置
JP2003024306A (ja) 2001-07-13 2003-01-28 Shiseido Co Ltd 皮膚のはり評価システム
CA2538008A1 (en) * 2003-09-16 2005-03-31 Toudai Tlo, Ltd. Optical tactile sensor and method of reconstructing force vector distribution using the sensor
WO2006006624A1 (ja) * 2004-07-13 2006-01-19 Matsushita Electric Industrial Co., Ltd. 物品保持システム、ロボット及びロボット制御方法
JP2007245326A (ja) 2006-02-17 2007-09-27 Toyota Motor Corp ロボットとロボットの制御方法
JP2008055584A (ja) 2006-09-04 2008-03-13 Toyota Motor Corp 物体把持を行うロボット及びロボットによる物体の把持方法
JP5252985B2 (ja) 2008-05-02 2013-07-31 花王株式会社 皮膚内部の弾性計測方法
JP2009297064A (ja) 2008-06-10 2009-12-24 Pola Chem Ind Inc 視覚的ハリの鑑別法
US9120233B2 (en) * 2012-05-31 2015-09-01 Toyota Motor Engineering & Manufacturing North America, Inc. Non-contact optical distance and tactile sensing system and method
WO2014201163A1 (en) 2013-06-11 2014-12-18 Somatis Sensor Solutions LLC Systems and methods for sensing objects
CN103753585A (zh) * 2014-01-10 2014-04-30 南通大学 一种基于视觉图像分析的机械手及抓紧力智能调节方法
DE102014212682A1 (de) * 2014-07-01 2016-01-07 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Verfahren und Vorrichtung zum Bestimmen einer Werkstoffart und/oder einer Oberflächenbeschaffenheit eines Werkstücks
US9757862B2 (en) * 2014-10-16 2017-09-12 Technische Universität München Tactile sensor
JP6415291B2 (ja) * 2014-12-09 2018-10-31 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
US9492923B2 (en) * 2014-12-16 2016-11-15 Amazon Technologies, Inc. Generating robotic grasping instructions for inventory items
JP6522488B2 (ja) * 2015-07-31 2019-05-29 ファナック株式会社 ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法
US10403037B1 (en) * 2016-03-21 2019-09-03 URC Ventures, Inc. Verifying object measurements determined from mobile device images
KR20180055070A (ko) * 2016-11-16 2018-05-25 삼성전자주식회사 재질 인식 및 재질 트레이닝을 수행하는 방법 및 장치
EP3704626A1 (en) * 2017-11-02 2020-09-09 Amp Robotics Corporation Systems and methods for optical material characterization of waste materials using machine learning
JP6546648B2 (ja) * 2017-12-14 2019-07-17 株式会社ユニバーサルエンターテインメント 遊技機
WO2019138111A1 (en) * 2018-01-15 2019-07-18 Technische Universität München Vision-based sensor system and control method for robot arms

Similar Documents

Publication Publication Date Title
JP2019124582A5 (ja) 触覚情報推定装置、触覚情報推定方法、プログラム及び非一時的コンピュータ可読媒体
JP2016523402A5 (ja)
JP2017510868A5 (ja)
EP4325278A3 (en) Gaze-based user interactions
JP2015510197A5 (ja)
JP2015506617A5 (ja)
JP2014240110A5 (ja)
JP2014199584A5 (ja)
MX2016000873A (es) Banco de pruebas virtuales de respuesta autonoma.
JP2016154018A5 (ja) グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのデバイス、方法及びコンピュータ可読媒体
JP2015167863A5 (ja)
JP2013106951A5 (ja)
JP2008527541A5 (ja)
JP2016530660A5 (ja)
JP2010532055A5 (ja)
JP2007272601A5 (ja)
EP2339536A3 (en) Image processing system, image processing apparatus, image processing method, and program
EP2650756A3 (en) Skin input via tactile tags
JP2019512765A5 (ja)
JP2018022292A5 (ja)
JP2015172929A5 (ja)
JP2016062183A5 (ja)
JP2017506399A5 (ja)
WO2015191975A3 (en) Structured natural language representations
JP2018536550A5 (ja)