JP2019109872A - 人工知能に基づくロボット、及びその制御方法 - Google Patents
人工知能に基づくロボット、及びその制御方法 Download PDFInfo
- Publication number
- JP2019109872A JP2019109872A JP2018012716A JP2018012716A JP2019109872A JP 2019109872 A JP2019109872 A JP 2019109872A JP 2018012716 A JP2018012716 A JP 2018012716A JP 2018012716 A JP2018012716 A JP 2018012716A JP 2019109872 A JP2019109872 A JP 2019109872A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- module
- user
- intention
- room
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013473 artificial intelligence Methods 0.000 title claims description 15
- 238000000034 method Methods 0.000 title claims description 15
- 230000005236 sound signal Effects 0.000 claims description 29
- 239000000463 material Substances 0.000 claims description 8
- 238000004140 cleaning Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 11
- 238000012549 training Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/008—Manipulators for service tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L1/00—Cleaning windows
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
- A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
- A47L11/4061—Steering means; Means for avoiding obstacles; Details related to the place where the driver is accommodated
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
- A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
- A47L9/2805—Parameters or conditions being sensed
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
- A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
- A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
- A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
- A47L9/2857—User input or output elements for control, e.g. buttons, switches or displays
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/008—Manipulators for service tasks
- B25J11/0085—Cleaning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/003—Controls for manipulators by means of an audio-responsive input
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
- A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
- A47L2201/06—Control of the cleaning action for autonomous devices; Automatic detection of the surface condition before, during or after cleaning
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Robotics (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Business, Economics & Management (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Manipulator (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
【課題】インタラクション・サービス効果を向上させて、使用者に更に良いサービス経験を提供する。【解決手段】画像信号及び／又は音声信号を受取るように配置される受取モジュールと、前記画像信号及び／又は音声信号に基づいて、使用者の意図を確定するように配置されるＡＩモジュールと、当該ロボットの一部から障害物や地面までの距離を示す位置情報を取り込むように配置されるセンサーモジュールと、使用者の意図に基づいて、当該移動ロボットが位置する部屋の地図を描いて、当該部屋の地図により、測位、ナビゲーションと経路計画を行うように配置されるプロセッサモジュールと、制御信号を送信して、部屋にいるロボットの経路に沿った移動を制御するように配置される制御モジュールと、モータの運転を制御して、当該ロボットが使用者の意図を実行させるように配置される移動モジュールと、を含むロボットを開示している。【選択図】図４
Description
本発明は、ロボット制御分野、特にホーム・インタラクション・サービスを提供できる人工知能に基づくロボット、及びその操作方法に関する。
スマートデバイスの普及に伴い、移動ロボットは、例えば物流、ホームケアなど様々な面で一般的になっている。人工知能（ＡＩ、Artificial Intelligence）とは、コンピューターサイエンス、モダンツールで、人間の思考と行為を模倣する技術である。ＡＩ技術の発展に伴い、生活の各方面に用いられている。しかし、ＡＩ技術を備える当該移動ロボットには、当該ロボットが位置する空間の構成やレイアウトに基づく移動経路を正す能力が足りない。従って、ＡＩ技術を備えるロボットを開発して、インタラクション・サービス効果を向上させて、使用者に更に良いサービス経験を提供する必要がある。
本発明は、前記ロボットが位置する画像信号及び／又は音声信号を受取るように配置される受取モジュールと、前記受取モジュールにカップリングされて、前記画像信号及び／又は音声信号に基づいて、使用者の意図を確定するように配置されるＡＩモジュールと、当該ロボットの一部から障害物や地面までの距離を示す位置情報を取り込むように配置されるセンサーモジュールと、前記受取モジュールと前記ＡＩモジュールにカップリングされて、使用者の意図に基づいて、当該移動ロボットが位置する部屋の地図を描いて、当該部屋の地図により、測位、ナビゲーションと経路計画を行うように配置されるプロセッサモジュールと、前記プロセッサモジュールにカップリングされて、制御信号を送信して、使用者の意図により部屋にいるロボットの経路に沿った移動を制御するように配置される制御モジュールと、前記制御信号により、モータの運転を制御して、当該ロボットが使用者の意図を実行させるように配置される移動モジュールと、を含むロボットを開示している。
本発明は、受取モジュールにより使用者が入力した画像信号及び／又は音声信号を受取る工程；AIモジュールにより前記画像信号及び／又は音声信号に基づく使用者の意図を確定する工程；センサーモジュールにより前記ロボットの一部から障害物や地面までの距離を示す位置情報を取り込む工程；プロセッサモジュールにより、使用者の意図に基づいて、当該移動ロボットが位置する部屋の地図を描いて、当該部屋の地図により、測位、ナビゲーションと経路計画を行う工程；制御モジュールにより、使用者の意図に基づいて、制御信号を送信して、部屋にいるロボットの経路に沿った移動を制御する工程；移動モジュールにより、モータの運転を制御して、前記制御信号により当該ロボットが使用者の意図を実行させる工程、を含むロボットの制御方法も提供する。
本発明において、前記ロボットとその操作方法が、ホーム・インタラクション・サービスを提供できるのは有利である。
以下、本発明の実施形態を詳細に述べる。これらの実施形態により、本発明を説明するが、本発明をこれらの実施形態に限定しようとするわけではないと理解されるべきである。逆に、本発明は、本発明の精神及び範囲内に含まれ得る代替物、修正物及び均等物を含む旨とする。
更に、本発明の以下の詳細な説明では、本発明の完全な理解を提供するために、多数の具体的な詳細が記載されている。しかし、当業者は、これらの具体的な詳細がなくても、本発明を実施することができると認識する。本発明の実施形態を不必要に分かりにくくさせないために、別の実施形態では、熟知されている方法、手順、構成要素と回路は詳細に記載されていない。
本開示は人工知能に基づく視覚ナビゲーション機能付きのロボットを提供しようとする。障害物（出会うと、当該ロボットが部屋での進行が阻まれる）を避けるために、センサーとマッピング機能の組み合わせで、本発明の実施形態のロボットは部屋を渡ることができる。
図１は本発明の一つの実施形態に係る人工知能技術に基づくロボット１００のブロック図を示す。図１に示されるように、前記ロボット１００は受取モジュール１０１、プロセッサモジュール１０２、センサーモジュール１０３、制御モジュール１０４、補助モジュール１０５、移動モジュール１０６とＡＩ（Artificial Intelligence、以下はＡＩモジュールとする）モジュール１０７を含む。ここに記載の各モジュールは、コンピューティングデバイス（例えば、構造：ハードウェア、非一次的なコンピュータ可読媒体、ファームウェア）を含み得るロジックにより実施されてもよい。別の例として、前記ロジックは、例えば、ここに記載の動作を行うようにプログラムされたＡＳＩＣとして配置されてもよい。別の代替する実施形態により、前記ロジックは、コンピューター・プロセッサに示される、記憶されたコンピュータ実行可能命令として、一時的にメモリに記憶されてから、コンピューター・プロセッサに実行されるデータとして、配置されてもよい。
一つの実施形態において、ロボット１００の前記受取モジュール１０１（例えば、画像収集ユニット及び／又は音声収集ユニット）は、周りの地図の構築に用いる周りの画像（画像信号とも呼ばれる。例えば、天井画像及び／又は前記ロボット１００の前方の画像）を取り込むように配置されてもよい。使用者又は周りから収集された音声信号は使用者の意図を確定するように配置されてもよい。前記受取モジュール１０１の前記画像収集ユニットは少なくとも、例えば、前方カメラ、頂上カメラを含む、１つのカメラを含むように配置されている。例えば、前記センサーモジュール１０３は測距センサー及び／又は崖センサーの少なくとも１つを含み、前記ロボット１００に関わる位置情報（例えば、障害物と地面からの距離）を取り込む制御回路を含んでも含まなくてもよいように配置される。前記センサーモジュール１０３は、ジャイロスコープ、赤外線センサー又は障害物の存在、ロボットの方向及び／又は回転の変化、及び他のロボット１００のナビゲーションに関わる特徴を感知するその他の適するタイプのセンサーを任意に含んでも良い。
前記受取モジュール１０１と前記センサーモジュール１０３に取り込まれたデータにより、前記プロセッサモジュール１０２は、前記ロボットの部屋の地図を描いて、前記ロボットの現在の位置を記憶して、特徴点の座標及びそれに関わる描述情報を記憶して、測位、ナビゲーションと経路計画を行うことができる。例えば、前記プロセッサモジュール１０２は、ロボットに第１位置から第２位置までの経路を計画する。前記プロセッサモジュール１０２にカップリングされた前記制御モジュール１０４（例えば、マイクロ・コントローラーＭＣＵ）は制御信号を送信して、前記ロボット１００の移動を制御するように配置されてもよい。前記移動モジュール１０６は前記制御信号に従って移動するように配置される駆動モータ付きの駆動輪（例えば、キャスターと駆動輪）であってもよい。前記補助モジュール１０５は、使用者の命令により補助機能を提供する外部装置、例えば、トレーとＵＳＢインターフェースであってもよい（図１に示さず）。前記受取モジュール１０１とプロセッサモジュール１０２にカップリングされた前記ＡＩモジュール１０７は前記受取モジュール１０１に受取られた画像信号をマッチングさせて、テンソルフロー（tensorflow）ＡＩモジュールに基づいてモデルをトレーニングして、目標物のタイプを識別するように配置されてもよい。また、前記音声信号と記憶されたデータ命令とをマッチングさせて、命令信号を得て、当該命令信号が前記プロセッサモジュール１０２に送信されて、処理される。
前記ロボット５００の移動方向と前記ロボット１００に期待される機能について、使用者１１０は命令を出すことができる。音声命令を含むが、これに限定されない。
図２は本発明の一つの実施形態に係る前記ロボット１００における前記プロセッサモジュール１０２のブロック図を示す。図１の説明を組み合わせて図２を理解してもよい。図２に示されるように、前記プロセッサモジュール１０２は地図描画ユニット２１０、記憶ユニット２１２、計算ユニット２１４、経路計画ユニット２１６を含む。
前記受取モジュール１０１（図１に示されるように）に取り込まれた画像信号により、前記ロボット１００の部屋の地図（特徴点と障害物などの情報を含む）を描くために、前記地図描画ユニット２１０は前記画像信号、プロセッサモジュール１０２又はそれらの組合せの一部として配置されてもよい。前記画像信号は、前記部屋の地図を描くために、前記地図描画ユニット２１０に任意に組み合わされてもよい。別の実施形態により、縁検出は前記受取モジュール１０１に取り込まれた画像信号から、障害物、基準点及び別の特徴を抽出して前記部屋の地図を描くために任意に行われてもよい。
前記記憶ユニット２１２は前記地図描画ユニット２１０に描かれた部屋の地図における前記ロボットの現在の位置、特徴点の画像座標、及び特徴描述を記憶する。例えば、特徴描述はＯＲＢ（oriented fast and rotated brief）特徴点感知方法を使うことにより、特徴点の多次元的な描述を含み得る。
前記計算ユニット２１４は前記記憶ユニットから特徴描述を抽出して、当該抽出された特徴描述と前記ロボットの現在の位置の特徴描述とをマッチングさせて、前記ロボット１００の確実な位置を計算する。
前記経路計画ユニット２１６は現在の位置を前記ロボット１００の開始点にして、部屋の地図と目的地を参照して、前記ロボット１００の開始点に対する移動経路を計画する。
図３は、本発明の一つの実施形態に係る人工知能技術に基づくロボットのＡＩモジュールのブロック図を示す。図３は図１の説明と組み合わせて理解されてもよい。図３に示されるように、前記ＡＩモジュール１０７は識別ユニット３１２、マッチングユニット３１４と記憶ユニット３１６を含む。
前記識別ユニット３１２は、画像信号、例えば、フロアの材料、家具、部屋のタイプ、部屋に貯蔵の物体を識別するように配置されてもよい。具体的には、前記識別ユニット３１２は画像信号を使って、モデルをトレーニングして、トレーニングモデルを記憶することができる。前記マッチングユニット３１４は、前記画像信号と前記ロボットにおける前記トレーニングモデルとをマッチングさせて、前記画像信号に基づいて、フロアの材料、家具、部屋のタイプ、部屋に貯蔵の物体を確定するように配置されてもよいが、前記決定に限定されない。
一つの実施形態において、前記受取モジュール１０１に受取られた前記画像信号はトレーニングモデルとして、その中に前記ＡＩモジュールに記憶されてもよい。所定時間内に、前記ＡＩモジュール１０７は、前記記憶された画像トレーニングモデル（前記画像信号により最適化された）に基づく識別能力を向上させることができる。一つの実施形態において、前記画像トレーニングモデルはローカル記憶ユニット又はクラウドに記憶される。
更に、前記識別ユニット３１２は前記受取モジュール１０１に取り込まれた音声信号を識別するように配置されてもよい。一つの実施形態において、前記ロボットにおける音声収集ユニット、例えば、マイクロフォンは、前記ロボットの周りの音声信号、例えば、使用者の命令又は突然の音声信号などを取り込むように配置されてもよい。別の実施形態において、使用者の前記音声信号はマイクロフォンにより取り込まれる。前記マッチングユニット３１４は音声信号とローカル又はクラウドにおける自然言語とローカル音声トレーニングモデルをマッチングさせて、前記音声信号の意図を抽出するように配置されてもよい。前記マイクロフォンに取り込まれた前記音声信号は、音声トレーニングモデルとして、前記ＡＩモジュール１０７に記憶されてもよい。所定時間内に、前記ＡＩモジュール１０７は、記憶された音声トレーニングモデル（前記画像信号により最適化された）に基づく前記音声信号の識別機能を向上させることができる。一つの実施形態において、前記音声トレーニングモデルはローカル記憶ユニット又はクラウドに記憶される。
前記記憶ユニット３１６は、以上に記載の画像トレーニングモデル、音声トレーニングモデル、画像信号と音声信号を記憶するように配置されてもよい。
図４は、本発明の一つの実施形態により、人工知能技術に基づくロボットの制御方法４００のフローチャートを示す。図４は図１-３の説明を組み合わせて理解されてもよい。図３に示されるように、前記ロボット１００の前記制御方法４００は、以下のステップを含んでも良い。
ステップ４０２：前記ロボット１００は画像信号及び／又は音声信号を受け取る。具体的には、前記ロボット１００における前記受取モジュール１０１はカメラとマイクロフォンのそれぞれで画像信号と音声信号を収集する。
ステップ４０４：前記画像信号及び／又は音声信号に基づいて、前記ロボット１００は使用者の意図を確定する。具体的には、前記ロボット１００の前記ＡＩモジュール１０７は前記画像信号及び／又は音声信号を分析、処理して、使用者の意図を確定する。前記ＡＩモジュール１０７は画像信号及び／又は音声信号の一方又は画像信号及び／又は音声信号の組合せを分析、処理することができると説明すべきである。
ステップ４０６：前記ロボット１００は前記使用者の意図を実行させる。
一つの実施形態において、使用者は前記音声信号を通じて、前記ロボット１００に、フロアを掃除すると指示する。前記ロボット１００の前記受取モジュール１０１が前記画像信号を取り込むと同時に、前記ＡＩモジュール１０７は、前記画像信号に基づいて、フロアの材料、家具、部屋のタイプ、部屋に貯蔵の物体を識別して、部屋を掃除するプランを立てる。例えば、フロアの材料がカーペット又は類似物である場合、前記ロボット１００は前記移動モジュール１０６を低速度で駆動させて、清掃吸引力を向上させる。前記プロセッサモジュール１０２と前記制御モジュール１０４の組合せで前記移動モジュール１０６を駆動して、具体的な掃除プランを実行させる。低速度モーション、高速度モーション又は往復モーションで前記移動モジュールを駆動してもよい。例えば、フロアが汚れた場合、前記ロボットが駆動速度を落とす或は清掃吸引力を向上させる。
別の実施形態において、前記音声信号を通じて、使用者は前記ロボット１００を指定区域、例えば、台所又は寝室へ行くように指示する。同時に、前記ＡＩモジュール１０７は音声信号を抽出して、処理して、処理された音声信号を前記プロセッサモジュール１０７に送信する。前記ＡＩモジュール１０２の前記経路計画ユニット２１６は指定区域への経路を計画する。さらに具体的には、前記制御モジュール１０４は前記計画経路により、制御信号を送信して、前記移動モジュール１０６を前記指定区域へ駆動させる。
本発明において、人工知能とその制御方法に基づく前記ロボットがホーム・インタラクション・サービスを提供できるのは有利である。
本発明の前記ロボット１００について、先の出願、即ちUS出願番号15/487,461に記載の掃除ロボットであってもよい。又は先の出願、即ちUS出願番号15/592,509に記載の携帯型移動ロボットであってもよい。
以上の説明及び図面は、本発明の実施形態を示すものであるが、本発明の精神及び範囲から逸脱しない限り、さまざまな追加、変更及び置き換えが可能であることが理解できる。当業者であれば、本発明は形態、構造、配置、比率、材料、素子と構成要素の多くの変更（本発明の原則から逸脱することなく、特に特定の環境と操作上の必要に適合する）を使用することができて、また本発明の実践に使用することができると理解する。従って、ここに開示されている実施形態は、全ての点において、限定的なものではなくて、例示的なものであり、以上の説明を限定していないと考えるべきである。
Claims (10)
- ロボットが位置する画像信号及び／又は音声信号を受取るように配置される受取モジュールと、
前記受取モジュールにカップリングされて、前記画像信号及び／又は音声信号に基づいて、使用者の意図を確定するように配置されるＡＩモジュールと、
前記ロボットの一部から障害物や地面までの距離を示す位置情報を取り込むように配置されるセンサーモジュールと、
前記受取モジュールと前記ＡＩモジュールにカップリングされて、使用者の意図に基づいて、移動ロボットが位置する部屋の地図を描いて、当該部屋の地図により、測位、ナビゲーションと経路計画を行うように配置されるプロセッサモジュールと、
前記プロセッサモジュールにカップリングされて、制御信号を送信して、使用者の意図により、部屋にいるロボットの経路に沿った移動を制御するように配置される制御モジュールと、
前記制御信号により、モータの運転を制御して、当該ロボットが使用者の意図を実行させる移動モジュールと、
を含む人工知能に基づくロボット。 - 前記受取モジュールは前記ロボットの頂上に設けられ、天井画像を取り込むように配置される請求項１に記載のロボット。
- 前記センサーモジュールは、障害物から前記ロボットの両側までの距離を感知するように配置される赤外線測距センサーと、前記ロボットの高度変化を感知して、前記高度変化による前記ロボットの落下を防止するように配置される赤外線崖センサーと、を含む請求項１に記載のロボット。
- 前記プロセッサモジュールは画像信号と位置信号に基づいて、前記ロボットが第１位置から第２位置までの経路を計画するように配置される請求項１に記載のロボット。
- 前記移動モジュールは低速度モーション、高速度モーションと往復モーションを行う請求項１に記載のロボット。
- 使用者の意図を確定する前に、前記ＡＩモジュールはフロアの材料、部屋のタイプと家具を識別する請求項１に記載のロボット。
- フロアの材料がカーペットである場合、前記ロボットは低速度で前記移動モジュールを駆動させて、並びに清掃吸引力を向上させる請求項６に記載のロボット。
- 使用者の意図を確定する前に、前記ＡＩモジュールは音声信号を識別して、前記音声信号と自然言語とをマッチングさせる請求項１に記載のロボット。
- 受取モジュールにより使用者が入力した画像信号及び／又は音声信号を受取る工程と、
AIモジュールにより前記画像信号及び／又は音声信号に基づく使用者の意図を確定する工程と、
センサーモジュールによりロボットの一部から障害物や地面までの距離を示す位置情報を取り込む工程と、
プロセッサモジュールにより、使用者の意図に基づいて、移動ロボットが位置する部屋の地図を描いて、当該部屋の地図により、測位、ナビゲーションと経路計画を行う工程と、
制御モジュールにより、使用者の意図に基づいて、制御信号を送信して、部屋にいるロボットを経路に沿って移動させるように制御する工程と、
移動モジュールにより、制御信号でモータの運転を制御して、当該ロボットを駆動させて、使用者の意図を実現させる工程と、
を含むロボットの制御方法。 - 使用者の意図を確定する前に、フロアの材料、部屋のタイプと家具を識別する請求項９に記載のロボットの制御方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/846,127 US20190184569A1 (en) | 2017-12-18 | 2017-12-18 | Robot based on artificial intelligence, and control method thereof |
| US15/846,127 | 2017-12-18 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019109872A true JP2019109872A (ja) | 2019-07-04 |
Family
ID=66815530
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018012716A Pending JP2019109872A (ja) | 2017-12-18 | 2018-01-29 | 人工知能に基づくロボット、及びその制御方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20190184569A1 (ja) |
| JP (1) | JP2019109872A (ja) |
| CN (1) | CN109933061A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI711014B (zh) * | 2019-08-29 | 2020-11-21 | 行政院原子能委員會核能研究所 | 可用於移動載具以偵測安全或危險區域之系統與方法 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102114033B1 (ko) * | 2018-04-30 | 2020-05-25 | 서울대학교 산학협력단 | 딥-러닝을 통한 무선신호 전파 채널 해석을 이용한 실내공간의 구조를 예측하는 방법 |
| US11717203B2 (en) | 2018-05-23 | 2023-08-08 | Aeolus Robotics, Inc. | Robotic interactions for observable signs of core health |
| US11399682B2 (en) * | 2018-07-27 | 2022-08-02 | Panasonic Intellectual Property Corporation Of America | Information processing method, information processing apparatus and computer-readable recording medium storing information processing program |
| EP3739396A1 (de) * | 2019-05-15 | 2020-11-18 | Siemens Aktiengesellschaft | System zur bewegungsführung eines manipulators aufweisend einen ersten und einen zweiten prozessor |
| CN111331614A (zh) * | 2020-03-19 | 2020-06-26 | 上海陆根智能传感技术有限公司 | 一种基于人工智能的机器人 |
| CN111775159A (zh) * | 2020-06-08 | 2020-10-16 | 华南师范大学 | 基于动态人工智能伦理规则的伦理风险防范方法和机器人 |
| CN113707139B (zh) * | 2020-09-02 | 2024-04-09 | 南宁玄鸟网络科技有限公司 | 一种人工智能机器人的语音沟通交流服务系统 |
| CN112781581B (zh) * | 2020-12-25 | 2023-09-12 | 北京小狗吸尘器集团股份有限公司 | 应用于扫地机的移动至儿童推车路径生成方法、装置 |
| CN115364408A (zh) * | 2022-08-12 | 2022-11-22 | 宁波财经学院 | 一种基于Arduino单片机与LabVIEW的智能消防机器人 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160103451A1 (en) * | 2014-10-10 | 2016-04-14 | Irobot Corporation | Mobile Robot Area Cleaning |
| CN106406306A (zh) * | 2016-08-30 | 2017-02-15 | 北京百度网讯科技有限公司 | 基于机器人的室内导航方法、装置、系统和服务器 |
| US20170106738A1 (en) * | 2010-01-04 | 2017-04-20 | Carla R. Gillett | Self-Balancing Robot System Comprising Robotic Omniwheel |
| US20170265703A1 (en) * | 2014-08-19 | 2017-09-21 | Samsung Electronics Co., Ltd. | Robot cleaner, control apparatus, control system, and control method of robot cleaner |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10112076B2 (en) * | 2014-04-25 | 2018-10-30 | Christopher DeCarlo | Robotic athletic training or sporting method, apparatus, system, and computer program product |
| CN107850902B (zh) * | 2015-07-08 | 2022-04-08 | 深圳市大疆创新科技有限公司 | 可移动物体上的相机配置 |
| JP7166926B2 (ja) * | 2016-09-14 | 2022-11-08 | アイロボット・コーポレーション | エリア分類に基づくロボットの構成可能な動作のためのシステム及び方法 |
| WO2018097971A1 (en) * | 2016-11-22 | 2018-05-31 | Left Hand Robotics, Inc. | Autonomous path treatment systems and methods |
| KR102640420B1 (ko) * | 2016-12-22 | 2024-02-26 | 삼성전자주식회사 | 홈 로봇 장치의 동작 운용 방법 및 이를 지원하는 홈 로봇 장치 |
| US10646994B2 (en) * | 2017-04-25 | 2020-05-12 | At&T Intellectual Property I, L.P. | Robot virtualization leveraging Geo analytics and augmented reality |
-
2017
- 2017-12-18 US US15/846,127 patent/US20190184569A1/en not_active Abandoned
-
2018
- 2018-01-16 CN CN201810038486.6A patent/CN109933061A/zh active Pending
- 2018-01-29 JP JP2018012716A patent/JP2019109872A/ja active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170106738A1 (en) * | 2010-01-04 | 2017-04-20 | Carla R. Gillett | Self-Balancing Robot System Comprising Robotic Omniwheel |
| US20170265703A1 (en) * | 2014-08-19 | 2017-09-21 | Samsung Electronics Co., Ltd. | Robot cleaner, control apparatus, control system, and control method of robot cleaner |
| US20160103451A1 (en) * | 2014-10-10 | 2016-04-14 | Irobot Corporation | Mobile Robot Area Cleaning |
| CN106406306A (zh) * | 2016-08-30 | 2017-02-15 | 北京百度网讯科技有限公司 | 基于机器人的室内导航方法、装置、系统和服务器 |
Non-Patent Citations (1)
| Title |
|---|
| 五十嵐 健夫 TAKEO IGARASHI: "ロボットを進化させる最先端ＩＴ技術", 日本ロボット学会誌 第２８巻 第３号 JOURNAL OF THE ROBOTICS SOCIETY OF JAPAN, vol. 第28巻, JPN6019022346, April 2010 (2010-04-01), JP, ISSN: 0004057008 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI711014B (zh) * | 2019-08-29 | 2020-11-21 | 行政院原子能委員會核能研究所 | 可用於移動載具以偵測安全或危險區域之系統與方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20190184569A1 (en) | 2019-06-20 |
| CN109933061A (zh) | 2019-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2019109872A (ja) | 人工知能に基づくロボット、及びその制御方法 | |
| US10717193B2 (en) | Artificial intelligence moving robot and control method thereof | |
| TWI661289B (zh) | 移動式清掃機器人及其控制方法 | |
| US10102429B2 (en) | Systems and methods for capturing images and annotating the captured images with information | |
| WO2021212926A1 (zh) | 自行走机器人避障方法、装置、机器人和存储介质 | |
| US10939791B2 (en) | Mobile robot and mobile robot control method | |
| Simôes et al. | Blind user wearable audio assistance for indoor navigation based on visual markers and ultrasonic obstacle detection | |
| KR102000067B1 (ko) | 이동 로봇 | |
| CN110968083B (zh) | 栅格地图的构建方法、避障的方法、设备及介质 | |
| KR102286132B1 (ko) | 인공지능 로봇 청소기 | |
| WO2012035707A1 (ja) | 地図生成装置、地図生成方法、移動体の移動方法、及びロボット装置 | |
| US11330951B2 (en) | Robot cleaner and method of operating the same | |
| JP2019522301A (ja) | 経路を自律走行するようにロボットを訓練するためのシステムおよび方法 | |
| KR20180098891A (ko) | 이동 로봇 및 그 제어방법 | |
| KR20190007285A (ko) | 이동 로봇 시스템 및 그 제어방법 | |
| US11847822B2 (en) | Information processing device and information processing method | |
| KR102306394B1 (ko) | 인공지능 로봇 청소기 | |
| US20210213619A1 (en) | Robot and control method therefor | |
| CN104898675A (zh) | 一种机器人智能导航控制方法 | |
| KR20190119234A (ko) | 이동 로봇 및 그 제어방법 | |
| US20180329424A1 (en) | Portable mobile robot and operation thereof | |
| WO2021033509A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| Wei et al. | An approach to navigation for the humanoid robot nao in domestic environments | |
| KR102302198B1 (ko) | 청소 장치 및 그 제어 방법 | |
| TWI760881B (zh) | 清掃機器人及其控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180418 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190619 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190904 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191210 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200630 |