JP2022529868A - 自動アシスタント要求に従って、デバイスロケーションおよび/またはインターフェースの向きを自律的に調整する、モーター付きコンピューティングデバイス - Google Patents
自動アシスタント要求に従って、デバイスロケーションおよび/またはインターフェースの向きを自律的に調整する、モーター付きコンピューティングデバイス Download PDFInfo
- Publication number
- JP2022529868A JP2022529868A JP2021542493A JP2021542493A JP2022529868A JP 2022529868 A JP2022529868 A JP 2022529868A JP 2021542493 A JP2021542493 A JP 2021542493A JP 2021542493 A JP2021542493 A JP 2021542493A JP 2022529868 A JP2022529868 A JP 2022529868A
- Authority
- JP
- Japan
- Prior art keywords
- computing device
- mobile computing
- user
- motors
- housing enclosure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims description 96
- 230000009471 action Effects 0.000 claims description 63
- 230000004044 response Effects 0.000 claims description 46
- 238000009877 rendering Methods 0.000 claims description 45
- 238000000926 separation method Methods 0.000 claims description 20
- 230000007704 transition Effects 0.000 claims description 13
- 210000003484 anatomy Anatomy 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 10
- 230000001755 vocal effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 230000006399 behavior Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 239000003795 chemical substances by application Substances 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 241000282412 Homo Species 0.000 description 2
- 235000017284 Pometia pinnata Nutrition 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/40—Visual indication of stereophonic sound image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
- Manipulator (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
Description
104 ディスプレイパネル
106 第1のハウジングエンクロージャ
108 第2のハウジングエンクロージャ
110 第3のハウジングエンクロージャ
112 カメラ
114、116 マイクロフォン
124、136 分離の角度
126 アーム、別のアーム
128 回転可能プレート
132 軸
134 別の軸
202、302、402 ユーザ
206、306、406 部屋
208、308、408 カウチ
210、310 口頭発話
212 応答出力
312 ルート
314 テレビ
410 口頭発話、後続の口頭発話
412 第1の部分
414 第2の部分
500 システム
502 サーバデバイス
504 自動アシスタント
506 入力処理エンジン
508 音声処理モジュール
510 データパーシングモジュール
512 パラメータモジュール
514 出力生成エンジン
516 アシスタントデータ
518 コンピューティングデバイス
520 アシスタントインターフェース
522 クライアント自動アシスタント
524 空間処理エンジン
526 電源
528 電力エンジン
530 ロケーションエンジン
532 モーター制御エンジン
534 コンテンツレンダリングエンジン
536 ネットワーク
538 クライアントデータ
710 コンピュータシステム
712 バスサブシステム
714 プロセッサ
716 ネットワークインターフェースサブシステム
720 ユーザインターフェース出力デバイス
722 ユーザインターフェース入力デバイス
724 記憶サブシステム
725 メモリ
726 ファイル記憶サブシステム
730 メインランダムアクセスメモリ(RAM)
732 読取り専用メモリ(ROM)
Claims (26)
- モバイルコンピューティングデバイスの1つまたは複数のマイクロフォンへの入力に基づいて、ユーザが口頭発話を提供したと決定するステップであって、前記モバイルコンピューティングデバイスが、エリアにわたって、前記モバイルコンピューティングデバイスを動かす、1つまたは複数の第1のモーターを含む、ステップと、
前記1つまたは複数のマイクロフォンへの前記入力に基づいて、自動アシスタントが前記モバイルコンピューティングデバイスの1つまたは複数のスピーカー、および/あるいはディスプレイパネルを介して、コンテンツをレンダリングすることに関連付けられる、アクションを実施するように、前記ユーザが前記モバイルコンピューティングデバイスに要求中であると決定するステップと、
前記1つまたは複数のマイクロフォンへの前記入力、前記1つまたは複数のマイクロフォンへの追加の入力、および/あるいは前記モバイルコンピューティングデバイスの1つまたは複数の他のセンサーに基づいて、前記モバイルコンピューティングデバイスに対する、前記ユーザのロケーションを決定するステップと、
前記モバイルコンピューティングデバイスにおいてレンダリングされるように、前記ユーザによって要求された前記コンテンツが、グラフィカルコンテンツを含むとき、および、前記決定されたロケーションが、特定の距離条件を満たすとき、
前記モバイルコンピューティングデバイスの前記第1のモーターが、前記ユーザの前記ロケーションのほうへ、前記モバイルコンピューティングデバイスを動かすことを引き起こすステップと、
前記ディスプレイパネルが、前記アクションを実施することを促進するために、前記グラフィカルコンテンツをレンダリングすることを引き起こすステップと
を含む方法。 - 前記モバイルコンピューティングデバイスにおいてレンダリングされるように、前記ユーザによって要求された前記コンテンツが、オーディオコンテンツを含むとき、
前記モバイルコンピューティングデバイスが、前記ユーザのための前記オーディオコンテンツを可聴的にレンダリングするための、前記ユーザからの距離内であるか否かを決定するステップと、
前記モバイルコンピューティングデバイスが、前記ユーザのための前記オーディオコンテンツを可聴的にレンダリングするための、前記ユーザからの前記距離内ではないとき、
前記モバイルコンピューティングデバイスが、前記ユーザからの前記距離内ではないとの決定に基づいて、前記モバイルコンピューティングデバイスの前記1つまたは複数の第1のモーターが、前記ユーザの前記ロケーションのほうへ、前記モバイルコンピューティングデバイスを動かすことを引き起こすステップと、
前記モバイルコンピューティングデバイスの1つまたは複数のスピーカーが、前記アクションを実施することを促進するために、前記オーディオコンテンツをレンダリングすることを引き起こすステップと
をさらに含む、請求項1に記載の方法。 - 前記モバイルコンピューティングデバイスにおいてレンダリングされるように、前記ユーザによって要求された前記コンテンツが、前記グラフィカルコンテンツを含むとき、および、前記決定されたロケーションが、前記距離条件を満たすとき、
前記モバイルコンピューティングデバイスの1つまたは複数の第2のモーターが、前記ユーザのほうへ、前記グラフィカルコンテンツをレンダリングすることを促進するために、前記モバイルコンピューティングデバイスの前記ディスプレイパネルを動かすことを引き起こすステップ
をさらに含む、請求項1または2に記載の方法。 - 前記モバイルコンピューティングデバイスの前記1つまたは複数の第1のモーター、および/あるいは前記1つまたは複数の第2のモーターが動作中であるとき、前記ユーザが後続の口頭発話を提供中であるか否かを決定するステップと、
前記モバイルコンピューティングデバイスの前記1つまたは複数の第1のモーター、および/あるいは前記1つまたは複数の第2のモーターが動作中である間に、前記後続の口頭発話が受信されているとき、
前記1つまたは複数の第1のモーター、および/あるいは前記1つまたは複数の第2のモーターが、低減電力状態に遷移することを引き起こすステップであって、前記低減電力状態が、前記1つまたは複数の第1のモーター、および/あるいは前記1つまたは複数の第2のモーターが、前記1つまたは複数の第1のモーター、および/あるいは前記1つまたは複数の第2のモーターの、別の状態および/または前の状態よりも低い電力を消費する状態に対応する、ステップと
をさらに含む、請求項1から3のいずれか一項に記載の方法。 - 前記モバイルコンピューティングデバイスの前記1つまたは複数の第1のモーター、および/あるいは前記1つまたは複数の第2のモーターが動作中である間に、前記後続の口頭発話がもはや受信されていないとき、
前記1つまたは複数の第1のモーター、および/あるいは前記1つまたは複数の第2のモーターが、前記ユーザの前記ロケーションのほうへ、前記ディスプレイパネルを動かすこと、および/または前記モバイルコンピューティングデバイスを動かすことを促進するために、前記低減電力状態から他の動作状態に遷移することを引き起こすステップ
をさらに含む、請求項4に記載の方法。 - 前記マイクロフォンへの前記入力の受信に応答して、および前記モバイルコンピューティングデバイスのカメラを使用して、前記ユーザの解剖学的特徴を識別するステップであって、前記1つまたは複数の第2のモーターが、前記ディスプレイパネルを動かすことを引き起こすステップが、前記ディスプレイパネルが、前記ユーザの前記解剖学的特徴に向けられることを引き起こすステップを含む、ステップ
をさらに含む、請求項1から5のいずれか一項に記載の方法。 - 前記モバイルコンピューティングデバイスにおいてレンダリングされるように、前記ユーザによって要求された前記コンテンツが、グラフィカルコンテンツおよび/またはオーディオコンテンツに対応するとき、
前記ユーザによって要求された前記コンテンツの、グラフィカルコンテンツおよび/またはオーディオコンテンツへの対応に基づいて、前記モバイルコンピューティングデバイスの1つまたは複数の第3のモーターが、前記ユーザのほうへ向けられるように、前記モバイルコンピューティングデバイスのカメラを動かすことを引き起こすステップ
をさらに含む、請求項1から6のいずれか一項に記載の方法。 - 前記ディスプレイパネルが、前記モバイルコンピューティングデバイスの第1のハウジングエンクロージャに搭載され、前記カメラが、前記モバイルコンピューティングデバイスの第2のハウジングエンクロージャに搭載され、前記1つまたは複数の第3のモーターが、前記モバイルコンピューティングデバイスの第3のハウジングエンクロージャ内に少なくとも部分的に封入される、請求項7に記載の方法。
- 前記モバイルコンピューティングデバイスの前記1つまたは複数の第3のモーターが、前記ユーザの方向に、前記モバイルコンピューティングデバイスの前記カメラを動かすことを引き起こすステップが、
前記モバイルコンピューティングデバイスの前記第2のハウジングエンクロージャが、前記モバイルコンピューティングデバイスの前記第3のハウジングエンクロージャと交差する軸の周りを回転することを引き起こすステップ
を含む、請求項7または8に記載の方法。 - 第4のモーターが、前記第2のハウジングエンクロージャにおいて少なくとも部分的に封入され、前記第3のハウジングエンクロージャに対する、前記第2のハウジングエンクロージャの半径方向の動きを制御し、前記方法が、
前記モバイルコンピューティングデバイスにおいてレンダリングされるように、前記ユーザによって要求された前記コンテンツが、グラフィカルコンテンツおよび/またはオーディオコンテンツに対応するとき、
前記第4のモーターが、前記第2のハウジングエンクロージャが前記第3のハウジングエンクロージャとの分離の角度を変更するように、前記第2のハウジングエンクロージャの前記半径方向の動きを実現することを引き起こすステップ
をさらに含む、請求項7から9のいずれか一項に記載の方法。 - 前記モバイルコンピューティングデバイスにおいてレンダリングされるように、前記ユーザによって要求された前記コンテンツが、グラフィカルコンテンツおよび/またはオーディオコンテンツに対応するとき、
前記マイクロフォンへの前記入力の受信に応答して、および前記モバイルコンピューティングデバイスの前記カメラを使用して、前記ユーザの解剖学的特徴を識別するステップと、
前記ユーザの前記解剖学的特徴の識別に基づいて、前記第3のハウジングエンクロージャに対する、前記第2のハウジングエンクロージャの前記分離の角度を決定するステップであって、前記分離の角度が、前記カメラが前記ユーザの前記解剖学的特徴に向けられる角度に対応する、ステップと
をさらに含む、請求項10に記載の方法。 - 第5のモーターが、前記第1のハウジングエンクロージャにおいて少なくとも部分的に封入され、前記第2のハウジングエンクロージャに対する、前記第1のハウジングエンクロージャの別の半径方向の動きを制御し、前記方法が、
前記モバイルコンピューティングデバイスにおいてレンダリングされるように、前記ユーザによって要求された前記コンテンツが、グラフィカルコンテンツおよび/またはオーディオコンテンツに対応するとき、
前記第5のモーターが、前記第1のハウジングエンクロージャが前記第2のハウジングエンクロージャとの別の分離の角度に到達するように、前記第1のハウジングエンクロージャの前記別の半径方向の動きを実現することを引き起こすステップ
をさらに含む、請求項7から9のいずれか一項に記載の方法。 - 前記モバイルコンピューティングデバイスにおいてレンダリングされるように、前記ユーザによって要求された前記コンテンツが、グラフィカルコンテンツおよび/またはオーディオコンテンツに対応するとき、
前記マイクロフォンへの前記入力の受信に応答して、および前記モバイルコンピューティングデバイスの前記カメラを使用して、前記ユーザの解剖学的特徴を識別するステップと、
前記ユーザの前記解剖学的特徴の識別に基づいて、前記第2のハウジングエンクロージャに対する、前記第1のハウジングエンクロージャの前記別の分離の角度を決定するステップであって、前記別の分離の角度が、前記ディスプレイパネルが前記ユーザの前記解剖学的特徴に向けられる別の角度に対応する、ステップと
をさらに含む、請求項12に記載の方法。 - 前記モバイルコンピューティングデバイスに対する、前記ユーザの前記ロケーションを決定するステップが、
前記モバイルコンピューティングデバイスの複数のマイクロフォンからの出力を使用して、前記ロケーションが複数の異なる人々を含むと決定するステップと、
前記モバイルコンピューティングデバイスのカメラからの他の出力を使用して、前記ユーザが前記複数の異なる人々のうちの前記人々のうちの1人であると決定するステップと
を含む、請求項1から13のいずれか一項に記載の方法。 - ディスプレイコンテンツおよび/または前記オーディオコンテンツをレンダリングした後に、前記1つまたは複数の第2のモーターが、前記モバイルコンピューティングデバイスの第2のハウジングエンクロージャのほうへ、前記モバイルコンピューティングデバイスの第1のハウジングエンクロージャおよび前記ディスプレイパネルを動かすことによって、前記モバイルコンピューティングデバイスの高さを低減することを引き起こすステップ
をさらに含む、請求項1から14のいずれか一項に記載の方法。 - モバイルコンピューティングデバイスの1つまたは複数のマイクロフォンへの入力に基づいて、ユーザが前記モバイルコンピューティングデバイスに口頭発話を提供したと決定するステップと、
前記モバイルコンピューティングデバイスへの前記口頭発話の提供に応答して、前記モバイルコンピューティングデバイスの1つまたは複数のモーターが、前記モバイルコンピューティングデバイスの第2のハウジングエンクロージャから離れるように、前記モバイルコンピューティングデバイスの第1のハウジングエンクロージャに取り付けられているディスプレイパネルを動かすことを引き起こすステップと、
前記1つまたは複数のモーターが、前記第2のハウジングエンクロージャから離れるように、前記第1のハウジングエンクロージャを動かしている間に、別の口頭発話が前記モバイルコンピューティングデバイスに向けられているか否かを決定するステップと、
前記別の口頭発話が、前記モバイルコンピューティングデバイスに向けられると決定されるとき、
前記別の口頭発話が前記モバイルコンピューティングデバイスに向けられている間に、前記1つまたは複数のモーターが、低電力状態に遷移することを引き起こすステップと、
前記モバイルコンピューティングデバイスを介してアクセス可能である自動アシスタントが、前記別の口頭発話に基づいて、アクションの実施を初期化することを引き起こすステップと、
前記別の口頭発話が完了し、かつ/または、もはや前記モバイルコンピューティングデバイスに向けられていないとき、
前記1つまたは複数のモーターが、前記第2のハウジングエンクロージャから離れるように、前記第1のエンクロージャを動かすことを完了することを引き起こすステップと
を含む方法。 - 前記モバイルコンピューティングデバイスへの前記口頭発話の提供に応答して、前記モバイルコンピューティングデバイスの1つまたは複数の第2のモーターが、前記ユーザのロケーションのほうへ、前記モバイルコンピューティングデバイスを駆動することを引き起こすステップと、
前記別の口頭発話が、前記モバイルコンピューティングデバイスに向けられると決定されるとき、
前記モバイルコンピューティングデバイスの前記1つまたは複数の第2のモーターが、前記ユーザの前記ロケーションのほうへ、前記モバイルコンピューティングデバイスを駆動することを休止することを引き起こすステップと、
前記別の口頭発話が完了し、かつ/または、もはや前記モバイルコンピューティングデバイスに向けられていないとき、
前記モバイルコンピューティングデバイスの前記1つまたは複数の第2のモーターが、前記ユーザの前記ロケーションのほうへ、前記モバイルコンピューティングデバイスを駆動することを継続することを引き起こすステップと
をさらに含む、請求項16に記載の方法。 - 前記1つまたは複数の第2のモーターが、前記ユーザの前記ロケーションのほうへ、前記モバイルコンピューティングデバイスを駆動することを完了したとき、
前記口頭発話および/または前記別の口頭発話に基づいて、前記モバイルコンピューティングデバイスの1つまたは複数の第3のモーターが、前記モバイルコンピューティングデバイスの第3のハウジングエンクロージャから離れるように、前記第2のハウジングエンクロージャを動かすこと、および前記ユーザのほうへ、前記モバイルコンピューティングデバイスのカメラを動かすことを引き起こすステップ
をさらに含む、請求項17に記載の方法。 - 前記1つまたは複数の第2のモーターが、前記ユーザの前記ロケーションのほうへ、前記モバイルコンピューティングデバイスを駆動することを完了したとき、
前記口頭発話および/または前記別の口頭発話に基づいて、1つまたは複数の第4のモーターが、前記ディスプレイパネルを前記ユーザに向けることを促進するために、第3のハウジングエンクロージャの表面と交差する軸の周りで、前記第1のハウジングエンクロージャを回転させることを引き起こすステップ
をさらに含む、請求項16から18のいずれか一項に記載の方法。 - モバイルコンピューティングデバイスの1つまたは複数のマイクロフォンへの入力に基づいて、ユーザが前記モバイルコンピューティングデバイスに口頭発話を提供したと決定するステップと、
前記モバイルコンピューティングデバイスへの前記口頭発話の提供に応答して、前記モバイルコンピューティングデバイスの1つまたは複数のモーターが、前記ユーザのロケーションのほうへ、前記モバイルコンピューティングデバイスを動かすことを引き起こすステップと、
前記1つまたは複数のモーターが、前記ユーザの前記ロケーションのほうへ、前記モバイルコンピューティングデバイスを動かしている間に、別の口頭発話が前記モバイルコンピューティングデバイスに向けられているか否かを決定するステップと、
前記別の口頭発話が、前記モバイルコンピューティングデバイスに向けられると決定されるとき、
前記別の口頭発話が前記モバイルコンピューティングデバイスに向けられている間に、前記1つまたは複数のモーターが、低電力状態に遷移することを引き起こすステップと、
前記モバイルコンピューティングデバイスを介してアクセス可能である自動アシスタントが、前記別の口頭発話に基づいて、アクションの実施を初期化することを引き起こすステップと、
前記別の口頭発話が完了し、かつ/または、もはや前記モバイルコンピューティングデバイスに向けられていないとき、
前記1つまたは複数のモーターが、前記ユーザの前記ロケーションのほうへ、前記モバイルコンピューティングデバイスを動かすことを継続することを引き起こすステップと
を含む方法。 - 前記モバイルコンピューティングデバイスへの前記口頭発話の提供に応答して、前記モバイルコンピューティングデバイスの1つまたは複数の第2のモーターが、前記モバイルコンピューティングデバイスの第2のハウジングエンクロージャから離れるように、前記モバイルコンピューティングデバイスの第1のハウジングエンクロージャに取り付けられているディスプレイパネルを動かすことを引き起こすステップと、
前記別の口頭発話が、前記モバイルコンピューティングデバイスに向けられると決定されるとき、
前記別の口頭発話が前記モバイルコンピューティングデバイスに向けられている間に、前記1つまたは複数の第2のモーターが、低電力状態に遷移することを引き起こすステップと、
前記モバイルコンピューティングデバイスを介してアクセス可能である自動アシスタントが、前記別の口頭発話に基づいて、アクションの実施を初期化することを引き起こすステップと、
前記別の口頭発話が完了し、かつ/または、もはや前記モバイルコンピューティングデバイスに向けられていないとき、
前記1つまたは複数のモーターが、前記第2のハウジングエンクロージャから離れるように、前記第1のエンクロージャを動かすことを完了することを引き起こすステップと
をさらに含む、請求項20に記載の方法。 - 前記1つまたは複数のモーターが、前記ユーザの前記ロケーションのほうへ、前記モバイルコンピューティングデバイスを動かすことを完了したとき、
前記口頭発話および/または前記別の口頭発話に基づいて、前記モバイルコンピューティングデバイスの1つまたは複数の第3のモーターが、前記モバイルコンピューティングデバイスの第3のハウジングエンクロージャから離れるように、前記第2のハウジングエンクロージャを動かすこと、および前記ユーザのほうへ、前記モバイルコンピューティングデバイスのカメラを動かすことを引き起こすステップ
をさらに含む、請求項20または21に記載の方法。 - 前記1つまたは複数のモーターが、前記ユーザの前記ロケーションのほうへ、前記モバイルコンピューティングデバイスを動かすことを完了したとき、
前記口頭発話および/または前記別の口頭発話に基づいて、1つまたは複数の第4のモーターが、前記ディスプレイパネルを前記ユーザに向けることを促進するために、前記モバイルコンピューティングデバイスの第3のハウジングエンクロージャの表面と交差する軸の周りで、前記第1のハウジングエンクロージャを回転させることを引き起こすステップ
をさらに含む、請求項20から22のいずれか一項に記載の方法。 - 1つまたは複数のプロセッサによって実行されると、前記1つまたは複数のプロセッサが請求項1から23のいずれか一項に記載の方法を行うことを引き起こす命令を備える、コンピュータプログラム製品。
- 1つまたは複数のプロセッサによって実行されると、前記1つまたは複数のプロセッサが請求項1から23のいずれか一項に記載の方法を行うことを引き起こす命令を備える、コンピュータ可読記憶媒体。
- 請求項1から23のいずれか一項に記載の方法を行うための1つまたは複数のプロセッサを備える、システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023158377A JP2023179542A (ja) | 2019-04-29 | 2023-09-22 | 自動アシスタント要求に従って、デバイスロケーションおよび/またはインターフェースの向きを自律的に調整する、モーター付きコンピューティングデバイス |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2019/029606 WO2020222735A1 (en) | 2019-04-29 | 2019-04-29 | Motorized computing device that autonomously adjusts device location and/or orientation of interfaces according to automated assistant requests |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023158377A Division JP2023179542A (ja) | 2019-04-29 | 2023-09-22 | 自動アシスタント要求に従って、デバイスロケーションおよび/またはインターフェースの向きを自律的に調整する、モーター付きコンピューティングデバイス |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022529868A true JP2022529868A (ja) | 2022-06-27 |
JP7386876B2 JP7386876B2 (ja) | 2023-11-27 |
Family
ID=66530456
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021542493A Active JP7386876B2 (ja) | 2019-04-29 | 2019-04-29 | 自動アシスタント要求に従って、デバイスロケーションおよび/またはインターフェースの向きを自律的に調整する、モーター付きコンピューティングデバイス |
JP2023158377A Pending JP2023179542A (ja) | 2019-04-29 | 2023-09-22 | 自動アシスタント要求に従って、デバイスロケーションおよび/またはインターフェースの向きを自律的に調整する、モーター付きコンピューティングデバイス |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023158377A Pending JP2023179542A (ja) | 2019-04-29 | 2023-09-22 | 自動アシスタント要求に従って、デバイスロケーションおよび/またはインターフェースの向きを自律的に調整する、モーター付きコンピューティングデバイス |
Country Status (6)
Country | Link |
---|---|
US (3) | US11164582B2 (ja) |
EP (2) | EP3894972B1 (ja) |
JP (2) | JP7386876B2 (ja) |
KR (1) | KR20210110684A (ja) |
CN (1) | CN113424124A (ja) |
WO (1) | WO2020222735A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210050201A (ko) * | 2019-10-28 | 2021-05-07 | 엘지전자 주식회사 | 로봇, 로봇의 작동 방법 및 상기 로봇을 포함하는 로봇 시스템 |
US20230325865A1 (en) * | 2022-04-12 | 2023-10-12 | At&T Intellectual Property I, L.P. | System and method for conveyance of rewards with behavior-fencing |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001300874A (ja) * | 2000-04-25 | 2001-10-30 | Casio Comput Co Ltd | ロボット装置およびそのプログラム記録媒体 |
US20100180709A1 (en) * | 2009-01-22 | 2010-07-22 | Samsung Electronics Co., Ltd. | Robot |
JP2014013494A (ja) * | 2012-07-04 | 2014-01-23 | Nikon Corp | 表示制御装置、表示システム、表示装置、端末装置、表示制御方法及びプログラム |
JP2018067785A (ja) * | 2016-10-19 | 2018-04-26 | 前川 博文 | コミュニケーションロボットシステム |
JP2018185362A (ja) * | 2017-04-24 | 2018-11-22 | 富士ソフト株式会社 | ロボットおよびその制御方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3045273B1 (en) * | 2006-03-03 | 2018-12-12 | Universal Robots A/S | Joint for a robot |
FR2963132A1 (fr) | 2010-07-23 | 2012-01-27 | Aldebaran Robotics | Robot humanoide dote d'une interface de dialogue naturel, methode d'utilisation et de programmation de ladite interface |
US20130338525A1 (en) * | 2012-04-24 | 2013-12-19 | Irobot Corporation | Mobile Human Interface Robot |
JP2016522465A (ja) * | 2013-03-15 | 2016-07-28 | ジボ インコーポレイテッド | 永続性コンパニオンデバイスを提供するための装置及び方法 |
JP6669948B2 (ja) * | 2014-09-08 | 2020-03-18 | 日本電産株式会社 | 移動体制御装置及び移動体 |
US9832583B2 (en) * | 2015-11-10 | 2017-11-28 | Avaya Inc. | Enhancement of audio captured by multiple microphones at unspecified positions |
US20170374276A1 (en) * | 2016-06-23 | 2017-12-28 | Intel Corporation | Controlling capturing of a multimedia stream with user physical responses |
US11074491B2 (en) | 2016-10-20 | 2021-07-27 | RN Chidakashi Technologies Pvt Ltd. | Emotionally intelligent companion device |
US10446144B2 (en) * | 2016-11-21 | 2019-10-15 | Google Llc | Providing prompt in an automated dialog session based on selected content of prior automated dialog session |
US10636418B2 (en) * | 2017-03-22 | 2020-04-28 | Google Llc | Proactive incorporation of unsolicited content into human-to-computer dialogs |
KR102024087B1 (ko) * | 2017-03-31 | 2019-09-23 | 엘지전자 주식회사 | 커뮤니케이션 로봇 |
-
2019
- 2019-04-29 JP JP2021542493A patent/JP7386876B2/ja active Active
- 2019-04-29 EP EP19723947.8A patent/EP3894972B1/en active Active
- 2019-04-29 US US16/613,281 patent/US11164582B2/en active Active
- 2019-04-29 WO PCT/US2019/029606 patent/WO2020222735A1/en unknown
- 2019-04-29 EP EP23208360.0A patent/EP4350455A3/en active Pending
- 2019-04-29 KR KR1020217024449A patent/KR20210110684A/ko unknown
- 2019-04-29 CN CN201980091797.1A patent/CN113424124A/zh active Pending
-
2021
- 2021-11-01 US US17/515,967 patent/US11727931B2/en active Active
-
2023
- 2023-08-14 US US18/233,742 patent/US20230395074A1/en active Pending
- 2023-09-22 JP JP2023158377A patent/JP2023179542A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001300874A (ja) * | 2000-04-25 | 2001-10-30 | Casio Comput Co Ltd | ロボット装置およびそのプログラム記録媒体 |
US20100180709A1 (en) * | 2009-01-22 | 2010-07-22 | Samsung Electronics Co., Ltd. | Robot |
JP2014013494A (ja) * | 2012-07-04 | 2014-01-23 | Nikon Corp | 表示制御装置、表示システム、表示装置、端末装置、表示制御方法及びプログラム |
JP2018067785A (ja) * | 2016-10-19 | 2018-04-26 | 前川 博文 | コミュニケーションロボットシステム |
JP2018185362A (ja) * | 2017-04-24 | 2018-11-22 | 富士ソフト株式会社 | ロボットおよびその制御方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113424124A (zh) | 2021-09-21 |
EP3894972B1 (en) | 2023-11-08 |
US20220165266A1 (en) | 2022-05-26 |
JP7386876B2 (ja) | 2023-11-27 |
KR20210110684A (ko) | 2021-09-08 |
JP2023179542A (ja) | 2023-12-19 |
US20200342864A1 (en) | 2020-10-29 |
EP4350455A2 (en) | 2024-04-10 |
EP4350455A3 (en) | 2024-05-22 |
EP3894972A1 (en) | 2021-10-20 |
US20230395074A1 (en) | 2023-12-07 |
US11727931B2 (en) | 2023-08-15 |
US11164582B2 (en) | 2021-11-02 |
WO2020222735A1 (en) | 2020-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230395074A1 (en) | Motorized computing device that autonomously adjusts device location and/or orientation of interfaces according to automated assistant requests | |
JP6448971B2 (ja) | 対話装置 | |
EP3616034B1 (en) | Generating and/or adapting automated assistant content according to a distance between user(s) and an automated assistant interface | |
US9263044B1 (en) | Noise reduction based on mouth area movement recognition | |
US20110063405A1 (en) | Method and apparatus for minimizing acoustic echo in video conferencing | |
JP2018185362A (ja) | ロボットおよびその制御方法 | |
EP3714355B1 (en) | Expanding physical motion gesture lexicon for an automated assistant | |
JP2009166184A (ja) | ガイドロボット | |
US11644902B2 (en) | Gesture-based content transfer | |
US20240169989A1 (en) | Multimodal responses | |
US11561764B2 (en) | Operating modes that designate an interface modality for interacting with an automated assistant | |
JP5206151B2 (ja) | 音声入力ロボット、遠隔会議支援システム、遠隔会議支援方法 | |
CN112929739A (zh) | 发声控制方法、装置、电子设备和存储介质 | |
JP7176244B2 (ja) | ロボット、ロボットの制御方法及びプログラム | |
US11743588B1 (en) | Object selection in computer vision | |
KR102134860B1 (ko) | 인공지능 스피커 및 이의 비언어적 요소 기반 동작 활성화 방법 | |
JP2023534889A (ja) | 自動アシスタントコマンドによる条件付きカメラ制御 | |
JP2023150902A (ja) | 分身による活動を可能とするシステムにおける映像揺れ補正の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210921 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210921 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221014 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230228 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230522 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230922 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20231002 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231016 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231114 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7386876 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |