JP2022169548A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP2022169548A
JP2022169548A JP2022122003A JP2022122003A JP2022169548A JP 2022169548 A JP2022169548 A JP 2022169548A JP 2022122003 A JP2022122003 A JP 2022122003A JP 2022122003 A JP2022122003 A JP 2022122003A JP 2022169548 A JP2022169548 A JP 2022169548A
Authority
JP
Japan
Prior art keywords
sound source
action
reliability
unit
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022122003A
Other languages
English (en)
Other versions
JP7351383B2 (ja
Inventor
裕一郎 小山
Yuichiro Koyama
一太朗 小原
Ichitaro Obara
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of JP2022169548A publication Critical patent/JP2022169548A/ja
Application granted granted Critical
Publication of JP7351383B2 publication Critical patent/JP7351383B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089—Determining the position of the robot with reference to its environment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H11/00—Self-movable toy figures
    • A63H11/18—Figure toys which perform a realistic walking motion
    • A63H11/20—Figure toys which perform a realistic walking motion with pairs of legs, e.g. horses
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H13/00—Toy figures with self-moving parts, with or without movement of the toy as a whole
    • A63H13/005—Toy figures with self-moving parts, with or without movement of the toy as a whole with self-moving head or facial features
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H13/00—Toy figures with self-moving parts, with or without movement of the toy as a whole
    • A63H13/02—Toy figures with self-moving parts, with or without movement of the toy as a whole imitating natural actions, e.g. catching a mouse by a cat, the kicking of an animal
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H30/00—Remote-control arrangements specially adapted for toys, e.g. for toy vehicles
    • A63H30/02—Electrical arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/003—Manipulators for entertainment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/003—Controls for manipulators by means of an audio-responsive input
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/8003—Diversity systems specially adapted for direction finding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H2200/00—Computerized interactive toys, e.g. dolls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0003—Home robots, i.e. small robots for domestic use
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification

Abstract

【課題】推定した音源方向に基づく、より自然かつ柔軟な自律動作体の行動を実現する。【解決手段】認識処理に基づいて行動する動作体の行動計画を行う行動計画部と、推定された音源方向の信頼性を評価する評価部と、を備え、前記行動計画部は、前記評価部による前記信頼性の評価結果に基づいて、前記音源方向に応じた、前記動作体の姿勢変化に係る行動を含む方向依存動作を計画する、情報処理装置が提供される。また、プロセッサが、認識処理に基づいて行動する動作体の行動計画を行うことと、推定された音源方向の信頼性を評価することと、を含み、前記行動計画を行うことは、前記信頼性の評価結果に基づいて、前記音源方向に応じた、前記動作体の姿勢変化に係る行動を含む方向依存動作を計画すること、をさらに含む、情報処理方法が提供される。【選択図】図２６

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
近年、ユーザの発話などの音源の方向を推定し、当該音源の方向に応じた動作を実行する種々の装置が開発されている。上記の装置には、例えば、推定した音源方向に基づいて、自律動作を実行する自律動作体が含まれる。例えば、特許文献１には、推定した音源方向の信頼度が低い場合、予め設定された動作を実行するロボットが開示されている。
特開２０１２－４０６５５号公報
しかし、特許文献１に記載のロボットは、会議室において話者に囲まれた状況など、ごく限定された環境において動作することを前提としているため、上記前提から逸脱する環境では、十分な効果が得られない場合も想定される。
そこで、本開示では、推定した音源方向に基づく、より自然かつ柔軟な自律動作体の行動を実現することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、認識処理に基づいて行動する動作体の行動計画を行う行動計画部と、推定された音源方向の信頼性を評価する評価部と、を備え、前記行動計画部は、前記評価部による前記信頼性の評価結果に基づいて、前記音源方向に応じた、前記動作体の姿勢変化に係る行動を含む方向依存動作を計画する、情報処理装置が提供される。
また、本開示によれば、プロセッサが、認識処理に基づいて行動する動作体の行動計画を行うことと、推定された音源方向の信頼性を評価することと、を含み、前記行動計画を行うことは、前記信頼性の評価結果に基づいて、前記音源方向に応じた、前記動作体の姿勢変化に係る行動を含む方向依存動作を計画すること、をさらに含む、情報処理方法が提供される。
また、本開示によれば、コンピュータを、認識処理に基づいて行動する動作体の行動計画を行う行動計画部と、推定された音源方向の信頼性を評価する評価部と、を備え、前記行動計画部は、前記評価部による前記信頼性の評価結果に基づいて、前記音源方向に応じた、前記動作体の姿勢変化に係る行動を含む方向依存動作を計画する、情報処理装置、として機能させるためのプログラムが提供される。
以上説明したように本開示によれば、推定した音源方向に基づく、より自然かつ柔軟な自律動作体の行動を実現することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る自律動作体のハードウェア構成例を示す図である。 本開示の一実施形態に係る自律動作体が備えるアクチュエータの構成例である。 本開示の一実施形態に係る自律動作体が備えるアクチュエータの動作について説明するための図である。 本開示の一実施形態に係る自律動作体が備えるアクチュエータの動作について説明するための図である。 本開示の一実施形態に係る自律動作体が備えるディスプレイの機能について説明するための図である。 本開示の一実施形態に係る自律動作体の動作例を示す図である。 本開示の一実施形態に係るシステム構成の一例を示す図である。 本開示の一実施形態に係る自律動作体の機能構成例を示す図である。 本開示の一実施形態に係る自律動作体の音源方向推定に着目した機能ブロック図の一例である。 本開示の一実施形態に係る情報処理サーバの機能構成例を示す図である。 空間における位置と音源方向推定の精度との関係について説明するための図である。 本開示の第１の実施形態に係るユーザ認識に基づく信頼性評価について説明するための図である。 同実施形態に係る障害物マップに基づく信頼性評価について説明するための図である。 同実施形態に係る信頼性マップに基づく信頼性評価について説明するための図である。 同実施形態に係る存在確率マップに基づく信頼性評価について説明するための図である。 同実施形態に係る評価結果保持部が保持する過去の評価実績の一例を示す図である。 同実施形態に係るユーザ指定に基づく行動計画について説明するための図である。 同実施形態に係る地図情報に基づく方向重みの一例である。 同実施形態に係る地図情報に基づく方向重みを用いた音源方向推定の一例である。 同実施形態に係る画像情報に基づく方向重みの一例である。 同実施形態に係る画像情報に基づく方向重みを用いた音源方向推定の一例である。 同実施形態に係る地図情報と画像情報とに基づく方向重みの算出について説明するための図である。 同実施形態に係る地図情報と画像情報とに基づく方向重みの一例である。 同実施形態に係る音源定位部により全方向範囲において算出された特徴量の一例である。 同実施形態に係る音源定位部による方向重み統合後の特徴量の一例である。 同実施形態に係る自律動作体による音源方向推定に基づく行動計画の流れを示すフローチャートである。 本開示の第２の実施形態に係る音声認識の困難性に基づくマイク穴の遮蔽状態制御について説明するための図である。 本開示の一実施形態に係る情報処理サーバのハードウェア構成例を示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．構成
１．１．自律動作体１０の概要
１．２．自律動作体１０のハードウェア構成例
１．３．システム構成例
１．４．自律動作体１０の機能構成例
１．５．情報処理サーバ２０の機能構成例
２．第１の実施形態
２．１．概要
２．２．音源方向推定に係る信頼性の評価
２．３．信頼性評価に基づく行動計画
２．４．方向重みに基づく音源方向の推定
２．５．音源方向推定に基づく行動計画の流れ
３．第２の実施形態
３．１．概要
３．２．マイク穴の遮蔽制御
４．ハードウェア構成例
５．まとめ
＜１．構成＞
＜＜１．１．自律動作体１０の概要＞＞
まず、本開示の一実施形態に係る自律動作体１０の概要について説明する。本開示の一実施形態に係る自律動作体１０は、収集したセンサ情報に基づく状況推定を実行し、状況に応じた種々の動作を自律的に選択し実行する情報処理装置である。自律動作体１０は、単にユーザの指示コマンドに従った動作を行うロボットとは異なり、状況ごとに最適であると推測した動作を自律的に実行することを特徴の一つとする。
本開示の一実施形態に係る自律動作体１０は、例えば、発話を行ったユーザの方向を推定し、当該方向に応じた種々の動作（以下、方向依存動作、とも称する）を実行することができる。ここで、上記の方向依存動作には、例えば、ユーザの方向に頭部や視線を向ける、ユーザの方向に駆け寄る（移動する）などの動作が含まれる。
また、本開示の一実施形態に係る自律動作体１０は、推定した音源方向の信頼性に係る評価を行い、当該評価結果に基づいた自律動作を実行することができる。例えば、自律動作体１０は、音声方向の信頼性が低い場合には、次のユーザの発話に係る音源定位の精度を向上させるために、よりユーザの発話方向を検出しやすい場所に移動する、などの行動を行ってもよい。
このように、本開示の一実施形態に係る自律動作体１０は、ヒトを含む動物と同様に、自己の状態や周囲の環境などを総合的に判断して自律動作を決定、実行する。上記の点において、本開示の一実施形態に係る自律動作体１０は、指示に基づいて対応する動作や処理を実行する受動的な装置とは明確に相違する。
本開示の一実施形態に係る自律動作体１０は、空間内において自律的な姿勢制御を行い、種々の動作を実行する自律動作型ロボットであってよい。自律動作体１０は、例えば、ヒトやイヌなどの動物を模した形状や、動作能力を有する自律動作型ロボットであってもよい。また、自律動作体１０は、例えば、ユーザとのコミュニケーション能力を有する車両や無人航空機などの装置であってもよい。本開示の一実施形態に係る自律動作体１０の形状、能力、また欲求などのレベルは、目的や役割に応じて適宜設計され得る。
＜＜１．２．自律動作体１０のハードウェア構成例＞＞
次に、本開示の一実施形態に係る自律動作体１０のハードウェア構成例について説明する。なお、以下では、自律動作体１０がイヌ型の四足歩行ロボットである場合を例に説明する。
図１は、本開示の一実施形態に係る自律動作体１０のハードウェア構成例を示す図である。図１に示すように、自律動作体１０は、頭部、胴部、４つの脚部、および尾部を有するイヌ型の四足歩行ロボットである。また、自律動作体１０は、頭部に２つのディスプレイ５１０を備える。
また、自律動作体１０は、種々のセンサを備える。自律動作体１０は、例えば、マイクロフォン５１５、カメラ５２０、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサ５２５、人感センサ５３０、測距センサ５３５、タッチセンサ５４０、照度センサ５４５、足裏ボタン５５０、慣性センサ５５５を備える。
（マイクロフォン５１５）
マイクロフォン５１５は、周囲の音を収集する機能を有する。上記の音には、例えば、ユーザの発話や、周囲の環境音が含まれる。自律動作体１０は、例えば、頭部に４つのマイクロフォンを備えてもよい。複数のマイクロフォン５１５を備えることで、周囲で発生する音を感度高く収集すると共に、音源の定位を実現することが可能となる。
（カメラ５２０）
カメラ５２０は、ユーザや周囲環境を撮像する機能を有する。自律動作体１０は、例えば、鼻先と腰部に２つの広角カメラを備えてもよい。この場合、鼻先に配置される広角カメラは、自律動作体１０の前方視野（すなわち、イヌの視野）に対応した画像を撮像し、腰部の広角カメラは、上方を中心とする周囲領域の画像を撮像する。自律動作体１０は、例えば、腰部に配置される広角カメラにより撮像された画像に基づいて、天井の特徴点などを抽出し、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）を実現することができる。
（ＴｏＦセンサ５２５）
ＴｏＦセンサ５２５は、頭部前方に存在する物体との距離を検出する機能を有する。ＴｏＦセンサ５２５は、頭部の鼻先に備えられる。ＴｏＦセンサ５２５によれば、種々の物体との距離を精度高く検出することができ、ユーザを含む対象物や障害物などとの相対位置に応じた動作を実現することが可能となる。
（人感センサ５３０）
人感センサ５３０は、ユーザやユーザが飼育するペットなどの所在を検知する機能を有する。人感センサ５３０は、例えば、胸部に配置される。人感センサ５３０によれば、前方に存在する動物体を検知することで、当該動物体に対する種々の動作、例えば、興味、恐怖、驚きなどの感情に応じた動作を実現することが可能となる。
（測距センサ５３５）
測距センサ５３５は、自律動作体１０の前方床面の状況を取得する機能を有する。測距センサ５３５は、例えば、胸部に配置される。測距センサ５３５によれば、自律動作体１０の前方床面に存在する物体との距離を精度高く検出することができ、当該物体との相対位置に応じた動作を実現することができる。
（タッチセンサ５４０）
タッチセンサ５４０は、ユーザによる接触を検知する機能を有する。タッチセンサ５４０は、例えば、頭頂、あご下、背中など、ユーザが自律動作体１０に対し触れる可能性が高い部位に配置される。タッチセンサ５４０は、例えば、静電容量式や感圧式のタッチセンサであってよい。タッチセンサ５４０によれば、ユーザによる触れる、撫でる、叩く、押すなどの接触行為を検知することができ、当該接触行為に応じた動作を行うことが可能となる。
（照度センサ５４５）
照度センサ５４５は、自律動作体１０が位置する空間の照度を検出する。照度センサ５４５は、例えば、頭部背面において尾部の付け根などに配置されてもよい。照度センサ５４５によれば、周囲の明るさを検出し、当該明るさに応じた動作を実行することが可能となる。
（足裏ボタン５５０）
足裏ボタン５５０は、自律動作体１０の脚部底面が床と接触しているか否かを検知する機能を有する。このために、足裏ボタン５５０は、４つの脚部の肉球に該当する部位にそれぞれ配置される。足裏ボタン５５０によれば、自律動作体１０と床面との接触または非接触を検知することができ、例えば、自律動作体１０がユーザにより抱き上げられたことなどを把握することが可能となる。
（慣性センサ５５５）
慣性センサ５５５は、頭部や胴部の速度や加速度、回転などの物理量を検出する６軸センサである。すなわち、慣性センサ５５５は、Ｘ軸、Ｙ軸、Ｚ軸の加速度および角速度を検出する。慣性センサ５５５は、頭部および胴部にそれぞれ配置される。慣性センサ５５５によれば、自律動作体１０の頭部および胴部の運動を精度高く検出し、状況に応じた動作制御を実現することが可能となる。
以上、本開示の一実施形態に係る自律動作体１０が備えるセンサの一例について説明した。なお、図１を用いて説明した上記の構成はあくまで一例であり、自律動作体１０が備え得るセンサの構成は係る例に限定されない。自律動作体１０は、上記の構成のほか、例えば、温度センサ、地磁気センサ、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）信号受信機を含む各種の通信装置などをさらに備えてよい。自律動作体１０が備えるセンサの構成は、仕様や運用に応じて柔軟に変形され得る。
続いて、本開示の一実施形態に係る自律動作体１０の関節部の構成例について説明する。図２は、本開示の一実施形態に係る自律動作体１０が備えるアクチュエータ５７０の構成例である。本開示の一実施形態に係る自律動作体１０は、図２に示す回転箇所に加え、耳部と尾部に２つずつ、口に１つの合計２２の回転自由度を有する。
例えば、自律動作体１０は、頭部に３自由度を有することで、頷きや首を傾げる動作を両立することができる。また、自律動作体１０は、腰部に備えるアクチュエータ５７０により、腰のスイング動作を再現することで、より現実のイヌに近い自然かつ柔軟な動作を実現することが可能である。
なお、本開示の一実施形態に係る自律動作体１０は、例えば、１軸アクチュエータと２軸アクチュエータを組み合わせることで、上記の２２の回転自由度を実現してもよい。例えば、脚部における肘や膝部分においては１軸アクチュエータを、肩や大腿の付け根には２軸アクチュエータをそれぞれ採用してもよい。
図３および図４は、本開示の一実施形態に係る自律動作体１０が備えるアクチュエータ５７０の動作について説明するための図である。図３を参照すると、アクチュエータ５７０は、モータ５７５により出力ギアを回転させることで、可動アーム５９０を任意の回転位置および回転速度で駆動させることができる。
図４を参照すると、本開示の一実施形態に係るアクチュエータ５７０は、リアカバー５７１、ギアＢＯＸカバー５７２、制御基板５７３、ギアＢＯＸベース５７４、モータ５７５、第１ギア５７６、第２ギア５７７、出力ギア５７８、検出用マグネット５７９、２個のベアリング５８０を備える。
本開示の一実施形態に係るアクチュエータ５７０は、例えば、磁気式ｓｖＧＭＲ（ｓｐｉｎ－ｖａｌｖｅ Ｇｉａｎｔ Ｍａｇｎｅｔｏｒｅｓｉｓｔｉｖｅ）であってもよい。制御基板５７３が、メインプロセッサによる制御に基づいて、モータ５７５を回転させることで、第１ギア５７６および第２ギア５７７を介して出力ギア５７８に動力が伝達され、可動アーム５９０を駆動させることが可能である。
また、制御基板５７３に備えられる位置センサが、出力ギア５７８に同期して回転する検出用マグネット５７９の回転角を検出することで、可動アーム５９０の回転角度、すなわち回転位置を精度高く検出することができる。
なお、磁気式ｓｖＧＭＲは、非接触方式であるため耐久性に優れるとともに、ＧＭＲ飽和領域において使用することで、検出用マグネット５７９や位置センサの距離変動による信号変動の影響が少ないという利点を有する。
以上、本開示の一実施形態に係る自律動作体１０が備えるアクチュエータ５７０の構成例について説明した。上記の構成によれば、自律動作体１０が備える関節部の屈伸動作を精度高く制御し、また関節部の回転位置を正確に検出することが可能となる。
続いて、図５を参照して、本開示の一実施形態に係る自律動作体１０が備えるディスプレイ５１０の機能について説明する。図５は、本開示の一実施形態に係る自律動作体１０が備えるディスプレイ５１０の機能について説明するための図である。
（ディスプレイ５１０）
ディスプレイ５１０は、自律動作体１０の目の動きや感情を視覚的に表現する機能を有する。図５に示すように、ディスプレイ５１０は、感情や動作に応じた眼球、瞳孔、瞼の動作を表現することができる。ディスプレイ５１０は、文字や記号、また眼球運動とは関連しない画像などを敢えて表示しないことで、実在するイヌなどの動物に近い自然な動作を演出する。
また、図５に示すように、自律動作体１０は、右眼および左眼にそれぞれ相当する２つのディスプレイ５１０ｒおよび５１０ｌを備える。ディスプレイ５１０ｒおよび５１０ｌは、例えば、独立した２つのＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）により実現される。ＯＬＥＤによれば、眼球の曲面を再現することが可能となり、１枚の平面ディスプレイにより一対の眼球を表現する場合や、２枚の独立した平面ディスプレイにより２つの眼球をそれぞれ表現する場合と比較して、より自然な外装を実現することができる。
以上述べたように、ディスプレイ５１０ｒおよび５１０ｌによれば、図５に示すような自律動作体１０の視線や感情を高精度かつ柔軟に表現することが可能となる。また、ユーザはディスプレイ５１０に表示される眼球の動作から、自律動作体１０の状態を直観的に把握することが可能となる。
以上、本開示の一実施形態に係る自律動作体１０のハードウェア構成例について説明した。上記の構成によれば、図６に示すように、自律動作体１０の関節部や眼球の動作を精度高くまた柔軟に制御することで、より実在の生物に近い動作および感情表現を実現することが可能となる。なお、図６は、本開示の一実施形態に係る自律動作体１０の動作例を示す図であるが、図６では、自律動作体１０の関節部および眼球の動作について着目して説明を行うため、自律動作体１０の外部構造を簡略化して示している。同様に、以下の説明においては、自律動作体１０の外部構造を簡略化して示す場合があるが、本開示の一実施形態に係る自律動作体１０のハードウェア構成および外装は、図面により示される例に限定されず、適宜設計され得る。
＜＜１．３．システム構成例＞＞
次に、本開示の一実施形態に係るシステム構成例について説明する。図７は、本開示の一実施形態に係るシステム構成の一例を示す図である。図７を参照すると、本開示の一実施形態に係る情報処理システムは、複数の自律動作体１０および情報処理サーバ２０を備えてもよい。なお、自律動作体１０と情報処理サーバ２０、また自律動作体１０同士は、ネットワーク３０を介して互いに通信が行えるように接続される。
（自律動作体１０）
本開示の一実施形態に係る自律動作体１０は、収集したセンサ情報に基づく状況推定を実行し、状況に応じた種々の動作を自律的に選択し実行する情報処理装置である。上述したように、本開示の一実施形態に係る自律動作体１０は、例えば、ヒトやイヌなどの動物を模した形状や、動作能力を有する自律動作型ロボットであってもよい。
（情報処理サーバ２０）
本開示の一実施形態に係る情報処理サーバ２０は、複数の自律動作体１０と接続され、自律動作体１０から各種の情報を収集する機能を有する情報処理装置である。情報処理サーバ２０は、例えば、各自律動作体１０から収集した動作履歴を蓄積し、当該動作履歴に基づく各種の分析を行うことができる。また、本開示の一実施形態に係る情報処理サーバ２０は、上記の分析結果を複数の自律動作体１０に配布することが可能である。
（ネットワーク３０）
ネットワーク３０は、自律動作体１０と情報処理サーバ２０、自律動作体１０同士を接続する機能を有する。ネットワーク３０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク３０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。また、ネットワーク３０は、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）など無線通信網を含んでもよい。
以上、本開示の一実施形態に係るシステム構成例について説明した。なお、図７を用いて説明した上記の構成はあくまで一例であり、本開示の一実施形態に係る情報処理システムの構成は係る例に限定されない。例えば、自律動作体１０は、情報処理サーバ２０のほか、種々の外部装置とさらに情報通信を行ってもよい。上記の外部装置には、例えば、天気やニュース、その他のサービス情報を発信するサーバや、ユーザが所持する各種の情報処理端末、家電機器などが含まれ得る。本開示の一実施形態に係るシステム構成は、仕様や運用に応じて柔軟に変形され得る。
＜＜１．４．自律動作体１０の機能構成例＞＞
次に、本開示の一実施形態に係る自律動作体１０の機能構成例について説明する。図８は、本開示の一実施形態に係る自律動作体１０の機能構成例を示す図である。図８を参照すると、本開示の一実施形態に係る自律動作体１０は、入力部１１０、認識部１２０、学習部１３０、行動計画部１４０、動作制御部１５０、駆動部１６０、出力部１７０、およびサーバ通信部１８０を備える。
（入力部１１０）
入力部１１０は、ユーザや周囲環境に係る種々の情報を収集する機能を有する。入力部１１０は、例えば、ユーザの発話や周囲で発生する環境音、ユーザや周囲環境に係る画像情報、および種々のセンサ情報を収集する。このために、入力部１１０は、図１に示す各種のセンサを備える。
（認識部１２０）
認識部１２０は、入力部１１０が収集した種々の情報に基づいて、ユーザや周囲環境、また自律動作体１０の状態に係る種々の認識を行う機能を有する。一例としては、認識部１２０は、人識別、表情や視線の認識、物体認識、色認識、形認識、マーカー認識、障害物認識、段差認識、明るさ認識などを行ってよい。
また、認識部１２０は、ユーザの声に係る感情認識、単語理解、音源定位などを行う。また、認識部１２０は、ユーザなどによる接触や、周囲の温度、動物体の存在、自律動作体１０の姿勢などを認識することができる。
さらには、認識部１２０は、認識した上記の情報に基づいて、自律動作体１０が置かれた周囲環境や状況を推定し、理解する機能を有する。この際、認識部１２０は、事前に記憶される環境知識を用いて総合的に状況推定を行ってもよい。
（学習部１３０）
学習部１３０は、環境（状況）と行動、また当該行動による環境への作用を学習する機能を有する。学習部１３０は、例えば、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）などの機械学習アルゴリズムを用いて、上記の学習を実現する。なお、学習部１３０が採用する学習アルゴリズムは、上記の例に限定されず、適宜設計可能である。
（行動計画部１４０）
行動計画部１４０は、認識部１２０が推定した状況と学習部１３０が学習した知識に基づいて、自律動作体１０が行う行動を計画する機能を有する。本開示の一実施形態に係る行動計画部１４０の機能詳細については別途後述する。
（動作制御部１５０）
動作制御部１５０は、行動計画部１４０による行動計画に基づいて、駆動部１６０および出力部１７０の動作を制御する機能を有する。動作制御部１５０は、例えば、上記の行動計画に基づいて、アクチュエータ５７０の回転制御や、ディスプレイ５１０の表示制御、スピーカによる音声出力制御などを行う。本開示の一実施形態に係る動作制御部１５０の機能詳細については別途詳細に説明する。
（駆動部１６０）
駆動部１６０は、動作制御部１５０による制御に基づいて、自律動作体１０が有する複数の関節部を屈伸させる機能を有する。より具体的には、駆動部１６０は、動作制御部１５０による制御に基づき、各関節部が備えるアクチュエータ５７０を駆動させる。
（出力部１７０）
出力部１７０は、動作制御部１５０による制御に基づいて、視覚情報や音情報の出力を行う機能を有する。このために、出力部１７０は、ディスプレイ５１０やスピーカを備える。
（サーバ通信部１８０）
サーバ通信部１８０は、情報処理サーバ２０や他の自律動作体１０との情報通信を行う機能を有する。例えば、サーバ通信部１８０は、認識部１２０が認識した状況に係る情報などを情報処理サーバ２０に送信する。また、例えば、サーバ通信部１８０は、情報処理サーバ２０から推奨行動や当該推奨行動に係る制御シーケンスデータを受信する。
以上、本開示の一実施形態に係る自律動作体１０の基本構成例について説明した。続いて、本開示の一実施形態に係る自律動作体１０の音源方向推定に着目した機能構成例について詳細に説明する。図９は、本開示の一実施形態に係る自律動作体１０の音源方向推定に着目した機能ブロック図の一例である。
図９を参照すると、本開示の一実施形態に係る認識部１２０は、信号処理部３１０、音声認識部３２０、スイッチ３３０、評価部３４０、評価結果保持部３５０、地図情報保持部３６０、および方向重み算出部３７０を備える。
（信号処理部３１０）
信号処理部３１０は、入力部１１０が備える複数のマイクロフォン５１５が収集した音情報に基づく信号処理を行う。信号処理部３１０は、音源定位部３１２および音声強調部３１４を備える。
（（音源定位部３１２））
音源定位部３１２は、入力部１１０から入力される音情報に基づいて、音源方向の推定、すなわち音源定位を行う。音源定位部３１２は、例えば、ユーザの発話が行われた方向などを推定することができる。
また、音源定位部３１２は、方向重み算出部３７０が算出した方向重みに基づいて、音源方向の推定を行ってもよい。音源定位部３１２が有する上記の機能については別途詳細に説明する。
（（音声強調部３１４））
音声強調部３１４は、入力部１１０から入力される音情報に対するノイズ除去などを行い、目的の音声（例えば、ユーザの発話）を強調する。音声強調部３１４は、例えば、ビームフォーミングやスペクトルサブトラクションなどの技術を用いて音声強調を実現することができる。
（音声認識部３２０）
音声認識部３２０は、音声強調部３１４が強調した音声情報に基づいて、音声認識を行う。また、音声認識部３２０は、認識した音声が、「おいで」、「遊ぼう」、「かわいいね」などの自律動作体１０への呼びかけであると判定した場合、音源定位部３１２が推定した音源方向が評価部３４０に入力されるようスイッチ３３０を制御する。
（スイッチ３３０）
スイッチ３３０は、音声認識部３２０による上記の判定結果に基づいて、音源定位部３１２から評価部３４０への入力に係る回路のオンオフを切り替える。
（評価部３４０）
評価部３４０は、音源定位部３１２が推定した音源方向の信頼性を評価する。この際、本開示の一実施形態に係る評価部３４０は、過去の評価実績に基づいて、上記の信頼性を評価することを特徴の一つとする。評価部３４０が有する機能の詳細については別途後述する。
（評価結果保持部３５０）
評価結果保持部３５０は、評価部３４０による音源方向の信頼性評価の結果を保持する。評価結果保持部３５０が保持する信頼性評価の結果（評価実績）は、行動計画部１４０による行動計画に用いられる。
（地図情報保持部３６０）
地図情報保持部３６０は、自律動作体１０が存在する空間に係る種々の地図情報を保持する。上記の地図情報には、例えば、自律動作体１０が設置されるユーザの自宅に係る間取りや障害物、家具の設置状況などが含まれる。
（方向重み算出部３７０）
方向重み算出部３７０は、地図情報保持部３６０が保持する地図情報や、自律動作体１０などが撮像した画像情報、また自律動作体１０の姿勢状態などに基づいて、音源推定に係る方向の重み付けを行う。なお、本開示における姿勢には、自律動作体１０の３軸姿勢および位置が含まれる。方向重み算出部３７０が有する機能の詳細については別途後述する。
以上、図８および図９を用いて本開示の一実施形態に係る自律動作体１０の機能構成例について説明した。なお、図８および図９を用いて説明した上記の構成はあくまで一例であり、本開示の一実施形態に係る自律動作体１０の機能構成は係る例に限定されない。本開示の一実施形態に係る自律動作体１０の機能構成は、仕様や運用に応じて柔軟に変形され得る。
＜＜１．５．情報処理サーバ２０の機能構成例＞＞
次に、本開示の一実施形態に係る情報処理サーバ２０の機能構成例について説明する。図１０は、本開示の一実施形態に係る情報処理サーバ２０の機能構成例を示す図である。図１０を参照すると、本開示の一実施形態に係る情報処理サーバ２０は、蓄積部２１０、分析部２２０、および端末通信部２３０を備える。
（蓄積部２１０）
蓄積部２１０は、複数の自律動作体１０から、動作履歴や音源方向推定に係る評価実績を収集し、当該情報の蓄積を行う。
（分析部２２０）
分析部２２０は、蓄積部２１０が蓄積する情報に基づいて、種々の分析を実行する。分析部２２０は、例えば、複数の自律動作体１０から収集、蓄積された音源方向推定に係る評価実績に基づいて、一般的な日本のマンションにおける音源方向推定の信頼性の傾向などを分析することが可能である。
また、分析部２２０は、上記のような分析の結果や、蓄積部２１０が蓄積する評価実績を端末通信部２３０を介して複数の自律動作体１０に配布する機能を有する。分析部２２０が有する上記の機能によれば、音源方向推定の信頼性に係る評価実績を個体ごとに閉じることなく、複数の自律動作体１０で共有することが可能となり、より柔軟かつ効率的な行動計画を実現することが可能となる。
（端末通信部２３０）
端末通信部２３０は、ネットワーク３０を介して、複数の自律動作体１０と情報通信を行う機能を有する。端末通信部２３０は、例えば、自律動作体１０から音源方向推定に係る評価実績を受信する。また、端末通信部２３０は、例えば、分析部２２０による制御に基づいて、上記の評価実績や、当該評価実績に係る分析結果を複数の自律動作体１０に送信する。
以上、本開示の一実施形態に係る情報処理サーバ２０の機能構成例について説明した。なお、図１０を用いて説明した上記の構成はあくまで一例であり、本開示の一実施形態に係る情報処理サーバ２０の機能構成は係る例に限定されない。例えば、情報処理サーバ２０は、自律動作体１０の行動計画部１４０や評価部３４０と同様の機能を実現する構成をさらに備えてもよい。本開示の一実施形態に係る情報処理サーバ２０の機能構成は、仕様や運用に応じて柔軟に変形され得る。
＜２．第１の実施形態＞
＜＜２．１．概要＞＞
次に、本開示の第一の実施形態について説明する。上述したように、本開示の一実施形態に係る自律動作体１０は、ユーザの発話などを含む音源の方向を推定し、当該方向に基づく種々の自律動作を行うことができる。自律動作体１０は、例えば、自身に対するユーザの呼びかけに反応し、発話を検出した方向に頭部や視線を向けたり、当該方向に駆け寄る（移動する）ことなどの行動を行うことが可能である。
しかし、ユーザの発話以外の音（雑音）が大きい環境や、反射波の影響が強い環境、また残響が強い環境などの場合、誤った方向を音源方向として検出してしまうことも想定される。このような場合、自律動作体１０が、ユーザが発話を行った方向とは異なる方向に視線を向けたり、移動を行うことで、ユーザに強い違和感やストレスを抱かせる結果につながる。
上記のような事態を回避するためには、例えば、特許文献１に記載されるように、推定した音源方向の信頼性を評価し、当該信頼性が低い場合には、予め定められた動作を実行することなども想定される。係る手法によれば、音源方向推定に係る信頼性が低い場合においても、ユーザの想定内に収まる動作を実現することで、ユーザの抱く違和感やストレスを軽減することが可能である。
しかし、特許文献１に記載のロボットは、会議室においてユーザに囲まれた状況など、雑音や反射波の影響が小さく、またユーザおよびロボットの移動（位置変化）がほとんど行われない環境で動作することを前提としている。一方、本開示の一実施形態に係る自律動作体１０のように広範囲の空間を自律的に移動する場合、空間における自己位置や姿勢によって、反射波や雑音の影響度が大きく異なることが想定される。
図１１は、空間における位置と音源方向推定の精度との関係について説明するための図である。図１１には、ユーザの自宅などの空間において自律移動を行う自律動作体１０とユーザＵの位置が示されている。
ここで、例えば、自律動作体１０が、位置Ｐ１のように開けた場所に位置し、また自律動作体１０とユーザＵとの間に障害物が存在しない場合、反射波の影響が小さいことから、自律動作体１０は精度の高い音源方向推定を行うことが可能である。
一方、自律動作体１０が、位置Ｐ２のように壁や家具などの障害物に囲まれた場所にいる場合、障害物からの反射波の影響が大きいことから、自律動作体１０によるユーザＵの発話方向の推定精度が大きく低下することが想定される。
このような反射波の影響は、広範囲を自律的に移動する自律動作体１０にとって回避が難しく、また音声信号処理で当該影響を排除することは困難である。さらには、自律動作体１０が設置される環境では、例えば、テレビジョン装置や洗濯機などの家電機器が稼働している場合も多く、雑音の影響も無視できない。このため、自律動作体１０が仮に誤った方向を推定した場合であっても、推定した音源方向の信頼性が低いことを検出し、ユーザに違和感を与えない動作を適切に実行することが重要となる。
本開示の第１の実施形態に係る技術思想は、上記の点に着目して発想されたものであり、推定した音源方向に基づく、より自然かつ柔軟な自律動作体の行動を実現することを可能とする。このために、本実施形態に係る情報処理装置の一例である自律動作体１０は、推定された音源方向の信頼性を評価し、当該評価の結果と過去の評価実績とに基づいて、推定した音源方向に応じた方向依存動作を計画すること、を特徴の一つとする。
以下、本実施形態に係る自律動作体１０が有する上記の特徴と、当該特徴により奏される効果について詳細に説明する。
＜＜２．２．音源方向推定に係る信頼性の評価＞＞
まず、本実施形態に係る音源方向推定に係る信頼性の評価について具体例を挙げながら説明する。上述したように、本実施形態に係る自律動作体１０の評価部３４０は、音源定位部３１２が推定した音源方向の信頼性を評価する機能を有する。
本実施形態に係る評価部３４０は、例えば、ユーザの認識結果に基づいて、音源定位部３１２が推定した音源方向の信頼性を評価してもよい。より具体的には、本実施形態に係る評価部３４０は、音源定位部３１２が推定した音源方向において、ユーザが認識された場合、当該音源方向の信頼性が高いと評価することができる。
図１２は、本実施形態に係るユーザ認識に基づく信頼性評価について説明するための図である。図１２には、自律動作体１０の２次元姿勢とユーザＵとの位置関係が概略的に示されている。また、図１２には、自律動作体１０が備えるカメラ５２０の撮像範囲、すなわち、自律動作体１０がユーザを認識することが可能な認識可能範囲Ｒが示されている。なお、図１２以降の図においては、自律動作体１０の頭部方向を０°と定義する。
ここで、図１２の左側に示すように、ユーザＵが自律動作体１０への呼びかけである発話ＵＯ１を行った際、音源定位部３１２が、入力される音声情報に基づいて、発話ＵＯ１の音源方向を２７０°と推定した場合を想定する。
この際、本実施形態に係る行動計画部１４０は、図１２の右側に示すように、音源定位部３１２が推定した２７０°の方向に自律動作体１０の頭部が向くよう姿勢制御に係る行動計画を行う。ここで、認識可能範囲Ｒにユーザが存在する場合、すなわち、推定された音源方向においてユーザが認識された場合、本実施形態に係る評価部３４０は、音源定位部３１２が推定した音源方向の信頼性が高いと評価してよい。
なお、本実施形態に係る評価部３４０は、例えば、認識部１２０による顔認識の結果に基づいて、上記の評価を行ってもよい。また、評価部３４０は、認識部１２０が、後述する地図情報において障害物が存在しない場所に動体を検出した場合に、音源方向の信頼性が高いと評価してもよい。
また、本実施形態に係る評価部３４０は、ユーザのフィードバックに基づいて、音源方向の信頼性を評価することも可能である。例えば、図１２の右側に示す一例の場合、ユーザＵは、自身の方向に頭部を向けた自律動作体１０に対し、好意的な発話ＵＯ２を行っている。このように、音源方向に応じた方向依存動作に対し、ユーザが好意的なフィードバックを行った場合、本実施形態に係る評価部３４０は、当該音源方向の信頼性が高いと評価することができる。
また、本実施形態に係る評価部３４０は、例えば、自律動作体１０が存在する空間に係る地図情報に基づいて、音源定位部３１２が推定した音源方向の信頼性を評価してもよい。
ここで、上記の地図情報は、例えば、自律動作体１０が存在する空間における障害物の情報を含む障害物マップであってもよい。図１３は、本実施形態に係る障害物マップに基づく信頼性評価について説明するための図である。
図１３には、本実施形態に係る障害物マップＭ１と評価時における自律動作体１０の位置とが対応付けられて示されている。なお、障害物マップＭ１においては、壁や家具などの障害物がハッチングにより示されている。
この際、本実施形態に係る評価部３４０は、音源定位部３１２が推定した音源方向において所定の距離以内に障害物が存在する場合、当該音源方向の信頼性が低いと判定してもよい。例えば、図１３に示す一例において、音源定位部３１２が音源方向を９０°や１８０°と推定した場合、該当する方向には障害物である壁が存在するため、ユーザが存在する可能性が極めて小さいといえる。このように、本実施形態に係る評価部３４０によれば、空間に存在する障害物の情報に基づいて、推定された音源方向を精度高く評価することが可能である。
また、本実施形態に係る地図情報は、例えば、自律動作体１０が存在する空間における位置と、当該位置において推定される音源方向の信頼性の傾向を示す信頼性マップを含んでよい。図１４は、本実施形態に係る信頼性マップに基づく信頼性評価について説明するための図である。
図１４には、本実施形態に係る信頼性マップＭ２の一例が示されている。なお、図１４に示す一例では、空間位置における信頼性の傾向がハッチングの濃度により表されている。例えば、図１４に示す信頼性マップＭ２は、ハッチングの濃度が濃い位置において推定された音源方向の信頼性は低い傾向があることを示しており、ハッチングの濃度が薄い位置において推定された音源方向の信頼性は高い傾向があることを示している。本実施形態に係る地図情報保持部３６０は、評価部３４０による評価実績が十分に蓄積された場合に、図１４に示すような信頼性マップＭ２を生成することが可能である。
この際、本実施形態に係る評価部３４０は、音源方向が推定された時点における自律動作体１０の位置と信頼性マップＭ２とに基づいて、当該音源方向の信頼性を評価することが可能である。具体的には、評価部３４０は、自律動作体１０の現在位置では、音源方向推定に係る信頼性が高い傾向があることが示される場合、音源定位部３１２が推定した音源方向の信頼性が高いと評価してよい。一方、評価部３４０は、自律動作体１０の現在位置では、音源方向推定に係る信頼性が低い傾向があることが示される場合には、音源定位部３１２が推定した音源方向の信頼性が低いと評価することができる。このように、本実施形態に係る評価部３４０は、過去の評価実績に基づいて、音源方向の信頼性を評価してもよい。
また、本実施形態に係る地図情報は、自律動作体１０が存在する空間における位置とユーザが存在する確率の相関を示す存在確率マップであってもよい。図１５は、本実施形態に係る存在確率マップに基づく信頼性評価について説明するための図である。
図１５には、本実施形態に係る存在確率マップＭ３の一例が示されている。図１５に示す存在確率マップＭ３では、空間２次元座標に対するユーザの存在確率の高低が色により表されている。本実施形態に係る地図情報保持部３６０は、認識部１２０によるユーザ認識の実績に基づいて図１５に示すような存在確率マップＭ３を生成することが可能である。
この際、本実施形態に係る評価部３４０は、音源定位部３１２が推定した音源方向と、信頼性マップＭ３とに基づいて、当該音源方向の信頼性を評価することが可能である。具体的には、評価部３４０は、音源定位部３１２が推定した音源方向においてユーザの存在確率が高いことが示される場合、当該音源方向の信頼性が高いと評価してよい。一方、評価部３４０は、音源定位部３１２が推定した音源方向においてユーザの存在確率が低いことが示される場合、当該音源方向の信頼性が低いと評価することができる。このように、本実施形態に係る評価部３４０は、空間位置におけるユーザの存在確率に基づいて、音源方向の信頼性を精度高く評価することが可能である。
以上、本実施形態に係る評価部３４０による音源方向の評価について詳細に説明した。本実施形態に係る評価部３４０によれば、上記のような多様な観点から音源方向の信頼性を精度高く評価することができる。本実施形態に係る評価部３４０が有する上記の機能によれば、音源方向の評価に基づいて、適切な方向依存動作を実現することが可能となる。
＜＜２．３．信頼性評価に基づく行動計画＞＞
次に、本実施形態に係る音源方向の信頼性評価に基づく行動計画について詳細に説明する。上述したように、本実施形態に係る行動計画部１４０は、音源方向の信頼性に係る評価結果に基づいて、当該音源方向に応じた方向依存動作を計画することができる。
具体的には、評価部３４０が評価した信頼性が閾値以上である場合、本実施形態に係る行動計画部１４０は、音源定位部３１２が推定した音源方向に対し頭部や視線を向ける行動や、当該音源方向に駆け寄るなどの行動を計画してよい。本実施形態に係る行動計画部１４０による上記の制御によれば、自律動作体１０がユーザの期待に沿った行動を適切に実行することができ、ユーザの満足度を高めることができる。
一方、評価部３４０が評価した信頼性が閾値を下回る場合、本実施形態に係る行動計画部１４０は、評価部３４０が評価した過去の評価実績に基づいて、自律動作体１０の姿勢変化に係る行動を計画してよい。より具体的には、行動計画部１４０は、信頼性が閾値を下回る場合、信頼性評価の高い過去の評価実績を検索し、当該評価実績が含む姿勢情報に基づいて、自律動作体１０が、当該評価実績に対応する姿勢と同様の姿勢を取るように行動計画を行ってよい。
図１６は、本実施形態に係る評価結果保持部３５０が保持する過去の評価実績の一例を示す図である。図１６を参照すると、本実施形態に係る評価実績は、評価結果、自己位置、自己姿勢、識別ユーザ、および時刻などを含む。なお、本開示において、単に姿勢と示す場合、上記の自己位置と自己姿勢の両方を含むものとする。
ここで、上記の評価結果は、評価部３４０による音源方向推定に係る信頼性の評価結果を示す。評価部３４０は、例えば、図１６に示すように、０～１により信頼性の評価を行ってもよい。なお、図１６に示す一例では、値が１に近いほど信頼性が高いものとする。評価部３４０は、例えば、顔画像検出方向と音源方向推定による推定結果との差分を推定誤差として定義し、０～１の範囲に正規化することで、上記の信頼性を算出してもよい。
また、上記の自己位置は、音源定位部３１２による音源方向の推定が行われた時点における自律動作体１０の空間位置座標を示す。なお、Ｚ方向の座標については、垂直方向における自律動作体１０の頭部やマイクロフォン５１５の位置に基づいて設定されてよい。
また、上記の自己姿勢は、音源定位部３１２による音源方向の推定が行われた時点における自律動作体１０の３軸姿勢を示す。本実施形態に係る自己姿勢は、例えば、図１６に示すように、四元数により表現されてもよい。なお、図１６の一例では、四元数ｑを、ｑ＝ａ＋ｂｉ＋ｃｊ＋ｄｋ、として表現した場合のａ、ｂ、ｃ、ｄの値を示している。四元数によれば、姿勢の回転を４つの値のみで記述することができ、メモリ効率が良く演算が速いといった利点が得られる。
また、上記の識別ユーザは、音源定位部３１２による音源方向の推定が行われた際に、認識部１２０が識別したユーザを示す。認識部１２０は、例えば、ユーザの発話に基づく話者識別や画像に基づく顔識別、またはユーザアカウント情報などに基づいてユーザの識別を行うことができる。例えば、自己位置や自己姿勢が同一あるいは類似する場合であっても発話を行うユーザの特性によっては、信頼性に係る評価結果が変化する場合も想定される。このため、本実施形態に係る評価部３４０は、信頼性に係る評価を行った際、自己位置や自己姿勢と共に識別ユーザに係る情報を併せて評価結果保持部３５０に記憶させてもよい。
また、上記の時刻は、音源定位部３１２による音源方向の推定が行われた時点の時刻を示す。例えば、自己位置や自己姿勢が同一あるいは類似する場合であっても、時刻によっては、家電機器や屋外に由来する雑音の大きさなどの環境が変化する場合も想定される。このため、本実施形態に係る評価部３４０は、信頼性に係る評価を行った際、自己位置や自己姿勢と共に時刻情報を併せて評価結果保持部３５０に記憶させてもよい。
以上、本実施形態に係る評価実績が含む情報の一例について説明した。なお、図１６に示す評価実績はあくまで一例であり、本実施形態に係る評価実績は、図１６に示す以外の項目をさらに含んでよい。
続いて、本実施形態に係る過去の評価実績に基づく行動計画について具体例を挙げて説明する。上述したように、本実施形態に係る行動計画部１４０は、評価部３４０による音源方向推定に係る信頼性の評価結果が閾値を下回る場合、過去の評価実績を取得し、当該評価実績に基づいて姿勢変化に係る行動を計画することを特徴の一つとする。
ここで、例えば、図１６に示す評価実績が得られた場合、行動計画部１４０は、評価結果が最も高い（０．９）１行目の評価実績が示す自己位置（Ｘ＝１００，Ｙ＝２００，Ｚ＝３０）に移動し、当該評価実績が示す自己姿勢（ａ＝０．５，ｂ＝０．０，ｃ＝－０．５，ｄ＝０．０）を取るよう行動計画を行ってもよい。
行動計画部１４０による上記の制御によれば、過去に信頼性が高い音源方向が得られた位置および姿勢を自律動作体１０に取らせることで、次のユーザの発話に対する音源方向推定の精度を効果的に向上させることが可能となる。
また、例えば、行動計画部１４０は、識別ユーザや時刻に基づいて、採用する評価実績を決定してもよい。例えば、ユーザＢによる発話であることが、事前のユーザ識別などにより判明している場合、行動計画部は、ユーザＢに係る評価実績のうち評価が高い（０．８）３行目の評価実績が示す自己位置（Ｘ＝１２０，Ｙ＝１８０，Ｚ＝１２０）に移動し、当該評価実績が示す自己姿勢（ａ＝０．８，ｂ＝－０．５，ｃ＝０．０，ｄ＝０．０）を取るよう行動計画を行ってもよい。また、行動計画部１４０は、現在時刻に近い評価実績のうち評価結果の高い評価実績を選択することも可能である。
本実施形態に係る行動計画部１４０による上記の制御によれば、音源方向推定に係る種々の要因を考慮したより精度の高い行動計画を実現することが可能となる。
また、例えば、行動計画部１４０は、自律動作体１０の現在位置と一致あるいは類似する自己位置において評価結果の高い評価実績が存在する場合には、移動を行わず自己姿勢のみを変化させる計画を行ってもよい。
本実施形態に係る行動計画部１４０による上記の制御によれば、より動作の少ない自然な行動で次のユーザの発話に対する音源方向推定の精度を向上させることが可能となる。
以上、本実施形態に係る過去の評価実績に基づく行動計画について具体例を挙げて説明した。なお、本実施形態に係る過去の評価実績は、上述した信頼性マップのような地図情報として加工されてもよい。この場合、本実施形態に係る行動計画部１４０は、図１４に示すような信頼性マップＭ２に基づいて、より信頼性が高い音源方向が得られる傾向がある位置に、自律動作体１０を移動させる計画を行うことができる。
一方、評価実績が十分に蓄積されていない場合、信頼性の高い評価実績が取得されない場合も想定される。このような場合、本実施形態に係る行動計画部１４０は、他の情報に基づいて、自律動作体１０の姿勢変化に係る行動を計画してよい。
上記他の情報には、例えば、上述した存在確率マップが含まれる。すなわち、本実施形態に係る行動計画部１４０は、評価部３４０が評価した音源方向の信頼性が閾値を下回り、かつ信頼性の高い過去の評価実績が得られない場合、図１５に示すような存在確率マップＭ３に基づいて、ユーザの存在確率が高いと推定される座標に、自律動作体１０を移動させる計画を行ってもよい。
また、本実施形態に係る行動計画部１４０は、信頼性が高い過去の評価実績が得られない場合、予めユーザが指定した位置に自律動作体１０を移動させる計画を行ってもよい。図１７は、本実施形態に係るユーザ指定に基づく行動計画について説明するための図である。
図１７には、音源方向推定に係る信頼性が低い場合に自律動作体１０が移動する位置を指定するためのユーザインタフェースの一例である。当該ユーザインタフェースは、例えば、ユーザが所持するスマートフォンなどの情報処理端末７０に表示されてもよい。ここで、上記のユーザインタフェースは、例えば、図１７に示すように、障害物マップＭ１など、自律動作体１０が設置される空間に係る地図情報を含んでよい。ユーザは、障害物マップＭ１などにおいて、例えば、任意の位置をタップするなどして、音源方向推定の信頼性が低い場合に自律動作体１０に移動してほしい位置を指定することができる。
上記の手法によれば、音源方向推定の信頼性が低い場合に、自律動作体１０が都度異なる位置に移動することなく、ユーザの指定する定位置に移動することができ、ユーザの違和感やストレスを低減することが可能となる。また、この場合、自律動作体１０が指定した定位置に移動したことに基づいて、ユーザが、音源方向推定の信頼性が低かったことを知覚することができ、音源方向がより推定し易い方向から発話するなどの配慮を行うことができる。
＜＜２．４．方向重みに基づく音源方向の推定＞＞
次に、本実施形態に係る方向重みに基づく音源方向の推定について説明する。上記では、本実施形態に係る自律動作体１０が音源方向の信頼性を評価し、当該信頼性が低い場合には、以降の音源方向推定の精度を高めるための行動を計画する場合について述べた。
一方、本実施形態に係る自律動作体１０は、音源方向推定そのものの精度を高めるための処理を行ってもよい。具体的には、本実施形態に係る自律動作体１０は、ユーザの存在確率に基づいて音源方向推定に係る方向重みを算出し、当該方向重みを用いて音源方向を推定することができる。
例えば、図１３に示すような障害物マップＭ１に基づき自律動作体１０の自己位置が壁などの障害物に近いと判断される場合、ユーザが存在する確率が高い方向の範囲は、当該障害物が存在する方向に基づいて限定することができる。例えば、図１３に示す一例の場合、自律動作体１０から９０°～３６０°の方向には壁が存在することから、ユーザが存在し得る方向の範囲は、０°～９０°の範囲に狭められる。
この際、本実施形態に係る方向重み算出部３７０は、図１８に示すように、音源方向推定に係る方向重みを算出してよい。図１８は、本実施形態に係る地図情報に基づく方向重みの一例である。図１８に示す一例の場合、方向重み算出部３７０は、０°～９０°における方向重みを１として、９０°～３６０°における方向重みを０として算出している。
この場合、本実施形態に係る音源定位部３１２は、図１８に示す方向重みを用いて音源方向の推定を行ってもよい。一般的な音源方向推定では、すべての方向の範囲に対し特徴量を算出し、最も妥当な方向を決定して音源方向推定の出力する場合が多いが、本実施形態に係る音源定位部３１２は、方向重みが０と算出された方向については、特徴量の算出を行ず、方向重みが０より大きい方向の範囲についてのみ特徴量の算出を行い、音源方向の推定を行ってもよい。
図１９は、本実施形態に係る地図情報に基づく方向重みを用いた音源方向推定の一例である。図１９に示す一例の場合、本実施形態に係る音源定位部３１２は、方向重みが０と算出された９０°～３６０°の範囲を特徴量の算出を行わない非算出区間とし、方向重みが１と算出された０°～９０°の範囲においてのみ特徴量の算出を実行している。なお、図１９に示す一例の場合、音源定位部３１２は、特徴量の最も大きい３０°を音源方向として推定してよい。すなわち、本実施形態に係る音源定位部３１２は、地図情報に基づいて算出された方向範囲において音源方向の推定を行うことができる。
また、本実施形態に係る方向重み算出部３７０は、自律動作体１０が撮像した画像情報に基づいて方向重みを算出してもよい。例えば、図１２に示す認識可能範囲Ｒにおいて、ユーザが認識されていない場合、当該範囲には、ユーザが存在しないことが想定されることから、ユーザが存在する可能性がある方向の範囲を限定することが可能である。
図２０は、本実施形態に係る画像情報に基づく方向重みの一例である。図２０に示す一例の場合、方向重み算出部３７０は、認識可能範囲Ｒ（３３０°～３０°）においてユーザが認識されていないことに基づいて、３０°～３３０°における方向重みを１として、３３０°～３０°における方向重みを０として算出している。
この際、本実施形態に係る音源定位部３１２は、図２１に示すように、方向重み算出部３７０が算出した方向重みに基づいて、３０°～３３０°の範囲においてのみ特徴量を算出してよい。図２１は、本実施形態に係る画像情報に基づく方向重みを用いた音源方向推定の一例である。図２１に示す一例の場合、音源定位部３１２は、特徴量の最も大きい１５０°を音源方向として推定してよい。
このように、本実施形態に係る音源定位部３１２は、ユーザの存在確率に基づいて決定された方向重みに基づいて、音源方向推定に係る方向の範囲を限定することができる。本実施形態に係る音源方向推定手法によれば、ユーザが存在する確率が極めて低い方向の範囲を予め排除することで、精度の高い音源方向推定を実現すると共に、特徴量の算出コストを効果的に低減することが可能となる。
また、本実施形態に係る方向重み算出部３７０は、地図情報および画像情報の両者に基づいて、方向重みを算出してもよい。図２２は、本実施形態に係る地図情報と画像情報とに基づく方向重みの算出について説明するための図である。図２２には、画像認識に係るマッチングによりソファなどの家具の配置に係る付属情報を保持した地図情報が示されている。この際、本実施形態に係る方向重み算出部３７０は、キッチン、ドア、またはソファなどユーザの存在確率が高い方向に関し、方向重みを高く算出してよい。
図２３は、本実施形態に係る地図情報と画像情報とに基づく方向重みの一例である。図２３に示す一例の場合、方向重み算出部３７０は、図２２において、自律動作体１０を基準にキッチン、ドア、およびソファがある方向である４０°、１００°、および３００°付近における方向重みを高く算出している。
この際、本実施形態に係る音源定位部３１２は、まず、全方向範囲において特徴量の算出を行う。図２４は、本実施形態に係る音源定位部３１２により全方向範囲において算出された特徴量の一例である。図２４に示す一例の場合、算出された特徴量は、１００°および２００°において２つのピークを示している。ここで、２００°におけるピークは、反射波や雑音の影響によりユーザの発話音声に由来する本来の特徴量よりも値が大きく算出されたものとする。この際、２００°における特徴量は、１００°における特徴量よりも大きいことから、特徴量のみに基づいて音源方向を推定する場合、反射波や雑音の影響により誤った方向（２００°）が音源方向として推定されてしまう可能性がある。
一方、図２５は、本実施形態に係る音源定位部３１２による方向重み統合後の特徴量の一例である。本実施形態に係る音源定位部３１２は、全方向範囲において算出した特徴量に対し、例えば、方向ごとに積をとるなどして方向重みを統合した特徴量を得ることができる。ここで、図２５を参照すると、方向重み統合後の特徴量では、１００°におけるピークが維持されたまま、２００°における特徴量が大きく減少していることがわかる。このように、本実施形態に係る音源方向推定手法によれば、ユーザの存在確率に基づく方向重みを用いて特徴量を算出することにより、反射波や雑音などによる影響を効果的に排除し、正しい方向が推定される可能性を大きく高めることが可能となる。
＜＜２．５．音源方向推定に基づく行動計画の流れ＞＞
次に、本実施形態に係る音源方向推定に基づく行動計画の流れについて詳細に説明する。図２６は、本実施形態に係る自律動作体１０による音源方向推定に基づく行動計画の流れを示すフローチャートである。
図２６を参照すると、まず、入力部１１０が、ユーザの発話などに係る音情報を収集する（Ｓ１１０１）。
次に、方向重み算出部３７０が、地図情報や画像情報に基づいて方向重みを算出する（Ｓ１１０２）。
次に、音源定位部３１２が、ステップＳ１１０２において算出された方向重みを用いて特徴量を算出し、音源方向の推定を行う（Ｓ１１０３）。なお、ステップＳ１１０２やＳ１１０３と並行して、音声強調部３１４による音声強調や音声認識部３２０による音声認識が実行されてよい。
次に、評価部３４０が、ユーザ認識結果や地図情報に基づいて、ステップＳ１１０３において推定された音源方向の信頼性を評価する（Ｓ１１０４）。
次に、行動計画部１４０が、ステップＳ１１０４において評価された音源方向の信頼性が閾値以上であるか否かを判定する（Ｓ１１０５）。
ここで、音源方向の信頼性が閾値以上である場合（Ｓ１１０５：ＹＥＳ）、行動計画部１４０が、推定された音源方向の信頼性が高いことを示す行動を計画し、動作制御部１５０が当該計画に基づいて、駆動部１６０や出力部１７０を制御する（Ｓ１１０６）。なお、上記の信頼性が高いことを示す行動には、例えば、鳴き声を上げる、瞬きをする、片耳を上げる、頷く、尻尾を振るなどの行動が挙げられる。
続いて、行動計画部１４０が、推定された音源方向に基づく方向依存動作を計画し、動作制御部１５０が当該計画に基づいて、駆動部１６０や出力部１７０を制御する（Ｓ１１０７）。
一方、音源方向の信頼性が閾値を下回る場合（Ｓ１１０５：ＮＯ）、行動計画部１４０が、推定された音源方向の信頼性が低いことを示す行動を計画し、動作制御部１５０が当該計画に基づいて、駆動部１６０や出力部１７０を制御する（Ｓ１１０８）。なお、上記の信頼性が低いことを示す行動には、例えば、唸る、左右に視線を振る、首を傾げるなどの行動が挙げられる。
次に、行動計画部１４０は、評価結果保持部３５０から過去の評価実績を取得する（Ｓ１１０９）。
ここで、信頼性が高い評価実績が取得された場合（Ｓ１１１０：ＹＥＳ）、行動計画部１４０が、当該評価実績が有する自己位置情報や自己姿勢情報に基づいて、姿勢変化に係る行動を計画し、動作制御部１５０が当該計画に基づいて、駆動部１６０や出力部１７０を制御する（Ｓ１１１１）。
一方、信頼性が高い評価実績が存在しない場合（Ｓ１１１０：ＮＯ）、行動計画部１４０が、存在確率マップなどの他の情報に基づいて、姿勢変化に係る行動を計画し、動作制御部１５０が当該計画に基づいて、駆動部１６０や出力部１７０を制御する（Ｓ１１１２）。
＜３．第２の実施形態＞
＜＜３．１．概要＞＞
次に、本開示の第２の実施形態について説明する。上記の第１の実施形態では、音源方向推定の精度を高める手法や、音源方向推定に係る信頼性が低い場合における効果的な行動計画について述べた。一方、自律動作体１０のように音声認識機能を有する装置では、動作状況により音声認識に係る困難性が増大する場合や、音声認識が不能となる場合もある。このため、上記のような場合、音声認識に係る困難性や可否をユーザに示し、理解を得ることも重要となる。
ここで、音声認識に係る困難性や可否などの状態を示す手法としては、例えば、文字やアイコンなどを用いて明示的にユーザに上記のような状態を通知することが挙げられる。しかし、本開示の一実施形態に係る自律動作体１０のように、イヌなどの言語で伝達手段を有しない生き物を模した装置の場合、上記のような明示的な状態通知は、生き物らしさを低減し、ユーザに対し強い違和感を与えることとなる。
本開示の第２の実施形態に係る技術思想は上記の点に着目して発想されたものであり、より自然な動作で音声認識に係る状態をユーザに知覚させることを可能とする。このために、本実施形態に係る自律動作体１０は、音声認識に係る状態に基づいて、マイク穴の遮蔽制御を行うことを特徴の一つとする。
以下、本実施形態に係る自律動作体１０が有する上記の特徴について詳細に説明する。なお、以下の説明においては、第１の実施形態との差異について中心に述べ、第１の実施形態と共通する構成や機能については、詳細な説明を省略する。
＜＜３．２．マイク穴の遮蔽制御＞＞
上述したように、本実施形態に係る自律動作体１０は、音声認識に係る状態に基づいて、マイク穴５１７を遮蔽に係る制御を行うことを特徴の一つとする。ここで、本実施形態に係るマイク穴５１７は、自律動作体１０の内部に配置されるマイクロフォン５１５に外界の音を届かせるために外装表面に設けられる構成であってよい。すなわち、マイクロフォン５１５は、マイク穴５１７を介して外界に開放されるといえる。また、マイク穴５１７は、ユーザが視認可能な構成であってよい。
この際、本実施形態に係る行動計画部１４０および動作制御部１５０は、音声認識に係る困難性に基づいて、遮蔽物５１９によるマイク穴５１７の遮蔽状態を制御してよい。図２７は、本実施形態に係る音声認識の困難性に基づくマイク穴５１７の遮蔽状態制御について説明するための図である。
図２７に示す一例では、行動計画部１４０および動作制御部１５０は、自律動作体１０の耳に相当する構成である遮蔽物５１９を用いてマイク穴５１７の遮蔽状態を制御している。このように、本実施形態に係る遮蔽物５１９は、自律動作体１０が模倣する生物の身体部位のひとつであってもよい。
この際、例えば、自律動作体１０が静止しているなど、音声認識に係る困難性が低い場合、本実施形態に係る行動計画部１４０は、図２７の左側に示すように、遮蔽物５１９によるマイク穴５１７の遮蔽範囲が低減するよう、遮蔽物５１９を所定の角度以上持ち上げる行動を計画し、また動作制御部１５０が当該計画に基づいて、遮蔽物５１９の駆動を行うアクチュエータ５７０を制御する。
上記の制御によれば、自律動作体１０の耳が持ち上がりマイク穴５１７が開放されている状態を視認することで、音声認識に係る困難性が低い状態であることをユーザが直観的に知覚することができる。
一方、自律動作体１０が比較的激しい自律動作を行っており、アクチュエータ５７０の駆動音などの影響により音声認識に係る困難性が高い場合、本実施形態に係る行動計画部１４０は、図２７の右側に示すように、遮蔽物５１９によるマイク穴５１７の遮蔽範囲が増大するよう、遮蔽物５１９をマイク穴５１７に近づける行動を計画し、また動作制御部１５０が当該計画に基づいて、遮蔽物５１９の駆動を行うアクチュエータ５７０を制御する。
上記の制御によれば、自律動作体１０の耳が下がりマイク穴５１７が広範囲に遮蔽されている状態を視認することで、音声認識に係る困難性が高い状態であることをユーザが直観的に知覚することができる。
以上説明したように、本実施形態に係る自律動作体１０は、音声認識に係る困難性に基づいて、生物の身体部位を模した遮蔽物５１９によるマイク穴５１７の遮蔽状態を制御することを特徴とする。本実施形態に係る自律動作体１０が有する上記の特徴によれば、実際の生き物に近いより自然な動作により音声認識に係る状態をユーザに知覚させることが可能となる。
なお、図２７に示した一例では、自律動作体１０が音声認識に係る困難性に基づいて、遮蔽物５１９によるマイク穴の遮蔽範囲を増減する場合を例に述べたが、自律動作体１０は、音声認識に係る困難性が著しく高い場合には、マイク穴５１７が完全に遮蔽されるよう制御を行ってもよい。また、図２７に示すように自律動作体１０が複数のマイク穴５１７を有する場合、自律動作体１０は、少なくとも１つのマイク穴５１７に係る遮蔽制御を行ってよい。
＜４．ハードウェア構成例＞
次に、本開示の一実施形態に係る情報処理サーバ２０のハードウェア構成例について説明する。図２８は、本開示の一実施形態に係る情報処理サーバ２０のハードウェア構成例を示すブロック図である。図２８を参照すると、情報処理サーバ２０は、例えば、ＣＰＵ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
（ＣＰＵ８７１）
ＣＰＵ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
（ＲＯＭ８７２、ＲＡＭ８７３）
ＲＯＭ８７２は、ＣＰＵ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、ＣＰＵ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
ＣＰＵ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。
（入力装置８７８）
入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。また、入力装置８７８には、マイクロフォンなどの音声入力装置が含まれる。
（出力装置８７９）
出力装置８７９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置８７９は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
（ストレージ８８０）
ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
（ドライブ８８１）
ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。
（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、ＨＤ ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
（接続ポート８８２）
接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）、ＲＳ－２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
（外部接続機器９０２）
外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
（通信装置８８３）
通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。
＜５．まとめ＞
以上説明したように、本開示の一実施形態に係る自律動作体１０は、認識処理に基づいて行動する動作体の行動計画を行う行動計画部１４０と、推定された音源方向の信頼性を評価する評価部３４０と、を備える。また、本開示の一実施形態に係る行動計画部１４０は、評価部３４０による信頼性の評価結果と、過去の評価実績とに基づいて、音源方向に応じた方向依存動作を計画すること、を特徴の一つとする。係る構成によれば、推定した音源方向に基づく、より自然かつ柔軟な自律動作体の行動を実現することが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
また、本開示における自律動作体１０の処理に係る各ステップは、必ずしもフローチャートに記載された順序に沿って時系列に処理される必要はない。例えば、自律動作体１０の処理に係る各ステップは、フローチャートに記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
認識処理に基づいて行動する動作体の行動計画を行う行動計画部と、
推定された音源方向の信頼性を評価する評価部と、
を備え、
前記行動計画部は、前記評価部による前記信頼性の評価結果に基づいて、前記音源方向に応じた、前記動作体の姿勢変化に係る行動を含む方向依存動作を計画する、
情報処理装置。
（２）
前記行動計画部は、前記評価部による前記信頼性の評価結果と、過去の評価実績とに基づいて、前記動作体の姿勢変化に係る行動を計画する、
前記（１）に記載の情報処理装置。
（３）
前記行動計画部は、前記信頼性が閾値を下回る場合、前記過去の評価実績に基づいて、前記動作体の姿勢変化に係る行動を計画する、
前記（２）に記載の情報処理装置。
（４）
前記行動計画部は、前記信頼性が高い前記過去の評価実績が含む姿勢情報に基づいて、前記動作体の姿勢変化に係る行動を計画する、
前記（３）に記載の情報処理装置。
（５）
前記行動計画部は、前記動作体が、前記信頼性が高い前記過去の評価実績に対応する姿勢と同様の姿勢を取るように行動計画を行う、
前記（４）に記載の情報処理装置。
（６）
前記姿勢情報は、前記動作体の位置情報を含み、
前記行動計画部は、前記動作体が、前記信頼性が高い過去の評価実績に対応する位置に移動するように行動計画を行う、
前記（５）に記載の情報処理装置。
（７）
前記行動計画部は、前記信頼性が閾値を下回る場合、ユーザの存在確率が高いと推定される座標に基づいて、前記動作体の姿勢変化に係る行動を計画する、
前記（１）～（６）のいずれかに記載の情報処理装置。
（８）
前記評価部は、ユーザの認識結果に基づいて、前記音源方向の前記信頼性を評価する、
前記（１）～（７）のいずれかに記載の情報処理装置。
（９）
前記評価部は、推定された前記音源方向において、前記ユーザが認識された場合、前記信頼性が高いと評価する、
前記（８）に記載の情報処理装置。
（１０）
前記評価部は、前記動作体が存在する空間に係る地図情報に基づいて、推定された前記音源方向の前記信頼性を評価する、
前記（１）～（９）のいずれかに記載の情報処理装置。
（１１）
前記地図情報は、前記動作体が存在する空間における障害物の情報を含み、
前記評価部は、推定された前記音源方向において所定の距離以内に前記障害物が存在する場合、前記音源方向の前記信頼性が低いと評価する、
前記（１０）に記載の情報処理装置。
（１２）
前記地図情報は、前記動作体が存在する空間における位置と、当該位置において推定される前記音源方向の前記信頼性の傾向を示す信頼性マップを含み、
前記評価部は、前記信頼性マップに基づいて、推定された前記音源方向の前記信頼性を評価する、
前記（１０）または（１１）に記載の情報処理装置。
（１３）
前記行動計画部は、前記信頼性マップに基づいて、前記動作体の姿勢変化に係る行動を計画する、
前記（１２）に記載の情報処理装置。
（１４）
ユーザの存在確率に基づいて決定された方向重みを用いて前記音源方向を推定する音源定位部、
をさらに備える、
前記（１）～（１３）のいずれかに記載の情報処理装置。
（１５）
前記音源定位部は、前記動作体が存在する空間に係る地図情報に基づいて算出された前記方向重みに基づいて前記音源方向の推定を行う、
前記（１４）に記載の情報処理装置。
（１６）
前記音源定位部は、前記動作体が存在する空間に係る地図情報に基づいて決定された方向範囲において前記音源方向の推定を行う、
前記（１４）または（１５）に記載の情報処理装置。
（１７）
前記音源定位部は、前記動作体が撮像した画像情報に基づいて算出された前記方向重みに基づいて前記音源方向の推定を行う、
前記（１４）～（１６）のいずれかに記載の情報処理装置。
（１８）
前記音源定位部は、前記方向重みを統合した特徴量に基づいて前記音源方向を推定する、
前記（１４）～（１７）のいずれかに記載の情報処理装置。
（１８ａ）
前記方向重みを算出する方向重み算出部、
をさらに備える、
前記（１４）～（１７）のいずれかに記載の情報処理装置。
（１９）
プロセッサが、認識処理に基づいて行動する動作体の行動計画を行うことと、
推定された音源方向の信頼性を評価することと、
を含み、
前記行動計画を行うことは、前記信頼性の評価結果に基づいて、前記音源方向に応じた、前記動作体の姿勢変化に係る行動を含む方向依存動作を計画すること、
をさらに含む、
情報処理方法。
（２０）
コンピュータを、
認識処理に基づいて行動する動作体の行動計画を行う行動計画部と、
推定された音源方向の信頼性を評価する評価部と、
を備え、
前記行動計画部は、前記評価部による前記信頼性の評価結果に基づいて、前記音源方向に応じた、前記動作体の姿勢変化に係る行動を含む方向依存動作を計画する、
情報処理装置、
として機能させるためのプログラム。
１０ 自律動作体
１１０ 入力部
１２０ 認識部
１３０ 学習部
１４０ 行動計画部
１５０ 動作制御部
１６０ 駆動部
１７０ 出力部
３１２ 音源定位部
３４０ 評価部
３５０ 評価結果保持部
３６０ 地図情報保持部
３７０ 方向重み算出部
５１０ ディスプレイ
５７０ アクチュエータ
２０ 情報処理サーバ
２１０ 蓄積部
２２０ 分析部
２３０ 端末通信部

Claims (20)

  1. 認識処理に基づいて行動する動作体の行動計画を行う行動計画部と、
    推定された音源方向の信頼性を評価する評価部と、
    を備え、
    前記行動計画部は、前記評価部による前記信頼性の評価結果に基づいて、前記音源方向に応じた、前記動作体の姿勢変化に係る行動を含む方向依存動作を計画する、
    情報処理装置。
  2. 前記行動計画部は、前記評価部による前記信頼性の評価結果と、過去の評価実績とに基づいて、前記動作体の姿勢変化に係る行動を計画する、
    請求項１に記載の情報処理装置。
  3. 前記行動計画部は、前記信頼性が閾値を下回る場合、前記過去の評価実績に基づいて、前記動作体の姿勢変化に係る行動を計画する、
    請求項２に記載の情報処理装置。
  4. 前記行動計画部は、前記信頼性が高い前記過去の評価実績が含む姿勢情報に基づいて、前記動作体の姿勢変化に係る行動を計画する、
    請求項３に記載の情報処理装置。
  5. 前記行動計画部は、前記動作体が、前記信頼性が高い前記過去の評価実績に対応する姿勢と同様の姿勢を取るように行動計画を行う、
    請求項４に記載の情報処理装置。
  6. 前記姿勢情報は、前記動作体の位置情報を含み、
    前記行動計画部は、前記動作体が、前記信頼性が高い過去の評価実績に対応する位置に移動するように行動計画を行う、
    請求項５に記載の情報処理装置。
  7. 前記行動計画部は、前記信頼性が閾値を下回る場合、ユーザの存在確率が高いと推定される座標に基づいて、前記動作体の姿勢変化に係る行動を計画する、
    請求項１に記載の情報処理装置。
  8. 前記評価部は、ユーザの認識結果に基づいて、前記音源方向の前記信頼性を評価する、
    請求項１に記載の情報処理装置。
  9. 前記評価部は、推定された前記音源方向において、前記ユーザが認識された場合、前記信頼性が高いと評価する、
    請求項８に記載の情報処理装置。
  10. 前記評価部は、前記動作体が存在する空間に係る地図情報に基づいて、推定された前記音源方向の前記信頼性を評価する、
    請求項１に記載の情報処理装置。
  11. 前記地図情報は、前記動作体が存在する空間における障害物の情報を含み、
    前記評価部は、推定された前記音源方向において所定の距離以内に前記障害物が存在する場合、前記音源方向の前記信頼性が低いと評価する、
    請求項１０に記載の情報処理装置。
  12. 前記地図情報は、前記動作体が存在する空間における位置と、当該位置において推定される前記音源方向の前記信頼性の傾向を示す信頼性マップを含み、
    前記評価部は、前記信頼性マップに基づいて、推定された前記音源方向の前記信頼性を評価する、
    請求項１０に記載の情報処理装置。
  13. 前記行動計画部は、前記信頼性マップに基づいて、前記動作体の姿勢変化に係る行動を計画する、
    請求項１２に記載の情報処理装置。
  14. ユーザの存在確率に基づいて決定された方向重みを用いて前記音源方向を推定する音源定位部、
    をさらに備える、
    請求項１に記載の情報処理装置。
  15. 前記音源定位部は、前記動作体が存在する空間に係る地図情報に基づいて算出された前記方向重みに基づいて前記音源方向の推定を行う、
    請求項１４に記載の情報処理装置。
  16. 前記音源定位部は、前記動作体が存在する空間に係る地図情報に基づいて決定された方向範囲において前記音源方向の推定を行う、
    請求項１４に記載の情報処理装置。
  17. 前記音源定位部は、前記動作体が撮像した画像情報に基づいて算出された前記方向重みに基づいて前記音源方向の推定を行う、
    請求項１４に記載の情報処理装置。
  18. 前記音源定位部は、前記方向重みを統合した特徴量に基づいて前記音源方向を推定する、
    請求項１４に記載の情報処理装置。
  19. プロセッサが、
    認識処理に基づいて行動する動作体の行動計画を行うことと、
    推定された音源方向の信頼性を評価することと、
    を含み、
    前記行動計画を行うことは、前記信頼性の評価結果に基づいて、前記音源方向に応じた、前記動作体の姿勢変化に係る行動を含む方向依存動作を計画すること、
    をさらに含む、
    情報処理方法。
  20. コンピュータを、
    認識処理に基づいて行動する動作体の行動計画を行う行動計画部と、
    推定された音源方向の信頼性を評価する評価部と、
    を備え、
    前記行動計画部は、前記評価部による前記信頼性の評価結果に基づいて、前記音源方向に応じた、前記動作体の姿勢変化に係る行動を含む方向依存動作を計画する、
    情報処理装置、
    として機能させるためのプログラム。
JP2022122003A 2018-01-09 2022-07-29 情報処理装置、情報処理方法、およびプログラム Active JP7351383B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018000943 2018-01-09
JP2018000943 2018-01-09
JP2019564289A JP7120254B2 (ja) 2018-01-09 2018-10-05 情報処理装置、情報処理方法、およびプログラム
PCT/JP2018/037432 WO2019138619A1 (ja) 2018-01-09 2018-10-05 情報処理装置、情報処理方法、およびプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019564289A Division JP7120254B2 (ja) 2018-01-09 2018-10-05 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2022169548A true JP2022169548A (ja) 2022-11-09
JP7351383B2 JP7351383B2 (ja) 2023-09-27

Family

ID=67219580

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019564289A Active JP7120254B2 (ja) 2018-01-09 2018-10-05 情報処理装置、情報処理方法、およびプログラム
JP2022122003A Active JP7351383B2 (ja) 2018-01-09 2022-07-29 情報処理装置、情報処理方法、およびプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019564289A Active JP7120254B2 (ja) 2018-01-09 2018-10-05 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US20210031378A1 (ja)
EP (1) EP3739415A4 (ja)
JP (2) JP7120254B2 (ja)
CN (1) CN111527461B (ja)
WO (1) WO2019138619A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201811301D0 (en) * 2018-07-10 2018-08-29 Emotech Ltd Robotic system
US11957991B2 (en) * 2020-03-06 2024-04-16 Moose Creative Management Pty Limited Balloon toy
CN112256047B (zh) * 2020-09-30 2023-04-11 江苏集萃智能制造技术研究所有限公司 一种基于四元数的四足姿态控制策略
CN114326806B (zh) * 2021-12-29 2022-07-22 北京航空航天大学 一种考虑任务体系下的无人机集群维修方法
WO2023248697A1 (ja) * 2022-06-24 2023-12-28 ソニーグループ株式会社 情報処理装置、および情報処理方法、並びにプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004130427A (ja) * 2002-10-09 2004-04-30 Sony Corp ロボット装置及びロボット装置の動作制御方法
JP2008158868A (ja) * 2006-12-25 2008-07-10 Toyota Motor Corp 移動体、及びその制御方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001072478A1 (fr) * 2000-03-31 2001-10-04 Sony Corporation Dispositif robotique, procede de commande de l'action du dispositif robotique, dispositif de detection de force exterieure, et procede de detection de force exterieure
JP4281286B2 (ja) 2002-03-18 2009-06-17 ソニー株式会社 ロボット装置及びその制御方法
JP4239635B2 (ja) * 2003-03-20 2009-03-18 ソニー株式会社 ロボット装置、その動作制御方法、及びプログラム
DE602004021716D1 (de) 2003-11-12 2009-08-06 Honda Motor Co Ltd Spracherkennungssystem
JP2005271137A (ja) * 2004-03-24 2005-10-06 Sony Corp ロボット装置及びその制御方法
KR100754385B1 (ko) * 2004-09-30 2007-08-31 삼성전자주식회사 오디오/비디오 센서를 이용한 위치 파악, 추적 및 분리장치와 그 방법
JP4675811B2 (ja) * 2006-03-29 2011-04-27 株式会社東芝 位置検出装置、自律移動装置、位置検出方法および位置検出プログラム
US8155331B2 (en) * 2006-05-10 2012-04-10 Honda Motor Co., Ltd. Sound source tracking system, method and robot
JP4757786B2 (ja) * 2006-12-07 2011-08-24 Ｎｅｃアクセステクニカ株式会社 音源方向推定装置、音源方向推定方法、及びロボット装置
JP2009020423A (ja) * 2007-07-13 2009-01-29 Fujitsu Ten Ltd 音声認識装置および音声認識方法
JP5408621B2 (ja) * 2010-01-13 2014-02-05 株式会社日立製作所 音源探索装置及び音源探索方法
JP5595112B2 (ja) * 2010-05-11 2014-09-24 本田技研工業株式会社 ロボット
JP2012040655A (ja) 2010-08-20 2012-03-01 Nec Corp ロボット制御方法、プログラム、及びロボット
JP5724125B2 (ja) 2011-03-30 2015-05-27 株式会社国際電気通信基礎技術研究所 音源定位装置
JP2013104938A (ja) * 2011-11-11 2013-05-30 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
JP6157598B2 (ja) * 2013-04-12 2017-07-05 株式会社日立製作所 移動ロボット、及び、音源位置推定システム
CN104991573A (zh) * 2015-06-25 2015-10-21 北京品创汇通科技有限公司 一种基于声源阵列的定位跟踪方法及其装置
CN106647423A (zh) * 2015-10-28 2017-05-10 中国移动通信集团公司 智能跟拍方法及装置
CN107199572B (zh) * 2017-06-16 2020-02-14 山东大学 一种基于智能声源定位与语音控制的机器人系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004130427A (ja) * 2002-10-09 2004-04-30 Sony Corp ロボット装置及びロボット装置の動作制御方法
JP2008158868A (ja) * 2006-12-25 2008-07-10 Toyota Motor Corp 移動体、及びその制御方法

Also Published As

Publication number Publication date
JP7120254B2 (ja) 2022-08-17
CN111527461B (zh) 2024-03-22
EP3739415A4 (en) 2021-03-03
EP3739415A1 (en) 2020-11-18
JP7351383B2 (ja) 2023-09-27
WO2019138619A1 (ja) 2019-07-18
CN111527461A (zh) 2020-08-11
US20210031378A1 (en) 2021-02-04
JPWO2019138619A1 (ja) 2021-01-28

Similar Documents

Publication Publication Date Title
JP7120254B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7400923B2 (ja) 情報処理装置および情報処理方法
JP7375748B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7259843B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2024023193A (ja) 情報処理装置及び情報処理方法
US20230266767A1 (en) Information processing apparatus, information processing method, and program
JP2024009862A (ja) 情報処理装置、情報処理方法、およびプログラム
WO2020116233A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20210197393A1 (en) Information processing device, information processing method, and program
US11938625B2 (en) Information processing apparatus, information processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230712

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230828

R151 Written notification of patent or utility model registration

Ref document number: 7351383

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151