JP2019003631A - 情報を提供する装置、方法、コンピュータプログラムおよび記録媒体 - Google Patents

Abstract

【課題】移動可能なデバイスを利用してユーザの位置および空間に適した情報を提供する方法および装置を提供する。【解決手段】情報提供装置４１０は、情報提供装置の周辺情報をセンシングするセンサ部、情報提供装置を移動させるための駆動部、音声に基づく入力／出力インタフェース、およびコンピュータで読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサを備え、少なくとも１つのプロセッサは、駆動部を制御して情報提供装置を移動させながら、センサ部によってセンシングされた周辺情報に基づいて複数の空間を区分して認識し、センサ部によってセンシングされた周辺情報および音声に基づく入力／出力インタフェースにより受信される音声信号のうちの少なくとも１つに基づいてユーザ５１０、５２０、５３０の位置を決定し、区分して認識された複数の空間と決定されたユーザの位置に基づいてユーザに情報を提供することを特徴とする。【選択図】図５

Description

以下の説明は、移動可能なデバイスを利用してユーザの位置および空間に適した情報を提供する方法および装置、コンピュータと結合して本発明の実施形態に係る情報提供方法をコンピュータに実行させるためにコンピュータで読み取り可能な記録媒体に格納されたコンピュータプログラムとその記録媒体等に関する。

ホームネットワークサービスの人工知能スピーカのように音声を基盤として動作するインタフェースは、マイク（ｍｉｃｒｏｐｈｏｎｅ）でユーザの音声要請を受信し、音声要請に対応する応答情報を提供するために返答音声を合成してスピーカから提供したり、応答情報が含まれるコンテンツのようなオーディオを出力したりする。例えば、特許文献１は、ホームメディアデバイスおよびこれを利用したホームネットワークシステムと方法に関する技術であって、ホームネットワークサービスにおいて移動通信網の他にＷｉ-Ｆｉのような第２通信網を利用してホームネットワークサービスを提供することが可能であり、ホーム内の複数のマルチメディア機器を、ユーザがボタン操作しなくても、音声命令に基づいてマルチコントロールすることができる技術について開示している。

このようなホームネットワークサービスでは、ユーザの音声要請に対して最適な応答情報を提供するために、室内の構造と人工知能スピーカのような機器が位置する空間に関する情報、ユーザが位置する空間に関する情報などを把握する必要がある。しかし、従来技術では、単一デバイスによって室内の全体構造と室内の区画されたすべての空間を把握することは難しく、さらに単一デバイスが設置された空間とその周辺の空間を除いた残りの空間はカバーし難いという問題があった。

韓国公開特許第１０−２０１１−０１３９７９７号

移動しながら室内の内部環境を収集することによって室内の区画された複数の空間を区分して認識することができ、ユーザの位置と区分して認識された区画された複数の空間に基づいてユーザの位置と空間に適した情報を提供することができる情報提供方法および装置、コンピュータと結合して本発明の実施形態に係る情報提供方法をコンピュータに実行させるためにコンピュータで読み取り可能な記録媒体に格納されたコンピュータプログラムとその記録媒体等を提供する。

未来時点のユーザの位置を予測し、予測された位置に先回りして情報を提供することができ、該当の未来時点にユーザが予測された位置に現れない場合、予測された位置に関する情報をユーザに通知することにより、ユーザが予測された位置と関連する状況や行為を忘れていた場合でも、関連する通知を提供することができる情報提供方法および装置、コンピュータと結合して本発明の実施形態に係る情報提供方法をコンピュータに実行させるためにコンピュータで読み取り可能な記録媒体に格納されたコンピュータプログラムとその記録媒体等を提供する。

ユーザの音声要請からユーザの命令と関連する電子機器を特定することができない場合でも、ユーザと電子機器との距離および／またはユーザの命令の適用可能性に基づいてユーザの命令に対応する電子機器を特定することができる情報提供方法および装置、コンピュータと結合して本発明の実施形態に係る情報提供方法をコンピュータに実行させるためにコンピュータで読み取り可能な記録媒体に格納されたコンピュータプログラムとその記録媒体等を提供する。

情報提供装置であって、前記情報提供装置の周辺情報をセンシングするセンサ部、前記情報提供装置を移動させるための駆動部、音声に基づく入力／出力インタフェース、およびコンピュータで読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサを備え、前記少なくとも１つのプロセッサは、前記駆動部を制御して前記情報提供装置を移動させながら、前記センサ部によってセンシングされた周辺情報に基づいて複数の空間を区分して認識し、前記センサ部によってセンシングされた周辺情報および前記音声に基づく入力／出力インタフェースにより受信される音声信号のうちの少なくとも１つに基づいてユーザの位置を決定し、前記区分して認識された複数の空間と前記決定されたユーザの位置に基づいてユーザに情報を提供することを特徴とする、情報提供装置を提供する。

情報提供装置の情報提供方法であって、前記情報提供装置が備える駆動部を制御して移動しながら、前記情報提供装置が備えるセンサ部によって前記情報提供装置の周辺情報をセンシングすることによって複数の空間を区分して認識する段階、前記センサ部によってセンシングされた周辺情報および前記情報提供装置が備える音声に基づく入力／出力インタフェースにより受信される音声信号のうちの少なくとも１つに基づいてユーザの位置を決定する段階、および前記区分して認識された複数の空間と前記決定されたユーザの位置に基づいてユーザに情報を提供する段階を含むことを特徴とする、情報提供方法を提供する。

前記情報提供方法を貞応処理装置のコンピュータに実行させるためのコンピュータプログラムが記録されていることを特徴とする、コンピュータで読み取り可能な記録媒体を提供する。

前記情報提供方法を情報処理装置のコンピュータに実行させるコンピュータプログラムを提供する。

移動しながら室内の内部環境を収集することによって室内の区画された複数の空間を区分して認識することができ、ユーザの位置と区分して認識された区画された複数の空間に基づいてユーザの位置と空間に適した情報を提供することができる。

未来時点のユーザの位置を予測し、予測された位置に先回りして情報を提供することができ、該当の未来時点にユーザが予測された位置に現れない場合、予測された位置に関する情報をユーザに通知することにより、ユーザが予測された位置と関連する状況や行為を忘れていた場合でも、関連する通知を提供することができる。

ユーザの音声要請からユーザの命令と関連する電子機器を特定することができない場合でも、ユーザと電子機器との距離および／またはユーザの命令の適用可能性に基づいてユーザの命令に対応する電子機器を特定することができる。

本発明の一実施形態における、音声基盤の入力／出力インタフェースを活用したサービス環境の例を示した図である。 本発明の一実施形態における、音声基盤の入力／出力インタフェースを活用したサービス環境の他の例を示した図である。 本発明の一実施形態における、クラウド人工知能プラットフォームの例を示した図である。 本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。 本発明の一実施形態における、室内の区画された空間と位置に関する情報の例を示した図である。 本発明の一実施形態における、ユーザの後を追う電子機器の例を示した図である。 本発明の一実施形態における、未来時点のユーザの予想される位置に移動する電子機器の例を示した図である。 本発明の一実施形態における、通知を提供するためにユーザを探し回る電子機器の例を示した図である。 本発明の一実施形態における、出力メディアに関する情報の例を示した図である。 本発明の一実施形態における、ユーザ命令に対応する電子機器を特定する例を示した図である。 本発明の一実施形態における、電子機器の情報提供方法の例を示したフローチャートである。 本発明の一実施形態における、電子機器がユーザの周辺に移動して情報を提供する方法の例を示したフローチャートである。 本発明の一実施形態における、電子機器がユーザの位置を予測して先回りする方法の例を示したフローチャートである。 本発明の一実施形態における、電子機器がユーザの命令に対応する機器を特定する方法の例を示したフローチャートである。

以下、実施形態について、添付の図面を参照しながら詳しく説明する。

本発明の実施形態に係る情報提供装置は、音声を基盤として動作するインタフェースを提供する電子機器によって実現されてよい。このような電子機器は、音声要請を直接処理して応答情報を生成してもよいし、別のインタフェースコネクトを介して連結する外部プラットフォームによって認識および分析して音声要請を処理してもよい。例えば、外部プラットフォームは、電子機器からユーザの音声要請を受信し、受信された音声要請を分析してユーザの意図に適したクエリまたは該当のクエリに対応する応答情報を生成するクラウド人工知能プラットフォームを含んでよい。このとき、電子機器は、移動をしながら周辺情報を直接センシングして室内の内部環境を収集してよく、収集された情報に基づいて室内の区画された複数の空間を区分して認識してよい。また、電子機器は、センシングされた周辺情報および／または認識された音声に基づいてユーザの位置を決定してよく、このような区分して認識された複数の空間と決定されたユーザの位置に基づいてユーザに情報を提供してよい。

本発明の実施形態に係る情報提供方法は、上述した電子機器によって実行されてよい。このとき、電子機器には、本発明の一実施形態に係るコンピュータプログラムがインストールおよび駆動されてよく、電子機器は、駆動されたコンピュータプログラムの制御にしたがって本発明の一実施形態に係る情報提供方法を実行してよい。上述したコンピュータプログラムは、コンピュータによって実現される電子機器と結合して情報提供方法をコンピュータに実行させるためにコンピュータで読み取り可能な記録媒体に格納されてよい。

図１は、本発明の一実施形態における、音声基盤の入力／出力インタフェースを活用したサービス環境の例を示した図である。図１の実施形態では、スマートホーム（ｓｍａｒｔ ｈｏｍｅ）やホームネットワークサービスのように宅内の機器を連結して制御する技術において、音声基盤の入力／出力インタフェース（一例として、マイクとスピーカ）を含む電子機器１００がユーザ１１０の発話「電気を消して」又は単に「これ消して」１２１によってマイクに受信される音声要請を認識および分析し、「リビングの電気を消しましょうか？」１２２のような応答情報をスピーカから出力する例を示している。また、図１の実施形態では、応答情報に対応するユーザ１１０の発話「うん」１２３にしたがって受信される音声要請を認識および分析し、電子機器１００と内部ネットワークを介して連動する宅内照明機器１３０のライト電源を制御する例を示している。

ここで、宅内の機器は、上述した宅内照明機器１３０の他にも、ＩＰＴＶ、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、周辺機器、エアコン、冷蔵庫、ロボット清掃機などのような家電製品はもちろん、水道、電気、冷暖房機器などのようなエネルギー消費装置、ドアロックや監視カメラなどのような保安機器など、オンライン上で連結して制御可能な多様な機器を含んでよい。また、内部ネットワークは、イーサネット（登録商標（Ｅｔｈｅｒｎｅｔ））、ＨｏｍｅＰＮＡ、ＩＥＥＥ １３９４のような有線ネットワーク技術や、ブルートゥース（登録商標（Ｂｌｕｅｔｏｏｔｈ））、ＵＷＢ（ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）、ジグビー（ＺｉｇＢｅｅ）、Ｗｉｒｅｌｅｓｓ １３９４、Ｈｏｍｅ ＲＦのような無線ネットワーク技術などが活用されてよい。

応答情報は、図１の実施形態のように、音声基盤の入力／出力インタフェースに対応するメインメディア（一例として、電子機器１００が含むスピーカ）から基本的に出力されてよいが、本発明の実施形態において、応答情報は、より多様なメディアから出力されてもよく、電子機器１００は、音声要請および／または応答情報に基づいて応答情報が出力されるメディアを決定してよい。例えば、図１には、ＩＰＴＶ１４０とユーザ１１０のモバイル機器１５０がさらに示されている。この場合、応答情報は、ＩＰＴＶ１４０やモバイル機器１５０のディスプレイから視覚的にユーザ１１０に出力されてもよい。このとき、電子機器１００は、応答情報を出力するためのメディアを決定するだけでなく、聴覚的出力と視覚的出力の効率性に基づいて応答情報の出力のためのメディアを決定してもよい。

電子機器１００は、室内の空間を移動するために、図１の実施形態に示されたタイヤ１６０のように、電子機器１００を移動させるための駆動部を備えてよい。駆動部は、図１の実施形態で説明しているタイヤ１６０の他にも、線路、脚ロボット、ドローンのプロペラなどのように、電子機器１００を移動させることのできるすべての方式のうちの少なくとも１つで実現されてよい。また、電子機器１００は、室内の内部環境の収集のために電子機器１００の周辺情報をセンシングするセンサ部をさらに備えてよい。電子機器１００は、室内を移動しながら周辺情報をセンシングしてよく、このような周辺情報に基づいて室内の区画された複数の空間を区分して認識してよい。また、電子機器１００は、このような周辺情報および／またはユーザの音声信号に基づいてユーザ１１０の位置を決定してよい。このとき、電子機器１００は、区分して認識された複数の空間と決定されたユーザ１１０の位置に基づいてユーザに情報を提供してよい。

図２は、本発明の一実施形態における、音声基盤の入力／出力インタフェースを活用したサービス環境の他の例を示した図である。図２は、音声基盤の入力／出力インタフェースを含む電子機器１００がユーザ１１０の発話「今日の天気」２１０を認識および分析し、外部ネットワークを介して外部サーバ２２０から今日の天気に関する情報を取得し、取得した情報を「今日の天気は・・・」２３０のように音声で合成して出力する例を示している。例えば、外部ネットワークは、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）、インターネットなどのようなネットワークのうちの１つ以上の任意のネットワークを含んでよい。

図２の実施形態でも、電子機器１００は、ユーザ１１０の音声要請を受信して処理するための機能と、外部ネットワークを介して外部サーバ２２０と通信して外部サーバ２２０が提供するサービスやコンテンツをユーザ１１０に提供するための機能を含む機器であってよく、上述したように、タイヤ１６０のような電子機器１００を移動させるための駆動部を備えてよい。このような電子機器１００は、ユーザの音声要請を直接に認識および分析して音声要請を処理してもよいが、実施形態によっては、電子機器１００と連係する外部のプラットフォーム（一例として、上述したクラウド人工知能プラットフォーム）によって音声要請を処理してもよい。

このとき、電子機器１００は、ユーザの音声要請に対応する応答情報を出力するためのメディアを自動で決定してよい。図２では、電子機器１００が応答情報を「今日の天気は・・・」２３０のように聴覚的に出力すると同時に、ＩＰＴＶ１４０のディスプレイから視覚的にも出力する例を示している。このために、電子機器１００は、応答情報の出力が可能な複数のメディアに関する情報を管理してよく、音声要請および／または応答情報に基づいて複数のメディアのうちから応答情報を出力するための少なくとも１つのメディアを選択して応答情報を伝達してよい。また、電子機器１００は、ユーザの位置に基づいて出力メディアを決定してもよい。例えば、電子機器１００は、ユーザの位置と出力メディアが含まれた電子機器との距離に基づいて情報を出力するための電子機器を特定してよい。

図３は、本発明の一実施形態における、クラウド人工知能プラットフォームの例を示した図である。図３は、電子機器３１０、クラウド人工知能プラットフォーム３２０、およびコンテンツ・サービス３３０を示している。

一例として、電子機器３１０は、宅内に備えられる機器を意味してよく、少なくとも上述した電子機器１００を含んでよい。このような電子機器３１０や電子機器３１０にインストールおよび駆動されるアプリケーション（以下、アプリとする）は、インタフェースコネクト３４０を介してクラウド人工知能プラットフォーム３２０と連係してよい。ここで、インタフェースコネクト３４０は、電子機器３１０や電子機器３１０にインストールおよび駆動されるアプリの開発のためのＳＤＫ（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ）および／または開発文書を開発者に提供してよい。また、インタフェースコネクト３４０は、電子機器３１０や電子機器３１０にインストールおよび駆動されるアプリが、クラウド人工知能プラットフォーム３２０が提供する機能を活用することのできるＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍ Ｉｎｔｅｒｆａｃｅ）を提供してよい。具体的な例として、開発者は、インタフェースコネクト３４０が提供するＳＤＫ（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ）および／または開発文書を利用して開発した機器やアプリが、インタフェースコネクト３４０が提供するＡＰＩを利用してクラウド人工知能プラットフォーム３２０が提供する機能を活用することができるようになる。

ここで、クラウド人工知能プラットフォーム３２０は、音声基盤のサービスを提供するための機能を提供してよい。例えば、クラウド人工知能プラットフォーム３２０は、受信された音声を認識し、出力される音声を合成するための音声処理モジュール３２１、受信された映像や動画を分析して処理するためのビジョン処理モジュール３２２、受信された音声にしたがって適した音声を出力するために適した対話を決定するための対話処理モジュール３２３、受信された音声に適した機能を勧めるための推薦モジュール３２４、人工知能がデータ学習に基づいて文章単位で言語を翻訳するように支援するニューラル機械翻訳（Ｎｅｕｒａｌ Ｍａｃｈｉｎｅ Ｔｒａｎｓｌａｔｉｏｎ：ＮＭＴ）３２５などのように、音声基盤サービスを提供するための多様なモジュールを含んでよい。

例えば、図１および図２の実施形態において、電子機器１００は、ユーザ１１０の音声要請を、インタフェースコネクト３４０で提供するＡＰＩを利用してクラウド人工知能プラットフォーム３２０に送信したとする。この場合、クラウド人工知能プラットフォーム３２０は、受信された音声要請を上述したモジュール３２１〜３２５を活用して認識および分析してよく、受信された音声要請にしたがって適した返答音声を合成して提供したり、適した動作を勧めたりしてよい。

また、拡張キット３５０は、第３者コンテンツ開発者または会社が、クラウド人工知能プラットフォーム３２０に基づいて新たな音声基盤機能を実現することが可能な開発キットを提供してよい。例えば、図２の実施形態において、電子機器１００は、受信されたユーザ１１０の音声要請を外部サーバ２２０に送信してよく、外部サーバ２２０は、拡張キット３５０で提供されるＡＰＩによってクラウド人工知能プラットフォーム３２０に音声要請を送信してよい。この場合、上述と同じように、クラウド人工知能プラットフォーム３２０は、受信される音声要請を認識および分析して適した返答音声を合成して提供したり、音声要請にしたがって処理される必要のある機能に関する推薦情報を外部サーバ２２０に提供したりしてよい。一例として、図２において、外部サーバ２２０は、音声要請「今日の天気」をクラウド人工知能プラットフォーム３２０に送信した場合、クラウド人工知能プラットフォーム３２０から音声要請「今日の天気」の認識によって抽出されるキーワード「今日の」および「天気」を受信してよい。この場合、外部サーバ２２０は、キーワード「今日の」および「天気」に基づいて「今日の天気は・・・」のようなテキスト情報を生成し、クラウド人工知能プラットフォーム３２０に生成されたテキスト情報を再び送信してよい。このとき、クラウド人工知能プラットフォーム３２０は、テキスト情報を音声で合成して外部サーバ２２０に提供してよい。外部サーバ２２０は、合成された音声を電子機器１００に送信してよく、電子機器１００は、合成された音声「今日の天気は・・・」をスピーカから出力することにより、ユーザ１１０から受信した音声要請「今日の天気」が処理されてよい。

図４は、本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。図４の電子機器４１０は、上述した電子機器１００に対応してよく、本発明の実施形態に係る情報提供装置に対応してよい。また、サーバ４２０は、上述した外部サーバ２２０やクラウド人工知能プラットフォーム３２０を実現する１つのコンピュータ装置に対応してよい。

電子機器４１０とサーバ４２０は、メモリ４１１、４２１、プロセッサ４１２、４２２、通信インタフェース４１３、４２３、および入力／出力インタフェース４１４、４２４を含んでよい。メモリ４１１、４２１は、コンピュータで読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、およびディスクドライブのような永久大容量記憶装置（ｐｅｒｍａｎｅｎｔ ｍａｓｓ ｓｔｏｒａｇｅ ｄｅｖｉｃｅ）を含んでよい。ここで、ＲＯＭとディスクドライブのような永久大容量記憶装置は、メモリ４１１、４２１とは区分される別の永久記憶装置として電子機器４１０やサーバ４２０に含まれてもよい。また、メモリ４１１、４２１には、オペレーティングシステムと、少なくとも１つのプログラムコード（一例として、電気機器４１０にインストールされ、特定のサービスを提供するために電子機器４１０で駆動するアプリケーションなどのためのコード）が格納されてよい。このようなソフトウェア構成要素は、メモリ４１１、４２１とは別のコンピュータで読み取り可能な記録媒体からロードされてよい。このような別のコンピュータで読み取り可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ−ＲＯＭドライブ、メモリカードなどのコンピュータで読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータで読み取り可能な記録媒体ではない通信インタフェース４１３、４２３を通じてメモリ４１１、４２１にロードされてもよい。例えば、少なくとも１つのプログラムは、開発者またはアプリケーションのインストールファイルを配布するファイル配布システムがネットワーク４３０を介して提供するファイルによってインストールされるコンピュータプログラム（一例として、上述したアプリケーション）に基づいて電子機器４１０のメモリ４１１にロードされてよい。

プロセッサ４１２、４２２は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ４１１、４２１または通信インタフェース４１３、４２３によって、プロセッサ４１２、４２２に提供されてよい。例えば、プロセッサ４１２、４２２は、メモリ４１１、４２１のような記録装置に格納されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。

通信インタフェース４１３、４２３は、ネットワーク４３０を介して電子機４１０とサーバ４２０とが互いに通信するための機能を提供してもよいし、電子機器４１０および／またはサーバ４２０が他の電子機器または他のサーバと通信するための機能を提供してもよい。一例として、電子機器４１０のプロセッサ４１２がメモリ４１１のような記録装置に格納されたプログラムコードにしたがって生成した要求が、通信インタフェース４１３の制御にしたがってネットワーク４３０を介してサーバ４２０に伝達されてよい。これとは逆に、サーバ４２０のプロセッサ４２２の制御にしたがって提供される制御信号や命令、コンテンツ、ファイルなどが、通信インタフェース４２３とネットワーク４３０を経て電子機器４１０の通信インタフェース４１３を通じて電子機器４１０に受信されてもよい。例えば、通信インタフェース４１３を通じて受信したサーバ４２０の制御信号や命令、コンテンツ、ファイルなどは、プロセッサ４１２やメモリ４１１に伝達されてよく、コンテンツやファイルなどは、電子機器４１０がさらに含むことのできる格納媒体（上述した永久記憶装置）に格納されてよい。

入力／出力インタフェース４１４は、入力／出力装置４１５とのインタフェースのための手段であってよい。例えば、入力装置は、マイク、キーボード、またはマウスなどの装置を、出力装置は、ディスプレイ、スピーカのような装置を含んでよい。他の例として、入力／出力インタフェース４１４は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置４１５は、電子機器４１０と１つの装置で構成されてもよい。また、サーバ４２０の入力／出力インタフェース４２４は、サーバ４２０と連結するか、サーバ４２０が含むことのできる入力または出力のための装置（図示せず）とのインタフェースのための手段であってもよい。

また、他の実施形態において、電子機器４１０およびサーバ４２０は、図４の構成要素よりも少ないか多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、電子機器４１０は、上述した入力／出力装置４１５のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュール、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。より具体的な例として、電子機器４１０がスマートフォンである場合、一般的にスマートフォンが含んでいる加速度センサやジャイロセンサ、カメラモジュール、物理的な各種ボタン、タッチパネルを利用したボタン、入力／出力ポート、振動のための振動器などのような多様な構成要素が電子機器４１０にさらに含まれるように実現されてよい。

本実施形態において、電子機器４１０は、ユーザの音声要請を受信するためのマイク（一例として、図４のマルチチャンネルマイク４１７）、応答情報を聴覚的に出力するためのスピーカ（一例として、図４のスピーカ４１６）、および電子機器４１０の周辺環境をセンシングするためのセンサ（一例として、図４のセンサ４１８）を入力／出力装置４１５として含んでよい。このような入力／出力装置４１５は、少なくとも一部分が電子機器４１０に内蔵される形態で実現されてもよい。

このとき、本発明の実施形態は、室内の区画された空間をさらに考慮してよい。

図５は、本発明の一実施形態における、室内の区画された空間と位置に関する情報の例を示した図である。図５の平面図５００は、室内の区画された空間の種類（リビング、キッチン、玄関、浴室、寝室など）、電子機器４１０、そしてユーザの位置５１０、５２０、５３０の例を示している。図５の実施形態のように、ユーザの第１位置５１０による空間は「リビング」であり、第２位置５２０による空間は「キッチン」であり、第３位置５３０による空間は「玄関」であってよい。

電子機器４１０は、上述したように、電子機器４１０を移動させるための駆動部と、室内の内部環境を収集するために前記情報提供装置の周辺情報をセンシングするセンサ部を備えてよい。ここで、図５は、電子機器４１０が「リビング」から「キッチン」に向かって移動する例を示している。言い換えれば、「リビング」に固定配置された機器では、室内のすべての空間をカバーするのに困難がある反面、本実施形態に係る電子機器４１０は、自律走行によって室内のすべての空間をカバーすることができる。例えば、電子機器４１０は、第３位置５３０である「玄関」に位置するユーザの周辺に移動し、センサ部によってユーザが現在位置する空間が「玄関」であることを認知してよい。

ユーザの位置は、電子機器４１０が備えるセンサ部によってセンシングされた周辺情報、および／または電子機器４１０が含む音声基盤の入力／出力インタフェースにより受信された音声信号に基づいて決定されてよい。

１つ目の例として、電子機器４１０のセンサ部は、カメラを含んでよく、電子機器４１０は、カメラによって入力される映像を分析してユーザの位置を決定してよい。すなわち、視覚的な情報の分析に基づいてユーザの位置が決定されてもよい。一例として、電子機器４１０は、ユーザが位置する空間内に存在する客体の種類を認知して空間の特性と種類を把握してよい。より具体的な例として、電子機器４１０は、カメラによって入力される映像を分析し、ベッドが認識された場合にはユーザの位置は寝室、シンクや冷蔵庫などが認識された場合にはユーザの位置は台所であると把握してよい。また、撮影された映像に基づき、電子機器４１０の現在位置とユーザとの距離、電子機器４１０とユーザの間に位置する客体などのような多様な情報を取得してよい。

２つ目の例として、電子機器４１０のセンサ部は、動作センサや近接センサなどを含んでよく、このような動作センサや近接センサなどによってユーザの動きを感知することでユーザの位置を決定してもよい。すなわち、センサにより感知した情報の分析に基づいてユーザの位置が決定されてもよい。

３つ目の例として、電子機器４１０は、音声基盤の入力／出力インタフェースが含むマルチチャンネルマイクによってユーザの位置を決定してもよい。ユーザの発話による音声信号は、電子機器４１０のマルチチャンネルマイクにチャンネル別に入力されてよく、電子機器４１０は、マルチチャンネルマイクにチャンネル別に入力される音声信号の位相変異（ｐｈａｓｅ ｓｈｉｆｔ）に基づいてユーザの発話位置（一例として、電子機器４１０を基準とする相対的な方向）を決定してよい。複数のマイクに入力される同じ音信号の位相変位を利用して音信号の発生位置を測定する技術は、ビームフォーミング（ｂｅａｍ ｆｏｒｍｉｎｇ）技術のような周知の技術であるため、当業者であれば容易に理解することができるであろう。すなわち、音声の分析に基づいてユーザの位置が決定されてもよい。

実施形態によっては、電子機器４１０は、ユーザの位置を決定するための上述した３つの種類のうち２つ以上の方法を利用してユーザの位置を決定してもよい。

電子機器４１０は、上述したように、電子機器４１０が位置する空間の種類や電子機器４１０が位置する空間の周辺空間の種類を決定することが可能であるため、ユーザの電子機器４１０を基準とする相対的な位置を決定するようになれば、ユーザが位置する空間の種類も把握することができるようになる。例えば、電子機器４１０が、電子機器４１０が現在位置する空間を「リビング」として決定し、ユーザの相対的な位置が電子機器４１０の周辺のように同一空間として判断される場合、ユーザが位置している空間の種類を「リビング」として決定することができるようになる。

また、電子機器４１０は、室内を自律走行しながら、室内の構造と区画された空間に関する情報を予め取得してもよい。例えば、電子機器４１０は、空間それぞれの境界に関する情報や空間それぞれの種類（リビング、キッチン、寝室、浴室、玄関など）に関する情報を予め取得し、電子機器４１０の位置とユーザの相対的な位置によって電子機器４１０および／またはユーザが位置している空間の種類を決定してよい。

このとき、電子機器４１０は、カメラによって入力された映像を分析して電子機器４１０が現在位置する空間と周辺の客体に関する情報を認識してよく、認識された空間と周辺の客体に関する情報に基づいて駆動部によって電子機器４１０の移動を制御することにより、障害物の回避や室内での電子機器４１０の現在位置などを決定し、より正確な自律走行を処理することができるようになる。

このように、空間に関する情報とユーザの位置に関する情報が結合されると、ユーザが位置する空間を把握することができるようになり、これにより、ユーザが位置する空間の種類に応じてユーザに最適な情報を提供することができるようになる。例えば、電子機器４１０は、ユーザの発話「たまねぎ」と関連し、ユーザが「リビング」に位置する場合には、「たまねぎ」というキーワードに関連する歌手や楽曲を探し、該当する歌を出力してもよい。ユーザが「キッチン」に位置する場合には、食材「たまねぎ」を使ったレシピや食材「たまねぎ」の購入情報をユーザに提供してもよい。あるいは、電子機器４１０は、ユーザのスケジュールや天気などのような多様な外部情報をさらに活用してもよい。例えば、外部情報から雨が降っていることを把握した場合、電子機器４１０は、「玄関」に位置するユーザに「傘」を持って出かけるように通知するための情報を能動的に生成して提供してもよい。

このように、本実施形態によると、電子機器４１０は、移動しながら室内の内部環境を収集することによって室内の区画された複数の空間を区分して認識することができ、ユーザの位置と区分して認識された区画された複数の空間に基づいてユーザの位置と空間に適した情報を提供することができる。

以下では、電子機器４１０が室内を自律走行しながら、ユーザの位置と空間に応じて適した情報を提供する多様な実施形態について説明する。

図６は、本発明の一実施形態における、ユーザの後を追う電子機器の例を示した図である。図６の平面図６００は、室内の区画された空間と空間の種類（リビング、キッチン、玄関、浴室、寝室など）を示している。このとき、図６では、電子機器４１０が「リビング」に位置するユーザ６１０の周辺に移動した後、ユーザ６１０が「リビング」から「玄関」に移動することにより、電子機器４１０もユーザ６１０の後を追って「リビング」から「玄関」に移動する例を示している。

上述したように、電子機器４１０は、カメラによって入力される映像を分析するか、各種センサによってユーザの動作を感知するか、またはユーザの音声信号によってユーザの方向を感知するような多様な方式によってユーザの位置を決定してよい。このとき、電子機器４１０は、このようなユーザの位置を周期的に決定することにより、ユーザの移動を確認してよく、このようなユーザの移動にしたがってユーザの後を追うように駆動部を制御してよい。したがって、本実施形態に係る電子機器４１０は、ユーザの周辺で直ぐにユーザの音声要請を受信して処理することができるようになり、ユーザが位置する空間に関する情報を迅速に収集し、ユーザの位置および／または空間に適した情報を提供するのに活用することができるようになる。例えば、固定されている機器では、ユーザが遠くにいる場合、ユーザの音声要請を正確に認識することは難しいが、本実施形態に係る電子機器４１０は、常にユーザの周辺に位置するため、室内のすべての空間をカバーすることができるようになる。

例えば、電子機器４１０は、自律走行モード、ユーザの後を追う走行モード、ある場所に固定して位置する停止モードを含んでよく、このようなモードは、ユーザの命令にしたがって決定されてもよいし、電子機器４１０で情況に基づいた能動的な選択によって決定されてもよい。例えば、停止モードの電子機器４１０がユーザの発話「ついて来て」６２０を受信して分析することにより、停止モードを走行モードに変更し、ユーザの後を追い始めてよい。他の例として、走行モードの電子機器４１０がユーザの発話「待って」６３０を受信して分析することにより、走行モードを停止モードに変更し、現在位置で待機してもよい。

一方、電子機器４１０は、未来時点のユーザの位置を予想し、予想された位置に先回りして待機することもできる。

図７は、本発明の一実施形態における、未来時点のユーザの予想される位置に移動する電子機器の例を示した図である。図７の平面図７００は、室内の区画された空間と空間の種類（リビング、キッチン、玄関、浴室、寝室など）を示している。このとき、図７では、「リビング」に位置する電子機器４１０が、未来時点のユーザ７１０の予想される位置として決定された空間である「玄関」に先回りする例を示している。例えば、電子機器４１０は、外部機器およびサーバのうちの少なくとも１つを介してユーザ７１０と関連する外部情報を受信するための通信インタフェース（一例として、図４を参照しながら説明した通信インタフェース４１３）を含んでよい。このとき、電子機器４１０は、外部情報と空間別および時間帯別にパターン化されて予め格納されているユーザ情報のうちの少なくとも１つに基づいて未来時点のユーザ７１０の位置を予測してよい。このために、電子機器４１０は、ユーザが位置する空間別のユーザの発話内容およびユーザの活動のうちの少なくとも１つのユーザ情報を時間帯別にパターン化して格納および管理してよい。例えば、電子機器４１０は、ユーザが「午後５時から午後５時半」の間に「キッチン」で「レシピ」に関する情報を要請する回数が多いというユーザ情報に基づき、「午後５時から午後５時半」の間にはユーザ７１０が「キッチン」に位置するであろうと予測してよい。

他の例として、電子機器４１０は、「午後４時」の約束と自宅から「１５分」の距離にある約束場所、夕方には雨が降るであろうという天気情報を外部情報として外部機器やサーバから取得したとする。また、電子機器４１０には、ユーザ７１０が外出するために空間「玄関」を通過するというユーザ７１０の行為に関するユーザ情報が予め格納されてもいるとする。電子機器４１０は、このような情報を組み合わせることにより、ユーザ７１０が「午後４時」から最短で「１５分」前に「玄関」に位置するであろうという情報を取得し、未来時点のユーザ７１０の位置を予測してよい。この場合、電子機器４１０は、予測されるユーザ７１０の位置に先回りしてよく、ユーザ７１０が「玄関」に移動した場合（電子機器４１０でユーザが「玄関」に位置すると決定された場合）、天気情報に基づいて「今日は夕方から雨が降ると予報されています。出掛けるときには傘を持って行かれることをお勧めします」のように、予測された位置関連する情報を出力してよい。

一方、予測された位置にユーザが現れない場合も考えられる。この場合、電子機器４１０は、ユーザが予測された位置と関連する状況および／または行為を忘れている可能性があると認知してよく、予測された位置と関連する情報をユーザに通知してよい。例えば、電子機器４１０は、自宅から「１５分」の距離にある約束場所で「午後４時」に約束があるにもかかわらず、「午後４時１５分前」になってもユーザが玄関に現れない場合、ユーザを探し回ってユーザに「午後４時」に約束があることを通知してもよいし、ユーザのモバイル機器やユーザの現在位置に近い室内の電子機器から通知メッセージを提供してもよい。

図８は、本発明の一実施形態における、通知を提供するためにユーザを探し回る電子機器の例を示した図である。図８の平面図８００は、室内の区画された空間と空間の種類（リビング、キッチン、玄関、浴室、寝室など）を示している。図８は、タイマーやユーザに提供しなければならない通知情報がある場合、電子機器４１０がユーザ８１０の現在位置の周辺に移動してアラームや情報などを知らせる過程の例を示している。

例えば、「リビング」の電子機器４１０は、「午後２時」にタイマーが設定されている場合、予め設定された時間になる前（一例として、午後１時５５分）からユーザ８１０の位置を探索してよい。図８では、電子機器４１０がユーザ８１０の現在位置する「寝室１」に直ぐに移動する例を示しているが、ユーザ８１０の位置を探索するために、電子機器４１０は、より複雑な経路を移動することもある。この場合、電子機器４１０は、ユーザが位置する確率の高い場所から優先的にユーザを探すために移動してよい。例えば、電子機器４１０は、ユーザの時間帯別の位置に関する情報を格納して管理してよく、現在の時間帯にユーザが最も多く位置していた空間からユーザを探索してよい。このように、電子機器４１０は、ユーザ８１０の位置周辺に移動して待機しながら、「午後２時」にタイマーを鳴らしてよい。

他の例として、「リビング」の電子機器４１０は、ユーザ８１０のスケジュールのような外部情報からの通知や、「リビング」に位置するユーザ８１０のモバイル機器に受信メッセージが届いたことをユーザ８１０に知らせるための通知などをユーザ８１０に提供するために、ユーザ８１０の周辺に先回りしてよい。

ユーザが特定のリマインダを設定した場合、電子機器４１０は、リマインダの内容にしたがい、該当のリマインダを発話するのに最適な空間を予測してよい。例えば、「パスタを準備するように伝えて」と言われた場合、料理と関連するリマインダ命令であるため、「キッチン」がリマインダを発話するのに最適な空間であると判断し、リマインダ時点に該当の空間に移動してよい。ユーザが該当の空間に現れない場合、電子機器４１０は、上述した方法によってユーザが位置している空間に移動し、該当のリマインダを発話してよい。

図９は、本発明の一実施形態における、出力メディアに関する情報の例を示した図である。図９の表９００は、電子機器４１０と連動して通信可能な電子機器の識別のための機器項目９１０、他の電子機器の宅内位置を識別するための位置項目９２０、他の電子機器が含む出力メディアを識別するための出力メディア項目９３０、出力メディアに関する情報を含む詳細項目９４０、および出力メディアがどのような情報類型と関連しているか識別するための情報類型項目９５０を含む例を示している。電子機器４１０は、表９００のように、宅内で連動する他の電子機器に関する情報と共に、該当の他の電子機器の出力メディアに関する情報を管理してよい。また、このような情報は、音声要請および／または音声要請に対する応答情報の情報類型と予め連結されてよい。例えば、ユーザの音声要請や対応する応答情報が「外部の特定場所」と関連のある情報類型として分析される場合、電子機器４１０は、表９００に基づき、電子機器Ａの地図アプリケーションを応答情報の出力メディアとして決定してよい。この場合、応答情報は、電子機器Ａに伝達されてよく、電子機器Ａは、電子機器Ａの地図アプリケーションによって応答情報に対応する地図サービスをユーザに提供してよい。他の例として、応答情報は、地図アプリケーションによって地図サービスを提供するサービスサーバに伝達されてよい。この場合、サービスサーバは、電子機器Ａにインストールされた地図アプリケーションによって地図サービスを提供してよい。このために、電子機器４１０は、サービスサーバにアクセスするための情報、およびサービスサーバがユーザの電子機器Ａを識別することができるようにユーザのアカウントなどのような情報をさらに管理してもよい。例えば、電子機器４１０は、表９００が地図アプリケーションと関連させて格納するＵＲＬからサービスサーバにアクセスしてよく、ユーザのアカウントと共に応答情報を伝達することにより、サービスサーバがユーザのアカウントを利用して電子機器Ａにインストールされた地図アプリケーションをから応答情報と関連する地図サービスを提供するようにしてよい。

また、電子機器４１０は、表９００に基づき、ユーザが「キッチン」に位置する場合、電子機器Ｄのディスプレイ４から情報が視覚的に出力されるように該当の情報を電子機器Ｄに送信してよい。他の例として、電子機器４１０は、１つの空間に複数の出力メディアが存在する場合、出力しようとする情報の類型に適した機器やユーザのより近い場所にある機器の出力メディアを選択してよい。このとき、１つの空間において、ユーザのより近い場所にある機器の出力メディアを選択するために、より具体的な機器の位置が表９００で管理されてよい。このとき、電子機器４１０は、一例として、カメラによって入力される映像を分析してユーザと機器との距離を直接計測してもよい。

図１０は、本発明の一実施形態における、ユーザ命令に対応する電子機器を特定する例を示した図である。ユーザ１０１０は、ユーザ命令「これ点けて」１０２０のように、動作の対象となる機器を特定しないこともある。このとき、電子機器４１０は、ユーザ１０１０から最も近くにある機器を特定してユーザ命令による動作を処理してもよいし、ユーザ１０１０から最も近くにある機器を特定した後、特定した機器がユーザ命令を処理するのに適した機器であるか確認してもよい。

このとき、図１０の実施形態では、電子機器４１０がカメラのようなセンサ部を利用して空間の周辺情報を分析し、空間内の機器として宅内照明機器１０３０、ユーザ１０１０のモバイル機器１０４０、およびＩＴＰＶ１０５０を認知し、認知された機器とユーザ１０１０の位置との距離に基づいてユーザ１０１０から最も近い宅内照明機器１０３０を特定する例を示している。このとき、電子機器４１０は、特定された宅内照明機器１０３０のライト電源を直ぐに点灯してもよいが、図１０の実施形態に示された「リビングの電気を点けましょうか？」１０３０のように、電子機器４１０が特定された機器が適切であるかユーザ１０１０に質問してもよい。この場合、電子機器４１０は、ユーザ１０１０の発話「うん」１０６０にしたがい、特定された宅内照明機器１０３０のライト電源を点灯してよい。ユーザ１０１０の位置と機器との距離は、電子機器４１０がセンサ部によってセンシングされる周辺情報（一例として、カメラによって入力される映像）を分析して計測してもよいが、より正確な距離を得るために、電子機器４１０がユーザ１０１０の位置から機器までの位置に直接移動しながら移動距離を測定（例えば、タイヤの回転数を利用して計算）し、このような移動距離にさらに基づいてユーザ１０１０の位置と機器との距離を測定してもよい。電子機器４１０が測定する移動距離は、ユーザ１０１０の位置と機器との距離に差があるが、電子機器４１０が測定する発話地点の方向から得られる角度、電子機器４１０がカメラによって入力される映像に基づいて分析される特定の機器に対する相対的な角度、そして測定された移動距離などを考慮した上で、ユーザ１０１０の位置と機器との距離をより正確に計測することができるということは、当業者であれば上述した説明から容易に理解することができるであろう。

一方、電子機器４１０は、空間内のすべての機器を対象にする必要なく、ユーザ命令を適用することのできる機器に対象を限定してもよい。例えば、ユーザ命令「ボリュームを上げて」に対し、ボリュームを調節することのできない機器は、特定のための対象から除外されてよい。また、ユーザ１０１０の命令が「これを点けて」である場合、ユーザの周辺で現在時点において消灯状態である機器を特定のための対象にしたり、ユーザ命令が「見せて」である場合、ユーザ周辺の機器のうちで出力メディアの形態がディスプレイであるものを特定のための対象にしたりしてよい。

図９を参照しながら上述したように、電子機器４１０は、連動する他の電子機器に関する情報を管理することができるが、図９の表９００のように、電子機器４１０で管理される情報を活用して機器の特定のための対象を限定してよい。例えば、図１０において、ユーザ命令「ボリュームを上げて」に対する対象から宅内照明機器１０３０は除外されてもよいことが理解できるであろう。

また、電子機器４１０は、特定された機器が適切であるかの確認をユーザ１０１０から受ける過程において、否定的な返答を受信した場合、ユーザ１０１０の近くにある他の機器を特定してユーザから確認を受けてもよい。また、ユーザ命令を適用することのできる機器Ａと機器Ｂのうちから機器Ａを特定してユーザ１０１０から確認を受け、ユーザ１０１０から否定的な返答が受信された場合には直ぐに機器Ｂを特定してユーザ命令を実行してもよい。言い換えれば、特定することのできる機器が１つである場合、電子機器４１０は、ユーザから確認を受けることなく直ぐに該当の機器に対してユーザ命令を実行してよい。

図１１は、本発明の一実施形態における、電子機器の情報提供方法の例を示したフローチャートである。本実施形態に係る情報提供方法は、上述した電子機器４１０のようなコンピュータ装置によって実行されてよい。このとき、電子機器４１０のプロセッサ４１２は、メモリ４１１が含むオペレーティングシステムのコードや、少なくとも１つのプログラムのコードによる制御命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。ここで、プロセッサ４１２は、電子機器４１０に格納されたコードが提供する制御命令にしたがって電子機器４１０が図１１の情報提供方法の含む段階１１１０〜１１３０を実行するように電子機器４１０を制御してよい。

段階１１１０で、電子機器４１０は、電子機器４１０が備える駆動部を制御して移動しながら、電子機器４１０が備えるセンサ部によって電子機器４１０の周辺情報をセンシングすることにより、室内の区画された複数の空間を区分して認識してよい。例えば、センサ部は、カメラ、ライダー（ｌｉｄａｒ）、ＩＭＵ、超音波センサなどのように、周辺情報を取得することのできる多様なセンサのうちの１つを含んでよい。上述した実施形態ではカメラを利用する例についてのみ説明したが、周辺情報を取得して空間に関する情報を取得することのできるセンサであれば、制限されることなく使用されてよい。好ましい実施形態において、電子機器４１０は、相対的に費用が低いカメラを利用して入力される映像を分析して電子機器４１０が現在位置する空間と周辺の客体に関する情報を認識してよい。また、電子機器４１０は、認識された空間と周辺の客体に関する情報に基づき、駆動部によって電子機器４１０の移動を制御してもよい。

段階１１２０で、電子機器４１０は、センサ部によってセンシングされた周辺情報および電子機器４１０が含む音声基盤の入力／出力インタフェースにより受信される音声信号のうちの少なくとも１つに基づいてユーザの位置を決定してよい。上述でユーザの位置を決定するための３種類の方法ついて説明したが、電子機器４１０は、多様な方法のうちの少なくとも１つを利用してユーザの位置を決定してよい。

段階１１３０で、電子機器４１０は、区分して認識された複数の空間と決定されたユーザの位置に基づいてユーザに情報を提供してよい。例えば、電子機器４１０は、ユーザが位置している空間がどの空間であるか把握し、把握された空間に関する情報を提供することにより、ユーザの位置および／または空間にさらに適した情報を提供してよい。例えば、「犬と（韓国語の発音でケラン）」と「計量（韓国語の発音でケリャン）」のように類似する発音の発話に対し、「キッチン」では「犬と」という単語よりも「計量」という単語を発話する確率が相対的に高いことが予想される。これにより、「ケラン」と類似する発音の発話が受信された場合、「キッチン」に位置するユーザの場合には「計量」と認識するようにする反面、「リビング」に位置するユーザの場合には「犬と」と認識するように調整してよい。他の例として、電子機器４１０は、午後５時頃にユーザの現在位置が「キッチン」と判断される場合、ユーザの音声要請とは関係なく、夕食の準備のためのレシピの種類を自動でユーザに勧めてもよい。さらに他の例として、電子機器４１０は、「玄関」に位置するユーザに、自動車の鍵や傘などを持って出掛けるようにアドバイスしてもよい。

ユーザが位置する空間の種類は、電子機器４１０が移動しながらカメラによって入力された映像の分析、および／または空間別および時間帯別にパターン化されたユーザ情報に基づいて決定されてよい。例えば、電子機器４１０は、映像を分析して認識される客体（一例として、冷蔵庫、ＴＶ、ベッドなど）に基づいて該当の客体が存在する空間を推測することで空間の種類を決定してよい。他の例として、電子機器４１０は、ユーザが位置する空間別のユーザの発話内容およびユーザの活動のうちの少なくとも１つのユーザ情報を時間帯別にパターン化して格納および管理してよく、このようなパターン化されたユーザ情報に基づいて関連する空間の種類を把握してよい。

一方、電子機器４１０は、上述したように、ユーザの周辺に移動してユーザに情報を提供することもできる。

図１２は、本発明の一実施形態における、電子機器がユーザの周辺に移動して情報を提供する方法の例を示したフローチャートである。

段階１２１０で、電子機器４１０は、決定されたユーザの位置の周辺に情報提供装置が移動するように駆動部を制御してよい。ここで、決定されたユーザの位置は、図１１の段階１１２０で決定されたユーザの位置に対応してよい。この場合、段階１２１０は、図１１の段階１１２０以後に実行されてよい。

段階１２２０で、電子機器４１０は、決定されたユーザの位置の周辺でセンサ部によってセンシングされた周辺情報を活用することにより、ユーザが位置する空間および空間の種類を決定してよい。図１１の段階１１１０は、空間に関する情報を取得するための過程である反面、図１２の段階１２２０は、ユーザが位置する空間に関する情報を取得するための過程であってよい。

段階１２３０で、電子機器４１０は、決定された空間および空間の種類に応じてユーザに情報を提供してよい。このような段階１２３０は、図１１の段階１１３０に含まれて実行されてよい。

本実施形態によると、電子機器４１０は、ユーザの周辺に移動したりユーザの後を追ったりしながらユーザが位置する空間と関連する情報を提供することにより、固定された単一機器が室内のすべての空間をカバーすることができないという問題を解決することができ、ユーザの位置および／または空間により適した情報を提供することができるようになる。また、空間別および／または時間帯別にパターン化されたユーザ情報が、ユーザの位置および／または空間により適した情報を提供するためにさらに活用されてもよいことは、上述で説明したとおりである。

図１３は、本発明の一実施形態における、電子機器がユーザの位置を予測して先回りする方法の例を示したフローチャートである。

段階１３１０で、電子機器４１０は、電子機器４１０が含む通信インタフェースにより、外部機器およびサーバのうちの少なくとも１つからユーザと関連する外部情報を受信してよい。ここで、外部機器は、電子機器４１０と連動して通信可能なすべての他の機器を含んでよく、好ましくは、室内に位置する他の機器を含んでよい。また、サーバは、図２を参照しながら説明した外部サーバ２２０に対応してよい。例えば、冷蔵庫に保存されている食材料の数量や外部サーバ２２０が提供する天気情報などが、外部情報として電子機器４１０に受信されてよい。

段階１３２０で、電子機器４１０は、外部情報と空間別および時間帯別にパターン化されて予め格納されているユーザ情報のうちの少なくとも１つに基づき、未来時点のユーザの位置を予測してよい。予め格納されているユーザ情報やユーザの位置を予測する方法については、上述で説明したとおりである。

段階１３３０で、電子機器４１０は、予測されたユーザの位置に移動するように駆動部を制御してよい。例えば、電子機器４１０は、図１１の段階１１１０で認識した室内の区画された複数の空間に関する情報を利用して予測されたユーザの位置が含まれた空間に移動してよく、移動の過程において、センサ部に入力されて得られた情報を分析して認識される空間および周辺の客体に関する情報を活用してよい。

段階１３４０で、電子機器４１０は、未来時点に予測されたユーザの位置にユーザが存在しない場合、予測されたユーザの位置と関連する情報に対する通知を、音声基盤の入力／出力インタフェースまたは通信インタフェースによってユーザに提供してよい。該当の時点に予測された位置にユーザが存在しないということは、ユーザが予測された位置と関連する状況や行為を忘れている可能性があることを意味するが、これにより、電子機器４１０は、位置の予測に活用された情報に基づき、ユーザが予測された位置で実行したと予想される行為や、予測された位置で発生すると予想される状況に関する情報をユーザに提供してよい。このとき、通信インタフェースによってユーザに情報を提供することは、通信インタフェースを介して電子機器４１０と通信する他の電子機器によってユーザに情報を提供することを含んでよい。例えば、電子機器４１０は、関連情報をＳＭＳメッセージやメッセンジャーメッセージの形態でユーザのモバイル機器に送信してよい。

本実施形態によると、電子機器４１０は、ユーザの命令にしたがって動作するだけでなく、予めユーザの位置を予測し、予測された位置に先回りすることにより、ユーザの状況（又はコンテキスト）に基づいてユーザ便宜性を向上させることができ、固定された単一機器が室内のすべての空間をすべてカバーすることができないという問題を解決することができる。さらに、電子機器４１０は、予測された位置にユーザが現れない場合、予測された関連する状況や行為に関する情報をユーザに知らせることにより、ユーザが予測された位置と関連する状況や行為を忘れないようにサポートすることができる。

図１４は、本発明の一実施形態における、電子機器がユーザの命令に対応する機器を特定する方法の例を示したフローチャートである。

段階１４１０で、電子機器４１０は、室内の電子機器に関する情報を管理してよい。一例として、図９を参照しながら、電子機器４１０が他の電子機器に関する情報を管理する例について説明した。図９では、出力メディアを含む他の電子機器についてのみ説明したが、出力メディアを含まない他の電子機器も類似の観点によって管理されてもよいことは、容易に理解することができるであろう。

段階１４２０で、電子機器４１０は、音声基盤の入力／出力インタフェースにより受信されるユーザの音声要請に基づいて室内の電子機器を制御してよい。例えば、図１０を参照しながら、ユーザの音声要請に基づいて宅内照明機器１０３０を制御することについて説明した。

段階１４３０で、電子機器４１０は、ユーザの命令に対応する電子機器の特定のための情報が音声要請に含まれない場合、センサ部によってセンシングされた周辺情報に基づいてユーザの命令に対応する電子機器を特定してよい。

一実施形態として、電子機器４１０は、センサ部によってセンシングされた周辺情報に基づいて決定されたユーザの位置と少なくとも１つの電子機器との距離を決定し、決定された距離に基づいてユーザの命令に対応する電子機器を特定してよい。一例として、図１０を参照しながら、カメラを利用して決定された距離に基づいてユーザの命令に対応する電子機器を特定する例について説明した。

他の実施形態として、電子機器４１０は、音声要請が含むユーザの命令を分析して室内の電子機器のうちからユーザの命令が適用可能な電子機器を限定し、決定されたユーザの位置と限定された電子機器との距離に基づいてユーザの命令に対応する電子機器を特定してよい。

さらに他の実施形態として、電子機器４１０は、決定されたユーザの位置に存在する少なくとも１つの電子機器の位置に直接移動してその移動距離を測定し、移動距離にさらに基づいて決定されたユーザの位置と少なくとも１つの電子機器との距離を決定してよく、このように決定された距離に基づいてユーザの命令に対応する電子機器を特定してもよい。

このような図１４の実施形態によると、電子機器４１０がユーザの発話にしたがってユーザの周辺に移動し、ユーザの周辺機器を認識し、認識された周辺機器のうちからユーザの発話に適した対象を特定することができるため、ユーザがユーザ命令を提示するときに特定の機器を電子機器４１０に明確に認識させなくても、ユーザ命令による動作の提供を受けることができるようになる。

このように、本実施形態によると、移動しながら室内の内部環境を収集することによって室内の区画された複数の空間を区分して認識することができ、ユーザの位置と区分して認識された区画された複数の空間に基づき、ユーザの位置と空間に適した情報を提供することができる。また、未来時点のユーザの位置を予測し、予測された位置に先回りして情報を提供することができ、該当の未来時点にユーザが予測された位置に現れない場合、予測された位置と関連する情報をユーザに通報することにより、ユーザが予測された位置と関連する状況や行為を忘れていた場合でも、関連する通知を提供することができる。さらに、ユーザの音声要請からユーザの命令と関連する電子機器を特定することができない場合でも、ユーザと電子機器との距離および／またはユーザの命令の適用可能性に基づいてユーザの命令に対応する電子機器を特定することができる。

上述したシステムまたは装置は、ハードウェア構成要素、ソフトウェア構成要素、またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）および前記ＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを格納、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、所望の動作をするように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置、コンピュータ格納媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で格納されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータで読み取り可能な記録媒体に格納されてよい。

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータで読み取り可能な媒体に記録されてよい。前記コンピュータで読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含んでよい。媒体は、コンピュータによって実行可能なプログラムを継続して格納するものであっても、実行またはダウンロードのために臨時で格納するものであってもよい。また、媒体は、単一または複数個のハードウェアが結合した形態の多様な記録手段または格納手段であってよいが、あるコンピュータシステムに直接接続する媒体に限定されてはならず、ネットワーク上に分散存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ−ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含んでプログラム命令語が格納されるように構成されたものであってよい。また、他の媒体の例として、アプリケーションを流通するアプリストアやその他の多様なソフトウェアを供給ないし流通するサイト、サーバなどで管理する記録媒体ないし格納媒体が挙げられてもよい。プログラム命令の例には、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを利用してコンピュータによって実行されることの可能な高級言語が含まれる。

以上のように、実施形態を、限定された実施形態と図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

１００：電子機器
１１０：ユーザ
１４０：ＩＰＴＶ
１５０：モバイル機器
１６０：タイヤ

Claims (20)

1. 情報提供装置であって、
   前記情報提供装置の周辺情報をセンシングするセンサ部、
   前記情報提供装置を移動させるための駆動部
   音声に基づく入力／出力インタフェース、および
   コンピュータで読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサ
   を含み、
   前記少なくとも１つのプロセッサは、
   前記駆動部を制御して前記情報提供装置を移動させながら、前記センサ部によってセンシングされた周辺情報に基づいて複数の空間を区分して認識し、
   前記センサ部によってセンシングされた周辺情報および前記音声に基づく入力／出力インタフェースにより受信される音声信号のうちの少なくとも１つに基づいてユーザの位置を決定し、
   前記区分して認識された複数の空間と前記決定されたユーザの位置に基づいてユーザに情報を提供すること
   を特徴とする、情報提供装置。
2. 前記センサ部は、カメラを含み、
   前記少なくとも１つのプロセッサは、
   前記カメラによって入力された映像を分析して前記情報提供装置が現在位置する空間と周辺の客体に関する情報を認識し、
   前記認識された空間と周辺の客体に関する情報に基づき、前記駆動部によって前記情報提供装置の移動を制御すること
   を特徴とする、請求項１に記載の情報提供装置。
3. 前記少なくとも１つのプロセッサは、
   前記決定されたユーザの位置の周辺に前記情報提供装置が移動するように前記駆動部を制御し、
   前記決定されたユーザの位置の周辺で前記センサ部によってセンシングされた周辺情報を利用して前記ユーザが位置する空間の種類を決定し、
   前記決定された空間の種類に応じてユーザに情報を提供すること
   を特徴とする、請求項１に記載の情報提供装置。
4. 前記少なくとも１つのプロセッサは、
   空間別のユーザの発話内容および空間別のユーザの活動うちの少なくとも１つのユーザ情報を時間帯別にパターン化し、
   前記空間別および時間帯別にパターン化されたユーザ情報に基づいて前記区分して認識された複数の空間それぞれの種類を決定すること
   を特徴とする、請求項１に記載の情報提供装置。
5. 前記少なくとも１つのプロセッサは、
   外部機器およびサーバのうちの少なくとも１つから受信されたユーザと関連する外部情報、および空間別および時間帯別にパターン化されて予め格納されていたユーザ情報のうちの少なくとも１つに基づいてユーザの位置を予測し、
   前記予測されたユーザの位置に移動するように前記駆動部を制御すること
   を特徴とする、請求項１に記載の情報提供装置。
6. 前記少なくとも１つのプロセッサは、
   前記予測されたユーザの位置にユーザが来ない場合、前記予測されたユーザの位置と関連する情報に対する通知をユーザに提供すること
   を特徴とする、請求項５に記載の情報提供装置。
7. 前記少なくとも１つのプロセッサは、
   室内の電子機器に関する情報を管理し、
   前記音声に基づく入力／出力インタフェースにより受信されるユーザの音声要請に基づいて前記室内の電子機器を制御し、
   ユーザの命令に対応する電子機器を特定するための情報が前記音声要請に含まれていない場合、前記センサ部によってセンシングされた周辺情報に基づいてユーザの命令に対応する電子機器を特定すること
   を特徴とする、請求項１に記載の情報提供装置。
8. 前記少なくとも１つのプロセッサは、
   前記センサ部によってセンシングされた周辺情報に基づいて前記決定されたユーザの位置と少なくとも１つの電子機器との距離を決定し、
   前記決定された距離に基づいてユーザの命令に対応する電子機器を特定すること
   を特徴とする、請求項７に記載の情報提供装置。
9. 前記少なくとも１つのプロセッサは、
   前記音声要請が含まれるユーザの命令を分析して前記室内の電子機器のうちからユーザの命令が適用可能な電子機器を限定し、
   前記決定されたユーザの位置と前記限定された電子機器との距離に基づいてユーザの命令に対応する電子機器を特定すること
   を特徴とする、請求項８に記載の情報提供装置。
10. 前記少なくとも１つのプロセッサは、
    前記決定されたユーザの位置で少なくとも１つの電子機器の位置に移動して移動距離を測定し、
    前記移動距離にさらに基づいて前記決定されたユーザの位置と前記少なくとも１つの電子機器との距離を決定すること
    を特徴とする、請求項１に記載の情報提供装置。
11. 情報提供装置の情報提供方法であって、
    前記情報提供装置が備える駆動部を制御して移動しながら、前記情報提供装置が備えるセンサ部によって前記情報提供装置の周辺情報をセンシングすることで複数の空間を区分して認識する段階、
    前記センサ部によってセンシングされた周辺情報、および前記情報提供装置が備える音声に基づく入力／出力インタフェースにより受信される音声信号のうちの少なくとも１つに基づいてユーザの位置を決定する段階、および
    前記区分して認識された複数の空間と前記決定されたユーザの位置に基づいてユーザに情報を提供する段階
    を含むことを特徴とする、情報提供方法。
12. 前記認識する段階は、
    前記センサ部が含むカメラによって入力された映像を分析して前記情報提供装置が現在位置する空間と周辺の客体に関する情報を認識する段階、および
    前記認識された空間と周辺の客体に関する情報に基づいて前記駆動部によって前記情報提供装置の移動を制御する段階
    を含むことを特徴とする、請求項１１に記載の情報提供方法。
13. 前記決定されたユーザの位置の周辺に前記情報提供装置が移動するように前記駆動部を制御する段階、および
    前記決定されたユーザの位置の周辺で前記センサ部によってセンシングされた周辺情報を利用して前記ユーザが位置する空間および空間の種類を決定する段階
    を含み、
    前記提供する段階は、
    前記決定された空間および空間の種類に応じてユーザに情報を提供することを特徴とする、請求項１１に記載の情報提供方法。
14. 空間別のユーザの発話内容およびユーザの活動のうちの少なくとも１つのユーザ情報を時間帯別にパターン化する段階、および
    前記空間別および時間帯別にパターン化されたユーザ情報に基づいて前記区分して認識された複数の空間それぞれの種類を決定する段階
    をさらに含むことを特徴とする、請求項１１に記載の情報提供方法。
15. 外部機器およびサーバのうちの少なくとも１つから受信されたユーザと関連する外部情報、および空間別および時間帯別にパターン化されて予め格納されていたユーザ情報のうちの少なくとも１つに基づいてユーザの位置を予測する段階、および
    前記予測されたユーザの位置に移動するように前記駆動部を制御する段階
    をさらに含むことを特徴とする、請求項１１に記載の情報提供方法。
16. 前記予測されたユーザの位置にユーザが来ない場合、前記予測されたユーザの位置と関連する情報に対する通知をユーザに提供する段階
    をさらに含むことを特徴とする、請求項１５に記載の情報提供方法。
17. 室内の電子機器に関する情報を管理する段階、
    前記音声に基づく入力／出力インタフェースにより受信されるユーザの音声要請に基づいて前記室内の電子機器を制御する段階、および
    ユーザの命令に対応する電子機器を特定するための情報が前記音声要請に含まれない場合、前記センサ部によってセンシングされた周辺情報に基づいてユーザの命令に対応する電子機器を特定する段階
    をさらに含むことを特徴とする、請求項１１に記載の情報提供方法。
18. 前記センサ部によってセンシングされた周辺情報に基づいて前記決定されたユーザの位置と少なくとも１つの電子機器との距離を決定し、前記決定された距離に基づいてユーザの命令に対応する電子機器を特定することを特徴とする、請求項１１に記載の情報提供方法。
19. 請求項１１〜１８のうちのいずれか一項に記載の情報提供方法を情報提供装置のコンピュータに実行させるコンピュータプログラム。
20. 請求項１１〜１８のうちのいずれか一項に記載の情報提供方法を情報提供装置のコンピュータに実行させるためのプログラムが記録されていることを特徴とする、コンピュータで読み取り可能な記録媒体。