JP2014064278A - ユーザデバイスの状況認識サービス提供方法および装置 - Google Patents

ユーザデバイスの状況認識サービス提供方法および装置 Download PDF

Info

Publication number
JP2014064278A
JP2014064278A JP2013195782A JP2013195782A JP2014064278A JP 2014064278 A JP2014064278 A JP 2014064278A JP 2013195782 A JP2013195782 A JP 2013195782A JP 2013195782 A JP2013195782 A JP 2013195782A JP 2014064278 A JP2014064278 A JP 2014064278A
Authority
JP
Japan
Prior art keywords
rule
user
input
user device
condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013195782A
Other languages
English (en)
Other versions
JP6475908B2 (ja
Inventor
▲ジョ▼允 ▲ペ▼
Joo Yoon Bae
Minjeong Ko
▲ミン▼廷 高
Seong-Sue Kim
成洙 金
Jinsung Kim
震晟 金
Hwakyung Kim
樺慶 金
Jinha Jun
珍河 全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020130048755A external-priority patent/KR102070196B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2014064278A publication Critical patent/JP2014064278A/ja
Application granted granted Critical
Publication of JP6475908B2 publication Critical patent/JP6475908B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Environmental & Geological Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

【課題】ユーザデバイスでユーザ定義による１つまたはそれ以上の規則に従って状況認識サービスを支援することができる状況認識サービス方法および装置を提供する。
【解決手段】テキスト入力および音声入力のうち少なくとも１つのユーザ入力を受信する過程と；前記受信されたユーザ入力に基づいて条件（ｃｏｎｄｉｔｉｏｎ）および前記条件に対応するアクション（ａｃｔｉｏｎ）を含む規則を定義する過程と；前記規則の条件を有する状況検出に反応して前記規則を活性化する過程と；前記状況が検出されれば、前記条件に対応する前記アクションを実行する過程と；を含む。
【選択図】図２

Description

本発明は、状況認識サービス（Ｃｏｎｔｅｘｔ Ａｗａｒｅ Ｓｅｒｖｉｃｅ）の提供方法および装置に関し、特に本発明は、ユーザデバイスでユーザにより定義された規則（Ｒｕｌｅ）によってユーザの状況を認識（ｃｏｎｔｅｘｔ ａｗａｒｅ）し、それによるアクション（ａｃｔｉｏｎ）を自動実行し、ユーザにフィードバック（ｆｅｅｄｂａｃｋ）することができるユーザデバイスで状況認識サービス提供方法および装置に関する。
最近、デジタル技術の発達に伴い、通信および個人情報処理が可能な多様なユーザデバイス（ｕｓｅｒ ｄｅｖｉｃｅ）（例えば、移動通信端末機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、電子手帳、スマートフォン、タブレットパソコン（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）が市販されている。ユーザデバイスは、各自の伝統的な固有領域にとどまらず、他の端末の領域まで含むモバイルコンバージェンス（ｍｏｂｉｌｅ ｃｏｎｖｅｒｇｅｎｃｅ）段階に至っている。例えば、ユーザデバイスは、音声通話および映像通話などのような通話機能、ＳＭＳ（Ｓｈｏｒｔ Ｍｅｓｓａｇｅ Ｓｅｒｖｉｃｅ）／ＭＭＳ（Ｍｕｌｔｉｍｅｄｉａ Ｍｅｓｓａｇｅ Ｓｅｒｖｉｃｅ）および電子メール（ｅ−ｍａｉｌ）などのようなメッセージ送受信機能、ナビゲーション機能、撮影機能、放送再生機能、メディア（動画および音楽）再生機能、インターネット機能、メッセンジャー機能およびソーシャルネットワークサービス（ＳＮＳ、Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）機能などの多様な機能を具備することができる。
また、最近、個人の人生をデジタル情報として記録するライフログ（ｌｉｆｅ−ｌｏｇ）に対する多様な技術が開発されており、これを利用した状況認識サービス（ＣＡＳ、Ｃｏｎｔｅｘｔ Ａｗａｒｅ Ｓｅｒｖｉｃｅ）に対する関心が高くなっている。前記状況認識サービスは、サービス客体（ｏｂｊｅｃｔ）が定義する状況が変更されることによって、サービス可否とサービスの内容が決定されるサービスを示す。ここで、状況（Ｃｏｎｔｅｘｔ）というのは、状況認識サービス客体によって定義されたサービス行為を決定する情報を意味し、サービス行為を決定する情報としては、サービスの提供時点、サービスの提供可否、サービスの提供対象、そしてサービスの提供位置などが含まれることができる。このような技術は、個人の行動を特定付けることができる多様な情報を格納し、これを基礎にして状況認識サービスを提供している。
しかし、従来の場合、個人から情報を収集するために、ドメイン（ｄｏｍａｉｎ）に基づいて多様なセンサー装置を設置しなければならない負担がある。従来の状況認識システムは、主にセンサーからデータを獲得するユーザデバイス、ユーザデバイスのセンサーから獲得されたデータから状況を抽出および解釈し、状況に適したサービスを実行するサーバーで構成されている。したがって、従来、状況認識サービスを支援するためにユーザデバイスが多様なセンサーを具備しなければならないし、サーバーとの連動によってユーザ状況によるサービスが処理されることによってシステム具現に費用的側面および設計的側面などにおいて困難がある。
また、従来の場合、ユーザデバイスから収集する情報を限定しており、また、このような情報に対する効果的な学習過程の不足により、実質的に有効な状況認識サービスを提供しにくい問題点がある。例えば、従来、ユーザが状況認識サービスを利用しようとする場合、ユーザデバイス製造社により定義された規則（Ｒｕｌｅ）のみに限って使用することができ、これにより、すべてのユーザの使用性を満たすことができない問題点がある。また、従来、ユーザが状況認識サービスを利用しようとする場合、別途のプログラムを実行するか、または複雑な設定過程を進行する場合にのみ利用可能になり、これにより、一般ユーザの接近性が低下する問題点がある。さらに、従来、１つの状況認識（Ｓｉｎｇｌｅ Ｃｏｎｔｅｘｔ Ａｗａｒｅ）シナリオに限っていて、多様な状況に対する条件設定が不可能であるという問題点がある。
本発明の目的は、ユーザデバイスでユーザ定義による１つまたはそれ以上の規則に従って状況認識サービスを支援することができる状況認識サービス方法および装置を提供することにある。
本発明の他の目的は、ユーザデバイスでユーザによりあらかじめ定義される１つまたはそれ以上の規則に対応するユーザの各状況を認識し、認識された状況による当該アクション（ａｃｔｉｏｎ）を自動実行し、ユーザに１つまたはそれ以上として定義された規則に基づく状況情報（ｃｏｎｔｅｘｔ ｉｎｆｏｒｍａｔｉｏｎ）をフィードバック（ｆｅｅｄｂａｃｋ）することができる状況認識サービス方法および装置を提供することにある。
本発明のさらに他の目的は、ユーザデバイスでユーザが自然言語に基づくテキストまたは音声を通じて規則（または状況）、当該規則実行のための命令および当該規則に対して実行するアクションを定義することができる状況認識サービス方法および装置を提供することにある。
本発明のさらに他の目的は、ユーザデバイスで自然言語に基づくテキストまたは音声を通じて規則、命令およびアクションを定義し、自然言語に基づくテキストまたは音声によって、またはユーザデバイスの動作感知によって定義された当該規則の自動実行を支援することによって、状況認識サービスの支援を拡張することができる状況認識サービス方法および装置を提供することにある。
本発明のさらに他の目的は、１つの規則に多数の条件を設定することができ、多数の条件に対応する多重状況認識（ｍｕｌｔｉ ｃｏｎｔｅｘｔ ａｗａｒｅ）および多重状況認識による多数のアクションを一緒に行うことができる状況認識サービス方法および装置を提供することにある。
本発明のさらに他の目的は、規則定義時にユーザ嗜好による１つまたはそれ以上の条件設定が可能な状況認識サービス方法および装置を提供することにある。
本発明のさらに他の目的は、状況認識サービスを支援するための最適の環境を具現し、ユーザ便宜性およびユーザデバイスの使用性を向上させることができる状況認識サービス方法および装置を提供することにある。
上記目的を達成するために、本発明の実施形態によるユーザデバイスの状況認識サービス（ｃｏｎｔｅｘｔ−ａｗａｒｅ ｓｅｒｖｉｃｅ）提供方法は、テキスト入力および音声入力のうち少なくとも１つのユーザ入力を受信する過程と；前記受信されたユーザ入力に基づいて条件（ｃｏｎｄｉｔｉｏｎ）および前記条件に対応するアクション（ａｃｔｉｏｎ）を含む規則（ｒｕｌｅ）を定義する過程と；前記規則の条件を有する状況検出に反応して前記規則を活性化する過程と；前記状況が検出されれば、前記条件に対応する前記アクションを実行する過程とを；含むことができる。
本発明の実施形態によるユーザデバイスの状況認識サービス（ｃｏｎｔｅｘｔ−ａｗａｒｅｓｅｒｖｉｃｅ）提供方法は、規則（ｒｕｌｅ）を設定するためのユーザインターフェースを提供する過程と；前記ユーザインターフェースを通じて自然言語に基づく音声入力および自然言語に基づくテキスト入力のうち少なくとも１つのユーザ入力を受信する過程と；前記ユーザ入力から条件（ｃｏｎｄｉｔｉｏｎ）およびアクション（ａｃｔｉｏｎ）を含む規則を設定する過程と；前記規則の条件に対応するイベントを検出すれば、前記規則を活性化する過程と；前記イベントが検出されるとき、前記条件に対応する前記アクションを実行する過程と；を含むことができる。
本発明の実施形態によるユーザデバイスの状況認識サービス提供方法は、自然言語に基づく音声または自然言語に基づくテキストを利用した規則設定のためのユーザ入力を受け入れ、前記ユーザ入力による規則を設定する過程と；自然言語に基づく音声またはテキスト、ユーザデバイスの動作感知または外部のメッセージ受信を利用した規則実行のための命令を受け入れ、前記命令による規則を実行する過程と；規則に設定された１つまたはそれ以上の条件に反応して内部または外部で発生する１つまたはそれ以上の条件を感知する過程と；規則に設定された１つまたはそれ以上の条件認識に反応して１つまたはそれ以上のアクションを実行する過程と；を含むことができる。
本発明の実施形態によるユーザデバイスの状況認識サービス提供方法は、規則を定義する過程と；前記規則実行のための命令入力を受信する過程と；前記命令に対応する規則を実行する過程と；前記規則実行に応答して前記規則に対応する条件を感知する過程；および前記条件が感知されるとき、前記規則で前記条件に対応する１つまたはそれ以上のアクションを実行する過程と；を含むことができる。
本発明の実施形態によるユーザデバイスの状況認識サービス提供方法は、規則が実行された状態でイベントの発生可否を監視する過程と；前記イベントの発生があれば、前記実行規則で前記イベントに対するアクション実行のために定義された機能を抽出する過程と；前記抽出された機能によってアクション実行を制御する過程と；前記機能によるアクション実行によって関連情報のフィードバックを制御する過程と；前記イベントの発生がなければ、現在状況が規則解除条件に該当するかを判別する過程と；前記規則解除条件に対応すれば、前記実行された規則を解除する過程と；を含むことができる。
本発明の実施形態では、前記方法をプロセッサで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を含む。
本発明の実施形態による装置は、条件（ｃｏｎｄｉｔｉｏｎ）および前記条件に対応するアクション（ａｃｔｉｏｎ）を含む規則（ｒｕｌｅ）を格納する格納部と；ユーザ入力を受信するためのユーザインターフェースを表示し、前記規則が活性化された状態で前記アクションの実行結果を表示する表示部と；テキスト入力および音声入力のうち少なくとも１つのユーザ入力に基づいて前記条件および前記アクションを含む前記規則を定義し、前記規則の前記条件を有する状況（ｃｏｎｔｅｘｔ）検出に反応して前記規則を活性化し、前記状況検出に応答して前記アクション実行を制御する制御部と；を含むことができる。
本発明の実施形態による装置は、自然言語に基づく音声入力または自然言語に基づくテキスト入力のうち少なくとも１つに基づくユーザ入力を受信し、前記ユーザ入力に基づいて条件（ｃｏｎｄｉｔｉｏｎ）と前記条件に対応するアクション（ａｃｔｉｏｎ）を含む規則を設定するためのコンピュータにより実行される（ｃｏｍｐｕｔｅｒ−ｉｍｐｌｅｍｅｎｔｅｄ）規則設定モジュールと；自然言語に基づく音声、自然言語に基づくテキスト、ユーザデバイスの動作感知、メッセージ受信およびサウンド受信のうち少なくとも１つを通じて規則を活性化するための命令（ｃｏｍｍａｎｄ）を受信し、前記命令に対応する規則を実行するためのコンピュータにより実行される規則実行モジュールと；規則に設定された条件を有する状況（ｃｏｎｔｅｘｔ）を検出するためのコンピュータにより実行される条件感知モジュールと；前記状況が検出されれば、前記条件に対応する前記アクションを実行するためのコンピュータにより実行されるアクション実行モジュールと；を含むことができる。
本発明の実施形態による記録媒体は、ユーザ入力によって状況認識サービスのための規則を定義し、前記規則実行のための命令が受信されれば、前記命令に対応する規則を実行し、前記実行された規則による条件が認識されるとき、前記規則で前記条件に対応するアクションを実行するプログラムを格納したコンピュータで読み取り可能な記録媒体と；を含むことができる。
本発明の実施形態による記録媒体は、音声およびテキスト入力のうち少なくとも１つのユーザ入力を受信する動作、前記受信されたユーザ入力に基づいて条件および前記条件に対応するアクションを含む規則を設定する動作、前記規則の条件に対応する状況検出に反応して前記規則を活性化する動作、前記状況が検出されるとき、前記条件に対応する前記アクションを実行する動作を行うプログラムを格納したコンピュータで読み取り可能な記録媒体を含むことができる。
前述したような内容は、当該分野における通常の知識を有する者が後述する本発明の具体的な説明からさらによく理解することができるようにするために、本発明の特徴および技術的な長所をさらに広く略述したものである。このような特徴および長所以外にも、本発明の請求範囲の主題を形成する本発明の追加的な特徴および長所が、後述する本発明の具体的な説明からよく理解されることができる。
前述したように、本発明で提案するユーザデバイスで状況認識サービス提供方法および装置によれば、ユーザデバイスで状況認識サービスのための規則（Ｒｕｌｅ）（または状況）をユーザ定義によって多様に設定が可能である。したがって、本発明によれば、ユーザデバイスでユーザにより定義される１つまたはそれ以上の規則に対応するユーザの各状況を認識し、認識された状況に定義された当該規則によって１つまたはそれ以上のアクション（ａｃｔｉｏｎ）を実行することができる。そして、アクション実行による内部または外部の１つまたはそれ以上の状況情報（ｃｏｎｔｅｘｔ ｉｎｆｏｒｍａｔｉｏｎ）をユーザに多様な方式でフィードバック（ｆｅｅｄｂａｃｋ）することができる。
本発明によれば、ユーザは、ユーザデバイスを利用して自然言語に基づくテキストまたは音声を通じて状況認識サービスのための規則（または状況）、当該規則実行のための命令および当該規則に対して実行するアクションを定義することができる。したがって、本発明では、ユーザデバイス製造社によって定義された規則を含めてユーザが定義する１つまたはそれ以上の条件による多様な規則設定が可能である。また、本発明によれば、ユーザデバイスで自然言語に基づくテキストまたは音声を通じて規則と命令を定義し、自然言語に基づくテキストまたは音声によって、またはユーザデバイスの動作感知によって定義された当該規則が自動で実行されるようにできる。これにより、本発明では、状況認識サービスの支援範囲を拡張することができ、各ユーザ別に使用性を充足させることができる。
本発明によれば、１つの規則に多数の条件を設定することができ、多数の条件に対応する多重状況認識（ｍｕｌｔｉ ｃｏｎｔｅｘｔ ａｗａｒｅ）シナリオを支援することができる。これにより、本発明では、ユーザの嗜好（ｐｒｅｆｅｒｅｎｃｅ）による多様な条件設定が可能であり、また、多重状況認識シナリオに対応して複数のアクションを１回に行うことができる。また、本発明によれば、統計に基づく状況認識（ｃｏｎｔｅｘｔ ａｗａｒｅ）を支援する従来技術に比べて、推薦機能と混用して状況認識を行うことによって状況認識の機能性を向上することができ、結果的に、状況認識の正確度を向上させることができる。
本発明によれば、ユーザに状況認識サービスを支援するための最適の環境を具現することによって、ユーザの便宜性を向上させ、ユーザデバイスの使用性、便宜性および競争力を向上させるのに寄与することができる。このような本発明は、移動通信端末機、スマートフォン、タブレットパソコン、ＰＤＡなどのようなすべての形態のユーザデバイスのみならず、状況認識サービスが可能な多様なデバイスに具現されることができる。
本発明の実施形態によるユーザデバイスの構成を概略的に示す図である。 本発明の実施形態によるユーザデバイスで状況認識サービスを運用する方法を示す流れ図である。 本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を実行する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を実行する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を実行する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を実行する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を実行する動作例示を示す図である。 本発明の実施形態によるユーザデバイスを利用して状況認識サービスが提供される動作例示を示す図である。 本発明の実施形態によるユーザデバイスを利用して状況認識サービスが提供される動作例示を示す図である。 本発明の実施形態によるユーザデバイスを利用して状況認識サービスが提供される動作例示を示す図である。 本発明の実施形態によるユーザデバイスを利用して状況認識サービスが提供される動作例示を示す図である。 本発明の実施形態によるユーザデバイスを利用して状況認識サービスが提供される動作例示を示す図である。 本発明の実施形態によるユーザデバイスを利用して状況認識サービスが提供される動作例示を示す図である。 本発明の実施形態によるユーザデバイスを利用して状況認識サービスが提供される動作例示を示す図である。 本発明の実施形態によるユーザデバイスを利用して状況認識サービスが提供される動作例示を示す図である。 本発明の実施形態によるユーザデバイスで実行中の規則を一時中止する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで実行中の規則を一時中止する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで実行中の規則を一時中止する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで実行中の規則を一時中止する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで実行中の規則を一時中止する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで実行中の規則を一時中止する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで実行中の規則を一時中止する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで実行規則に対して通知する動作画面例示を示す図である。 本発明の実施形態によるユーザデバイスで実行規則に対して通知する動作画面例示を示す図である。 本発明の実施形態によるユーザデバイスで実行規則に対して通知する動作画面例示を示す図である。 本発明の実施形態によるユーザデバイスで実行規則に対して通知する動作画面例示を示す図である。 本発明の実施形態によるユーザデバイスで実行規則に対して通知する動作画面例示を示す図である。 本発明の実施形態によるユーザデバイスで実行規則に対して通知する動作画面例示を示す図である。 本発明の実施形態によるユーザデバイスで実行規則に対して通知する動作画面例示を示す図である。 本発明の実施形態によるユーザデバイスで実行規則に対して通知する動作画面例示を示す図である。 本発明の実施形態によるユーザデバイスで実行規則に対して通知する動作画面例示を示す図である。 本発明の実施形態によるユーザデバイスで実行規則に対して通知する動作画面例示を示す図である。 本発明の実施形態によるユーザデバイスで実行中の規則を終了する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで実行中の規則を終了する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで実行中の規則を終了する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで実行中の規則を終了する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで実行中の規則を終了する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで状況認識サービスを終了する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで状況認識サービスを終了する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を削除する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を削除する動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を生成する動作を示す流れ図である。 本発明の実施形態によるユーザデバイスで状況認識サービスが提供される動作を示す流れ図である。 本発明の実施形態によるユーザデバイスで状況認識サービスが提供される動作を示す流れ図である。 本発明の実施形態によるユーザデバイスで状況認識サービスが提供される動作を示す流れ図である。 本発明の実施形態によるユーザデバイスで規則を生成する他の動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を生成する他の動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を生成する他の動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を生成する他の動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を生成する他の動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を生成する他の動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を生成する他の動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を生成する他の動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を生成する他の動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を生成する他の動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を生成する他の動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を生成する他の動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を生成する他の動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を生成する他の動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を実行する他の動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を実行する他の動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を実行する他の動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を実行する他の動作例示を示す図である。 本発明の実施形態によるユーザデバイスで規則を実行する他の動作例示を示す図である。 本発明の実施形態によるユーザデバイスで実行中の規則を一時中止する他の動作例示を示す図である。 本発明の実施形態によるユーザデバイスで実行中の規則を一時中止する他の動作例示を示す図である。 本発明の実施形態によるユーザデバイスで実行中の規則を一時中止する他の動作例示を示す図である。 本発明の実施形態によるユーザデバイスで実行中の規則を一時中止する他の動作例示を示す図である。 本発明の実施形態によるユーザデバイスで実行中の規則を終了する他の動作例示を示す図である。 本発明の実施形態によるユーザデバイスで実行中の規則を終了する他の動作例示を示す図である。 本発明の実施形態によるユーザデバイスで実行中の規則を終了する他の動作例示を示す図である。 本発明の実施形態によるユーザデバイスで実行中の規則を終了する他の動作例示を示す図である。
以下、添付の図面を参照して本発明の多様な実施形態を詳しく説明する。この際、添付の図面において同一の構成要素は、できるだけ同一の符号で示していることに留意しなければならない。また、本発明の要旨を不明にすることが公知機能および構成に対する詳細な説明を省略することができる。すなわち、下記の説明では、本発明の多様な実施形態による動作を理解するのに必要な部分だけが説明され、その他の部分の説明は、本発明の要旨を不明にしないように省略されるということを留意しなければならない。
提案する本発明は、ユーザデバイス（ｕｓｅｒ ｄｅｖｉｃｅ）で状況認識サービス（ＣＡＳ、Ｃｏｎｔｅｘｔ Ａｗａｒｅ Ｓｅｒｖｉｃｅ）を提供する方法および装置に関する。
本発明の実施形態によれば、ユーザデバイスでユーザにより定義された１つまたはそれ以上の規則（Ｒｕｌｅ）によってユーザの多様な状況（ｃｏｎｔｅｘｔ）に対する状況認識（ｃｏｎｔｅｘｔ ａｗａｒｅ）を行うことができる。
本発明の実施形態によれば、状況認識による１つまたはそれ以上のアクション（ａｃｔｉｏｎ）実行を自動処理し、アクション実行に対応する状況情報（ｃｏｎｔｅｘｔ ｉｎｆｏｒｍａｔｉｏｎ）をユーザまたは定義された他のユーザにフィードバック（ｆｅｅｄｂａｃｋ）することができる。
本発明の多様な実施形態において、前記状況情報は、ユーザデバイスを通じてフィードバックされるか、外部機器（例えば、テレビ、電灯など）の制御を通じてユーザにフィードバックされるか、またはメッセージ伝送などを通じて他のユーザにフィードバックすることができる。
本発明の多様な実施形態において前記規則は、自然言語（ｎａｔｕｒａｌ ｌａｎｇｕａｇｅ）に基づくテキスト（例えば、筆記（ｈａｎｄ ｗｒｉｔｉｎｇ））または音声入力を通じて定義されることができる。本発明の多様な実施形態において、前記自然言語は、人々が日常的に使用する言語を人工的に作られた言語である人工語（または機械語）（ａｒｔｉｆｉｃｉａｌ ｌａｎｇｕａｇｅ）と区分して呼ぶ概念である。
本発明の多様な実施形態において前記規則は、前記規則と関連した命令（ｃｏｍｍａｎｄ）の入力（または受信）に応答して活性化（ａｃｔｉｖａｔｅｄ）されることができる。
本発明の多様な実施形態において、前記規則は、受信されたユーザ入力に基づいて定義されるか、または選択されることができる。前記定義された規則は、前記規則の条件に対応する状況検出に反応して活性化されることができる。前記規則が検出されれば、前記条件に対応するアクションが実行されることができる。
本発明の多様な実施形態において前記規則が活性化されれば、ユーザデバイスは、ユーザデバイスが動作（ｏｐｅｒａｔｅｓ）する状況をモニター（ｍｏｎｉｔｏｒ）または検出（ｄｅｔｅｃｔ）することができる。ユーザデバイスが動作する状況モニターまたは検出に基づいて、ユーザデバイスは、活性化された規則に対応する状況でユーザデバイスが動作することを決定（ｄｅｔｅｒｍｉｎｅ）するか、または識別（ｉｄｅｎｔｉｆｙ）することができる。
本発明の多様な実施形態において前記規則は、少なくとも１つの条件および少なくとも１つのアクションに区分されることができ、前記規則を生成する動作については、後述する。
本発明の多様な実施形態においてあらかじめ定義された規則に対する実行は、前記規則に対応する命令（ｉｎｓｔｒｕｃｔｉｏｎ）受信を通じて行われることができる。本発明の多様な実施形態において前記命令は、ユーザデバイスの多様な入力手段（例えば、タッチスクリーン、キーパッド、マイクなど）を通じて入力される自然言語に基づくテキストまたは音声による命令語または命令語文章（ｓｅｎｔｅｎｃｅ）（例えば、命令文）を含むことができる。また、前記命令は、あらかじめ定義された規則に従ってユーザデバイスの多様なセンサー（ｓｅｎｓｏｒ）（例えば、近接センサー、照度センサー、加速度センサー、ジャイロセンサー、音声センサーなど）を通じて感知されるユーザデバイスの変化（例えば、姿勢変化、オリエンテーション（ｏｒｉｅｎｔａｔｉｏｎ）など）感知を含むことができる。また、前記命令は、あらかじめ定義された規則に対応する外部のメッセージまたは外部のサウンド受信を含むこともできる。また、前記命令は、あらかじめ定義された規則に対応するユーザ（またはユーザデバイス）の地域的位置変化を含むこともできる。
本発明の多様な実施形態において前記規則を実行する命令（例えば、命令語、命令語文章、感知しようとするユーザデバイスの動作または動作感知のためのセンサー定義）は、自然言語に基づく音声またはテキスト入力で設定されることができる。
本発明の多様な実施形態において前記規則を実行する命令のうち命令語または命令語文章は、前記規則定義時に前記規則に含まれる自然言語の一部（例えば、単語）、文章の一部または全体で入力されることができる。
本発明の多様な実施形態において前記文章は、考えや感情を言葉で表現するとき、完結された内容を示す最小の単位であることができ、主語と述語を備えることが原則であるが、時には主語と述語が省略されることもできる。
本発明の多様な実施形態において前記規則を実行する命令のうちユーザデバイスの動作感知は、前記規則定義時に設定される１つまたはそれ以上のセンサーが動作することによって入力されることができる。
本発明の多様な実施形態において前記アクションは、実行中の規則で当該規則に対応する状況が認知されるとき、ユーザデバイスが行う動作を含むことができる。
本発明の多様な実施形態において前記アクションは、ユーザデバイスの内部構成（例えば、表示部、通信モジュール、スピーカーなど）を制御し、当該規則に対応する状況情報をユーザデバイスを通じてフィードバックする動作制御（例えば、内部動作制御）、またはユーザデバイスの外部機器（例えば、テレビ、電灯、外部スピーカーなど）を制御し、当該規則に対応する状況情報を外部機器を通じてフィードバックする動作制御（例えば、外部動作制御）、またはユーザデバイスの内部動作および外部機器の外部動作を一緒に制御することを含むことができる。
本発明の多様な実施形態において状況認識サービス（ＣＡＳ）は、ユーザデバイスがユーザにより定義された規則による状況を認識し判断し、それに対応するアクションを実行し、アクション実行による状況情報をユーザ（または定義される他のユーザ）に提供するサービスを示す。前記状況情報は、ユーザが相互作用（ｉｎｔｅｒａｃｔｉｏｎ）をする時点に利用することができるすべての情報であって、ユーザ（またはユーザデバイス）の位置、識別、活動、そして状態などを含み、ユーザデバイスのアプリケーションをも含むことができる。
以下では、本発明の実施形態によるユーザデバイスの構成とその運用制御方法について下記図面を参照して説明する。本発明の実施形態によるユーザデバイスの構成とその運用制御方法が下記で記述する内容に制限されるかまたは限定されるものではないので、下記の実施形態に基づいて多様な実施形態に適用することができることに留意しなければならない。
図１は、本発明の実施形態によるユーザデバイスの構成を概略的に示す図である。
図１を参照すれば、本発明のユーザデバイス１００は、無線通信部１１０、ユーザ入力部１２０、タッチスクリーン１３０、オーディオ処理部１４０、格納部１５０、インターフェース部１６０、制御部１７０、そして電源供給部１８０を含んで構成される。本発明のユーザデバイス１００は、図１に示された構成要素より多い構成要素を有するか、またはそれより少ない構成要素を有するもので具現されることができる。例えば、本発明の実施形態によるユーザデバイス１００が撮影機能を支援する場合、カメラモジュール(図示せず）の構成がさらに含まれることもでき、本発明の実施形態によるユーザデバイス１００が放送受信および再生機能を支援しない場合、一部のモジュール（例えば、前記無線通信部１１０の放送受信モジュール１１９の構成）は省略されることもできる。
前記無線通信部１１０は、ユーザデバイス１００と無線通信システムとの間またはユーザデバイス１００と他のユーザデバイスとの間の無線通信を可能にする１つ以上のモジュールを含むことができる。例えば、無線通信部１１０は、移動通信モジュール１１１、無線ＬＡＮ（ＷＬＡＮ、Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）モジュール１１３、近距離通信モジュール１１５、位置算出モジュール１１７、そして放送受信モジュール１１９などを含んで構成されることができる。
移動通信モジュール１１１は、移動通信ネットワーク上で基地局、外部の端末、そして多様なサーバー（例えば、統合サーバー（ｉｎｔｅｇｒａｔｉｏｎ ｓｅｒｖｅｒ）、プロバイダーサーバー（ｐｒｏｖｉｄｅｒ ｓｅｒｖｅｒ）、コンテンツサーバー（ｃｏｎｔｅｎｔ ｓｅｒｖｅｒ）、インターネットサーバー（ｉｎｔｅｒｎｅｔ ｓｅｒｖｅｒ）、クラウドサーバー（ｃｌｏｕｄ ｓｅｒｖｅｒ）など）のうち少なくとも１つと無線信号を送受信することができる。前記無線信号は、音声通話信号、画像通話信号または文字／マルチメディアメッセージ送受信による多様な形態のデータを含むことができる。移動通信モジュール１１１は、制御部１７０の制御によってプロバイダーサーバーまたはコンテンツサーバーなどに接続し、状況認識サービスのための多様な規則をダウンロード（ｄｏｗｎｌｏａｄ）することができる。前記移動通信モジュール１１１は、制御部１７０の制御によってアクション実行に対する結果（状況情報）を少なくとも１つのターゲットユーザデバイスに伝送することができる。また、前記移動通信モジュール１１１は、制御部１７０の制御によって特定規則が実行中の状態またはその他の状態で前記特定規則に定義された条件にマッチ（満足）するメッセージを受信することができる。
無線ＬＡＮモジュール１１３は、無線インターネット接続および他のユーザデバイスと無線ＬＡＮリンク（ｌｉｎｋ）を形成するためのモジュールを示すもので、ユーザデバイス１００に内蔵されるか、または外装されることができる。無線インターネット技術としては、無線ＬＡＮ（Ｗｉ−Ｆｉ）、Ｗｉｂｒｏ（Ｗｉｒｅｌｅｓｓ ｂｒｏａｄｂａｎｄ）、Ｗｉｍａｘ（Ｗｏｒｌｄ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）、そしてＨＳＤＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）などが利用されることができる。無線ＬＡＮモジュール１１３は、多様なサーバーと無線ＬＡＮ通信が連結されるとき、状況認識サービスのための多様なデータ（例えば、規則を含む）を受信されることができる。また、無線ＬＡＮモジュール１１３は、他のユーザデバイスと無線ＬＡＮリンクが形成されるとき、ユーザ選択による状況認識サービスのための多様なデータ（例えば、規則を含む）を他のユーザデバイスに伝送するか、または他のユーザデバイスから受信されることができる。または、無線ＬＡＮモジュール１１３は、無線ＬＡＮを介して状況認識サービスのための多様なデータ（例えば、規則を含む）をクラウドサーバーなどに伝送するか、またはクラウドサーバーから受信されることができる。前記無線ＬＡＮモジュール１１３は、制御部１７０の制御によってアクション実行に対する結果（状況情報）を少なくとも１つのターゲットユーザデバイスに伝送することができる。また、前記無線ＬＡＮモジュール１１３は、制御部１７０の制御によって特定規則が実行中の状態で前記特定規則に定義された条件に合致するメッセージを受信することができる。
近距離通信モジュール１１５は、ユーザデバイス１００の近距離通信（ｓｈｏｒｔ ｒａｎｇｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）のためのモジュールを示す。近距離通信技術としては、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標））、ブルートゥース低エネルギー（ＢＬＥ、Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（ＩｒＤＡ、Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）、ジグビー（ＺｉｇＢｅｅ）、そしてＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）などが利用されることができる。また、近距離通信モジュール１１５は、ユーザデバイス１００が他のユーザデバイスと近距離通信が連結されるとき、ユーザ選択による状況認識サービスのための多様なデータ（例えば、規則を含む）を他のユーザデバイスに伝送するか、または受信されることができる。
位置算出モジュール１１７は、ユーザデバイス１００の位置を獲得するためのモジュールを示す。前記位置算出モジュール１１７は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎ Ｓｙｓｔｅｍ）モジュールなどを含むことができる。位置算出モジュール１１７は、３個以上の基地局から離れた距離情報と正確な時間情報を算出した後、前記算出された情報に三角法を適用することによって、緯度（ｌａｔｉｔｕｄｅ）、経度（ｌｏｎｇｉｔｕｄｅ）、および高度（ａｌｔｉｔｕｄｅ）による３次元の現位置情報を算出することができる。または、位置算出モジュール１１７は、３個以上の衛星からユーザデバイス１００の位置情報をリアルタイムで続いて受信することによって、位置情報を算出することもできる。ユーザデバイス１００の位置情報は、多様な方法によって獲得されることができる。
放送受信モジュール１１９は、放送チャネル（例えば、衛星放送チャネル、地上波放送チャネルなど）を介して外部の放送管理サーバーから放送信号（例えば、テレビ放送信号、ラジオ放送信号、データ放送信号など）および／または前記放送と関連した情報（例えば、放送チャネル、放送番組または放送サービス提供者に関する情報など）を受信することができる。
ユーザ入力部１２０は、ユーザデバイス１００の動作制御のための入力データをユーザ入力に対応して発生させる。ユーザ入力部１２０は、キーパッド（ｋｅｙｐａｄ）、ドームスイッチ（ｄｏｍｅｓｗｉｔｃｈ）、タッチパッド（静圧／静電）、ジョグホイール（ｊｏｇ ｗｈｅｅｌ）、ジョグスイッチ（ｊｏｇ ｓｗｉｔｃｈ）、センサー（例えば、音声センサー、近接センサー、照度センサー、加速度センサー、ジャイロセンサーなど）などを含んで構成されることができる。前記ユーザ入力部１２０は、ユーザデバイス１００の外部にボタン形態で具現されることができ、一部のボタンは、タッチパネル（ｔｏｕｃｈ ｐａｎｅｌ）で具現されることもできる。ユーザ入力部１２０は、規則定義および規則実行（例えば、命令）のためのユーザ入力（例えば、テキスト入力、音声入力、ユーザデバイス１００動作変化など）が受信されるとき、それによる入力データを発生させることができる。
タッチスクリーン１３０は、入力機能と表示機能を同時に行う入出力手段であって、表示部１３１とタッチ感知部１３３を含むことができる。本発明の実施形態においてタッチスクリーン１３０は、前記表示部１３１を介してユーザデバイス１００の運用による画面（例えば、規則（条件およびアクション）設定画面、通話発信のための画面、メッセンジャー画面、ゲーム画面、ギャラリー画面など）の表示中に、前記タッチ感知部１３３によるユーザのタッチイベント（例えば、１つまたはそれ以上のタッチ（ｔｏｕｃｈ）、タップ（ｔａｐ）、ドラッグ（ｄｒａｇ）、スウィープ（ｓｗｅｅｐ）、フリック（ｆｌｉｃｋ）など）が入力されれば、前記タッチイベントによる入力信号を前記制御部１７０に伝達することができる。それでは、制御部１７０は、前記タッチイベントを区分し、タッチイベントによる動作実行を制御することができる。例えば、表示部１３１に規則設定画面が表示された状態で、タッチ感知部１３３によってユーザの自然言語に基づくテキストが筆記されるタッチイベントが入力されれば、制御部１７０は、前記タッチイベントによって規則を生成する動作を行うことができる。
表示部１３１は、ユーザデバイス１００で処理される情報を表示（出力）することができる。例えば、ユーザデバイス１００が通話モードの場合、通話と関連したユーザインターフェース（ＵＩ、Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）またはグラフィックユーザインターフェース（ＧＵＩ、Ｇｒａｐｈｉｃａｌ ＵＩ）を表示することができる。また、表示部１３１は、ユーザデバイス１００が画像通話モードまたは撮影モードの場合には、撮影または／および受信された映像またはＵＩ、ＧＵＩを表示することができる。特に、表示部１３１は、状況認識サービス運用と関連した多様なＵＩ、ＧＵＩを表示することができる。例えば、表示部１３１は、ユーザ入力による規則設定、規則実行状態、規則に対応するアクション実行状態、そしてアクション実行による結果（例えば、状況情報）などと関連した多様なＵＩ、ＧＵＩを表示することができる。また、表示部１３１は、ユーザデバイス１００の回転方向（または配置される方向）によって横モードによる画面表示、縦モードによる画面表示および横モードと縦モード間の変化による画面切替表示を支援することができる。本発明で運用される表示部１３１の画面例示について後述する。
表示部１３１は、液晶ディスプレイ（ＬＣＤ、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、薄膜トランジスタ液晶ディスプレイ（ＴＦＴ ＬＣＤ、Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ−ＬＣＤ）、発光ダイオード（ＬＥＤ、Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、有機発光ダイオード（ＯＬＥＤ、Ｏｒｇａｎｉｃ ＬＥＤ）、能動型ＯＬＥＤ（ＡＭＯＬＥＤ、ＡｃｔｉｖｅＭａｔｒｉｘ ＯＬＥＤ）、フレキシブルディスプレイ（ｆｌｅｘｉｂｌｅ ｄｉｓｐｌａｙ）、ベンディドディスプレイ（ｂｅｎｄｅｄ ｄｉｓｐｌａｙ）、および３次元ディスプレイ（３Ｄ ｄｉｓｐｌａｙ）のうち少なくとも１つを含むことができる。これらのうち一部のディスプレイは、外部が見られるように透明型または光透明型で構成される透明ディスプレイ（ｔｒａｎｓｐａｒｅｎｔ ｄｉｓｐｌａｙ）で具現されることができる。
タッチ感知部１３３は、前記表示部１３１に配置されることができ、前記タッチスクリーン１３０の表面に接触するユーザのタッチイベント（例えば、シングルタッチイベント、マルチタッチイベント、タッチに基づくジェスチャーイベントなど）を感知することができる。タッチ感知部１３３は、前記タッチスクリーン１３０の表面にユーザのタッチイベントを感知するとき、前記タッチイベントが発生した座標を検出し、検出された座標を前記制御部１７０に伝送することができる。タッチ感知部１３３は、ユーザにより発生するタッチイベントを感知し、感知されたタッチイベントによる信号を生成し、前記制御部１７０に伝送することができる。制御部１７０は、前記タッチ感知部１３３で伝送される信号によってタッチイベントが発生した領域に該当する機能を行うことができる。
タッチ感知部１３３は、表示部１３１の特定部位に加えられた圧力または表示部１３１の特定部位に発生する静電容量などの変化を電気的な入力信号に変換するように構成されることができる。タッチ感知部１３３は、タッチされる位置および面積だけでなく、適用したタッチ方式によってタッチ時の圧力までも検出することができるように構成されることができる。タッチ感知部１３３に対するタッチ入力がある場合、それに対応する信号は、タッチ制御機(図示せず）に伝達されることができる。タッチ制御機(図示せず）は、その信号を処理した後、対応するデータを制御部１７０に伝送することができる。これにより、制御部１７０は、表示部１３１のどの領域がタッチされたかなどを把握することができる。
オーディオ処理部１４０は、制御部１７０から入力されたオーディオ信号をスピーカー（ＳＰＫ、ｓｐｅａｋｅｒ）１４１に伝送し、マイク（ＭＩＣ、ｍｉｃｒｏｐｈｏｎｅ）１４３から入力された音声などのオーディオ信号を制御部１７０に伝達する機能を行うことができる。オーディオ処理部１４０は、音声／音響データを制御部１７０の制御によってスピーカー１４１を介して可聴音に変換して出力し、マイク１４３から受信される音声などのオーディオ信号をデジタル信号に変換し、制御部１７０に伝達することができる。
スピーカー１４１は、通話モード、録音（録画）モード、音声認識モード、放送受信モード、撮影モード、 および状況認識サービスモードなどで無線通信部１１０から受信されるか、または格納部１５０に格納されたオーディオデータを出力することができる。スピーカー１４１は、ユーザデバイス１００で行われる機能（例えば、規則実行、アクション実行、状況情報フィードバック、通話連結受信、通話連結発信、撮影、メディアコンテンツ（例えば、音楽ファイル、動画ファイルなど）再生など）と関連した音響信号を出力することもできる。
マイク１４３は、通話モード、録音（録画）モード、音声認識モード、撮影モード、メッセンジャーモード、および状況認識サービスモードなどで外部の音響信号を入力されて電気的な音声データとして処理することができる。処理された音声データは、例えば、通話モードの場合、移動通信モジュール１１１を介して移動通信基地局に送信可能な形態に変換されて出力されることができる。マイク１４３には、外部の音響信号を入力される動作で発生する雑音（ｎｏｉｓｅ）を除去するための多様な雑音除去アルゴリズムが具現されることができる。マイク１４３は、規則定義および規則実行（命令）のためのユーザ入力(例えば、自然言語に基づくテキストまたは音声などの入力)が受信されるとき、それによる入力データを発生し、制御部１７０に伝達することができる。
格納部１５０は、制御部１７０の処理および制御のためのプログラム（ｐｒｏｇｒａｍ）を格納することもでき、入出力されるデータ（例えば、規則情報、命令情報、アクション情報、状況情報、コンタクト（ｃｏｎｔａｃｔ）情報、メッセージ、メディアコンテンツ（例えば、オーディオ、動画、電子島でなど）など）の臨時格納のための機能を行うこともできる。格納部１５０には、ユーザデバイス１００の機能運用による使用頻度（例えば、規則使用頻度、命令使用頻度、アプリケーション使用頻度、データ（例えば、電話番号、メッセージ、メディアコンテンツ）に対する使用頻度など）、重要度および優先順位も一緒に格納されることができる。格納部１５０には、ユーザ入力部１２０によるユーザ入力に応答して出力される多様なパターン（ｐａｔｔｅｒｎ）の振動および音響またはタッチスクリーン１３０上のタッチ入力に応答して出力される多様なパターンの振動および音響に関するデータを格納することもできる。特に、格納部１５０は、ユーザ定義による規則、定義される各規則の命令（例えば、規則実行命令）、各規則の実行アクション（例えば、機能またはアプリケーション）、および規則終了条件などがマッチングされるマッピングテーブルを格納することができる。
格納部１５０は、ユーザデバイス１００のオペレーティングシステム（ＯＳ、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）、タッチスクリーン１３０を利用した入力および表示制御動作と関連したプログラム、状況認識サービスを運用する制御動作（例えば、規則（例えば、条件およびアクション）生成、規則（例えば、条件）による状況認識、規則によるアクション実行、状況情報フィードバックなど）と関連したプログラム、そして各プログラムの動作によって発生するデータなどを持続的にまたは一時的に格納することができる。また、格納部１５０は、本発明の実施形態による状況認識サービスを支援することと関連した多様な設定情報を格納することができる。前記設定情報は、状況認識サービスを支援するにあたって音声に基づくか、またはテキストに基づくかに関する情報を含むことができる。また、前記設定情報は、規則別に１つまたはそれ以上の条件および前記条件別のアクションを含む規則を含むことができ、また、前記定義された規則を実行する命令がさらに含まれることもできる。
格納部１５０は、フラッシュメモリータイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マイクロタイプ（ｍｉｃｒｏ ｔｙｐｅ）、およびカードタイプ（例えば、ＳＤカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ Ｃａｒｄ）またはＸＤカード（ｅＸｔｒｅａｍ Ｄｉｇｉｔａｌ Ｃａｒｄ）などのメモリ（ｍｅｍｏｒｙ）と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）、ＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ＰＲＯＭ）、磁気メモリ（ＭＲＡＭ、Ｍａｇｎｅｔｉｃ ＲＡＭ）、磁気ディスク（ｍａｇｎｅｔｉｃ ｄｉｓｋ）、および光ディスク（ｏｐｔｉｃａｌｄｉｓｋ）タイプのメモリのうち少なくとも１つのタイプの格納媒体（ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含むことができる。ユーザデバイス１００は、インターネット上で前記格納部１５０の格納機能を行うウェブストレージ（ｗｅｂ ｓｔｏｒａｇｅ）と関連して動作することもできる。
インターフェース部１６０は、ユーザデバイス１００に連結されるすべての外部機器との通路の役目を行うことができる。インターフェース部１６０は、外部機器からデータを伝送されるか、または電源を供給されて、ユーザデバイス１００内部の各構成要素に伝達するか、またはユーザデバイス１００内部のデータが外部機器に伝送されるようにすることができる。例えば、有線／無線ヘッドセットポート（ｐｏｒｔ）、外部充電器ポート、有線／無線データポート、メモリカード（ｍｅｍｏｒｙ ｃａｒｄ）ポート、識別モジュールが具備された装置を連結するポート、オーディオ入出力（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）ポート、ビデオ入出力ポート、イヤホンポートなどがインターフェース部１６０に含まれることができる。
制御部１７０は、ユーザデバイス１００の全般的な動作を制御することができる。例えば、音声通信、データ通信、画像通信などに関連した制御を行うことができる。制御部１７０は、本発明の多様な実施形態において状況認識サービスを提供することと関連した全般的な動作を制御することができる。本発明の多様な実施形態によれば、制御部１７０は、規則設定モジュール１７３、規則実行モジュール１７５、条件感知モジュール１７７、およびアクション実行モジュール１７９を含むデータ処理モジュール１７１を含むことができる。前記規則設定モジュール１７３、規則実行モジュール１７５、条件感知モジュール１７７、およびアクション実行モジュール１７９に関する動作は、下記で説明される図面と関連して説明される。また、制御部１７０は、状況認識サービス運用のための状況認識サービスフレームワーク(ｆｒａｍｅｗｏｒｋ)(図示せず）、マルチメディア再生のためのマルチメディアモジュール(図示せず）を具備することもできる。本発明において状況認識サービスフレームワーク(図示せず）およびマルチメディアモジュール(図示せず）は、制御部１７０内に具現されることもでき、制御部１７０と別に具現されることもできる。
本発明の実施形態によれば、制御部１７０は、ユーザ入力によって定義される規則設定、ユーザ定義による規則実行、定義された規則に対応する状況認識、定義された規則によるアクション実行、そしてアクション実行による状況情報のフィードバックなどと関連した状況認識サービスの運用を制御することができる。制御部１７０（例えば、規則設定モジュール１７３）は、ユーザ入力（例えば、自然言語に基づく音声またはテキスト入力）によって状況認識サービスのための規則を定義することができる。制御部１７０は、ユーザ入力を受信することができ、受信されたユーザ入力に基づいて条件および前記条件に対応するアクションを含む規則を定義することができる。制御部１７０は、前記規則の条件を有する（条件に対応する）状況（ｃｏｎｔｅｘｔ）検出によって前記規則を活性化することができる。制御部１７０（例えば、規則実行モジュール１７５）は、前記設定された規則による規則実行のための命令が感知されれば、前記命令に対応する１つまたはそれ以上の規則実行を制御することができる。制御部１７０（例えば、条件感知モジュール１７７）は、前記規則実行に応答して実行された当該規則による条件（または状況）を感知（判別）および認識することができる。制御部１７０（例えば、アクション実行モジュール１７９）は、当該規則による条件が認識される時前記実行された当該規則に対応するアクション実行を制御することができる。例えば、制御部１７０は、前記状況が検出されれば、前記条件に対応するアクションを実行することができる。制御部１７０（例えば、アクション実行モジュール１７９）は、アクションに対応する１つの機能（またはアプリケーション）または少なくとも２つ以上の複合機能（またはアプリケーション）を実行し、実行する機能（またはアプリケーション）に対応する当該動作実行を制御することができる。
また、制御部１７０は、規則実行モジュール１７５によってユーザ要請による１つまたはそれ以上の規則が実行された状態で条件感知モジュール１７７によりイベントの発生（例えば、規則に設定された条件に対応する動作感知）を検出すれば、アクション実行モジュール１７９を介して前記実行規則で前記イベントに対するアクション実行のために定義された機能を抽出することができる。そして、制御部１７０は、アクション実行モジュール１７９により前記抽出された機能に対応するアクションの実行を制御することができる。制御部１７０は、規則実行モジュール１７５によりユーザ要請による１つまたはそれ以上の規則が実行された状態でイベントの発生がなければ、条件感知モジュール１７７により現在状況が実行された１つまたはそれ以上の規則を終了する規則終了条件に該当するかを判別することができる。制御部１７０は、条件感知モジュール１７７により前記規則終了条件が感知されれば、規則実行モジュール１７５により前記実行された規則の終了を制御することができる。
また、制御部１７０は、規則実行モジュール１７５により１つまたはそれ以上の規則が実行された状態で、条件感知モジュール１７７により認識された条件によるアクションを実行するとき、アクション実行モジュール１７９によりアクション実行に対応する状況情報のフィードバック動作を制御することができる。また、制御部１７０は、規則実行モジュール１７５により１つまたはそれ以上の規則が実行された状態で条件感知モジュール１７７により認識された条件によって実行された規則を終了するとき、アクション実行モジュール１７９によりアクション終了に対応するフィードバック動作を制御することができる。
本発明の多様な実施形態において前記アクション実行によるフィードバック動作は、アクション実行に対する結果（例えば、状況情報）を表示部１３１などを介してユーザに出力するか、またはアクション実行に対する結果（例えば、状況情報）を無線通信部１１０を介して他のユーザに伝送することを含むことができる。また、前記アクション実行によるフィードバック動作は、アクション実行に対応して外部の機器（例えば、電灯、テレビなど）の動作（例えば、機器ターンオン（ｔｕｒｎ−ｏｎ）またはターンオフ（ｔｕｒｎ−ｏｆｆ）、機器ボリューム加減など）を制御するための制御信号を当該外部の機器に伝送することを含むことができる。本発明の多様な実施形態において前記規則終了によるフィードバック動作は、聴覚（例えば、スピーカー１４１）を用いた設定された音響データ出力）、視覚（例えば、表示部１３１を用いた設定された画面表示）、そして触覚（例えば、振動モジュール(図示せず）を用いた設定された振動パターン出力)の要素のうち少なくとも１つを介してユーザデバイス１００のユーザに提供することを含むことができる。
このような制御部１７０の詳細制御動作について後述する図面を参照したユーザデバイス１００の動作例示およびその制御方法で説明される。
また、本発明の多様な実施形態による制御部１７０は、前記の動作制御以外にユーザデバイス１００の通常的な機能と関連した各種動作を制御することもできる。例えば、制御部１７０は、特定アプリケーションを実行するとき、実行するアプリケーションの運用および画面表示を制御することができる。また、制御部１７０は、タッチに基づく入力インターフェース（例えば、タッチスクリーン１３０）で支援する多様なタッチイベント入力に対応する入力信号を受信し、受信された入力信号による機能運用を制御することができる。また、制御部１７０は、有線通信に基づいてまたはコードレス通信に基づいて各種データの送受信を制御することもできる。
電源供給部１８０は、制御部１７０の制御によって外部の電源、内部の電源を印加されて各構成要素の動作に必要な電源を供給することができる。
以上説明したように、本発明の多様な実施形態によるユーザデバイス１００は、一実施形態によれば、自然言語に基づく音声またはテキストを利用した規則設定のためのユーザ入力を受け入れ、前記ユーザ入力による規則を設定するためのコンピュータにより実行される（ｃｏｍｐｕｔｅｒ−ｉｍｐｌｅｍｅｎｔｅｄ）規則設定モジュール１７３、自然言語に基づく音声またはテキスト、ユーザデバイス１００の動作感知または外部のメッセージ受信を利用した規則実行のための命令を受け入れ、前記命令による規則を実行するためのコンピュータにより実行される規則実行モジュール１７５、規則に設定された１つまたはそれ以上の条件（状況）に反応して内部または外部で発生する１つまたはそれ以上の条件を感知（認識）するためのコンピュータにより実行される条件感知モジュール１７７、規則に設定された１つまたはそれ以上の条件認識に反応して１つまたはそれ以上のアクション実行を制御するためのコンピュータにより実行されるアクション実行モジュール１７９によって具現されることができる。
本発明の多様な実施形態において前記規則設定モジュール１７３は、規則設定モードでユーザによる自然言語に基づく音声またはテキスト入力に反応して前記音声またはテキストを認識（例えば、音声認識、筆記認識）するように動作することができる。本発明の多様な実施形態において前記規則設定モジュール１７３は、１つの規則に対して多数の条件を設定することができ、多数の条件に対応する多数のアクションを設定するように動作することができる。本発明の多様な実施形態において前記条件感知モジュール１７７は、１つの規則に設定された多数の条件に対応する多重状況認識（ｍｕｌｔｉ ｃｏｎｔｅｘｔ ａｗａｒｅ）を行うように動作することができる。本発明の多様な実施形態において前記アクション実行モジュール１７９は、１つの規則で多重状況認識に反応して多数のアクションを同時または順次に行うように動作することができる。
本発明において説明される多様な実施形態は、ソフトウェア（ｓｏｆｔｗａｒｅ）、ハードウェア（ｈａｒｄｗａｒｅ）またはこれらの組合されたものを利用してコンピュータ（ｃｏｍｐｕｔｅｒ）またはこれと類似の装置で読み取り可能な記録媒体内で具現されることができる。ハードウェア的な具現によれば、本発明で説明される実施形態は、ＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅｓ）、ＰＬＤｓ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ）、プロセッサ（ｐｒｏｃｅｓｓｏｒｓ）、制御機（ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロコントローラー（ｍｉｃｒｏ−ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロプロセッサー（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒｓ）、その他機能実行のための電気的なユニット（ｕｎｉｔ）のうち少なくとも１つを利用して具現されることができる。
そして、一部の場合、本明細書で説明される実施形態が制御部１７０自体で具現されることができる。ソフトウェア的な具現によれば、本明細書で説明される手続および機能のような実施形態は、別途のソフトウェアモジュール（例えば、規則設定モジュール１７３、規則実行モジュール１７５、条件感知モジュール１７７またはアクション実行モジュール１７９）で具現されることができる。前記ソフトウェアモジュールそれぞれは、本明細書において説明される１つ以上の機能および動作を行うことができる。
ここで、前記記録媒体は、ユーザ入力によって状況認識サービスのための規則を定義し、前記規則実行のための命令が検出されれば、前記命令に対応する１つまたはそれ以上の規則を実行し、前記実行された規則による条件（状況）が認識されるとき、前記実行規則で前記条件に対応する１つまたはそれ以上のアクションが実行されるように処理するプログラムを格納したコンピュータで読み取り可能な記録媒体を含むことができる。また、前記記録媒体は、自然言語に基づく音声およびテキストのうち少なくとも１つのユーザ入力を条件および前記条件に対応するアクションで区分して前記条件および前記アクションを含む規則を設定する動作、前記規則に対応する命令に反応して前記規則を活性化する動作、前記規則活性化に応答して前記規則による条件を感知する動作、前記条件が感知されるとき、前記条件に対応する前記アクションを実行する動作を行うプログラムを格納したコンピュータで読み取り可能な記録媒体を含むことができる。
以上説明したような、本発明の多様な実施形態によるユーザデバイス１００は、本発明の機能を支援するすべての情報通信機器、マルチメディア機器およびそれに対する応用機器のように、ＡＰ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を使用するすべてのデバイスを含むことができる。例えば、前記ユーザデバイス１００は、多様な通信システムに対応する各通信プロトコル（ｃｏｍｍｕｎｉｃａｔｉｏｎ ｐｒｏｔｏｃｏｌｓ）に基づいて動作する移動通信端末機を含めて、タブレットパソコン（ｔａｂｌｅｔ Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、スマートフォン（Ｓｍａｒｔ Ｐｈｏｎｅ）、デジタルカメラ（Ｄｉｇｉｔａｌ Ｃａｍｅｒａ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、メディアプレーヤー（Ｍｅｄｉａ Ｐｌａｙｅｒ）（例えば、ＭＰ３プレーヤー）、携帯ゲーム端末、およびＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）などのデバイスを含むことができる。また、本発明の多様な実施形態による機能制御方法は、デジタルテレビ（Ｄｉｇｉｔａｌ Ｔｅｌｅｖｉｓｉｏｎ）、ＤＳ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｇｅ）、ＬＦＤ（Ｌａｒｇｅ Ｆｏｒｍａｔ Ｄｉｓｐｌａｙ）などのように多様なディスプレイデバイス、ノートパソコンなどのようなラップトップコンピュータおよび個人用コンピュータ（ＰＣ）などに適用されて運用されることもできる。
図２は、本発明の実施形態によるユーザデバイスで状況認識サービスを運用する方法を示す流れ図である。
図２を参照すれば、制御部１７０(例えば、規則設定モジュール１７３)は、ユーザ入力部１２０、マイク１４３またはタッチスクリーン１３０を介して状況認識サービスのための規則を定義する入力が発生すれば、ユーザから入力（または選択）される規則を定義（例えば、規則設定および生成）することができる（２０１段階）。
例えば、ユーザは、規則設定モードでマイク１４３を介して設定しようとする規則に対応する自然言語に基づく音声を入力することができる。または、ユーザは、規則設定モードでタッチスクリーン１３０を介して設定しようとする規則に対応する自然言語に基づくテキストを入力することもできる。また、制御部１７０（例えば、規則設定モジュール１７３）は、ユーザ入力を認識（例えば、音声認識または筆記認識など）および解析（ｐａｒｓｉｎｇ）して実行する規則を定義することができる。制御部１７０（例えば、規則実行モジュール１７５）は、ユーザにより規則が定義されるとき、設定された規則に対する規則実行を待機（すなわち、規則実行のための命令検出待機）する活性化状態で管理することもできる。本発明の多様な実施形態において規則を設定および生成する動作について後述する図面（例えば、図３Ａ〜３Ｋ、図３１Ａ〜図３１Ｎなど）と関連して下記で説明される。
制御部１７０（例えば、規則実行モジュール１７５）は、ユーザ入力による１つまたはそれ以上の規則が定義された状態で特定規則の実行のための命令が受信されれば、当該規則実行を制御することができる（２０３段階）。
例えば、ユーザは、ユーザ入力部１２０、マイク１４３またはタッチスクリーン１３０を介してあらかじめ定義された規則を実行するための命令語または命令語文章を自然言語に基づいて入力することができる。ユーザは、機能キー入力に基づいて、音声入力に基づいて、タッチ入力（例えば、テキストの筆記入力、ウィジェット選択など）に基づいて、またはユーザデバイス１００を利用したジェスチャーに基づいて（例えば、ユーザデバイス１００の姿勢変化（例えば、傾き、加速運動など）など）のうち状況認識サービスの活性化のための１つまたはそれ以上の規則に対応する特定命令を入力することによって、当該規則を実行することができる。このように、本発明の実施形態において前記規則実行のための命令は、規則実行のために当該規則に定義された条件に合致するユーザの多様な入力方式を含むことができる。また、本発明の実施形態において前記規則実行のための命令は、前記ユーザによる入力を含めて、規則実行のために定義された条件に合致する特定メッセージまたはサウンドが外部から受信されることを含むことができる。それでは、制御部１７０（例えば、規則実行モジュール１７５）は、規則実行のための条件を満たす特定命令を認識し、認識された命令に応答して当該規則を実行し、状況認識サービスの活性化を制御することができる。
制御部１７０（例えば、条件感知モジュール１７７）は、実行されている規則に対応する条件（状況）をトリガリング（ｔｒｉｇｇｅｒｉｎｇ）することができる（２０５段階）。そして、制御部１７０（例えば、アクション実行モジュール１７９）は、実行中の規則に対応する条件がトリガリングされれば、前記条件に対応する１つまたはそれ以上のアクション実行を制御することができる（２０７段階）。
例えば、制御部１７０（例えば、条件感知モジュール１７７）は、１つまたはそれ以上の規則が実行されるとき、当該規則でアクションを誘発させる条件または状況（ｔｒｉｇｇｅｒｉｎｇ ｃｏｎｄｉｔｉｏｎ）を監視することができる。そして、制御部１７０（例えば、アクション実行モジュール１７９）は、前記アクションを誘発する条件または状況が感知されれば、当該アクションを実行するための内部または外部に対する動作を制御することができる。ここで、アクション実行は、定義された規則（例えば、条件およびアクション）によって機能（またはアプリケーション）を実行し、それによる結果（例えば、状況情報）を生成し、ユーザまたは他のユーザにフィードバックされるようにする動作を含むことができる。
一方、本発明の実施形態では、前記２０１段階による規則定義動作は、ユーザによりあらかじめ定義されて格納された状態であることができ、またはユーザが希望する規則を実行する前に、ユーザにより追加定義されることもできる。したがって、前者の場合、ユーザは、規則実行のための命令を入力する２０３段階をすぐ行うことができ、後者の場合、ユーザは、規則定義および規則実行のための命令を入力する２０１段階および２０３段階をすべて行うこともできる。
図３Ａ〜図３Ｋは、本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。
図３Ａ〜図３Ｋは、まず図２を参照した説明で制御部１７０（例えば、規則設定モジュール１７３）がユーザ入力のうち自然言語に基づく音声入力を受け入れ、前記音声入力に反応して規則（例えば、条件およびアクション）を定義する動作の例示を示すものである。図３Ａ〜図３Ｋを参照すれば、図３Ａは、ユーザデバイス１００のユーザが本発明の実施形態による状況認識サービスのためのアプリケーションを実行したときのユーザデバイス１００の画面例示を示すものである。
図３Ａに示されたように、状況認識サービスのためのアプリケーションは、ユーザが定義した規則のリスト（ｌｉｓｔ）を表示するための第１メニュー（ｍｅｎｕ）３１０（例えば、マイメニュー、図３Ａで“Ｍｙ Ｒｕｌｅ”）、定義された規則のうち現在実行されている規則のリストを表示するための第２メニュー３２０（例えば、アクティングメニュー、図３Ａで“Ａｃｔｉｎｇ Ｒｕｌｅ”）、新しい規則を追加定義するための第３メニュー３５０（例えば、追加メニュー、図３ａで“Ａｄｄ Ｒｕｌｅ”）などを含むＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）またはＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）（以下、画面インターフェース（ｄｉｓｐｌａｙ ｉｎｔｅｒｆａｃｅ）という）を提供することができる。
また、前記画面インターフェースは、第１メニュー３１０または第２メニュー３２０のうち選択されたメニューアイテムに対応するリストを提供することができる。例えば、図３Ａの例示のように、第１メニュー３１０が選択された状態であるとき、ユーザにより定義された各規則に対応するアイテム(ｉｔｅｍ)（例えば、“家”アイテム３３０、“タクシー”アイテム３４０）のリストが表示されることができる。
また、前記アイテム３３０、３４０は、当該アイテムに設定された詳細情報を表示するためのプルダウンメニュー（ｐｕｌｌ−ｄｏｗｎ ｍｅｎｕ）３３５を含むことができる。例えば、ユーザがプルダウンメニュー３３５を選択するとき、プルダウン（ｐｕｌｌ−ｄｏｗｎ）またはドロップダウン（ｄｒｏｐ ｄｏｗｎ）メニュー３３５が選択された当該アイテムの規則に設定された詳細情報が当該アイテムの下方に広がって表示されることができる。
図３Ａのような状態で、ユーザは、新しい規則を追加定義するために第３メニュー３５０（Ａｄｄ Ｒｕｌｅ）を選択（例えば、タップに基づくタッチイベント）することができる。それでは、ユーザデバイス１００の制御部１７０（例えば、規則設定モジュール１７３）は、規則を定義するための動作開始であるものと決定し、それにより、規則設定モードに切り替えて、それによる画面インターフェースを表示することができる。このような例示が前記図３Ｂに示されている。
図３Ｂは、ユーザデバイス１００のユーザが規則を定義するための規則設定モードを実行したときのユーザデバイス１００の画面例示を示すものである。本発明の実施形態において前記図３Ｂによる動作は、規則定義による動作実行方法に対するチュートリアル（ｔｕｔｏｒｉａｌ）をユーザに提供するための動作に該当するもので、このようなチュートリアルを提供する動作は、ユーザ選択によって省略されることができる。
図３Ｂに示されたように、チュートリアルは、ポップアップウィンドウ（ｐｏｐ−ｕｐ ｗｉｎｄｏｗ）３５１を介して提供されることができる。制御部１７０は、チュートリアルが表示されるように動作するとき、ポップアップウィンドウ３５１の表示を制御し、ポップアップウィンドウ３５１内に規則を定義する方法を案内する実行情報（例えば、イメージ、テキストなど）を表示することができる。例えば、前記実行情報は、音声認識動作状態を指示するイメージ３５１ｃと規則を定義する方法を案内するテキスト３５１ｄ（例えば、次のようにルールを作ってください。“地下鉄と言えば、音楽を再生してくれ”、“地下鉄と言えば、次をしてくれ”）などを含んで提供されることができる。また、チュートリアルを提供するポップアップウィンドウ３５１は、規則定義する次の動作に進行するための選択メニュー３５１ａ（例えば、確認）と規則定義を取り消す動作に進行するための選択メニュー３５１ｂ（例えば、取り消し）とを含むことができる。図３Ｂのようなチュートリアルが行われる動作で前記ポップアップウィンドウ３５１の選択メニュー３５１ａ、３５１ｂの選択によって規則定義のための次の動作が行われるか、または規則定義のための動作が取り消されることができる。
図３Ｃないし図３Ｋは、本発明の実施形態において規則設定モードに進入し、新しい規則を定義する動作を示すものである。図３Ｃ〜図３Ｋでは、当該規則の条件およびアクションを設定する自然言語に基づく音声をユーザから入力され、ユーザ入力によって当該規則を設定する動作例示を示す。
図３Ｃ〜図３Ｋに示されたように、図３Ｃで、制御部１７０は、規則設定モード進入に反応してユーザの音声入力を案内（例えば、“ルールを話してください”）するポップアップウィンドウ３５３を表示した後、ユーザの音声入力を待機することができる。図３Ｃのような状態で、ユーザは、定義する規則のタイプ（例えば、単数構造または複数構造など）によって自然言語に基づいて１つまたはそれ以上の条件と、当該条件に設定する１つまたはそれ以上のアクションに対する音声を入力することができる。
例えば、図３Ｃのような状態で、ユーザは、“地下鉄と言えば、次をしてくれ”と音声を入力することができる。それでは、制御部１７０は、前記ユーザの音声入力を認識し、図３Ｄのように、音声認識による結果画面をポップアップウィンドウ３５５を通じて提供することができる。一実施形態によれば、制御部１７０は、“命令語［地下鉄］何をしてあげましょうか？”のように音声認識に対する結果と“地下鉄”という条件で行うアクションに対する音声入力を案内（例えば、“何をしてあげましょうか？”）するポップアップウィンドウ３５５を表示した後、ユーザの音声入力を待機することができる。
図３Ｄのような状態で、ユーザは、“ワイファイ（Ｗｉ−Ｆｉ）オンしてくれ”と音声を入力することができる。それでは、制御部１７０は、前記ユーザの音声入力を認識し、図３Ｅのように、音声認識および先立って入力された条件（例えば、地下鉄）とそれによるアクション（例えば、Ｗｉ−Ｆｉターンオン）をマッピングする動作中であることを案内（例えば、認識中）するポップアップウィンドウ３５９を提供することができる。本発明の多様な実施形態において、前記認識動作による関連画面表示は、省略されることもできる。
制御部１７０は、前述した認識およびマッピング動作が完了するとき、図３ｆのように、それによる結果画面をポップアップウィンドウ３５９を通じて提供することができる。例えば、制御部１７０は、ユーザの音声入力によって新しい規則が定義され、定義された規則およびそのアクションに対する情報を案内するポップアップウィンドウ３５９を提供することができる。一実施形態によれば、前記ポップアップウィンドウ３５９を通じて示したように、制御部１７０は、“新しいルールが生成され、生成されたルールの条件が地下鉄であり、地下鉄の条件で実行されるアクションがＷｉ−Ｆｉのターンオン設定”であることを案内し、それに対するユーザ確認（例えば、確認および取り消し）を要求するメニューを提供することができる。図３Ｆのような状態で、ユーザは、前述した手続によって設定された規則を定義しようとするとき、確認メニューを選択することができ、上記のように設定された規則を取り消そうとするとき、取り消しメニューを選択することができる。
図３Ｆのような状態で、ユーザが確認メニューを選択（または音声入力）するとき、図３Ｇのように、ユーザの次の音声入力を案内（例えば、“次を話してください”するポップアップウィンドウ３６１を表示した後、ユーザの音声入力を待機することができる。図３Ｇのような状態で、ユーザは、“振動に変えてくれ”と音声を入力することができる。それでは、制御部１７０は、前記ユーザの音声入力を認識し、図３Ｈのように音声認識および先立って入力された条件（例えば、地下鉄）とそれによる追加アクション（例えば、振動設定）をマッピングする動作中であることを案内（例えば、認識中）するポップアップウィンドウ３６３を提供することができる。そして制御部１７０は、前述した認識およびマッピング動作が完了するとき、図３ｉのように、それによる結果画面をポップアップウィンドウ３６５を通じて提供することができる。例えば、制御部１７０は、ユーザの音声入力によって設定が進行中の規則およびそのアクションに対する情報を案内するポップアップウィンドウ３６５を提供することができる。一実施形態によれば、前記ポップアップウィンドウ３６５を通じて示されたように、制御部１７０は、“新しいルールが生成され、生成されたルールの条件が地下鉄であり、地下鉄の条件で実行される追加アクションが振動モードに切替設定”であることを案内し、それに対するユーザ確認（例えば、確認および取り消し）を要求するメニューを提供することができる。図３ｉのような状態で、ユーザは、前述した手続によって設定された規則を定義しようとするとき、確認メニューを選択することができ、上記のように設定された規則を取り消そうとするとき、取り消しメニューを選択することができる。
図３Ｉのような状態で、ユーザが確認メニューを選択するとき、図３Ｊのように、ユーザの次の音声入力を案内（例えば、“次を話してください”）するポップアップウィンドウ３６７を表示した後、ユーザの音声入力を待機することができる。図３Ｉのような状態で、ユーザは、“エンド（または終了など）”と音声を入力することができる。それでは、制御部１７０は、前記ユーザの音声入力を認識し、図３Ｋのように、図３Ｂ〜図３Ｊによって進行された規則定義によって設定された条件およびそれに対応する１つまたはそれ以上のアクションに対する情報を提供することができる。
例えば、制御部１７０は、図３Ｋに示したように、先立って手続によって進行された規則定義動作で前記規則の条件が地下鉄であり、前記条件によって実行されるアクションが“Ｗｉ−Ｆｉのターンオン設定”と“振動モード切替設定”であることを示すことができる。このように、追加定義された規則は、先立って図３Ａで説明した規則リストで前記追加された定義が含まれて提供されることができる。例えば、ユーザにより以前に定義された規則に対応するアイテム（例えば、“家”アイテム３３０、“タクシー”アイテム３４０）に前記新しく追加定義された規則に対応するアイテム（例えば、“地下鉄”アイテム３６０）が追加されて現われることができ、前記新しく追加された“地下鉄”アイテム３６０に対する詳細情報（例えば、条件およびそのアクション）が広がった形態で提供されることができる。前記画面インターフェースは、デバイスの多様な設定を表示することができる。例えば、前記画面インターフェースは、Ｗｉ−Ｆｉ設定３７１とサウンド設定３７３などを表示することができる。前記デバイスの設定は、アイテム（例えば、アイテム３３０、アイテム３４０、および／またはアイテム３６０）と連関されることができる。
一方、以上で、図３Ａ〜図３Ｋを参照して説明したように、本発明の多様な実施形態によれば、１つの条件に１つまたはそれ以上のアクションをマッピングすることができる。すなわち、本発明の実施形態によれば、単数構造による規則定義動作と複数構造による規則定義動作を支援することができる。これを整理して見れば、次の通りである。
前記単数構造による規則定義動作を要約すれば、下記の表１のように示すことができる。
前記複数構造による規則定義動作を要約すれば、下記の表１のように示すことができる。
前記表１および前記表２に開示されたように、「“家”と言えば、ベル音に変えてくれ。」のように、単純Ｉｆ条件文の形態で可能であり、または「“家”と言えば、電話がかかってくるとき、テレビ音を消去してくれ。」のように、重複Ｉｆ条件文の形態でも可能である。また、本発明の実施形態によれば、単純Ｉｆ条件文または重複Ｉｆ条件文による１つまたはそれ以上の条件に対して複数のアクション（例えば、端末機機能、状況による多重アプセサリ（Ｍｕｌｔｉ−Ａｐｐｃｅｓｓｏｒｙ（Ａｐｐ＋Ａｃｃｅｓｓｏｒｙ）連動、クラウド（Ｃｌｏｕｄ）サービス使用）が設定されることができる。例えば、複数のアクションのうち端末機機能の場合、Ｗｉ−Ｆｉモード設定、ベル音／振動／無音モード変更、文字伝送（受信者、内容音声設定）、カメラフラッシュ点灯などが含まれることができ、状況による多重アプセサリの場合テレビ音消去設定、ＬＥＤ電球点灯などが含まれることができ、クラウドサービス使用の場合ユーザ位置把握（例えば、ＧＰＳ利用）後、文字伝送などが含まれることができる。
このような本発明の実施形態で規則に設定されることができる条件（または命令）の種類および少なくとも１つの条件に対して設定されることができるアクションの種類を整理して記述すれば、次の表３のように示すことができる。
一方、本発明の多様な実施形態によれば、ユーザが特定条件に対して実行しようとするアクションによってユーザデバイス１００は、付加的に必要な情報をユーザに音声またはテキストでフィードバック（ｆｅｅｄｂａｃｋ）しながらインタラクション（ｉｎｔｅｒａｃｔｉｏｎ）（例えば、質疑応答方式）動作を行うことができる。例えば、本発明の多様な実施形態によれば、ユーザデバイス１００で支援可能なすべてのアクションに対してユーザからどんな情報を受けなければならないかをあらかじめデータベース（ＤＢ、Ｄａｔａ Ｂａｓｅ）化されて提供されることができる。一実施形態によれば、文字を伝送するアクションの場合、受信者と文字内容に対する追加的な情報が必要であるということをユーザデバイス１００が認知し、ユーザに音声およびテキストで追加情報を入力するように誘導することができ、また、誤った入力値の場合、エラーを通知し、再入力を要請および受信することができる。このような動作例示について、下記図４Ａ〜図４Ｊを参照して説明する。
図４Ａ〜図４Ｊは、本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。
図４Ａ〜図４Ｊを参照すれば、制御部１７０は、先立って図３Ａ（または図３Ｂ動作を含む）のような状態で、ユーザの規則設定モード進入に反応してユーザの音声入力を案内（例えば、“ルールを話してください”）するポップアップウィンドウ４５１を表示した後、ユーザの音声入力を待機することができる。図４Ａのような状態で、ユーザは、定義する規則のタイプ（例えば、単数構造または複数構造など）によって自然言語に基づいて１つまたはそれ以上の条件と、当該条件に設定する１つまたはそれ以上のアクションに対する音声を入力することができる。
例えば、図４Ａのような状態で、ユーザは、“タクシーと言えば、次をしてくれ”と音声を入力することができる。それでは、制御部１７０は、前記ユーザの音声入力を認識し、図４Ｂのように、音声認識による結果画面をポップアップウィンドウ４５３を通じて提供することができる。一実施形態によれば、制御部１７０は、“命令語［タクシー］何をしてあげましょうか？”のように、音声認識に対する結果と“タクシー”という条件で行うアクションに対する音声入力を案内(例えば、“何をしてあげましょうか？”)するポップアップウィンドウ４５３を表示した後、ユーザの音声入力を待機することができる。
図４Ｂのような状態で、ユーザは、“文字を送ってくれ”と音声を入力することができる。それでは、制御部１７０は、前記ユーザの音声入力を認識し、図４Ｃ〜図４Ｆのように、前記アクション（例えば、“文字を送ってくれ”）に対してユーザから入力されなければならない情報を認識し、それに対するフィードバックを提供するインタラクション動作を行うことができる。
例えば、図４Ｃに示されたように、制御部１７０は、前記“文字を送ってくれ”のアクションに対して追加されることができる情報である“受信者”に対して入力することを案内（例えば、“命令語［タクシー］受信者を話してください。”）するポップアップウィンドウ４５５を表示した後、ユーザの音声入力を待機することができる。図４ｃのような状態で、ユーザは、文字を伝送する特定受信者情報（例えば、“ボーイフレンド”）に対する音声を入力することができる。それでは、制御部１７０は、前記ユーザの音声入力を認識し、図４Ｄに示されたように、前記“文字を送ってくれ”のアクションに対して追加されることができる情報である“文字内容”に対して追加入力することを案内（例えば、“Ｔｏ.［ボーイフレンド］文字内容を話してください。”）するポップアップウィンドウ４５７を表示した後、ユーザの音声入力を待機することができる。すなわち、制御部１７０は、図４Ｃで入力された受信者（例えば、“ボーイフレンド”）のアクションに対する追加的な情報が必要であるということを認知し、それによって伝送する文字の内容に対して入力することを要請することができる。
図４Ｄのような状態で、ユーザは、図４Ｄで入力された受信者（例えば、“ボーイフレンド”）に伝送する文字内容を入力することができる。一実施形態によれば、ユーザは、“ボーイフレンド”に伝送する文字内容で“私の位置を送ってくれ”という音声を入力することができる。それでは、制御部１７０は、前記ユーザの音声入力を認識し、図４Ｅに示されたように、前記“位置伝送”のアクションに対する追加的な情報が必要であるということを認知し、ユーザに前記“位置伝送”に対する周期を案内（例えば、Ｔｏ．［ボーイフレンド］何分ごとに送りましょうか？”）するポップアップウィンドウ４５９を表示した後、ユーザの音声入力を待機することができる。
図４Ｅのような状態で、ユーザは、“私の位置伝送”に対して伝送する周期を入力することができる。一実施形態によれば、ユーザは、“私の位置伝送”に対する周期で“５分ごとに”という音声を入力することができる。それでは、制御部１７０は、前記ユーザの音声入力を認識し、図４Ｆに示されたように、それに対する結果画面を提供することができる。
例えば、図４Ｆに示されたように、ユーザが現在定義しようとする規則の条件に設定された条件情報４１０と、前記条件に対するアクションに設定されたアクション情報４１１、４１３、４１５、４１７に対してポップアップウィンドウ４６１を通じて提供されることができる。特に、前記アクション情報４１１、４１３、４１５、４１７の場合、初めて設定されるアクションによって付加的に設定されたアクションが提供されることができる。一実施形態によれば、第１アクションとして“メッセージ伝送４１１”が設定されることができ、前記第１アクションによるメッセージを伝送する対象である第２アクションとして“ボーイフレンド４１３”が設定されることができ、前記第１アクションおよび第２アクション（または第２アクション）によってボーイフレンドに伝送するメッセージの内容である第３アクションとして“私の位置伝送４１５”が設定されることができ、前記第１アクション〜第３アクション（または第３アクション）によってボーイフレンドに私の位置に対するメッセージを伝送する周期の第４アクションとして“５分（４１７）”が設定されることができる。すなわち、本発明の実施形態によれば、制御部１７０は、前述したように、アクションによって付加的に必要な情報をユーザに音声またはテキストで質問しながらインタラクション動作を行うことができる。この際、制御部１７０は、アクションに対するインタラクション動作のうち追加的な情報がこれ以上不要なアクションに対してこれを認知し、図４Ｆのように、要請された条件（例えば、“タクシー４１０”）に対して設定されたアクション（例えば、“メッセージ伝送４１１”、“ボーイフレンド４１３”、“私の位置伝送４１５”、“５分（４１７）”）に対する情報をポップアップウィンドウ４６１を通じて提供することができる。これにより、ユーザは、“タクシー”という条件でボーイフレンドに５分ごとに私の位置を含むメッセージを伝送するアクションを有する規則を定義することができる。
一方、図４Ｆのような状態で、ユーザは、前述した手続によって設定された規則の条件（例えば、タクシー）に対するアクション（例えば、ボーイフレンド、私の位置伝送、５分）を定義しようとするとき、確認メニューを選択することができ、上記のように設定された規則を取り消すかまたは再設定しようとするとき、取り消しメニューを選択することができる。
図４Ｆのような状態で、ユーザが確認メニューを選択（または音声入力）すれば、（例えば、“確認”と言えば）、図４Ｇのように、ユーザの次音声入力を案内（例えば、“次を話してください”）するポップアップウィンドウ４６３を表示した後、ユーザの音声入力を待機することができる。図４Ｇのような状態で、ユーザは、前記条件（例えば、タクシー）に対する追加的なアクションとしてマナーモードへの切替設定のために“振動に変えてくれ”と音声を入力することができる。それでは、制御部１７０は、前記ユーザの音声入力を認識し、図４Ｈのように音声認識および先立って入力された条件（例えば、タクシー）とそれによる追加アクション（例えば、振動設定）に対する結果画面をポップアップウィンドウ４６５を通じて提供することができる。一実施形態によれば、前記ポップアップウィンドウ４６５を通じて示したように、制御部１７０は、“新しいルールが生成され、生成されたルールの条件がタクシーであり、タクシーの条件で実行される追加アクションが振動モードに切替設定”であることを案内し、それに対するユーザ確認（例えば、確認および取り消し）を要求するメニューを提供することができる。
図４Ｈのような状態で、ユーザが確認メニューを選択するとき、図４Ｉのように、ユーザの次の音声入力を案内（例えば、“次を話してください”）するポップアップウィンドウ４６７を表示した後、ユーザの音声入力を待機することができる。図４Ｉのような状態で、ユーザは、進行中の規則に対する追加設定を終了しようとするとき、“エンド（または終了など”）と音声を入力することができる。それでは、制御部１７０は、前記ユーザの音声入力を認識し、図４Ｊのように、前記図４Ａ〜図４Ｉによって進行された規則に設定された条件およびそれに対応する１つまたはそれ以上のアクションに対する情報を提供することができる。
例えば、制御部１７０は、図４Ｊに示したように、先立って手続きによって進行された規則定義動作で前記規則の条件がタクシーであり、前記条件によって実行されるアクションが“メッセージ伝送”と“サウンド設定”に該当し、それに対する詳細情報として“ボーイフレンドに私の位置を５分ごとにメッセージで伝送”であり、“サウンド設定で振動”が設定されていることを案内する結果画面を提供することができる。
一方、本発明の多様な実施形態によれば、図４Ａ〜図４Ｆに示されたように、ユーザが入力するアクションによって付加的に必要な情報をユーザに音声またはテキストで質問しながらインタラクションを動作を行うことができる。また、本発明の多様な実施形態によれば、図４Ｇ〜図４Ｉに示されたように、追加的な情報が不要なアクション（例えば、サウンド設定など）を認知することができ、追加的な情報が不要なアクションに対しては、追加的なユーザ入力を要請することなく、次の動作をすぐ進行することができる。
以上では、本発明の多様な実施形態によって規則を定義する動作について説明した。以下では、上記のように定義された特定規則を実行する動作例示について説明する。本発明の多様な実施形態によれば、定義された規則に対する実行は、先立って説明したように、ユーザの音声またはテキスト入力によってすぐ実行されることができる。また、定義された規則に対する実行は、以下で説明するように、ユーザデバイスでユーザの定義による規則に対してウィジェット（ｗｉｄｇｅｔ）を生成し、前記ウィジェットによって当該規則を実行することもできる。すなわち、本発明の多様な実施形態によれば、ウィジェットを通じて規則に対する命令をすぐ実行することができるように支援することができる。
また、本発明の多様な実施形態において規則生成時に、規則を生成する動作中に通話受信またはその他の動作によるインタラプトが発生し、規則生成動作が不可能な場合、インタラプト発生時点まで進行中であった規則を格納（または臨時格納）し、インタラプトによる動作が行われるようにすることができる。
図５Ａ〜図５Ｅは、本発明の実施形態によるユーザデバイスで規則を実行する動作例示を示す図である。
図５Ａ〜図５Ｅは、先立って図２を参照した説明で制御部１７０（例えば、規則実行モジュール１７５）がユーザ入力中に自然言語に基づく音声入力を受け入れ、前記音声入力に反応して規則を実行し、制御部１７０（例えば、条件感知モジュール１７７）が規則実行に反応して前記規則に対応する条件を感知し、制御部１７０（例えば、アクション実行モジュール１７９）が条件感知（例えば、状況（ｃｏｎｔｅｘｔ）が検出されるとき）に反応して当該条件に対応する１つまたはそれ以上のアクションを実行する動作の例示を示すものである。
図５Ａ〜図５Ｅを参照すれば、図５Ａは、本発明の実施形態による状況認識サービスのためのウィジェットが提供されているときのユーザデバイス１００の画面例示を示すものである。
図５Ａに示されたように、状況認識サービスのためのウィジェット５００は、ユーザデバイス１００のホーム画面（またはメニュー画面など）で表示されることができる。前記ウィジェット５００は、規則実行を命令するユーザ入力（例えば、タップ、タッチ）を受け入れるための命令入力領域（または規則実行ボタン）５１０と、ユーザにより定義された規則のうち現在動作中の規則に対する情報を表示する実行情報領域５２０とを含むことができる。また、前記ウィジェット５００は、実行中の規則などに対する情報を更新するためのリフレッシュ機能を提供するアイテム５３０をさらに含むことができる。一実施形態によれば、前記命令入力領域５１０は、ユーザの直観性が考慮されることができるイメージとテキストを含んで提供されることができる。そして、図５ａの例示では、現在実行中の規則がない状態の例示を示したもので、前記実行情報領域５２０には、動作中の規則がないことが案内されることができる。
図５Ａのような状態で、ユーザは、規則を実行するために前記命令入力領域５１０を選択（例えば、タップに基づくタッチイベントなど）することができる。それでは、制御部１７０(例えば、規則実行モジュール１７５)は、規則を実行するための動作開始であるものと決定し、それによって実行しようとする規則に対する情報入力（例えば、音声）を案内（例えば、“命令語を話してください”）するポップアップウィンドウ５５１を表示した後、ユーザの音声入力を待機することができる。
図５Ａのような状態で、ユーザは、実行しようとする当該規則に対する音声（例えば、“地下鉄”）を入力することができる。それでは、制御部１７０は、前記ユーザの音声入力を認識し、図５Ｃに示されたように、前記“地下鉄”に対応する規則をローディング（ｌｏａｄｉｎｇ）中であることを案内（例えば、認識中）するポップアップウィンドウ５５３を提供することができる。本発明の多様な実施形態において前記認識動作による関連画面表示は、省略されることもできる。
制御部１７０は、前述した認識およびローディング動作が完了するとき、図５Ｄのように、それによる結果画面をポップアップウィンドウ５５５を通じて提供することができる。例えば、制御部１７０は、ユーザの音声入力によって実行する規則と、前記規則による条件およびアクションに対する情報をポップアップウィンドウ５５５を通じて提供することができる。一実施形態によれば、制御部１７０は、実行する規則が“地下鉄”であり、その条件として“地下鉄”が設定（例えば、［地下鉄］実行）されており、前記条件によって動作するアクションとして“Ｗｉ−Ｆｉターンオン”および“振動切替”が設定（例えば、‘Ｗｉ−Ｆｉ’ｏｎ、‘振動’設定）されていることを案内することができる。本発明の多様な実施形態において前記実行される規則に対する情報提供動作と関連した画面表示は、省略されることができ、後述する図５Ｅの動作にすぐ進行されることもできる。そして、図５Ｅの動作は、設定された所定の時間の間に表示された後、所定の時間が経過する時点で図５Ｅの動作に自動切り替えられることができる。
図５Ｄのような状態で、所定の時間が経過するとき、制御部１７０は、図５Ｅに示されたように、前記ウィジェット５００の実行情報領域５２０にユーザにより実行された規則（または現在動作中の規則）に対する情報（例えば、地下鉄）をイメージまたはテキストのうち少なくとも１つを利用して提供することができる。例えば、図５Ｅに示されたように、ウィジェット５００の実行情報領域５２０が“動作中のルールがありません。”の代わりに、地下鉄に対応するアイコンおよびテキストが表示されることができる。また、図５Ｅに示されたように、制御部１７０は、規則実行に反応して、ユーザデバイス１００の多様な動作状態情報を提供するインジケータ領域（ｉｎｄｉｃａｔｏｒ ａｒｅａ）に規則が動作中にあることを通知する通知アイテム（ｎｏｔｉｆｉｃａｔｉｏｎ ｉｔｅｍ）５５０を提供することもできる。前記通知アイテムについて後述する。
そして、図５Ｅでは、１つの規則が動作することを例示として示したが、前記手続を通じて複数の規則が実行されることができ、このような場合、前記実行情報領域５２０では、実行中の複数の規則に対する情報が提供されることができる。また、前記では、命令入力領域５１０が選択される時、ユーザ音声入力を要請する動作として進行することを例示したが、本発明の多様な実施形態によれば、前記命令入力領域５１０の選択に反応してユーザにより定義された規則に対する規則リストを提供し、規則リストでユーザが実行しようとする少なくとも１つの規則を選択される動作として進行されることもできる。
一方、制御部１７０(例えば、条件感知モジュール１７７)は、上記のように定義された多様な規則のうち特定規則が動作中の状態で、動作中の当該規則に反応する条件を感知するように動作することができる。そして、制御部１７０（例えば、アクション実行モジュール１７９）は、当該規則の条件が感知されるとき、当該条件にマッピングされた１つまたはそれ以上のアクションを実行するように動作することができる。一実施形態によれば、制御部１７０（例えば、アクション実行モジュール１７９）は、前記規則の条件に対応する状況（ｃｏｎｔｅｘｔ）にマッピングされた少なくとも１つのアクションを実行することができる。
以上のように、本発明の多様な実施形態によれば、ウィジェット５００を通じて規則を実行することができる。一実施形態によれば、ユーザは、ウィジェット５００で命令入力領域（または規則実行ボタン）５１０を選択し、設定された規則（または命令語）に対する音声を言うことができる。それでは、制御部１７０は、規則の開始を通知しながらどんなアクションが行われるかをテキストポップアップまたは音声（例えば、ＴＴＳ（Ｔｅｘｔ Ｔｏ ｓｐｅｅｃｈ）動作）でユーザにフィードバックすることができる。そして、制御部１７０は、実行する当該規則に対して実行情報領域５２０に追加しながら、インジケータ領域を通じて実行中の規則があることを通知する通知アイテム５５０を表示することができる。前記通知アイテム５５０については、後述する。
以下では、本発明の多様な実施形態による状況認識サービス運用方法に対する具体的動作例示について下記図面（例えば、図６〜図１３）を参照して説明する。
図６は、本発明の実施形態によるユーザデバイスを利用した状況認識サービスが提供される動作例示を示す図である。
図６を参照すれば、図６は、ユーザが音声を利用して規則を設定および実行し、ユーザデバイス１００が前記規則に従って定義された条件を認知し、それによるアクションを実行する動作の例示を示したものである。特に、図６では、ユーザが特定条件１（例えば、家）でアクション１（例えば、サウンド設定）を実行し、前記条件１の下に行われる二重条件（条件２）（例えば、電話がかかってくるとき）としてアクション２（例えば、電灯点滅）およびアクション３（例えば、テレビ音消去（ｍｕｔｅ））が行われるようにする規則に対する動作例示を示したものである。
図６に示されたように、ユーザは、ユーザデバイス１００を利用して規則を定義することができる。例えば、ユーザは、ユーザデバイス１００を操作して規則生成のための機能を活性化し、ユーザデバイス１００とのインタラクションを通じて特定位置でベル音を自動切替し、前記特定位置から電話がかかってくるとき、電灯点滅およびテレビ音消去を制御するようにする規則を定義することができる。一実施形態によれば、ユーザは、“家では、サウンド設定をベル音に変え、家から電話がかかってくるとき、電灯を点滅し、テレビを音消去”することと関連した規則をユーザデバイス１００との段階別インタラクション動作によって定義することができる。このような規則を定義する動作は、図３Ａ〜図４Ｊを参照した規則生成動作によって行われることができる。ここで、前記規則を定義する動作は、自然言語に基づいて入力されて設定されることができる。
そして、ユーザは、音声またはテキストを利用した自然言語に基づいて前記定義された規則の実行を命令することができる。図６で定義された規則による状況認識対象、すなわち条件は、“［家］という音声が入力されるとき、家から電話がかかってくるとき”になることができ、前記条件によるアクション実行対象は、“ベルサウンド設定、電灯瞬き、テレビ音消去”になることができる。図６でユーザは、別途の定義をしないが、ユーザデバイス１００では、実行アクションによって付加的なアクション実行を内部的に管理することもできる。例えば、電話がかかってくるとき、電灯点滅およびテレビ音消去に対応して、“電話を受ければ、電灯は、以前状態に戻り、電話を終えれば、テレビ音を自動再生”する追加的なアクションが遂行されるように動作することができる。
一方、ユーザは、上記のように規則が定義された状態で、ユーザ必要に応じて前記定義された規則を実行することができる。例えば、ユーザが外部から家に入るとき、図５Ａ〜図５Ｅのような動作例示に準じて、“家”という音声を入力することができる。それでは、ユーザデバイス１００は、現在動作中の１つまたはそれ以上の規則のうち前記“家”に対応する規則が動作中であるかを確認することができる。ユーザデバイス１００は、前記“家”に対応する規則が動作中の場合、前記“家”という規則に設定された１つまたはそれ以上の条件および当該条件に対するアクションを確認することができる。
ユーザデバイス１００は、前記“家”という規則に定義された一番目の条件として“家”を認知し、それに対応する一番目のアクションとして“ベル音モード変更”を認知することができる。したがって、ユーザデバイス１００は、ユーザの“家”という音声入力に反応してユーザデバイス１００のサウンド設定をベル音モードに自動変更６１０することができる。
また、ユーザデバイス１００は、前記“家”という規則に定義された二番目の条件として“電話がかかってくるとき”を認知し、それに対するインタラプト（例えば、外部からの電話受信）をチェック（判別）することができる。その後、ユーザデバイス１００は、外部から電話が受信されれば（６２０）、当該インタラプトに反応して前記“家”という規則に定義された二番目の条件として“電話がかかってくるとき”を認知することができる。そして、ユーザデバイス１００は、前記電話受信に反応して、二番目のアクションとして“電灯点滅６３０”および三番目のアクションとして“テレビ音消去６４０”を制御するように動作することができる。
一方、ユーザデバイス１００は、電話受信によるアラーム（例えば、電話ベル発生）中にユーザにより電話が受諾（例えば、通話連結）されれば、電灯を以前状態に復帰を制御するように動作することができ、また、通話連結が終われば、テレビ音消去解除によって音再生を制御するように動作することもできる。
図７は、本発明の実施形態によるユーザデバイスを利用した状況認識サービスが提供される動作例示を示す図である。
図７を参照すれば、図７は、ユーザが音声を利用して規則を設定および実行し、ユーザデバイス１００が前記規則に従って定義された条件を認知し、それによるアクションを実行する動作の例示を示すものである。特に、図７では、ユーザが自分の位置（またはユーザデバイスの位置）を設定された時間ごとに指定された少なくとも１つのターゲットユーザデバイスに自動伝送するようにする規則を定義することができる。そして、ユーザデバイス１００は、ユーザ入力によって前記規則を実行し、実行規則で定義された時間ごとに前記少なくとも１つのターゲットユーザデバイスに位置情報を伝送するアクションを実行する場合の例示を示すものである。
図７に示されたように、ユーザは、ユーザデバイス１００を利用して規則を定義することができる。例えば、ユーザは、ユーザデバイス１００を操作して規則を生成することができる機能（またはアプリケーション）を活性化し、少なくとも１つのターゲットユーザデバイス２００に設定された時間ごとに位置情報を伝送するようにする規則を定義することができる。一実施形態によれば、ユーザは、“私がタクシーに乗ったら、パパと弟に５分ごとに私の位置情報を知らせてくれ”のように規則を生成することができる。この際、前記規則は、前述したように、マイク１４３を通じて音声に基づいて入力されるか、または後述するように、ユーザ入力部１２０またはタッチスクリーン１３０を通じてテキストに基づいて入力されることができる。前記音声またはテキストは、前記例示のように、自然言語に基づいて入力されて設定されることを特徴とする。図７で定義された規則による状況認識対象、すなわち、条件は、“移動変化があるとき”になることができ、前記条件によるアクション実行対象は、“パパと弟に５分ごとに位置情報伝送”になることができる。
ユーザデバイス１００は、ユーザ要請に従って前記規則を定義するとき、位置情報を伝送する少なくとも１つのターゲットユーザデバイス２００を指定するためのインターフェースを提供し、ユーザ入力によって前記少なくとも１つのターゲットユーザデバイス２００の情報（例えば、電話番号、名前、ニックネームなど）を前記規則にマッピングして格納することができる。前記規則は、あらかじめ定義されるか、またはユーザ必要に応じて時間および場所の制限なしにリアルタイムで入力および定義されることができる。
また、ユーザは、前記規則定義時に与えられるインターフェースを通じて前記規則を実行するための別途の命令を音声、テキストまたはジェスチャーに基づいて入力することができる。それでは、ユーザデバイス１００は、前記定義された規則と前記命令をマッピングして格納することができる。ここで、ユーザデバイス１００は、音声に基づいて命令が入力されるとき、音声の波形を格納することができ、または、入力された音声をテキストに変換して格納することもできて、または音声の波形および変換されたテキストをすべて格納することもできる。
ユーザは、上記のように規則が定義された状態で、ユーザ必要に応じて前記定義された命令(例えば、音声、テキスト、またはジェスチャーなど)で規則を実行することができる。例えば、ユーザは、図５Ａ〜図５Ｅのような動作例示に準じて、タクシー（ＴＡＸＩ）に乗る前またはタクシーに乗りながら音声で前記定義された規則を実行するための当該命令（例えば、“タクシー”、“タクシーモード”、“今タクシーに乗りなさい”などの音声）を入力することができる。ここで、前記命令は、マイク１４３を通じて音声に基づいて入力されることを例示するが、ユーザ入力部１２０またはタッチスクリーン１３０を通じてテキストに基づいて入力されるか、またはジェスチャーに基づいて入力されることもできる。前記音声およびテキストは、前記例示のように自然言語に基づいて入力されることを特徴とする。
また、ユーザは、前記規則（または条件、状況認識など）を実行するための音声を入力しようとするとき、ユーザデバイス１００に規則実行のための音声入力を行うことを通知する動作を先行することもできる。例えば、音声で規則（または条件、状況認識など）を実行する方式の場合、マイク１４３を活性化する動作が必要なことがある。すなわち、音声入力を待機するためにマイク１４３を常時ターンオン状態に維持するとき、意図しない音声入力で不要な動作やエラーが発生することができる。したがって、音声入力方式では、マイク１４３を活性化する特定動作（例えば、ウィジェット、ジェスチャーまたは機能キーなど）を定義し、音声入力前にマイク１４３をターンオンするために定義された当該動作が先行されることができる。一実施形態によれば、ユーザは、定義されたジェスチャーを行った後、音声を入力するか、または定義された機能キーを押圧した状態で音声を入力するか、またはウィジェットの規則実行ボタンを選択した後、音声を入力することができる。
ユーザデバイス１００は、入力された音声を認識および解析し、当該音声に対応する規則を実行することができる。例えば、ユーザデバイス１００は、特定規則に対応する音声が入力されるとき、あらかじめ定義された規則（例えば、各規則別にマッピングされた音声波形）のうち入力音声に対応する音声波形を検索することができる。または、ユーザデバイス１００は、あらかじめ定義された規則（例えば、各規則別にマッピングされたテキスト）のうち入力音声をテキストに変換し、変換されたテキストに対応するテキストを検索することができる。または、あらかじめ定義された規則(例えば、各規則別にマッピングされた音声波形およびテキスト)のうち前記入力音声に対応する音声波形およびテキストをすべて検索することもできる。
ユーザデバイス１００は、規則実行によって条件（状況）認識を行うことができる。例えば、ユーザデバイス１００は、前記定義された規則に従ってユーザの“今タクシーに乗りなさい”のような条件１を認知し、前記条件１によって動作して設定された時間（例えば、５分）のような条件２をチェックすることができる。そして、ユーザデバイス１００は、前記条件２の設定された時間ごとにユーザデバイス１００の位置情報を獲得するアクション１を行うように動作することができる。また、ユーザデバイス１００は、アクション１の実行によって獲得された位置情報を指定された少なくとも１つのターゲットユーザデバイス２００に伝送するアクション２を行うように動作することができる。
一方、前記少なくとも１つのターゲットユーザデバイス２００は、前記ユーザデバイス１００から位置情報が受信されるとき、あらかじめ定義されたインターフェースを通じて前記ユーザデバイス１００に対する位置情報をフィードバックすることができる。例えば、図７に示されたように、ターゲットユーザデバイス２００は、マップイメージとともにユーザデバイス１００のユーザ位置情報を示すことができる。この際、前記マップイメージと位置情報は、ユーザデバイス１００で加工されて伝送されるか、またはターゲットユーザデバイス２００で位置情報を受信するとき、当該位置情報に対するマップイメージをマッピングして出力することもできる。
以上説明したような図７の実施形態によって、ユーザは、自分の位置に対して設定された時間ごとに指定された少なくとも１人の他のユーザに通知することができる。そして、少なくとも１人の他のユーザは、別途の行為を行うことなく、前記ユーザの位置および移動経路に対して提供されることができる。
図８は、本発明の実施形態によるユーザデバイスを利用した状況認識サービスが提供される動作例示を示す図である。
図８を参照すれば、図８は、コンポジットアプリケーション（Ｃｏｍｐｏｓｉｔｅ Ａｐｐｌｉｃａｔｉｏｎ）を利用して規則を設定および実行し、ユーザデバイス１００が前記規則に従って定義された条件を認知し、それによるアクションを実行する動作の例示を示すものである。特に、図８では、ユーザが自分の位置（またはユーザデバイス１００の位置）を外部のイベントによって特定のターゲットユーザデバイス２００に自動伝送するようにする規則を定義することができる。そして、ユーザデバイス１００は、ユーザ入力によって前記規則を実行し、実行規則で定義されたターゲットユーザデバイス２００からイベントが受信されるとき、前記ターゲットユーザデバイス２００に位置情報を伝送するアクションを実行する場合の例示を示すものである。図８では、外部デバイス（例えば、ターゲットユーザデバイス２００）からの入力（イベント）をユーザデバイス１００内部で感知して指定されたアクションを実行する場合の例示を示す。
本発明の多様な実施形態において前記コンポジットアプリケーションは、多様なリソース（ｒｅｓｏｕｒｃｅ）から得たそれぞれ他の情報を最終ユーザに最も好ましい方式で、すなわちユーザが所望する方式で伝達するために画面構成をモジュール化し、ユーザの権限と役目によって画面構成および画面切替を異なるようにすることができるなどユーザ経験を最適化させるためのアプリケーションを示すことができる。
図８に示されたように、ユーザは、ユーザデバイス１００を利用して規則を定義することができる。例えば、ユーザは、ユーザデバイス１００を操作して規則を生成することができる機能（またはアプリケーション）を活性化し、少なくとも１つのターゲットユーザデバイス２００からイベント（例えば、メッセージ受信）時ごとに位置情報を伝送するようにする規則を定義することができる。一実施形態によれば、ユーザは、“運転中に妻から通話が来れば、現在私の位置情報を知らせてくれ”のように規則を生成することができる。この際、前記規則は、前述したように、マイク１４３を通じて音声に基づいて入力されるか、または後述するように、ユーザ入力部１２０またはタッチスクリーン１３０を通じてテキストに基づいて入力されることができる。前記音声またはテキストは、自然言語に基づいて入力されて設定されることを特徴とする。図８で定義された規則による状況認識対象、すなわち条件は、“運転中の状態で妻から通話受信時”になることができ、前記条件によるアクション実行対象は、“イベント時ごとに位置情報を指定された対象に伝送”になることができる。また、追加的に、“運転中の状態で妻から‘どこなの’のような位置を確認するフレーズを含むメッセージ受信時”のように追加条件が設定されることもできる。
ユーザデバイス１００は、ユーザ要請に従って前記規則を定義するとき、イベントを提供する対象である少なくとも１つのターゲットユーザデバイス２００を指定するためのインターフェースを提供し、ユーザ入力によって前記少なくとも１つのターゲットユーザデバイス２００の情報（例えば、電話番号、名前、ニックネームなど）を前記規則にマッピングして格納することができる。前記規則は、前述したように、あらかじめ定義されるか、またはユーザ必要に応じて時間および場所の制限なしにリアルタイムで入力および定義されることができ、与えられるインターフェースを通じて前記規則を実行するための命令が音声、テキストまたはジェスチャーに基づいて入力されることができる。それでは、ユーザデバイス１００は、前述したように、前記定義された規則と前記命令をマッピングして格納することができる。
ユーザは、上記のように規則が定義された状態で、ユーザ必要に応じて前記定義された命令（例えば、音声、テキスト、またはジェスチャーなど）で規則を実行することができる。例えば、ユーザは、図５Ａ〜図５Ｅのような動作例示に準じて、自動車に乗る前または自動車に乗りながら音声で前記定義された規則を実行するための当該命令（例えば、“運転”、“運転モード”、“運転するよ”など）の音声を入力することができる。ここで、前記命令は、マイク１４３を通じて音声に基づいて入力されることを例示にするが、ユーザ入力部１２０またはタッチスクリーン１３０を通じてテキストに基づいて入力されるか、またはジェスチャーに基づいて入力されることもできる。前記音声およびテキストは、前記例示のように自然言語に基づいて入力されることを特徴とする。また、ユーザは、前記命令を入力するとき、前述したように、ユーザデバイス１００に命令入力を行うことを知らせる動作（例えば、マイク１４３をターンオンするための動作）を先行することもできる。
ユーザデバイス１００は、入力された音声を認識および解析し、当該音声に対応する規則を実行することができる。そして、ユーザデバイス１００は、規則実行によって条件（状況）認識を行うことができる。例えば、ユーザデバイス１００は、前記定義された規則に従ってユーザの“運転するよ”のような条件１を認知し、前記条件１によって動作して指定されたターゲットユーザデバイス２００のような条件２から文字メッセージ（特定条件（例えば、“どこなの”を含む文字メッセージに設定されることもできる）受信のような条件３をチェックすることができる。この際、ユーザデバイス１００は、前記条件２による前記ターゲットユーザデバイス２００から条件３による文字メッセージが受信されれば、ユーザデバイス１００の位置情報を獲得するアクション１を行うように動作することができる。また、ユーザデバイス１００は、アクション１の実行によって獲得された位置情報を前記ターゲットユーザデバイス２００に伝送するアクション２を行うように動作することができる。
一方、前記ターゲットユーザデバイス２００は、前記ユーザデバイス１００から位置情報が受信されるとき、あらかじめ定義されたインターフェースを通じて前記ユーザデバイス１００に対する位置情報をフィードバックすることができる。例えば、図８に示されたように、ターゲットユーザデバイス２００は、マップイメージとともにユーザデバイス１００のユーザ位置情報を示すことができる。
以上説明したような図８の実施形態によって、ユーザは、指定したターゲットユーザから外部イベントが受信されれば、別途の動作を行うことなく、前記ターゲットユーザにユーザの位置を文字メッセージを通じてすぐ通知することができる。そして、前記ターゲットユーザは、前記ユーザの位置および移動経路に対して提供されることができる。
図９は、本発明の実施形態によるユーザデバイスを利用した状況認識サービスが提供される動作例示を示す図である。
図９を参照すれば、図９は、規則実行時に類似の複数の規則のうちユーザ選択または自動によっていずれか１つの規則を推薦するか、または規則実行時に類似の複数の規則を一緒に運用する動作の例示を示すものである。特に、図９では、ユーザが特定環境変化に従ってユーザデバイス１００を通じてアラームをフィードバックするか、またはユーザデバイス１００の特定機能を制御するようにする規則を定義することができる。そして、ユーザデバイス１００は、ユーザ入力によって前記規則を実行し、前記規則で定義された環境変化が感知されるとき、ユーザデバイス１００の特定機能を制御するか、またはアラームを出力するアクションを実行する場合の例示を示すものである。
図９に示されたように、ユーザは、ユーザデバイス１００を利用して規則を定義することができる。例えば、ユーザは、ユーザデバイス１００を操作して規則を生成することができる機能（またはアプリケーション）を活性化し、環境変化によるイベント時ごとにアラームを出力するようにする１つの規則（以下、第１規則）と、環境変化によるイベント時ごとにユーザデバイスの機能を制御するようにする他の１つの規則（以下、第２規則）を生成することができる。一実施形態によれば、ユーザは、“運転中に時速８０Ｋｍ／ｈ以上なら警告アラーム出力”のような第１規則と、“運転中に時速６０Ｋｍ／ｈ以上ならオーディオボリューム（自動車のオーディオボリュームまたはユーザデバイス１００のオーディオボリューム）を増加”のような第２規則を生成することができる。この際、前記規則は、前述したように、マイク１４３を通じて音声に基づいて入力されるか、またはユーザ入力部１２０またはタッチスクリーン１３０を通じてテキストに基づいて入力されることができる。前記音声またはテキストは、自然言語に基づいて入力されて設定されることができる。図９で定義された規則による状況認識対象、すなわち条件は、“運転中の状態で環境変化（すなわち、速度変化）が一定基準値以上”になることができ、前記条件によるアクション実行対象は、“アラーム出力またはオーディオボリューム制御”になることができる。
前記第１規則および第２規則は、前述したように、あらかじめ定義されるか、またはユーザの必要に応じて時間および場所の制限なしにリアルタイムで入力および定義されることができ、与えられるインターフェースを通じて前記規則を実行するための命令が音声、テキストまたはジェスチャーに基づいて入力されることができる。それでは、ユーザデバイス１００は、前述したように、前記定義された規則と前記命令をマッピングして格納することができる。図９では、前記第１規則および第２規則のように複数の規則に対して１つの同一の命令がマッピングされる場合を例示にする。
ユーザは、上記のように規則（第１規則および第２規則）が定義された状態で、ユーザ必要に応じて前記定義された命令（例えば、音声、テキスト、またはジェスチャーなど）で規則を実行することができる。例えば、ユーザは、図５Ａ〜図５Ｅのような動作例示に準じて、自動車に乗る前または自動車に乗りながら音声に定義された規則を実行するための命令（例えば、“運転”、“運転モード”、“運転するよ”などの音声）を入力することができる。ここで、前記命令は、マイク１４３を通じて音声に基づいて入力されることを例示するが、ユーザ入力部１２０またはタッチスクリーン１３０を通じてテキストに基づいて入力されることができ、またはジェスチャーに基づいて入力されることもできる。ユーザは、前記音声に基づく命令を入力するとき、前述したように、ユーザデバイス１００に命令入力を行うことを知らせる動作（例えば、マイク１４３をターンオンするための動作）を先行することもできる。
ユーザデバイス１００は、入力された音声を認識および解析し、当該音声に対応する規則を実行することができる。そして、ユーザデバイス１００は、規則実行によって条件(状況)認識を行うことができる。例えば、ユーザデバイス１００は、前記定義された規則に従ってユーザの“運転するよ”のような条件１を認知し、前記条件１によって動作し、移動速度が特定条件（例えば、６０Ｋｍ／ｈ以上、８０Ｋｍ／ｈ以上）に到逹するかどうかのような条件２をチェックすることができる。この際、ユーザデバイス１００は、移動速度が前記条件２による移動速度に到逹すれば、当該条件に合致する機能実行を処理するアクション１を行うように動作することができる。例えば、６０Ｋｍ／ｈ以上の条件に合致すれば、前記定義された第２規則に従ってオーディオボリューム（例えば、設定条件によってユーザデバイス１００のオーディオボリュームまたは自動車のオーディオボリューム）を増加するアクションを行うことができる。または８０Ｋｍ／ｈ以上の条件に合致すれば、前記定義された第１規則に従って警告アラームを発生するアクションを行うことができる。
一方、ターゲットユーザデバイス２００は、上記のように１つの命令に対して複数の規則（例えば、第１規則および第２規則）が定義された場合で、条件(状況)認識によるアクション実行時複数の規則の中で少なくとも１つの規則を選択するように当該規則（例えば、第１規則および第２規則）に対する規則推薦を提供することができる。例えば、図９に示されたように、前記命令に対して定義された第１規則（８０Ｋｍ／ｈ以上）と第２規則（６０Ｋｍ／ｈ）が定義されていることをポップアップウィンドウを通じて提供することができる。
また、前述した実施形態では、ユーザが運転を開始する前に、規則を実行する場合の例示を示すものである。したがって、あらかじめ定義された複数の規則が動作中の場合で、当該規則に対応する条件である６０Ｋｍ／ｈおよび８０Ｋｍ／ｈが順次に監視され、それによるアクションが順次にすべて実行されるか、または最後の検出された条件によるアクションだけが実行されることもできる。
これとは異なって、ユーザは、車両を運転する状態（例えば、図９に示されたように、現在時速１１０Ｋｍ／ｈの状態）で前述したように定義された規則を実行することもできる。
このような場合、ユーザデバイス１００は、入力された音声を認識および解析し、当該音声に対応する規則を実行することができる。そして、ユーザデバイス１００は、規則実行によって条件(状況)認識を行うことができる。例えば、ユーザデバイス１００は、前記定義された規則に従ってユーザの“運転するよ”のような条件１を認知し、前記条件１によって動作し、移動速度が特定条件（例えば、６０Ｋｍ／ｈ以上、８０Ｋｍ／ｈ以上）に到逹するかどうかのような条件２をチェックすることができる。この際、ユーザデバイス１００は、現在移動速度が１１０Ｋｍ／ｈであり、あらかじめ定義された前記特定条件をすべて満足することによって、前記複数の条件に対する各アクションを同時に実行するように動作することができる。一実施形態によれば、現在移動速度（１１０Ｋｍ／ｈ）が６０Ｋｍ／ｈおよび８０Ｋｍ／ｈ以上の条件をすべて満足することによって、前記定義された第１規則および第２規則に従ってオーディオボリューム（例えば、設定条件によってユーザデバイス１００のオーディオボリュームまたは自動車のオーディオボリューム）を増加しながら警告アラームを発生することもできる。
または、ターゲットユーザデバイス２００は、上記のように１つの命令に対して複数の規則が定義された場合で、状況認識によるアクション実行時に複数の規則のうち少なくとも１つの規則を選択するように定義された規則に対する規則推薦を提供することができる。例えば、図９に示されたように、前記命令に対して定義された第１規則（８０Ｋｍ／ｈ以上）と第２規則（６０Ｋｍ／ｈ）が定義されている状況であり、現在状況認識（１１０Ｋｍ／ｈ）によって第１規則および第２規則をすべて満たすとき、ポップアップウィンドウを通じて複数の規則のうち現在条件を満たす少なくとも１つの規則を選択することができる規則推薦を提供することができる。そして、ユーザは、規則推薦による特定規則選択時に運転中であることを考慮して音声入力によって選択することができる。そして、ユーザ設定によって規則推薦による少なくとも１つの規則選択は、音声を含めて、テキストおよびジェスチャーによって選択することもできる。
図１０は、本発明の実施形態によるユーザデバイスを利用した状況認識サービスが提供される動作例示を示す図である。
図１０を参照すれば、図１０は、ユーザデバイス１００と外部デバイス（またはユーザデバイスと通信可能であるか、または通信可能な装置が付着された物体など）と連動して状況認識サービスを提供する動作の例示を示すものである。
図１０では、ユーザにより設定された時間ごとに外部の環境変化をチェックし、その結果によってユーザデバイス１００によってアラームをフィードバックするようにする規則を定義することができる。そして、ユーザデバイス１００は、定義された規則に対するユーザ命令に従って規則を実行した後、前記規則で定義された外部の環境変化が感知されるとき、アラームを出力するアクションを実行する場合の例示を示すものである。
図１０に示されたように、ユーザは、ユーザデバイス１００を利用して規則を定義することができる。例えば、ユーザは、ユーザデバイス１００を操作して規則を生成することができる機能（またはアプリケーション）を活性化し、設定された時間ごとに外部の環境変化によるイベントを検出し、イベント検出時ごとにアラームを出力するようにする規則を定義することができる。一実施形態によれば、ユーザは、“４時間ごとに薬を飲まなければ、夜１０時と午前７時の間を除いてリマインド（ｒｅｍｉｎｄ）メッセージを提示し、風呂場に電気をつけてくれ”のように規則を生成することができる。この際、前記規則は、マイク１４３を通じて音声に基づいて入力されるか、またはユーザ入力部１２０またはタッチスクリーン１３０を通じてテキストに基づいて入力されることができる。前記音声またはテキストは、前記例示のように、自然言語に基づいて入力されて設定されることができる。図１０で定義された規則による状況認識対象、すなわち条件は、“４時間ごとに薬を飲まなければ（例えば、薬瓶の動きが感知されなければ）”と“夜１０時と午前７時の間”になることができ、前記条件によるアクション実行対象は、“リマインドメッセージ出力および風呂場電灯オン”になることができる。
前記規則は、前述したようにあらかじめ定義されるか、またはユーザ必要に応じて時間および場所の制限なしにリアルタイムで入力および定義されることができ、与えられるインターフェースを通じて前記規則を実行するための命令を音声、テキストまたはジェスチャーに基づいて入力されることができる。それでは、ユーザデバイス１００は、前述したように、前記定義された規則と前記命令をマッピングして格納することができる。
ユーザは、上記のように規則が定義された状態で、ユーザ必要に応じて前記定義された命令（例えば、音声、テキスト、またはジェスチャーなど）で規則を実行することができる。例えば、ユーザは、図５Ａ〜図５Ｅのような動作例示に準じて、音声で前記定義された規則を実行するための命令（例えば、“薬”、“薬瓶位置確認”、“薬服用時間”などの音声）を入力することができる。ここで、前記命令は、マイク１４３を通じて音声に基づいて入力されることを例示するが、ユーザ入力部１２０またはタッチスクリーン１３０を通じてテキストに基づいて入力されることができ、またはジェスチャーに基づいて入力されることもできる。ユーザは、音声に基づいて命令を入力するとき、前述したように、ユーザデバイス１００に命令入力を行うことを通知する動作（例えば、マイク１４３をターンオンするための動作）を先行することもできる。
ユーザデバイス１００は、入力された音声を認識および解析し、当該音声に対応する規則を実行することができる。そしてユーザデバイス１００は、規則実行によって条件(状況)認識を行い、特定イベントを監視することができる。例えば、ユーザデバイス１００は、実行された規則に対応する状況検出をモニターすることができる。一実施形態によれば、前記ユーザデバイス１００は、前記定義された規則に従ってユーザの“薬服用時間”のような条件１を認知し、前記条件１によって動作して設定された時間（例えば、４時間）のような条件２をチェックし、前記条件２に反応して外部デバイス（例えば、薬瓶）の動き（振動）可否のような条件３を監視することができる。本発明の多様な実施形態において外部デバイスの動きの監視は、相互間の無線信号交信によって確認することができる。したがって、前記外部デバイス（例えば、薬瓶）は、ユーザデバイス１００と通信可能な装置（例えば、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ）タグ、ＲＦタグ、ＮＦＣタグなど）が付着されることができる。
そして、ユーザデバイス１００は、設定された時間（例えば、４時間）の間に前記外部デバイス（すなわち、薬瓶）の動きが感知されなければ、ユーザに“薬を服用してください！”のようなリマインドメッセージを出力するアクション１を行うように動作することができる。また、ユーザデバイス１００は、前記アクション１によるリマインドメッセージ出力とともにターゲットデバイス（例えば、電灯、冷蔵庫、電気ポートなど）を制御するアクション２を行うように動作することができる。
本発明の実施形態においてターゲットデバイスは、ユーザデバイス１００のようなスマート機器を含めて、電灯、冷蔵庫、電気ポートなどのようにユーザが日常的に使用する多様な品物を含むことができ、ユーザに定義された規則による状況を認知させ、当該状況で必要とするアクションを行うことができるすべての物体を含むことができる。そして、図１０のような動作例示で、前記ターゲットデバイスの制御は、ターゲットデバイスがユーザデバイス１００と直接通信可能な場合には、ターゲットデバイスが直接制御されることができ、直接通信が不可能な場合には、ターゲットデバイス制御のための別途のデバイス（例えば、通信機能を具備した電源制御装置など）と連動してターゲットデバイスが間接的に制御されることができる。一実施形態によれば、ユーザデバイス１００は、通信機能を具備した電源制御装置と通信し、ターゲットデバイスである風呂場の電灯に電源が印加されるように制御することができる。
図１１は、本発明の実施形態によるユーザデバイスを利用した状況認識サービスが提供される動作例示を示す図である。
図１１では、ユーザデバイスの持ち主（ｏｗｎｅｒ）が規則を実行するための指示（ｉｎｓｔｒｕｃｔｉｏｎ）を入力する場合の例示を示すことができる。例えば、本発明の実施形態では、ユーザデバイスのユーザが規則を実行するための指示を入力することができ、ユーザデバイスのユーザが子供などのようにデバイスの操作が難しいユーザの場合、他のユーザ（例えば、ユーザデバイス持ち主の親など）ユーザデバイスに対して規則を実行するための指示を入力することもできる。
図１１を参照すれば、図１１は、コンポジットアプリケーションを利用して規則を設定および実行し、ユーザデバイス１００が前記規則に従って定義された条件を認知し、それによるアクションを実行する動作の例示を示すものである。特に、図１１では、ユーザが自分の位置（またはユーザデバイス１００の位置）を外部のイベントによって特定ターゲットユーザデバイス２００に自動伝送するようにする規則を定義することができる。そして、ユーザデバイス１００は、ユーザ入力によって前記規則を実行し、実行規則で定義されたターゲットユーザデバイス２００からイベントが受信されるとき、前記ターゲットユーザデバイス２００に写真情報および位置情報を伝送するアクションを実行する場合の例示を示すものである。図１１では、特定モード状態で外部デバイス（例えば、ターゲットユーザデバイス２００）からの入力（イベント）をユーザデバイス１００内部で感知し、指定されたアクションを実行する場合の例示を示す。
図１１に示されたように、ユーザは、ユーザデバイス１００を利用して規則を定義することができる。例えば、ユーザ（またはユーザの保護者）は、ユーザデバイス１００を操作して規則を生成することができる機能（またはアプリケーション）を活性化し、少なくとも１つのターゲットユーザデバイス２００からイベント（例えば、メッセージ受信）時に写真情報と位置情報を伝送するようにする規則を定義することができる。一実施形態によれば、ユーザ（または保護者）は、“保護モード中にママに文字が来れば、カメラで写真を撮って、私の位置とともに送ってくれ”のように、規則を生成することができる。この際、前記規則は、マイク１４３を通じて音声に基づいて入力されることができ、またはユーザ入力部１２０またはタッチスクリーン１３０を通じてテキストに基づいて入力されることもできる。前記音声またはテキストは、自然言語に基づいて入力されて設定されることができる。図１１で定義された規則による状況認識対象、すなわち条件は、“保護モードでママから文字受信時”になることができ、前記条件によるアクション実行対象は、“イベントによってカメラで写真を撮って、位置情報を指定された対象に伝送”になることができる。また、追加的に、“保護モード中にママに‘どこなの’のような位置を確認するフレーズを含む文字受信時”のように追加条件が設定されることもできる。
ユーザデバイス１００は、ユーザ要請に従って前記規則を定義するとき、イベントを提供する対象である少なくとも１つのターゲットユーザデバイス２００を指定するためのインターフェースを提供し、ユーザ入力によって前記少なくとも１つのターゲットユーザデバイス２００の情報（例えば、電話番号、名前、ニックネームなど）を前記規則にマッピングして格納することができる。前記規則は、前述したように、あらかじめ定義されるか、またはユーザ必要に応じて時間および場所の制限なしにリアルタイムで入力および定義されることができ、与えられるインターフェースを通じて前記規則を実行するための命令が音声、テキストまたはジェスチャーに基づいて入力されることができる。それでは、ユーザデバイス１００は、前述したように、前記定義された規則と前記命令をマッピングして格納することができる。
ユーザは、上記のように規則が定義された状態で、ユーザ必要に応じて前記定義された命令（例えば、音声、テキスト、またはジェスチャーなど）で規則を実行することができる。例えば、ユーザは、図５Ａ〜図５Ｅのような動作例示に準じて、学校（学院）から出て家へ行きながら規則を実行（例えば、保護モードで状態設定）するための当該命令（例えば、“保護モード”、“下校”、“家に帰る”などの音声）を入力することができる。ここで、前記命令は、マイク１４３を通じて音声に基づいて入力されることを例示するが、ユーザ入力部１２０またはタッチスクリーン１３０を通じてテキストに基づいて入力されることができ、またはジェスチャーに基づいて入力されることもできる。前記音声およびテキストは、自然言語に基づいて入力されることができる。また、ユーザは、音声に基づいて命令を入力するとき、ユーザデバイス１００に命令入力を行うことを通知する動作（例えば、マイク１４３をターンオンするための動作）を先行することもできる。
ユーザデバイス１００は、入力された音声を認識および解析し、当該音声に対応する規則を実行することができる。そして、ユーザデバイス１００は、規則実行によって条件（状況）認識を行うことができる。例えば、ユーザデバイス１００は、前記実行中の規則に従って“保護モード”のような条件１を認知し、前記条件１によって動作して指定されたターゲットユーザデバイス２００のような条件２から特定条件（例えば、“どこなの”のような文字）を含む文字メッセージ受信のような条件３をチェックすることができる。この際、ユーザデバイス１００は、前記条件２によるターゲットユーザデバイス２００から条件３による特定条件（例えば、どこなの）を含む文字メッセージが受信されれば、カメラモジュール（図示せず）を駆動するアクション１を行うように動作することができる。またユーザデバイス１００は、アクション１の実行によって自動撮影を行い、写真情報を獲得するアクション２を行うように動作することができる。また、ユーザデバイス１００は、位置算出モジュール１１７を駆動するアクション３を行うように動作することができる。また、ユーザデバイス１００は、アクション３の実行によってユーザデバイス１００の位置情報を獲得するアクション４を行うように動作することができる。そして、ユーザデバイス１００は、アクション１〜アクション４の実行によって獲得された写真情報と位置情報を前記ターゲットユーザデバイス２００に伝送するアクション５を行うように動作することができる。
一方、前記ターゲットユーザデバイス２００は、前記ユーザデバイス１００から写真情報と位置情報が受信されるとき、あらかじめ定義されたインターフェースを通じて前記ユーザデバイス１００に対する周辺の写真情報および位置情報をフィードバックすることができる。例えば、図１１に示されたように、ターゲットユーザデバイス２００は、マップイメージ上にユーザデバイス１００が獲得した写真情報と位置情報を示すことができる。
図１１では、図示を省略したが、前記写真情報は、ユーザデバイス１００の位置に対する周辺の写真情報を外部のサーバーから獲得することもできる。例えば、ユーザデバイス１００がユーザのポケットにある状態で撮影が行われるとき、所望の被写体（例えば、周辺写真）ではない黒白の写真だけが獲得されることができる。したがって、ユーザデバイス１００は、撮影された写真情報を確認するか、またはユーザデバイス１００の状態（例えば、照度センサー（図示せず）を通じてポケットの中にあるか否か確認など）をチェックし、前記例示のように、非正常状態の写真情報であるかを判別することができる。そして、ユーザデバイス１００は、非正常状態の写真情報の場合、ユーザデバイス１００の現在位置に対応する周辺写真を外部のサーバーから受信し、前記写真情報を獲得することによって進行する条件およびアクションを追加的に設定および動作するようにすることもできる。
また、図１１では、規則実行のための命令をユーザデバイス１００を備えるユーザが直接入力する場合を例示にする。しかし、幼い子供のようなユーザの場合、定義された規則を実行することができない場合も発生することができる。したがって、保護者が持続的に子供の位置をモニタリングするための方案として前記規則実行を外部の保護者が実行するようにすることもできる。例えば、規則定義時に“ママに‘どこなの’という文字が来れば、保護モードを実行し、私の位置を知らせてくれ”のように、規則が設定されることもできる。それでは、ユーザデバイス１００は、ターゲットユーザデバイス２００から‘どこなの’を含むメッセージを受信するとき、保護モードの実行状態をチェックし、保護モードが実行状態の場合、前述したような動作を行うことができる。一方、保護モードが実行されない状態の場合、保護モードを実行した後、前述したような動作を行うこともできる。
以上説明したような図１１の実施形態によって、ユーザ（子供）の位置および周辺環境に対してイベントを要請した他のユーザ（保護者）に一層便利で且つ迅速に通知することができる。そして、前記他のユーザは、前記ユーザの位置、移動経路および周辺環境に対して提供されることができる。
図１２は、本発明の実施形態によるユーザデバイスを利用した状況認識サービスが提供される動作例示を示す図である。
図１２を参照すれば、図１２は、ユーザが音声を利用して規則を設定および実行し、ユーザデバイス１００が前記規則に従って定義された条件を認知し、それによるアクションを実行する動作の例示を示すものである。特に、図１２では、ユーザが特定環境でユーザデバイス１００の特定機能を制御するようにする規則を定義することができる。そして、ユーザデバイス１００は、ユーザ入力によって前記規則を実行し、実行規則で定義されたユーザデバイス１００の特定機能を処理するアクションを実行する場合の例示を示すものである。
図１２に示されたように、ユーザは、ユーザデバイス１００を利用して規則を定義することができる。例えば、ユーザは、ユーザデバイス１００を操作し、規則を生成することができる機能（またはアプリケーション）を活性化し、特定環境で定義された複数の機能（またはアプリケーション）を行うようにする規則を定義することができる。一実施形態によれば、ユーザは、“地下鉄に乗ったら、Ｗｉ−Ｆｉをつけて、音楽ＡＰＰを実行させてくれ”のように、規則を生成することができる。この際、前記規則は、マイク１４３を通じて音声に基づいて入力されることができ、またはユーザ入力部１２０またはタッチスクリーン１３０を通じてテキストに基づいて入力されることもできる。前記音声またはテキストは、自然言語に基づいて入力されて設定されることができる。図１２で定義された規則による状況認識対象、すなわち条件は、“地下鉄に乗ったら”のように、ユーザによる明示的な命令入力や地下鉄に乗る状態変化による命令入力になることができ、前記条件によるアクション実行対象は、“Ｗｉ−Ｆｉ機能ターンオン（ｔｕｒｎ−ｏｎ）および音楽ＡＰＰ実行”になることができる。
ユーザデバイス１００は、ユーザ要請に従って前記規則を定義するとき、当該条件で実行しようとする複数のアクション（例えば、機能、アプリケーション）を選択するためのインターフェースを提供することができ、ユーザは、前記インターフェースを通じて複数のアクションを選択することもできる。例えば、ユーザが当該規則に対する条件である“地下鉄”を入力するとき、ユーザデバイス１００は、前記地下鉄と連関して実行されることができるアクション（例えば、機能、アプリケーション）のリスト（アクションリスト）を表示し、前記アクションリストで実行しようとするアクション（例えば、Ｗｉ−Ｆｉオン、音楽アプリケーションなど）を選択するユーザ入力を受信されることもできる。ここで、前記規則は、あらかじめ定義されるか、またはユーザ必要に応じて時間および場所の制限なしにリアルタイムで入力および定義されることができる。
ユーザは、上記のように規則が定義された状態で、ユーザ必要に応じて前記定義された命令（例えば、音声、テキスト、またはジェスチャーなど）で規則を実行することができる。例えば、ユーザは、図５Ａ〜図５Ｅのような動作例示に準じて、地下鉄に乗る前または地下鉄に乗りながら音声で前記定義された規則を実行するための当該命令（例えば、“地下鉄に乗りなさい”、“地下鉄”、“地下鉄モード”などの音声）を入力することができる。ここで、前記命令は、マイク１４３を通じて音声に基づいて入力されることを例示するが、ユーザ入力部１２０またはタッチスクリーン１３０を通じてテキストに基づいて入力されることができ、またはジェスチャーに基づいて入力されることもできる。前記音声およびテキストは、自然言語に基づいて入力されることができる。また、ユーザは、音声に基づいて命令を入力するとき、ユーザデバイス１００に命令入力を行うことを通知する動作（例えば、マイク１４３をターンオンするための動作（例えば、機能キー入力、ウィジェットの規則実行ボタン入力など）を先行することもできる。
ユーザデバイス１００は、入力された音声を認識および解析し、当該音声に対応する規則を実行することができる。そしてユーザデバイス１００は、規則実行によって条件（状況）認識を行うことができる。例えば、ユーザデバイス１００は、前記実行中の規則に従って“地下鉄に乗ろう”のような条件を認知し、前記条件によって動作し、Ｗｉ−Ｆｉをターンオンするアクション１および音楽アプリケーションを行うアクション２を行うように動作することができる。ユーザデバイス１００は、前記アクション１およびアクション２による動作でＷｉ−Ｆｉ連結のための送受信信号処理および音楽アプリケーション実行による音楽再生を処理することができる。
前記ユーザデバイス１００は、前記規則が実行され、前記規則による条件（例えば、地下鉄搭乗）が検出されるとき、Ｗｉ−Ｆｉ機能オンおよび音楽アプリケーションを一緒に実行し、それに対する情報をフィードバックすることができる。例えば、図１２に示されたように、ユーザデバイス１００は、Ｗｉ−Ｆｉのターンオン状態を表示し、音楽再生によるサウンドを出力することができる。
以上説明したような図１２の実施形態よって、ユーザは、動作中の規則に対する条件感知で音声または状態変化を通じて入力することができ、当該条件によって複数のアクション（機能、アプリケーションなど）を複合的に運用することもできる。
図１３は、本発明の実施形態によるユーザデバイスを利用した状況認識サービスが提供される動作例示を示す図である。
図１３を参照すれば、図１３は、ユーザが自然言語に基づく音声または自然言語に基づくテキストを利用して規則を設定および実行し、ユーザデバイス１００が前記規則に従って定義された条件を認知し、それによるアクションを行う動作の例示を示す。例えば、ユーザデバイス１００は、規則が活性化されれば、前記活性化された規則の条件に対応する状況をモニターまたは検出することができる。もし、状況が検出されれば、ユーザデバイス１００は、前記規則の条件に対応するアクションを実行することができる。
図１３では、ユーザが抽象的な状況を定義し、ユーザデバイス１００は、ユーザ入力によって前記規則を実行し、実行規則で定義されたユーザデバイス１００の特定機能処理および外部デバイス（またはユーザデバイス１００と通信可能であるか、または通信可能な装置が付着された物体など）を制御するアクションを実行する場合の例示を示すものである。
図１３に示されたように、ユーザは、ユーザデバイス１００を利用して規則を定義することができる。例えば、ユーザは、ユーザデバイス１００を操作し、規則を生成することができる機能（またはアプリケーション）を活性化し、特定環境で定義された複数の機能（ユーザデバイス１００自体の機能および外部デバイスの機能）を実行するようにする規則を定義することができる。一実施形態によれば、ユーザは、“憂鬱なら、照明の明るさを２段階にし、クラシック音楽ジャンルを再生してくれ”のように、規則を生成することができる。この際、前記規則は、マイク１４３を通じて音声に基づいて入力されることができ、またはユーザ入力部１２０またはタッチスクリーン１３０を通じてテキストに基づいて入力されることもできる。前記音声またはテキストは、自然言語に基づいて入力されて設定されることができる。図１３で定義された規則による状況認識対象、すなわち条件は、“憂鬱なら”になることができ、アクション実行対象は、“照明の明るさ調節およびクラシック音楽再生”になることができる。
この際、ユーザデバイス１００は、ユーザ要請に従って前記規則を定義するとき、当該条件で実行しようとする複数のアクション（例えば、ユーザデバイス１００の機能制御および外部デバイスの機能制御）を選択するためのインターフェースを提供することができ、ユーザは、前記インターフェースを通じて複数のアクションを選択することもできる。例えば、ユーザが当該規則に対する条件である“憂鬱だ”を入力するとき、ユーザデバイス１００は、前記“憂鬱だ”と連関して実行されることができるアクションのリスト（アクションリスト）を表示し、前記アクションリストで実行しようとするアクション（例えば、照明明るさ調節、音楽アプリケーション実行およびクラシック音楽再生など）を選択するユーザ入力を受信されることもできる。ここで、前記規則は、あらかじめ定義されるか、またはユーザ必要に応じて時間および場所の制限なしにリアルタイムで入力および定義されることができる。
ユーザは、上記のように規則が定義された状態で、ユーザ必要に応じて前記定義された命令（例えば、音声、テキスト、またはジェスチャーなど）で規則を実行することができる。例えば、ユーザは、図５Ａ〜図５Ｂのような動作例示に準じて自然言語に基づく音声で前記定義された規則を実行するための該当命令（例えば、“憂鬱だ”、“疲れた”、“憂鬱モード”などの音声）を入力することができる。または、ユーザは、後述するように、自然言語に基づくテキストで前記定義された規則を実行するための当該命令を入力することもできる。一実施形態によれば、前記命令は、マイク１４３を通じて音声に基づいて入力されることができ、ユーザ入力部１２０またはタッチスクリーン１３０を通じてテキストに基づいて入力されることができ、またはジェスチャーに基づいて入力されることもできる。前記音声およびテキストは、自然言語に基づいて入力されることができる。また、ユーザは、音声に基づいて前記命令を入力するとき、ユーザデバイス１００に命令入力を行うことを通知する動作（例えば、マイク１４３をターンオンするための動作（例えば、機能キー入力、ウィジェットの規則実行ボタン入力など）を先行することもできる。
ユーザデバイス１００は、入力された命令（例えば、音声、テキストまたはジェスチャー）を認識および解析し、当該命令に対応する規則を実行することができる。そして<ユーザデバイス１００は、規則実行によって条件（状況）認識を行うことができる。例えば、ユーザデバイス１００は、前記実行中の規則に従って“憂鬱だ”のようなユーザの音声入力による条件を認知し、前記条件によって動作し、外部デバイスを制御し、照明の明るさを２段階で調節するアクション１を行うように動作し、ユーザデバイス１００の音楽アプリケーションを実行するアクション２を行うように動作し、クラシック音楽を再生するアクション３を行うように動作することができる。
そして、図１３のような動作例示で、前記外部デバイスの制御は、外部デバイス（例えば、居間の照明またはユーザデバイス１００と通信および／または制御が許諾（ｐｅｒｍｉｓｓｉｏｎ）された他の外部デバイス）がユーザデバイス１００と直接通信可能な場合には、外部デバイスが直接制御されることができる。前記外部デバイスがユーザデバイス１００と直接通信が不可能な場合には、ユーザデバイス１００は、外部デバイス制御のための別途のデバイス（例えば、通信機能を具備した電源制御装置など）と連動して外部デバイスが間接制御されることもできる。一実施形態によれば、ユーザデバイス１００は、通信機能を具備した電源制御装置と通信し、外部デバイスである居間の照明の明るさが調節されるように制御することができる。
前記ユーザデバイス１００は、前記規則実行のための命令が入力されるとき、外部照明の明るさ調節および音楽アプリケーションを一緒に実行し、それに対する情報をフィードバックすることができる。例えば、図１３に示されたように、ユーザデバイス１００は、照明の明るさの制御を通じてその明るさを２段階に低減し、クラシック音楽再生によるサウンド出力およびその画面を出力することができる。
以上説明したような図１３の実施形態によって、ユーザは、抽象的な状況を定義し、これによるアクションを実行する規則設定が可能である。一実施形態によれば、前述した例示で説明したように、ユーザは、憂鬱（または疲労）ということを、ユーザ状況を通じてではなく、自然言語を通じて認識させ、それによるアクションを実行し、フィードバックを提供されることができる。
一方、以上、図６〜図１３による動作例示では、規則と命令を区分して定義および設定することを例示した。しかし、本発明の多様な実施形態によれば、規則実行のための命令を別に定義しないとしても、定義された規則で抽出して運用することもできる。
例えば、図７の例示のように、“私がタクシーに乗ったら、パパと弟に５分ごとに私の位置情報を知らせてくれ”のような規則が定義される場合を仮定する。ユーザデバイス１００は、前記規則で“タクシーに乗ったら”を認識し、それと関連した連関命令（または連関単語（Ａｓｓｏｃｉａｔｉｖｅ ｗｏｒｄ）（規則実行のための命令語に定義された規則内の単語に対して連関度が高い命令語））である“今タクシーに乗りなさい”、“タクシー”、“タクシーモード”などを自動検出し、規則を実行することもできる。すなわち、ユーザは、別途の命令語指定なしに前記のような規則のみを定義した状態で“今タクシーに乗りなさい”、“タクシー”、または“タクシーモード”などの連関命令語を入力することだけで、規則を実行することができる。
また、図８の例示で、“運転中に妻から文字が来れば、現在私の位置情報を知らせてくれ”のような規則が定義される場合を仮定する。ユーザデバイス１００は、前記規則で“運転中”を認識し、それと関連した連関命令語である“運転するよ”、“運転”、“運転モード”などを検出し、規則を実行することができる。すなわち、ユーザは、別途の命令語指定なしに前記のような規則のみを定義した状態で“運転するよ”、“運転”、または“運転モード”などの連関命令語を入力することだけで、規則を実行することができる。
ユーザデバイス１００は、前記の動作例示のように連関命令語が入力されるとき、それに対応する規則をあらかじめ定義された多様な規則から追跡し、当該規則を実行するように動作することができる。
一方、図７および図８の例示で説明したような運用方式を図６、図９〜図１３の場合でも適用されることができる。例えば、図９の場合、定義された規則に従って“運転するよ”、“運転”、または“運転モード”などが連関命令語として入力されることができ、図１０の場合、定義された規則に従って“薬”、“薬瓶位置確認”、または“薬服用時間”などが連関命令語として入力されることができ、図１１の場合、定義された規則に従って“保護モード”、“下校”、または“家に帰る”などが連関命令語として入力されることができ、図１２の場合、定義された規則に従って“地下鉄に乗ろう”、“地下鉄”、または“地下鉄モード”などが連関命令語に入力されることができ、図１３の場合、定義された規則に従って“憂鬱だ”、または“疲れた”などが連関命令語として入力されることができる。したがって、ユーザデバイス１００は、別途の命令語が定義されていないとしても、あらかじめ定義された規則に対応する連関命令語に基づいて当該規則実行を制御することができる。
図１４Ａおよび図１４Ｂは、本発明の実施形態によるユーザデバイスで実行中の規則を一時中止する動作例示を示す図である。
図１４Ａおよび図１４Ｂを参照すれば、図１４Ａは、本発明の実施形態による状況認識サービスのためのウィジェット５００が提供されており、前記ウィジェット５００の実行情報領域５２０を通じて現在動作中の規則に対する情報が表示されているときのユーザデバイス１００の画面例示を示すものである。
図１４Ａに示されたように、現在動作中の規則が“タクシー”および“地下鉄”に該当する場合を仮定する。ユーザは、ウィジェット５００の実行情報領域５２０を通じて提供中の特定規則を選択することによって、当該規則を一時中止させることができる。例えば、図１４ａのような状態で、ユーザは、“タクシー”の規則を選択（例えば、タップに基づくタッチイベント）することができる。それでは、ユーザデバイス１００は、図１４ｂに示されたように、実行中の規則（例えば、タクシー、地下鉄）のうちユーザ選択に対応する規則（例えば、タクシー）を一時中止させることができる。
そして、ユーザデバイス１００は、一時中止する規則に対する表示を変更して提供することができる。一実施形態によれば、ユーザデバイス１００は、図１４Ｂに示されたように、実行情報領域５２０で“タクシー”に対応する規則の活性化状態を不活性化状態に切り替えて表示することができる。すなわち、図１４Ｂは、ウィジェット５００の実行情報領域５２０で特定規則（例えば、タクシー）のボタンを通じて当該規則がしばらく中断されている状態のユーザデバイス１００の画面例示を示すものである。
このように、本発明の実施形態によれば、現在実行中の規則をウィジェット５００を通じて表示することができ、表示中の規則に対してユーザ入力によってしばらく中止することができるように支援することができる。これにより、繰り返し的に行われなければならない規則（例えば、周期的に状態をチェックするか、または周期的に文字を送らなければならないアクションなど）の場合、ユーザ選択によってしばらく中断することができるようにして、ユーザの使用性が増大されることができる。
図１５Ａおよび図１５Ｂは、本発明の実施形態によるユーザデバイスで実行中の規則を一時中止する動作例示を示す図である。
図１５Ａおよび図１５Ｂを参照すれば、図１５Ａおよび図１５Ｂは、本発明の実施形態による状況認識サービスのためのアプリケーション（例えば、規則リスト）を実行したときのユーザデバイス１００の画面例示を示すものである。
図１５Ａおよび図１５Ｂに示されたように、現在設定された規則１５１０が“地下鉄”であり、ユーザ選択によって前記規則に設定された詳細情報がプルダウンされて表示中の状態であることができる。例えば、ユーザがプルダウンメニュー３３５を選択し、前記規則１５１０に設定された詳細情報（例えば、条件およびアクションなど）１５２０、１５３０に対応する“Ｗｉ−Ｆｉ設定：オン”と“サウンド設定：振動”にそれぞれ設定されていることを表示することができる。
ユーザは、図１５Ａのような状態で１つの規則で定義された複数のアクション１５２０、１５３０のうち特定アクションを選択することによって当該アクションのみを一時中止させることができる。例えば、図１５Ａのような状態で、ユーザは、“地下鉄”規則１５１０に設定されたアクション(例えば、Ｗｉ−Ｆｉ設定、サウンド設定)１５２０、１５３０のうち“Ｗｉ−Ｆｉ設定”と関連したアクション１５２０を選択することができる。そして、ユーザデバイス１００は、図１５Ｂに示されたように、実行中の規則（例えば、地下鉄）１５１０のアクション（例えば、Ｗｉ−Ｆｉ設定、サウンド設定）１５２０、１５３０のうちユーザ選択に対応するアクション（例えば、Ｗｉ−Ｆｉ設定）１５２０を一時中止させることができる。
そして、ユーザデバイス１００は、一時中止するアクションに対する表示を変更して提供することができる。一実施形態によれば、ユーザデバイス１００は、図１５Ｂに示されたように、“Ｗｉ−Ｆｉ設定”に対応するアクション１５２０の活性化状態を不活性化状態に切り替えて表示することができる。すなわち、図１５Ｂは、特定規則に設定された複数のアクション１５２０、１５３０のうち特定アクション（例えば、Ｗｉ−Ｆｉ設定）１５２０のボタンを通じて当該アクション１５２０がしばらく中断されている状態のユーザデバイス１００の画面例示を示すものである。
このように、本発明の実施形態によれば、１つの規則で複数のアクションが実行される場合、実行中の規則リスト画面で全体または一部のアクションを選択的に中断することもできる。
図１６Ａ〜図１６Ｂは、本発明の実施形態によるユーザデバイスで実行中の規則を一時中止する動作例示を示す図である。
図１６Ａおよび図１６Ｂを参照すれば、図１６Ａは、本発明の実施形態による状況認識サービスのためのウィジェット５００が実行されており、前記ウィジェット５００の実行情報領域５２０を通じて現在動作中の規則に対する情報が表示されているときのユーザデバイス１００の画面例示を示すものである。
図１６ａに示されたように、現在動作中の規則が“タクシー”および“地下鉄”に該当する場合を仮定する。ユーザは、ウィジェット５００の命令入力領域（または規則実行ボタン）５１０を選択（例えば、タップに基づくタッチイベントなど）することができる。それでは、制御部１７０は、規則の実行、実行中の規則の一時停止、または実行中の規則の終了のうち少なくとも１つの動作を行うための動作開始であるものと決定することができる。図１６Ａ〜図１６Ｃの動作例示では、実行中の規則を一時停止するための動作の場合を仮定することができる。したがって、ユーザデバイス１００は、図１６Ｂに示されたように、実行を一時中止しようとする規則に対する情報入力（例えば、音声入力）を案内（例えば、“命令語を話してください”）するポップアップウィンドウ１６５１を表示した後、ユーザの音声入力を待機することができる。
図１６Ｂのような状態で、ユーザは、実行を一時中止しようとする当該規則（例えば、タクシー）を一時中止する音声（例えば、“タクシー一時停止”）を入力することができる。それでは、制御部１７０は、前記ユーザの音声入力を認識し、実行中の規則（例えば、“タクシー”、“地下鉄”）で前記音声に対応する規則（例えば、“タクシー”）を一時中止させることができる。そして、制御部１７０は、図１６Ｃに示されたように、ウィジェット５００の実行情報領域５２０でユーザにより一時停止要請された当該規則（例えば、“タクシー”）に対する表示を変更して提供することができる。
一実施形態によれば、制御部１７０は、図１６Ｃに示されたように、実行情報領域５２０で“タクシー”に対応する規則の活性化状態を不活性化状態に切り替えて表示することができる。すなわち、図１６Ｃは、ウィジェット５００の実行情報領域５２０で特定規則（例えば、タクシー）がユーザの音声入力によって当該規則がしばらく中断されている状態のユーザデバイス１００の画面例示を示すものである。
このように、本発明の実施形態によれば、現在実行中の規則をウィジェット５００を通じて表示することができ、表示中の規則に対してユーザの音声入力（例えば、“ＯＯＯ一時停止”、ＯＯＯは、規則または条件を含む）によってしばらく中止することができるように支援することができる。
図１７は、本発明の実施形態によるユーザデバイスで実行規則に対して通知する動作画面例示を示す図である。
図１７を参照すれば、ユーザデバイス１００は、ユーザ要請による規則を実行するとき、表示部１３１の画面上に関連通知アイテム７００を提供することができる。前記通知アイテム７００は、実行された規則に対応するアイコンまたはテキストなどで提供されることができる。例えば、前述した動作例示によって運転と関連した規則実行の場合、図１７の例示のように、“自動車”イメージ（またはテキスト）と関連した通知アイテム７００が画面上の一領域を通じて提供されることができる。または、前述した例示によって薬と関連した規則実行の場合、“薬局または薬瓶”イメージまたはテキストと関連した通知アイテム７００が画面上の一領域を通じて提供されることができる。このように、本発明の多様な実施形態によれば、規則が実行されるとき、現在実行中の規則に対してユーザが直観的に認知することができるように関連通知アイテム７００を通じてユーザにフィードバックすることができる。
一方、図１７では、本発明の実施形態による通知アイテム７００が表示部１３１の画面上でいずれか１つの領域を通じて提供されることを例示した。しかし、本発明がこれに限定されるものではなく、図５Ｅを参照した説明で記述したように、ユーザデバイス１００の多様な動作状態情報を提供するインジケータ領域を通じて提供されることもできる。これを下記の図１８Ａ〜１９Ｂを参照して説明する。
図１８Ａおよび図１８Ｂは、本発明の実施形態によるユーザデバイスで実行規則に対して通知する動作画面例示を示す図である。
図１８Ａおよび図１８Ｂを参照すれば、ユーザデバイス１００は、ユーザ要請による規則を実行するとき、表示部１３１のインジケータ領域１８５０のうちいずれか１つ領域を通じて通知アイテム５５０を提供することができる。一実施形態によれば、インジケータ領域１８５０の左側領域を利用して通知アイテム５５０を表示することによって、現在実行中の規則があることを通知することができる。
図１８Ａおよび図１８Ｂに示されたように、本発明の多様な実施形態において前記通知アイテム５５０は、実行中の規則に関係なく、実行されている１つの規則だけでもあったら提供されることができる。
例えば、図１８Ａを参照すれば、ウィジェット５００の実行情報領域５２０に示されたように、複数の規則（例えば、“タクシー”と“地下鉄”のように２個の規則）が現在動作中の状態であることができる。図１８Ｂを参照すれば、ウィジェット５００の実行情報領域５２０に示されたように、複数の規則（例えば、“タクシー”と“地下鉄”のように２個の規則）のうちいずれか１つの規則（例えば、“地下鉄”）だけが動作中であり、他の１つの規則（例えば、“タクシー”）は、不活性化状態（例えば、前述した動作例示を参照するとき、一時中止された状態）であることができる。
このように、本発明の多様な実施形態によれば、インジケータ領域１８５０に現在実行中の規則があることを通知アイテム５５０を通じてフィードバックすることができ、１つまたはそれ以上の規則が実行中の場合、実行中のすべての規則を代表して１つの通知アイテム５５０が表示されることができる。しかし、本発明がこれに限定されるものではなく、本発明の多様な実施形態によれば、実行中の規則ごとに通知アイテムを提供することもできる。すなわち、インジケータ領域１８５０を通じて複数の通知アイテムが提供されることもできる。
図１９Ａおよび図１９Ｂは、本発明の実施形態によるユーザデバイスで実行規則に対して通知する動作画面例示を示す図である。
図１９Ａおよび図１９Ｂを参照すれば、ユーザデバイス１００は、ユーザ要請に従って規則を実行するとき、表示部１３１の前述したようにインジケータ領域１８５０を通じて実行中の規則が存在することを通知する通知アイテム５５０を提供することができる。そして、本発明の実施形態によれば、実行中の規則が一時的に中止されるとき、それに反応してユーザデバイス１００は、現在一時的に中止された規則があることをインジケータ領域１８５０の当該通知アイテム５５０を通じてフィードバックすることもできる。
例えば、図１９Ａに示されたように、動作中であった規則（例えば、タクシー）がユーザ選択によって一時中止するとき、ユーザデバイス１００は、当該規則の一時停止に反応して通知アイテム５５０を不活性化状態に切り替えて提供することができる。前記ウィジェット５００の実行情報領域５２０は、前記規則（例えば、タクシー）が現在動作（ｒｕｎｎｉｎｇ）中ではないことを指示することができる。
また、本発明の実施形態によれば、図１９Ｂに示されたように、通知アイテム５５０は、当該規則に対応するアイコンまたはアプリケーション実行アイコンなど多様に提供されることができる。そして、当該規則に対応するアイコン形態を規則の実行状態（例えば、動作中でまたは一時停止中）によって活性化または不活性化状態を区分して直観的に提供することができる。一実施形態によれば、図１９ｂの例示のように、“タクシー”と関連した規則の場合、タクシー形状のアイコンの通知アイテム５５０が提供されることができる。
図２０Ａ〜図２０Ｃは、本発明の実施形態によるユーザデバイスで実行規則に対して通知する動作画面例示を示す図である。
図２０Ａ〜図２０Ｃを参照すれば、ユーザデバイス１００は、１つまたはそれ以上の実行規則に対する通知アイテム５５０をインジケータ領域１８５０を通じて提供することができる。そして、本発明の実施形態によれば、ユーザが前記インジケータ領域１８５０の通知アイテム５５０を選択（例えば、タップまたはタッチに基づくタッチイベントなど）するか、またはクイックパネル（Ｑｕｉｃｋ Ｐａｎｅｌ）２０１０を表示するためにインジケータ領域１８５０をタッチし、下方にドラッグすることができる。
前記クイックパネル２０１０は、ユーザデバイス１００の多様な機能(例えば、Ｗｉ−Ｆｉ、ＧＰＳ、音、画面自動回転、節電モードなど)に対する設定情報およびそれらの迅速な設定などを支援することができ、ユーザ入力に反応してスライディングされ、表示部１３１の全体画面または一部の画面上に半透明形態で提供されることができる。特に、本発明の多様な実施形態において前記クイックパネル２０１０は、図２０Ｂに示されたように、規則が動作中の場合、動作中の当該規則に対する情報アイテム２０５０を提供することができる。したがって、ユーザは、前記クイックパネル２０１０を通じてインジケータ領域１８５０に提供された通知アイテム５５０に対応する少なくとも１つの規則の条件およびアクションが何であるかを直観的に確認することができる。
図２０Ｂのような状態で、ユーザは、当該規則に対する詳細情報を確認するために、図２０Ｃに示されたように、前記クイックパネル２０１０の情報アイテム２０５０を選択（例えば、タップまたはタッチに基づくタッチイベントなど）することができる。ユーザデバイス１００は、前記情報アイテム２０５０の選択に反応して現在実行中の規則（すなわち、ユーザにより選択された情報アイテム２０５０に対応する規則）に対する詳細情報を出力することができる。本発明の多様な実施形態において前記詳細情報出力は、前記クイックパネル２０１０上のポップアップウィンドウを通じてテキストに基づいて提供されることもでき、または画面切替を通じて前述したような規則リストを通じて提供されることもでき、または前記クイックパネル２０１０を維持する状態で音声に基づいて提供されることもできる。
例えば、本発明の多様な実施形態によれば、インジケータ領域１８５０の通知アイテム５５０をタッチするとき、当該規則の条件およびアクションなどが何であるかを音声またはテキストを通じてフィードバックすることができる。
また、本発明の多様な実施形態によれば、インジケータ領域１８５０の通知アイテム５５０をタッチするか、またはインジケータ領域１８５０をタッチし、下方にドラッグするとき、クイックパネル２０１０を通じて当該規則に対する情報アイテム２０５０を提供することができる。そして、情報アイテム２０５０をタッチするとき、当該規則に対する詳細情報（例えば、条件および規則）に対して音声でフィードバックすることができる。一実施形態によれば、図２０Ｃの情報アイテム２０５０が選択されるとき、“［家］実行中です。サウンド設定ベル、Ｗｉ−Ｆｉ ＯＮ”のような音声を出力することができ、またはテキストを出力することができ、または音声およびテキストをすべて出力することもできる。
図２１Ａおよび図２１Ｂは、本発明の実施形態によるユーザデバイスで実行規則に対して通知する動作画面例示を示す図である。
図２１Ａおよび図２１Ｂを参照すれば、図２１Ａおよび図２１Ｂは、本発明の実施形態によるウィジェット５００を利用してユーザが現在どんな規則を実行中であるかに対して通知する動作例を示すものである。
図２１Ａに示されたように、ユーザは、ウィジェット５００の実行情報領域５２０を通じて現在実行中の規則（例えば、家）が表示中の状態で、当該規則を選択することができる。それでは、ユーザデバイス１００は、前記実行情報領域５２０で選択された当該規則に対する詳細情報をテキストまたは音声に基づいてフィードバックすることができる。
例えば、図２１ｂに示されたように、ユーザデバイス１００は、ユーザ選択による当該規則（例えば、家）に対して設定された“［家］実行中、サウンド設定ベル音、Ｗｉ−Ｆｉ ＯＮ”のような条件およびアクションをポップアップウィンドウ２１５０を通じてテキストに基づいて出力することができる。またはユーザデバイス１００は、ユーザの設定方式に対応して、前述した詳細情報を音声に基づいて出力するように動作するか、または前記テキストと前記音声をすべて出力するように動作することもできる。
図２２Ａ〜図２２Ｃは、本発明の実施形態によるユーザデバイスで実行中の規則を終了する動作例示を示す図である。
図２２Ａ〜図２２Ｃを参照すれば、図２２Ａは、本発明の実施形態による状況認識サービスのためのウィジェット５００が実行されており、前記ウィジェット５００の実行情報領域５２０を通じて現在動作中の規則に対する情報が表示されているときのユーザデバイス１００の画面例示を示すものである。
図２２Ａに示されたように、現在動作中の規則が“地下鉄”に該当する場合を仮定する。これにより、ウィジェット５００の実行情報領域５２０を通じて実行中の規則である“地下鉄”に対する情報が表示されることができ、インジケータ領域１８５０に前記動作中の規則“地下鉄”に対応して通知アイテム５５０が提供されることができる。
ユーザは、ウィジェット５００の命令入力領域（または規則実行ボタン）５１０を選択（例えば、タップに基づくタッチイベントなど）することができる。それでは、制御部１７０は、規則の実行、実行中の規則の一時停止、または実行中の規則の終了のうち少なくとも１つの動作を行うための動作開始であるものと決定することができる。図２２Ａ〜図２２Ｃの動作例示では、実行中の特定規則を終了するための動作の場合を仮定することができる。したがって、ユーザデバイス１００は、図２２Ｂに示されたように、実行を終了しようとする規則に対する情報入力（例えば、音声入力）を案内（例えば、“命令語を話してください”）するポップアップウィンドウ２２５１を表示した後、ユーザの音声入力を待機することができる。
図２２ｂのような状態で、ユーザは、実行を終了しようとする当該規則（例えば、地下鉄）を終了する音声（例えば、“地下鉄終了”）を入力することができる。それでは、制御部１７０は、前記ユーザの音声入力を認識し、実行中の規則（例えば、“地下鉄”）で前記音声に対応する規則（例えば、“地下鉄”）を終了させることができる。そして、制御部１７０は、図２２ｃに示されたように、ウィジェット５００の実行情報領域５２０でユーザにより終了要請された当該規則（例えば、“地下鉄”）に対する表示を変更して提供することができる。また、制御部１７０は、実行中の規則“地下鉄”の終了に反応してインジケータ領域１８５０に表示された通知アイテム５５０の表示も除去することができる。
一実施形態によれば、制御部１７０は、図２２Ｃに示されたように、実行情報領域５２０から“地下鉄”に対応する規則の活性化状態を不活性化状態に切り替えて表示することができる。図２２Ｃは、ユーザの終了音声入力に反応してウィジェット５００の実行情報領域５２０で動作中のもので表示された当該規則（例えば、地下鉄）が除去された状態のユーザデバイス１００の画面例示を示すものである。図２２Ｃに示されたように、動作中であった“地下鉄”規則の終了要請に反応して、実行情報領域５２０に表示された“地下鉄”規則と関連した情報表示の代わりに、“動作中の規則がありません。”のような情報が代替されて表示されることができる。また、複数の規則が実行中であり、終了要請された規則が１つである場合を仮定するとき、前記実行情報領域５２０には、終了要請された規則の情報表示だけが除去され、他の規則の情報表示は、維持されることができる。
以上のように、本発明の多様な実施形態によれば、“ＯＯＯ終了”のように、特定規則に対する終了を指示する音声入力を通じて当該規則に対して簡便に終了させることができる。また、本発明の多様な実施形態において、ユーザ入力によって特定規則が終わるとき、前記特定規則の条件およびアクションによって変更されたユーザデバイス１００の１つまたはそれ以上の設定を変更される前の状態に自動復帰するように動作することもできる。
図２３Ａおよび図２３Ｂは、本発明の実施形態によるユーザデバイスで実行中の規則を終了する動作例示を示す図である。
図２３ａおよび図２３ｂを参照すれば、図２３Ａおよび図２３Ｂは、前述したようなウィジェット５００または規則リストなどで当該規則に対して終了を入力することができる終了ボタンを提供し、前記終了ボタンを利用して当該規則を終了させる場合の動作例示を示すものである。
図２３ａに示されたように、ウィジェット５００を通じて現在動作中の規則が“地下鉄”に該当することをフィードバックすることができる。この際、図２３Ａに示されたように、インジケータ領域１８５０に前記動作中の規則に対応して通知アイテム５５０が提供されることができる。
ユーザは、現在動作中の前記“地下鉄”規則に対して終了するために当該規則にマッピングされて提供される終了ボタン５２５を利用して当該規則の動作状態を終了することができる。例えば、図２３Ａに示されたように、ユーザは、ウィジェット５００の実行情報領域５２０で当該規則（例えば、“地下鉄”）にマッピングされた終了ボタン５２５を選択（例えば、タップまたはタッチに基づくタッチイベント）することができる。
それでは、制御部１７０は、前記終了ボタン５２５に対するユーザ入力を認識し、実行中の規則（例えば、“地下鉄”）で前記終了ボタン５２５に対応する規則（例えば、“地下鉄”）を終了させることができる。そして、制御部１７０は、図２３ｂに示されたように、ウィジェット５００の実行情報領域５２０でユーザにより終了要請された当該規則(例えば、“地下鉄”)に対する表示を変更して提供することができる。また、制御部１７０は、実行中の規則の終了に反応してインジケータ領域１８５０に表示された通知アイテム５５０の表示も除去することができる。
一実施形態によれば、制御部１７０は、図２３Ｂに示されたように、実行情報領域５２０で“地下鉄”に対応する規則の活性化状態を不活性化状態に切り替えて表示することができる。図２３Ｂは、ユーザの終了ボタン５２５入力に反応してウィジェット５００の実行情報領域５２０で動作中のものと表示された当該規則(例えば、地下鉄)が除去された状態のユーザデバイス１００の画面例示を示すものである。図２３Ｂに示されたように、動作中であった“地下鉄”規則の終了要請に反応して、実行情報領域５２０に表示された“地下鉄”規則と関連した情報表示の代わりに“動作中の規則がありません。”のような情報が代替されて表示されることができる。また、複数の規則が実行中であり、終了要請された規則が１つである場合を仮定するとき、前記実行情報領域５２０には、終了要請された規則の情報表示だけが除去され、他の規則の情報表示は、維持されることができる。
図２４および図２５は、本発明の実施形態によるユーザデバイスで状況認識サービスを終了する動作例示を示す図である。
図２４を参照すれば、ユーザは、規則終了のためにあらかじめ定義された特定命令（例えば、音声、テキスト、ウィジェットの終了ボタン、またはジェスチャーなど）を入力することによって、現在実行中の少なくとも１つの規則を終了することができる。ここで、前記規則終了のための命令は、音声命令やテキスト命令を含むことができる。または、前記規則終了は、別に割り当てられた機能キー入力を通じて終了することができ、ウィジェット５００を通じて規則ごとに割り当てられた終了ボタン５２５入力を通じて終了することもでき、または筆記入力のようなテキスト入力を通じて終了することもでき、または設定された特定ジェスチャー入力を通じて終了することもできる。
例えば、図２４に示されたように、ユーザは、“ＯＯＯ（規則に対応する命令語など）終了、家到着、またはもう少しで家に到着”などのようにあらかじめ定義された規則終了のための自然言語に基づく音声を入力することができる。そして、ユーザデバイス１００は、ユーザから入力された音声を認識および解析し、当該音声が特定規則の終了のための命令に該当するとき、実行されている当該規則を終了することができる。本発明の多様な実施形態において前記規則終了のための命令は、定義される各規則別に設定されることができる。また、前記規則終了のための命令は、実行されている規則に関係なく、すべての規則に対して一括的に終了処理することができる統合命令（例えば、規則終了）が設定されることもできる。そして、統合命令の場合、複数で実行中の規則に対してすべて一括的に終了するように動作することができる。
図２５を参照すれば、ユーザデバイス１００は、ユーザにより規則終了のための命令が直接的に入力されないとしても、特定条件が持続すれば、当該規則の終了を自動で行うか、または規則終了をユーザに誘導することもできる。
例えば、図２５に示されたように、ユーザデバイス１００は、実行された規則による状況を監視し、現在状況がマッピングテーブルで前記規則に対して定義された規則終了条件に対応するかを区分することができる。本発明の多様な実施形態において、前記規則終了は、ユーザにより定義された１つまたはそれ以上の規則が所定の時間の間にどんな条件（状況）変化も検出されないか、またはユーザが定義した規則終了条件（例えば、規則終了のための音声入力、規則終了機能キー入力、特定条件持続など）が満たされれば、当該規則の終了として決定することができる。
ユーザデバイス１００は、前記規則に対する終了条件が満たされるとき、ユーザに実行中の当該規則の終了を誘導するメッセージ（例えば、“運転モードを終了しましょうか？”）をポップアップ９００で提供することができ、ポップアップ９００を通じたユーザ選択によって当該規則を維持するかまたは当該規則を終了することができるようにする。
図２６Ａおよび図２６Ｂは、本発明の実施形態によるユーザデバイスで規則を削除する動作例示を示す図である。
図２６Ａおよび図２６Ｂを参照すれば、図２６Ａおよび図２６Ｂは、本発明の実施形態による状況認識サービスのためのアプリケーション（例えば、規則リスト）を実行するときのユーザデバイス１００の画面例示を示すものである。
図２６ａおよび図２６ｂに示されたように、ユーザにより“家”、“タクシー”および“地下鉄”のように３個の規則が生成されて格納された場合を仮定することができる。ユーザは、前記のように３個の規則に対する規則リストが表示された状態でメニュー操作、音声入力、またはジェスチャー入力などを通じて削除機能を活性化することができる。
例えば、ユーザは、図２６Ａのような状態で、ユーザデバイス１００のメニューを操作するユーザ入力、“規則削除”のような音声またはテキストに基づくユーザ入力、規則削除機能実行のためにあらかじめ定義されたジェスチャーに基づくユーザ入力などを通じて削除機能実行を要請することができる。それでは、制御部１７０は、前記のようなユーザ入力のうちいずれか１つのユーザ入力に反応して規則削除機能を活性化することができ、図２６Ｂのように、規則を削除することができる画面インターフェースを提供することができる。一実施形態によれば、図２６Ｂに示されたように、あらかじめ定義された規則に対するリストが表示されることができ、前記リスト内の各規則を選択することができる選択アイテム２６００（例えば、チェックボックス（Ｃｈｅｃｋ Ｂｏｘ））が提供されることができる。
ユーザは、規則に対応する選択アイテム２６００のうち削除しようとする少なくとも１つの規則を選択することができる。この際、制御部１７０は、ユーザの選択入力に反応して選択アイテム２６００上に当該規則が選択されることを表示することができる。一実施形態によれば、選択アイテム２６００の“空きのボックス(ｅｍｐｔｙ ｂｏｘ)(例えば、内部にチェックマーク(ｃｈｅｃｋｍａｒｋ)がない選択ボックス)”上に“ｖ”のようにマーキングし、“内部にチェックマークを有するボックス”のように示すことができる。そして、ユーザは、メニュー操作または削除ボタンを利用して選択された少なくとも１つの規則を削除することができる。
一方、図２６Ａおよび図２６Ｂでは、ユーザがメニューおよび選択アイテム２６００などを利用して規則を削除する動作を例示したが、ユーザは、図２６Ａまたは図２６Ｂのような状態で音声に基づいてまたはテキストに基づいて規則を削除することもできる。例えば、ユーザは、図２６Ａまたは図２６Ｂのような状態で“家削除”に対応する音声または筆記入力によって“家”規則を削除することもできる。
図２７は、本発明の実施形態によるユーザデバイスで規則を生成する動作を示す流れ図である。
図２７を参照すれば、制御部１７０（例えば、規則設定モジュール１７３）は、状況認識サービスのために入力されるユーザ入力を受信することができる（１００１段階）。例えば、ユーザは、ユーザ入力部１２０、マイク１４３およびタッチスクリーン１３０のうち少なくとも１つを操作して状況認識サービスの規則を定義するための設定モード実行を制御することができる。そして、ユーザは、設定モードでマイク１４３を通じた音声入力、ユーザ入力部１２０またはタッチスクリーン１３０を通じたテキスト入力などを通じてユーザの規則を定義する入力を行うことができる。それでは、制御部１７０は、前記設定モードで状況認識サービスのための前記ユーザ入力を感知することができる。ここで、ユーザは、前述した多様な動作例示のように、少なくとも１つの入力手段を通じて規則、条件状況、アクションおよび規則実行命令などを入力することができる。
例えば、ユーザは、規則で“タクシーに乗ったら、文字を送ってくれ”を定義し、前記文字を伝送するターゲットに少なくとも１つのターゲットユーザデバイス（例えば、“パパに送ってくれ”）を指定し、それによる規則実行命令として“私はタクシーに乗った”を定義することができる。また、ユーザは、前述した例示で説明したように、“私がタクシーに乗ったら、パパと弟に５分ごとに私の位置情報を知らせてくれ”や“私がタクシーに乗った後、パパから‘どこなの’が含む文字受信時にパパに文字を送ってくれ”などのように具体的な規則を定義することもできる。
制御部１７０は、ユーザ入力を認識することができる（１００３段階）。例えば、制御部１７０は、ユーザ規則の設定モードでユーザ入力が受信されるとき、当該手段に通じて入力された音声またはテキストを認識することができる。例えば、制御部１７０は、マイク１４３を通じてユーザの音声が入力されるとき、音声認識を行うことができ、ユーザ入力部１２０またはタッチスクリーン１３０を通じてユーザのテキストが入力されるとき、テキスト認識を行うことができる。ここで、本発明の実施形態においてユーザの音声またはユーザのテキストは、前述した例示のように、自然言語（ユーザが日常的に使用する言語）に基づいて入力されることができ、制御部１７０は、ユーザの音声またはテキストによる自然言語を認識することができる。
制御部１７０は、認識されたユーザ入力（例えば、自然言語に基づくユーザ音声またはテキスト）を解析することができる（１００５段階）。例えば、制御部１７０は、前記自然言語に基づくユーザ音声を解析し、ユーザにより意図された規則、状況および規則実行命令語を抽出および区分することができる。または、制御部１７０は、ユーザからテキストが入力された場合、認識された自然言語に基づくユーザテキストを解析し、ユーザにより意図された規則、状況および規則実行命令語を抽出および区分することができる。ここで、前記規則、条件（状況）、アクションおよび規則実行命令は、ガイドによって順次に入力されることもできる。また、制御部１７０は、前記ユーザ入力に対する解析結果で状況認識によるアクション実行のための項目（例えば、状況認識対象、ターゲット、命令語など）をチェックし、漏れた部分を確認することもできる。一実施形態によれば、制御部１７０は、ユーザとのインタラクション動作を通じて規則生成に対するガイド提供およびそれに反応して入力された情報に基づいて規則を生成することができる。
例えば、ユーザが“タクシーに乗ったら、文字を送ってくれ”のように、状況認識のための規則内容のみを定義し、ターゲットを指定しない場合、制御部１７０は、前記規則内容で文字を伝送する対象（すなわち、ターゲット）がないことを認知することができる。そして、制御部１７０は、ターゲットが指定されないことによって定義された規則に対するアクション実行時、どんなターゲットに伝送するかをガイドすることができる。すなわち、制御部１７０は、アクションによって付加的に必要な情報をユーザに音声またはテキストで質問しながらインタラクション動作を行うことができる。一実施形態によれば、制御部１７０は、“受信者を話してください”または“誰に送りましょうか？”などのようなポップアップ（音声案内を含む）を提供することができる。それでは、ユーザは、“後で決定するよ”、“ボーイフレンド”または“パパに送ってくれ”などのようにターゲットを指定することができる。前記ターゲット指定は、前述したように、音声またはテキストに基づく自然言語で指定されることができる。そして、制御部１７０は、上記のように規則に対する追加定義が行われるとき、前述したような手続によって認識および解析を行い、当該事項を１つの規則にマッチングすることができる。
制御部１７０は、解析されたユーザ入力に対応して状況認識サービスのための規則を定義して管理することができる（１００７段階）。例えば、制御部１７０は、解析されたユーザ入力から抽出された規則、条件（状況）、アクションおよび規則実行命令などをマッピングしてマッピングテーブルで格納および管理することもできる。
一方、図２７では、図示を省略したが、本発明の多様な実施形態によれば、前記規則定義時にユーザのためのガイドを追加提供することもできる。例えば、前述したような設定モードで、ユーザは、特定入力道具（例えば、電子ペン、ユーザの指など）を利用して定義しようとする規則に対するフレーズを筆記入力するか、仮想のタッチキーパッドを利用してタイピング入力することもできる。それでは、制御部１７０は、前記筆記またはタイピングによるテキストを認識し、認識されたテキストによる規則を定義することができる画面インターフェースを提供することができる。
前記画面インターフェースを通じて指定可能な条件およびアクション（または機能、アプリケーション）などのリスト（例えば、条件リスト、アクションリスト）が提供されることができ、ユーザは、当該リストで所望のまたは必要な条件またはアクション（または機能、アプリケーション）をオン／オフ（Ｏｎ／Ｏｆｆ）するか、または所望の条件またはアクションを選択することができる。例えば、ユーザが事務室でＧＰＳ機能を自動オフするための規則を定義しようとするとき、前記設定モードで電子ペン（またはユーザの指）でユーザデバイスの画面上に“ｏｆｆｉｃｅ”を入力（筆記入力またはタッチキーパッドによるタイピング（文字）選択入力）することができる。
本発明の多様な実施形態においては、ユーザ筆記入力またはタイピング入力のための画面インターフェース（例えば、命令語パッド（ｃｏｍｍａｎｄ ｐａｄ）やタッチキーパッド）を画面上に提供することもできる。そして、前記命令語パッドやタッチキーパッドのような画面インターフェースを通じて様々な入力ツール（電子ペンまたはユーザ指など）を利用したユーザの筆記またはキーパッド入力によるテキストを入力されて“ｏｆｆｉｃｅ”を認識し、当該入力が規則定義のための入力であるものと認知することができる。それでは、制御部１７０は、設定リスト画面に切り替え、ユーザは、前記設定リスト画面で前記“ｏｆｆｉｃｅ”に関連した多様な条件またはアクション（機能、アプリケーションなど）のうち少なくとも１つの条件またはアクションに対するオン／オフを設定することができる。一例として、ユーザは、ＧＰＳ機能のオフを選択することができる。
このように、本発明の実施形態によれば、規則定義は、ユーザの音声入力およびユーザのテキスト入力のうち少なくとも１つの入力方式を通じて規則を定義することができる。また、前記ユーザのテキスト入力方式は、ユーザが前述したような自然言語に基づいて規則を定義するか、または前述したような命令語パッドやタッチキーパッドを通じて特定索引語（例えば、‘ｏｆｆｉｃｅ’）を入力し、それに対応するアクションリストで少なくとも１つのアクションに対するオン／オフを選択的に設定する方式に区分されることができる。
図２８は、本発明の実施形態によるユーザデバイスで状況認識サービスが提供される動作を示す流れ図である。
図２８では、ユーザデバイス１００でユーザにより定義された規則実行のための当該命令入力による規則を実行し、実行規則に対応する条件状況が感知されるとき、それによるアクションを実行する動作を示すものである。
図２８を参照すれば、制御部１７０は、状況認識サービスのための命令入力を受信することができる（１１０１段階）。例えば、ユーザは、マイク１４３を通じて状況認識サービスのために定義された規則実行のための音声を入力することができる。それでは、制御部１７０は、前記マイク１４３を通じてユーザの音声を受信することができる。ここで、本発明の多様な実施形態によれば、ユーザの規則実行のための命令は、上記のようにマイク１４３を通じて音声に基づいて入力されることができ、ユーザ入力部１２０またはタッチスクリーン１３０を通じてテキストに基づいて入力されることができ、またはあらかじめ定義された特定ジェスチャーに基づいて入力されることもできる。
また、本発明の多様な実施形態においては、音声命令を入力するために、ユーザデバイス１００の機能キーのうちユーザにより規則実行のための音声入力を待機するようにする命令キー（例えば、ショートカットキーまたはウィジェット５００の規則実行ボタンなど）を指定することもできる。例えば、制御部１７０は、前記命令キーによる入力が発生するとき、ユーザの状況移植サービスのための音声入力受信を待機し、前記待機状態で入力される音声のみに対して規則実行のための命令として認知することができる。ここで、前記命令キーの入力方式は、１回の入力で待機状態に切り替えられる方式であるか、または命令キーが押圧されている間にのみ、待機状態に切り替える方式であることができる。
制御部１７０は、入力される命令を認識することができる（１１０３段階）。例えば、制御部１７０は、ユーザから音声が入力されるとき、入力された音声から規則実行を命令する命令語を認識することができる。
制御部１７０は、認識された命令を解析することができる(１１０５段階)。例えば、制御部１７０は、認識されたユーザ音声（例えば、“私はタクシーに乗ります”）を解析し、規則実行命令語（例えば、“タクシー”）を抽出することができる、制御部１７０は、実行命令語が抽出されるとき、あらかじめ定義された規則で前記実行命令語に対応する規則があるのかを判別することができる（１１０７段階）。
制御部１７０は、前記実行命令語に対応する規則がなければ（１１０７段階のＮＯ）、ガイド出力を制御することができる（１１０９段階）。例えば、制御部１７０は、ユーザにより要請された規則がないことを通知するガイドポップアップを出力することができる。または、制御部１７０は、前記ガイドポップアップを通じて当該命令語に対する規則を追加に定義するかなどを問い合わせるガイドを出力することもできる。または、制御部１７０は、ユーザにより定義された規則の規則リストを提供することもできる。
制御部１７０は、ガイド出力後、ユーザ要請による当該動作実行を制御することができる（１１１１段階）。例えば、制御部１７０は、ユーザ選択によって前述した手続を終了するか、またはユーザ選択によって前記命令語に対応する新しい規則を定義するか、規則リストで特定規則を選択されるようにするなどの動作を処理することができる。
制御部１７０は、前記実行命令語に対応する規則があれば（１１０７段階のＹＥＳ）、前記実行命令語に対して定義された規則が複数個であるかを判別することができる（１１１３段階）。例えば、ユーザは、１つの命令に対して１つまたはそれ以上の規則を定義することができる。一実施形態によれば、ユーザは、“運転”という規則（命令語）に“運転中に指定された外部からイベントが発生するとき、現在位置を伝送”するようにする第１規則、“運転中に時速１００Ｋｍ／ｈ以上なら、警告アラームを出力”するようにする第２規則、そして“運転中で時速６０Ｋｍ／ｈ以上ならオーディオボリュームを増加”するようにする第３規則などのように複数個を定義することができる。または、ユーザは、“運転１”という命令語に前記第１規則を定義し、“運転２”という命令語に前記第２規則を定義し、“運転３”という命令語に前記第３規則をそれぞれマッピングして定義することもできる。
制御部１７０は、前記実行命令語に対して定義された規則が複数個ではなければ（１１１３段階のＮＯ）、すなわち前記実行命令語に対応する規則が１つなら、前記１つの規則による単一のアクション実行を制御することができる（１１１５段階）。例えば、制御部１７０は、前記１つの規則による条件（状況）のみを監視し、前記１つの規則に対する当該条件（状況）が検出されるとき、それに反応して１つまたはそれ以上のアクションを実行するように動作することができる。
制御部１７０は、前記実行命令語に対して定義された規則が複数個なら（１１１３段階のＹＥＳ）、前記複数の規則による複数のアクション実行を制御することができる（１１１７段階）。例えば、制御部１７０は、前記複数の規則によるそれぞれの条件状況を監視し、前記複数の規則に対する１つまたはそれ以上の当該条件状況が検出されるとき、それに反応して１つまたはそれ以上のアクションを実行するように動作することができる。
また、図２８では、図示を省略したが、制御部１７０は、１つの命令に対して複数の定義された規則が存在するとき、複数の規則のうちいずれか１つの規則選択をガイド（または推薦）するインターフェースを提供することもできる。そして、制御部１７０は、ユーザ選択（音声、テキスト、ジェスチャーなどによる選択入力）によって複数の規則に対する複数のアクション実行を制御することができ、または選択されたいずれか１つの規則に対する単一のアクション実行を制御することもできる。
また、図２８では、図示を省略したが、前記ユーザ入力による規則でアクション実行のための項目（例えば、条件(状況)認識対象、ターゲット）をチェックし、漏れた部分を確認することもできる。すなわち、制御部１７０は、ユーザにより規則が実行される過程でインタラクションをチェックすることができる。
例えば、ユーザが規則定義時に“タクシーに乗ったら、文字を送ってくれ”のように、条件(状況)認識のための規則内容のみを定義し、文字を伝送するターゲットを“後で決定するよ”として定義することができる。このような場合、制御部１７０は、規則実行段階または規則実行中に当該条件を検出して文字伝送のアクションを実行しようとする段階で、当該文字を伝送する対象（すなわち、ターゲット）がないことを認知することができる。したがって、制御部１７０は、ターゲットが指定されないことによって、当該規則に従って文字を伝送しようとするとき、どんなターゲットに伝送するかをガイドすることができる。一実施形態によれば、制御部１７０は、“文字を誰に送りましょうか？”のようなポップアップ（音声案内を含む）を提供することができる。それでは、ユーザは、“パパに送ってくれ”などのようにターゲットを指定することができ、前記ターゲット指定は、音声またはテキストに基づく自然言語で指定されることができる。
図２９は、本発明の実施形態によるユーザデバイスで状況認識サービスが提供される動作を示す流れ図である。
特に、図２９では、ユーザデバイス１００で規則実行後、実行された規則に対応する１つまたはそれ以上の条件（状況）をチェックしてアクションを実行するか、または動作中の規則を解除する動作の例示を示すものである。
図２９を参照すれば、制御部１７０は、ユーザ要請による規則を実行し（１２０１段階）、前記規則実行による実行情報(例えば、通知アイテム)をフィードバックすることができる（１２０３段階）。例えば、制御部１７０は、前述したように、表示部１３１の画面上に実行されている規則と関連したアイテム（アイコン、テキストなど）が表示されるように動作することができる。
制御部１７０は、規則実行による状態をチェックすることができる（１２０５段階）。例えば、制御部１７０は、現在実行中の規則に対応する条件（状況）が発生するかどうかを持続的または周期的に監視することができる。
制御部１７０は、前記状態チェックされた結果を通じてアクション実行条件が満たされるかを判別することができる（１２０７段階）。例えば、制御部１７０は、実行中の規則で定義された１つまたはそれ以上の条件状況を監視し、現在状況がマッピングテーブルで前記規則に対して定義されたアクションが実行されるようにする特定条件に対応するかを判別することができる。
制御部１７０は、ユーザデバイス１００の条件（状況）がアクション実行条件に対応すれば（１２０７段階のＹＥＳ）、前記実行規則で当該条件に対応するアクション実行を制御することができる（１２０９段階）。例えば、制御部１７０は、規則実行時にアクションを誘発させる条件または状況を監視し、アクションを誘発する条件または状況になれば、当該アクションが実行されるように動作することができる。ここで、アクション実行は、定義された規則に従って機能（またはアプリケーション）を実行し、それによる結果（例えば、状況情報）を生成し、ユーザまたは他のユーザに出力されるようにする動作などを含むことができる。
制御部１７０は、ユーザデバイス１００の条件（状況）がアクション実行条件に対応しなければ（１２０７段階のＮＯ）、前記状態チェックされた結果を通じて規則解除条件が満たされるかを判別することができる（１２１１段階）。例えば、制御部１７０は、実行された規則による条件（状況）を監視し、現在状況がマッピングテーブルで前記規則に対して定義された規則解除条件に対応するかを判別することができる。ここで、前記規則解除は、ユーザ設定による所定の時間の間にどんな状況変化も検出されないか、またはユーザが定義した規則解除条件（例えば、規則解除のための音声命令入力、規則解除のための機能キー入力、規則解除のためのテキスト入力、規則解除のためのジェスチャー入力、または特定条件持続）などが満たされれば、実行中の規則の解除として決定することができる。
制御部１７０は、ユーザデバイス１００の条件（状況）が規則解除条件に対応しなければ（１２１１段階のＮＯ）、前記１２０５段階に進行し、状態チェックを行いながら以下の動作実行を制御することができる。
制御部１７０は、ユーザデバイス１００の条件（状況）が規則解除条件に対応すれば（１２１１段階のＹＥＳ）、実行中の規則を解除し（１２１３段階）、規則解除による解除情報をフィードバックすることができる(１２１５段階)。例えば、制御部１７０は、実行された規則が解除されることを聴覚、視覚、そして触覚のうち少なくとも１つを通じてフィードバックすることができる。一実施形態によれば、制御部１７０は、オーディオ（例えば、音声、音響など）、解除案内ポップアップ、そして振動のうち少なくとも１つを通じて規則が解除されることをフィードバックする出力が行われるように動作することができる。
ここで、図２９では、図示を省略したが、制御部１７０は、前記規則解除条件が充足されるとき、ユーザに実行規則終了を誘導するポップアップを提供することもでき、当該ポップアップを通じたユーザ選択によって実行中の規則を維持するかまたは解除することもできる。
図３０は、本発明の実施形態によるユーザデバイスで状況認識サービスが提供される動作を示す流れ図である。
図３０を参照すれば、制御部１７０は、ユーザ要請による規則が実行された状態でイベントを監視し（１３０１段階）、それによるイベント（条件）発生有無をチェックすることができる（１３０３段階）。例えば、制御部１７０は、実行中の規則による条件（状況）を監視し、内部または外部で発生するイベント（条件）があるか否かをチェックすることができる。
前記イベント（条件）は、実行される規則に従ってユーザデバイス１００自体で状況変化（イベント）が監視される内部イベントと、外部でユーザデバイス１００に受信され、状況変化（イベント）が監視される外部イベントとを含むことができる。一実施形態によれば、前記内部イベントは、ユーザデバイス１００の速度変化が設定された条件を超過するときに発生するイベント、設定された時間の周期によって発生するイベント、ユーザから入力される音声またはテキストによって発生するイベント、ユーザデバイス１００の動作変化（例えば、モーション、照度など）によって発生するイベントなどを含むことができる。前記外部イベントは、外部からメッセージ受信（特に、実行中の規則で指定されたターゲットユーザデバイスからのメッセージ受信）によって発生するイベントなどを含むことができる。
制御部１７０は、イベント発生があれば（１３０３段階のＹＥＳ）、前記実行規則で行う機能をチェックすることができる（１３０５段階）。例えば、制御部１７０は、現在実行中の規則で当該イベント（条件）に対してアクションとして定義された機能（またはアプリケーション）を抽出することができる。
制御部１７０は、抽出された機能を活性化し（１３０７段階）、活性化された機能によってアクションが実行されるように動作することができる（１３０９段階）。例えば、制御部１７０は、前記実行規則で当該イベント（条件）によるアクションがユーザデバイス１００のオーディオボリューム制御に関するアクションの場合、オーディオボリューム制御のための機能を活性化し、ボリュームを加減するように動作することができる。または、制御部１７０は、前記実行規則で当該イベント（条件）によるアクションがユーザデバイス１００の現在位置伝送に関するアクションの場合、位置情報伝送のための機能（またはアプリケーション）（例えば、ＧＰＳ機能（ナビゲーション機能）およびメッセージ機能など）を活性化し、ユーザデバイス１００の現在位置情報を当該ターゲットデバイスに伝送するように動作することができる。すなわち、制御部１７０は、アクションを実行するタイプによって１つの機能（またはアプリケーション）または少なくとも２つ以上の複合機能（またはアプリケーション）を運用することができる。
制御部１７０は、アクション実行（または実行の結果）によって関連情報（例えば、前記アクションの実行から発生する情報）のフィードバックを制御することができる（１３１１段階）。例えば、制御部１７０は、オーディオボリューム制御によってオーディオ出力のサイズを変化して出力しながら、変化したオーディオボリュームに対する画面インターフェース表示を制御することができる。または、制御部１７０は、ユーザデバイス１００の位置情報を指定されたターゲットデバイスに伝送したことを通知する画面インターフェース表示または音響（効果音など）出力を制御することができる。
制御部１７０は、イベント（条件）発生がなければ（１３０３段階のＮＯ）、現在状況が規則解除条件に該当するかを判別することができる（１３１５段階）。例えば、制御部１７０は、現在実行されている規則による状況を監視し、現在状況がマッピングテーブルで前記規則に対して定義された規則解除条件に対応するかを判別することができる。
制御部１７０は、前記規則解除条件に対応しなければ（１３１５段階のＮＯ）、前記１３０１段階に進行し、イベント監視を行いながら以下の動作実行を制御することができる。
制御部１７０は、前記規則解除条件に対応すれば（１３１５段階のＹＥＳ）、前記実行された規則を解除し（１３１７段階）、規則解除（または規則の解除の結果）による解除情報（例えば、前記規則の解除から発生する情報）のフィードバックを制御することができる（１３１９段階）。例えば、前記規則解除条件が満たされるとき、ユーザに実行規則終了を誘導するポップアップを提供し、ポップアップを通じたユーザ選択によって実行規則を維持するか、または実行規則を解除することもできる。そして、制御部１７０は、実行規則解除時に、規則が解除されることを聴覚、視覚、そして触覚のうち少なくとも１つを通じてフィードバックすることができる。
図３１Ａ〜図３１Ｎは、本発明の実施形態によるユーザデバイスで規則を生成する他の動作例示を示す図である。
図３１Ａ〜図３１Ｎは、制御部１７０（例えば、規則設定モジュール１７３）がユーザ入力のうち筆記による自然言語に基づくテキスト入力を受け入れ、前記テキスト入力に反応して規則（例えば、条件およびアクション）を定義する動作の例示を示すものである。
図３１Ａ〜図３１Ｎを参照すれば、図３１Ａ〜図３１Ｎは、図３Ａ〜図３Ｋまたは図４Ａ〜図４Ｊを参照した説明部分で説明したような規則生成動作に対応することができる。例えば、図３１Ａは、図４Ａに対応する動作であることができ、図３１Ｃは、図４Ｂに対応する動作であることができ、図３１Ｅは、図４Ｃに対応する動作であることができ、図３１Ｇは、図４Ｄに対応する動作であることができ、図３１Ｉは、図４Ｅに対応する動作であることができ、図３１Ｋは、図４Ｆに対応する動作であることができ、図３１Ｌは、図４Ｉに対応する動作であることができ、図３１Ｎは、図４Ｊに対応する動作であることができる。したがって、以下では、図３１Ａ〜図３１Ｎを参照する説明において前記図４Ａ〜図４Ｊを参照した説明に対応または同一の動作に対しては、その説明を省略するかまたは簡素化する。
すなわち、図３１Ａ〜図３１Ｎは、図４Ａ〜図４Ｊに対応する動作実行で規則を生成する本発明の実施形態を示すものである。但し、図３１Ａ〜図３１Ｎでは、規則生成のためのユーザ入力が、音声ではなく、ユーザの筆記によってテキストで入力される点において差異がある。したがって、図３１Ａ〜図３１Ｎでは、音声に基づいて規則を生成する動作（例えば、図４Ａ〜図４Ｊ）に比べてユーザ音声入力を受け入れる動作の代わりに、ユーザの筆記に基づくテキスト入力を受け入れる動作が行われることができる。
例えば、図３１Ａ〜図３１Ｎの場合、規則生成のためのユーザ入力がテキストに基づいて行われることによって、ユーザデバイス１００は、ユーザとのインタラクション動作によって提供するポップアップウィンドウにユーザ入力で“音声入力”の案内の代わりに、“テキスト入力”を案内する情報を提供することができる。一実施形態によれば、図４Ａのポップアップウィンドウ４５１では、ユーザに音声入力インタラクション動作であることを通知する“ユーザが言う形態のイメージ”と“ＯＯＯを話してください”のような音声入力に対する案内が提供されることができる。一方、図３１Ａ、図３１Ｅ、図３１Ｇ、または図３１Ｌなどのポップアップウィンドウ３１５１、３１５５、３１５７、３１６７などでは、ユーザにテキスト入力インタラクション動作であることを通知する“ペンで文を書く形態のイメージ”と“ＯＯＯを書いてください”のようなテキスト入力に対する案内が提供されることができる。
また、図３１Ａ〜図３１Ｎの場合、規則生成のためのユーザ入力がテキストに基づいて行われることによって、ユーザ入力として、音声ではなく、テキストのための筆記を入力される動作が行われることができる。例えば、図３１Ｂ、図３１Ｄ、図３１Ｆ、図３１Ｈ、図３１Ｊ、そして図３１Ｍに示されたように、ユーザデバイス１００の質疑に対するテキスト応答を入力（例えば、筆記入力）される動作が行われることができ、それによる筆記入力ウィンドウ３１００が提供されることができる。一実施形態によれば、図３１ａのポップアップウィンドウ３１５１を通じてユーザデバイス１００の“命令語を書いてください”という案内（質疑）後に、図３１Ｂのように、筆記入力ウィンドウ３１００が提供されれば、ユーザは、前記筆記入力ウィンドウ３１００を通じてテキスト（例えば、タクシー）を筆記入力することができる。
このように、本発明の多様な実施形態によれば、規則を生成するにあたって、ユーザデバイス１００とユーザ間のインタラクション動作で規則生成過程が行われることができ、ユーザは、ユーザデバイス１００の案内に従って生成しようとする規則の条件およびアクションに対して自然言語に基づくテキストで入力して規則を設定することができる。すなわち、図３１Ａ〜図３１Ｎでユーザデバイス１００は、規則の条件およびアクションを設定する自然言語に基づくテキストをユーザから入力され、ユーザ入力によって当該規則を設定することができる。
図３２Ａ〜図３２Ｅは、本発明の実施形態によるユーザデバイスで規則を実行する他の動作例示を示す図である。
図３２Ａ〜図３２Ｅは、制御部１７０（例えば、規則実行モジュール１７５）がユーザ入力のうち筆記による自然言語に基づくテキスト入力を受け入れ、前記テキスト入力に反応して規則を実行し、制御部１７０（例えば、条件感知モジュール１７７）が規則実行に反応して前記規則に対応する条件を感知し、制御部１７０（例えば、アクション実行モジュール１７９）が条件感知に反応して当該条件に対応する１つまたはそれ以上のアクションを実行する動作の例示を示すものである。
図３２Ａ〜図３２Ｅを参照すれば、図３２Ａ〜図３２Ｅは、図５Ａ〜図５Ｅを参照した説明部分で説明したような規則実行動作に対応することができる。例えば、図３２Ａは、図５Ａに対応する動作であることができ、図３２Ｂは、図５Ｂに対応する動作であることができ、図３２Ｄは、図５Ｃに対応する動作であることができ、図３２Ｅは、図５Ｄに対応する動作であることができる。したがって、以下では、図３２Ａ〜図３２Ｅを参照する説明で図５Ａ〜図５Ｅを参照した説明に対応または同一の動作に対しては、その説明を省略するかまたは簡素化する。
すなわち、図３２Ａ〜図３２Ｅは、図５Ａ〜図５Ｅに対応する動作実行で規則を実行する本発明の実施形態を示すものである。但し、図３２Ａ〜図３２Ｅでは、規則実行のためのユーザ入力が、音声ではなく、ユーザの筆記によってテキストに入力される点において差異がある。したがって、図３２Ａ〜図３２Ｅでは、音声に基づいて規則を生成する動作（例えば、図５Ａ〜図５Ｅ）に比べてユーザ音声入力を受け入れる動作の代わりに、ユーザの筆記に基づくテキスト入力を受け入れる動作が行われることができる。
例えば、図３２Ａ〜図３２Ｅの場合、規則実行のためのユーザ入力がテキストに基づいて行われることによって、ユーザデバイス１００は、ユーザとのインタラクション動作によって提供するポップアップウィンドウにユーザ入力として“音声入力”の案内の代わりに、“テキスト入力”を案内する情報を提供することができる。一実施形態によれば、図５Ｂのポップアップウィンドウ５５１では、ユーザに音声入力インタラクション動作であることを通知する“ユーザが言う形態のイメージ”と“ＯＯＯを話してください”のような音声入力に対する案内が提供されることができる。一方、図３２Ｂなどのポップアップウィンドウ３２５１では、ユーザにテキスト入力インタラクション動作であることを通知する“ペンで文を書く形態のイメージ”と“ＯＯＯを書いてください”のようなテキスト入力に対する案内が提供されることができる。
また、図３２Ａ〜図３２Ｅの場合、規則実行のためのユーザ入力がテキストに基づいて行われることによって、ユーザ入力として、音声ではなく、テキストのための筆記を入力される動作が行われることができる。例えば、図３２Ｃに示されたように、ユーザデバイス１００の質疑に対するテキスト応答を入力（例えば、筆記入力）される動作が行われることができ、それによる筆記入力ウィンドウ３２００が提供されることができる。一実施形態によれば、図３２Ｂのポップアップウィンドウ３２５１を通じてユーザデバイス１００の“命令語を書いてください”という案内（質疑）後に図３２Ｃのように筆記入力ウィンドウ３２００が提供されれば、ユーザは、前記筆記入力ウィンドウ３２００を通じてテキスト（例えば、地下鉄）を筆記入力することができる。
このように、本発明の多様な実施形態によれば、規則を実行するにあたって、ユーザデバイス１００とユーザ間のインタラクション動作で規則実行過程が行われることができ、ユーザは、ユーザデバイス１００の案内に従って実行しようとする当該規則に対して自然言語に基づくテキストを入力して当該規則を実行することができる。すなわち、図３２Ａ〜図３２Ｅでユーザデバイス１００は、当該規則を実行する自然言語に基づくテキストをユーザから入力され、ユーザ入力によって当該規則を実行することができる。
以上のように、本発明の多様な実施形態によれば、ウィジェット５００を通じて規則を実行することができる。一実施形態によれば、ユーザは、ウィジェット５００で命令入力領域（または規則実行ボタン）５１０を選択し、設定された規則（または命令語）に対するテキストを入力することができる。それでは、制御部１７０は、規則の開始を通知しながらどんなアクションが行われるかをテキストポップアップまたは音声（例えば、ＴＴＳ動作）でユーザにフィードバックすることができる。そして、制御部１７０は、実行する当該規則に対して実行情報領域５２０に追加しながら、インジケータ領域を通じて実行中の規則があることを通知する通知アイテムを表示することもできる。
また、図３２Ａに示されたように、テキスト入力に基づく前記ウィジェット５００の場合、図５Ａで提示された音声入力に基づくウィジェット５００と区別されるように提供されることができる。一実施形態によれば、図５Ａのウィジェット５００の場合、命令入力領域または規則実行ボタン５１０に“ユーザが言う形態のイメージ”が提供されることができ、これにより、音声に基づく動作であることをユーザに通知することができる。また、図３２Ａのウィジェット５００の場合、命令入力領域（または規則実行ボタン）５１０に“ペンで文を書く形態のイメージ”が提供されることができ、これにより、テキストに基づく動作であることをユーザに通知することができる。
図３３Ａ〜図３３Ｄは、本発明の実施形態によるユーザデバイスで実行中の規則を一時中止する他の動作例示を示す図である。
図３３Ａ〜図３３Ｄを参照すれば、制御部１７０がユーザ入力のうち筆記による自然言語に基づくテキスト入力を受け入れ、前記テキスト入力に反応して現在動作中の規則を一時中止する動作の例示を示すものである。
図３３Ａ〜図３３Ｄを参照すれば、図３３Ａ〜図３３Ｄは、図１６Ａ〜図１６Ｃを参照した説明部分で説明したような規則一時停止動作に対応することができる。例えば、図３３Ａは、図１６Ａに対応する動作であることができ、図３３Ｂは、図１６Ｂに対応する動作であることができ、図３３Ｄは、図１６Ｃに対応する動作であることができる。したがって、以下では、図３３Ａ〜図３３Ｄを参照する説明において前記図１６Ａ〜図１６Ｃを参照した説明に対応または同一の動作に対しては、その説明を省略するかまたは簡素化する。
すなわち、図３３Ａ〜図３３Ｄは、図１６Ａ〜図１６Ｃに対応する動作実行で実行中の規則を一時中止する本発明の実施形態を示すものである。但し、図３３Ａ〜図３３Ｄでは、規則を一時中止するためのユーザ入力が、音声ではなく、ユーザの筆記によってテキストに入力される点において差異がある。したがって、図３３Ａ〜図３３Ｄでは、音声に基づいて規則を一時中止する動作（例えば、図１６Ａ〜図１６Ｃ）に比べてユーザ音声入力を受け入れる動作の代わりに、ユーザの筆記に基づくテキスト入力を受け入れる動作が行われることができる。
例えば、図３３Ａ〜図３３Ｄの場合、規則を一時中止するためのユーザ入力がテキストに基づいて行われることによって、ユーザデバイス１００は、ユーザとのインタラクション動作によって提供するポップアップウィンドウにユーザ入力で“音声入力”の案内の代わりに、“テキスト入力”を案内する情報を提供することができる。一実施形態によれば、図３３Ｂのポップアップウィンドウ３３５１では、ユーザにテキスト入力インタラクションション動作であることを通知する“ペンで文を書く形態のイメージ”と“ＯＯＯを書いてください”のように、テキスト入力に対する案内が提供されることができる。
また、図３３Ａ〜図３３Ｄの場合、規則を一時中止するためのユーザ入力がテキストに基づいて行われることによって、ユーザ入力として、音声ではなく、テキストのための筆記を入力される動作が行われることができる。例えば、図３３Ｃに示されたように、ユーザデバイス１００の質疑に対するテキスト応答を入力（例えば、筆記入力）される動作が行われることができ、それによる筆記入力ウィンドウ３３００が提供されることができる。一実施形態によれば、図３３ｂのポップアップウィンドウ３３５１を通じてユーザデバイス１００の“命令語を書いてください”という案内（質疑）後に図３３ｃのように筆記入力ウィンドウ３３００が提供されれば、ユーザは、前記筆記入力ウィンドウ３３００を通じてテキスト（例えば、タクシー一時停止）を筆記入力することができる。
このように、本発明の多様な実施形態によれば、規則を一時中止するにあたって、ユーザデバイス１００とユーザ間のインタラクション動作で一時停止過程が行われることができ、ユーザは、ユーザデバイス１００の案内に従って一時中止しようとする規則に対して自然言語に基づくテキストを入力し、当該規則を一時中止させることができる。すなわち、図３３Ａ〜図３３Ｄでユーザデバイス１００は、当該規則を一時中止する自然言語に基づくテキストをユーザから入力され、ユーザ入力によって当該規則を一時中止することができる。
以上のように、本発明の多様な実施形態によれば、ウィジェット５００を通じて規則を一時中止することができる。一実施形態によれば、ユーザは、ウィジェット５００で命令入力領域（または規則実行ボタン）５１０を選択し、動作中の規則の一時停止のためのテキストを入力することができる。これにより、ユーザは、周期的に繰り返し実行される少なくとも１つの規則を一時的に中止することができる。すなわち、制御部１７０は、“ＯＯＯ一時停止”のように、テキストに基づくユーザ入力が入れば、当該規則（例えば、ＯＯＯ）を一時中止させることができる。
図３４Ａ〜図３４Ｄは、本発明の実施形態によるユーザデバイスで実行中の規則を終了する他の動作例示を示す図である。
図３４Ａ〜図３４Ｄを参照すれば、図３４Ａ〜図３４Ｄは、図２２Ａ〜図２２Ｃを参照した説明部分で説明したような規則終了動作に対応することができる。例えば、図３４Ａは、図２２Ａに対応する動作であることができ、図３４ｂは、図２２ｂに対応する動作であることができ、図３４Ｄは、図２２Ｃに対応する動作であることができる。したがって、以下では、図３４Ａ〜図３４Ｄを参照した説明に対応または同一の動作に対しては、その説明を省略するかまたは簡素化する。
すなわち、図３４Ａ〜図３４Ｄは、図２２Ａ〜図２２Ｃに対応する動作実行で規則を終了する本発明の実施形態を示すものである。但し、図３４Ａ〜図３４Ｄでは、規則終了のためのユーザ入力が、音声ではなく、ユーザの筆記によってテキストに入力される点において差異がある。したがって、図３４Ａ〜図３４Ｄでは、音声に基づいて規則を終了する動作（例えば、図２２Ａ〜図２２Ｃ）に比べてユーザ音声入力を受け入れる動作の代わりに、ユーザの筆記に基づくテキスト入力を受け入れる動作が行われることができる。
例えば、図３４Ａ〜図３４Ｄの場合、規則終了のためのユーザ入力がテキストに基づいて行われることによって、ユーザデバイス１００は、ユーザとのインタラクション動作によって提供するポップアップウィンドウにユーザ入力として“音声入力”の案内の代わりに、“テキスト入力”を案内する情報を提供することができる。一実施形態によれば、図３４Ｂのポップアップウィンドウ３４５１では、ユーザにテキスト入力インタラクション動作であることを通知する“ペンで文を書く形態のイメージ”と“ＯＯＯを書いてください”のようなテキスト入力に対する案内が提供されることができる。
また、図３４Ａ〜図３４Ｄの場合、規則終了のためのユーザ入力がテキストに基づいて行われることによって、ユーザ入力として、音声ではなく、テキストのための筆記を入力される動作が行われることができる。例えば、図３４Ｃに示されたように、ユーザデバイス１００の質疑に対するテキスト応答を入力（例えば、筆記入力）される動作が行われることができ、それによる筆記入力ウィンドウ３４００が提供されることができる。一実施形態によれば、図３４Ｂのポップアップウィンドウ３４５１を通じてユーザデバイス１００の“命令語を書いてください”という案内(質疑)後に図３４Ｃのように筆記入力ウィンドウ３４００が提供されれば、ユーザは、前記筆記入力ウィンドウ３４００を通じてテキスト（例えば、地下鉄終了）を筆記入力することができる。
このように、本発明の多様な実施形態によれば、規則を実行するにあたって、ユーザデバイス１００とユーザ間のインタラクション動作で規則終了過程が行われることができ、ユーザは、ユーザデバイス１００の案内に従って終了しようとする当該規則に対して自然言語に基づくテキストを入力し、当該規則を終了することができる。すなわち、図３４ａ〜図３４ｄでユーザデバイス１００は、当該規則を終了する自然言語に基づくテキストをユーザから入力され、ユーザ入力によって当該規則を終了することができる。
以上のように、本発明の多様な実施形態によれば、ウィジェット５００を通じて規則を終了することができる。一実施形態によれば、ユーザは、ウィジェット５００で命令入力領域（または規則実行ボタン）５１０を選択し、動作中の規則の終了のためのテキストを入力することができる。また、本発明の多様な実施形態によれば、ユーザのテキスト入力によって当該規則が終わるとき、前記当該規則の条件およびアクションによって変更されたユーザデバイス１００の１つまたはそれ以上の設定を変更される前の状態に自動復帰するように動作することもできる。
本発明の多様な実施形態によれば、それぞれのモジュールは、ソフトウェア、ファームウエア、ハードウェアまたはその組合で構成されることができる。また、一部または全体モジュールは、１つの個体（ｅｎｔｉｔｙ）に構成され、各モジュールの当該機能を同一に行われるように構成することができる。また、本発明の多様な実施形態によれば、それぞれの動作は、順次、繰り返し的または並列的に実行されることができる。また、一部の動作は、省略されるか、または他の動作が追加されて実行されることもできる。
前述したような本発明の実施形態によるメッセージ処理方法は、多様なコンピュータ手段を通じて行われることができるプログラム命令形態で具現され、コンピュータで読み取り可能な記録媒体に記録されることができる。この際、前記コンピュータで読み取り可能な記録媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。一方、記録媒体に記録されるプログラム命令は、本発明のために特別に設計され構成されたものであるか、またはコンピュータソフトウェア当業者に公知されて使用可能なものであってもよい。
前記コンピュータで読み取り可能な記録媒体には、ハードディスク、フロッピー（登録商標）ディスクおよび磁気テープのような磁気媒体（Ｍａｇｎｅｔｉｃ Ｍｅｄｉａ）、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体（Ｏｐｔｉｃａｌ Ｍｅｄｉａ）、フロプチカルディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気−光媒体（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｍｅｄｉａ）、およびＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリなどのようなプログラム命令を格納し実行するように特別に構成されたハードウェア装置が含まれる。また、プログラム命令には、コンパイラによって作われるもののような機械語コードだけでなく、インタプリタなどを使用してコンピュータによって実行されることができる高級言語コードを含む。前述したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして作動するように構成されることができ、その逆も同様である。
そして、本明細書と図面に開示された本発明の実施形態は、本発明の技術内容を容易に説明し、本発明の理解を助けるために特定例を提示したものに過ぎず、本発明の範囲を限定しようとするものではない。したがって、本発明の範囲は、ここに開示された実施形態以外にも、本発明の技術的思想に基づいて導出されるすべての変更または変形された形態が本発明の範囲に含まれるものと解釈されなければならない。
１００ ユーザデバイス
１１０ 無線通信部
１１１ 移動通信モジュール
１１３ 無線ＬＡＮモジュール
１１５ 近距離通信モジュール
１１７ 位置算出モジュール
１１９ 放送受信モジュール
１２０ ユーザ入力部
１３０ タッチスクリーン
１３１ 表示部
１３３ タッチ感知部
１４０ オーディオ処理部
１４１ スピーカー
１４３ マイク
１５０ 格納部
１６０ インターフェース部
１７０ 制御部
１７１ データ処理モジュール
１７３ 規則設定モジュール
１７５ 規則実行モジュール
１７７ 条件感知モジュール
１７９ アクション実行モジュール
１８０ 電源供給部

Claims (24)

  1. ユーザデバイスで状況認識サービス（ｃｏｎｔｅｘｔ−ａｗａｒｅ ｓｅｒｖｉｃｅ）提供方法において、
    テキスト入力および音声入力のうち少なくとも１つのユーザ入力を受信する過程と；
    前記受信されたユーザ入力に基づいて条件（ｃｏｎｄｉｔｉｏｎ）および前記条件に対応するアクション（ａｃｔｉｏｎ）を含む規則（ｒｕｌｅ）を定義する過程と；
    前記規則の条件を有する状況検出に反応して前記規則を活性化する過程と；
    前記状況が検出されれば、前記条件に対応する前記アクションを実行する過程と；を含む方法。
  2. 前記ユーザ入力は、
    自然語基盤（ｎａｔｕｒａｌ ｌａｎｇｕａｇｅ）のテキスト入力または自然語基盤の音声入力を含む、請求項１に記載の方法。
  3. 前記規則を活性化する過程は、
    前記条件に含まれた単語（ｗｏｒｄ）または文具（ｐｈｒａｓｅ）のうち少なくとも１つに対する自然語基盤のテキスト入力または自然語基盤の音声入力に対応する命令（ｃｏｍｍａｎｄ）に応答して前記規則を活性化する過程を含む、請求項１に記載の方法。
  4. 前記状況は、
    ユーザデバイスの変化を含み、
    前記変化は、ユーザデバイスの姿勢変化（ｐｏｓｔｕｒｅ ｃｈａｎｇｅ）および地域的位置変化（ｌｏｃａｔｉｏｎ ｃｈａｎｇｅ）のうち少なくとも１つに対応するユーザデバイスの変化を含む、請求項１に記載の方法。
  5. 前記状況は、
    メッセージおよびサウンド受信のうち少なくとも１つを含む、請求項１に記載の方法。
  6. 前記アクションは、
    前記状況が認知されるとき、ユーザデバイスが行う動作を含む、請求項１に記載の方法。
  7. 前記アクションは、
    前記ユーザデバイスの内部構成を制御し、前記ユーザデバイスを通じて前記規則に対応する状況情報をフィードバックする動作制御と、外部機器制御および前記外部機器を通じて前記規則に対応する状況情報をフィードバックする動作制御のうち少なくとも１つを含む、請求項６に記載の方法。
  8. 前記規則定義は、１つまたはそれ以上の規則定義を含み、
    前記規則を活性化は、命令に応答して前記規則を活性化することを含む、請求項１に記載の方法。
  9. 前記規則は、前記ユーザ入力を受信するためのユーザデバイスとユーザ間のインタラクションによって１つのアクション（ｏｎｅ ａｃｔｉｏｎ）を含む単数構造（ｓｉｎｇｕｌａｒ ｓｔｒｕｃｔｕｒｅ）と複数のアクション（ａｐｌｕｒａｌｉｔｙ ｏｆ ａｃｔｉｏｎｓ）を含む複数構造（ａ ｐｌｕｒａｌ ｓｔｒｕｃｔｕｒｅ）のうちいずれか１つで構成することを特徴とする、請求項１に記載の方法。
  10. 前記ユーザ入力の受信は、
    前記ユーザデバイスで支援可能なアクションのうち少なくとも１つがユーザ入力によって指定されることができるユーザインターフェースおよび前記支援可能なアクションに対するガイドのうち少なくとも１つを提供することを特徴とする、請求項１に記載の方法。
  11. 前記規則を定義する過程は、
    第１ユーザ入力が受信されれば、前記規則に付加的に必要な付加情報をユーザに音声またはテキストでフィードバックする過程と；
    前記付加情報に対応する第２ユーザ入力を受信する過程と；
    前記付加情報が不要なユーザ入力に対して追加的なユーザ入力要請を省略する過程と；を含むことを特徴とする、請求項１に記載のユーザデバイスで状況認識サービス提供方法。
  12. ユーザデバイスで状況認識サービス（ｃｏｎｔｅｘｔ−ａｗａｒｅ ｓｅｒｖｉｃｅ）提供方法において、
    規則（ｒｕｌｅ）を設定するためのユーザインターフェースを提供する過程と；
    前記ユーザインターフェースを通じて自然語基盤の音声入力および自然語基盤のテキスト入力のうち少なくとも１つのユーザ入力を受信する過程と；
    前記ユーザ入力から条件（ｃｏｎｄｉｔｉｏｎ）およびアクション（ａｃｔｉｏｎ）を含む規則を設定する過程と；
    前記規則の条件に対応するイベントを検出すれば、前記規則を活性化する過程と；
    前記イベントが検出されるとき、前記条件に対応する前記アクションを実行する過程と；を含む方法。
  13. 前記規則を活性化するための命令（ｃｏｍｍａｎｄ）を受信する過程をさらに含む、請求項１２に記載の方法。
  14. 前記条件および前記命令のうち少なくとも１つは、
    自然語基盤の音声、自然語基盤のテキスト、前記ユーザデバイスの動作感知イベント（motion detection event）、サウンド受信およびメッセージ受信のうち少なくとも１つに対応する
    ことを特徴とする、請求項１３に記載の方法。
  15. 前記規則を活性化する過程は、
    前記命令が受信されれば、前記命令に対応する規則があるかを判別する過程と；
    前記命令に対応する規則がなければ、ガイドを出力する過程と；
    前記命令に対応する規則があれば、前記命令に対応する規則が複数個であるかを判別する過程と；
    前記命令に対応する規則に従って少なくとも１つの規則を活性化する過程と；を含むことを特徴とする、請求項１３に記載の方法。
  16. 前記規則を活性化する過程は、
    複数の規則が存在するとき、前記複数の規則のうちいずれか１つの規則選択をガイドする過程をさらに含む、請求項１５に記載の方法。
  17. 前記規則を活性化する過程は、
    前記規則が活性化された状態で規則解除条件が満たされるとき、前記活性化された規則を解除する過程と；
    前記規則解除による解除情報をフィードバックする過程と；をさらに含む、請求項１２に記載の方法。
  18. 前記解除情報をフィードバックする過程は、
    前記規則解除に対応する聴覚、視覚、そして触覚のうち少なくとも１つを通じてフィードバックすることを特徴とする、請求項１７に記載の方法。
  19. ユーザデバイスにおいて、
    条件（ｃｏｎｄｉｔｉｏｎ）および前記条件に対応するアクション（ａｃｔｉｏｎ）を含む規則（ｒｕｌｅ）を格納する格納部と；
    ユーザ入力を受信するためのユーザインターフェースを表示し、前記規則が活性化された状態で前記アクションの実行結果を表示する表示部と；
    テキスト入力および音声入力のうち少なくとも１つのユーザ入力を基盤で前記条件および前記アクションを含む前記規則を定義し、前記規則の前記条件を有する状況（ｃｏｎｔｅｘｔ）検出に反応して前記規則を活性化し、前記状況検出に応答して前記アクション実行を制御する制御部と；を含むユーザデバイス。
  20. 前記制御部は、
    自然語基盤の音声入力または自然語基盤のテキスト入力のうち少なくとも１つに基盤とするユーザ入力を受信し、前記ユーザ入力に基づいて条件（ｃｏｎｄｉｔｉｏｎ）と前記条件に対応するアクション（ａｃｔｉｏｎ）を含む規則を設定する規則設定モジュールと；
    自然語基盤の音声、自然語基盤のテキスト、ユーザデバイスの動作感知、メッセージ受信およびサウンド受信のうち少なくとも１つによって前記規則を活性化するための命令（ｃｏｍｍａｎｄ）を受信し、前記命令に対応する規則を実行する規則実行モジュールと；
    前記規則に設定された少なくとも１つの条件を有する少なくとも１つの状況を感知する条件感知モジュールと；
    前記少なくとも１つの状況が検出されれば、前記検出された状況に対応する少なくとも１つのアクションを実行するアクション実行モジュールと；を含む、請求項１９に記載のユーザデバイス。
  21. 前記制御部は、
    規則が活性化された状態で前記ユーザデバイスで感知されたイベントが前記規則に対応する前記条件を満たすとき、前記条件に対応する少なくとも１つのアクションを実行し、 前記アクション実行によるフィードバックを制御することを特徴とする、請求項１９に記載のユーザデバイス。
  22. 前記制御部は、
    少なくとも１つの規則が活性化された状態で規則解除条件が満たされれば、前記活性化された規則を解除し、少なくとも１つの規則解除を通知するための解除情報（ｒｅｌｅａｓｅ ｉｎｆｏｒｍａｔｉｏｎ）のフィードバックを制御する、請求項１９に記載のユーザデバイス。
  23. ユーザデバイスにおいて、
    自然語基盤の音声入力または自然語基盤のテキスト入力のうち少なくとも１つを基盤とするユーザ入力を受信し、前記ユーザ入力に基づいて条件（ｃｏｎｄｉｔｉｏｎ）と前記条件に対応するアクション（ａｃｔｉｏｎ）を含む規則を設定するためのコンピュータにより実行される（ｃｏｍｐｕｔｅｒ−ｉｍｐｌｅｍｅｎｔｅｄ）規則設定モジュールと；
    自然語基盤の音声、自然語基盤のテキスト、ユーザデバイスの動作感知、メッセージ受信およびサウンド受信のうち少なくとも１つを通じて規則を活性化するための命令（ｃｏｍｍａｎｄ）を受信し、前記命令に対応する規則を実行するためのコンピュータにより実行される規則実行モジュールと；
    規則に設定された条件を有する状況（ｃｏｎｔｅｘｔ）を検出するためのコンピュータにより実行される条件感知モジュールと；
    前記状況が検出されれば、前記条件に対応する前記アクションを実行するためのコンピュータにより実行されるアクション実行モジュールと；を含むユーザデバイス。
  24. 音声入力およびテキスト入力のうち少なくとも１つのユーザ入力を受信する動作、前記受信されたユーザ入力に基盤して条件および前記条件に対応するアクションを含む規則を設定する動作、前記規則の条件に対応する状況検出に反応して前記規則を活性化する動作、前記状況が検出される時前記条件に対応する前記アクションを実行する動作を行うプログラムを格納したコンピュータで読み取り可能な記録媒体。
JP2013195782A 2012-09-20 2013-09-20 ユーザデバイスの状況認識サービス提供方法および装置 Active JP6475908B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2012-0104357 2012-09-20
KR20120104357 2012-09-20
KR10-2013-0048755 2013-04-30
KR1020130048755A KR102070196B1 (ko) 2012-09-20 2013-04-30 사용자 디바이스에서 상황 인식 서비스 제공 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019017789A Division JP6710791B2 (ja) 2012-09-20 2019-02-04 ユーザデバイスの状況認識サービス提供方法および装置

Publications (2)

Publication Number Publication Date
JP2014064278A true JP2014064278A (ja) 2014-04-10
JP6475908B2 JP6475908B2 (ja) 2019-02-27

Family

ID=49231281

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013195782A Active JP6475908B2 (ja) 2012-09-20 2013-09-20 ユーザデバイスの状況認識サービス提供方法および装置

Country Status (6)

Country Link
US (2) US10042603B2 (ja)
EP (2) EP3435645A1 (ja)
JP (1) JP6475908B2 (ja)
CN (3) CN109739469B (ja)
AU (2) AU2013231030B2 (ja)
WO (1) WO2014046475A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016503981A (ja) * 2012-12-13 2016-02-08 エッセ．イ．エスヴィー．エアレ ソシアテ イタリアーナ ピエレ エレオ ヴィルプ デレレトロニカ エッセ．ピー．アー． 改善された機能およびその方法を有する短距離無線通信センサおよびモバイル端末を備える短距離無線通信システム
WO2019124631A1 (ko) * 2017-12-22 2019-06-27 삼성전자 주식회사 어플리케이션 실행 방법 및 이를 위한 장치

Families Citing this family (221)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US9954996B2 (en) 2007-06-28 2018-04-24 Apple Inc. Portable electronic device with conversation management for incoming instant messages
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120311585A1 (en) 2011-06-03 2012-12-06 Apple Inc. Organizing task items that represent tasks to perform
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US10404615B2 (en) 2012-02-14 2019-09-03 Airwatch, Llc Controlling distribution of resources on a network
US9680763B2 (en) 2012-02-14 2017-06-13 Airwatch, Llc Controlling distribution of resources in a network
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US10042603B2 (en) 2012-09-20 2018-08-07 Samsung Electronics Co., Ltd. Context aware service provision method and apparatus of user device
KR102070196B1 (ko) 2012-09-20 2020-01-30 삼성전자 주식회사 사용자 디바이스에서 상황 인식 서비스 제공 방법 및 장치
US20150019229A1 (en) * 2012-10-10 2015-01-15 Robert D. Fish Using Voice Commands To Execute Contingent Instructions
GB2523512A (en) 2012-12-27 2015-08-26 Kaleo Inc Devices, systems and methods for locating and interacting with medicament delivery systems
DE212014000045U1 (de) 2013-02-07 2015-09-24 Apple Inc. Sprach-Trigger für einen digitalen Assistenten
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US20140280955A1 (en) 2013-03-14 2014-09-18 Sky Socket, Llc Controlling Electronically Communicated Resources
US9401915B2 (en) 2013-03-15 2016-07-26 Airwatch Llc Secondary device as key for authorizing access to resources
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US9219741B2 (en) 2013-05-02 2015-12-22 Airwatch, Llc Time-based configuration policy toggling
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
DE112014002747T5 (de) 2013-06-09 2016-03-03 Apple Inc. Vorrichtung, Verfahren und grafische Benutzerschnittstelle zum Ermöglichen einer Konversationspersistenz über zwei oder mehr Instanzen eines digitalen Assistenten
US10223156B2 (en) 2013-06-09 2019-03-05 Apple Inc. Initiating background updates based on user activity
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
AU2014306221B2 (en) * 2013-08-06 2017-04-06 Apple Inc. Auto-activating smart responses based on activities from remote devices
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
EP3149728B1 (en) 2014-05-30 2019-01-16 Apple Inc. Multi-command single utterance input method
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9432796B2 (en) 2014-05-30 2016-08-30 Apple Inc. Dynamic adjustment of mobile device based on peer event data
US20150350141A1 (en) 2014-05-31 2015-12-03 Apple Inc. Message user interfaces for capture and transmittal of media and location content
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
WO2016022496A2 (en) 2014-08-06 2016-02-11 Apple Inc. Reduced-size user interfaces for battery management
KR102016160B1 (ko) 2014-09-02 2019-08-29 애플 인크. 경고를 관리하기 위한 축소된 크기의 인터페이스
KR102373337B1 (ko) 2014-09-02 2022-03-11 애플 인크. 가변 햅틱 출력을 위한 시맨틱 프레임워크
EP3189406B1 (en) 2014-09-02 2022-09-07 Apple Inc. Phone user interface
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
CN104346451A (zh) * 2014-10-29 2015-02-11 山东大学 一种基于用户反馈的情景感知系统及其工作方法和应用
CN104407702A (zh) * 2014-11-26 2015-03-11 三星电子（中国）研发中心 基于情境感知执行动作的方法、装置和系统
US10147421B2 (en) 2014-12-16 2018-12-04 Microcoft Technology Licensing, Llc Digital assistant voice input integration
US9584964B2 (en) 2014-12-22 2017-02-28 Airwatch Llc Enforcement of proximity based policies
CN104468814B (zh) * 2014-12-22 2018-04-13 齐玉田 物联网无线控制系统和方法
US9413754B2 (en) 2014-12-23 2016-08-09 Airwatch Llc Authenticator device facilitating file security
CN104505091B (zh) * 2014-12-26 2018-08-21 湖南华凯文化创意股份有限公司 人机语音交互方法及系统
KR20160084663A (ko) 2015-01-06 2016-07-14 삼성전자주식회사 메시지를 송신하는 디바이스 및 방법
US9389928B1 (en) 2015-02-11 2016-07-12 Microsoft Technology Licensing, Llc Platform for extension interaction with applications
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
CN106161054A (zh) * 2015-03-31 2016-11-23 腾讯科技（深圳）有限公司 设备配置方法、装置和系统
CN104902072B (zh) * 2015-04-14 2017-11-07 广东欧珀移动通信有限公司 一种终端提醒方法和装置
US10133613B2 (en) * 2015-05-14 2018-11-20 Microsoft Technology Licensing, Llc Digital assistant extensibility to third party applications
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10594835B2 (en) 2015-06-05 2020-03-17 Apple Inc. Efficient context monitoring
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10003938B2 (en) 2015-08-14 2018-06-19 Apple Inc. Easy location sharing
US10600296B2 (en) 2015-08-19 2020-03-24 Google Llc Physical knowledge action triggers
CN105224278B (zh) * 2015-08-21 2019-02-22 百度在线网络技术（北京）有限公司 语音交互服务处理方法及装置
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US9922648B2 (en) * 2016-03-01 2018-03-20 Google Llc Developer voice actions system
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9918006B2 (en) * 2016-05-20 2018-03-13 International Business Machines Corporation Device, system and method for cognitive image capture
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK179489B1 (en) 2016-06-12 2019-01-04 Apple Inc. Devices, methods and graphical user interfaces for providing haptic feedback
DE102016212681A1 (de) * 2016-07-12 2018-01-18 Audi Ag Steuervorrichtung und Verfahren zum sprachbasierten Betreiben eines Kraftfahrzeugs
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
CN108289110B (zh) 2017-01-09 2021-10-08 斑马智行网络(香港)有限公司 设备关联方法、装置、终端设备和操作系统
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
CA3046354A1 (en) 2017-01-17 2018-07-26 Kaleo, Inc. Medicament delivery devices with wireless connectivity and event detection
KR20180102871A (ko) * 2017-03-08 2018-09-18 엘지전자 주식회사 이동단말기 및 이동단말기의 차량 제어 방법
KR102369309B1 (ko) * 2017-03-24 2022-03-03 삼성전자주식회사 파셜 랜딩 후 사용자 입력에 따른 동작을 수행하는 전자 장치
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
EP3635578A4 (en) * 2017-05-18 2021-08-25 Aiqudo, Inc. SYSTEMS AND PROCEDURES FOR CRWODSOURCING ACTIONS AND COMMANDS
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10503467B2 (en) * 2017-07-13 2019-12-10 International Business Machines Corporation User interface sound emanation activity classification
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
EP3474095A1 (en) * 2017-10-23 2019-04-24 Mastercard International Incorporated System and method for specifying rules for operational systems
US11168882B2 (en) * 2017-11-01 2021-11-09 Panasonic Intellectual Property Management Co., Ltd. Behavior inducement system, behavior inducement method and recording medium
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
JP2019144684A (ja) * 2018-02-16 2019-08-29 富士ゼロックス株式会社 情報処理システム及びプログラム
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
CN108762712B (zh) * 2018-05-30 2021-10-08 Oppo广东移动通信有限公司 电子设备控制方法、装置、存储介质及电子设备
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11076039B2 (en) 2018-06-03 2021-07-27 Apple Inc. Accelerated task performance
WO2020018433A1 (en) 2018-07-16 2020-01-23 Kaleo, Inc. Medicament delivery devices with wireless connectivity and compliance detection
KR102527107B1 (ko) 2018-08-08 2023-05-02 삼성전자주식회사 음성에 기반하여 기능을 실행하기 위한 방법 및 이를 지원하는 사용자 전자 장치
CN112740327A (zh) 2018-08-27 2021-04-30 谷歌有限责任公司 故事读者阅读中断的算法确定
CN110874202B (zh) * 2018-08-29 2024-04-19 斑马智行网络(香港)有限公司 交互方法、设备、介质和操作系统
US11501769B2 (en) * 2018-08-31 2022-11-15 Google Llc Dynamic adjustment of story time special effects based on contextual data
CN112805779A (zh) 2018-09-04 2021-05-14 谷歌有限责任公司 基于语音模糊匹配和置信区间的阅读进度估计
EP3837597A1 (en) 2018-09-04 2021-06-23 Google LLC Detection of story reader progress for pre-caching special effects
CN111226194A (zh) * 2018-09-27 2020-06-02 三星电子株式会社 提供交互界面的方法和系统
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
CN109829108B (zh) * 2019-01-28 2020-12-04 北京三快在线科技有限公司 信息推荐方法、装置、电子设备及可读存储介质
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
GB2582910A (en) * 2019-04-02 2020-10-14 Nokia Technologies Oy Audio codec extension
US11580970B2 (en) * 2019-04-05 2023-02-14 Samsung Electronics Co., Ltd. System and method for context-enriched attentive memory network with global and local encoding for dialogue breakdown detection
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US10904029B2 (en) 2019-05-31 2021-01-26 Apple Inc. User interfaces for managing controllable external devices
US11363071B2 (en) 2019-05-31 2022-06-14 Apple Inc. User interfaces for managing a local network
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
KR20210072471A (ko) * 2019-12-09 2021-06-17 현대자동차주식회사 음성 명령 인식 장치 및 그 방법
US11966964B2 (en) * 2020-01-31 2024-04-23 Walmart Apollo, Llc Voice-enabled recipe selection
CN115136217B (zh) * 2020-02-27 2024-01-12 三菱电机株式会社 汇合辅助系统、汇合辅助装置及汇合辅助方法
JP7248615B2 (ja) * 2020-03-19 2023-03-29 ヤフー株式会社 出力装置、出力方法及び出力プログラム
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11513667B2 (en) 2020-05-11 2022-11-29 Apple Inc. User interface for audio message
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
CN111857457A (zh) * 2020-06-22 2020-10-30 北京百度网讯科技有限公司 云手机的操控方法、装置、电子设备及可读存储介质
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
IT202000021253A1 (it) * 2020-09-14 2022-03-14 Sistem Evo S R L Piattaforma informatica basata su sistemi di intelligenza artificiale a supporto della sicurezza informatica
USD1016082S1 (en) * 2021-06-04 2024-02-27 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
CN113377426A (zh) * 2021-07-01 2021-09-10 中煤航测遥感集团有限公司 车辆监管规则配置方法、装置、计算机设备及存储介质
CN114285930B (zh) * 2021-12-10 2024-02-23 杭州逗酷软件科技有限公司 交互方法、装置、电子设备以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002283259A (ja) * 2001-03-27 2002-10-03 Sony Corp ロボット装置のための動作教示装置及び動作教示方法、並びに記憶媒体
JP2008504779A (ja) * 2004-07-01 2008-02-14 ノキア コーポレイション 移動通信装置用アプリケーションのパーソナライズにおいてコンテキスト・オントロジを利用する方法，装置及びコンピュータプログラム
US20080300886A1 (en) * 2007-05-17 2008-12-04 Kimberly Patch Systems and methods of a structured grammar for a speech recognition command system
WO2011068598A1 (en) * 2009-12-04 2011-06-09 Qualcomm Incorporated Creating and utilizing a context
JP2014518409A (ja) * 2011-06-03 2014-07-28 アップル インコーポレイテッド 実行するタスクを表すタスク項目の生成及び処理

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6996402B2 (en) * 2000-08-29 2006-02-07 Logan James D Rules based methods and apparatus for generating notification messages based on the proximity of electronic devices to one another
US5917489A (en) * 1997-01-31 1999-06-29 Microsoft Corporation System and method for creating, editing, and distributing rules for processing electronic messages
EP1045374B1 (en) 1999-04-13 2010-08-11 Sony Deutschland GmbH Merging of speech interfaces for concurrent use of devices and applications
US6622119B1 (en) * 1999-10-30 2003-09-16 International Business Machines Corporation Adaptive command predictor and method for a natural language dialog system
US6775658B1 (en) * 1999-12-21 2004-08-10 Mci, Inc. Notification by business rule trigger control
US8938256B2 (en) * 2000-08-29 2015-01-20 Intel Corporation Communication and control system using location aware devices for producing notification messages operating under rule-based control
US20020144259A1 (en) * 2001-03-29 2002-10-03 Philips Electronics North America Corp. Method and apparatus for controlling a media player based on user activity
US7324947B2 (en) * 2001-10-03 2008-01-29 Promptu Systems Corporation Global speech user interface
US20030147624A1 (en) * 2002-02-06 2003-08-07 Koninklijke Philips Electronics N.V. Method and apparatus for controlling a media player based on a non-user event
KR100434545B1 (ko) 2002-03-15 2004-06-05 삼성전자주식회사 홈네트워크로 연결된 가전기기들을 제어하는 방법 및 장치
KR100651729B1 (ko) 2003-11-14 2006-12-06 한국전자통신연구원 홈네트워크 환경에서의 멀티-모달 상황 인식어플리케이션을 위한 시스템 및 방법
JP2006221270A (ja) 2005-02-08 2006-08-24 Nec Saitama Ltd 音声認識機能を備えた携帯端末装置のマルチタスクシステム及び方法
US7352279B2 (en) * 2005-03-02 2008-04-01 Matsushita Electric Industrial Co., Ltd. Rule based intelligent alarm management system for digital surveillance system
US8554599B2 (en) 2005-03-25 2013-10-08 Microsoft Corporation Work item rules for a work item tracking system
US7640160B2 (en) 2005-08-05 2009-12-29 Voicebox Technologies, Inc. Systems and methods for responding to natural language speech utterance
KR100695331B1 (ko) 2005-09-23 2007-03-16 한국전자통신연구원 상황인지 환경을 위한 사용자 인터페이스 장치 및 이에연동되는 기기 제어 장치 및 그의 동작 방법
JP2007220045A (ja) * 2006-02-20 2007-08-30 Toshiba Corp コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム
US8311836B2 (en) * 2006-03-13 2012-11-13 Nuance Communications, Inc. Dynamic help including available speech commands from content contained within speech grammars
JP4786384B2 (ja) * 2006-03-27 2011-10-05 株式会社東芝 音声処理装置、音声処理方法および音声処理プログラム
JP2007305039A (ja) 2006-05-15 2007-11-22 Sony Corp 情報処理装置および方法、並びにプログラム
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US20080220810A1 (en) 2007-03-07 2008-09-11 Agere Systems, Inc. Communications server for handling parallel voice and data connections and method of using the same
US8620652B2 (en) * 2007-05-17 2013-12-31 Microsoft Corporation Speech recognition macro runtime
KR20090053179A (ko) 2007-11-22 2009-05-27 주식회사 케이티 상황인지 지식서비스를 위한 서비스 제어 장치 및 그 방법
BRPI0820973B1 (pt) * 2007-12-14 2020-10-06 Blackberry Limited Método realizado por um agente de presença em um dispositivo de usuário e um servidor e meio legível por computador
KR20090107364A (ko) 2008-04-08 2009-10-13 엘지전자 주식회사 이동 단말기 및 그 메뉴 제어방법
US8958848B2 (en) 2008-04-08 2015-02-17 Lg Electronics Inc. Mobile terminal and menu control method thereof
KR20100001928A (ko) * 2008-06-27 2010-01-06 중앙대학교 산학협력단 감정인식에 기반한 서비스 장치 및 방법
US8489599B2 (en) 2008-12-02 2013-07-16 Palo Alto Research Center Incorporated Context and activity-driven content delivery and interaction
KR20100100175A (ko) * 2009-03-05 2010-09-15 중앙대학교 산학협력단 맞춤형 ｕ-ｃｉｔｙ 서비스 제공을 위한 상황인지 추론 시스템
KR101566379B1 (ko) * 2009-05-07 2015-11-13 삼성전자주식회사 입력 신호 종류 별 사용자 기능 활성화 방법 및 이를 지원하는 휴대 단말기
US9100465B2 (en) * 2009-08-11 2015-08-04 Eolas Technologies Incorporated Automated communications response system
KR20110023977A (ko) 2009-09-01 2011-03-09 삼성전자주식회사 휴대단말기의 위젯 관리 방법 및 장치
US20110099507A1 (en) 2009-10-28 2011-04-28 Google Inc. Displaying a collection of interactive elements that trigger actions directed to an item
TWI438675B (zh) 2010-04-30 2014-05-21 Ibm 提供情境感知援助說明之方法、裝置及電腦程式產品
US8359020B2 (en) * 2010-08-06 2013-01-22 Google Inc. Automatically monitoring for voice input based on context
US10042603B2 (en) 2012-09-20 2018-08-07 Samsung Electronics Co., Ltd. Context aware service provision method and apparatus of user device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002283259A (ja) * 2001-03-27 2002-10-03 Sony Corp ロボット装置のための動作教示装置及び動作教示方法、並びに記憶媒体
JP2008504779A (ja) * 2004-07-01 2008-02-14 ノキア コーポレイション 移動通信装置用アプリケーションのパーソナライズにおいてコンテキスト・オントロジを利用する方法，装置及びコンピュータプログラム
US20080300886A1 (en) * 2007-05-17 2008-12-04 Kimberly Patch Systems and methods of a structured grammar for a speech recognition command system
WO2011068598A1 (en) * 2009-12-04 2011-06-09 Qualcomm Incorporated Creating and utilizing a context
JP2014518409A (ja) * 2011-06-03 2014-07-28 アップル インコーポレイテッド 実行するタスクを表すタスク項目の生成及び処理

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016503981A (ja) * 2012-12-13 2016-02-08 エッセ．イ．エスヴィー．エアレ ソシアテ イタリアーナ ピエレ エレオ ヴィルプ デレレトロニカ エッセ．ピー．アー． 改善された機能およびその方法を有する短距離無線通信センサおよびモバイル端末を備える短距離無線通信システム
US9906892B2 (en) 2012-12-13 2018-02-27 S.I.Sv .El. Societá Italiana Per Lo Sviluppo Dell 'elettronica S.P.A. Short range wireless communication system comprising a short range wireless communication sensor and a mobile terminal having improved functionality and method
WO2019124631A1 (ko) * 2017-12-22 2019-06-27 삼성전자 주식회사 어플리케이션 실행 방법 및 이를 위한 장치

Also Published As

Publication number Publication date
US20140082501A1 (en) 2014-03-20
EP2723049A1 (en) 2014-04-23
AU2013231030B2 (en) 2018-08-09
CN109739469B (zh) 2022-07-01
CN109683848A (zh) 2019-04-26
CN109739469A (zh) 2019-05-10
EP3435645A1 (en) 2019-01-30
AU2018260953B2 (en) 2020-06-04
WO2014046475A1 (en) 2014-03-27
US20180341458A1 (en) 2018-11-29
CN103677261A (zh) 2014-03-26
US10684821B2 (en) 2020-06-16
US10042603B2 (en) 2018-08-07
CN103677261B (zh) 2019-02-01
AU2013231030A1 (en) 2014-04-03
AU2018260953A1 (en) 2018-11-29
EP2723049B1 (en) 2018-08-15
JP6475908B2 (ja) 2019-02-27
CN109683848B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
JP6710791B2 (ja) ユーザデバイスの状況認識サービス提供方法および装置
JP6475908B2 (ja) ユーザデバイスの状況認識サービス提供方法および装置
KR102352655B1 (ko) 크로스-디바이스 핸드오프
KR102278659B1 (ko) 컴퓨팅 디바이스 근처의 가상 어시스턴트 식별

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20141226

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160912

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171120

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190204

R150 Certificate of patent or registration of utility model

Ref document number: 6475908

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250