JP2010134937A - 状況認知装置およびこれを用いた状況認知方法 - Google Patents

Abstract

【課題】本発明は、ユーザの感情状態を認知する状況認知装置および状況認知方法を提供する。
【解決手段】状況認知装置は、音声信号に基づいてユーザの感情状態を認識する音声基盤認識部、動きに基づいて前記ユーザの感情状態を認識する動き基盤認識部、前記ユーザが属している場所を認識する位置認識部、および前記音声基盤認識部、前記動き基盤認識部、および前記位置認識部の認識結果を分析して前記ユーザの状況を認知する融合認識部を備える。よって、ユーザに発生した事故や危険状況などを迅速で正確に認識することができる。
【選択図】図１

Description

本発明は状況認知装置およびこれを用いた状況認知方法に関し、状況認知技術（ｃｏｎｔｅｘｔ ａｗａｒｅｎｅｓｓ ｔｅｃｈｎｏｌｏｇｙ）、特に多重センサの測定結果を融合してユーザの感情状態を認識する技術に関する。

状況認知技術（ｃｏｎｔｅｘｔ ａｗａｒｅｎｅｓｓ ｔｅｃｈｎｏｌｏｇｙ）は、通信およびコンピューティング能力を持ち、周辺状況を認識し判断して人間に有用な情報を提供するための技術である。状況認知に用いられる状況情報は、ユーザが相互作用をする時点に利用できる全ての情報であって、ヒト、オブジェクトの位置および活動状態などを含む。このような状況情報の収集および交換によって周辺状況を認知し、解釈および推論のような処理過程を経てユーザに特定状況に適切なサービスを提供できる状況認知技術は、特にユビキタス環境と共に医療、教育、災難、救助、およびショッピングなど、社会の全分野にかけて多くの影響を与える技術として期待を集めている。実際、今日の多くの応用技術のための状況認知技術が開発されており、これを実際システムに適用するための多くの研究が行われている。

状況認知技術を実際システムに適用するためには、先ず、状況に対する明確な定義が先行しなければならず、状況に必要な技術構造に対する理解が必要である。すなわち、状況認知技術は状況の定義に応じて全く異なる様々な技術分野に適用され得るし、適切な状況認識のために全く異なる様々な技術が用いられ得る。

最近、相当な成果をあげた状況認知技術は、状況を「位置」と定義し、ユーザ間の近接性、ユーザと機器間の距離などを測定して好適なサービスを提供する技術である。また、インターネットに基づいて様々なプラットフォームとサービスを適切に選別して提供するが、ユーザの位置や接続ネットワークの範囲に適応化されたり、ユーザの位置や接続ネットワークの範囲とは関係なく、ユーザの個人的な好みや要求に適応化されたりしたデータサービスを提供する状況認知技術が紹介されたことがある。

従来の状況認知技術に対する研究は、ウェブ上でユーザの動作パターンなどのユーザ状況を分析するか、ユーザの位置に適応化されたサービスを提供することに集中している。
既に紹介された技術は、個人の感情状態を分析し、感情状態に応じて適応化されたサービスを提供する状況認知システムに関する技術ではない。すなわち、ユーザに発生した事故や危険などを迅速で正確に認識できるように効果的にユーザの感情状態を認識し、それに基づいて危険状況を認識／判断できる状況認知装置は通信技術の発達と共にその活用価値と必要性が増加してきた。

さらには、ユーザの感情状態を分析するためにユーザが着用している様々なセンサからの測定値を用いる場合、様々な測定値を効率的に融合して正確に状況を認知することが非常に重要である。

特開2006-0267464号公報

本発明は、上述したような従来技術の問題点を解決するために導き出されたものであって、状況をユーザの感情状態と定義し、ユーザに発生した事故や危険状況などを迅速で正確に認識できるようにすることを目的とする。

また、本発明は、ユーザの音声、動き変化、ユーザが位置する場所、およびユーザのスケジュールなど、ユーザの感情認識に重要な多重センサの認識結果を活用して効率的にユーザの感情状態を認識することを目的とする。

また、本発明は、ユーザが位置する場所およびユーザのスケジュールを考慮して状況認識を遂行することにより、より正確な状況認知を可能にすることを目的とする。

また、本発明は、銀行やコンビニエンス・ストアーなどに泥棒が侵入した場合などの危急状況時に、非常ベルを押すなどの危険な行動をすることがなくても危険状況を外部に知らせることを目的とする。

前記目的を達成するための本発明に係る状況認知装置は、音声信号に基づいてユーザの感情状態を認識する音声基盤認識部；動きに基づいて前記ユーザの感情状態を認識する動き基盤認識部；前記ユーザが属している場所を認識する位置認識部；および前記音声基盤認識部、前記動き基盤認識部、および前記位置認識部の認識結果を分析して前記ユーザの状況を認知する融合認識部；を含むことを特徴とする。

前記融合認識部は、前記音声基盤認識部、動き基盤認識部、および位置認識部のうちの少なくとも一つの認識結果に対する確率値を生成し、前記確率値から前記ユーザの状況を認知することを特徴とする。

前記融合認識部は、ベイジアンネットワーク（Ｂａｙｅｓｉａｎ Ｎｅｔｗｏｒｋ）、ニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）、ボーティング（ｖｏｔｉｎｇ）、およびファジー（Ｆｕｚｚｙ）のうちのいずれか一つのアルゴリズムを利用して前記ユーザの状況を認知することを特徴とする。

前記音声基盤認識部は、前記ユーザの音声入力を収集する音声信号収集部；時間および／または周波数領域において、前記ユーザの感情変化時点を検出する変化時点検出部；前記感情変化時点から一定時間の間のデータを分析し、音声信号に基づいたユーザの感情状態を認識する分析／認識部；および前記分析／認識部によって認識されたユーザの感情状態がどの程度の正確度を有しているかに対する確率値を生成する確率値生成部；を含むことを特徴とする。

前記動き基盤認識部は、一つ以上のセンサまたはカメラからデータを収集するデータ収集部；前記センサまたは前記カメラによるセンシングデータを管理するデータ制御部；感情表現ジェスチャーおよびアクチビティを認識するための特徴を抽出する特徴抽出部；前記特徴に基づいて前記ユーザの感情を表わす行動を認識する分析／認識部；および前記分析／認識部によって認識されたユーザの感情状態がどの程度の正確度を有しているかに対する確率値を生成する確率値生成部；を含むことを特徴とする。

前記融合認識部は、前記音声基盤認識部、動き基盤認識部、および位置認識部を制御する管理部；前記ユーザのスケジュールのうちから状況認知の考慮になり得るほどのものを提供するスケジュール処理部；および前記音声基盤認識部、動き基盤認識部、位置認識部、およびスケジュール管理部から提供されるデータを融合認識して前記ユーザの状況を判断する融合認識／判断部；を含むことを特徴とする。

前記ユーザのスケジュールを管理し検索するスケジュール管理部をさらに含み、前記融合認識部は、前記スケジュール管理部から前記ユーザのスケジュール情報の提供を受け、それを考慮して前記ユーザの状況を認知することを特徴とする。

前記スケジュール管理部は、前記ユーザのスケジュールのうちから状況認知の考慮になり得るほどのものを抽出し、前記スケジュール情報として前記融合認識部に提供することを特徴とする。

一方、前記目的を達成するための本発明に係る状況認知方法は、音声信号に基づいたユーザの感情状態認識結果を受信するステップ；動きに基づいた前記ユーザの感情状態認識結果を受信するステップ；前記ユーザが属している場所認識結果を受信するステップ；および前記認識結果を全て考慮して前記ユーザの状況を融合認知するステップ；を含むことを特徴とする。

前記融合認知するステップは、前記音声信号に基づいたユーザの感情状態認識結果がどの程度の正確度を有しているかに対する確率値を生成するステップを含むことを特徴とする。

前記融合認知するステップは、前記動きに基づいたユーザの感情状態認識結果がどの程度の正確度を有しているかに対する確率値を生成するステップをさらに含むことを特徴とする。

前記融合認知するステップは、前記音声信号に基づいたユーザの感情状態認識結果、前記動きに基づいた前記ユーザの感情状態認識結果、および前記場所認識結果のうちの少なくとも一つの認識結果に対する確率値から前記ユーザの状況を認知することを特徴とする。

前記融合認知するステップは、ベイジアンネットワーク（Ｂａｙｅｓｉａｎ Ｎｅｔｗｏｒｋ）、ニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）、ボーティング（ｖｏｔｉｎｇ）、およびファジー（Ｆｕｚｚｙ）のうちのいずれか一つのアルゴリズムを利用して前記ユーザの状況を認知することを特徴とする。

前記ユーザのスケジュール情報を受信するステップをさらに含み、前記融合認知するステップは、前記スケジュール情報を考慮して前記ユーザの状況を認知することを特徴とする。

前記スケジュール情報を受信するステップは、前記ユーザのスケジュールのうちの状況認知の考慮になり得るほどのものであると判断し抽出されたものだけを受信することを特徴とする。

本発明によって次のような効果を得ることができる。
本発明によれば、状況をユーザの感情状態と定義し、ユーザに発生した事故や危険状況などを迅速で正確に認識することができるため、特に危険に相対的にぜい弱な子供や女性または老人の安全に寄与することができる。

また、本発明は、ユーザの音声、動き変化、ユーザが位置する場所、およびユーザのスケジュールなど、ユーザの感情認識に重要な多重センサの認識結果を活用して効率的にユーザの感情状態を認識することができる。

また、本発明は、ユーザが位置する場所およびユーザのスケジュールを考慮して状況認識を遂行することにより、より正確な状況認知が可能である。

また、本発明は、銀行やコンビニエンス・ストアーなどに泥棒が侵入した場合などの危急状況時に、非常ベルを押すなどの危険な行動をすることがなくても危険状況を外部に知らせることができる。

本発明の一実施形態による状況認知装置のブロック図である。 図１に示された音声基盤認識部の一例を示すブロック図である。 図１に示された動き基盤認識部の一例を示すブロック図である。 図１に示された融合認識部の一例を示すブロック図である。 本発明の一実施形態による状況認知方法を示す動作フローチャートである。

本発明を添付図面を参照してより詳細に説明すれば次の通りである。但し、繰り返される説明、本発明の要旨を濁す恐れがある公知機能および構成に対する詳細な説明は省略する。本発明の実施形態は、当業界で平均的な知識を有する者に本発明をより完全に説明するために提供されるものである。よって、図面における要素の形状および大きさなどはより明確な説明のために誇張され得る。

以下、本発明による好ましい実施形態について添付図面を参照してより詳細に説明する。
図１は、本発明の一実施形態による状況認知装置のブロック図である。
図１を参照すれば、本発明の一実施形態による状況認知装置は、音声基盤認識部１１０、動き基盤認識部１２０、位置認識部１３０、ＢＡＮ通信部１４０、融合認識部１５０、スケジュール管理部１６０、およびスケジュールデータベース１７０を含む。

音声基盤認識部１１０は、マイクなどの音声入力装置を介して入力された信号から感情変化時点を検出し、検出された感情変化時点から一定時間の間のユーザ音声データを周波数および／または時間領域において分析して、恐れ、喜び、怒り、安定などのような感情状態を分析／認識し、認識結果をＢＡＮ（Ｂｏｄｙ Ａｒｅａ Ｎｅｔｗｏｒｋ；人体通信網）などのネットワークを介して伝送する。この時、音声基盤認識部１１０は、感情状態認識結果がどの程度の正確度を有しているかに対する確率値を生成する。感情状態認識結果は生成された確率値を含む概念であってもよい。

動き基盤認識部１２０は、複数のセンサまたはカメラから加速度を収集し、収集されたデータから特徴を抽出し、抽出された特徴と学習モデルを利用して歩き、走り、立ち、拒否、ずるずる引きずられること、立っていること、および震えるなどのような感情表現ジェスチャー（ｇｅｓｔｕｒｅ）およびアクチビティ（ａｃｔｉｖｉｔｙ）を認識し、認識結果をＢＡＮなどを介して伝送する。

この時、動き基盤認識部１２０は、感情状態認識結果がどの程度の正確度を有しているかに対する確率値を生成する。感情状態認識結果は生成された確率値を含む概念であってもよい。

位置認識部１３０は、ＧＰＳおよび／または重力センサを利用してＧＰＳ情報および／または重力値を測定し、測定された結果およびマップを利用してユーザが属している場所を認識する。この時、場所認識結果は重力センサを利用して測定した重力値によって補正されることができる。また、場所は建物の層を含む概念であってもよい。

実施形態によっては、位置認識部１３０は、ＧＰＳ収集モジュール、重力値測定モジュール、マップを用いた位置変換モジュール、および重力値を用いた場所変換モジュールを含んで構成することができる。

ＧＰＳなどを利用してマップ上におけるユーザの位置を識別する技術に対しては、一般的に公示されている技術を利用するため、それに対する具体的な説明は省略する。

実施形態によっては、位置認識部１３０は、時間などに応じたユーザの位置に関するパターンデータベースを構築し、様々な学習アルゴリズムによって位置認識結果を提供することもできる。この時、位置認識結果は、位置認識結果がどの程度の正確度を有しているかに対する確率値を含む概念であってもよい。この時、位置認識部１３０は、以下にて音声基盤認識部１１０などを通じて紹介する学習アルゴリズムを利用して位置認識および確率値を生成することができる。

このように場所情報を状況認識する際に考慮するのは、第１場所における特定の感情状態が有する意味と第２場所における特定の感情状態が有する意味とが異なり得るためである。例えば、ユーザが突然激烈に動きながら大声を出すという感情状態が感知された場合、ユーザの位置が野球場であれば危険状態である可能性が低いが、ユーザの位置が図書館であれば危険状態である可能性が大きい。

スケジュール管理部１６０は、ユーザからスケジュールの入力を受け、スケジュール統計を提供し、要請に応じて時間別スケジュール検索結果を提供する。
スケジュール管理部１６０は、ユーザのスケジュールパターンを分析してパターンデータベースを構築することもできる。

スケジュールデータベース１７０は、ユーザのスケジュールデータを格納し、スケジュール管理部１６０の要請に応じてそれをスケジュール管理部１６０に提供する。

このように、スケジュール情報を状況認識する際に考慮するのは、ユーザが現在どのスケジュールを遂行しているかにより、ユーザの感情状態が有する意味が異なり得るためである。

実施形態によっては、スケジュール管理部１６０は、スケジュール入力モジュール、スケジュール統計管理モジュール、時間別スケジュール検索モジュール、およびスケジュールパターン分析モジュールを含んで構成することができる。

ＢＡＮ通信部１４０は、音声基盤認識部１１０、動き基盤認識部１２０、および位置認識部１３０とデータを交換する。図１にはＢＡＮ通信部１４０を別途のブロックで示したが、実施形態によっては、ＢＡＮ通信部１４０は融合認識部１５０などの他のブロックの一部として実現することもできる。

融合認識部１５０は、音声基盤認識部１１０、動き基盤認識部１２０、位置認識部１３０、およびスケジュール管理部１６０から提供される情報を融合認識し、それに基づいて状況を認知する。

融合認識部１５０は、音声基盤認識部１１０、動き基盤認識部１２０、および位置認識部のうちのいずれか一つ以上から確率値が提供される場合、確率値を利用して感情状態を認識／判断することにより、確率に基づいた融合認識／判断を行うこともできる。

融合認識部１５０は、音声基盤認識部１１０、動き基盤認識部１２０、位置認識部１３０、およびスケジュール管理部１６０から提供される情報に基づいて確率モデルを構築することができる。この時、融合認識部１５０は、確率モデルに基づき、音声基盤認識部１１０、動き基盤認識部１２０、位置認識部１３０、およびスケジュール管理部１６０から提供される情報に応じて状況認識を行うことができる。

図２は、図１に示された音声基盤認識部１１０の一例を示すブロック図である。
図２を参照すれば、図１に示された音声基盤認識部は、音声信号収集部２１０、変化時点検出部２２０、分析／認識部２３０、確率値生成部２４０、およびＢＡＮ通信部２５０を含む。

音声信号収集部２１０はマイクなどを介してユーザの音声入力を収集する。この時、音声信号収集部２１０は、ユーザの音声入力を電気信号に変換し、サンプリングおよびアナログ−デジタル変換をすることができる。さらには、音声信号収集部２１０はデジタル変換された信号を量子化することができる。
また、音声信号収集部２１０は、高周波および低周波向上モジュールを利用してＳ／Ｎ比を改善することができる。

変化時点検出部２２０は、時間／周波数領域において、Ｔｅａｇｅｒエネルギやピッチ（ｐｉｔｃｈ）または平坦度（ｓｍｏｏｔｈｎｅｓｓ）などを利用して感情状態が変化する時点を検出する。
例えば、感情状態が変化する時点は、語節単位中のピッチや平坦度が急激に変化する時点であり得る。

音声区間を検出する方法は、Ｊ．Ｃ．Ｊｕｎｑｕａ、Ｂ．Ｍａｒｋ、ａｎｄ Ｂ．Ｒｅａｖｅｓ、‘Ａ Ｒｏｂｕｓｔ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｗｏｒｄ Ｂｏｕｎｄａｒｙ Ｄｅｔｅｃｔｉｏｎ ｉｎ ｔｈｅ Ｐｒｅｓｅｎｃｅ ｏｆ Ｎｏｉｓｅ’、ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｐｒｏｃｅｓｓｉｎｇ、Ｖｏｌ．２、Ｎｏ．３、１９９４に開示された方法など、様々な方法によって随行することができる。

分析／認識部２３０は、感情変化時点から一定時間の間のデータを、周波数領域および／または時間領域において、Ｔｅａｇｅｒエネルギ、ピッチまたは平坦度の変化を分析して感情状態を認識する。
例えば、分析／認識部２３０は、一定時間の間に急激な平坦度変化が持続すれば、測定結果を驚きなどの不安な感情状態にマッピングさせることができる。

この時、分析／認識部２３０は様々なユーザの感情状態に対応する音声パターンに関するデータベースを含み、様々なパターンマッチング（ｐａｔｔｅｒｎ ｍａｔｃｈｉｎｇ）技法によって感情状態を認識することができる。パターンマッチングに対しては、Ｒ．Ｄｕｄａ ａｎｄ Ｐ．Ｈａｒｔ、‘Ｐａｔｔｅｒｎ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ Ｓｃｅｎｅ Ａｎａｌｙｓｉｓ’、Ｊｏｈｎ Ｗｉｌｅｙ ＆ Ｓｏｎｓ、１９７３など、様々な方式が紹介されている。

Ｔｅａｇｅｒエネルギ、ピッチまたは平坦度の変化を用いた音声認識技術は論文などを通じて様々な方式が紹介されているが、変化時点検出部２２０および分析認識部２３０は、その機能を遂行するための具体的な実現方式が特定方式に限定されるものではない。

確率値生成部２４０は、分析／認識部２３０によって認識されたユーザの感情状態がどの程度の正確度を有しているかを確率的な結果に変換する。
例えば、確率値生成部２４０は、ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）における出力確率を確率値に出力することができる。ＨＭＭおよび出力確率などに対しては、韓国公開特許第１９９９−００３７４６０号などに詳細に開示されている。

ＢＡＮ通信部２５０は、認識された感情状態および／または対応する確率値をＢＡＮなどのネットワークを介して無線で伝送する。

図３は、図１に示された動き基盤認識部１２０の一例を示すブロック図である。
図３を参照すれば、図１に示された動き基盤認識部１２０は、データ収集部３１０、ＢＡＮ通信部３２０、データ制御部３３０、特徴抽出部３４０、分析／認識部３５０、確率値生成部３６０、およびＢＡＮ通信部３７０を含む。

データ収集部３１０は、センサまたはカメラ個数に対応して一つ以上備えることができ、センサまたはカメラからデータを収集する。

ＢＡＮ通信部３２０は、データ収集部３１０によって収集されたデータをＢＡＮなどのネットワークを介して無線で伝送する。

データ制御部３３０は、ＢＡＮ通信部３２０を介してセンサまたはカメラの状態をチェックし、データ収集部３１０を介して提供されるセンサまたはカメラからのデータが同期化するようにする。

特徴抽出部３４０は、提供されたセンサまたはカメラからのデータから感情表現ジェスチャーおよびアクチビティを認識するための特徴を抽出する。
この時、特徴抽出部３４０は加速度値間の差や軌跡などを特徴として用いることができる。

分析／認識部３５０は、歩き、走り、立ち、および座りなどの行動アクチビティと、拒否、手をあげること、もがくこと、ずるずる引きずられること、倒れなどのような個人の感情を表わすジェスチャーをスレッショウルド（Ｔｈｒｅｓｈｏｌｄ）に基づくｒｕｌｅ−ｂａｓｅｄ方法、またはニューラルネットワーク（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、ＨＭＭ、ＳＶＭ（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）などのような学習アルゴリズムを利用して認識する。

確率値生成部３６０は、認識された感情状態がどの程度の正確度を有しているかを示す確率値を生成する。

ＢＡＮ通信部３７０は、認識された感情状態および／または対応する確率値をＢＡＮなどのネットワークを介して無線で伝送する。

図３を参照して説明した動き基盤認識部の分析／認識部３５０、確率値生成部３６０、およびＢＡＮ通信部３７０は、センサまたはカメラから収集されたデータに基づいて動きを認識するということを除いては、図２に示された分析／認識部２３０、確率値生成部２４０、およびＢＡＮ通信部２５０と類似する方式によって動作する。
図３を参照して具体的に説明していないセンサから動作を認識する技術に関しては、韓国公開特許第２００７−００３１６５８号などに詳細に開示されている。

図４は、図１に示された融合認識部１５０の一例を示すブロック図である。
図４を参照すれば、図１に示された融合認識部１５０は、管理部４１０、スケジュール処理部４２０、融合認識／判断部４３０、および通信部４４０を含む。

管理部４１０は、図１に示された音声基盤認識部１１０、動き基盤認識部１２０、および位置認識部１３０を制御して各ブロックから出力値を受信し、各ブロックのエラー制御および同期化を行う。

スケジュール処理部４２０は、ユーザのスケジュールのうちから状況認知の考慮になり得るものを抽出して融合認識／判断部４３０に提供する。
例えば、スケジュール処理部４２０は、１日のスケジュール中の主要場所と関連したスケジュール情報を提供することができる。
例えば、ユーザのスケジュールは固有コードに区分され、スケジュール処理部４２０は既に設定された特定コードに該当するスケジュールを抽出することができる。

融合認識／判断部４３０は、音声基盤認識部１１０、動き基盤認識部１２０、位置認識部１３０、およびスケジュール管理部１６０から提供されるデータを融合認識して危険状況を判断する。
この時、融合認識は、ベイジアンネットワーク（Ｂａｙｅｓｉａｎ Ｎｅｔｗｏｒｋ）、ニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）、ボーティング（ｖｏｔｉｎｇ）、ファジー（Ｆｕｚｚｙ）、およびＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）のうちのいずれか一つのアルゴリズムを利用して行うことができる。

また、融合認識／判断部４３０は、音声基盤認識結果、動き基盤認識結果、場所認識結果、およびスケジュール情報のうちの二つ以上を効率的に融合するために融合モデルを生成することができる。このために、従来から用いられるベイジアンネットワーク（Ｂａｙｅｓｉａｎ Ｎｅｔｗｏｒｋ）、ニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）、ボーティング（ｖｏｔｉｎｇ）、またはファジー（Ｆｕｚｚｙ）などの様々な学習アルゴリズムを利用することができる。

ここで説明していない融合認識および融合モデルの生成に関する具体的な内容は、韓国公開特許第２００８−００５０９９４号などに詳細に開示されている。
実施形態によっては、融合認識／判断部４３０は、音声基盤認識結果、動き基盤認識結果、および場所認識結果のうちのいずれか一つ以上によって提供される確率値を用いてユーザの危険状況を融合認識／判断することもできる。

特に、融合認識／判断部４３０は、融合モデルの生成時、位置認識部１３０およびスケジュール管理部１６０から提供される情報を利用して、より正確にユーザの状態を認識することができる。

通信部４４０は、融合認識／判断部４３０の認知結果をネットワークを介して伝送する。この時、ネットワークは、ＷＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）やＢＡＮなどの無線ネットワークであってもよい。
以上、各ブロックが無線ネットワークを介して通信する場合を例にして説明したが、本発明の実施形態で説明したネットワークは有線ネットワークであってもよい。

図５は、本発明の一実施形態による状況認知方法を示すフローチャートである。図５を参照すれば、本発明の一実施形態による状況認知方法は、音声信号に基づいたユーザの感情状態認識結果を受信する（Ｓ５１０）。この時、感情状態認識結果は確率値を含むことができる。

また、本発明の一実施形態による状況認知方法は、動きに基づいた前記ユーザの感情状態認識結果を受信する（Ｓ５２０）。この時、感情状態認識結果は確率値を含むことができる。
また、本発明の一実施形態による状況認知方法は、前記ユーザが属している場所認識結果を受信する（Ｓ５３０）。この時、場所認識結果は確率値を含むことができる。

また、本発明の一実施形態による状況認知方法は、前記ユーザのスケジュール情報を受信する（Ｓ５４０）。この時、‘Ｓ５４０’ステップは、前記ユーザのスケジュールのうちの状況認知の考慮になり得るものであると判断し抽出されたものだけを受信することができる。

また、本発明の一実施形態による状況認知方法は、前記認識結果およびスケジュール情報を全て考慮して前記ユーザの状況を融合認知する（Ｓ５５０）。

この時、‘Ｓ５５０’ステップは、音声信号に基づいたユーザの感情状態認識結果、動きに基づいたユーザの感情状態認識結果、場所認識結果のうちの少なくとも一つに含まれた確率値を分析して前記ユーザの状況を認知することができる。この時、‘Ｓ５５０’ステップは、ベイジアンネットワーク（Ｂａｙｅｓｉａｎ Ｎｅｔｗｏｒｋ）、ニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）、ボーティング（ｖｏｔｉｎｇ）、およびファジー（Ｆｕｚｚｙ）のうちのいずれか一つのアルゴリズムを利用して前記ユーザの状況を認知することができる。
図５に示された各ステップは、図５に示された順、その逆順、または同時に行われることができる。

以上のように図面と明細書により本発明の最適な実施形態が開示された。ここでは特定の用語が用いられているが、これは、単に本発明を説明するための目的で用いられたものであって、意味限定や特許請求の範囲に記載された本発明の範囲を制限するためのものではない。よって、本技術分野の通常の知識を有した者であれば、これより、様々な変形および均等な他の実施形態が可能であるということを理解するはずである。したがって、本発明の真の技術的保護範囲は添付された特許請求の範囲の技術的思想によって定められなければならない。

１１０：音声基盤認識部
１２０：動き基盤認識部
１３０：位置認識部
１５０：融合認識部
１６０：スケジュール管理部

Claims (13)

1. 音声信号に基づいてユーザの感情状態を認識する音声基盤認識部；
   動きに基づいて前記ユーザの感情状態を認識する動き基盤認識部；
   前記ユーザが属している場所を認識する位置認識部；および
   前記音声基盤認識部、前記動き基盤認識部、および前記位置認識部の認識結果を分析して前記ユーザの状況を認知する融合認識部；を含むことを特徴とする状況認知装置。
2. 前記融合認識部は、
   前記音声基盤認識部、動き基盤認識部、および位置認識部のうちの少なくとも一つの認識結果に対する確率値を生成し、前記確率値から前記ユーザの状況を認知することを特徴とする、請求項１に記載の状況認知装置。
3. 前記音声基盤認識部は、
   前記ユーザの音声入力を収集する音声信号収集部；
   時間および／または周波数領域において、前記ユーザの感情変化時点を検出する変化時点検出部；
   前記感情変化時点から一定時間の間のデータを分析し、音声信号に基づいたユーザの感情状態を認識する分析／認識部；および
   前記分析／認識部によって認識されたユーザの感情状態がどの程度の正確度を有しているかに対する確率値を生成する確率値生成部；を含むことを特徴とする、請求項１に記載の状況認知装置。
4. 前記動き基盤認識部は、
   一つ以上のセンサまたはカメラからデータを収集するデータ収集部；
   前記センサまたは前記カメラによるセンシングデータを管理するデータ制御部；
   感情表現ジェスチャーおよびアクチビティを認識するための特徴を抽出する特徴抽出部；
   前記特徴に基づいて前記ユーザの感情を表わす行動を認識する分析／認識部；および
   前記分析／認識部によって認識されたユーザの感情状態がどの程度の正確度を有しているかに対する確率値を生成する確率値生成部；を含むことを特徴とする、請求項１に記載の状況認知装置。
5. 前記融合認識部は、
   前記音声基盤認識部、動き基盤認識部、および位置認識部を制御する管理部；
   前記ユーザのスケジュールのうちから状況認知の考慮になり得るほどのものを提供するスケジュール処理部；および
   前記音声基盤認識部、動き基盤認識部、位置認識部、およびスケジュール管理部から提供されるデータを融合認識して前記ユーザの状況を判断する融合認識／判断部；を含むことを特徴とする、請求項１に記載の状況認知装置。
6. 前記ユーザのスケジュールを管理し検索するスケジュール管理部；をさらに含み、
   前記融合認識部は、前記スケジュール管理部から前記ユーザのスケジュール情報の提供を受け、それを考慮して前記ユーザの状況を認知することを特徴とする、請求項１に記載の状況認知装置。
7. 前記スケジュール管理部は、
   前記ユーザのスケジュールのうちから状況認知の考慮になり得るほどの項目を抽出し、前記スケジュール情報として前記融合認識部に提供することを特徴とする、請求項６に記載の状況認知装置。
8. 音声信号に基づいたユーザの感情状態認識結果を受信するステップ；
   動きに基づいた前記ユーザの感情状態認識結果を受信するステップ；
   前記ユーザが属している場所認識結果を受信するステップ；および
   前記認識結果を全て考慮して前記ユーザの状況を融合認知するステップ；を含むことを特徴とする状況認知方法。
9. 前記融合認知するステップは、
   前記音声信号に基づいたユーザの感情状態認識結果がどの程度の正確度を有しているかに対する確率値を生成するステップ；を含むことを特徴とする、請求項８に記載の状況認知方法。
10. 前記融合認知するステップは、
    前記動きに基づいたユーザの感情状態認識結果がどの程度の正確度を有しているかに対する確率値を生成するステップ；をさらに含むことを特徴とする、請求項８に記載の状況認知方法。
11. 前記融合認知するステップは、
    前記音声信号に基づいたユーザの感情状態認識結果、前記動きに基づいた前記ユーザの感情状態認識結果、および前記場所認識結果のうちの少なくとも一つの認識結果に対する確率値から前記ユーザの状況を認知することを特徴とする、請求項８に記載の状況認知方法。
12. 前記ユーザのスケジュール情報を受信するステップ；をさらに含み、
    前記融合認知するステップは、前記スケジュール情報を考慮して前記ユーザの状況を認知することを特徴とする、請求項８に記載の状況認知方法。
13. 前記スケジュール情報を受信するステップは、
    前記ユーザのスケジュールのうちの状況認知の考慮になり得るほどの事項であると判断し抽出されたものだけを受信することを特徴とする、請求項１２に記載の状況認知方法。

Images