JP2022117472A - アシスタントサービス提供方法及びシステム - Google Patents

アシスタントサービス提供方法及びシステム Download PDF

Info

Publication number
JP2022117472A
JP2022117472A JP2022010171A JP2022010171A JP2022117472A JP 2022117472 A JP2022117472 A JP 2022117472A JP 2022010171 A JP2022010171 A JP 2022010171A JP 2022010171 A JP2022010171 A JP 2022010171A JP 2022117472 A JP2022117472 A JP 2022117472A
Authority
JP
Japan
Prior art keywords
user
information
target user
target
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022010171A
Other languages
English (en)
Other versions
JP7379550B2 (ja
Inventor
スミ イ
Sumee Lee
ジウン シン
Jieun Shin
ウォンギョン パク
Won Kyeong Park
ヨンハン キム
Youn Han Kim
ヨンジン キム
Yonjin Kimu
ヨンソク ペ
Yong Seock Pai
ヒョンア ジョン
Hyun Ah Jeong
ボムス キム
Beomsu Kim
サンヨプ ジョン
Sung Youb Jung
ソンピル クォン
Sun Pil Kwon
ジヨン ソ
Ji Eun Shin
ヒョンミ イ
Hyun Mi Lee
ヌリ ナ
Nu Ri Na
ジョンスン ユン
Jung Soon Yoon
ミハク ホン
Mi Hak Hong
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Z Intermediate Global Corp
Naver Corp
Original Assignee
Line Corp
Naver Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Line Corp, Naver Corp filed Critical Line Corp
Publication of JP2022117472A publication Critical patent/JP2022117472A/ja
Application granted granted Critical
Publication of JP7379550B2 publication Critical patent/JP7379550B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/02—Reservations, e.g. for tickets, services or events
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/04—Training, enrolment or model building

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Development Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】 ユーザの意図を把握し、より直観的にアシスタントサービスを提供することのできるアシスタントサービス提供方法及びシステムを提供する。【解決手段】 本発明によるアシスタントサービス提供方法は、カメラ１１を用いて、ターゲットユーザ１０００の顔画像をセンシングするステップと、マイク１３を用いて、ターゲットユーザ１０００の音声をセンシングするステップと、ユーザＤＢから前記顔画像に対応するターゲットユーザ１０００のユーザ情報を抽出するステップと、前記ユーザ情報に基づいて、前記音声に対応するターゲット機能に対するターゲットユーザ１０００の権限を確認するステップと、前記確認の結果に基づいて、前記ターゲット機能に関する制御を行うステップとを含むようにしてもよい。【選択図】図１

Description

本発明は、アシスタントサービス提供方法及びシステムに関する。
技術が発展するにつれて、電子機器の活用度が高まっている。近年、電子機器はユーザを補助するアシスタントサービス（assistant service）を提供する手段として活用されている。
アシスタントサービスは、ユーザに有用な情報を出力したり、ユーザの要求した機能について回答したり、関連作業を行うことにより、ユーザが様々な実際の作業又は仮想の作業を完了することをサポートする。
このようなアシスタントサービスを提供する電子機器は、ユーザにオーダーメイドサービスを提供するか、ユーザの意図を把握してユーザが実際に必要とする機能を提供する形に発展している。
例えば、特許文献１（仮想アシスタントの個人化）では、ユーザ個人レコードを自動で保管することにより、ユーザに関する個人情報に対してより迅速にアクセスし、ユーザの要求を正確に把握して迅速に回答することのできるシステムを提供している。
一方、このようなアシスタントサービスでは、ユーザの要求を正確に把握することだけでなく、アシスタントサービスを提供するユーザに応じて適切な機能を提供することが重要であり、このような分野に関する研究が活発に行われている。
韓国公開特許第１０－２０１９－００６２５２１号公報
本発明は、ユーザの意図を把握し、より直観的にアシスタントサービスを提供することのできるアシスタントサービス提供方法及びシステムを提供するためのものである。
また、本発明は、電子機器への接触入力がなくてもアシスタントサービスを提供することのできるアシスタントサービス提供方法及びシステムを提供するためのものである。
さらに、本発明は、ユーザの権限及び状況を考慮して、ユーザが意図した機能を提供することのできるアシスタントサービス提供方法及びシステムを提供するためのものである。
上記課題を解決するために、本発明によるアシスタントサービス提供方法は、カメラを用いて、ターゲットユーザの顔画像をセンシングするステップと、マイクを用いて、前記ターゲットユーザの音声をセンシングするステップと、ユーザＤＢから前記顔画像に対応する前記ターゲットユーザのユーザ情報を抽出するステップと、前記ユーザ情報に基づいて、前記音声に対応するターゲット機能に対する前記ターゲットユーザの権限を確認するステップと、前記確認の結果に基づいて、前記ターゲット機能に関する制御を行うステップとを含むようにしてもよい。
また、本発明によるアシスタントサービス提供システムは、ターゲットユーザの顔画像をセンシングするカメラと、前記ターゲットユーザの音声をセンシングするマイクと、ユーザＤＢから前記顔画像に対応する前記ターゲットユーザのユーザ情報を抽出し、前記ユーザ情報に基づいて、前記音声に対応するターゲット機能に対する前記ターゲットユーザの権限を確認する制御部とを含み、前記制御部は、前記確認の結果に基づいて、前記ターゲット機能に関する制御を行うようにしてもよい。
さらに、本発明による電子機器で１つ以上のプロセスにより実行され、コンピュータ可読媒体に格納可能なプログラムは、カメラを用いて、ターゲットユーザの顔画像をセンシングするステップと、マイクを用いて、前記ターゲットユーザの音声をセンシングするステップと、ユーザＤＢから前記顔画像に対応する前記ターゲットユーザのユーザ情報を抽出するステップと、前記ユーザ情報に基づいて、前記音声に対応するターゲット機能に対する前記ターゲットユーザの権限を確認するステップと、前記確認の結果に基づいて、前記ターゲット機能に関する制御を行うステップとを実行させるコマンドを含むようにしてもよい。
前述したように、本発明によるアシスタントサービス提供方法及びシステムは、顔認識を活用して、認識されたユーザに提供可能なオーダーメイド機能を提供することができる。なお、本発明は、顔認識と共に、音声認識を行うことにより、認識されたユーザが発話した音声に対応する機能を提供することができる。よって、ユーザは、アシスタントサービスを提供する電子機器の周辺で発話するだけで、目的とする機能を実行することができる。
また、本発明によるアシスタントサービス提供方法及びシステムは、カメラを用いて認証の対象となるユーザをセンシングし、センシングされたユーザの権限を確認することにより、ユーザの権限内の機能の提供を補助することができる。本発明においては、ユーザの要求した機能がユーザの権限内の機能でない場合、ユーザの権限内の類似した機能の提供を推薦することにより、ユーザの利便性を向上させることができる。
本発明によるアシスタントサービス提供システムを説明するための概念図である。 本発明によるアシスタントサービス提供方法を説明するためのフローチャートである。 本発明によるアシスタントサービス提供方法及びシステムを説明するための概念図である。 本発明によるアシスタントサービス提供方法及びシステムを説明するための概念図である。 本発明によるアシスタントサービス提供方法及びシステムを説明するための概念図である。 本発明によるアシスタントサービス提供方法及びシステムを説明するための概念図である。 本発明によるアシスタントサービス提供方法及びシステムを説明するための概念図である。 本発明によるアシスタントサービス提供方法及びシステムを説明するための概念図である。 本発明によるアシスタントサービス提供方法及びシステムを説明するための概念図である。 本発明によるアシスタントサービス提供方法及びシステムを説明するための概念図である。 本発明によるアシスタントサービスの活用例を説明するための概念図である。 本発明によるアシスタントサービスの活用例を説明するための概念図である。 本発明によるアシスタントサービスの活用例を説明するための概念図である。
以下、添付図面を参照して本発明の実施形態について詳細に説明するが、図面番号に関係なく同一又は類似の構成要素には同一の符号を付し、それについての重複する説明は省略する。以下の説明で用いられる構成要素の接尾辞である「モジュール」や「部」は、明細書の作成を容易にするために付与又は混用されるものであり、それ自体が有意性や有用性を有するものではない。また、本発明の実施形態について説明するにあたり、関連する公知技術についての具体的な説明が本発明の実施形態の要旨を不明にすると判断される場合は、その詳細な説明を省略する。さらに、添付図面は本発明の実施形態の理解を助けるためのものにすぎず、添付図面により本発明の技術的思想が限定されるものではなく、本発明の思想及び技術範囲に含まれるあらゆる変更、均等物乃至代替物を含むものと理解すべきである。
「第１」、「第２」などのように序数を含む用語は様々な構成要素を説明するために用いられるが、上記構成要素は上記用語により限定されるものではない。上記用語は１つの構成要素を他の構成要素と区別する目的でのみ用いられる。
ある構成要素が他の構成要素に「連結」又は「接続」されていると言及された場合は、他の構成要素に直接連結又は接続されていてもよく、中間にさらに他の構成要素が存在してもよいものと解すべきである。それに対して、ある構成要素が他の構成要素に「直接連結」又は「直接接続」されていると言及された場合は、中間にさらに他の構成要素が存在しないものと解すべきである。
単数の表現には、特に断らない限り複数の表現が含まれる。
本明細書において、「含む」や「有する」などの用語は、本明細書に記載された特徴、数字、段階、動作、構成要素、部品又はそれらの組み合わせが存在することを指定しようとするもので、１つ又はそれ以上の他の特徴、数字、段階、動作、構成要素、部品又はそれらの組み合わせの存在や付加可能性を予め排除するものではないと理解すべきである。
本発明は、ユーザに便利機能を提供できるアシスタントサービス提供方法及びシステムに関するものであり、ユーザが電子機器の周辺に位置するだけで、ユーザが意図した機能を補助することのできる方法を提案する。
以下、添付図面を参照して本発明について具体的に説明する。図１は、本発明によるアシスタントサービス提供システムを説明するための概念図であり、図２は、本発明によるアシスタントサービス提供方法を説明するためのフローチャートである。また、図３、図４ａ、図４ｂ、図５ａ、図５ｂ、図６、図７及び図８は、本発明によるアシスタントサービス提供方法及びシステムを説明するための概念図である。さらに、図９、図１０及び図１１は、本発明によるアシスタントサービスの活用例を説明するための概念図である。
図１に示すように、本発明によるアシスタントサービス提供システム１００は、通信部１１０、保存部１２０及び制御部１３０の少なくとも１つを含むように構成されてもよい。ここで、本発明によるアシスタントサービス提供システム１００は、上記構成要素に限定されるものではなく、本明細書で説明する機能と同一又は類似の役割を果たす構成要素をさらに含んでもよい。
本発明によるアシスタントサービス提供システム１００は、電子機器１０と連動して動作することができる。ここで、電子機器１０は、スマートフォン（smart phone）、携帯電話、タブレットＰＣ、キオスク（KIOSK）、コンピュータ、ノートブックコンピュータ、デジタル放送用端末、ＰＤＡ（Personal Digital Assistants）及びＰＭＰ（Portable Multimedia Player）の少なくとも１つを含む。
また、本発明によるアシスタントサービス提供システム１００は、アプリケーション又はソフトウェアで実現することができる。ここで、アシスタントサービス提供システム１００のアプリケーション又はソフトウェアは、電子機器１０にインストールされ、以下に説明するアシスタントサービス提供方法によるプロセスを行うことができる。
例えば、本発明によるアシスタントサービス提供システム１００の通信部１１０、保存部１２０及び制御部１３０は、電子機器１０のハードウェア構成を用いて、本発明によるアシスタントサービスに関する一連の機能を実行することができる。例えば、通信部１１０は、電子機器１０の通信部に備えられた通信モジュール（例えば、移動通信モジュール、近距離通信モジュール、無線インターネットモジュール、位置情報モジュール、放送受信モジュールなど）の構成を用いて、少なくとも１つの外部サーバ（例えば、図１に示す外部データベース（database; DB）（データベースサーバ）１４０やクラウドサーバなど）とデータを送受信することができる。
保存部１２０は、電子機器１０に備えられた（又は挿入された）メモリ又はクラウドサーバを用いて、本発明によるアシスタントサービスに関連するデータを保存することができる。
制御部１３０は、電子機器１０に備えられたＣＰＵ及びクラウドサーバの少なくとも一方を用いて、各構成要素の制御及び本発明に係る全般的な制御を行うことができる。また、制御部１３０は、本発明を実現するために、電子機器１０の少なくとも１つの構成要素の制御権限を有する。さらに、制御部１３０は、電子機器１０の構成要素により受信又はセンシングされた情報を、本発明のために活用することができる。例えば、制御部１３０は、電子機器１０のカメラ１１により受信される画像及び電子機器１０のマイク１３により受信される音声に基づいて、本発明によるアシスタントサービスを行うことができる。
一方、制御部１３０は、人工知能、マシンラーニング又はディープラーニングをベースとして、学習及び推論に基づいて、本発明によるアシスタントサービスを提供することができる。
さらに、制御部１３０は、電子機器１０のディスプレイ部１２を用いて、本発明に係る情報を出力することができる。ここで、ディスプレイ部１２は、ユーザ入力を受信できるタッチスクリーン（touch screen）で実現してもよい。
その他、制御部１３０は、電子機器１０に備えられた他の構成要素（例えば、近接センサ、赤外線センサ、入力部など）を用いて、本発明によるアシスタントサービスを行うことができる。
一方、図１において、本発明によるアシスタントサービス提供システム１００は、通信部１１０、保存部１２０及び制御部１３０を構成要素として含むが、電子機器１０の構成要素（例えば、カメラ１１、ディスプレイ部１２、マイク１３など）の少なくとも１つを構成要素として含んでもよいことは言うまでもない。
なお、本発明によるアシスタントサービス提供システム１００は、プログラム又はアプリケーションの形態で存在するようにしてもよいだけでなく、以下に説明する構成及び機能の実行が可能な様々な形態で存在するようにしてもよい。
よって、以下では、それらについて制限することなく、本発明によるアシスタントサービス提供システム１００について説明する。
図１に示すように、本発明によるアシスタントサービス提供システム１００は、電子機器１０のカメラ１１を用いて、ユーザをセンシングし、センシングされたユーザに対するアシスタントサービスを行うようにしてもよい。
説明の便宜上、本発明においては、アシスタントサービスが提供されるユーザを「ターゲットユーザ（target user）」という。
本発明においては、ターゲットユーザ１０００に対してターゲット機能を実行するために、ターゲットユーザ１０００に対するユーザ認証（User Authentication）を行うことにより、ターゲットユーザ１０００の予め設定された権限内でのターゲット機能を提供することができる。
本発明における「ユーザ認証」とは、ターゲットユーザ１０００に対するユーザ認証を意味する。
本発明においては、「ユーザ認証」を用いて、「ターゲット機能」に関する一連の制御を行うことができる。
ここで、「ターゲット機能」とは、例えば、場所予約機能（例えば、会議室予約、飲食店予約など）、決済機能、参加確認機能、病院での来院確認機能、注文機能（例えば、カフェーでのドリンク注文など）、電子装置制御機能（例えば、会議室に備えられた電子装置（例えば、テレビ、スピーカ、照明など））、駐車場での車両検索機能などのように、ユーザの便宜のために提供できる様々な機能を意味し、その種類は非常に様々である。
一方、電子装置制御機能には、会議室やカフェーなどの特定の空間に備えられた電子装置を制御する機能が含まれる。このような電子装置の制御においては、モノのインターネット（Internet of Things; IoT）ベースの制御を用いてもよい。電子装置制御機能には、前述したテレビ、スピーカ、照明の制御の他に、エアコンやプロジエクタの制御などがさらに含まれ得る。
このような電子装置制御機能は、電子機器１０に備えられたマイク１３から入力される音声コマンドによりアクティブ又は非アクティブになるようにしてもよい。
制御部１３０は、「電気を消して！」、「照明をつけて！」、「エアコンをつけて！」などの音声コマンドを受信すると、受信した音声コマンドに対応する電子装置に対する制御命令を生成し、当該電子装置に制御命令を送信することにより、電子装置の制御を行うことができる。
本発明において、制御部１３０は、カメラ１１から受信する画像から、ターゲットユーザ１０００の顔画像を取得し、ユーザＤＢに保存された、前記顔画像に対応するユーザ情報を用いて、ターゲットユーザ１０００に対するアシスタントサービスを行うことができる。
ここで、前記ユーザ認証の対象となるターゲット機能は、様々な基準に基づいて特定される。
一例として、制御部１３０は、電子機器１０が配置された場所に応じて、ターゲット機能を特定するようにしてもよい。例えば、図１に示すように、電子機器１０が会議室の周辺に配置された場合、制御部１３０は、ターゲット機能として、場所予約（例えば、会議室予約）機能を特定するようにしてもよい。また、図１０に示すように、電子機器１０が駐車場の周辺に配置された場合、制御部１３０は、ターゲット機能として、ターゲットユーザ１０００の車両が駐車された位置を検索する機能を特定するようにしてもよい。なお、ターゲット機能としてどの機能を特定するかは、電子機器１０が配置された位置に基づいて、事前に決定するようにしてもよい。
他の例として、制御部１３０は、マイク１３から受信する音声に基づいて、ターゲット機能を特定するようにしてもよい。制御部１３０は、電子機器１０の周辺に位置するターゲットユーザ１０００の顔画像をセンシングすると共に、ターゲットユーザ１０００のマイク１３からターゲットユーザ１０００の音声（又は音声情報）を受信（又はセンシング）することができる。
制御部１３０は、予め設定された自然言語処理（Natural Language Processing）アルゴリズムに基づいて、マイク１３から受信（又はセンシング）した音声（又は音声情報）を分析することができる。また、制御部１３０は、分析の結果に基づいて、受信した音声からターゲット機能を特定することができる。制御部１３０は、音声に含まれるキーワード又はコマンドに基づいて、ターゲット機能を特定することができる。
さらに他の例として、制御部１３０は、電子機器１０へのユーザ入力に基づいて、ターゲット機能を特定するようにしてもよい。ここで、ユーザ入力は、タッチスクリーンが備えられたディスプレイ部１２又は他のユーザ入力手段で入力されるユーザ入力であってもよい。制御部１３０は、このようなユーザ入力に基づいて、ターゲット機能を特定することができる。
さらに他の例として、制御部１３０は、ターゲットユーザ１０００のユーザ情報に含まれるターゲットユーザ１０００のスケジュールに基づいて、適切な機能をターゲット機能として特定するようにしてもよい。
その他にも、ターゲット機能は、様々な方式で特定することができ、本発明においては、ターゲットユーザ１０００がターゲット機能を円滑に実行できるように（ターゲットユーザ１０００にターゲット機能を円滑に提供できるように）、アシスタントサービスを提供することができる。
一方、制御部１３０は、ターゲットユーザ１０００の顔画像及びユーザＤＢから抽出されるターゲットユーザ１０００のユーザ情報を用いて、ターゲット機能に対するターゲットユーザ１０００の権限を確認し、ターゲットユーザ１０００の権限内でターゲット機能に関するアシスタントサービスを行うことができる。
また、制御部１３０は、ターゲットユーザ１０００のユーザ情報を、ターゲット機能の実行に活用することができる。一例として、ターゲット機能が参加確認機能である場合、制御部１３０は、ターゲットユーザ１０００のユーザ情報に基づいて、ターゲットユーザ１０００に対して参加確認承認処理又は参加確認拒否処理を行うようにしてもよい。
他の例として、ターゲット機能が決済機能である場合、制御部１３０は、ターゲットユーザ１０００のユーザ情報に基づいて、決済対象金額に対して決済承認処理又は決済拒否処理を行うようにしてもよい。
一方、ターゲットユーザ１０００のユーザ情報は、ターゲットユーザ１０００に関する様々な情報であり、制御部１３０は、カメラ１１から受信した画像から、ターゲットユーザ１０００の顔画像を抽出し、ユーザＤＢから、前記抽出された顔画像に対応する（又はマッチングされた）ユーザ情報を抽出することができる。
ここで、ユーザＤＢは、「ユーザに関する情報」、「ユーザの身元情報」又は「ユーザの識別情報」ともいえる。
ユーザＤＢは、保存部１２０、外部データベース１４０及びクラウドサーバの少なくとも１つに含まれるようにしてもよい。
制御部１３０は、ユーザＤＢからターゲットユーザ１０００の顔画像に対応する人物を検索し、検索された人物にマッチングされたユーザ情報を抽出することができる。
ユーザＤＢには、個別人物（又は人）単位で、それぞれの人物に関するユーザ情報を保存することができる。すなわち、ユーザＤＢには、異なる人物毎にそれぞれに対応するユーザ情報をマッチングして保存することができる。
ここで、ユーザ情報は、それぞれの人物に該当する人の名前、生年月日、住所、電話番号、メールアドレス、アカウント情報、社番、ＩＤ、顔画像、生体情報（例えば、指紋情報、虹彩情報など）、特定の機能（又は特定のイベント）の権限情報、参照顔画像、電子機器の識別情報、スケジュール、勤務部署、役目、役職、肩書き、決済情報（例えば、口座番号、クレジットカード情報など）などに関する情報の少なくとも１つを含む。
ここで、参照顔画像は、特定の人物の顔画像であり、１つ又は複数である。本発明において、「参照顔画像」は「参照データ」ともいえる。
制御部１３０は、カメラ１１により取得されたターゲットユーザの顔画像と、ユーザＤＢに保存された参照顔画像とを比較し、前記ターゲットユーザの顔画像に対応する参照顔画像にマッチングされた人物を検索することができる。また、制御部１３０は、前記検索された人物を前記ターゲットユーザとして特定し、前記検索された人物にマッチングされたユーザ情報を前記ユーザＤＢから抽出することができる。
さらに、制御部１３０は、前記抽出されたユーザ情報を用いて、ターゲット機能に関するアシスタントサービスを行うことができる。
図１に示すように、電子機器１０は、任意の場所に配置され、ターゲットユーザ１０００は、電子機器１０の周辺に位置するだけで、アシスタントサービスを行うことができる。
以下、フローチャートを参照して本発明によるアシスタントサービス提供方法についてより具体的に説明する。
まず、図２に示すように、本発明によるアシスタントサービス提供方法においては、カメラ１１を用いて、ターゲットユーザ１０００の顔画像をセンシングするステップが行われる（Ｓ２１０）。
すなわち、制御部１３０は、電子機器１０のカメラ１１（図１参照）を用いて、カメラ１１から受信した画像からターゲットユーザ１０００の顔画像を検出することができる。
より具体的には、図３の（ａ）及び図４ａに示すように、制御部１３０は、電子機器１０の周辺に位置するターゲットユーザ１０００の顔を、カメラ１１によりセンシングすることができる。
制御部１３０は、カメラ１１から受信する画像から、ターゲットユーザ１０００の顔画像４１０を取得し、顔画像４１０に対応する、ユーザＤＢに保存されたユーザ情報を用いて、ターゲットユーザ１０００に対するアシスタントサービスを行うことができる。
制御部１３０は、カメラ１１から受信する画像からターゲットユーザ１０００の顔画像が検出されると、アシスタントサービスのための一連のプロセスを実行することができる。
カメラ１１によりターゲットユーザ１０００の顔画像がセンシング又は検出される時点は非常に様々である。
一例として、制御部１３０は、電子機器１０に対してユーザ入力が行われると、ターゲットユーザ１０００の顔が撮影されるように、カメラ１１を制御することができる。ここで、ユーザ入力としては、電子機器１０への物理的な接触による入力、音声による入力など、様々な方式の入力が可能である。
他の例として、制御部１３０は、図３に示すように、電子機器１０の周辺に人が位置することが検知されると、カメラ１１からターゲットユーザ１０００の画像を受信するように、カメラ１１を制御することができる。このとき、制御部１３０は、電子機器１０に対して所定範囲（又は距離）内にターゲットユーザ１０００が位置すると、ターゲットユーザ１０００の顔画像が検出されるように、カメラ１１を制御することができる。制御部１３０は、電子機器１０に備えられた少なくとも１つのセンサ（例えば、近接センサ、赤外線センサ、ライダーセンサなど）を用いて、電子機器１０の周辺に又は電子機器１０に対して所定範囲内にターゲットユーザが位置することをセンシング（又は検知）することができる。
一方、制御部１３０は、電子機器１０に対して所定範囲内にターゲットユーザ１０００が位置しないと、電子機器１０のディスプレイ部１２が非アクティブになるように、ディスプレイ部１２を制御することができる。非アクティブ状態のディスプレイ部１２は、電源オフ状態、待機状態及び節電状態の少なくとも１つの状態である。
また、制御部１３０は、電子機器１０に対して所定範囲内にターゲットユーザ１０００が位置すると、電子機器１０のディスプレイ部１２がアクティブになるように、ディスプレイ部１２を制御することができる。このとき、ディスプレイ部１２には、ターゲット機能を特定する方法に関するガイド情報（例えば、「望む機能を言ってください」）を出力することができる。
さらに他の例として、制御部１３０は、所定間隔又はリアルタイムでカメラ１１から受信する画像にターゲットユーザ１０００の顔画像が含まれるか否かを判断するようにしてもよい。また、判断の結果、カメラ１１から受信する画像にターゲットユーザ１０００の顔画像が含まれる場合、ターゲット機能に関するアシスタントサービスのための一連のプロセスを実行するようにしてもよい。
さらに他の例として、制御部１３０は、電子機器１０に備えられたマイク１３により声（又は音声）がセンシングされると、カメラ１１をアクティブにしてもよい。すなわち、制御部１３０は、マイク１３により人の声がセンシングされると、電子機器１０の周辺に人が位置すると判断し、カメラ１１をアクティブにしてもよい。
さらに他の例として、制御部１３０は、図４ｂに示すように、電子機器１０に備えられた機能アイコン４５０が選択されることに基づいて、カメラ１１をアクティブにしてもよい。機能アイコン４５０には、本発明によるアシスタントサービスをアクティブにする機能がマッチするようにしてもよい。機能アイコン４５０は、電子機器１０に備えられたディスプレイ部１２に出力されるようにしてもよい。制御部１３０は、ユーザなどにより、機能アイコン４５０がタッチなどの方式で選択されると、本発明によるアシスタントサービスをアクティブにするようにしてもよい。この場合、アシスタントサービスがアクティブになることに基づいて、カメラ１１をアクティブにしてもよい。
なお、制御部１３０は、少なくとも１つの顔認識アルゴリズムを用いて、カメラ１１から受信する画像からターゲットユーザ１０００の顔画像を検出することができる。本発明で用いられる顔認識アルゴリズムは、その種類に制限がなく、人工知能又はディープラーニングに基づいて動作するアルゴリズムを用いることもできる。
一方、制御部１３０は、カメラ１１によりターゲットユーザ１０００の顔画像が検出されたとしても、前記検出された顔画像がアシスタントサービスを行うための所定の条件（又は所定の認証条件）を満たしていない場合、前記所定の条件を満たす顔画像を取得するためのガイド情報を提供することができる。
より具体的には、制御部１３０は、カメラ１１により検出されるターゲットユーザ１０００の顔画像が、前記所定の条件を満たすか否かを判断することができる。ここで、前記所定の条件は、画像に含まれる顔画像のサイズ、顔画像に対応する顔の角度、画像での顔画像の位置、及び画像に顔の顔立ち特徴要素（例えば、目、鼻、口）が含まれるか否かの少なくとも１つに関するものであり得る。
制御部１３０は、前記所定の条件を満たす顔画像を取得できるように、ターゲットユーザ１０００の姿勢や位置などに関する情報の少なくとも１つをガイド情報として出力することができる。ガイド情報は、カメラ１１とターゲットユーザ１０００間の相対位置及び相対距離の少なくとも一方に関するものであり得る。
例えば、制御部１３０は、ｉ）電子機器を基準とするターゲットユーザ１０００の位置情報（例えば、前に進んでください、後ろに下がってください、画面との距離を合わせてください）、ｉｉ）ターゲットユーザ１０００の姿勢情報（例えば、画面を見てください）、ｉｉｉ）ターゲットユーザ１０００の顔を隠した物体（例えば、マスク）を除去することを勧める情報（例えば、マスクを外してください）などのガイド情報を提供することができる。
次に、本発明によるアシスタントサービス提供方法においては、マイク１３を用いて、ターゲットユーザ１０００の音声をセンシングするステップが行われる（Ｓ２２０）。
本発明において、カメラ１１を用いてターゲットユーザ１０００の顔画像をセンシングするステップ（Ｓ２１０）及びマイク１３を用いてターゲットユーザ１０００の音声をセンシングするステップ（Ｓ２２０）は、電子機器１０上で同時に行うこともできる。すなわち、制御部１３０が電子機器１０上でカメラ１１から画像情報を受信する時点と、制御部１３０が電子機器１０上でマイク１３から音声情報を受信する時点とは同一であってもよい。この場合は、ターゲットユーザ１０００が電子機器１０の周辺に位置して発話した場合に該当する。
なお、カメラ１１を用いてターゲットユーザ１０００の顔画像をセンシングするステップ（Ｓ２１０）及びマイク１３を用いてターゲットユーザ１０００の音声をセンシングするステップ（Ｓ２２０）の前後は、状況に応じて自由に変える変形することができる。すなわち、カメラ１１を用いてターゲットユーザ１０００の顔画像をセンシングするステップ（Ｓ２１０）を行い、その後マイク１３を用いてターゲットユーザ１０００の音声をセンシングするステップ（Ｓ２２０）を行うようにしてもよく、逆に、マイク１３を用いてターゲットユーザ１０００の音声をセンシングするステップ（Ｓ２２０）を行い、その後カメラ１１を用いてターゲットユーザ１０００の顔画像をセンシングするステップ（Ｓ２１０）を行うようにしてもよい。
一方、マイク１３を用いてターゲットユーザ１０００の音声をセンシングするステップ（Ｓ２２０）は、マイク１３から声情報を受信する過程として理解される。
制御部１３０は、自然言語処理アルゴリズムに基づいて、マイク１３から受信した音声情報を分析し、分析の結果に基づいて、ターゲット機能を決定することができる。
例えば、図３に示すように、ターゲットユーザ１０００が音声によりターゲット機能に関する情報（例えば、「会議室を予約して！」）を発話すると、制御部１３０は、その音声を受信することに基づいて、その音声に対応する機能をターゲット機能として特定するようにしてもよい。制御部１３０は、様々なキーワードにそれぞれ対応する機能リストと、音声に含まれる情報とを比較することにより、ターゲット機能を特定するようにしてもよい。このような機能リストは、保存部１２０に保存されて存在するようにしてもよい。
一方、ターゲット機能が特定されると、ディスプレイ部１２には、前記音声に対応する機能が前記ターゲット機能として決定されたことを通知する案内情報が出力されるようにしてもよい。また、制御部１３０は、前記案内情報が音響出力部（例えば、スピーカなど）から出力されるようにしてもよい。
次に、本発明によるアシスタントサービス提供方法においては、ユーザＤＢから、センシングされた顔画像に対応するユーザ情報を抽出するステップが行われる（Ｓ２３０）。
より具体的には、制御部１３０は、カメラ１１から受信した画像から、ターゲットユーザ１０００の顔画像を抽出し、ユーザＤＢから、前記抽出された顔画像に対応する（又はマッチングされた）ユーザ情報を抽出することができる。
前述したように、ユーザＤＢは、「ユーザに関する情報」、「ユーザの身元情報」又は「ユーザの識別情報」ともいえる。
ユーザＤＢは、保存部１２０、外部データベース１４０及びクラウドサーバの少なくとも１つに含まれるようにしてもよい。
制御部１３０は、ユーザＤＢからターゲットユーザ１０００の顔画像に対応する人物を検索し、検索された人物にマッチングされたユーザ情報を抽出することができる。
ユーザＤＢには、個別人物（又は人）単位で、それぞれの人物に関するユーザ情報を保存することができる。すなわち、ユーザＤＢには、異なる人物毎にそれぞれに対応するユーザ情報をマッチングして保存することができる。
ここで、ユーザ情報は、それぞれの人物に該当する人の名前、生年月日、住所、電話番号、メールアドレス、アカウント情報、社番、ＩＤ、顔画像、生体情報（例えば、指紋情報、虹彩情報など）、特定の機能（又は特定のイベント）の権限情報、参照顔画像、電子機器の識別情報、スケジュール、勤務部署、役目、役職、肩書き、決済情報（例えば、口座番号、クレジットカード情報など）などに関する情報の少なくとも１つを含む。
ここで、参照顔画像は、特定の人物の顔画像であり、１つ又は複数である。本発明において、「参照顔画像」は「参照データ」ともいえる。
制御部１３０は、カメラ１１により取得されたターゲットユーザの顔画像と、ユーザＤＢに保存された参照顔画像とを比較し、前記ターゲットユーザの顔画像に対応する参照顔画像にマッチングされた人物を検索することができる。また、制御部１３０は、前記検索された人物を前記ターゲットユーザとして特定し、前記検索された人物にマッチングされたユーザ情報を前記ユーザＤＢから抽出することができる。
制御部１３０は、センシングされたターゲットユーザ１０００の顔画像に対して所定の条件を満たす類似度を有する特定の参照顔画像を、ユーザＤＢから抽出することができる。そして、抽出された前記特定の参照顔画像にマッチングされた人物を前記ターゲットユーザとして特定することができる。
制御部１３０は、ターゲットユーザ１０００を検索する間、電子機器１０に現在の進行状況に関する案内情報（例えば、「あなたを探しています」）が出力されるように、ディスプレイ部１２及び音響出力部（例えば、スピーカなど）を制御することができる。
図４ａに示すように、ディスプレイ部１２には、カメラ１１により撮影された画像が出力されるようにしてもよい。ここで、出力される画像には、ターゲットユーザ１０００の顔画像４１０が含まれるようにしてもよい。
前述したように、ターゲットユーザ１０００に該当する人物が特定され、特定された人物（例えば、イ・＊リ）に関するユーザ情報が出力されると、制御部１３０は、前記ユーザ情報の少なくとも一部をディスプレイ部１２上に提供することができる。
よって、図４ａに示すように、ターゲットユーザ１０００に該当する人物に対応するユーザ情報の少なくとも一部（例えば、名前情報（イ・＊リ）をディスプレイ部１２に出力することができる。従って、ターゲットユーザ１０００は、ディスプレイ部１２に出力される情報を参照して、電子機器１０がターゲットユーザ１０００自身を正確に検索したかを確認することができる。
前述したようにターゲットユーザ１０００に関するユーザ情報が抽出されると、本発明によるアシスタントサービス提供方法においては、その抽出されたユーザ情報を用いて、ターゲット機能に対するターゲットユーザ１０００の権限を確認するステップが行われる（Ｓ２４０）。
前述したように、ターゲット機能は、マイク１３から入力される音声に基づいて特定することができる。
また、ターゲット機能は、マイク１３から入力される音声の他、様々な方法により特定することができる。本発明によるアシスタントサービス提供方法においては、音声に基づいてターゲット機能が特定されない場合、ステップＳ２２０を省略してもよい。
他の方法によりターゲット機能が特定される例について説明すると次の通りである。一例として、制御部１３０は、電子機器１０が配置された場所に応じて、ターゲット機能を特定するようにしてもよい。例えば、図３に示すように、電子機器１０が会議室の周辺に配置された場合、制御部１３０は、ターゲット機能として、場所予約（例えば、会議室予約）機能を特定するようにしてもよい。この場合、制御部１３０は、ターゲットユーザ１０００から別途のユーザ入力を受信しなくても、ターゲットユーザ１０００がカメラ１１によりセンシングされることに基づいて、ターゲットユーザ１０００の権限を確認するステップを行うようにしてもよい。
また、図１０に示すように、電子機器１０が駐車場の周辺に配置された場合、制御部１３０は、ターゲット機能として、ターゲットユーザ１０００の車両が駐車された位置を検索する機能を特定するようにしてもよい。なお、ターゲット機能としてどの機能を特定するかは、電子機器１０が配置された位置に基づいて、事前に決定するようにしてもよい。
他の例として、制御部１３０は、電子機器１０へのユーザ入力に基づいて、ターゲット機能を特定するようにしてもよい。ここで、ユーザ入力は、タッチスクリーンが備えられたディスプレイ部１２又は他のユーザ入力手段で入力されるユーザ入力であってもよい。制御部１３０は、このようなユーザ入力に基づいて、ターゲット機能を特定することができる。
さらに他の例として、制御部１３０は、ターゲットユーザ１０００のユーザ情報に含まれるターゲットユーザ１０００のスケジュールに基づいて、適切な機能をターゲット機能として特定するようにしてもよい。
一方、制御部１３０は、ターゲット機能の特定のために、ターゲットユーザ１０００に質問を出力し、出力された質問に対する回答に基づいて、ターゲット機能を特定するようにしてもよい。
ターゲット機能の特定のためには、ターゲットユーザの権限を確認できる程度に具体化された情報が必要である。例えば、ターゲット機能が場所予約機能である場合、制御部１３０は、具体的な予約場所情報（例えば、会議室の番号など）及び予約時間情報を必要とする。
制御部１３０は、ターゲット機能の特定のために、ターゲットユーザ１０００に様々な方式で質問を行うことができる。例えば、制御部１３０は、スピーカを用いてターゲットユーザ１０００に質問を出力し、マイク１３を用いて音声を受信することにより、質問に対する回答を受信することができる。制御部１３０は、ターゲット機能を具体化（又は確定）できる程度の情報が収集されるまで複数回にわたって質問を出力し、質問に対する回答を受信することができる。
また、制御部１３０は、ディスプレイ部１２に質問を出力し、ディスプレイ部１２又はマイク１３により回答の入力を受けることにより、ターゲット機能の具体化のための情報を収集することができる。
一方、制御部１３０は、ターゲットユーザ１０００に質問を出力する前にターゲット機能の具体化が完了した場合、質問を出力しないようにしてもよい。例えば、ターゲットユーザ１０００は、「月曜日午後３時、３番会議室を予約して！」のように特定の機能を特定するに十分な情報を初期に電子機器１０に対して提供することがある。
このように、ユーザの音声又は他の方法によりターゲット機能が特定されると、制御部１３０は、ターゲット機能に対するターゲットユーザ１０００の権限を確認することができる。
ここで、「ターゲットユーザ１０００の権限」は様々な意味に解釈される。例えば、ターゲットユーザ１０００の権限は、ｉ）ターゲットユーザ１０００がターゲット機能の提供を受ける権限を有するか否か、ｉｉ）ターゲットユーザ１０００がターゲット機能にアクセスする権限を有するか否か、ｉｉｉ）ターゲットユーザ１０００が特定の場所に出入りする権限を有するか否か、ｉｖ）ターゲットユーザ１０００が特定の電子装置を制御する権限を有するか否かなどのように、ターゲットユーザ１０００が任意の機能、場所又は装置に関連してアクセスする権限を有するか否かに関する情報である。
このようなターゲットユーザ１０００の権限に関する情報（又は権限情報）は、ターゲットユーザ１０００のユーザ情報に含まれて存在するようにしてもよい。
例えば、図３に示すように、ターゲット機能が場所予約機能である場合、制御部１３０は、ターゲットユーザ１０００のユーザ情報に基づいて、ターゲットユーザ１０００が特定の場所（例えば、予約対象場所）に対して出入りする権限又は予約する権限を有するか否かを判断するようにしてもよい。
この場合、ターゲット機能は、特定の場所に対する特定の時間の予約機能として理解される。
また、ターゲットユーザ１０００の権限に関する情報（又は権限情報）を確認するために、制御部１３０は、ターゲットユーザ１０００に対して権限の確認のための情報を確認するようにしてもよい。ここで、権限の確認のための情報は、ターゲットユーザ１０００を認証するための情報であり、ターゲットユーザ１０００の生体情報やパスワード情報などである。
一方、前述したように、特定の場所や予約時間などの予約に関する情報の特定は、ターゲットユーザ１０００から受信される音声及びターゲットユーザ１０００のスケジュール情報の少なくとも一方に基づいて行われるようにしてもよい。
また、特定の場所や予約時間などの予約に関する情報の特定は、電子機器１０が配置された場所の少なくとも１つに基づいて行われるようにしてもよい。
例えば、制御部１３０は、ターゲットユーザ１０００の顔画像及び音声をセンシングした電子機器１０が配置された位置に基づいて、特定の場所を決定するようにしてもよい。一例として、制御部１３０は、電子機器１０が配置された位置に最も近い場所（例えば、会議室）を特定の場所として特定するようにしてもよい。他の例として、電子機器１０毎に場所に関する情報（例えば、会議室の番号）をマッチングし、制御部１３０は、電子機器１０にマッチングされた場所に関する情報に基づいて、特定の場所を決定するようにしてもよい。
一方、前述したようにターゲット機能に対するターゲットユーザ１０００の権限の確認が行われると、本発明によるアシスタントサービス提供方法においては、その確認の結果に基づいて、ターゲット機能に関する制御を行うステップが行われる（Ｓ２５０）。
より具体的には、制御部１３０は、ターゲットユーザ１０００が特定の機能の権限を有するか否かによって、異なる制御を行うようにしてもよい。
制御部１３０は、ターゲットユーザ１０００が特定の機能の権限を有する場合、特定の機能を実行又は実現するようにしてもよい。
また、制御部１３０は、ターゲットユーザ１０００が特定の機能の権限を有するが、特定の機能を実行又は実現することができない場合、特定の機能に類似した機能を推薦又は実行するようにしてもよい。
さらに、制御部１３０は、ターゲットユーザ１０００が特定の機能の権限を有しない場合、特定の機能の実行を制限するようにしてもよい。この場合、制御部１３０は、特定の機能に類似した機能を推薦又は実行するようにしてもよい。
例えば、特定の機能が特定の場所の予約機能である場合、制御部１３０は、ターゲットユーザ１０００が前記特定の場所の予約権限を有するか否かに基づいて、前記特定の場所の予約に関する異なる制御を行うようにしてもよい。
一例として、制御部１３０は、ターゲットユーザ１０００が特定の場所の予約権限を有する場合、図３の（ｂ）に示すように、特定の場所の予約を行うようにしてもよい。この場合、制御部１３０は、特定の機能を正常に実行できることを通知する案内情報（例えば、「今すぐ４番会議室を予約します！」）を、視覚的情報及び聴覚的情報の少なくとも一方の方式で電子機器１０に出力するようにしてもよい。
図４ａに示すように、ディスプレイ部１２には、特定の場所の予約に関する情報（例えば、状況情報や案内情報など）４２０が出力されるようにしてもよい。制御部１３０は、ターゲットユーザ１０００がいつでも予約時間もしくは予約場所を変更するか、又は予約を確定することができるようにするＧＵＩ（Graphic User Interface）４３０をディスプレイ部１２上に提供するようにしてもよい。このようなＧＵＩ４３０は、アイコン又はグラフィックオブジェクトともいえる。
他の例として、制御部１３０は、ターゲットユーザ１０００が特定の場所の予約権限を有するが、特定の場所の予約を行うことができない場合（例えば、特定の場所が予約済みである場合など）、図３の（ｃ）に示すように、特定の場所とは異なる、予約可能な他の場所の予約を実行又は推薦するようにしてもよい。制御部１３０は、ターゲットユーザ１０００が含まれる空間の場所（例えば、会議室など）の予約が可能であるか否かを判断し、判断の結果に基づいて、予約可能な他の場所を推薦するようにしてもよい。
ここで、制御部１３０は、ｉ）特定の場所に最も近い場所、ｉｉ）特定の場所を除く、ターゲットユーザ１０００の現在位置に最も近い場所、ｉｉｉ）特定の場所を除く、ターゲットユーザ１０００の勤務位置に最も近い場所、ｉｖ）特定の場所を除く、他のユーザ（例えば、会議参加者など）及びターゲットユーザ１０００の距離の両方を考慮した場所などのように、様々な基準に基づいて、予約可能な他の場所を検索し、検索された情報を推薦情報として生成することができる。
さらに他の例として、制御部１３０は、ターゲットユーザ１０００が特定の場所の予約権限を有しない場合、図３の（ｄ）に示すように、特定の場所とは異なる他の場所の予約をガイドするようにしてもよい。他の場所の予約のガイドは、電子機器１０により行われるようにしてもよく、また、制御部１３０は、聴覚的方式及び視覚的方式の少なくとも一方により、ターゲットユーザ１０００をガイドするようにしてもよい。
この場合、制御部１３０は、ターゲットユーザ１０００に対して、特定の場所の予約権限を有しないことを通知する案内情報（例えば、「４番会議室の予約権限がありません！」）をガイド情報（例えば、「７番会議室を予約しましょうか？」）と共に出力するようにしてもよい。このような情報は、図５ａに示すように、視覚的な情報５１０としてディスプレイ部１２に出力されるようにしてもよい。また、ディスプレイ部１２には、特定の機能の実行の終了又は他の推薦場所の提供のためのＧＵＩ５２０、５３０が含まれるようにしてもよい。このようなＧＵＩ５２０、５３０は、アイコン又はグラフィックオブジェクトともいえる。制御部１３０は、ＧＵＩ５２０、５３０のいずれかが選択されると、選択されたＧＵＩにマッチングされた機能を実行するようにしてもよい。一例として、ユーザ（又はターゲットユーザ１０００）により特定の機能の実行の終了に対応するＧＵＩ５２０が選択されると、制御部１３０は、ターゲットユーザ１０００のための場所予約プロセスを終了するようにしてもよい。他の例として、ユーザ（又はターゲットユーザ１０００）により他の推薦場所の提供に対応するＧＵＩ５３０が選択されると、制御部１３０は、推薦場所情報を出力するようにしてもよい。なお、推薦場所情報は、ユーザによりＧＵＩ５３０が選択されていない場合も出力されるようにしてもよいことは言うまでもない。
前述したように、制御部１３０は、予約権限を有するターゲットユーザ１０００に対して、予約可能な場所を検索し、検索された情報を推薦情報として生成することができる。制御部１３０は、様々な基準に基づいて、推薦場所を検索し、１つ又は複数の推薦場所に関する情報をターゲットユーザ１０００に提供することができる。
制御部１３０は、ｉ）特定の場所に最も近い場所、ｉｉ）特定の場所を除く、ターゲットユーザ１０００の現在位置に最も近い場所、ｉｉｉ）特定の場所を除く、ターゲットユーザ１０００の勤務位置に最も近い場所、ｉｖ）特定の場所を除く、他のユーザ（例えば、会議参加者など）及びターゲットユーザ１０００の距離の両方を考慮した場所などのように、様々な基準に基づいて、予約可能な他の場所を検索し、検索された情報を推薦情報として生成することができる。
例えば、図５ｂに示すように、ディスプレイ部１２には、ターゲットユーザ１０００の現在位置に最も近い場所を推薦情報５５０として提供するようにしてもよい。同様に、図５ｂに示すように、ディスプレイ部１２には、ターゲットユーザ１０００の勤務位置に最も近い場所を推薦情報５５０として提供するようにしてもよい。この場合、推薦情報として提供される場所は、ターゲットユーザ１０００が予約権限を有する場所にしてもよい。
一方、図６に示すように、特定の機能が場所予約機能であり、ターゲットユーザ１０００によるユーザ入力に基づいて参加者（例えば、キム・＊ドン、ユ・＊エ）に関する情報を受信した場合（図６の符号６２０参照）、制御部１３０は、参加者及びターゲットユーザ１０００にそれぞれ関連する位置に基づいて、ターゲットユーザ１０００の予約権限内にある特定の場所（例えば、Ａ棟の１番、３番、５番会議室）を推薦場所として検索するようにしてもよい。また、図６に示すように、検索された推薦場所に関する情報６３０をディスプレイ部１２に出力するようにしてもよい。この場合、制御部１３０は、地図画像上に、推薦場所の位置、ターゲットユーザ１０００に関連する位置（例えば、ターゲットユーザの現在位置、ターゲットユーザの勤務位置など）、参加者に関連する位置（例えば、参加者の現在位置、ターゲットユーザの勤務位置など）を表示するようにしてもよい。
制御部１３０は、参加者に関する情報を受信すると、ユーザＤＢから参加者のユーザ情報を抽出し、抽出された参加者のユーザ情報に含まれる参加者に関連する位置情報に基づいて、推薦場所情報を検索（又は特定）するようにしてもよい。
上記例では、特定の機能において場所が具体的に特定された場合について説明した。しかし、本発明は、これに限定されるものではなく、ターゲットユーザ１０００が有する権限情報（例えば、場所に対するアクセス権限、出入り権限など）に基づいて、予約可能な場所に関する情報を推薦するようにしてもよい。制御部１３０は、前述した場所推薦方法に基づいて、予約権限を有するターゲットユーザ１０００に対して、予約可能な場所を検索し、検索された場所に関する推薦情報を生成するようにしてもよいことは言うまでもない。
例えば、ターゲットユーザ１０００が「会議室を予約してね」などの音声を電子機器１０に入力すると、制御部１３０は、ユーザの音声に基づいて、前述した様々な方式のうち少なくとも１つに基づいて、ターゲットユーザ１０００が予約可能な場所を推薦場所情報として生成するようにしてもよい。
なお、本発明においては、ユーザの利便性を向上させるアシスタントサービスを提供するために、特定の場所の予約が行われると、ターゲットユーザ１０００のユーザ情報に基づいて、特定の場所に関する予約情報をターゲットユーザ１０００のスケジュール情報に追加する機能を提供することができる。
図７に示すように、制御部１３０は、特定の機能を実行した結果、ターゲットユーザ１０００のスケジュールに関するスケジュールイベントが発生すると、当該スケジュールイベントをユーザのスケジュール情報に追加するようにしてもよい。
制御部１３０は、ユーザ情報から、ユーザのスケジュール情報が保存されるアカウント情報を抽出し、前記スケジュールイベントに該当するスケジュールを前記アカウント情報に追加保存するようにしてもよい。
このように、スケジュールの追加に関するアシスタントサービスが提供される場合、制御部１３０は、スケジュールの追加に関するアシスタントサービスが提供されていることを通知する案内情報７１０を、聴覚的方式及び視覚的な方式の少なくとも一方の方式で出力するようにしてもよい。
制御部１３０は、ターゲットユーザ１０００がスケジュールの追加に関するアシスタントサービスを承認又は拒否するようにするＧＵＩ７２０をディスプレイ部１２上に提供するようにしてもよい。
また、制御部１３０は、特定の場所の予約が行われ、特定の場所に関連する参加者に関する情報が確定されると、ユーザＤＢから参加者のユーザ情報を抽出するようにしてもよい。さらに、制御部１３０は、前記参加者のユーザ情報を用いて、前記参加者に前記特定の場所に関する予約情報を共有するアシスタントサービスを提供するようにしてもよい。制御部１３０は、前記参加者のユーザ情報に含まれるメールアカウントや電話番号などの連絡先情報を用いて、参加者に予約情報を送信するようにしてもよい。このような予約情報は、電子メール、メッセージなどの形式で送信するようにしてもよい。
さらに、制御部１３０は、参加者のユーザ情報から、参加者のスケジュール情報が保存されるアカウント情報を抽出し、スケジュールイベントに該当するスケジュールを前記アカウント情報に追加保存するようにしてもよい。
このように、スケジュールの追加に関するアシスタントサービスが提供される場合、制御部１３０は、スケジュールの追加に関するアシスタントサービスが提供されていることを通知する案内情報を、聴覚的方式及び視覚的な方式の少なくとも一方の方式で出力するようにしてもよい。
さらに、制御部１３０は、ターゲットユーザ１０００が参加者に関連するアシスタントサービス（例えば、予約情報の送信やスケジュールの追加など）を承認又は拒否するようにするＧＵＩ７２０をディスプレイ部１２上に提供するようにしてもよい。
一方、前述した本発明によるアシスタントサービス提供方法及びシステムを適用する電子機器１０は、様々な場所に設置することができる。図３を参照して説明したように、電子機器１０は、会議室の周辺に配置することもでき、図８の（ａ）に示すように、共同生活空間（例えば、エレベータの周辺）やユーザの勤務場所などに配置することもできる。
さらに、制御部１３０は、電子機器１０の周辺でユーザ（例えば、ターゲットユーザ１０００）が認識されると、認識されたターゲットユーザ１０００のためのアシスタントサービスを提供するようにしてもよい。
一例として、制御部１３０は、図８の（ｂ）に示すように、電子機器１０を用いて、ターゲットユーザ１０００に特定の機能（例えば、会議室予約機能）を提供するためのガイド情報８１０を出力するようにしてもよい。
他の例として、制御部１３０は、図８の（ｃ）に示すように、ターゲットユーザ１０００が特定されると、ターゲットユーザ１０００のユーザ情報に含まれるスケジュール情報を参照して、ターゲット機能を提供するようにしてもよい。ここで、ターゲット機能は、電子機器１０が配置された場所の特性を考慮した機能である。例えば、電子機器１０が配置された場所がエレベータの周辺である場合、制御部１３０は、ターゲットユーザ１０００のスケジュール情報を抽出し、抽出されたスケジュール情報に対応する場所（例えば、４番会議室）へターゲットユーザ１０００が移動できるように、ガイド情報（例えば、４番会議室が位置する場所（３階）への移動）を電子機器１０により出力するようにしてもよい。
さらに他の例として、制御部１３０は、図８の（ｄ）に示すように、ターゲットユーザ１０００のユーザ情報に含まれるスケジュール情報を参照して、ターゲットユーザ１０００にスケジュール情報を想起（リマインド）させるための情報８３０を電子機器１０により出力するようにしてもよい。
なお、本発明によるアシスタントサービス提供方法及びシステムは、前記場所予約機能以外にも様々な機能を提供することができる。
一例として、図９に示すように、電子機器１０が会議室、オフィス、家などの空間９００に配置された場合、制御部１３０は、電子機器１０を介して入力されるユーザ入力に基づいて、空間９００に配置された電子機器９０１、９０２、９０３を制御するようにしてもよい。このとき、制御部１３０は、ターゲットユーザ１０００が電子機器９０１、９０２、９０３を制御する権限を有するか否かを判断するために、ターゲットユーザ１０００の顔を認識し、認識された顔画像に対応するユーザ情報をユーザＤＢから抽出するようにしてもよい。また、制御部１３０は、抽出されたユーザ情報から、電子機器９０１、９０２、９０３に関する制御権限情報を確認し、確認の結果に基づいて、電子機器９０１、９０２、９０３の制御を行うようにしてもよい。
一方、電子機器９０１、９０２、９０３の制御には、電子機器９０１、９０２、９０３の電源をオン（on）又はオフ（off）にするか、音量を調整するなど、電子機器９０１、９０２、９０３に関する様々な制御が含まれる。
他の例として、図１０に示すように、電子機器１０が駐車場１０１０に配置された場合、制御部１３０は、電子機器１０によりターゲットユーザ１０００が認識されると、ターゲットユーザ１０００の権限内にある車両１０２０に関する制御を行うようにしてもよい。
制御部１３０は、ターゲットユーザ１０００の権限内にある車両１０２０に関する情報を抽出するために、電子機器１０によりターゲットユーザ１０００の顔を認識し、認識された顔画像に対応するユーザ情報をユーザＤＢから抽出するようにしてもよい。また、制御部１３０は、抽出されたユーザ情報から、ターゲットユーザ１０００の権限内にある車両１０２０（例えば、ターゲットユーザ１０００の所有車両、登録車両など）に関する情報を確認するようにしてもよい。さらに、制御部１３０は、確認された車両１０２０に関する制御（例えば、車両１０２０の駐車位置情報の提供、車両１０２０の駐車料金の決済など）を行うようにしてもよい。
一方、車両１０２０に関する情報（車両番号、駐車位置、駐車時間など）は、車両１０２０が駐車場１０１０に進入する過程で、駐車場１０１０に備えられたセンサによりセンシングされるようにしてもよい。また、制御部１３０は、センシングされた車両１０２０に関する情報のうち車両番号情報に対応するユーザ情報を有するユーザが存在する場合、当該ユーザに関する情報に車両１０２０の駐車に関する情報（駐車位置、駐車時間など）をマッチングして登録するようにしてもよい。よって、電子機器１０により、ターゲットユーザ１０００が車両１０２０に関する機能（例えば、駐車位置情報の提供、駐車料金の決済など）を要求すると、ユーザ情報とマッチングされて登録された情報を参照して、適切な情報を提供することができる。
さらに他の例として、図１１に示すように、電子機器１０がカフェ１１００、飲食店などに配置された場合、制御部１３０は、電子機器１０を介して、ターゲットユーザ１０００から注文情報を受信し、電子決済を行うようにしてもよい。
この場合、制御部１３０は、ターゲットユーザ１０００を認識し、ユーザＤＢからターゲットユーザ１０００のユーザ情報を抽出するようにしてもよい。また、抽出されたユーザ情報（例えば、決済手段情報（クレジットカード情報、口座情報など）を用いて、ターゲットユーザ１０００の注文に対する電子決済を行うようにしてもよい。
一方、ターゲットユーザ１０００のユーザ情報には、ターゲットユーザ１０００のヒストリ情報が含まれ、ターゲットユーザ１０００のヒストリ情報には、ターゲットユーザ１０００の過去の注文情報が含まれるようにしてもよい。
制御部１３０は、ターゲットユーザ１０００のヒストリ情報に基づいて、ターゲットユーザ１０００が認識されると、図１１に示すように、電子機器１０を介して、過去の注文情報に基づいて、特定のメニュー（例えば、「カフェラテ」）の注文を勧める注文推薦情報１１１０を出力するようにしてもよい。
一方、カフェ１１００などの空間がロボット（例えば、サービングロボットなど）が運用される空間である場合、制御部１３０は、ロボットを制御してターゲットユーザ１０００の注文したメニュー（例えば、飲み物、食べ物など）をターゲットユーザ１０００に運ぶようにしてもよい。この場合、制御部１３０は、ターゲットユーザ１０００が空間内でどこに位置しているかをセンシングし、ロボットを制御してセンシングされた位置へ移動するようにしてもよい。
以上説明したように、本発明によるアシスタントサービス提供方法及びシステムは、アシスタントサービス提供方法及びシステムを適用した電子機器が配置された位置に応じてユーザをアシスタントする様々な機能を提供することができる。
前述したように、本発明によるアシスタントサービス提供方法及びシステムは、顔認識を活用して、認識されたユーザに提供可能なオーダーメイド機能を提供することができる。なお、本発明は、顔認識と共に、音声認識を行うことにより、認識されたユーザが発話した音声に対応する機能を提供することができる。よって、ユーザは、アシスタントサービスを提供する電子機器の周辺で発話するだけで、目的とする機能を実行することができる。
また、本発明によるアシスタントサービス提供方法及びシステムは、カメラを用いて認証の対象となるユーザをセンシングし、センシングされたユーザの権限を確認することにより、ユーザの権限内の機能の提供を補助することができる。本発明においては、ユーザの要求した機能がユーザの権限内の機能でない場合、ユーザの権限内の類似した機能の提供を推薦することにより、ユーザの利便性を向上させることができる。
一方、コンピュータ可読媒体は、コンピュータシステムにより読み取り可能なデータが記録されるあらゆる種類の記録装置を含む。コンピュータ可読媒体の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Disk）、ＳＤＤ（Silicon Disk Drive）、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、光データ記憶装置などが挙げられる。
また、コンピュータ可読媒体は、ストレージを含み、電子機器が通信によりアクセスできるサーバ又はクラウドストレージであり得る。この場合、コンピュータは、有線又は無線通信により、サーバ又はクラウドストレージから本発明によるプログラムをダウンロードすることができる。
さらに、本発明において、前述したコンピュータは、プロセッサ、すなわち中央処理装置（Central Processing Unit, CPU）が搭載された電子機器であり、その種類は特に限定されない。
一方、本発明の詳細な説明は例示的なものであり、あらゆる面で制限的に解釈されてはならない。本発明の範囲は添付の特許請求の範囲の合理的解釈により定められるべきであり、本発明の等価的範囲内でのあらゆる変更が本発明の範囲に含まれる。
１０ 電子機器
１１ カメラ
１２ ディスプレイ部
１３ マイク
１００ アシスタントサービス提供システム
１１０ 通信部
１２０ 保存部
１３０ 制御部
１４０ 外部データベース
１０００ ターゲットユーザ

Claims (13)

  1. カメラを用いて、ターゲットユーザの顔画像をセンシングするステップと、
    マイクを用いて、前記ターゲットユーザの音声をセンシングするステップと、
    ユーザＤＢから前記顔画像に対応する前記ターゲットユーザのユーザ情報を抽出するステップと、
    前記ユーザ情報に基づいて、前記音声に対応するターゲット機能に対する前記ターゲットユーザの権限を確認するステップと、
    前記確認の結果に基づいて、前記ターゲット機能に関する制御を行うステップとを含むことを特徴とするアシスタントサービス提供方法。
  2. 自然言語処理アルゴリズムに基づいて前記音声を分析し、前記分析の結果に基づいて前記ターゲット機能を決定するステップをさらに含むことを特徴とする請求項１に記載のアシスタントサービス提供方法。
  3. 前記音声に対応する機能が前記ターゲット機能として決定されたことを通知する案内情報及び前記ターゲットユーザのユーザ情報の少なくとも一部をディスプレイ部上に提供するステップをさらに含むことを特徴とする請求項２に記載のアシスタントサービス提供方法。
  4. 前記分析の結果、前記ターゲット機能が特定の場所の予約機能である場合、
    前記ターゲットユーザの権限を確認するステップにおいては、
    前記ユーザ情報に基づいて、前記ターゲットユーザが前記特定の場所の予約権限を有するか否かを判断することを特徴とする請求項２に記載のアシスタントサービス提供方法。
  5. 前記特定の場所は、
    前記カメラ及び前記マイクを備えた電子機器が配置された位置に基づいて決定されることを特徴とする請求項４に記載のアシスタントサービス提供方法。
  6. 前記ターゲット機能に関する制御を行うステップにおいては、
    前記ターゲットユーザが前記特定の場所の予約権限を有するか否かに基づいて、前記特定の場所の予約に関する異なる制御を行うことを特徴とする請求項４に記載のアシスタントサービス提供方法。
  7. 前記ターゲット機能に関する制御を行うステップにおいては、
    前記ターゲットユーザが前記特定の場所の予約権限を有する場合、前記特定の場所の予約を行い、
    前記ターゲットユーザが前記特定の場所の予約権限を有しない場合、前記特定の場所とは異なる場所の予約をガイドすることを特徴とする請求項６に記載のアシスタントサービス提供方法。
  8. 前記特定の場所とは異なる場所は、
    前記特定の場所に最も近い場所であり、かつ前記ターゲットユーザが予約権限を有する場所であることを特徴とする請求項７に記載のアシスタントサービス提供方法。
  9. 前記特定の場所の予約が行われると、前記ターゲットユーザのユーザ情報に基づいて、前記特定の場所に関する予約情報を前記ターゲットユーザのスケジュール情報に追加するステップをさらに含むことを特徴とする請求項７に記載のアシスタントサービス提供方法。
  10. 前記特定の場所の予約が行われ、前記特定の場所に関連する参加者に関する情報が受信されると、前記ユーザＤＢから前記参加者のユーザ情報を抽出し、前記参加者のユーザ情報を用いて、前記参加者に前記特定の場所に関する予約情報を共有するステップをさらに含むことを特徴とする請求項７に記載のアシスタントサービス提供方法。
  11. 前記分析の結果、前記ターゲット機能が場所の予約機能であり、前記ターゲットユーザによるユーザ入力に基づいて参加者に関する情報が受信されると、前記参加者及び前記ターゲットユーザにそれぞれ関連する位置に基づいて、前記ターゲットユーザの予約権限内にある特定の場所を推薦場所として検索するステップをさらに含むことを特徴とする請求項２に記載のアシスタントサービス提供方法。
  12. ターゲットユーザの顔画像をセンシングするカメラと、
    前記ターゲットユーザの音声をセンシングするマイクと、
    ユーザＤＢから前記顔画像に対応する前記ターゲットユーザのユーザ情報を抽出し、前記ユーザ情報に基づいて、前記音声に対応するターゲット機能に対する前記ターゲットユーザの権限を確認する制御部とを含み、
    前記制御部は、
    前記確認の結果に基づいて、前記ターゲット機能に関する制御を行うことを特徴とするアシスタントサービス提供システム。
  13. 電子機器に、以下：
    カメラを用いて、ターゲットユーザの顔画像をセンシングするステップと、
    マイクを用いて、前記ターゲットユーザの音声をセンシングするステップと、
    ユーザＤＢから前記顔画像に対応する前記ターゲットユーザのユーザ情報を抽出するステップと、
    前記ユーザ情報に基づいて、前記音声に対応するターゲット機能に対する前記ターゲットユーザの権限を確認するステップと、
    前記確認の結果に基づいて、前記ターゲット機能に関する制御を行うステップと、
    を実行させるプログラム。
JP2022010171A 2021-01-29 2022-01-26 アシスタントサービス提供方法及びシステム Active JP7379550B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0013170 2021-01-29
KR1020210013170A KR102581000B1 (ko) 2021-01-29 2021-01-29 어시스턴트 서비스 제공 방법 및 시스템

Publications (2)

Publication Number Publication Date
JP2022117472A true JP2022117472A (ja) 2022-08-10
JP7379550B2 JP7379550B2 (ja) 2023-11-14

Family

ID=82749814

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022010171A Active JP7379550B2 (ja) 2021-01-29 2022-01-26 アシスタントサービス提供方法及びシステム

Country Status (3)

Country Link
JP (1) JP7379550B2 (ja)
KR (1) KR102581000B1 (ja)
TW (1) TWI843984B (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011227847A (ja) * 2010-04-23 2011-11-10 Chugoku Electric Power Co Inc:The 会議室予約支援システム
JP2019049871A (ja) * 2017-09-11 2019-03-28 富士ゼロックス株式会社 会議室予約システム、情報処理装置及びプログラム
JP2019057114A (ja) * 2017-09-21 2019-04-11 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
WO2019082630A1 (ja) * 2017-10-23 2019-05-02 ソニー株式会社 情報処理装置、及び情報処理方法
WO2020116026A1 (ja) * 2018-12-07 2020-06-11 ソニー株式会社 応答処理装置、応答処理方法及び応答処理プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005102081A (ja) 2003-09-26 2005-04-14 Minolta Co Ltd 監視カメラシステム
KR101648962B1 (ko) * 2014-06-18 2016-08-18 네이버 주식회사 복수 이용자의 위치와 취향을 반영하여 모임 장소를 추천하는 방법과 시스템, 그리고 기록 매체 및 파일 배포 시스템
US10331312B2 (en) * 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10043516B2 (en) * 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
JP7123540B2 (ja) * 2017-09-25 2022-08-23 キヤノン株式会社 音声情報による入力を受け付ける情報処理端末、方法、その情報処理端末を含むシステム
KR20170140122A (ko) * 2017-11-07 2017-12-20 주식회사 라온영 장소 예약 서비스 제공 방법 및 이를 실행하는 서버
KR20170135797A (ko) * 2017-11-28 2017-12-08 최재원 지능형 예약 시스템
KR102551773B1 (ko) * 2020-12-14 2023-07-06 네이버 주식회사 장소 추천 방법 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011227847A (ja) * 2010-04-23 2011-11-10 Chugoku Electric Power Co Inc:The 会議室予約支援システム
JP2019049871A (ja) * 2017-09-11 2019-03-28 富士ゼロックス株式会社 会議室予約システム、情報処理装置及びプログラム
JP2019057114A (ja) * 2017-09-21 2019-04-11 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
WO2019082630A1 (ja) * 2017-10-23 2019-05-02 ソニー株式会社 情報処理装置、及び情報処理方法
WO2020116026A1 (ja) * 2018-12-07 2020-06-11 ソニー株式会社 応答処理装置、応答処理方法及び応答処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ＡＩＸとミドルウェアのご紹介 概説書, vol. 第10版, JPN6023013278, 15 October 2007 (2007-10-15), JP, pages 119 - 121, ISSN: 0005029837 *

Also Published As

Publication number Publication date
JP7379550B2 (ja) 2023-11-14
TW202230268A (zh) 2022-08-01
KR102581000B1 (ko) 2023-09-21
KR20220109764A (ko) 2022-08-05
TWI843984B (zh) 2024-06-01

Similar Documents

Publication Publication Date Title
US11750741B2 (en) Systems for transitioning telephony-based and in-person servicing interactions to and from an artificial intelligence (AI) chat session
KR102513297B1 (ko) 전자 장치 및 전자 장치의 기능 실행 방법
US11171963B2 (en) System for authentication of a user based on multi-factor passively acquired data
US8473420B2 (en) Computational models for supporting situated interactions in multi-user scenarios
US20160262017A1 (en) Personal assistant authentication
KR20190100512A (ko) 챗봇과 대화하기 위한 전자 장치 및 그의 동작 방법
JP2018190413A (ja) ユーザ発話の表現法を把握して機器の動作やコンテンツ提供範囲を調整し提供するユーザ命令処理方法およびシステム
US8717401B1 (en) Secure, location-based virtual collaboration
US20180068177A1 (en) Method, device, and non-transitory computer-readable recording medium
KR20190127372A (ko) 전자 장치 및 전자 장치의 기능 실행 방법
US10360733B2 (en) System controlled augmented resource facility
US20180068321A1 (en) Reception supporting method and device
WO2022265896A1 (en) Natural language processing routing
CN109427332B (zh) 使用语音命令执行操作的电子设备及其操作方法
JP7402940B2 (ja) ユーザ認証方法、システム及びプログラム
JP7379550B2 (ja) アシスタントサービス提供方法及びシステム
TWM635534U (zh) 人工智能聲控銀行交易系統
WO2022061069A1 (en) Asynchronous resumption of dialog session(s) between a user and an automated assistant based on intermediate user interaction(s)
JP7352670B2 (ja) 電子決済方法及びシステム
KR102689290B1 (ko) 본인 인증 요청 방법 및 본인 인증 시스템
TWI853210B (zh) 電子結算方法及系統
US20240163372A1 (en) Systems for transitioning telephony-based and in-person servicing interactions to and from an artificial intelligence (ai) chat session
WO2024102572A1 (en) Shared resource allocation for multiple queue processing
CN114187042A (zh) 基于机器人的服务方法、装置、电子设备及存储介质
TW202321981A (zh) 面部識別系統及其控制方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230630

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20230817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231101

R150 Certificate of patent or registration of utility model

Ref document number: 7379550

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350