TWI430189B - 訊息擬真處理系統、裝置及方法 - Google Patents
訊息擬真處理系統、裝置及方法 Download PDFInfo
- Publication number
- TWI430189B TWI430189B TW098138092A TW98138092A TWI430189B TW I430189 B TWI430189 B TW I430189B TW 098138092 A TW098138092 A TW 098138092A TW 98138092 A TW98138092 A TW 98138092A TW I430189 B TWI430189 B TW I430189B
- Authority
- TW
- Taiwan
- Prior art keywords
- immersive
- message
- content
- user
- module
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 17
- 238000004088 simulation Methods 0.000 title description 6
- 230000014509 gene expression Effects 0.000 claims description 88
- 238000012545 processing Methods 0.000 claims description 74
- 230000009471 action Effects 0.000 claims description 34
- 238000004458 analytical method Methods 0.000 claims description 34
- 230000002996 emotional effect Effects 0.000 claims description 30
- 230000008451 emotion Effects 0.000 claims description 29
- 230000008909 emotion recognition Effects 0.000 claims description 29
- 230000008921 facial expression Effects 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 15
- 230000000694 effects Effects 0.000 claims description 10
- 230000001815 facial effect Effects 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 9
- 238000003672 processing method Methods 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 claims description 6
- 230000010365 information processing Effects 0.000 claims 3
- 238000010586 diagram Methods 0.000 description 11
- 230000003993 interaction Effects 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 5
- 210000004709 eyebrow Anatomy 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241000287828 Gallus gallus Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Information Transfer Between Computers (AREA)
- User Interface Of Digital Computer (AREA)
Description
本發明是有關於一種訊息擬真處理系統、裝置及方法，且特別是有關於一種可依據訊息內容進行特徵分析，而標注此訊息內容的擬真標籤，後由一擬真表達裝置進行擬真表達的系統、裝置和方法。
現行的互動娛樂裝置(例如電子公仔、電子寵物或機器人等低運算能力的裝置)可與使用者進行互動，藉以達到娛樂效果。例如，電子雞或電子狗等電子寵物可偵測使用者的聲音或肢體動作，而對應變換表情或做出回應動作，因此可以即時反應使用者的行為，達到與使用者互動的效果。使用者更可利用定時餵食或陪伴遊玩等附加功能，來培養或建立其與電子寵物的互動關係。
然而，這些互動娛樂裝置的動作或回應都必須預先定義，且在與使用者互動的過程中，也只能針對特定的指示(例如按下按鍵或發出聲音)做出簡單的動作，並無法依據使用者所表達訊息(例如文字訊息、語音或影像)的實際內容進行擬真回饋。部分的互動娛樂裝置雖提供使用者可自行設定互動效果，但也僅止於表現在使用者端的硬體，並無法與其他使用者分享，因而失去了與他人互動的樂趣。
有鑑於此，本發明提供一種訊息擬真處理系統，藉由設置網路平台以管理擬真指令，並可提供系統廠商或使用者一個更新或分享擬真指令的管道。
本發明提供一種訊息擬真處理裝置，整合特徵分析、擬真指令搜尋以及擬真回饋等功能於獨立的裝置中，使得裝置可獨立做出對應於訊息內容的擬真回饋。
本發明提供一種訊息擬真處理方法，藉由分析所擷取訊息的內容，據以標注擬真標籤並搜尋擬真指令，使得擬真表達裝置能夠做出可對應訊息內容的擬真回饋動作。
本發明提出一種訊息擬真處理系統，其包括網路平台端和至少一個用戶端，其中網路平台端和用戶端係經由一通訊網路進行通訊。其中，網路平台端包括訊息擷取模組、特徵分析模組及擬真訊息產生模組，而訊息擷取模組係用以擷取使用者訊息，特徵分析模組係對此使用者訊息的內容進行特徵分析，以標注對應此訊息內容的擬真標籤，擬真訊息產生模組則會為每一個擬真標籤取得對應的擬真指令，並與訊息內容結合以產生擬真訊息。另一方面，用戶端包括用戶裝置及擬真表達裝置，其中用戶裝置包括網路模組以經由通訊網路接收擬真訊息，以及驅動模組以輸出擬真訊息中所包含的訊息內容及擬真指令至擬真表達裝置。擬真表達裝置係接收訊息內容及擬真指令，而據以播放訊息內容並執行對應之擬真指令。
本發明提出一種訊息擬真處理裝置，其包括處理單元及輸出單元。處理單元包括訊息擷取模組、特徵分析模組及擬真訊息產生模組，其中的訊息擷取模組係用以連結網路服務，並經由網路服務擷取使用者訊息，特徵分析模組係對使用者訊息之訊息內容進行特徵分析，以標注對應此訊息內容的擬真標籤。擬真訊息產生模組則是用以為每一個擬真標籤取得對應的擬真指令，並和訊息內容結合以產生擬真訊息。輸出單元係依據擬真訊息中所包含的訊息內容及擬真指令，據以播放訊息內容並執行對應之擬真指令。
本發明提出一種訊息擬真處理方法，適用於網路平台端，此網路平台端係經由通訊網路和至少一個用戶端進行通訊，此方法係擷取使用者訊息，而對此使用者訊息的內容進行特徵分析，以標注此訊息內容的至少一個擬真標籤。接著再為每一個擬真標籤取得對應的擬真指令，並與訊息內容結合以產生擬真訊息。最後則將此擬真訊息傳送至用戶端的擬真表達裝置，以令擬真表達裝置執行以產生至少一個擬真回饋動作。
基於上述，本發明之訊息擬真處理系統、裝置及方法係藉由在網路平台或獨立的擬真表達裝置上記錄客製化的擬真指令，並對所擷取訊息的內容進行特徵分析以決定所要執行的擬真指令，而在播放訊息內容的同時，也執行對應的擬真指令，而達到擬真回饋的功效。
為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
本發明可應用於現行之社群、即時通訊、虛擬寵物、影音郵件等網路服務，建立一個網路平台，並針對所接收的文字、語音或影像等使用者訊息進行訊息之擬真處理以產生擬真訊息，進而將該擬真訊息傳送至另一使用者端，使得在另一使用者端的擬真表達裝置能依據該使用者訊息的內容而進行擬真表達(例如依據訊息所對應的情緒而有不同的表達方式)，藉此達到擬真互動，增加互動娛樂的效果。以下即依據上述概念，提供多個實施例分別說明本發明之訊息擬真處理方法的詳細步驟以及訊息擬真處理系統與裝置的詳細功能。
圖1是依照本發明第一實施例所繪示之訊息擬真處理系統的方塊圖，圖2則是依照本發明第一實施例所繪示之訊息擬真處理方法的流程圖。請同時參照圖1及圖2，訊息擬真處理系統100主要包括一網路平台端110和至少一用戶端112，經由一通訊網路進行通訊，其中，網路平台端110主要包括一訊息擷取模組102，擷取一使用者訊息；一特徵分析模組104，對該使用者訊息之一訊息內容進行一特徵分析，以標注對應該訊息內容的至少一擬真標籤；以及一擬真訊息產生模組106，為每一該至少一擬真標籤取得對應的一擬真指令，結合該訊息內容以產生一擬真訊息；而用戶端112包括一用戶裝置120以及一擬真表達裝置130，用戶裝置120包括一網路模組122以經由該通訊網路接收該擬真訊息，以及一驅動模組124以輸出該擬真訊息中之該訊息內容及該些對應之擬真指令至一擬真表達裝置，擬真表達裝置130則接收該訊息內容及該些擬真指令，據以播放該訊息內容並執行該些對應之擬真指令。網路平台端110可經由一個以上的伺服器、電腦或工作站來實現，用戶裝置120可以是一個人電腦、筆記型電腦、手持通訊裝置等各種計算機，而擬真表達裝置130可以是用以進行擬真表達的各種裝置，例如燈光顯示裝置、聲音播放裝置、顯示器、電子公仔、電子寵物機、機器人等。
在一些實施例中，訊息擷取模組102可鏈結至一網路服務來擷取該使用者訊息，例如社群、即時通訊、虛擬寵物、影音郵件等，在另一些實施例中，網路平台端110更包含有一網路服務模組(圖1未顯示)，可直接提供至少一用戶端112之間進行通訊，而訊息擷取模組102可經由該網路服務模組來擷取該使用者訊息。
以下即搭配圖1所繪示的元件說明本實施例之訊息擬真處理方法的詳細步驟：首先，網路平台端110會利用訊息擷取模組102來擷取一則使用者訊息(步驟S202)。其中，網路平台端110例如是經由社群、即時通訊、虛擬寵物或影音郵件等網路服務來擷取該網路服務所提供的文字、語音或影像等形式的使用者訊息，藉以對該使用者訊息進行擬真處理。舉例來說，網路平台端110可自動擷取網路上某個部落格發表的文章或是某個聯絡人發出的即時訊息，藉以對此文章或訊息進行擬真處理。
接著，網路平台端110會利用特徵分析模組104對所擷取之使用者訊息的訊息內容進行特徵分析，進而對此訊息內容標注至少一個擬真標籤(步驟S204)。其中，特徵分析模組104例如是根據訊息擷取模組102所擷取之使用者訊息的類型，分別採用文字情緒辨識、語音情緒辨識或臉部表情辨識等辨識方法來辨識情緒特徵，並針對這些情緒特徵來標注對應的擬真標籤。
詳細地說，圖3是依照本發明第一實施例所繪示之特徵分析模組的方塊圖。請參照圖3，本實施例的特徵分析模組300包括情緒特徵辨識單元310及擬真標籤標注單元320兩部分，而情緒特徵辨識單元310則更依據訊息種類而區分為文字情緒辨識單元312、語音情緒辨識單元314及臉部表情辨識單元316，以下則分別說明這些單元的功能：當所擷取的使用者訊息為文字訊息時，該訊息即會送入文字情緒辨識單元312。此時文字情緒辨識單元312會針對此使用者訊息的內容進行文字情緒辨識，藉以辨識出多個文字情緒特徵(例如喜、怒、哀、樂、一般)。之後擬真標籤標注單元320則會針對這些文字情緒特徵標注對應的擬真標籤。在一些實施例中，文字情緒辨識單元312例如透過中文同義詞林及斷詞系統的協助分析詞組，並透過情緒語料庫比對，取得原始語料之情緒關鍵字，將原始語料加註成具有各種情緒的情緒案例庫，然後再分析此情緒案例庫，建立情感模型及情緒相關本體知識，最後將此情緒案例庫作為案例式推理系統的訓練建構模型，使得推理系統能動態辨識使用者訊息中的情緒特徵，並標注擬真標籤。在另一些實施例中，文字情緒辨識單元312可依據一語意分析功能及其分析結果對應情緒特徵之決策樹，以取得該情緒特徵並標注擬真標籤。
舉例來說，下表1列示文字情緒辨識單元312針對文字訊息：「哈囉，很高興跟大家說：我要在上海辦演唱會囉」進行文字辨識的結果。如表1所示，經由語意分析，文字情緒辨識單元312可直接在文字訊息中找出「一般」與「開心」的情緒特徵，而擬真標籤標注單元320則會針對這些情緒特徵標注對應的擬真標籤。
當所擷取的使用者訊息為語音訊息時，該訊息則會送入語音情緒辨識單元314。由於語音對話內容中經常夾帶著所要表達的情緒(例如：生氣、快樂、厭煩、傷心)，或者語音特徵如音高、音頻、音量等也能夠進行分析以判斷出情緒特徵，因此本實施例的語音情緒辨識單元314即會針對使用者訊息的內容或者語音特徵等進行語音情緒辨識，藉以辨識出語音情緒特徵。之後擬真標籤標注單元320則會針對這些語音情緒特徵標注對應的擬真標籤。
詳細地說，圖4是依照本發明第一實施例所繪示之語音情緒辨識的範例。請參照圖4，語音情緒辨識單元314係採用一個固定的時間間隔(例如0.2毫秒)將所接收的語音訊息400切分為多個音框以進行分析。以音框410為例，語音情緒辨識單元314係針對音框410取出音高(pitch)或能量等特徵值420，並將所取得的特徵值與資料庫作K個最近鄰居(K Nearest Neighbor,KNN)比對，最後則分析此K筆資料，而判斷出音框410的情緒特徵為生氣430。以此類推，語音情緒辨識單元314可判斷出其他音框所對應的情緒特徵。
當所擷取的使用者訊息為影像訊息時，該訊息則會送入臉部表情辨識單元316。此時臉部表情辨識單元316會針對此使用者訊息所包含的多張影像分別進行臉部特徵辨識，藉以取得各張影像的多個臉部特徵，並根據這些臉部特徵，判斷出該影像的至少一個臉部表情特徵。之後擬真標籤標注單元320同樣會針對這些臉部表情特徵標注對應的擬真標籤。
詳細地說，圖5是依照本發明第一實施例所繪示之臉部表情辨識的範例。請參照圖5，臉部表情辨識單元316例如是針對影像500進行辨識，而辨識出影像500中的眉毛510及嘴巴520的位置，然後將所辨識之眉毛510及嘴巴520與資料庫內的資料進行比對，而找出3筆最相近的資料530(包括高興99%、高興95%及一般85%)，最後則分析這3筆資料而判斷出影像500的臉部表情為高興540。
回到步驟S204，在標注完擬真標籤後，網路平台端110即利用擬真訊息產生模組106搜尋每一個擬真標籤對應的擬真指令，並將此些擬真指令與訊息內容結合，進而產生擬真訊息(步驟S206)。詳細地說，擬真訊息產生模組106例如是參照一個記錄有對應於各種擬真標籤之擬真指令的擬真指令資料庫108，藉以取得各擬真標籤對應的擬真指令。擬真指令可以使擬真表達裝置130據以執行一擬真回饋動作或是一連串的擬真回饋動作，例如，擬真回饋動作可以是閃爍燈光、旋轉、搖擺、機械動作、發出聲音、螢幕顯示特定影像等等。
在另一些實施例中，不同的用戶端可能具有不同的擬真表達裝置130，每一擬真表達裝置130可接受的擬真指令和可執行的擬真回饋動作可能亦不相同。因此，該網路平台端110更可包括一用戶資料庫，記錄各用戶端所對應之擬真表達裝置，例如機型、種類、或編號代碼等，而擬真指令資料庫更包含記錄複數種擬真表達裝置對應於各該些擬真標籤的至少一擬真指令，擬真訊息產生模組106則可依據用戶資料庫和該擬真指令資料庫，分別為各該用戶端所對應擬真表達裝置之每一該至少一擬真標籤，來取得對應的一擬真指令，以結合該訊息內容以產生一擬真訊息。
需說明的是，擬真訊息產生模組106在搜尋擬真指令以產生擬真訊息的同時，也會在各個擬真指令中註記其對應之情緒特徵在訊息內容中出現的時間點，藉以在後續播放使用者訊息內容的過程中，能夠在適當的時間點執行對應的擬真指令。
舉例來說，圖6是依照本發明第一實施例所繪示之擬真訊息的範例。請參照圖6，本實施例列出一則擬真訊息的程式碼，其包括訊息內容610、訊息內容種類620，以及擬真指令630~660。其中，擬真指令630~660除了註記情緒特徵的擬真標籤(即一般、開心)外，也註記了情緒特徵在訊息內容中出現的時間點。例如，擬真指令630即註記「一般」的擬真標籤，且註記情緒特徵在訊息內容中出現的起始時間「0」以及結束時間「6」。據此，本實施例之擬真訊息即可表達出完整的訊息內容及其對應的擬真回饋動作。
在產生擬真訊息之後，網路平台端110隨即將此擬真訊息傳送至用戶裝置120(步驟S208)。其中，網路平台端110更包含有一網路服務模組(未繪示)，而提供用戶端112中的用戶裝置120進行通訊，用戶裝置120例如是藉由網路模組122連結至網路，並透過網路接收由網路平台端110輸出的擬真訊息。此外，用戶裝置120也藉由驅動模組124來將所接收擬真訊息中的訊息內容及擬真指令輸出至擬真表達裝置130(步驟S210)。
最後，擬真表達裝置130即播放由用戶裝置120解讀的訊息內容，並執行對應的擬真指令(步驟S212)。詳細地說，擬真表達裝置130例如包括一個音效模組132，而用以播放擬真訊息中的訊息內容；擬真表達裝置130可包括一個顯示模組134，其係在音效模組132播放到擬真訊息中各個擬真指令註記的時間點，執行該擬真指令以顯示出擬真表情；擬真表達裝置130中可包括一個動作模組136，其同樣是在音效模組132播放到擬真訊息中各個擬真指令註記的時間點，執行該擬真指令以表現出擬真回饋動作；擬真表達裝置130中也可包括一個轉換模組138，其係在所接收之使用者訊息為文字訊息時，透過文字轉聲音(Text-To-Speech,TTS)技術將此文字訊息的內容轉換為語音訊息，以提供給音效模組132進行播放。
舉例來說，圖7(a)~7(e)是依照本發明第一實施例所繪示之擬真表達裝置執行擬真指令的範例。請參照圖7(a)~7(e)，本實施例的擬真表達裝置係為一個機器人，而在機器人的面部則配置有一個顯示螢幕。當擬真表達裝置接收到用戶裝置(未繪示)輸出的訊息內容及擬真指令時，即會利用內建的揚聲器來播放訊息內容，而在播放的過程中，擬真表達裝置還會在接收之擬真指令註記的時間點，控制顯示螢幕來顯示不同的表情，藉以表達使用者的情緒。例如，圖7(a)即繪示擬真表達裝置接收到擬真標籤註記為「一般」的擬真指令時所顯示的一般表情；圖7(b)繪示擬真表達裝置接收到擬真標籤註記為「驚訝」的擬真指令時所顯示的驚訝表情；以此類推，圖7(c)~圖7(e)分別繪示擬真表達裝置所表達的生氣、開心、害怕表情。值得一提的是，擬真表達裝置除了利用顯示螢幕來表現使用者的表情外，也可以利用其肢體的擺動來表現使用者的動作，而能夠使擬真表達裝置做出的擬真回饋更貼近使用者的目前情緒。
綜上所述，本實施例訊息擬真處理系統100藉由在網路上建立網路平台端110並設置擬真指令資料庫108，不僅可提供客製化的擬真指令以供擬真表達裝置130執行多樣化的擬真回饋動作，系統廠商更可以透過網路平台端110來更新擬真指令資料庫108，藉以分享不同的擬真指令。此外，擬真表達裝置130的使用者也可透過用戶裝置120上的用戶介面自訂擬真指令，並上傳至擬真回饋動作資料庫108，藉以將其自訂的擬真指令分享給其相關的聯絡人，使得這些聯絡人在接收到該使用者發出的訊息時，也可以透過擬真表達裝置130觀看到使用者所欲表達的擬真動作，而達到擬真指令分享的目的。
需說明的是，在本實施例的擬真處理系統100中，擬真表達裝置130係為獨立於用戶裝置120之外的實體裝置，然而在另一實施例中，擬真表達裝置130也可以是配置在用戶裝置120內部的虛擬裝置。具體言之，擬真表達裝置130可以是顯示在用戶裝置120之螢幕上的一個虛擬公仔，其同樣可依照用戶裝置120所接收的訊息內容及擬真指令，利用用戶裝置120的喇叭來播放訊息內容，同時利用顯示在用戶裝置120之螢幕上的虛擬公仔來做出擬真指令所定義的擬真回饋動作。
值得注意的是，在另一實施例中，擬真表達裝置130也可與用戶裝置120整合為一個實體裝置。意即，擬真表達裝置130與用戶裝置120合而為一個電子公仔，其同樣可以接收由網路平台端110輸出之擬真訊息，而播放其中的訊息內容並執行擬真指令，以下則再舉一實施例詳細說明。
圖8是依照本發明第二實施例所繪示之訊息擬真處理系統的方塊圖。請參照圖8，本實施例之訊息擬真處理系統800係分為網路平台端810及擬真表達裝置820兩個部分。其中，網路平台端810包括訊息擷取模組812、特徵分析模組814、擬真訊息產生模組816及擬真指令資料庫818，而其功能係與第一實施例中的訊息擷取模組102、特徵分析模組104、擬真訊息產生模組106及擬真指令資料庫108的功能相同或相似，故在此不再贅述。
然而，與第一實施例不同的是，本實施例的擬真表達裝置820係結合第一實施例之用戶裝置120與擬真表達裝置130內的所有元件，包括網路模組822、驅動模組824、音效模組832、顯示模組834、動作模組836及轉換模組838，擬真表達裝置820也進一步整合這些模組的功能，其中包括利用網路模組822連結至網路，並透過網路接收由網路平台810輸出的擬真訊息；利用驅動模組824來解讀擬真訊息中所包含的訊息內容及擬真指令；利用音效模組832播放擬真訊息中的訊息內容；在音效模組832播放到擬真訊息中各個擬真指令註記的時間點時，利用顯示模組834執行擬真指令以顯示出擬真表情，或利用動作模組836執行擬真指令以表現出擬真回饋動作；利用轉換模組838透過文字轉聲音技術將文字訊息的內容轉換為語音訊息，以提供給音效模組832進行播放。
綜上所述，本實施例之訊息擬真處理系統800同樣可藉由網路上的網路平台810提供客製化的擬真指令，並分享不同的擬真指令，然而其中的擬真表達裝置820則可獨立地接收擬真訊息，並直接地播放訊息內容，以及執行擬真指令，而達到擬真回饋的目的。
在另一實施例中，該擬真表達裝置820亦可再整合部分網路平台端810中的功能，使網路平台端810僅提供與該至少一用戶端進行通訊、傳送該至少一用戶端訊息之功能，而擬真表達裝置820則包括網路模組、特徵分析模組、擬真訊息產生模組、驅動模組、擬真表達裝置等各項功能，其皆與前述功能相同或相似，在此不再重複贅述。
需說明的是，上述第一實施例及第二實施例均係在網路上設置網路平台端藉以達到擬真指令之管理及更新。然而，在硬體支援容許的情況下，網路平台端的功能其實也能整合到擬真表達裝置中，而提供更直接的方式進行訊息的擬真處理，以下則再舉一實施例詳細說明。
圖9是依照本發明第三實施例所繪示之訊息擬真處理裝置的方塊圖。請參照圖9，本實施例之訊息擬真處理裝置900係分為處理單元910及輸出單元920兩個部分，而處理單元910及輸出單元920之間例如是藉由有線連結或無線連結的方式互相通訊。其中，處理單元910包括訊息擷取模組912、特徵分析模組914、擬真訊息產生模組916及擬真指令資料庫918，而其功能係與第一實施例中的訊息擷取模組102、特徵分析模組104、擬真訊息產生模組106及擬真指令資料庫108的功能相同或相似，故在此不再贅述。
然而，與第一實施例不同的是，本實施例的輸出單元920中僅配置驅動模組924、音效模組932、顯示模組934、動作模組936及轉換模組938。輸出單元920即整合這些模組的功能，其中包括利用驅動模組924來解讀處理單元910輸出之擬真訊息中所包含的訊息內容及擬真指令；利用音效模組932播放擬真訊息中的訊息內容；利用顯示模組934在音效模組932播放到擬真訊息中各個擬真指令註記的時間點時，執行擬真指令以顯示出擬真表情；利用動作模組936在音效模組932播放到擬真訊息中各個擬真指令註記的時間點時，執行擬真指令以表現出擬真回饋動作；利用轉換模組938透過文字轉聲音技術將文字訊息的內容轉換為語音訊息，以提供給音效模組932進行播放。
需說明的是，在本實施例的擬真處理裝置900中，執行單元920係為獨立於處理單元910之外的實體裝置，然而在另一實施例中，執行單元920也可以是配置在處理單元910內部的虛擬裝置。具體言之，執行單元920可以是顯示在擬真處理裝置900之螢幕上的一個虛擬公仔，其同樣可依照處理單元910所接收及解讀的訊息內容及擬真指令，利用擬真處理裝置900的喇叭來播放訊息內容，同時利用顯示在擬真處理裝置900之螢幕上的虛擬公仔來做出擬真指令所定義的擬真回饋動作。
值得注意的是，在另一實施例中，執行單元920也可與處理單元910整合為一個實體裝置。意即，執行單元920與處理單元910合而為一個電子公仔，其同樣可對所接收之訊息內容進行特徵分析以取得擬真指令，並直接播放訊息內容以及執行擬真指令，以下則再舉一實施例詳細說明。
圖10是依照本發明第四實施例所繪示之訊息擬真處理裝置的方塊圖。請參照圖10，本實施例之訊息擬真處理裝置1000係將處理單元1010及輸出單元1020整合為一個實體裝置，而處理單元1010及輸出單元1020中各個元件的功能與第三實施例之處理單元910及輸出單元920中各個元件的功能相同或相似。
然而，本實施例與第三實施例不同之處在於本實施例之訊息擬真處理裝置1000本身即具備本發明訊息擬真處理的所有功能，其不僅能夠對所接收之訊息內容進行特徵分析、標注擬真標籤並搜尋擬真指令藉以產生擬真訊息，也能夠解讀擬真訊息、播放訊息內容並執行擬真指令，而達到擬真回饋。
綜上所述，本發明之訊息擬真處理系統、裝置及方法係藉由分析使用者的文字、聲音、臉部表情來感應使用者的情緒，並結合現行文字及聲音服務，提供擬真互動，因此能夠讓使用者透過電子公仔等擬真表達裝置與他人互動，而增加互動的娛樂性及真實性。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。本發明之各模組、單元、裝置等進行組合、或分拆、或分拆後再整合等，皆仍屬本發明之範圍。
100．．．訊息擬真處理系統
110、810．．．網路平台
102、812、912．．．訊息擷取模組
104、814、914．．．特徵分析模組
106、816、916．．．擬真訊息產生模組
108、818、918．．．擬真指令資料庫
120．．．用戶裝置
122、822．．．網路模組
124、824、924．．．驅動模組
130、820．．．擬真表達裝置
132、832、932．．．音效模組
134、834、934．．．顯示模組
136、836、936．．．動作模組
138、838、938．．．轉換模組
300．．．特徵分析模組
310．．．情緒特徵辨識單元
312．．．文字情緒辨識單元
314．．．語音情緒辨識單元
316．．．臉部表情辨識單元
320．．．擬真標籤標注單元
400．．．語音訊息
410．．．音框
420．．．特徵值
430．．．情緒特徵
500．．．影像
510．．．眉毛
520．．．嘴巴
530．．．資料
540．．．臉部表情
610．．．訊息內容
620．．．訊息內容種類
630、640、650、660．．．擬真指令
900、1000．．．訊息擬真處理裝置
910、1010．．．處理單元
920、1020．．．輸出單元
S202~S212．．．本發明第一實施例所繪示之訊息擬真處理方法之各步驟
圖1是依照本發明第一實施例所繪示之訊息擬真處理系統的方塊圖。
圖2則是依照本發明第一實施例所繪示之訊息擬真處理方法的流程圖。
圖3是依照本發明第一實施例所繪示之特徵分析模組的方塊圖。
圖4是依照本發明第一實施例所繪示之語音情緒辨識的範例。
圖5是依照本發明第一實施例所繪示之臉部表情辨識的範例。
圖6是依照本發明第一實施例所繪示之擬真訊息的範例。
圖7(a)~7(e)是依照本發明第一實施例所繪示之擬真表達裝置執行擬真指令的範例。
圖8是依照本發明第二實施例所繪示之訊息擬真處理系統的方塊圖。
圖9是依照本發明第三實施例所繪示之訊息擬真處理裝置的方塊圖。
圖10是依照本發明第四實施例所繪示之訊息擬真處理裝置的方塊圖。
100．．．訊息擬真處理系統
102．．．訊息擷取模組
104．．．特徵分析模組
106．．．擬真訊息產生模組
108．．．擬真指令資料庫
110．．．網路平台端
112．．．用戶端
120．．．用戶裝置
122．．．網路模組
124．．．驅動模組
130．．．擬真表達裝置
132．．．音效模組
134．．．顯示模組
136．．．動作模組
138．．．轉換模組
Claims (35)
- 一種訊息擬真處理系統，包括一網路平台端和至少一用戶端，該網路平台端和該至少一用戶端係經由一通訊網路進行通訊，其中：該網路平台端包括：一訊息擷取模組，擷取一使用者訊息；一特徵分析模組，對該使用者訊息之一訊息內容進行一特徵分析，以標注對應該訊息內容的至少一擬真標籤；一擬真訊息產生模組，為每一該至少一擬真標籤取得對應的一擬真指令，且該擬真標籤包含所對應一情緒特徵在該訊息內容中的一出現時間，結合該訊息內容以產生一擬真訊息；以及一擬真指令資料庫，記錄對應於各該些擬真標籤的至少一擬真指令，且更新各該些擬真標籤所對應之至少一擬真指令；且該用戶端包括：一用戶裝置，包括一網路模組以經由該通訊網路接收該擬真訊息，以及一驅動模組以輸出該擬真訊息中之該訊息內容及該些對應之擬真指令至一擬真表達裝置；以及一擬真表達裝置，接收該訊息內容及該些擬真指令，據以播放該訊息內容並執行該些對應之擬真指令，且自該用戶裝置接收多個客製化擬真指令並上傳該些客製化擬真指令至該擬真指令資料庫以更新各該些擬真標籤所對應之至少一擬真指令。
- 如申請專利範圍第1項所述之訊息擬真處理系統，其中，該訊息擷取模組係鏈結至一網路服務來擷取該使用者訊息，而該網路服務係為社群、即時通訊、虛擬寵物、影音郵件等網路服務其中之一。
- 如申請專利範圍第1項所述之訊息擬真處理系統，其中，該網路平台端更包含有一網路服務模組，提供該至少一用戶端進行通訊，且該訊息擷取模組係經由該網路服務模組來擷取該使用者訊息。
- 如申請專利範圍第1項所述之訊息擬真處理系統，其中，該特徵分析模組包括：一情緒特徵辨識單元，辨識該訊息內容中的至少一情緒特徵；以及一擬真標籤標注單元，針對各該至少一情緒特徵標注對應的擬真標籤。
- 如申請專利範圍第4項所述之訊息擬真處理系統，其中，該使用者訊息係為一文字訊息，且該情緒特徵辨識單元包括：一文字情緒辨識單元，對該使用者訊息之該訊息內容進行一文字情緒辨識，而辨識出至少一文字情緒特徵。
- 如申請專利範圍第4項所述之訊息擬真處理系統，其中，該使用者訊息係為一語音訊息，且該情緒特徵辨識單元包括：一語音情緒辨識單元，對該使用者訊息之該訊息內容進行一語音情緒辨識，而辨識出至少一語音情緒特徵。
- 如申請專利範圍第4項所述之訊息擬真處理系統，其中，該使用者訊息係為一影像訊息，且該情緒特徵辨識單元包括：一臉部表情辨識單元，對該使用者訊息之該訊息內容所包含的多張影像分別進行一臉部特徵辨識，而取得各該些影像的多個臉部特徵，並根據該些臉部特徵，判斷該影像的至少一臉部表情特徵。
- 如申請專利範圍第4項所述之訊息擬真處理系統，其中，該擬真表達裝置於播放該訊息內容時，依據該情緒標籤之出現時間以執行該些對應之擬真指令。
- 如申請專利範圍第1項所述之訊息擬真處理系統，其中，各該擬真指令係用以令該擬真表達裝置執行以產生至少一擬真回饋動作。
- 如申請專利範圍第1項所述之訊息擬真處理系統，其中，該網路平台端更包括：一用戶資料庫，記錄至少一用戶端所對應之擬真表達裝置；且其中，該擬真指令資料庫更包含記錄複數種擬真表達裝置對應於各該些擬真標籤的至少一擬真指令；以及該擬真訊息產生模組係依據用戶資料庫和該擬真指令資料庫，分別為各該用戶端所對應擬真表達裝置之每一該至少一擬真標籤取得對應的一擬真指令，結合該訊息內容以產生一擬真訊息。
- 如申請專利範圍第1項所述之訊息擬真處理系 統，其中，該擬真訊息產生模組更包括在各該些擬真指令中註記所對應情緒特徵在該訊息內容中出現的一時間點，且該擬真表達裝置於播放該訊息內容時，係依據該時間點以執行該些對應之擬真指令。
- 如申請專利範圍第1項所述之訊息擬真處理系統，其中，該擬真表達裝置包括：一音效模組，播放該擬真訊息中的該訊息內容。
- 如申請專利範圍第12項所述之訊息擬真處理系統，其中，該擬真表達裝置更包括：一顯示模組，在該音效模組播放到該擬真訊息中各該些擬真指令註記的該時間點時，執行該擬真指令以顯示一擬真表情。
- 如申請專利範圍第12項所述之訊息擬真處理系統，其中，該擬真表達裝置更包括：一動作模組，在該音效模組播放到該擬真訊息中各該些擬真指令註記的該時間點時，執行該擬真指令以表現一擬真動作。
- 如申請專利範圍第12項所述之訊息擬真處理系統，其中該擬真表達裝置更包括：一轉換模組，透過一文字轉聲音技術轉換該訊息內容為一語音訊息，以提供給該音效模組進行播放。
- 如申請專利範圍第1項所述之訊息擬真處理系統，其中，該擬真表達裝置為該用戶裝置外部的一實體裝置或該用戶裝置內部的一虛擬裝置。
- 如申請專利範圍第16項所述之訊息擬真處理系統，其中該擬真表達裝置與該用戶裝置係整合為一實體裝置，而由該實體裝置播放該訊息內容及執行該些擬真指令。
- 一種訊息擬真處理系統，包括一網路服務端和至少一用戶端，該網路平台端和該至少一用戶端係經由一通訊網路進行通訊，以傳送該至少一用戶端之訊息；且其中該用戶端包括：一網路模組，經由該通訊網路接收該網路平台端之訊息；一特徵分析模組，對該使用者訊息之一訊息內容進行一特徵分析，以標注對應該訊息內容的至少一擬真標籤；一擬真訊息產生模組，為每一該至少一擬真標籤取得對應的一擬真指令，且該擬真標籤包含所對應一情緒特徵在該訊息內容中的一出現時間，結合該訊息內容以產生一擬真訊息；一驅動模組，輸出該擬真訊息中之該訊息內容及該些對應之擬真指令至一擬真表達裝置；一擬真指令資料庫，記錄對應於各該些擬真標籤的至少一擬真指令，且更新各該些擬真標籤所對應之至少一擬真指令；以及一擬真表達裝置，接收該訊息內容及該些擬真指令，據以播放該訊息內容並執行該些對應之擬真指令，且接收多個客製化擬真指令並上傳該些客製化擬真指令至該擬真指令資料庫以更新各該些擬真標籤所對應之至少一擬真指 令。
- 一種訊息擬真處理裝置，包括：一處理單元，包括：一訊息擷取模組，連結一網路服務，並經由該網路服務擷取一使用者訊息；一特徵分析模組，對該使用者訊息之一訊息內容進行一特徵分析，以標注對應該訊息內容的至少一擬真標籤；一擬真訊息產生模組，為每一該至少一擬真標籤取得對應的一擬真指令，且該擬真標籤包含所對應一情緒特徵在該訊息內容中的一出現時間，結合該訊息內容以產生一擬真訊息；以及一擬真指令資料庫，記錄對應於各該些擬真標籤的至少一擬真指令，且藉由上傳各該些擬真標籤所對應之至少一擬真指令以更新的多個客製化擬真指令；以及一輸出單元，電性鏈結至該處理單元，依據該擬真訊息中所包含的該訊息內容及該些擬真指令，據以播放該訊息內容並執行對應之該些擬真指令。
- 如申請專利範圍第19項所述之訊息擬真處理裝置，其中該特徵分析模組包括：一情緒特徵辨識單元，辨識該訊息內容中的至少一情緒特徵；以及一擬真標籤標注單元，針對各該至少一情緒特徵標注對應的擬真標籤。
- 如申請專利範圍第19項所述之訊息擬真處理裝 置，其中，該使用者訊息係為一文字訊息、語音訊息和影像訊息等其中之一，且對應該使用者訊息，該情緒特徵辨識單元係為一文字情緒辨識單元、一語音情緒辨識單元和一臉部表情辨識單元等其中之一。
- 如申請專利範圍第19項所述之訊息擬真處理裝置，其中，該輸出單元於播放該訊息內容時，依據該情緒標籤之出現時間以執行該些對應之擬真指令。
- 如申請專利範圍第19項所述之訊息擬真處理裝置，其中，各該擬真指令係用以令該輸出單元執行以產生至少一擬真回饋動作。
- 如申請專利範圍第19項所述之訊息擬真處理裝置，其中，該輸出單元包括：一音效模組，播放該擬真訊息中的該訊息內容。
- 如申請專利範圍第24項所述之訊息擬真處理裝置，其中，該輸出單元更包括：一顯示模組，在該音效模組播放到該擬真訊息中各該些擬真指令註記的該時間點時，執行該擬真指令以顯示一擬真表情。
- 如申請專利範圍第24項所述之訊息擬真處理裝置，其中，該輸出單元更包括：一動作模組，在該音效模組播放到該擬真訊息中各該些擬真指令註記的該時間點時，執行該擬真指令以表現一擬真動作。
- 如申請專利範圍第24項所述之訊息擬真處理裝 置，其中該處理單元更包括：一轉換模組，透過一文字轉聲音技術轉換該訊息內容為一語音訊息，以提供給該音效模組進行播放。
- 一種訊息擬真處理方法，適用於一網路平台端，該網路平台端係經由一通訊網路和至少一用戶端進行通訊，該方法包括下列步驟：擷取一使用者訊息；對該使用者訊息之一訊息內容進行一特徵分析，以標注對應該訊息內容的至少一擬真標籤，且該擬真標籤包含所對應一情緒特徵在該訊息內容中的一出現時間；藉由查詢一擬真指令資料庫以搜尋該擬真指令而為每一該至少一擬真標籤取得對應的一擬真指令，其中該擬真指令資料庫包括記錄對應於各該些擬真標籤的至少一擬真指令且藉由該至少一用戶端上傳各該些擬真標籤所對應之客製化擬真指令以更新各該些擬真標籤的至少一擬真指令，且結合該訊息內容以產生一擬真訊息；以及傳送該擬真訊息至該至少一用戶端的一擬真表達裝置，以令該擬真表達裝置執行以產生至少一擬真回饋動作。
- 如申請專利範圍第28項所述之訊息擬真處理方法，其中該使用者訊息係藉由鏈結至一網路服務來擷取，而該網路服務係為社群、即時通訊、虛擬寵物、影音郵件等網路服務其中之一。
- 如申請專利範圍第28項所述之訊息擬真處理方法，其中對該使用者訊息之該訊息內容進行該特徵分析， 以標注對應該訊息內容的該至少一擬真標籤的步驟包括：辨識該訊息內容中的至少一情緒特徵；以及針對各該至少一情緒特徵標注對應的擬真標籤。
- 如申請專利範圍第30項所述之訊息擬真處理方法，其中，該使用者訊息係為一文字訊息，且辨識該訊息內容中的該至少一情緒特徵的步驟包括：對該使用者訊息之該訊息內容進行一文字情緒辨識，而辨識出至少一文字情緒特徵。
- 如申請專利範圍第31項所述之訊息擬真處理方法，其中，該使用者訊息係為一語音訊息，且辨識該訊息內容中的該至少一情緒特徵的步驟包括：對該使用者訊息之該訊息內容進行一語音情緒辨識，而辨識出至少一語音情緒特徵。
- 如申請專利範圍第30項所述之訊息擬真處理方法，其中，該使用者訊息係為一影像訊息，且辨識該訊息內容中的該至少一情緒特徵的步驟包括：對該使用者訊息之該訊息內容所包含的多張影像分別進行一臉部特徵辨識，而取得各該些影像的多個臉部特徵；以及根據各該些影像的該些臉部特徵，判斷該影像的至少一臉部表情特徵。
- 如申請專利範圍第28項所述之訊息擬真處理方法，其中該擬真表達裝置執行該擬真訊息以產生該至少一擬真回饋動作的步驟包括： 播放該擬真訊息中的該訊息內容，並依據該時間點以執行該些對應之擬真指令。
- 如申請專利範圍第34項所述之訊息擬真處理方法，其中播放該擬真訊息中的該訊息內容的步驟更包括：透過一文字轉聲音技術轉換該訊息內容為一語音訊息，以進行播放。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW098138092A TWI430189B (zh) | 2009-11-10 | 2009-11-10 | 訊息擬真處理系統、裝置及方法 |
| US12/631,776 US8285552B2 (en) | 2009-11-10 | 2009-12-04 | System and method for simulating expression of message |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW098138092A TWI430189B (zh) | 2009-11-10 | 2009-11-10 | 訊息擬真處理系統、裝置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201117114A TW201117114A (en) | 2011-05-16 |
| TWI430189B true TWI430189B (zh) | 2014-03-11 |
Family
ID=43974837
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW098138092A TWI430189B (zh) | 2009-11-10 | 2009-11-10 | 訊息擬真處理系統、裝置及方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US8285552B2 (zh) |
| TW (1) | TWI430189B (zh) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110002757A (ko) * | 2009-07-02 | 2011-01-10 | 삼성전자주식회사 | 감성 모델 장치, 감성 모델의 성향 학습 장치 및 방법 |
| CN102385858B (zh) * | 2010-08-31 | 2013-06-05 | 国际商业机器公司 | 情感语音合成方法和系统 |
| US8640021B2 (en) * | 2010-11-12 | 2014-01-28 | Microsoft Corporation | Audience-based presentation and customization of content |
| US9069880B2 (en) * | 2012-03-16 | 2015-06-30 | Microsoft Technology Licensing, Llc | Prediction and isolation of patterns across datasets |
| CN103077714B (zh) * | 2013-01-29 | 2015-07-08 | 华为终端有限公司 | 信息的识别方法和装置 |
| US10339452B2 (en) | 2013-02-06 | 2019-07-02 | Verint Systems Ltd. | Automated ontology development |
| US20150066506A1 (en) | 2013-08-30 | 2015-03-05 | Verint Systems Ltd. | System and Method of Text Zoning |
| US9477752B1 (en) * | 2013-09-30 | 2016-10-25 | Verint Systems Inc. | Ontology administration and application to enhance communication data analytics |
| US9977830B2 (en) | 2014-01-31 | 2018-05-22 | Verint Systems Ltd. | Call summary |
| CN104063427A (zh) * | 2014-06-06 | 2014-09-24 | 北京搜狗科技发展有限公司 | 一种基于语义理解的表情输入方法和装置 |
| US11030406B2 (en) | 2015-01-27 | 2021-06-08 | Verint Systems Ltd. | Ontology expansion using entity-association rules and abstract relations |
| US9679497B2 (en) | 2015-10-09 | 2017-06-13 | Microsoft Technology Licensing, Llc | Proxies for speech generating devices |
| US10148808B2 (en) | 2015-10-09 | 2018-12-04 | Microsoft Technology Licensing, Llc | Directed personal communication for speech generating devices |
| US10262555B2 (en) | 2015-10-09 | 2019-04-16 | Microsoft Technology Licensing, Llc | Facilitating awareness and conversation throughput in an augmentative and alternative communication system |
| US10884503B2 (en) * | 2015-12-07 | 2021-01-05 | Sri International | VPA with integrated object recognition and facial expression recognition |
| CN106649712B (zh) * | 2016-12-20 | 2020-03-03 | 北京小米移动软件有限公司 | 输入表情信息的方法及装置 |
| US10037767B1 (en) * | 2017-02-01 | 2018-07-31 | Wipro Limited | Integrated system and a method of identifying and learning emotions in conversation utterances |
| CN109146450A (zh) | 2017-06-16 | 2019-01-04 | 阿里巴巴集团控股有限公司 | 支付方法、客户端、电子设备、存储介质和服务器 |
| TWI675303B (zh) * | 2017-11-17 | 2019-10-21 | 中國信託金融控股股份有限公司 | 對話式金融服務裝置及系統 |
| TWI661319B (zh) * | 2017-11-30 | 2019-06-01 | 財團法人資訊工業策進會 | 根據文本產生控制指令之裝置、方法及其電腦程式產品 |
| US10783329B2 (en) * | 2017-12-07 | 2020-09-22 | Shanghai Xiaoi Robot Technology Co., Ltd. | Method, device and computer readable storage medium for presenting emotion |
| CA3117323A1 (en) | 2018-10-22 | 2020-04-30 | William D. Carlson | Therapeutic combinations of tdfrps and additional agents and methods of use |
| US11769012B2 (en) | 2019-03-27 | 2023-09-26 | Verint Americas Inc. | Automated system and method to prioritize language model and ontology expansion and pruning |
| JP2021047817A (ja) * | 2019-09-20 | 2021-03-25 | 富士ゼロックス株式会社 | 出力装置、及び出力プログラム |
| JP2022057863A (ja) * | 2020-09-30 | 2022-04-11 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置、情報処理システム、及び情報処理プログラム |
| CN115629599B (zh) * | 2022-12-06 | 2023-06-23 | 蔚来汽车科技(安徽)有限公司 | 一种can总线仿真测试方法以及系统 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW346063U (en) | 1997-07-15 | 1998-11-21 | Ruan Ching Wen | Improved structure for hook of trailer |
| IL129399A (en) * | 1999-04-12 | 2005-03-20 | Liberman Amir | Apparatus and methods for detecting emotions in the human voice |
| TWI221574B (en) * | 2000-09-13 | 2004-10-01 | Agi Inc | Sentiment sensing method, perception generation method and device thereof and software |
| US6963839B1 (en) * | 2000-11-03 | 2005-11-08 | At&T Corp. | System and method of controlling sound in a multi-media communication application |
| EP1256931A1 (en) * | 2001-05-11 | 2002-11-13 | Sony France S.A. | Method and apparatus for voice synthesis and robot apparatus |
| US7401020B2 (en) * | 2002-11-29 | 2008-07-15 | International Business Machines Corporation | Application of emotion-based intonation and prosody to speech in text-to-speech systems |
| US6959080B2 (en) * | 2002-09-27 | 2005-10-25 | Rockwell Electronic Commerce Technologies, Llc | Method selecting actions or phases for an agent by analyzing conversation content and emotional inflection |
| US8214214B2 (en) * | 2004-12-03 | 2012-07-03 | Phoenix Solutions, Inc. | Emotion detection device and method for use in distributed systems |
| US7983910B2 (en) * | 2006-03-03 | 2011-07-19 | International Business Machines Corporation | Communicating across voice and text channels with emotion preservation |
| US7860705B2 (en) * | 2006-09-01 | 2010-12-28 | International Business Machines Corporation | Methods and apparatus for context adaptation of speech-to-speech translation systems |
| US8373799B2 (en) * | 2006-12-29 | 2013-02-12 | Nokia Corporation | Visual effects for video calls |
| US20080162648A1 (en) | 2006-12-29 | 2008-07-03 | Wang Kai Benson Leung | Device and method of expressing information contained in a communication message sent through a network |
| US8886537B2 (en) * | 2007-03-20 | 2014-11-11 | Nuance Communications, Inc. | Method and system for text-to-speech synthesis with personalized voice |
| EP2140341B1 (en) * | 2007-04-26 | 2012-04-25 | Ford Global Technologies, LLC | Emotive advisory system and method |
| US8063905B2 (en) * | 2007-10-11 | 2011-11-22 | International Business Machines Corporation | Animating speech of an avatar representing a participant in a mobile communication |
| US8224652B2 (en) * | 2008-09-26 | 2012-07-17 | Microsoft Corporation | Speech and text driven HMM-based body animation synthesis |
| US8595005B2 (en) * | 2010-05-31 | 2013-11-26 | Simple Emotion, Inc. | System and method for recognizing emotional state from a speech signal |
-
2009
- 2009-11-10 TW TW098138092A patent/TWI430189B/zh not_active IP Right Cessation
- 2009-12-04 US US12/631,776 patent/US8285552B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US8285552B2 (en) | 2012-10-09 |
| TW201117114A (en) | 2011-05-16 |
| US20110112826A1 (en) | 2011-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI430189B (zh) | 訊息擬真處理系統、裝置及方法 | |
| CN108000526B (zh) | 用于智能机器人的对话交互方法及系统 | |
| KR102503413B1 (ko) | 애니메이션 인터랙션 방법, 장치, 기기 및 저장 매체 | |
| US11511436B2 (en) | Robot control method and companion robot | |
| CN110782900B (zh) | 协作ai讲故事 | |
| CN108363492B (zh) | 一种人机交互方法及交互机器人 | |
| CN112162628A (zh) | 基于虚拟角色的多模态交互方法、装置及系统、存储介质、终端 | |
| US20080096533A1 (en) | Virtual Assistant With Real-Time Emotions | |
| CN110427472A (zh) | 智能客服匹配的方法、装置、终端设备及存储介质 | |
| JP2018014094A (ja) | 仮想ロボットのインタラクション方法、システム及びロボット | |
| CN105126355A (zh) | 儿童陪伴机器人与儿童陪伴系统 | |
| CN106874265A (zh) | 一种与用户情绪匹配的内容输出方法、电子设备及服务器 | |
| WO2019072104A1 (zh) | 互动方法和设备 | |
| WO2022170848A1 (zh) | 人机交互方法、装置、系统、电子设备以及计算机介质 | |
| US11989976B2 (en) | Nonverbal information generation apparatus, nonverbal information generation model learning apparatus, methods, and programs | |
| US20220093000A1 (en) | Systems and methods for multimodal book reading | |
| WO2022242706A1 (zh) | 基于多模态的反应式响应生成 | |
| CN112382287A (zh) | 语音交互方法、装置、电子设备和存储介质 | |
| KR101738142B1 (ko) | 감성 기반의 대화가 가능한 디지털 생명체 생성 시스템 및 그 제어방법 | |
| US20210005218A1 (en) | Nonverbal information generation apparatus, method, and program | |
| WO2018053918A1 (zh) | 一种儿童虚拟智能设备及其操作方法 | |
| CN111939558A (zh) | 一种实时语音驱动虚拟人物动作的方法和系统 | |
| JP2017182261A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| CN102073780A (zh) | 信息仿真处理系统、装置及方法 | |
| CN113536009A (zh) | 数据描述方法及装置、计算机可读介质和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |