JP2015103992A - Communication apparatus making conversation through icon - Google Patents

Communication apparatus making conversation through icon Download PDF

Info

Publication number
JP2015103992A
JP2015103992A JP2013243849A JP2013243849A JP2015103992A JP 2015103992 A JP2015103992 A JP 2015103992A JP 2013243849 A JP2013243849 A JP 2013243849A JP 2013243849 A JP2013243849 A JP 2013243849A JP 2015103992 A JP2015103992 A JP 2015103992A
Authority
JP
Japan
Prior art keywords
icon
information
operation information
unit
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013243849A
Other languages
Japanese (ja)
Other versions
JP2015103992A5 (en
Inventor
章彦 押之見
Akihiko Oshinomi
章彦 押之見
名児耶　光一
Koichi Nagoya
光一 名児耶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nakayo Inc
Original Assignee
Nakayo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nakayo Inc filed Critical Nakayo Inc
Priority to JP2013243849A priority Critical patent/JP2015103992A/en
Publication of JP2015103992A publication Critical patent/JP2015103992A/en
Publication of JP2015103992A5 publication Critical patent/JP2015103992A5/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a communication apparatus that achieves a smooth conversation between a person to be nursed and a nursing person by accurately conveying a request from the person to be nursed.SOLUTION: The communication apparatus converts a voice signal associated with an inquiry from an originating side into a text signal, analyses the converted text information, extracts a plural pieces of icon information that are made to correspond to a plurality of pieces of language information from language information containing words or expressions and transmits them, selects one icon from the plurality of icons on a receiving side, and makes a conversation by returning the selected information to the originating side and expressing receiver's intension.

Description

会話が不自由な相手とのコミュニケーションを実現する技術に関する。   The present invention relates to a technology that realizes communication with a person who has difficulty in conversation.

特許文献１には、通話相手の音声情報を取得し、取得した音声情報をテキスト情報に変換し、変換したテキスト情報に該当する広告情報をデータベースから参照し、参照した広告情報をモバイル端末に表示させる技術が開示されている。   In Patent Literature 1, voice information of a call partner is acquired, the acquired voice information is converted into text information, advertisement information corresponding to the converted text information is referred from a database, and the referred advertisement information is displayed on a mobile terminal. Techniques for making them disclosed are disclosed.

特開２０１３−５４４５号公報JP2013-5445A

しかしながら、特許文献１の技術は、取得した音声情報に基づいて広告情報を参照する技術であり、例えば、「あれ」や「これ」などの指示代名詞と、指差し・ジェスチャなどのノンバーバル情報を組み合わせた表現等、言葉だけでは内容を特定できない音声情報の場合、この技術を適用することはできない。
介護や医療の現場において、患者や高齢者（以降、被介護者等と称する）が、看護師や介護者（以降、介護者等と称する）に要求を伝える場合に、上述のような表現を用いることが多い。そのため、介護者と被介護者とのコミュニケーションを円滑に行えないといった問題がある。
本発明は上記事情に鑑みてなされたものであり、その目的は、被介護者からの要求を正確に介護者に伝え、被介護者と介護者との間で円滑なコミュニケーションを実現する通信システムを提供することにある。 However, the technique of Patent Document 1 is a technique for referring to advertisement information based on acquired voice information. For example, a combination of an indication pronoun such as “that” or “this” and non-verbal information such as pointing and gesturing. This technology cannot be applied to speech information whose contents cannot be specified by words alone.
When a patient or an elderly person (hereinafter referred to as a cared person or the like) communicates a request to a nurse or a caregiver (hereinafter referred to as a caregiver or the like) in the field of care or medical care, Often used. Therefore, there is a problem that communication between the caregiver and the cared person cannot be performed smoothly.
The present invention has been made in view of the above circumstances, and an object of the present invention is to accurately communicate a request from a cared person to a caregiver and realize a smooth communication between the cared person and the carer. Is to provide.

上記課題を解決するために、本発明は、多数のデザインのアイコンを表示し、前記アイコンを介して所定の相手装置と通信する通信装置であって、所定の相手装置から質問に係る音声信号を受信するまたは自通信装置が備える音声入力部から音声信号を受信すると、前記受信した音声信号を処理して文字列に変換し、前記変換した文字列を解析して１以上の単語または語句または文節を含む言葉情報を抽出する言葉情報抽出手段と、複数の前記言葉情報と対応付けてデザインが異なる複数のアイコン情報を記憶するアイコン情報記憶手段と、前記アイコン情報記憶手段を参照し、前記言葉情報抽出手段が抽出した言葉情報に対応する１以上のアイコン情報を自通信装置が備える表示部に表示するまたは前記１以上のアイコン情報を所定の相手装置へ送信するアイコン情報表示／送信手段と、前記表示された１以上のアイコン情報のいずれかを選択する操作が為された場合または前記１以上のアイコン情報を送信した所定の相手装置から前記アイコン情報のいずれかが選択された選択情報を受信した場合に、選択されたアイコン情報に対応する言葉情報を含む表示情報を生成し、前記生成した表示情報を含む回答情報を前記質問に係る音声信号を送信した相手装置へ送信するまた自通信装置が備える表示部に表示する回答情報送信／表示手段と、を有することを特徴とすることを特徴とする。   In order to solve the above-described problems, the present invention is a communication device that displays a number of design icons and communicates with a predetermined partner device via the icons, and receives a voice signal related to a question from the predetermined partner device. When receiving or receiving a voice signal from a voice input unit included in the communication apparatus, the received voice signal is processed and converted into a character string, and the converted character string is analyzed to obtain one or more words or phrases or phrases Word information extracting means for extracting word information including: icon information storage means for storing a plurality of icon information different in design in association with a plurality of the word information; and referring to the icon information storage means, the word information One or more icon information corresponding to the word information extracted by the extracting means is displayed on a display unit included in the communication device, or the one or more icon information is displayed on a predetermined partner. The icon information display / transmission means to be transmitted to the device and the icon from the predetermined partner device that has transmitted the one or more icon information when an operation for selecting one of the one or more icon information displayed is performed. When the selection information selected from any of the information is received, display information including word information corresponding to the selected icon information is generated, and the answer information including the generated display information is used as the audio signal related to the question. Response information transmitting / displaying means for transmitting the message to the partner apparatus that transmitted the message and displaying it on a display unit included in the communication apparatus.

本発明によれば、介護者の問い合わせに係る音声情報をテキスト情報に変換し、変換したテキスト情報に対応付けたアイコンを抽出して被介護者へ提示し、被介護者側が提示されたアイコンのいずれかを選択すると、当該アイコンに対応する操作情報を介護者に表示する。これによって、介護者は、被介護者が会話の不自由な相手であっても、円滑なコミュニケーションを実現することができる。   According to the present invention, voice information related to a caregiver's inquiry is converted into text information, an icon associated with the converted text information is extracted and presented to the care receiver, and the icon of the icon on which the care receiver side is presented. When either is selected, operation information corresponding to the icon is displayed to the caregiver. Thereby, the caregiver can realize smooth communication even if the care receiver is a partner whose conversation is inconvenient.

本発明のアイコン送信サーバを含むシステム構成図である。It is a system block diagram containing the icon transmission server of this invention. アイコン送信サーバの機能ブロック図である。It is a functional block diagram of an icon transmission server. ディスプレイ付き通信端末の機能ブロック図である。It is a functional block diagram of a communication terminal with a display. 発声文例に対応した操作情報付アイコンを模式的に表したものである。It is a schematic representation of an icon with operation information corresponding to an utterance sentence example. アイコン記憶部のカテゴリと操作情報付アイコン群の関連テーブルを模式的に表したものである。Fig. 5 schematically shows a relation table of categories of icon storage units and icon groups with operation information. アイコン関連情報記憶部の操作情報付アイコン内容の記憶テーブルを模式的に表したものである。Fig. 4 schematically shows a storage table of icon contents with operation information in an icon related information storage unit. 本発明のアイコン送信サーバの動作を示すフロー図である。It is a flowchart which shows operation | movement of the icon transmission server of this invention. 本発明のアイコン送信サーバと介護者通信端末と被介護者通信端末の動作を示すシーケンス図である。It is a sequence diagram which shows operation | movement of the icon transmission server of this invention, a caregiver communication terminal, and a care receiver communication terminal.

以下に図１から図８を用いて、本発明の実施例について詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to FIGS.

図１は、本発明のアイコン送信サーバ３を含むシステム構成図である。介護者端末２−１及び被介護者端末２−２（以降、総合してディスプレイ付き通信端末２と称する場合もある）は、ＬＣＤ等のディスプレイ機能およびタッチセンサ機能、通話機能を備えた通信端末である。   FIG. 1 is a system configuration diagram including an icon transmission server 3 of the present invention. The care giver terminal 2-1 and the care receiver terminal 2-2 (hereinafter sometimes collectively referred to as a display-equipped communication terminal 2) are a communication terminal having a display function such as an LCD, a touch sensor function, and a call function. It is.

本実施例では、介護者端末２−１から被介護者端末２−２へ発信操作を行うと、電話サーバ１は、アイコン送信サーバ３を経由して、自動的に介護者端末２−１と被介護者端末２−２との通話を確立する。その後、介護者が音声で問い合わせ内容を入力すると、介護者端末２−１は、ネットワークを介して音声信号をアイコン送信サーバ３に送信する。
尚、一般的に介護者端末２−１と被介護者端末２−２との間で通話が確立すると、音声信号は直接端末間に送られるが、本実施例では、電話サーバ１に予めアイコン送信サーバ３が、音声パケットのアドレス変換処理を行うメディアゲートウェイとして登録され、介護者端末２−１と被介護者端末２−２との間で通話が確立すると、音声信号のやり取りはアイコン送信サーバ３を介して行われるものとする。 In this embodiment, when a call operation is performed from the care giver terminal 2-1 to the care receiver terminal 2-2, the telephone server 1 automatically communicates with the care giver terminal 2-1 via the icon transmission server 3. A call with the care receiver terminal 2-2 is established. Thereafter, when the caregiver inputs the inquiry content by voice, the caregiver terminal 2-1 transmits a voice signal to the icon transmission server 3 via the network.
In general, when a call is established between the care giver terminal 2-1 and the care receiver terminal 2-2, an audio signal is directly sent between the terminals. When the transmission server 3 is registered as a media gateway for performing address conversion processing of voice packets and a call is established between the care giver terminal 2-1 and the care receiver terminal 2-2, the exchange of voice signals is performed by the icon transmission server. 3 is performed.

音声信号を受信したアイコン送信サーバ３は、受信した音声信号を解析し、当該音声信号に関連する複数の操作情報付アイコンを抽出する。そしてアイコン送信サーバ３は、抽出した音声信号に関連する複数の操作情報付アイコンを被介護者端末２−２へ送信する。
被介護者端末２−２は、タッチセンサ付きディスプレイであり、表示機能と合わせてキー入力の機能を有する。被介護者端末２−２は、送られてきた複数の操作情報付アイコンをディスプレイ上に表示する。被介護者が、被介護者端末２−２に表示された複数の操作情報付アイコンの中のいずれかを選択すると選択された操作情報付アイコンに関連付けられた操作情報をアイコン送信サーバ３に送信する。即ち、このアイコンの選択により、介護者の問い合せ内容に対する回答となる。 The icon transmission server 3 that has received the audio signal analyzes the received audio signal, and extracts a plurality of icons with operation information related to the audio signal. The icon transmission server 3 transmits a plurality of icons with operation information related to the extracted voice signal to the care receiver terminal 2-2.
The care receiver terminal 2-2 is a display with a touch sensor, and has a key input function together with a display function. The care receiver terminal 2-2 displays a plurality of sent operation information icons on the display. When the care receiver selects one of the icons with operation information displayed on the care receiver terminal 2-2, operation information associated with the selected icon with operation information is transmitted to the icon transmission server 3. To do. That is, the selection of this icon provides an answer to the caregiver's inquiry content.

選択された操作情報は、アイコン送信サーバ３を経由して介護者端末２−１に送信され、該操作情報は介護者端末２−１のディスプレイ上に表示される。これにより、音声会話で正しくやり取りできなくても、コミュニケーションが成立する。   The selected operation information is transmitted to the caregiver terminal 2-1 via the icon transmission server 3, and the operation information is displayed on the display of the caregiver terminal 2-1. As a result, communication is established even if the voice conversation cannot be exchanged correctly.

尚、ディスプレイ付き通信端末２は、スマートフォンやタブレット端末やパーソナルコンピュータであっても良く、それぞれの端末にインストールされたアプリケーションプログラムにより機能する。   In addition, the communication terminal 2 with a display may be a smart phone, a tablet terminal, or a personal computer, and functions by an application program installed in each terminal.

ＮＷ４はＬＡＮ又はＷＡＮである。パソコン５は、アイコン送信サーバ３で管理している操作情報付アイコン群を示すテーブル１０５−１（図５）及び操作情報付アイコンのテーブル１０５−２（図６）の更新に使用する。   NW4 is a LAN or WAN. The personal computer 5 is used for updating the table 105-1 (FIG. 5) indicating the icon group with operation information managed by the icon transmission server 3 and the table 105-2 (FIG. 6) of the icon with operation information.

図２は、アイコン送信サーバ３の機能ブロック図である。アイコン送信サーバ３は、ＮＷインタフェース部１００と、音声信号受信部１０１と、音声認識テキスト変換部１０２と、文書解析部１０３と、操作情報付アイコン群検索部１０４と、アイコン記憶部１０５と、アイコン関連情報記憶部１０６と、ユーザデータ管理部１０７と、アイコン関連情報登録部１０８と、ユーザデータ送信部１０９と、アイコン送信部１１０と、アイコン関連情報送信部１１１と、操作情報受信部１１２と、から構成される。
ＮＷインタフェース部１００は、ＮＷ４に接続して、ディスプレイ付き通信端末２と通信を行うための物理的インタフェースである。また、ＮＷインタフェース部１００は、所定の通信プロトコルを実行してＮＷ４とアイコン送信サーバ３の通信全般の処理を実行する。 FIG. 2 is a functional block diagram of the icon transmission server 3. The icon transmission server 3 includes an NW interface unit 100, an audio signal receiving unit 101, a voice recognition text conversion unit 102, a document analysis unit 103, an icon group search unit 104 with operation information, an icon storage unit 105, an icon A related information storage unit 106, a user data management unit 107, an icon related information registration unit 108, a user data transmission unit 109, an icon transmission unit 110, an icon related information transmission unit 111, an operation information reception unit 112, Consists of
The NW interface unit 100 is a physical interface for connecting to the NW 4 and communicating with the communication terminal 2 with a display. In addition, the NW interface unit 100 executes a predetermined communication protocol and performs overall communication between the NW 4 and the icon transmission server 3.

音声信号受信部１０１は、電話サーバ１から介護者端末２−１と被介護者端末２−２の相互間でやり取りされる音声信号を中継する。また、介護者端末２−１から受信した音声信号を音声認識テキスト変換部１０２へ渡す。   The audio signal receiving unit 101 relays an audio signal exchanged between the care giver terminal 2-1 and the care receiver terminal 2-2 from the telephone server 1. In addition, the voice signal received from the care giver terminal 2-1 is passed to the voice recognition text conversion unit 102.

音声認識テキスト変換部１０２は、音声信号受信部１０１より送られてきた音声信号をテキスト情報に変換し、該テキスト情報を文書解析部１０３に渡す。
文書解析部１０３は、音声認識テキスト変換部１０２から渡されたテキスト情報から特定の単語または語句を抽出し、抽出した単語または語句を操作情報付アイコン郡検索部１０４に渡す。 The voice recognition text conversion unit 102 converts the voice signal sent from the voice signal reception unit 101 into text information and passes the text information to the document analysis unit 103.
The document analysis unit 103 extracts a specific word or phrase from the text information passed from the speech recognition text conversion unit 102 and passes the extracted word or phrase to the icon group search unit 104 with operation information.

操作情報付アイコン群検索部１０４は、該単語または語句をキーにアイコン記憶部１０５を検索し、一つのカテゴリ又はサブカテゴリに関連付けられている複数の操作情報付アイコン（以下、操作情報付アイコン群と称する。）を抽出する。
尚、カテゴリ、サブカテゴリは、質問の種別に対応して準備されたものである。そして、操作情報付アイコン群は質問の種別に対して予め用意されている複数のアイコンである。この複数のアイコンは、質問に対する回答候補を提示するものであり、回答の内容を画像、図形、イラスト、文字列、数列で表現したものである。 The icon group search unit with operation information 104 searches the icon storage unit 105 using the word or phrase as a key, and a plurality of icons with operation information associated with one category or subcategory (hereinafter referred to as an icon group with operation information). To be extracted).
The categories and subcategories are prepared corresponding to the types of questions. The icon group with operation information is a plurality of icons prepared in advance for the question type. The plurality of icons present answer candidates for the question, and the contents of the answer are represented by images, figures, illustrations, character strings, and numerical sequences.

アイコン記憶部１０５は、カテゴリと操作情報付アイコン群の関連テーブル（図５）を保持し、カテゴリ、サブカテゴリに分類された単語、関連単語、関連語句から操作情報付アイコン群を記憶する。アイコン記憶部１０５は、操作情報付アイコン群検索部１０４の検索動作により操作情報付アイコン群を抽出する。
アイコン関連情報記憶部１０６は、操作機能付アイコン内容の記憶テーブル（図６）を保持し、アイコン記憶部１０５で記憶している操作情報付アイコン群に関連付けられた情報である。操作情報付アイコン群、操作機能付アイコン番号に分類されたアイコン、選択ボタン、関連情報、アイコンツリーを記憶する。 The icon storage unit 105 holds a related table (FIG. 5) of categories and icons with operation information, and stores icons with operation information from words classified into categories and subcategories, related words, and related phrases. The icon storage unit 105 extracts an icon group with operation information by the search operation of the icon group search unit with operation information 104.
The icon-related information storage unit 106 is information associated with the icon group with operation information stored in the icon storage unit 105, which stores a storage table (FIG. 6) of icon contents with operation functions. An icon group with operation information, icons classified into icon numbers with operation functions, selection buttons, related information, and icon trees are stored.

ユーザデータ管理部１０７は、被介護者端末２−２を使用するユーザの情報を管理する。ユーザ情報は名前や年齢などの一般的な情報が記憶されているが、被介護者端末２−２から受信した操作情報を操作履歴として記憶する。ここで操作情報とは、被介護者端末２−２のユーザが選択した操作情報付アイコンに割り当てられた番号である。尚、操作情報付アイコンに２以上の選択ボタンが割り付けられている場合、その選択ボタンのうち、被介護者端末２−２のユーザが選択した選択ボタンの内容（以下選択ボタン情報）も操作履歴に含まれる。   The user data management unit 107 manages information on a user who uses the care receiver terminal 2-2. As the user information, general information such as name and age is stored, but the operation information received from the care receiver terminal 2-2 is stored as an operation history. Here, the operation information is a number assigned to the icon with operation information selected by the user of the care receiver terminal 2-2. When two or more selection buttons are assigned to the operation information icon, the contents of the selection buttons selected by the user of the care receiver terminal 2-2 (hereinafter referred to as selection button information) are also displayed in the operation history. include.

アイコン関連情報登録部１０８は、ＮＷ４に接続されているパソコン５から、ＮＷインタフェース部１００を介する指示に従って、アイコン記憶部１０５で管理している操作情報付アイコン群を示すテーブル１０５０（図５）及びアイコン関連情報記憶部１０６で管理している操作情報付アイコンのテーブル１０６０（図６）を更新する。   The icon-related information registering unit 108, from the personal computer 5 connected to the NW 4, in accordance with an instruction via the NW interface unit 100, a table 1050 (FIG. 5) showing icons with operation information managed by the icon storage unit 105 The table 1060 (FIG. 6) of icons with operation information managed by the icon related information storage unit 106 is updated.

ユーザデータ送信部１０９は、ＮＷ４に繋がるパソコン５からの入力により、ユーザデータ管理部１０７に、ディスプレイ付き通信端末２のユーザの名前や年齢などの登録を行い、逆にパソコン５からの要求に従い、ディスプレイ付き通信端末２のユーザの名前や年齢などとともに当該被介護端末２−２の操作履歴をユーザ情報として返信する。   The user data transmission unit 109 registers the name and age of the user of the communication terminal 2 with a display in the user data management unit 107 in response to an input from the personal computer 5 connected to the NW 4. The operation history of the care receiver terminal 2-2 is returned as user information together with the name and age of the user of the communication terminal 2 with display.

アイコン送信部１１０は、操作情報付アイコン群検索部１０４が検索した複数の操作情報付アイコンをＮＷインタフェース部１００を介して、被介護者端末２−２に送信する。   The icon transmission unit 110 transmits the plurality of icons with operation information searched by the icon group search unit with operation information 104 to the care receiver terminal 2-2 via the NW interface unit 100.

操作情報受信部１１２は、被介護者端末２−２から操作情報付アイコンに対する操作情報を受信し、該操作情報をユーザデータ管理部１０７に渡すとともに、アイコン関連情報送信部１１１に渡す。アイコン関連情報送信部１１１は、被介護者端末２−２が操作した操作情報を介護者端末２−１へ送信し、また該操作情報の内容分析を行う。   The operation information receiving unit 112 receives operation information for the icon with operation information from the care receiver terminal 2-2, and passes the operation information to the user data management unit 107 and also to the icon related information transmission unit 111. The icon related information transmission unit 111 transmits the operation information operated by the care receiver terminal 2-2 to the care giver terminal 2-1, and analyzes the contents of the operation information.

介護者端末２−１は該操作情報を受け取ることで、被介護者端末２−２がどのアイコンを選択したかを介護者端末２−１のディスプレイ上に表示し、介護者等はその内容を確認することができる。   By receiving the operation information, the care giver terminal 2-1 displays which icon the care receiver terminal 2-2 has selected on the display of the care giver terminal 2-1, and the caregiver or the like displays the contents. Can be confirmed.

また、アイコン関連情報送信部１１１は、操作情報受信部１１２より渡された該操作情報が追加の関連情報を要求するものである場合、当該関連情報を予め準備されたアイコン関連情報記憶部１０６より抽出し、ディプレイ付き通信端末２に送信する。ディスプレイ付き通信端末２は、受信した該アイコン関連情報をディスプレイ上に表示し、被介護者端末２−２では、さらに被介護者の選択を促す。被介護者が該アイコン関連情報の一つを選択するとその選択情報は操作情報として、アイコン送信サーバ３へ送信される。   Further, when the operation information passed from the operation information receiving unit 112 requests additional related information, the icon related information transmitting unit 111 receives the related information from the icon related information storage unit 106 prepared in advance. Extracted and transmitted to the communication terminal 2 with a display. The display-equipped communication terminal 2 displays the received icon-related information on the display, and the care receiver terminal 2-2 further prompts the care recipient to select. When the care recipient selects one of the icon related information, the selection information is transmitted to the icon transmission server 3 as operation information.

図３は、ディスプレイ付き通信端末２の機能ブロックである。一般に介護者端末２−１と被介護者端末２−２は、機能的に異なることが許されるが、本発明では、被介護者端末２−２の機能が多く、介護者端末２−１としても動作可能であるので、前者の機能ブロックを代表として説明する。   FIG. 3 is a functional block of the communication terminal 2 with a display. In general, the care giver terminal 2-1 and the care receiver terminal 2-2 are allowed to be functionally different. However, in the present invention, the care receiver terminal 2-2 has many functions. Therefore, the former functional block will be described as a representative.

ＮＷインタフェース部２００は、ＮＷ４に接続して、アイコン送信サーバ３と通信を行うための物理的インタフェースおよび通信プロトコルを実行する。   The NW interface unit 200 is connected to the NW 4 and executes a physical interface and a communication protocol for communicating with the icon transmission server 3.

ＩＰ電話処理部２０１は、音声通話を行うために電話サーバ１に対して、発着信動作を行い、介護者端末２−１との音声通話を実行する。またアイコン操作制御部２０７からの指示によりマイク２０３からの音声信号を音声信号送信部２０４へ渡し音声信号の送信指示を行う。   The IP telephone processing unit 201 performs an outgoing / incoming operation with respect to the telephone server 1 to perform a voice call, and executes a voice call with the care giver terminal 2-1. Further, in response to an instruction from the icon operation control unit 207, the audio signal from the microphone 203 is passed to the audio signal transmission unit 204 and an audio signal transmission instruction is issued.

スピーカ２０２は、ＩＰ電話処理部２０１の指示にしたがって、着信音や通話音声の出力を行う。マイク２０３は、ユーザの音声を拾ってＩＰ電話処理部２０１に音声信号を渡す。
音声信号送信部２０４は、アイコン送信サーバ３へＩＰ電話処理部２０１より渡された音声信号を送信する。 The speaker 202 outputs a ring tone or a call voice in accordance with an instruction from the IP phone processing unit 201. The microphone 203 picks up the user's voice and passes the voice signal to the IP telephone processing unit 201.
The audio signal transmission unit 204 transmits the audio signal passed from the IP telephone processing unit 201 to the icon transmission server 3.

ディスプレイ２０６は、アイコン操作制御部２０７の指示によりアイコン送信サーバ３より送られてくる複数の操作情報付アイコンを表示する。また、ディスプレイ２０６に表示された複数アイコンの内のいずれか一つのアイコンを被介護者が選択すると、操作情報として端末操作検出部２０５に渡す。なお、電話接続に関する部分は、本願発明の要部を構成しないので、説明は最小限にし、詳細は省略する。   The display 206 displays a plurality of icons with operation information transmitted from the icon transmission server 3 according to an instruction from the icon operation control unit 207. In addition, when the care recipient selects any one of the plurality of icons displayed on the display 206, the icon is passed to the terminal operation detection unit 205 as operation information. In addition, since the part regarding a telephone connection does not comprise the principal part of this invention, description is minimized and a detail is abbreviate | omitted.

アイコン操作制御部２０７は、アイコン関連情報受信部２０９がアイコン送信サーバ３から受信した複数の操作情報付アイコンを受取りディスプレイ２０６に該アイコンを表示する。   The icon operation control unit 207 receives a plurality of icons with operation information received from the icon transmission server 3 by the icon related information receiving unit 209 and displays the icons on the display 206.

操作情報送信部２０８は、アイコン操作制御部２０７から受け取った操作情報付アイコンに対する操作情報を、ＮＷインタフェース部２００を介してアイコン送信サーバ３へ送信する。   The operation information transmission unit 208 transmits the operation information for the icon with operation information received from the icon operation control unit 207 to the icon transmission server 3 via the NW interface unit 200.

アイコン関連情報受信部２０９は、上述の通り、ＮＷインタフェース部２００を介してアイコン送信サーバ３から操作情報付アイコンを受信する。   As described above, the icon related information receiving unit 209 receives an icon with operation information from the icon transmission server 3 via the NW interface unit 200.

図４は、発声文例に対応した操作情報付アイコンを模式的に表したものである。
レコード１０は、各発声文例に対応した操作情報付アイコンを表したものである。フィールド１１は、発声文例を表したものである。フィールド１２〜１５は、操作情報付アイコン群の具体例を表したものである。 FIG. 4 schematically shows an icon with operation information corresponding to an utterance sentence example.
The record 10 represents an icon with operation information corresponding to each utterance sentence example. A field 11 represents an utterance sentence example. Fields 12 to 15 represent specific examples of icon groups with operation information.

図５は、アイコン記憶部１０５の、カテゴリと操作情報付アイコン群の関連テーブルを模式的に表したものである。本テーブルは、音声信号をテキスト情報に変換し、変換したテキスト情報を解析して抽出した言葉情報を用いて、単語１０５３や関連単語１０５４や関連語句１０５５を参照して、介護者等の質問をカテゴリ１０５１さらにサブカテゴリ１０５２に絞り込んで、最終的に操作機能付きアイコン群１０５６を抽出することにある。   FIG. 5 schematically shows an association table of categories and icon groups with operation information in the icon storage unit 105. This table converts speech signals into text information, analyzes the converted text information, and uses word information extracted to refer to words 1053, related words 1054, and related phrases 1055 to ask questions such as caregivers. The category 1051 is further narrowed down to the subcategory 1052 to finally extract the icon group 1056 with an operation function.

レコード１０５０は、カテゴリ毎にフィールド１０５１〜１０５６を有する。フィールド１０５１には、カテゴリを登録する。フィールド１０５２には、フィールド１０５１のカテゴリを更に分類したサブカテゴリを登録する。尚、本実施例では、カテゴリとサブカテゴリの２階層であるが、これに限らず、階層を増やしても良い。   The record 1050 has fields 1051 to 1056 for each category. In the field 1051, a category is registered. In the field 1052, a subcategory obtained by further classifying the category of the field 1051 is registered. In this embodiment, there are two hierarchies of categories and subcategories, but the present invention is not limited to this, and the hierarchies may be increased.

フィールド１０５３には、フィールド１０５１、フィールド１０５２の内容に関する質問形式の会話に特化して出現する単語を記憶する。フィールド１０５４およびフィールド１０５５には、フィールド１０５１、フィールド１０５２の内容に関する質問形式の会話に特化して出現するものでは無いが、フィールド１０５３の単語とセットで使われる単語（関連単語）や語句（関連語句）を記憶する。   The field 1053 stores words that appear specifically for question-type conversations regarding the contents of the fields 1051 and 1052. The field 1054 and the field 1055 do not appear specifically for question-type conversations regarding the contents of the fields 1051 and 1052, but words (related words) and phrases (related words / phrases) used in combination with the words in the field 1053 ) Is memorized.

フィールド１０５６は、操作情報付アイコン群の番号を記憶する。操作情報付アイコン群番号は図６のテーブルのフィールド１０６１の番号として関連つけられる。   The field 1056 stores the number of the icon group with operation information. The icon group number with operation information is related as the number of the field 1061 in the table of FIG.

図６は、アイコン関連情報記憶部１０６の、操作情報付アイコン内容の記憶テーブルを模式的に表したものである。本テーブルで、操作情報付アイコン群番号１０６１のいずれかを選択したならば、同一アイコン群番号に対応するすべての操作情報付アイコン番号１０６２に対応する複数のアイコン１０６３を被介護者端末２−２へ送信する。また、テキスト情報１０６４に追加の情報が登録されているならば、アイコン１０６３とあわせて被介護者端末２−２へ送信する。   FIG. 6 schematically shows a storage table of icon contents with operation information in the icon related information storage unit 106. If any of the icon group numbers with operation information 1061 is selected in this table, a plurality of icons 1063 corresponding to all icon numbers with operation information 1062 corresponding to the same icon group number are assigned to the care receiver terminal 2-2. Send to. If additional information is registered in the text information 1064, it is transmitted together with the icon 1063 to the care receiver terminal 2-2.

さらに、選択ボタン１０６５に追加の情報が登録されているならば、選択ボタンとして、あわせて被介護者端末２−２へ送信する。また、関連情報１０６６に追加の情報が登録されているならば、あわせて被介護者端末２−２へ送信する。   Further, if additional information is registered in the selection button 1065, it is also transmitted to the care receiver terminal 2-2 as a selection button. If additional information is registered in the related information 1066, the information is also transmitted to the care receiver terminal 2-2.

そして、アイコンツリー１０６７に情報が登録されているならば、被介護者端末２−２を使用する被介護者等がディスプレイに表示された同一の操作情報付アイコン群番号に属する複数アイコン１０６３の中から選択した一つのアイコンに対応するアイコンツリー番号をフィールド１０６７より特定し、そのアイコンツリー番号と同一の操作情報付アイコン群番号１０６１に対応する全てのアイコン１０６３を被介護者端末２−２へ送信する。   If the information is registered in the icon tree 1067, the care receiver or the like who uses the care receiver terminal 2-2 is displayed among the plurality of icons 1063 belonging to the same icon group number with operation information displayed on the display. The icon tree number corresponding to one icon selected from the above is specified from the field 1067, and all icons 1063 corresponding to the icon group number with operation information 1061 identical to the icon tree number are transmitted to the care receiver terminal 2-2. To do.

その後、さらに該アイコンに対応するアイコンツリー１０６７に情報が登録されている場合、上記動作をアイコンツリー番号が登録されていない状態になるまで繰り返す。
レコード１０６０は、フィールド１０６１〜１０６７を有する。 Thereafter, when information is registered in the icon tree 1067 corresponding to the icon, the above operation is repeated until no icon tree number is registered.
The record 1060 has fields 1061 to 1067.

フィールド１０６１は、操作情報付アイコン群の番号が登録される。この番号は図５のフィールド１０６６と対応する。フィールド１０６２は、操作情報付アイコンの番号が登録される。   In the field 1061, the number of the icon group with operation information is registered. This number corresponds to field 1066 in FIG. In the field 1062, the number of the icon with operation information is registered.

フィールド１０６３はアイコンに使われる画像、図形、イラスト、文字列、数列を登録する。フィールド１０６４は、アイコンと一緒に表示するテキスト文を登録する。フィールド１０６５は、表示されるアイコン・テキストに対応する回答が２以上ある場合に、その選択が必要な場合にその選択ボタンの内容を登録する。   A field 1063 registers an image, a figure, an illustration, a character string, and a number sequence used for an icon. A field 1064 registers a text sentence to be displayed together with an icon. The field 1065 registers the contents of the selection button when selection is necessary when there are two or more answers corresponding to the displayed icon text.

フィールド１０６６は、関連の詳細情報がある場合に保存されているＵＲＬを登録する。フィールド１０６７は、操作機能付のアイコン群がツリー状に構成されている場合、次の階層の操作情報付アイコン群の番号（アイコンツリー情報）を登録する。尚、ディスプレイ付き通信端末２には、対応する全てのフィールド１０６３〜フィールド１０６６の内容を送信する。   A field 1066 registers a URL stored when there is related detailed information. The field 1067 registers the number (icon tree information) of the icon group with the operation information in the next hierarchy when the icon group with the operation function is configured in a tree shape. Note that the contents of all corresponding fields 1063 to 1066 are transmitted to the communication terminal 2 with a display.

図７は、本発明のアイコン送信サーバ３の動作を示すフロー図である。本フローは、アイコン送信サーバ３の起動後に開始される。始めにアイコン送信サーバ３が介護者端末２−１の音声信号から単語や語句を抽出し操作機能付きアイコンを被介護者端末２−２へ送信する動作について説明する。同時に介護者端末２−１に送ることも考えられる。   FIG. 7 is a flowchart showing the operation of the icon transmission server 3 of the present invention. This flow is started after the icon transmission server 3 is activated. The operation | movement which the icon transmission server 3 extracts a word and a phrase from the audio | voice signal of the caregiver terminal 2-1 and transmits the icon with an operation function to the care receiver terminal 2-2 first is demonstrated. At the same time, it may be sent to the care giver terminal 2-1.

アイコン送信サーバ３は、音声信号受信部１０１が、介護者端末２−１からの音声信号を受信（Ｓ１００）、または、操作情報受信部１１２が、被介護者端末２−２から操作情報の受信（Ｓ１０６）の何れかを待つ。   In the icon transmission server 3, the audio signal receiving unit 101 receives an audio signal from the care giver terminal 2-1 (S100), or the operation information receiving unit 112 receives operation information from the care receiver terminal 2-2. Wait for any of (S106).

音声信号受信部１０１は、音声信号を受信した場合に（Ｓ１００でＹＥＳ）、その音声信号を音声認識テキスト変換部１０２に引き渡す。このとき、音声信号受信部１０１は、音声信号の受信と共に、通信相手の宛先情報として、音声信号を送信した介護者端末２−１と通信中の相手被介護者端末２−２の電話番号を受信する。（Ｓ１０１）
音声信号を受けた音声認識テキスト変換部１０２は、音声信号をテキスト情報に変換して（Ｓ１０２）、文書解析部１０３に渡す。テキスト情報を受けた文書解析部１０３は、テキスト情報から単語および語句を抽出して（Ｓ１０３）、操作情報付アイコン群検索部１０４に渡す。 When receiving the voice signal (YES in S100), the voice signal receiving unit 101 delivers the voice signal to the voice recognition text conversion unit 102. At this time, the audio signal receiving unit 101 receives the audio signal and, as the destination information of the communication partner, the telephone number of the partner care receiver terminal 2-2 in communication with the caregiver terminal 2-1 that has transmitted the audio signal. Receive. (S101)
Upon receiving the voice signal, the voice recognition text conversion unit 102 converts the voice signal into text information (S102) and passes it to the document analysis unit 103. Upon receiving the text information, the document analysis unit 103 extracts words and phrases from the text information (S103) and passes them to the operation information-added icon group search unit 104.

単語および語句を受けた操作情報付アイコン群検索部１０４は、当該単語や語句をキーにアイコン記憶部１０５を検索し、操作情報付アイコン群を特定する（Ｓ１０４）。具体的には、文書解析部１０３から受けた単語と、アイコン記憶部１０５のフィールド１０５３の単語を比較し、最も多く一致したレコード１０５０を検出する。   The icon group search unit with operation information 104 having received the word and the phrase searches the icon storage unit 105 using the word or phrase as a key, and specifies the icon group with operation information (S104). Specifically, the word received from the document analysis unit 103 is compared with the word in the field 1053 of the icon storage unit 105, and the record 1050 that matches the most is detected.

ここで、一致する単語の数が同じ複数のレコードが検出された場合、検出された複数のレコードの中で、文書解析部１０３から受けた単語と、フィールド１０５４の関連単語が最も多く一致するレコード１０５０を一つに絞り込むために再検出する。   Here, when a plurality of records having the same number of matching words are detected, among the detected plurality of records, a record in which the word received from the document analysis unit 103 and the related word in the field 1054 match most frequently. Redetection to narrow down 1050 to one.

次に、操作情報付アイコン群検索部１０４は、検出した一つのレコード１０５０のフィールド１０５６を参照し、記憶されている操作情報付アイコン群番号から、アイコン関連情報記憶部１０６のレコード１０６０（複数有）を特定する。   Next, the icon group search unit 104 with operation information refers to the field 1056 of one detected record 1050, and records 1060 (a plurality of records) of the icon related information storage unit 106 from the stored icon group number with operation information. ).

次に、操作情報付アイコン群検索部１０４は、被介護者端末２−２に、特定した一つ又は複数のレコード１０６０のフィールド１０６１〜１０６５の全内容を、アイコン送信部１１０を介して被介護者端末２−２宛に送信する（Ｓ１０５）。そして、Ｓ１００に戻る。   Next, the icon group search unit with operation information 104 receives the entire contents of the fields 1061 to 1065 of the specified one or more records 1060 in the care receiver terminal 2-2 via the icon transmission unit 110. To the user terminal 2-2 (S105). Then, the process returns to S100.

次に被介護者等が使用している被介護者端末２−２へアイコンを表示して、さらに選択ボタン情報や関連情報やアイコンツリー情報が登録されている場合の動作を説明する。   Next, an operation when the icon is displayed on the care receiver terminal 2-2 used by the care receiver and the selection button information, related information, and icon tree information are registered will be described.

レコード１０６０の例では、例えばフィールド１０６３の朝食のアイコンが該当する場合、テキスト情報１０６４には、追加情報の登録は無いので、アイコンはボタン１０６３のみの表示となる。このとき、アイコンツリー情報１０６７に次の階層のアイコン群番号が登録されている。この例では、フィールド１０６７の次階層アイコン登録群の番号が２であるので、フィールド１０６１の操作機能付アイコン番号２に属する全ての操作機能付きアイコン番号に対応する朝食のメニュー１、２及び３のテキストとそれに対応する画像１、２及び３のアイコンが表示される。   In the example of the record 1060, for example, when the breakfast icon in the field 1063 is applicable, since the additional information is not registered in the text information 1064, the icon only displays the button 1063. At this time, the icon group number of the next layer is registered in the icon tree information 1067. In this example, since the number of the next layer icon registration group in the field 1067 is 2, the breakfast menus 1, 2, and 3 corresponding to all the icon numbers with operation functions belonging to the icon number 2 with operation functions in the field 1061 are displayed. Text and icons corresponding to images 1, 2 and 3 are displayed.

また別の例では、レコード１０６０で、画像のアイコンと選択ボタン付きのテキスト情報が登録されている例で、アイコンツリー１０６７で次階層の操作情報付アイコン群番号として、６が登録されている場合は、「・・・の会」、「・・・の集い」及び「・・・大会」のテキスト情報が画像４、５及び６のアイコンと一緒に被介護者端末２−２に表示される。このとき、ユーザにより「・・・会」が選択されるとその選択情報が送られてくるが、「・・・会」に対応するフィールド１０６５に選択ボタンが登録されているので、出席／欠席のボタンがさらに表示される。   In another example, an image icon and text information with a selection button are registered in the record 1060, and 6 is registered as the icon group number with operation information in the next hierarchy in the icon tree 1067. Is displayed on the care receiver terminal 2-2 together with the icons of the images 4, 5, and 6 along with the text information of "... no meeting", "... gathering" and "... meeting". . At this time, when “... kai” is selected by the user, the selection information is sent, but since the selection button is registered in the field 1065 corresponding to “... kai”, attendance / absence The button is further displayed.

また別な例としてはレコード１０６０で「病院の地図」及び「入浴時間表」
のアイコンを被介護者端末２−２へ表示した場合、それらにはフィールド１０６６の詳細情報が登録されているので、それらの詳細情報ここではＷＥＢのＵＲＬが表示され、ここでユーザが「病院の地図」アイコンを選択すると詳細情報のＵＲＬに記載されている地図をディスプレイ上に表示することができる。 Another example is record 1060 with “hospital map” and “bath time table”
Is displayed on the care receiver terminal 2-2, since detailed information of the field 1066 is registered in them, the URL of the detailed information here is displayed here. When the “Map” icon is selected, the map described in the URL of the detailed information can be displayed on the display.

アイコン操作情報受信部１１２は、被介護者端末２−２から操作情報付アイコンに対する操作情報を受信すると（Ｓ１０６でＹＥＳ）、受信した情報をアイコン関連情報送信部１１１に引き渡すと共にその操作機能付きアイコン群を、操作情報を送信した被介護者等に関連付けてユーザデータ管理部１０７に記憶する。   When the icon operation information receiving unit 112 receives the operation information for the icon with the operation information from the care receiver terminal 2-2 (YES in S106), the icon operation information receiving unit 112 delivers the received information to the icon related information transmitting unit 111 and the icon with the operation function. The group is stored in the user data management unit 107 in association with the care receiver who transmitted the operation information.

操作情報付アイコンに対する操作情報を受けたアイコン関連情報送信部１１１は、当該操作情報に対応するフィールド１０６５に、選択ボタン情報が登録されているか否かを判定する（Ｓ１０７）。   Upon receiving the operation information for the icon with operation information, the icon related information transmission unit 111 determines whether or not the selection button information is registered in the field 1065 corresponding to the operation information (S107).

アイコン関連情報送信部１１１は、操作情報付アイコンの操作情報に対応するフィールド１０６５に選択ボタン情報が登録されている場合（Ｓ１０７でＹＥＳ）、操作情報付アイコンの操作情報の送信元介護者端末２−１の通信相手である被介護者端末２−２に操作情報を送信する（Ｓ１０８）。そしてＳ１００に戻る。   When the selection button information is registered in the field 1065 corresponding to the operation information of the icon with operation information (YES in S107), the icon related information transmission unit 111 transmits the operation information of the icon with operation information from the care giver terminal 2 Operation information is transmitted to the care receiver terminal 2-2 that is the communication partner of -1 (S108). Then, the process returns to S100.

一方、アイコン関連情報送信部１１１は、操作情報付アイコンの操作情報に関連するフィールド１０６５に選択ボタンが登録されていない場合（Ｓ１０７でＮＯ）、当該操作情報に対応するフィールド１０６６に、詳細情報が登録されているかを判定する（Ｓ１０９）。   On the other hand, when the selection button is not registered in the field 1065 related to the operation information of the icon with operation information (NO in S107), the icon related information transmission unit 111 stores detailed information in the field 1066 corresponding to the operation information. It is determined whether it is registered (S109).

具体的には、被介護者端末２−２から送られてくるユーザが選択した一つの操作情報が示す操作情報付アイコン番号を基に、アイコン関連情報記憶部１０６のフィールド１０６２を検索して一致するレコード１０６０を特定する。そして、特定したレコード１０６０のフィールド１０６６に関連情報のＵＲＬが記憶されているか否かを判定する。   Specifically, the field 1062 of the icon related information storage unit 106 is searched and matched based on the icon number with operation information indicated by one operation information selected by the user sent from the care receiver terminal 2-2. The record 1060 to be specified is specified. Then, it is determined whether or not the URL of the related information is stored in the field 1066 of the specified record 1060.

ここで示す関連情報とは、操作情報付アイコン群に関係するＵＲＬやディレクトリなどの詳細情報を示す。アイコン関連情報送信部１１１は、当該操作情報に、関連情報が登録されている場合（Ｓ１０９でＹＥＳ）、そのＵＲＬを基にアイコン関連情報記憶部１０６からアイコン関連情報を抽出する（Ｓ１１０）。   The related information shown here indicates detailed information such as a URL and a directory related to the icon group with operation information. If the related information is registered in the operation information (YES in S109), the icon related information transmitting unit 111 extracts the icon related information from the icon related information storage unit 106 based on the URL (S110).

そして、アイコン関連情報送信部１１１は、被介護者端末２−２に、抽出した操作情報付アイコン群のアイコン関連情報を送信する（Ｓ１１１）。そしてＳ１００に戻る。   And the icon related information transmission part 111 transmits the icon related information of the extracted icon group with operation information to the care receiver terminal 2-2 (S111). Then, the process returns to S100.

一方、アイコン関連情報送信部１１１は、操作情報付アイコンの操作情報に関連情報が登録されていない場合（Ｓ１０９でＮＯ）、当該操作情報にアイコンツリー情報が登録されているか否かを判定する（Ｓ１１２）。   On the other hand, when related information is not registered in the operation information of the icon with operation information (NO in S109), the icon related information transmission unit 111 determines whether icon tree information is registered in the operation information ( S112).

具体的には、被介護者端末２−２から送られてきた操作情報である操作情報付アイコン番号を基に、アイコン関連情報記憶部１０６のフィールド１０６２を検索して、一致するレコード１０６０を特定する。そして、特定したレコード１０６０のフィールド１０６７にアイコンツリーの番号が登録されているか否かを判定する（Ｓ１１２）。   Specifically, based on the icon number with operation information, which is operation information sent from the care receiver terminal 2-2, the field 1062 of the icon related information storage unit 106 is searched to identify the matching record 1060. To do. Then, it is determined whether or not the icon tree number is registered in the field 1067 of the specified record 1060 (S112).

アイコン関連情報送信部１１１は、当該操作情報に対応するレコード１０６０に、アイコンツリー情報が登録されている場合（Ｓ１１２でＹＥＳ）、そのアイコンツリーの番号を基に、アイコン関連情報記憶部１０６のフィールド１０６１を検索し、一致するレコード１０６０（複数有）を特定して、操作情報付アイコン群を抽出する（Ｓ１１３）
そして、アイコン関連情報送信部１１１は、当該操作情報の送信元ディスプレイ付き通信端末２に抽出した操作情報付アイコン群に対応する全てのアイコンを送信する（Ｓ１１４）。そして、Ｓ１００に戻る。 When the icon tree information is registered in the record 1060 corresponding to the operation information (YES in S112), the icon related information transmission unit 111 is a field of the icon related information storage unit 106 based on the icon tree number. 1061 is searched, the matching record 1060 (plurality) is specified, and the icon group with operation information is extracted (S113).
Then, the icon-related information transmission unit 111 transmits all icons corresponding to the extracted operation information-attached icon group to the communication terminal 2 with a display from which the operation information is transmitted (S114). Then, the process returns to S100.

一方、アイコン関連情報送信部１１１は、操作情報付アイコンの操作情報に、アイコンツリー情報が関連付けられていない場合（Ｓ１１２でＮＯ）、被介護者端末２−２が通信中の相手である介護者端末２−１に当該操作情報を送信する（Ｓ１１５）。そしてＳ１００に戻る。   On the other hand, when the icon tree information is not associated with the operation information of the icon with operation information (NO in S112), the icon related information transmission unit 111 is the caregiver with whom the care receiver terminal 2-2 is communicating. The operation information is transmitted to the terminal 2-1 (S115). Then, the process returns to S100.

図８は、本発明のアイコン送信サーバ３と介護者通信端末２−１と被介護者通信端末２−２の動作を示すシーケンス図である。介護者端末２−１からの接続要求としての発信動作は、発信操作（Ｓ８０１）により電話サーバ１へ発信指示（Ｓ８０２）を行う。電話サーバ１は、アイコン送信サーバ３に発信者の電話番号を通知するために発信者通知（Ｓ８０３）を行う。電話サーバ１は、被介護者端末２−２に対して着信（Ｓ８０４）表示を行い、被介護者端末２−２の応答操作（Ｓ８０５）で応答（Ｓ８０６）信号が電話サーバ１へ送られる。電話サーバ１は、介護者端末２−１へ応答（Ｓ８０７）信号を送信する。あわせて電話サーバ１は、アイコン送信サーバ３に応答者の電話番号を通知するために応答者通知（Ｓ８０８）を行う。   FIG. 8 is a sequence diagram showing operations of the icon transmission server 3, the caregiver communication terminal 2-1, and the care receiver communication terminal 2-2 of the present invention. In the transmission operation as a connection request from the care giver terminal 2-1, a transmission instruction (S802) is issued to the telephone server 1 by a transmission operation (S801). The telephone server 1 performs caller notification (S803) in order to notify the icon transmission server 3 of the caller's telephone number. The telephone server 1 displays an incoming call (S804) on the care receiver terminal 2-2, and a response (S806) signal is sent to the telephone server 1 in response operation (S805) of the care receiver terminal 2-2. The telephone server 1 transmits a response (S807) signal to the care giver terminal 2-1. In addition, the telephone server 1 performs a responder notification (S808) to notify the icon transmission server 3 of the telephone number of the responder.

次に、介護端末２−１からの音声信号（Ｓ８０９）は、アイコン送信サーバ３に送られる。アイコン送信サーバ３は、介護者端末２−１から受信した音声信号を基に、アイコン記憶部１０５を検索して、該当のアイコンを抽出（Ｓ８１０）する。   Next, the audio signal (S809) from the care terminal 2-1 is sent to the icon transmission server 3. The icon transmission server 3 searches the icon storage part 105 based on the audio | voice signal received from the caregiver terminal 2-1, and extracts a corresponding icon (S810).

アイコン送信サーバ３は、被介護者端末２−２へアイコンを送信（Ｓ８１１）し、被介護者端末２−２のディスプレイ２０６へアイコンを表示（Ｓ８１２）する。またあわせてアイコン送信サーバ３は、被介護者端末２−２へ送信した操作情報を介護者端末２−１でも確認できるようにアイコンを送信（Ｓ８１３）し、通信端末２−１のディスプレイ２０６へ選択したアイコンを表示（Ｓ８１４）する。   The icon transmission server 3 transmits an icon to the care receiver terminal 2-2 (S811), and displays the icon on the display 206 of the care receiver terminal 2-2 (S812). In addition, the icon transmission server 3 transmits an icon (S813) so that the operation information transmitted to the care receiver terminal 2-2 can also be confirmed by the caregiver terminal 2-1 (S813), and displays the icon on the display 206 of the communication terminal 2-1. The selected icon is displayed (S814).

被介護者端末２−２でユーザがアイコン選択操作（Ｓ８１５）を行うと、被介護者端末２−２からアイコン送信サーバ３へ選択した操作情報の送信（Ｓ８１６）を行う。アイコン送信サーバ３は、介護者端末２−１に対しても同様に選択した操作情報の送信（Ｓ８１７）を行う。介護者端末２−１は、被介護者端末２−２が選択した操作情報に従い選択アイコン表示（Ｓ８１８）を行う。   When the user performs an icon selection operation (S815) on the care receiver terminal 2-2, the selected operation information is transmitted from the care receiver terminal 2-2 to the icon transmission server 3 (S816). The icon transmission server 3 transmits the selected operation information to the caregiver terminal 2-1 in the same manner (S817). The care giver terminal 2-1 performs a selection icon display (S818) according to the operation information selected by the care receiver terminal 2-2.

尚、本実施例では、アイコン送信サーバ３が、介護者端末２−１と被介護者端末２−２の間の音声信号および選択された操作情報を変換してそれぞれのディスプレイ２０６に表示する説明になっているが、本願はこれに限定しない。例えば、アイコン送信サーバ３の上述の機能の一部または全てを介護者端末２−１または被介護者端末２−２に具備させるようにしてもよい。   In the present embodiment, the icon transmission server 3 converts the audio signal between the care giver terminal 2-1 and the care receiver terminal 2-2 and the selected operation information and displays the converted operation information on each display 206. However, the present application is not limited to this. For example, part or all of the above-described functions of the icon transmission server 3 may be provided in the care giver terminal 2-1 or the care receiver terminal 2-2.

１ 電話サーバ
２ ディスプレイ付き通信端末
３ アイコン送信サーバ
４ ネットワーク
５ パソコン
１００ ネットワークインタフェース部
１０１ 音声信号受信部
１０２ 音声認識テキスト変換部
１０３ 文書解析部
１０４ 操作情報付アイコン群検索部
１０５ アイコン記憶部
１０６ アイコン関連情報記憶部
１０７ ユーザデータ管理部
１０８ アイコン関連情報登録部
１０９ ユーザデータ送信部
１１０ アイコン送信部
１１１ アイコン関連情報送信部
１１２ 操作情報受信部
２００ ネットワークインタフェース部
２０１ ＩＰ電話処理部
２０２ スピーカ
２０３ マイク
２０４ 音声信号送信部
２０５ 端末操作検出部
２０６ ディスプレイ
２０７ アイコン操作制御部
２０８ 操作情報送信部
２０９ アイコン関連情報受信部

DESCRIPTION OF SYMBOLS 1 Telephone server 2 Communication terminal with a display 3 Icon transmission server 4 Network 5 Personal computer 100 Network interface part 101 Voice signal receiving part 102 Voice recognition text conversion part 103 Document analysis part 104 Icon group search part 105 with operation information Icon storage part 106 Icon relation Information storage unit 107 User data management unit 108 Icon related information registration unit 109 User data transmission unit 110 Icon transmission unit 111 Icon related information transmission unit 112 Operation information reception unit 200 Network interface unit 201 IP phone processing unit 202 Speaker 203 Microphone 204 Audio signal Transmission unit 205 Terminal operation detection unit 206 Display 207 Icon operation control unit 208 Operation information transmission unit 209 Icon related information reception unit

Claims (1)

意思の伝達に係る多数のデザインのアイコン画像を表示し、選択された前記アイコン画像に係る情報を通信中の相手装置へ送信する通信装置であって、
前記相手装置から質問に係る音声信号を受信した場合、または自通信装置が備える音声入力部から音声信号が入力された場合に、前記音声信号を処理して文字列に変換し、前記変換した文字列を解析して１以上の単語または語句または文節を含む言葉情報を抽出する言葉情報抽出手段と、
複数の言葉情報と前記デザインが異なる複数のアイコン画像を対応付けて記憶するアイコン情報記憶手段と、
前記アイコン情報記憶手段を参照し、前記言葉情報抽出手段が抽出した言葉情報に対応する１以上のアイコン画像を自通信装置が備える表示部に表示する、または前記１以上のアイコン画像もしくは当該アイコン画像に対応するコード情報を前記相手装置へ送信するアイコン画像表示送信手段と、
前記表示した１以上のアイコン画像のいずれかを選択する選択情報を自通信装置が備える入力部から入力された場合、または前記１以上のアイコン画像を送信した相手装置から前記アイコン画像のいずれかを選択する選択情報を受信した場合に、前記選択されたアイコン画像に対応する言葉情報を含む回答情報を生成し、前記生成した回答情報を前記相手装置へ送信する、または前記表示部に表示する回答情報送信表示手段と、を有することを特徴とするアイコンを介して会話する通信装置。 A communication device that displays icon images of a large number of designs related to communication of intention and transmits information related to the selected icon image to a communicating partner device,
When a voice signal related to a question is received from the counterpart device or when a voice signal is input from a voice input unit included in the communication device, the voice signal is processed and converted into a character string, and the converted character Word information extraction means for analyzing the sequence and extracting word information including one or more words or phrases or phrases;
Icon information storage means for storing a plurality of word information and a plurality of icon images having different designs in association with each other;
Refer to the icon information storage means, and display one or more icon images corresponding to the word information extracted by the word information extraction means on a display unit included in the own communication device, or the one or more icon images or the icon image Icon image display transmitting means for transmitting code information corresponding to the other device,
When selection information for selecting any one of the displayed one or more icon images is input from an input unit included in the own communication device, or one of the icon images is transmitted from a partner device that has transmitted the one or more icon images. When the selection information to be selected is received, the reply information including the word information corresponding to the selected icon image is generated, and the generated reply information is transmitted to the partner apparatus or displayed on the display unit And a communication device for conversation via an icon, characterized by comprising: an information transmission display means.
JP2013243849A 2013-11-26 2013-11-26 Communication apparatus making conversation through icon Pending JP2015103992A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013243849A JP2015103992A (en) 2013-11-26 2013-11-26 Communication apparatus making conversation through icon

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013243849A JP2015103992A (en) 2013-11-26 2013-11-26 Communication apparatus making conversation through icon

Publications (2)

Publication Number Publication Date
JP2015103992A true JP2015103992A (en) 2015-06-04
JP2015103992A5 JP2015103992A5 (en) 2016-09-15

Family

ID=53379366

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013243849A Pending JP2015103992A (en) 2013-11-26 2013-11-26 Communication apparatus making conversation through icon

Country Status (1)

Country Link
JP (1) JP2015103992A (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08317441A (en) * 1995-05-16 1996-11-29 Casio Comput Co Ltd Receiver
JP2005065252A (en) * 2003-07-29 2005-03-10 Fuji Photo Film Co Ltd Cell phone
JP2005091463A (en) * 2003-09-12 2005-04-07 Toshiba Corp Information processing device
JP2005242790A (en) * 2004-02-27 2005-09-08 Nomura Research Institute Ltd Display data creation device, display data creation method, and display data creation program for portable terminal
US20090048840A1 (en) * 2007-08-13 2009-02-19 Teng-Feng Lin Device for converting instant message into audio or visual response

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08317441A (en) * 1995-05-16 1996-11-29 Casio Comput Co Ltd Receiver
JP2005065252A (en) * 2003-07-29 2005-03-10 Fuji Photo Film Co Ltd Cell phone
JP2005091463A (en) * 2003-09-12 2005-04-07 Toshiba Corp Information processing device
JP2005242790A (en) * 2004-02-27 2005-09-08 Nomura Research Institute Ltd Display data creation device, display data creation method, and display data creation program for portable terminal
US20090048840A1 (en) * 2007-08-13 2009-02-19 Teng-Feng Lin Device for converting instant message into audio or visual response

Similar Documents

Publication Publication Date Title
CN114697452A (en) Voice interaction for accessing calling functionality of companion device at primary device
US9723149B2 (en) Assistant redirection for customer service agent processing
CN107924313A (en) Distributed personal assistant
US20150253973A1 (en) Reminder generating method and a mobile electronic device using the same
US8331900B2 (en) Method and system for adding information to an emergency call
JP6719072B2 (en) Customer service device, service method and service system
RU2639685C2 (en) Method and device for information processing
Paredes et al. SOSPhone: a mobile application for emergency calls
KR20140082440A (en) Apparatas and method for managing a contact information of extracting a transmition and reception information in an electronic device
KR20130108173A (en) Question answering system using speech recognition by radio wire communication and its application method thereof
JP6432434B2 (en) Nursing care support device using conversational voice
JP2016006607A (en) Interactive communication system, terminal device, and program
JP2014232258A (en) Coordination business supporting device, method and program
CN110097883B (en) Voice interaction for accessing calling functionality of companion device at primary device
CN105376143B (en) A kind of method and device identifying identity of the sender
WO2013172639A1 (en) System and method for analyzing experience in real time
KR20100018298A (en) Social network system based on locational and societal relation-aware and method therof
JP6534171B2 (en) Call support system
KR20210087287A (en) Voice ordering system based on Artificial Intelligence, and method thereof
JP2015103992A (en) Communication apparatus making conversation through icon
US20090271378A1 (en) Point to multi-point medical communication matrix
JP2005109782A (en) Cti server, recording medium, and support system corresponding to telephone
CN107846347A (en) A kind of Content of Communication processing method, device and electronic equipment
WO2017072510A1 (en) Communication system
JP2008160492A (en) Number guidance system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160729

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160802

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170718

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180129