JP2011077860A - Communication terminal device, information control method, and control program - Google Patents
Communication terminal device, information control method, and control program Download PDFInfo
- Publication number
- JP2011077860A JP2011077860A JP2009227705A JP2009227705A JP2011077860A JP 2011077860 A JP2011077860 A JP 2011077860A JP 2009227705 A JP2009227705 A JP 2009227705A JP 2009227705 A JP2009227705 A JP 2009227705A JP 2011077860 A JP2011077860 A JP 2011077860A
- Authority
- JP
- Japan
- Prior art keywords
- information
- display
- image information
- communication terminal
- terminal device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
本発明は、他の通信端末装置との間で情報の送受信と通話ができる通信端末装置、通信制御方法、制御プログラムに関する。 The present invention relates to a communication terminal device, a communication control method, and a control program capable of transmitting and receiving information and communicating with other communication terminal devices.
従来、電話回線を介して他の通信端末装置との間で、お互いの表示画面に共通の画像を表示させながら通話することができる通信端末装置が知られている。さらに、特許文献１に記載の情報通信端末では、通話者の音声情報から感情を自動的に推測して、推測した感情に応じた顔画像を表示させることができる技術も開発されている。 2. Description of the Related Art Conventionally, there is known a communication terminal device that can make a call with another communication terminal device via a telephone line while displaying a common image on each other's display screen. Furthermore, in the information communication terminal described in Patent Document 1, a technology has been developed that can automatically estimate an emotion from voice information of a caller and display a face image corresponding to the estimated emotion.
しかしながら、上述の特許文献１に記載の装置では、通話者の感情を検知して、感情に応じた顔画像を表示することで、通話者同士の会話を支援できるようになっているが、会話中に話題が乏しくなり会話が途切れるような場合では、会話を支援することができないという課題がある。 However, in the apparatus described in Patent Document 1 described above, the conversation between the callers can be supported by detecting the caller's emotion and displaying a face image corresponding to the emotion. There is a problem that the conversation cannot be supported when the topic becomes scarce and the conversation is interrupted.
本発明は、上記課題を解決するためになされたものであり、利用者が電話回線を介した通話手段にて通話中に、利用者の音声情報に基づいて、表示手段に表示する画像情報の表示条件を制御することで、会話の支援を行うことができる通信端末装置を提供することを目的とする。 The present invention has been made in order to solve the above-described problem, and the image information to be displayed on the display unit is displayed based on the voice information of the user during a call using the call unit via the telephone line. It is an object of the present invention to provide a communication terminal device that can support conversation by controlling display conditions.
上記目的を達成するために、請求項１に係る発明の通信端末装置は、電話回線を介して他拠点の装置と通話を行う通話手段と、複数の画像情報を切替えながら表示を制御する表示制御手段とを備えた通信端末装置において、前記画像情報を表示する表示領域を備えた表示手段と、利用者が前記通話手段にて他拠点の前記通信端末装置と通話中に、前記表示制御手段により表示している前記画像情報を、他拠点の前記表示手段に表示するように前記画像情報と連携して表示させる連携手段と、前記通話手段にて行われる前記利用者の通話を音声情報として取得し、前記音声情報が所定条件になったかどうかを判断する音声情報判断手段と、前記音声情報判断手段により前記音声情報が前記所定条件になったと判断した場合、前記連携手段により連携して表示している前記画像情報の表示条件を変更する表示条件変更手段とを備えることを特徴とする。 In order to achieve the above object, a communication terminal device according to the first aspect of the present invention is a communication means for making a call with a device at another site via a telephone line, and a display control for controlling display while switching a plurality of pieces of image information. A display means having a display area for displaying the image information, and the display control means during a call with the communication terminal apparatus at another base by the call means. Acquiring the user's call made by the calling means as voice information, displaying the image information being displayed in cooperation with the image information so as to be displayed on the display means at another base And if the voice information is determined by the voice information determination means to determine whether the voice information has reached the predetermined condition, the cooperation means Characterized in that it comprises a display condition changing means for changing the mobile to display conditions of the image information displayed.
請求項２に係る発明の通信端末装置では、請求項１に記載の発明の構成に加え、前記音声情報判断手段は、前記音声情報に会話が無い状態である無音状態が所定時間以上含まれているかどうかを前記所定条件として判断し、前記表示条件変更手段は、前記音声情報判断手段により、前記無音状態が所定時間以上含まれていると判断された場合、前記表示手段に表示されている前記画像情報を別の画像情報に切替えることを特徴とする。 In the communication terminal device according to a second aspect of the invention, in addition to the configuration of the first aspect of the invention, the voice information judging means includes a silent state in which the voice information has no conversation for a predetermined time or more. The display condition changing means is displayed on the display means when the sound information determining means determines that the silent state is included for a predetermined time or more. The image information is switched to another image information.
請求項３に係る発明の通信端末装置では、請求項１に記載の発明の構成に加え、前記通信端末装置は、前記画像情報と関連する情報である付属情報を、前記画像情報と対応付けて記憶する付属情報記憶手段と、前記通話手段より取得した前記音声情報を文字情報に変換する変換手段とをさらに備え、前記音声情報判断手段は、前記付属情報記憶手段に記憶されている前記付属情報が、前記変換手段により変換された前記文字情報に含まれているかどうかを前記所定条件として判断することを特徴とする。 In the communication terminal device according to a third aspect of the invention, in addition to the configuration of the invention according to the first aspect, the communication terminal device associates attached information, which is information related to the image information, with the image information. Attached information storage means for storing, and a conversion means for converting the voice information acquired from the call means into character information, wherein the voice information determining means is stored in the attached information storage means. Is determined as the predetermined condition whether the character information converted by the conversion means is included in the character information.
請求項４に係る発明の通信端末装置では、請求項３に記載の発明の構成に加え、前記表示条件変更手段は、前記音声情報判断手段により前記所定条件であると判断され、かつ前記音声情報に含まれていると判断された前記付属情報が、前記連携手段にて連携して表示している前記画像情報の前記付属情報と一致する場合、表示している前記画像情報を別の画像情報に切替えるまでの時間を所定時間長くすることを特徴とする。 In the communication terminal device according to a fourth aspect of the invention, in addition to the configuration of the third aspect of the invention, the display condition changing means is determined by the voice information judging means to be the predetermined condition, and the voice information If the attached information determined to be included in the image matches the attached information of the image information displayed in cooperation with the cooperation means, the displayed image information is changed to another image information. The time until switching to is increased by a predetermined time.
請求項５に係る発明の通信端末装置では、請求項３乃至４のいずれかに記載の発明の構成に加え、前記表示条件変更手段は、前記音声情報判断手段により前記所定条件であると判断され、かつ前記音声情報に含まれていると判断された前記付属情報が、前記連携手段にて連携して表示している前記画像情報の前記付属情報と一致しない場合、前記音声情報判断手段により前記所定条件であると判断され、かつ前記音声情報に含まれていると判断された前記付属情報に対応した前記画像情報を前記付属情報記憶手段から抽出し、抽出された前記画像情報に表示を切替えることを特徴とする。 In the communication terminal device according to a fifth aspect of the invention, in addition to the configuration of the invention according to any of the third to fourth aspects, the display condition changing means is determined by the voice information judging means to be the predetermined condition. When the auxiliary information determined to be included in the audio information does not match the auxiliary information of the image information displayed in cooperation with the cooperation unit, the audio information determination unit The image information corresponding to the auxiliary information determined to be a predetermined condition and included in the audio information is extracted from the auxiliary information storage means, and the display is switched to the extracted image information. It is characterized by that.
請求項６に係る発明の通信端末装置では、請求項５に記載の発明の構成に加え、前記表示条件変更手段は、前記付属情報に対応した前記画像情報を前記付属情報記憶手段から複数抽出した場合、抽出した複数の前記画像情報のみを切替えながら表示することを特徴とする。 In the communication terminal device of the invention according to claim 6, in addition to the configuration of the invention according to claim 5, the display condition changing means extracts a plurality of the image information corresponding to the attached information from the attached information storage means. In this case, only the plurality of extracted image information are displayed while being switched.
請求項７に係る発明の通信端末装置では、請求項６に記載の発明の構成に加え、前記音声情報判断手段は、前記音声情報の音量を計測する音量計測手段を備え、前記音量計測手段により計測された前記音声情報の音量が所定割合以上変化した場合、前記表示条件変更手段は、前記付属情報記憶手段から抽出した複数の前記画像情報の別の画像情報に表示を切替えることを特徴とする。 In a communication terminal device according to a seventh aspect of the present invention, in addition to the configuration of the sixth aspect of the invention, the voice information determination unit includes a volume measurement unit that measures a volume of the voice information. When the volume of the measured audio information changes by a predetermined ratio or more, the display condition changing unit switches the display to another image information of the plurality of image information extracted from the attached information storage unit. .
請求項８に係る発明の通信端末装置では、請求項３乃至７のいずれかに記載の発明の構成に加え、前記表示条件変更手段は、前記画像情報の表示を切替えてから所定時間以内に、前記音声情報判断手段により前記所定条件であると判断され、かつ前記音声情報に含まれていると判断された前記付属情報が切替え前の前記画像情報に対応した前記付属情報と一致する場合、切替え前の前記画像情報に表示を戻すことを特徴とする。 In the communication terminal device according to an eighth aspect of the invention, in addition to the configuration of the invention according to any one of the third to seventh aspects, the display condition changing means is within a predetermined time after switching the display of the image information. When the audio information determining means determines that the predetermined condition is satisfied and the auxiliary information determined to be included in the audio information matches the auxiliary information corresponding to the image information before switching, switching is performed. The display is returned to the previous image information.
請求項９に係る発明においては、電話回線を介して他拠点の装置と通話を行う通話手段と、複数の画像情報を切替えながら表示を制御する表示制御手段とを備えた通信端末装置にて処理する通信制御方法であって、利用者が前記通話手段にて他拠点の前記通信端末装置と通話中に、前記表示制御手段により、表示領域を備えた表示手段に表示している前記画像情報を、他拠点の前記表示手段に表示するように前記画像情報と連携して表示させる連携ステップと、前記通話手段にて行われる前記利用者の通話を音声情報として取得し、前記音声情報が所定条件になったかどうかを判断する音声情報判断ステップと、前記音声情報判断ステップにより前記音声情報が前記所定条件になったと判断した場合、前記連携ステップにより連携して表示している前記画像情報の表示条件を変更する表示条件変更ステップとを処理することを特徴とする。 In the invention according to claim 9, processing is performed by a communication terminal device comprising a call means for making a call with a device at another base via a telephone line, and a display control means for controlling display while switching a plurality of pieces of image information. A communication control method, wherein the display control means displays the image information displayed on the display means having a display area while the user is talking with the communication terminal device at another base using the call means. A step of displaying in cooperation with the image information so as to be displayed on the display means at another site, and acquiring the user's call made by the calling means as voice information, wherein the voice information is a predetermined condition A voice information determination step for determining whether or not the voice information has been satisfied, and when the voice information determination step determines that the voice information has met the predetermined condition, Characterized by processing a display condition changing step of changing the display condition of the image information are.
請求項１０に係る発明においては、電話回線を介して他拠点の装置と通話を行う通話手段と、複数の画像情報を切替えながら表示を制御する表示制御手段とを備えた通信端末装置を実行させる制御プログラムであって、利用者が前記通話手段にて他拠点の前記通信端末装置と通話中に、前記表示制御手段により、表示領域を備えた表示手段に表示している前記画像情報を、他拠点の前記表示手段に表示するように前記画像情報と連携して表示させる連携ステップと、前記通話手段にて行われる前記利用者の通話を音声情報として取得し、前記音声情報が所定条件になったかどうかを判断する音声情報判断ステップと、前記音声情報判断ステップにより前記音声情報が前記所定条件になったと判断した場合、前記連携ステップにより連携して表示している前記画像情報の表示条件を変更する表示条件変更ステップとを前記通信端末装置で実行させることを特徴とする。 In a tenth aspect of the invention, a communication terminal device is provided that includes a calling unit that makes a call with a device at another site via a telephone line, and a display control unit that controls display while switching a plurality of pieces of image information. A control program, wherein the image information displayed on the display means having a display area is displayed by the display control means while the user is talking with the communication terminal device at another base using the call means. The cooperation step of displaying in cooperation with the image information to be displayed on the display means of the base, and the user's call performed by the calling means is acquired as voice information, and the voice information becomes a predetermined condition. A voice information judgment step for judging whether or not the voice information has met the predetermined condition in the voice information judgment step; And a display condition changing step of changing the display condition of the image information you are characterized by executing with the communication terminal device.
請求項１に係る発明の通信端末装置では、電話回線を介して他拠点の装置と通話を行う通話手段と、複数の画像情報を切替えながら表示を制御する表示制御手段とを備えた通信端末装置において、前記画像情報を表示する表示領域を備えた表示手段と、利用者が前記通話手段にて他拠点の前記通信端末装置と通話中に、前記表示制御手段により表示している前記画像情報を、他拠点の前記表示手段に表示するように前記画像情報と連携して表示させる。また、前記利用者の通話を音声情報として取得し、前記音声情報が所定条件になったかどうかを判断する。そして前記音声情報が前記所定条件になったと判断した場合、連携して表示している前記画像情報の表示条件を変更する。よって、利用者が電話回線を介した通話手段にて通話中に、利用者の音声情報に基づいて、表示手段に表示する画像情報の表示条件を変更制御することができる。したがって、通話利用者はお互いに、会話に基づいて表示制御された画像情報を確認することで、話題を変えながら円滑な会話を行うことができる。 In the communication terminal device according to the first aspect of the present invention, there is provided a communication terminal device comprising a call means for making a call with a device at another site via a telephone line and a display control means for controlling display while switching a plurality of pieces of image information. The display means having a display area for displaying the image information, and the image information displayed by the display control means while the user is talking with the communication terminal device at another base by the call means. Then, the image information is displayed in cooperation with the image information so as to be displayed on the display means at another base. Further, the user's call is acquired as voice information, and it is determined whether or not the voice information satisfies a predetermined condition. When it is determined that the audio information has met the predetermined condition, the display condition of the image information displayed in cooperation is changed. Therefore, it is possible to change and control the display condition of the image information displayed on the display unit based on the voice information of the user while the user is making a call using the call unit via the telephone line. Accordingly, the call users can perform a smooth conversation while changing the topic by confirming image information whose display is controlled based on the conversation.
請求項２に係る発明の通信端末装置では、請求項１に記載の発明の効果に加え、前記音声情報に会話が無い状態である無音状態が所定時間以上含まれているかどうかを前記所定条件として判断し、前記無音状態が所定時間以上含まれていると判断された場合、前記表示手段に表示されている前記画像情報を別の画像情報に切替える。よって、利用者の会話が所定時間の間無音状態になった場合、表示している画像情報を切替えることができるので、利用者は、切替った画像情報を見て、話題を変えながら円滑な会話をすることができる。 In the communication terminal device of the invention according to claim 2, in addition to the effect of the invention of claim 1, whether or not the voice information includes a silent state in which there is no conversation for a predetermined time or more is set as the predetermined condition. When it is determined that the silent state is included for a predetermined time or more, the image information displayed on the display means is switched to another image information. Therefore, when the user's conversation is silent for a predetermined time, the displayed image information can be switched, so that the user can see the switched image information and change the topic smoothly. I can have a conversation.
請求項３に係る発明の通信端末装置では、請求項１に記載の発明の効果に加え、前記通信端末装置は、前記画像情報と関連する情報である付属情報を、前記画像情報と対応付けて記憶する。また取得した前記音声情報を文字情報に変換する。そして記憶されている前記付属情報が、変換された前記文字情報に含まれているかどうかを前記所定条件として判断する。よって、利用者による会話の音声情報を文字情報に変換し、変換された文字情報に対応付けられている画像情報を表示手段に表示できるので、利用者は、会話の内容に適した画像情報を見ながら、円滑な会話をすることができる。 In the communication terminal device of the invention according to claim 3, in addition to the effect of the invention according to claim 1, the communication terminal device associates attached information, which is information related to the image information, with the image information. Remember. The acquired voice information is converted into character information. Then, it is determined as the predetermined condition whether the stored auxiliary information is included in the converted character information. Therefore, since the voice information of the conversation by the user can be converted into character information, and the image information associated with the converted character information can be displayed on the display means, the user can select image information suitable for the content of the conversation. You can have a smooth conversation while watching.
請求項４に係る発明の通信端末装置では、請求項３に記載の発明の効果に加え、前記所定条件であると判断され、かつ前記音声情報に含まれていると判断された前記付属情報が、連携して表示している前記画像情報の前記付属情報と一致する場合、表示している前記画像情報を別の画像情報に切替えるまでの時間を所定時間長くする。よって、利用者による会話の内容に適している画像情報をより長い時間表示することができるので、利用者は、会話に適した画像情報をより長い時間見ながら、円滑な会話をすることができる。 In the communication terminal device of the invention according to claim 4, in addition to the effect of the invention according to claim 3, the auxiliary information determined to be the predetermined condition and included in the audio information When the image information displayed in cooperation with the attached information matches, the time until the displayed image information is switched to another image information is increased by a predetermined time. Therefore, since the image information suitable for the content of the conversation by the user can be displayed for a longer time, the user can have a smooth conversation while looking at the image information suitable for the conversation for a longer time. .
請求項５に係る発明の通信端末装置では、請求項３乃至４のいずれかに記載の発明の効果に加え、前記音声情報に含まれていると判断された前記付属情報が、連携して表示している前記画像情報の前記付属情報と一致しない場合、前記所定条件であると判断され、かつ前記音声情報に含まれていると判断された前記付属情報に対応した前記画像情報を抽出し、抽出された前記画像情報に表示を切替える。よって、利用者による会話に適していない画像情報が表示されている場合、会話に適した画像情報に表示を切替えることができるので、利用者は、会話に適した画像情報を見ながら、円滑な会話をすることができる。 In the communication terminal device of the invention according to claim 5, in addition to the effect of the invention according to any one of claims 3 to 4, the auxiliary information determined to be included in the audio information is displayed in cooperation. The image information corresponding to the attached information, which is determined to be the predetermined condition and is determined to be included in the audio information, when the image information does not match the attached information, The display is switched to the extracted image information. Therefore, when image information that is not suitable for conversation by the user is displayed, the display can be switched to image information suitable for conversation, so that the user can smoothly view the image information suitable for conversation. I can have a conversation.
請求項６に係る発明の通信端末装置では、請求項５に記載の発明の効果に加え、前記付属情報に対応した前記画像情報を複数抽出した場合、抽出した複数の前記画像情報のみを切替えながら表示することを特徴とする。よって、利用者の会話に適した画像情報が複数ある場合は、それらの画像情報のみで表示手段へ表示する画像情報を切替えるようにできるので、利用者は、会話に適した複数の画像情報を見ながら、より円滑な会話をすることができる。 In the communication terminal device of the invention according to claim 6, in addition to the effect of the invention according to claim 5, when a plurality of the image information corresponding to the attached information is extracted, only the plurality of the extracted image information are switched. It is characterized by displaying. Therefore, when there are a plurality of image information suitable for the user's conversation, the image information to be displayed on the display means can be switched only by the image information, so the user can select a plurality of image information suitable for the conversation. You can have a smoother conversation while watching.
請求項７に係る発明の通信端末装置では、請求項６に記載の発明の効果に加え、前記音声情報の音量を計測する。計測された前記音声情報の音量が所定割合以上変化した場合、前記付属情報記憶手段から抽出した複数の前記画像情報の別の画像情報に表示を切替える。よって、利用者による会話の音量が変化した場合、つまり会話の雰囲気が盛り下がってきた状態になった場合、会話に適した別の画像情報に表示を切替えることができるので、利用者は、会話に適した画像情報を見ながら、円滑に会話をすることができる。 In the communication terminal device of the invention according to claim 7, in addition to the effect of the invention of claim 6, the volume of the audio information is measured. When the volume of the measured audio information changes by a predetermined ratio or more, the display is switched to another image information of the plurality of image information extracted from the attached information storage means. Therefore, when the volume of the conversation by the user changes, that is, when the conversation atmosphere has been reduced, the display can be switched to another image information suitable for the conversation. It is possible to talk smoothly while looking at image information suitable for the situation.
請求項８に係る発明の通信端末装置では、請求項３乃至７のいずれかに記載の発明の効果に加え、前記画像情報の表示を切替えてから所定時間以内に、前記所定条件であると判断され、かつ前記音声情報に含まれていると判断された前記付属情報が切替え前の前記画像情報に対応した前記付属情報と一致する場合、切替え前の前記画像情報に表示を戻す。よって、利用者の会話の内容が、現在表示している画像情報より、切替え前の画像情報に適していると判断した場合、切替え前の画像情報に表示を切替えることができるので、利用者は、より会話に適した画像を見ながら、円滑な会話をすることができる。 In the communication terminal device of the invention according to claim 8, in addition to the effect of the invention according to any one of claims 3 to 7, it is determined that the predetermined condition is satisfied within a predetermined time after the display of the image information is switched. If the attached information determined to be included in the audio information matches the attached information corresponding to the image information before switching, the display is returned to the image information before switching. Therefore, when it is determined that the content of the user's conversation is more suitable for the image information before the switching than the image information currently displayed, the display can be switched to the image information before the switching. It is possible to have a smooth conversation while looking at an image more suitable for conversation.
請求項９に係る発明の通信制御方法では、電話回線を介して他拠点の装置と通話を行う通話手段と、複数の画像情報を切替えながら表示を制御する表示制御手段とを備えた通信端末装置において、前記画像情報を表示する表示領域を備えた表示手段と、利用者が前記通話手段にて他拠点の前記通信端末装置と通話中に、前記表示制御手段により表示している前記画像情報を、他拠点の前記表示手段に表示するように前記画像情報と連携して表示させる。また、前記利用者の通話を音声情報として取得し、前記音声情報が所定条件になったかどうかを判断する。そして前記音声情報が前記所定条件になったと判断した場合、連携して表示している前記画像情報の表示条件を変更する。よって、利用者が電話回線を介した通話手段にて通話中に、利用者の音声情報に基づいて、表示手段に表示する画像情報の表示条件を変更制御することができる。したがって、通話利用者はお互いに、会話に基づいて表示制御された画像情報を確認することで、話題を変えながら円滑な会話を行うことができる。 In the communication control method according to the ninth aspect of the present invention, a communication terminal device comprising a call means for making a call with a device at another site via a telephone line, and a display control means for controlling display while switching a plurality of pieces of image information. The display means having a display area for displaying the image information, and the image information displayed by the display control means while the user is talking with the communication terminal device at another base by the call means. Then, the image information is displayed in cooperation with the image information so as to be displayed on the display means at another base. Further, the user's call is acquired as voice information, and it is determined whether or not the voice information satisfies a predetermined condition. When it is determined that the audio information has met the predetermined condition, the display condition of the image information displayed in cooperation is changed. Therefore, it is possible to change and control the display condition of the image information displayed on the display unit based on the voice information of the user while the user is making a call using the call unit via the telephone line. Accordingly, the call users can perform a smooth conversation while changing the topic by confirming image information whose display is controlled based on the conversation.
請求項１０に係る発明の制御プログラムでは、電話回線を介して他拠点の装置と通話を行う通話手段と、複数の画像情報を切替えながら表示を制御する表示制御手段とを備えた通信端末装置において、前記画像情報を表示する表示領域を備えた表示手段と、利用者が前記通話手段にて他拠点の前記通信端末装置と通話中に、前記表示制御手段により表示している前記画像情報を、他拠点の前記表示手段に表示するように前記画像情報と連携して表示させる。また、前記利用者の通話を音声情報として取得し、前記音声情報が所定条件になったかどうかを判断する。そして前記音声情報が前記所定条件になったと判断した場合、連携して表示している前記画像情報の表示条件を変更する。よって、利用者が電話回線を介した通話手段にて通話中に、利用者の音声情報に基づいて、表示手段に表示する画像情報の表示条件を変更制御することができる。したがって、通話利用者はお互いに、会話に基づいて表示制御された画像情報を確認することで、話題を変えながら円滑な会話を行うことができる。 In the control program of the invention according to claim 10, in a communication terminal device comprising a call means for making a call with a device at another base via a telephone line, and a display control means for controlling display while switching a plurality of pieces of image information The display means having a display area for displaying the image information, and the image information displayed by the display control means while the user is talking with the communication terminal device at another base by the call means. The image information is displayed in cooperation with the image information so as to be displayed on the display means at another base. Further, the user's call is acquired as voice information, and it is determined whether or not the voice information satisfies a predetermined condition. When it is determined that the audio information has met the predetermined condition, the display condition of the image information displayed in cooperation is changed. Therefore, it is possible to change and control the display condition of the image information displayed on the display unit based on the voice information of the user while the user is making a call using the call unit via the telephone line. Accordingly, the call users can perform a smooth conversation while changing the topic by confirming image information whose display is controlled based on the conversation.
以下、本発明を具体化した通信端末装置の実施の形態について、図面を参照して説明する。なお、これらの図面は、本発明が採用しうる技術的特徴を説明するために用いられるものであり、記載されている装置の構成、各種処理のフローチャートなどは、それのみに限定する趣旨ではなく、単なる説明例である。 Embodiments of a communication terminal device embodying the present invention will be described below with reference to the drawings. These drawings are used for explaining the technical features that can be adopted by the present invention, and the configuration of the apparatus and the flowcharts of various processes described are not intended to be limited to the drawings. This is just an illustrative example.
まず、図１〜図３を参照して、本実施形態の概略構成１０、及び構成要素である通信端末装置４０の物理的構成、電気的構成について、順に説明する。 First, with reference to FIGS. 1-3, the physical structure of the schematic structure 10 of this embodiment and the communication terminal device 40 which is a component, and an electrical structure are demonstrated in order.
図１を参照して、本実施形態の概略構成１０について説明する。図１に示すように、通信端末装置４０が電話回線２０を介して、他の通信端末装置４０と接続されている。よって、利用者は、通信端末装置４０に相手の通信端末装置４０の電話番号を入力して発呼操作をすることにより、お互いの装置間で通話ができる状態となる。また、本実施形態の通信端末装置４０には、子機３０が備えられており、利用者は子機を用いて通話をしながら、通信端末装置４０の後述する表示画面を参照することができる。 A schematic configuration 10 of the present embodiment will be described with reference to FIG. As shown in FIG. 1, a communication terminal device 40 is connected to another communication terminal device 40 via a telephone line 20. Therefore, the user enters a state in which a call can be made between the two devices by inputting the telephone number of the other communication terminal device 40 to the communication terminal device 40 and performing a call operation. Moreover, the communication terminal device 40 of this embodiment is provided with the subunit | mobile_unit 30, and a user can refer to the display screen later mentioned of the communication terminal device 40, making a telephone call using a subunit | mobile_unit. .
次に図２を参照して、通信端末装置４０の物理的構成について説明する。本実施形態の通信端末装置４０は、図２に示すように長方形の筐体の略中央部分に表示手段４１３が備えられている。表示手段４１３は、通信端末装置４０の各種操作画面や、画像データを表示することができる。また、筐体下部には、他の通信端末装置４０と通話する時に使用する音声を入力する機器であるマイク４１１と、音声を出力する機器であるスピーカ４１２が備えられている。 Next, a physical configuration of the communication terminal device 40 will be described with reference to FIG. As shown in FIG. 2, the communication terminal device 40 according to the present embodiment includes a display unit 413 at a substantially central portion of a rectangular casing. The display unit 413 can display various operation screens and image data of the communication terminal device 40. In addition, a microphone 411 that is a device that inputs sound used when talking to another communication terminal device 40 and a speaker 412 that is a device that outputs sound are provided at the lower part of the housing.
次に図３を参照して、通信端末装置４０の電気的構成について説明する。本実施形態の通信端末装置４０は、図３に示すように、ＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３、フラッシュＲＯＭ４０４、音量計測手段４１０、マイク４１１、スピーカ４１２、表示手段４１３、操作入力手段４１４、計時手段４１５、子機通信手段４４０、通信手段４５０を備えており、これらはすべてバスで相互に接続されている。 Next, the electrical configuration of the communication terminal device 40 will be described with reference to FIG. As shown in FIG. 3, the communication terminal device 40 of this embodiment includes a CPU 401, ROM 402, RAM 403, flash ROM 404, volume measuring means 410, microphone 411, speaker 412, display means 413, operation input means 414, timing means 415, A slave unit communication unit 440 and a communication unit 450 are provided, all of which are connected to each other via a bus.
ＣＰＵ４０１は、通信端末装置４０全体の制御を司る。ＲＯＭ４０２は、通信端末装置４０の基本的な動作に必要なプログラムやそのための設定値等を記憶している。ＣＰＵ４０１は、ＲＯＭ４０２に記憶されたプログラムに従って、通信端末装置４０の動作を制御する。ＲＡＭ４０３は、各種データを一時的に記憶するための記憶装置である。また、フラッシュＲＯＭ４０４は、不揮発性の半導体メモリであり、後述する各種記憶エリアを備えている。 The CPU 401 controls the communication terminal device 40 as a whole. The ROM 402 stores programs necessary for basic operation of the communication terminal device 40, setting values for the programs, and the like. CPU 401 controls the operation of communication terminal device 40 in accordance with a program stored in ROM 402. The RAM 403 is a storage device for temporarily storing various data. The flash ROM 404 is a nonvolatile semiconductor memory and includes various storage areas described later.
マイク４１１は、利用者が通信端末装置４０を用いて電話回線を介した通話を使用する時に、利用者が発する音声情報を入力する機器である。また、スピーカ４１２は、通話相手の通信端末装置４０から取得した音声情報を出力する機器である。音量計測手段４１０は、マイク４１１を介して取得、または通話相手から取得した通話利用者の音声の音量を計測する機器である。また、上記音量計測手段４１０は、ＣＰＵ４０１が処理することで音量を算出するように代用しても良い。本実施形態の通信端末装置４０では、子機３０が備えられているが、子機３０を用いず、通信端末装置４０のマイク４１１と、スピーカ４１２を使用して通話できるようになっている。 The microphone 411 is a device that inputs voice information emitted by the user when the user uses the communication terminal device 40 to make a call via a telephone line. The speaker 412 is a device that outputs voice information acquired from the communication terminal device 40 of the other party. The volume measuring means 410 is a device that measures the volume of the voice of the call user acquired through the microphone 411 or acquired from the other party. Further, the sound volume measuring means 410 may be substituted so that the CPU 401 calculates the sound volume by processing. In the communication terminal device 40 of the present embodiment, the handset 30 is provided. However, the handset 30 can be used and a telephone call can be made using the microphone 411 of the communication terminal device 40 and the speaker 412.
表示手段４１３は、利用者が通信端末装置４０の各種操作を行うための操作画面や、他機器から取得した画像データ等を一定時間毎に表示を切替えながら再生するスライドショーとして表示する機器である。また、操作入力手段４１４は、前述の表示手段４１３に重ねて配置された汎用的なタッチパネル機器である。利用者が表示画面４１３を参照しながらタッチすると、操作入力手段４１４はタッチされた位置情報を取得することができる。また、計時手段４１５は、時間を計測する時計機能を備えた機器である。 The display unit 413 is a device that displays an operation screen for the user to perform various operations on the communication terminal device 40, image data acquired from other devices, and the like as a slide show that is played while switching display at regular intervals. In addition, the operation input unit 414 is a general-purpose touch panel device that is disposed so as to overlap the display unit 413 described above. When the user touches while referring to the display screen 413, the operation input unit 414 can acquire the touched position information. The time measuring means 415 is a device having a clock function for measuring time.
子機通信手段４４０は、通常の電話機の親機と子機間で使用されているＤＥＣＴ（Ｄｉｇｉｔａｌ Ｅｎｈａｎｃｅｄ Ｃｏｒｄｌｅｓｓ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ）規格に準じた無線通信ができる通信機器である。子機通信手段４４０を介して、利用者は、子機３０で通話ができるようになる。また、通信手段４５０は、汎用的に電話機器等に使用されている公衆電話回線と接続通信できる通信機器である。 The slave unit communication means 440 is a communication device that can perform wireless communication according to the DECT (Digital Enhanced Cordless Communications) standard used between the master unit and the slave unit of a normal telephone. The user can talk on the handset 30 via the handset communication means 440. The communication unit 450 is a communication device that can connect and communicate with a public telephone line that is generally used for telephone devices and the like.
次に図４を参照して、フラッシュＲＯＭ４０４の構成について説明する。フラッシュＲＯＭ４０４は、画像情報記憶エリア４０４１、スライドショー情報記憶エリア４０４２等で構成されている。画像情報記憶エリア４０４１には、他機器から取得した写真データ等の画像情報が付属情報と対応付けて画像情報データベース４０４１Ａとして記憶されている。スライドショー情報記憶エリア４０４２には、スライドショーで再生する画像情報のリストがスライドショー情報データベース４０４２Ａとして記憶されている。 Next, the configuration of the flash ROM 404 will be described with reference to FIG. The flash ROM 404 includes an image information storage area 4041, a slide show information storage area 4042, and the like. In the image information storage area 4041, image information such as photographic data acquired from another device is stored as an image information database 4041A in association with the attached information. In the slide show information storage area 4042, a list of image information to be reproduced in the slide show is stored as a slide show information database 4042A.
ここで、図５を参照して、画像情報データベース４０４１Ａについて説明する。画像情報データベース４０４１Ａは、画像ＩＤ、ファイル名、画像情報、付属情報の項目が対応付けて記憶されている。画像ＩＤの項目には、画像情報を識別する情報が数値情報で記憶されている。また画像ＩＤは、通信端末装置４０が画像情報を取得した時に、自動的に採番されるようになっている。ファイル名の項目には、画像情報のファイル名が記憶されている。画像情報の項目には、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＰＮＧ（Ｐｏｒｔａｂｌｅ Ｎｅｔｗｏｒｋ Ｇｒａｐｈｉｃｓ）、ＧＩＦ（Ｇｒａｐｈｉｃｓ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）等のファイル形式の画像情報が、それぞれのファイル名に対応して記憶されている。付属情報の項目には、利用者が画像情報に対して関連したキーワード情報が文字情報として複数記憶されている。キーワード情報は、利用者が通信端末装置４０に備えられたタッチパネル等の操作入力手段４１４を介して入力操作することで、入力することができるようになっている。 Here, the image information database 4041A will be described with reference to FIG. In the image information database 4041A, items of image ID, file name, image information, and attached information are stored in association with each other. In the item of image ID, information for identifying image information is stored as numerical information. The image ID is automatically numbered when the communication terminal device 40 acquires image information. The file name item stores the file name of the image information. In the item of image information, for example, image information in a file format such as JPEG (Joint Photographic Experts Group), PNG (Portable Network Graphics), GIF (Graphics Interchange Format) is stored corresponding to each file name. Yes. In the attached information item, a plurality of keyword information related to the image information by the user is stored as character information. The keyword information can be input by a user performing an input operation via operation input means 414 such as a touch panel provided in the communication terminal device 40.
次に、図６を参照しながら、スライドショー情報データベース４０４２Ａについて説明をする。スライドショー情報データベース４０４２Ａは、スライドショーＩＤと、画像ＩＤ、表示時間、キーワード検出回数の項目が対応付けて記憶されている。スライドショーＩＤは、スライドショーの情報を識別するための識別情報が記号で記憶されており、利用者により、複数の画像情報を選択してスライドショーを作成された時に自動的に採番されるようになっている。画像ＩＤの項目には、画像情報データベース４０４１Ａに記憶されている複数の画像情報の中から、スライドショーとして表示するために選択された画像情報の画像ＩＤが記憶されている。例えば、スライドショーＩＤがＬ１では、画像ＩＤ００１、００２、００３、００４が対応付けて記憶されている。よって、利用者が通信端末装置４０を操作して、スライドショーＩＤのＬ１を選択すると、画像ＩＤが００１、００２、００３、００４に対応する画像情報を、表示手段４１３にスライドショーで再生表示することができる。また、表示時間の項目には、対応する画像情報を表示してから次の画像情報に切替えるまので再生時間が秒単位の数値情報で記憶されている。例えば、画像ＩＤ００１では、表示時間が３０秒、同様に画像ＩＤ００２では、２０秒と記憶されている。この表示時間は、利用者が通信端末装置４０に備えられたタッチパネル等の操作入力手段４１４を介して入力操作することで、入力することができるようになっている。また、キーワード検出回数は、詳細な説明は後述するが、対応する画像ＩＤの画像情報が表示されている時に、利用者の音声情報に基づいて検出された回数が記憶されている。 Next, the slide show information database 4042A will be described with reference to FIG. The slide show information database 4042A stores slide show IDs, image IDs, display times, and keyword detection count items in association with each other. In the slide show ID, identification information for identifying slide show information is stored as a symbol, and a number is automatically assigned when a user selects a plurality of pieces of image information to create a slide show. ing. In the image ID item, an image ID of image information selected to be displayed as a slide show from a plurality of pieces of image information stored in the image information database 4041A is stored. For example, when the slide show ID is L1, image IDs 001, 002, 003, and 004 are stored in association with each other. Therefore, when the user operates the communication terminal device 40 and selects the slide show ID L1, the image information corresponding to the image IDs 001, 002, 003, and 004 can be reproduced and displayed on the display unit 413 as a slide show. it can. In the display time item, the reproduction time from the display of the corresponding image information to the switching to the next image information is stored as numerical information in units of seconds. For example, a display time of 30 seconds is stored for image ID001, and 20 seconds is stored for image ID002. This display time can be input by the user performing an input operation via the operation input means 414 such as a touch panel provided in the communication terminal device 40. Further, the number of keyword detections, which will be described in detail later, stores the number of times detected based on the voice information of the user when the image information of the corresponding image ID is displayed.
次に、図７を参照して、通信端末装置４０において実行される送信側処理について説明する。図７に示す処理は、ＲＯＭ４０２に記憶されたプログラムに従って、ＣＰＵ４０１が実行する。 Next, with reference to FIG. 7, the transmission side process executed in the communication terminal apparatus 40 will be described. The processing shown in FIG. 7 is executed by the CPU 401 in accordance with a program stored in the ROM 402.
図７に示す送信側処理は、通信端末装置４０の電源がＯＮにされると開始される。初めに、画像情報の送信指示が有るかどうかを判断する（Ｓ６０１）。具体的に説明すると、利用者が通信端末装置４０を操作して、画像情報データベース４０４１Ａに記憶されている画像情報の中からどれかを指定し、送信先として他の通信端末装置４０の電話番号、またはネットワークアドレス等の情報を入力して、画像情報を送信するよう操作指示があったかどうかを判断する。または、スライドショー情報データベース４０４２Ａに記憶されているスライドショーＩＤを指定して、対応する画像情報を全て指定するようにしても良い。そしてステップＳ６０１の処理で、ＣＰＵ４０１は送信指示があったと判断した場合（Ｓ６０１：ＹＥＳ）、指定された画像情報と、対応する付属情報を送信する処理を実行する（Ｓ６０２）。また、ステップＳ６０１の処理で、ＣＰＵ４０１が画像情報の送信指示が無いと判断した場合（Ｓ６０１：ＮＯ）、後述するステップＳ６０３へ進む。 7 is started when the communication terminal device 40 is turned on. First, it is determined whether there is an instruction to transmit image information (S601). More specifically, the user operates the communication terminal device 40 to designate one of the image information stored in the image information database 4041A, and the telephone number of another communication terminal device 40 as a transmission destination. Alternatively, information such as a network address is input, and it is determined whether or not there is an operation instruction to transmit image information. Alternatively, a slide show ID stored in the slide show information database 4042A may be designated so that all corresponding image information is designated. If the CPU 401 determines in the process of step S601 that there is a transmission instruction (S601: YES), the CPU 401 executes a process of transmitting the designated image information and corresponding attached information (S602). If the CPU 401 determines in the process of step S601 that there is no image information transmission instruction (S601: NO), the process proceeds to step S603 described later.
次に、ＣＰＵ４０１は、利用者の操作により電話の発呼指示があったかどうかを判断する（Ｓ６０３）。ここで言う発呼指示とは、通常の電話機での発信操作方法と同様なので図示は省略するが、相手装置の電話番号を入力し、電話の発信指示を行う操作である。ステップＳ６０３の処理で、ＣＰＵ４０１は発呼指示があったと判断した場合（Ｓ６０３：ＹＥＳ）、相手の通信端末装置４０と通話状態になるよう処理する（Ｓ６０４）。また、ステップＳ６０３の処理で、電話の発呼指示が無いと判断した場合（Ｓ６０３：ＮＯ）、ステップＳ６０１へ戻る。 Next, the CPU 401 determines whether or not a telephone call instruction has been given by the user's operation (S603). The calling instruction referred to here is an operation for inputting the telephone number of the partner apparatus and instructing the outgoing call of the telephone, though illustration is omitted since it is the same as the calling operation method with a normal telephone. If the CPU 401 determines in step S603 that a call instruction has been issued (S603: YES), the CPU 401 performs processing so as to be in a call state with the other communication terminal device 40 (S604). If it is determined in the process of step S603 that there is no telephone call instruction (S603: NO), the process returns to step S601.
続いて、通話中の状態で、スライドショー情報の再生指示があったかどうかを判断する（Ｓ６０５）。具体的には、利用者によりスライドショー情報データベース４０４２Ａに記憶されているスライドショーＩＤを表示手段４１３へ再生するような操作指示があったどうかを、ＣＰＵ４０１が判断する。 Subsequently, it is determined whether or not there is an instruction to reproduce slideshow information during a call (S605). Specifically, the CPU 401 determines whether or not the user has given an operation instruction to reproduce the slide show ID stored in the slide show information database 4042A on the display unit 413.
そして、ステップＳ６０５の処理で、ＣＰＵ４０１はスライドショーの再生指示があったと判断した場合（Ｓ６０５：ＹＥＳ）、指示されたスライドショーＩＤに対応した表示制御処理を実行する（Ｓ６０６）。 If the CPU 401 determines in the process of step S605 that a slide show reproduction instruction has been issued (S605: YES), it executes a display control process corresponding to the instructed slide show ID (S606).
ここで、図８を参照しながらステップＳ６０６で実行するスライドショー表示制御処理について説明する。図８は、スライドショー表示制御処理のフローチャート図である。まず、通話中の利用者の音声を音声信号として検出を開始する（Ｓ６５０）。続いて、ステップＳ６０５の処理で再生指示されたスライドショーＩＤに対応する画像情報の表示を開始する（Ｓ６５１）。例えば、本実施形態ではスライドショーＩＤのＬＩを指示されたとすると、スライドショー情報データベース４０４２Ａを参照して、最初に表示すべき画像ＩＤ００１に対応する画像情報ＡＡＡが、表示手段４１３へ表示される。 Here, the slide show display control process executed in step S606 will be described with reference to FIG. FIG. 8 is a flowchart of the slide show display control process. First, detection is started using the voice of the user during a call as a voice signal (S650). Subsequently, display of image information corresponding to the slide show ID instructed to be reproduced in the process of step S605 is started (S651). For example, in the present embodiment, if an instruction for LI of the slide show ID is given, the image information AAA corresponding to the image ID 001 to be displayed first is displayed on the display unit 413 with reference to the slide show information database 4042A.
続いて、通話相手装置へ同期信号を送信する（Ｓ６５２）。ここでは、通話相手装置と表示する画像情報を連携するための手段として、ステップＳ６５１で表示している画像情報に対応した画像ＩＤ情報を含む同期信号を、電話回線を介したトーン信号方式や、またはネットワークを介した信号方式を用いて、通話相手の通信端末装置４０へ送信する。また、上述した同期信号は、ステップＳ６５１の処理で、表示する画像情報が切替る度に送信されるものとする。また、受信する側の通信端末装置４０の受信側処理については後述するが、ステップＳ６５２で送信された同期信号を受信すると、対応する画像ＩＤの画像情報が受信側の表示手段４１３へ表示するようになっている。 Subsequently, a synchronization signal is transmitted to the communication partner apparatus (S652). Here, as means for linking the image information to be displayed with the other party device, a synchronization signal including image ID information corresponding to the image information displayed in step S651 is converted into a tone signal system via a telephone line, Alternatively, the data is transmitted to the communication terminal device 40 of the other party using a signal system via the network. In addition, the above-described synchronization signal is transmitted every time the image information to be displayed is switched in the process of step S651. The receiving side processing of the communication terminal device 40 on the receiving side will be described later, but when the synchronization signal transmitted in step S652 is received, the image information of the corresponding image ID is displayed on the display means 413 on the receiving side. It has become.
そして、次に、音声信号を検出されたかどうかを判断する（Ｓ６５３）。ここでは、通話中の利用者の音声による音声信号を検出されたかどうかを判断する。つまり、通話利用者が会話をしているかどうかを判断していることになる。そして、ステップＳ６５３の処理で、ＣＰＵ４０１が音声信号を検出したと判断した場合（Ｓ６５３：ＹＥＳ）、続いて、検出された音声信号を文字情報に変換する処理を実行し、変換された文字情報の中に、指定されているスライドショーＩＤにて再生される画像情報に対応した付属情報であるキーワードが検出されたどうかを判断する（Ｓ６５４）。上述した音声信号を文字情報に変換する方法としては例えば、特開２００３−２７１６２９号公報にて開示されているような、音声入力によるテキスト検索技術等の方法を用いれば良い。また、ステップＳ６５４の処理で、キーワードが検出されないと判断した場合（Ｓ６５４：ＮＯ）、表示されている画像情報の再生時間の残りがゼロになったかどうかを判断する（Ｓ６５８）。ステップＳ６５８の処理では、表示されている画像情報がステップＳ６５１で表示を開始された時から、計時手段４１５を作動させ、スライドショー情報データベース４０４２Ａに記憶されている再生時間までの残りの時間を判断している。よって、通話利用者間の会話の中に、スライドショーで再生する画像に関連したキーワードが含まれていないと判断できるので、そのような場合では、予め設定された再生時間で画像情報が表示される。 Next, it is determined whether an audio signal has been detected (S653). Here, it is determined whether or not an audio signal based on the voice of the user during a call has been detected. That is, it is determined whether or not the calling user is having a conversation. If it is determined in step S653 that the CPU 401 has detected a voice signal (S653: YES), then the process of converting the detected voice signal into character information is executed, and the converted character information is processed. In step S654, it is determined whether a keyword, which is attached information corresponding to the image information reproduced by the designated slide show ID, is detected. As a method for converting the above-described speech signal into character information, for example, a method such as a text search technique by speech input as disclosed in Japanese Patent Laid-Open No. 2003-271629 may be used. If it is determined in step S654 that no keyword is detected (S654: NO), it is determined whether the remaining reproduction time of the displayed image information has become zero (S658). In the process of step S658, from the time when the displayed image information is started to be displayed in step S651, the time measuring means 415 is operated to determine the remaining time until the reproduction time stored in the slide show information database 4042A. ing. Therefore, since it can be determined that the conversation between the call users does not include a keyword related to the image to be reproduced in the slide show, in such a case, the image information is displayed at a preset reproduction time. .
また、ステップＳ６５４の処理で、音声信号からキーワードを検出したと判断した場合（Ｓ６５４：ＹＥＳ）、次に表示条件変更処理を実行する（Ｓ６５６）。 If it is determined in step S654 that a keyword has been detected from the audio signal (S654: YES), then a display condition change process is executed (S656).
ここで、図９を参照してステップＳ６５６で処理する表示条件変更処理について説明をする。図９は、表示条件変更処理のフローチャート図である。まず、初めに、ステップＳ６５４の処理で検出されたキーワードが、現在表示している画像情報に対応したキーワードかどうかを判断する（Ｓ８００）。具体的には例えば、ステップＳ６５４の処理で、マイク４１１によって取得した通話利用者の音声信号を、上述の公知の文字変換技術を用いて文字情報に変換する。そして変換した文字情報と、再生されているスライドショーＩＤに対応する画像情報の関連情報とを比較し、変換した文字情報の中にキーワードが含まれているかどうかを判断する。そして例えば、「犬」という文字情報が検出されたとすると、現在表示している画像情報がＡＡＡの場合、画像情報ＡＡＡに対応する付属情報の中に「犬」というキーワード情報が記憶されていることが判断できる。よって、ステップＳ８００の処理では、ＣＰＵ４０１は、表示している画像情報に対応したキーワードを検出したと判断し（Ｓ８００：ＹＥＳ）、表示している画像情報の再生時間を所定時間追加する処理を実行する（Ｓ８０１）。具体的には、現在表示している画像情報の再生時間の残りの時間に、所定時間（例えば１０秒）追加する処理が実行される。よって、ここでは、通話利用者の会話の中に、表示している画像情報に関連するキーワードが含まれていたと判断できるので、画像情報に関する会話がなされていると判断でき、画像情報の再生時間を追加することで、利用者の会話を支援することができる。 Here, the display condition changing process performed in step S656 will be described with reference to FIG. FIG. 9 is a flowchart of the display condition change process. First, it is determined whether or not the keyword detected in the process of step S654 is a keyword corresponding to the currently displayed image information (S800). Specifically, for example, in the process of step S654, the voice signal of the call user acquired by the microphone 411 is converted into character information using the above-described known character conversion technique. Then, the converted character information is compared with the related information of the image information corresponding to the slide show ID being reproduced, and it is determined whether or not a keyword is included in the converted character information. For example, when the character information “dog” is detected, if the currently displayed image information is AAA, the keyword information “dog” is stored in the attached information corresponding to the image information AAA. Can be judged. Accordingly, in the process of step S800, the CPU 401 determines that a keyword corresponding to the displayed image information has been detected (S800: YES), and executes a process of adding a reproduction time of the displayed image information for a predetermined time. (S801). Specifically, a process of adding a predetermined time (for example, 10 seconds) to the remaining reproduction time of the currently displayed image information is executed. Therefore, since it can be determined here that a keyword related to the displayed image information is included in the conversation of the call user, it can be determined that a conversation related to the image information is made, and the reproduction time of the image information By adding, users' conversations can be supported.
さらに、ステップＳ８０１の処理の後、ＣＰＵ４０１は通話利用者の会話の音量が所定閾値以下まで減衰したかどうかを判断する（Ｓ８０２）。具体的には、例えば利用者の音声信号の音量が閾値５０ｄｂ以下になったどうかを判断する。つまりここでは、通話利用者の会話の音量が小さくなったことを検出して、利用者同士の会話が盛り下がったかどうかを判断していることになる。または他の方法として、利用者の音量が通話中に所定割合以上変化したかどうかを判断するようにしてもよい。例えば、所定割合を５０％とし、通話利用者の音量が５０％以上の割合で小さくなったことを判断するようにしても良い。そして、ステップＳ８０２の処理で、ＣＰＵ４０１が音量が所定閾値以下まで減衰したと判断した場合（Ｓ８０２：ＹＥＳ）、表示している画像情報の残りの再生時間をゼロに変更する処理を実行し、（Ｓ８０３）、スライドショー情報データベース４０４２Ａの対応する画像ＩＤのキーワード検出回数を１追加する更新処理を実行する。また、ステップＳ８０２の処理で、ＣＰＵ４０１が音量が閾値以下まで減衰していないと判断した場合（Ｓ８０２：ＮＯ）、ステップＳ８０７へ移行する。 Further, after the processing in step S801, the CPU 401 determines whether or not the conversation user's conversation volume has been attenuated to a predetermined threshold value or less (S802). Specifically, for example, it is determined whether or not the volume of the voice signal of the user has become a threshold value of 50 db or less. That is, here, it is detected whether or not the conversation volume of the calling user has decreased, and whether or not the conversation between the users has been reduced. Alternatively, as another method, it may be determined whether the volume of the user has changed by a predetermined rate or more during a call. For example, the predetermined ratio may be 50%, and it may be determined that the volume of the call user has decreased at a ratio of 50% or more. If the CPU 401 determines in step S802 that the sound volume has attenuated to a predetermined threshold value or less (S802: YES), the remaining reproduction time of the displayed image information is changed to zero. In step S803, an update process for adding one keyword detection count for the corresponding image ID in the slide show information database 4042A is executed. If it is determined in step S802 that the CPU 401 has not attenuated the sound volume to a threshold value or less (S802: NO), the process proceeds to step S807.
また、ステップＳ８００の処理で、ステップＳ６５４の処理で検出したキーワードが、現在表示している画像情報に対応して記憶されているキーワードには無いと判断した場合（Ｓ８００：ＮＯ）、続いて、前回表示していた画像情報に対応して記憶されているキーワードに含まれているかどうかを判断する（Ｓ８０４）。例えば、表示手段４１３に画像情報ＡＡＡを表示している場合に、ステップＳ６５４で検出されたキーワードが「家」とすると、画像情報ＡＡＡはスライドショーＬ１の最初に表示された画像情報なので、前回表示していた画像情報は無く、ステップＳ８０４の処理ではＮＯと判断する（Ｓ８０４：ＮＯ）。そして、ステップＳ６５４で検出されたキーワードに対応して記憶されている他の画像情報に表示を切替える処理を実行する（Ｓ８０６）。例えば、上述した具体例の場合、ステップＳ６５４で検出したキーワードが、「家」とすると、画像情報データベース４０４１Ａを参照し、画像ＩＤ００２に対応した付属情報に「家」というキーワードが記憶されていることを判断するので、表示する画像情報をＢＢＢへ切替えるよう処理をする（Ｓ８０６）。また、ステップＳ８０６の処理の変形例として、キーワードに対応した画像に頻繁に表示が切替るのを防ぐために、ステップＳ８０６の処理で、現在表示している画像情報が表示を開始してから所定時間以上（たとえば３秒）経過していない場合は、ステップＳ８０６の処理をキャンセルして、次ステップへ移行するようにしても良い。 If it is determined in the process of step S800 that the keyword detected in the process of step S654 is not a keyword stored corresponding to the currently displayed image information (S800: NO), It is determined whether or not the keyword is stored in correspondence with the previously displayed image information (S804). For example, when the image information AAA is displayed on the display unit 413, if the keyword detected in step S654 is “house”, the image information AAA is the image information displayed at the beginning of the slide show L1, so the previous display is performed. There is no image information, and NO is determined in the process of step S804 (S804: NO). And the process which switches a display to the other image information memorize | stored corresponding to the keyword detected by step S654 is performed (S806). For example, in the specific example described above, if the keyword detected in step S654 is “house”, the keyword “house” is stored in the attached information corresponding to the image ID 002 with reference to the image information database 4041A. Therefore, processing is performed to switch the image information to be displayed to BBB (S806). Further, as a modification of the process of step S806, in order to prevent the display from being frequently switched to an image corresponding to the keyword, a predetermined time after the display of the currently displayed image information is started in the process of step S806. When the above (for example, 3 seconds) has not elapsed, the process of step S806 may be canceled and the process may proceed to the next step.
または、ステップＳ８０４の処理で、ステップＳ６５４にて検出されたキーワードが、現在表示している画像情報の前回に表示していた画像情報に対応したキーワードであると、ＣＰＵ４０１が判断した場合（Ｓ８０４：ＹＥＳ）、前回表示していた画像情報に表示を戻すように切替える処理を実行する（Ｓ８０５）。具体的には、例えば現在表示している画像情報がＣＣＣの場合、ステップＳ６５４の処理で検出されたキーワードが「家」とすると、画像情報ＣＣＣの前に表示していた画像ＩＤ００２に対応する付属情報に「家」というキーワードが記憶されていると判断し、画像ＩＤ００２に対応する画像情報ＢＢＢに表示を切替える処理を実行する（Ｓ８０５）。したがって、ここでは、通話利用者の会話の中に、現在表示している画像情報に関連するキーワードが発話されていないと判断でき、前回表示していた情報か、もしくは、その他の画像情報の中から、キーワードに対応した画像情報に表示を切替えることで、利用者の会話を支援することができる。 Alternatively, when the CPU 401 determines in the process of step S804 that the keyword detected in step S654 is a keyword corresponding to the image information displayed last time of the currently displayed image information (S804: YES), a process of switching to return the display to the previously displayed image information is executed (S805). Specifically, for example, when the currently displayed image information is CCC, and the keyword detected in the process of step S654 is “house”, the attached information corresponding to the image ID 002 displayed before the image information CCC It is determined that the keyword “house” is stored in the information, and a process of switching the display to the image information BBB corresponding to the image ID 002 is executed (S805). Therefore, in this case, it can be determined that the keyword related to the currently displayed image information is not uttered in the conversation of the call user, and the previously displayed information or other image information Thus, the user's conversation can be supported by switching the display to the image information corresponding to the keyword.
そして、上述したステップＳ８０３か、またはステップＳ８０５か、またはステップＳ８０６の処理の後、スライドショー情報データベース４０４２Ａのキーワード検出回数の項目の回数を１追加する更新処理を実行し（Ｓ８０７）、本処理である表示条件変更処理を終了する。 Then, after the process of step S803, step S805, or step S806 described above, an update process is performed to add 1 to the number of times of keyword detection in the slide show information database 4042A (S807). The display condition change process ends.
そして、図８のスライドショー表示制御処理に戻り、ステップＳ６５６の処理である表示条件変更処理が実行された後、ＣＰＵ４０１は、表示している画像情報の再生時間の残り時間がゼロになったかどうかを判断する（Ｓ６５８）。そして、残り時間がまだゼロになっていないと判断した場合（Ｓ６５８：ＮＯ）、再度ステップＳ６５３の処理へ戻り、繰り返し処理が実行される。また、再生時間の残り時間がゼロになったと判断した場合（Ｓ６５８：ＹＥＳ）、スライドショー情報データベース４０４２Ａを参照して、次に表示すべき画像情報があるかどうかを判断する（Ｓ６５９：ＹＥＳ）。ステップＳ６５９の処理にて、次に表示すべき画像情報があると判断した場合（Ｓ６５９：ＹＥＳ）、再度ステップＳ６５１の処理へ戻り、繰り返し処理が実行される。また、ステップＳ６５９の処理で、次に表示すべき画像情報が無いと判断した場合（Ｓ６５９：ＮＯ）、利用者により別のスライドショーＩＤの再生指示があったかどうかを判断する（Ｓ６６０：ＮＯ）。ステップＳ６６０の処理で、別のスライドショーＩＤの再生処理の指示があったと判断した場合（Ｓ６６０：ＹＥＳ）、ステップＳ６５１の処理へ戻り、指示されたスライドショーＩＤに対応した画像情報の再生が開始される。また、ステップＳ６６０の処理にて、利用者により、別のスライドショーＩＤの再生の指示が無いと判断した場合（Ｓ６６０：ＮＯ）、本処理であるスライドショー表示制御処理を終了する。 Then, returning to the slide show display control process of FIG. 8, after the display condition changing process, which is the process of step S656, is executed, the CPU 401 determines whether the remaining time of the reproduction time of the displayed image information has become zero. Judgment is made (S658). If it is determined that the remaining time has not yet become zero (S658: NO), the process returns to step S653 again, and the repetition process is executed. If it is determined that the remaining playback time has become zero (S658: YES), it is determined whether there is image information to be displayed next with reference to the slide show information database 4042A (S659: YES). If it is determined in step S659 that there is image information to be displayed next (S659: YES), the process returns to step S651 again, and the repetition process is executed. If it is determined in the process of step S659 that there is no image information to be displayed next (S659: NO), it is determined whether or not the user has instructed playback of another slide show ID (S660: NO). If it is determined in step S660 that there has been an instruction to reproduce another slide show ID (S660: YES), the process returns to step S651, and reproduction of image information corresponding to the designated slide show ID is started. . If it is determined in step S660 that the user has not instructed another slide show ID to be reproduced (S660: NO), the slide show display control process, which is the main process, is terminated.
また、ステップＳ６５３の処理の説明に戻り、通話利用者の音声信号を検出したかどうかの判断で、検出していないと判断した場合（Ｓ６５３：ＮＯ）、次にＣＰＵ４０１は、通話利用者同士の会話が無い時間である無音時間が所定時間以上経過したかどうかを判断する（Ｓ６５５）。ここで言う、無音時間とはステップＳ６５３の処理で音声信号を検出しなくなってから、計時手段４１５を作動させて経過時間を計測する時間である。また所定時間とは、例えば３〜５秒等ように、会話が途切れたと判断できる時間が設定されているものとする。そして、無音時間が上述の所定時間以上経過していないと判断した場合（Ｓ６５５：ＮＯ）、上述したステップＳ６５８へ移行する。また、ステップＳ６５５の処理で、無音時間が所定時間以上経過したと判断した場合（Ｓ６５５：ＹＥＳ）、上述したステップＳ６５９以降の処理が実行される。 Returning to the description of the processing in step S653, if it is determined that the voice signal of the calling user has been detected and it is determined that it has not been detected (S653: NO), then the CPU 401 It is determined whether or not a silent time, which is a time when there is no conversation, has passed a predetermined time or more (S655). The silent time referred to here is a time for measuring the elapsed time by operating the time measuring means 415 after the voice signal is no longer detected in the process of step S653. The predetermined time is set to a time when it can be determined that the conversation has been interrupted, such as 3 to 5 seconds. If it is determined that the silent time has not passed the predetermined time (S655: NO), the process proceeds to step S658 described above. If it is determined in the process of step S655 that the silent time has elapsed for a predetermined time or more (S655: YES), the processes after step S659 described above are executed.
ここで、図７の送信側処理へ戻り、上述したステップＳ６０６の処理であるスライドショー表示制御処理が実行された後、通話終了指示があるかどうかを判断する（Ｓ６０８）。または、ステップＳ６０５の処理にて、ＣＰＵ４０１はスライドショーの再生指示が無いと判断した場合（Ｓ６０５：ＮＯ）、通常の通話処理が継続された後、通話終了指示があるかどうかを判断する（Ｓ６０８）。ステップＳ６０８の処理で、通話終了指示があったと判断した場合（Ｓ６０８：ＹＥＳ）、通話を終了し、画像情報の表示を終了させ（Ｓ６０９）、本処理である送信側処理を終了する。また、ステップＳ６０８の処理で、通話終了指示が無いと判断した場合（Ｓ６０８：ＮＯ）、ステップＳ６０５へ戻り、繰り返し処理を実行する。 Here, returning to the transmission-side process of FIG. 7, after the slide show display control process, which is the process of step S606 described above, is executed, it is determined whether or not there is a call end instruction (S608). Alternatively, in the process of step S605, if the CPU 401 determines that there is no slide show reproduction instruction (S605: NO), it determines whether there is a call end instruction after normal call processing is continued (S608). . If it is determined in step S608 that a call termination instruction has been received (S608: YES), the call is terminated, the display of image information is terminated (S609), and the transmission side process, which is the present process, is terminated. If it is determined in step S608 that there is no call termination instruction (S608: NO), the process returns to step S605 to repeat the process.
上述に説明した本実施形態である送信側処理を実行することにより、利用者が電話回線を介した通話手段にて通話中に、利用者の音声情報に基づいて、表示手段に表示する画像情報の表示条件を会話の内容に適するように変更制御することができる。したがって、通話利用者はお互いに、会話に基づいて表示制御された画像情報を確認することで、話題を変えながら円滑な会話を行うことができる。 Image information to be displayed on the display means based on the voice information of the user while the user is making a call on the call means via the telephone line by executing the transmission side processing according to the present embodiment described above. The display condition can be changed and controlled to suit the content of the conversation. Accordingly, the call users can perform a smooth conversation while changing the topic by confirming image information whose display is controlled based on the conversation.
次に、図１０を参照して、通信端末装置４０において実行される受信側処理について説明する。図１０に示す処理は、ＲＯＭ４０２に記憶されたプログラムに従って、ＣＰＵ４０１が実行する。図１０に示す受信側処理は、通信端末装置４０の電源がＯＮにされると開始される。初めに、画像情報の受信指示が有るかどうかを判断する（Ｓ９０１）。具体的には、他の通信端末装置の送信側処理（図７）でのＳ６０２の送信処理により送信された画像情報と、対応する付属情報を受信したかどうかを判断する。ステップＳ９０１の処理にて、受信していないと判断された場合（Ｓ９０１：ＮＯ）、ステップＳ９０３へ移行する。また、ステップＳ９０１の処理で、画像情報と、対応する付属情報を受信したと判断した場合（Ｓ９０１：ＹＥＳ）、受信した画像情報と付属情報の記憶処理を実行する（Ｓ９０２）。具体的には、フラッシュＲＯＭ４０４の画像情報記憶エリア４０４１の画像情報データベース４０４１Ａに受信した画像情報と付属情報を記憶する。 Next, with reference to FIG. 10, the receiving side process executed in the communication terminal device 40 will be described. The process shown in FIG. 10 is executed by the CPU 401 in accordance with a program stored in the ROM 402. The receiving side process shown in FIG. 10 is started when the communication terminal device 40 is turned on. First, it is determined whether there is an instruction to receive image information (S901). Specifically, it is determined whether the image information transmitted by the transmission processing of S602 in the transmission side processing (FIG. 7) of the other communication terminal device and the corresponding attached information have been received. If it is determined in step S901 that the message has not been received (S901: NO), the process proceeds to step S903. If it is determined in step S901 that the image information and the corresponding attached information have been received (S901: YES), the received image information and attached information are stored (S902). Specifically, the received image information and attached information are stored in the image information database 4041A in the image information storage area 4041 of the flash ROM 404.
そして、ＣＰＵ４０１は、電話の着呼があったかどうかを判断する（Ｓ９０３）。ここでは、他の通信端末装置４０の送信側処理（図７）において、Ｓ６０３の処理にて発呼された発呼指示に対応する着呼指示があったかどうかを判断する。ＣＰＵ４０１がステップＳ９０３の処理で、着呼指示が無いと判断した場合（Ｓ９０３：ＮＯ）、ステップＳ９０１の処理へ戻る。また、ステップＳ９０３の処理で着呼指示があったと判断した場合（Ｓ９０３：ＹＥＳ）、発呼指示に対応した他の通信端末装置４０と電話回線を介して通話ができるよう処理を実行する（Ｓ９０４）。 Then, the CPU 401 determines whether there is an incoming call (S903). Here, in the transmission side processing (FIG. 7) of the other communication terminal device 40, it is determined whether there has been an incoming call instruction corresponding to the outgoing call instruction issued in the process of S603. If the CPU 401 determines in step S903 that there is no incoming call instruction (S903: NO), the process returns to step S901. If it is determined in step S903 that there has been an incoming call instruction (S903: YES), a process is executed so that a call can be made with another communication terminal device 40 corresponding to the call instruction via the telephone line (S904). ).
続いて、ステップＳ９０４の処理にて他の通信端末装置４０と通話中になった状態で、通話相手の通信端末装置４０から同期信号を受信したかどうかを判断する（Ｓ９０５）。ここでは、通話相手の通信端末装置４０で実行されるスライドショー表示制御処理のＳ６５２の処理（図８）にて送信された、画像ＩＤ情報を含む同期信号を受信したかどうかを判断する（Ｓ９０５）。ステップＳ９０６の処理で、同期信号を受信したと判断した場合（Ｓ９０６：ＹＥＳ）、受信した同期信号に含まれる画像ＩＤ情報に対応した画像情報を、画像情報データベース４０４１Ａから取得し、表示手段４１３の表示画面に表示する（Ｓ９０６）。ここでは、それまで受信側の通信端末装置４０の表示手段４１３に表示されていた画像情報から、同期信号に対応した画像情報に表示が切替る。また、ステップＳ９０５の処理にて、ＣＰＵ４０１が同期信号を受信していないと判断した場合（Ｓ９０５：ＮＯ）、通常の通話処理を継続する。 Subsequently, it is determined whether or not a synchronization signal has been received from the communication terminal device 40 of the communication partner in a state where the communication with the other communication terminal device 40 is being performed in the process of step S904 (S905). Here, it is determined whether or not the synchronization signal including the image ID information transmitted in the process of S652 of the slide show display control process (FIG. 8) executed by the communication terminal device 40 of the other party is received (S905). . If it is determined in step S906 that the synchronization signal has been received (S906: YES), the image information corresponding to the image ID information included in the received synchronization signal is acquired from the image information database 4041A, and the display unit 413 The information is displayed on the display screen (S906). Here, the display is switched from the image information displayed on the display means 413 of the communication terminal device 40 on the receiving side to the image information corresponding to the synchronization signal. If it is determined in step S905 that the CPU 401 has not received a synchronization signal (S905: NO), normal call processing is continued.
そして、ステップＳ９０６の処理後、または、ステップＳ９０７の処理後に、ＣＰＵ４０１は、通話終了指示があるかどうかを判断する（Ｓ９０８）。ステップＳ９０８の処理で、通話終了指示があったと判断した場合（Ｓ９０８：ＹＥＳ）、通話を終了し、画像情報の表示を終了させ（Ｓ９０９）、本処理である受信側処理を終了する。また、ステップＳ９０８の処理で、通話終了指示が無いと判断した場合（Ｓ９０８：ＮＯ）、ステップＳ９０５へ戻り、繰り返し処理を実行する。 Then, after the process of step S906 or after the process of step S907, the CPU 401 determines whether there is a call end instruction (S908). If it is determined in step S908 that a call termination instruction has been received (S908: YES), the call is terminated, the display of image information is terminated (S909), and the receiving side process, which is the present process, is terminated. If it is determined in step S908 that there is no call termination instruction (S908: NO), the process returns to step S905 to repeat the process.
上述に説明した本実施形態である受信側処理を実行することにより、利用者が電話回線を介した通話手段にて通話中に、利用者の音声情報に基づいて、表示手段に表示する画像情報の表示条件を会話の内容に適するように変更制御することができる。したがって、通話利用者はお互いに、会話に基づいて表示制御された画像情報を確認することで、話題を変えながら円滑な会話を行うことができる。 Image information to be displayed on the display means based on the voice information of the user while the user is making a call on the call means via the telephone line by executing the receiving side processing according to the present embodiment described above. The display condition can be changed and controlled to suit the content of the conversation. Accordingly, the call users can perform a smooth conversation while changing the topic by confirming image information whose display is controlled based on the conversation.
なお、前述の実施形態に示される構成や処理は例示であり、各種の変形が可能なことはいうまでもない。例えば、図９のステップ８０４の処理で検出されているキーワードに対応した画像情報が複数抽出された場合、次のステップであるＳ８０６の処理では、スライドショー情報データベース４０２２Ａに記憶されているキーワード検出回数を参照して、検出回数の多い順から再生表示するようにしても良い。 It should be noted that the configuration and processing shown in the above-described embodiment are examples, and it goes without saying that various modifications are possible. For example, when a plurality of pieces of image information corresponding to the keyword detected in step 804 in FIG. 9 are extracted, in the next step S806, the number of keyword detections stored in the slide show information database 4022A is calculated. Referring to, the reproduction display may be performed in descending order of the number of detections.
また、図９のステップ８０７の処理にて、キーワード検出回数を更新した後、対応するスライドショーＩＤの画像情報を表示する順番を、キーワード検出回数の多い順になるように更新するようにしてもよい。そのようにすれば、次回の通話時にスライドショーを再生する時に、利用者に関係性の高い画像情報から再生表示されるようになるので、より通話による会話を支援することができるようになる。 Further, in the process of step 807 in FIG. 9, after updating the keyword detection count, the order in which the image information of the corresponding slide show ID is displayed may be updated so that the keyword detection count is in descending order. By doing so, when the slide show is reproduced during the next call, the user can reproduce and display the image information that is highly relevant to the user, so that the conversation by the call can be further supported.
また、図７のステップＳ６０６のスライドショー表示制御処理を終えた後、ステップＳ６０８での通話終了指示が有るまでは、Ｓ６０５の処理でスライドショー再生指示が無いと判断し（Ｓ６０５：ＮＯ）、通常の通話処理（Ｓ６０７）になるようになっているが、これに限るものではない。例えば、初回のステップＳ６０５、Ｓ６０６の処理の終了後に、次回のステップＳ６０５では、初回指示されたスライドショーを自動的に再度指示するように設定すれば、通話終了指示があるまで繰り返しステップＳ６０６が実行され、継続して会話に適した画像情報を表示させるようにすることもできる。 After the slide show display control process in step S606 in FIG. 7 is finished, it is determined that there is no slide show reproduction instruction in the process in S605 until there is a call end instruction in step S608 (S605: NO). Although the process (S607) is performed, the present invention is not limited to this. For example, after the processing of the first steps S605 and S606 is completed, in the next step S605, if it is set to automatically instruct the slide show instructed for the first time, step S606 is repeatedly executed until a call end instruction is issued. Further, image information suitable for conversation can be continuously displayed.
また、前述の実施形態では、送信側での通信端末装置４０と、受信側とした通話相手の通信端末装置４０とで、表示手段４１３に表示する画像情報を連携して共通の画像情報を表示できるようにするために、図８のステップＳ６５２で処理する同期信号を送受信することで連携できるようにしていたが、これに限るものではない。例えば、送信側から受信側へ予め画像情報データベース４０４１Ａと、スライドショー情報データベース４０４２Ａを、受信側である通話相手の通信端末装置４０へ送信しておき、送信側と受信側による通話が開始されてから、両者で同時に同じスライドショーＩＤを開始する。そして、両者の通信端末装置４０で、図８に示すスライドショー表示制御処理を実行させるようにすれば、上述した同期信号を用いず、通話している通信端末装置４０の間で、表示する画像情報を連携できるようにしてもよい。 Further, in the above-described embodiment, the communication terminal device 40 on the transmission side and the communication terminal device 40 on the other end of the call as the reception side display the common image information by linking the image information displayed on the display unit 413. In order to be able to do so, the synchronization signal processed in step S652 of FIG. 8 is transmitted and received so as to be able to cooperate. For example, the image information database 4041A and the slide show information database 4042A are transmitted in advance from the transmission side to the reception side to the communication terminal device 40 of the other party on the reception side, and the telephone conversation between the transmission side and the reception side is started. Both of them start the same slide show ID at the same time. Then, if both the communication terminal devices 40 execute the slide show display control process shown in FIG. 8, the image information to be displayed between the communication terminal devices 40 that are talking without using the above-described synchronization signal. May be linked.
２０ 電話回線
３０ 子機
４０ 通信端末装置
４１１ マイク
４１２ スピーカ
４１３ 表示手段
４０４１Ａ 画像情報データベース
４０４２Ａ スライドショー情報データベース
20 Telephone line 30 Handset 40 Communication terminal device 411 Microphone 412 Speaker 413 Display means 4041A Image information database 4042A Slideshow information database
Claims (10)
前記画像情報を表示する表示領域を備えた表示手段と、
利用者が前記通話手段にて他拠点の前記通信端末装置と通話中に、前記表示制御手段により表示している前記画像情報を、他拠点の前記表示手段に表示するように前記画像情報と連携して表示させる連携手段と、
前記通話手段にて行われる前記利用者の通話を音声情報として取得し、前記音声情報が所定条件になったかどうかを判断する音声情報判断手段と、
前記音声情報判断手段により前記音声情報が前記所定条件になったと判断した場合、前記連携手段により連携して表示している前記画像情報の表示条件を変更する表示条件変更手段と、
を備えることを特徴とする通信端末装置。 In a communication terminal device comprising a calling means for making a call with a device at another site via a telephone line, and a display control means for controlling display while switching a plurality of pieces of image information,
Display means comprising a display area for displaying the image information;
When the user talks with the communication terminal device at another base using the call means, the image information displayed by the display control means is linked with the image information so as to be displayed on the display means at another base. Linkage means to display,
Voice information determination means for acquiring, as voice information, the user's call made by the calling means, and determining whether the voice information is a predetermined condition;
Display condition changing means for changing the display condition of the image information displayed in cooperation by the cooperation means when the sound information determination means determines that the sound information has reached the predetermined condition;
A communication terminal device comprising:
前記表示条件変更手段は、前記音声情報判断手段により、前記無音状態が所定時間以上含まれていると判断された場合、前記表示手段に表示されている前記画像情報を別の画像情報に切替えることを特徴とする請求項１に記載の通信端末装置。 The voice information determination means determines whether the voice information includes a silent state in which there is no conversation for a predetermined time or more as the predetermined condition,
The display condition changing unit switches the image information displayed on the display unit to another image information when the sound information determining unit determines that the silent state is included for a predetermined time or more. The communication terminal device according to claim 1.
前記通話手段より取得した前記音声情報を文字情報に変換する変換手段と、
をさらに備え、
前記音声情報判断手段は、前記付属情報記憶手段に記憶されている前記付属情報が、前記変換手段により変換された前記文字情報に含まれているかどうかを前記所定条件として判断することを特徴とする請求項１に記載の通信端末装置。 The communication terminal device includes auxiliary information storage means for storing auxiliary information, which is information related to the image information, in association with the image information;
Conversion means for converting the voice information acquired from the call means into character information;
Further comprising
The voice information determination unit determines, as the predetermined condition, whether or not the auxiliary information stored in the auxiliary information storage unit is included in the character information converted by the conversion unit. The communication terminal device according to claim 1.
前記音量計測手段により計測された前記音声情報の音量が所定割合以上変化した場合、
前記表示条件変更手段は、前記付属情報記憶手段から抽出した複数の前記画像情報の別の画像情報に表示を切替えることを特徴とする請求項６に記載の通信端末装置。 The voice information determining means includes volume measuring means for measuring the volume of the voice information,
When the volume of the audio information measured by the volume measuring means has changed by a predetermined percentage or more,
The communication terminal apparatus according to claim 6, wherein the display condition changing unit switches the display to another image information of the plurality of image information extracted from the attached information storage unit.
利用者が前記通話手段にて他拠点の前記通信端末装置と通話中に、前記表示制御手段により、表示領域を備えた表示手段に表示している前記画像情報を、他拠点の前記表示手段に表示するように前記画像情報と連携して表示させる連携ステップと、
前記通話手段にて行われる前記利用者の通話を音声情報として取得し、前記音声情報が所定条件になったかどうかを判断する音声情報判断ステップと、
前記音声情報判断ステップにより前記音声情報が前記所定条件になったと判断した場合、前記連携ステップにより連携して表示している前記画像情報の表示条件を変更する表示条件変更ステップと、
を処理することを特徴とする通信制御方法。 In a communication control method for processing in a communication terminal device comprising a call means for making a call with a device at another site via a telephone line and a display control means for controlling display while switching a plurality of pieces of image information at regular intervals ,
During a call with the communication terminal device at another base by the call means, the display control means displays the image information displayed on the display means having a display area on the display means at the other base. A cooperation step of displaying in cooperation with the image information to display;
A voice information determination step of acquiring, as voice information, the user's call made by the calling means, and determining whether the voice information is a predetermined condition;
A display condition changing step for changing a display condition of the image information displayed in cooperation with the cooperation step when it is determined that the sound information has reached the predetermined condition in the sound information determination step;
The communication control method characterized by processing.
利用者が前記通話手段にて他拠点の前記通信端末装置と通話中に、前記表示制御手段により、表示領域を備えた表示手段に表示している前記画像情報を、他拠点の前記表示手段に表示するように前記画像情報と連携して表示させる連携ステップと、
前記通話手段にて行われる前記利用者の通話を音声情報として取得し、前記音声情報が所定条件になったかどうかを判断する音声情報判断ステップと、
前記音声情報判断ステップにより前記音声情報が前記所定条件になったと判断した場合、前記連携ステップにより連携して表示している前記画像情報の表示条件を変更する表示条件変更ステップと、
を前記通信端末装置で実行させるための制御プログラム。 In a control program for executing a communication terminal device having a calling means for making a call with a device at another site via a telephone line, and a display control means for controlling display while switching a plurality of pieces of image information at regular intervals,
During a call with the communication terminal device at another base by the call means, the display control means displays the image information displayed on the display means having a display area on the display means at the other base. A cooperation step of displaying in cooperation with the image information to display;
A voice information determination step of acquiring, as voice information, the user's call made by the calling means, and determining whether the voice information is a predetermined condition;
A display condition changing step for changing a display condition of the image information displayed in cooperation with the cooperation step when it is determined that the sound information has reached the predetermined condition in the sound information determination step;
A control program for causing the communication terminal apparatus to execute the program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009227705A JP2011077860A (en) | 2009-09-30 | 2009-09-30 | Communication terminal device, information control method, and control program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009227705A JP2011077860A (en) | 2009-09-30 | 2009-09-30 | Communication terminal device, information control method, and control program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011077860A true JP2011077860A (en) | 2011-04-14 |
Family
ID=44021349
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009227705A Pending JP2011077860A (en) | 2009-09-30 | 2009-09-30 | Communication terminal device, information control method, and control program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011077860A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015523808A (en) * | 2012-06-22 | 2015-08-13 | エーティーアイ・テクノロジーズ・ユーエルシーＡｔｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｕｌｃ | Remote display keep alive of wireless display (keepalive) |
-
2009
- 2009-09-30 JP JP2009227705A patent/JP2011077860A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015523808A (en) * | 2012-06-22 | 2015-08-13 | エーティーアイ・テクノロジーズ・ユーエルシーＡｔｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｕｌｃ | Remote display keep alive of wireless display (keepalive) |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106357610A (en) | Communication method and device | |
| CN103401975A (en) | Fixed-number dialing method and system | |
| CN105120056A (en) | Communication control method and terminal | |
| JP2009171336A (en) | Mobile communication terminal | |
| JP2011077860A (en) | Communication terminal device, information control method, and control program | |
| JP2013026779A (en) | Communication terminal and communication method | |
| CN105072243A (en) | Incoming call prompting method and apparatus | |
| JP2002044285A (en) | Mobile communication terminal device and portable display terminal device | |
| JP2015023485A (en) | Information terminal adaptive to voice command with specific sound | |
| JP2007019600A (en) | Telephone set and call termination notice method | |
| JP6031825B2 (en) | Music data output system | |
| JP2003069662A (en) | Telephone equipment and cordless telephone equipment | |
| JP2011529312A (en) | COMMUNICATION METHOD, RELATED SYSTEM FOR COMMUNICATION, AND RELATED CONVERTER | |
| CN111884886A (en) | Intelligent household communication method and system based on telephone | |
| CN107148062A (en) | A kind of double card switching method and device | |
| JP2010272967A (en) | Incoming call display control method of telephone system | |
| JP2005073181A (en) | Ip telephone set | |
| KR0148524B1 (en) | Method for automatic searching local telephone number and controlling calls | |
| KR100663741B1 (en) | Method of using voice information as telephone connection signal and apparatus using the same | |
| JP2007195054A (en) | Telephone communication system | |
| Fujita et al. | Design and development of eyes-and hands-free voice interface for mobile phone | |
| KR20060091480A (en) | Mobile communication terminal enable to chat with message and its operating method | |
| CN105407214A (en) | Short message generation method and apparatus | |
| KR100613061B1 (en) | Method of Servicing Origination Contents in the Mobile Communication Terminal | |
| KR100679312B1 (en) | Method of providing service for displaying another part's information by recording voice and apparatus using the same |