JP2016143289A - Instant message transmission/reception program, information processing method and information processing device - Google Patents

Instant message transmission/reception program, information processing method and information processing device Download PDF

Info

Publication number
JP2016143289A
JP2016143289A JP2015019644A JP2015019644A JP2016143289A JP 2016143289 A JP2016143289 A JP 2016143289A JP 2015019644 A JP2015019644 A JP 2015019644A JP 2015019644 A JP2015019644 A JP 2015019644A JP 2016143289 A JP2016143289 A JP 2016143289A
Authority
JP
Japan
Prior art keywords
image
language
user
images
reading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015019644A
Other languages
Japanese (ja)
Other versions
JP5791219B1 (en
Inventor
渉 神農
Wataru Kanno
渉 神農
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mobile Life Japan Inc
Original Assignee
Mobile Life Japan Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mobile Life Japan Inc filed Critical Mobile Life Japan Inc
Priority to JP2015019644A priority Critical patent/JP5791219B1/en
Application granted granted Critical
Publication of JP5791219B1 publication Critical patent/JP5791219B1/en
Publication of JP2016143289A publication Critical patent/JP2016143289A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Machine Translation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an instant message transmission/reception program that improves usability of communication using an image, striding over a language or culture zone.SOLUTION: An instant message transmission/reception program transmitting/receiving an image to be used in communication with others is configured to cause a computer to execute: a reception step of receiving a specification of an image to be output, using a selection image acquisition unit 13 of a mobile device 1; a read-out step of reading out the image indicative of the same concept as the image having the specification received in the reception step and expressed based on a language indicated by a language setting from a storage unit 11 thereof retaining a plurality of images indicative of the same concept expressed based on a different language and the language setting indicative of a language to be output to a user, using a corresponding image read-out unit 14 thereof; and a step of displaying the read-out image in the read-out step, using an image output unit 15 thereof.SELECTED DRAWING: Figure 2

Description

本発明は、インスタントメッセージ送受信プログラム、情報処理方法及び情報処理装置に関する。   The present invention relates to an instant message transmission / reception program, an information processing method, and an information processing apparatus.

従来、インスタントメッセージングアプリケーションを介してユーザ間の対話を送信し、同時にユーザ間の対話を翻訳した内容をトークセッション内に提供するという技術が提案されている(特許文献1)。また、チャットルーム内のユーザからチャットメッセージを受信し、翻訳エンジンを用いてチャットメッセージに含まれるメッセージの内容を翻訳するという技術も提案されている(特許文献2)。   Conventionally, a technique has been proposed in which a dialogue between users is transmitted via an instant messaging application, and at the same time, a translated content of the dialogue between users is provided in a talk session (Patent Document 1). In addition, a technique has been proposed in which a chat message is received from a user in a chat room and the content of the message included in the chat message is translated using a translation engine (Patent Document 2).

特開2013−131196号公報JP 2013-131196 A 特開2013−140584号公報JP2013-140584A

従来、インスタントメッセンジャにおいてテキストメッセージの翻訳を行うという技術は提案されていた。ここで、インスタントメッセンジャには、いわゆるスタンプやステッカーと呼ばれるようなユーザ間のコミュニケーションに用いられる画像を送受信できるものもある。このような画像には、特定の言語で表示された台詞や擬音が含まれるものや、特定の文化圏において使用されるジェスチャー等を表現したものもあり、使用言語や属する文化圏が異なると相手の意図を理解できないこともあった。   Conventionally, a technique for translating a text message in an instant messenger has been proposed. Here, some instant messengers can transmit and receive images used for communication between users such as so-called stamps and stickers. Some of these images include dialogue or onomatopoeia displayed in a specific language, or some gestures used in a specific cultural sphere. There were times when I couldn't understand my intention.

そこで、本発明は、言語や文化圏をまたぐ、画像を用いたコミュニケーションの利用性を向上させることを目的とする。   Therefore, an object of the present invention is to improve the usability of communication using images that cross languages and cultural spheres.

本発明に係るインスタントメッセージ送受信プログラムは、他者とのコミュニケーションに用いられる画像を送受信可能になっている。また、当該インスタントメッセージ送受信プログラムは、出力すべき画像の指定を受信する受信ステップと、異なる言語に基づいて表された同一の概念を示す複数の画像、及びユーザに出力する言語を示す言語設定を保持する記憶部から、受信ステップにおいて指定を受信した画像と同一の概念を示し且つ言語設定が示す言語に基づいて表された画像を読み出す読出ステップと、読出ステップにおいて読み出した画像を出力するステップとをコンピュータに実行させる。   The instant message transmission / reception program according to the present invention can transmit / receive an image used for communication with another person. The instant message transmission / reception program also includes a reception step for receiving designation of an image to be output, a plurality of images indicating the same concept expressed based on different languages, and a language setting indicating a language to be output to the user. A reading step of reading out an image that is based on the language indicated by the language setting and that shows the same concept as the image that has received the designation in the receiving step, and a step of outputting the image read in the reading step Is executed on the computer.

このように、異なる言語に基づいて表された同一の概念を示す複数の画像及びユーザに出力する言語設定を予め保持させておくことで、受信した画像をユーザの言語設定に沿った画像に変換して表示することができる。すなわち、言語や文化圏をまたぐ、画像を用いたコミュニケーションの利用性を向上させることができる。なお、出力すべき画像の指定とは、予めユーザ及び他者の双方のコンピュータに保持されている画像を一意に特定するための識別情報であってもよい。このようにすれば、送受信するデータ量を低減することができる。なお、指定された画像を保持していない場合、指定された画像を取得するステップを読出ステップの前に含むようにしてもよい。また、出力すべき画像の指定とは、所定の概念を示し、複数の言語に基づいてそれぞれ表された複数の画像データそのものであ
ってもよい。このようにすれば、予めユーザのコンピュータに保持されていない画像であっても、受信ステップにおいて指定を受信した画像と同一の概念を示し、且つ言語設定が示す言語に基づいて表された画像を読み出すことができる。
In this way, a plurality of images showing the same concept expressed based on different languages and a language setting to be output to the user are stored in advance, so that the received image is converted into an image according to the user language setting. Can be displayed. That is, it is possible to improve the usability of communication using images across languages and cultural spheres. Note that the designation of an image to be output may be identification information for uniquely identifying an image held in advance by both the user and the other computer. In this way, the amount of data transmitted and received can be reduced. If the designated image is not held, a step of obtaining the designated image may be included before the reading step. Further, the designation of an image to be output indicates a predetermined concept, and may be a plurality of image data itself represented based on a plurality of languages. In this way, even if the image is not stored in advance in the user's computer, an image that shows the same concept as the image that received the designation in the reception step and that is expressed based on the language indicated by the language setting is displayed. Can be read.

また、異なる言語に基づいて表された同一の概念を示す複数の画像は、各言語又は当該各言語が属する文化に基づいて、同一の感情又は同一のジェスチャーを表すものであってもよい。また、異なる言語に基づいて表された同一の概念を示す複数の画像は、台詞又は擬音を含み得るものであってもよい。具体的には、このような画像を送受信するインスタントメッセージ送受信プログラムにおいて、言語や文化圏をまたぐ、画像を用いたコミュニケーションの利用性を向上させることができる。   A plurality of images showing the same concept expressed based on different languages may represent the same emotion or the same gesture based on each language or the culture to which each language belongs. A plurality of images showing the same concept expressed based on different languages may include dialogue or onomatopoeia. Specifically, in an instant message transmission / reception program for transmitting / receiving such images, it is possible to improve the usability of communication using images across languages and cultural spheres.

また、異なる言語に基づいて表された同一の概念を示す複数の画像を、ネットワークを介して取得し、当該複数の画像の対応関係と共に記憶部に記憶させるステップをさらに実行させるようにしてもよい。このようにすれば、コミュニケーションの幅を広げることができる。   Further, a step of acquiring a plurality of images showing the same concept expressed based on different languages via a network and storing them in the storage unit together with the correspondence relationship of the plurality of images may be further executed. . In this way, the range of communication can be expanded.

また、表示された画像の長押しを検知すると、当該画像の周囲に、異なる言語に基づいて表された複数の画像を表示させる選択肢表示ステップをさらに含み、選択肢表示ステップにおいて表示された複数の画像のいずれかの選択を受けた場合、選択された画像に対応する言語に基づいて表された画像を他者に提示するようにしてもよい。このようにすれば、相手に提示する画像の言語をユーザが指定できるようになる。   Further, when a long press of the displayed image is detected, it further includes an option display step for displaying a plurality of images expressed based on different languages around the image, and the plurality of images displayed in the option display step When one of the above selections is received, an image represented based on a language corresponding to the selected image may be presented to another person. In this way, the user can specify the language of the image presented to the other party.

さらに、選択肢表示ステップにおいて、使用頻度の高い言語に係る画像ほど早期に又は長押しされた画像の近傍に表示されるようにしてもよい。このようにすれば、画像の選択が容易になる。   Further, in the option display step, an image related to a frequently used language may be displayed earlier or in the vicinity of the long-pressed image. This makes it easy to select an image.

また、本発明の他の側面に係るプログラムは、他者とのコミュニケーションに用いられる画像を、1つのコンピュータ上で選択及び表示可能なプログラムであって、画像の選択を第1のユーザから受け付ける選択ステップと、異なる言語に基づいて表された同一の概念を示す複数の画像、及び当該複数の画像の対応関係、並びに第2のユーザに出力する言語を示す言語設定を保持する記憶部から、選択ステップにおいて選択された画像に対応し且つ言語設定が示す言語に基づいて表された画像を読み出す読出ステップと、読出ステップにおいて読み出した画像を出力するステップとをコンピュータに実行させる。   A program according to another aspect of the present invention is a program capable of selecting and displaying an image used for communication with another person on one computer, and a selection for accepting an image selection from a first user. Select from a storage unit that holds a plurality of images showing the same concept expressed based on different languages and steps, a correspondence relationship between the plurality of images, and a language setting indicating a language to be output to the second user A computer is caused to execute a reading step of reading an image corresponding to the image selected in the step and expressed based on the language indicated by the language setting, and a step of outputting the image read in the reading step.

このようにすれば、言語や文化圏をまたぐ、画像を用いた対面でのコミュニケーションの利用性を向上させることができる。   In this way, the usability of face-to-face communication using images across languages and cultural spheres can be improved.

また、他の側面に係るインスタントメッセージ送受信プログラムは、他者とのコミュニケーションに用いられる画像を送受信可能になっている。そして、インスタントメッセージ送受信プログラムは、他者に出力すべき言語を示す言語設定を他者のコンピュータから受信する受信ステップと、他者に出力する画像の選択をユーザから受け付ける選択ステップと、異なる言語に基づいて表された同一の概念を示す複数の画像を対応付けて保持する記憶部から、受信ステップにおいて受信した言語設定が示す言語に基づいて表され、且つ選択ステップにおいてユーザが選択した画像と同一の概念を示す画像を読み出す読出ステップと、読出ステップにおいて読み出した画像を他者のコンピュータに送信するステップとをコンピュータに実行させる。   An instant message transmission / reception program according to another aspect is capable of transmitting / receiving an image used for communication with another person. The instant message transmission / reception program receives a language setting indicating the language to be output to the other person from the other person's computer, a selection step for receiving a selection of an image to be output to the other person from the user, and a different language. Based on the language indicated by the language setting received in the reception step from the storage unit that holds a plurality of images representing the same concept expressed based on the same, and the same as the image selected by the user in the selection step The computer is caused to execute a reading step of reading an image indicating the concept of and a step of transmitting the image read in the reading step to a computer of another person.

このようにすれば、コンピュータが保持していなかった画像についても、他者のコンピュータから受信して表示できるようになる。   In this way, an image that the computer did not hold can be received from another computer and displayed.

なお、上記課題を解決するための手段の内容は、本発明の課題や技術的思想を逸脱しない範囲で可能な限り組み合わせることができる。また、上記課題を解決するための手段の内容は、情報処理装置の他、当該処理をコンピュータが実行する情報処理方法や、当該処理をコンピュータに実行させるプログラムとして提供することもできる。さらに、当該プログラムを保持する記録媒体を提供するようにしてもよい。   In addition, the content of the means for solving the said subject can be combined as much as possible within the range which does not deviate from the subject and technical idea of this invention. In addition to the information processing apparatus, the contents of the means for solving the above problems can be provided as an information processing method in which the computer executes the process or a program for causing the computer to execute the process. Furthermore, a recording medium that holds the program may be provided.

本発明によれば、言語や文化圏をまたぐ、画像を用いたコミュニケーションの利用性を向上させることができる。   According to the present invention, it is possible to improve the usability of communication using images across languages and cultural spheres.

実施形態1に係るシステム構成の一例を示す模式的な構成図である。1 is a schematic configuration diagram illustrating an example of a system configuration according to Embodiment 1. FIG. 実施形態1に係るモバイル装置の一例を示す機能ブロック図である。2 is a functional block diagram illustrating an example of a mobile device according to Embodiment 1. FIG. 実施形態1に係る言語テーブルの一例を示す図である。It is a figure which shows an example of the language table which concerns on Embodiment 1. FIG. 画像テーブルの一例を示す図である。It is a figure which shows an example of an image table. インスタントメッセンジャの画面の一例を示す図である。It is a figure which shows an example of the screen of an instant messenger. コンピュータの一例を示す装置構成図である。It is an apparatus block diagram which shows an example of a computer. オンライン対話処理の一例を示す処理フロー図である。It is a processing flow figure showing an example of online dialogue processing. ユーザから画像の選択を受ける画面の一例を示す図である。It is a figure which shows an example of the screen which receives selection of an image from a user. 実施形態2に係るシステム構成の一例を示す模式的な構成図である。6 is a schematic configuration diagram illustrating an example of a system configuration according to Embodiment 2. FIG. 実施形態2に係るモバイル装置の一例を示す機能ブロック図である。6 is a functional block diagram illustrating an example of a mobile device according to a second embodiment. FIG. 実施形態2に係る言語テーブルの一例を示す図である。It is a figure which shows an example of the language table which concerns on Embodiment 2. FIG. ボード機能に係る画面の一例を示す図である。It is a figure which shows an example of the screen which concerns on a board function. ボード機能に係る画面の変形例を示す図である。It is a figure which shows the modification of the screen which concerns on a board function. 相手に提示する画像及び言語を選択する画面の一例を示す図である。It is a figure which shows an example of the screen which selects the image and language which are shown to a partner. 選択肢の画像が渦巻き状に表示される画面の一例を示す図である。It is a figure which shows an example of the screen on which the image of an option is displayed in a spiral shape.

以下、図面を参照して、実施形態の一例について説明する。実施形態の構成は例示であり、本発明に係る装置、方法、プログラム等は下記の構成には限定されない。   Hereinafter, an example of an embodiment will be described with reference to the drawings. The configuration of the embodiment is an exemplification, and the apparatus, method, program, and the like according to the present invention are not limited to the following configuration.

<<実施形態1>>
<システム構成>
図1は、システム構成の一例を示す模式的な構成図である。図1のシステムは、複数のモバイル装置1(図1では1a及び1b)と、インターネット等のネットワーク2とを含み、複数のモバイル装置1はネットワーク2を介して互いに接続されている。モバイル装置1は、例えば携帯電話機やスマートフォン、タブレット(スレートPC(Personal Computer))、ラップトップ型PC等であり、破線で表された各ユーザはモバイル装置1を
それぞれ1つ以上所持している。なお、本実施形態では、モバイル装置1aの使用者をユーザAと呼び、モバイル装置1bの使用者をユーザBと呼ぶ。
<< Embodiment 1 >>
<System configuration>
FIG. 1 is a schematic configuration diagram illustrating an example of a system configuration. The system of FIG. 1 includes a plurality of mobile devices 1 (1a and 1b in FIG. 1) and a network 2 such as the Internet, and the plurality of mobile devices 1 are connected to each other via the network 2. The mobile device 1 is, for example, a mobile phone, a smart phone, a tablet (slate PC (Personal Computer)), a laptop PC, or the like, and each user represented by a broken line has one or more mobile devices 1. In the present embodiment, the user of the mobile device 1a is called user A, and the user of the mobile device 1b is called user B.

また、モバイル装置1上では、インスタントメッセージ送受信プログラム(「インスタントメッセンジャ」又は「インスタントメッセンジャクライアント」とも呼ぶ)が実行され、ユーザ間で対話を行うことができる。本実施形態に係るインスタントメッセンジャは、いわゆるスタンプやステッカー、広義のエモーティコンと呼ばれるようなユーザ間のコミュニケーションに用いられる画像を送受信する機能を有する。なお、インスタントメッセンジャが実際に送受信するデータは、予め双方のモバイル装置1に保持されている画像データを一意に特定するための識別情報であってもよい。また、本実施形態における画像データは、イラストレーションのみからなるラスタデータ又はベクタデータであってもよいし、イラストレーションの他に台詞や擬音等を表す文字を含むラスタデータ又はベクタ
データであってもよい。また、文字のみを含むラスタデータ又はベクタデータであってもよい。なお、図1では2つのモバイル装置1を例示しているが、3以上のモバイル装置1によってグループで対話を行うようにしてもよい。
On the mobile device 1, an instant message transmission / reception program (also referred to as “instant messenger” or “instant messenger client”) is executed, and a dialogue can be performed between users. The instant messenger according to the present embodiment has a function of transmitting and receiving images used for communication between users such as so-called stamps, stickers, and broadly called emoticons. Note that the data actually transmitted / received by the instant messenger may be identification information for uniquely specifying image data held in advance in both mobile devices 1. Further, the image data in the present embodiment may be raster data or vector data consisting only of an illustration, or may be raster data or vector data including characters representing speech, onomatopoeia, etc. in addition to illustration. Further, raster data or vector data including only characters may be used. In FIG. 1, two mobile devices 1 are illustrated, but three or more mobile devices 1 may perform a dialogue in a group.

また、本実施形態では、異なる言語又は文化に基づいて表現された同一の概念を示す複数の画像が互いに対応付けられてモバイル装置1に保持されているものとする。また、モバイル装置1は、ユーザが使用する言語を特定するための識別情報(「言語設定」とも呼ぶ)を予め記憶しておき、他のモバイル装置1から画像を受信すると、言語設定に基づいて受信した画像をユーザが使用する言語に対応付けられた画像に変換して出力を行う。   In the present embodiment, it is assumed that a plurality of images representing the same concept expressed based on different languages or cultures are associated with each other and held in the mobile device 1. Further, the mobile device 1 stores in advance identification information (also referred to as “language setting”) for specifying the language used by the user, and receives an image from another mobile device 1, based on the language setting. The received image is converted into an image associated with the language used by the user and output.

<機能構成>
図2は、モバイル装置1の一例を示す機能ブロック図である。モバイル装置1は、記憶部11と、画像選択受付部12と、選択画像取得部13と、対応画像読出部14と、画像出力部15とを有する。記憶部11は、いわゆる主記憶装置または補助記憶装置であり、情報を一時的又は永続的に保持する。画像選択受付部12は、ユーザ間の対話において相手に送信する画像の選択を受け付け、当該画像を特定するための識別情報を、ネットワーク2を介して相手のモバイル装置1に送信する。また、選択画像取得部13は、ユーザ間の対話において相手から画像を特定するための識別情報を、ネットワーク2を介して相手のモバイル装置1から受信する。対応画像読出部14は、記憶部11に予め記憶されているユーザの言語設定に基づいて、選択画像取得部13が受信した画像に対応する、ユーザが使用する言語の画像を記憶部11から読み出す。そして、画像出力部15は、対応画像読出部14が読み出した画像を、当該モバイル装置1が備える表示装置に出力する。
<Functional configuration>
FIG. 2 is a functional block diagram illustrating an example of the mobile device 1. The mobile device 1 includes a storage unit 11, an image selection receiving unit 12, a selected image acquisition unit 13, a corresponding image reading unit 14, and an image output unit 15. The storage unit 11 is a so-called main storage device or auxiliary storage device, and holds information temporarily or permanently. The image selection accepting unit 12 accepts selection of an image to be transmitted to the other party in the dialogue between the users, and transmits identification information for specifying the image to the other party's mobile device 1 via the network 2. Further, the selected image acquisition unit 13 receives identification information for specifying an image from the partner in the dialogue between users from the partner mobile device 1 via the network 2. The corresponding image reading unit 14 reads, from the storage unit 11, an image of the language used by the user corresponding to the image received by the selected image acquisition unit 13 based on the user language setting stored in advance in the storage unit 11. . Then, the image output unit 15 outputs the image read by the corresponding image reading unit 14 to the display device included in the mobile device 1.

図3は、言語設定を登録する言語テーブルの一例である。図3の例では、「言語設定」の項目(属性)に対応付けてユーザの使用言語である「日本語」が登録されている。なお、言語設定は、例えばモバイル装置1のOS(Operating System)が有するユーザの使用言語に基づいて判断するようにしてもよい。なお、モバイル1aの記憶部11に記憶されているユーザAの言語設定は「日本語」であり、モバイル装置1bの記憶部11に記憶されているユーザBの言語設定は「英語」であるものとする。   FIG. 3 is an example of a language table for registering language settings. In the example of FIG. 3, “Japanese”, which is the user's language, is registered in association with the “language setting” item (attribute). Note that the language setting may be determined based on, for example, the user's language used by the OS (Operating System) of the mobile device 1. In addition, the language setting of the user A stored in the storage unit 11 of the mobile 1a is “Japanese”, and the language setting of the user B stored in the storage unit 11 of the mobile device 1b is “English”. And

図4は、各言語によって表された画像を対応付けて登録する画像テーブルの一例である。図4の画像テーブルは、画像ID、言語、及び画像の項目を有する。画像IDのフィールドには、同一の概念を示す画像を特定する識別情報が登録される。当該識別情報は、モバイル装置1a及びモバイル装置1bに共通する値を用いるものとする。言語のフィールドには、同一の概念を示す画像についてモバイル装置1に保持されている言語のバリエーションが登録される。また、画像のフィールドには、画像ID及び言語によって特定される画像の保存先を示す情報が登録される。このように、図4の画像テーブルには、モバイル装置1に保持されている画像が登録される。なお、図4の例では、言語のフィールドに「日本語」、「英語」、「インドネシア語」及び「ドイツ語」が登録されているが、これらの言語には限定されない。例えば、最低限の概念のパターンについてこれら以外の言語で表現した画像のセットを追加できるようにしてもよいし、概念のパターンを拡張する画像のセットを追加できるようにしてもよい。例えば、このようなセットは、ネットワーク2に接続された図示していないサーバからダウンロードできるようにしてもよい。また、例示した言語の少なくとも一部が登録されていなくてもよい。   FIG. 4 is an example of an image table that registers and registers images represented in each language. The image table in FIG. 4 includes items of an image ID, a language, and an image. In the image ID field, identification information for identifying images showing the same concept is registered. The identification information uses a value common to the mobile device 1a and the mobile device 1b. In the language field, language variations stored in the mobile device 1 for images showing the same concept are registered. In the image field, information indicating the image storage location specified by the image ID and language is registered. As described above, the images held in the mobile device 1 are registered in the image table of FIG. In the example of FIG. 4, “Japanese”, “English”, “Indonesian”, and “German” are registered in the language field, but the language is not limited thereto. For example, it may be possible to add a set of images expressed in a language other than these for the minimum concept pattern, or to add a set of images that expand the concept pattern. For example, such a set may be downloaded from a server (not shown) connected to the network 2. Further, at least a part of the exemplified languages may not be registered.

図5は、ネットワーク2を介して接続されたモバイル装置1a及びモバイル装置1bのタッチパネルに表示される、インスタントメッセンジャの画面の一例を示す図である。図5の画面はそれぞれ、対話経過表示部101と、送信画像選択部102とを含む。対話経過表示部101は、各ユーザの発言を示す画像を時系列順に上下に表示し、相手の発言と自分の発言とを左右に分けて表示する。また、送信画像選択部102は、ユーザがタップ
することにより送信する画像の選択を受け付ける。なお、対話経過表示部101と、送信画像選択部102との大きさの比率及び表示される内容は適宜変更される。また、本実施形態に係る画像はイラストレーションを含み得るが、図5では、便宜上、画像を角丸正方形で模式的に表し、角丸正方形内の括弧書きで当該画像内の台詞又は擬音等で用いられる言語を、括弧なしで当該画像が表現する概念を示すものとする。図5のモバイル装置1aとモバイル装置1bとでは、それぞれユーザA及びユーザBの使用する言語に応じて、自己及び相手の発言に係る画像が変換(翻訳)されて表示されている。
FIG. 5 is a diagram illustrating an example of an instant messenger screen displayed on the touch panel of the mobile device 1 a and the mobile device 1 b connected via the network 2. Each of the screens in FIG. 5 includes a dialog progress display unit 101 and a transmission image selection unit 102. The dialogue progress display unit 101 displays images indicating each user's remarks in an up and down order in time series, and displays the remarks of the other party and his / her remarks separately on the left and right. The transmission image selection unit 102 accepts selection of an image to be transmitted when the user taps. It should be noted that the size ratio between the dialog progress display unit 101 and the transmission image selection unit 102 and the displayed content are appropriately changed. In addition, the image according to the present embodiment may include an illustration, but in FIG. 5, for convenience, the image is schematically represented by a rounded square and used in dialogue or onomatopoeia in the image in parentheses within the rounded square. The language represents the concept expressed by the image without parentheses. In the mobile device 1a and the mobile device 1b in FIG. 5, images relating to the speech of the user and the other party are converted (translated) and displayed according to the languages used by the user A and the user B, respectively.

以上のようなモバイル装置1によれば、複数の言語で表現された画像及びユーザの使用する言語を予め登録しておくことで、受信した画像をユーザの言語設定に沿った画像に翻訳して表示することができる。すなわち、言語や文化圏をまたぐ、画像を用いたコミュニケーションの利用性を向上させることができる。   According to the mobile device 1 as described above, an image expressed in a plurality of languages and a language used by the user are registered in advance, so that the received image is translated into an image according to the user's language setting. Can be displayed. That is, it is possible to improve the usability of communication using images across languages and cultural spheres.

<装置構成>
図6は、コンピュータの一例を示す装置構成図である。モバイル装置1は、例えば図6に示すようなコンピュータである。図6に示すコンピュータ1000は、CPU(Central Processing Unit)1001、主記憶装置1002、補助記憶装置(外部記憶装置)1
003、通信IF(Interface)1004、入出力IF(Interface)1005、ドライブ装置1006、通信バス1007を備えている。CPU1001は、プログラムを実行することにより本実施の形態に係る処理等を行う。主記憶装置1002は、CPU1001が読み出したプログラムやデータをキャッシュしたり、CPUの作業領域を展開したりする。主記憶装置は、具体的には、RAM(Random Access Memory)やROM(Read Only Memory)等である。補助記憶装置1003は、CPU1001により実行されるプログラムや、本実施の形態で用いる設定情報などを記憶する。補助記憶装置1003は、具体的には、HDD(Hard-disk Drive)やSSD(Solid State Drive)、eMMC(embedded
Multi-Media Card)、フラッシュメモリ等である。主記憶装置1002や補助記憶装置
1003は、モバイル装置1の記憶部11として働く。通信IF1004は、他のコンピュータとの間でデータを送受信する。行動履歴蓄積装置1、携帯端末2、企業顧客装置3及び金融機関装置4は、通信IF1004を介してネットワーク3に接続される。通信IF1004は、具体的には、有線又は無線のネットワークカード等である。入出力IF1005は、入出力装置と接続され、ユーザから入力を受け付けたり、ユーザへ情報を出力したりする。入出力装置は、具体的には、キーボード、マウス、ディスプレイ、タッチパネル等である。ドライブ装置1006は、磁気ディスク、光磁気ディスク、光ディスク等の記憶媒体に記録されたデータを読み出したり、記憶媒体にデータを書き込んだりする。そして、以上のような構成要素が、通信バス1007で接続されている。なお、これらの構成要素はそれぞれ複数設けられていてもよいし、一部の構成要素(例えば、ドライブ装置1006)を設けないようにしてもよい。また、携帯電話機やスマートフォン、タブレット、ラップトップ型PC等のように、入出力装置がコンピュータと一体に構成されていてもよい。また、ドライブ装置1006で読み取り可能な可搬性の記憶媒体や、フラッシュメモリのような可搬性の補助記憶装置1003、通信IF1004などを介して、本実施形態で実行されるプログラムが提供されるようにしてもよい。そして、CPU1001がプログラムを実行することにより、上記のようなコンピュータを例えば図2に示したモバイル装置1として働かせる。
<Device configuration>
FIG. 6 is an apparatus configuration diagram illustrating an example of a computer. The mobile device 1 is a computer as shown in FIG. 6, for example. A computer 1000 shown in FIG. 6 includes a CPU (Central Processing Unit) 1001, a main storage device 1002, and an auxiliary storage device (external storage device) 1.
003, a communication IF (Interface) 1004, an input / output IF (Interface) 1005, a drive device 1006, and a communication bus 1007. The CPU 1001 performs processing and the like according to this embodiment by executing a program. The main storage device 1002 caches programs and data read by the CPU 1001 and develops a work area of the CPU. Specifically, the main storage device is a RAM (Random Access Memory), a ROM (Read Only Memory), or the like. The auxiliary storage device 1003 stores programs executed by the CPU 1001, setting information used in the present embodiment, and the like. Specifically, the auxiliary storage device 1003 includes an HDD (Hard-disk Drive), an SSD (Solid State Drive), and an eMMC (embedded).
Multi-Media Card), flash memory, etc. The main storage device 1002 and the auxiliary storage device 1003 work as the storage unit 11 of the mobile device 1. The communication IF 1004 transmits / receives data to / from other computers. The action history storage device 1, the mobile terminal 2, the corporate customer device 3, and the financial institution device 4 are connected to the network 3 via the communication IF 1004. The communication IF 1004 is specifically a wired or wireless network card or the like. The input / output IF 1005 is connected to the input / output device and accepts input from the user or outputs information to the user. Specifically, the input / output device is a keyboard, a mouse, a display, a touch panel, or the like. The drive device 1006 reads data recorded on a storage medium such as a magnetic disk, a magneto-optical disk, and an optical disk, and writes data to the storage medium. The above components are connected by a communication bus 1007. A plurality of these components may be provided, or some of the components (for example, the drive device 1006) may not be provided. In addition, the input / output device may be integrated with the computer, such as a mobile phone, a smartphone, a tablet, or a laptop PC. In addition, the program executed in this embodiment is provided via a portable storage medium readable by the drive device 1006, a portable auxiliary storage device 1003 such as a flash memory, a communication IF 1004, and the like. May be. Then, when the CPU 1001 executes the program, the above-described computer is operated as the mobile device 1 shown in FIG. 2, for example.

<オンライン対話処理>
図7は、本実施形態に係るオンライン対話処理の一例を示す処理フロー図である。図7の処理フロー図は、モバイル装置1aのユーザAから、モバイル装置1bのユーザBへ画像を送信する例を示す。また、モバイル装置1a及びモバイル装置1bは、本実施形態に係る処理を実行するインスタントメッセンジャをインストールしたスマートフォンであるものとする。
<Online dialogue processing>
FIG. 7 is a process flow diagram illustrating an example of the online dialogue process according to the present embodiment. The processing flowchart of FIG. 7 shows an example in which an image is transmitted from the user A of the mobile device 1a to the user B of the mobile device 1b. In addition, the mobile device 1a and the mobile device 1b are assumed to be smartphones installed with an instant messenger that executes processing according to the present embodiment.

モバイル装置1aの画像選択受付部12は、記憶部11に記憶されている画像の一覧を、モバイル装置1aが備えるタッチパネルに表示すると共に、ユーザAから画像の選択を受け付ける(図4:S1)。本ステップでは、例えば画像の一覧を所定の階層構造を有する分類に基づいて表示し、相手に送信する画像の選択をユーザAから受け付ける。なお、画像の一覧は、例えばユーザAの言語設定に基づいて、ユーザAが使用する言語で表示する。また、所定の階層構造とは、例えば、発言を使用する場面や時刻等に基づいて画像を分類した構造である。   The image selection receiving unit 12 of the mobile device 1a displays a list of images stored in the storage unit 11 on a touch panel included in the mobile device 1a and receives an image selection from the user A (FIG. 4: S1). In this step, for example, a list of images is displayed based on a classification having a predetermined hierarchical structure, and selection of an image to be transmitted to the other party is accepted from the user A. The list of images is displayed in the language used by the user A based on the language setting of the user A, for example. In addition, the predetermined hierarchical structure is a structure in which images are classified based on, for example, scenes or times when speech is used.

図8に、ユーザから画像の選択を受ける画面の一例を示す。図8に示す画面には、送信画像選択部102に、「挨拶」、「旅行」、「仕事」、「緊急」等の利用場面や、「朝」、「昼」、「夜」、「その他」等の時間帯といったカテゴリの選択肢と、選択されたカテゴリに属する画像とが表示されている。なお、ユーザが例えば左右にスワイプすることにより例示されていないカテゴリが表示されるようにしてもよい。   FIG. 8 shows an example of a screen that receives image selection from the user. In the screen shown in FIG. 8, the transmission image selection unit 102 is used for “greeting”, “travel”, “work”, “emergency”, etc., “morning”, “daytime”, “night”, “ ”And other category options such as“ time zone ”and images belonging to the selected category are displayed. Note that categories that are not illustrated may be displayed by the user swiping left and right, for example.

また、画像選択受付部12は、タップ等によりユーザから画像の選択を受け付けると、当該画像の識別情報を、ネットワーク2を介してモバイル装置1bに送信する(S2)。本ステップでは、例えば図4の画像テーブルの画像IDに登録されている識別情報が送信される。   In addition, when receiving an image selection from the user by a tap or the like, the image selection receiving unit 12 transmits identification information of the image to the mobile device 1b via the network 2 (S2). In this step, for example, identification information registered in the image ID of the image table in FIG. 4 is transmitted.

一方、モバイル装置1bの選択画像取得部13は、ネットワーク2を介してモバイル装置1aから画像の識別情報を受信する(S3)。そして、モバイル装置1bの対応画像読出部14は、記憶部11から翻訳後の画像を抽出する(S4)。具体的には、対応画像読出部14は、記憶部11の言語テーブルに保持されている言語設定に基づき、記憶部11の画像テーブルから、画像IDが受信した画像の識別情報と同一であり、且つ言語が言語設定と同一の画像の保存先を特定し、記憶部11から該当する画像を読み出す。そして、モバイル装置1bの画像出力部15は、読み出された画像を、インスタントメッセンジャのタイムライン上に出力する(S5)。   On the other hand, the selected image acquisition unit 13 of the mobile device 1b receives image identification information from the mobile device 1a via the network 2 (S3). Then, the corresponding image reading unit 14 of the mobile device 1b extracts the translated image from the storage unit 11 (S4). Specifically, the corresponding image reading unit 14 is the same as the image identification information received from the image table of the storage unit 11 based on the language setting held in the language table of the storage unit 11, In addition, the storage location of the image whose language is the same as the language setting is specified, and the corresponding image is read from the storage unit 11. Then, the image output unit 15 of the mobile device 1b outputs the read image on the instant messenger timeline (S5).

以上のようなオンライン対話処理は、ユーザA及びユーザBの操作に応じて双方向に送受信が行われる。このように、複数の言語で表現された画像及びユーザの使用する言語を予め登録しておくことで、受信した画像をユーザの言語設定に沿った画像に翻訳して表示することができる。すなわち、言語や文化圏をまたぐ、画像を用いたコミュニケーションの利用性を向上させることができる。   The online dialogue process as described above is bidirectionally transmitted and received in accordance with the operations of the user A and the user B. As described above, by registering in advance images expressed in a plurality of languages and languages used by the user, the received images can be translated and displayed as images according to the user's language settings. That is, it is possible to improve the usability of communication using images across languages and cultural spheres.

なお、言語や概念のパターンを拡張する画像のセットを追加するステップを別途実行するようにしてもよい。例えば、このようなセットは、ネットワーク2に接続された図示していないサーバからダウンロードし、複数の画像の対応関係と共に記憶部に記憶させておく。このようにすれば、利用できる画像が増え、コミュニケーションの幅を広げることができる。   It should be noted that a step of adding a set of images for extending the language and concept patterns may be executed separately. For example, such a set is downloaded from a server (not shown) connected to the network 2 and stored in the storage unit together with the correspondence between a plurality of images. In this way, more images can be used and the range of communication can be expanded.

<<実施形態2>>
<システム構成>
図9は、実施形態2に係るシステム構成の一例を示す模式的な構成図である。なお、本実施形態では、実施形態1と共通する箇所に対応する符号を付し、差異を中心に説明する。図9のシステムは、破線で示す複数のユーザが1つのモバイル装置1を使用して対話を行う。なお、本実施形態でも、2人のユーザをユーザA及びユーザBと呼ぶ。また、本実施形態に係るプログラムは、ユーザが対面(オフライン)で行う対話を支援する。なお、実施形態1に係るインスタントメッセンジャが、本実施形態に係る機能(「ボード機能」とも呼ぶ)をさらに有するようにしてもよい。
<< Embodiment 2 >>
<System configuration>
FIG. 9 is a schematic configuration diagram illustrating an example of a system configuration according to the second embodiment. In the present embodiment, reference numerals corresponding to portions common to the first embodiment are attached, and the difference will be mainly described. In the system shown in FIG. 9, a plurality of users indicated by broken lines interact with each other using one mobile device 1. In this embodiment, the two users are also referred to as user A and user B. In addition, the program according to the present embodiment supports a dialogue that the user performs in a face-to-face (offline). The instant messenger according to the first embodiment may further have a function according to the present embodiment (also referred to as “board function”).

<機能構成>
図10は、本実施形態に係るモバイル装置1の一例を示す機能ブロック図である。モバイル装置1は、記憶部11と、画像選択受付部12と、対応画像読出部14と、画像出力部15とを有する。なお、本実施形態に係るモバイル装置1は、選択画像取得部13を有していない。また、本実施形態に係るモバイル装置1は、ネットワーク2に接続することなくスタンドアロンで動作する。
<Functional configuration>
FIG. 10 is a functional block diagram illustrating an example of the mobile device 1 according to the present embodiment. The mobile device 1 includes a storage unit 11, an image selection receiving unit 12, a corresponding image reading unit 14, and an image output unit 15. Note that the mobile device 1 according to the present embodiment does not include the selected image acquisition unit 13. Further, the mobile device 1 according to the present embodiment operates stand-alone without being connected to the network 2.

図11は、記憶部11に記憶される言語テーブルの一例を示す図である。本実施形態に係る言語テーブルは、ユーザIDの項目と、言語設定の項目とを含む。ユーザIDのフィールドには、ユーザを特定するための識別情報が登録される。図11の例では、ユーザAの言語設定として日本語が登録され、ユーザBの言語設定として英語が登録されている。   FIG. 11 is a diagram illustrating an example of a language table stored in the storage unit 11. The language table according to the present embodiment includes a user ID item and a language setting item. Identification information for identifying the user is registered in the user ID field. In the example of FIG. 11, Japanese is registered as the language setting of the user A, and English is registered as the language setting of the user B.

図12は、モバイル装置1のタッチパネルに表示される画面の一例を示す図である。図12の画面も、対話経過表示部101と、送信画像選択部102とを含む。対話経過表示部101は、例えばユーザAの発言を示す画像を、ユーザBの設定言語に変換して時系列順に上下に表示する。また、送信画像選択部102は、ユーザAがタップすることにより、対話経過表示部101に表示する画像の選択を受け付ける。図示していないが、送信画像選択部102には、ユーザAの設定言語に基づいて選択肢の画像が表示される。   FIG. 12 is a diagram illustrating an example of a screen displayed on the touch panel of the mobile device 1. The screen in FIG. 12 also includes a dialogue progress display unit 101 and a transmission image selection unit 102. The dialog progress display unit 101 converts, for example, an image indicating the remarks of the user A into the user B's set language and displays the images up and down in chronological order. The transmission image selection unit 102 accepts selection of an image to be displayed on the dialogue progress display unit 101 when the user A taps. Although not shown, the transmission image selection unit 102 displays an option image based on the language set by the user A.

図13は、モバイル装置1のタッチパネルに表示される画面の変形例を示す図である。図13の画面も、対話経過表示部101と、送信画像選択部102とを含む。対話経過表示部101は、例えばユーザAの発言を示す画像を、ユーザBの設定言語に変換して時系列順に上下に表示するだけでなく、ユーザAの設定言語に基づく画像を左右に並べて表示する。このようにすれば、ユーザAが自己の発言を認識し易くなる。   FIG. 13 is a diagram illustrating a modification of the screen displayed on the touch panel of the mobile device 1. The screen in FIG. 13 also includes a dialogue progress display unit 101 and a transmission image selection unit 102. For example, the dialogue progress display unit 101 not only converts an image indicating the remark of the user A into the setting language of the user B and displays the image based on the setting language of the user A side by side in a time-series order. To do. In this way, the user A can easily recognize his / her speech.

本実施の形態に係るモバイル装置1によれば、複数の言語で表現された画像及びユーザの使用する言語を予め登録しておくことで、その場で選択された画像を相手の言語設定に沿った画像に翻訳して表示することができる。すなわち、言語や文化圏をまたぐ、画像を用いた対面でのコミュニケーションの利用性を向上させることができる。   According to the mobile device 1 according to the present embodiment, by registering in advance an image expressed in a plurality of languages and a language used by the user, the image selected on the spot is set in accordance with the language setting of the partner. Can be translated and displayed. That is, it is possible to improve the usability of face-to-face communication using images across languages and cultural spheres.

<<変形例1>>
実施形態1及び実施形態2では、言語設定に基づき自動的に画像を変換したが、ユーザが相手に提示する画像の言語を選択できるようにしてもよい。例えば、実施形態1及び実施形態に2の自動変換処理に加えて、ユーザが相手に提示する画像の言語を明示的に指示した場合には、相手の言語設定に応じた変換を行わず、ユーザが指示した言語に基づいて画像を表示するようにしてもよい。また、実施形態1及び実施形態に2の自動変換処理を行わず、ユーザが、相手に提示する画像及び言語を毎回指示するようにしてもよい。
<< Modification 1 >>
In the first and second embodiments, the image is automatically converted based on the language setting. However, the language of the image presented to the user may be selected by the user. For example, in addition to the automatic conversion processing of Embodiment 1 and Embodiment 2, when the user explicitly indicates the language of the image presented to the partner, the user does not perform conversion according to the partner language setting, and the user The image may be displayed based on the language instructed by the user. Further, instead of performing the automatic conversion process 2 in Embodiments 1 and 2, the user may instruct the image and language to be presented to the partner each time.

図14は、相手に提示する画像及び言語を選択する画面の一例を示す図である。図14の画面は、ユーザが、破線の円で示す日本語の画像「教えて」を長押し(ロングタップ)した場合に、日本語の画像「教えて」の周囲に、対応する概念を示す英語の画像、中国語の画像、ベトナム語の画像、スペイン語の画像、ドイツ語の画像、タイ語の画像、インドネシア語の画像が選択肢として表示された状態を表している。なお、図14の画面においてユーザがフリック操作を行うことで、各言語の画像を選択することができる。   FIG. 14 is a diagram illustrating an example of a screen for selecting an image and language to be presented to the other party. The screen of FIG. 14 shows a corresponding concept around the Japanese image “Teach me” when the user presses (long taps) the Japanese image “Teach me” indicated by a dashed circle. An English image, a Chinese image, a Vietnamese image, a Spanish image, a German image, a Thai image, and an Indonesian image are displayed as options. Note that the user can select an image in each language by performing a flick operation on the screen of FIG.

また、図14において太い矢印で示すように、選択肢の画像はユーザが長押しした画像の近傍から遠くへと順に、タッチパネル上で空きのある領域へ広がる円弧上に表示されるようにしてもよい。このとき、表示される言語の順序は、過去の使用頻度に基づいて入れ替わるようにしてもよい。すなわち、例えば言語ごとに選択された回数を集計しておく。
また、使用頻度は、例えば直近の所定回数における選択に基づいて集計及び比較するようにしてもよい。このようにすれば、使用頻度の高い言語の画像がより早く、ユーザが長押ししている位置からより近くに表示されるようになるため、選択が容易になる。
Further, as indicated by a thick arrow in FIG. 14, the option images may be displayed on an arc extending to an empty area on the touch panel in order from the vicinity of the image long pressed by the user. . At this time, the order of displayed languages may be changed based on the past use frequency. That is, for example, the number of times selected for each language is tabulated.
Further, the usage frequency may be tabulated and compared based on, for example, selection in the most recent predetermined number of times. In this way, an image in a frequently used language is displayed faster and closer to the position where the user presses and holds, so that selection becomes easier.

また、選択肢の画像はタッチパネル上で空きのある領域に表示されるため、例えばタッチパネルの中央付近など、全方向に空き領域がある画像をユーザが長押しした場合は、選択肢の画像が渦巻き状に表示されるようにしてもよい。図15は、選択肢の画像が渦巻き状に表示される画面の一例を示す図である。このように、ユーザが長押しした画像を中心に次第に径が大きくなる渦巻き形状に沿って、選択肢の画像が広がるようにしてもよい。また、このような態様において、使用頻度に応じて表示順序を変更するようにしてもよい。   In addition, since the option image is displayed in an empty area on the touch panel, for example, when the user presses and holds an image having an empty area in all directions, for example, near the center of the touch panel, the option image is spiraled. It may be displayed. FIG. 15 is a diagram illustrating an example of a screen on which options images are displayed in a spiral shape. As described above, the image of the option may be spread along a spiral shape having a diameter that gradually increases with the image long pressed by the user. In such an aspect, the display order may be changed according to the usage frequency.

なお、所望の言語に係る画像が、ユーザが記憶している表示順序又は表示位置と異なる順序又は位置に表示されると、入力速度が低下する場合もある。したがって、使用頻度に応じて自動的に表示順序を変更するのではなく、予めユーザが設定した優先順位に基づいて各言語に係る画像の表示順序又は表示位置を決定するようにしてもよい。   Note that if the images related to the desired language are displayed in an order or position different from the display order or display position stored by the user, the input speed may decrease. Therefore, instead of automatically changing the display order according to the frequency of use, the display order or display position of the images according to each language may be determined based on the priority order set in advance by the user.

また、選択肢の画像の表示位置は上述のような曲線上に限らず、縦及び横に等間隔の格子上に表示するようにしてもよい。この場合も、ユーザが長押ししている位置の近傍に、使用頻度の高い言語又はユーザの設定した優先順位の高い言語が表示されるようにすることが好ましい。   In addition, the display position of the option image is not limited to the above-described curve, but may be displayed on a lattice that is equally spaced vertically and horizontally. In this case as well, it is preferable that a frequently used language or a language with a high priority set by the user is displayed in the vicinity of the position where the user is long-pressed.

本変形例に示した選択肢画像の表示方法は、相手に送信または提示する言語の選択だけでなく、実施形態1又は実施形態2におけるユーザの使用する言語の選択にも用いることができる。   The method for displaying option images shown in the present modification can be used not only for selecting a language to be transmitted or presented to the other party, but also for selecting a language used by the user in the first or second embodiment.

<<変形例2>>
ところで、実施形態1において、言語や概念のパターンを拡張する画像のセットを追加できるようにした場合、一方のモバイル装置aが有する画像が他方のモバイル装置bには保持されていないことがあり得る。画像の翻訳を行う場合、モバイル装置1の記憶部11に記憶されていない画像は表示できないという問題がある。
<< Modification 2 >>
By the way, in the first embodiment, when it is possible to add a set of images that extend the language and the concept pattern, an image of one mobile device a may not be held in the other mobile device b. . When translating images, there is a problem that images that are not stored in the storage unit 11 of the mobile device 1 cannot be displayed.

そこで、画像データそのものを用意された言語すべてのぶん送信し、受信側が、言語設定に応じて表示するスタンプを決めるようにしてもよい。具体的には、図7に示した処理フローにおいて、S2では選択された画像に関連付けられた、すべての言語に対応する画像データそのものを送信するとともに、S3ではすべての言語に対応する画像データを受信し、S4において言語設定に対応する画像データを抽出する。また、画像を一度送信した後は、上述の実施形態で述べたように画像データでなく識別情報を送受信するようにしてもよい。   Therefore, the image data itself may be transmitted in all prepared languages, and the receiving side may determine a stamp to be displayed according to the language setting. Specifically, in the processing flow shown in FIG. 7, the image data itself corresponding to all languages associated with the selected image is transmitted in S2, and the image data corresponding to all languages is transmitted in S3. In step S4, image data corresponding to the language setting is extracted. Further, after the image is transmitted once, identification information may be transmitted / received instead of image data as described in the above embodiment.

また、予め互いの言語設定を通知しておき、送信側で、ユーザから入力されたスタンプを相手の言語設定に応じて変換し、相手の言語設定に沿った画像データを送信するようにしてもよい。具体的には、図7に示した処理フローの開始前に、モバイル装置1aとモバイル装置1bとが言語設定を互いに通知しておく。そして、S1において選択された画像を、S2においてモバイル装置1aが相手の言語設定に基づいて変換(翻訳)すると共に、変換後の画像データそのものを送信し、モバイル装置1bは、S3において受信した画像データを、S4において変換することなくS5において出力するようにする。この場合も、画像を一度送信した後は、上述の実施形態で述べたように画像データでなく識別情報を送受信するようにしてもよい。   Also, the mutual language setting is notified in advance, and on the transmission side, the stamp inputted by the user is converted according to the language setting of the other party, and the image data according to the language setting of the other party is transmitted. Good. Specifically, before the processing flow shown in FIG. 7 starts, the mobile device 1a and the mobile device 1b notify each other of the language setting. Then, the mobile device 1a converts (translates) the image selected in S1 based on the language setting of the other party in S2, and transmits the converted image data itself, and the mobile device 1b receives the image received in S3. The data is output in S5 without being converted in S4. Also in this case, after the image is transmitted once, identification information may be transmitted / received instead of image data as described in the above embodiment.

また、受信側のモバイル装置1bが保持していない画像は、モバイル装置1b自身が取得するようにしてもよい。画像の取得は、例えば図示していない所定のサーバからダウンロードする態様であってもよい。また、画像の取得は、受信側のモバイル装置1bが自身の言語設定に対応する画像の送信を送信側のモバイル装置1aへ要求し、送信側のモバイル装置1aが要求を受けた言語設定に係る画像をモバイル装置1bへ送信するようにしてもよい。具体的には、言語や概念のパターンを拡張する画像を含め、画像を一意に特定できる識別情報(画像ID)を、概念を示す画像の各々に付与しておく。そして、図7のS2に示すように、モバイル装置1aは画像を指定する情報として識別情報を送信する。一方、受信側のモバイル装置1は、S4において、識別情報に対応する画像を記憶部11に保持している場合は、当該画像を抽出する。S4において識別情報に対応する画像を記憶部11に保持していない場合は、所定のサーバ又はモバイル装置1aから当該画像を取得する。そして、抽出又は取得した翻訳後の画像をS5において出力する。なお、モバイル装置1は、記憶部11に保持している画像の各々について、表示のみを許可する権限又は表示及び送信を許可する権限を設定しておくようにしてもよい。例えば上記のようにモバイル装置1bが保持していない画像を取得した場合、モバイル装置1bは、当該画像を表示のみ許可する設定にする。   In addition, the mobile device 1b itself may acquire an image that the receiving-side mobile device 1b does not hold. For example, the image may be downloaded from a predetermined server (not shown). The acquisition of the image is related to the language setting that the mobile device 1b on the reception side requests the transmission side mobile device 1a to transmit an image corresponding to its own language setting, and the mobile device 1a on the transmission side receives the request. The image may be transmitted to the mobile device 1b. Specifically, identification information (image ID) that can uniquely identify an image, including an image that expands a language or a concept pattern, is assigned to each of the images indicating the concept. And as shown to S2 of FIG. 7, the mobile apparatus 1a transmits identification information as information which designates an image. On the other hand, when the mobile device 1 on the receiving side holds an image corresponding to the identification information in the storage unit 11 in S4, the mobile device 1 extracts the image. When the image corresponding to the identification information is not held in the storage unit 11 in S4, the image is acquired from a predetermined server or mobile device 1a. Then, the extracted or acquired translated image is output in S5. Note that the mobile device 1 may set an authority to permit only display or an authority to permit display and transmission for each of the images held in the storage unit 11. For example, when an image that is not held by the mobile device 1b is acquired as described above, the mobile device 1b is set to permit only display of the image.

以上のように、変形例2によれば、相手が有していない画像のセットであっても相手の言語設定に基づいて翻訳することができるようになる。   As described above, according to the second modification, even a set of images that the partner does not have can be translated based on the language setting of the partner.

上述の例では記憶部11に格納する情報を行及び列からなる一般的なテーブルで例示したが、情報を記憶する形式や正規化の程度は特に限定されない。例えばRDBMS(Relational Database Management System)を採用するようにしてもよいし、いわゆるNoS
QLと呼ばれるような、ドキュメントストア型、キーバリュー型、オブジェクトデータベース、マルチバリューデータベース等の管理システムを採用するようにしてもよい。
In the above example, the information stored in the storage unit 11 is exemplified by a general table including rows and columns. However, the format for storing information and the degree of normalization are not particularly limited. For example, an RDBMS (Relational Database Management System) may be adopted, or so-called NoS.
A management system such as a document store type, a key-value type, an object database, a multi-value database, or the like, called QL, may be employed.

<その他>
本発明は上述の処理を実行するコンピュータプログラムを含む。さらに、当該プログラムを記録した、コンピュータ読み取り可能な記録媒体も、本発明の範疇に属する。当該プログラムが記録された記録媒体については、コンピュータに、この記録媒体のプログラムを読み込ませて実行させることにより、上記試料搬送制御による搬送の適否判断が可能となる。
<Others>
The present invention includes a computer program that executes the above-described processing. Furthermore, a computer-readable recording medium on which the program is recorded also belongs to the category of the present invention. With respect to the recording medium on which the program is recorded, it is possible to determine the suitability of conveyance by the sample conveyance control by causing the computer to read and execute the program of the recording medium.

ここで、コンピュータ読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータから読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータから取り外し可能なものとしては、フレキシブルディスク、光磁気ディスク、光ディスク、磁気テープ、メモリカード等がある。また、コンピュータに固定された記録媒体としては、ハードディスクドライブやROM等がある。   Here, the computer-readable recording medium refers to a recording medium in which information such as data and programs is accumulated by electrical, magnetic, optical, mechanical, or chemical action and can be read from a computer. Examples of such a recording medium that can be removed from the computer include a flexible disk, a magneto-optical disk, an optical disk, a magnetic tape, and a memory card. In addition, examples of the recording medium fixed to the computer include a hard disk drive and a ROM.

1 モバイル装置
11 記憶部
12 画像選択受付部
13 選択画像取得部
14 対応画像読出部
15 画像出力部
2 ネットワーク
DESCRIPTION OF SYMBOLS 1 Mobile apparatus 11 Memory | storage part 12 Image selection reception part 13 Selected image acquisition part 14 Corresponding image reading part 15 Image output part 2 Network

Claims (10)

他者とのコミュニケーションに用いられる画像を送受信可能なインスタントメッセージ送受信プログラムであって、
出力すべき前記画像の指定を受信する受信ステップと、
異なる言語に基づいて表された同一の概念を示す複数の前記画像、及びユーザに出力する言語を示す言語設定を保持する記憶部から、前記受信ステップにおいて指定を受信した画像と同一の概念を示し、且つ前記言語設定が示す言語に基づいて表された画像を読み出す読出ステップと、
前記読出ステップにおいて読み出した画像を出力するステップと、
をコンピュータに実行させるインスタントメッセージ送受信プログラム。
An instant message transmission / reception program capable of transmitting and receiving images used for communication with others,
A receiving step for receiving a designation of the image to be output;
A plurality of the images representing the same concept expressed based on different languages, and the same concept as the image that received the designation in the reception step from the storage unit that holds the language setting indicating the language to be output to the user And a reading step of reading an image represented based on a language indicated by the language setting;
Outputting the image read in the reading step;
An instant message transmission / reception program that causes a computer to execute.
前記異なる言語に基づいて表された同一の概念を示す複数の前記画像は、各言語又は当該各言語が属する文化に基づいて、同一の感情又は同一のジェスチャーを表す
請求項1に記載のインスタントメッセージ送受信プログラム。
The instant message according to claim 1, wherein the plurality of images representing the same concept expressed based on the different languages represent the same emotion or the same gesture based on each language or culture to which each language belongs. Send / receive program.
前記異なる言語に基づいて表された同一の概念を示す複数の前記画像は、台詞又は擬音を含む
請求項1又は2に記載のインスタントメッセージ送受信プログラム。
The instant message transmission / reception program according to claim 1, wherein the plurality of images representing the same concept expressed based on the different languages include dialogue or onomatopoeia.
異なる言語に基づいて表された同一の概念を示す複数の画像を、ネットワークを介して取得し、当該複数の画像の対応関係と共に前記記憶部に記憶させるステップ
をさらにコンピュータに実行させる請求項1から3のいずれか一項に記載のインスタントメッセージ送受信プログラム。
The computer further executing the step of acquiring a plurality of images representing the same concept expressed based on different languages via a network and storing them in the storage unit together with a correspondence relationship between the plurality of images. The instant message transmitting / receiving program according to any one of claims 3 to 4.
表示された画像の長押しを検知すると、当該画像の周囲に、前記異なる言語に基づいて表された複数の画像を表示させる選択肢表示ステップをさらに含み、
前記選択肢表示ステップにおいて表示された複数の画像のいずれかの選択を受けた場合、選択された画像に対応する言語に基づいて表された画像を前記他者に提示する、
請求項1から4のいずれか一項に記載のインスタントメッセージ送受信プログラム。
When a long press of the displayed image is detected, the method further includes an option display step of displaying a plurality of images expressed based on the different languages around the image,
When receiving any selection of a plurality of images displayed in the option display step, an image represented based on a language corresponding to the selected image is presented to the other person.
The instant message transmission / reception program according to any one of claims 1 to 4.
前記選択肢表示ステップにおいて、使用頻度の高い言語に係る画像ほど早期に又は長押しされた画像の近傍に表示される
請求項5に記載のインスタントメッセージ送受信プログラム。
The instant message transmission / reception program according to claim 5, wherein in the option display step, an image related to a frequently used language is displayed earlier or in the vicinity of a long-pressed image.
他者とのコミュニケーションに用いられる画像を送受信可能なインスタントメッセンジャを提供するためにコンピュータが実行する情報処理方法であって、
出力すべき前記画像の指定を受信する受信ステップと、
異なる言語に基づいて表された同一の概念を示す複数の前記画像、及びユーザに出力する言語を示す言語設定を保持する記憶部から、前記受信ステップにおいて指定を受信した画像と同一の概念を示し、且つ前記言語設定が示す言語に基づいて表された画像を読み出す読出ステップと、
前記読出ステップにおいて読み出した画像を出力するステップと、
をコンピュータが実行する情報処理方法。
An information processing method executed by a computer to provide an instant messenger capable of transmitting and receiving images used for communication with others,
A receiving step for receiving a designation of the image to be output;
A plurality of the images representing the same concept expressed based on different languages, and the same concept as the image that received the designation in the reception step from the storage unit that holds the language setting indicating the language to be output to the user And a reading step of reading an image represented based on a language indicated by the language setting;
Outputting the image read in the reading step;
An information processing method in which a computer executes.
他者とのコミュニケーションに用いられる画像を送受信可能なインスタントメッセンジャとして機能する情報処理装置であって、
出力すべき前記画像の指定を受信する受信部と、
異なる言語に基づいて表された同一の概念を示す複数の前記画像、及びユーザに出力する言語を示す言語設定を保持する記憶部から、前記受信ステップにおいて指定を受信した
画像と同一の概念を示し、且つ前記言語設定が示す言語に基づいて表された画像を読み出す読出部と、
前記読出ステップにおいて読み出した画像を出力する出力部と、
を備える情報処理装置。
An information processing apparatus that functions as an instant messenger capable of transmitting and receiving images used for communication with others,
A receiver for receiving the designation of the image to be output;
A plurality of the images representing the same concept expressed based on different languages, and the same concept as the image that received the designation in the reception step from the storage unit that holds the language setting indicating the language to be output to the user And a reading unit for reading an image represented based on a language indicated by the language setting;
An output unit for outputting the image read in the reading step;
An information processing apparatus comprising:
他者とのコミュニケーションに用いられる画像を、1つのコンピュータ上で選択及び表示可能なプログラムであって、
前記画像の選択を第1のユーザから受け付ける選択ステップと、
異なる言語に基づいて表された同一の概念を示す複数の前記画像、及び当該複数の画像の対応関係、並びに第2のユーザに出力する言語を示す言語設定を保持する記憶部から、前記選択ステップにおいて選択された画像に対応し且つ前記言語設定が示す言語に基づいて表された画像を読み出す読出ステップと、
前記読出ステップにおいて読み出した画像を出力するステップと、
を前記コンピュータに実行させるプログラム。
A program capable of selecting and displaying an image used for communication with others on one computer,
A selection step of accepting selection of the image from a first user;
A plurality of the images representing the same concept expressed based on different languages, a correspondence relationship between the plurality of images, and a storage unit that holds a language setting indicating a language to be output to the second user; A reading step of reading out an image corresponding to the image selected in step 1 and expressed based on the language indicated by the language setting;
Outputting the image read in the reading step;
A program for causing the computer to execute.
他者とのコミュニケーションに用いられる画像を送受信可能なインスタントメッセージ送受信プログラムであって、
前記他者に出力すべき言語を示す言語設定を前記他者のコンピュータから受信する受信ステップと、
前記他者に出力する画像の選択をユーザから受け付ける選択ステップと、
異なる言語に基づいて表された同一の概念を示す複数の前記画像を対応付けて保持する記憶部から、前記受信ステップにおいて受信した前記言語設定が示す言語に基づいて表され、且つ前記選択ステップにおいて前記ユーザが選択した画像と同一の概念を示す画像を読み出す読出ステップと、
前記読出ステップにおいて読み出した画像を前記他者のコンピュータに送信するステップと、
をコンピュータに実行させるインスタントメッセージ送受信プログラム。
An instant message transmission / reception program capable of transmitting and receiving images used for communication with others,
Receiving a language setting indicating the language to be output to the other person from the other person's computer;
A selection step of accepting selection of an image to be output to the other person from a user;
From the storage unit that associates and holds the plurality of images representing the same concept expressed based on different languages, and is expressed based on the language indicated by the language setting received in the reception step, and in the selection step A reading step of reading an image showing the same concept as the image selected by the user;
Transmitting the image read in the reading step to the computer of the other person;
An instant message transmission / reception program that causes a computer to execute.
JP2015019644A 2015-02-03 2015-02-03 Instant message transmission / reception program, information processing method, and information processing apparatus Active JP5791219B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015019644A JP5791219B1 (en) 2015-02-03 2015-02-03 Instant message transmission / reception program, information processing method, and information processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015019644A JP5791219B1 (en) 2015-02-03 2015-02-03 Instant message transmission / reception program, information processing method, and information processing apparatus

Publications (2)

Publication Number Publication Date
JP5791219B1 JP5791219B1 (en) 2015-10-07
JP2016143289A true JP2016143289A (en) 2016-08-08

Family

ID=54346152

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015019644A Active JP5791219B1 (en) 2015-02-03 2015-02-03 Instant message transmission / reception program, information processing method, and information processing apparatus

Country Status (1)

Country Link
JP (1) JP5791219B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021019658A1 (en) * 2019-07-29 2021-02-04 株式会社パトライト Communication system
US11630574B2 (en) 2018-03-16 2023-04-18 Samsung Electronics Co., Ltd Screen control method for providing notification of objects having different meanings for each region and electronic device supporting same

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6906737B2 (en) * 2016-06-28 2021-07-21 Line株式会社 Information processing device, control method and program of information processing device, information processing terminal, display control method and program of information processing terminal
JP7075464B2 (en) * 2020-10-23 2022-05-25 Line株式会社 Information processing device, control method and program of information processing device, information processing terminal, display control method and program of information processing terminal

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002183065A (en) * 2000-12-18 2002-06-28 Casio Comput Co Ltd Translation support device, translation support method and recording medium stored with translation support program
WO2008120031A1 (en) * 2007-03-29 2008-10-09 Nokia Corporation Method and apparatus for translation
KR20140120192A (en) * 2013-04-02 2014-10-13 삼성전자주식회사 Method for processing data and an electronic device thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11630574B2 (en) 2018-03-16 2023-04-18 Samsung Electronics Co., Ltd Screen control method for providing notification of objects having different meanings for each region and electronic device supporting same
WO2021019658A1 (en) * 2019-07-29 2021-02-04 株式会社パトライト Communication system

Also Published As

Publication number Publication date
JP5791219B1 (en) 2015-10-07

Similar Documents

Publication Publication Date Title
RU2632144C1 (en) Computer method for creating content recommendation interface
CN106415431B (en) For sending method, computer-readable medium and the electronic equipment of instruction
EP3557406B1 (en) Device and method for performing functions
EP3623942A1 (en) Message processing method and apparatus, storage medium, and computer device
CN111095215B (en) Inter-application delivery format specific data objects
EP3518101A1 (en) Electronic device and method for using captured image in electronic device
CN116382554A (en) Improved drag and drop operations on mobile devices
EP2891041B1 (en) User interface apparatus in a user terminal and method for supporting the same
US10430040B2 (en) Method and an apparatus for providing a multitasking view
US20140337804A1 (en) Symbol-based digital ink analysis
US10489032B1 (en) Rich structured data interchange for copy-paste operations
WO2013097129A1 (en) Contact search method, device and mobile terminal applying same
JP5791219B1 (en) Instant message transmission / reception program, information processing method, and information processing apparatus
KR20170088378A (en) Tab based browser content sharing
US20160378743A1 (en) Method and apparatus for insertion of text in an electronic device
US20200050906A1 (en) Dynamic contextual data capture
JP2016184408A (en) Terminal for retrieving keywords through interaction, server, and method
CN111124564A (en) Method and device for displaying user interface
US20140082550A1 (en) Systems and methods for integrated query and navigation of an information resource
JP6237135B2 (en) Information processing apparatus and information processing program
EP2378474A2 (en) Systems and methods for interface management
US20150138077A1 (en) Display system and display controll device
TWI688868B (en) System, non-transitory computer readable medium and method for extracting information and retrieving contact information using the same
JP6790886B2 (en) Information processing programs, information processing methods and information processing equipment
CN111399722A (en) Mail signature generation method, device, terminal and storage medium

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150721

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150803

R150 Certificate of patent or registration of utility model

Ref document number: 5791219

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250