JP2016106334A - Message transmission system, message transmission method, and program - Google Patents

Message transmission system, message transmission method, and program Download PDF

Info

Publication number
JP2016106334A
JP2016106334A JP2016051350A JP2016051350A JP2016106334A JP 2016106334 A JP2016106334 A JP 2016106334A JP 2016051350 A JP2016051350 A JP 2016051350A JP 2016051350 A JP2016051350 A JP 2016051350A JP 2016106334 A JP2016106334 A JP 2016106334A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
field
person
image
view
message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016051350A
Other languages
Japanese (ja)
Other versions
JP6140327B2 (en )
Inventor
俊二 菅谷
俊二 菅谷
Original Assignee
株式会社オプティム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Abstract

PROBLEM TO BE SOLVED: To provide a message transmission system that allows a user to communicate with a person located in a field of view by a message.SOLUTION: When a person 500 is located in a field of view of a user, a user utilization terminal 10 acquires the field of view of the user as image data and transmits an image of the field of view to a visual field image analysis server 100. The visual field image analysis server 100 extracts feature quantity from the image of the field of view, and refers to a feature quantity database 150 to identify the person near a center of the image of the field of view. Information on the person is read from a person information database 151, and transmitted to the user utilization terminal 10. The user utilization terminal 10 transmits an input electronic message or image data via a message transmission server 200 on the basis of the received person information, thereby allowing the user to communicate with the person in the field of view by a message.SELECTED DRAWING: Figure 1

Description

本発明は、ユーザが視野内に存在する人物と意思疎通を行うためのメッセージ送信システム、メッセージ送信方法、及び、プログラムに関する。 The present invention, message transmission system for the person and communication that the user is present in the field of view, a message transmission method, and a program.

今日、ユーザ間における意思疎通を行う手段として、電子メールやインスタント・メッセンジャー等の電子メッセージが盛んになってきている。 Today, as a means for performing mutual understanding between the user, e-mail and instant messenger of the electronic message has become popular. テキストデータや画像データで構成される電子メッセージは、従来の音声によるやり取りと比較して、雑然とした場所でも正確な入力や閲覧が可能であり、特に移動中等の街中における利用において優れている。 An electronic message comprised of text data and image data, compared with the exchange of the conventional audio, but may be accurate input and browsing in cluttered locations, is particularly excellent in use in the streets of the moving secondary.

しかしながら、電子メッセージは通常遠隔にいる相手との意思疎通において利用されるのが常であり、直接対面した際には、通常の発声による会話をするのが普通である。 However, the electronic message is typically a normally that is utilized in communicate with the other party at a remote, when facing directly, it is common to conversations normal utterance. その場合、話者は会話の相手を見ながら発声をするので、発言は話者の視野の中心に近い人物に対するものと推察できる。 In that case, since the speaker to the utterance while watching the partner of conversation, speech can be inferred that for close to the center of the field of view of the speaker person.

例えば、会議において話者の視線の先にいる人物を判定し、音声データをテキストデータに変換して、当該人物データとともに保存することで、当該データベースからの情報検索を適切に処理するアーカイブ装置が明らかにされている(特許文献1)。 For example, to determine the person in the previous speaker's gaze in a conference, and converts the audio data into text data and storing with the person data, archive device to properly process the information retrieval from the database has been elucidated (Patent document 1).

特許公開2000−350192号公報 Patent Publication No. 2000-350192

しかしながら、特許文献1において明らかにされているアーカイブ装置では、あくまで実際にあった音声たる発言を話者の視線の先にいる人物とともに記憶するにすぎず、単なるアーカイブ装置としての機能の提供に留まっていた。 However, the archive device is demonstrated in Patent Document 1, only stored with the person who is the only actually had audio serving speak previous speaker's gaze, it remained to provide functions merely as an archive device which was.

そこで本発明の発明者は、ユーザが視野内にいる人物に対して、電子メッセージやユーザが見ている視野を画像として送信することで、直接対話と感覚が近い意思疎通の形式を取りつつも、音声を介さず、街中やパーティー会場といった雑然とした場所においても、正確かつ迅速に情報伝達を行えることに着目した。 Therefore inventors of the present invention, with respect to the person the user is in the field of view, by sending a field of view electronic messages and user is watching an image, even while take the form of direct dialogue and feel close communicate , without the intervention of the voice, even in a place that was cluttered, such as in the city and a party venue, it was focused on the fact that enables accurate and fast information transmission.

本発明は、ユーザの視野を画像データとして取得し、視野内に存在する人物を特定して電子メッセージや当該画像データを送信することで、ユーザが視野内の人物と意思疎通を行うためのメッセージ送信システム、メッセージ送信方法、及び、プログラムを提供することを目的とする。 The present invention obtains a view of the user as image data, to identify a person present in the field of view by sending an electronic message and the image data, a message for the user to communicate with the person in the field of view transmission system, a message transmission method, and aims to provide a program.

本発明では、以下のような解決手段を提供する。 In the present invention, it provides a solution as follows.

第1の特徴に係る発明は、ユーザが視野内に存在する人物と意思疎通を行うためのメッセージ送信システムであって、 The invention according to the first aspect is a message transmission system for the person and communication that the user is present in the field of view,
前記ユーザの視野を画像として取得し、取得された前記ユーザの視野画像から、当該視野画像に映っている人物を特定する人物特定手段と、 Gets the field of view of the user as an image, from the field image of the acquired user, a person identification unit for identifying the persons are reflected in the field image,
前記特定された人物の視野画像、又は、前記特定された人物の過去に取得された視野画像を、電子メッセージに添付して、前記特定された人物に対して当該電子メッセージを送信させるメッセージ送信制御手段と、を備えるメッセージ送信システムを提供する。 The identified person viewing the image, or the visual field image acquired in the past of the identified person, and attach it to the electronic message, the message transmission control to transmit the electronic message to the identified person It provides a message transmission system comprising a means.

第1の特徴に係る発明によれば、ユーザが視野内に存在する人物と意思疎通を行うためのメッセージ送信システムにおいて、前記ユーザの視野を画像として取得し、取得した視野画像から、前記視野画像に移っている人物を特定し、特定した人物に対して、電子メッセージを送信させる。 According to the invention of the first aspect, in a message transmission system for the person and communication that the user is present within the visual field to obtain a field of view of the user as an image from the acquired field image, the field image to identify the person who moved to, to the specified person, to transmit the electronic message.

第2の特徴に係る発明は、前記人物特定手段によって特定した人物に対して、前記視野画像の一部または全部を送信する視野画像送信手段と、 Invention, with respect to the person identified by the person identification unit, and the view image transmitting means for transmitting a part or all of the visual field image according to a second aspect,
を備える第1の特徴に係る発明であるメッセージ送信システムを提供する。 Provides a message transmission system is the invention according to the first aspect comprises a.

第2の特徴に係る発明によれば、第1の特徴に係る発明であるメッセージ送信システムは、特定した人物に対して、前記視野画像の一部または全部を送信する。 According to the invention of the second aspect, the message transmission system is the invention according to the first aspect, to the specified person, and transmits a part or all of the visual field image.

第3の特徴に係る発明は、前記人物特定手段によって特定した人物の、前記視野画像内における位置を算出する人物像位置算出手段と、 Invention, the person identified by the person identification unit, and the person image position calculating means for calculating the position in the field image according to a third aspect,
前記人物像位置算出手段によって算出した位置を基準に、前記特定した人物に関する情報を、前記ユーザの視野内に表示する人物情報表示手段と、 Based on the position calculated by said human image position calculating means, and the person information display means the information about the identified person, and displays in the field of view of the user,
を備える第1または第2のいずれかの特徴に係る発明であるメッセージ送信システムを提供する。 Providing a first or message transmission system is an invention according to a second one of the features comprising a.

第3の特徴に係る発明によれば、第1または第2のいずれかの特徴に係る発明であるメッセージ送信システムは、特定した人物の、前記視野画像内における位置を算出し、算出した位置を基準に、前記特定した人物に関する情報を、ユーザの視野内に表示する。 According to the invention according to the third feature, the message transmission system is the invention according to the first or second one of features of the person identified, and calculates the position in the field of view image, the calculated position a reference, the information about the identified person, and displays in the user's field of view.

これら上記の発明は、メッセージ送信システムのカテゴリであるが、方法、プログラムのカテゴリであっても、そのカテゴリに応じた同様の作用、効果を奏する。 These above invention is a category of message transmission systems, methods, even category program achieves the same effect in accordance with the categories, the effect.

第4の特徴に係る発明は、ユーザが視野内に存在する人物と意思疎通を行うためのコンピュータが実行するメッセージ送信方法であって、 The invention according to a fourth aspect is a message transmission method of a computer for performing person and communicate the user exists in the field of view is executed,
前記ユーザの視野を画像として取得し、取得された前記ユーザの視野画像から、当該視野画像に映っている人物を特定するステップと、 Gets the field of view of the user as an image, from the field image of the acquired user identifying a person is reflected in the visual field image,
前記特定された人物の視野画像、又は、前記特定された人物の過去に取得された視野画像を、電子メッセージに添付して、前記特定された人物に対して当該電子メッセージを送信させるステップと、を備えるメッセージ送信方法を提供する。 The identified person viewing the image, or the step of transmitting a field image acquired in the past of the identified person, and attached to an electronic message, said the electronic message to the identified person, It provides a message transmission method comprising.

第5の特徴に係る発明は、 The invention according to the fifth feature,
ユーザが視野内に存在する人物と意思疎通を行うためのコンピュータに、 The computer for performing person and communicate the user exists in the field of view,
前記ユーザの視野を画像として取得し、取得された前記ユーザの視野画像から、当該視野画像に映っている人物を特定するステップ、 Gets the field of view of the user as an image, from the field image of the acquired user identifying the persons are reflected in the field image,
前記特定された人物の視野画像、又は、前記特定された人物の過去に取得された視野画像を、電子メッセージに添付して、前記特定された人物に対して当該電子メッセージを送信させるステップ、 The identified person viewing the image, or, a field image acquired in the past of the identified person, and attach it to the electronic message, the step of transmitting the electronic message to the identified person,
を実行させるためのメッセージ送信システム用プログラムを提供する。 It provides a message transmission program system for execution.

本発明によれば、ユーザの視野を画像データとして取得し、視野内に存在する人物を特定して電子メッセージや当該画像データを送信することで、ユーザが視野内の人物と意思疎通を行うためのメッセージ送信システム、メッセージ送信方法、及び、プログラムを提供することが可能となる。 According to the present invention to obtain a field of view of the user as image data, to identify a person present in the field of view by sending an electronic message and the image data, since the user performs a person and communication in the field of view message transmission system, the message transmission method, and it is possible to provide the program.

図1は、メッセージ送信システム1の概要を説明するための概念図である。 Figure 1 is a conceptual diagram for explaining an outline of message transmission system 1. 図2は、メッセージ送信システム1の全体構成図である Figure 2 is a general block diagram of a message transmission system 1 図3は、ユーザ利用端末10、視野画像解析サーバ100、メッセージ送信サーバ200の機能ブロック図である。 Figure 3 is a user using terminal 10, the field of view the image analysis server 100 is a functional block diagram of a message transmission server 200. 図4は、ユーザ利用端末10、視野画像解析サーバ100、メッセージ送信サーバ200が実行する、購入商品の資産登録処理の手順を示すフローチャートである。 4, a user using terminal 10, the field of view the image analysis server 100, a message transmission server 200 executes a flow chart showing the procedure of the asset registration process of the purchase items. 図5は、ユーザ利用端末10、視野画像解析サーバ100が実行する、視野画像内の人物の特定処理の手順を示すフローチャートである。 Figure 5 is a user using terminal 10, the field of view the image analysis server 100 executes a flow chart showing the procedure of a particular treatment of a person within the field of view image. 図6は、眼鏡型を模したユーザ利用端末10の概要を説明するための概要図である。 Figure 6 is a schematic view for explaining the outline of the user utilizing the terminal 10 that imitates the glasses type. 図7は、人物情報表示モジュール19によってユーザ利用端末10に表示された人物情報の一例である。 Figure 7 is an example of personal information displayed on the user using terminal 10 by the personal information display module 19. 図8は、ユーザ利用端末10としてスマートフォン端末を利用した場合の、表示された人物情報の一例である。 8, in the case of utilizing the smart phone terminal as a user using terminal 10, which is an example of personal information that is displayed. 図9は、特徴量データベース150内の特徴量テーブルの一例を示したものである。 Figure 9 is a diagram showing an example of a feature quantity table of feature value database 150. 図10は、人物情報データベース151内の人物情報テーブルの一例を示したものである。 Figure 10 is a diagram showing an example of a personal information table of the person information database 151.

以下、本発明を実施するための最良の形態について図を参照しながら説明する。 It will be described below with reference to FIG best mode for carrying out the present invention. なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。 Note that this is merely an example, the technical scope of the present invention is not limited thereto.

本発明の概要について説明する。 A description will be given of the outline of the present invention. 人物500がユーザの視野内に存在するとき、ユーザ利用端末10はユーザの視野を画像データとして取得し、その視野画像を視野画像解析サーバ100に送信する。 When the person 500 is present in the field of view of the user, the user utilizing the terminal 10 acquires the field of view of the user as image data, and transmits the visual field image in the field of view the image analysis server 100. 視野画像解析サーバ100は、視野画像から特徴量を抽出し、特徴量データベース150を参照することで視野画像の中心付近にいる人物を特定する。 Field image analysis server 100 extracts the features from the view image, to identify the person in the vicinity of the center of the view image by referring to the feature amount database 150. そして、その人物の情報を人物情報データベース151から読み込み、ユーザ利用端末10に送信する。 Then, read the information from the person information database 151, and transmits to the user the user terminal 10. ユーザ利用端末10が、入力された電子メッセージや画像データを、受信した人物情報を基にメッセージ送信サーバ200を介して送信することで、ユーザは視野内の人物とメッセージによって意思疎通を行うことができる。 User using terminal 10, the input electronic message and image data, person information received the by transmitting via a message transmission server 200 based on the user is possible to communicate with people and a message in the field of view it can.

[メッセージ送信システムの概要] Summary of message transmission system]
図1に基づいて、本発明の好適な実施形態であるメッセージ送信システム1の概要について説明する。 Based on FIG. 1, an outline of message transmission system 1 is a preferred embodiment of the present invention. メッセージ送信システム1は、ユーザ利用端末10、視野画像解析サーバ100、メッセージ送信サーバ200から構成される。 Message transmission system 1 includes a user using terminal 10, the field of view the image analysis server 100, and a message transmission server 200.

初めに、ユーザ利用端末10はユーザの視野画像を取得する。 First, the user using the terminal 10 acquires the field-of-view image of the user. ユーザが人物500に対してメッセージを送信する場合、図1に示されるように、ユーザ利用端末10は人物500を含んだ視野画像を取得する(ステップS01)。 If a user sends a message to the person 500, as shown in FIG. 1, a user using terminal 10 acquires the field image including a person 500 (step S01).

次に、ユーザ利用端末10は、取得した視野画像を視野画像解析サーバ100に送信する(ステップS02)。 Next, the user utilizing the terminal 10 transmits the viewing images acquired field image analysis server 100 (step S02). 視野画像解析サーバ100は、受信した視野画像に対して解析を加え、顔や体系等を判定するための特徴量を抽出する。 Field image analysis server 100, the analysis added to the received-field image, it extracts a feature quantity for determining the face and systems, and the like.

視野画像解析サーバ100が備える記憶部内の特徴量データベース150には、人物を特定するための特徴量に関する情報があらかじめ記憶されている。 The feature database 150 in the storage unit the viewing image analysis server 100 includes the information about the feature value for specifying the person are stored in advance. 視野画像解析サーバ100は、特徴量データベース150を参照し、抽出した特徴量に基づいて視野画像内の人物を特定する(ステップS03)。 Field image analysis server 100 refers to the feature database 150, to identify the person in the field image based on the extracted feature quantity (step S03). 視野画像解析サーバ100は、特定した人物に関する情報を記憶部内の人物情報データベース151に問い合わせ(ステップS04)、人物情報を読み込む(ステップS05)。 Field image analysis server 100 queries the information about the identified person to person information database 151 in the storage unit (step S04), reads the personal information (step S05). そして、読み込んだ人物情報をユーザ利用端末10に送信する(ステップS06)。 Then, it transmits the personal data read to the user using terminal 10 (step S06).

ユーザ利用端末10は、特定した人物情報と、その人物に送信するメッセージ内容とを、メッセージ送信サーバ200に対して送信する(ステップS07)。 User using terminal 10, and the identified individual information, and a message content to be sent to that person, transmits to the message transmission server 200 (step S07). ここで、ユーザ利用端末10は、メッセージ内容に、現在や過去に取得した視野画像を含めてもよい。 Here, the user utilizing the terminal 10, the message content may include a field of view images acquired current and past. また、送信するメッセージ内容は、キーボード等の入力デバイスを利用して人物500を視野内に捉えながら入力してもよいし、ステップS01より以前に入力を完了していてもよい。 The message contents to be transmitted may be input by catching a person 500 in the field of view by using an input device such as a keyboard, it may be completed input prior to the step S01. すなわち、ステップS01の時点で視野画像内に人物500が含まれ、ステップS05が実行される段階でメッセージの入力が完了していればよい。 That is, the person 500 included in the field of view image at the time of step S01, the input of the message at the stage of step S05 is performed it is sufficient to complete.

また、メッセージ送信サーバ200を介してメッセージを送信する際には、通常の電子メールプロトコルに限らず、IM(インスタント・メッセージ)のほか、特定のソフトウェアや、SNS(ソーシャル・ネットワーキング・サービス)が備えるメッセージ機能を、API等によって呼び出す形式であってもよい。 Also, when sending a message via the message transmission server 200 is not limited to regular e-mail protocol, IM (instant message). In addition, and specific software, comprising SNS (Social Networking Service) is the message function may be in the form to call the API or the like. 当該メッセージは、電子的に送受信され、少なくとも文字情報を含めることができればよい。 The message is electronically transmitted and received, it is sufficient to include at least the character information. ユーザ利用端末10は特定のメッセージ送信規約に基づく形式で、メッセージ送信サーバ200にメッセージ内容と宛先たる特定した人物情報を送信し、メッセージ送信サーバ200はその内容をメッセージとして特定した人物に送信する(ステップS08)。 User using terminal 10 in a format based on a particular message transmission rules, and transmits the identified individual information serving message content and destination message transmission server 200, message transmission server 200 transmits the person identifying the contents as a message ( step S08).

人物500は、メッセージ送信サーバ200が送信したメッセージを、メッセージ受信装置501で受信する。 People 500, a message that message transmission server 200 transmits, receives the message reception apparatus 501. メッセージ受信装置501は、メッセージ送信サーバ200が送信したメッセージを受信できればよく、スマートフォン、パソコン等の情報端末に限らず、ユーザ利用端末10と同種の端末であっても構わない。 Message receiving apparatus 501, it is sufficient receive messages message transmission server 200 transmits, smart phones, not only the information terminal such as a personal computer, it may be a terminal of a user utilizing the terminal 10 and the like.

以上が、本発明の好適な実施形態であるメッセージ送信システム1の概要である。 The above is the outline of a message transmission system 1 is a preferred embodiment of the present invention.

[メッセージ送信システム1のシステム構成] [System Configuration of message transmission system 1 '
図2は、メッセージ送信システム1のシステム構成を示す。 Figure 2 shows a system configuration of a message transmission system 1. メッセージ送信システム1は、インターネット網などの公衆回線網3と、ユーザ利用端末10と、視野画像解析サーバ100と、メッセージ送信サーバ200から構成される。 Message transmission system 1 includes a public line network 3 such as the Internet network, a user using terminal 10, a field image analysis server 100, and a message transmission server 200. ユーザ利用端末10は、公衆回線網3を介して、視野画像解析サーバ100、メッセージ送信サーバ200と通信可能に接続されている。 User using terminal 10 via the public network 3, the field of view the image analysis server 100 is communicatively connected to a message transmission server 200.

ここで、視野画像解析サーバ100とメッセージ送信サーバ200が物理的に同一のサーバであってもよく、これらが備える機能すべてをユーザ利用端末10が備える場合は、ユーザ利用端末10のみによってメッセージ送信システム1が構成されていてもよい。 Here may view image analysis server 100 and message transmission server 200 is a physically the same server, if all of the functionality that they provided the user using terminal 10 includes a message transmitted by only the user utilizing the terminal 10 system 1 may be configured.

[各機能の説明] [Description of each function]
図3に基づいて、各装置の構成について説明する。 Based on FIG. 3, the configuration of each device. ユーザ利用端末10は、制御部11として、CPU(Central Processing Unit),RAM(Random Access Memory),ROM(Read Only Memory)等を備え、通信部12として、他の機器と通信可能にするためのデバイス、例えば、IEEE802.11に準拠したWiFi(Wireless Fidelity)対応デバイスを備える。 User using terminal 10, as the control unit 11, CPU (Central Processing Unit), RAM (Random Access Memory), comprises a ROM (Read Only Memory) or the like, as the communication unit 12, for enabling communication with other devices comprising a device, for example, a WiFi (Wireless Fidelity) enabled devices that conform to IEEE 802.11. また、入出力部13として、ユーザの視野を画像として取得するカメラ等の撮影機器を備え、画像や文字のメッセージを表示する液晶モニタ、投影スクリーン等の表示部と、ユーザからの入力を受付けるキーボードやタッチパネル等の入力部を備える。 Further, the input-output unit 13, a keyboard for receiving comprises an imaging device such as a camera for acquiring the field of view of the user as an image, a liquid crystal monitor for displaying images and characters of the message, a display section such as a projection screen, an input from the user and an input unit such as a touch panel.

ユーザ利用端末10において、制御部11が所定のプログラムを読み込むことで、通信部12と協働して、視野画像送信モジュール14、人物情報受信モジュール15、メッセージ内容送信モジュール16を実現する。 In-user terminal 10, the control unit 11 by reading a predetermined program, in cooperation with the communication unit 12, viewing the image transmission module 14, the personal information receiving module 15, implementing the message content transmission module 16. また、ユーザ利用端末10において、制御部11が所定のプログラムを読み込むことで、入出力部13と協働して、視野画像撮影モジュール17、視野画像調整モジュール18、人物情報表示モジュール19、送信先決定モジュール20、メッセージ内容入力受付モジュール21を実現する。 Further, the user utilizing the terminal 10, by the control unit 11 reads a predetermined program, in cooperation with the input unit 13, viewing the image capturing module 17, the visual field image adjustment module 18, the personal information display module 19, the destination determination module 20, implementing the message content input receiving module 21.

視野画像解析サーバ100は、ユーザ利用端末10と同様に、制御部101として、CPU,RAM,ROM等を備え、通信部102として、例えば、IEEE802.11に準拠したWiFi対応デバイス又は、有線ケーブルによる接続可能とするデバイス等の、他の電化製品、及び無線アクセスポイントとのデータ通信を実現するデバイスを備える。 Field image analysis server 100, like the user using terminal 10, as the control unit 101, CPU, RAM, includes a ROM, a communication unit 102, eg, WiFi enabled device or compliant with IEEE 802.11, a wired cable comprising a device such as to allow connecting other appliances, and a device for realizing data communication with the wireless access point. データやファイルを記憶する記憶部103として、ハードディスクや半導体メモリ、記録媒体、メモリカード等による、データのストレージ部を備える。 As the storage unit 103 for storing data and files, including a hard disk or a semiconductor memory, a recording medium, by a memory card or the like, the storage of the data. 記憶部103は、特徴量データベース150と、人物情報データベース151を備える。 Storage unit 103 includes a feature quantity database 150, the person information database 151.

視野画像解析サーバ100において、制御部101が所定のプログラムを読み込むことで、通信部102と協働して、視野画像受信モジュール104、人物情報送信モジュール105を実現する。 In view image analysis server 100, the control unit 101 by reading a predetermined program, in cooperation with the communication unit 102, field image receiving module 104, to realize a personal information transmit module 105. また、視野画像解析サーバ100において、制御部101が所定のプログラムを読み込むことで、記憶部103と協働して、特徴量抽出モジュール106、人物特定モジュール107、人物情報読み込みモジュール108を実現する。 Further, in the field of view the image analysis server 100, the control unit 101 by reading a predetermined program, in cooperation with the storage unit 103, the feature extraction module 106, a person identification module 107, to realize the personal information read module 108.

メッセージ送信サーバ200は、視野画像解析サーバ100と同様に、制御部201として、CPU,RAM,ROM等を備え、通信部202として、例えば、IEEE802.11に準拠したWiFi対応デバイス又は、有線ケーブルによる接続可能とするデバイス等の、他の電化製品、及び無線アクセスポイントとのデータ通信を実現するデバイスを備える。 Message transmission server 200, like the field image analysis server 100, as the control unit 201, CPU, RAM, includes a ROM, a communication unit 202, for example, by WiFi enabled devices or wired cable conforming to IEEE802.11 comprising a device such as to allow connecting other appliances, and a device for realizing data communication with the wireless access point.

メッセージ送信サーバ200において、制御部201が所定のプログラムを読み込むことで、通信部202と協働して、送信メッセージ受付モジュール203、メッセージ送信モジュール204を実現する。 In message transmission server 200, the control unit 201 by reading a predetermined program, in cooperation with the communication unit 202, sends a message reception module 203, to realize the message transmission module 204.

[視野画像内の人物の特定処理] Specific treatment of a person in the field of view image]
図4は、メッセージ送信システム1において、ユーザ利用端末10、視野画像解析サーバ100が実行する、視野画像内の人物の特定処理の手順を表したフローチャートである。 Figure 4 is the message transmission system 1, the user using terminal 10, the field of view the image analysis server 100 executes a flow chart showing the procedure of a particular treatment of a person within the field of view image. この視野画像内の人物の特定処理について説明する。 Process of identifying a person in the field-of-view image will be described.

初めに、ユーザ利用端末10は、ユーザの視野画像を取得する。 First, a user using terminal 10 acquires the field image of the user. 視野画像撮影モジュール17は、ユーザの視野画像を撮影する(ステップS11)。 Field-of-view image capturing module 17 captures the visual field image of the user (step S11). 図6は、眼鏡型を模したユーザ利用端末10の概要を説明するための概要図である。 Figure 6 is a schematic view for explaining the outline of the user utilizing the terminal 10 that imitates the glasses type. カメラ51は、ユーザ利用端末10のほぼ中央に存在し、ユーザの前方に向かって撮像を行うことで、ユーザの視野画像を撮影する。 The camera 51 is present substantially at the center of the user using terminal 10, by performing the imaging toward the front of the user photographs a view image of the user.

ユーザが常に真正面を向いていると近似した場合、カメラ51によって撮影した正面方向の画像を、そのままユーザの視野画像として用いてよい。 If the user has always approximated to facing squarely, the front direction of the image taken by the camera 51, may be directly used as a user of the view image. しかし実際には、ユーザが同時に二人以上と対面している際、顔を固定したまま眼球を動かした場合を考慮し、ユーザの視野画像の中心をより精密に求めたい場合もある。 In practice, however, when the user is facing at the same time two or more, in consideration of a case where moving the eyeball while fixing the face, may wish find the center of the user's visual field image more precisely. ユーザ利用端末10の視野画像調整モジュール18は、ユーザの視線方向を取得し、視野画像の中心や範囲を調整してもよい(ステップS12)。 Field image adjustment module 18 of the user using terminal 10 acquires the gaze direction of the user may be adjusted center and range of the view image (step S12). フレームの裏に赤外線光源52、赤外線カメラ53を設置して、ユーザの眼球画像を撮影し、ユーザの視線方向を算出する等、一例として特許公開2010−204823号公報において明らかにされている手法を用いてよい。 Infrared light source 52 on the back of the frame, by installing the infrared camera 53 captures an eye image of the user, etc. to calculate the gaze direction of the user, a method has been demonstrated in Patent Publication 2010-204823 discloses an example it may be used.

なお、ユーザ利用端末10のレンズ54は、ユーザ側の面に特殊な反射加工がなされており、小型投影機55によって投影される画像を視野に重ねて表示できるようになっている。 The lens 54 of the user using terminal 10 has been made a special reflection process to the face of the user side, which is to be displayed superimposed images to be projected by a small projector 55 in view. また、ユーザ利用端末10は、入力部としてキーボード56やタッチパネル等を備えている。 The user utilizes the terminal 10 includes a keyboard 56, a touch panel, or the like as the input unit.

次に、ユーザ利用端末10の視野画像送信モジュール14は、調整された視野画像を視野画像解析サーバ100に送信する(ステップS13)。 Next, the visual field image transmission module 14 of the user using terminal 10 transmits the adjusted field image in the field of view the image analysis server 100 (step S13). 視野画像解析サーバ100の視野画像受信モジュール104は、視野画像を受信する(ステップS14)。 Field image receiving module 104 of the view image analysis server 100 receives the field-of-view image (step S14).

視野画像解析サーバ100の特徴量抽出モジュール106は、受信した視野画像の中心付近に含まれる人物を特定するために、画像の特徴量の抽出を行う(ステップS15)。 Feature extraction module 106 of the view image analysis server 100, to identify the person included in the vicinity of the center of the received-field image, performing feature extraction of an image (step S15). ここで特徴量とは、受信した視野画像内から、予め記憶された人物の顔や体の画像をパターンとしてパターン認識を行う際に、その評価基準となる値である。 Here the feature quantity and from the received-field image, when performing pattern recognition of the image of the pre-stored person's face or body as a pattern, is a value which becomes the criterion. より具体的には、特徴量抽出モジュール106は、受信した視野画像の中心付近から、人の顔や体にあたる部分を特定し、当該部分を縦横に数等分し、各部分のピクセルの色の平均値を算出する。 More specifically, the feature amount extraction module 106, from near the center of the received-field image, to identify the portion corresponding human face and body, the number aliquoted the portion vertically and horizontally, the color of each portion of the pixel to calculate the average value. そして、顔の輪郭、鼻、眼、眉などの位置や大きさによって大きく変化する色の平均値を特徴量として扱う。 Then, treat facial contours, nose, eyes, the mean value of the color change significantly depending on the position and size of such eyebrows as the feature amount.

視野画像解析サーバ100の人物特定モジュール107は、抽出された特徴量を特徴量データベース150に予め記憶された各人物の特徴量と比較し、その差を算出するとともに、各特徴量に設定された重みづけの係数を乗算し、足し合わせて正規化することで、その中のどの人物である蓋然性が高いかを算出し、その中で最も蓋然性の高い人物を視野画像の中心付近に映っている人物として特定する(ステップS16)。 Person specifying module 107 of the view image analysis server 100, the extracted feature is compared with the feature amount of each person stored in advance in the feature database 150, and calculates the difference, which is set for each feature quantity multiplied by the coefficient weighting, by normalizing sum, and calculates how probability is which person therein is high, it is reflected the most probable person therein near the center of the view image identifying a person (step S16).

図9は、特徴量データベース150内の特徴量テーブルの一例を示したものである。 Figure 9 is a diagram showing an example of a feature quantity table of feature value database 150. ここでは簡単のため、人物が二名と、視野画像を256色と仮定し、特徴量1から特徴量5の5つの特徴量を0から255までの数字で表しているが、実際には更に多くの特徴量を、さらに広い値域で表すことで精度を向上させるのが普通である。 For the sake of simplicity, the person and a two-person, assuming the field-of-view image 256 colors and, although the five feature values ​​of the feature 5 from the feature quantity 1 is represented by a number from 0 to 255, actually the more the feature amount, it is common to improve the accuracy be represented by a wider range.

その後、視野画像解析サーバ100の人物情報読み込みモジュール108は、特定した人物の情報を人物情報データベース151から読み込む。 Thereafter, the person information reading module 108 of the view image analysis server 100 reads the information of the identified person from the person information database 151. そして、人物情報送信モジュール105は、当該人物情報をユーザ利用端末10に送信する(ステップS17)。 The person information transmission module 105 transmits the person information to the user utilizing the terminal 10 (step S17). 人物情報送信モジュール105は、特徴量抽出モジュール106が顔や体にあたる部分を特定した、当該部分の画像内の位置を同時に送信してもよい。 Personal information transmission module 105, the feature extraction module 106 has identified the portion corresponding face and body, may transmit the position in the image of the partial time.

図10は、人物情報データベース151内の人物情報テーブルの一例を示したものである。 Figure 10 is a diagram showing an example of a personal information table of the person information database 151. 人物情報テーブルには、各人物の人物名、性別、年齢を始めとする個人情報と、メッセージの送信先とが記憶されている。 The person information table, person's name of each person, gender, and personal information, including age, and the destination of the messages are stored.

ユーザ利用端末10の人物情報受信モジュール15は、人物情報を受信する(ステップS18)。 Person information receiving module 15 of the user using terminal 10 receives the personal information (step S18). ユーザ利用端末10の人物情報表示モジュール19は、受信した人物情報を、同時に受信した画像内の位置情報を用いて、当該人物の顔や体にあたる部分の付近に表示してもよい。 Person information display module 19 of the user using terminal 10, the person information received by using location information in the image received at the same time, may be displayed in the vicinity of the portion corresponding face and body of the person.

図7は、人物情報表示モジュール19によってユーザ利用端末10に表示された人物情報の一例である。 Figure 7 is an example of personal information displayed on the user using terminal 10 by the personal information display module 19. この図は、ユーザ利用端末10をユーザ側から見た場合を示している。 This figure shows the case where viewed-user terminal 10 from the user. 人物61は、表示内容でなくレンズ65を透過した視野の一部であり、それに重ねて人物61の人物情報62、指示棒63、説明文64が表示されている。 People 61 is part of the field of view transmitted through the lens 65 rather than the display contents, the personal information 62 of the person 61 overlaid thereto, indicator rod 63, description 64 is displayed. これらの表示内容は、眼鏡の弦に設置された小型投影機によって、レンズ65に投影されている。 These display contents, depending on the installation miniature projector a chord of the glasses, is projected on the lens 65.

ユーザ利用端末10として、図7のような眼鏡型の端末ではなく、液晶とカメラを備えたスマートフォン端末等を利用しても、本発明の目的を達成できる。 As a user using terminal 10, instead of the eyeglasses-type terminals as shown in FIG. 7, be utilized smartphones or the like having a liquid crystal and a camera, can achieve the object of the present invention. 図8は、ユーザ利用端末10としてスマートフォン端末を利用した場合の、表示された人物情報の一例である。 8, in the case of utilizing the smart phone terminal as a user using terminal 10, which is an example of personal information that is displayed. ユーザがスマートフォン端末10bを目の前に構えることによって、スマートフォン端末10bのカメラによって撮影された画像がユーザの視野とみなされ、タッチパネル液晶75に表示される。 By the user set up in front of the smart phone terminal 10b, the image photographed by the camera of the smartphone terminal 10b is considered the field of view of the user, it is displayed on the touch panel LCD 75. すなわち、ユーザは人物71を肉眼で直視せず、タッチパネル液晶75を介してその姿をみることになる。 That is, the user does not direct the person 71 with the naked eye, will see the figure via the touch panel liquid crystal 75. その上に図7と同様、人物情報72、指示棒73、説明文74が表示される。 Similar to Figure 7 thereon, person information 72, the indicator rod 73, description 74 is displayed. 加えて、タッチパネルによるソフトウェアキーボード76を利用すれば、視点たるカメラを固定したまま、ソフトウェアキーボード76を見ることができるので、眼鏡型端末と比較して入力の簡便性が高いと考えられる。 In addition, by using the software keyboard 76 on the touch panel, while fixing the viewpoint serving camera, it is possible to see the software keyboard 76, is considered to be high ease of input compared to glasses-type terminal. ユーザは作成したメッセージ内容77を、説明文74をタップすることで、人物71に対して送信する。 The user message content 77 created, by tapping a description 74 transmits, to the person 71. メッセージに視野画像を添付する際には、視野画像添付ボタン78をタップすることで、現在または過去の視野画像を添付することができる。 When attaching a field image in the message, by tapping the field image attachment button 78, it is possible to attach the current or past field image.

以上が、メッセージ送信システム1において、ユーザ利用端末10、視野画像解析サーバ100が実行する、視野画像内の人物の特定処理の手順である。 Or, in the message transmission system 1, the user using terminal 10, the field of view the image analysis server 100 executes a procedure for specifying processing of the person in the field of view image.

[メッセージの送信処理] [Transmission processing of the message]
図4は、メッセージ送信システム1において、ユーザ利用端末10、メッセージ送信サーバ200が実行する、メッセージの送信処理の手順を表したフローチャートである。 Figure 4 is the message transmission system 1, the user using terminal 10, message transmission server 200 executes a flow chart showing the procedure of transmission processing of the message. このメッセージの送信処理について説明する。 Transmission process of this message will be described.

初めに、ユーザ利用端末10の送信先決定モジュール20は、ユーザからの入力を受け付け、メッセージの送信先を決定する(ステップS21)。 First, the destination determining module 20 of the user using terminal 10 receives an input from a user, determines the destination of the message (step S21). メッセージの送信先としては、前述した視野画像内の人物の特定処理において取得した人物情報に含まれた宛先や、過去にメッセージを送信した送信先から選択してよい。 The destination of the message, the destination and included in the acquired personal information in a particular treatment of a person in the field of view image as described above, may be selected from the destination which sent the message in the past.

次に、ユーザ利用端末10のメッセージ内容送信モジュール16は、送信するメッセージ内容が入力されているかを判断する。 Next, message content transmission module 16 of the user using terminal 10 determines whether the message content to be transmitted is input. メッセージ内容の入力が完了していない場合(ステップS22:「NO」の場合)、メッセージ内容入力受付モジュール21は、ユーザからメッセージ内容の入力を受け付ける(ステップS23)。 If the input of the message content is not completed (step S22: "NO"), the message content input receiving module 21 receives the input of the message content from the user (step S23). メッセージ送信先の選択よりも前に、既にメッセージ内容入力受付モジュール21がメッセージ内容の入力を受け付けていた場合(ステップS22:「YES」の場合)には、ステップS23を行わずに処理を進める。 Before the selection of the message destination, already when the message content input receiving module 21 accepts an input of the message content: The (step S22 in the case of "YES"), the processing proceeds without step S23.

その後、メッセージ内容送信モジュール16は、メッセージ内容とメッセージの送信先とを、メッセージ送信サーバ200に送信する(ステップS24)。 Thereafter, the message content transmission module 16, and a transmission destination of the message content and message to the message transmission server 200 (step S24). メッセージ送信サーバ200の送信メッセージ受付モジュール203は、メッセージ内容とメッセージの送信先とを受信する(ステップS25)。 Sending a message reception module of the message transmission server 200 203, it receives the transmission destination of the message content and the message (step S25).

メッセージ送信サーバのメッセージ送信モジュール204は、受信したメッセージ内容とメッセージの送信先に基づいて、メッセージの送信処理を行う(ステップS26)。 Message transmission server message transmission module 204 based on the destination of the received message content and message, performs transmission processing of the message (step S26). 当該送信処理とは、例えば、メッセージがメールであればメールデーモンのプロセスがメール送信リクエストを処理することであるし、メッセージがSNS内のメッセージ機能であれば、宛先ユーザのメッセージボックス領域にメッセージ内容を書き込むことが該当する。 With the transmission process, for example, if the message is a mail process mail daemon is to process mail transmission request, if the message is a message function in SNS, message content in a message box area of ​​the destination user be written are true.

以上が、メッセージ送信システム1において、ユーザ利用端末10、メッセージ送信サーバ200が実行する、メッセージの送信処理の手順である。 Or, in the message transmission system 1, the user using terminal 10, message transmission server 200 executes a procedure for transmission processing of the message.

上述した手段、機能は、コンピュータ(CPU,情報処理装置,各種端末を含む)が、所定のプログラムを読み込んで、実行することによって実現される。 Above means, the function, a computer (CPU, information processor, and various terminals) is, reads a predetermined program, are realized by executing. プログラムは、例えば、フレキシブルディスク、CD(CD−ROMなど)、DVD(DVD−ROM、DVD−RAMなど)等のコンピュータ読取可能な記録媒体に記録された形態で提供される。 Program are a floppy disk, CD (CD-ROM, etc.), DVD (DVD-ROM, DVD-RAM, etc.) is provided in form recorded on a computer-readable recording medium such as. この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置または外部記憶装置に転送し記憶して実行する。 In this case, the computer executes the stored transfers it to an internal storage device or external storage device reads the program from the recording medium. また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置(記録媒体)に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。 Further, the program may be a magnetic disk, an optical disk, recorded beforehand in a storage device such as a magneto-optical disk (recording medium) may be provided to the computer via a communication line from the storage device.

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。 Having described embodiments of the present invention, the present invention is not limited to these embodiments described above. また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。 Embodiments The effects described in the present invention is merely a list of the most preferable effects resulting from the present invention, the effect of the present invention be limited to those described in the embodiments of the present invention is not.

1 メッセージ送信システム、10 ユーザ利用端末、100 視野画像解析サーバ、150 特徴量データベース、151 人物情報データベース、200 メッセージ送信サーバ 1 message transmission system, 10-user terminal, 100 field image analysis server, 150 feature quantity database, 151 person information database, 200 message transmission server

Claims (5)

  1. ユーザが視野内に存在する人物と意思疎通を行うためのメッセージ送信システムであって、 User a message transmission system for communicate with a person present in the field of view,
    前記ユーザの視野を画像として取得し、取得された前記ユーザの視野画像から、当該視野画像に映っている人物を特定する人物特定手段と、 Gets the field of view of the user as an image, from the field image of the acquired user, a person identification unit for identifying the persons are reflected in the field image,
    前記特定された人物の視野画像、又は、前記特定された人物の過去に取得された視野画像を、電子メッセージに添付して、前記特定された人物に対して当該電子メッセージを送信させるメッセージ送信制御手段と、を備えるメッセージ送信システム。 The identified person viewing the image, or the visual field image acquired in the past of the identified person, and attach it to the electronic message, the message transmission control to transmit the electronic message to the identified person message transmission system comprising a means.
  2. 前記人物特定手段によって特定した人物に対して、前記視野画像の一部または全部を送信する視野画像送信手段と、 Against the person identified by the person identification unit, and the view image transmitting means for transmitting a part or all of the field image,
    を備える請求項1に記載のメッセージ送信システム。 Message transmission system according to claim 1 comprising a.
  3. 前記人物特定手段によって特定した人物の、前記視野画像内における位置を算出する人物像位置算出手段と、 A human image position calculating means for calculating the person identified, the position in the field image by the person identification unit,
    前記人物像位置算出手段によって算出した位置を基準に、前記特定した人物に関する情報を、前記ユーザの視野内に表示する人物情報表示手段と、 Based on the position calculated by said human image position calculating means, and the person information display means the information about the identified person, and displays in the field of view of the user,
    を備える請求項1または請求項2のいずれか一項に記載のメッセージ送信システム。 Message transmission system according to any one of claims 1 or claim 2 comprising a.
  4. ユーザが視野内に存在する人物と意思疎通を行うためのコンピュータが実行するメッセージ送信方法であって、 User a message transmission method of a computer for performing person and communication that exists in the field of view is executed,
    前記ユーザの視野を画像として取得し、取得された前記ユーザの視野画像から、当該視野画像に映っている人物を特定するステップと、 Gets the field of view of the user as an image, from the field image of the acquired user identifying a person is reflected in the visual field image,
    前記特定された人物の視野画像、又は、前記特定された人物の過去に取得された視野画像を、電子メッセージに添付して、前記特定された人物に対して当該電子メッセージを送信させるステップと、を備えるメッセージ送信方法。 The identified person viewing the image, or the step of transmitting a field image acquired in the past of the identified person, and attached to an electronic message, said the electronic message to the identified person, message transmission method comprising.
  5. ユーザが視野内に存在する人物と意思疎通を行うためのコンピュータに、 The computer for performing person and communicate the user exists in the field of view,
    前記ユーザの視野を画像として取得し、取得された前記ユーザの視野画像から、当該視野画像に映っている人物を特定するステップ、 Gets the field of view of the user as an image, from the field image of the acquired user identifying the persons are reflected in the field image,
    前記特定された人物の視野画像、又は、前記特定された人物の過去に取得された視野画像を、電子メッセージに添付して、前記特定された人物に対して当該電子メッセージを送信させるステップ、 The identified person viewing the image, or, a field image acquired in the past of the identified person, and attach it to the electronic message, the step of transmitting the electronic message to the identified person,
    を実行させるためのメッセージ送信システム用プログラム。 Message transmission program system for execution.
JP2016051350A 2016-03-15 2016-03-15 Message transmission system, the message transmission method, program Active JP6140327B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016051350A JP6140327B2 (en) 2016-03-15 2016-03-15 Message transmission system, the message transmission method, program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016051350A JP6140327B2 (en) 2016-03-15 2016-03-15 Message transmission system, the message transmission method, program

Publications (2)

Publication Number Publication Date
JP2016106334A true true JP2016106334A (en) 2016-06-16
JP6140327B2 JP6140327B2 (en) 2017-05-31

Family

ID=56120134

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016051350A Active JP6140327B2 (en) 2016-03-15 2016-03-15 Message transmission system, the message transmission method, program

Country Status (1)

Country Link
JP (1) JP6140327B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005267146A (en) * 2004-03-18 2005-09-29 Nec Corp Method and device for creating email by means of image recognition function
JP2008083289A (en) * 2006-09-27 2008-04-10 Sony Computer Entertainment Inc Imaging display apparatus, and imaging display method
JP2010061265A (en) * 2008-09-02 2010-03-18 Fujifilm Corp Person retrieval and registration system
JP2011040865A (en) * 2009-08-07 2011-02-24 Nec Casio Mobile Communications Ltd Communication terminal, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005267146A (en) * 2004-03-18 2005-09-29 Nec Corp Method and device for creating email by means of image recognition function
JP2008083289A (en) * 2006-09-27 2008-04-10 Sony Computer Entertainment Inc Imaging display apparatus, and imaging display method
JP2010061265A (en) * 2008-09-02 2010-03-18 Fujifilm Corp Person retrieval and registration system
JP2011040865A (en) * 2009-08-07 2011-02-24 Nec Casio Mobile Communications Ltd Communication terminal, and program

Also Published As

Publication number Publication date Type
JP6140327B2 (en) 2017-05-31 grant

Similar Documents

Publication Publication Date Title
US20130044130A1 (en) Providing contextual personal information by a mixed reality device
US20080037534A1 (en) Push-Type Telecommunications Accompanied by a Telephone Call
US20050191963A1 (en) Wireless communications with visually-identified targets
US20150059002A1 (en) Mobile Information Gateway for Service Provider Cooperation
US20100295920A1 (en) Method and apparatus for enabling improved eye contact in video teleconferencing applications
US20150099469A1 (en) Methods and systems for establishing and maintaining presence information of neighboring bluetooth devices
CN102930457A (en) Method and system for implementing application recommendation based on facial image characteristics
US20150139508A1 (en) Method and apparatus for storing and retrieving personal contact information
EP2940556A1 (en) Command displaying method and command displaying device
CN104243276A (en) Method and device for contact person recommendation
US8498627B2 (en) Intuitive computing methods and systems
US8868039B2 (en) Context-related arrangements
US20090089829A1 (en) Method and system for blocking hazardous information
US20150058159A1 (en) Mobile Information Gateway for Private Customer Interaction
EP2824541A1 (en) Method and apparatus for connecting devices using eye tracking
US20130278811A1 (en) Context aware input system for focus control
CN104038742A (en) Doorbell system based on face recognition technology
US9007420B1 (en) Verifying presence of authorized persons during an electronic visitation
US20160006772A1 (en) Information-processing device, communication system, storage medium, and communication method
WO2010108186A1 (en) Methods and apparatuses for using a mobile device to provide remote assistance
CN104780155A (en) Method and device for binding equipment
US9245288B1 (en) Experience sharing for a registry event
JP2012027604A (en) Server device, posting information processing method, posting information processing program and recording medium
CN105721610A (en) Method and system for seeking person under guardianship based on two-dimension code
CN104079473A (en) Information issuing method and device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170215

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170428

R150 Certificate of patent or registration of utility model

Ref document number: 6140327

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150