JP2012235425A - Electronic apparatus, signal distribution method, and program - Google Patents

Electronic apparatus, signal distribution method, and program Download PDF

Info

Publication number
JP2012235425A
JP2012235425A JP2011104473A JP2011104473A JP2012235425A JP 2012235425 A JP2012235425 A JP 2012235425A JP 2011104473 A JP2011104473 A JP 2011104473A JP 2011104473 A JP2011104473 A JP 2011104473A JP 2012235425 A JP2012235425 A JP 2012235425A
Authority
JP
Japan
Prior art keywords
information
target
rhythm information
unit
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011104473A
Other languages
Japanese (ja)
Other versions
JP5747645B2 (en
Inventor
Takeshi Yagi
健 八木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2011104473A priority Critical patent/JP5747645B2/en
Publication of JP2012235425A publication Critical patent/JP2012235425A/en
Application granted granted Critical
Publication of JP5747645B2 publication Critical patent/JP5747645B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Telephone Function (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an electronic apparatus which simply identifies an operator who operates the electronic apparatus and gives information indicating the identified operator to the outside of the electronic apparatus.SOLUTION: The electronic apparatus is provided with: plural detection parts 11 to 17 for detecting a signal indicating the features of a detection target from the target; an extraction part 21 which extracts rhythm information expressing the temporal or spatial variation pattern of each signal from the signals detected from the respective detection parts 11 to 17; a target identification part 23 which identifies the target on the basis of the combination of each extracted rhythm information; and an output method determination part 25 which determines the output method of each rhythm information on the basis of the identified target.

Description

本発明は、電子装置、信号振り分け方法およびプログラムに関する。   The present invention relates to an electronic apparatus, a signal distribution method, and a program.

従来、電子装置は、生体情報を検知するセンサにより検出された信号を用いて、自装置の操作者を特定してきた。特許文献1には、携帯電話端末が、電子メールの送信を行うために、操作者が送信キーを押下操作したとき、その送信キーに内蔵されている指紋センサにより、その操作者の指紋を読み取る。そして、携帯電話端末が、その指紋のパターン情報のファイルを、電子メールに添付して送信する。受信側の携帯電話端末では、電子メールに添付されていた指紋パターンと、予め内部に登録してある送信者の指紋パターンとを比較することにより、電子メールの送信者が予め内部に登録してある送信者であるか否か判定することが示されている。   Conventionally, an electronic device has specified an operator of the device using a signal detected by a sensor that detects biological information. In Patent Document 1, when a mobile phone terminal presses a transmission key to transmit an e-mail, the fingerprint of the operator is read by a fingerprint sensor built in the transmission key. . Then, the cellular phone terminal transmits the fingerprint pattern information file attached to the e-mail. In the mobile phone terminal on the receiving side, the sender of the e-mail is registered in advance by comparing the fingerprint pattern attached to the e-mail with the sender's fingerprint pattern registered in advance. It is shown that it is determined whether or not the sender is a certain sender.

特開2006−215705号公報JP 2006-215705 A

特許文献1に示されているように、操作者を特定するには、指紋などの生体情報を検知する必要がある。操作者の指紋と、予め登録された指紋とを照合するには、指紋を登録したときと指を同じ方向、同じ傾き、同じ圧力で押さなければ、操作者の指紋と予め登録された指紋とが同一と判定されることがないので、簡易に自装置の操作者を特定できないという問題があった。   As shown in Patent Document 1, in order to specify an operator, it is necessary to detect biological information such as a fingerprint. To match an operator's fingerprint with a pre-registered fingerprint, the operator's fingerprint and the pre-registered fingerprint must be matched unless the finger is pressed in the same direction, with the same tilt and the same pressure as when the fingerprint was registered. Are not determined to be the same, there is a problem that the operator of the own apparatus cannot be easily identified.

そこで本発明は、上記問題に鑑みてなされたものであり、簡易に自装置を操作する操作者を特定し、特定した操作者を示す情報を自装置の外部に報知することを可能とする電子装置、信号振り分け推定方法およびプログラムを提供することを課題とする。   Therefore, the present invention has been made in view of the above problems, and an electronic device that can easily identify an operator who operates the device and informs the outside of the device of information indicating the identified operator. It is an object to provide an apparatus, a signal distribution estimation method, and a program.

上記の課題を解決するために、本発明の一態様である電子装置は、検出の対象から該対象の特徴を示す信号を検出する複数の検出部と、前記複数の検出部によりそれぞれ検出された信号から、各信号の時間的または空間的な変化のパターンを表すリズム情報をそれぞれ抽出する抽出部と、前記抽出された各リズム情報の組み合わせに基づき、前記対象を特定する対象特定部と、前記特定された対象に基づき、前記各リズム情報の出力方法を決定する出力方法決定部と、を備えることを特徴とする。   In order to solve the above problems, an electronic device according to one embodiment of the present invention is detected by a plurality of detection units that detect signals indicating characteristics of the target from the detection target, and the plurality of detection units, respectively. An extraction unit for extracting rhythm information representing a temporal or spatial change pattern of each signal from a signal, a target specifying unit for specifying the target based on a combination of the extracted rhythm information, And an output method determining unit that determines an output method of each rhythm information based on the identified target.

また、本発明の一態様である信号振り分け方法は、検出の対象から該対象の特徴を示す信号を検出する複数の検出部を備える電子装置が実行する信号振り分け方法であって、前記複数の検出部によりそれぞれ検出された信号から、各信号の時間的または空間的な変化のパターンを表すリズム情報をそれぞれ抽出する抽出手順と、前記抽出された各リズム情報の組み合わせに基づき、前記対象を特定する対象特定手順と、前記特定された対象に基づき、前記各リズム情報の出力方法を決定する出力方法決定手順と、を有することを特徴とする。   The signal distribution method according to one aspect of the present invention is a signal distribution method executed by an electronic device including a plurality of detection units that detect signals indicating characteristics of a target from detection targets. The target is specified based on a combination of an extraction procedure for extracting rhythm information representing a temporal or spatial change pattern of each signal from the signals detected by each unit and a combination of the extracted rhythm information. And an output method determination procedure for determining an output method of each rhythm information based on the specified target.

また、本発明の一態様であるプログラムは、検出の対象から該対象の特徴を示す信号を検出する複数の検出部を備える電子装置のコンピュータに、前記複数の検出部によりそれぞれ検出された信号から、各信号の時間的または空間的な変化のパターンを表すリズム情報をそれぞれ抽出する抽出ステップと、前記抽出された各リズム情報の組み合わせに基づき、前記対象を特定する対象特定ステップと、前記特定された対象に基づき、前記各リズム情報の出力方法を決定する出力方法決定ステップと、を実行させるためのプログラムである。   In addition, a program according to one embodiment of the present invention provides a computer of an electronic apparatus that includes a plurality of detection units that detect signals indicating characteristics of a target from detection targets, from signals detected by the plurality of detection units. , An extraction step for extracting rhythm information representing a temporal or spatial change pattern of each signal, a target specifying step for specifying the target based on a combination of the extracted rhythm information, and the specified The output method determining step for determining the output method of each rhythm information based on the target.

本発明によれば、簡易に自装置を操作する操作者を特定し、特定した操作者を示す情報を自装置の外部に報知することができる。   ADVANTAGE OF THE INVENTION According to this invention, the operator who operates an own apparatus can be identified easily and the information which shows the identified operator can be alert | reported outside the own apparatus.

本発明の実施形態における電子装置のブロック構成図である。It is a block block diagram of the electronic device in embodiment of this invention. 記憶部に記憶されているテーブルT1の一例である。It is an example of table T1 memorize | stored in the memory | storage part. 記憶部22に記憶されているテーブルT2からT5の一例である。It is an example of tables T2 to T5 stored in the storage unit 22. 記憶部に記憶されているテーブルT6からT8の一例である。It is an example of tables T6 to T8 stored in the storage unit. 出力部記憶部に記憶されているテーブルT9とテーブルT10の一例である。It is an example of table T9 and table T10 memorize | stored in the output part memory | storage part. 本発明の実施形態における電子装置の処理の流れを示したフローチャートである。It is the flowchart which showed the flow of the process of the electronic device in embodiment of this invention.

以下、本発明の実施形態について、図面を参照して詳細に説明する。図1は、本発明の実施形態における電子装置1のブロック構成図である。
電子装置1は、検出ユニット10と、抽出部21と、記憶部22と、対象特定部23と、出力部記憶部24と、出力方法決定部25と、制御部26と、出力ユニット30と、通信部40とを備える。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block configuration diagram of an electronic device 1 according to an embodiment of the present invention.
The electronic device 1 includes a detection unit 10, an extraction unit 21, a storage unit 22, a target identification unit 23, an output unit storage unit 24, an output method determination unit 25, a control unit 26, an output unit 30, And a communication unit 40.

まず、本発明の実施形態における電子装置1の概要について説明する。電子装置1は、検出ユニット10が備える複数の検出部により、検出の対象となる人または物の特徴を示す信号を複数種類検出する。そして、電子装置1は、検出された複数種類の信号のそれぞれについてリズムを検出し、そのリズム情報の組み合わせに基づいて対象を特定する。電子装置1は、特定された対象に応じて、検出された複数のリズム情報を複数の出力部にどのように振り分けるか決定し、その振り分け方に応じて、検出されたそれぞれのリズム情報に基づく信号を各出力部に出力する。各出力部は、入力されたリズム情報に基づく信号に基づいて、自装置の外部に報知する。   First, the outline | summary of the electronic device 1 in embodiment of this invention is demonstrated. The electronic device 1 detects a plurality of types of signals indicating characteristics of a person or an object to be detected by a plurality of detection units provided in the detection unit 10. And the electronic device 1 detects a rhythm about each of the detected multiple types of signal, and specifies an object based on the combination of the rhythm information. The electronic device 1 determines how to distribute the detected plurality of rhythm information to the plurality of output units according to the specified target, and based on each detected rhythm information according to the allocation method The signal is output to each output unit. Each output unit notifies the outside of its own device based on a signal based on the input rhythm information.

これによれば、電子装置1は、検出の対象となる人または物の特徴に応じたパターンで画像または映像を表示させたり、光を点滅させたり、音を出力したり、自装置を振動させたりし、その組み合わせも検出対象に応じて設定することができるので、電子装置1が発する画像または映像と光と音と振動の出力パターンとその組み合わせを人間が認識することにより、人間は電子装置1が検出の対象とした人または物を特定することができる。   According to this, the electronic device 1 displays an image or video in a pattern according to the characteristics of the person or object to be detected, blinks light, outputs a sound, or vibrates its own device. Since the combination can be set according to the detection target, the human recognizes the output pattern of the image or video, the light, the sound, and the vibration generated by the electronic device 1 and the combination thereof. 1 can identify a person or object to be detected.

続いて、電子装置1が備える各機能ブロックの処理について説明する。検出ユニット10は、検出の対象となる人または物から該人または物の特徴を示す信号を検出する複数の検出部を備える。具体的には、本実施形態では、一例として検出ユニット10は、撮像部11と、動き検出部12と、姿勢検出部13と、接触検出部14と、脈拍検出部15と、血流検出部16と、湿度検出部17とを備える。
なお、検出ユニット10が備える検出部は同一の検出部が複数あってもよい。また、検出ユニット10が備える検出部は複数あればよい。
Next, processing of each functional block included in the electronic device 1 will be described. The detection unit 10 includes a plurality of detection units that detect signals indicating characteristics of the person or the object from the person or the object to be detected. Specifically, in the present embodiment, as an example, the detection unit 10 includes an imaging unit 11, a motion detection unit 12, a posture detection unit 13, a contact detection unit 14, a pulse detection unit 15, and a blood flow detection unit. 16 and a humidity detector 17.
Note that the detection unit included in the detection unit 10 may include a plurality of the same detection units. Further, the detection unit 10 may include a plurality of detection units.

撮像部11は、自装置の外部の被写体を撮像するイメージセンサである。撮像部11は、電子装置1が検出の対象とする人または物を撮像し、撮像により得られた画像データを生成し、生成した画像データを抽出部21に出力する。   The imaging unit 11 is an image sensor that captures an image of a subject outside the apparatus. The imaging unit 11 images a person or an object to be detected by the electronic device 1, generates image data obtained by the imaging, and outputs the generated image data to the extraction unit 21.

動き検出部12は、自装置の筐体の動きを検出するセンサである。具体的には、例えば、動き検出部12は、操作者により自装置が動かされたときの自装置の筐体の動きを検出し、検出した動きの情報を抽出部21に出力する。動き検出部12としては、例えば加速度センサなどが設けられている。   The motion detection unit 12 is a sensor that detects the motion of the casing of the device itself. Specifically, for example, the motion detection unit 12 detects the movement of the casing of the device when the device is moved by the operator, and outputs information on the detected motion to the extraction unit 21. As the motion detection unit 12, for example, an acceleration sensor or the like is provided.

姿勢検出部13は、電子装置1の姿勢を検出するセンサである。具体的には、例えば、姿勢検出部13は、操作者により自装置が動かされたときの自装置の姿勢を検出し、検出した姿勢を示す情報を抽出部21に出力する。姿勢検出部13としては、例えば3軸加速度センサやジャイロセンサ、地磁気センサなどが設けられている。   The attitude detection unit 13 is a sensor that detects the attitude of the electronic device 1. Specifically, for example, the posture detection unit 13 detects the posture of the device itself when the device is moved by the operator, and outputs information indicating the detected posture to the extraction unit 21. As the posture detection unit 13, for example, a triaxial acceleration sensor, a gyro sensor, a geomagnetic sensor, and the like are provided.

接触検出部14は、自装置の筐体の側面に備えられた接触感知センサであり、側面の長手方向に沿って所定の分割数(例えば、9分割)で区切られており、区切られたセンサ毎に、接触の有無を検出することができる。
接触検出部14は、操作者により自装置が触れられたときの、各位置における接触の有無を検出し、検出された各位置における接触の有無を示す情報を抽出部21に出力する。接触検出部14としては、例えば、静電容量型の接触感知センサが設けられている。
The contact detection unit 14 is a contact detection sensor provided on the side surface of the casing of the device, and is divided by a predetermined number of divisions (for example, 9 divisions) along the longitudinal direction of the side surface. The presence or absence of contact can be detected for each time.
The contact detection unit 14 detects the presence or absence of contact at each position when the device is touched by the operator, and outputs information indicating the presence or absence of contact at each detected position to the extraction unit 21. As the contact detection unit 14, for example, a capacitance-type contact detection sensor is provided.

脈拍検出部15は、脈拍を検出するセンサである。脈拍検出部15は、検出の対象とする人(例えば、自装置の操作者)の脈拍を検出し、検出した脈拍を示す情報を抽出部21に出力する。脈拍検出部15としては、例えば、イヤフォン型の脈拍センサなどが設けられている。   The pulse detector 15 is a sensor that detects a pulse. The pulse detection unit 15 detects the pulse of the person to be detected (for example, the operator of the own device), and outputs information indicating the detected pulse to the extraction unit 21. As the pulse detection unit 15, for example, an earphone type pulse sensor is provided.

血流検出部16は、血流を検出するセンサである。血圧検出部17は、検出の対象とする人(例えば、自装置の操作者)の血流を検出し、検出した血流を示す情報を抽出部21に出力する。血流検出部16としては、例えば、超音波血流計などが設けられている。   The blood flow detection unit 16 is a sensor that detects blood flow. The blood pressure detection unit 17 detects the blood flow of the person to be detected (for example, the operator of the own device), and outputs information indicating the detected blood flow to the extraction unit 21. As the blood flow detection unit 16, for example, an ultrasonic blood flow meter or the like is provided.

湿度検出部17は、自検出部周囲の湿度を検出するセンサである。湿度検出部17としては、自検出部周囲の湿度を検出し、検出した湿度を示す情報を抽出部21に出力する。湿度検出部17としては、例えば、湿度計などが設けられている。   The humidity detection unit 17 is a sensor that detects the humidity around the detection unit. The humidity detection unit 17 detects the humidity around the self-detection unit, and outputs information indicating the detected humidity to the extraction unit 21. As the humidity detector 17, for example, a hygrometer is provided.

抽出部21は、検出ユニット10における複数の検出部によりそれぞれ検出された信号から、各信号の時間的または空間的な変化のパターンを表すリズム情報をそれぞれ抽出し、抽出した各リズム情報を対象特定部23に出力する。
具体的には、例えば、抽出部21は、撮像部11から入力された1枚の画像を構成する画像データにおいて、検出対象となるものを抜き出し、外光の状況から検出対象の明度を一定値にし、各画素における輝度値(例えば、0から255)や彩度、色度、隣接画素とのコントラスト比等を、上の行から行毎に順に横一列に並べたものを1つの波と捉え、その波の周波数と振幅とを算出し、その周波数の情報と振幅の情報とを含む画像リズム情報Ryを対象特定部23に出力する。
The extraction unit 21 extracts rhythm information representing a temporal or spatial change pattern of each signal from the signals detected by the plurality of detection units in the detection unit 10, and specifies each extracted rhythm information. To the unit 23.
Specifically, for example, the extraction unit 21 extracts a target to be detected from the image data constituting one image input from the imaging unit 11, and sets the brightness of the detection target to a constant value from the situation of external light. In this case, a luminance value (for example, 0 to 255), saturation, chromaticity, contrast ratio with adjacent pixels, etc. in each pixel arranged in a horizontal row in order from the top row is regarded as one wave. The frequency and amplitude of the wave are calculated, and image rhythm information Ry including the frequency information and the amplitude information is output to the target specifying unit 23.

同様に、例えば、抽出部21は、動き検出部12から入力された動きの情報から、所定の基準点と自装置の間の距離の時間的な変化を1つの波と捉え、その波の周波数と振幅とを算出し、その周波数の情報と振幅の情報とを含む動きリズム情報Rmを対象特定部23に出力する。   Similarly, for example, the extraction unit 21 regards a temporal change in the distance between a predetermined reference point and the own apparatus as one wave from the motion information input from the motion detection unit 12, and the frequency of the wave And the motion rhythm information Rm including the frequency information and the amplitude information are output to the target specifying unit 23.

同様に、例えば、抽出部21は、姿勢検出部13から入力された姿勢を示す情報から、ある平面における所定の基準姿勢からの姿勢の回転量の時間的な変化を1つの波と捉え、その波の周波数と振幅とを算出し、その周波数の情報と振幅の情報とを含む姿勢リズム情報Raを対象特定部23に出力する。   Similarly, for example, from the information indicating the posture input from the posture detection unit 13, the extraction unit 21 regards a temporal change in the rotation amount of the posture from a predetermined reference posture on a certain plane as one wave, and The frequency and amplitude of the wave are calculated, and posture rhythm information Ra including the frequency information and amplitude information is output to the target specifying unit 23.

同様に、例えば、抽出部21は、接触検出部14から入力された各位置における接触の有無の空間分布を1つの波と捉え、その波の周波数と振幅とを算出し、その周波数の情報と振幅の情報とを含む接触リズム情報Rsを対象特定部23に出力する。   Similarly, for example, the extraction unit 21 regards the spatial distribution of presence / absence of contact at each position input from the contact detection unit 14 as one wave, calculates the frequency and amplitude of the wave, Contact rhythm information Rs including amplitude information is output to the target specifying unit 23.

同様に、例えば、抽出部21は、脈拍検出部15から入力された脈拍を示す情報から拍動の有無を1つのリズムと捉え、そのリズムの周波数を算出し、その周波数の情報を含む脈拍リズム情報Rpを対象特定部23に出力する。   Similarly, for example, the extraction unit 21 regards the presence or absence of pulsation as one rhythm from the information indicating the pulse input from the pulse detection unit 15, calculates the frequency of the rhythm, and includes a pulse rhythm including the information on the frequency The information Rp is output to the target specifying unit 23.

同様に、例えば、抽出部21は、血流検出部16から入力された血流を示す情報から、血流量の時間変化を1つの波と捉えて、その波の周波数と振幅とを算出し、その周波数の情報と振幅の情報とを含む血流リズム情報Rbを対象特定部23に出力する。   Similarly, for example, from the information indicating the blood flow input from the blood flow detection unit 16, the extraction unit 21 regards the temporal change in the blood flow as one wave, calculates the frequency and amplitude of the wave, The blood flow rhythm information Rb including the frequency information and the amplitude information is output to the target specifying unit 23.

同様に、例えば、抽出部21は、湿度検出部17から入力された湿度を示す情報から、湿度の時間変化を1つの波と捉え、その波の周波数と振幅とを算出し、その周波数の情報と振幅の情報とを含む湿度リズム情報Rhを対象特定部23に出力する。   Similarly, for example, the extraction unit 21 regards a change in humidity over time as one wave from the information indicating the humidity input from the humidity detection unit 17, calculates the frequency and amplitude of the wave, and information on the frequency And the humidity rhythm information Rh including the amplitude information are output to the target specifying unit 23.

記憶部22には、リズム情報の組み合わせと対象を示す対象情報とが関連付けられて記憶されている。具体的には、例えば、記憶部22には、テーブルT1に、画像リズム情報Ryのid値、動きリズム情報Rmのid値、姿勢リズム情報Raのid値、接触リズム情報Rsのid値、脈拍リズム情報Rpのid値、血流リズム情報Rbのid値および湿度リズム情報Rhのid値の組み合わせと、検出対象を識別する対象情報とが関連付けられて記憶されている(図2参照)。   The storage unit 22 stores a combination of rhythm information and target information indicating the target in association with each other. Specifically, for example, the storage unit 22 stores, in the table T1, the id value of the image rhythm information Ry, the id value of the motion rhythm information Rm, the id value of the posture rhythm information Ra, the id value of the contact rhythm information Rs, the pulse A combination of the id value of the rhythm information Rp, the id value of the blood flow rhythm information Rb, and the id value of the humidity rhythm information Rh, and target information for identifying the detection target are stored in association with each other (see FIG. 2).

記憶部22に記憶されているテーブルについて図2を用いて説明する。図2は、記憶部22に記憶されているテーブルT1の一例である。テーブルT1には、対象情報と各リズム情報の組み合わせとが関連付けられて記憶されている。テーブルT1の各項目の値は、各リズム情報がどのようなリズム情報であるか示す固有のid値である。
例えば、対象情報Aについては、画像リズム情報Ryのid値が1で、動きリズム情報Rmのid値が2で、姿勢リズム情報Raのid値が3で、接触リズム情報Rsのid値が4で、脈拍リズム情報Rpのid値が3で、血流リズム情報Rbのid値が2で、湿度リズム情報Rhのid値が1である。このように、テーブルT1では、各リズム情報のid値の組み合わせに対して、対象情報が一意に定まるようになっている。
The table memorize | stored in the memory | storage part 22 is demonstrated using FIG. FIG. 2 is an example of the table T1 stored in the storage unit 22. In the table T1, target information and combinations of rhythm information are stored in association with each other. The value of each item in the table T1 is a unique id value indicating what kind of rhythm information each rhythm information is.
For example, for the target information A, the id value of the image rhythm information Ry is 1, the id value of the motion rhythm information Rm is 2, the id value of the posture rhythm information Ra is 3, and the id value of the contact rhythm information Rs is 4. The id value of the pulse rhythm information Rp is 3, the id value of the blood flow rhythm information Rb is 2, and the id value of the humidity rhythm information Rh is 1. Thus, in the table T1, the target information is uniquely determined for the combination of id values of the rhythm information.

また、記憶部22には、テーブルT2からテーブルT7に、上記各リズム情報のid値と、そのリズム情報に含まれる周波数の情報と振幅の情報とが関連付けられて記憶されている(図3、図4参照)。但し、脈拍リズム情報Rpのid値は、脈拍の周波数を示す情報と関連付けられて記憶部22に記憶されている(図4(a)のテーブルT6参照)。   The storage unit 22 stores the id value of each rhythm information, the frequency information and the amplitude information included in the rhythm information in association with each other in the tables T2 to T7 (FIG. 3, FIG. 3). (See FIG. 4). However, the id value of the pulse rhythm information Rp is stored in the storage unit 22 in association with information indicating the pulse frequency (see table T6 in FIG. 4A).

図3は、記憶部22に記憶されているテーブルT2からT5の一例である。各テーブルの振幅の値は、所定の値(ここでは、10)で正規化された値である。
図3(a)は、記憶部22に記憶されているテーブルT2の一例である。テーブルT2には、画像リズム情報Ryのid値と画像リズム情報Ryに含まれる周波数および振幅とが関連付けられて記憶されている。例えば、画像リズム情報Ryのid値が1の場合、その画像リズムの周波数は1Hzで、振幅は5である。このように、テーブルT2では、画像リズム情報Ryのid値に対して、画像リズムの周波数および振幅の組み合わせが一意に定まるようになっている。
FIG. 3 is an example of the tables T <b> 2 to T <b> 5 stored in the storage unit 22. The amplitude value in each table is a value normalized by a predetermined value (here, 10).
FIG. 3A is an example of the table T <b> 2 stored in the storage unit 22. In the table T2, the id value of the image rhythm information Ry and the frequency and amplitude included in the image rhythm information Ry are stored in association with each other. For example, when the id value of the image rhythm information Ry is 1, the frequency of the image rhythm is 1 Hz and the amplitude is 5. Thus, in the table T2, the combination of the frequency and amplitude of the image rhythm is uniquely determined with respect to the id value of the image rhythm information Ry.

図3(b)は、記憶部22に記憶されているテーブルT3の一例である。テーブルT3には、動きリズム情報Rmのid値と動きリズム情報Rmに含まれる周波数および振幅とが関連付けられて記憶されている。例えば、動きリズム情報Rmのid値が1の場合、その動きリズムの周波数は3Hzで、振幅は7である。このように、テーブルT3では、動きリズム情報Rmのid値に対して、動きリズムの周波数および振幅の組み合わせが一意に定まるようになっている。   FIG. 3B is an example of a table T3 stored in the storage unit 22. In the table T3, the id value of the motion rhythm information Rm and the frequency and amplitude included in the motion rhythm information Rm are stored in association with each other. For example, when the id value of the motion rhythm information Rm is 1, the frequency of the motion rhythm is 3 Hz and the amplitude is 7. Thus, in the table T3, the combination of the frequency and amplitude of the motion rhythm is uniquely determined with respect to the id value of the motion rhythm information Rm.

図3(c)は、記憶部22に記憶されているテーブルT4の一例である。テーブルT4には、姿勢リズム情報Raのid値と姿勢リズム情報Raに含まれる周波数および振幅とが関連付けられて記憶されている。例えば、姿勢リズム情報Raのid値が1の場合、その姿勢リズムの周波数は5Hzで、振幅は9である。このように、テーブルT4では、姿勢リズム情報Raのid値に対して、姿勢リズムの周波数および振幅の組み合わせが一意に定まるようになっている。   FIG. 3C is an example of a table T4 stored in the storage unit 22. In the table T4, the id value of the posture rhythm information Ra and the frequency and amplitude included in the posture rhythm information Ra are stored in association with each other. For example, when the id value of the posture rhythm information Ra is 1, the frequency of the posture rhythm is 5 Hz and the amplitude is 9. Thus, in the table T4, the combination of the frequency and amplitude of the posture rhythm is uniquely determined with respect to the id value of the posture rhythm information Ra.

図3(d)は、記憶部22に記憶されているテーブルT5の一例である。テーブルT5には、接触リズム情報Rsのid値と接触リズム情報Rsに含まれる周波数および振幅とが関連付けられて記憶されている。例えば、接触リズム情報Rsのid値が1の場合、その接触リズムの周波数は7Hzで、振幅は1である。このように、テーブルT5では、接触リズム情報Rsのid値に対して、接触リズムの周波数および振幅の組み合わせが一意に定まるようになっている。   FIG. 3D is an example of a table T5 stored in the storage unit 22. In the table T5, the id value of the contact rhythm information Rs and the frequency and amplitude included in the contact rhythm information Rs are stored in association with each other. For example, when the id value of the contact rhythm information Rs is 1, the frequency of the contact rhythm is 7 Hz and the amplitude is 1. Thus, in the table T5, the combination of the frequency and amplitude of the contact rhythm is uniquely determined with respect to the id value of the contact rhythm information Rs.

図4は、記憶部22に記憶されているテーブルT6からT8の一例である。図3と同様に、各テーブルの振幅の値は、所定の値(ここでは、10)で正規化された値である。
図4(a)は、記憶部22に記憶されているテーブルT6の一例である。テーブルT6には、脈拍リズム情報Rpのid値と脈拍リズム情報Rpに含まれる周波数とが関連付けられて記憶されている。例えば、脈拍リズム情報Rpのid値が1の場合、その接触リズムの周波数は5Hzである。このように、テーブルT6では、脈拍リズム情報Rpのid値に対して、脈拍リズムの周波数が一意に定まるようになっている。
FIG. 4 is an example of the tables T6 to T8 stored in the storage unit 22. Similar to FIG. 3, the amplitude value of each table is a value normalized by a predetermined value (here, 10).
FIG. 4A is an example of a table T6 stored in the storage unit 22. In the table T6, the id value of the pulse rhythm information Rp and the frequency included in the pulse rhythm information Rp are stored in association with each other. For example, when the id value of the pulse rhythm information Rp is 1, the frequency of the contact rhythm is 5 Hz. Thus, in the table T6, the pulse rhythm frequency is uniquely determined with respect to the id value of the pulse rhythm information Rp.

図4(b)は、記憶部22に記憶されているテーブルT7の一例である。テーブルT7には、血流リズム情報Rbのid値と血流リズム情報Rbに含まれる周波数および振幅とが関連付けられて記憶されている。例えば、血流リズム情報Rbのid値が1の場合、その接触リズムの周波数は5Hzで、振幅は5である。このように、テーブルT7では、血流リズム情報Rbのid値に対して、血流リズムの周波数および振幅の組み合わせが一意に定まるようになっている。   FIG. 4B is an example of a table T7 stored in the storage unit 22. In the table T7, the id value of the blood flow rhythm information Rb and the frequency and amplitude included in the blood flow rhythm information Rb are stored in association with each other. For example, when the id value of the blood flow rhythm information Rb is 1, the frequency of the contact rhythm is 5 Hz and the amplitude is 5. Thus, in the table T7, the combination of the frequency and amplitude of the blood flow rhythm is uniquely determined with respect to the id value of the blood flow rhythm information Rb.

図4(c)は、記憶部22に記憶されているテーブルT8の一例である。テーブルT8には、湿度リズム情報Rhのid値と湿度リズム情報Rhに含まれる周波数および振幅とが関連付けられて記憶されている。例えば、湿度リズム情報Rhのid値が1の場合、その接触リズムの周波数は3Hzで、振幅は3である。このように、テーブルT8では、湿度リズム情報Rhのid値に対して、湿度リズムの周波数および振幅の組み合わせが一意に定まるようになっている。   FIG. 4C is an example of a table T8 stored in the storage unit 22. In the table T8, the id value of the humidity rhythm information Rh and the frequency and amplitude included in the humidity rhythm information Rh are stored in association with each other. For example, when the id value of the humidity rhythm information Rh is 1, the frequency of the contact rhythm is 3 Hz and the amplitude is 3. Thus, in the table T8, the combination of the frequency and amplitude of the humidity rhythm is uniquely determined with respect to the id value of the humidity rhythm information Rh.

図1に戻って、対象特定部23は、抽出部21により抽出されたリズム情報のそれぞれの組み合わせに基づき、前記人または物を特定する。具体的には、対象特定部23は、抽出された各リズム情報を記憶部22に記憶されている各テーブル(T2〜T7)と照合し、各リズム情報について、リズム情報のid値を抽出する。続いて、対象特定部23は、抽出した各リズム情報のid値を記憶部22に記憶されているテーブルT1と照合し、抽出した各リズム情報のid値の組み合わせに合致する対象情報を読み出す。これにより、対象特定部23は対象を特定することができる。対象特定部23は、読み出した対象を示す対象情報を制御部26に出力する。   Returning to FIG. 1, the target specifying unit 23 specifies the person or thing based on each combination of rhythm information extracted by the extracting unit 21. Specifically, the target specifying unit 23 compares each extracted rhythm information with each table (T2 to T7) stored in the storage unit 22, and extracts an id value of the rhythm information for each rhythm information. . Subsequently, the target specifying unit 23 checks the id value of each extracted rhythm information against the table T1 stored in the storage unit 22, and reads target information that matches the combination of id values of each extracted rhythm information. Thereby, the object specifying unit 23 can specify the object. The target specifying unit 23 outputs target information indicating the read target to the control unit 26.

続いて、対象特定部23の処理の具体例について説明する。対象特定部23は、抽出部21から供給された画像リズム情報Ryに含まれる周波数が1Hzと振幅が5の場合、記憶部22に記憶されているテーブルT2から画像リズム情報Ryのid値として1を抽出する。
同様に、対象特定部23は、抽出部21から供給された動きリズム情報Rmに含まれる周波数が7Hzと振幅が2の場合、記憶部22に記憶されているテーブルT3から動きリズム情報Rmのid値として2を抽出する。
Subsequently, a specific example of processing of the target specifying unit 23 will be described. When the frequency included in the image rhythm information Ry supplied from the extraction unit 21 is 1 Hz and the amplitude is 5, the target specifying unit 23 sets 1 as the id value of the image rhythm information Ry from the table T2 stored in the storage unit 22. To extract.
Similarly, when the frequency included in the motion rhythm information Rm supplied from the extraction unit 21 is 7 Hz and the amplitude is 2, the target specifying unit 23 uses the id of the motion rhythm information Rm from the table T3 stored in the storage unit 22. Extract 2 as the value.

同様に、対象特定部23は、例えば抽出部21から供給された姿勢リズム情報Raに含まれる周波数が9Hzと振幅が4の場合、記憶部22に記憶されているテーブルT4から姿勢リズム情報Raのid値として3を抽出する。
同様に、対象特定部23は、例えば抽出部21から供給された接触リズム情報Rsに含まれる周波数が16Hzと振幅が7の場合、記憶部22に記憶されているテーブルT5から接触リズム情報Rsのid値として4を抽出する。
Similarly, for example, when the frequency included in the posture rhythm information Ra supplied from the extraction unit 21 is 9 Hz and the amplitude is 4, the target specifying unit 23 stores the posture rhythm information Ra from the table T4 stored in the storage unit 22. 3 is extracted as the id value.
Similarly, for example, when the frequency included in the contact rhythm information Rs supplied from the extraction unit 21 is 16 Hz and the amplitude is 7, the target specifying unit 23 reads the contact rhythm information Rs from the table T5 stored in the storage unit 22. 4 is extracted as the id value.

同様に、対象特定部23は、例えば抽出部21から供給された脈拍リズム情報Rpに含まれる周波数が1Hzの場合、記憶部22に記憶されているテーブルT6から脈拍リズム情報Rpのid値として3を抽出する。
同様に、対象特定部23は、例えば抽出部21から供給された血流リズム情報Rbに含まれる周波数が0.5Hzで振幅が6の場合、記憶部22に記憶されているテーブルT7から血流リズム情報Rbのid値として2を抽出する。
同様に、対象特定部23は、例えば抽出部21から供給された湿度リズム情報Rhに含まれる周波数が0.001Hzで振幅が3の場合、記憶部22に記憶されているテーブルT8から湿度リズム情報Rhのid値として1を抽出する。
Similarly, for example, when the frequency included in the pulse rhythm information Rp supplied from the extraction unit 21 is 1 Hz, the target specifying unit 23 sets 3 as the id value of the pulse rhythm information Rp from the table T6 stored in the storage unit 22. To extract.
Similarly, for example, when the frequency included in the blood flow rhythm information Rb supplied from the extraction unit 21 is 0.5 Hz and the amplitude is 6, the target specifying unit 23 reads the blood flow from the table T7 stored in the storage unit 22. 2 is extracted as the id value of the rhythm information Rb.
Similarly, for example, when the frequency included in the humidity rhythm information Rh supplied from the extraction unit 21 is 0.001 Hz and the amplitude is 3, the target specifying unit 23 reads the humidity rhythm information from the table T8 stored in the storage unit 22. 1 is extracted as the id value of Rh.

そして、対象特定部23は、抽出した各リズム情報のid値と、図2のテーブルT1の各リズム情報のid値とを照合する。そして対象特定部23は、抽出した画像リズム情報Ryのid値が1で、抽出した動きリズム情報Rmのid値が2で、図2のテーブルT1において、抽出した各リズム情報のid値(姿勢リズム情報Raのid値が3で、接触リズム情報Rsのid値が4で、脈拍リズム情報Rpのid値が3で、血流リズム情報Rbのid値が2で、湿度リズム情報Rhのid値が1)と一致した各リズム情報に関連付けられた対象情報Aを抽出する。これにより、対象特定部23は検出対象を識別する対象情報Aを抽出することにより、対象を特定することができる。   Then, the target specifying unit 23 collates the extracted id value of each rhythm information with the id value of each rhythm information in the table T1 of FIG. Then, the target specifying unit 23 sets the id value of the extracted image rhythm information Ry to 1, the id value of the extracted motion rhythm information Rm to 2, and the id value (posture) of each extracted rhythm information in the table T1 of FIG. The id value of the rhythm information Ra is 3, the id value of the contact rhythm information Rs is 4, the id value of the pulse rhythm information Rp is 3, the id value of the blood flow rhythm information Rb is 2, and the id of the humidity rhythm information Rh The target information A associated with each rhythm information whose value matches 1) is extracted. Thus, the target specifying unit 23 can specify the target by extracting the target information A that identifies the detection target.

図1に戻って、出力部記憶部24には、対象を示す対象情報と出力方法を示す情報(各出力部にどのリズム情報を振り分けるかという情報)とが関連付けられて記憶されている。ここで、図5を用いて、出力部記憶部24に記憶されているテーブルの具体例について説明する。   Returning to FIG. 1, the output unit storage unit 24 stores target information indicating a target and information indicating an output method (information about which rhythm information is distributed to each output unit) in association with each other. Here, the specific example of the table memorize | stored in the output part memory | storage part 24 is demonstrated using FIG.

図5は、出力部記憶部24に記憶されているテーブルT9とテーブルT10の一例である。図5(a)は出力部記憶部24に記憶されているテーブルT9の一例である。テーブルT9には、対象情報と各出力部に振り分けられるリズム情報を識別するリズム識別情報とが関連付けられて記憶されている。テーブルT9の各値は、各カラムの出力部にどのリズム情報が振り分けられるかを示すためのリズム識別情報である。また、値が0の場合、そのカラムの出力部が選択されないことを意味する。   FIG. 5 is an example of the table T9 and the table T10 stored in the output unit storage unit 24. FIG. 5A is an example of a table T9 stored in the output storage 24. In the table T9, target information and rhythm identification information for identifying rhythm information distributed to each output unit are stored in association with each other. Each value in the table T9 is rhythm identification information for indicating which rhythm information is distributed to the output section of each column. Further, when the value is 0, it means that the output part of the column is not selected.

例えば、対象情報Aについては、表示部31にリズム識別情報1のリズム情報が振り分けられることが示されている。また、対象物Bの場合、表示部31にリズム識別情報2のリズム情報が振り分けられ、光出力部32にリズム識別情報3のリズム情報が振り分けられることが示されている。このように、テーブルT9では、対象情報に対して、各出力部に振り分けられるリズム情報の識別情報が一意に定まるようになっている。   For example, for the target information A, it is shown that the rhythm information of the rhythm identification information 1 is distributed on the display unit 31. In the case of the object B, the rhythm information of the rhythm identification information 2 is distributed to the display unit 31, and the rhythm information of the rhythm identification information 3 is distributed to the light output unit 32. Thus, in the table T9, the identification information of the rhythm information distributed to each output unit is uniquely determined for the target information.

図5(b)は出力部記憶部24に記憶されているテーブルT10の一例である。テーブルT10には、リズム情報を識別するリズム識別情報と当該リズム識別情報が指し示すリズム情報に各カラムのリズム情報が含まれるか否かの情報とが関連付けられて記憶されている。テーブルT10の各値は、各カラムのリズム情報が各値が属する行のリズム識別情報が指し示すリズム情報に含まれるか否かが示されている。テーブルT10の値が1の場合、その値が属する列のリズム情報がその値が属する行のリズム識別情報が指し示すリズム情報に含まれることを意味する。また、テーブルT10の値が0の場合、その値が属する列のリズム情報がその値が属する行のリズム識別情報が指し示すリズム情報に含まれないことを意味する。   FIG. 5B is an example of the table T10 stored in the output unit storage unit 24. In the table T10, rhythm identification information for identifying rhythm information and information on whether or not the rhythm information of each column is included in the rhythm information indicated by the rhythm identification information are stored in association with each other. Each value of the table T10 indicates whether or not the rhythm information of each column is included in the rhythm information indicated by the rhythm identification information of the row to which each value belongs. When the value of the table T10 is 1, it means that the rhythm information of the column to which the value belongs is included in the rhythm information indicated by the rhythm identification information of the row to which the value belongs. In addition, when the value of the table T10 is 0, it means that the rhythm information of the column to which the value belongs is not included in the rhythm information indicated by the rhythm identification information of the row to which the value belongs.

例えば、同図において、リズム識別情報が1の場合、そのリズム情報が画像リズム情報Ryであることが示されている。また、リズム識別情報が2の場合、そのリズム情報が画像リズム情報Ryと動きリズム情報Rmとが合成されたリズム情報であることが示されている。   For example, in the figure, when the rhythm identification information is 1, it is shown that the rhythm information is image rhythm information Ry. Further, when the rhythm identification information is 2, it is indicated that the rhythm information is rhythm information obtained by combining the image rhythm information Ry and the motion rhythm information Rm.

図1に戻って、出力方法決定部25は、特定された対象に基づき、リズム情報に基づく信号の出力方法を決定する。ここで、リズム情報に基づく信号とは、制御部26がリズム情報の出力先である出力ユニット30が備える各出力部に応じた信号(例えば、映像信号、光出力信号、音声信号、振動信号)である。具体的には、出力方法決定部25は、特定された対象を示す対象情報に対応付けられた出力方法を示す情報(各出力部にどのリズム情報を振り分けるかという情報)を出力部記憶部24から読み出すことにより、各リズム情報を振り分ける出力部を決定する。   Returning to FIG. 1, the output method determination unit 25 determines a signal output method based on rhythm information based on the identified target. Here, the signal based on the rhythm information is a signal (for example, a video signal, an optical output signal, an audio signal, a vibration signal) corresponding to each output unit provided in the output unit 30 to which the control unit 26 outputs the rhythm information. It is. Specifically, the output method determination unit 25 outputs information indicating the output method associated with the target information indicating the specified target (information about which rhythm information is allocated to each output unit). Is read out, the output unit for distributing each rhythm information is determined.

出力方法決定部25は、出力部記憶部24に記憶されているテーブルT9を参照して、対象情報に対応付けられた各出力部に振り分けられるリズム情報のリズム識別情報を読み出す。また、出力方法決定部25は、出力部記憶部24に記憶されているテーブルT10を参照して、リズム識別情報に対応付けられたリズム情報の組み合わせを抽出する。これにより、出力方法決定部25は、各出力部にどのリズム情報を振り分けるかという出力方法を決定し、決定した出力方法を示す情報を制御部26に出力する。   The output method determination unit 25 refers to the table T9 stored in the output unit storage unit 24, and reads out the rhythm identification information of the rhythm information distributed to each output unit associated with the target information. Further, the output method determination unit 25 refers to the table T10 stored in the output unit storage unit 24 and extracts a combination of rhythm information associated with the rhythm identification information. Thereby, the output method determination unit 25 determines an output method as to which rhythm information is allocated to each output unit, and outputs information indicating the determined output method to the control unit 26.

具体的には、例えば、特定された対象を示す対象情報がAだとすると、出力方法決定部25は、図5(a)のテーブルT9を参照して、対象情報がAの行において、各カラムの値を抽出することにより、表示部31にリズム識別情報が1のリズム情報を出力し、他の出力部にはリズム情報を出力しないという情報を出力部記憶部24から読み出す。そして、リズム識別情報が1だとすると、出力方法決定部25は、リズム識別情報が1の行において、カラムの値が1となっているリズム情報である画像リズム情報Ryを出力部記憶部24から抽出する。これにより、出力方法決定部25は、表示部31に画像リズム情報Ryを振り分けるという出力方法を決定する。   Specifically, for example, if the target information indicating the specified target is A, the output method determination unit 25 refers to the table T9 in FIG. By extracting the value, information indicating that the rhythm identification information is 1 is output to the display unit 31 and the rhythm information is not output to the other output units, and is read from the output unit storage unit 24. If the rhythm identification information is 1, the output method determination unit 25 extracts the image rhythm information Ry, which is rhythm information having a column value of 1 in the row where the rhythm identification information is 1, from the output unit storage unit 24. To do. Thereby, the output method determination unit 25 determines an output method of distributing the image rhythm information Ry to the display unit 31.

また、制御部26は、出力方法決定部25により決定された出力方法に基づいて、各リズム情報に基づく信号を出力ユニット30が備える各出力部の少なくともいずれか1つに振り分ける。
具体的には、制御部26は、出力方法決定部25から入力された出力方法を示す情報(各出力部にどのリズム情報が振り分けられるかを示す情報)に応じて、各リズム情報をその出力先である出力部に応じたリズム情報に基づく信号(例えば、映像信号、光出力信号、音声信号、振動信号)に変換し、変換した各リズム情報に基づく信号(例えば、映像信号、光出力信号、音声信号、振動信号)を決定された各出力部に出力する。
Further, the control unit 26 distributes a signal based on each rhythm information to at least one of the output units included in the output unit 30 based on the output method determined by the output method determination unit 25.
Specifically, the control unit 26 outputs each rhythm information according to the information indicating the output method input from the output method determining unit 25 (information indicating which rhythm information is distributed to each output unit). Signals based on the rhythm information corresponding to the output unit (for example, video signal, optical output signal, audio signal, vibration signal) are converted, and signals based on the converted rhythm information (for example, video signal, optical output signal) , Audio signal, vibration signal) is output to each determined output unit.

例えば、出力方法決定部25により動きリズム情報Rmが表示部31に振り分けられると決定された場合、制御部26は、動きリズム情報Rmが有する周波数および振幅の情報からその周波数と振幅で振動する波形を生成し、その波形から所定の時間間隔毎の値を輝度値として抽出し、その輝度値を示す映像信号を生成する。制御部26は、生成された映像信号を表示部31に出力し、表示部31に映像を表示させる。   For example, when the output method determining unit 25 determines that the motion rhythm information Rm is distributed to the display unit 31, the control unit 26 uses the frequency and amplitude information of the motion rhythm information Rm to vibrate at the frequency and amplitude. Is extracted from the waveform as a luminance value, and a video signal indicating the luminance value is generated. The control unit 26 outputs the generated video signal to the display unit 31 and causes the display unit 31 to display the video.

また、制御部26は、各リズム情報に基づく信号を、同時に出力ユニット30が備える複数の出力部から出力するよう制御する。
なお、制御部26は、複数のリズム情報を合成して1つのリズム情報を生成し、生成されたリズム情報に基づく信号を、出力ユニット30が備える1つの出力部から出力するように制御するようにしてもよい。具体的には、例えば、制御部26は、抽出部21により抽出された3つのリズム情報のうち、2つのリズム情報を選択し、その2つのリズムを表す2つの波形を有する信号を加算することにより、1つの波形を示す合成信号を生成する。制御部26は、その生成された合成信号を出力ユニット30の後述する振動部34に出力することにより、その1つの波形を示す信号に基づいて振動部34を振動させる。
Further, the control unit 26 controls to output signals based on each rhythm information from a plurality of output units provided in the output unit 30 at the same time.
The control unit 26 generates a single piece of rhythm information by combining a plurality of pieces of rhythm information, and controls to output a signal based on the generated rhythm information from a single output unit provided in the output unit 30. It may be. Specifically, for example, the control unit 26 selects two rhythm information from among the three rhythm information extracted by the extraction unit 21, and adds signals having two waveforms representing the two rhythms. Thus, a composite signal indicating one waveform is generated. The control unit 26 outputs the generated combined signal to a vibration unit 34 (to be described later) of the output unit 30 to vibrate the vibration unit 34 based on a signal indicating the one waveform.

また、例えば、制御部26は、抽出されなかった残りの1つのリズム情報を所定の閾値を越えていたら5V、その所定の閾値以下なら0Vとなる矩形波状の電圧を示す信号に変換し、その矩形波状の電圧を示す信号を出力ユニット30の後述する光出力部32に出力する。これにより、振動部34は、入力された合成信号に従って筐体を振動させ、光出力部32は、入力された矩形波状の電圧を示す信号に従って光を点滅させることができる。   Further, for example, the control unit 26 converts the remaining one rhythm information that has not been extracted into a signal indicating a rectangular wave-like voltage that is 5 V if it exceeds a predetermined threshold, and 0 V if it is less than the predetermined threshold. A signal indicating a rectangular wave voltage is output to an optical output unit 32 (to be described later) of the output unit 30. Thereby, the vibration part 34 can vibrate a housing | casing according to the input synthetic signal, and the light output part 32 can blink light according to the signal which shows the input rectangular-wave voltage.

また、制御部26は、出力方法決定部25から入力された出力方法を示す情報を通信部40に出力し、通信部40にその出力方法を示す情報を他の電子装置に出力するよう制御する。   In addition, the control unit 26 outputs information indicating the output method input from the output method determining unit 25 to the communication unit 40 and controls the communication unit 40 to output information indicating the output method to another electronic device. .

出力ユニット30は、表示部31と、光出力部32と、音声出力部33と、振動部34とを備える。出力ユニット30が備える上記各出力部は、制御部26から入力されたリズム情報に基づく信号を出力する。
表示部31は、制御部26から入力された画像信号または映像信号を表示させる。表示部31としては、例えば、液晶ディスプレイが設けられている。
光出力部32は、制御部26から入力された光出力信号に基づいて発光する。光出力部32としては、例えば、発光ダイオードが設けられている。
The output unit 30 includes a display unit 31, a light output unit 32, an audio output unit 33, and a vibration unit 34. Each output unit included in the output unit 30 outputs a signal based on rhythm information input from the control unit 26.
The display unit 31 displays the image signal or video signal input from the control unit 26. As the display unit 31, for example, a liquid crystal display is provided.
The light output unit 32 emits light based on the light output signal input from the control unit 26. For example, a light emitting diode is provided as the light output unit 32.

音声出力部33は、制御部26から入力された音を出力させるために音声信号に基づいて、音を出力する。音声出力部33としては、例えば、スピーカが設けられている。
振動部34は、制御部26から入力された筐体を振動させるための振動信号に基づいて、自装置の筐体を振動させる。振動部34としては、例えば、リニアバイブレータが設けられている。
The audio output unit 33 outputs a sound based on the audio signal in order to output the sound input from the control unit 26. As the audio output unit 33, for example, a speaker is provided.
The vibration unit 34 vibrates the housing of the own device based on the vibration signal for vibrating the housing input from the control unit 26. As the vibration part 34, for example, a linear vibrator is provided.

通信部40は、外部との間で有線方式及び無線方式のうち少なくとも一方の方式によって情報の通信が可能となるように構成されている。通信部40は、制御部26から入力された出力方法を示す情報(各出力部にどのリズム情報が振り分けられるかを示す情報)を無線信号に符号化し、符号化した無線信号を他の電子装置に出力する。   The communication unit 40 is configured to be able to communicate information with the outside by at least one of a wired method and a wireless method. The communication unit 40 encodes information indicating the output method input from the control unit 26 (information indicating which rhythm information is distributed to each output unit) into a radio signal, and the encoded radio signal is transmitted to another electronic device. Output to.

当該無線信号を受信した他の電子装置は、無線信号を復号し、復号された出力方法を示す情報(各出力部にどのリズム情報が振り分けられるかを示す情報)に基づいて、自装置が備える出力部から映像または光または音を出力し、または自装置を振動させる。ここで他の電子装置は、少なくとも複数の出力部を備えていればよい。   The other electronic device that has received the wireless signal includes the device that decodes the wireless signal and that indicates the decoded output method (information indicating which rhythm information is distributed to each output unit). Video, light, or sound is output from the output unit, or the device itself is vibrated. Here, the other electronic device may include at least a plurality of output units.

これにより、他の電子装置を操作する操作者は、他の電子装置から出力される光、音もしくは振動を認識することにより、本実施形態の電子装置1の操作者を特定することができる。すなわち、本実施形態の電子装置1は、自装置から離れた位置にある他の電子装置(例えば、携帯端末)を操作する操作者に、本実施形態における電子装置1の操作者を、光、音もしくは振動で知らせることができる。   Thereby, the operator who operates another electronic device can identify the operator of the electronic device 1 of this embodiment by recognizing the light, sound, or vibration output from the other electronic device. That is, the electronic device 1 according to the present embodiment gives an operator who operates another electronic device (for example, a portable terminal) located at a position away from the own device to the operator of the electronic device 1 according to the present embodiment. Can be notified by sound or vibration.

図6は、本発明の実施形態における電子装置1の処理の流れを示したフローチャートである。まず、検出部ユニット10の各検出部は、検出対象の特徴を示す複数の信号を検出する(ステップS101)。次に、抽出部21は、それぞれ検出された信号からリズム情報を抽出する(ステップS102)。次に、対象特定部23は、各リズム情報の組み合わせに対応する対象情報を記憶部22から読み出すことにより、検出対象を特定する(ステップS103)。   FIG. 6 is a flowchart showing a processing flow of the electronic apparatus 1 in the embodiment of the present invention. First, each detection unit of the detection unit 10 detects a plurality of signals indicating the characteristics of the detection target (step S101). Next, the extraction unit 21 extracts rhythm information from each detected signal (step S102). Next, the target specifying unit 23 reads the target information corresponding to the combination of each rhythm information from the storage unit 22 to specify the detection target (step S103).

次に、出力方法決定部25は、出力ユニット30が有する出力部のうち、どの出力部にどのリズム情報を振り分けるか決定する(ステップS104)。次に、制御部26は、決定された出力方法に基づいて各リズム情報に基づく信号を出力ユニット30が有する各出力部に出力する(ステップS105)。次に、出力ユニット30が有する各出力部は、リズム情報に基づく信号に基づいて、画像または映像の表示、光または音の出力、あるいは自装置の筐体の振動を行う(ステップS106)。以上で、本フローチャートの処理を終了する。   Next, the output method determination unit 25 determines which rhythm information is allocated to which output unit among the output units of the output unit 30 (step S104). Next, the control part 26 outputs the signal based on each rhythm information to each output part which the output unit 30 has based on the determined output method (step S105). Next, each output unit included in the output unit 30 displays an image or video, outputs light or sound, or vibrates the casing of the device itself based on a signal based on rhythm information (step S106). Above, the process of this flowchart is complete | finished.

以上、電子装置1は、検出ユニット10が備える複数の検出部により、検出の対象となる人または物の特徴を示す信号を複数種類検出する。そして、電子装置1は、検出された複数種類の信号のそれぞれについてリズムを検出し、そのリズム情報の組み合わせに基づいて対象を特定する。電子装置1は、特定された対象に応じて、検出された複数のリズム情報を複数の出力部にどのように振り分けるか決定し、その振り分け方に応じて、検出されたそれぞれのリズム情報に基づく信号を各出力部に出力する。各出力部は、入力されたリズム情報に基づく信号に基づいて、画像または映像、光、音もしくは振動を用いて外部に報知する。   As described above, the electronic apparatus 1 detects a plurality of types of signals indicating characteristics of a person or an object to be detected by the plurality of detection units provided in the detection unit 10. And the electronic device 1 detects a rhythm about each of the detected multiple types of signal, and specifies an object based on the combination of the rhythm information. The electronic device 1 determines how to distribute the detected plurality of rhythm information to the plurality of output units according to the specified target, and based on each detected rhythm information according to the allocation method The signal is output to each output unit. Each output unit notifies the outside using an image or video, light, sound, or vibration based on a signal based on the input rhythm information.

これによれば、電子装置1は、検出の対象となる人または物の特徴に応じたパターンで画像または映像を表示させたり、光を点滅させたり、音を出力したり、自装置を振動させたりすることができる。また、電子装置1は、検出の対象となる人または物の特徴に応じた出力部の組み合わせで、画像または映像の表示と、光の点滅と、音の出力と、自装置の筐体の振動とを同時に行うことができる。
これにより、電子装置1が発する画像または映像と光と音と振動の出力パターンとそれらの出力の組み合わせ方を人間が認識することにより、人間は電子装置1が検出の対象とした人または物を推定することができる。
According to this, the electronic device 1 displays an image or video in a pattern according to the characteristics of the person or object to be detected, blinks light, outputs a sound, or vibrates its own device. Can be. In addition, the electronic device 1 is a combination of output units corresponding to the characteristics of the person or object to be detected, and displays an image or video, flashes light, outputs sound, and vibrates the housing of the device itself. Can be performed simultaneously.
As a result, when the human recognizes the image or video emitted by the electronic device 1, the output pattern of light, sound, and vibration and the combination of those outputs, the human can identify the person or object that the electronic device 1 has detected. Can be estimated.

また、電子装置1が検出の対象を自装置の操作者とした場合、電子装置1は、操作者によって、画像または映像と光と音と振動とをどのように組み合わせて出力するかを示す組み合わせの情報を変更する。これにより、人間は電子装置1の操作者を視認しなくても、電子装置1が発する画像または映像と光と音と振動のパターンとそれらの組み合わせを認識することにより、電子装置1の操作者を区別して認識することができる。   In addition, when the electronic device 1 is the operator of the device, the electronic device 1 is a combination that indicates how the operator outputs an image or video, light, sound, and vibration in combination. Change the information. Thus, even if the human does not visually recognize the operator of the electronic device 1, the operator of the electronic device 1 can recognize the image or video emitted by the electronic device 1, the light, sound, vibration pattern, and the combination thereof. Can be distinguished and recognized.

なお、本実施形態の電子装置1は、7つの検出部と4つの出力部とを備えたが、これに限らず、複数の検出部と複数の出力部とを備えていれば、それぞれの数はいくつでもよい。
また、本実施形態の電子装置1は、異なる7つの検出部を備えるが、これに限らず同じ種類の検出部を複数備えていてもよい。
また、本実施形態の電子装置1は、異なる4つの出力部を備えるが、これに限らず同じ種類の出力部を複数備えていてもよい。
In addition, although the electronic device 1 of this embodiment was provided with seven detection parts and four output parts, if it is not limited to this and has a plurality of detection parts and a plurality of output parts, each number Can be any number.
Moreover, although the electronic device 1 of this embodiment is provided with seven different detection parts, it is not restricted to this, You may provide multiple detection parts of the same kind.
Moreover, although the electronic apparatus 1 of this embodiment is provided with four different output parts, it is not restricted to this, You may provide multiple output parts of the same kind.

また、本実施形態の電子装置1の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、電子装置1に係る上述した種々の処理を行ってもよい。   Further, by recording a program for executing each process of the electronic device 1 of the present embodiment on a computer-readable recording medium, causing the computer system to read and execute the program recorded on the recording medium, You may perform the various process which concerns on the electronic device 1 mentioned above.

なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。   Here, the “computer system” may include an OS and hardware such as peripheral devices. Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used. The “computer-readable recording medium” means a flexible disk, a magneto-optical disk, a ROM, a writable nonvolatile memory such as a flash memory, a portable medium such as a CD-ROM, a hard disk built in a computer system, etc. This is a storage device.

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。     Further, the “computer-readable recording medium” refers to a volatile memory (for example, DRAM (Dynamic) in a computer system serving as a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. Random Access Memory)) that holds a program for a certain period of time is also included. The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。   As mentioned above, although embodiment of this invention was explained in full detail with reference to drawings, the concrete structure is not restricted to this embodiment, The design etc. of the range which does not deviate from the summary of this invention are included.

1…電子装置 10…検出ユニット 11…撮像部 12…動き検出部 13…姿勢検出部 14…接触検出部 15…脈拍検出部 16…血流検出部 17…湿度検出部 21…抽出部 22…記憶部 23…対象特定部 24…出力部記憶部 25…出力方法決定部 26…制御部 30…出力ユニット 31…表示部 32…光出力部 33…音声出力部 34…振動部 40…通信部 DESCRIPTION OF SYMBOLS 1 ... Electronic device 10 ... Detection unit 11 ... Imaging part 12 ... Motion detection part 13 ... Attitude detection part 14 ... Contact detection part 15 ... Pulse detection part 16 ... Blood flow detection part 17 ... Humidity detection part 21 ... Extraction part 22 ... Memory | storage Unit 23 ... target specifying unit 24 ... output unit storage unit 25 ... output method determination unit 26 ... control unit 30 ... output unit 31 ... display unit 32 ... light output unit 33 ... audio output unit 34 ... vibration unit 40 ... communication unit

Claims (8)

検出の対象から該対象の特徴を示す信号を検出する複数の検出部と、
前記複数の検出部によりそれぞれ検出された信号から、各信号の時間的または空間的な変化のパターンを表すリズム情報をそれぞれ抽出する抽出部と、
前記抽出された各リズム情報の組み合わせに基づき、前記対象を特定する対象特定部と、
前記特定された対象に基づき、前記各リズム情報の出力方法を決定する出力方法決定部と、
を備えることを特徴とする電子装置。
A plurality of detection units for detecting a signal indicating the feature of the target from the target of detection;
Extraction units that respectively extract rhythm information representing a temporal or spatial change pattern of each signal from the signals detected by the plurality of detection units;
A target specifying unit for specifying the target based on a combination of the extracted rhythm information;
An output method determining unit that determines an output method of each rhythm information based on the identified object;
An electronic device comprising:
前記各リズム情報に基づく信号を出力する複数の出力部と、
前記出力方法決定部により決定された出力方法に基づいて、前記各リズム情報に基づく信号を前記複数の出力部の少なくともいずれか1つに振り分ける制御部を備えることを特徴とする請求項1に記載の電子装置。
A plurality of output units for outputting a signal based on each rhythm information;
The control unit according to claim 1, further comprising: a control unit that distributes a signal based on each rhythm information to at least one of the plurality of output units based on the output method determined by the output method determination unit. Electronic devices.
対象を示す対象情報と出力方法を示す情報とが関連付けられて記憶されている出力部記憶部を更に備え、
前記出力方法決定部は、前記特定された対象を示す対象情報に対応する出力方法を示す情報を前記出力部記憶部から読み出すことにより、前記各リズム情報の出力方法を決定することを特徴とする請求項1または請求項2に記載の電子装置。
An output unit storage unit in which object information indicating an object and information indicating an output method are associated and stored;
The output method determination unit is configured to determine an output method of each rhythm information by reading information indicating an output method corresponding to target information indicating the identified target from the output unit storage unit. The electronic device according to claim 1 or 2.
前記各リズム情報の組み合わせと対象を示す対象情報とが関連付けられて記憶されている記憶部を更に備え、
前記対象特定部は、前記抽出された各リズム情報の組み合わせに対応する対象情報を前記記憶部から読み出すことにより、前記対象を特定することを特徴とする請求項1から請求項3のいずれか1項に記載の電子装置。
A storage unit that stores the combination of the rhythm information and target information indicating the target in association with each other;
The said object specific | specification part specifies the said object by reading the target information corresponding to the combination of each said extracted rhythm information from the said memory | storage part, The any one of Claims 1-3 characterized by the above-mentioned. The electronic device according to item.
前記制御部は、前記各リズム情報に基づく信号を、同時に複数の前記出力部から出力するよう制御することを特徴とする請求項2から請求項4のいずれか1項に記載の電子装置。   5. The electronic device according to claim 2, wherein the control unit performs control so that signals based on the rhythm information are simultaneously output from a plurality of the output units. 6. 前記制御部は、複数の前記リズム情報を合成して1つのリズム情報を生成し、生成されたリズム情報に基づく信号を、1つの前記出力部から出力するように制御することを特徴とする請求項2から請求項5のいずれか1項に記載の電子装置。   The said control part synthesize | combines several said rhythm information, produces | generates one rhythm information, It controls so that the signal based on the produced | generated rhythm information may be output from one said output part. The electronic device according to any one of claims 2 to 5. 検出の対象から該対象の特徴を示す信号を検出する複数の検出部を備える電子装置が実行する信号振り分け方法であって、
前記複数の検出部によりそれぞれ検出された信号から、各信号の時間的または空間的な変化のパターンを表すリズム情報をそれぞれ抽出する抽出手順と、
前記抽出された各リズム情報の組み合わせに基づき、前記対象を特定する対象特定手順と、
前記特定された対象に基づき、前記各リズム情報の出力方法を決定する出力方法決定手順と、
を有することを特徴とする信号振り分け方法。
A signal distribution method executed by an electronic device including a plurality of detection units for detecting a signal indicating a feature of the target from a detection target,
An extraction procedure for extracting rhythm information representing a temporal or spatial change pattern of each signal from signals detected by the plurality of detection units, respectively.
A target specifying procedure for specifying the target based on the combination of the extracted rhythm information;
An output method determination procedure for determining an output method of each rhythm information based on the identified object;
A signal distribution method characterized by comprising:
検出の対象から該対象の特徴を示す信号を検出する複数の検出部を備える電子装置のコンピュータに、
前記複数の検出部によりそれぞれ検出された信号から、各信号の時間的または空間的な変化のパターンを表すリズム情報をそれぞれ抽出する抽出ステップと、
前記抽出された各リズム情報の組み合わせに基づき、前記対象を特定する対象特定ステップと、
前記特定された対象に基づき、前記各リズム情報の出力方法を決定する出力方法決定ステップと、
を実行させるためのプログラム。
In a computer of an electronic device provided with a plurality of detection units for detecting a signal indicating characteristics of the target from the target of detection
An extraction step for extracting rhythm information representing a temporal or spatial change pattern of each signal from the signals respectively detected by the plurality of detection units;
A target specifying step for specifying the target based on a combination of the extracted rhythm information;
An output method determining step for determining an output method of each rhythm information based on the identified object;
A program for running
JP2011104473A 2011-05-09 2011-05-09 Electronic device, signal distribution method and program Active JP5747645B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011104473A JP5747645B2 (en) 2011-05-09 2011-05-09 Electronic device, signal distribution method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011104473A JP5747645B2 (en) 2011-05-09 2011-05-09 Electronic device, signal distribution method and program

Publications (2)

Publication Number Publication Date
JP2012235425A true JP2012235425A (en) 2012-11-29
JP5747645B2 JP5747645B2 (en) 2015-07-15

Family

ID=47435286

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011104473A Active JP5747645B2 (en) 2011-05-09 2011-05-09 Electronic device, signal distribution method and program

Country Status (1)

Country Link
JP (1) JP5747645B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003235813A (en) * 2002-12-19 2003-08-26 Matsushita Electric Ind Co Ltd Monitoring device
JP2003334252A (en) * 2002-05-21 2003-11-25 Computer Science Academy Kk Healing computer
JP2005095570A (en) * 2003-08-19 2005-04-14 Sony Corp Image display system, image display device, image display method
JP2006106711A (en) * 2004-09-10 2006-04-20 Matsushita Electric Ind Co Ltd Information processing terminal
US20090099474A1 (en) * 2007-10-01 2009-04-16 Pineda Jaime A System and method for combined bioelectric sensing and biosensory feedback based adaptive therapy for medical disorders

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003334252A (en) * 2002-05-21 2003-11-25 Computer Science Academy Kk Healing computer
JP2003235813A (en) * 2002-12-19 2003-08-26 Matsushita Electric Ind Co Ltd Monitoring device
JP2005095570A (en) * 2003-08-19 2005-04-14 Sony Corp Image display system, image display device, image display method
JP2006106711A (en) * 2004-09-10 2006-04-20 Matsushita Electric Ind Co Ltd Information processing terminal
US20090099474A1 (en) * 2007-10-01 2009-04-16 Pineda Jaime A System and method for combined bioelectric sensing and biosensory feedback based adaptive therapy for medical disorders

Also Published As

Publication number Publication date
JP5747645B2 (en) 2015-07-15

Similar Documents

Publication Publication Date Title
US10755695B2 (en) Methods in electronic devices with voice-synthesis and acoustic watermark capabilities
US10671846B1 (en) Object recognition techniques
CN107710012B (en) Method, apparatus and system on chip for radar-enabled sensor fusion
US9836929B2 (en) Mobile devices and methods employing haptics
KR102162373B1 (en) Associating an object with a subject
US8804460B1 (en) Ultrasonic location determination
TW201633226A (en) Social reminders
KR102355193B1 (en) System, terminal device, method and recording medium
KR20160113666A (en) Audio navigation assistance
US9536161B1 (en) Visual and audio recognition for scene change events
CN106961655A (en) It is used to detect the apparatus and method for forging notice device in a wireless communication system
CN112511850B (en) Wheat connecting method, live broadcast display device, equipment and storage medium
US10238964B2 (en) Information processing apparatus, information processing system, and information processing method
CN110136228B (en) Face replacement method, device, terminal and storage medium for virtual character
US8861310B1 (en) Surface-based sonic location determination
US20180178064A1 (en) Method for providing exercise information and wearable device therefor
KR102424296B1 (en) Method, storage medium and electronic device for providing a plurality of images
JP2012053748A (en) Electronic apparatus and data transmission method
CN112245912A (en) Sound prompting method, device, equipment and storage medium in virtual scene
KR20170085522A (en) Method for processing sound based on image information, and device therefor
CN108491748A (en) The identification and generation method of graphic code, device and computer readable storage medium
JP4964833B2 (en) Information presentation control apparatus and information presentation control method
JP5747645B2 (en) Electronic device, signal distribution method and program
KR102083466B1 (en) Apparatus for recommending music, method thereof and computer recordable medium storing program to perform the method
WO2015182059A1 (en) Information processing system, control method, and program storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140508

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150302

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150414

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150427

R150 Certificate of patent or registration of utility model

Ref document number: 5747645

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250