JP2010019787A - Apparatus and method of determining contact - Google Patents

Apparatus and method of determining contact Download PDF

Info

Publication number
JP2010019787A
JP2010019787A JP2008182632A JP2008182632A JP2010019787A JP 2010019787 A JP2010019787 A JP 2010019787A JP 2008182632 A JP2008182632 A JP 2008182632A JP 2008182632 A JP2008182632 A JP 2008182632A JP 2010019787 A JP2010019787 A JP 2010019787A
Authority
JP
Japan
Prior art keywords
vibration
unit
contact state
generating
wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008182632A
Other languages
Japanese (ja)
Inventor
Yutaka Yanagisawa
豊 柳沢
Takeshi Okatome
剛 岡留
Takuya Maekawa
卓也 前川
Yasue Kishino
泰恵 岸野
Koji Kamei
剛次 亀井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2008182632A priority Critical patent/JP2010019787A/en
Publication of JP2010019787A publication Critical patent/JP2010019787A/en
Pending legal-status Critical Current

Links

Abstract

<P>PROBLEM TO BE SOLVED: To correctly detect contact between targets in such an environment including another object hiding the target. <P>SOLUTION: A vibration generating part 101 is mounted on an object A111, and a detecting part 105 is mounted on an object B112. The vibration generating part 101 sends a notice of generating vibration together with identification information and issues an instruction to start operation to a vibration making part 102 after a predetermined time period. The vibration making part 102 generates vibration waves for a predetermined time period by the instruction to start operation from a control part 103. An analysis part 107, upon receiving the notice from the vibration generating part 101, is ready to detect the vibration waves and activates a vibration detection part 108 to detect (measure) the vibration waves. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、家具や柱などの物体が、互いに接している状態を検出する接触状態判定装置および方法に関するものである。   The present invention relates to a contact state determination apparatus and method for detecting a state in which objects such as furniture and pillars are in contact with each other.

例えば、室内に配置されている家具,食器,器具,道具,および装置などの物体、また、床,壁,天井,および柱などの建築物の一部を構成する物体について、互いに接触している状態にある物体の組の情報を取得する技術がある(非特許文献1,2,3,4参照)。   For example, objects such as furniture, tableware, utensils, tools, and equipment placed in a room, and objects that form part of a building such as floors, walls, ceilings, and pillars are in contact with each other. There is a technique for acquiring information on a set of objects in a state (see Non-Patent Documents 1, 2, 3, and 4).

非特許文献1の技術では、物体の形状情報と画像処理技術を用いており、まず、対象となる物体が配置されている状態を撮影装置により撮影し、予め得られている当該物体の3次元形状情報と撮影した画像情報とのパターンマッチングを行うことで、各物体の配されている位置と向きの情報を取得する。このようにして情報と取得した後、形状情報を用いて物理的に接触している物体の組を判断する。   The technique of Non-Patent Document 1 uses object shape information and image processing technology. First, a state in which a target object is arranged is photographed by a photographing device, and a three-dimensional image of the object obtained in advance is obtained. By performing pattern matching between the shape information and the captured image information, information on the position and orientation of each object is acquired. After acquiring the information in this way, the set of objects that are in physical contact is determined using the shape information.

非特許文献2の技術では、まず、対象となる物体に赤外線または超音波を発するビーコンを装着し、天井や壁などの周囲に配置した複数のアンテナを用い、ビーコンから発せられた赤外線または超音波の信号を受信する。ここで、同じビーコンから発せられた信号を複数のアンテナで受信すると、ビーコンから各アンテナまでの距離の違いにより、各アンテナにおける信号の受信時刻にずれが生じる。この時刻のずれからビーコンの位置を検出することで物体の位置を推定する。   In the technique of Non-Patent Document 2, first, a beacon that emits infrared rays or ultrasonic waves is attached to a target object, and infrared rays or ultrasonic waves emitted from the beacons are used by using a plurality of antennas arranged around the ceiling or wall. The signal is received. Here, when a signal emitted from the same beacon is received by a plurality of antennas, a difference occurs in the reception time of the signal at each antenna due to a difference in distance from the beacon to each antenna. The position of the object is estimated by detecting the position of the beacon from this time difference.

非特許文献3の技術では、対象となる物体に電界強度を測定する装置を装着し、室内の天井または壁面に配置されたアンテナから電波を発信させ、物体に取り付けた電界強度を測定する装置で各アンテナからの電波の電界強度を測定する。電界強度はアンテナからの距離と比例関係にあり、この関係を利用して物体の位置を測定する。ここの物体全てに電波を発する装置を装着し、相互に電波を発生させることで、各物体間の距離を測定する技術もある。これらの技術は、超広帯域無線(UWB:Ultra Wide Band)技術の機能の1つとして実現されている。   In the technique of Non-Patent Document 3, a device for measuring electric field strength is attached to an object, and a device for measuring electric field strength attached to the object by transmitting a radio wave from an antenna arranged on the indoor ceiling or wall surface. Measure the electric field strength of radio waves from each antenna. The electric field strength is proportional to the distance from the antenna, and the position of the object is measured using this relationship. There is also a technique for measuring the distance between objects by attaching a device that emits radio waves to all the objects here and generating radio waves mutually. These technologies are realized as one of the functions of the Ultra Wide Band (UWB) technology.

非特許文献4の技術では、物体にバーコードあるいは2次元バーコード状のマーカーを印刷しておき、このマーカーを室内の天井や壁面に配置した撮影装置で撮影し、マーカーに含まれる情報を取得することで、各物体の位置を推定する。   In the technique of Non-Patent Document 4, a barcode or a two-dimensional barcode marker is printed on an object, and the marker is photographed with a photographing device arranged on the ceiling or wall surface of the room to obtain information contained in the marker. Thus, the position of each object is estimated.

J. Ho, et al. ,"Virtual Tracking using Learned Linear Subspaces", In Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR2004), Vol.1, pp.782-789, 2004.J. Ho, et al., "Virtual Tracking using Learned Linear Subspaces", In Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR2004), Vol.1, pp.782-789, 2004. N. B. Priyantha, et al., "The Cricket Location Support System", In Proceeding of 6th ACM MOBICOM, pp.32-43, 2000.N. B. Priyantha, et al., "The Cricket Location Support System", In Proceeding of 6th ACM MOBICOM, pp.32-43, 2000. 阪田 史郎 編著、「ユビキタス技術センサネットワーク」、オーム社、2006年。Edited by Shiro Sakata, “Ubiquitous Technology Sensor Network”, Ohmsha, 2006. 加藤 博一、「拡張現実感システム構築ツールARToolKitの開発」、電子情報通信学会技術研究報告、PRMU、パターン認識・メディア理解、Vol.101, No.652 (20020214), pp.79-86,2002.Hirokazu Kato, "Development of augmented reality system construction tool ARToolKit", IEICE Technical Report, PRMU, Pattern Recognition / Media Understanding, Vol.101, No.652 (20020214), pp.79-86,2002 .

上述した各技術では、物体の映像または物体に装着された信号発生部からの信号を、外部の検出装置で撮影あるいは検出することにより、物体の位置を推定している。このため、観測(検出)対象の物体と検出装置との間に、他の物体が存在する場合、検出対象の光や伝播が遮断されることになり、検出精度が著しく低下するという問題がある。これは、オクルージョン問題と呼ばれている。   In each technique described above, the position of an object is estimated by photographing or detecting an image of the object or a signal from a signal generation unit attached to the object with an external detection device. For this reason, if there is another object between the object to be observed (detected) and the detection device, the light or propagation of the object to be detected is blocked, and there is a problem that the detection accuracy is significantly reduced. . This is called the occlusion problem.

特に、非特許文献1,2,および4の技術では、光または音を利用しているため、物体の遮蔽の影響を受けやすく、オクルージョン問題が顕著となる。これに対し、非特許文献3の技術では、比較的遮蔽の影響を受けにくい電波を用いているが、遮蔽する物体により電波の強度は低下するため、測位精度の低下が起こり、物体の位置を正確に検出することができなくなる。物体の位置を正確に検出できない場合、物体の間の接触状態を正確に検出することができない。   In particular, in the techniques of Non-Patent Documents 1, 2, and 4, since light or sound is used, it is easily affected by the shielding of an object, and the occlusion problem becomes significant. On the other hand, the technique of Non-Patent Document 3 uses radio waves that are relatively less susceptible to shielding, but the strength of the radio waves is reduced by the object to be shielded, so that the positioning accuracy is lowered and the position of the object is changed. It cannot be detected accurately. When the position of the object cannot be accurately detected, the contact state between the objects cannot be accurately detected.

以上に説明したように、上述した技術では、対象となる物体以外に、この物体を隠すように配置されている他の物体が存在している環境では、対象となる物体間の接触状態を正確に検出することができないという問題があった。   As described above, in the above-described technique, in an environment where there are other objects arranged to hide this object in addition to the target object, the contact state between the target objects is accurately determined. There was a problem that it could not be detected.

本発明は、以上のような問題点を解消するためになされたものであり、対象となる物体を隠すような他の物体が存在している環境においても、対象となる物体間の接触状態を正確に検出できるようにすることを目的とする。   The present invention has been made to solve the above-described problems, and the contact state between the target objects can be determined even in an environment where other objects that hide the target object exist. The purpose is to enable accurate detection.

本発明に係る接触状態判定装置は、第1の物体に装着されて振動波を発生する振動生成手段と、第2の物体に装着されて振動を測定する振動検出手段と、振動を発生させることを示す予告を通知してから振動生成手段を制御して振動波を発生させる制御手段と、予告の通知を受け付けて振動検出手段による振動の測定を開始させ、既定の時間内の振動検出手段による測定結果の中に、既定値以上のパワーの振動波を検出することで、第1の物体と第2の物体との接触を判定する解析手段とを少なくとも備える。   A contact state determination device according to the present invention generates vibration by a vibration generating unit that is attached to a first object and generates a vibration wave, a vibration detection unit that is attached to a second object and measures vibration. A control means for generating a vibration wave by controlling the vibration generating means after notifying the notice indicating that the vibration detection means accepts the notice of the notice and starts measuring the vibration by the vibration detecting means, and by the vibration detecting means within a predetermined time. The measurement result includes at least analysis means for determining contact between the first object and the second object by detecting a vibration wave having a power equal to or greater than a predetermined value.

上記接触状態判定装置において、制御手段は、振動生成手段を識別する識別情報とともに予告を通知し、解析手段は、通知された識別情報に対応して測定結果の中に既定値以上のパワーの振動波を検出する。   In the contact state determination apparatus, the control means notifies the advance notice together with the identification information for identifying the vibration generating means, and the analysis means responds to the notified identification information with a vibration having a power of a predetermined value or more in the measurement result. Detect waves.

本発明に係る接触状態判定方法は、第1の物体に対して振動波を発生する第1ステップと、振動波の発生の既定時間前に第2の物体の振動測定を開始する第2ステップと、既定の時間内の振動測定による結果の中に、既定値以上のパワーの振動波を検出することで、第1の物体と第2の物体との接触を判定する第3ステップとを少なくとも備える。   The contact state determination method according to the present invention includes a first step of generating a vibration wave for the first object, and a second step of starting vibration measurement of the second object before a predetermined time of generation of the vibration wave. And at least a third step of determining contact between the first object and the second object by detecting a vibration wave having a power equal to or greater than a predetermined value in a result of vibration measurement within a predetermined time. .

上記接触状態判定方法において、振動を発生させる振動生成手段を識別する識別情報とともに予告を通知し、解析手段は、通知された識別情報に対応して測定結果の中に既定値以上のパワーの振動波を検出する。   In the contact state determination method, a notice is notified together with identification information for identifying vibration generating means for generating vibration, and the analysis means is a vibration having a power equal to or higher than a predetermined value in the measurement result corresponding to the notified identification information. Detect waves.

以上説明したように、本発明によれば、第1の物体に対して振動波を発生し、この振動波の発生の既定時間前に第2の物体の振動測定を開始し、既定の時間内の振動測定による結果の中に、既定値以上のパワーの振動波を検出することで、接触状態を判定するようにしたので、対象となる物体間の接触状態を正確に検出できるようになるという優れた効果が得られる。   As described above, according to the present invention, a vibration wave is generated with respect to the first object, and the vibration measurement of the second object is started before the predetermined time of the generation of the vibration wave. Because the contact state is determined by detecting the vibration wave with power more than the predetermined value in the result of vibration measurement, it is possible to accurately detect the contact state between the target objects Excellent effect is obtained.

以下、本発明の実施の形態について図を参照して説明する。図1は、本発明の実施の形態における接触状態判定装置の構成を示す構成図である。この装置は、振動発生部101と、検出部105とを備える。振動発生部101は、振動生成部102,制御部103,および通信部104を備える。また、検出部105は、通信部106,解析部107,および振動検出部108を備える。例えば、振動発生部101は、物体A(第1の物体)111に装着され、検出部105は、物体B(第2の物体)112に装着される。物体A111および物体B112は、接触状態の検出対象である。なお、物体A111の寸法が大きい場合、および物体A111が振動波を伝播しにくい場合、物体A111に対して複数の振動発生部101を装着すればよい。また同様に、物体B112に対しても、複数の検出部105を装着してもよい。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a configuration diagram showing a configuration of a contact state determination device according to an embodiment of the present invention. This apparatus includes a vibration generation unit 101 and a detection unit 105. The vibration generation unit 101 includes a vibration generation unit 102, a control unit 103, and a communication unit 104. The detection unit 105 includes a communication unit 106, an analysis unit 107, and a vibration detection unit 108. For example, the vibration generation unit 101 is attached to the object A (first object) 111, and the detection unit 105 is attached to the object B (second object) 112. The object A111 and the object B112 are contact state detection targets. Note that when the size of the object A111 is large, and when the object A111 is difficult to propagate vibration waves, a plurality of vibration generating units 101 may be attached to the object A111. Similarly, a plurality of detection units 105 may be attached to the object B112.

振動発生部101において、振動生成部102は、例えば、偏心したおもりを回転させる振動モータを備え、偏心したおもりを回転させることで振動波を発生させる。また、制御部103は、予め設定されている時刻または時間毎に、振動生成部102を動作させて振動波を発生させる。なお、音響スピーカと同様の方法で、磁石とコイルを組み合わせた装置に交流電流を流すことで物体表面に振動を発生させてもよく、物体の表面を小型のハンマーで打面するような装置によって物体に振動を発生させてもよい。また、振動発生部101は、振動生成部102に対する動作の指示に加え、自装置を識別する識別情報とともに振動波を発生させる時宜(タイミング)の情報を生成し、これを通信部104に送出させる。   In the vibration generating unit 101, the vibration generating unit 102 includes, for example, a vibration motor that rotates an eccentric weight, and generates a vibration wave by rotating the eccentric weight. In addition, the control unit 103 operates the vibration generation unit 102 to generate a vibration wave at every preset time or time. In the same way as an acoustic speaker, vibration may be generated on the surface of an object by passing an alternating current through a device that combines a magnet and a coil, and a device that strikes the surface of the object with a small hammer. Vibration may be generated in the object. In addition to the operation instruction to the vibration generation unit 102, the vibration generation unit 101 generates timely (timing) information for generating a vibration wave together with identification information for identifying the device itself, and sends the information to the communication unit 104. .

例えば、振動発生部101は、識別情報とともに振動を発生させる旨の予告を送出し、この後の所定時間後に、振動生成部102に対して動作開始の指示を出す。また、振動生成部102は、制御部103からの動作開始の指示により、予め設定されている時間、振動波を発生(生成)する。また、複数の検出部105を用いている場合、振動発生部101は、上記通知を複数の検出部105に対して行う。この通知は、ブロードキャスト通信により、振動発生部101の既定の範囲内の周辺全ての検出部105に対して行うようにしてもよく、また、図示しない外部通信制御部を介し、この外部通信制御部に通知対象として設定されている検出部105に対して通知するようにしてもよい。   For example, the vibration generating unit 101 sends a notice of generating vibration along with the identification information, and issues an operation start instruction to the vibration generating unit 102 after a predetermined time. In addition, the vibration generation unit 102 generates (generates) a vibration wave for a preset time in response to an operation start instruction from the control unit 103. Further, when a plurality of detection units 105 are used, the vibration generation unit 101 performs the above notification to the plurality of detection units 105. This notification may be sent to all the detection units 105 in the vicinity of the predetermined range of the vibration generating unit 101 by broadcast communication, and this external communication control unit is not shown via an external communication control unit (not shown). May be notified to the detection unit 105 set as a notification target.

また、振動発生部101が、外部通信制御部から通知対象の検出部105の情報を取得し、取得した情報をもとに、対象となる検出部105に通知を行うようにしてもよい。いずれの場合においても、振動生成部102が振動を生成する前に通知を完了させる。また、上記外部通信制御部からの指示を通信部104で受け付けると、制御部103の制御により振動生成部102を動作させて振動を生成するようにしてもよい。この場合、例えば、外部通信制御部が、検出部105に振動発生の通知をした後、振動発生部101に振動生成の指示を行う。なお、複数の振動発生部101を用いる場合、振動発生の通知および振動の発生は、各振動発生部101で、異なるタイミングで行う。同じタイミングで振動発生を行うと、後述する振動検出が殿振動発生部からの振動かを区別することができなくなり、接触の判定が正確に行えなくなる。   Further, the vibration generation unit 101 may acquire information on the detection unit 105 to be notified from the external communication control unit, and notify the target detection unit 105 based on the acquired information. In any case, the vibration generation unit 102 completes the notification before generating the vibration. When the communication unit 104 receives an instruction from the external communication control unit, the vibration generation unit 102 may be operated under the control of the control unit 103 to generate vibration. In this case, for example, after the external communication control unit notifies the detection unit 105 of vibration generation, the external communication control unit instructs the vibration generation unit 101 to generate vibration. When a plurality of vibration generation units 101 are used, vibration generation notification and vibration generation are performed at different timings in each vibration generation unit 101. If vibration is generated at the same timing, it will not be possible to distinguish whether the vibration detection described later is from the vibration generation section, and contact determination cannot be performed accurately.

検出部105において、振動検出部108は、例えば、MEMS(micro electro mechanical systems)技術で作製された微小なばねに取り付けたおもりの変位を検出することで、加速度を測定(推定)する加速度センサーを備える。例えば、振動検出部108は、よく知られた3軸の加速度を検出する加速度センサーを備える。また、音響信号を捕らえるマイクを物体表面に設置して振動を検出してもよく、また、光ファイバを用いた歪みセンサにより振動を検出することも可能である。また、上述した加速度センサなど、いわゆるジャイロセンサとなる技術により、振動を検出することも可能である。   In the detection unit 105, the vibration detection unit 108 is an acceleration sensor that measures (estimates) acceleration by detecting the displacement of a weight attached to a minute spring manufactured by, for example, MEMS (micro electro mechanical systems) technology. Prepare. For example, the vibration detection unit 108 includes an acceleration sensor that detects well-known triaxial acceleration. Further, a microphone that captures an acoustic signal may be installed on the surface of the object to detect vibration, and vibration may be detected by a strain sensor using an optical fiber. In addition, vibration can be detected by a technique that becomes a so-called gyro sensor such as the acceleration sensor described above.

また、解析部107は、振動発生部101からの通知を受け付けると、振動波を検出する状態となり、振動検出部108を動作させて振動波の検出(測定)を行う。解析部107は、振動波を検出する状態に移行した後、既定の時間振動波が検出されない場合、この検出状態を終了する。   Further, when the analysis unit 107 receives a notification from the vibration generation unit 101, the analysis unit 107 enters a state of detecting a vibration wave, and operates the vibration detection unit 108 to detect (measure) the vibration wave. The analysis unit 107 ends the detection state when the vibration wave is not detected for a predetermined time after the vibration wave is detected.

解析部107は、図2に示すように、振動パワー測定機能部171,ノイズ除去機能部172,振動区間検出機能部173,および判定機能部174を備える。   As shown in FIG. 2, the analysis unit 107 includes a vibration power measurement function unit 171, a noise removal function unit 172, a vibration section detection function unit 173, and a determination function unit 174.

振動パワー測定機能部171は、振動検出部108で測定された加速度の絶対値より振動パワーp(t)を計算する。例えば、振動検出部108が3軸の加速度を測定する加速度センサーの場合、測定される各加速度<ax(t),ay(t),az(t)>の時刻tにおける振動パワーp(t)を、以下の(1)式により計算する。 The vibration power measurement function unit 171 calculates the vibration power p (t) from the absolute value of the acceleration measured by the vibration detection unit 108. For example, when the vibration detector 108 is an acceleration sensor that measures triaxial acceleration, the vibration power p at time t of each measured acceleration <a x (t), a y (t), a z (t)>. (T) is calculated by the following equation (1).

また、3軸以外のn個の軸を持つセンサ(加速度センサに限らず)を用いる場合は、各々の軸の振動を示すデータをa1(t),a2(t),・・・an(t)とすると、振動パワーp(t)は、以下の(2)式により計算する。 In addition, when a sensor having n axes other than the three axes (not limited to the acceleration sensor) is used, data indicating vibration of each axis is represented by a 1 (t), a 2 (t),. Assuming n (t), the vibration power p (t) is calculated by the following equation (2).

ノイズ除去機能部172は、振動パワー測定機能部171で測定された振動波の中より、振動発生部101より発生された振動より高周波の振動成分をノイズとして除去し、振動発生部101より発生された振動波に対応する低周波の成分を取り出す。例えば、移動平均フィルタを用いる方法,カルマンフィルタを用いる方法,および高周波フィルタを用いる方法などがある。例えば、移動平均フィルタを用いる場合、以下の(3)式により、時刻tのノイズ除去済みの振動パワーp’(t)を計算する。   The noise removal function unit 172 removes a vibration component having a frequency higher than the vibration generated by the vibration generation unit 101 from the vibration waves measured by the vibration power measurement function unit 171, and is generated by the vibration generation unit 101. The low frequency component corresponding to the vibration wave is extracted. For example, there are a method using a moving average filter, a method using a Kalman filter, and a method using a high frequency filter. For example, when a moving average filter is used, the vibration power p ′ (t) from which noise has been removed at time t is calculated by the following equation (3).

振動区間検出機能部173は、振動波が発生している時間(発生開始時刻t0から終了時刻t’0までの区間)T0=[t0,t’0]を、p’(t)を用いて調べる。例えば、時刻t0から時刻t’0までの各振動パワーp’(t)が予め設定されているθ(既定値)を超えている時刻t0から時刻t’0までのT0=[t0,t’0]を、振動波が発生している区間として取り出す。ここで、振動区間検出機能部173は、複数の振動区間、例えば、区間T1および区間T2が検出され、これらの区間の間の時間が、予め設定されている時間λよりも小さい場合、区間T1および区間T2を合わせて1つの区間T1とする。 The vibration section detection function unit 173 sets a time (period from the generation start time t 0 to the end time t ′ 0 ) T 0 = [t 0 , t ′ 0 ] where p ′ (t) Investigate using. For example, 'each oscillation power p to 0' from the time t 0 the time t (t) is T 0 = [t from the time t 0 has exceeded a theta (default) are set in advance to the time t '0 0 , t ′ 0 ] is extracted as a section in which a vibration wave is generated. Here, the vibration section detection function unit 173 detects a plurality of vibration sections, for example, the section T 1 and the section T 2, and when the time between these sections is smaller than a preset time λ, The section T 1 and the section T 2 are combined into one section T 1 .

判定機能部174は、振動区間検出機能部173が求めた区間T=[t,t’]における平均の振動パワーp(T)を、以下の(4)式により求め、上記θを基準にした振動パワーp(T)の大小により、物体A111と物体B112との接触状態を判断(判定)する。例えば、振動パワーp(T)がθを超えていれば、物体A111と物体B112とが接触しているものと判断する。   The determination function unit 174 obtains the average vibration power p (T) in the section T = [t, t ′] obtained by the vibration section detection function unit 173 using the following equation (4), and uses the above θ as a reference. The contact state between the object A111 and the object B112 is determined (determined) based on the magnitude of the vibration power p (T). For example, if the vibration power p (T) exceeds θ, it is determined that the object A111 and the object B112 are in contact with each other.

ここで、複数の振動発生部101および複数の検出部105を用いて、2つの物体の接触状態を検出する場合、ある振動発生部からの振動の検出結果では、「接触」と判定され、他の振動発生部からの振動の検出結果では「非接触」と判定される場合も起こりうる。例えば、物体Aの上に物体Bが重ねられ、物体Aおよび物体Bの両方に、振動発生部101および検出部105が装着されている場合を考える。この場合、物体Bに装着された検出部が、物体Aに装着された振動発生部から発生された振動の検出を行い、物体Aに装着された検出部が、物体Bに装着された振動発生部から発生された振動の検出を行うことになる。   Here, when the contact state of two objects is detected using the plurality of vibration generation units 101 and the plurality of detection units 105, the detection result of vibration from a certain vibration generation unit is determined as “contact”, and the other The vibration detection result from the vibration generation part may be determined as “non-contact”. For example, consider a case where an object B is superimposed on an object A, and the vibration generating unit 101 and the detecting unit 105 are attached to both the object A and the object B. In this case, the detection unit mounted on the object B detects vibration generated from the vibration generation unit mounted on the object A, and the detection unit mounted on the object A generates vibration generated on the object B. The vibration generated from the part is detected.

ここで、振動波は、下方には伝わりにくい特性を有している。このため、両方の振動発生部から同じ出力の振動波が発生されていても、物体Bに装着されている検出部では既定値を超える振動パワーが検出されて「接触」と判定され、物体Aに装着されている検出部では既定値を超える振動パワーが検出されずに「非接触」と判定される場合が発生する。このような場合は、「非接触」の判定よりも「接触」の判定を優先して採用すればよい。「接触」の判定を優先すれば、物体Bに装着されている検出部の判定を採用することになり、物体Aと物体Bとが接触している状態を検出できる。   Here, the vibration wave has a characteristic that it is difficult to propagate downward. For this reason, even if vibration waves having the same output are generated from both vibration generation units, the detection unit mounted on the object B detects vibration power exceeding a predetermined value and determines “contact”. In some cases, the detection unit attached to the device does not detect vibration power exceeding a predetermined value and determines “non-contact”. In such a case, the determination of “contact” may be adopted with priority over the determination of “non-contact”. If priority is given to the determination of “contact”, the determination of the detection unit attached to the object B is adopted, and the state where the object A and the object B are in contact can be detected.

なお、上述したように複数の振動発生部を用いる場合、前述したように、各振動発生部からの振動発生の通知および振動の発生は、異なるタイミングで行う。また、解析部107では、各振動発生部から通知された識別情報に対応して測定結果の中に既定値以上の振動パワーの振動波を検出する。このようにすることで、複数の振動発生部から発生される振動波を、各々区別して測定(検出)して判定することができる。   In addition, when using a some vibration generation part as mentioned above, the notification of the vibration generation from each vibration generation part and generation | occurrence | production of a vibration are performed at a different timing as mentioned above. The analysis unit 107 detects a vibration wave having a vibration power equal to or higher than a predetermined value in the measurement result corresponding to the identification information notified from each vibration generation unit. By doing in this way, the vibration wave generated from a plurality of vibration generating parts can be distinguished and measured (detected) and determined.

また、解析部107は、上述したようにして判定した結果を、通信部106により送出する。ここで、通信部106が送出した判定結果は、前述した外部通信制御部を介し、他の装置に通知してもよい。また、振動パワーは、他の方法(計算)により求めてもよい。   In addition, the analysis unit 107 transmits the result determined as described above by the communication unit 106. Here, the determination result sent by the communication unit 106 may be notified to another device via the external communication control unit described above. Further, the vibration power may be obtained by another method (calculation).

次に、本実施の形態における接触状態判定装置の動作例について、図3のフローチャートを用いて説明する。   Next, an operation example of the contact state determination apparatus according to the present embodiment will be described with reference to the flowchart of FIG.

まず、振動発生部101より振動発生予告が送出される。この通知が検出部105(通信部106)で受け付けられると(ステップS301)、解析部107は、振動波を検出する状態に移行し(ステップS302)、振動検出部108を動作させる。一方、振動発生予告を送出した振動発生部101は、予告を送出したと、制御部103の制御により、振動生成部102を動作させ、物体A111に対して振動波を発生させる。   First, a vibration generation notice is sent from the vibration generation unit 101. When this notification is received by the detection unit 105 (communication unit 106) (step S301), the analysis unit 107 shifts to a state of detecting a vibration wave (step S302) and operates the vibration detection unit 108. On the other hand, when the vibration generation unit 101 that has transmitted the vibration generation notice transmits the notice, the vibration generation unit 102 is operated under the control of the control unit 103 to generate a vibration wave for the object A111.

動作の指示を受けた振動検出部108は、振動波の測定を開始する。この後、既定の時間振動波が検出されない場合(ステップS303)、この検出状態を終了し、判定機能部174が、「非接触状態」と判定する(ステップS310)。   Receiving the operation instruction, the vibration detection unit 108 starts measurement of vibration waves. Thereafter, when the predetermined time vibration wave is not detected (step S303), the detection state is terminated, and the determination function unit 174 determines that the state is “non-contact state” (step S310).

一方、振動波を検出する状態に移行した後、既定の時間内に振動検出部108が振動(加速度)を検出すると(ステップS303)、振動パワー測定機能部171は、振動検出部108で測定された加速度の絶対値より振動パワーp(t)を計算する(ステップ304)。次に、ノイズ除去機能部172が、測定された振動波の中より高周波の振動成分をノイズとして除去し、振動発生部101より発生された振動波に対応する低周波の成分を取り出す(ステップS305)。   On the other hand, when the vibration detection unit 108 detects vibration (acceleration) within a predetermined time after shifting to the state of detecting the vibration wave (step S303), the vibration power measurement function unit 171 is measured by the vibration detection unit 108. The vibration power p (t) is calculated from the absolute value of the acceleration (step 304). Next, the noise removal function unit 172 removes a high-frequency vibration component from the measured vibration wave as noise, and extracts a low-frequency component corresponding to the vibration wave generated by the vibration generation unit 101 (step S305). ).

次に、振動区間検出機能部173が、振動波が発生している区間を取り出す(ステップS306)。また、振動区間検出機能部173は、取り出した複数の振動区間の間の時間が、予め設定されている時間λよりも小さい区間は、合わせて1つの区間とする(ステップS307)。   Next, the vibration section detection function unit 173 takes out a section where a vibration wave is generated (step S306). Further, the vibration section detection function unit 173 sets a section where the time between the extracted plurality of vibration sections is smaller than the preset time λ as one section (step S307).

次に、判定機能部174が、振動区間検出機能部173が求めた区間T=[t,t’]における平均の振動パワーp(T)を求める(ステップS308)。次いで、θを基準にした振動パワーp(T)の大小により、物体A111と物体B112との接触状態を判断(判定)する(ステップS309)。この判定で、振動パワーp(T)がθを超えていれば、物体A111と物体B112とが接触しているものと判定する(ステップS311)。一方、動パワーp(T)がθ以下である場合、物体A111と物体B112とは接触していないと判定する(ステップS310)。   Next, the determination function unit 174 calculates an average vibration power p (T) in the section T = [t, t ′] obtained by the vibration section detection function unit 173 (step S308). Next, the contact state between the object A111 and the object B112 is determined (determined) based on the magnitude of the vibration power p (T) with reference to θ (step S309). In this determination, if the vibration power p (T) exceeds θ, it is determined that the object A111 and the object B112 are in contact (step S311). On the other hand, when the dynamic power p (T) is equal to or smaller than θ, it is determined that the object A111 and the object B112 are not in contact (step S310).

以上に説明したように、本発明は、振動を利用して物体に接触状態を判別するようにしたところに特徴がある。物体に装着する振動発生部は、振動を発生させる直前に振動発生の予告を自機の識別情報とともに通知(配信)し、検出部は振動発生予告の通知を受け付けると、通知を受け付けた時点より一定時間内に検出した振動の情報をもとに接触状態を判別する。これにより、検出部が振動を検出したときに、どの深層部からの振動を検出したのかを識別することができ、接触状態にある物体の組を、高い精度で求めることができる。   As described above, the present invention is characterized in that the contact state of an object is determined using vibration. The vibration generating unit attached to the object notifies (distributes) a notice of occurrence of vibration together with its own identification information immediately before generating the vibration, and when the detection unit accepts the notice of the notice of vibration occurrence, The contact state is determined based on the vibration information detected within a predetermined time. Thereby, when the detection unit detects vibration, it is possible to identify from which deep layer the vibration is detected, and it is possible to obtain a set of objects in contact with high accuracy.

次に、上述した実施の形態における接触状態判定装置を用いた接触状態の判定について実験をした結果について示す。まず、対象とする物体の材質として、木,鉄(Steel),アルミニウム,銅,陶器,ガラス,紙(段ボール,本),プラスティック(Acrylic,Urethane ),発泡スチロール(Foam polystyrene),合成繊維,皮革を用いる。   Next, the results of experiments on contact state determination using the contact state determination device in the above-described embodiment will be described. First, wood, iron (Steel), aluminum, copper, earthenware, glass, paper (cardboard, book), plastic (Acrylic, Urethane), polystyrene foam (Foam polystyrene), synthetic fiber, leather Use.

これらの物体において、振動発生部101(振動生成部102)と検出部105とを、各々、10cm,20cm,40cm離れた状態に配置して測定を行う。この測定の結果、図4に示すように、各々振動パワーが測定された。なお、測定される振動パワーが「2.00」に達していない場合、振動が検出されないものとしている。   In these objects, the vibration generation unit 101 (vibration generation unit 102) and the detection unit 105 are placed at a distance of 10 cm, 20 cm, and 40 cm, respectively, and measurement is performed. As a result of this measurement, the vibration power was measured as shown in FIG. If the vibration power to be measured does not reach “2.00”, vibration is not detected.

実験の結果より、振動の伝わり方により、材質を4つのグループに分ける。まず、振動が最も伝わりやすい材質は、グループAとし、このグループは、上記間隔が40cmでも、振動が十分に伝播している。次に、上記間隔が短ければ振動が伝播する材質は、グループBとする。また、上記距離が10cmの場合のみに振動が伝播する材質は、グループCとする。このグループCは、距離による振動伝播の減衰が大きい。最後に、振動がほとんど伝播せず、振動が検出されない材質は、グループDとする。これらより、本実施の形態における接触状態判定は、グループAおよびグループBの物体について特に有効であることがわかる。また、グループCの物体については、複数の振動発生部101および検出部105を用いた方がよいことがわかる。   From the experimental results, the materials are divided into four groups according to how vibrations are transmitted. First, the material most easily transmitted with vibration is the group A, and the vibration is sufficiently propagated in this group even when the distance is 40 cm. Next, if the distance is short, the material through which vibration propagates is group B. Further, the material through which vibration propagates only when the distance is 10 cm is set to group C. This group C has a large attenuation of vibration propagation with distance. Finally, a material that hardly propagates vibration and from which vibration is not detected is group D. From these, it can be seen that the contact state determination in the present embodiment is particularly effective for the objects of group A and group B. Further, it can be seen that it is better to use a plurality of vibration generating units 101 and detecting units 105 for the objects in group C.

次に、各グループより選択した物体と、屋内環境で使用される日用品との組み合わせにおいて、接触状態の検出の実験を行う。この事件では、物体および日用品の各々に、振動発生部101および検出部105を装着する。また、物体に装着した振動発生部101より生成した振動を、日用品に装着した検出部105で検出し、日用品に装着した振動発生部101より生成した振動を、物体に装着した検出部105で検出し、より強い振動パワーの検出された方を、物体と日用品との間の振動伝播パワーとする。この実験で、物体の上に日用品を載置し、物体側の振動発生部101および検出部105と、載置されている日用品との間隔を、10cmおよび20cmとする。   Next, an experiment of detecting a contact state is performed on a combination of an object selected from each group and daily commodities used in an indoor environment. In this case, the vibration generation unit 101 and the detection unit 105 are attached to each of the object and the daily necessities. Further, the vibration generated by the vibration generating unit 101 attached to the object is detected by the detecting unit 105 attached to the daily necessities, and the vibration generated from the vibration generating unit 101 attached to the daily necessities is detected by the detecting unit 105 attached to the objects. Then, the detected vibration power is set as the vibration propagation power between the object and the daily necessities. In this experiment, daily goods are placed on the object, and the distance between the vibration generation unit 101 and the detection unit 105 on the object side and the daily goods placed is 10 cm and 20 cm.

上記距離が10cmの場合、図5の3次元グラフに示すように、88組の中で、棒グラフの高さがない状態で示されている8組が、検出されずに非接触と判断される。このように、これらの物体であれば、約90.0%の精度で、「接触」状態を検出(判定)できる。特に、グループAおよびグループBの物体は、「Steel desk」と「Book」の組以外は、全て接触状態が判定され、極めてよい性能が示されている。   When the distance is 10 cm, as shown in the three-dimensional graph of FIG. 5, among the 88 pairs, 8 pairs shown without the height of the bar graph are determined as non-contact without being detected. . Thus, with these objects, the “contact” state can be detected (determined) with an accuracy of about 90.0%. In particular, the contact state of all the objects of group A and group B other than the pair of “Steel desk” and “Book” is determined, and extremely good performance is shown.

また、上記距離を20cmとした場合は、図6の3次元グラフに示すように、距離が10cmの場合に比較して、精度が低下している。例えば、グループCおよびグループDの物体との組み合わせでは、ほとんど検出されてない。従って、接触状態の判定精度を向上させるためには、振動発生部101と検出部105との距離を短くする、複数の振動発生部101および検出部105を用いるなどで対応することが重要となる。   When the distance is 20 cm, the accuracy is lower than that when the distance is 10 cm, as shown in the three-dimensional graph of FIG. For example, the combination with the objects of group C and group D is hardly detected. Therefore, in order to improve the determination accuracy of the contact state, it is important to take measures such as shortening the distance between the vibration generation unit 101 and the detection unit 105 or using a plurality of vibration generation units 101 and detection units 105. .

本発明の実施の形態における接触状態判定装置の構成を示す構成図である。It is a block diagram which shows the structure of the contact state determination apparatus in embodiment of this invention. 解析部107の構成を示す構成図である。2 is a configuration diagram showing a configuration of an analysis unit 107. FIG. 本実施の形態における接触状態判定装置の動作例について説明するフローチャートである。It is a flowchart explaining the operation example of the contact state determination apparatus in this Embodiment. 物体における振動伝播に関する実験の結果を示す特性図である。It is a characteristic view which shows the result of the experiment regarding the vibration propagation in an object. 各種の材料からなる物体間の接触状態を測定した実験結果を示す特性図である。It is a characteristic view which shows the experimental result which measured the contact state between the objects which consist of various materials. 各種の材料からなる物体間の接触状態を測定した実験結果を示す特性図である。It is a characteristic view which shows the experimental result which measured the contact state between the objects which consist of various materials.

符号の説明Explanation of symbols

101…振動発生部、102…振動生成部、103…制御部、104…通信部、105…検出部、106…通信部、107…解析部、108…振動検出部、111…物体A(第1の物体)、112…物体B(第2の物体)、171…振動パワー測定機能部、172…ノイズ除去機能部、173…振動区間検出機能部、174…判定機能部。   DESCRIPTION OF SYMBOLS 101 ... Vibration generating part, 102 ... Vibration generating part, 103 ... Control part, 104 ... Communication part, 105 ... Detection part, 106 ... Communication part, 107 ... Analysis part, 108 ... Vibration detection part, 111 ... Object A (1st ,... Object B (second object), 171... Vibration power measurement function unit, 172... Noise removal function unit, 173.

Claims (4)

第1の物体に装着されて振動波を発生する振動生成手段と、
第2の物体に装着されて振動を測定する振動検出手段と、
振動を発生させることを示す予告を通知してから前記振動生成手段を制御して振動波を発生させる制御手段と、
前記予告の通知を受け付けて前記振動検出手段による振動の測定を開始させ、既定の時間内の前記振動検出手段による測定結果の中に、既定値以上のパワーの振動波を検出することで、前記第1の物体と前記第2の物体との接触を判定する解析手段と
を少なくとも備えることを特徴とする接触状態判定装置。
Vibration generating means mounted on the first object to generate a vibration wave;
Vibration detecting means mounted on the second object and measuring vibration;
Control means for generating a vibration wave by controlling the vibration generating means after notifying a notice indicating generation of vibration;
By receiving the notice of the advance notice and starting measurement of vibration by the vibration detection means, by detecting a vibration wave having a power of a predetermined value or more in the measurement result by the vibration detection means within a predetermined time, A contact state determination apparatus comprising at least analysis means for determining contact between the first object and the second object.
請求項1記載の接触状態判定装置において、
前記制御手段は、前記振動生成手段を識別する識別情報とともに前記予告を通知し、
前記解析手段は、通知された前記識別情報に対応して前記測定結果の中に既定値以上のパワーの振動波を検出する
ことを特徴とする接触状態判定装置。
The contact state determination device according to claim 1,
The control means notifies the advance notice together with identification information for identifying the vibration generating means,
The said analysis means detects the vibration wave of the power more than predetermined value in the said measurement result corresponding to the said identification information notified. The contact state determination apparatus characterized by the above-mentioned.
第1の物体に対して振動波を発生する第1ステップと、
前記振動波の発生の既定時間前に第2の物体の振動測定を開始する第2ステップと、
既定の時間内の前記振動測定による結果の中に、既定値以上のパワーの振動波を検出することで、前記第1の物体と前記第2の物体との接触を判定する第3ステップと
を少なくとも備えることを特徴とする接触状態判定方法。
A first step of generating a vibration wave for the first object;
A second step of starting vibration measurement of a second object before a predetermined time of generation of the vibration wave;
A third step of determining contact between the first object and the second object by detecting a vibration wave having a power greater than or equal to a predetermined value in a result of the vibration measurement within a predetermined time; and A contact state determination method comprising: at least a contact state determination method.
請求項3記載の接触状態判定方法において、
前記振動を発生させる振動生成手段を識別する識別情報とともに前記予告を通知し、
前記解析手段は、通知された前記識別情報に対応して前記測定結果の中に既定値以上のパワーの振動波を検出する
ことを特徴とする接触状態判定方法。
In the contact state determination method according to claim 3,
Notifying the advance notice together with identification information for identifying vibration generating means for generating the vibration,
The said analysis means detects the vibration wave of the power more than predetermined value in the said measurement result corresponding to the said identification information notified. The contact state determination method characterized by the above-mentioned.
JP2008182632A 2008-07-14 2008-07-14 Apparatus and method of determining contact Pending JP2010019787A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008182632A JP2010019787A (en) 2008-07-14 2008-07-14 Apparatus and method of determining contact

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008182632A JP2010019787A (en) 2008-07-14 2008-07-14 Apparatus and method of determining contact

Publications (1)

Publication Number Publication Date
JP2010019787A true JP2010019787A (en) 2010-01-28

Family

ID=41704833

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008182632A Pending JP2010019787A (en) 2008-07-14 2008-07-14 Apparatus and method of determining contact

Country Status (1)

Country Link
JP (1) JP2010019787A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011232121A (en) * 2010-04-27 2011-11-17 Utsunomiya Univ Visual force display, visual force science teaching material and science toy

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07260748A (en) * 1994-03-22 1995-10-13 Kawasaki Steel Corp Detection method for defect in metal thin plate with ultrasonic wave
JPH07324976A (en) * 1994-05-31 1995-12-12 Omron Corp State-judging apparatus and method, sensor controller and sensing method, and inspecting system for object to be inspected
JPH08313497A (en) * 1995-05-16 1996-11-29 Chubu Electric Power Co Inc Joint device
JPH0923116A (en) * 1995-07-07 1997-01-21 Icom Inc Antenna and object detector using the antenna
JP2005114722A (en) * 2003-09-19 2005-04-28 National Institute Of Advanced Industrial & Technology Method and device for calibrating three-dimensional position
JP2005214913A (en) * 2004-02-02 2005-08-11 Optex Co Ltd Crime prevention sensor system with optical axis regulating function
JP2005321358A (en) * 2004-05-11 2005-11-17 Mitsubishi Electric Corp Adhesive state inspecting apparatus and method
JP2007187676A (en) * 2007-03-09 2007-07-26 Matsushita Electric Works Ltd Flow line measuring system
JP2008051516A (en) * 2006-08-22 2008-03-06 Olympus Corp Tactile sensor

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07260748A (en) * 1994-03-22 1995-10-13 Kawasaki Steel Corp Detection method for defect in metal thin plate with ultrasonic wave
JPH07324976A (en) * 1994-05-31 1995-12-12 Omron Corp State-judging apparatus and method, sensor controller and sensing method, and inspecting system for object to be inspected
JPH08313497A (en) * 1995-05-16 1996-11-29 Chubu Electric Power Co Inc Joint device
JPH0923116A (en) * 1995-07-07 1997-01-21 Icom Inc Antenna and object detector using the antenna
JP2005114722A (en) * 2003-09-19 2005-04-28 National Institute Of Advanced Industrial & Technology Method and device for calibrating three-dimensional position
JP2005214913A (en) * 2004-02-02 2005-08-11 Optex Co Ltd Crime prevention sensor system with optical axis regulating function
JP2005321358A (en) * 2004-05-11 2005-11-17 Mitsubishi Electric Corp Adhesive state inspecting apparatus and method
JP2008051516A (en) * 2006-08-22 2008-03-06 Olympus Corp Tactile sensor
JP2007187676A (en) * 2007-03-09 2007-07-26 Matsushita Electric Works Ltd Flow line measuring system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011232121A (en) * 2010-04-27 2011-11-17 Utsunomiya Univ Visual force display, visual force science teaching material and science toy

Similar Documents

Publication Publication Date Title
KR102133105B1 (en) 3D spatial detection system, positioning method and system
JP6468840B2 (en) Sonic-based localization
JP4968960B2 (en) Adaptive target positioning method, device, system, and target tracking method using the system by integrating TOA (arrival time) and RSS (received signal strength)
Zhou et al. BatTracker: High precision infrastructure-free mobile device tracking in indoor environments
JP2008292491A (en) Positioning method and system of location tag and article accompanied by it
EP3759508B1 (en) Acoustic positioning transmitter and receiver system and method
JP2010197050A (en) Position estimating system
EP3324208B1 (en) Positioning device and positioning method
McCarthy et al. Accessible ultrasonic positioning
JP6147350B2 (en) Distance measuring device
JP2007074323A (en) Wireless tag search method and device
JP2008275324A (en) Object position identification system, object position identification method, object position calculation device, and computor program
KR101618795B1 (en) Device for detecting three-dimensional pose and position of moving object
JP7030368B2 (en) Information processing equipment, information processing methods, and programs
JP6185838B2 (en) Measuring 3D coordinates of transmitter
KR20210045475A (en) THz measuring device and THz measuring method for detecting impurities in the object to be measured
JP2010019787A (en) Apparatus and method of determining contact
JP2008292231A (en) Position estimation system, position estimation method and program
WO2016182561A1 (en) Wireless position sensing using magnetic field of two transmitters
US20220341877A1 (en) Measurement apparatus, and measurement method
Misra Acoustical localization techniques in embedded wireless sensor networked devices
JP2010152661A (en) Method of measuring communication opportunity, device therefor, and program therefor
村上弘晃 Indoor Acoustic Localization using Reflected Signals
Dalton Audio-based localisation for ubiquitous sensor networks
Arikawa et al. Self-localization of monaural microphone using dipole sound sources

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100714

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20111118

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20111118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120409

A131 Notification of reasons for refusal

Effective date: 20120424

Free format text: JAPANESE INTERMEDIATE CODE: A131

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120529

A02 Decision of refusal

Effective date: 20120918

Free format text: JAPANESE INTERMEDIATE CODE: A02