JP2002196874A - Device and method for inputting handwritten data, personal certification device and its method - Google Patents
Device and method for inputting handwritten data, personal certification device and its methodInfo
- Publication number
- JP2002196874A JP2002196874A JP2000398040A JP2000398040A JP2002196874A JP 2002196874 A JP2002196874 A JP 2002196874A JP 2000398040 A JP2000398040 A JP 2000398040A JP 2000398040 A JP2000398040 A JP 2000398040A JP 2002196874 A JP2002196874 A JP 2002196874A
- Authority
- JP
- Japan
- Prior art keywords
- data
- handwritten data
- data input
- pen device
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 239000003550 marker Substances 0.000 claims description 16
- 208000036829 Device dislocation Diseases 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 8
- 230000004397 blinking Effects 0.000 description 6
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 239000003973 paint Substances 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 101100405322 Homo sapiens NSL1 gene Proteins 0.000 description 1
- 101000650817 Homo sapiens Semaphorin-4D Proteins 0.000 description 1
- 102100021532 Kinetochore-associated protein NSL1 homolog Human genes 0.000 description 1
- 102100027744 Semaphorin-4D Human genes 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Landscapes
- Image Input (AREA)
- Image Processing (AREA)
- Position Input By Displaying (AREA)
- Image Analysis (AREA)
Abstract
Description
【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION
【０００１】[0001]
【発明の属する技術分野】本発明は、署名等の手書きデ
ータを入力する装置及び方法に関する。特に、個人認証
に用いられる署名を入力する装置及び方法に関する。The present invention relates to an apparatus and a method for inputting handwritten data such as a signature. In particular, the present invention relates to an apparatus and a method for inputting a signature used for personal authentication.
【０００２】さらに、これらの装置及び方法を用いた個
人認証装置及び方法に関する。[0002] Furthermore, the present invention relates to a personal authentication device and method using these devices and methods.
【０００３】[0003]
【従来の技術】個人を識別するための個人認証方法の一
つとして、署名データを利用した個人認証方法が広く知
られている。2. Description of the Related Art As one of personal authentication methods for identifying an individual, a personal authentication method using signature data is widely known.
【０００４】この方法においては、署名データを入力す
るために電子タブレットと呼ばれる入力装置が一般に必
要である。そして、この電子タブレットは、利用者が署
名を筆記するのに必要な大きさの筆記面を有している必
要がある。利用者がこの筆記面上で署名を筆記すると、
ペン先の座標の時系列データやペン先の筆圧等が電子タ
ブレットにより取得される。この取得したデータが署名
データとして個人認証に利用されるのである。In this method, an input device called an electronic tablet is generally required to input signature data. The electronic tablet needs to have a writing surface of a size necessary for a user to write a signature. When the user writes a signature on this writing surface,
The time series data of the coordinates of the pen tip, the pen pressure of the pen tip, and the like are acquired by the electronic tablet. The acquired data is used as signature data for personal authentication.
【０００５】[0005]
【発明が解決しようとする課題】このように、電子タブ
レットはその性質上、ある一定の大きさ・面積を有する
必要があり、小型化（小面積化）に限界がある。As described above, the electronic tablet is required to have a certain size and area due to its properties, and there is a limit to miniaturization (small area).
【０００６】したがって、携帯電話等の小型電子機器
に、このような電子タブレットを組み込むことは一般に
困難である。無理に、携帯電話に電子タブレットを組み
込めば、携帯電話等の小型化を阻害してしまう可能性が
大である。Therefore, it is generally difficult to incorporate such an electronic tablet into a small electronic device such as a mobile phone. If an electronic tablet is forcibly incorporated into a mobile phone, there is a great possibility that miniaturization of the mobile phone or the like will be hindered.
【０００７】さらに、携帯電話以外の一般の電子機器が
署名データを入力する場合には、その電子機器に上述し
た一定の面積を有する電子タブレットを用いる必要があ
るので、その電子機器のデザインに一定の制約を生じさ
せる要因となっている。Further, when a general electronic device other than a mobile phone inputs signature data, it is necessary to use the above-mentioned electronic tablet having a certain area for the electronic device. This is a factor that causes the restriction.
【０００８】このような問題点を解決するために、本願
発明者は、本特許出願と同時提出の特許出願において、
利用者が空中でペンを用いて行う署名動作を撮影し、そ
の画像データから署名データを得る装置・方法について
提案している。空中で行う署名動作とは、要するに空中
で署名を行うかのように手を動かすことを意味する。In order to solve such a problem, the inventor of the present application has filed a patent application filed concurrently with the present patent application.
An apparatus and method for capturing a signature operation performed by a user using a pen in the air and obtaining signature data from the image data are proposed. The signature operation performed in the air means moving the hand as if the signature were performed in the air.
【０００９】しかしながら、電子タブレットを用いた署
名データの入力においては、しばしば筆圧のデータも検
出され、署名データの一部を構成している。これに対し
て、空中で行う署名動作を撮影し署名データを得る装置
／方法では画面上の２次元座標の時系列データは得られ
るが筆圧のような第３のデータを得ることが困難であ
る。However, when inputting signature data using an electronic tablet, pen pressure data is often detected and forms part of the signature data. On the other hand, an apparatus / method that obtains signature data by photographing a signature operation performed in the air can obtain time-series data of two-dimensional coordinates on the screen, but it is difficult to obtain third data such as pen pressure. is there.
【００１０】したがって、従来の署名照合が縦座標、横
座標、筆圧の３種類のデータからなる３次元データの照
合によって実行されているのに対して、空中で署名動作
を実行する手法では、縦座標、横座標からなる２次元デ
ータの照合となる。その結果、従来の個人認証に比べて
精度が落ちる事態も想定される。Therefore, while the conventional signature verification is performed by comparing three-dimensional data consisting of three types of data of ordinate, abscissa, and pen pressure, a method of performing a signature operation in the air is as follows. Two-dimensional data consisting of ordinate and abscissa is collated. As a result, a situation in which the accuracy is lower than that of the conventional personal authentication is also assumed.
【００１１】本発明は、上記課題に鑑みなされたもので
あり、その目的は、空中で行われる署名動作を撮影して
署名データを得る場合に、より精度の高い署名データを
得ることである。SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and an object of the present invention is to obtain signature data with higher accuracy when obtaining signature data by photographing a signature operation performed in the air.
【００１２】[0012]
【課題を解決するための手段】本発明は、上記課題を解
決するために、利用者が、ペン装置を空中で動かすこと
によって、空中に書いた手書きデータを取得する装置に
おいて、前記利用者によって動かされるペン装置の第１
動画データを取得する第１カメラ手段と、前記第１カメ
ラ手段と異なる方向から前記ペン装置の第２動画データ
を取得する第２カメラ手段と、前記第１動画データと、
前記第２動画データと、に基づき、前記ペン装置の空中
（すなわち３次元空間上）の３次元座標を求め、この座
標の時系列データを求める座標算出手段と、を含むこと
を特徴とする手書きデータ入力装置である。According to the present invention, there is provided an apparatus for obtaining handwritten data written in the air by moving a pen device in the air to solve the above problems. The first of the pen devices to be moved
First camera means for acquiring moving image data, second camera means for acquiring second moving image data of the pen device from a direction different from the first camera means, and the first moving image data;
Handwriting characterized by including three-dimensional coordinates of the pen device in the air (that is, on a three-dimensional space) based on the second moving image data and time series data of the coordinates. It is a data input device.
【００１３】このような構成によって、文字や図形の手
書きデータを３次元座標の時系列データとして取得する
ことができる。With such a configuration, handwritten data of characters and figures can be obtained as time-series data of three-dimensional coordinates.
【００１４】また、本発明は、前記ペン装置は、発光手
段を有し、前記座標算出手段は、前記発光手段の３次元
空間上の３次元座標を算出することを特徴とする手書き
データ入力装置である。Further, in the present invention, the pen device has light emitting means, and the coordinate calculating means calculates three-dimensional coordinates of the light emitting means in a three-dimensional space. It is.
【００１５】このような構成によれば、発光手段の発す
る光によって座標を求めることが容易になる。According to such a configuration, it is easy to obtain the coordinates by the light emitted from the light emitting means.
【００１６】また、本発明は、前記ペン装置は、前記発
光手段の点灯状態と消灯状態とを切り換え可能なペン装
置であり、前記座標算出手段は、前記発光手段が点灯状
態になってから消灯状態に至るまでの前記発光手段の前
記画面上における座標を算出することを特徴とする手書
きデータ入力装置である。Further, according to the present invention, the pen device is a pen device capable of switching between a light-on state and a light-off state of the light-emitting means. A handwritten data input device, wherein coordinates of the light emitting means on the screen up to a state are calculated.
【００１７】このような構成によって、利用者は手書き
データの開始と終了とを明示的に示すことができる。With this configuration, the user can explicitly indicate the start and end of the handwritten data.
【００１８】また、本発明は、前記座標算出手段は、前
記ペン装置が前記画面上で所定の第１期間より長い停止
状態から動きを開始した場合の動き開始時点から、その
後所定の第２期間より長い停止状態に至った際の動きを
停止した動き停止時点までの前記ペン装置の前記画面上
における座標を算出することを特徴とする手書きデータ
入力装置である。Further, according to the present invention, the coordinate calculating means may include a step of starting from a movement start point when the pen device starts moving from a stop state longer than a predetermined first period on the screen, and then moving the pen device for a predetermined second period. The handwriting data input device is characterized by calculating coordinates on the screen of the pen device up to a time point at which the motion when a longer stop state is reached is stopped.
【００１９】このような構成によって、ペン装置が発光
手段を備えていなくても、手書きデータの開始と終了と
を明示的に示すことができる。With this configuration, the start and end of the handwritten data can be explicitly indicated even if the pen device does not include the light emitting means.
【００２０】また、本発明は、前記座標算出手段は、前
記ペン装置の座標の変化が所定値より小さい場合に、前
記ペン装置は停止状態にあると判断することを特徴とす
る手書きデータ入力装置である。Further, in the present invention, the coordinate calculation means determines that the pen device is in a stopped state when a change in the coordinates of the pen device is smaller than a predetermined value. It is.
【００２１】人間がペン装置を空中で停止させようとす
る場合、わずかに揺らいでしまうことが実際には多いと
考えられる。したがって、所定値より小さい動きは無視
して静止状態であると判断することが実際には好まし
い。It is considered that when a human tries to stop the pen device in the air, the pen device is often slightly shaken. Therefore, it is actually preferable to ignore the movement smaller than the predetermined value and determine that the camera is in a stationary state.
【００２２】また、本発明は、前記座標算出手段は、前
記ペン装置が前記第１期間より長い停止状態にあると判
断した場合に、前記利用者に手書きデータの入力の開始
を知らせ、前記ペン装置が前記第２期間より長い停止状
態にあると判断した場合に、前記利用者に手書きデータ
の入力の終了を知らせることを特徴とする手書きデータ
入力装置である。Further, according to the present invention, when the coordinate calculating means determines that the pen device has been in a stopped state longer than the first period, the coordinate calculating means notifies the user of the start of input of handwritten data, and The handwritten data input device is characterized in that when it is determined that the device has been in a stop state longer than the second period, the user is notified of the end of the input of the handwritten data.
【００２３】このような構成によれば利用者は署名の開
始タイミングを容易に知ることができ、また、署名動作
が終了したことを装置が認識したか否かを容易に知るこ
とができる。According to such a configuration, the user can easily know the start timing of the signature, and can easily know whether or not the apparatus has recognized that the signature operation has ended.
【００２４】また、本発明は、前記座標算出手段は、音
によって手書きデータの入力の開始を知らせ、また、音
によって手書きデータの入力の終了を知らせることを特
徴とする手書きデータ入力装置である。Further, the present invention is the handwritten data input device, wherein the coordinate calculating means notifies the start of handwritten data input by sound and notifies the end of handwritten data input by sound.
【００２５】このような構成によって、利用者は音によ
って、手書きデータの入力の開始を知ることができ、ま
た、署名動作が終了したことを装置が認識したか否かを
容易に知ることができる。With this configuration, the user can know the start of input of handwritten data by sound, and can easily know whether or not the apparatus has recognized that the signature operation has ended. .
【００２６】また、本発明は、前記座標算出手段は、外
部からの音声によって、手書きデータの算出の開始時点
及び終了時点を認識することを特徴とする手書きデータ
入力装置である。Further, the present invention is the handwritten data input device, characterized in that the coordinate calculating means recognizes the start time and the end time of the calculation of the handwritten data by an external voice.
【００２７】このような構成によって、音声によって開
始時点／終了時点が明確に指示される。With such a configuration, the start time / end time is clearly indicated by voice.
【００２８】また、本発明は、前記音声は、前記利用者
の声、又はペン装置に設けられたペンスイッチの音であ
ることを特徴とする手書きデータ入力装置である。Further, the present invention is the handwritten data input device, wherein the voice is a voice of the user or a sound of a pen switch provided in a pen device.
【００２９】このような構成によって、利用者は自己の
声や、ペンスイッチの音を用いて手書きデータの開始時
点／終了時点を明確に示すことができる。With such a configuration, the user can clearly indicate the start point / end point of the handwritten data using his / her voice or the sound of the pen switch.
【００３０】また、本発明は、前記座標の時系列データ
を表示する表示手段、を含むことを特徴とする手書きデ
ータ入力装置である。Further, the present invention is a handwritten data input device, characterized by including display means for displaying time-series data of the coordinates.
【００３１】このような構成によって、利用者は、手書
きデータを時系列データを視覚的に確認することができ
る。With such a configuration, the user can visually confirm the time-series data of the handwritten data.
【００３２】また、本発明は、上述した手書きデータ入
力装置と、あらかじめ正当な本人の署名データである参
照データが記憶されている記憶手段と、前記参照データ
と、前記手書きデータ入力装置が手書きデータとして入
力した前記利用者の署名データと、を比較照合し、両者
が同一人による署名であると判断する場合には本人であ
る旨の認証結果を出力する比較照合手段と、を含むこと
を特徴とする個人認証装置である。The present invention also relates to the above-described handwritten data input device, a storage means for storing reference data which is signature data of a valid person in advance, the reference data, and the handwritten data input device comprising: And comparing and collating the user's signature data entered as the signature data, and outputting an authentication result indicating that the signatures are authentic when both are determined to be signed by the same person. Personal authentication device.
【００３３】このような構成によれば、上記の各手書き
データ入力装置と同様の作用を有する個人認証装置が得
られる。特に、３次元データの署名データを利用するの
で、精度の高い個人認証を実現できる。According to such a configuration, a personal authentication device having the same operation as each of the above-described handwritten data input devices can be obtained. In particular, since signature data of three-dimensional data is used, highly accurate personal authentication can be realized.
【００３４】次に、本発明は、上記課題を解決するため
に、利用者が、ペン装置を空中で動かすことによって、
空中に書いた手書きデータを取得する方法において、前
記利用者によって動かされるペン装置を第１の方向から
撮影して第１動画データを取得する第１取得ステップ
と、前記利用者によって動かされるペン装置を第１の方
向とは異なる第２の方向から撮影して第２動画データを
取得する第２取得ステップと、前記取得したペン装置の
第１動画データ及び第２動画データに基づき、前記ペン
装置の空中（すなわち３次元空間上）の３次元座標を求
め、さらに、この座標の時系列データを求める座標算出
ステップと、を含むことを特徴とする手書きデータ入力
方法である。Next, in order to solve the above-mentioned problems, the present invention provides a method in which a user moves a pen device in the air, and
In a method for acquiring handwritten data written in the air, a first acquisition step of photographing a pen device moved by the user from a first direction to acquire first moving image data, and a pen device moved by the user Acquiring a second moving image data by photographing the pen device from a second direction different from the first direction; and the pen device based on the acquired first moving image data and second moving image data of the pen device. A three-dimensional coordinate in the air (that is, on a three-dimensional space), and a coordinate calculation step for obtaining time-series data of the coordinate.
【００３５】このような構成によって、文字や図形の手
書きデータを３次元座標の時系列データとして取得する
ことができる。With such a configuration, handwritten data of characters and figures can be obtained as time-series data of three-dimensional coordinates.
【００３６】また、本発明は、前記ペン装置は、発光手
段を有し、前記座標算出ステップにおいては、前記発光
手段の３次元空間上の３次元座標を算出することを特徴
とする手書きデータ入力方法である。Also, in the present invention, the pen device has a light emitting means, and in the coordinate calculation step, three-dimensional coordinates of the light emitting means in a three-dimensional space are calculated. Is the way.
【００３７】このような構成によれば、発光手段の発す
る光によって３次元空間上の３次元座標を求めることが
容易になる。According to such a configuration, it is easy to obtain three-dimensional coordinates in a three-dimensional space by the light emitted from the light emitting means.
【００３８】また、本発明は、前記ペン装置は、前記発
光手段の点灯状態と消灯状態とを切り換え可能なペン装
置であり、前記座標算出ステップにおいては、前記発光
手段が点灯状態になってから消灯状態に至るまでの前記
発光手段の前記画面上における座標を算出することを特
徴とする手書きデータ入力方法である。Further, according to the present invention, the pen device is a pen device capable of switching between a light-on state and a light-off state of the light-emitting means, and in the coordinate calculation step, after the light-emitting means is turned on. A handwritten data input method, wherein coordinates of the light emitting means on the screen until the light is turned off are calculated.
【００３９】このような構成によって、利用者は手書き
データの開始と終了とを明示的に示すことができる。With such a configuration, the user can explicitly indicate the start and end of the handwritten data.
【００４０】また、本発明は、前記座標算出ステップに
おいては、前記ペン装置が前記画面上で所定の第１期間
より長い停止状態から動きを開始した場合の動き開始時
点から、その後所定の第２期間より長い停止状態に至っ
た際の動きを停止した動き停止時点までの前記ペン装置
の３次元空間上における３次元座標を算出することを特
徴とする手書きデータ入力方法である。Further, in the present invention, in the coordinate calculation step, the pen device starts moving from a stopped state longer than a predetermined first period on the screen, and then moves to a predetermined second period. A handwritten data input method characterized in that three-dimensional coordinates in a three-dimensional space of the pen device are calculated up to a time point at which the movement at the time of a stop state longer than a period is stopped.
【００４１】このような構成によって、ペン装置が発光
手段を備えていなくても、手書きデータの開始と終了と
を明示的に示すことができる。With such a configuration, the start and end of handwritten data can be explicitly indicated even if the pen device does not include the light emitting means.
【００４２】また、本発明は、前記座標算出ステップに
おいては、前記ペン装置の座標の変化が所定値より小さ
い場合に、前記ペン装置は停止状態にあると判断するこ
とを特徴とする手書きデータ入力方法である。Also, in the present invention, in the coordinate calculation step, when the change in the coordinates of the pen device is smaller than a predetermined value, it is determined that the pen device is in a stop state, and the handwritten data input is performed. Is the way.
【００４３】人間がペン装置を空中で停止させようとす
る場合、わずかに揺らいでしまうことが実際には多いと
考えられる。したがって、所定値より小さい動きは無視
して静止状態であると判断することが実際には好まし
い。It is considered that when a human tries to stop the pen device in the air, the pen device actually shakes slightly. Therefore, it is actually preferable to ignore the movement smaller than the predetermined value and determine that the camera is in a stationary state.
【００４４】また、本発明は、前記座標算出ステップに
おいては、前記ペン装置が前記第１期間より長い停止状
態にあると判断した場合に、前記利用者に手書きデータ
の入力の開始を知らせ、前記ペン装置が前記第２期間よ
り長い停止状態にあると判断した場合に、前記利用者に
手書きデータの入力の終了を知らせることを特徴とする
手書きデータ入力方法である。Further, in the present invention, in the coordinate calculation step, when it is determined that the pen device is in a stop state longer than the first period, the user is notified of the start of input of handwritten data, When the pen device is determined to be in a stop state longer than the second period, the user is notified of the end of the input of the handwritten data.
【００４５】このような構成によれば利用者は署名の開
始タイミングを容易に知ることができ、また、署名動作
が終了したことを装置が認識したか否かを容易に知るこ
とができる。According to such a configuration, the user can easily know the start timing of the signature and can easily know whether or not the apparatus has recognized that the signature operation has ended.
【００４６】また、本発明は、前記座標算出ステップ
は、音によって手書きデータの入力の開始を知らせ、ま
た、音によって手書きデータの入力の終了を知らせるこ
とを特徴とする手書きデータ入力方法である。Further, the present invention is the handwritten data input method, characterized in that in the coordinate calculating step, the start of handwritten data input is notified by sound and the end of handwritten data input is notified by sound.
【００４７】このような構成によって、利用者は音によ
って、手書きデータの入力の開始を知ることができ、ま
た音によって、署名動作が終了したことを装置が認識し
たか否かを容易に知ることができる。With such a configuration, the user can know the start of the input of the handwritten data by the sound, and easily know by the sound whether or not the apparatus has recognized that the signature operation has been completed. Can be.
【００４８】また、本発明は、前記座標算出ステップ
は、外部からの音声によって、手書きデータの算出の開
始時点及び終了時点を認識することを特徴とする手書き
データ入力方法である。Further, the present invention is the handwritten data input method, characterized in that the coordinate calculation step recognizes a start time and an end time of the calculation of the handwritten data by an external voice.
【００４９】このような構成によれば、音声によって開
始時点／終了時点が明確に指示される。According to such a configuration, the start point / end point is clearly indicated by voice.
【００５０】また、本発明は、前記音声は、前記利用者
の声、又はペン装置に設けられたペンスイッチの音であ
ることを特徴とする手書きデータ入力方法である。Further, the present invention is the handwritten data input method, wherein the voice is a voice of the user or a sound of a pen switch provided in a pen device.
【００５１】このような構成によって、利用者は自己の
声や、ペンスイッチの音を用いて手書きデータの開始時
点／終了時点を明確に示すことができる。With such a configuration, the user can clearly indicate the start point / end point of the handwritten data using his / her voice or the sound of the pen switch.
【００５２】また、本発明は、上述した手書きデータ入
力方法に加えて、あらかじめ正当な本人の署名データで
ある参照データと、前記手書きデータ入力方法を用いて
手書きデータとして入力した前記利用者の署名データ
と、を比較照合し、両者が同一人による署名であると判
断する場合には本人である旨の認証結果を出力する比較
照合ステップ、を含むことを特徴とする個人認証方法で
ある。Further, in addition to the above-described handwritten data input method, the present invention further includes reference data which is signature data of a valid person in advance, and a signature of the user input as handwritten data using the handwritten data input method. And comparing the data with each other, and comparing the data with each other, and outputting a result of authentication indicating that the signatures are authentic when both are determined to be signed by the same person.
【００５３】このような構成によれば、上記の各手書き
データ入力装置と同様の作用を有する個人認証装置が得
られる。特に、３次元データの署名データを利用するの
で、精度の高い個人認証を実現できる。According to such a configuration, a personal authentication device having the same operation as each of the above-described handwritten data input devices can be obtained. In particular, since signature data of three-dimensional data is used, highly accurate personal authentication can be realized.
【００５４】また、本発明は、利用者が、指を空中で動
かすことによって、空中に書いた手書きデータを取得す
る装置において、前記利用者が動かす指の第１動画デー
タを取得する第１カメラ手段と、前記第１カメラ手段と
異なる方向から前記指の第２動画データを取得する第２
カメラ手段と、前記第１動画データと、前記第２動画デ
ータと、に基づき、前記指の３次元空間上の３次元座標
を求め、この座標の時系列データを求める座標算出手段
と、を含むことを特徴とする手書きデータ入力装置であ
る。According to the present invention, there is provided an apparatus for acquiring handwritten data written in the air by moving a finger in the air by a user, wherein the first camera acquires first moving image data of the finger moved by the user. Means for acquiring the second moving image data of the finger from a different direction from the first camera means.
Camera means; and coordinate calculating means for obtaining three-dimensional coordinates of the finger in a three-dimensional space based on the first moving image data and the second moving image data, and obtaining time-series data of the coordinates. A handwritten data input device characterized in that:
【００５５】このような構成によって、利用者はペン装
置を用いずに自己の指で書いた手書きデータを入力する
ことができる。With such a configuration, the user can input handwritten data written with his / her finger without using the pen device.
【００５６】また、本発明は、前記指には、マーカが付
されており、前記座標算出手段は、前記指のマーカの座
標の時系列データを求めることを特徴とする手書きデー
タ入力装置である。Further, the present invention is the handwriting data input device, wherein the finger is provided with a marker, and the coordinate calculating means obtains time-series data of the coordinates of the marker of the finger. .
【００５７】このような構成によれば、マーカによって
指の座標の算出が容易となる。According to such a configuration, the coordinates of the finger can be easily calculated by the marker.
【００５８】また、本発明は、利用者が、指を空中で動
かすことによって、空中に書いた手書きデータを取得す
る方法において、前記利用者が動かす指の第１動画デー
タを取得する第１取得ステップと、前記第１取得ステッ
プと異なる方向から前記指の第２動画データを取得する
第２取得ステップと、前記第１動画データと、前記第２
動画データと、に基づき、前記指の３次元空間上の３次
元座標を求め、この座標の時系列データを求める座標算
出ステップと、を含むことを特徴とする手書きデータ入
力方法である。According to the present invention, there is provided a method of acquiring handwritten data written in the air by moving the finger in the air by the user, wherein the first acquisition of acquiring the first moving image data of the finger moved by the user is performed. A second acquiring step of acquiring second moving image data of the finger from a direction different from the first acquiring step; a step of acquiring the first moving image data;
A three-dimensional coordinate of the finger in a three-dimensional space based on the moving image data, and a coordinate calculation step of obtaining time-series data of the coordinates.
【００５９】このような構成によって、利用者はペン装
置を用いずに自己の指で書いた手書きデータを入力する
ことができる。With such a configuration, the user can input handwritten data written with his / her finger without using the pen device.
【００６０】また、本発明は、前記指には、マーカが付
されており、前記座標算出ステップは、前記指のマーカ
の座標の時系列データを求めることを特徴とする手書き
データ入力方法である。The present invention is also a handwritten data input method, characterized in that a marker is attached to the finger, and the coordinate calculating step obtains time-series data of the coordinates of the marker of the finger. .
【００６１】このような構成によれば、マーカによって
指の座標の算出が容易となる。According to such a configuration, the coordinates of the finger can be easily calculated by the marker.
【００６２】また、本発明は、前記発光手段は、変調光
を発し、前記座標算出手段は、前記動画データ中から前
記変調光の部分の座標を算出することを特徴とする手書
きデータ入力装置である。Further, the present invention provides a handwritten data input device, wherein said light emitting means emits modulated light, and said coordinate calculating means calculates coordinates of a portion of said modulated light from said moving image data. is there.
【００６３】そして、本発明は、前記発光手段は、変調
光を発し、前記座標算出ステップは、前記動画データ中
から前記変調光の部分の座標を算出することを特徴とす
る手書きデータ入力方法である。According to the present invention, in the handwritten data input method, the light emitting means emits modulated light, and the coordinate calculating step calculates coordinates of a portion of the modulated light from the moving image data. is there.
【００６４】これらの発明の構成によれば、変調されて
いる光のみを選び出すことによって、容易にペン装置
（発光手段）の座標を求めることができる。According to these configurations of the present invention, by selecting only the modulated light, the coordinates of the pen device (light emitting means) can be easily obtained.
【００６５】[0065]
【発明の実施の形態】以下、本発明の好適な実施の形態
を図面に基づいて説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Preferred embodiments of the present invention will be described below with reference to the drawings.
【００６６】実施の形態１ 図１には、本発明の好適な実施の形態である個人認証装
置１０の構成ブロック図が示されている。この図に示す
ように、個人認証装置１０は、利用者の手書きデータで
ある署名データを入力する手書きデータ入力手段１２
と、この手書きデータをあらかじめ記録してある署名デ
ータと比較照合し、その利用者が本人であるか否かを判
断する署名照合手段１４と、を備えている。 Embodiment 1 FIG. 1 is a block diagram showing a configuration of a personal authentication apparatus 10 according to a preferred embodiment of the present invention. As shown in FIG. 1, a personal authentication device 10 includes a handwritten data input unit 12 for inputting signature data which is handwritten data of a user.
And signature comparing means 14 for comparing and collating the handwritten data with previously recorded signature data to determine whether or not the user is the user.
【００６７】手書きデータ入力手段１２は、第１カメラ
手段２０ａと、第２カメラ手段２０ｂと、座標算出手段
２２と、を備えている。The handwritten data input means 12 includes a first camera means 20a, a second camera means 20b, and a coordinate calculation means 22.
【００６８】第１カメラ手段２０ａは、利用者が空中
（以下、「３次元空間上」とも呼ぶ）で動かすペン装置
３０の画像を撮影し、動画である第１画像データを出力
する。第２カメラ手段２０ｂは、第１カメラ手段２０ａ
とは異なる方向から利用者が空中で動かすペン装置３０
の画像を撮影し、動画である第２画像データを出力す
る。The first camera means 20a captures an image of the pen device 30 which the user moves in the air (hereinafter also referred to as "on a three-dimensional space"), and outputs first image data as a moving image. The second camera means 20b is connected to the first camera means 20a.
Pen device 30 that the user moves in the air from a direction different from
And outputs the second image data as a moving image.
【００６９】座標算出手段２２は、この画像データに基
づき、ペン装置３０の座標の時系列データを算出する。The coordinate calculating means 22 calculates time series data of the coordinates of the pen device 30 based on the image data.
【００７０】本実施の形態１においては、この座標は３
次元空間上の３次元座標である。この３次元座標の時系
列データは、利用者がペン装置３０を用いて空中（すな
わち３次元空間上）に書いた手書きデータを立体的に表
している。In the first embodiment, this coordinate is 3
These are three-dimensional coordinates in a three-dimensional space. The time-series data of the three-dimensional coordinates three-dimensionally represents handwritten data written in the air (that is, on a three-dimensional space) by the user using the pen device 30.
【００７１】本実施の形態１においては、このように３
次元の座標データとして利用者の手書きデータを入力す
ることが可能である。In the first embodiment, as described above,
It is possible to input user's handwritten data as dimensional coordinate data.
【００７２】そして、利用者が空中に署名を書いた場合
には、この手書きデータは個人認証の対象となる署名デ
ータとして利用可能である。特に、この場合は、署名デ
ータが３次元の時系列データであるため、２次元のデー
タに比較してより精度の高い個人認証を実現することが
できる。When the user writes a signature in the air, the handwritten data can be used as signature data for personal authentication. In particular, in this case, since the signature data is three-dimensional time-series data, more accurate personal authentication can be realized as compared with two-dimensional data.
【００７３】署名照合手段１４は、比較照合手段４０
と、記憶手段４２とを備えている。The signature matching means 14 is compared with the comparison / matching means 40
And a storage means 42.
【００７４】比較照合手段４０は、上記座標算出手段２
２が出力する手書きデータ（署名データ）を、記憶手段
４２にあらかじめ格納されている参照データと比較照合
する。そして、比較照合の結果、同一人による署名デー
タであると判断できる程度に両者が近似している場合に
は、「本人である」との認証結果を出力するのである。
ここで、参照データとは、あらかじめ本人が登録してお
いた本人の署名データである。The comparison / comparison means 40 includes the coordinate calculation means 2
2 compares the handwritten data (signature data) output with the reference data stored in the storage means 42 in advance. Then, as a result of the comparison and collation, if the two are close enough to determine that they are the signature data of the same person, the authentication result of "the person is" is output.
Here, the reference data is the signature data of the principal registered in advance by the principal.
【００７５】以下、個人認証装置１０の詳細な個人認証
動作、すなわち個人認証方法の動作を図２のフローチャ
ートに基づき説明する。Hereinafter, the detailed personal authentication operation of the personal authentication device 10, that is, the operation of the personal authentication method will be described with reference to the flowchart of FIG.
【００７６】まず、ステップＳ２−１において、利用者
がペン装置３０を空中で動かして署名を行う。このペン
装置３０の説明図が図３に示されている。この図に示す
ように、ペン装置３０のペン先には発光手段３２が設け
られている。発光手段３２はＬＥＤ（発光ダイオード）
やランプ等を備え、光を発することができる。First, in step S2-1, the user performs a signature by moving the pen device 30 in the air. An explanatory diagram of the pen device 30 is shown in FIG. As shown in the figure, a light emitting means 32 is provided at the pen tip of the pen device 30. The light emitting means 32 is an LED (light emitting diode)
And a lamp or the like, and can emit light.
【００７７】また、ペン装置３０には、ボタンスイッチ
３４が備えられている。利用者は、このボタンスイッチ
３４を指で操作することによって、発光手段３２を点灯
させたり、消灯させることができる。The pen device 30 includes a button switch 34. The user can turn on or off the light emitting means 32 by operating the button switch 34 with a finger.
【００７８】利用者は、まずこのボタンスイッチ３４を
用いて発光手段３２を点灯させる。これによって、署名
動作の開始を示しているのである。発光手段３２が点灯
状態のまま、利用者は署名動作を行い、署名動作が終了
した時点でボタンスイッチ３４を操作し、発光手段３２
を消灯させる。この消灯によって署名動作の終了を表す
ことができる。The user first turns on the light emitting means 32 using the button switch 34. This indicates the start of the signature operation. The user performs the signature operation while the light emitting means 32 remains lit, and operates the button switch 34 when the signature operation is completed.
Turn off the light. The end of the signature operation can be indicated by this light-off.
【００７９】本実施の形態１において発光手段３２を備
えたペン装置３０を利用している理由は、（１）上に述
べたように署名動作の開始と終了を明示的に示すため、
（２）ペン装置３０（特にそのペン先）の座標の検知を
容易にするため、の２つである。これらについては後に
再び説明する。In the first embodiment, the pen device 30 having the light emitting means 32 is used because (1) the start and end of the signature operation are explicitly shown as described above.
(2) To facilitate detection of the coordinates of the pen device 30 (especially the pen tip). These will be described again later.
【００８０】次に、ステップＳ２−２においては、第１
カメラ手段２０ａがペン装置３０を撮影し、その画像デ
ータ（第１画像データ）を出力する。カメラ手段３０は
ビデオカメラであり、出力する第１画像データは１秒間
に１２０フレーム程度の動画データ（以下、第１動画デ
ータとも呼ぶ）である。このようにして、ステップＳ２
−３において動画データの取得が実行される。Next, in step S2-2, the first
The camera means 20a captures an image of the pen device 30 and outputs image data (first image data). The camera means 30 is a video camera, and the first image data to be output is moving image data of about 120 frames per second (hereinafter, also referred to as first moving image data). Thus, step S2
At -3, acquisition of moving image data is executed.
【００８１】本実施の形態１においては、第１カメラ手
段２０ａだけでなく、第２カメラ手段２０ｂも用いて手
書きデータの取得を行っている。すなわち、第２カメラ
手段２０ｂが、第１カメラ手段２０ａとは異なる方向か
ら、ペン装置３０を撮影し、その画像データ（第２画像
データ）を出力する。この第２画像データも、１秒間に
１２０フレーム程度の動画データ（以下、第２動画デー
タとも呼ぶ）である。このようにして、ステップＳ２−
３において２種の異なる方向から撮影した動画データの
取得が実行される。In the first embodiment, handwritten data is obtained using not only the first camera means 20a but also the second camera means 20b. That is, the second camera means 20b photographs the pen device 30 from a direction different from that of the first camera means 20a, and outputs image data (second image data) thereof. The second image data is also moving image data of about 120 frames per second (hereinafter, also referred to as second moving image data). Thus, step S2-
In step 3, acquisition of moving image data captured from two different directions is performed.
【００８２】なお、若干個人認証の精度は低下するが、
１秒間に１５〜３０フレーム程度の動画データを出力す
る一般的なビデオカメラを利用することも可能である。Although the accuracy of personal authentication is slightly reduced,
It is also possible to use a general video camera that outputs moving image data of about 15 to 30 frames per second.
【００８３】ステップＳ２−３においては、座標算出手
段２２が上記画像データ（第１動画データ、第２動画デ
ータ）に基づき、ペン手段３０の３次元空間上の座標、
すなわち３次元座標を求める。また、この３次元座標を
逐次算出して時系列データ、すなわち署名データを求め
る。In step S2-3, the coordinate calculating means 22 calculates the coordinates of the pen means 30 in the three-dimensional space based on the image data (the first moving image data and the second moving image data).
That is, three-dimensional coordinates are obtained. The three-dimensional coordinates are sequentially calculated to obtain time-series data, that is, signature data.
【００８４】この際、座標算出手段２２は、画像データ
中の輝度が大きい部分について座標を求めている。詳細
に言えば、輝度が所定のしきい値α以上の部分領域を取
り出し、その部分領域の輝度の重心位置を求め、その重
心位置をペン先と見なし、このペン先の座標を求めてい
る。なお、位置を求めるのはペン装置３０のどの部分で
もかまわない。しかし、ペンで紙に書く古典的な署名は
ペンの「先」で行われるので、人間の感覚上、この部位
の座標を求めるのが好ましいと考えられる。At this time, the coordinate calculating means 22 obtains the coordinates of a portion having a large luminance in the image data. More specifically, a partial area whose luminance is equal to or more than a predetermined threshold value α is extracted, the position of the center of gravity of the partial area is obtained, and the position of the center of gravity is regarded as the pen tip, and the coordinates of the pen tip are obtained. Note that the position may be obtained by any part of the pen device 30. However, since a classic signature written on paper with a pen is performed at the "tip" of the pen, it is considered preferable to obtain the coordinates of this part from human perception.
【００８５】このように、本実施の形態１においては、
発光手段３２を有するペン装置３０を用いることによっ
て、ペン装置３０の位置を画像データから容易に求める
ことができる。As described above, in the first embodiment,
By using the pen device 30 having the light emitting means 32, the position of the pen device 30 can be easily obtained from the image data.
【００８６】異なる方向から撮影した第１動画データと
第２動画データとを用いれば、ペン装置３０の位置を立
体的に求めることができる。すなわち、ペン装置３０の
３次元座標を求めることができるのである。By using the first moving image data and the second moving image data photographed from different directions, the position of the pen device 30 can be obtained three-dimensionally. That is, the three-dimensional coordinates of the pen device 30 can be obtained.
【００８７】３次元座標を求める原理を表す説明図が図
４に示されている。FIG. 4 is an explanatory diagram showing the principle of obtaining three-dimensional coordinates.
【００８８】この図において、第１動画データを撮影し
た方向に垂直な面がＰ１で表されており、第２動画デー
タを撮影した方向に垂直な面がＰ２で表されている。そ
れぞれの平面に対応して視点Ｖ１、視点Ｖ２が設定され
ている。各視点Ｖ１、Ｖ２から、得られた画像上のペン
装置の位置に視線を延長する。これらの視線が交わった
箇所の座標を算出し、これをペン装置３０の座標とする
のである。In this figure, a plane perpendicular to the direction in which the first moving picture data was photographed is represented by P1, and a plane perpendicular to the direction in which the second moving picture data was photographed is represented by P2. A viewpoint V1 and a viewpoint V2 are set corresponding to each plane. The line of sight is extended from each viewpoint V1, V2 to the position of the pen device on the obtained image. The coordinates of the point where these lines of sight intersect are calculated, and the calculated coordinates are used as the coordinates of the pen device 30.
【００８９】撮影した画像データは動画データであるた
め、画像上のペン装置の位置は、時々刻々変化してい
く。この変化に追従してペン装置３０の座標を順次求め
ていけば、ペン装置３０の座標の時系列データが得られ
る。Since the photographed image data is moving image data, the position of the pen device on the image changes every moment. If the coordinates of the pen device 30 are sequentially obtained following this change, time-series data of the coordinates of the pen device 30 can be obtained.
【００９０】このようにして、利用者の署名データを３
次元の時系列データとして得ることができる。In this way, the user's signature data is
It can be obtained as dimensional time series data.
【００９１】さらに、座標算出手段２２は、時系列デー
タである署名データの開始時点と終了時点とを以下のよ
うにして判断している。Further, the coordinate calculating means 22 determines the start time and the end time of the signature data, which is time-series data, as follows.
【００９２】まず、画像データ中に輝度が所定のしきい
値以上の部分が現れた時点を利用者が署名を開始した時
点であると判断し、その時点からの時系列データを署名
データとして取り扱っている。First, it is determined that a point in time when a part where the luminance is equal to or more than a predetermined threshold value appears in the image data is a point in time when the user starts a signature, and time-series data from that point is treated as signature data. ing.
【００９３】そして、画像データ中において、所定のし
きい値α以上の輝度の部分が消失した時点を利用者が署
名を終了した時点であると判断し、その時点までの時系
列データを署名データとして取り扱っている。Then, it is determined that the point in time at which the user has completed the signature is the point in time at which the portion of the luminance equal to or greater than the predetermined threshold value α has disappeared in the image data. It is treated as.
【００９４】座標算出手段２２はこのような動作をして
いるので、ステップＳ２−１で説明した利用者の署名動
作に基づき、署名データの開始と終了とを容易に判断す
ることができるのである。すなわち、利用者がボタンス
イッチ３４を操作して、ペン装置３０の発光手段３２を
点灯させると、座標算出手段２２はそれを検知して署名
動作が開始されたと判断する。そして、利用者がボタン
スイッチ３４を操作して、ペン装置３０の発光手段３２
を消灯させると、座標算出手段２２はそれを検知して署
名動作が終了したと判断する。Since the coordinate calculation means 22 performs such an operation, the start and end of the signature data can be easily determined based on the user's signature operation described in step S2-1. . That is, when the user operates the button switch 34 to turn on the light emitting means 32 of the pen device 30, the coordinate calculating means 22 detects this and determines that the signature operation has been started. Then, the user operates the button switch 34 to turn on the light emitting unit 32 of the pen device 30.
Is turned off, the coordinate calculation means 22 detects this and determines that the signature operation has been completed.
【００９５】ステップＳ２−４においては、比較照合手
段４０が、上記の求めた署名データと、参照データとを
比較照合する。比較照合の結果、両者が同一人に由来す
るデータであると認められるほど近似している場合に
は、「本人である」との認証結果を出力する。逆に近似
していない場合には、「本人ではない」との認証結果を
出力する。参照データは、本人があらかじめ記憶手段４
２に登録しておく署名データであるが、この参照データ
も本人があらかじめ空中で行った署名の署名データであ
る。In step S2-4, the comparison / comparison means 40 compares the obtained signature data with the reference data. As a result of the comparison and collation, if the two are close enough to be recognized as data originating from the same person, an authentication result of “I am the person” is output. On the other hand, if they are not approximate, an authentication result indicating that the user is not the user is output. The reference data is stored in the storage means 4 in advance by the user.
2, the reference data is also the signature data of a signature that was previously made in the air by the user.
【００９６】利用者が空中に署名を書いた場合の座標の
時系列データは、空中の３次元座標の時系列データであ
る。したがって、従来の筆圧をも検出する電子タブレッ
トで取得する筆圧を含めた署名データと同様に、３次元
のデータである。そのため、署名照合に利用した場合に
従来と同様の精度が実現されると考えられる。The time series data of coordinates when the user writes a signature in the air is time series data of three-dimensional coordinates in the air. Therefore, the data is three-dimensional data in the same manner as the signature data including the pen pressure acquired by the conventional electronic tablet that also detects the pen pressure. Therefore, it is considered that the same accuracy as that of the related art is realized when used for signature verification.
【００９７】このように、本実施の形態１によれば、利
用者が空中で書いた署名データに基づき、個人認証を行
うことが可能である。As described above, according to the first embodiment, personal authentication can be performed based on signature data written by a user in the air.
【００９８】なお、座標算出手段２２や比較照合手段４
０は、コンピュータ、すなわちソフトウェアとそのソフ
トウェアを実行するプロセッサによって構成することが
好ましい。特に迅速な認証動作が必要な場合には専用の
ＬＳＩ等のハードウェアで構成することも好ましい。ま
た、座標算出手段２２はいわゆるビデオトラッカーを利
用して構成することも好ましい。Note that the coordinate calculating means 22 and the comparing / collating means 4
0 is preferably constituted by a computer, that is, software and a processor executing the software. In particular, when a quick authentication operation is required, it is also preferable to configure with a hardware such as a dedicated LSI. It is also preferable that the coordinate calculating means 22 is configured using a so-called video tracker.
【００９９】また、記憶手段４２は、ハードディスクや
フレキシブルディスク等の磁気記憶手段で構成しても良
いし、ＣＤＲＯＭやＭＯ等の光ディスクで構成しても良
い。また、記憶手段４２はフラッシュメモリ等の半導体
記憶手段を利用しても良い。The storage means 42 may be constituted by a magnetic storage means such as a hard disk or a flexible disk, or may be constituted by an optical disk such as a CDROM or MO. Further, the storage unit 42 may use a semiconductor storage unit such as a flash memory.
【０１００】実施の形態２（開始と終了の判断の変形
例） 実施の形態１では、座標算出手段２２は、署名動作の開
始時点と終了時点とを、ペン装置３０の点灯・消灯状態
で判断している。 Embodiment 2 (Modification of Start / End Judgment)
Example) In the first embodiment, the coordinate calculation unit 22 determines the start time and the end time of the signature operation based on whether the pen device 30 is on or off.
【０１０１】しかし、その他の手法で開始時点と終了時
点とを判断しても良い。However, the start point and the end point may be determined by other methods.
【０１０２】たとえば、利用者がペン装置３０を空中に
所定期間Ｔ１より長い期間静止させ、その後、ペン装置
３０を動かし始めた場合に、その動かし始めた時点を署
名の開始時点と判断するのである。For example, when the user stops the pen device 30 in the air for a period longer than the predetermined period T1, and then starts moving the pen device 30, it is determined that the time at which the pen device 30 started moving is the start time of the signature. .
【０１０３】この場合には、座標算出手段２２２は、ペ
ン装置３０が静止してから所定期間Ｔ１以上経過した場
合に、Ｔ１以上時間が経過し署名を入力可能な状態にな
った旨をベル音等で利用者に知らせることが望ましい。
また、音声で「署名を開始してください」等のメッセー
ジを出力することも好ましい。また、所定のライトを点
灯させることも好ましい。これらによって利用者は期間
Ｔ１が経過し、署名動作を開始しても良いことを知るこ
とができるのである。In this case, when the predetermined period T1 or more has elapsed since the pen device 30 was stopped, the coordinate calculating means 222 generates a bell sound indicating that the time has elapsed and the signature can be input. It is desirable to inform the user in such as.
It is also preferable to output a message such as "Please start signature" by voice. It is also preferable to turn on a predetermined light. Thus, the user can know that the period T1 has elapsed and the signature operation may be started.
【０１０４】また、署名動作が終了する際に、利用者が
ペン装置３０を空中に所定期間Ｔ２より長い期間静止さ
せた場合に、その静止を始めた時点（動きを止めた時
点）を署名の終了時点と判断するのである。If the user stops the pen device 30 in the air for a period longer than the predetermined period T2 at the end of the signature operation, the point at which the stationary operation is started (the point at which the movement is stopped) is determined by the signature. It is determined that it is the end point.
【０１０５】この場合には、座標算出手段２２は、ペン
装置３０が静止してから所定期間Ｔ２以上経過した場合
に、その経過をベル音等で利用者に知らせることが望ま
しい。また、音声で「署名データの取得が完了しまし
た」等のメッセージを出力することも好ましい。また、
所定のライトを点灯させることも好ましい。これらによ
って利用者は期間Ｔ２が経過し、署名動作の終了が検知
されたことを知ることができるのである。In this case, it is desirable that when a predetermined period T2 or more has elapsed since the pen device 30 was stopped, the coordinate calculation means 22 informs the user of the progress by a bell sound or the like. It is also preferable to output a message such as "Signature data acquisition completed" by voice. Also,
It is also preferable to turn on a predetermined light. Thus, the user can know that the period T2 has elapsed and that the end of the signature operation has been detected.
【０１０６】なお、ペン装置３０が停止状態であるか否
かに関しては、ペン装置３０の座標の変化が所定値以下
である場合に停止状態であると判断することが好まし
い。人間が空中でペン装置３０を停止させる場合、一般
には多少の揺らぎが生じてしまうと考えられる。そのた
め、「静止」を厳密に適用すると座標が少し変化しても
「動いている」と判断してしまうことになり、妥当では
ない。As to whether or not the pen device 30 is in a stopped state, it is preferable to determine that the pen device 30 is in a stopped state when a change in coordinates of the pen device 30 is equal to or less than a predetermined value. When a human stops the pen device 30 in the air, it is generally considered that some fluctuation occurs. Therefore, if “stationary” is strictly applied, it is determined that “moving” even if the coordinates slightly change, which is not appropriate.
【０１０７】したがって、ごく小さな値を用意し、この
値より動きが小さい場合には「静止」であると判断する
ことが好ましい。なお、ここで動きとは、画像の各フレ
ーム間のペン座標の変化を一般には意味する。Therefore, it is preferable to prepare a very small value, and to judge "still" when the movement is smaller than this value. Here, the movement generally means a change in pen coordinates between frames of an image.
【０１０８】実施の形態３（ペン装置３０の変形例） 実施の形態１では、発光手段３２を有するペン装置３０
を用いて利用者が空中で署名動作を行った。図３におい
ては、このペン装置３０が通常のペンと同様の形状を有
するように描かれているが、発光手段３２を有していれ
ば、どのような形状でもかまわない。 Embodiment 3 (Modification of Pen Device 30) In Embodiment 1, a pen device 30 having a light emitting means 32
The user performed the signature operation in the air using. In FIG. 3, the pen device 30 is depicted as having the same shape as a normal pen, but may have any shape as long as it has the light emitting means 32.
【０１０９】また、実施の形態１では、ペン装置３０は
発光手段３２を有する構成としたが、画像の上で周囲と
識別可能であれば発光手段３２は備えられていなくても
かまわない。たとえば、周囲には存在しない色彩や、極
めて珍しい模様等をペン装置３０に施せば、画像データ
上でペン先を識別することも可能である。このような場
合には発光手段３２は必ずしも必要ではない。In the first embodiment, the pen device 30 has the light-emitting means 32. However, the light-emitting means 32 may not be provided as long as it can be distinguished from the surroundings on the image. For example, by applying a color that does not exist in the surroundings or an extremely rare pattern to the pen device 30, it is possible to identify the pen tip on the image data. In such a case, the light emitting means 32 is not always necessary.
【０１１０】なお、発光手段３２を用いない場合には、
署名の開始と終了とを発光手段３２の点灯状態／消灯状
態で表現することが困難であるため、上記実施の形態２
で説明したようにペン装置３０を一定期間空中に停止さ
せることによって、署名の開始と終了とを示す構成が好
ましい。また、別途、個人認証装置１０に設けられたス
イッチ手段等で署名の開始と終了とを利用者が指示する
ことも好ましい。If the light emitting means 32 is not used,
Since it is difficult to express the start and end of the signature by the lighting state / off state of the light emitting means 32, the second embodiment is described.
As described above, it is preferable that the pen device 30 is stopped in the air for a certain period to indicate the start and end of the signature. It is also preferable that the user separately designates the start and end of the signature using a switch or the like provided in the personal authentication device 10.
【０１１１】さらに、ペン装置３０を用いずに署名動作
をすることも好ましい。たとえば精度の高い画像認識技
術を用いれば、利用者の指等を画像上で識別することも
可能である。この場合、利用者がマニキュアや指輪等画
像上識別しやすい色や形状を手に有している場合には、
これらマニキュアの色や指輪の形状等を画像識別により
認識し、それらの動きの座標データを検出し、署名デー
タを求めることも好ましい。Further, it is preferable to perform the signature operation without using the pen device 30. For example, if a highly accurate image recognition technique is used, a user's finger or the like can be identified on the image. In this case, if the user has a color or shape such as manicure or a ring that is easy to identify on the image,
It is also preferable to recognize the color of the nail polish, the shape of the ring, and the like by image identification, detect the coordinate data of the movement, and obtain the signature data.
【０１１２】実施の形態４（手書きデータ入力装置） 上記実施の形態１〜３では、手書きデータ入力手段１２
を用いた個人認証装置及び方法について説明したが、手
書きデータ入力手段１２は、従来の電子タブレットと同
様に署名データ以外の様々な手書きデータも入力するこ
とが可能である。したがって、従来の電子タブレットの
代わりに手書きデータ入力手段１２を手書きデータ入力
装置として使用し、図形や絵を入力する装置を構成する
ことも好ましい。 Fourth Embodiment (Handwritten Data Input Device) In the first to third embodiments, the handwritten data input means 12
Although the personal authentication device and method using the above have been described, the handwritten data input unit 12 can also input various handwritten data other than the signature data similarly to the conventional electronic tablet. Therefore, it is also preferable to use the handwritten data input unit 12 as a handwritten data input device instead of the conventional electronic tablet to constitute a device for inputting figures and pictures.
【０１１３】実施の形態５（指又は指につけたマーカ） 上記実施の形態１〜４では、ペン装置３０を用いていた
が、単に「指」を用いることも好ましい。この指を画像
データ中において認識できれば、上述した原理と同様の
原理によって、手書きデータを座標の時系列データとし
て得ることが可能である。 Fifth Embodiment (Finger or Marker on Finger) In the first to fourth embodiments, the pen device 30 is used, but it is also preferable to simply use a “finger”. If this finger can be recognized in the image data, it is possible to obtain handwritten data as coordinate time-series data by the same principle as described above.
【０１１４】また、指にマーカを付することも好まし
い。このマーカは画像中において識別することが容易で
ある。したがって、マーカの座標を求めることによって
実質的に指の座標を求めることが容易となる効果があ
る。It is also preferable to attach a marker to the finger. This marker is easy to identify in the image. Therefore, there is an effect that the coordinates of the finger can be substantially easily obtained by obtaining the coordinates of the marker.
【０１１５】なお、マーカとは、目立つ色の各種塗料、
蛍光塗料、夜光塗料等だけでなく、反射テープのように
光を反射して目立たせる働きを有する手段一般を含む概
念である。これらマーカは、画像中において周囲と区別
しやすいので、その座標を容易に求めることができる。The markers are various kinds of paints of a conspicuous color,
This concept includes not only fluorescent paints and luminous paints but also general means having a function of reflecting light to make it stand out like a reflective tape. These markers can be easily distinguished from the surroundings in the image, so that their coordinates can be easily obtained.
【０１１６】実施の形態６（開始時点と終了時点） 手書きデータを座標の時系列データとして得る手法につ
いて述べてきたが、この手書きデータの開始時点と終了
時点の判断はペン装置３０の点灯状態、消灯状態で判断
する手法の他にも種々の手法が考えられる。 Embodiment 6 (Start Time and End Time) The method of obtaining handwritten data as time series data of coordinates has been described. The determination of the start time and end time of the handwritten data depends on the lighting state of the pen device 30, Various methods are conceivable other than the method of making a determination in the light-off state.
【０１１７】たとえば、利用者の声や、ペンスイッチの
音で判断することも好ましい。また、ペン装置３０に所
定の音を発する仕組みを設けておき、利用者がそれを操
作することによって、その所定の音で手書きデータの開
始・終了を明示的に指示することも好ましい。For example, it is preferable to make a determination based on the voice of the user or the sound of a pen switch. It is also preferable that a mechanism for emitting a predetermined sound is provided in the pen device 30, and that the user operates it to explicitly indicate the start / end of the handwritten data with the predetermined sound.
【０１１８】このように、音（声）で開始時点と終了時
点とを判断する場合には、座標算出手段２２にそのよう
な音声データを供給し、座標算出手段２２がその音声デ
ータに基づいて開始時点と終了時点とを判断することが
望ましい。As described above, when judging the start time and the end time based on the sound (voice), such voice data is supplied to the coordinate calculating means 22, and the coordinate calculating means 22 based on the voice data. It is desirable to determine the start time and the end time.
【０１１９】実施の形態７（手書きデータの表示） これまで、手書きデータの入力について説明したが、利
用者が自分が入力した手書きデータを確認できれば便利
である。図５には入力した手書きデータを表示する表示
手段６０を設けた構成を示す説明図が示されている。こ
の表示手段６０は、座標の時系列データを受信し、その
各座標を表示する機能を有している。 Embodiment 7 (Display of Handwritten Data) Although input of handwritten data has been described so far, it is convenient if a user can confirm handwritten data input by himself / herself. FIG. 5 is an explanatory diagram showing a configuration in which display means 60 for displaying input handwritten data is provided. The display means 60 has a function of receiving time-series data of coordinates and displaying each coordinate.
【０１２０】この表示は、より正確に言えば、３次元座
標を２次元平面に投影した投影図（２次元表示）であ
る。また、この表示においては、利用者の選択によって
視点を移動させたり、対象物を回転等させることができ
ることが好ましい。This display is, more precisely, a projection (two-dimensional display) in which three-dimensional coordinates are projected onto a two-dimensional plane. In this display, it is preferable that the viewpoint can be moved or the object can be rotated by the user's selection.
【０１２１】この表示手段６０は、たとえばパーソナル
コンピュータ等で実現することができる。表示の手段
は、液晶表示画面を用いても良いし、ＣＲＴを用いても
かまわない。This display means 60 can be realized by, for example, a personal computer or the like. As a display means, a liquid crystal display screen or a CRT may be used.
【０１２２】なお、この表示に際して、各座標を時系列
の順番で線分で結び、その線分も表示すれば、粗い時間
間隔で座標を取得した場合でもなめらかな表示が得られ
る。また、単なる線分ではなく、スプライン等の曲線で
補間した図形を示すことも好ましい。In this display, if each coordinate is connected by a line segment in a time series order and the line segment is also displayed, a smooth display can be obtained even when the coordinates are obtained at a coarse time interval. It is also preferable to show a figure interpolated by a curve such as a spline instead of a simple line segment.
【０１２３】また、表示は手書き動作と同時に、いわゆ
るリアルタイムで行うことが一般には望ましいが、手書
き動作が完了してから全体を表示するようにしても好ま
しい。It is generally desirable that the display be performed in so-called real time simultaneously with the handwriting operation, but it is also preferable to display the whole after the handwriting operation is completed.
【０１２４】このように手書きデータを表示することに
よって、利用者は自己の入力した手書きデータを知るこ
とができ、利便性の向上が図られる。By displaying the handwritten data in this way, the user can know the handwritten data input by the user, and the convenience is improved.
【０１２５】実施の形態８（変調光の利用） ペン装置３０に設けられる発光手段３２は、周囲に比べ
て画像上輝度が高くなる。そのため、画像上容易にペン
装置３０を周囲と区別して認識することができる。 Eighth Embodiment (Utilization of Modulated Light) The light emitting means 32 provided in the pen device 30 has a higher image brightness than the surroundings. Therefore, the pen device 30 can be easily distinguished from the surroundings on the image.
【０１２６】さらに、発光手段３２の光を変調光とする
ことも好ましい。Furthermore, it is preferable that the light of the light emitting means 32 is modulated light.
【０１２７】たとえば、発光手段３２の光を１００Ｈｚ
程度の周波数で明滅させるのである。そして、動画像デ
ータの中から、１００Ｈｚで明滅する光のみをフィルタ
リングで取り出せば、発光手段３２の位置を明確に認識
することが可能である。このように発光手段３２を所定
周期で明滅させることは、特に周囲の輝度が高い場合
（昼間の屋外等）に手書きデータ又は署名データを入力
する場合に効果を発揮する。周囲の輝度が高い場合に
は、発光手段３２の光の輝度を周囲より高くすることは
困難であるので単に発光手段３２が光を発するだけでは
ペン装置３０の識別が困難となることも考えられる。そ
の一方、自然界には１００Ｈｚ程度で明滅を繰り返す光
源はほとんど存在しないため、変調光を採用すれば、ペ
ン装置３０を容易に識別できるからである。For example, the light of the light emitting means 32 is set to 100 Hz
It flickers at about the frequency. Then, if only the light blinking at 100 Hz is extracted from the moving image data by filtering, the position of the light emitting means 32 can be clearly recognized. Blinking the light emitting means 32 at a predetermined cycle in this manner is particularly effective when inputting handwritten data or signature data when the surrounding luminance is high (outdoors in the daytime, etc.). When the surrounding brightness is high, it is difficult to make the brightness of the light of the light emitting means 32 higher than that of the surroundings. Therefore, it is conceivable that the pen device 30 may be difficult to identify simply by the light emitting means 32 emitting light. . On the other hand, since there is almost no light source that repeats blinking at about 100 Hz in the natural world, the pen device 30 can be easily identified by using modulated light.
【０１２８】変調光（たとえば１００Ｈｚで明滅）のみ
を取り出すフィルタリングの手法は種々の手法を利用す
ることができる。たとえば、１００Ｈｚの周波数で明滅
を繰り返すということは、端的に言えば、５ｍ秒の間点
灯し、続く５ｍ秒の間消灯し、これを繰り返すことであ
る。したがって、点灯している５ｍ秒の間の動画データ
から、消灯している５ｍ秒の動画データを減算すれば、
明滅状態が反転している発光手段３２の輝度の絶対値は
約２倍に大きくなるが、輝度がほとんど変化していない
周囲は、ほぼ同一の値同士の減算となる。したがって、
周囲の画像データの値は０に近くなる一方、発光手段３
２の部位のデータ値はその絶対値がほぼ２倍になる。し
たがって、このような処理を施した後に、画像中の絶対
値の大きな領域を取り出せば、容易に発光手段３２の領
域を取り出すことができる。Various techniques can be used as a filtering technique for extracting only the modulated light (for example, blinking at 100 Hz). For example, repeating blinking at a frequency of 100 Hz simply means turning on for 5 ms, turning off for the next 5 ms, and repeating this. Therefore, if the unlit 5 ms video data is subtracted from the unlit 5 ms video data,
Although the absolute value of the luminance of the light emitting means 32 whose blinking state is inverted becomes about twice as large, in the periphery where the luminance hardly changes, almost the same values are subtracted. Therefore,
The value of the surrounding image data is close to 0, while the light emitting means 3
The absolute value of the data value of the portion 2 is almost doubled. Therefore, if the area having a large absolute value in the image is taken out after performing such processing, the area of the light emitting means 32 can be easily taken out.
【０１２９】本実施の形態８においては、このフィルタ
リング動作は、座標算出手段２２が実行する。取り出さ
れた発光手段３２の上記領域の座標の算出は、座標算出
手段２２が実行するからである。In the eighth embodiment, this filtering operation is executed by the coordinate calculating means 22. This is because the coordinates of the extracted area of the light emitting unit 32 are calculated by the coordinate calculating unit 22.
【０１３０】このように、本実施の形態８によれば、発
光手段３２が発する光を変調光としたので、周囲の輝度
が高い場合でも発光手段３２を画像の上で区別すること
が可能である。その結果、明るい場所でもペン装置３０
の位置を把握することができるの で、利用者は昼間の
屋外等でも手書きデータや署名データを入力することが
可能となる。As described above, according to the eighth embodiment, since the light emitted from the light emitting means 32 is used as the modulated light, the light emitting means 32 can be distinguished on the image even when the surrounding luminance is high. is there. As a result, the pen device 30 can be used even in a bright place.
Since the user can grasp the position of the user, the user can input handwritten data and signature data even outdoors in the daytime.
【０１３１】[0131]
【発明の効果】以上述べたように、本発明によれば、利
用者が空中で書いた手書きデータを３次元座標の時系列
データとして入力することができる。As described above, according to the present invention, handwritten data written by a user in the air can be input as time-series data of three-dimensional coordinates.
【０１３２】特に、本発明においては、手書きデータが
空中の３次元座標で表されているため、署名照合の精度
を向上させることができる。In particular, in the present invention, the accuracy of signature verification can be improved because the handwritten data is represented by three-dimensional coordinates in the air.
【０１３３】また、ペン装置に発光手段を設ければ、ペ
ン装置の座標を検知しやすくなり、手書きデータの入力
精度が向上する。Further, if the pen device is provided with the light emitting means, the coordinates of the pen device can be easily detected, and the accuracy of inputting the handwritten data can be improved.
【０１３４】また、このような手書きデータ入力装置を
用いて個人認証に利用する署名データを入力すれば、小
型の電子機器上で個人認証を実行することができる。If signature data used for personal authentication is input using such a handwritten data input device, personal authentication can be performed on a small electronic device.
【０１３５】また、発光手段の点灯／消灯状態で署名デ
ータの開始時点と終了時点とを表しているため、署名デ
ータの取得の開始／終了を判断するのが容易になる。Further, since the start and end times of the signature data are indicated by the lighting / off state of the light emitting means, it is easy to determine the start / end of the signature data acquisition.
【０１３６】さらに、ペン装置が一定期間以上停止して
いる状態を検知して、手書きデータの入力の開始と終了
とを判断すれば、ペン装置に発光手段を備えさせる必要
がなくなる。特に、この場合は、開始や終了が判明した
時点で利用者に音等で知らせれば、利用者は開始時点／
終了時点を容易に知ることが可能である。Further, if it is determined that the pen device has been stopped for a certain period of time or more and the start and end of the input of the handwritten data are determined, it is not necessary to provide the pen device with a light emitting means. In particular, in this case, if the user is notified by sound or the like when the start or end is determined, the user can start /
The end point can be easily known.
【０１３７】また、これまで述べた手書きデータ入力装
置／方法を利用して個人認証装置／方法を構成すれば、
同様の効果が得られる個人認証装置／方法が構成可能で
ある。If the personal authentication device / method is configured using the handwritten data input device / method described above,
A personal authentication device / method that can achieve the same effect can be configured.
【０１３８】また、本発明は、利用者の音声やペンスイ
ッチの音で、手書きデータの開始時点／終了時点を指示
するように構成しているので、利用者は開始時点／終了
時点を明示的に示すことができ、円滑な手書きデータの
入力や署名動作が可能である。Further, since the present invention is configured so as to indicate the start time / end time of the handwritten data by the voice of the user or the sound of the pen switch, the user explicitly specifies the start time / end time. And smooth input of handwritten data and signature operation are possible.
【０１３９】また、入力した手書きデータを表示する手
段を設けているので、利用者は自分が書いた手書きデー
タを確認することができるので、安心して手書きデータ
の入力をすることができる。Further, since the means for displaying the input handwritten data is provided, the user can confirm the handwritten data which he / she has written, so that the user can input the handwritten data with ease.
【０１４０】さらに、本発明は、ペン装置を用いずに利
用者の指で手書きデータを書くように構成しているの
で、ペン装置を準備する必要がなくなる。特に、指にマ
ーカを付せば、このマーカの座標を求めることによっ
て、容易に指の座標を求めることが可能である。Further, since the present invention is configured to write handwritten data with a user's finger without using a pen device, there is no need to prepare a pen device. In particular, if a marker is attached to a finger, the coordinates of the finger can be easily obtained by obtaining the coordinates of the marker.
【０１４１】また、本発明においては、変調光を利用し
たので、ペン装置の発する光を容易に識別可能である。
その結果、周囲が明るい場合でも、手書きデータや署名
データの入力を行うことが可能である。In the present invention, since the modulated light is used, the light emitted from the pen device can be easily identified.
As a result, even when the surroundings are bright, it is possible to input handwritten data or signature data.
【図１】本発明の好適な実施の形態１の個人認証装置の
構成ブロック図である。FIG. 1 is a configuration block diagram of a personal authentication device according to a preferred embodiment 1 of the present invention;
【図２】本実施の形態１の個人認証方法の動作の流れを
表すフローチャートである。FIG. 2 is a flowchart showing an operation flow of the personal authentication method according to the first embodiment.
【図３】ペン装置の説明図である。FIG. 3 is an explanatory diagram of a pen device.
【図４】３次元座標を求める原理を表す説明図である。FIG. 4 is an explanatory diagram illustrating a principle of obtaining three-dimensional coordinates.
【図５】表示手段を用いた例を示す説明図である。FIG. 5 is an explanatory diagram showing an example using display means.
１０ 個人認証装置 １２ 手書きデータ入力手段 １４ 署名照合手段 ２０ カメラ手段 ２２ 座標算出手段 ３０ ペン装置 ３２ 発光手段 ３４ ボタンスイッチ ４０ 比較照合手段 ４２ 記憶手段 ６０ 表示手段 DESCRIPTION OF SYMBOLS 10 Personal authentication apparatus 12 Handwritten data input means 14 Signature collation means 20 Camera means 22 Coordinate calculation means 30 Pen device 32 Light emitting means 34 Button switch 40 Comparison collation means 42 Storage means 60 Display means
フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 1/00 ４００ Ｇ０６Ｔ 1/00 ４００Ｈ ４００Ｌ (72)発明者 片桐 雅二 東京都千代田区永田町二丁目11番１号 株 式会社エヌ・ティ・ティ・ドコモ内 (72)発明者 杉村 利明 東京都千代田区永田町二丁目11番１号 株 式会社エヌ・ティ・ティ・ドコモ内 (72)発明者 中野 博隆 東京都千代田区永田町二丁目11番１号 株 式会社エヌ・ティ・ティ・ドコモ内 (72)発明者 稲葉 洋 神奈川県横浜市港北区綱島東４丁目３番１ 号 松下通信工業株式会社内 (72)発明者 赤坂 勉 神奈川県横浜市港北区綱島東４丁目３番１ 号 松下通信工業株式会社内 (72)発明者 茶位 利昭 東京都世田谷区用賀４丁目５番16号 ＴＥ ビル５Ｆ 日本サイバーサイン株式会社内 (72)発明者 安田 利弘 東京都世田谷区用賀４丁目５番16号 ＴＥ ビル５Ｆ 日本サイバーサイン株式会社内 Ｆターム(参考） 5B047 AA07 AA23 AA27 BB06 CB23 5B057 BA02 CA12 CA16 CB13 CB18 DA07 DB03 DC31 5B068 AA04 AA11 BB18 BC03 BD09 BD17 BE06 BE08 CD06 EE01 5B087 AA02 AC02 AE00 BC03 BC12 BC13 BC26 BC32 DD03 DD17Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat II (Reference) G06T 1/00 400 G06T 1/00 400H 400L (72) Inventor Masaji Katagiri 2-1-1 Nagatacho, Chiyoda-ku, Tokyo NTT DoCoMo, Inc. (72) Inventor Toshiaki Sugimura 2-1-1, Nagatacho, Chiyoda-ku, Tokyo, Japan 2-11-1, Nagata-cho, Ward Inside NTT DoCoMo, Inc. (72) Inventor Hiroshi Inaba 4-3-1 Tsunashima Higashi, Kohoku-ku, Yokohama, Kanagawa Prefecture Matsushita Communication Industrial Co., Ltd. (72) Invention Person: Tsutomu Akasaka 4-3-1, Tsunashimahigashi, Kohoku-ku, Yokohama-shi, Kanagawa Prefecture Inside Matsushita Communication Industrial Co., Ltd. (72) Inventor: Toshiaki Cha rank 4-16, Yoga, Setagaya-ku, Tokyo TE Building 5F Japan CyberSign Corporation (72) Inventor Toshihiro Yasuda Yoga, Setagaya-ku, Tokyo 4-5-16 TE Building 5F F-term in Japan CyberSign Inc. (Reference) 5B047 AA07 AA23 AA27 BB06 CB23 5B057 BA02 CA12 CA16 CB13 CB18 DA07 DB03 DC31 5B068 AA04 AA11 BB18 BC03 BD09 BD17 BE06 BE08 CD06 AEE01 ACB BC03 BC12 BC13 BC26 BC32 DD03 DD17
Claims (27)
によって、空中に書いた手書きデータを取得する装置に
おいて、 前記利用者によって動かされるペン装置の第１動画デー
タを取得する第１カメラ手段と、 前記第１カメラ手段と異なる方向から前記ペン装置の第
２動画データを取得する第２カメラ手段と、 前記第１動画データと、前記第２動画データと、に基づ
き、前記ペン装置の３次元空間上の３次元座標を求め、
この座標の時系列データを求める座標算出手段と、 を含むことを特徴とする手書きデータ入力装置。1. An apparatus for acquiring handwritten data written in the air by moving a pen device in the air by a user, wherein first camera means for acquiring first moving image data of the pen device moved by the user. A second camera unit that acquires second moving image data of the pen device from a direction different from that of the first camera unit; and a third device of the pen device based on the first moving image data and the second moving image data. Find three-dimensional coordinates in a three-dimensional space,
A handwriting data input device comprising: a coordinate calculation means for obtaining time-series data of the coordinates.
おいて、 前記ペン装置は、発光手段を有し、 前記座標算出手段は、前記発光手段の前記画面上におけ
る座標を算出することを特徴とする手書きデータ入力装
置。2. The handwritten data input device according to claim 1, wherein the pen device has a light emitting unit, and the coordinate calculating unit calculates coordinates of the light emitting unit on the screen. Handwriting data input device.
おいて、 前記ペン装置は、前記発光手段の点灯状態と消灯状態と
を切り換え可能なペン装置であり、 前記座標算出手段は、前記発光手段が点灯状態になって
から消灯状態に至るまでの前記発光手段の前記画面上に
おける座標を算出することを特徴とする手書きデータ入
力装置。3. The handwritten data input device according to claim 2, wherein the pen device is a pen device capable of switching between a light-on state and a light-off state of the light-emitting unit, and the coordinate calculation unit includes a light-emitting unit. A handwriting data input device for calculating coordinates of the light emitting means on the screen from a lighting state to a light-off state;
おいて、 前記座標算出手段は、前記ペン装置が前記画面上で所定
の第１期間より長い停止状態から動きを開始した場合の
動き開始時点から、その後所定の第２期間より長い停止
状態に至った際の動きを停止した動き停止時点までの前
記ペン装置の前記画面上における座標を算出することを
特徴とする手書きデータ入力装置。4. The handwritten data input device according to claim 1, wherein the coordinate calculation means starts from a movement start point when the pen device starts moving from a stop state longer than a predetermined first period on the screen. A handwriting data input device for calculating coordinates on the screen of the pen device up to a time point when the movement of the pen device is stopped when the movement of the pen device reaches a stop state longer than a predetermined second period thereafter.
おいて、 前記座標算出手段は、前記ペン装置の座標の変化が所定
値より小さい場合に、前記ペン装置は停止状態にあると
判断することを特徴とする手書きデータ入力装置。5. The handwritten data input device according to claim 4, wherein said coordinate calculating means determines that said pen device is in a stopped state when a change in coordinates of said pen device is smaller than a predetermined value. Characteristic handwriting data input device.
おいて、 前記座標算出手段は、 前記ペン装置が前記第１期間より長い停止状態にあると
判断した場合に、前記利用者に手書きデータの入力の開
始を知らせ、 前記ペン装置が前記第２期間より長い停止状態にあると
判断した場合に、前記利用者に手書きデータの入力の終
了を知らせることを特徴とする手書きデータ入力装置。6. The handwritten data input device according to claim 4, wherein the coordinate calculation unit inputs the handwritten data to the user when the pen device determines that the pen device is in a stop state longer than the first period. A handwriting data input device that notifies the user of the end of input of handwritten data when it is determined that the pen device is in a stopped state longer than the second period.
おいて、 前記座標算出手段は、音によって手書きデータの入力の
開始を知らせ、また、音によって手書きデータの入力の
終了を知らせることを特徴とする手書きデータ入力装
置。7. The handwritten data input device according to claim 6, wherein said coordinate calculating means notifies the start of the input of the handwritten data by a sound and notifies the end of the input of the handwritten data by a sound. Handwriting data input device.
おいて、 前記座標算出手段は、外部からの音声によって、手書き
データの開始時点及び終了時点を認識することを特徴と
する手書きデータ入力装置。8. The handwritten data input device according to claim 1, wherein the coordinate calculating means recognizes a start time and an end time of the handwritten data by an external voice.
おいて、 前記音声は、前記利用者の声、又は、前記ペン装置に設
けられたペンスイッチの音であることを特徴とする手書
きデータ入力装置。9. The handwritten data input device according to claim 1, wherein the voice is a voice of the user or a sound of a pen switch provided in the pen device. .
において、 前記算用の時系列データを表示する表示手段、 を含むことを特徴とする手書きデータ入力装置。10. The handwritten data input device according to claim 1, further comprising: display means for displaying the time series data for calculation.
記載の手書きデータ入力装置を備えた個人認証装置にお
いて、 あらかじめ正当な本人の署名データである参照データが
記憶されている記憶手段と、 前記参照データと、前記手書きデータ入力装置が手書き
データとして入力した前記利用者の署名データと、を比
較照合し、両者が同一人による署名であると判断する場
合には本人である旨の認証結果を出力する比較照合手段
と、 を含むことを特徴とする個人認証装置。11. A personal authentication device provided with a handwritten data input device according to any one of claims 1 to 10, wherein a storage means in which reference data, which is signature data of a valid person, is stored in advance. The reference data is compared with the signature data of the user input as handwritten data by the handwritten data input device, and when both are determined to be signed by the same person, authentication of identity is performed. A personal authentication device comprising: a comparison / collation unit that outputs a result.
によって、空中に書いた手書きデータを取得する方法に
おいて、 前記利用者によって動かされるペン装置を第１の方向か
ら撮影して第１動画データを取得する第１取得ステップ
と、 前記利用者によって動かされるペン装置を第１の方向と
は異なる第２の方向から撮影して第２動画データを取得
する第２取得ステップと、 前記取得したペン装置の第１動画データ及び第２動画デ
ータに基づき、前記ペン装置の３次元座標を求め、さら
に、この座標の時系列データを求める座標算出ステップ
と、 を含むことを特徴とする手書きデータ入力方法。12. A method of acquiring handwritten data written in the air by moving a pen device in the air by a user, wherein the first moving image is obtained by photographing the pen device moved by the user from a first direction. A first acquisition step of acquiring data, a second acquisition step of photographing a pen device moved by the user from a second direction different from a first direction to acquire second moving image data, A coordinate calculating step of obtaining three-dimensional coordinates of the pen device based on the first moving image data and the second moving image data of the pen device, and further obtaining time-series data of the coordinates. Method.
法において、 前記ペン装置は、発光手段を有し、 前記座標算出ステップにおいては、前記発光手段の前記
画面上における座標を算出することを特徴とする手書き
データ入力方法。13. The handwritten data input method according to claim 12, wherein the pen device has a light emitting unit, and in the coordinate calculation step, calculates coordinates of the light emitting unit on the screen. How to input handwritten data.
法において、 前記ペン装置は、前記発光手段の点灯状態と消灯状態と
を切り換え可能なペン装置であり、 前記座標算出ステップにおいては、前記発光手段が点灯
状態になってから消灯状態に至るまでの前記発光手段の
前記画面上における座標を算出することを特徴とする手
書きデータ入力方法。14. The handwriting data input method according to claim 13, wherein the pen device is a pen device that can switch between a light-on state and a light-off state of the light-emitting means, and in the coordinate calculation step, the light-emitting means Calculating the coordinates of the light emitting means on the screen from when the light emitting device turns on to when the light emitting device turns off.
法において、 前記座標算出ステップにおいては、前記ペン装置が前記
画面上で所定の第１期間より長い停止状態から動きを開
始した場合の動き開始時点から、その後所定の第２期間
より長い停止状態に至った際の動きを停止した動き停止
時点までの前記ペン装置の前記画面上における座標を算
出することを特徴とする手書きデータ入力方法。15. The handwriting data input method according to claim 12, wherein in the coordinate calculation step, a movement start time point when the pen device starts moving from a stop state longer than a predetermined first period on the screen. And calculating the coordinates on the screen of the pen device from the time when the movement of the pen device to the time when the movement of the pen device is stopped after reaching the stop state longer than the predetermined second period is calculated.
法において、 前記座標算出ステップにおいては、前記ペン装置の座標
の変化が所定値より小さい場合に、前記ペン装置は停止
状態にあると判断することを特徴とする手書きデータ入
力方法。16. The handwriting data input method according to claim 15, wherein in the coordinate calculation step, when the change in the coordinates of the pen device is smaller than a predetermined value, it is determined that the pen device is in a stopped state. A handwritten data input method characterized by the following.
法において、 前記座標算出ステップにおいては、 前記ペン装置が前記第１期間より長い停止状態にあると
判断した場合に、前記利用者に手書きデータの入力の開
始を知らせ、 前記ペン装置が前記第２期間より長い停止状態にあると
判断した場合に、前記利用者に手書きデータの入力の終
了を知らせることを特徴とする手書きデータ入力方法。17. The handwritten data input method according to claim 15, wherein, in the coordinate calculation step, when the pen device is determined to be in a stop state longer than the first period, the user is notified of the handwritten data. A handwriting data input method, comprising: notifying start of input; and, when determining that the pen device has been in a stopped state longer than the second period, notifying the user of the end of input of handwritten data.
法において、 前記座標算出ステップは、音によって手書きデータの入
力の開始を知らせ、また、音によって手書きデータの入
力の終了を知らせることを特徴とする手書きデータ入力
方法。18. The handwritten data input method according to claim 17, wherein the coordinate calculation step notifies the start of the input of the handwritten data by a sound and the end of the input of the handwritten data by a sound. Handwritten data input method.
法において、 前記座標算出ステップは、外部からの音声によって、手
書きデータの開始時点及び終了時点を認識することを特
徴とする手書きデータ入力方法。19. The handwritten data input method according to claim 12, wherein the coordinate calculation step recognizes a start time and an end time of the handwritten data by an external voice.
法において、 前記音声は、前記利用者の声、又は、前記ペン装置に設
けられたペンスイッチの音であることを特徴とする手書
きデータ入力方法。20. The handwritten data input method according to claim 12, wherein the voice is a voice of the user or a sound of a pen switch provided in the pen device. .
に記載の手書きデータ入力方法を含む個人認証方法にお
いて、 あらかじめ正当な本人の署名データである参照データ
と、前記手書きデータ入力方法を用いて手書きデータと
して入力した前記利用者の署名データと、を比較照合
し、両者が同一人による署名であると判断する場合には
本人である旨の認証結果を出力する比較照合ステップ、 を含むことを特徴とする個人認証方法。21. A personal authentication method including a handwritten data input method according to any one of claims 12 to 20, wherein a reference data which is signature data of a valid person in advance and said handwritten data input method are used. Comparing the user's signature data input as handwritten data with the user's signature data, and outputting an authentication result indicating that the user is the identity if both are determined to be signed by the same person. A personal authentication method characterized by the following.
って、空中に書いた手書きデータを取得する装置におい
て、 前記利用者が動かす指の第１動画データを取得する第１
カメラ手段と、 前記第１カメラ手段と異なる方向から前記指の第２動画
データを取得する第２カメラ手段と、 前記第１動画データと、前記第２動画データと、に基づ
き、前記指の３次元空間上の３次元座標を求め、この座
標の時系列データを求める座標算出手段と、 を含むことを特徴とする手書きデータ入力装置。22. An apparatus for obtaining handwritten data written in the air by moving a finger in the air by a user, wherein a first moving image data of a finger moved by the user is obtained.
Camera means; second camera means for acquiring second moving image data of the finger from a direction different from that of the first camera means; and three fingers of the finger based on the first moving image data and the second moving image data. A coordinate calculating means for obtaining three-dimensional coordinates in a three-dimensional space and obtaining time-series data of the coordinates; and a handwriting data input device.
置において、 前記指には、マーカが付されており、前記座標算出手段
は、前記指のマーカの座標の時系列データを求めること
を特徴とする手書きデータ入力装置。23. The handwritten data input device according to claim 22, wherein the finger is provided with a marker, and the coordinate calculating means obtains time-series data of the coordinates of the marker of the finger. Handwritten data input device.
って、空中に書いた手書きデータを取得する方法におい
て、 前記利用者が動かす指の第１動画データを取得する第１
取得ステップと、 前記第１取得ステップと異なる方向から前記指の第２動
画データを取得する第２取得ステップと、 前記第１動画データと、前記第２動画データと、に基づ
き、前記指の３次元空間上の３次元座標を求め、この座
標の時系列データを求める座標算出ステップと、 を含むことを特徴とする手書きデータ入力方法。24. A method of acquiring handwritten data written in the air by moving a finger in the air by a user, wherein a first moving image data of a finger moved by the user is acquired.
An acquiring step, a second acquiring step of acquiring second moving image data of the finger from a direction different from that of the first acquiring step, based on the first moving image data and the second moving image data, A coordinate calculation step of obtaining three-dimensional coordinates in a three-dimensional space and obtaining time-series data of the coordinates.
法において、 前記指には、マーカが付されており、前記座標算出ステ
ップは、前記指のマーカの座標の時系列データを求める
ことを特徴とする手書きデータ入力方法。25. The handwritten data input method according to claim 24, wherein the finger is provided with a marker, and the coordinate calculation step obtains time-series data of the coordinates of the marker of the finger. How to input handwritten data.
において、 前記発光手段は、変調光を発し、 前記座標算出手段は、前記動画データ中から前記変調光
の部分の座標を算出することを特徴とする手書きデータ
入力装置。26. The handwritten data input device according to claim 2, wherein the light emitting unit emits modulated light, and the coordinate calculating unit calculates coordinates of the modulated light portion from the moving image data. Handwritten data input device.
法において、 前記発光手段は、変調光を発し、 前記座標算出ステップは、前記動画データ中から前記変
調光の部分の座標を算出することを特徴とする手書きデ
ータ入力方法。27. The handwritten data input method according to claim 13, wherein said light emitting means emits modulated light, and said coordinate calculation step calculates coordinates of a portion of said modulated light from said moving image data. Handwritten data input method.
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000398040A JP2002196874A (en) | 2000-12-27 | 2000-12-27 | Device and method for inputting handwritten data, personal certification device and its method |
| EP01955568A EP1353263A4 (en) | 2000-12-27 | 2001-08-03 | Handwriting data input device and method, and authenticating device and method |
| US10/182,602 US6947029B2 (en) | 2000-12-27 | 2001-08-03 | Handwritten data input device and method, and authenticating device and method |
| KR1020027011252A KR20020087938A (en) | 2000-12-27 | 2001-08-03 | Handwriting data input device and method, and authenticating device and method |
| PCT/JP2001/006705 WO2002054217A1 (en) | 2000-12-27 | 2001-08-03 | Handwriting data input device and method, and authenticating device and method |
| CN01808321A CN1425150A (en) | 2000-12-27 | 2001-08-03 | Handwritting data input device and method, and authenticating device and method |
| NO20024081A NO20024081L (en) | 2000-12-27 | 2002-08-27 | Apparatus and method for posting handwritten data and personal identification apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000398040A JP2002196874A (en) | 2000-12-27 | 2000-12-27 | Device and method for inputting handwritten data, personal certification device and its method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002196874A true JP2002196874A (en) | 2002-07-12 |
Family
ID=18863084
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000398040A Pending JP2002196874A (en) | 2000-12-27 | 2000-12-27 | Device and method for inputting handwritten data, personal certification device and its method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002196874A (en) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005149119A (en) * | 2003-11-14 | 2005-06-09 | Toshiba Corp | Information processor and signature data input program |
| JP2006518076A (en) * | 2003-02-14 | 2006-08-03 | ネクスト ホールディングス リミティド | Touch screen signal processing |
| JP2007536652A (en) * | 2004-05-05 | 2007-12-13 | スマート テクノロジーズ ユーエルシーエス | Apparatus and method for detecting a pointer corresponding to a touch surface |
| JPWO2006041097A1 (en) * | 2004-10-12 | 2008-05-15 | 日本電信電話株式会社 | Three-dimensional pointing method, three-dimensional display control method, three-dimensional pointing device, three-dimensional display control device, three-dimensional pointing program, and three-dimensional display control program |
| US7964281B2 (en) | 2004-11-30 | 2011-06-21 | Tdk Corporation | Transparent conductor |
| US8115753B2 (en) | 2007-04-11 | 2012-02-14 | Next Holdings Limited | Touch screen system with hover and click input methods |
| US8149221B2 (en) | 2004-05-07 | 2012-04-03 | Next Holdings Limited | Touch panel display system with illumination and detection provided from a single edge |
| US8289299B2 (en) | 2003-02-14 | 2012-10-16 | Next Holdings Limited | Touch screen signal processing |
| JP2012221445A (en) * | 2011-04-14 | 2012-11-12 | Seiko Epson Corp | Interactive system, control method of interactive system, and projector |
| JP2013020311A (en) * | 2011-07-07 | 2013-01-31 | Fujitsu Ltd | Image processing system, image processing method and image processing program |
| US8384693B2 (en) | 2007-08-30 | 2013-02-26 | Next Holdings Limited | Low profile touch panel systems |
| US8405637B2 (en) | 2008-01-07 | 2013-03-26 | Next Holdings Limited | Optical position sensing system and optical position sensor assembly with convex imaging window |
| US8432377B2 (en) | 2007-08-30 | 2013-04-30 | Next Holdings Limited | Optical touchscreen with improved illumination |
| US8456447B2 (en) | 2003-02-14 | 2013-06-04 | Next Holdings Limited | Touch screen signal processing |
| US8508508B2 (en) | 2003-02-14 | 2013-08-13 | Next Holdings Limited | Touch screen signal processing with single-point calibration |
| JP2014203174A (en) * | 2013-04-02 | 2014-10-27 | 富士通株式会社 | Information operation display system, display program, and display method |
| JP2016100024A (en) * | 2014-11-25 | 2016-05-30 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | Computing apparatus and method for three-dimensional interaction |
| JP2016224606A (en) * | 2015-05-28 | 2016-12-28 | アイシン精機株式会社 | Operation device |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11134089A (en) * | 1997-10-29 | 1999-05-21 | Takenaka Komuten Co Ltd | Hand pointing device |
| JP2000175070A (en) * | 1998-08-31 | 2000-06-23 | Samsung Electronics Co Ltd | Pointing position recognition device for video display device with remote controller and its recognition method |
-
2000
- 2000-12-27 JP JP2000398040A patent/JP2002196874A/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11134089A (en) * | 1997-10-29 | 1999-05-21 | Takenaka Komuten Co Ltd | Hand pointing device |
| JP2000175070A (en) * | 1998-08-31 | 2000-06-23 | Samsung Electronics Co Ltd | Pointing position recognition device for video display device with remote controller and its recognition method |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8289299B2 (en) | 2003-02-14 | 2012-10-16 | Next Holdings Limited | Touch screen signal processing |
| JP2006518076A (en) * | 2003-02-14 | 2006-08-03 | ネクスト ホールディングス リミティド | Touch screen signal processing |
| US8456447B2 (en) | 2003-02-14 | 2013-06-04 | Next Holdings Limited | Touch screen signal processing |
| JP4668897B2 (en) * | 2003-02-14 | 2011-04-13 | ネクスト ホールディングス リミティド | Touch screen signal processing |
| US8466885B2 (en) | 2003-02-14 | 2013-06-18 | Next Holdings Limited | Touch screen signal processing |
| US8508508B2 (en) | 2003-02-14 | 2013-08-13 | Next Holdings Limited | Touch screen signal processing with single-point calibration |
| JP2005149119A (en) * | 2003-11-14 | 2005-06-09 | Toshiba Corp | Information processor and signature data input program |
| JP2007536652A (en) * | 2004-05-05 | 2007-12-13 | スマート テクノロジーズ ユーエルシーエス | Apparatus and method for detecting a pointer corresponding to a touch surface |
| US8149221B2 (en) | 2004-05-07 | 2012-04-03 | Next Holdings Limited | Touch panel display system with illumination and detection provided from a single edge |
| JPWO2006041097A1 (en) * | 2004-10-12 | 2008-05-15 | 日本電信電話株式会社 | Three-dimensional pointing method, three-dimensional display control method, three-dimensional pointing device, three-dimensional display control device, three-dimensional pointing program, and three-dimensional display control program |
| JP4515458B2 (en) * | 2004-10-12 | 2010-07-28 | 日本電信電話株式会社 | Three-dimensional pointing method, three-dimensional pointing device, and three-dimensional pointing program |
| US7964281B2 (en) | 2004-11-30 | 2011-06-21 | Tdk Corporation | Transparent conductor |
| US8115753B2 (en) | 2007-04-11 | 2012-02-14 | Next Holdings Limited | Touch screen system with hover and click input methods |
| US8432377B2 (en) | 2007-08-30 | 2013-04-30 | Next Holdings Limited | Optical touchscreen with improved illumination |
| US8384693B2 (en) | 2007-08-30 | 2013-02-26 | Next Holdings Limited | Low profile touch panel systems |
| US8405636B2 (en) | 2008-01-07 | 2013-03-26 | Next Holdings Limited | Optical position sensing system and optical position sensor assembly |
| US8405637B2 (en) | 2008-01-07 | 2013-03-26 | Next Holdings Limited | Optical position sensing system and optical position sensor assembly with convex imaging window |
| JP2012221445A (en) * | 2011-04-14 | 2012-11-12 | Seiko Epson Corp | Interactive system, control method of interactive system, and projector |
| JP2013020311A (en) * | 2011-07-07 | 2013-01-31 | Fujitsu Ltd | Image processing system, image processing method and image processing program |
| JP2014203174A (en) * | 2013-04-02 | 2014-10-27 | 富士通株式会社 | Information operation display system, display program, and display method |
| JP2016100024A (en) * | 2014-11-25 | 2016-05-30 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | Computing apparatus and method for three-dimensional interaction |
| JP2016224606A (en) * | 2015-05-28 | 2016-12-28 | アイシン精機株式会社 | Operation device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2002054217A1 (en) | Handwriting data input device and method, and authenticating device and method | |
| JP2002196874A (en) | Device and method for inputting handwritten data, personal certification device and its method | |
| US10990189B2 (en) | Processing of gesture-based user interaction using volumetric zones | |
| CN111344749B (en) | Directing attention to users | |
| US10963140B2 (en) | Augmented reality experience creation via tapping virtual surfaces in augmented reality | |
| CN105637529B (en) | Image capture input and projection output | |
| KR101594023B1 (en) | Laser beam shooting system | |
| KR20160099497A (en) | Method and apparatus for recognizing handwriting | |
| JP2002213947A (en) | System for measuring position of target, and method therefor | |
| US11373650B2 (en) | Information processing device and information processing method | |
| JP2004504675A (en) | Pointing direction calibration method in video conferencing and other camera-based system applications | |
| JP2006523067A (en) | How to display an output image on an object | |
| EP1466238A2 (en) | Method and apparatus for a gesture-based user interface | |
| WO2008004332A1 (en) | Image processing method and input interface apparatus | |
| WO2015029554A1 (en) | Information processing device, information processing method, and program | |
| WO2022022029A1 (en) | Virtual display method, apparatus and device, and computer readable storage medium | |
| CN110692237B (en) | Method, system, and medium for lighting inserted content | |
| WO2008004331A1 (en) | Voice outputting method and device linked to images | |
| EP3686878A1 (en) | Display method, apparatus and system | |
| JP6651086B1 (en) | Image analysis program, information processing terminal, and image analysis system | |
| US9329679B1 (en) | Projection system with multi-surface projection screen | |
| KR20210017081A (en) | Apparatus and method for displaying graphic elements according to object | |
| WO2018198503A1 (en) | Information processing device, information processing method, and program | |
| JP2002196873A (en) | Device and method for inputting handwritten data, personal certification device and its method | |
| CN109144598A (en) | Electronics mask man-machine interaction method and system based on gesture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071226 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20080116 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100507 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20101008 |