JP2009015720A - Authentication device and authentication method - Google Patents
Authentication device and authentication method Download PDFInfo
- Publication number
- JP2009015720A JP2009015720A JP2007178702A JP2007178702A JP2009015720A JP 2009015720 A JP2009015720 A JP 2009015720A JP 2007178702 A JP2007178702 A JP 2007178702A JP 2007178702 A JP2007178702 A JP 2007178702A JP 2009015720 A JP2009015720 A JP 2009015720A
- Authority
- JP
- Japan
- Prior art keywords
- marker
- input
- output
- unit
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 239000003550 marker Substances 0.000 claims abstract description 97
- 238000001514 detection method Methods 0.000 claims abstract description 77
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 230000001360 synchronised effect Effects 0.000 claims abstract description 10
- 238000006243 chemical reaction Methods 0.000 claims description 39
- 238000004364 calculation method Methods 0.000 claims description 16
- 239000000284 extract Substances 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、物体を認識する認識装置および認識方法に関する。 The present invention relates to a recognition apparatus and a recognition method for recognizing an object.
周囲に存在する任意の物体を特定する技術として、特許文献1に記載されている技術が知られている。この特許文献1には、路面を走行する自動車および当該自動車と路面との位置関係を認識することが記載されている。また、センサーを用いて、物体を特定せず、そこに物体が存在するという情報のみを検出する技術として、特許文献2に記載されている技術が知られている。また、画像中の任意の物体を画像処理のみで特徴点を抽出し、物体を認識する技術が知られている(非特許文献1)。
ところで、近年、携帯電話などの携帯端末で電子メールなど文字入力をする機会が増えてきている。一般的に、携帯電話では、テンキーを複数回押下することにより所望の文字を入力することができる。 By the way, in recent years, opportunities for inputting characters such as e-mails on mobile terminals such as mobile phones have increased. Generally, in a mobile phone, a desired character can be input by pressing a numeric keypad a plurality of times.
一方で、このような携帯端末のキーボードにおいて、ボタンが小さいため打ちづらいという問題がある。そのため、ユーザが周囲にある物体の中から好みの大きさの物体を選んで入力手段として用いることができればこのような問題は解決できると考えられるが、周囲にある物体を入力手段として用いるための物体として認識する必要がある。 On the other hand, the keyboard of such a portable terminal has a problem that it is difficult to hit because the buttons are small. Therefore, it is considered that such a problem can be solved if the user can select an object of a desired size from the surrounding objects and use it as an input means. It needs to be recognized as an object.
しかしながら、上述従来の技術として知られている物体を認識する技術においては、周囲の任意の物体を、利用したい唯一の物体として特定することは大変困難である。例えば、特許文献1に記載されている技術においては、路面、自動車などを認識することができるが、任意の一物体のみを認識するということはできず、上述のユーザの身近にある物体を認識させることに適用するには不適切である。 However, in the technology for recognizing an object known as the above-mentioned conventional technology, it is very difficult to specify an arbitrary object around as the only object to be used. For example, in the technique described in Patent Document 1, it is possible to recognize a road surface, a car, and the like, but it is not possible to recognize only one arbitrary object, and recognizes an object that is close to the above-described user. It is inappropriate to apply to
また、特許文献2に記載の技術においては位置のみ認識するため、やはり任意の一物体のみを認識させることはできない。 Moreover, since only the position is recognized in the technique described in Patent Document 2, it is impossible to recognize only one arbitrary object.
また、非特許文献1に記載の技術においては、高度な画像処理を必要とすることから、その構成が複雑となるという問題がある。 Further, the technique described in Non-Patent Document 1 has a problem that its configuration becomes complicated because it requires advanced image processing.
そこで、上述の課題を解決するために、本発明は、簡易な構成でかつ任意の一物体を認識することができる認識装置および認識方法を提供することを目的とする。 Therefore, in order to solve the above-described problems, an object of the present invention is to provide a recognition device and a recognition method that can recognize an arbitrary object with a simple configuration.
上述の課題を解決するために、本発明の認識装置は、識別対象の物体に付加され、前記物体と区別可能に形成されているマーカを検出するマーカ検出手段と、前記マーカ検出手段により検出されたマーカの動きと同期する領域を検出する物体領域検出手段と、前記物体領域検出手段により検出された領域に基づいて前記物体の特徴点を抽出する特徴点抽出手段とを備えている。 In order to solve the above-described problems, a recognition apparatus according to the present invention detects a marker that is added to an object to be identified and is formed so as to be distinguishable from the object, and is detected by the marker detection means. Object region detecting means for detecting a region synchronized with the movement of the marker, and feature point extracting means for extracting feature points of the object based on the region detected by the object region detecting means.
また、本発明の認識方法は、識別対象の物体に付加され、前記物体と区別可能に形成されているマーカを検出するマーカ検出ステップと、前記マーカ検出ステップにより検出されたマーカの動きと同期する領域を検出する物体領域検出ステップと、前記物体領域検出ステップにより検出された領域に基づいて前記物体の特徴点を抽出する特徴点抽出ステップとを備えている。 In addition, the recognition method of the present invention synchronizes with a marker detection step for detecting a marker that is added to an object to be identified and formed so as to be distinguishable from the object, and a movement of the marker detected by the marker detection step. An object area detecting step for detecting an area; and a feature point extracting step for extracting a feature point of the object based on the area detected by the object area detecting step.
この発明によれば、識別対象の物体に付加され、物体と区別可能に形成されているマーカを検出し、検出されたマーカの動きと同期する領域を検出し、検出された領域に基づいて、物体の特徴点を抽出することができる。これにより、予め物体を登録することなく、かつ簡単な処理により物体を認識することができる。 According to the present invention, a marker that is added to an object to be identified and formed so as to be distinguishable from the object is detected, a region that is synchronized with the movement of the detected marker is detected, and based on the detected region, A feature point of an object can be extracted. Thereby, an object can be recognized by simple processing without registering the object in advance.
また、本発明の認識装置は、前記物体の特徴点に合わせた映像を表示する表示手段と、を備えることが好ましい。 Moreover, it is preferable that the recognition apparatus of the present invention includes display means for displaying an image that matches the feature point of the object.
この発明によれば、物体の特徴点に合わせた映像を表示することができ、表示したい映像を拡大し、または縮小するといった使い勝手のよい装置を実現することができる。 According to the present invention, it is possible to display an image that matches a feature point of an object, and to realize an easy-to-use device that enlarges or reduces the image to be displayed.
また、本発明の認識装置は、前記マーカの状態を算出する状態算出手段と、前記状態算出手段により算出された前記マーカの状態に従って前記表示手段に表示される映像を加工する変換手段とを備え、前記表示手段は、前記変換手段により加工された映像を表示することが好ましい。 In addition, the recognition apparatus of the present invention includes a state calculation unit that calculates the state of the marker, and a conversion unit that processes an image displayed on the display unit according to the state of the marker calculated by the state calculation unit. The display means preferably displays the video processed by the conversion means.
この発明によれば、算出されたマーカの状態に従って映像を加工し、加工された映像を表示することができ、例えば、マーカの位置、傾きなどにより、映像を拡大、縮小、角度変換などの加工を施すことにより、物体の状態に応じた表示を行うことができ、より使い勝手のよい装置を実現することができる。 According to the present invention, an image can be processed according to the calculated marker state, and the processed image can be displayed. For example, processing such as enlargement, reduction, angle conversion, etc., can be performed according to the position, inclination, etc. of the marker. By performing the above, display according to the state of the object can be performed, and a more convenient device can be realized.
また、本発明の認識装置は、前記物体とユーザによる操作位置との位置関係を検出する入力検出手段と、前記入力検出手段により検出されたユーザによる操作位置に基づいた入力操作を受け付ける受付手段と、を備え、前記表示手段は、前記物体の特徴に合わせた操作画面を構成する映像を表示し、前記ユーザは、操作画面を構成する映像に従った操作を行うことができることが好ましい。 The recognition apparatus of the present invention includes an input detection unit that detects a positional relationship between the object and an operation position by a user, and a reception unit that receives an input operation based on the operation position by the user detected by the input detection unit. Preferably, the display means displays an image constituting an operation screen according to the characteristics of the object, and the user can perform an operation according to the image constituting the operation screen.
この発明によれば、操作画面を表示するとともに、物体に対するユーザによる操作位置を検出し、物体と操作位置とに基づいた入力操作を受け付けることができる。よって、ユーザは、操作画面を構成する映像に従った操作を行うことができるとともに、ユーザが任意に選択した物体を入力手段として扱うことができ、使い勝手のよい装置を実現することができる。したがって、携帯電話などのキーのように小さいものである場合には、ユーザが任意に比較的大きい物体を入力手段として選択した場合には、使い勝手のよい入力手段を実現することができる。 According to this invention, while displaying an operation screen, the operation position by the user with respect to an object can be detected, and input operation based on the object and the operation position can be received. Therefore, the user can perform an operation according to the video constituting the operation screen, and can handle an object arbitrarily selected by the user as an input unit, thereby realizing a user-friendly device. Therefore, in the case of a small key such as a cellular phone, when the user arbitrarily selects a relatively large object as the input means, it is possible to realize an easy-to-use input means.
本発明によれば、予め物体を登録することなく、かつ簡単な処理により物体を認識することができる。 According to the present invention, an object can be recognized by simple processing without registering the object in advance.
本発明は、一実施形態のために示された添付図面を参照して以下の詳細な記述を考慮することによって容易に理解することができる。引き続いて、添付図面を参照しながら本発明の実施形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。 The present invention can be readily understood by considering the following detailed description with reference to the accompanying drawings shown for the embodiments. Subsequently, embodiments of the present invention will be described with reference to the accompanying drawings. Where possible, the same parts are denoted by the same reference numerals, and redundant description is omitted.
図1は、本実施形態における認識装置100の機能構成を示すブロック図である。この認識装置100は、検出部10、処理部20、変換パラメータ算出部30、映像蓄積部40、変換部50(変換手段)、表示部60(表示手段)、および入力検出部70(入出力検出手段、受付手段))を含んで構成されている。ここで検出部10は、登録部11、マーカ検出部12(マーカ検出手段)、および物体領域検出部13(物体領域検出手段)を含んで構成され、処理部20は、マーカ状態算出部21(状態算出手段)、および特徴点抽出部22(特徴点抽出手段)を含んで構成されている。
FIG. 1 is a block diagram illustrating a functional configuration of the
図2は、認識装置100のハードウェア構成図である。認識装置100は、物理的には、図2に示すように、CPU101、主記憶装置であるRAM102及びROM103、センサー104(マーカ検出部12、物体領域検出部13に相当)、ハードディスク等の補助記憶装置105、ディスプレイ等の表示部105(表示部60に相当)、近距離無線通信部106(入出力検出部70に相当)などを含むコンピュータシステムとして構成されている。図1において説明した各機能は、図2に示すCPU101、RAM102等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、CPU101の制御のもとでセンサー104、表示部105、近距離無線通信部106を動作させるとともに、RAM102におけるデータの読み出し及び書き込みを行うことで実現される。以下、図1に示す機能ブロックに基づいて、各機能ブロックを説明する。
FIG. 2 is a hardware configuration diagram of the
登録部11は、任意の物体に装着するマーカを事前に登録し、マーカの持っている特徴を示す情報およびその特徴に基づいた基準値となる初期値(形状、色、大きさ、位置、傾きなど)を記憶する部分である。例えば、マーカは、所定のパターンが形成された物体であったり、発光などの動的情報を有している物体であったり、センサーに感知され得る物体であったりするものであり、これら特徴をユーザにより登録され、そして記憶される。
The
なお、このマーカは事前に用意されているマーカを用いてもよいし、使用者がその場で書いた絵のパターンや周囲の物体から抽出されるパターンを自動で認識し、登録してもよい。また、初期値はユーザが指定してもよいし、電源オン時または登録時に自動的に登録されるようにしてもよい。また、この登録部11に登録されるマーカの情報は、マーカを識別するための情報であるとともに、その状態(位置、傾き)を示す情報であってもよい。
Note that this marker may be a marker prepared in advance, or a pattern of a picture written by the user or a pattern extracted from surrounding objects may be automatically recognized and registered. . The initial value may be specified by the user, or may be automatically registered when the power is turned on or registered. Further, the marker information registered in the
マーカ検出部12は、マーカを検出するセンサーであって、登録部11に記憶されている情報をもとに、マーカ検出部12の検出範囲に含まれている周囲の空間からマーカのみを検出する。このマーカ検出部12には位置センサー、加速度センサー、地磁気センサーなどあらゆるセンサーを用いることができ、簡易に利用できるものとしてカメラが考えられる。可視光カメラや赤外照射による撮像装置で周囲の画像を撮像し、撮像画像を画像処理し、テンプレートマッチングなどの手法を用いて登録部11に登録してあるマーカの特徴と比較することによってマーカを検出することができる。マーカ検出部12は、認識されたマーカの動きを常に追従し、マーカの状態を算出するとともに、その状態を物体領域検出部13に通知する。
The
物体領域検出部13は、マーカ検出部12によりマーカが検出されると、その検出されたマーカの動きと同期する特徴を有する集合体を検出する部分であり、周囲に存在する任意の物体を入出力用物体として検出する。例えば、ユーザは自分が入出力に用いたい物体を任意に選び、この任意の物体を入出力用物体として検出するために、ユーザは選んだ物体にマーカを装着する。このとき基準となるマーカの状態の初期値、例えばマーカの位置、傾きのいずれかあるいは複数の組み合わせなどを登録部11に登録しておくとよい。そして、物体領域検出部13はマーカの動きと同期する特徴を含んだ集合体を物体領域として検出し、この集合体を入出力用物体として認識する。
When a marker is detected by the
なお、物体領域の検出方法は、後述するようにオプティカルフローを利用して、マーカに同期して動く部分を入出力用物体として認識するようにしてもよいし、物体領域のエッジを認識して入出力用物体を認識してもよいし、色情報を利用して、同一の色を有する部分は同一の入出力用物体として認識するようにしてもよい。また、物体領域検出部13は、2つ以上の情報を用いて領域を認識するようにしてもよい。例えば、物体領域検出部13は、同じオプティカルフローの集合が存在する付近の色情報を用いて、その色を共通にする領域全体が検出するようにしてもよい。
As described later, the object region detection method may use an optical flow to recognize a portion that moves in synchronization with the marker as an input / output object, or recognize an edge of the object region. The input / output object may be recognized, or portions having the same color may be recognized as the same input / output object using color information. Further, the object
図5にオプティカルフローなどを用いたマーカが付加された入出力用物体の検出の概念を示す。図5に示されるように、マーカ検出部12により検出されたマーカ24の動きに同期する部分を、物体領域検出部13が検出する。例えば、入出力用物体23のエッジ部分、表面などの各部分における動き(矢印で示された部分)を検出する。
FIG. 5 shows a concept of detection of an input / output object to which a marker using an optical flow or the like is added. As shown in FIG. 5, the object
マーカ状態算出部21は、マーカ検出部12で検出されたマーカの状態、例えば位置(ユーザからの距離を含む)または傾きのいずれかあるいは複数の組み合わせを登録部11で記憶されている初期値を基準に算出するものである。算出方法としては、AR(拡張現実感)におけるマーカの検出の手法を用いることができる。
The marker
特徴点抽出部22は、物体領域検出部13によって検出された入出力用物体23の形状および大きさなどの特徴点ならびにその特徴点を構成する座標を算出する部分である。例えば、特徴点抽出部22は、入出力用物体23が長方形からなる紙であった場合には、その対角線の2点を抽出することにより、入出力用物体23の大きさを算出することができる。また、入出力用物体23が長方形ではなく、人形、ぬいぐるみのような複雑な形状を有する物体に対して、少なくとも2点、望ましくは、4点を入出力用物体23内に抽出することにより、入出力用物体23に映像を投影できる大きさを把握することができる。これら2点または4点はユーザが手動で指示してもよいし、画像処理を用いて自動で決定してもよい。この特徴点抽出部22は、少なくとも入出力用物体23の大きさを把握するものであり、その把握した大きさにしたがって入出力用物体23に合わせた映像を表示部60は表示することができる。
The feature
このように2点または4点抽出した部分に基づいて、特徴点抽出部22は、特徴点の集合の領域を矩形で近似したり、集合(同じ特徴を持つ)の一番外側にある点を結んでその内側を領域として検出したりすることにより、入出力用物体23に映像を投影することができる部分を認識することができる。
Based on the two-point or four-point extracted portion, the feature
さらに、物体領域検出部13により、同じオプティカルフローの集合が存在する付近の色情報を用いて、その色を共通にする領域全体が検出される場合においては、特徴点抽出部22はその2つ以上の特徴を用いて、特徴点を抽出することができる。このように特徴点を抽出すると、特徴点抽出部22は、抽出した特徴点とマーカとの位置関係を記憶する。
Further, when the object
変換パラメータ算出部30は、マーカ24の状態(すなわち入出力用物体23の状態)を判定し、入出力用物体23に表示する映像を変換するための変換パラメータを算出する部分である。マーカ24と入出力用物体23との状態は同一であるため、マーカ状態算出部21により算出されたマーカ24の状態から入出力用物体23の状態(位置(ユーザからの距離)、傾きなど)を判定する。すなわち、マーカ24を基準とした入出力用物体23の状態を算出し、この状態に基づいて、表示する映像の変換パラメータ、例えば入出力用物体23の位置および傾きとその入出力用物体23に重畳して表示する映像の表示位置、映像の大きさ、傾きなどを一致させるための変換パラメータを算出する。このように算出された変換パラメータを変換部50に出力する。
The conversion
この変換パラメータの具体例について説明する。この変換パラメータは、変換行列Mを構成する数値情報である。変換処理を行うための変換行列Mは、映像が表示される座標(X,Y,Z)を入出力用物体23の座標(x,y,z)にあわせて、それぞれの軸に対する回転移動や平行移動を行う行列で表現される(式(1)参照)。この変換行列Mによると、入出力用物体23が回転している場合は回転パラメータR部分がその回転角度θaによって規定され、平行移動の場合にはΔX,ΔY,ΔZのうちその移動軸に従ったパラメータが規定される。なお、この変換パラメータは変換行列Mに限られるものではなく、映像の移動・回転処理を行わせるものであれば何でもよく、また拡大・縮小を行うことを可能とする変換パラメータを構成してもよい。
映像蓄積部40は、入出力用物体23に合わせた画像を蓄積する部分である。この画像はキーボードやペン入力用の画像といった入力手段のみの画像であってもよいし、入力手法とこの入力を反映した出力とが一緒になっている画像であってもよい。また、入力手法がない、一般のディスプレイに描画される画像のみでもよい。どの画像を表示するかはユーザが事前に選んでもよいし、コンテンツによって自動に決定されてもよい。また映像蓄積部40は認識装置100を備える携帯電話などのメモリであってもよいし、通信網を介したサーバであってもよい。映像蓄積部40に蓄積されている画像は、変換部50に出力される。
The
変換部50は、変換パラメータ算出部30により出力された変換パラメータに基づいて映像蓄積部40に記憶されている映像を、拡大・縮小、回転、平行移動などの変換処理を行い、これを表示部60に出力する。
The
表示部60は、変換された映像を表示する。なお、表示部60は、HMD(Head Mount Display)のようなメガネ型ディスプレイでもよいし、一般のディスプレイであってもよい。ここで表示部60は、メガネ型ディスプレイである場合には、透過性のあるディスプレイであることが好ましい。透過性のあるディスプレイとすることによりレンズを通して見た対象物に映像を重畳して表示することができる。
The
入力検出部70は、表示部60に表示された入力手段の映像に対して行ったユーザの入力の動作を検出し、入力操作を受け付ける部分である。この入力検出部70は、入出力用物体23の映像上での入力位置を検出し、その検出した入力位置に基づいてユーザの行った入力を判定する。この入力検出部70により検出された位置情報に基づいて赤外線や超音波を用いたバーチャルキーボードやカメラでのジェスチャー認識やペン認識を実行することができる。
The
例えば、入力検出部70が赤外線を用いたバーチャルキーボードであれば、入出力用物体23の特徴(大きさ、形状)を、特徴点抽出部22から入力検出部70(赤外線センサー(図示せず))に送り、赤外線の投射範囲を入出力用物体23の形状に合わせて変化させる。そして、ユーザの指が入出力用物体23に触れたことによって変化する赤外線の反射率を測定することによって入力を判定する。この処理を実現するために、入力を行う指の位置と投射範囲内に表示された各キーボードの位置とを対応づけて記憶することによって、入力動作を検出可能にする。また、入力検出部70がカメラから構成されている場合には、指の位置と入出力用物体23に表示されている画像の位置を対応付けて記憶しておき、その指の位置に応じた処理、例えば指示信号を機器80に出力する。
For example, if the
この入力検出部70により検出された入力を変換部50に出力し、変換部50で入力結果を反映し、表示部60で表示する。例えば、ボタンが押された場合には、その押された映像が表示部60に表示されることになり、また操作された内容、例えば、キーボードが表示されており、ユーザは“K”を押下した場合には、押下された“K”が表示される。
The input detected by the
機器80は、例えば、テレビなどの家庭用電化製品またはパソコン等の情報機器であり、入力検出部70から出力される信号を受信することができる受信部81を備えている。受信部81は、入力検出部70の入力を受信し、その入力に応じた処理を行う。例えば、たとえば入出力用物体23をリモコンとして用いた場合には、入力検出部70はリモコン操作の入力を受け付け、その結果を受信部81に出力する。受信部81は、その結果に基づいた処理を行い、例えばチャンネルの変更処理を行うような処理を実行する。
The
ここでマーカ24と入出力用物体23との関係について図3を用いて説明する。ここの例では、認識装置100はメガネ型の形状を採用したものである。このめがね型の認識装置100は、入出力用物体23を検出する物体領域検出部13、およびマーカ24を検出するマーカ検出部12をメガネのフレーム部分に備えており、それぞれ入出力用物体23およびマーカ24を検出可能にしている。また、表示部60は、レンズの内側に形成されており、レンズを通して物体を視認可能とするとともに、映像を表示することができるよう構成されている。
Here, the relationship between the
図3は、マーカ24と入出力用物体23との関係を示す説明図である。図3に示すようにマーカ24は入出力用物体23に付加される。この入出力用物体23として、紙が挙げられるが、これに限らず立体的なものでもよい。マーカ検出部12は、上述したとおり登録部11に記憶されている情報に基づいてマーカ24を検出する。物体領域検出部13は、マーカ24の動きに同期する特徴の集合体を検出する。ここでは入出力用物体23を検出することになる。そして、特徴点抽出部22は、物体領域検出部13により検出された物体領域にしたがった特徴点(形状、大きさなど)を抽出することができる。図3においては、入出力用物体23は矩形の形状で形成されている物体であるため、対角線の2点、すなわち物体領域上にもっとも長い線を形成することができる2点を抽出することにより、物体領域に従った大きさを認識することができる。また、同様に4点抽出するようにしてもよい。また、2点、4点など矩形に限定することなく、複数の点をとるようにしてもよい。
FIG. 3 is an explanatory diagram showing the relationship between the
抽出された特徴点にしたがって、変換パラメータ算出部30は、変換パラメータを算出し、変換部50はその変換パラメータにしたがって、映像蓄積部40に蓄積されている映像を加工する。ここでは、図3に示されているように、ユーザのメガネの内側に形成されているディスプレイ(表示部60)に、メガネのレンズを通して観察される投影対象物(例えば、紙や平面状の物体など)にキーボードの映像25が重ねられて表示される。この映像25には、表示部分25aとキーボード部分25bとが表示されており、ユーザは入出力用物体23を構成する紙を触ることにより、擬似的にキーボードを操作することができる。操作すると、例えばキーを押下すると、その押下位置に応じた文字が表示部分25aに表示されることになる。
The conversion
このようにユーザは、入出力用物体23に重畳して表示部60に表示されたキーボードを操作することにより、入力操作を行うことができる。
Thus, the user can perform an input operation by operating the keyboard displayed on the
つぎに、本実施形態の認識装置100の動作について説明する。図4は、認識装置100の動作を示すフローチャートである。まず、認識装置100のユーザによりマーカ24が装着される(S101)。そして、マーカ検出部12によりマーカ24が検出される(S102)。つぎに、物体領域検出部13により、マーカ24が装着された入出力用物体23が検出される(S103)。物体領域検出部13により検出された入出力用物体23の特徴点が抽出され、入出力用物体23を構成する座標が取得される(S104)。
Next, the operation of the
つぎに、変換パラメータ算出部30により、マーカ24の状態に基づいて映像蓄積部40に格納されている映像の傾き、位置、および大きさなどを変換するための変換パラメータが算出される(S105)。この変換パラメータに基づいて変換部50により映像が変換される(S106)。変換された映像は、表示部60表示される(107)。本実施形態においてはメガネの内側に、透過可能にディスプレイがレンズ上に形成されているため、入出力用物体23に映像が重畳されて表示されることになる。
Next, the conversion
ユーザは、入出力用物体23に重畳されて表示されている映像であるキーボードを操作する。そして、入力検出部70により、ユーザの入出力用物体23上の操作位置が検出され、その位置に応じた入力処理が行われる(S108)。そして、表示部分25aに表示された表示映像が書き換えられ、例えば押下した文字が表示される(S109)
The user operates a keyboard that is an image displayed superimposed on the input /
なお、S107の処理の時点では、入出力用物体23の形状がわかっているため、S104〜S107の動作を繰り返し行うことにより、多少、入出力用物体23の状態が変わってもロバストに追従することができる。なお、マーカ24を他の物体に装着する際は電源をオフにするなどの切り替え動作が必要となる。
Note that since the shape of the input /
また、S102〜S107の動作を繰り返し行うように制御することにより、その都度、マーカ検出部12がマーカ24を検出し、物体領域検出部13が入出力用物体23を検出するようにしてもよい。この場合には、明示的な切り替え動作なしにマーカ24を他の物体に装着し、物体を認識することができる。
In addition, by performing control so that the operations of S102 to S107 are repeated, the
S108、S109の処理を省略することによって、物体をディスプレイのみの利用とすることができ、ユーザの好みの大きさの画面で映像を見ることができる。 By omitting the processing of S108 and S109, the object can be used only for the display, and the video can be viewed on the screen of the user's favorite size.
また、入力用画像はキーボードや文字入力のような入力パターンのみの表示だけではなく、一般のディスプレイに描画される出力画像が一緒に表示されてもよいし、出力画像のみでもよい。また、ぬいぐるみなど立体的な物体を入出力用物体とし、各部位に機能を持たせることができ、例えば手を押すことで電話に出るなどの感覚的な操作を可能とすることができる。 Further, the input image is not limited to displaying only an input pattern such as a keyboard or character input, and an output image drawn on a general display may be displayed together, or only an output image may be displayed. In addition, a three-dimensional object such as a stuffed animal can be used as an input / output object, and each part can have a function. For example, it is possible to perform a sensory operation such as answering a telephone by pressing a hand.
つぎに、本実施形態の認識装置100の作用効果について説明する。この認識装置100において、マーカ検出部12は、識別対象である入出力用物体23に付加され、当該入出力用物体23と区別可能に形成されているマーカ24を検出する。また、物体領域検出部13は、検出されたマーカの動きと同期する入出力用物体23の領域を検出し、特徴点抽出部22は、物体領域検出部13により検出された領域に基づいて、入出力用物体23の大きさ、形状などの特徴点を抽出することができる。これにより、予め入出力用物体23を登録することなく、かつ簡単な処理により入出力用物体23を認識することができる。
Next, operational effects of the
また、認識装置100において、その表示部60は、入出力用物体23の大きさおよび形状に特徴点に合わせた画像を表示することができ、表示したい映像を拡大し、または縮小するといった使い勝手のよい装置を実現することができる。
Further, in the
また、認識装置100において、変換部50はマーカ状態算出部21により算出されたマーカ24の状態に従って映像を加工し、表示部60は加工された映像を表示することができる。よって、マーカ24の位置、傾きなどにより、映像を拡大、縮小、角度変換などの加工を施すことにより、入出力用物体23の状態に応じた表示を行うことができ、より使い勝手のよい装置を実現することができる。
In the
また、認識装置100において、表示部60は、入出力用物体23の大きさ、形状などの特徴に合わせた操作画面を表示するとともに、入力検出部70は入出力用物体23に対するユーザによる指示した操作位置を検出する。そして、入力検出部70は、操作画面と検出された位置とに基づいた入力操作を受け付けることができる。よって、ユーザが任意に選択した入出力用物体23を入力手段として扱うことができ、使い勝手のよい装置を実現することができる。例えば、携帯電話などのキーのように小さいものである場合には、ユーザが任意に比較的大きい物体を入力手段として選択した場合には、使い勝手のよい入力手段を実現することができる。
Further, in the
10…検出部、11…登録部、12…マーカ検出部、13…物体領域検出部、20…処理部、21…マーカ状態算出部、22…特徴点抽出部、23…入出力用物体、24…マーカ、25…映像、30…変換パラメータ算出部、40…映像蓄積部、50…変換部、60…表示部、70…入力検出部、80…機器、81…受信部、100…認識装置、104…センサー、105…表示部、105…補助記憶装置、106…近距離無線通信部。
DESCRIPTION OF
Claims (5)
前記マーカ検出手段により検出されたマーカの動きと同期する領域を検出する物体領域検出手段と、
前記物体領域検出手段により検出された領域に基づいて前記物体の特徴点を抽出する特徴点抽出手段と
を備える認識装置。 Marker detection means for detecting a marker that is added to an object to be identified and formed to be distinguishable from the object;
An object area detecting means for detecting an area synchronized with the movement of the marker detected by the marker detecting means;
A recognition apparatus comprising: feature point extraction means for extracting feature points of the object based on the area detected by the object area detection means.
を備える請求項1に記載の認識装置。 Display means for displaying an image according to the feature point of the object;
The recognition device according to claim 1.
前記状態算出手段により算出された前記マーカの状態に従って前記表示手段に表示される映像を加工する変換手段とを備え、
前記表示手段は、前記変換手段により加工された映像を表示することを特徴とする請求項2に記載の認識装置。 State calculating means for calculating the state of the marker;
Conversion means for processing an image displayed on the display means according to the state of the marker calculated by the state calculation means,
The recognition apparatus according to claim 2, wherein the display unit displays the video processed by the conversion unit.
前記入力検出手段により検出されたユーザによる操作位置に基づいた入力操作を受け付ける受付手段と、
を備え、
前記表示手段は、前記物体の特徴に合わせた操作画面を構成する映像を表示し、前記ユーザは、操作画面を構成する映像に従った操作を行うことができることを特徴とする請求項2または3に記載の認識装置。 Input detection means for detecting a positional relationship between the object and an operation position by the user;
Receiving means for receiving an input operation based on an operation position by the user detected by the input detection means;
With
The said display means displays the image | video which comprises the operation screen according to the characteristic of the said object, The said user can perform operation according to the image | video which comprises an operation screen. The recognition device described in 1.
前記マーカ検出ステップにより検出されたマーカの動きと同期する領域を検出する物体領域検出ステップと、
前記物体領域検出ステップにより検出された領域に基づいて前記物体の特徴点を抽出する特徴点抽出ステップと
を備える認識方法。 A marker detection step of detecting a marker that is added to an object to be identified and formed to be distinguishable from the object;
An object region detection step for detecting a region synchronized with the movement of the marker detected by the marker detection step;
A recognition method comprising: a feature point extracting step of extracting a feature point of the object based on the region detected by the object region detecting step.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007178702A JP4871226B2 (en) | 2007-07-06 | 2007-07-06 | Recognition device and recognition method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007178702A JP4871226B2 (en) | 2007-07-06 | 2007-07-06 | Recognition device and recognition method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009015720A true JP2009015720A (en) | 2009-01-22 |
JP4871226B2 JP4871226B2 (en) | 2012-02-08 |
Family
ID=40356530
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007178702A Expired - Fee Related JP4871226B2 (en) | 2007-07-06 | 2007-07-06 | Recognition device and recognition method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4871226B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010038879A (en) * | 2008-08-08 | 2010-02-18 | Ntt Docomo Inc | System and method for recognizing object shape |
WO2018179069A1 (en) * | 2017-03-27 | 2018-10-04 | サン電子株式会社 | Image display system |
JP2019091352A (en) * | 2017-11-16 | 2019-06-13 | 株式会社Preferred Networks | Object detection device, object detection method and program |
KR102056333B1 (en) | 2017-01-27 | 2019-12-16 | 칼 짜이스 아게 | Method and apparatus and computer program for setting the indication of spectacle lens edge |
JP2021002290A (en) * | 2019-06-24 | 2021-01-07 | キヤノン株式会社 | Image processing apparatus and method for controlling the same |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006507722A (en) * | 2002-10-22 | 2006-03-02 | アートゥールワークス | Surface tracking in 3D scenes using natural visual features of the surface |
-
2007
- 2007-07-06 JP JP2007178702A patent/JP4871226B2/en not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006507722A (en) * | 2002-10-22 | 2006-03-02 | アートゥールワークス | Surface tracking in 3D scenes using natural visual features of the surface |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010038879A (en) * | 2008-08-08 | 2010-02-18 | Ntt Docomo Inc | System and method for recognizing object shape |
KR102056333B1 (en) | 2017-01-27 | 2019-12-16 | 칼 짜이스 아게 | Method and apparatus and computer program for setting the indication of spectacle lens edge |
WO2018179069A1 (en) * | 2017-03-27 | 2018-10-04 | サン電子株式会社 | Image display system |
JPWO2018179069A1 (en) * | 2017-03-27 | 2020-01-30 | サン電子株式会社 | Image display system |
US11227413B2 (en) | 2017-03-27 | 2022-01-18 | Suncorporation | Image display system |
JP2019091352A (en) * | 2017-11-16 | 2019-06-13 | 株式会社Preferred Networks | Object detection device, object detection method and program |
JP7118622B2 (en) | 2017-11-16 | 2022-08-16 | 株式会社Preferred Networks | OBJECT DETECTION DEVICE, OBJECT DETECTION METHOD AND PROGRAM |
JP2021002290A (en) * | 2019-06-24 | 2021-01-07 | キヤノン株式会社 | Image processing apparatus and method for controlling the same |
JP7378232B2 (en) | 2019-06-24 | 2023-11-13 | キヤノン株式会社 | Image processing device and its control method |
Also Published As
Publication number | Publication date |
---|---|
JP4871226B2 (en) | 2012-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103870804B (en) | Mobile device with face recognition function and the method for controlling the mobile device | |
CN104583906B (en) | The input method and device of portable set | |
KR102455382B1 (en) | Mobile terminal and method for controlling the same | |
US20140300542A1 (en) | Portable device and method for providing non-contact interface | |
US20140253592A1 (en) | Method for providing augmented reality, machine-readable storage medium, and portable terminal | |
KR20170037424A (en) | Mobile terminal and method for controlling the same | |
US10268277B2 (en) | Gesture based manipulation of three-dimensional images | |
KR20170025413A (en) | Mobile terminal and method for controlling the same | |
US20140267384A1 (en) | Display apparatus and control method thereof | |
KR20160071263A (en) | Mobile terminal and method for controlling the same | |
US11886643B2 (en) | Information processing apparatus and information processing method | |
KR20160131278A (en) | Mobile terminal | |
JP4871226B2 (en) | Recognition device and recognition method | |
US20240184403A1 (en) | Personal digital assistant | |
CN113253908A (en) | Key function execution method, device, equipment and storage medium | |
US20110037731A1 (en) | Electronic device and operating method thereof | |
JP2008117083A (en) | Coordinate indicating device, electronic equipment, coordinate indicating method, coordinate indicating program, and recording medium with the program recorded thereon | |
CN111913674A (en) | Virtual content display method, device, system, terminal equipment and storage medium | |
JP5342806B2 (en) | Display method and display device | |
US20150339538A1 (en) | Electronic controller, control method, and control program | |
KR20180040955A (en) | Mobile terminal and method for controlling the same | |
US20130076622A1 (en) | Method and apparatus for determining input | |
CN111913560A (en) | Virtual content display method, device, system, terminal equipment and storage medium | |
CN113592874B (en) | Image display method, device and computer equipment | |
CN111913562B (en) | Virtual content display method and device, terminal equipment and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100219 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110704 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110726 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110926 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111115 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4871226 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141125 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |