JP2014174780A - 特徴点集合間の対応付け方法、対応付け装置ならびに対応付けプログラム - Google Patents

Abstract

【課題】ストロークを要素とする手書き入力文字のような、特徴点を要素とするオブジェクトの２つを比較して、一方のオブジェクトの特徴点と他方のオブジェクトの特徴点とを対応付ける際に、オブジェクトの歪みによる変動や正規化の対象となる変動を吸収して、正確で高速な対応付けを行う。
【解決手段】特徴点の座標が定義されたＮ次元空間上に互いに平行でない複数の座標軸を定め、該座標軸での座標値によりソートした特徴点の列での出現順を表す整数値を該座標軸での該特徴点の順序座標値とし、特徴点間のコストに該順序座標値の差分に対して単調増加する計算値を含めて、このコストを小さくする対応付けを行う。特徴点のＮ次元空間上で小さな変動があっても順序座標値が変化しなかったり、一部の座標軸で順序座標値が変わっても他の座標軸で順序座標値が変わらなかったりすることで、変動は吸収される。
【選択図】図５

Description

本発明は、Ｎ（ Ｎ は２ 以上の自然数）次元空間のＮ個の座標値からなる座標を有する特徴点の集合であるオブジェクトの２つを比較して、一方の集合内の特徴点と他方の集合内の特徴点との対応を決定する、対応付け方法、対応付け装置ならびに対応付けプログラムに関する。

Ｎ次元（ Ｎ は２ 以上の自然数） 空間上の２つのオブジェクト内のそれぞれの特徴点を対応付ける技術は、様々な分野での応用がある。ここでいう特徴点とは、Ｎ 次元空間に対応するＮ個の座標値からなる座標を持つものであり、オブジェクトの要素となっているものを指す。特徴点には、座標以外に属性値があっても良い。

例えば２次元平面上のストロークにより表現された手書き入力文字と、これとの比較のために参照されるテンプレートの文字とをオブジェクトとし、双方の各ストロークの始点と終点とを特徴点と考えることが出来る。この場合の特徴点の対応付けは、特許文献１に見えるように、オンライン文字認識の分野で応用されている。

あるいは、周波数とその強さの２軸によるスペクトルの２次元平面上で表現された音声信号をオブジェクトとし、そのパス上の点を特徴点と考えることが出来る。この場合の二つの音声信号の特徴点の対応付けは、特許文献２に見えるように、音声認識の分野で応用されている。

上記いずれの応用分野も、教科書（非特許文献１）に記載される一般的な技術分野である。

これらの応用において２つの特徴点が対応付けられることは、その２つの特徴点がそれぞれのオブジェクトにおける他の特徴点との２次元平面上で相互位置関係が同じであるとことを意味している。つまり、他の特徴点に対しても対応付けが行われるので、それぞれのオブジェクトでの相互位置関係が同じであって始めて、全体として対応が付く。

また、これらの応用でのオブジェクトは個体ごとに“歪み”や“ずれ”と呼ぶ変動があり、対応付けを難しくしている。歪みやずれと呼ぶ変動を吸収して対応付けを行う方法としては、弾性マッピングと呼ぶ手法の一つであるＤＰ（ダイナミックプログラミング）マッチングが知られている（特許文献１、非特許文献２）。

ＤＰマッチングは、対応付けされる２つのオブジェクトの一方のオブジェクト内の特徴点と他方のオブジェクト内の特徴点との組み合わせのすべてにコストを定め、１対１の対応付けによるペアのコストの合計を最小化する最適化問題への解法である。非特許文献２（２．１項）にも“局所距離”と記されているように、このコストをしばしば距離とも呼ぶ。実際、コストの値には、２つの特徴点間のユークリッド距離も合算して含められている場合が多い。しかしながら、非特許文献４、もしくは、特許文献１にて従来技術として記されているように、形状の違いを距離と表現している場合もあり、距離という用語が必ずしも幾何学的な距離の定義に適うものを指している訳ではない。例えば、非特許文献３（５．１項）の“筆点移動方向”による値は距離に含められている。

非特許文献４のように、ＤＰマッチングにおいて、２つの特徴点のＮ次元空間の座標により得られるユークリッド距離をコストに含める場合を考える。もしユークリッド距離が大きければコストは大きくなり、２つの特徴点を対応付けることには否定的になる。すなわち、それぞれのオブジェクトにおける他の特徴点との相互位置関係において、２つの特徴点で違いが大きいことを意味する。逆に、そのユークリッド距離が小さければ、２つの特徴点の前記相互位置関係に違いが少ないことを意味する。このようにＤＰマッチングのような対応付けにおいて、Ｎ次元空間上の座標により得られる特徴点間の距離は、オブジェクト内での特徴点の相互位置関係の違いの大きさの尺度として用いられていると解釈できる。以下では、このユークリッド距離のように、オブジェクト内での特徴点のＮ次元空間上での相互位置関係の違いの大きさの尺度として用いられているもののみを距離と呼ぶことする。もちろん、ユークリッド距離ばかりではなく、マンハッタン距離や、幾何学的な距離の定義を満たさないものでも距離と呼ぶことにする。非特許文献３に記された形状の違いを距離として評価するようなものは、距離とは呼ばないこととする。

前記の“歪み”や“ずれ”は、対応付けの観点からみると、特徴点のオブジェクト内での相互位置関係は変わらないにも関わらず、Ｎ次元空間の座標が変動し、結果として距離にも変動が生じる事象と捉え得る。

一方、どのような対応付けの手法を適用するかに依らず、対応付けに先立って対象のオブジェクトに対して何等かの前処理を行うことが一般的である。例えば、非特許文献３（５．１項）では、文字データに対して“正規化”が行われていることが記されている。非特許文献１（２．４．２項）にも、整合のための処理として、平行移動や拡大縮小処理が用いられることが記されている。例えば手書き入力した文字であれば、描画された字の位置や大きさは当然一律ではないので、大きさや位置などに関して補正は必要となる。すなわち、対応付けの対象となるオブジェクトには、一般的に正規化と呼ぶ処理の対象となる変動が含まれている。前記の特徴点間のユークリッド距離も、非特許文献３に記されたように、通常は正規化の後に算出される。

特開平９−１７９９４０号公報

特開平６−５１７９３号公報

半谷 精一郎「バイオメトリクス教科書 ―原理からプログラミングまで―」、コロナ社、２０１２年７月、ISBN-978-4-339-00835-7

内田 誠一「ＤＰマッチング概説 〜基本と様々な拡張」、電子情報通信学会 技術報告 PRM2006-166、 2006年12月

槇重弼、迫江博昭、「筆順・画数自由オンライン文字認識のための画対応決定法―多層キューブサーチ」 電子情報通信学会論文誌（D-２）、vol. J82-D-２、 no.2、 pp.230-239、 1999年2月

小高和己、若原徹、増田功、「筆順に依存しないオンライン手書き文字認識アルゴリズム」、電子情報通信学会論文誌（D）、vol. J65-D、 no.6、 pp.679-686、 1982年6月

非特許文献３に記された弾性マッピングを含む従来の対応付けでは、前記の歪みによる変動を含んだ座標値を取る座標系のＮ次元空間上で算出された距離が、上記コストとして用いられている。このために、対応付けにおいてＤＰマッチングなどの単純では無い手法が必要となる。

特徴点間の距離を算出する際に、歪みによる変動を含んだ座標値を取る座標系ではなく、前記相互位置関係の本質を表す座標値を取る座標系を用いれば、対応付けはより簡単な手法で可能となったり、あるいは、同じ手法を用いてもより正確で高速な処理となったりする効果が生まれる。さらに、正規化の対象となる変動についても、相互位置関係の本質を表す座標値を取る座標系を用いれば、吸収されることになる。

本発明は、歪みによる変動や正規化の対象となる変動を含む座標値を取る座標系から、相互位置関係の本質を表す新たな座標系に変換し、この新たな座標系上での距離を用いた特徴点の対応付け方法、装置、およびプログラムを提供することを目的とする。

本発明に係る特徴点の対応付け方法の第１の構成は、Ｎ（ Ｎ は２ 以上の自然数）次元空間のＮ個の座標値からなる座標を有する２つ以上の特徴点を要素とするオブジェクトの２つを比較して、第１の前記オブジェクトの前記特徴点と第２の前記オブジェクトの前記特徴点とを対応付ける際に、対応付けの対象となる前記特徴点の間のコストを定め、対応付けた前記特徴点の間の前記コストの合算値を小さくするよう対応付けを決定する特徴点対応付け方法において、前記Ｎ次元空間上の２つ以上の互いに平行でない複数座標軸を定め、前記複数座標軸の各々の座標軸ごとに、前記第１のオブジェクトの要素である前記特徴点の該座標軸上における座標値を求め、求めた該座標値により前記特徴点を昇順あるいは降順にソートして並べた特徴点の順序列を求め、前記特徴点の前記順序列における出現順を示す整数値をその前記特徴点の該座標軸における順序座標値として算出する第１の順序座標算出ステップと、前記第２のオブジェクトについてもその要素である前記特徴点の前記順序座標値を算出する第２の順序座標算出ステップと、前記第１のオブジェクトの前記特徴点と前記第２のオブジェクトの前記特徴点との２つの特徴点の間の前記コストを、前記複数座標軸の各々の座標軸での前記２つの特徴点の前記順序座標値の差分に対して単調増加する計算値を含ませて定める、コスト算出ステップと、前記コスト算出ステップで定めた前記コストを用いて対応付けを決定するステップとを有することを特徴とする。

この構成によれば、歪みによる変動は、次の２つの効果で吸収される。
一つめの効果は、歪みによる変動で座標値が少々変化しても、順序座標値は同じ値に保たれることである。

二つめの効果は、たとえ前記複数座標軸の一部の座標軸において順序座標値が変動することがあっても、残りの座標軸での順序座標値が保たれることで、全体としては算出されたコストの変動が小さく抑えられることである。

さらに、対応付けに先立つ大きさや位置の正規化も不要となる。歪みによる変動を吸収することと併せて、「順序座標値を用いることが、DPマッチングのような弾性マッピング相当の効果を有している」、あるいは、「弾性マッピングが扱うような歪みを取り除いた本質的な相互位置関係を、順序座標値は表している」と解釈出来る。

本発明に係る特徴点の対応付け方法の第２の構成は、前記第１の構成において、前記第１の順序座標算出ステップと前記第２の順序座標算出ステップは、前記特徴点の前記順序列における出現順を示す整数値に代わって、該整数値を単調関数によって変換した値を、前記順序座標値として用いることを特徴とする。

この構成によれば、たとえ前記第１のオブジェクトの要素である特徴点の数と、前記第２のオブジェクトの要素である特徴点の数とが大きくことなっている場合でも、合理的な対応付けを得ることが出来る。変換に用いる単調関数には、例えば数直線上の閉区間上に一定間隔で並ぶ点の値に対応づける関数を選べば、順序座標値は正規化されることになる。複雑な形に対して、これを簡略化した形への対応付けを行う際には、このように正規化された順序座標値を用いると都合がよい。

本発明に係る特徴点の対応付け方法の第３の構成は、前記第１または第２の構成において、前記オブジェクトは２次元平面上にひとつ以上のストロークとして表現された文字であり、前記特徴点は前記ストロークであり、前記特徴点の座標は前記ストロークの位置を表す前記２次元平面上の一つ以上の点の座標の座標値から構成されることを特徴とする。

この構成によれば、筆記に伴うさまざまな文字の個体差が吸収されるため、筆順に依存しないストロークの対応づけを効果的に行うことが出来る。

本発明に係る特徴点の対応付け装置の第１の構成は、Ｎ（ Ｎ は２ 以上の自然数）次元空間のＮ個の座標値からなる座標を有する２つ以上の特徴点を要素とするオブジェクトの２つを比較して、第１の前記オブジェクトの前記特徴点と第２の前記オブジェクトの前記特徴点とを対応付ける際に、対応付けの対象となる前記特徴点の間のコストを定め、対応付けた前記特徴点の間の前記コストの合算値を小さくするよう対応付けを決定する特徴点対応付け装置において、前記Ｎ次元空間上の２つ以上の互いに平行でない複数座標軸を定め、前記複数座標軸の各々の座標軸ごとに、前記第１のオブジェクトの要素である前記特徴点の該座標軸上における座標値を求め、求めた該座標値により前記特徴点を昇順あるいは降順にソートして並べた特徴点の順序列を求め、前記特徴点の前記順序列における出現順を示す整数値をその前記特徴点の該座標軸における順序座標値として算出する第１の順序座標算出手段と、前記第２のオブジェクトについてもその要素である前記特徴点の前記順序座標値を算出する第２の順序座標算出手段と、前記第１のオブジェクトの前記特徴点と前記第２のオブジェクトの前記特徴点との２つの特徴点の間の前記コストを、前記複数座標軸の各々の座標軸での前記２つの特徴点の前記順序座標値の差分に対して単調増加する計算値を含ませて定める、コスト算出手段と、前記コスト算出手段で定めた前記コストを用いて対応付けを決定する手段とを有することを特徴とする。

本発明に係る特徴点の対応付け装置の第２の構成は、前記第１の構成において、前記第１の順序座標算出手段と前記第２の順序座標算出手段は、前記特徴点の前記順序列における出現順を示す整数値に代わって、該整数値を単調関数によって変換した値を、前記順序座標値として用いることを特徴とする。

本発明に係る特徴点の対応付け装置の第３の構成は、前記第１または第２の構成において、前記オブジェクトは２次元平面上にひとつ以上のストロークとして表現された文字であり、前記特徴点は前記ストロークであり、前記特徴点の座標は前記ストロークの位置を表す２次元平面上の一つ以上の点の座標の座標値から構成されることを特徴とする。

本発明に係るプログラムの構成は、前記第１ 乃至第３ の構成に係る特徴点の対応付け方法をコンピュータに実行させることを特徴とする。

以上説明したように、本発明によれば、歪みによる変動や正規化の対象となる変動が順序座標値への変換時に吸収されるため、この順序座標値による距離をコストとして対応付けに用いることで、特徴点の対応付けの手順自体を簡略化しても正確な対応付けを得ることが出来るという効果がある。また、簡略化しない手順を用いた場合にも、対応付けの正確さの向上や高速化の効果がある。

本発明の実施例に係る特徴点対応付け装置の概念的な構成図である。 数値例としての複数座標軸列と特徴点を２次平面上に図示したものである。 特徴点の対応付け手順である。 本発明の実施例に係る書き取り試験装置の概念的な構成図である。 書き取り試験装置の動作例である。

以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。

なお、説明に当たっては、一般的なＮ次元空間ではなく、２次元平面での例を用いる。なお、以下の説明では、特に断らない限り、変数Ｎを第１のオブジェクトの特徴点の数として使用する。

図１ は、本発明の実施例に係る特徴点対応付け装置（１００） の概念的な構成図であり、やりとりされるデータも図中に示している。特徴点対応付け装置（１００）は、オブジェクト入力手段（１１０）、コスト算出手段（１２０）、対応付け決定手段（１３０）の３つから構成される。さらに、コスト算出手段（１２０）は距離コスト算出手段（１２１）と他のコスト算出手段（１２５）とから構成され、距離コスト算出手段（１２１）は順序座標値算出手段（１２２）と距離算出手段（１２３）と座標軸定義保持手段（１２４）とから構成されている。

なお、他のコスト算出手段（１２５）については、図４での説明において言及する。

図１中、オブジェクト入力手段（１１０）は、対応付けの対象となる特徴点を要素に持つ第１のオブジェクトと第２のオブジェクトとを入力する。例えば、ストロークで表現された手書き入力文字と正答として参照される文字とがこれにあたる。

オブジェクト入力手段（１１０）からコスト算出手段（１２０）中の順序座標値算出手段（１２２）へは、オブジェクトの要素である特徴点の２次元平面座標（１９１）がデータとして渡される。このデータを式（１）のように定義する。式（１）のようなデータが、第１のオブジェクトと第２のオブジェクトとのそれぞれについて入力される。

以下の説明では、了解性向上のために定義に平行して具体的な数値例を示していく。式（１）の数値例として、式（２）を与える。

順序座標値算出手段（１２２）では、座標軸定義保持手段（１２４）より複数座標軸定義（１９５）を入力して、特徴点の順序座標（１９２）を算出する。一般的な複数座標軸定義（１９５）を、式（３）に示す。式（３）ではＫ個の座標軸を座標軸列Ｆ＝（ｆ_ｋ）としている。座標軸ｆ_ｋは、その座標軸上で点（ｘ、ｙ）の座標値を与える関数で表すこととしている。すなわち、ベクトル（ａ、ｂ）で与えられる座標軸ｆは、ｆ＝ａｘ＋ｂｙで表している。

式（４）に、式（３）の数値例を示す。式（４）ではｆ_０がｘ軸であり、これをπ／４ずつ反時計回りに回転した座標軸が、ｆ_１、ｆ_２、ｆ_３となっている。どのような座標軸を定義すれば良いかは、適用分野によって決まる。

なお、座標軸定義の関数に非線形な関数を用いるような拡張も想起されるが、事前に座標変換を行えば同等の効果が得られるため、本質的な拡張とはならない。

次に順序座標値算出手段（１２２）では、座標軸ｆ_ｋごとに、特徴点ｐ_ｎの座標値を計算して、その座標値による特徴点の集合のソート（昇順）を実施する。ソートした特徴点の列Ｏ_ｆｋ（Ｐ）を、式（５）に示す。

式（６）に、式（５）の数値例を示す。この値について、図２を用いて説明する。図２は、数値例としての式（４）の複数座標軸列と式（２）の特徴点を２次平面上に図示したものである。たとえば、図２中のｆ_１のベクトルの方向で見ると、特徴点はｐ_１、ｐ_２、ｐ_０、ｐ_３の順番で並んでいる。これが、式（６）中のＯ_ｆ１（Ｐ）の意味である。

特徴点のＯ_ｆｋ（Ｐ）における0から数えたｐ_ｎの順位をＯ_ｆｋ（ｐ_ｎ）とすると、式（７）のように表現できる。但し、式（７）中の“[．．]”は、”．．”が真のとき”1”、偽のときに”0”の値を取るものとする。式（５）では座標値が同じ場合の順序の決め方を明示していないが、式（７）では右辺の第２項により特徴点の変数の添え字に従うこととしている。このようなタイブレークの方法には、（ア）少し座標軸を回転させた時の順序に従う、（イ）同じ順位として扱うなどの、別の方法も考えられる。同一直線上に3点以上が並ぶような配置が多い場合以外は、式（７）の方法でも問題ない。

図１中の順序座標（１９２）を、式（７）のＯ_ｆｋ（ｐ_ｎ）を用いて、式（８）のように定める。式（８）のような順序座標が、第１のオブジェクトと第２のオブジェクトのそれぞれについて順序座標値算出手段（１２２）にて算出される。

式（９）に、式（８）の数値例を示す。例えば、Ｏ_Ｆ（ｐ_０）の値の（０、２、３、３）は、式（６）でのｐ_０の順位がＯ_ｆ０（Ｐ）で“０”、Ｏ_ｆ１（Ｐ）で“２”、Ｏ_ｆ２（Ｐ）で“３”、Ｏ_ｆ３（Ｐ）で“３”となっていることを表す。

式（９）のような順序座標を考えた時、方向が逆のベクトルによる座標軸は順序が逆になるだけであることから、式（４）で与える複数座標軸定義（１９５）は、原点を始点とした第一象限および第二象限に終点を持つ互いに平行でないベクトルに対応する座標軸のみを考えれば良いことが分かる。

第１と第２のオブジェクトそれぞれの特徴点の順序座標（１９２）を入力した距離算出手段（１２３）では、これを用いて特徴点間のコスト（１９３）を算出する。算出方法は、順序座標値の差分に基づくさまざまな計算方法を用いることが考えられる。本実施例では、式（１０）に示す、 “順序座標値の差の合計”を採ることとして、コストｄ_Oを求める。式（１０）以外にも、“順序座標値の差の相乗平均”や、“順序座標値の差の二乗和の平方”などの計算方法を用いる方法も考えられる。順序座標の差が増えればコストが増える関係になっていれば、すなわち、コストが順序座標の差に対して単調増加する計算値であれば良い。なお、式（１０）中、Ｐを第１のオブジェクト、Ｑを第２のオブジェクトに対応させる。

例えば、式（１１）のような数値例を持つ第２のオブジェクトを考えると、第１のオブジェクト中の特徴点ｐ_１と第２のオブジェクト中の点ｑ_１との距離によるコストｄ_０（ｐ_１、ｑ₁）は、式（１２）のようになる。さらに、第１のオブジェクト中の特徴点と第２のオブジェクト中の点とのすべての組み合わせについてのコスト｛ｄ_Ｏ（ｐ_ｎ、ｑ_ｍ）｝は、表１のようになる。

表１に示した数値例では、第１と第２とのオブジェクトで特徴点の数が同じであったが、これが異なる場合には、式（１３）のような正規化を行うことで、例えば複雑な形に対して、これを簡略化した形へ対応付けることが可能となる。式（１３）の分母をＮではなくＮ−１としたのは、最下位の順位が”1”となるようにするためである。すなわち、正規化された順序座標値は整数値ではなく、閉区間[0、1]の有理数となる。正規化された場合も、順序距離の定義は式（１０）に従う。

式（１３）では、順位Ｏ_ｆｋ（ｐ_ｎ）に対して線形関数によって正規化順序座標値を得ているが、必ずしも用いる関数は線形である必要はなく、単調関数であれば良い。例えば、式（１４）の関数は単調であり、これを用いても良い。式（１４）を用いた場合、順位の差は中央付近では敏感に正規化順序座標値に反映され、最上位もしくは最下位へ近づくほど反映される度合は小さくなり、順序座標値の差異についても同様に反映される。また、式（１３）（１４）はいずれも単調増加関数である。単調減少関数を用いても問題はないが、順位が逆になるだけで、あまり意味は無い。

図１中、対応付け決定手段（１３０）は、表１の数値例のような式（１０）による特徴点間のコスト（１９３）｛ｄ_Ｏ（ｐ_ｎ、ｑ_ｍ）｝を含むコストを入力して、対応付け（１９４）を決定する。本発明の特徴は順序座標値をコストの算出に用いることであり、対応付け決定手段（１３０）で使用される手順は特定のものである必要はない。本実施例では、図３に示す単純な特徴点の対応付け手順を採ることとする。図３の手順は、必ずしもコストの合計を最小とする最適な対応付けを得るものではない。しかしながら、順序座標値によるコストが有効に働くため、図３のような単純な対応付け手順を用いても正確な対応付けを得ることが出来る。

対応付け決定手段（１３０）が図３の手順を用いて表１の数値例のコストにより対応付けを行った場合、表１内に丸印で記したような対応付け（１９４）が得られる。

以上説明した実施例では、１対１の対応付けを行うことを前提として図３の対応付け手順を用いているが、必ずしも１対１の対応付けのみに本発明は制限される訳ではない。例えば、式（１３）のような正規化を行うことで複雑な形を簡略化した形へ対応付ける場合、１対多の対応付けとなる。

次に、上述の実施例１の特徴点対応付け装置（１００）を利用して、文字の画の対応付けを行うことで漢字の書き取り試験をタッチパネルを備えた装置上で行う実施例を説明する。

図４は、本発明の実施例に係る書き取り試験装置（４００） の概念的な構成図であり、やりとりされるデータも図中に示している。なお、図４中では、図１に記した対応付け装置（１００）を書き取り試験装置（４００）が外部から利用する形態としているが、これは図１との一貫した説明のためにそのように記しているのであり、もちろん、対応付け装置（１００）の機能相当が書き取り試験装置（４００）内に組み込まれた形態でも良い。

書き取り試験装置（４００）は、タッチパネル（４１０）中の位置入力手段（４２０）と表示手段（４３０）、手書き入力制御手段（４４０）、書き取り問題管理手段（４５０）、採点手段（４６０）から構成されている。さらに、採点手段（４６０）は、中点算出手段（４６１）、角度算出手段（４６２）、正誤判定手段（４６３）から構成されている。

図４中、書き取り問題管理手段（４５０）は、書き取りの設問（４９１）を表示手段（４３０）に出力し、利用者（４９９）はこれを視認（４９２）して、位置入力手段（４２０）に対して描画による入力（４９３）を実施する。これを受けて、位置入力手段（４２０）は描画入力の座標情報（４９４）を手書き入力制御手段（４４０）へ出力する。手書き入力制御手段（４４０）は、表示手段（４３０）により文字画像（４９５）を表示し、描画入力が終わり採点を始める時点で手書き入力文字のストローク情報（４９６）を採点手段（４６０）に出力する。

続いて採点手段（４６０）では、手書き入力文字のストローク情報（４９６）、および、書き取り問題管理手段（４５０）から入力した正答文字のストローク情報（４９７）に対して、中点算出手段（４６１）と角度算出手段（４６２）とによる処理を行う。中点算出手段（４６１）では、ストローク情報中の各ストロークの中点を求める。この中点のｘｙ座標が、対応付け装置（１００）に入力された際に、特徴点の座標値、すなわち、式（１）の値となる。

角度算出手段（４６２）では、ストローク情報中の各ストロークの始点と終点でのｘ軸に対する角度を求める。これは、対応付け装置（１００）に入力された際に、図１中の他のコスト算出手段（１２５）でのコストの算出に用いられる。本発明においては、その特徴である順序座標値の差分に基づく距離によるコストに加えて、必要に応じてその他のコストも合算して対応付け手段（１３０）への入力とする。この始点と終点でのｘ軸に対する角度は、その例である。この実施例では、中点算出手段（４６１）で得たストロークの中点だけでは、例えば“十”の字の第１画と第２画とは区別が着かないため、他のコストとしてこのような角度によるコストが必要となる。式（１５）に、角度によるコストｄ_Ｓの定義を与える。

図４中の対応付け装置（１００）では、採点手段（４６０）中の中点算出手段（４６１）と角度算出手段（４６２）とによる処理が行われたストローク情報のうち、正答文字のストローク情報を第１のオブジェクトとして、手書き入力文字のストローク情報を第２のオブジェクトとして入力する。図１で説明した処理により対応付けを行うが、この際のコストは、式（１０）と式（１５）とを合算した、式（１６）の値ｄを用いる。

対応付け装置（１００）による処理の結果として、対応付け（１９４）が採点手段（４６０）中の正誤判定手段（４６３）へ出力される。正誤判定手段では、対応付けられたストローク、または、ストローク間の関係を比較して、正答文字と手書き入力文字とが一定レベル以上で一致しているか否かを判定し、正答／誤答の判定結果（４９８）を表示手段（４３０）へ出力する。

図４を用いて説明した実施例では、ストロークから構成される文字をオブジェクトとし、特徴点であるストロークの中点の平面上の座標を用いて順序座標値を算出しているが、このように平面上の単独の点の座標を用いる以外の方法もある。例えば、ストロークの始点（ｘｓ、ｙｓ）と終点（ｘｅ、ｙｅ）とのｘｙ座標を用いて、（ｘｓ、ｙｓ、ｘｅ、ｙｅ）の４次元空間上で順序座標値を算出しても良い。その場合、座標軸列としてＦ＝（ｘｓ、ｘｓ＋ｙｓ、ｙｓ、−ｘｓ＋ｙｓ、ｘｅ、ｘｅ＋ｙｅ、ｙｅ、−ｘｅ＋ｙｅ）を取れば、始点と終点とを別々に順序付けしていることに相当する処理となる。

この４次元空間での例のように、特徴点の座標は、ストロークの位置を表す２次元平面上の座標値から構成すれば良い。すなわち、ストロークの中点の座標値を用いる場合のように、２次元平面上の単独の点の座標値だけを用いる必要は無い。２次元平面上の単独の点の座標値を用いる場合も、中点である必要は無い。

また、順序座標値によるコストを複数定義する方法もある。すなわち、図１中の他のコスト算出手段（１２５）でも順序座標値によるコストを算出しても良い。例えば文字をオブジェクトとする場合、始点に関して一つの距離コスト算出手段を設け、終点に関して別の距離コスト算出手段を設ける方法でも良い。この方法は、座標軸列Ｆ＝（ｘｓ、ｘｓ＋ｙｓ、ｙｓ、−ｘｓ＋ｙｓ、ｘｅ、ｘｅ＋ｙｅ、ｙｅ、−ｘｅ＋ｙｅ）を用いた上記の例と類似するが、式（１６）中の係数相当を設定できる点などが異なる。

図５に、図４で説明した書き取り試験装置の動作例を示す。図５中、正答の文字のイメージ（５０１）と、手書き入力文字のイメージ（５０２）とは、実際のタッチパネルを備えた書き取り試験装置上で手書き入力した文字である。それぞれ筆順に番号を施しており、この番号をインデックスとして対応付けを行う。

図５中、正答の文字のストロークのパス（ＳＶＧ）（５１１）は、５０１に対応するパス情報を、ＨＴＭＬ５でも採用されているＳＶＧ（Scalable Vector Graph）での記法により記したものである。同様に、５１２は５０２のパス情報である。これらのパス情報では、曲線は２次ベジェ曲線で表現されている。なお、ＳＶＧにおいては、ｙ軸は文字の下の方に向いており、一般的なｘｙ座標平面とは逆である。５１１と５１２のパス情報の座標値、および以下の説明で現れる座標値や順序座標値は、ＳＶＧのｙ軸方向に従っている。

図５中、ストロークの中点の座標と順序座標（５２０）は、５１１および５１２のパス情報から抽出される各ストローク（画）の中点の座標と、これらを式（８）等で定義した順序座標に変換した値である。なお、図５中の順序座標は、正規化を行っていない値を記している。また、中点の座標値には、処理の高速化のために近似値を用いている。

図５中のストローク間の順序距離（５３０）は、５２０の値に対して式（１０）による順序距離を求めた結果の表である。表の縦方向に５０１に対応した正答の文字のストロークを、横方向に５０２に対応した手書き入力文字のストロークを記している。５３０の値に対して図３に示した対応付け手順を用いて対応付けられる画の組み合わせを、表中の丸印部分で示す。なお、書き取り試験装置が実用場面で動作する際には式（１５）で示したコストを合算して対応付けを行うものであるが、式（１５）は本発明に直接関わらないため省略した。

５３０の表の丸印部分のように、５０１と５０２との文字の特徴点であるストローク（の中点）が、正しく対応付けられていることが確認できる。５０２に示した手書き入力文字のイメージは相当歪んでいるが、図３に示した単純な手順によっても正しく対応付けが行われている。

以上説明した実施例では、手書き文字による書き取り試験装置を扱ったが、本発明による対応付け装置は、オンライン文字認識等にも類似した形態で利用可能である。もちろん、手書き文字以外にも、画像や音声信号、文章など、様々な対象をオブジェクトとして適用することも可能である。

画像や音声信号、文章など、様々な対象について、２つのオブジェクト間の対応付けに利用可能であり、認証、認識、検索などの用途に適用できる。

１００ 特徴点対応付け装置
１１０ オブジェクト入力手段
１２０ コスト算出手段
１２１ 距離コスト算出手段
１２２ 順序座標値算出手段
１２３ 距離算出手段
１２４ 座標軸定義保持手段
１２５ 他のコスト算出手段
１３０ 対応付け決定手段
１９１ 特徴点の２次平面座標値
１９２ 特徴点の順序座標
１９３ 特徴点間のコスト
１９４ 対応付け
１９５ 複数座標軸定義
４００ 書き取り試験装置
４１０ タッチパネル
４２０ 位置入力手段
４３０ 表示手段
４４０ 手書き入力制御手段
４５０ 書き取り問題管理手段
４６０ 採点手段
４６１ 中点算出手段
４６２ 角度算出手段
４６３ 正誤判定手段
４９１〜４９８ データの流れを示す矢印
４９９ 利用者
５０１ 正答の文字のイメージ
５０２ 手書き入力文字のイメージ
５１１ 正答の文字のストロークのパス（ＳＶＧ）
５１２ 手書き入力文字のストロークのパス（ＳＶＧ）
５２０ ストロークの中点の座標と順序座標
５３０ ストローク間の順序距離

Claims (7)

1. Ｎ（ Ｎ は２ 以上の自然数）次元空間のＮ個の座標値からなる座標を有する２つ以上の特徴点を要素とするオブジェクトの２つを比較して、
   第１の前記オブジェクトの前記特徴点と第２の前記オブジェクトの前記特徴点とを対応付ける際に、
   対応付けの対象となる前記特徴点の間のコストを定め、対応付けた前記特徴点の間の前記コストの合算値を小さくするよう対応付けを決定する特徴点対応付け方法において、
   前記Ｎ次元空間上の２つ以上の互いに平行でない複数座標軸を定め、
   前記複数座標軸の各々の座標軸ごとに、前記第１のオブジェクトの要素である前記特徴点の該座標軸上における座標値を求め、求めた該座標値により前記特徴点を昇順あるいは降順にソートして並べた特徴点の順序列を求め、前記特徴点の前記順序列における出現順を示す整数値をその前記特徴点の該座標軸における順序座標値として算出する第１の順序座標算出ステップと、前記第２のオブジェクトについてもその要素である前記特徴点の前記順序座標値を算出する第２の順序座標算出ステップと、
   前記第１のオブジェクトの前記特徴点と前記第２のオブジェクトの前記特徴点との２つの特徴点の間の前記コストを、前記複数座標軸の各々の座標軸での前記２つの特徴点の前記順序座標値の差分に対して単調増加する計算値を含ませて定める、コスト算出ステップと、
   前記コスト算出ステップで定めた前記コストを用いて対応付けを決定するステップと、
   を有することを特徴とする特徴点の対応付け方法。
2. 前記第１の順序座標算出ステップと前記第２の順序座標算出ステップは、前記特徴点の前記順序列における出現順を示す整数値に代わって、該整数値を単調関数によって変換した値を、前記順序座標値として用いることを特徴とした、請求項１ に記載の特徴点の対応付け方法。
3. 前記オブジェクトは２次元平面上にひとつ以上のストロークとして表現された文字であり、前記特徴点は前記ストロークであり、前記特徴点の座標は前記ストロークの位置を表す前記２次元平面上の一つ以上の点の座標の座標値から構成されることを特徴とする、請求項１または請求項２に記載の特徴点の対応付け方法。
4. Ｎ（ Ｎ は２ 以上の自然数）次元空間のＮ個の座標値からなる座標を有する２つ以上の特徴点を要素とするオブジェクトの２つを比較して、
   第１の前記オブジェクトの前記特徴点と第２の前記オブジェクトの前記特徴点とを対応付ける際に、
   対応付けの対象となる前記特徴点の間のコストを定め、対応付けた前記特徴点の間の前記コストの合算値を小さくするよう対応付けを決定する特徴点対応付け装置において、
   前記Ｎ次元空間上の２つ以上の互いに平行でない複数座標軸を定め、
   前記複数座標軸の各々の座標軸ごとに、前記第１のオブジェクトの要素である前記特徴点の該座標軸上における座標値を求め、求めた該座標値により前記特徴点を昇順あるいは降順にソートして並べた特徴点の順序列を求め、前記特徴点の前記順序列における出現順を示す整数値をその前記特徴点の該座標軸における順序座標値として算出する第１の順序座標算出手段と、前記第２のオブジェクトについてもその要素である前記特徴点の前記順序座標値を算出する第２の順序座標算出手段と、
   前記第１のオブジェクトの前記特徴点と前記第２のオブジェクトの前記特徴点との２つの特徴点の間の前記コストを、前記複数座標軸の各々の座標軸での前記２つの特徴点の前記順序座標値の差分に対して単調増加する計算値を含ませて定める、コスト算出手段と、
   前記コスト算出手段で定めた前記コストを用いて対応付けを決定する手段と、
   を有することを特徴とする特徴点の対応付け装置。
5. 前記第１の順序座標算出手段と前記第２の順序座標算出手段は、前記特徴点の前記順序列における出現順を示す整数値に代わって、該整数値を単調関数によって変換した値を、前記順序座標値として用いることを特徴とした、請求項１ に記載の特徴点の対応付け装置。
6. 前記オブジェクトは２次元平面上にひとつ以上のストロークとして表現された文字であり、前記特徴点は前記ストロークであり、前記特徴点の座標は前記ストロークの位置を表す２次元平面上の一つ以上の点の座標の座標値から構成されることを特徴とする、請求項１または請求項２に記載の特徴点の対応付け装置。
7. 請求項１ 乃至請求項３ に記載の特徴点の対応付け方法をコンピュータに実行させることを特徴とするプログラム。

Images