JP2001134766A - 画像識別装置及び画像識別方法 - Google Patents
画像識別装置及び画像識別方法Info
- Publication number
- JP2001134766A JP2001134766A JP2000274130A JP2000274130A JP2001134766A JP 2001134766 A JP2001134766 A JP 2001134766A JP 2000274130 A JP2000274130 A JP 2000274130A JP 2000274130 A JP2000274130 A JP 2000274130A JP 2001134766 A JP2001134766 A JP 2001134766A
- Authority
- JP
- Japan
- Prior art keywords
- handwritten
- image
- stroke
- data
- image identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
- G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
(57)【要約】
【課題】 手書き図形に基づく画像識別処理を効率的に
行う。 【解決手段】 手書き図形を描画するために実行された
ストロークを分解し、空間的サンプルのシーケンスを分
解されたストロークデータに関連付けてパラメータデー
タを生成し、パラメータデータに基づいて画像を識別す
る。
行う。 【解決手段】 手書き図形を描画するために実行された
ストロークを分解し、空間的サンプルのシーケンスを分
解されたストロークデータに関連付けてパラメータデー
タを生成し、パラメータデータに基づいて画像を識別す
る。
Description
【０００１】
【発明の属する技術分野】本発明は画像識別装置及び画
像識別方法に関し、特に、手書き入力された画像を識別
する画像識別装置及び画像識別方法に関する。
像識別方法に関し、特に、手書き入力された画像を識別
する画像識別装置及び画像識別方法に関する。
【０００２】
【従来の技術】画像を作成する手法は様々である。古く
から、画像の作者又は画家は、例えば鉛筆やペン、その
他の描画用具を用いて画像を描いてきた。また、コンピ
ュータにより実行される描画アプリケーションを用い
て、例えば、矩形、直線、円等のこのアプリケーション
において予め定義された要素を選択し、これらを位置決
めし、サイズ及び形状を変更するなどして画像を作成す
る作者もいる。さらに、画像作成に要する時間を短縮す
るために、アプリケーションには、予め作成された画像
が用意されていることがある。これら画像は、選択さ
れ、コピーされて所望のシーンの作成に使用される。予
め作成された画像は、シーンの全体であっても一部であ
ってもよく、所定の物品をデザインしたものであっても
よく、劇、テレビ番組、映画等の１シーンを表すもので
あってもよい。
から、画像の作者又は画家は、例えば鉛筆やペン、その
他の描画用具を用いて画像を描いてきた。また、コンピ
ュータにより実行される描画アプリケーションを用い
て、例えば、矩形、直線、円等のこのアプリケーション
において予め定義された要素を選択し、これらを位置決
めし、サイズ及び形状を変更するなどして画像を作成す
る作者もいる。さらに、画像作成に要する時間を短縮す
るために、アプリケーションには、予め作成された画像
が用意されていることがある。これら画像は、選択さ
れ、コピーされて所望のシーンの作成に使用される。予
め作成された画像は、シーンの全体であっても一部であ
ってもよく、所定の物品をデザインしたものであっても
よく、劇、テレビ番組、映画等の１シーンを表すもので
あってもよい。
【０００３】文字認識の分野においては、例えばアルフ
ァベット文字を表す画像が認識され、認識されたアルフ
ァベットに対応するアルファベットデータが生成され
る。このような処理の一例は、インターネットウェブサ
イトhttp://www-cgi.cs.cmu.edu、カーネギーメロン大
学（Carnegie Mellon University）、ロボティクス学会
（Robotics Institute）、画像システムラボ（Imaging
Systems Lab.）のアール・ロメオ（R.Romeo）、アール
・バーガー（R.Berger）、アール・シバドー（R.Thibad
eau）、ディー・トゥレツスキー（D.Touretsky）らによ
る「光学的漢字認識のためのニューラルネットワーク分
類法(Neural Network Classifiers for Optical Chines
e Character)」に開示されている。また、入力される画
像は手書きの画像であってもよい。この場合、画像認識
を補助するために、認識する画像を描画した際のペンの
複数の異なるストロークに対応して画像をセグメント化
するようになっている。この手法は、１９９６年４月１
日にインターネットウェブサイトhttp://hwr.nici.kun.
nl/recog/hwr-tutor/velocity.htmlにて発表された、ラ
ンバート・シューメイカー（Lambart Schomaker）が著
作権を有する「手書きにおけるペン先の速度（Pen-tip
velocity in Handwriting）」に開示されている。
ァベット文字を表す画像が認識され、認識されたアルフ
ァベットに対応するアルファベットデータが生成され
る。このような処理の一例は、インターネットウェブサ
イトhttp://www-cgi.cs.cmu.edu、カーネギーメロン大
学（Carnegie Mellon University）、ロボティクス学会
（Robotics Institute）、画像システムラボ（Imaging
Systems Lab.）のアール・ロメオ（R.Romeo）、アール
・バーガー（R.Berger）、アール・シバドー（R.Thibad
eau）、ディー・トゥレツスキー（D.Touretsky）らによ
る「光学的漢字認識のためのニューラルネットワーク分
類法(Neural Network Classifiers for Optical Chines
e Character)」に開示されている。また、入力される画
像は手書きの画像であってもよい。この場合、画像認識
を補助するために、認識する画像を描画した際のペンの
複数の異なるストロークに対応して画像をセグメント化
するようになっている。この手法は、１９９６年４月１
日にインターネットウェブサイトhttp://hwr.nici.kun.
nl/recog/hwr-tutor/velocity.htmlにて発表された、ラ
ンバート・シューメイカー（Lambart Schomaker）が著
作権を有する「手書きにおけるペン先の速度（Pen-tip
velocity in Handwriting）」に開示されている。
【０００４】
【発明が解決しようとする課題】手書き入力された画像
から、所望の画像を効率的に生成する装置の実現が望ま
れている。このような装置は、例えば、創造的なアイデ
アが手書きにより表現される、ピクチャ、デザイン、シ
ーンのアイデア又は原案（initial thought）を作成す
る初期段階において必要とされる。
から、所望の画像を効率的に生成する装置の実現が望ま
れている。このような装置は、例えば、創造的なアイデ
アが手書きにより表現される、ピクチャ、デザイン、シ
ーンのアイデア又は原案（initial thought）を作成す
る初期段階において必要とされる。
【０００５】そこで本発明は、所望の画像を効率的に作
成することができる画像識別装置及び画像識別方法を提
供することを目的とする。
成することができる画像識別装置及び画像識別方法を提
供することを目的とする。
【０００６】
【課題を解決するための手段】上述の目的を達成するた
めに、本発明に係る画像識別装置は、画像を表す手書き
図形により生成される空間的サンプルのシーケンスから
画像を識別する画像識別装置において、空間的サンプル
に基づいて、手書き図形を描画するために実行されたス
トロークを表すストロークデータを判定するセグメント
処理手段と、空間的サンプルのシーケンスと、判定され
たストロークデータとに基づいて、パラメータデータを
生成するストローク前処理手段と、ストローク前処理手
段に接続され、パラメータデータに基づいて、画像を識
別する画像識別手段とを備える。
めに、本発明に係る画像識別装置は、画像を表す手書き
図形により生成される空間的サンプルのシーケンスから
画像を識別する画像識別装置において、空間的サンプル
に基づいて、手書き図形を描画するために実行されたス
トロークを表すストロークデータを判定するセグメント
処理手段と、空間的サンプルのシーケンスと、判定され
たストロークデータとに基づいて、パラメータデータを
生成するストローク前処理手段と、ストローク前処理手
段に接続され、パラメータデータに基づいて、画像を識
別する画像識別手段とを備える。
【０００７】例えば描画手段を用いて、画像の手書き図
形に対応する空間的サンプルを生成できることが知られ
ている。しかしながら、空間的サンプルから画像を認識
するための従来の画像識別装置には技術的問題が存在す
る。空間的サンプルが供給され、空間的サンプルに基づ
いて、手書き図形を描画するために実行されたストロー
クを表すストロークデータを判定するセグメント処理手
段を設け、ストロークデータと空間的サンプルを組み合
わせることにより生成されたデータのセットを用いて画
像を識別することにより、空間的サンプルのみを用いる
場合に比べてデータ量を低減することができる。すなわ
ち、ストロークデータと空間的サンプルを組み合わせて
生成されたより少ないデータセットにより、従来より容
易に画像を識別できる。ストロークデータに含まれる、
手書き図形を生成するために用いられたストロークの回
数を示す情報により画像が示唆される。例えば、三角形
は３回のストロークにより生成され、正方形は４回のス
トロークにより生成される。
形に対応する空間的サンプルを生成できることが知られ
ている。しかしながら、空間的サンプルから画像を認識
するための従来の画像識別装置には技術的問題が存在す
る。空間的サンプルが供給され、空間的サンプルに基づ
いて、手書き図形を描画するために実行されたストロー
クを表すストロークデータを判定するセグメント処理手
段を設け、ストロークデータと空間的サンプルを組み合
わせることにより生成されたデータのセットを用いて画
像を識別することにより、空間的サンプルのみを用いる
場合に比べてデータ量を低減することができる。すなわ
ち、ストロークデータと空間的サンプルを組み合わせて
生成されたより少ないデータセットにより、従来より容
易に画像を識別できる。ストロークデータに含まれる、
手書き図形を生成するために用いられたストロークの回
数を示す情報により画像が示唆される。例えば、三角形
は３回のストロークにより生成され、正方形は４回のス
トロークにより生成される。
【０００８】ストローク前処理手段は、パラメータデー
タを生成し、このパラメータデータが示すデータセット
から画像を識別することができる。ストローク前処理手
段は、判定されたストロークに空間的サンプルを組み合
わせ、これにより生成されたデータセットにより画像識
別手段は、より容易に対応する画像を識別することがで
きる。
タを生成し、このパラメータデータが示すデータセット
から画像を識別することができる。ストローク前処理手
段は、判定されたストロークに空間的サンプルを組み合
わせ、これにより生成されたデータセットにより画像識
別手段は、より容易に対応する画像を識別することがで
きる。
【０００９】手書き図形を生成し、この画像を表す手書
き図形から空間サンプルを生成する手法としては様々な
手法がある。空間サンプルは、所定の空間座標に関連す
る描画手段の位置のサンプルである。画像識別装置に
は、他の装置から空間的サンプルのシーケンスを供給す
るようにしてもよいが、本発明に係る画像識別装置は、
好ましくは、手書き図形を作成するための描画手段を備
え、空間的サンプルのシーケンスは、描画手段の移動に
より生成される。
き図形から空間サンプルを生成する手法としては様々な
手法がある。空間サンプルは、所定の空間座標に関連す
る描画手段の位置のサンプルである。画像識別装置に
は、他の装置から空間的サンプルのシーケンスを供給す
るようにしてもよいが、本発明に係る画像識別装置は、
好ましくは、手書き図形を作成するための描画手段を備
え、空間的サンプルのシーケンスは、描画手段の移動に
より生成される。
【００１０】描画手段は、手書き画像から空間サンプル
を生成するものであればいかなるものであってもよい。
描画手段は、画像の手書き図形に対応する空間サンプル
を生成するが、この空間サンプルに基づいて、画像の手
書き図形を描画する際に実行されたストロークを正確に
判定する要求が残されている。本発明に係る画像識別装
置において、好ましくは、セグメント処理手段は、空間
的サンプルから描画手段の相対的移動方向に基づく相対
方向情報を生成し、相対方向情報から描画手段が移動方
向を変化させた回数を判定し、描画手段が移動方向を変
化させた回数に基づいて、手書き図形のストロークデー
タを判定する。描画手段の移動方向の変化の回数を容易
に検出できるようにするために、セグメント処理手段
は、例えば、相対方向情報から描画手段の移動方向の変
化率を示す情報を生成し、描画手段が移動方向を変化さ
せた回数を示す描画手段の移動方向の変化率におけるピ
ークの数を判定する。手書き図形を描画する際に用いら
れたストロークの検出の確実性を高めるために、セグメ
ント処理手段は、好ましくは、相対方向情報が通過され
るフィルタを備え、描画手段の移動方向の変化の回数を
フィルタリングされた相対方向情報に基づいて判定す
る。
を生成するものであればいかなるものであってもよい。
描画手段は、画像の手書き図形に対応する空間サンプル
を生成するが、この空間サンプルに基づいて、画像の手
書き図形を描画する際に実行されたストロークを正確に
判定する要求が残されている。本発明に係る画像識別装
置において、好ましくは、セグメント処理手段は、空間
的サンプルから描画手段の相対的移動方向に基づく相対
方向情報を生成し、相対方向情報から描画手段が移動方
向を変化させた回数を判定し、描画手段が移動方向を変
化させた回数に基づいて、手書き図形のストロークデー
タを判定する。描画手段の移動方向の変化の回数を容易
に検出できるようにするために、セグメント処理手段
は、例えば、相対方向情報から描画手段の移動方向の変
化率を示す情報を生成し、描画手段が移動方向を変化さ
せた回数を示す描画手段の移動方向の変化率におけるピ
ークの数を判定する。手書き図形を描画する際に用いら
れたストロークの検出の確実性を高めるために、セグメ
ント処理手段は、好ましくは、相対方向情報が通過され
るフィルタを備え、描画手段の移動方向の変化の回数を
フィルタリングされた相対方向情報に基づいて判定す
る。
【００１１】空間的サンプルは、所定の空間座標に関連
付けられた描画手段の位置のサンプルであってもよい。
また、空間サンプルにサンプルが生成された相対的時間
を示す時間的参照データを添付してもよい。このような
場合、好ましい実施の形態においては、セグメント処理
手段は、複数個の空間的サンプルの時間的参照情報から
空間的サンプルに対応する描画手段の描画時の相対移動
速度を示す相対速度情報を生成し、相対速度情報から描
画手段が速度を変化させた回数を判定し、速度の変化の
回数に基づいて、手書き図形のストロークデータを判定
する。画像の手書き図形を描画するために使用されたス
トロークの数の判定を改善するために、セグメント処理
手段は、相対速度情報から描画手段の移動速度の変化率
を示す情報を生成し、移動速度の変化率がゼロになった
時点を識別して、描画手段が速度を変化させた回数は、
最小速度に対応する、移動速度の変化率がゼロになった
時点から判定される。手書き図形を描画する際に用いら
れたストロークの検出の確実性を高めるために、セグメ
ント処理手段は、好ましくは、相対速度情報が通過され
る相対速度情報が通過されるフィルタを備え、描画手段
が移動速度を変化させた回数は、フィルタによりフィル
タリングされた相対速度情報に基づいて判定される。
付けられた描画手段の位置のサンプルであってもよい。
また、空間サンプルにサンプルが生成された相対的時間
を示す時間的参照データを添付してもよい。このような
場合、好ましい実施の形態においては、セグメント処理
手段は、複数個の空間的サンプルの時間的参照情報から
空間的サンプルに対応する描画手段の描画時の相対移動
速度を示す相対速度情報を生成し、相対速度情報から描
画手段が速度を変化させた回数を判定し、速度の変化の
回数に基づいて、手書き図形のストロークデータを判定
する。画像の手書き図形を描画するために使用されたス
トロークの数の判定を改善するために、セグメント処理
手段は、相対速度情報から描画手段の移動速度の変化率
を示す情報を生成し、移動速度の変化率がゼロになった
時点を識別して、描画手段が速度を変化させた回数は、
最小速度に対応する、移動速度の変化率がゼロになった
時点から判定される。手書き図形を描画する際に用いら
れたストロークの検出の確実性を高めるために、セグメ
ント処理手段は、好ましくは、相対速度情報が通過され
る相対速度情報が通過されるフィルタを備え、描画手段
が移動速度を変化させた回数は、フィルタによりフィル
タリングされた相対速度情報に基づいて判定される。
【００１２】さらに、手書き図形を描画する際に用いた
ストロークを正しく検出する可能性を高めるために、相
対方向情報と相対速度情報とを組み合わせて手書き図形
のストロークデータを判定するとよい。すなわち、移動
方向の変化と速度の低下を相関させることにより手書き
図形を描画する際に用いられたストロークをより正確に
検出することができる。
ストロークを正しく検出する可能性を高めるために、相
対方向情報と相対速度情報とを組み合わせて手書き図形
のストロークデータを判定するとよい。すなわち、移動
方向の変化と速度の低下を相関させることにより手書き
図形を描画する際に用いられたストロークをより正確に
検出することができる。
【００１３】手書き図形から画像を識別する処理をさら
に向上させるために、ストローク前処理手段に識別され
た手書き図形のストロークと空間サンプルとを組み合わ
せて処理させることにより、ストローク前処理手段を設
けない場合に画像を定義するために必要なデータ量に比
べて、手書き図形を定義するデータセットのデータ量を
実質的に低減できる。本発明の好適な実施の形態におい
て、ストローク前処理手段は、各ストロークの開始点及
び終了点を判定し、ストロークの開始点及び終了点から
手書き図形の外側の境界を定義し、外側の境界から、空
間的サンプルをそれぞれ比例させて所定の参照単位に適
応化することにより手書き図形を正規化し、正規化され
た手書き図形からパラメータデータを生成する。所定の
参照単位に対して手書き図形を正規化することにより、
ユーザが描画した図形の大きさから独立して画像を認識
することができる。これにより、画像識別装置は、任意
の画像に対する異なる図形からその画像を同様に認識す
ることができる。これは、特に、異なるユーザが同一の
図形を異なる大きさで描画するような状況で有効であ
り、さらに、ユーザが特定の単位となる範囲内で図形を
描画するように制約されていない状況において有効であ
る。
に向上させるために、ストローク前処理手段に識別され
た手書き図形のストロークと空間サンプルとを組み合わ
せて処理させることにより、ストローク前処理手段を設
けない場合に画像を定義するために必要なデータ量に比
べて、手書き図形を定義するデータセットのデータ量を
実質的に低減できる。本発明の好適な実施の形態におい
て、ストローク前処理手段は、各ストロークの開始点及
び終了点を判定し、ストロークの開始点及び終了点から
手書き図形の外側の境界を定義し、外側の境界から、空
間的サンプルをそれぞれ比例させて所定の参照単位に適
応化することにより手書き図形を正規化し、正規化され
た手書き図形からパラメータデータを生成する。所定の
参照単位に対して手書き図形を正規化することにより、
ユーザが描画した図形の大きさから独立して画像を認識
することができる。これにより、画像識別装置は、任意
の画像に対する異なる図形からその画像を同様に認識す
ることができる。これは、特に、異なるユーザが同一の
図形を異なる大きさで描画するような状況で有効であ
り、さらに、ユーザが特定の単位となる範囲内で図形を
描画するように制約されていない状況において有効であ
る。
【００１４】好適な実施の形態において、パラメータデ
ータは、ストロークの回数、手書き図形の重心、手書き
図形の平均ベクトル、手書き図形の正規化されたベクト
ル、手書き図形の長さ、手書き図形のバランスのうちの
少なくとも１つを含む。
ータは、ストロークの回数、手書き図形の重心、手書き
図形の平均ベクトル、手書き図形の正規化されたベクト
ル、手書き図形の長さ、手書き図形のバランスのうちの
少なくとも１つを含む。
【００１５】さらに、好適な実施の形態において、画像
識別手段は、複数の画像を保存する画像保存装置にアク
セスし、パラメータデータに基づいて、複数の画像のう
ちどの画像が手書き図形に対応するかを判定する。画像
識別手段により画像を示す参照識別データを提供しても
よいが、画像識別装置に画像保存装置を設け、画像保存
装置に複数の画像を保存し、これら保存された画像から
手書き図形に対応する画像を識別するような構成とする
ことによりさらなる利益が得られる。
識別手段は、複数の画像を保存する画像保存装置にアク
セスし、パラメータデータに基づいて、複数の画像のう
ちどの画像が手書き図形に対応するかを判定する。画像
識別手段により画像を示す参照識別データを提供しても
よいが、画像識別装置に画像保存装置を設け、画像保存
装置に複数の画像を保存し、これら保存された画像から
手書き図形に対応する画像を識別するような構成とする
ことによりさらなる利益が得られる。
【００１６】本発明の好適な実施の形態において、画像
識別手段は、予め保存された複数の画像に対応するパラ
メータデータによりトレーニングされ、予め保存された
複数の画像のどれがパラメータデータに対応するかを示
す参照識別データを生成するニューラルネットワークで
ある。このニューラルネットワークは、例えば、複数層
のパーセプトロンからなり、入力層の入力端子の数はパ
ラメータデータの項数に対応し、パラメータデータの各
項は、それぞれ対応する入力端子に供給される。
識別手段は、予め保存された複数の画像に対応するパラ
メータデータによりトレーニングされ、予め保存された
複数の画像のどれがパラメータデータに対応するかを示
す参照識別データを生成するニューラルネットワークで
ある。このニューラルネットワークは、例えば、複数層
のパーセプトロンからなり、入力層の入力端子の数はパ
ラメータデータの項数に対応し、パラメータデータの各
項は、それぞれ対応する入力端子に供給される。
【００１７】選択された画像をユーザに示すために、画
像識別手段は、識別された画像を表すデータを表示装置
に供給し、画像を表示させてもよい。
像識別手段は、識別された画像を表すデータを表示装置
に供給し、画像を表示させてもよい。
【００１８】本発明に係る画像識別装置は、様々な分野
に適用することができる。以下に説明する実施の形態で
は、本発明をストーリーボード作成装置の一部に適用し
た具体例を説明する。予め記憶された画像を用いること
により、オーディオビジュアル作品のストーリーボード
を効率的に作成することができる。
に適用することができる。以下に説明する実施の形態で
は、本発明をストーリーボード作成装置の一部に適用し
た具体例を説明する。予め記憶された画像を用いること
により、オーディオビジュアル作品のストーリーボード
を効率的に作成することができる。
【００１９】また、本発明に係る画像識別方法は、画像
を表す手書き図形により生成される空間的サンプルのシ
ーケンスから画像を識別する画像識別方法において、空
間的サンプルから、手書き図形を描画するために実行さ
れたストロークを分解するステップと、空間的サンプル
のシーケンスを、分解されたストロークデータに関連付
けてパラメータデータを生成するステップと、パラメー
タデータに基づいて、画像を識別するステップとを有す
る。
を表す手書き図形により生成される空間的サンプルのシ
ーケンスから画像を識別する画像識別方法において、空
間的サンプルから、手書き図形を描画するために実行さ
れたストロークを分解するステップと、空間的サンプル
のシーケンスを、分解されたストロークデータに関連付
けてパラメータデータを生成するステップと、パラメー
タデータに基づいて、画像を識別するステップとを有す
る。
【００２０】
【発明の実施の形態】以下、本発明に係る画像識別装置
及び画像識別方法について図面を参照して詳細に説明す
る。
及び画像識別方法について図面を参照して詳細に説明す
る。
【００２１】手書き図形の識別処理は、画像認識や手書
き文字認識等のいくつかの分野で必要とされる処理であ
る。例えば、手書き図形から画像を生成することによ
り、普遍的な意思伝達が実現され、すなわち、ある者
が、ある国の言語を知らない場合でも、その者が所望の
物の画像を描くことにより、この画像からその言語にお
いてその物を示す単語を検索することができる。この他
の応用例としては、手書きされた文字を認識する手書き
文字認識がある。同様に、手書き図形を予め記憶されて
いるより複雑な画像と対応させて画像を生成することに
より、絵画又はイラストレーションにおける複雑なシー
ンを効率的に描画することができる。本発明の理解を容
易にする適用例として、ストーリーボード（俗に、絵コ
ンテとも呼ばれる。）作成装置（story board generati
on station）がある。このストーリーボード作成装置に
より、ユーザは映画、コマーシャルフィルム、ドキュメ
ンタリー等のストーリーボードを作成することができ
る。本発明を適用したストーリーボード作成装置によれ
ば、特別な才能及び技能を有さない者であっても、その
才能や技能に関わらず、正確で複雑な視覚的描写を含む
ストーリーボードを作成することができる。本発明を適
用したストーリーボード作成装置の具体的構成例を図１
に示す。
き文字認識等のいくつかの分野で必要とされる処理であ
る。例えば、手書き図形から画像を生成することによ
り、普遍的な意思伝達が実現され、すなわち、ある者
が、ある国の言語を知らない場合でも、その者が所望の
物の画像を描くことにより、この画像からその言語にお
いてその物を示す単語を検索することができる。この他
の応用例としては、手書きされた文字を認識する手書き
文字認識がある。同様に、手書き図形を予め記憶されて
いるより複雑な画像と対応させて画像を生成することに
より、絵画又はイラストレーションにおける複雑なシー
ンを効率的に描画することができる。本発明の理解を容
易にする適用例として、ストーリーボード（俗に、絵コ
ンテとも呼ばれる。）作成装置（story board generati
on station）がある。このストーリーボード作成装置に
より、ユーザは映画、コマーシャルフィルム、ドキュメ
ンタリー等のストーリーボードを作成することができ
る。本発明を適用したストーリーボード作成装置によれ
ば、特別な才能及び技能を有さない者であっても、その
才能や技能に関わらず、正確で複雑な視覚的描写を含む
ストーリーボードを作成することができる。本発明を適
用したストーリーボード作成装置の具体的構成例を図１
に示す。
【００２２】本発明を適用したストーリーボード作成装
置は、図１に示すように、データ処理装置（data proce
ssor）１と、表示装置２と、データ保存装置４と、ペン
５及びタブレットからなる描画装置６とを備える。表示
装置２は、接続チャンネル１０を介して、データ処理装
置１内の表示装置（visual display unit：以下、ＶＤ
Ｕという。）駆動プロセッサ８に接続されている。描画
装置６は、接続チャンネル１４を介してデータ処理装置
１内のインターフェイスプロセッサ１２に接続されてい
る。インターフェイスプロセッサ１２には、キーボード
７及びコンピュータマウス９２も接続されている。デー
タ保存装置４は、接続チャンネル１６を介して、データ
処理装置１内のデータ保存アクセスプロセッサ１８に接
続されている。ＶＤＵ駆動プロセッサ８、インターフェ
イスプロセッサ１２及びデータ保存アクセスプロセッサ
１８は、データ処理装置１内の制御プロセッサ２０に接
続されている。制御プロセッサ２０は、データ保存装置
４、表示装置２を制御し、描画装置６から入力される情
報を処理することにより、このストーリーボード作成装
置内における処理を制御する。図１に示すストーリーボ
ード作成装置の動作の詳細については、制御プロセッサ
２０を詳細に示す図２を用いて、以下に説明する。
置は、図１に示すように、データ処理装置（data proce
ssor）１と、表示装置２と、データ保存装置４と、ペン
５及びタブレットからなる描画装置６とを備える。表示
装置２は、接続チャンネル１０を介して、データ処理装
置１内の表示装置（visual display unit：以下、ＶＤ
Ｕという。）駆動プロセッサ８に接続されている。描画
装置６は、接続チャンネル１４を介してデータ処理装置
１内のインターフェイスプロセッサ１２に接続されてい
る。インターフェイスプロセッサ１２には、キーボード
７及びコンピュータマウス９２も接続されている。デー
タ保存装置４は、接続チャンネル１６を介して、データ
処理装置１内のデータ保存アクセスプロセッサ１８に接
続されている。ＶＤＵ駆動プロセッサ８、インターフェ
イスプロセッサ１２及びデータ保存アクセスプロセッサ
１８は、データ処理装置１内の制御プロセッサ２０に接
続されている。制御プロセッサ２０は、データ保存装置
４、表示装置２を制御し、描画装置６から入力される情
報を処理することにより、このストーリーボード作成装
置内における処理を制御する。図１に示すストーリーボ
ード作成装置の動作の詳細については、制御プロセッサ
２０を詳細に示す図２を用いて、以下に説明する。
【００２３】制御プロセッサ２０は、図２に示すよう
に、セグメント処理回路（segment processor）２２
と、ストローク前処理回路（stroke pre-processor）２
４と、画像識別回路（image identifier）２６と、イン
ターフェイス回路（interface controller）２８とを備
える。この具体例では、ストーリーボード作成装置のユ
ーザは、図１に示すように、描画装置６のペン５を用い
て正方形２１を描画している。このユーザの描画に基づ
いて、空間的サンプル（spatial sample）が生成され、
この空間的サンプルに時間的参照データ（temporal ref
erence）が添付される。空間的サンプルは、描画装置６
のタブレット上に形成されるｘｙ平面における、ペンの
座標位置の離散的サンプルである。セグメント処理回路
２２には、入力チャンネル３０を介して、描画装置６か
ら時間的参照データが添付された空間的サンプルが入力
される。後に詳細に説明するように、セグメント処理回
路２２は、時間的参照データが添付された空間的サンプ
ルを処理して、ユーザが手書きにより描画した際の複数
のペン先の動き（stroke：以下、ストロークという。）
を表すサンプルデータを生成する。このようなサンプル
データを本明細書ではストロークデータと呼ぶ。これら
のストロークデータは、接続線３４を介してストローク
前処理回路２４に供給される。また、接続チャンネル３
１を介してセグメント処理回路２２に供給された、手書
き図形を表すデータ、すなわち時間的参照データが添付
された空間的サンプルも、接続線３２を介して、ストロ
ーク前処理回路２４に供給される。ストローク前処理回
路２４は、ストロークデータと、時間的参照データが添
付された空間的サンプルとを組み合わせて、ユーザが手
書き図形を描画した際に用いたストロークを表し、記述
する所定のパラメータ（以下、ストロークパラメータと
いう。）の組を生成する。図２に示す具体例では、１２
個のストロークパラメータが生成されるが、ここで生成
されるストロークパラメータの数はいくつでもよい。１
２個のストロークパラメータを示すデータは、ストロー
クパラメータデータと呼ばれ、これらのストロークパラ
メータデータは、１２本のそれぞれ独立した平行接続線
３６のうちのいずれかを介して、画像識別回路２６に供
給される。
に、セグメント処理回路（segment processor）２２
と、ストローク前処理回路（stroke pre-processor）２
４と、画像識別回路（image identifier）２６と、イン
ターフェイス回路（interface controller）２８とを備
える。この具体例では、ストーリーボード作成装置のユ
ーザは、図１に示すように、描画装置６のペン５を用い
て正方形２１を描画している。このユーザの描画に基づ
いて、空間的サンプル（spatial sample）が生成され、
この空間的サンプルに時間的参照データ（temporal ref
erence）が添付される。空間的サンプルは、描画装置６
のタブレット上に形成されるｘｙ平面における、ペンの
座標位置の離散的サンプルである。セグメント処理回路
２２には、入力チャンネル３０を介して、描画装置６か
ら時間的参照データが添付された空間的サンプルが入力
される。後に詳細に説明するように、セグメント処理回
路２２は、時間的参照データが添付された空間的サンプ
ルを処理して、ユーザが手書きにより描画した際の複数
のペン先の動き（stroke：以下、ストロークという。）
を表すサンプルデータを生成する。このようなサンプル
データを本明細書ではストロークデータと呼ぶ。これら
のストロークデータは、接続線３４を介してストローク
前処理回路２４に供給される。また、接続チャンネル３
１を介してセグメント処理回路２２に供給された、手書
き図形を表すデータ、すなわち時間的参照データが添付
された空間的サンプルも、接続線３２を介して、ストロ
ーク前処理回路２４に供給される。ストローク前処理回
路２４は、ストロークデータと、時間的参照データが添
付された空間的サンプルとを組み合わせて、ユーザが手
書き図形を描画した際に用いたストロークを表し、記述
する所定のパラメータ（以下、ストロークパラメータと
いう。）の組を生成する。図２に示す具体例では、１２
個のストロークパラメータが生成されるが、ここで生成
されるストロークパラメータの数はいくつでもよい。１
２個のストロークパラメータを示すデータは、ストロー
クパラメータデータと呼ばれ、これらのストロークパラ
メータデータは、１２本のそれぞれ独立した平行接続線
３６のうちのいずれかを介して、画像識別回路２６に供
給される。
【００２４】画像識別回路２６には、このストーリーボ
ード作成装置のユーザが描画装置６を使用して描画した
手書き図形に関するストロークパラメータデータが複数
の平行接続線３６を介して供給される。画像識別回路２
６は、これらのストロークパラメータデータを処理し、
例えば、ストロークパラメータに最も類似する複数の画
像を示す一連のデジットである参照指示データ（refere
nce indication）を生成する。画像識別回路２６は、こ
の参照指示データを接続線３８を介してインターフェイ
ス回路２８に供給する。インターフェイス回路２８は、
第１の双方向接続チャンネル４０を介して、データ保存
アクセスプロセッサ１８に接続されており、また第２の
接続チャンネル４２を介して、ＶＤＵ駆動プロセッサ８
に接続されている。データ保存アクセスプロセッサ１８
は、データ保存装置４にアクセスし、このデータ保存装
置４に格納されている複数の画像から、１つの画像を検
索する。データ保存アクセスプロセッサ１８によって選
択される画像は、画像識別回路２６により生成された参
照指示データに対応する予め格納されている画像データ
である。ここで選択された画像データは、接続チャンネ
ル４０を介してインターフェイス回路２８に供給され
る。インターフェイス回路２８は、この画像データを接
続チャンネル４２を介してＶＤＵ駆動プロセッサ８に供
給する。ＶＤＵ駆動プロセッサ８は、この画像データを
表示装置２を駆動するための信号に変換する。変換され
た信号は、接続チャンネル１０を介して表示装置２に供
給され、表示装置２は、データ保存装置４から選択され
た画像をこのストーリーボード作成装置のユーザに対し
て表示する。
ード作成装置のユーザが描画装置６を使用して描画した
手書き図形に関するストロークパラメータデータが複数
の平行接続線３６を介して供給される。画像識別回路２
６は、これらのストロークパラメータデータを処理し、
例えば、ストロークパラメータに最も類似する複数の画
像を示す一連のデジットである参照指示データ（refere
nce indication）を生成する。画像識別回路２６は、こ
の参照指示データを接続線３８を介してインターフェイ
ス回路２８に供給する。インターフェイス回路２８は、
第１の双方向接続チャンネル４０を介して、データ保存
アクセスプロセッサ１８に接続されており、また第２の
接続チャンネル４２を介して、ＶＤＵ駆動プロセッサ８
に接続されている。データ保存アクセスプロセッサ１８
は、データ保存装置４にアクセスし、このデータ保存装
置４に格納されている複数の画像から、１つの画像を検
索する。データ保存アクセスプロセッサ１８によって選
択される画像は、画像識別回路２６により生成された参
照指示データに対応する予め格納されている画像データ
である。ここで選択された画像データは、接続チャンネ
ル４０を介してインターフェイス回路２８に供給され
る。インターフェイス回路２８は、この画像データを接
続チャンネル４２を介してＶＤＵ駆動プロセッサ８に供
給する。ＶＤＵ駆動プロセッサ８は、この画像データを
表示装置２を駆動するための信号に変換する。変換され
た信号は、接続チャンネル１０を介して表示装置２に供
給され、表示装置２は、データ保存装置４から選択され
た画像をこのストーリーボード作成装置のユーザに対し
て表示する。
【００２５】制御プロセッサ２０の機能及び動作につい
ては、後述するセグメント処理回路２２、ストローク前
処理回路２４、画像識別回路２６のそれぞれに関する詳
細な説明によりさらに明らかとなる。上述したように、
描画装置６は、手書き図形を描画するためのペン５の移
動及び位置に基づいて、時間的に参照された空間的サン
プルを生成する。これら時間的に参照された空間的サン
プルは、いかなる手法で作成してもよく、例えばコンピ
ュータマウス９、キーボード７、あるいは作者が所望の
画像を描画し、その画像から空間的サンプルが生成でき
る装置であればいかなる装置を用いてもよい。本発明の
具体例においては、ペン５及びタブレットからなる描画
装置６を用い、描画装置６は、ペン５の動きにより時間
的に参照された空間的サンプルを生成する。このような
描画装置６としては、例えば、ワコム社（Wacom）によ
り製造されている描画装置を用いることができる。この
ような製品の詳細な情報については、インターネットウ
ェブサイトwww.wacom.comから入手できる。
ては、後述するセグメント処理回路２２、ストローク前
処理回路２４、画像識別回路２６のそれぞれに関する詳
細な説明によりさらに明らかとなる。上述したように、
描画装置６は、手書き図形を描画するためのペン５の移
動及び位置に基づいて、時間的に参照された空間的サン
プルを生成する。これら時間的に参照された空間的サン
プルは、いかなる手法で作成してもよく、例えばコンピ
ュータマウス９、キーボード７、あるいは作者が所望の
画像を描画し、その画像から空間的サンプルが生成でき
る装置であればいかなる装置を用いてもよい。本発明の
具体例においては、ペン５及びタブレットからなる描画
装置６を用い、描画装置６は、ペン５の動きにより時間
的に参照された空間的サンプルを生成する。このような
描画装置６としては、例えば、ワコム社（Wacom）によ
り製造されている描画装置を用いることができる。この
ような製品の詳細な情報については、インターネットウ
ェブサイトwww.wacom.comから入手できる。
【００２６】図１に示す描画装置６を用いて、ユーザは
ストーリーボードのシーンを作成するために必要な画像
を手書きで入力する。このような画像の例を図３に示
す。図３に示す手書き図形は、男性５０、女性５２、ネ
コ５４、ネズミ５６、車５８、家６０、テーブル６２、
いす６４である。ストーリーボードの作成において有用
なこれら手書き図形のうちのいくつかは一筆書き（sing
le stroke）可能なものである。しかしながら、多くの
手書き図形は、その画像を作成するために複数回ペンを
移動させる必要があり、すなわち、「マルチストローク
（multi-stroke）」が必要である。このような手書き図
形、又は手書き図形の一部を以下の説明ではジェスチャ
と呼ぶ。
ストーリーボードのシーンを作成するために必要な画像
を手書きで入力する。このような画像の例を図３に示
す。図３に示す手書き図形は、男性５０、女性５２、ネ
コ５４、ネズミ５６、車５８、家６０、テーブル６２、
いす６４である。ストーリーボードの作成において有用
なこれら手書き図形のうちのいくつかは一筆書き（sing
le stroke）可能なものである。しかしながら、多くの
手書き図形は、その画像を作成するために複数回ペンを
移動させる必要があり、すなわち、「マルチストローク
（multi-stroke）」が必要である。このような手書き図
形、又は手書き図形の一部を以下の説明ではジェスチャ
と呼ぶ。
【００２７】制御プロセッサ２０の動作の一例を、図１
に示す正方形２１を例に説明する。手書き図形から特定
の画像を識別するために、制御プロセッサ２０は、ユー
ザが図形を描画するために行ったペンストロークの組を
識別する。ペンストロークの識別は、周知のストローク
捕捉（stroke capture）処理及びストロークデータが生
成された手書き図形をセグメント化する処理により実現
できる。空間的サンプルは、ストロークデータに基づい
て前処理され、手書き図形を分析することによりパラメ
ータデータが生成される。続いて、手書き図形は、この
パラメータデータに基づいて識別される。これら３つの
処理は、それぞれセグメント処理回路２２、ストローク
前処理回路２４、画像識別回路２６によって個々に実行
される。
に示す正方形２１を例に説明する。手書き図形から特定
の画像を識別するために、制御プロセッサ２０は、ユー
ザが図形を描画するために行ったペンストロークの組を
識別する。ペンストロークの識別は、周知のストローク
捕捉（stroke capture）処理及びストロークデータが生
成された手書き図形をセグメント化する処理により実現
できる。空間的サンプルは、ストロークデータに基づい
て前処理され、手書き図形を分析することによりパラメ
ータデータが生成される。続いて、手書き図形は、この
パラメータデータに基づいて識別される。これら３つの
処理は、それぞれセグメント処理回路２２、ストローク
前処理回路２４、画像識別回路２６によって個々に実行
される。
【００２８】図４は、手書きされた正方形２１をストロ
ークマーカ６６とともに示す図である。これらのストロ
ークマーカ６６は、ストローク捕捉処理及びセグメント
化の処理ステップにおいて、セグメント処理回路２２に
より生成される。詳しくは、セグメント処理回路２２
は、時間的に参照された空間的サンプルを分析してペン
５のストロークの開始点及び終了点を識別することによ
りストロークマーカ６６を生成する。ストローク捕捉処
理及びセグメント化処理を実行するために、本発明の具
体例におけるセグメント処理回路２２は、２つの分析処
理のうちの１つ又は両方を使用する。セグメント処理回
路２２の詳細な構成は図５に示されている。
ークマーカ６６とともに示す図である。これらのストロ
ークマーカ６６は、ストローク捕捉処理及びセグメント
化の処理ステップにおいて、セグメント処理回路２２に
より生成される。詳しくは、セグメント処理回路２２
は、時間的に参照された空間的サンプルを分析してペン
５のストロークの開始点及び終了点を識別することによ
りストロークマーカ６６を生成する。ストローク捕捉処
理及びセグメント化処理を実行するために、本発明の具
体例におけるセグメント処理回路２２は、２つの分析処
理のうちの１つ又は両方を使用する。セグメント処理回
路２２の詳細な構成は図５に示されている。
【００２９】セグメント処理回路２２は、図５に示すよ
うに、キャッシュメモリ１００を備え、キャッシュメモ
リ１００には、描画装置６において生成された空間的サ
ンプルがインターフェイスプロセッサ１２から接続チャ
ンネル３０を介して供給される。キャッシュメモリ１０
０の第１の出力用接続線１０２には、方向処理回路１０
６が接続されており、第２の出力用接続線１０４には、
速度処理回路１０８が接続されている。方向処理回路１
０６の出力端子は第１の低域通過フィルタ１１０に接続
され、速度処理回路１０８出力端子は、第２の低域通過
フィルタ１１２に接続されている。第１の低域通過フィ
ルタ１１０の出力端子は、第１のセグメント推定回路
（segment estimator）１１４に接続されており、第２
の低域通過フィルタ１１２の出力端子は、第２のセグメ
ント推定回路１１６に接続されている。第１のセグメン
ト推定回路１１４の出力端子及び第２のセグメント推定
回路１１６の出力端子は、セグメント化回路（segmente
r）１１８に接続されており、このセグメント化回路１
１８は、手書き図形の描画に用いられたストロークを識
別するために用いられるストロークデータを接続線３４
から出力する。また、セグメント処理回路２２は、キャ
ッシュメモリ１００とセグメント化回路１１８に接続さ
れた制御回路１２０を備えており、制御回路１２０は、
このセグメント処理回路２２の動作を制御する。
うに、キャッシュメモリ１００を備え、キャッシュメモ
リ１００には、描画装置６において生成された空間的サ
ンプルがインターフェイスプロセッサ１２から接続チャ
ンネル３０を介して供給される。キャッシュメモリ１０
０の第１の出力用接続線１０２には、方向処理回路１０
６が接続されており、第２の出力用接続線１０４には、
速度処理回路１０８が接続されている。方向処理回路１
０６の出力端子は第１の低域通過フィルタ１１０に接続
され、速度処理回路１０８出力端子は、第２の低域通過
フィルタ１１２に接続されている。第１の低域通過フィ
ルタ１１０の出力端子は、第１のセグメント推定回路
（segment estimator）１１４に接続されており、第２
の低域通過フィルタ１１２の出力端子は、第２のセグメ
ント推定回路１１６に接続されている。第１のセグメン
ト推定回路１１４の出力端子及び第２のセグメント推定
回路１１６の出力端子は、セグメント化回路（segmente
r）１１８に接続されており、このセグメント化回路１
１８は、手書き図形の描画に用いられたストロークを識
別するために用いられるストロークデータを接続線３４
から出力する。また、セグメント処理回路２２は、キャ
ッシュメモリ１００とセグメント化回路１１８に接続さ
れた制御回路１２０を備えており、制御回路１２０は、
このセグメント処理回路２２の動作を制御する。
【００３０】セグメント処理回路２２は、手書き図形の
描画時に用いられたストロークを識別し、そのストロー
クの開始点及び終了点を含み、そのストロークを識別す
るためのストロークデータを生成する。セグメント処理
回路２２は、手書き図形におけるストロークを識別する
ために、ペン５の相対的方向を分析する処理及びペン５
の相対的速度を分析する処理を行う。制御回路１２０
は、トリガ信号が入力されると、キャッシュメモリ１０
０に格納された空間的サンプルの読出処理を開始する。
制御回路１２０にトリガ信号を供給する手法としては、
様々な手法が考えられる。例えば、描画装置６により、
ペン５が描画装置６から離れたことを示す信号を生成さ
せてもよい。この信号は、インターフェイスプロセッサ
１２により検出され、トリガ信号として制御チャンネル
３１に出力される。この他の手法としては、ユーザが所
定のキーをキーボード７から入力するか、コンピュータ
マウス９からコマンド信号を生成させてもよい。これら
の入力信号又はコマンド信号もインターフェイスプロセ
ッサ１２により検出され、トリガ信号として制御チャン
ネル３１に出力される。さらにこの他の手法として、セ
グメント処理回路２２内の制御回路１２０によりトリガ
信号を発生させてもよい。この場合、例えば、キャッシ
ュメモリ１００において、直前の空間的サンプルが供給
されてから所定の時間が経過した後にトリガ信号を発生
するようにできる。この時間の経過を計測するために、
セグメント処理回路２２は、制御回路１２０に接続され
たクロック１２１を備え、制御回路１２０は、このクロ
ック１２１を参照して、上述した所定の時間の経過を計
測する。
描画時に用いられたストロークを識別し、そのストロー
クの開始点及び終了点を含み、そのストロークを識別す
るためのストロークデータを生成する。セグメント処理
回路２２は、手書き図形におけるストロークを識別する
ために、ペン５の相対的方向を分析する処理及びペン５
の相対的速度を分析する処理を行う。制御回路１２０
は、トリガ信号が入力されると、キャッシュメモリ１０
０に格納された空間的サンプルの読出処理を開始する。
制御回路１２０にトリガ信号を供給する手法としては、
様々な手法が考えられる。例えば、描画装置６により、
ペン５が描画装置６から離れたことを示す信号を生成さ
せてもよい。この信号は、インターフェイスプロセッサ
１２により検出され、トリガ信号として制御チャンネル
３１に出力される。この他の手法としては、ユーザが所
定のキーをキーボード７から入力するか、コンピュータ
マウス９からコマンド信号を生成させてもよい。これら
の入力信号又はコマンド信号もインターフェイスプロセ
ッサ１２により検出され、トリガ信号として制御チャン
ネル３１に出力される。さらにこの他の手法として、セ
グメント処理回路２２内の制御回路１２０によりトリガ
信号を発生させてもよい。この場合、例えば、キャッシ
ュメモリ１００において、直前の空間的サンプルが供給
されてから所定の時間が経過した後にトリガ信号を発生
するようにできる。この時間の経過を計測するために、
セグメント処理回路２２は、制御回路１２０に接続され
たクロック１２１を備え、制御回路１２０は、このクロ
ック１２１を参照して、上述した所定の時間の経過を計
測する。
【００３１】セグメント処理回路２２にトリガ信号入力
されると、又はトリガ信号が発生されると、制御回路１
２０は、キャッシュメモリ１００から方向処理回路１０
６及び速度処理回路１０８に空間的サンプルを供給させ
る。方向処理回路１０６は、空間的サンプルを分析し
て、手書き図形作成時のストロークを識別する。この分
析により、時間に関連してペン５が相対的に移動した方
向を示す移動路（plot）を表すデータが生成される。こ
の例として、手書きの正方形２１の分析結果を図６に示
す。図６は、正方形２１を描画した際の、ペン５の移動
方向を時間軸に沿って示すグラフである。図６におい
て、分析結果は破線で示されている。
されると、又はトリガ信号が発生されると、制御回路１
２０は、キャッシュメモリ１００から方向処理回路１０
６及び速度処理回路１０８に空間的サンプルを供給させ
る。方向処理回路１０６は、空間的サンプルを分析し
て、手書き図形作成時のストロークを識別する。この分
析により、時間に関連してペン５が相対的に移動した方
向を示す移動路（plot）を表すデータが生成される。こ
の例として、手書きの正方形２１の分析結果を図６に示
す。図６は、正方形２１を描画した際の、ペン５の移動
方向を時間軸に沿って示すグラフである。図６におい
て、分析結果は破線で示されている。
【００３２】ユーザは、１つのジェスチャを一回のペン
動作で（一筆書きで）描画することもでき、複数回の動
作で描画することもできる。例えば、ユーザは、４回の
ストロークで正方形２１を描画することができる。正方
形２１は、４つの直線からなり、４つの直線を４回の独
立したペン動作で描画してもよく、又は連続したペン動
作で描画してもよい。ストロークキャプチャ処理及びセ
グメント化処理は、特定の数のストロークからなる特定
のジェスチャを描画するために必要な動作の回数に関わ
らず一様に行われる。ストロークキャプチャ処理及びセ
グメント化処理は、相対的なペンの移動方向の分析に基
づいて実行してもよく、ペンの速度分析に基づいて実行
してもよく、図２に示す具体例のように、相対的な移動
方向と速度の両方を分析して実行してもよい。
動作で（一筆書きで）描画することもでき、複数回の動
作で描画することもできる。例えば、ユーザは、４回の
ストロークで正方形２１を描画することができる。正方
形２１は、４つの直線からなり、４つの直線を４回の独
立したペン動作で描画してもよく、又は連続したペン動
作で描画してもよい。ストロークキャプチャ処理及びセ
グメント化処理は、特定の数のストロークからなる特定
のジェスチャを描画するために必要な動作の回数に関わ
らず一様に行われる。ストロークキャプチャ処理及びセ
グメント化処理は、相対的なペンの移動方向の分析に基
づいて実行してもよく、ペンの速度分析に基づいて実行
してもよく、図２に示す具体例のように、相対的な移動
方向と速度の両方を分析して実行してもよい。
【００３３】キャッシュメモリ１００に格納された、手
書き図形に基づく空間的サンプルが読み出され、例えば
正方形２１におけるコーナのような、コーナ部におい
て、ペンの移動方向が変更されたことが推定される。ジ
ェスチャから入手可能なデータの量に応じて、現在の画
素の前後ｎ個の画素を用いて、ペンの移動が算出され
る。前後ｎ個の画素を用いて、ペンの移動を算出するこ
とにより、ジェスチャの中に存在する雑音の影響を低減
することができる。図６では、雑音が低減されたデータ
を破線７０で示している。この相対的移動方向を表すデ
ータ（以下、相対方向データ（relative direction dat
a）と呼ぶ。）は、第１の低域通過フィルタ１１０を通
過し、これにより雑音成分が除去される。図６では、フ
ィルタリングされた相対方向データを実線７２で示して
いる。フィルタリングされた相対方向データは、第１の
セグメント推定回路１１４に供給され、第１のセグメン
ト推定回路１１４は、ペン５の相対的移動方向の変化率
（rate-of-change）を判定する。図６では、ここで判定
された変化率を一点鎖線７４で示している。ペン５の移
動方向は、コーナ部において急激に変化するため、変化
率は、コーナ部に相当する位置でスパイク（spike）を
示す。図６に示す例では、一点鎖線７４は、３つのスパ
イク７５を有している。第１のセグメント推定回路１１
４は、これらスパイク７５を検出する。正方形２１の例
では、３つのスパイク７５は、４つのストロークにおけ
る３回の方向の変化に対応するものである。
書き図形に基づく空間的サンプルが読み出され、例えば
正方形２１におけるコーナのような、コーナ部におい
て、ペンの移動方向が変更されたことが推定される。ジ
ェスチャから入手可能なデータの量に応じて、現在の画
素の前後ｎ個の画素を用いて、ペンの移動が算出され
る。前後ｎ個の画素を用いて、ペンの移動を算出するこ
とにより、ジェスチャの中に存在する雑音の影響を低減
することができる。図６では、雑音が低減されたデータ
を破線７０で示している。この相対的移動方向を表すデ
ータ（以下、相対方向データ（relative direction dat
a）と呼ぶ。）は、第１の低域通過フィルタ１１０を通
過し、これにより雑音成分が除去される。図６では、フ
ィルタリングされた相対方向データを実線７２で示して
いる。フィルタリングされた相対方向データは、第１の
セグメント推定回路１１４に供給され、第１のセグメン
ト推定回路１１４は、ペン５の相対的移動方向の変化率
（rate-of-change）を判定する。図６では、ここで判定
された変化率を一点鎖線７４で示している。ペン５の移
動方向は、コーナ部において急激に変化するため、変化
率は、コーナ部に相当する位置でスパイク（spike）を
示す。図６に示す例では、一点鎖線７４は、３つのスパ
イク７５を有している。第１のセグメント推定回路１１
４は、これらスパイク７５を検出する。正方形２１の例
では、３つのスパイク７５は、４つのストロークにおけ
る３回の方向の変化に対応するものである。
【００３４】一方、速度処理回路１０８は、ペン５の速
度の相対的変化から、ストロークの回数と、開始点及び
終了点に関する推定値（estimation）を生成する。すな
わち、速度処理回路１０８は、キャッシュメモリ１００
から供給された空間的サンプルを分析し、ペン５の相対
速度を表すデータを生成する。図７は、この相対速度を
表すデータの一例を示すものであり、この図７において
は、正方形２１を描画するためにペン５が移動した際の
ペン５の速度の変化を破線７６で表している。手書き図
形を描画するためのストロークを検出するために、例え
ば正方形２１のようなジェスチャをユーザが描画する
際、ペンの移動速度は、４つのコーナ部において急速に
低下すると仮定され、これによりコーナ部、すなわちス
トロークの終了点を検出することができる。速度処理回
路１０８により生成された、破線７６で示す速度データ
は、第２の低域通過フィルタ１１２によりフィルタリン
グされ、これにより雑音成分が除去される。図７では、
フィルタリングされた速度データを実線７８で示してい
る。フィルタリングされた速度データは、第２のセグメ
ント推定回路１１６に供給され、第２のセグメント推定
回路１１６は、速度の変化率（rate-of-change of spee
d）、すなわち加速度を示すデータを生成する。そし
て、このデータのゼロ交叉点（zero crossing point）
を検出する。すなわち、位置の２階微分係数（second d
ifferential）を算出し、この２階微分係数のゼロ交差
点が速度データの最小値又は最大値に対応するかを判定
して、２階微分係数の正の範囲における速度データの最
小値に対応するゼロ交差点を検出する。そして、ゼロ交
叉点が最小値である場合、ストロークが検出される。図
７では、変化率は一点鎖線８０で示されており、ゼロ交
叉点８２は、正方形２１のコーナ部でペン５の移動速度
が減速した点に対応している。
度の相対的変化から、ストロークの回数と、開始点及び
終了点に関する推定値（estimation）を生成する。すな
わち、速度処理回路１０８は、キャッシュメモリ１００
から供給された空間的サンプルを分析し、ペン５の相対
速度を表すデータを生成する。図７は、この相対速度を
表すデータの一例を示すものであり、この図７において
は、正方形２１を描画するためにペン５が移動した際の
ペン５の速度の変化を破線７６で表している。手書き図
形を描画するためのストロークを検出するために、例え
ば正方形２１のようなジェスチャをユーザが描画する
際、ペンの移動速度は、４つのコーナ部において急速に
低下すると仮定され、これによりコーナ部、すなわちス
トロークの終了点を検出することができる。速度処理回
路１０８により生成された、破線７６で示す速度データ
は、第２の低域通過フィルタ１１２によりフィルタリン
グされ、これにより雑音成分が除去される。図７では、
フィルタリングされた速度データを実線７８で示してい
る。フィルタリングされた速度データは、第２のセグメ
ント推定回路１１６に供給され、第２のセグメント推定
回路１１６は、速度の変化率（rate-of-change of spee
d）、すなわち加速度を示すデータを生成する。そし
て、このデータのゼロ交叉点（zero crossing point）
を検出する。すなわち、位置の２階微分係数（second d
ifferential）を算出し、この２階微分係数のゼロ交差
点が速度データの最小値又は最大値に対応するかを判定
して、２階微分係数の正の範囲における速度データの最
小値に対応するゼロ交差点を検出する。そして、ゼロ交
叉点が最小値である場合、ストロークが検出される。図
７では、変化率は一点鎖線８０で示されており、ゼロ交
叉点８２は、正方形２１のコーナ部でペン５の移動速度
が減速した点に対応している。
【００３５】以上のようにして求められた、手書き図形
を構成するストロークの推定値は、第１及び第２のセグ
メント推定回路１１４，１１６からセグメント化回路１
１８に供給される。セグメント化回路１１８は、相対方
向分析の結果と速度分析の結果とを比較し、組み合わ
せ、ジェスチャを独立した複数のストロークにセグメン
ト化するための位置（location）のリストを生成する。
続いて、セグメント化回路１１８は、セグメント化され
た複数のストロークからストロークデータを生成し、接
続線３４を介して、このストロークデータをストローク
前処理回路２４に供給する。ストローク前処理回路２４
には、キャッシュメモリ１００から接続線３２を介し
て、手書き図形に対応する空間的サンプルを表すデータ
も供給されている。
を構成するストロークの推定値は、第１及び第２のセグ
メント推定回路１１４，１１６からセグメント化回路１
１８に供給される。セグメント化回路１１８は、相対方
向分析の結果と速度分析の結果とを比較し、組み合わ
せ、ジェスチャを独立した複数のストロークにセグメン
ト化するための位置（location）のリストを生成する。
続いて、セグメント化回路１１８は、セグメント化され
た複数のストロークからストロークデータを生成し、接
続線３４を介して、このストロークデータをストローク
前処理回路２４に供給する。ストローク前処理回路２４
には、キャッシュメモリ１００から接続線３２を介し
て、手書き図形に対応する空間的サンプルを表すデータ
も供給されている。
【００３６】図２に示すように、以上の処理により、ス
トローク前処理回路２４には、時間的に参照された空間
的サンプルとストロークデータが供給される。ストロー
ク前処理回路２４は、１２個の所定のパラメータの各値
を算出する。これらパラメータの値を算出するために、
ストローク前処理回路２４は、ジェスチャに基づいて生
成された手書き図形を所定の境界（boundary）を用いて
正規化する。所定の境界は、この具体例では単位正方形
（unit square）である。ジェスチャは、単位正方形境
界ボックス（unit square bounding box）の内部に収ま
るように、座標をスケーリングすることにより正規化さ
れる。この正規化の処理を図８に示す。図８では、破線
８６により単位正方形境界ボックスを示し、この単位正
方形境界ボックス内に手書き図形である正方形２１が納
められる。
トローク前処理回路２４には、時間的に参照された空間
的サンプルとストロークデータが供給される。ストロー
ク前処理回路２４は、１２個の所定のパラメータの各値
を算出する。これらパラメータの値を算出するために、
ストローク前処理回路２４は、ジェスチャに基づいて生
成された手書き図形を所定の境界（boundary）を用いて
正規化する。所定の境界は、この具体例では単位正方形
（unit square）である。ジェスチャは、単位正方形境
界ボックス（unit square bounding box）の内部に収ま
るように、座標をスケーリングすることにより正規化さ
れる。この正規化の処理を図８に示す。図８では、破線
８６により単位正方形境界ボックスを示し、この単位正
方形境界ボックス内に手書き図形である正方形２１が納
められる。
【００３７】ストローク前処理回路２４は、この正規化
したジェスチャを用いて、所定のパラメータの値を算出
する。この具体例において使用するパラメータは、以下
のとおりである。 （１）ストロークの回数（単一のパラメータ） （２）ｘｙ座標で表されるジェスチャの重心（２つのパ
ラメータ） （３）ｘｙ座標で表されるジェスチャの平均ベクトル
（２つのパラメータ） （４）ｘｙ座標で表されるジェスチャの正規化ベクトル
（２つのパラメータ） （５）ジェスチャの長さ（単一のパラメータ） （６）ジェスチャのバランス（４つのパラメータ）
したジェスチャを用いて、所定のパラメータの値を算出
する。この具体例において使用するパラメータは、以下
のとおりである。 （１）ストロークの回数（単一のパラメータ） （２）ｘｙ座標で表されるジェスチャの重心（２つのパ
ラメータ） （３）ｘｙ座標で表されるジェスチャの平均ベクトル
（２つのパラメータ） （４）ｘｙ座標で表されるジェスチャの正規化ベクトル
（２つのパラメータ） （５）ジェスチャの長さ（単一のパラメータ） （６）ジェスチャのバランス（４つのパラメータ）
【００３８】図９は、これパラメータを示す図である。
ストロークの回数は、自明であり、実際には、セグメン
ト処理回路２２により判定される。ジェスチャの重心
（center of gravity）は、各画素の座標の総和を求
め、これを画素数で除算することにより算出される。図
９（ａ）に示す具体例では、単位正方形境界ボックス８
６内の正方形２１内のマーク８８が正方形２１の重心を
示している。ジェスチャの平均ベクトル（mean vecto
r）は、各ストロークの開始点から終了点までのベクト
ルを加算し、これをストロークの総数で除算することに
より求められる。図９（ｂ）に示す具体例では、マーク
９０は、正方形２１を定義するジェスチャの平均ベクト
ルを示している。正規化ベクトルのパラメータは、平均
ベクトルのパラメータに類似したものであるが、各ベク
トルが重心を巡って時計回りの方向に判定されるよう
に、各ベクトルを重心に対して正規化した後に、正規化
ベクトルを算出する点が平均ベクトルと異なっている。
図９（ｃ）に示す具体例では、マーク９２は、正規化ベ
クトルを示している。ジェスチャの長さは、正規化され
たジェスチャにおける画素点間の距離をすべて加算する
ことにより求められる。ジェスチャのバランスは、正規
化されたジェスチャの境界を定義する単位正方形を４つ
の象限に分割して求められる。そして、各ストロークに
ついて、開始点及び終了点がどの象限に存在するかを調
べる。続いて、各象限内のストローク終了点の数を示す
カウント値を求める。図１０（ａ）は、破線９４により
４つの象限に分割された単位正方形境界ボックス８６を
示す。図１０（ｂ）は、分割された４つの象限に基づい
て求められたジェスチャのバランスを示す表である。
ストロークの回数は、自明であり、実際には、セグメン
ト処理回路２２により判定される。ジェスチャの重心
（center of gravity）は、各画素の座標の総和を求
め、これを画素数で除算することにより算出される。図
９（ａ）に示す具体例では、単位正方形境界ボックス８
６内の正方形２１内のマーク８８が正方形２１の重心を
示している。ジェスチャの平均ベクトル（mean vecto
r）は、各ストロークの開始点から終了点までのベクト
ルを加算し、これをストロークの総数で除算することに
より求められる。図９（ｂ）に示す具体例では、マーク
９０は、正方形２１を定義するジェスチャの平均ベクト
ルを示している。正規化ベクトルのパラメータは、平均
ベクトルのパラメータに類似したものであるが、各ベク
トルが重心を巡って時計回りの方向に判定されるよう
に、各ベクトルを重心に対して正規化した後に、正規化
ベクトルを算出する点が平均ベクトルと異なっている。
図９（ｃ）に示す具体例では、マーク９２は、正規化ベ
クトルを示している。ジェスチャの長さは、正規化され
たジェスチャにおける画素点間の距離をすべて加算する
ことにより求められる。ジェスチャのバランスは、正規
化されたジェスチャの境界を定義する単位正方形を４つ
の象限に分割して求められる。そして、各ストロークに
ついて、開始点及び終了点がどの象限に存在するかを調
べる。続いて、各象限内のストローク終了点の数を示す
カウント値を求める。図１０（ａ）は、破線９４により
４つの象限に分割された単位正方形境界ボックス８６を
示す。図１０（ｂ）は、分割された４つの象限に基づい
て求められたジェスチャのバランスを示す表である。
【００３９】以上説明した１２個のパラメータに対応す
る値は、図２に示すように、平行接続線３６を介して画
像識別回路２６に供給され、画像識別回路２６は、１２
個のパラメータの値に最も類似する参照指示データ（re
ference indication）に基づいて、参照指示データを生
成する。図１１は、画像識別回路２６の内部構成を詳細
に示す図である。この図１１に示すように、画像識別回
路２６は、それぞれ一列に示された３層のニューロン
（neurone）を備え、この３層のニューロンによりニュ
ーラルネットワーク（neural network）が形成されてい
る。ニューラルネットワークは、当業者にとって周知の
分野であるが、その詳細については、１９８８年、マサ
チューセッツ州ケンブリッジ、ＭＩＴプレス社（MIT Pr
ess）により発行され、アンダーソン・アンド・ローゼ
ンフェルド（Anderson and Rosenfeld）により再版され
た、Ｄ・Ｅ・ルメルハルト（D.E.Rumelhart）、Ｊ・Ｌ
・マクレランド（J.L.McClelland）及びＰＤＰ開発グル
ープ（PDP Reserch Group (Eds)）による「並列分散処
理：認知の微構造の探求、第１巻基礎編（Paralle Dist
ributed Processing: Explorations in the Microstruc
ture of Cognition, Volume 1: foundations）」に詳細
に記述されている。
る値は、図２に示すように、平行接続線３６を介して画
像識別回路２６に供給され、画像識別回路２６は、１２
個のパラメータの値に最も類似する参照指示データ（re
ference indication）に基づいて、参照指示データを生
成する。図１１は、画像識別回路２６の内部構成を詳細
に示す図である。この図１１に示すように、画像識別回
路２６は、それぞれ一列に示された３層のニューロン
（neurone）を備え、この３層のニューロンによりニュ
ーラルネットワーク（neural network）が形成されてい
る。ニューラルネットワークは、当業者にとって周知の
分野であるが、その詳細については、１９８８年、マサ
チューセッツ州ケンブリッジ、ＭＩＴプレス社（MIT Pr
ess）により発行され、アンダーソン・アンド・ローゼ
ンフェルド（Anderson and Rosenfeld）により再版され
た、Ｄ・Ｅ・ルメルハルト（D.E.Rumelhart）、Ｊ・Ｌ
・マクレランド（J.L.McClelland）及びＰＤＰ開発グル
ープ（PDP Reserch Group (Eds)）による「並列分散処
理：認知の微構造の探求、第１巻基礎編（Paralle Dist
ributed Processing: Explorations in the Microstruc
ture of Cognition, Volume 1: foundations）」に詳細
に記述されている。
【００４０】この具体例におけるニューラルネットワー
クは、複層パーセプトロンネットワーク（multi layer
perceptron network）であり、１２個のストロークパラ
メータに対応する１２個のニューロンを入力層１３０に
有し、隠れ層（hidden layer）１３２に１０個のニュー
ロンを有している。１２個のパラメータは、平行接続線
３６を介して、入力層１３０の１２個のニューロンにそ
れぞれ入力される。これらのニューロンは、相互に接続
されたニューラルネットワークを形成しており、出力層
１３４は、手書き図形に対応する画像の参照指示データ
を生成する。この具体例では、３つのニューロンからな
るニューラルネットワークの出力層１３４からの出力に
より、最大８個の異なる手書き図形を区別（classify）
できる。なお、出力層１３４におけるニューロンの数を
変更することにより、区別できる手書き図形の数を任意
に変更することができる。ネットワークのトレーニング
は、オフラインで行う。このトレーニングは、この具体
例では、１５人のユーザが各ジェスチャについて、それ
ぞれ２０個の例（example）を入力することにより、お
よそ１５分で行われる。すなわち、このトレーニングに
より、２４００個の個別のジェスチャが入力される。こ
の程度のトレーニングデータの量により、いかなるユー
ザに対しても、良好な認識率を得ることができる。ネッ
トワークをトレーニングするにあたり、広範囲の多様な
ユーザに十分な量のトレーニングデータを入力させるこ
とが好ましい。なお、この具体例に示す画像識別回路２
６は、ストロークの方向については関知しない。例え
ば、水平な直線をジェスチャとして入力する場合、画像
識別回路２６は、その直線が右から左に描かれたか、左
から右に描かれたかについては区別しない。このように
方向を区別しない性質（directional invariance）は、
同一のジェスチャが異なるストロークの順序で描画され
る場合に有効であるが、方向情報を含むジェスチャにつ
いては、その方向情報を除外することとなる。
クは、複層パーセプトロンネットワーク（multi layer
perceptron network）であり、１２個のストロークパラ
メータに対応する１２個のニューロンを入力層１３０に
有し、隠れ層（hidden layer）１３２に１０個のニュー
ロンを有している。１２個のパラメータは、平行接続線
３６を介して、入力層１３０の１２個のニューロンにそ
れぞれ入力される。これらのニューロンは、相互に接続
されたニューラルネットワークを形成しており、出力層
１３４は、手書き図形に対応する画像の参照指示データ
を生成する。この具体例では、３つのニューロンからな
るニューラルネットワークの出力層１３４からの出力に
より、最大８個の異なる手書き図形を区別（classify）
できる。なお、出力層１３４におけるニューロンの数を
変更することにより、区別できる手書き図形の数を任意
に変更することができる。ネットワークのトレーニング
は、オフラインで行う。このトレーニングは、この具体
例では、１５人のユーザが各ジェスチャについて、それ
ぞれ２０個の例（example）を入力することにより、お
よそ１５分で行われる。すなわち、このトレーニングに
より、２４００個の個別のジェスチャが入力される。こ
の程度のトレーニングデータの量により、いかなるユー
ザに対しても、良好な認識率を得ることができる。ネッ
トワークをトレーニングするにあたり、広範囲の多様な
ユーザに十分な量のトレーニングデータを入力させるこ
とが好ましい。なお、この具体例に示す画像識別回路２
６は、ストロークの方向については関知しない。例え
ば、水平な直線をジェスチャとして入力する場合、画像
識別回路２６は、その直線が右から左に描かれたか、左
から右に描かれたかについては区別しない。このように
方向を区別しない性質（directional invariance）は、
同一のジェスチャが異なるストロークの順序で描画され
る場合に有効であるが、方向情報を含むジェスチャにつ
いては、その方向情報を除外することとなる。
【００４１】以上の説明により、図１に示すストーリー
ボード作成装置の動作が明らかになった。ストーリーボ
ードを作成する際、ユーザは、所望の画像を表す図形を
描画装置６を用いて描画する。データ処理装置１は、手
書き図形を処理し、この手書き図形に最も類似する画像
を表示装置２に表示する。ユーザは、キーボード７又は
コンピュータマウス９を用いて適切なコマンドを入力す
ることにより、データ処理装置１は、画像を保存し、こ
の画像を表示部２に表示されているスクリーン上の所望
の位置に移動させることができる。さらに、ユーザは、
必要に応じて、描画装置６を用いて別の図形を手書き入
力し、これにより対応する画像がデータ保存装置４から
検索され、表示装置２のスクリーン上に表示される。ユ
ーザは、この画像を所望の位置に移動し、保存する。こ
のような作業によりストーリーボードが作成される。
ボード作成装置の動作が明らかになった。ストーリーボ
ードを作成する際、ユーザは、所望の画像を表す図形を
描画装置６を用いて描画する。データ処理装置１は、手
書き図形を処理し、この手書き図形に最も類似する画像
を表示装置２に表示する。ユーザは、キーボード７又は
コンピュータマウス９を用いて適切なコマンドを入力す
ることにより、データ処理装置１は、画像を保存し、こ
の画像を表示部２に表示されているスクリーン上の所望
の位置に移動させることができる。さらに、ユーザは、
必要に応じて、描画装置６を用いて別の図形を手書き入
力し、これにより対応する画像がデータ保存装置４から
検索され、表示装置２のスクリーン上に表示される。ユ
ーザは、この画像を所望の位置に移動し、保存する。こ
のような作業によりストーリーボードが作成される。
【００４２】本発明の具体例において、ペン５が描画装
置６のタブレットから離れたことを検出することによ
り、更なる利益が得られる。既に説明したように、ペン
５がタブレットから離れた際に、トリガ信号を生成し、
このトリガ信号により、手書き図形に対する画像識別回
路２６の処理を開始させる。すなわち、ペン５がタブレ
ットから離れると、データ処理装置１は、その時点に描
画されているジェスチャを直ちに処理し、このジェスチ
ャに対応する画像をデータ保存装置４から検索し、表示
装置２に表示する。表示装置２に画像が表示されると、
ユーザは、キーボード７又はコンピュータマウス９を用
いてこの画像が正しいものであることを確認（confir
m）し、これによりインターフェイスプロセッサ１２
は、接続チャンネル３１に制御信号を出力してキャッシ
ュメモリ１００に記憶されているデータを消去（clea
r）する。なお、ユーザが描画装置６のペン５を用いて
さらに継続して図形を描画した場合、制御プロセッサ２
０は、既にキャッシュメモリ１００に格納されている以
前のジェスチャ又は手書き図形のジェスチャを表すデー
タに新たなジェスチャの空間的サンプルを追加する。ト
リガ信号が生成されると、セグメント処理回路２２内の
制御回路１２０は、再びストロークデータと空間的サン
プルを生成し、これにより制御プロセッサ２０は、手書
き図形により表されている画像の更なる推定処理を実行
する。このようにして、正しい画像が検索され、表示装
置２に表示されると、ユーザは、直ちにこの画像を確認
し、この時点で、手書き図形を完成することなく、対応
する画像を使用することができる。したがって、このよ
うなストーリーボード作成装置により、ストーリーボー
ドを合理的且つ効率的に作成することができる。
置６のタブレットから離れたことを検出することによ
り、更なる利益が得られる。既に説明したように、ペン
５がタブレットから離れた際に、トリガ信号を生成し、
このトリガ信号により、手書き図形に対する画像識別回
路２６の処理を開始させる。すなわち、ペン５がタブレ
ットから離れると、データ処理装置１は、その時点に描
画されているジェスチャを直ちに処理し、このジェスチ
ャに対応する画像をデータ保存装置４から検索し、表示
装置２に表示する。表示装置２に画像が表示されると、
ユーザは、キーボード７又はコンピュータマウス９を用
いてこの画像が正しいものであることを確認（confir
m）し、これによりインターフェイスプロセッサ１２
は、接続チャンネル３１に制御信号を出力してキャッシ
ュメモリ１００に記憶されているデータを消去（clea
r）する。なお、ユーザが描画装置６のペン５を用いて
さらに継続して図形を描画した場合、制御プロセッサ２
０は、既にキャッシュメモリ１００に格納されている以
前のジェスチャ又は手書き図形のジェスチャを表すデー
タに新たなジェスチャの空間的サンプルを追加する。ト
リガ信号が生成されると、セグメント処理回路２２内の
制御回路１２０は、再びストロークデータと空間的サン
プルを生成し、これにより制御プロセッサ２０は、手書
き図形により表されている画像の更なる推定処理を実行
する。このようにして、正しい画像が検索され、表示装
置２に表示されると、ユーザは、直ちにこの画像を確認
し、この時点で、手書き図形を完成することなく、対応
する画像を使用することができる。したがって、このよ
うなストーリーボード作成装置により、ストーリーボー
ドを合理的且つ効率的に作成することができる。
【００４３】以上、本発明をストーリーボード作成装置
の具体例に基づいて説明してきたが、本発明は、例えば
汎用対話装置（universal communicator）等の他の分野
にも適用できることは、当業者にとって明らかである。
すなわち、相手の言語を知らないユーザが、相手に伝え
たい物の手書き図形を入力することにより、その物を画
像として相手に伝えることができる。これにより、買い
物や手書き図形に対応する画像を用いた対話が実現でき
る。
の具体例に基づいて説明してきたが、本発明は、例えば
汎用対話装置（universal communicator）等の他の分野
にも適用できることは、当業者にとって明らかである。
すなわち、相手の言語を知らないユーザが、相手に伝え
たい物の手書き図形を入力することにより、その物を画
像として相手に伝えることができる。これにより、買い
物や手書き図形に対応する画像を用いた対話が実現でき
る。
【００４４】なお、実施の形態において、ハードウェア
として実現されている画像識別装置の各部分は、ソフト
ウェアプログラム又は適切なプロセッサにより実行され
るコンピュータプログラムとしても同等に実現できるこ
とは明らかである。同様に、コンピュータプログラムと
して実現されている部分をハードウェアとして同等に実
現することもできる。したがって、コンピュータに読み
込まれて画像識別装置として機能するコンピュータプロ
グラムも本発明の範囲内にある。同様に、上述した画像
識別の手法を実現する命令を表すコンピュータプログラ
ムも本発明の範囲内にある。
として実現されている画像識別装置の各部分は、ソフト
ウェアプログラム又は適切なプロセッサにより実行され
るコンピュータプログラムとしても同等に実現できるこ
とは明らかである。同様に、コンピュータプログラムと
して実現されている部分をハードウェアとして同等に実
現することもできる。したがって、コンピュータに読み
込まれて画像識別装置として機能するコンピュータプロ
グラムも本発明の範囲内にある。同様に、上述した画像
識別の手法を実現する命令を表すコンピュータプログラ
ムも本発明の範囲内にある。
【００４５】
【発明の効果】以上のように、本発明に係る画像識別装
置は、空間的サンプルに基づいて、手書き図形を描画す
るために実行されたストロークを表すストロークデータ
を判定するセグメント処理手段と、空間的サンプルのシ
ーケンスと、判定されたストロークデータとに基づい
て、パラメータデータを生成するストローク前処理手段
と、ストローク前処理手段に接続され、パラメータデー
タに基づいて、画像を識別する画像識別手段とを備え
る。ストロークデータと空間的サンプルを組み合わせる
ことにより生成されたデータのセットを用いて画像を識
別することにより、空間的サンプルのみを用いる場合に
比べてデータ量を低減することができる。これにより、
従来より少ないデータ量で効率的な画像の識別処理を実
現することができる。
置は、空間的サンプルに基づいて、手書き図形を描画す
るために実行されたストロークを表すストロークデータ
を判定するセグメント処理手段と、空間的サンプルのシ
ーケンスと、判定されたストロークデータとに基づい
て、パラメータデータを生成するストローク前処理手段
と、ストローク前処理手段に接続され、パラメータデー
タに基づいて、画像を識別する画像識別手段とを備え
る。ストロークデータと空間的サンプルを組み合わせる
ことにより生成されたデータのセットを用いて画像を識
別することにより、空間的サンプルのみを用いる場合に
比べてデータ量を低減することができる。これにより、
従来より少ないデータ量で効率的な画像の識別処理を実
現することができる。
【００４６】また、本発明に係る画像識別方法は、空間
的サンプルから、手書き図形を描画するために実行され
たストロークを分解するステップと、空間的サンプルの
シーケンスを、分解されたストロークデータに関連付け
てパラメータデータを生成するステップと、パラメータ
データに基づいて、画像を識別するステップとを有す
る。ストロークデータと空間的サンプルを組み合わせる
ことにより生成されたデータのセットを用いて画像を識
別することにより、空間的サンプルのみを用いる場合に
比べてデータ量を低減することができる。これにより、
従来より少ないデータ量で効率的な画像の識別処理を実
現することができる。
的サンプルから、手書き図形を描画するために実行され
たストロークを分解するステップと、空間的サンプルの
シーケンスを、分解されたストロークデータに関連付け
てパラメータデータを生成するステップと、パラメータ
データに基づいて、画像を識別するステップとを有す
る。ストロークデータと空間的サンプルを組み合わせる
ことにより生成されたデータのセットを用いて画像を識
別することにより、空間的サンプルのみを用いる場合に
比べてデータ量を低減することができる。これにより、
従来より少ないデータ量で効率的な画像の識別処理を実
現することができる。
【図１】本発明を適用したストーリーボード作成装置の
構成を示すブロック図である。
構成を示すブロック図である。
【図２】図１に示すストーリーボード作成装置の制御部
の内部構成を示すブロック図である。
の内部構成を示すブロック図である。
【図３】手書き図形の８つの例を示す図である。
【図４】手書きされた正方形を示す図である。
【図５】図２に示すセグメント処理回路の内部構成を示
す図である。
す図である。
【図６】時間に対するペンの移動方向の変化を表すグラ
フを示す図である。
フを示す図である。
【図７】時間に対するペンの移動速度の変化を表すグラ
フを示す図である。
フを示す図である。
【図８】手書きされた正方形を単位正方形内で示す図で
ある。
ある。
【図９】手書きされた正方形のストロークパラメータを
示す図であり、（ａ）は重心を示し、（ｂ）は平均ベク
トルを示し、（ｃ）は正規化されたベクトルを示す。
示す図であり、（ａ）は重心を示し、（ｂ）は平均ベク
トルを示し、（ｃ）は正規化されたベクトルを示す。
【図１０】（ａ）は手書きされた正方形のバランスを示
す図であり、（ｂ）は正方形のバランスを表すために、
各象限における各ストロークの開始点及び終了点の数を
示す図である。
す図であり、（ｂ）は正方形のバランスを表すために、
各象限における各ストロークの開始点及び終了点の数を
示す図である。
【図１１】画像識別回路の内部構成を示す図である。
２０ 制御プロセッサ、２２ セグメント処理回路、２
４ ストローク前処理回路、２６ 画像識別回路、２８
インターフェイス回路
４ ストローク前処理回路、２６ 画像識別回路、２８
インターフェイス回路
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ソープ、ジョナサン イギリス国 ケーティー13 ０エックスダ ブリュー サリー、ウエィブリッジ、ブル ックランズ、ザ ハイツ（番地なし)
Claims (33)
- 【請求項１】 画像を表す手書き図形により生成される
空間的サンプルのシーケンスから該画像を識別する画像
識別装置において、 上記空間的サンプルに基づいて、上記手書き図形を描画
するために実行されたストロークを表すストロークデー
タを判定するセグメント処理手段と、 上記空間的サンプルのシーケンスと、上記判定されたス
トロークデータとに基づいて、パラメータデータを生成
するストローク前処理手段と、 上記ストローク前処理手段に接続され、上記パラメータ
データに基づいて、上記画像を識別する画像識別手段と
を備える画像識別装置。 - 【請求項２】 上記手書き図形を作成するための描画手
段を備え、 上記空間的サンプルのシーケンスは、上記描画手段の移
動により生成されることを特徴とする請求項１記載の画
像識別装置。 - 【請求項３】 上記セグメント処理手段は、 上記空間的サンプルから上記描画手段の相対的移動方向
に基づく相対方向情報を生成し、 上記相対方向情報から上記描画手段が移動方向を変化さ
せた回数を判定し、 上記描画手段が移動方向を変化させた回数に基づいて、
上記手書き図形のストロークデータを判定することを特
徴とする請求項１又は２記載の画像識別装置。 - 【請求項４】 上記セグメント処理手段は、 上記相対方向情報から上記描画手段の移動方向の変化率
を示す情報を生成し、 上記描画手段が移動方向を変化させた回数を示す上記描
画手段の移動方向の変化率におけるピークの数を判定す
ることを特徴とする請求項３記載の画像識別装置。 - 【請求項５】 上記セグメント処理手段は、上記相対方
向情報が通過されるフィルタを備え、 上記描画手段の移動方向の変化の回数は、上記フィルタ
によりフィルタリングされた相対方向情報に基づいて判
定されることを特徴とする請求項３又は４記載の画像識
別装置。 - 【請求項６】 上記空間的サンプルのシーケンスには時
間的参照情報が添付され、上記セグメント処理手段は、 複数個の空間的サンプルの上記時間的参照情報から該空
間的サンプルに対応する描画手段の描画時の相対移動速
度を示す相対速度情報を生成し、 上記相対速度情報から上記描画手段が速度を変化させた
回数を判定し、 上記速度の変化の回数に基づいて、上記手書き図形のス
トロークデータを判定することを特徴とする請求項１又
は２記載の画像識別装置。 - 【請求項７】 上記セグメント処理手段は、 上記相対速度情報から上記描画手段の移動速度の変化率
を示す情報を生成し、 上記移動速度の変化率がゼロになった時点を識別し、 上記描画手段が速度を変化させた回数は、最小速度に対
応する、移動速度の変化率がゼロになった時点から判定
されることを特徴とする請求項６記載の画像識別装置。 - 【請求項８】 上記セグメント処理手段は、上記相対速
度情報が通過されるフィルタを備え、 上記描画手段が移動速度を変化させた回数は、上記フィ
ルタによりフィルタリングされた相対速度情報に基づい
て判定されることを特徴とする請求項６又は７記載の画
像識別装置。 - 【請求項９】 上記セグメント処理手段は、上記相対方
向情報と上記相対速度情報とを組み合わせて上記手書き
図形のストロークデータを判定することを特徴とする請
求項３乃至８いずれか１項記載の画像識別装置。 - 【請求項１０】 上記ストローク前処理手段は、 各ストロークの開始点及び終了点を判定し、 上記ストロークの開始点及び終了点から上記手書き図形
の外側の境界を定義し、 上記外側の境界から、上記空間的サンプルをそれぞれ比
例させて所定の参照単位に適応化することにより該手書
き図形を正規化し、 上記正規化された手書き図形からパラメータデータを生
成することを特徴とする請求項１乃至９いずれか１項記
載の画像識別装置。 - 【請求項１１】 上記パラメータデータは、上記ストロ
ークの回数、上記手書き図形の重心、上記手書き図形の
平均ベクトル、上記手書き図形の正規化されたベクト
ル、上記手書き図形の長さ、上記手書き図形のバランス
のうちの少なくとも１つを含むことを特徴とする請求項
１０記載の画像識別装置。 - 【請求項１２】 上記画像識別手段は、複数の画像を保
存する画像保存装置にアクセスし、上記パラメータデー
タに基づいて、該複数の画像のうちどの画像が上記手書
き図形に対応するかを判定することを特徴とする請求項
１乃至１１いずれか１項記載の画像識別装置。 - 【請求項１３】 上記画像識別手段は、上記予め保存さ
れた複数の画像に対応するパラメータデータによりトレ
ーニングされ、該予め保存された複数の画像のどれがパ
ラメータデータに対応するかを示す参照識別データを生
成するニューラルネットワークであることを特徴とする
請求項１２記載の画像識別装置。 - 【請求項１４】 上記ニューラルネットワークは、複数
層のパーセプトロンからなり、入力層の入力端子の数は
上記パラメータデータの項数に対応し、該パラメータデ
ータの各項は、それぞれ対応する入力端子に供給される
ことを特徴とする請求項１３記載の画像識別装置。 - 【請求項１５】 上記画像識別手段は、上記識別された
画像を表すデータを表示装置に供給し、該画像を表示さ
せることを特徴とする請求項１乃至１４いずれか１項記
載の画像識別装置。 - 【請求項１６】 画像を表す手書き図形により生成され
る空間的サンプルのシーケンスから該画像を識別する画
像識別方法において、 上記空間的サンプルから、上記手書き図形を描画するた
めに実行されたストロークを分解するステップと、 上記空間的サンプルのシーケンスを、上記分解されたス
トロークデータに関連付けてパラメータデータを生成す
るステップと、 上記パラメータデータに基づいて、上記画像を識別する
ステップとを有する画像識別方法。 - 【請求項１７】 上記手書き図形を描画するために実行
されたストロークを分解するステップは、 上記空間的サンプルから描画手段の相対的移動方向に基
づく相対方向情報を生成するステップと、 上記相対方向情報から上記描画手段が移動速度を変化さ
せた回数を判定し、上記描画手段が移動方向を変化させ
た回数に基づいて、上記手書き図形のストロークデータ
を判定するステップとを有することを特徴とする請求項
１６記載の画像識別方法。 - 【請求項１８】 上記相対方向情報から上記描画手段が
移動方向を変化させた回数を判定するステップは、 上記相対方向情報から上記描画手段の移動方向の変化率
を示す情報を生成するステップと、 上記描画手段が移動方向を変化させた回数を示す上記描
画手段の移動方向の変化率におけるピークの数を判定す
るステップとを有することを特徴とする請求項１７記載
の画像識別方法。 - 【請求項１９】 上記手書き図形を描画するために実行
されたストロークを分解するステップは、上記相対方向
情報をフィルタリングするステップを有することを特徴
とする請求項１７又は１８記載の画像識別方法。 - 【請求項２０】 上記空間的サンプルのシーケンスには
時間的参照情報が添付され、上記手書き図形を描画する
ために実行されたストロークを分解するステップは、 複数個の空間的サンプルの上記時間的参照情報から該空
間的サンプルに対応する描画手段の描画時の相対移動速
度を示す相対速度情報を生成するステップと、 上記相対速度情報から上記描画手段が速度を変化させた
回数を判定し、上記速度の変化の回数に基づいて、上記
手書き図形のストロークデータを判定するステップとを
有することを特徴とする請求項１６記載の画像識別方
法。 - 【請求項２１】 上記相対速度情報から上記描画手段が
速度を変化させた回数を判定するステップは、 上記相対速度情報から上記描画手段の移動速度の変化率
を示す情報を生成するステップと、 上記移動速度の変化率がゼロになった時点を識別するス
テップと、 移動速度の変化率がゼロになった時点のどれが最小速度
に対応するかを判定するステップとを有することを特徴
とする請求項２０記載の画像識別方法。 - 【請求項２２】 上記手書き図形を描画するために実行
されたストロークを分解するステップは、上記描画手段
が速度を変化させた回数を判定するステップの前に、上
記相対速度情報をフィルタリングするステップを有する
ことを特徴とする請求項２０又は２１記載の画像識別方
法。 - 【請求項２３】 上記手書き図形を描画するために実行
されたストロークを分解するステップは、上記描画手段
の速度の変化と方向の変化を組み合わせるステップを有
することを特徴とする請求項１７乃至２２いずれか１項
記載の画像識別方法。 - 【請求項２４】 上記空間的サンプルのシーケンスを、
上記分解されたストロークデータに関連付けてパラメー
タデータを生成するステップは、 各ストロークの開始点及び終了点を判定するステップ
と、 上記ストロークの開始点及び終了点から上記手書き図形
の外側の境界を定義するステップと、 上記外側の境界から、上記空間的サンプルをそれぞれ比
例させて所定の参照単位に適応化することにより該手書
き図形を正規化するステップと、 上記正規化された手書き図形からパラメータデータを生
成するステップとを有することを特徴とする請求項１６
乃至２３いずれか１項記載の画像識別方法。 - 【請求項２５】 上記パラメータデータは、上記ストロ
ークの回数、上記手書き図形の重心、上記手書き図形の
平均ベクトル、上記手書き図形の正規化されたベクト
ル、上記手書き図形の長さ、上記手書き図形のバランス
のうちの少なくとも１つを含むことを特徴とする請求項
２４記載の画像識別方法。 - 【請求項２６】 上記パラメータデータに基づいて、上
記画像を識別するステップは、 上記パラメータデータに基づいて参照指示データを生成
するステップと、 上記参照指示データに基づいて、複数の画像から１つの
画像を選択するステップとを有することを特徴とする請
求項１６乃至２５いずれか１項記載の画像識別方法。 - 【請求項２７】 上記パラメータデータに基づいて、上
記画像を識別するステップは、上記予め保存された複数
の画像に対応するパラメータデータによりトレーニング
され、該予め保存された複数の画像のどれがパラメータ
データに対応するかを示す参照識別データを生成するニ
ューラルネットワークに上記パラメータデータを適用す
るステップを有することを特徴とする請求項１６乃至２
６いずれか１項記載の画像識別方法。 - 【請求項２８】 上記ニューラルネットワークは、複数
層のパーセプトロンからなり、入力層の入力端子の数は
上記パラメータデータの項数に対応し、該パラメータデ
ータの各項は、それぞれ対応する入力端子に供給される
ことを特徴とする請求項２７記載の画像識別方法。 - 【請求項２９】 上記識別された画像を表すデータを表
示装置に供給し、該画像を表示させるステップを有する
ことを特徴とする請求項１６乃至２８いずれか１項記載
の画像識別方法。 - 【請求項３０】 上記予め記憶された画像は所定の作品
に必要な画像であり、上記請求項１６乃至２９いずれか
１項記載の画像識別方法を実行することにより上記所定
の作品を表すストーリーボードを作成するストーリーボ
ード作成方法。 - 【請求項３１】 画像を表す手書き図形により生成され
る空間的サンプルのシーケンスから該画像を識別する画
像識別装置において、 上記手書き図形を描画するために用いられ、上記画像を
表す手書き図形の描画に応じて時間的に参照された空間
的サンプルを生成する描画手段と、 上記描画手段に接続され、上記時間的に参照された空間
的サンプルに基づいて、上記手書き図形を描画するため
に実行されたストロークを表すストロークデータを判定
するセグメント処理手段と、 上記セグメント処理手段に接続され、上記空間的サンプ
ルのシーケンスを上記判定されたストロークデータに関
連付けることによりパラメータデータを生成するストロ
ーク前処理手段と、 上記ストローク前処理手段に接続され、上記パラメータ
データに基づいて、上記画像を識別する画像識別手段と
を備える画像識別装置。 - 【請求項３２】 請求項１６乃至３０いずれか１項記載
の画像識別方法に基づくコンピュータプログラム。 - 【請求項３３】 コンピュータにロードされて、請求項
１６乃至３０いずれか１項記載の画像識別方法を実行す
るコンピュータプログラムを格納するコンピュータによ
り読取可能な記録媒体。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB9921329A GB2354100B (en) | 1999-09-09 | 1999-09-09 | Image identification apparatus and method of identifying images |
| GB9921329.0 | 1999-09-09 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001134766A true JP2001134766A (ja) | 2001-05-18 |
| JP4697718B2 JP4697718B2 (ja) | 2011-06-08 |
Family
ID=10860642
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000274130A Expired - Fee Related JP4697718B2 (ja) | 1999-09-09 | 2000-09-08 | 画像識別装置及び画像識別方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6744915B1 (ja) |
| JP (1) | JP4697718B2 (ja) |
| GB (1) | GB2354100B (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005100417A (ja) * | 2003-09-24 | 2005-04-14 | Microsoft Corp | 手描きオブジェクトの形状認識のシステムおよび方法 |
| KR100856894B1 (ko) | 2007-01-23 | 2008-09-05 | 경희대학교 산학협력단 | 스트로크 기반 온라인서명 확인 시스템 및 그 동작 방법 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7305011B2 (en) * | 2001-06-14 | 2007-12-04 | International Business Machines Corporation | Periodic broadcast and location of evolving media content with application to seminar and stroke media |
| US20040037463A1 (en) * | 2002-01-28 | 2004-02-26 | Calhoun Christopher L. | Recognizing multi-stroke symbols |
| US20050281467A1 (en) * | 2003-01-24 | 2005-12-22 | Stahovich Thomas F | Recognizing multi-stroke symbols |
| EP1744696A1 (en) * | 2004-05-14 | 2007-01-24 | Cardima, Inc. | Ablation probe with stabilizing member |
| US20090245646A1 (en) * | 2008-03-28 | 2009-10-01 | Microsoft Corporation | Online Handwriting Expression Recognition |
| US20100104189A1 (en) * | 2008-10-23 | 2010-04-29 | Aravamudhan Bharath | Handwriting Identification Method, Program And Electronic Device |
| US20100166314A1 (en) * | 2008-12-30 | 2010-07-01 | Microsoft Corporation | Segment Sequence-Based Handwritten Expression Recognition |
| US10521700B2 (en) | 2017-12-14 | 2019-12-31 | Honda Motor Co., Ltd. | Methods and systems for converting a line drawing to a rendered image |
| CN117824663B (zh) * | 2024-03-05 | 2024-05-10 | 南京思伽智能科技有限公司 | 一种基于手绘场景图理解的机器人导航方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5191622A (en) * | 1987-07-17 | 1993-03-02 | Hitachi, Ltd. | Hand-written character recognition apparatus with a personal dictionary preparation function |
| US5121441A (en) * | 1990-09-21 | 1992-06-09 | International Business Machines Corporation | Robust prototype establishment in an on-line handwriting recognition system |
| JP2673871B2 (ja) * | 1993-08-26 | 1997-11-05 | 日本アイ・ビー・エム株式会社 | ニューラル・ネットワークによるパターン認識方法及び装置 |
| US5577135A (en) * | 1994-03-01 | 1996-11-19 | Apple Computer, Inc. | Handwriting signal processing front-end for handwriting recognizers |
| US5710916A (en) * | 1994-05-24 | 1998-01-20 | Panasonic Technologies, Inc. | Method and apparatus for similarity matching of handwritten data objects |
| US5812698A (en) * | 1995-05-12 | 1998-09-22 | Synaptics, Inc. | Handwriting recognition system and method |
| JPH11238131A (ja) * | 1998-02-23 | 1999-08-31 | Mitsubishi Electric Corp | 筆跡照合装置 |
-
1999
- 1999-09-09 GB GB9921329A patent/GB2354100B/en not_active Expired - Fee Related
-
2000
- 2000-09-08 US US09/657,756 patent/US6744915B1/en not_active Expired - Lifetime
- 2000-09-08 JP JP2000274130A patent/JP4697718B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005100417A (ja) * | 2003-09-24 | 2005-04-14 | Microsoft Corp | 手描きオブジェクトの形状認識のシステムおよび方法 |
| JP4536471B2 (ja) * | 2003-09-24 | 2010-09-01 | マイクロソフト コーポレーション | 手描きオブジェクトの形状認識のシステムおよび方法 |
| KR100856894B1 (ko) | 2007-01-23 | 2008-09-05 | 경희대학교 산학협력단 | 스트로크 기반 온라인서명 확인 시스템 및 그 동작 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4697718B2 (ja) | 2011-06-08 |
| GB2354100B (en) | 2003-12-24 |
| US6744915B1 (en) | 2004-06-01 |
| GB2354100A (en) | 2001-03-14 |
| GB9921329D0 (en) | 1999-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Repetitive assembly action recognition based on object detection and pose estimation | |
| US10242255B2 (en) | Gesture recognition system using depth perceptive sensors | |
| US7340077B2 (en) | Gesture recognition system using depth perceptive sensors | |
| US9959463B2 (en) | Gesture recognition system using depth perceptive sensors | |
| US20050271279A1 (en) | Sign based human-machine interaction | |
| JP2001126081A (ja) | 画像識別装置及び画像識別方法 | |
| Badi | Recent methods in vision-based hand gesture recognition | |
| Badi et al. | Hand posture and gesture recognition technology | |
| JP4697718B2 (ja) | 画像識別装置及び画像識別方法 | |
| Rahim et al. | Hand gesture recognition-based non-touch character writing system on a virtual keyboard | |
| Wu et al. | A visual attention-based method to address the midas touch problem existing in gesture-based interaction | |
| CN114792443A (zh) | 一种基于图像识别的智能设备手势识别控制方法 | |
| Ghotkar et al. | Vision based real time hand gesture recognition techniques for human computer interaction | |
| Mohammadi et al. | Real-time Kinect-based air-writing system with a novel analytical classifier | |
| Obukhov et al. | Organization of three-dimensional gesture control based on machine vision and learning technologies | |
| JP2020027647A (ja) | 深度カメラ及び深層ニューラルネットワークを使用する、プロジェクタ−カメラ対話型ディスプレイ用のロバストなジェスチャ認識装置及びシステム | |
| Dias et al. | OGRE-open gestures recognition engine | |
| Maleki et al. | Intelligent visual mouse system based on hand pose trajectory recognition in video sequences | |
| Achari et al. | Gesture based wireless control of robotic hand using image processing | |
| Rahman et al. | Continuous motion numeral recognition using RNN architecture in air-writing environment | |
| KR102107182B1 (ko) | 손 제스처 인식 시스템 및 방법 | |
| TW201248456A (en) | Identifying contacts and contact attributes in touch sensor data using spatial and temporal features | |
| Tupal et al. | Vision-Based Hand Tracking System Development for Non-Face-to-Face Interaction | |
| US20220137712A1 (en) | Information processing apparatus, information processing method, and program | |
| Kumar et al. | Real Time Air-Written Mathematical Expression Recognition for Children’s Enhanced Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070813 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080411 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20080415 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100405 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100420 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100820 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20100901 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101012 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110112 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110201 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110223 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |