JP2004213521A - ペン入力情報処理方法 - Google Patents

Abstract

【目的】画像上に書かれた軌跡を認識し、認識結果に対応した種類の画像処理を認識結果の数値をパラメータとして実行する情報処理を実現することができるペン入力情報処理方式を提供すること。
【構成】画像データを表示する手段と、画像データ上に手書き軌跡情報を入力する手段と、入力された手書き軌跡データを画像データに付加して記憶する手段と、前記記憶した手書き軌跡データが付加された画像データを他の機械に送信する手段を持つ情報処理装置と、前記情報処理装置から送られてくる手書き軌跡データが付加された画像データを受信する手段と、受信した手書き軌跡データを認識する手段と前記認識した形状に対応する処理を画像データに対して行う。
【選択図】 図２

Description

【０００１】
【発明の属する技術分野】
本発明は、画像に対する処理を手書き軌跡で指示するペン入力情報処理方法に関するものである。
【０００２】
【従来の技術】
従来の情報処理装置は、特開平８−６９３５１号等に記載のように、ペン入力されるジェスチャー軌跡データを記憶する手段と、記憶した軌跡データを順次認識し、その結果がジェスチャーであればそのジェスチャーに対応する処理を行う手段等で構成されていた。
【０００３】
【発明が解決しようとする課題】
ところで、従来のジェスチャー認識では、ジェスチャーを入力してから、直ぐに認識させ処理を実行する場合においては、処理を実行するＣＰＵ等の能力によっては時間が掛かるため操作者がいらつくようなことがあった。
【０００４】
又、従来のジェスチャー認識では、文字列に対する編集操作が対象であったため、削除とか、仮名漢字変換の実行とか簡単なもであった。ところが、画像に対する画像処理操作においては、数値指定が必要なような複雑なものもあるためそのまま適応することは難しかった。
【０００５】
又、文字列の選択ジェスチャーでは、希望の選択領域は通常簡単に入力できるが、画像の部分選択指示においては、１００×１００画素の矩形範囲を選択したい等の要求があった。従来の画像処理ソフトにおいては、或る程度余分な領域含む大きな領域を一旦コピーしてから、余分な領域を削除する等と煩雑であった。
【０００６】
本発明は上記問題に鑑みてなされたもので、その目的とする処は、画像上に書かれた軌跡を認識し、認識結果に対応した種類の画像処理を認識結果の数値をパラメータとして実行する情報処理を実現することができるペン入力情報処理方式を提供することにある。
【０００７】
又、本発明は、認識できる手書き軌跡ジェスチャーの形状の種類をホストコンピュータ側の種類を変更することにより拡張することができるペン入力情報処理方式を提供することを目的とする。
【０００８】
更に、本発明は、画像選択時において、画像選択範囲変更認識手段を設けることにより、画像選択領域の微少な変更も選択領域表示上に直接手書き数値を入力することにより可能とするペン入力情報処理方式を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、本発明は、画像データを表示する手段と、画像データ上に手書き軌跡情報を入力する手段と、入力された手書き軌跡データを画像データに付加して記憶する手段と、前記記憶した手書き軌跡データが付加された画像データを他の機械に送信する手段を持つ情報処理装置と、前記情報処理装置から送られてくる手書き軌跡データが付加された画像データを受信する手段と、受信した手書き軌跡データを認識する手段と前記認識した形状に対応する処理を画像データに対して行うことを特徴とする。
【００１０】
又、本発明は、画像データを表示する手段と、画像データ上に手書き軌跡情報を入力する手段と、入力された手書き軌跡データを画像データに付加して記憶する手段と、前記記憶した手書き軌跡データを形状によって認識する手段と、前記認識した形状の種類に応じた処理種類によって前記記憶した手書き軌跡データが付加された画像データを他の機械に送信するか、前記画像データに対する処理を行うかを決定する手段と前記画像データに対する処理を行う手段と前記記憶した手書き軌跡データが付加された画像データを他の機械に送信する手段を持つ情報処理装置と、前記情報処理装置から送られてくる手書き軌跡データが付加された画像データを受信する手段と、受信した手書き軌跡データを認識する手段と前記認識した形状に対応する処理を画像データに対して行うことを特徴とする。
【００１１】
【発明の実施の形態】
以下に本発明の実施形態を添付図面に基づいて説明する。
【００１２】
＜実施の形態１＞
図１は本発明の実際の使用形態を表している。１は携帯情報機器であり、カメラ部、液晶表示部、抵抗膜等で構成されている座標入力部、ＣＰＵ、ＲＯＭ、ＲＡＭ、記録メディアを差し込むスロット、他の情報機器と接続するためのＵＳＢ等のインターフェイスで構成されている。カメラ部で撮影した画像を液晶表示部に表示し、その画像に対する処理の指示を座標入力部によって入力する軌跡データで行う。ＲＯＭには、本発明を含む携帯情報機器の情報処理手順が記憶されている。ＲＡＭには、画像データ、入力された軌跡データ等が記憶されている。画像データはユーザの指示操作によって、ＵＳＢインターフェイスを通ってパーソナルコンピュータへ送られる。又は、記録メディアを介して画像データは、パーソナルコンピュータやプリンターに送られる。
【００１３】
２は一般的な液晶表示部であり、その液晶表示部２の上面に座標入力を行う一般的な透明抵抗膜デジタイザーが取り付けられている。その表示画面上をペン３で押圧することにより手書きの軌跡を入力することができる。
【００１４】
３は一般的なペンであり、手書き軌跡情報や、表示画面上のソフトボタン等の入力に利用される。
【００１５】
４は一般的なデジタルカメラ部であり、レンズ、ＣＣＤ等の撮像素子で構成されている。携帯情報機器１内のＣＰＵによって制御され、撮影された画像データはＣＰＵに接続されているＲＡＭに記憶される。
【００１６】
５は一般的なパーソナルコンピュータであり、携帯情報機器１とＵＳＢインターフェイスを通じて接続されている。携帯情報機器１から送られてくる、手書き軌跡データが付加された画像データを定められた処理手順で処理を行うよう構成されている。
【００１７】
図２は本発明実施例の携帯情報機器のブロック図である。
【００１８】
２−１は、位置座標入力部であり、２−２の液晶表示部の上面に配置された抵抗膜デジタイザーで構成されている。抵抗膜デジタイザーは制御回路を介して、システムバス１１を経由してＣＰＵ６に接続している。ペン３を使って、画面上を押圧することにより、押圧した位置の位置座標データがＣＰＵ６によって読み取られる訳である。読み取られた位置座標データは、ＲＡＭ７に記憶され、ＲＯＭ８内の処理手順に従って、手書き軌跡の辞書データとのマッチング処理等が実行される訳である。
【００１９】
２−２は一般的な液晶表示部で、液晶表示素子、液晶制御回路、表示メモリから構成され、システムバス１１を経由してＣＰＵ６に接続している。ＣＰＵ６からの指示で、画像データや手書き軌跡データが画面上に表示される。
【００２０】
３は一般的なペンであり、手書き軌跡情報や、表示画面上のソフトボタン等の入力に利用される。
【００２１】
４は一般的なデジタルカメラ部であり、レンズ、ＣＣＤ等の撮像素子、ＣＣＤの制御回路で構成されている。ＣＣＤの制御回路はシステムバス１１を経由してＣＰＵ６に接続している。ＣＰＵ６によってＣＣＤは制御され、撮影された画像はＲＡＭ７に記憶される。
【００２２】
６は一般的なＣＰＵであり、システムバス１１を介してＲＡＭ７、ＲＯＭ８、の位置座標入力部２−１、液晶表示部２−２等と接続しており、ＲＯＭ８に記憶されているプログラムによって処理動作を行う。
【００２３】
７は一般的なＲＡＭであり、画像データの保存や、プリグラムのワーク領域として使われる。
【００２４】
８は一般的なＲＯＭであり、ＣＣＤの制御プログラム、液晶表示部の制御プログラム等が記憶されている。又、手書き軌跡の認識プログラム、手書き軌跡形状の辞書データ等の本発明の処理手順も記憶されている。
【００２５】
９はデジタルカメラ等で一般的なコンパクトフラッシュのカードのインターフェイス部であり、差し込まれたコンパックトフラッシュカードのデータの読み込み書き込みを実現し、画像データ等を記憶することができる。
【００２６】
１０は一般的なＵＳＢインターフェイス部であり、ＣＰＵ６によって制御され、一般のパーソナルコンピュータと接続して、手書き軌跡データが付加された画像データ等のやり取りを行うことができる。
【００２７】
図３は本発明実施例の処理構成図である。
【００２８】
２−１は図２で説明した位置座標入力部であり、ペンで押圧することにより、その押圧した位置の位置座標が入力される。図のように画像の上にジェスチャー軌跡を書くことにより、その画像に対する処理を指示することができる。
【００２９】
３−１は文字切り手段であり、位置座標入力手段２−１から送られてくる一画面分の複数文字の位置座標データを１文字単位に切り分ける処理を行う。座標入力操作から認識処理実行のタイミングは、ユーザの指定によって時間は変更可能である。既定値は１０秒ペンアップが続くか、他のスイッチ等が押されたら、文字切り手段３−１に、画面上の位置座標データが送られるように構成されている。本実施の形態ではこの構成で行うが、認識処理時間が１秒以下であれば、ペンアップのタイミングで毎回認識処理を繰り返す構成も考えられる、その場合は認識結果により入力処理が継続するかどうかを決定する構成となる（この考え方は、特許第３１４３４６１号で記載の方式をジェスチャー認識に応用することで実現することができる）。
【００３０】
認識した結果が継続コードであれば、次のストロークの入力を待ち、ジェスチャーコードであれば、そのコードに対応した処理を実行する。又、認識した結果のジェスチャーが数値パラメータを必要とする種類であれば、数値パラメータの入力を待つ構成となる。文字切りのアルゴリズムは、最初に入力されたストロークの外接矩形を記憶し、次のストロークがその矩形内か外かで、次の文字のストロークかそうでないかを判断する。
【００３１】
３−２はジェスチャー認識手段で、ジェスチャー認識辞書データ３−３との文字切り手段３−１から送られてくる１文字分の位置座標データとのマッチング処理を行い、辞書データとの一致度が高い順に候補を出力する。
【００３２】
３−３はジェスチャー認識辞書データで、ジェスチャー形状のデータとジェスチャーコードが記憶されている。
【００３３】
３−４は数字認識手段で、数字認識辞書データ３−５と文字切り手段３−１から送られてくる１文字分の位置座標データとのマッチング処理を行い、辞書データとの一致度が高い順に候補を出力する。
【００３４】
３−５は数字認識辞書データで、数字のデータと数字の文字コードが記憶されている。ジェスチャー認識手段３−２の認識結果と数字認識手段３−４の認識結果がジェスチャー処理手段３−６に送られる。
【００３５】
３−６はジェスチャー処理手段で、３−２，３−４から送られてくる認識結果を統合し、その統合したジェスチャーの認識結果によって、図１で表した、携帯情報端末で実際の画像処理を行うか、図１のパソコン５側に手書き軌跡データを付加した画像を送って処理を行うかを決定する。
【００３６】
３−７は画像処理手段で、手段３−６において携帯情報端末で実際の画像処理を行うと決定した場合は、液晶表示部２−２に表示している画像に対して、ジェスチャー認識３−２で決定したジェスチャーに対応する画像処理を行う。
【００３７】
３−８は画像データに軌跡データを付加する手段で、液晶表示部２−２に表示している画像データに３−６から受け取ったジェスチャー軌跡データを付加する。ジェスチャー軌跡データは、パーソナルコンピュータ５に送られるのであるから、データを圧縮した方が効率が良いので、認識に影響を及ばさない範囲で圧縮を行う。位置座標は０〜２５６の範囲に正規化し、微少移動量の座標点は必要ないので、間引いてしまう。
【００３８】
３−９はパソコン５へ３−８で作成したデータを転送する手段である。本実施の形態では、図２の一般的なＵＳＢインターフェイス１０を使って、ジェスチャー軌跡データが付加された画像ファイルをパソコンへ転送する。ファイル転送の手順等は一般的な方式とする。
【００３９】
図４はジェスチャー辞書のデーター構造図である。ジェスチャーの種類毎にジェスチャーコード、そのジェスチャーに対応する画像処理の内容、ジェスチャーの形状の特徴化したデータが記憶されている。
【００４０】
ジェスチャーコードは、ジェスチャーの種類を区別するための１６ビットコードで他の文字（数字アルファベット記号等）と異なるものとする。
【００４１】
ジェスチャーに対応する処理の内容は、画像処理のコマンドとする。即ち、ジェスチャーコード“０１”に対応する画像消去であれば、“ＤＥＬ”であり、ジェスチャーコード“０２”に対応する画像印刷であれば、“ＰＲＩＮＴ”である。
【００４２】
ジェスチャーの形状の特徴化したデータは、認識アルゴリズムが図４で表したような形状の軌跡の位置座標データから特徴量データを抽出したものである。
【００４３】
認識アルゴリズムとしては、特許第３１４３４６１号等に記載のストロークを１０等分してその１０等分したストローク８方向ベクトルで表す方式で行う。認識時も同一の方法で８方向ベクトル化するので、同一の形状のジェスチャーを書けば、同一の８方向ベクトル化データが得られる。
【００４４】
図７はジェスチャーコードに対応する画像処理の処理テーブルの構成図である。
【００４５】
ジェスチャーコードは、ジェスチャーの種類を区別するための１６ビットコードで他の文字（数字アルファベット記号等）と異なるものとする。画像処理内容は、ジェスチャーコードに対応する画像処理内容である。パラメータの内容は、その画像処理のパラメータの内容である。即ち、画像の印刷ジェスチャーの場合は、パラメータは印刷枚数である。次のデータは、画像処理をどの機械で行うかの判別データである。携帯端末側で実行とパソコン側で実行の２種類が存在する。
【００４６】
図５、図６、図８及び図９は本発明実施例のフローチャートである。
【００４７】
上記構成で、図５、図６、図８及び図９のフローチャートに沿って処理を説明する。
【００４８】
図１の１で表した携帯端末は、図１−４のデジタルカメラ部で、静止画を撮影し、図１の２の液晶表示部に撮影した画像を表示する一般的な撮影画像のプレビューモードを備えている。
【００４９】
撮影画像のプレビューモードにおいて、その撮影画像上に図１のペン３で手書き軌跡を入力することにより、その画像に対する画像処理を指示することができる構成となっている。ＪＰＥＧ等の形式で図１の１に記憶されている画像ファイルを液晶画面上に表示し、ペンの手書きジェスチャー入力モードとなる。画像を表示しているエリアは、手書きジェスチャー入力エリアとなり、それ以外のエリアは画像ファイルの切り替えエリアやメニューエリアやモード変更エリアとなっている。
【００５０】
手書きジェスチャー入力エリアに入力があるまで、入力待ちモードで入力を待つ、最初のペン入力があってから、一定時間入力がないと、ジェスチャー認識モードとなり、ステップ５−１からの処理を行う。又は、画像上にジェスチャー軌跡が入力されている状態で、他のモードや、他の画像ファイルに表示を切り替える操作を指示された場合は、ジェスチャー認識モードとなり、ステップ５−１からの処理を行うようにする。
【００５１】
図５のフローチャートで１文字の軌跡データを切り分ける処理を説明する。この処理が図３の文字切り手段３−１に相当する。
【００５２】
ステップＳ５−１で、文字切り処理を開始する。表示画面上に書かれているジェスチャー文字軌跡郡を１文字ずつのデータに切り分ける処理を開始する。
【００５３】
ステップＳ５−２で、最大最小ＸＹ座標記憶エリア等のワークの初期化を行う。
【００５４】
ステップＳ５−３で、１ストロークのデータを画像ファイルに対応して記憶されている入力軌跡の座標データ記憶領域から読み込み。個々のストロークは、入力されたときの時系列の順に記憶されている。１ストロークのデータは、可変であり、Ｘ座標、Ｙ座標、…ペンアップ、ペンアップのように構成されている（特許第０３１４３６１号等に記載の一般的な軌跡の座標データ形式である）。読み込んだストロークデータは、一時的な１文字分データの記憶領域に記憶される。
【００５５】
ステップＳ５−４で、前記ステップで読み込んだ１ストロークデータの最大、最小のＸＹ座標値を記憶する。
【００５６】
ステップＳ５−５で、表示画面上の軌跡記憶領域に、未だ処理していないストロークがあるかのチェックを行う。ストロークが無ければ処理は終了なので、ステップＳ５−９に進み、ストロークがあればステップＳ５−６に進む。
【００５７】
ステップＳ５−６で、次のストロークデータのＸＹ座標がステップＳ５−４で記憶している最小最大ＸＹ座標範囲内かのチェックを行う。その判定結果を記憶する。記憶している前のストロークの外接矩形内に今チェックしているストロークが存在すれば、同じ文字のストロークデータとして扱い、そうでなければ別の文字のストロークとして扱う訳である。
【００５８】
ステップＳ５−７において、前記ステップでチェックした結果、次のストロークが範囲内であれば、１文字分のデータに付加するために、ステップＳ５−３に進みそのストロークデータを読み込む。次のストロークが範囲外であれば、ステップＳ５−８に進む。
【００５９】
ステップＳ５−８において、ステップＳ５−３で記憶してきた一時的な１文字分データの記憶領域に記憶されている、ストロークデータ郡を１文字分のデータとして出力する。そして、１文字分データの記憶領域をクリアし、ストロークの最小最大記憶領域をクリアし、次の１文字分のデータを読み込むためにステップＳ５−３に進む。
【００６０】
ステップＳ５−９において、終了処理を行う。一時的な１文字分データの記憶領域に記憶されている、ストロークデータ郡を最後の１文字分のデータとして出力し、この処理で使った記憶領域等を解放する。
【００６１】
上記説明した手順で、表示画面上に入力された１画面分の手書きのジェスチャー軌跡郡を１文字毎のデータ切り分けることができる。１文字分のデータに切り分けることができれば、他の方式でも構わないのは言うまでもない。又、ジェスチャーの入力形状、数値の入力形状を、全て１筆で入力させるようにすれば、１文字部の区切りは、１ストローク毎になるので、上記フローチャート５の処理は省略できる。
【００６２】
次に、図６のフローチャートで１文字分の軌跡データの認識処理を説明する。この処理が、図３のジェスチャー認識手段３−２と、数値認識手段３−４に相当する。
【００６３】
ステップＳ６−１で１文字分の認識処理を開始する。ワーク等の一時記憶領域を初期化する。
【００６４】
ステップＳ６−２において、１ストロークを１０等分する。対象ストロークの座標点間の距離を加算して、そのストロークの全長を求め、その全長の１０分の１を基準長として、始点から基準長単位で、ストロークを分割する。
【００６５】
ステップＳ６−３において、分割したストロークを８方向ベクトル化する。前記ステップで、ストロークは分割されているのでその分割ストロークの始点終点で方向角度を求め、その角度を８方向に分類する。０度を１に分類すれば、４５度を２、…、３１５度を８に分類する。例えば、“−”のような横線のストロークは、“１，１，１，１，１，１，１，１，１，１，”にデータ化される。
【００６６】
ステップＳ６−４において、ジェスチャー辞書の８方向ベクトルデータと順次マッチング処理を行い、入力ベクトルデータと辞書ベクトルデータの一致度を計算していく。入力された１文字のストロークが１筆で書かれたものであれば、１筆の辞書データとマッチングを行い、２筆で書かれたものであれば、２筆の辞書データとマッチングを行う。１つの分割ストロークで、入力ストロークと辞書ストロークの方向が同一であれば、１０点とし、その隣の方向であれば、８点とし、逆の方向であれば、０点として、評価する。
【００６７】
例えば、例えば、“Ｘ”のようなジェスチャーを入力されると、“８，８，８，８，８，８，８，８，８，１”、“６，６，６，６，６，６，６，６，６，６”となり、辞書データの消去ジェスチャーの形状データが“８，８，８，８，８、８，８，８，８，８”、“６，６，６，６，６，６，６，６，６，６”とマッチングすると一致度が９９となる。
【００６８】
ステップＳ６−５において、マッチング処理の結果で一致度が高い順に候補記憶領域に記憶する処理を行う。前記ステップで例えば、消去ジェスチャーの形状が入力されマッチングされていれば、消去コード“０１”とその評価結果９９が記憶される。
【００６９】
ステップＳ６−６において、数字辞書の８方向ベクトルデータと順次マッチング処理を行い、入力ベクトルデータと辞書ベクトルデータの一致度を計算していく。例えば、“１”が入力されれば、“７，７，７，７，７，７，７，７，７，７”となり１の辞書データが、“７，７，７，７，７，７，７，７，７，７”であれば、一致度は１００となる。
【００７０】
ステップＳ６−７において、マッチング処理の結果で一致度が高い順に候補記憶領域に記憶する処理を行う。例えば、前記ステップで“１”の結果の一致度が１００であれば、１の文字コードと一致度の１００が記憶される。
【００７１】
ステップＳ６−８において、ジェスチャー辞書と数字辞書との結果の候補列を統合して、最終結果とする。基本的には、数字の書き方とは異なる形状をジェスチャーとするので間違えることはない。例えば、“Ｐ３”と入力されれば、画像印刷ジェスチャーコード“０２”と、３の文字コードが第一候補として出力される。
【００７２】
ステップＳ６−９において、認識処理が終了される。
【００７３】
もし、全ての辞書データとマッチングを行っても一致度が低くて、３０点以下の場合は、候補該当文字無しとする。
【００７４】
このように処理を行うことにより、手書きジェスチャーを認識することができる。
【００７５】
次に、図８のフローチャートに従ってジェスチャー処理を説明する。
【００７６】
図３のジェスチャー処理手段３−６、画像処理手段３−７、画像データ３−８に軌跡データを付加する手段に相当する。
【００７７】
ステップＳ８−１において、ジェスチャー処理を開始する。ワーク等の初期化処理を行う。
【００７８】
本実施の形態では、ジェスチャー処理は、認識結果が出次第実行する構成にしているが、携帯端末では、レスポンスが重要であるので、ジェスチャーに対応する画像処理に時間が掛かる場合は、入力処理が無いＣＰＵがアイドル状態の時に画像処理自体は行う構成にしても良い。そのためには、画像ファイルと実行するジェスチャーの対応を記憶しておく領域を設ければ可能である。
【００７９】
ステップＳ８−２において、図７に表したジェスチャー処理テーブルを検索する。認識した結果であるジェスチャーコードでテーブルを検索して、そのジェスチャーに対応する画像処理を携帯端末側で実行するか、パソコン側で実行するかの種別を読み込む。例えば、認識結果が画像消去ジェスチャーであれば、ジェスチャーコード０１の画像消去ジェスチャーは、図７から、画像消去処理を携帯機器で実行になっているので、そのことを記憶する。
【００８０】
ステップＳ８−３において、前記ステップで記憶した、処理をどの機械で実行するかの種別によって処理を分岐させる。携帯端末で実行の種別であれば、ステップＳ８−４に進み、パソコン側で実行の種別であればステップＳ８−５に進む。
【００８１】
ステップＳ８−４において、認識結果のジェスチャーコードに対応した画像処理を携帯端末側で実行する。例えば、認識結果のジェスチャーコードが０１であれば、消去ジェスチャーなので、画像ファイルの消去を実行する。又、例えば、認識結果のジェスチャーコードが０４であれば、画像をメイルに加工する処理のジェスチャーなので、画像ファイルを通信のための一般的なＭＩＭＥエンコード等の方式で変換し、パラメータの認識結果である数字に対応する規定の宛先に対する電子メイルのファイルを作成し、電子メイルの送信バッファに書き出す処理を行う。
【００８２】
ステップＳ８−５において、ジェスチャーの軌跡データを画像ファイルに付加する処理を行う。一般的なＪＰＥＧ等の画像ファイルには、コメント入力のためのテキスト記憶領域があるので、そこにジェスチャーの軌跡位置座標データ列をアスキーコード化して書き込むようにする。これにより一般の画像ファイルフォーマットのまま扱えるので、もし、ジェスチャー処理をサポートしていないパーソナルコンピュータにこの画像ファイルを送ってしまってもジェスチャー処理が実行されないだけで他に悪影響を及ぼすことがない。
【００８３】
ジェスチャーの軌跡位置座標データ列のアスキーコード化は、先ず、ＸＹ位置座標を０〜２４０の範囲に正規化し、微少座標の変化は無視して良いので位置座標の微少変化点は間引く。そして、ＸＹが例えば、００Ｈ、Ｆ０Ｈの２バイトの値であれば、それを、“０”、“０”、“Ｆ”、“０”の４バイトの文字コードに変換し、１ストロークの区切りのペンアップのコードは、“ＵＰ”“ＵＰ”とし、１文字の区切りは“ＥＮ”“ＮＤ”とし、データの終りは“ＸＸ”“ＸＸ”とする。
【００８４】
ステップＳ８−６において、前記ステップでジェスチャーの軌跡データを付加した画像ファイルをパソコンへの転送領域に記憶しておく。通常携帯端末はパソコンと接続しない状態で使われるので、接続していない状態では転送の予約処理だけを行い、接続した時点で転送するように処理を実行する。
【００８５】
次に、図９のフローチャートで、パソコン側に送られた画像ファイルの処理を説明する。
【００８６】
ステップＳ９−１において、手書きジェスチャーの軌跡データが付加されている画像ファイルの処理を開始する。ワーク等の初期化を実行する。
【００８７】
ステップＳ９−２において、画像ファイルに付加されているジェスチャー軌跡データを読み込む処理を行う。ステップＳ８−５において行った処理の逆の処理を行うわけである。画像ファイルのコメント領域に記憶されているアスキーコード化されたジェスチャーの軌跡位置座標データ列をバイナリー化する。０，０，Ｆ，０，……“Ｕ、Ｐ”“Ｕ、Ｐ、”ＥＮ”“Ｎ Ｄ”“Ｘ、Ｘ”“Ｘ、Ｘ”のアスキーコード列を００Ｈ、Ｆ０Ｈ、…ペンアップコード“Ｆ１Ｈ、Ｆ１Ｈ”文字切りコード“ＦＥＨ、ＦＥＨ”データ終了コード“ＦＦＨ、ＦＦＨ”のバイナリーコードに変換し、一時記憶領域に記憶する。
【００８８】
ステップＳ９−３において、画像ファイルに軌跡データが付加されているかどうかのチェックを行う。前記ステップで変換すべき軌跡データが存在しないときは、通常の画像ファイルなのでステップＳ９−１０に進みこの手書き軌跡データ処理を終了する。軌跡データが存在するときは、ステップＳ９−４に進み、手書き軌跡データの処理を行う。
【００８９】
ステップＳ９−４において、一時記憶領域に記憶されている１画像ファイルの軌跡データの中から１文字分の軌跡データを取り出し、その軌跡データの軌跡ストロークを１０等分する処理を行う。対象ストロークの座標点間の距離を加算して、そのストロークの全長を求め、その全長の１０分の１を基準長として、始点から基準長単位でストロークを分割する。
【００９０】
ステップＳ９−５において、分割したストロークを８方向ベクトル化する。前記ステップで、ストロークは分割されているのでその分割ストロークの始点終点で方向角度を求め、その角度を８方向に分類する。０度を１に分類すれば、４５度を２、…、３１５度を８に分類する。例えば、“−”のような横線のストロークは、“１，１，１，１，１，１，１，１，１，１，”にデータ化される。
【００９１】
ステップＳ９−６において、ジェスチャー＆数字辞書の８方向ベクトルデータと順次マッチング処理を行い、入力ベクトルデータと辞書ベクトルデータの一致度を計算していく。ここでマッチングを行う辞書は、図１の５のパソコン側に記憶されている辞書である。携帯端末側の辞書は、通常ＲＯＭ等に記憶されている場合が多いので更新するのが難しいが、パソコン側の辞書は、通常ハードディスク等に記憶されているので、更新ファイル等をネットワーク等で配布すれば、更新は可能である。
【００９２】
本実施の形態では、パソコン側の辞書のジェスチャー形状データには、携帯端末に登録されている形状以外のデータも登録されている構成となっている。そのため、もしその形状のジェスチャーを携帯端末で入力した場合は、候補無しの結果になるが、本実施の形態では、その場合、その位置座標データ列は画像ファイルに付加されてパソコン側に送られてきて、このステップでマッチングされ、認識結果のジェスチャーコードを出力できるのである。
【００９３】
ステップＳ９−７において、前記マッチング処理の認識結果の認識候補を一致度が高い順に候補記憶領域に記憶する処理を行う。
【００９４】
ステップＳ９−８において、画像ファイルに付加されてきた軌跡データの全ての認識処理を行ったかのチェックを行う。未だ認識すべき１文字分の軌跡データがあれば、ステップＳ９−４に進んで認識処理を続行し、もう処理すべきデータが無ければステップＳ９−９に進む。
【００９５】
ステップＳ９−９において、認識結果のジェスチャーに対応する画像処理を実行する。
【００９６】
例えば、認識結果が、ジェスチャーコード“０２”の画像印刷ジェスチャーであれば、図１の５のパーソナルコンピュータ上で指定枚数の印刷処理を行う。
【００９７】
又、例えば、認識結果が、ジェスチャーコード“０３”の画像解像度変換ジェスチャーであれば、図１の５のパーソナルコンピュータ上で、指定解像度に画像を変換する処理を行う。
【００９８】
ステップＳ９−１０において、１つの画像ファイルのジェスチャー処理を終了する。携帯端末から送られてきた画像ファイルが複数存在するときは、この処理をその個数だけ繰り返す。
【００９９】
又、この認識結果のジェスチャーの種類によっては、認識結果を携帯端末側に戻す構成を追加することも可能である。この構成を追加すれば、携帯端末側で実行するジェスチャー処理種類も追加できる。その場合、特定のジェスチャーがホストコンピュータ側で認識されると、その認識結果のジェスチャーに対応する画像処理の携帯端末側のコマンド列と送られてきた画像ファイルのインデックスを携帯端末側に送り返すプログラムを追加すれば良い。そして携帯端末側は、その画像インデックスによって画像を特定し、その画像に対する処理を送られてきたコマンド列沿って行えば良い。
【０１００】
以上説明した構成で携帯端末とパーソナルコンピュータ側のプログラムを作ることにより、より柔軟な、画像ファイルに対するジェスチャー指示処理システムを実現することができる。
【０１０１】
＜実施の形態２＞
前記実施の形態１では、画像処理の対象は、表示している１画面全体としてきたが、処理操作としては、対象が画像の一部分であることもある。単純には、選択ジェスチャーを設ければ可能であるが、画像の場合書かれた軌跡の位置座標を選択範囲とするとなかなかユーザにとって使いにくいときがある。プリント用紙の大きさやレイアウトの関係で１００＊１００画素の矩形で切り取りたい等の要求がある場合。手書き軌跡で縦横を１００：１００にするのは何度か繰り返せば可能であるが、なかなか難しく本来の手軽な操作と相反することになる。そこで、実施の形態１に選択範囲の変更処理操作を付加することにより、微妙な選択を行いたいときの操作を簡単なものにする。
【０１０２】
図１０は本実施の形態の処理構成図である。
【０１０３】
２−１，３−１，３−２，３−３，３−４，３−５，３−６は図３の処理手段と同じであるため説明を省く。
【０１０４】
１０−１はジェスチャー軌跡の選択範囲を求める手段である。ジェスチャーの認識結果が選択ジェスチャーコードの場合、この手段にジェスチャー軌跡データが送られてくる。その選択ジェスチャーに応じた画像選択範囲の位置座標を出力する。
【０１０５】
１０−２は、ジェスチャー軌跡で入力された画像選択範囲を表示する手段である。１０−３は選択範囲を認識指示入力で変更する手段である。
【０１０６】
１０−４は処理時間、バッテリー状態によってジェスチャー処理を実行する時間、機械を選択変更する手段である。１０−１，１０−２，１０−３の手段は実施例では、図２のＲＯＭ８の中にプログラムとして実現されている。
【０１０７】
図１１〜図１４は選択範囲変更処理の入力表示例である。
【０１０８】
図１５はフローチャートである。これは、図１０の１０−１，１０−２，１０−３，１０−４の処理手段を実現したプログラムのフローチャートである。
【０１０９】
上記構成で、図１５のフローチャートに沿って処理を説明する。
【０１１０】
本実施の形態では、選択ジェスチャーとして図１１のような“Ｏ”“Ｘ”の２種類を選択ジェスチャーとする。“Ｏ”のジェスチャーは丸く囲まれた部分を選択範囲とする。“Ｘ”の方はＸの軌跡の外接矩形部分を選択範囲とする。
【０１１１】
ステップＳ１５−１において、画像のジェスチャー選択処理を開始する。ワーク等の初期化処理を行う。
【０１１２】
ステップＳ１５−２において、選択ジェスチャー入力処理を行う。２−１の座標入力部を使って、ユーザは選択したい画像部分上に選択ジェスチャーを入力する。
【０１１３】
ステップＳ１５−３において認識処理を実行する。認識処理自体は、実施の形態のフローチャート図６で説明した方法で行い、認識結果が出力される。
【０１１４】
ステップＳ１５−４において、認識結果のチェックを行う。認識結果が選択ジェスチャーであれば、ステップＳ１５−５に進み、選択ジェスチャー処理を行う。認識結果が選択ジェスチャー以外であれば、他のジェスチャー処理へ進む。
【０１１５】
ステップＳ１５−５において、選択ジェスチャーの選択範囲の表示を行う。認識結果が“Ｘ”選択ジェスチャーであるときは、Ｘの軌跡の外接矩形部分を選択範囲とし、その外接矩形部分を表示させる。これにより、ユーザは希望の部分が選択されたどうかが確認できる。図１１のように“Ｘ”が入力され、“Ｘ”選択ジェスチャーで、あると認識されると、図１２のＡのように“Ｘ”外接矩形が表示される。選択部分の表示後、次の指示入力待ちになる。又は、“Ｏ”ジェスチャーが入力されると、図１２のＢのように、丸で囲まれた画像が選択範囲となり、強調表示される。
【０１１６】
ステップＳ１５−６において、画像部分選択表示後の指示入力をチェックする。ユーザは、座標入力部２−１を使って、位置座標軌跡を入力することができる。入力された位置座標をチェックして、入力軌跡の位置座標が画像選択表示の外接矩形上であれば、ステップＳ１５−７からの選択範囲変更処理に進む。入力軌跡の位置座標が外接矩形上でなければ、ステップＳ１５−１０に進み、選択範囲に対する画像処理ジェスチャーの処理を行う。図１３が外接矩形に選択範囲変更の指示入力がなされたときの表示である。又、この選択表示後の入力処理において、最初のペンダウン時の位置が外接矩形上でペンが一定期間（数秒以上）停止状態が続いたら、従来のマウス等による操作による画像選択エリア変更モードにはいる処理を付け加えても良い。
【０１１７】
ステップＳ１５−７において、選択境界上の数字認識処理を行う。この認識処理自体は、実施の形態１で説明したものと同じ処理である。フローチャート図５の処理によって、文字切りを行い。フローチャート図６のステップＳ６−６の処理によって、数字の認識結果が出力される。
【０１１８】
ステップＳ１５−８において、認識結果の評価処理を行う。認識結果の数字が妥当であるかをチェックし、妥当であればその数値を入力として画像選択範囲を変更する。１以上画像選択最大値以下の値であれば妥当であるとする。例えば図１３のように横に“１００”縦に“１００”と入力され認識されると。元々の選択領域が、８７画素×１００画素であると１００画素×１００画素の選択領域に拡張する。
【０１１９】
ステップＳ１５−９において、選択範囲の表示の変更処理を行う。前ステップＳ１５−８で決定した、１００画素×１００画素を選択範囲として、１００画素×１００画素の矩形を破線で図１４のように表示する処理を行う。そして、ステップＳ１５−６に進み入力待ちとなる。
【０１２０】
ステップＳ１５−１０において、選択範囲に対するジェスチャーの認識処理を行う。ジェスチャーの認識処理自体は、ステップＳ１５−３と同様なものである、ここで入力された軌跡を認識し、認識結果のジェスチャーコードを出力する。例えば、ここで“Ｃ”のジェスチャーが入力されていれば、“Ｃ”のコピージェスチャーコードが出力される。
【０１２１】
ステップＳ１５−１１において、認識結果のジェスチャー処理を実行する。選択した画像部分に対して、認識結果のジェスチャーに対応する処理を行う。例えば、図１４の選択状態で、”Ｃ”のコピージェスチャーが入力されたら、図１４のＣ−の矩形で囲まれた領域の画像がコピー用の記憶領域に記憶される。前記処理が終わったらこの選択表示を解除し、選択状態を解除する。
【０１２２】
以上説明した構成で携帯端末のプログラムを作ることにより、より柔軟な、画像ファイルに対する選択範囲変更指示を実現できる。
【０１２３】
又、実施の形態１では、ジェスチャー認識後の処理の実施時期は固定であったが、携帯端末のバッテリーの状態やユーザの指定によって変更する構成にするのも可能である。
【０１２４】
図７のジェスチャーコードに対応する画像処理の処理テーブルの構成図を拡張し、携帯端末のバッテリー電圧が低下しているときは実行を延期する判別データ領域を設ける。
【０１２５】
例えば、画像消去処理は、バッテリー電圧低下時は、消去予約処理だけを行い。バッテリー電圧が回復したときに実際の消去動作を行うようにする。それにより、バッテリー電圧低下時は、消去動作等のユーザデータに危険を及ぼすような動作を禁止した安全な携帯端末を提供できる。
【０１２６】
図７のジェスチャーコードに対応する画像処理テーブルの画像処理実行機械の判別データを書き換えるユーザ設定プログラムを組み込めば、ユーザの好みにより、画像処理の時間が掛かっても携帯端末側で実行する携帯端末を提供することができる。
【０１２７】
【発明の効果】
以上の説明で明らかなように、本発明によれば、画像処理を必要とする画像上に手書き軌跡を入力する手段と画像処理操作種類に対応する形状と画像処理のパラメータの数値に対応する数字を認識する手段を設けることにより、画像上に書かれた軌跡を認識し、認識結果に対応した種類の画像処理を認識結果の数値をパラメータとして実行する情報処理を実現できる。これにより、簡単な操作で画像処理を行うことができる携帯端末を実現できる。そして、入力した軌跡の種類によっては、画像データに軌跡データを付加してホストコンピュータに送る手段を設けることにより、ホストコンピュータ側で認識ジェスチャー種類を増やすこともできる携帯端末実現することができる。
【０１２８】
又、選択範囲ジェスチャー入力時に画像選択範囲認識手段、画像選択範囲表示手段、画像選択範囲変更認識手段を設けることにより、画像選択範囲を自由に簡単に変更できる携帯端末を提供することができる。
【図面の簡単な説明】
【図１】本発明の実際の使用形態を表す図である。
【図２】本発明の携帯情報機器のブロック図である。
【図３】本発明の実施の形態の処理構成図である。
【図４】ジェスチャー辞書のデーター構造図である。
【図５】本発明の実施の形態のフローチャートである。
【図６】本発明の実施の形態のフローチャートである。
【図７】本発明の実施の形態のフローチャートである。
【図８】本発明の実施の形態のフローチャートである。
【図９】本発明の実施の形態のフローチャートである。
【図１０】本発明の実施の形態２の処理構成図である。
【図１１】ジェスチャー入力表示例を示す図である。
【図１２】ジェスチャー入力表示例を示す図である。
【図１３】ジェスチャー入力表示例を示す図である。
【図１４】ジェスチャー入力表示例を示す図である。
【図１５】本発明の実施の形態２のフローチャートである。
【符号の説明】
１ 携帯情報端末
２−１ 位置座標入力部
２−２ 画像表示部
３ ペン
４ カメラ部
５ パソコン
６ ＣＰＵ
７ ＲＡＭ
８ ＲＯＭ
９ 画像メディアインターフェイス
１０ ＵＳＢインターフェイス
１１ システムバス

Claims (5)

1. 画像データを表示する手段と、画像データ上に手書き軌跡情報を入力する手段と、入力された手書き軌跡データを画像データに付加して記憶する手段と、前記記憶した手書き軌跡データが付加された画像データを他の機械に送信する手段を持つ情報処理装置と、前記情報処理装置から送られてくる手書き軌跡データが付加された画像データを受信する手段と、受信した手書き軌跡データを認識する手段と前記認識した形状に対応する処理を画像データに対して行うことを特徴とするペン入力情報処理方法。
2. 前記認識手段は、複数の画像処理に対応する形状と、画像処理のパラメータに対応する文字を認識することを特徴とする請求項１記載のペン入力情報処理方法。
3. 画像データを表示する手段と、画像データ上に手書き軌跡情報を入力する手段と、入力された手書き軌跡データを画像データに付加して記憶する手段と、前記記憶した手書き軌跡データを形状によって認識する手段と、前記認識した形状の種類に応じた処理種類によって前記記憶した手書き軌跡データが付加された画像データを他の機械に送信するか、前記画像データに対する処理を行うかを決定する手段と前記画像データに対する処理を行う手段と前記記憶した手書き軌跡データが付加された画像データを他の機械に送信する手段を持つ情報処理装置と、前記情報処理装置から送られてくる手書き軌跡データが付加された画像データを受信する手段と、受信した手書き軌跡データを認識する手段と前記認識した形状に対応する処理を画像データに対して行うことを特徴とするペン入力情報処理方法。
4. 画像データの一部を選択指示する手書き軌跡入力手段と選択指示手書き軌跡認識手段と画像選択範囲表示手段と画像選択範囲認識手段と画像選択範囲変更認識手段を設けたことを特徴とする請求項３記載のペン入力情報処理方法。
5. 前記画像選択範囲変更認識手段は、選択表示上に入力された文字軌跡データを認識した結果を元に画像選択領域を変更する手段であることを特徴とする請求項４記載のペン入力情報処理方式。

Images