JP2001155139A - カメラ付きペン型入力装置用記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】カメラ付きペン型入力装置の装置構成を工夫し
て使い勝手を向上させるとともに、それを用いたユーザ
インタフェースを提供する。 【解決手段】カメラ付きペン型入力装置を、横長・縦長
いずれの対象の指示にも適するように構成するととも
に、対象と処理内容を同時に指定するための手段を設け
る。また、利用者が誤った方法で対象を指示したことを
検出し、それに応じて正しい対象指示方法を教示するた
めの手段を設ける。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、利用者が情報処理
装置の機能を簡単に呼び出すためのユーザインタフェー
ス手法および装置を実現するものである。特に、手持ち
可能な画像入力装置を用いた情報処理装置における、手
持ち画像入力装置の構成、および手持ち画像入力装置を
使用する際の利用者の特性を登録する方法に関する。

【０００２】

【従来の技術】カメラ付きペン型入力装置に関わる従来
の技術として、ACM PRESS発行，HUMANFACTORS IN COMPU
TING SYSTEMS、CHI 95 CONFERENCE COMPANION 、２５６
頁から２５７頁に記載のＭＥＭＯ−ＰＥＮがある。ＭＥ
ＭＯ−ＰＥＮとは、小型カメラをペンの軸に埋め込み、
ペン先ごしにペン先の近傍を連続撮影することで、筆跡
を記録するものである。ＭＥＭＯ−ＰＥＮのカメラが撮
影する範囲は、筆跡の方向が判別するために必要なごく
狭い領域に限られている。

【０００３】ＭＥＭＯ−ＰＥＮでは、ペン軸にカメラが
埋め込まれているため、利用者が手で持つ場所よりも先
端の近くに光学系を配置しないと、利用者の手によって
カメラの視野を妨げられてしまう。このため、視野角が
広い光学系を用いたとしても、光学系を対象物（紙）か
ら離せる距離に限度があるため、カメラの視野を広く取
れないという問題がある。また、利用者が自然にペンを
保持した状態では、ペン軸が垂直から大きく傾くのが普
通であるため、ペン軸に埋め込まれたカメラで撮影され
た画像は、対象を斜めから見たものになってしまう。

【０００４】ＭＥＭＯ−ＰＥＮの機能は、利用者がＭＥ
ＭＯ−ＰＥＮで書いた筆跡を記録しておき、後に何らか
の情報処理装置の助けをかりて、筆跡を再生したり、文
字認識したりすることである。すなわち、筆跡データを
収集している最中、換言すれば利用者がＭＥＭＯ−ＰＥ
Ｎを利用している最中には、このカメラ付きペン型入力
装置を用いて、情報処理装置の機能を呼び出すといった
ユーザインタフェースが実行されることはない。したが
って、入力中の処理対象（筆跡）に対して適用する処理
の種類を、ペンによって指定したりすることはない。さ
らに、ＭＥＭＯ−ＰＥＮの場合は、ペン先と筆跡の位置
は常に一致しているため、入力対象（筆跡）とペン先の
位置関係を調整したりする必要はない。

【０００５】また、カメラ付きペン型入力装置に関わる
従来の技術として、ACM PRESS発行,HUMAN FACTORS IN C
OMPUTING SYSTEMS、CHI 97 CONFERENCE PROCEEDINGS 、
327頁から３３４頁に記載のPaperLink というシステム
がある。PaperLink では、利用者が処理対象を入力する
ための装置として、小型カメラを装着したペン型の入力
装置を用いる。小型カメラは、利用者が自然にペンを保
持した状態で、真上から対象（紙面）を見下ろすような
位置に設置されている。カメラの視野は、ペン先付近の
数cm四方を撮影できるように設定されている。撮影され
たペン先付近の画像は、情報処理装置に入力され、その
内容に応じて色々な処理が実行される。入力した対象が
既知のものであれば、それに応じた所定の処理が実行さ
れる。例えば、所定のファイルを開いて利用者に提示し
たり、所定のプログラムが実行を開始したりする。ま
た、入力した対象が未知のものであれば、一時的に保存
され、後に実行されるコマンドへの引数として使用され
たりする。

【０００６】また、PaperLink では、撮影画像と、それ
に応じた所定の処理を対応付ける方法として、すでに印
刷された紙の、印刷の一部をカメラで撮影することで画
像を取り込み、この画像に対し処理を指定する方法を取
る。

【０００７】また、画像を読み込んで、この画像に対応
付けた処理を実行するシステムとして、バーコードシス
テムがあげられる。

【０００８】

【発明が解決しようとする課題】本発明が解決しようと
する課題は、小型カメラをペン状のものに装着し、画像
を用いて対象を入力する装置において、使い勝手を低下
させる事柄である。

【０００９】ＭＥＭＯ−ＰＥＮにおいて本発明で解決し
ようとする課題は、光学系まで含めたカメラがペン軸に
組み込まれているために、カメラに広い視野を持たせる
ことが困難であるという点である。

【００１０】また、上述のPaperLink に関しては、まず
ペン軸とカメラの中心軸が同一平面上になるように配置
されているため、自然な操作で縦長のパターンを指し示
すことができないという問題がある。

【００１１】さらにPaperLink の入力装置では、対象を
指し示す方法が一種類しかないため、処理対象と処理の
種類を同時に指定できない。

【００１２】またPaperLink のように、ペン先をカメラ
が上から見下ろすような構成では、利用者が指示対象と
ペン先を重ねてしまうと、ペン先によって指示対象が隠
されてしまい、正しく入力できないという状態になる。

【００１３】また、上記のようにペン先と指定対象を重
ねられないことから、対象の指示方法に利用者の好みを
反映させる必要が生じる。すなわち、カメラ付きペン型
入力装置においては、指示対象の位置とペン先の位置と
の間の関係は、利用者の指示方法の好みによって色々と
変わりうる。例えば横長の対象を利用者が指示する場
合、ある利用者は真中付近を指示するであろうし、別な
利用者は右下を指示するかも知れない。また、対象を指
し示す際のペンの傾きなども、利用者ごとに異なるであ
ろう。

【００１４】PaperLink では、すでに印刷された紙の、
印刷の一部をカメラで撮影することで画像を取り込み、
この画像に処理を対応付ける方法を取るが、画像を印刷
してカメラで撮影するまでは、画像に対する処理を指定
できない。

【００１５】また、バーコードシステムでは、画像をバ
ーコードリーダで読み取る必要が有り、人が印刷を見た
だけでは、何が印刷されているのかがわからない。ま
た、所定の規格によるサイズ，色，模様のみしか許して
いない。

【００１６】

【課題を解決するための手段】上記の課題を解決するた
め、本発明では、次のような手段を設ける。

【００１７】印刷前の文字または画像と、その文字・画
像を指示した際の処理とを割り当て指定する手段と、そ
の指定内容を保持する、画像−処理保持手段と、紙を印
刷する際に、画像−処理保持手段を、PaperLink 用の辞
書に変換する紙画像−処理割当指定手段を設ける。

【００１８】バーコードシステムでも、印刷前にバーコ
ード画像とそれに対する処理を指定した後に、バーコー
ドを印刷するが、バーコードは、所定の規格によるサイ
ズ，色，模様のみしか許していない一方で、PaperLink
にはこうした規格はないため、画像−処理保持手段を、
PaperLink 用の辞書に変換する紙画像−処理割当指定手
段には、次のような手段を設ける。

【００１９】すなわち、画像がカメラで撮影される範囲
よりも大きい場合には、画像の一部のみを撮影した画像
に対して処理を指定することとし、印刷画像のどの位置
を撮影するかを示す情報を付加して印刷する手段、また
は、警告を発する手段を設ける。または、画像の一部を
撮影するのみで、どの画像を撮影したかを調べる手段を
設ける。あるいは、印刷サイズや色を考慮して、印刷前
の画像から紙画像を撮影した画像を作成する手段を設け
る。

【００２０】

【発明の実施の形態】図１は、本発明を実施するための
ハードウェア構成の一例である。利用者は、小型のカメ
ラ１０１を装着したペン型の入力装置を用いて、情報処
理装置１０２にデータを入力したり、情報処理装置１０
２のコマンドを実行させたりできる。このようなカメラ
付きペン型入力装置を、以下の説明ではビデオペン１０
３と呼ぶ。利用者がビデオペン１０３で何かを指示する
と、ビデオペン１０３の先端に取り付けられているスイ
ッチ、すなわちペン先スイッチ１０４がＯＮの状態にな
る。情報処理装置１０２は、ペン先スイッチ１０４がＯ
Ｎになったことを検出すると、ビデオペン１０３のカメ
ラ１０１から画像を取り込み、その内容に応じて様々な
処理を実行する。例えば、画像から文書中の行を抜き出
し、それを文字認識しと辞書プログラムに渡し、結果を
ディスプレイ１０５に表示したりする。

【００２１】図２は、ビデオペン１０３の構造の一例を
示したものである。ペン軸２０１は、利用者が手で持つ
ための部分であり、その先端にペン先スイッチ１０４が
取り付けられている。ペン先スイッチ１０４の先端は例
えば棒状になっており、利用者がビデオペン１０３で対
象を指し示すと、その棒がペン軸２０１に押し込まれ、
電気的な接点をＯＮにするようになっている。ペン軸２
０１には、ビデオペン１０３先端部付近を撮影できるよ
うに、カメラ１０１が取り付けられる。カメラ１０１
は、カメラ保持部品２０２によって、ペン軸２０１に取
り付けられる。カメラ１０１は、利用者がペンを持つ要
領でビデオペン１０３を保持した時に、なるべく先端付
近を垂直に見下ろせるような位置に取り付けてある。カ
メラ１０１としては、市販されている小型ビデオカメラ
を用いることができる。４分の１インチの撮像素子を用
いた小型ビデオカメラは、断面は直径１cm以下の円形
で、長さは数cm程度である。また、ペン軸２０１は、通
常のペンと同様に、直径が１cm程度の断面が円の棒状の
ものである。

【００２２】図３は、図２に示したビデオペン１０３を
利用者が保持している時と同じ状態に立て、真上から見
下ろした場合を示している。この場合、カメラ１０１は
鉛直方向に配置されるので、断面形状と同じく円のよう
に見える。ここで注意すべき点は、ペン軸２０１とカメ
ラ１０１が同一平面状には配置されていないことであ
る。カメラ１０１は、ペン軸２０１が載っている平面よ
りも、左側上方にずらして設置されている。これは、ビ
デオペン１０３で縦書きの文書中の行を指し示す際に、
ペン軸２０１によって対象行が隠されてしまうのを防ぐ
ための配慮である。

【００２３】図４は、図２に示したビデオペン１０３
で、横書き文書中の行を撮影した画像の例である。ビデ
オペン１０３のペン先４０１は、画像の中心より、若干
右下に写っている。また、中央部には、利用者が指示し
た対象パターン４０２が撮影されている。

【００２４】また、図５は、同じく図２に示したビデオ
ペン１０３で、縦書き文書中の行を撮影した画像の例で
ある。ビデオペン１０３のペン先４０１は、図４の場合
と同じ所に写っている。これは、カメラ１０１とペン軸
２０１の位置関係が固定されているために当然のことで
ある。図５では、対象パターン５０１は、画像中心に上
下に写っている。この際、カメラ１０１がペン軸２０１
よりも左側にずらして設置されているため、ペン軸２０
１が邪魔をして縦書き文書中の対象パターン５０１を隠
してしまうことはない。

【００２５】図６は、左利き用のビデオペン１０３を構
成する際のカメラ１０１の設置方法を、図３と同様に示
した物である。図３に示したビデオペン１０３では、右
手で操作することを前提にし、縦長の対象を右手で右側
から指し示すことを想定しているが、左手で左側から縦
長の対象を指示するためには、カメラ１０１をペン軸２
０１よりも右側にずらして設置するようにすれば良い。
これにより、縦長の対象をビデオペン１０３で左側から
指示する場合でも、ペン軸２０１によって対象が隠され
てしまうことを防げる。

【００２６】図７は、カメラ１０１をペン軸２０１の中
心平面からどれだけずらせば良いかを示している。縦長
の対象をペン軸２０１で隠さないためには、カメラ１０
１で撮影される部分のペン軸２０１の太さ７０１の半分
以上ずらす必要がある。だたし、ペン先４０１の形状に
よっては、上記のずれ方よりも小さくても十分である。
例えばカメラ１０１の画像に入る範囲のペン先４０１
が、図８のような形状であった場合、ずれ方は０以上で
あればよい。したがって、カメラのずれ方は、カメラの
画像に入る範囲のペン軸２０１で、ペン軸２０１の中心
線よりも指示対象側に出ている部分の幅より大きくなる
ように調整すればよい。

【００２７】図９は、ビデオペン１０３の構造のもう一
つの例である。ペン軸２０１の部分は図２に示したもの
と同じであるが、カメラ１０１を取り付ける方法が異な
っている。

【００２８】図１０は、図９に示したビデオペン１０３
を利用者が保持している時と同じ状態に立て、真上から
見下ろした場合を示している。この場合は、図３の場合
と異なり、カメラ１０１はペン軸２０１と同一平面上に
配置されている。したがって、横長の対象を指示するた
めには問題はないが、縦長の対象、例えば縦書き文章の
行などを指し示すと、ペン軸が邪魔になってしまう。

【００２９】これを解決するために、図９に示すビデオ
ペン１０３では、カメラ１０１がペン軸２０１に対して
９０度回転しながら左側にずれるようになっている。図
１１は、カメラ１０１が回転して左側にずれた状態を上
から見下ろしている所である。カメラ保持部品２０２
が、途中から折れ曲がり、カメラ１０１を９０度回転さ
せるとともに、左側に振り出すような構造になってい
る。この状態では、縦長の対象を指す場合に、ペン軸２
０１が対象を隠してしまうことはない。

【００３０】図１２は、カメラ１０１が回転されておら
ず、図１０の状態にあるときに横長の対象を撮影した画
像の一例である。ペン先４０１が写り込む位置が、画像
中央の少し下である以外は、図４の場合とほとんど変化
はない。すなわち、横長の対象を指し示す際には、図２
に示したビデオペン１０３と、図９に示したビデオペン
１０３では、横長の対象を指し示す際にはほとんど差が
ないと言える。

【００３１】一方図１３は、カメラ１０１が図１１のよ
うになっている状態で、縦長の対象を指し示した際の画
像の一例である。この場合、カメラ１０１が９０度回転
しているため、ペン先４０１は、画像中心の左下側に写
り込む。また、縦長の対象は、画像の横方向に長くなる
ように写り込む。市販のビデオカメラで撮影された画像
は、一般的に横長であるから、この図９に示したビデオ
ペン１０３の構成では、縦長の対象を指示する際にも、
撮像素子の画素を有効に使えるという利点がある。

【００３２】すなわち、図２に示したビデオペン１０３
で縦長の対象を指示した際は、図４に示すように画像の
短辺の中に収まる対象しか入力できないが、図９に示す
ビデオペン１０３では、図１３のように画像の長辺に収
まる対象まで入力することができる。

【００３３】ただし、図９に示すビデオペン１０３で
は、縦長の対象を指す場合と、横長の対象を指す場合
で、利用者がカメラ１０１の配置を切り替えなくてはな
らないという欠点はある。したがって、カメラ１０１の
解像度および撮影範囲が十分に大きい時は、図２の構成
を用い、そうでない場合に図９の構成を用いることが望
ましい。

【００３４】なお、図９に示すビデオペン１０３の構成
では、カメラ１０１を右側にも振り出せるようにしてお
けば、縦長の対象を左側から指し示す場合にも対処でき
るようになるという利点もある。

【００３５】また、図９に示すビデオペン１０３では、
情報処理装置１０２の対象が横長なのか縦長なのかを判
定するために、ビデオペン１０３のカメラ１０１が、ど
こに設定されているかを読み取る必要が生じる。これ
は、カメラ保持部品２０２の状態を電気的に読み込める
ようにしても良いし、撮影された画像から判定するよう
にしても良い。すなわち、ペン先４０１が画像のどこに
写り込んでいるかを調べれば、カメラ１０１がどこにあ
るかを特定することができる。ペン先４０１が、図１２
のように画像の中央下側に写り込んでいれば、横長の対
象を撮影している場合である。また、ペン先４０１が、
図１３のように画像の左下側に写り込んでいれば、縦長
の対象を右側から指し示している場合である。同様に、
ペン先401が画像の右下側に写り込んでいれば、縦長の
対象を左側から指し示している場合である。

【００３６】ビデオペン１０３のペン軸２０１の部分
に、指示された対象に適用する処理の種類を指定するた
めの処理指定装置１４０１を設ける。この処理指定装置
1401は、例えば多色ボールペンでペンの色を切り替える
ための仕掛けのようなものである。図１４に、処理指定
装置１４０１の一例を示す。利用者は、起動したい処理
に対応した色を、ペン軸２０１の上端にある回転部分１
４０２を回すことで選択する。すると、選ばれた色に対
応する芯がペン先４０１から出てくる。

【００３７】利用者は、あらかじめ処理指定装置１４０
１により、所定の処理を設定しておけば、処理対象指定
と同時にその処理を起動することができるようになる。
処理指定装置１４０１は、ペン先４０１の形状または色
を変更するものであってもよい。ペン先４０１は対象を
指し示すための部分であるため、利用者は指示対象を視
界に捉えながら、処理の種類に対応するペン先４０１の
形状または色をも同時に見ることができる。

【００３８】処理指定装置の状態、すなわちどの芯が選
ばれているかを読み取るためには、例えば電気的な接点
を用いる構成が考えられる。この場合は例えば、ペン先
スイッチ４０１がＯＮになった時点で、処理指定装置１
４０１の状態を読み出すようにすればよい。

【００３９】また、ペン先４０１はカメラ１０１の視野
中にも入っているので、カメラ101からの画像を処理す
る際に、特別な電気的な信号を用いなくても、画像処理
により処理の種類を特定することも可能である。ペン先
４０１とカメラ１０１の位置関係は既知であるので、カ
メラ１０１からの入力画像中のどこにペン先４０１、特
に芯があるかはあらかじめ計算しておける。画像処理の
過程で、その位置にある色を調べれば、現在選択されて
いる処理の種類を容易に判別することが可能となる。

【００４０】本発明によるユーザインタフェース手法に
おいては、利用者はビデオペン103を用いて画像により
処理対象を情報処理装置１０２に入力する。したがって
利用者は、処理対象を正しく入力するためには、ビデオ
ペン１０３により正しい対象指定の方法を習得している
必要がある。すなわち、ビデオペン１０３のペン先４０
１で、対象を覆い隠してしまってはいけないし、ペン先
４０１と対象が離れすぎてもいけない。

【００４１】ところが、ビデオペン１０３を初めて使う
利用者は、図１５のように対象の上にペン先４０１を重
ねてしまいがちである。この状態は、ペン入力コンピュ
ータのように指示する対象がシステムによる表示物であ
り、ペンで指示したディスプレイ上の座標を入力する手
段を備えている場合には問題ない。しかし、本発明によ
るユーザインタフェース手法のように、ペン先４０１の
付近を上から撮影した画像から指示対象を抽出する場合
には、指示対象がペン先４０１で隠されてしまうことは
大きな問題である。

【００４２】上記のように、利用者が対象の上にペン先
４０１を重ねてしまった場合に対処するため、そのよう
な状態が起こったことを検出し、利用者に正しい指示方
法を教示する指し方教示手段が必要となる。

【００４３】ペン先４０１と指示対象が重なったこと
は、次のようにして検出できる。すなわち、対象として
抽出された領域と、ペン先４０１が写っているはずの領
域を比較し、両者が重なり部分を持てば、利用者が対象
とペン先４０１を重ねてしまったと判定すれば良い。図
１６は、対象として抽出された領域１６０１と、ペン先
４０１が写り込んだもの１６０２が重なりあっている場
合の一例である。ちなみに、ペン先４０１が写り込む領
域は、ペン軸２０１とカメラ１０１の位置関係が既知で
あるため、あらかじめ求めて置くことができる。上記の
ような方法で、利用者が対象の上にペン先４０１を重ね
てしまったことを検出したら、本ユーザインタフェース
手法では、対象の正しい指示方法を利用者に教示するた
めの教示画面を表示する。また、連続して所定の回数、
例えば３回対象抽出に失敗した場合は、指し方教示画面
を表示するようにしても良い。

【００４４】図１７は、上記の教示画面の一例であり、
情報処理装置１０２のディスプレイ１０５に表示され
る。指し方教示画面は、利用者に、指し示したい対象を
ペン先４０１で隠さず、横長の対象の場合は数mm下側
を、縦長の対象の場合は数mm右横を指すように教示して
いる。

【００４５】また、指し方教示画面には、後に説明する
指差補正手段を呼び出すための指差補正ボタン１７０１
が付いている。

【００４６】利用者がビデオペン１０３で対象を指示す
る場合、その指し示し方には人によって色々な違いがあ
る。例えば横長の対象を指示する場合、対象の中心の下
側を指す利用者もいるであろうし、対象の右下を指す利
用者もいるであろう。また、対象に対するペンの角度
も、利用者によって異なる。例えば横長の対象を指示す
る場合、対象の真下から指す利用者もいるであろうし、
対象の右下から指す利用者もいるであろう。さらに、指
示対象からペン先４０１までの距離も、利用者によって
異なるであろう。例えば横長の対象を指示する場合、対
象の下側すれすれを指す利用者もいるであろうし、対象
の下側１ｃｍ程度の場所を指す利用者もいるであろう。

【００４７】上で述べたような、利用者による対象の指
し方の違いは、利用者が指示した対象を抽出する際のパ
ラメータに反映させなければならない。また、場合によ
っては、ビデオペン１０３のペン軸２０１とカメラ１０
１の位置関係を調整する必要もあるかも知れない。そこ
で、本発明によるユーザインタフェース手法では、利用
者による指し方の違い（ここでは「指差」と呼ぶことに
する）を、あらかじめ登録するための手段を提供する。
この手段を、指差補正手段と呼ぶことにする。指差補正
手段は、本発明によるユーザインタフェース手法を初め
て起動する場合や、既に述べた指差補正ボタン１７０１
を押した時などに呼び出される。

【００４８】利用者は、指差補正手段を使って、例えば
次のようにして利用者の好みを登録できる。利用者が指
差補正手段を起動すると、ディスプレイ１０５に図１８
に示すようなメッセージが表示される。利用者はこのメ
ッセージに従い、図１９に示すような指差補正シート上
の対象をビデオペン１０３で指示する。指差補正シート
は、単なる紙に横長の対象が印刷されているものであ
る。その対象、標準パターン１９０１の形状と大きさ
は、あらかじめ情報処理装置１０２に登録されている。

【００４９】利用者が標準パターン１９０１をビデオペ
ン１０３で指示すると、入力画像として例えば図２０が
得られる。情報処理装置１０２は、この画像を画像処理
することで、利用者が対象に対してどの辺りをペン先４
０１で指示したか、指示した際のペン軸２０１の角度は
どれくらいのか、といった情報を読み取る。このように
して読み取られた利用者の対象指定に関する好みは、情
報処理装置１０２が入力画像から処理対象を抽出する際
の参考値として用いられる。

【００５０】本実施例では、対象と利用者が指した位置
の間の距離（対象最小距離）と、ビデオペン１０３の傾
き（標準傾き）を、利用者の好みとして登録するものと
する。それぞれの求め方については、後に情報処理装置
１０２の対象抽出部について述べる際に詳しく説明す
る。

【００５１】図２１は、本発明を実施するための全体構
成の一例で、情報処理装置１０２の内構成を具体的に図
示したものである。以下で、それぞれの構成要素の動作
を説明する。

【００５２】（１）ビデオペンインタフェース２１０１ 利用者がビデオペン１０３で、入力したい対象を指示す
ると、ビデオペン103先端に取り付けられたペン先スイ
ッチ１０４がＯＮになる。ビデオペンインタフェース２
１０１は、ペン先スイッチ１０４がＯＮになったことを
検出すると、カメラ１０１からの画像を１フレーム取り
込んで、二値化部２１０２に渡す。二値化部２１０２に
渡される画像は、例えば横３２０ドット，縦２４０ドッ
ト，一画素あたり２４ビットの色数をもつカラー画像で
ある。

【００５３】また、ビデオペンインタフェース２１０１
は、ビデオペン１０３に付けられた処理指定装置１４０
１の状態を読み込み、処理指定バッファ２１０３に書き
込む。処理指定バッファ２１０３に書き込まれるデータ
は、例えば処理指定装置1401で選ばれている芯の番号で
ある。ただし、番号が０である場合は、処理が何も指定
されていない状態であるとする。

【００５４】（２）二値化部２１０２ 二値化部２１０２は、入力された画像を二値画像に変換
し、その結果である二値画像を対象抽出部２１０４に渡
す。図２２は、二値化部２１０２から対象抽出部２１０
４に渡される二値画像の一例である。

【００５５】なお、処理指定装置１４０１の状態を電気
的な接点によって読み出せない構成になっている場合
は、入力画像の二値化に先立ち、芯が写っている領域の
色を調べ、それにより何色の芯が選ばれているかを判定
し、処理指定バッファ２１０３に選ばれていた芯の番号
を書き込む。

【００５６】（３）対象抽出部２１０４ 対象抽出部２１０４は、二値化部２１０２から渡された
二値画像から、処理対象を抽出する部分である。渡され
た二値画像には、対象以外に色々なものが写り込んでい
る。例えば、ペン先４０１も写り込んでいるし、対象の
近くに書かれていたものも写り込んでいるであろう。対
象抽出部２１０４の役割は、渡された二値画像から対象
だけを抜き出し、その画像を傾き補正部２１０５に渡す
ことである。

【００５７】利用者が対象を指し示す際の好みは、指差
補正バッファ２１１２に格納されている。指差補正バッ
ファ２１１２の内容は、例えば図２３に示すような値の
組、すなわち対象最小距離２３０１と標準傾き２３０２
の組である。対象最小距離２３０１は、利用者が標準パ
ターン１９０１を指示した際に、ペン先４０１を対象か
らどれくらい離したかを基準にして求められる。対象最
小距離２３０１は、例えば図２４中の線分Ｄの長さ（ド
ット数）と定めることができる。また、標準傾き２３０
２は、利用者がどれだけビデオペン１０３を傾けている
かを表す値であり、例えば図２４中の傾きＡの大きさと
定めることができる。対象最小距離２３０１の初期値は
例えば２０、標準傾き２３０２の初期値は例えば０であ
る。図２４の場合、対象最小距離２３０１は１８ドッ
ト、標準傾き２３０２は３２度である。

【００５８】対象抽出部２１０４が二値画像から対象を
抽出する処理は、図２５を用いて説明する。なお、以下
の説明では、画像中の座標系は左上が原点である。ま
た、説明に出てくる定数は、ＣＡＭＸが画像中でのペン
先４０１のＸ座標、ＣＡＭＹは同じくＹ座標、Ｄは対象
最小距離２３０１である。ＣＡＭＸ，ＣＡＭＹは、ペン
軸２０１とカメラ１０１の位置関係が既知であるため、
あらかじめ求めておける値であり、Ｄは上述のように指
差補正バッファ２１１２から読み出せる値である。

【００５９】まず対象抽出部２１０４は、ペン先４０１
の座標（ＣＡＭＸ，ＣＡＭＹ）からＤだけ上の点Ｓ（Ｃ
ＡＭＸ，ＣＡＭＹ−Ｄ）から、上に向かって対象の画素
を探して行く。すなわち、図２５の中の線分Ｌに沿っ
て、対象の画素を探して行く。この段階で、対象に属す
ると思われる画素が一つも見つからなければ、対象抽出
は失敗である。ここで見つかった対象の画素は、対象領
域として記憶される。

【００６０】次に対象抽出部２１０４は、対象領域の近
傍を調べ、対象領域から所定の距離以内にある画素を新
たに対象領域に取り込んで行く。所定の距離とは例えば
１０ドットである。この処理に伴い、対象領域は徐々に
拡張されて行く。対象抽出部２１０４は、それ以上取り
込める画素がなくなった時点で、この拡張処理を終え
る。この拡張処理が終わった時点で、対象領域として記
憶されていた画素の集まりを、利用者が指示した対象で
あると判定する。

【００６１】対象抽出部２１０４が対象を抽出し終えた
時点で、抽出された対象領域と、ペン先４０１が映り込
んでいる領域を比較し、両者が重なり部分を持つ場合
は、利用者が対象とペン先４０１を重ねてしまったもの
と判定できる。例えば、図１６のような場合である。し
たがってこのような場合は、利用者に指し方教示画面を
提示し、正しい対象指定方法を教示する。また、対象抽
出に連続して失敗した場合にも、利用者に指し方教示画
面を提示し、正しい対象指定方法を教示する。

【００６２】例えば、図２２に示した二値画像に上記の
方法を適用すると、図２６のようなパターンが対象とし
て抽出される。この抽出結果の画像は、傾き補正部２１
０５に渡される。

【００６３】（４）傾き補正部２１０５ 傾き補正部２１０５は、対象抽出部２１０４から渡され
た対象の画像から、対象の傾きを計算し、それを補正す
るためのものである。

【００６４】まず傾き補正部２１０５は、受け取った対
象の主軸の傾きを計算する。図２７中の角度Ｒが主軸の
傾きであり、この例の場合は−２８度である。これは、
カメラ１０１で撮影された画像中での対象の傾きであ
る。

【００６５】次に傾き補正部２１０５は、上で計算した
主軸の傾きと、指差補正バッファ２１１２中の標準傾き
の値を元に、対象が書かれていた紙に対する対象の傾き
を計算する。この傾きのことを、以下の説明では実傾き
と呼ぶことにする。具体的には、画像中での対象の傾き
と、標準傾きの値を足しあわせたものが、実傾きとな
る。本実施例の場合は、画像中での対象の傾きが−２８
度で標準傾きは３２度であるから、そこから求められる
実傾きの値は４度である。

【００６６】実傾きが０に近い範囲、例えば−４５度か
ら４５度の間にある場合は、傾き補正部２１０５は対象
が横長であったものと判定し、画像中での主軸の傾きが
０になるように、対象の画像を回転させる。したがって
先に上げた例の場合は、画像を−２８度だけ回転させる
ことになる。回転された後の対象の画像を図２８に示
す。逆に、実傾きが上記以外であった場合は、傾き補正
部２１０５は対象が縦長であったものと判定し、画像中
での主軸の傾きが９０度になるように、対象の画像を回
転させる。

【００６７】傾き補正部２１０５は、以上の処理が終わ
り、傾きが補正された対象の画像を、特徴抽出部２１０
６に渡す。また、傾きが補正された対象の画像を、対象
保持部に格納する。対象保持部に、画像を保持する場
合、既に保持されていた画像があれば、それは破棄され
る。

【００６８】（５）特徴抽出部２１０６ 特徴抽出部２１０６は、傾き補正部２１０５から送られ
てきた対象の画像から、特徴量を抽出するためのもので
ある。特徴量とは、例えば対象が含む画素数，外挿矩形
の大きさ，重心位置、などである。それらの特徴量は、
後に対象を識別するために使用される。特徴量の一例
を、図２９に示す。対象画素数ＰＩＸ−ＮＵＭ，対象外
挿幅ＢＯＸ−ＷＩＤＴＨ，対象外挿高さＢＯＸ−ＨＥＩ
ＧＨＴ，重心Ｘ座標ＣＯＧ−Ｘ，重心Ｙ座標ＣＯＧ−Ｙ
などが特徴量を構成している。それらの値はいずれも整
数値である。

【００６９】特徴抽出部２１０６により抽出された特徴
量は、対象認識部２１０７に渡される。

【００７０】（６）対象認識部２１０７ 対象認識部２１０７は、特徴抽出部２１０６から渡され
た特徴量を使って、現在処理中の対象が既に登録されて
いるものか否かを判定する部分である。

【００７１】対象認識部２１０７は、パターン辞書２１
１３に登録されている複数の特徴量と、特徴抽出部２１
０６から渡された特徴量を比較し、近い特徴量があるか
どうかを調べる。パターン辞書２１１３は、図３０に示
すように、それに含まれる項目数を保持する辞書項目数
領域と、０個以上のパターン辞書項目からなる。さらに
パターン辞書項目は、特徴量を保持する特徴量領域と、
対象識別番号領域からなる。本実施例では、対象識別番
号領域に格納される対象識別番号として、自然数値
（１，２，３，…）を用いるものとする。

【００７２】対象認識部２１０７は、パターン辞書２１
１３から、入力の特徴量と近い特徴量を持つパターン辞
書項目を探し出し、その項目の対象識別番号領域に格納
されていた対象識別番号を動作実行部２１０８に渡す。
入力の特徴量と近い特徴量を持つ登録パターンが見つか
らなかった時は、対象認識部２１０７は対象識別番号と
して−１を動作実行部２１０８に渡す。

【００７３】（７）動作実行部 動作実行部２１０８は、対象認識部２１０７から渡され
た対象識別番号に基づき、所定の処理を実行する部分で
ある。以下で、その処理内容を説明する。

【００７４】対象識別番号が−１であった場合、すなわ
ち入力対象が、既に登録されたパターンではなかった場
合、動作実行部２１０８は、対象保持部に格納されてい
る対象画像を読み出し、それをパターンバッファ２１０
９に格納する。この際、パターンバッフア２１０９に既
に格納されていた画像があれば、新たに格納される画像
はその右側に追加されるものとする。パターンバッファ
２１０９に蓄積された対象パターンは、後の処理で使用
されるまで保持される。

【００７５】また、対象識別番号が−１であった場合、
すなわち入力対象が、既に登録されたパターンではなか
った場合、動作実行部２１０８は、処理指定バッファに
保持されている芯の番号を読み出す。芯の番号が０であ
った場合は何もしないが、芯の番号が０でなかった場合
は、その番号に対応する動作を実行する。芯の番号と動
作は、処理テーブルによって対応付けられている。

【００７６】処理テーブルは、図３１に示すように、そ
れに含まれる項目数を保持する処理項目数領域と、０個
以上の処理指定項目からなる。処理指定項目は、芯の番
号を保持する状態領域と、その番号が設定されている時
に実行すべき動作を保持する処理指定領域からなる。動
作実行部２１０８は、処理指定バッファに格納されてい
る芯の番号が０でない場合、処理テーブルを使って、そ
の番号に対応する処理を調べ、それを実行する。

【００７７】一方、対象認識部２１０７から渡された対
象識別番号が−１で無かった場合、すなわち入力パター
ンが既に登録されているパターンであった場合、動作実
行部２１０８は、その対象識別番号にどのような動作が
対応付けられているかを動作テーブルを使って調べ、そ
の動作を実行する。

【００７８】動作テーブルは、図３２に示すように、そ
れに含まれる項目数を保持する動作項目数領域と、０個
以上の動作指定項目からなる。動作指定項目は、対象識
別番号を保持する対象番号領域と、その対象が検出され
た時に実行すべき動作を保持する動作領域からなる。

【００７９】動作実行部２１０８は、対象認識部２１０
７から与えられた対象識別番号と同じ番号を持つ動作指
定項目が動作テーブル中にあるか調べ、あればその動作
指定項目の動作領域を読み出して実行する。

【００８０】動作実行部２１０８が実行できる動作に
は、例えばＯＰＥＮ動作がある。動作実行部２１０８が
実行すべき動作がＯＰＥＮであった場合、動作実行部２
１０８はまず、パターンバッファ２１０９に格納されて
いるパターンを、ある決められた名前のパターン画像フ
ァイル（例えば“patterns.bmp”など）に格納する。次
に、動作名ＯＰＥＮに続いて格納されているファイル名
またはプログラム名を参照し、そのファイルを開いたり
プログラムを起動したりする。

【００８１】動作実行部２１０８により起動されたプロ
グラムは、パターン画像ファイルを読み込んで、任意の
処理に利用することができる。例えば、パターン画像フ
ァイルに格納されている画像を、文字列とみなして文字
認識を試みたりできる。また、動作実行部２１０８によ
り起動されたプログラムは、情報処理装置１０２の任意
の機能を利用できる。例えば、情報処理装置１０２に組
み込まれている百科事典プログラムの機能を呼び出した
り、地図プログラムの機能を呼び出したりできる。

【００８２】上記を組み合わせれば、動作実行部２１０
８から起動されるプログラムとして、パターンバッファ
２１０９の内容を文字認識し、それを百科事典プログラ
ムに渡して調べた意味を表示させる、といったようなプ
ログラムを実現することができる。

【００８３】図３３は、本発明を実施するための情報処
理装置１０２のディスプレイ１０５に表示される画面の
一例である。利用者がビデオペン１０３で入力した画像
は、処理過程表示領域に表示される。処理過程表示領域
には、入力された画像を処理して行く過程も表示され
る。処理過程表示領域の右側は、システムメッセージ領
域である。ここには、情報処理装置１０２から利用者へ
のメッセージが表示される。画面の下側には、パターン
バッファ領域がある。パターンバッファ領域には、利用
者がビデオペン１０３で指し示した処理対象で、情報処
理装置１０２が一時的に保存しているものが表示され
る。

【００８４】図３４は、印刷前に、画像と処理とを対応
付ける装置実施例のシステム構成図である。

【００８５】文書作成手段１は、ワープロプログラム，
作図プログラム、あるいは、ホームページ作成プログラ
ムであり、文書作成モードにおいて、ユーザと対話的に
文書を作成する。例えば、これらのプログラムは、記憶
媒体（ＣＤなど）に記憶されたり、装置に組み込まれて
用いられる。

【００８６】対象−処理割当指定手段２は、文書参照モ
ードで、前記文書作成手段１により作成した文書を参照
したとき、文書の一部の領域をマウスなどの入力手段７
で指し示すと、所定の処理を行うように、対象と処理を
指定し、対象−処理割当情報保持手段３に登録する。た
とえば、文書作成手段１がホームページ作成プログラム
である場合には、文書の一部の文字列や画像（＝対象）
を指示すると、他のホームページの表示を行う（＝処
理）ように、ＨＴＭＬ文書を作成して、ファイルとして
対象−処理割当情報保持手段３に保存する。

【００８７】紙メディア作成手段４は、ユーザがモニタ
ー６に表示されている“紙作成”ボタンを指示する等の
紙メディア作成コマンドを受け、紙画像−処理割当指定
手段５にメッセージを発行し、折り返し、返信メッセー
ジを受けて、返信メッセージにより文書に情報を付加す
る場合は、文書画面表示には表示されていなかった画像
を付加して、文書をプリンタ８で印刷する。

【００８８】紙画像−処理割当指定手段５は紙メディア
作成手段４よりメッセージを受けると、対象−処理割当
情報保持手段３の内容を読み出したものを、対象を印刷
画像に展開してPaperLink2110 内のパターン辞書２１１
３に登録し、処理の内容を処理テーブル２１１４，動作
テーブル２１１５に登録する。

【００８９】紙画像−処理割当指定手段５は、(１)対象
−処理割当情報保持手段３で処理が割り当てられている
対象を印刷、(２)印刷した対象部分の画像をカメラ付ペ
ン９で撮影して画像を取り込む、という(１)(２)の操作
をすることなしにPaperLink2110内のパターン辞書２１
１３に登録すべき画像データを作成する。そのために
は、（ａ）元の文書から、文書をプリンタ８で印刷した
ものの対象の領域部分の印刷画像への変換を行う対象−
画像変換関数、（ｂ）印刷画像から、カメラで撮影して
読み込む画像への変換を行う印刷画像−撮影画像変換関
数をあらかじめ保持しておき、対象を（ａ）（ｂ）にて
変換した画像を得て、PaperLink2110 内のパターン辞書
２１１３に登録する。もちろん、（ａ）（ｂ）の２つの
関数を実施するのと等価な１つあるいは３つ以上の変換
関数を用いてかまわない。たとえば、サイズ，色，歪
み，コントラストなど、サイズ変換関数，色変換関数，
歪み変換関数，コントラスト変換関数を保持しておき、
用いる。

【００９０】この変換関数の設定の仕方は、以下の様に
行うと簡単に設定できる。

【００９１】変換関数設定手段１０を設け、対象と、対
象を印刷してカメラ付ペン９で撮影した画像の例を得
て、サイズ，色，歪み，コントラストに関して、差分を
計測し、１次変換等により、おのおのの変換関数を得
て、これらの変換関数を組み合わせた関数を得る。変換
関数は、個人や、使用環境により異なるため、個人補正
情報として、個人補正情報保持手段１１に蓄え、この情
報にしたがって画像の変換を行うと良い。

【００９２】紙画像−処理割当指定手段５にこうした変
換関数を保持するのと同様の効果を出すためには、カメ
ラ付ペン９で撮影した画像に対して、変換関数により変
換する画像変換手段１２を設ける。変換関数は、個人
や、使用環境により異なるため、個人補正情報として、
個人補正情報保持手段１１′に蓄え、この情報にしたが
って画像の変換を行うと良い。

【００９３】歪みの補正手法および、変換関数算出手法
に関しては、特開平11−306341号,特開平11−316108
号，特開平11−316835号に詳しく開示されている。

【００９４】また、対象を印刷したものが、カメラで撮
影可能な範囲よりも大きい場合は、１部分のみを撮影す
るものとするか、どの部分を撮影しても、対象を特定で
きるようにする。また、警告を発し、ユーザに知らせ
る。

【００９５】１部分のみを撮影するものとする場合は、
対象の画像の最も下辺の中央が、画像撮影範囲の最も下
辺の中央となるようにするなど、画像撮影範囲をどこと
するか定めておく。このとき、元の文書をモニター６で
表示したときには表示に無い、目安となるしるしを印刷
画像に印刷すると良い。たとえば、図３６（１）のよう
に、対象画像ｃ１と対象文字列Ｍ１に、処理が割り当て
てある場合に、カメラで撮影できる斜線部分より大きい
対象画像ｃ１については、（２）のように表示画面上に
は無い範囲を示す太線を印刷したり、（３）のように、
ペン押下位置を示す印を印刷する。これらは、対象がカ
メラ撮影範囲に収まっている場合でもユーザーに処理割
当があることを知らせる効果がある。また、（１）で
は、太線の色は白など任意とする。また、この表示状態
にあった、カメラ画像からマッチングする範囲を切り出
す処理を行うようにすると良い。

【００９６】どの部分をカメラで撮影しても、対象を特
定できるようにする場合は、画像の１部分を指定するこ
とで、対象となっている画像のどれであるかを検索す
る、テンプレートマッチング手段をPaperLink2110 に設
けることで解決できる。テンプレートマッチングとは、
テンプレートとする部分画像が、全体画像のどの部分に
相当するかを探す手法であるが、ここでは、処理が割り
当てられている対象の全体画像が複数個あるのに対し、
テンプレートマッチングを行いおのおのの全体が像に対
し一致度を得て、一致度が最も高いものを、指示したも
のとする。あるいは、一致度が高いものを候補として画
面に表示し、ユーザに選択させても良い。これにより、
図３８（１）（２）のように、（１）の画像Ｇ１をマウ
スで示してクリックするなど指示すると、（２）のよう
に表示を行うよう、対象−処理割当情報保持手段３に情
報が保持されており、画像Ｇ１を印刷したものがカメラ
で撮影しうる範囲よりも大きい場合でも、（５）（６）
のように、画像Ｇ１内のどの部分をカメラで撮影して
も、画像Ｇ１を指示したことがわかり、割り当ててある
処理を実施することができる。

【００９７】テンプレートマッチング手段については、
特開平11−283032号，特開平11−282960号等に詳しく開
示されている。

【００９８】また、対象が文字列である場合、文字認識
手段と、文字列の１部を検索キーとして入力すると、所
定の文字列の中から、検索キーの文字列をもつものを選
び出す文字列検索手段を設けることで、同様の機能を持
たせることができる。これにより、図３８（１）（２）
のように、と（１）の文字列text１をマウスで示してク
リックするなど指示すると、（２）のように表示を行う
よう、対象−処理割当情報保持手段３に情報が保持され
ており、文字列text１を印刷したものがカメラで撮影し
うる範囲よりも大きい場合でも、（３）（４）のよう
に、文字列text１のどの部分をカメラで撮影しても、文
字列text１を指示したことがわかり、割り当ててある処
理を実施することができる。

【００９９】文字列検索手段については、特開平8−194
718号，特開平7−129601号等に詳しく開示されている。

【０１００】プリンタ８で印刷した文書をカメラ付ペン
９で指示すると、PaperLink2110 により画像−処理指定
手段２で処理が対応ついている部分については、所定の
処理が実行される。

【０１０１】モニター６と入力装置７は、ユーザーが出
来上がりを確認しながら、文書作成手段１や画像−処理
指定手段２と対話できるようにするためにある。

【０１０２】図３４に示した実施例以外に、文書作成手
段１と対象−処理割当指定手段２と対象−処理割当情報
保持手段３を設けずに、対象−処理割当情報保持手段３
の保持してある情報を読み込む手段を設けることによっ
ても良い。

【０１０３】図３５は、図３４に示した実施例の動作手
順を示している。Ｐ１では、紙メディア作成モードか、
終了か、そうでないかを判定する。

【０１０４】Ｐ１でそうでない場合は、Ｐ２にて文書作
成手段１により、文書作成を行う。また、Ｐ３にて領域
−処理割当指定手段２により、領域−処理割当指定を行
い、領域−処理割当指定の内容を領域−処理割当情報保
持手段３に登録する。Ｐ２とＰ３は、どちらか一方でも
良いし、順序も逆でも良く、領域−処理割当情報保持手
段３に登録することが目的のこの処理は、別の装置で行
っても良い。

【０１０５】Ｐ１で紙メディア作成モードのときは、Ｐ
４〜Ｐ６を実施する。すなわち、Ｐ４にて、紙メディア
作成手段４により紙メディア作成を行い、Ｐ５にて、紙
画像−処理割当指定手段５により紙画像−処理割当指定
を行い、Ｐ６にて印刷する。

【０１０６】Ｐ１で終了のときは、処理を終了する。

【０１０７】図３６と図３７は、紙画像−処理割当指定
手段５と紙メディア作成手段４の動作結果の１例であ
る。処理が対応付けられている画像部分がわかりやすい
ように、表示画像図３６(１)には含まれていない、図３
６(２)撮影画像領域を示す太線による矩形を印刷する。
この場合、紙画像−処理割当指定手段５は、PaperLink2
110内のパターン辞書２１１３に登録する際に、太線に
よる矩形のついた画像を登録する。

【０１０８】あるいは、図３６（３）ペン指示目安位置
を印刷する。この場合、紙画像−処理割当指定手段５
は、PaperLink2110 内のパターン辞書２１１３に登録す
る際に、ペン指示目安位置から、カメラで撮影できる部
分の画像を登録する。

【０１０９】あるいは、図３７のようにまだ登録されて
いない画像を生成して、表示画像図３７（１）には含ま
れていない、図３７（２）撮影画像領域を示す画像を印
刷する。この場合、紙画像−処理割当指定手段５は、Pa
perLink2110 内のパターン辞書２１１３に登録する際
に、生成した画像を登録する。

【０１１０】これらの場合には、どの方式によるものか
に従い、PaperLink2110 内の各手段を最適化すると良
い。

【０１１１】図３７（１）に示すように、警告メッセー
ジを表示することで、ユーザに警告することができる。

【０１１２】図３９は、印刷画像をカメラで撮影した結
果、歪んだ画像を取り込んだ例である。変換関数設定手
段１０または、画像変換手段１２を設けることにより、
(１)のように画像とカメラが正対するように画像を撮影
して（２）のような画像を取り込むのと同様に、（３）
のように画像を撮影して、（４）や（５）のような画像
を取り込むことでも、所定の処理を実施することができ
る。

【０１１３】また、図４０のように、カメラから撮影し
た画像Ｇ０に対して、元の対象物がＧ１〜Ｇ３のどれな
のかをユーザーに示してもらうことにより、変換関数設
定手段１０または、画像変換手段１２は、変換関数を設
定して、個人補正情報保持手段１１または個人補正情報
保持手段１１′に保持することにより、画像を認識する
性能を向上できる。

【０１１４】

【発明の効果】本発明によれば、自然な操作で対象を入
力できる。また、利用者の操作数を大幅に減らせるとい
う利点がある。さらに、利用者が誤った対象指定方法を
繰り返して混乱してしまうことを防げる。

【図面の簡単な説明】

【図１】全体構成図である。

【図２】ビデオペンの構成図である。

【図３】上の構成図のビデオペンを上から見た図であ
る。

【図４】上の構成図のビデオペンで横書き文書中の行を
撮影した画像の一例である。

【図５】上の構成図のビデオペンで縦書き文書中の行を
撮影した画像の一例である。

【図６】左利用のビデオペンの構成を、上から見た図で
ある。

【図７】カメラをずらす量を定量的に説明する図であ
る。

【図８】カメラをずらす量が極端に少なくて済むペン先
形状の例である。

【図９】ビデオペンの構成図である。

【図１０】上の構成図のビデオペンを上から見た図（横
書き用の設定）である。

【図１１】上の構成図のビデオペンを上から見た図（縦
書き用の設定）である。

【図１２】横書き用の設定で、横長の対象を撮影した画
像の一例である。

【図１３】縦書き用の設定で、縦長の対象を撮影した画
像の一例である。

【図１４】処理指定装置の概観である。

【図１５】誤った対象指示の一例である。

【図１６】対象抽出後にペン先と対象が重なっているこ
とを検出した例である。

【図１７】指し方教示画面の一例である。

【図１８】指差補正手段が表示するメッセージの一例で
ある。

【図１９】指差補正のために用いるシートの一例であ
る。

【図２０】指差補正のために標準パターンを撮影した画
像の一例である。

【図２１】情報処理装置の内部構成である。

【図２２】二値画像の一例横長の対象を入力した場合の
例である。

【図２３】指差補正のための値の組みである。

【図２４】指差補正データを説明する図である。

【図２５】対象抽出を説明する図である。

【図２６】抽出された対象の画像の一例である。

【図２７】傾き補正を説明する図である。

【図２８】傾き補正後の対象の画像の一例である。

【図２９】特徴量の例である。

【図３０】パターン辞書の構造の一例を示す図である。

【図３１】処理テーブルの構造の一例を示す図である。

【図３２】動作テーブルの構造の一例を示す図である。

【図３３】情報処理装置の表示画面の一例である。

【図３４】実施例の構成図である。

【図３５】実施例の動作フローである。

【図３６】実施例の表示画面と印刷結果の例である。

【図３７】実施例の表示画面と印刷結果の例である。

【図３８】実施例の表示画面と印刷結果の例である。

【図３９】カメラと撮影画像の例である。

【図４０】実施例の表示画面の例である。

【符号の説明】

１０１…カメラ、１０２…情報処理装置、１０３…ビデ
オペン、１０４…ペン先スイッチ、１０５…ディスプレ
イ。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 葛貫 壮四郎 茨城県日立市大みか町七丁目１番１号 株 式会社日立製作所日立研究所内 Ｆターム(参考） 5B047 AA01 BA03 BC21 5B068 AA05 BD02 BD18 CC19

Claims (7)

【特許請求の範囲】
1. 【請求項１】印刷前の文字または画像と、前記文字また
   は画像を指示した際の処理とを割り当てる手段と、前記
   割り当て内容を保持する、文字または画像−処理割り当
   て情報保持手段と、文字または画像−処理割り当て情報
   保持手段に保持した文字または画像−処理割り当て情報
   を、カメラ付きペン型入力装置用の辞書に変換する紙画
   像−処理割当指定手段を設けたプログラムが記憶された
   記憶媒体。
2. 【請求項２】請求項１の範囲において、紙画像−処理割
   当指定手段は、画像がカメラで撮影される範囲よりも大
   きい場合には、画像の一部のみを撮影した画像に対して
   処理を指定する手段を設ける。
3. 【請求項３】請求項１の範囲において、紙画像−処理割
   当指定手段は、画像がカメラで撮影される範囲よりも大
   きい場合には、警告する手段を設ける。
4. 【請求項４】請求項２の範囲において、画像の一部のみ
   を撮影した画像に対して処理を指定することとした場合
   は、印刷画像のどの位置を撮影するかを示す情報を付加
   して印刷する手段を設ける。
5. 【請求項５】請求項１の範囲において、画像の一部を撮
   影するのみで、どの画像を撮影したかを調べる手段を設
   ける。
6. 【請求項６】請求項１の範囲において、印刷サイズや色
   や歪みを考慮して、印刷前の画像から紙画像を撮影した
   画像を作成する手段を設ける。
7. 【請求項７】印刷前の文字または画像と、前記文字また
   は画像を指示した際の処理とを割り当てた情報を読み込
   む、文字または画像−処理割り当て情報読み込み手段
   と、前記文字または画像−処理割り当て情報読み込み手
   段より読み込んだ文字または画像−処理割り当て情報
   を、カメラ付きペン型入力装置用の辞書に変換する紙画
   像−処理割当指定手段を設けたプログラムが記憶された
   記憶媒体。