以下、各実施の形態について図面を参照して説明する。
図1は、第1の実施の形態の表示画像データ作成装置の構成を示す図であり、図2はこの発明の各実施の形態に適用されるコンピュータの構成図である。第1の実施の形態に係る表示画像データ作成装置および後述の第2および第3の実施の形態に係る表示自動操作データ作成装置それぞれは当該コンピュータに搭載することができる。
図2を参照してコンピュータは、CRT(陰極線管)または液晶などからなるモニタ110、該コンピュータ自体を集中的に制御するためのCPU(中央処理装置の略)122、ROM(Read Only Memory)またはRAM(ランダムアクセスメモリの略)を含んで構成されるメモリ124、固定ディスク126、FD(フレキシブルディスク)132が着脱自在に装着されて、装着されたFD132をアクセスするFD駆動装置130、CD−ROM(Compact Disc Read Only Memory)142が着脱自在に装着されて、装着されたCD−ROM142をアクセスするCD−ROM駆動装置140、キーボード150、マウス160、ペンタブレット170、インターネットなどを含む各種の通信ネットワーク182と該コンピュータとを通信接続するための通信インターフェィス180を含む。これらの各部はバスを介して通信接続される。
コンピュータには、カセット形式の磁気テープが着脱自在に装着されて磁気テープをアクセスする磁気テープ装置が設けられても良い。
(第1の実施の形態)
第1の実施の形態では、ユーザが全体画像データと局所画像データの表示度合いを手動で指定することができるとともに、画像の任意の箇所にアンダーラインを表示する機能を有する表示画像データ作成装置が示される。ここでは引かれる線分は直線としているが、実線、破線、ウェーブ状の線など線種は直線に限定されない。また、ここでは線分の色、太さなどを規定していないが、これらの属性は変更されるようにしてよい。また、図19のように線の代わりに任意の図形やイラスト1902のようなイラストなど、位置を指し示すことのできるオブジェクトであれば何でも用いることができる。
図1を参照して、表示画像データ作成装置0703は接続される画像入力装置0701より入力画像データと、接続される操作入力装置0702からユーザの操作情報とを受取り、表示画像データを作成して接続されるディスプレイ装置0704に出力する。画像入力装置0701は図2のコンピュータに接続される装置であり、ここでは通信インターフェィス180を介して接続される装置である。操作入力装置0702は図2のキーボード150、マウス160、ペンタブレット170、または図示しないがジョイントパッドなどに相当する。ディスプレイ装置0704は図2のモニタ110に相当する。
表示画像データ作成装置0703は、入力画像データバッファ0705、全体画像データ作成処理部0706、全体画像データバッファ0707、制御処理部0708、局所画像データ作成処理部0709、局所画像データバッファ0710、表示画像データ作成処理部0711および表示画像データバッファ0712を備える。
入力画像データバッファ0705には、画像入力装置0701から入力された画像データが格納される。全体画像データ作成処理部0706は入力画像データバッファ0705から入力画像を読取り全体画像データを出力する。全体画像データバッファ0707には全体画像データ作成処理部0706から出力された全体画像データが格納される。制御処理部0708は操作入力装置0702から入力された情報に伴い表示画像データの作成を制御する。局所画像データ作成処理部0709は入力画像データバッファ0705から入力画像データを読取り、局所画像データを作成し出力する。局所画像データバッファ0710には局所画像データ作成処理部0709から出力された局所画像データが格納される。
表示画像データ作成処理部0711は全体画像データバッファ0707から全体画像データを、局所画像データバッファ0710から局所画像データをそれぞれ読出し、読出した画像データを制御処理部0708からの制御情報に従って処理して、表示画像データを作成し出力する。表示画像データバッファ0712には表示画像データ作成処理部0711から出力された表示画像データが格納される。
入力画像データバッファ0705、全体画像データバッファ0707、局所画像データバッファ0710および表示画像データバッファ0712は、図2には示されないがフラッシュメモリ、メモリ124、固定ディスク126などのRAMによって実現される。全体画像データ作成処理部0706、制御処理部0708、局所画像データ作成処理部0709および表示画像データ作成処理部0711は、たとえばそれぞれ独立した回路または図2のコンピュータのCPU122の図示されない演算処理回路によって実現される仮想回路、すなわちCPU122により実行されるプログラムにより実現されるとしてもよい。
図3には第1の実施の形態の表示画像データ作成装置0703の処理の流れが示される。ここでは、入力画像データに対応の入力画像の横方向、縦方向の大きさをそれぞれXSIZE,YSIZEとする。ディスプレイ装置0704の表示サイズの横方向、縦方向の大きさをそれぞれXDISPLAYSIZE,YDISPLAYSIZEとする。
動作が開始され画像入力装置0701から入力画像データを受取り、入力画像データバッファ0705に格納する(S0801、S0802)。
全体画像データ作成処理部0706は、入力画像データバッファ0705から入力画像データを受取り、入力画像データを表示サイズと同じ大きさとなるように横方向に(XDISPLAYSIZE/XSIZE)倍、縦方向に(YDISPLAYSIZE/YSIZE)倍に拡大または縮小処理を行なったものを全体画像データとして出力する(S0803)。
拡大または縮小処理は線形補間を用いたが、線形補間に限定されない。全体画像データ0101の例を図4に示す。
全体画像データ作成処理部0706から出力された全体画像データを全体画像データバッファ0707に格納する(S0804)。
制御処理部0708により処理のための各種パラメータ(変数)などの初期値設定が行なわれる(S0805)。ここで、各種のパラメータについて説明する。制御処理部0708では、全体画像データのみに関する、局所画像データのみに関する、全体画像データおよび局所画像データの両方に関するそれぞれのパラメータを管理する。
全体画像データのみに関しては、全体画像における直線の有無を示す全体画像直線有無whole_lineを管理する。全体画像直線有無whole_lineの値は直線表示有りのときは1、無しのときは0を示す。
また、局所画像データのみに関しては以下のパラメータを管理する。局所画像データの画像の左上点の入力画像データの画像における位置(xposition,yposition)、表示倍率arate、局所画像における直線の有無を示す局所画像直線有無part_lineを管理する。局所画像直線有無part_lineの値は直線表示有りのときは1、無しのときは0を示す。位置(xposition,yposition)は入力画像データのどの箇所のデータを局所画像データにするかを決めるためのパラメータである。
全体画像データと局所画像データとに関連したパラメータとして、直線始点(xstart、ystart)、直線終点(xend、yend)、局所画像データと全体画像データの足し合わせの比率を示す合成比率orateを管理する。直線始点(xstart、ystart)、直線終点(xend、yend)はともに入力画像データの画像における位置を示す。
全体画像直線有無whole_lineと局所画像直線有無part_lineは直線有無の基準として1と0を用いたが、これに限定されず、有無の基準として用いることのできる値であればよい。
制御処理部0708は、たとえば、(xposition,yposition)=(0,0)(入力画像データの画像の左上部分の画像のデータを、局所画像データに設定する、arate=1(局所画像データの表示倍率は等倍)、orate=0.8、part_lineとwhole_lineに0(直線の表示なし)をそれぞれ初期値として設定する。設定値は一例であって、これら以外の値であってもよい。
上述の局所画像データに特化したパラメータは局所画像データの左上点の入力画像データでの位置(xposition,yposition)、表示倍率arateに限定されるものではなく、局所画像の入力画像での位置関係とその大きさが定まるものであればよい。たとえば、表示倍率arateの代わりに局所画像データの入力画像データでの右下点の位置を用いてもかまわない。
通常、制御処理部0708は操作入力装置0702を介したユーザからの入力情報を受けて動作するが、ここでの初期値設定はユーザからの入力情報の代わりに設定するものである。
制御処理部0708は、ユーザからの入力を受けて該入力内容に基づき各種パラメータの値を変更(設定)する(S0806)。
局所画像データ作成処理部0709にて、入力画像データバッファ0705から入力画像データを受取り、受取った入力画像データを制御処理部0708で指定された情報(パラメータ値を含む)により処理して、局所画像データを作成し、出力する(S0807)。
局所画像データ作成処理は、入力画像データの(xposition,yposition)から、横方向に(XDISPLAYSIZE/arate)、縦方向に(YDISPLAYSIZE/arate)の大きさを抜き出した画像を作成し、その抜き出した画像をarate倍に拡大または縮小処理したものを局所画像データとす
るものである。ここでは、拡大縮小処理は線形補間を用いたが、他のどのような拡大縮小手法を用いてもよい。局所画像データ0301の例を図5に示す。
局所画像データ作成処理部0709から出力された局所画像データを局所画像データバッファ0710に格納する(S0808)。
表示画像データ作成処理部0711は、全体画像データバッファ0707と局所画像データバッファ0710からそれぞれ全体画像データと局所画像データを読取り、これらを制御処理部0708で指定された情報(各種パラメータの値を含む)により処理して、表示画像データを作成し、出力する(S0809)。
座標(x,y)における全体画像データの画素値value1(x,y)、局所画像データの画素値value2(x,y)および表示画像データの画素値value3(x,y)としたとき、value3(x,y)=orate×value2(x,y)+(1-orate)×value1(x,y)となるように表示画像データを作成し(この段階での表示画像データ0401を図6に示す。)、そこに枠のデータを付け加える。該枠は、全体画像データにおける局所画像データの位置に相当するディスプレイ装置0704の全表示領域における位置を特定するためのものである。
合成比率orateが0より大きく、1より小さい場合は表示画像データは例えば図7に示した画像のように全体画像データと局所画像データが同時に表示される。図7の枠0501が先に述べた全体画像データでの局所画像データの位置を示す枠に相当する。また、全体画像データと局所画像データの関係をさらに分かりやすくするために表示画像データについての枠0502のように外枠を追加し、全体画像データでの枠0501に対応する局所画像データの枠としてもよい。また、表示画像データの例を図6に示すように対応枠を付け加えなくてもかまわない。
合成比率orateが0のとき、表示画像データは例えば図8に示すように局所画像データの枠0201を含む全体画像データ0202が表示される。合成比率orateが1のとき、表示画像データとしては例えば図9に示すような枠0601と0602を有する局所画像データが表示される。
合成比率orateの範囲に制限を加えると、全体画像データと局所画像データが常に表示されているように設定することも可能である。
図7、図8および図9の枠0501、0201および0601は、左上点(xposition×XDISPLAYSIZE/XSIZE,yposition×YDISPLAYSIZE/YSIZE)、右下点((xposition+XDISPLAYSIZE/arate)×XDISPLAYSZE/XSIZE,(yposition+YDISPLAYSIZE/arate)×YDISPLAYSZE/XSIZE)に位置する長方形である。
また、局所画像データの枠の情報を表示画像データに加えるかどうかを指示する情報(パラメータ)を、制御処理部0708の管理するパラメータ群に加えるとユーザが動的に枠の表示の有無を指定することも可能となる。
また、全体画像直線有無whole_lineが1の時、2点(xstart×XDISPLAYSIZE/XSIZE,ystart×YDISPLAYSIZE YSIZE),(xend×XDISPLAYSIZE/XSIZE,yend×YDISPLAYSIZE/YSIZE)を結
ぶ直線のデータが全体画像データに加えられる。
また、局所画像直線有無part_lineが1の時、2点(((xstart-xposition)×arate,(ystart-yposition)×arate),((xend-xposition)×arate,(yend-yposition)×arate))を結ぶ直線のデータが局所画像データに加えられる。
パラメータxstart、ystart、xendおよびyendで指定される直線は、例えば図10と図11のような態様で、閲覧者に注目すべき画像の部分や見てもらいたいドキュメントの行を示すのに用いる。図10には、図5の局所画像データ0301に直線1302が引かれた状態が示される。図11には、図6の画像0401において全体画像についての直線1401と局所画像についての直線1402が引かれた状態が示される。このような直線は、表示する画像における閲覧者の視点をガイドする役目を果たす。また、直線は表示画像における重要な情報に対応の部分画像を指定するのに用いてもよい。
表示画像データ作成処理部0711で作成された表示画像データを表示画像データバッファ0712に格納し(S0810)、表示画像データバッファ0712に格納された表示画像データをディスプレイ装置0704に出力する(S0811)。
その後、制御処理部0708にて操作入力装置0702からの入力を検出する(S0812)。操作入力装置0702からの入力が終了要求であった場合、終了処理を行ない、他の場合はS0806以降の処理を再度行なう(S0813、S0814)。
本実施の形態によれば、図6または図7のように全体画像データと局所画像データが重ね合せて表示されるとき、両画像データの表示濃度は合成比率orateの値により異ならせることができるから、両画像データにより表示される文字などの画像をユーザは区別して視認することが可能となる。また、図7に示すように局所画像データと全体画像データの位置関係を示す枠0502と0501を表示することにより、全体画像データの文字が小さくても局所画像データの位置と全体のレイアウトを把握しながら閲覧できる。
(第2の実施の形態)
第2の実施の形態は、第1の実施の形態の表示画像データ作成装置0703を用いて、自動操作データをオーサリングする表示自動操作データ作成装置が示される。
第2の実施の形態の表示自動操作データ作成装置は、内部で用いる第1の実施の形態の表示画像データ作成装置0703の制御処理部0708に与える各種パラメータ値を自動操作データとして記録する。表示自動操作データ作成装置により作成された自動操作データは、ビューワの操作を自動化するのに用いられる。対応ビューワは、第1の実施の形態の表示画像データ作成装置0703を内部に有する。該ビューワは、自動操作データを読込み、読込んだ自動操作データの値を第1の実施の形態の表示画像データ作成装置0703の制御処理部0708に与えるように動作する。なお、本実施の形態では、表示画像データ作成処理エンジンとして、第1の実施の形態の表示画像データ作成装置0703を適用しているが、これに限定されない。つまり、画像データの表示に関して操作可能な表示用画像データ作成処理エンジンであれば適用することができる。
例えば、全体画像と局所画像を重ね合わせるものでなく、画像の一部領域を単に縮尺を換えて表示する画像自動表示装置など、単純な画像自動表示装置であれば、自動操作データの後述の基本パラメータは、その画像自動表示装置に合わせて減らせばよい。逆に、複雑な機能を有する画像自動表示装置であれば、自動操作データの後述の基本パラメータをその画像自動表示装置に合わせて増やせばよい。
前記対応ビューワは、本実施の形態の表示自動操作データ作成装置で作成された自動操作データを用いて、製作者が意図する表示を再現する。また、線分等のオブジェクトで注目箇所を指し示すことが可能なため、ユーザはその線分などのオブジェクトで指し示された箇所を読み進めていけばよい。
第2の実施の形態の表示自動操作データ作成装置は、前述のように第1の実施の形態の表示画像データ作成装置0703に入力される操作手順などの操作内容を自動操作データとして記録する機能と、表示画像データ作成装置0703の出力である表示画像データをディスプレイ装置0704に表示させる機能とを有する。この両機能を備えることにより、閲覧者がビューワを用いて作成された表示画像データを閲覧する場合に、どのように画像が表示されるのかを確認しながら、自動操作データを作成することが可能となる。
図12は第2の実施の形態の表示自動操作データ作成装置1203の構成を示す図である。図13は第2の実施の形態の表示自動操作データ作成装置1203による処理手順を示す図である。
図12を参照して表示自動操作データ作成装置1203は、外部に画像入力装置0701、オーサリング操作入力装置1202、ディスプレイ装置0704および自動操作データ出力装置1210を接続する。表示自動操作データ作成装置1203は画像入力装置0701から入力画像データを、オーサリング操作入力装置1202から製作者による操作情報をそれぞれ受取り、出力データをディスプレイ装置0704に、自動操作データを自動操作データ出力装置1210にそれぞれ出力する。
表示自動操作データ作成装置1203は内部にオーサリング制御処理部1205、一時データ保管バッファ1206、自動操作データ処理部1207、自動操作データバッファ1208および第1の実施の形態の表示画像データ作成装置に相当の表示画像データ作成処理部0703を有する。
オーサリング制御処理部1205は、一時データ保管バッファ1206へのデータの読書き、自動操作データ処理部1207と操作データの受け渡し、および表示画像データ作成処理部0703に対する操作データの出力を、それぞれ行う。
一時データ保管バッファ1206には、オーサリング制御処理部1205から出力された操作データが格納される。
自動操作データ処理部1207はオーサリング制御処理部1205との操作データの受け渡し、および自動操作データバッファ1208へのデータの読書きを行う。
自動操作データバッファ1208には自動操作データ処理部1207から出力された自動操作データが格納される。
表示画像データ作成処理部0703は、画像入力装置0701から入力画像データを、オーサリング制御処理部1205から操作データを受取り、受取ったこれらデータを用いて表示画像データを作成してディスプレイ装置0704に出力する。
一時データ保管バッファ1206および自動操作データバッファ1208は、フラッシュメモリ、固定ディスク126などのRAMによって実現される。また、オーサリング制御処理部1205、自動操作データ処理部1207、表示画像データ作成処理部0703は、たとえばそれぞれ独立した回路によって実現される。または、たとえば図2のCPU122の演算処理回路によって実現される仮想回路、すなわちプログラムで構成されてもよい。
なお、第2の実施の形態の表示自動操作データ作成装置1203では、表示画像データ作成処理部0703は、第1の実施の形態の表示画像データ作成装置を用いているが、ディスプレイ装置0704に表示するデータを作成する機能を有していればどのような構成のものでもよい。
表示自動操作データの製作者が、オーサリング操作入力装置1202を操作して、表示自動操作データ作成装置1203に与える操作データにより操作することが可能なパラメータは、基本パラメータとオーサリング制御パラメータに分類される。基本パラメータは表示画像データの作成に必要なパラメータであり、表示画像データ作成処理部0703に対して与えられる。オーサリング制御パラメータはオーサリング制御のためにオーサリング制御処理部1205にて参照される。
第2の実施の形態の表示自動操作データ作成装置1203では、表示画像データ作成処理部0703として第1の実施の形態の画像データ作成装置を用いているので、基本パラメータは局所画像データの左上点の入力画像データでの位置(xposition、yposition)、表示倍率arate、局所画像直線有無part_line、全体画像直線有無whole_line、直線始点(xstart, ystart)、直線終点(xend、yend)、および局所画像データと全体画像データの合成比率orateそれぞれを示すパラメータとなる。
直線描画は例えば、図10と図11に示すように閲覧者がビューワで画像を閲覧する際、製作者が閲覧者に対して見てもらう個所や行を指定するために使う。
内部の表示画像データ作成処理部が表示画像データ作成処理部0703とは異なる表示自動操作データ作成装置であっても、内部の表示画像データ作成処理部の仕様に適合した基本パラメータを含むようにオーサリング操作入力装置1202からの入力パラメータのセットを変えることにより、該相違に対応できる。
例えば、表示自動操作データ作成装置1203において直線描画の機能のない表示画像データ作成処理部0703を用いた場合は、基本パラメータの直線描画に関連したパラメータpart_line、whole_line、xstart、ystart、xendおよびyendを基本パラメータセットから除けばよい。また、表示自動操作データ作成装置1203の表示画像データ作成処理部に表示画像データ作成処理部0703にない機能が新たに追加されている場合には、新機能を操作するためのパラメータを基本パラメータセットに含むようにオーサリング操作入力装置1202からの入力パラメータのセットを変えることにより、該新機能の追加に対応できる。
基本パラメータを自動操作データに記録するロジックは、全ての基本パラメータで同じである。したがって、表示画像データ作成装置の入力パラメータに合わせた基本パラメータのセットにすればよい。
ここでは、自動操作データには、オーサリング制御処理部1205から、表示画像データ作成処理部0703に送られる基本パラメータのセットがその時点の表示状態を決定するものとして、一度に記録(保存)される。一度に記録された基本パラメータのセットを、ここでは1つのステップと称する。また自動操作データに記録された各ステップを記録順に従い第0、第1、第2・・・、第i、・・・、第mステップと呼ぶ。また、オーサリング制御パラメータは、パラメータC1とC2の2種類とする。
C1は基本パラメータを記録する動作を指示するパラメータであり、以下の値が設定される。記録動作のONを指示するときは1、記録動作のOFFを指示するときは2および記録動作のポーズ(一時停止)を指示するときは3がそれぞれ設定される。表示自動操作データ作成装置1203においては、C1=1の時は、製作者のオーサリング操作入力装置1202を介した操作による基本パラメータの変化が自動操作データに記録されて、C1=2の時は、記録動作は終了して一連のプログラムは終了し、C1=3の時は、基本パラメータの自動操作データへの記録は行われない。
C2は製作者が自動操作データをより簡単に作成できるようにするために用いられて、以下の値が設定される。ステップ前進を指示するときには1が、ステップ後退を指示するときには2が、基本パラメータの記憶を指示するときには3が、記憶している基本パラメータの読込みを指示するときには4が、そしてデフォルト値を指示するときには5が、それぞれ設定される。
C2=1または2が設定されている場合には、作成済みの自動操作データのステップの基本パラメータを用いて表示画像データを作成することが指示される。例えば、製作者の操作ミス等で不適切な操作手順(ステップ)が自動操作データに記録されてしまった場合には、C2の値を1または2に設定するように操作することにより、自動操作データにおいて不適切な操作手順が記録された最初の個所に戻り、それ以降の続きの自動操作データの再作成を行うことができる。
C2=3が設定されている場合には表示自動操作データ作成装置1203では基本パラメータの一時データ保管バッファ1206への記憶動作が行われる。
C2=4が設定されている場合には、記憶した基本パラメータを一時データ保管バッファ1206から読出し、それを用いて表示画像データが作成される。
C2=5が設定されている場合には、5はデフォルト値で、C2は何も作用しない。
第2の実施の形態の表示自動操作データ作成装置1203で生成される自動操作データ200は、例えば図14のような形式を有し、第iステップSTi(i=0、1、2、3、・・・、m)を含む。各ステップSTiでは、各パラメータ値をスペースで区切り、ステップSTi間で改行を入れている。これにより、自動操作データ200内の各パラメータの所定ステップSTiにおける値を一意に特定できる。自動操作データ200は図14の形式に限定されず、自動操作データ200の中の各パラメータの所定ステップSTiにおける値を一意に特定できれるような形式であれば良い。また、画像データのヘッダ等として、画像データ内に自動操作データ200を含めるようにしても良い。自動操作データ200の一例を図14に示したが、自動操作データ200に含まれるパラメータの種類と数は図14に示されるものに限定されない。
図13の処理手順では、自動操作データ200の読書き位置を示す該処理の内部に固有のパラメータとしてパラメータNを用いる。パラメータNは、自動操作データ200における現在読書きの対象となっているステップSTiの添え字iが示す順序数を指示する。
図13の手順を参照して表示自動操作データ作成装置1203におけるビューワ自動操作データ200の作成手順について説明する。
まず、処理が開始されると(S1301)、オーサリング制御処理部1205は各種パラメータについて初期値を設定する(S1302)。そして、表示画像データ作成処理部0703は、処理の開始時に画像入力装置0701から受取った入力画像データと設定された初期値とを用いて表示画像データを作成し、ディスプレイ装置0704に出力するので、作成された画像データはディスプレイ装置0704において表示される(S1319)。初期値は、例えば以下の様に設定される。
xposition=0、yposition=0、arate=1、part_line=0、whole_line=0、xstart=0、ystart=0、xend=0、yend=0、orate=1、C1=2、C2=5、およびN=0。
次に、オーサリング制御処理部1205は、製作者によるオーサリング操作入力装置1202からの入力を検出する(S1303)。検出結果、製作者からの入力がC1=2(記録OFFの指示)を示す時は(S1304でYES)自動操作データ200の作成処理を終了するが(S1305)、それ以外の時は(S1304でNO)、製作者からの入力がC2=3(基本パラメータ記憶の指示)かどうかの判定を行う(S1306)。判定結果、C2=3であるときには、オーサリング制御処理部1205は現在の各種基本パラメータの値を一時データ保管バッファ1206に格納して(S1307)、C1=1(記録ONの指示)か否かを判定する(S1316)。判定結果、C1=1であれば(S1316でYES)、オーサリング制御処理部1205はNの値を1増加させて現在の各種基本パラメータの値を自動操作データ処理部1207に与える(S1317)。自動操作データ処理部1207は自動操作データバッファ1208の自動操作データ200の第NステップSTN(N=0、1、2、3、・・・、m)のパラメータの値に現在の基本パラメータの値を書き込む (S1318)。
その後、オーサリング制御処理部1205は現在の基本パラメータを表示画像データ作成処理部0703に与えるので、表示画像データ作成処理部0703は入力画像データと与えられた現在の基本パラメータとを用いて表示画像データを作成してディスプレイ装置0704に出力する。これにより該画像データによる画像がディスプレイ装置0704で表示される(S1319)。その後、オーサリング制御処理部1205はC2=5(デフォルト値)に設定し(S1320)、製作者からの入力を検出する処理(S1303)に戻る。
一方、C1=1(記録ON)でない時は(S1316でNO)、自動操作データ200の更新は行われることなく、現在の基本パラメータの値と入力画像データを用いて表示画像データが作成されて画像が表示される(S1319)。
このように、製作者は自動操作データ200に各種基本パラメータの値を登録するのと、同時に、これら基本パラメータの値を用いて作成された表示画像データをディスプレイ装置0704に表示させて確認することができる。また、現在の基本パラメータの値を自動操作データ200に登録せずに、それらを用いて作成された表示画像データによる画像を表示させて確認することができる。
したがって、表示された画像データを確認することにより、登録するしないに拘わらず、製作者は所望する基本パラメータの値は、意図するような表示画像データを作成するのに適当であるか否かを判断することができる。
C2=3(基本パラメータの記憶の指示)でない時は(S1306でNO)、オーサリング制御処理部1205はC2=1(ステップ前進の指示)か否かを判定する(S1308)。判定結果、C2=1であれば、オーサリング制御処理部1205はNを1増加させ、かつC1=3(記録ポーズの指示)に設定する(S1309)。そして自動操作データ処理部1207は自動操作データバッファ1208に格納されている自動操作データ200からN番目のステップSTNの各種基本パラメータの値を読出し、読出された各値を表示画像データ作成のための各基本パラメータに設定する(S1312)。その後、S1316以降の処理が前述と同様に行われる。
一方、判定結果、C2=1(ステップ前進の指示)でなければ(S1308でNO)、次にC2=2(ステップ後退の指示)であるか否かを判定する(S1310)。判定結果、C2=2であればオーサリング制御処理部1205はNを1減少させて、かつC1=3(記録ポーズの指示)に設定し(S1311)、S1312以降の処理を実行する。
したがって、自動操作データバッファ1208の自動操作データ200において、現在(すなわちN番目)の基本パラメータの直後(すなわちN+1番目)または直前(すなわちN−1番目)に登録されている基本パラメータの値を用いて作成された表示画像データの画像をディスプレイ装置0704を介して確認することができる。
それゆえに、製作者は現在、自動操作データ200に登録されている任意のステップSTiの各種パラメータの値を用いて作成された画像データによる画像をディスプレイ装置0704を介して確認することができる。
一方、判定結果、C2=2でなければ(S1310でNO)、C2=4(記憶している基本パラメータの読込みの指示)か否かを判定する(S1313)。判定結果、C2=4であれば(S1313でYES)、オーサリング制御処理部1205はC1=3(記録ポーズの指示)に設定し(S1314)、一時データ保管バッファ1206から各種基本パラメータの値を読出し、読出した各種基本パラメータの値を現在の基本パラメータのそれぞれに設定する(S1315)。その後は、S1316以降の処理が実行される。一方、C2=4でない場合(S1313でNO)、S1316以降の処理が実行される。
したがって、一時データ保管バッファ1206には格納されてはいるが自動操作データ200には未登録の各種基本パラメータの値を用いて作成された表示画像データによる画像をディスプレイ装置0704を介して確認した結果、製作者は所望するような画像が表示されていると判断したときは、これら各種基本パラメータの値を自動操作データ200に正式に登録するように指示できる。
このように、製作者はオーサリング操作入力装置1202を操作して制御パラメータC1とC2の値を任意に設定することにより、これら制御パラメータC1とC2の値で指定される基本パラメータのセット(オーサリング操作入力装置1202から製作者が入力したセット、または操作データ200に登録されるセットSTi)を用いて作成された表示画像データによる画像をディスプレイ装置0704で確認しながら、確認結果に応じて、該セットを自動操作データ200に新規に登録したり、また自動操作データ200に既に登録されているセットSEiを更新することができる。
上述のようにC2=4と設定されている場合には、記憶した基本パラメータを読込み、それを用いて表示画像データが作成される。これは、例えば、横方向の行ごとに文字が記述されたドキュメントの画像を入力画像データとしたとき、行毎に左から右へ一行についての表示画像データを作成し、次の行に移るような場合に、各行の先頭位置で基本パラメータを記憶し、該行の最後まで該基本パラメータの値に従い表示画像データを作成した後、記憶した基本パラメータを読込み次に行頭に戻ることで、次の行の表示個所を入力する時の参考になる。例えば、各行の切替わりで行頭に不連続的に移動する際、横方向(縦書きの場合は縦方向)の位置が各行の切替わり毎にバラバラになるのを防ぐことができる。これを図面を参照して説明する。
図15には、基本パラメータを記憶させる機能を用いなかった場合のオーサリング手順の例が、図16には、基本パラメータを記憶させる機能を用いた場合のオーサリング手順の例がそれぞれ示される。図15と図16では、いずれもドキュメントの1行目を表示していき、2行目に移動するような表示画像データを作成している。図中の吹出し内の番号(1)、(2)、・・・、(7)は手順を示す。また、図中の太枠の四角形は、ディスプレイ装置0704に表示する領域を示し、線は文字列を示している。
図15では、製作者は1行目の先頭で基本パラメータの値の記録を開始(記録ON)し(手順(1))、表示画像データを作成する。そして製作者のオーサリング操作入力装置1202の図示のない→キー操作で行末方向に移動して(手順(2))、行末で基本パラメータの値の記録を一時停止(記録ポーズ)し、キー操作で次の行の先頭に移動した時に(手順(3)と(4))、基本パラメータの記録が再開される(手順(5))。したがって、2行目の行頭位置は、1行目の開始位置と横方向の座標がずれてしまう。これは1行目の基本パラメータの値が記憶されていないので、1行目の画像データ作成で用いた基本パラメータの値をもはや2行目の画像データの作成には用いることができないからである。それゆえに、図15の場合には、行が変わるたびに開始位置の横方向の座標がバラバラになるので、このようにして作成された表示画像データによるドキュメントの閲覧者はドキュメントを読み進めるのが困難となる。
これに対して、図16では、製作者は1行目の先頭で基本パラメータの値の記録を開始(記録ON)して基本パラメータの値の記憶させ(手順(1)と(2))、該基本パラメータの値を用いて表示画像データを作成する。そして製作者のオーサリング操作入力装置1202の図示のない→キー操作で行末方向に移動して(手順(3))、行末で記録を一時停止(記録ポーズ)してから記憶している基本パラメータの値を読出すと読出された基本パラメータの値が示す1行目の先頭位置に表示領域が移動する(手順(4)と(5))。そこで、キー操作で次の行の先頭に移動して(手順(6))、2行目についての基本パラメータの記録が開始される(手順(7))。したがって、図16では製作者は、1行目の画像データ作成後に2行目の行頭位置を指示するには、記憶されている基本パラメータを用いて一旦1行目の行頭位置に戻り、そこから、オーサリング操作入力装置1202の図示のない↓キーで真下に移動して決定することができる。そのため、1行目と2行目の開始位置について横方向の座標をぴったり一致させることができる。
(第3の実施の形態)
次に第3の実施の形態について説明する。図17には第3の実施の形態に係る表示自動操作データ作成装置1403の構成が示される。
第2の実施の形態の表示自動操作データ作成装置1203では、自動操作データ200への記録の対象となるセットSTi(以後、基本データと呼ぶ)を用いて作成した画像データのみを表示していたが、表示自動操作データ作成装置1403では、表示自動操作データ作成装置1203の機能に追加して、入力画像全体のどの部分の画像が作成対象となっているのかを製作者に提示するためのマクロ表示機能を備える。
このマクロ表示機能により、実際に自動操作データ200に記録される基本データにより作成された画像の表示(第2の実施の形態の表示自動操作データ作成装置1203による表示と同じ)と同時に別の画面にマクロ表示機能による画像の表示を行うことにより、ドキュメントなどの入力画像全体を把握した上でのオーサリングが可能となる。
例えば、図5や図6の画像を作成するような基本データが設定されている時、第3の実施の形態の表示自動操作データ作成装置1403では、マクロ表示機能により図9の画像が表示される。
図17を参照して表示自動操作データ作成装置1403は外部に画像入力装置0701、オーサリング操作入力装置1202、ディスプレイ装置A1404、ディスプレイ装置B1405および自動操作データ出力装置1413を接続する。ディスプレイ装置A1404、ディスプレイ装置B1405および自動操作データは別個のディスプレイ装置であってもよく、また同一の表示自動操作データ作成装置1403により表示される別個のウィンドウであってもよい。この別個のウィンドウは同一画面で同時に表示されてもよく、別の画面で個々に表示されてもよい。
表示自動操作データ作成装置1403は、画像入力装置0701から入力画像データを、オーサリング操作入力装置1202から製作者の操作情報をそれぞれ受取り、出力データをディスプレイ装置A1404とディスプレイ装置B1405にそれぞれ出力する。
表示自動操作データ作成装置1403は内部に、オーサリング制御処理部1406、一時データ保管バッファ1407、自動操作データ処理部1408、自動操作データバッファ1409、表示画像データ作成装置A1410、マクロ表示設定処理部1411および表示画像データ作成装置B1412を備える。
オーサリング制御処理部1406は、一時データ保管バッファ1407へのデータの読書き、自動操作データ処理部1408との操作データの受け渡し、および表示画像データ作成処理部A1410とマクロ表示設定処理部1411に対する操作データの出力をそれぞれ行う。
一時データ保管バッファ1407には、オーサリング制御処理部1406から出力された操作データが格納される。自動操作データ処理部1408はオーサリング制御処理部1406との操作データの受け渡しと自動操作データバッファ1409へのデータの読書きとを行う。
自動操作データバッファ1409には自動操作データ処理部1408から出力された自動操作データ200が格納される。
マクロ表示設定処理部1411は、オーサリング制御処理部1406から操作データを受取り、表示画像データ作成装置B1412に操作データを出力する。
表示画像データ作成装置A1410は、画像入力装置0701から入力画像データを、オーサリング制御処理部1406から操作データをそれぞれ受取り表示画像データを作成して、これをディスプレイ装置A1404に出力する。
表示画像データ作成装置B1412は、画像入力装置0701から入力画像データを、マクロ表示設定処理部1411から操作データをそれぞれ受取り表示画像データを作成して、これをディスプレイ装置B1405に出力する。
一時データ保管バッファ1407、自動操作データバッファ1409は、フラッシュメモリ、固定ディスク126などのRAMによって、オーサリング制御処理部1406、自動操作データ処理部1408、表示画像データ作成処理装置A1410、マクロ表示設定処理部1411、および表示画像データ作成装置B1412は、たとえばそれぞれ独立した回路によって実現される。また、たとえばCPU122の演算処理回路によって実現される仮想回路、すなわちプログラムで実現されてもよい。
図18には表示自動操作データ作成装置1403における自動操作データ作成の処理手順が示される。図18の手順に従い、本実施の形態に係る自動操作データ作成の処理について説明する。なお、本実施の形態で用いられる基本パラメータ、オーサリング制御パラメータ、およびパラメータNの定義は第2の実施の形態と同じである。また自動操作データバッファ1409には予め自動操作データ200が格納されていると想定する。
まず、処理が開始されると(S1501)、オーサリング制御処理部1406により各種パラメータに初期値が設定される(S1502)。初期値は、例えば、以下の様に設定する。xposition=0、yposition=0、arate=1、part_line=0、whole_line=0、xstart=0、ystart=0、xend=0、yend=0、orate=1、C1=2、C2=5、N=0。
そして、マクロ表示設定処理部1411ではオーサリング制御処理部1406から与えられたパラメータのうちorateの値のみを0にセットして、これらパラメータを表示画像データ作成装置B1412に与える(S1519)。表示画像データ作成装置B1412は画像入力装置0701から入力した画像データと、マクロ表示設定処理部1411から与えられたパラメータの値とを用いて表示画像データを作成し、ディスプレイ装置B1405に出力するので、ここに画像が表示される。並行して表示画像データ作成装置A1410では、画像入力装置0701からの入力画像データとオーサリング制御処理部1406から与えられたパラメータの値とを用いて表示画像データを作成して、ディスプレイ装置A1404に出力するので、ここに画像が表示される(S1520)。
次に、オーサリング制御処理部1406は、C2=5(デフォルト値)に設定して(S1521)、オーサリング操作入力装置1202からの製作者による入力を検出する(S1503)。製作者からの入力がC1=2(記録OFF)である時は(S1504でYES)、処理は終了する(S1505)。
C1=2でない時は(S1504でNO)、製作者からの入力がC2=3(基本パラメータの記憶)かどうかの判定を行い(S1506)、C2=3であるときは(S1506でYES)、オーサリング制御処理部1406は基本パラメータを一時データ保管バッファ1407に格納し(S1507)、次にC1=1(記録ON)か否か判定する(S1516)。
C1=1のとき(S1516でYES)、Nの値を1増加させ(S1517)自動操作データ200の第NステップSTNの各基本パラメータの値に、現在の基本パラメータの値を設定して自動操作データ200を更新し、現在の基本パラメータを表示画像データ作成装置A1410と表示画像データ作成装置B1411に渡す(S1518)。その後、前述と同様にS1519とS1520の処理が行われる。オーサリング制御処理部1406は、C2=5(デフォルト値)に設定し(S1521)、製作者からの入力検出処理(S1503)に戻る。また、C1=1でない時(S1516でNO)、自動操作データ200の更新は行わず、表示画像データ作成処理(S1519)が行われる。
また、C2=3(基本パラメータの記憶)でない時(S1506でNO)、C2=1(ステップ前進)かどうかを判定する(S1508)。C2=1であればオーサリング制御処理部1406はNを1増加させ、かつC1=3(記録ポーズ)に設定し、自動操作データ処理部1408が自動操作データバッファ1409に格納されている自動操作データ200のN番目のステップSTNの値を読出し、現在の基本パラメータのそれぞれに設定する(S1509、S1512)。その後、S1516以下の処理を行う。
また、S1508でC2=1(ステップ前進)でなければ、次にC2=2(ステップ後退)であるかどうかの判定に移る(S1510)。C2=2の時(S1510でYES)、オーサリング制御処理部1406はNを1減少させ、かつC1=3(記録ポーズ)に設定し、S1512以下の処理を行う。
また、C2=2でない場合(S1510でNO)、C2=4(記憶している基本パラメータの読込み)かどうかを判定する(S1513)。C2=4であるとき(S1513でYES)、オーサリング制御処理部1406はC1=3(記録ポーズ)に設定し、一時データ保管バッファ1407から基本パラメータの値を読出し、読出した値を現在の基本パラメータにそれぞれ設定し(S1515)、その後、S1516以下の処理を行う。C2=4でない場合(S1513でNO)、S1516以下の処理を行う。
上述の表示自動操作データ作成装置1403によれば、製作者は、自動操作データ200への登録の対象となる基本パラメータの値、または既に自動操作データ200に登録済みのセットSTiの基本パラメータの値と入力画像データとを用いて作成された画像データの画像(図5または図6の画像)をディスプレイ装置A1404にて、同時に、入力画像データの画像における作成の対象となった部分の画像(図9の画像)をディスプレイ装置B1405にて確認することができる。それゆえに、製作者は確認結果に基づいて、ディスプレイ装置A1404に表示された画像データの作成に用いた基本パラメータが所望する値であったか否かを的確に判断できる。
上述の各実施の形態は、ワードプロセッサ、テキストエディタ、ドローツールなどのためのドキュメント(文書データ)の表示に際して、該ドキュメントを画像として扱うことにより適用することができる。
また、フォントなどのオブジェクトデータを含むドキュメントの拡大または縮小処理は画像処理で行なう必要はなく、ほぼ同等の解像度のフォントなどのオブジェクトデータがあればそれを代替として用いてもかまわない。
また、各実施の形態の装置は、パーソナルコンピュータ、携帯電話、PDA、電子ブック機器などの各種端末、情報の表示機能を有してコンピュータ制御される各種家電製品に組み込んで用いることができる。
(第4の実施の形態)
以上説明した各実施の形態の処理機能は、プログラムで実現される。本実施の形態では、このプログラムはコンピュータで読取可能な記録媒体に格納されることが示される。
本実施の形態では、この記録媒体として、図2に示されているコンピュータで処理が行なわれるために必要なメモリ、たとえばメモリ124のようなそのものがプログラムメディアであってもよいし、また外部記憶装置として磁気テープ装置およびCD−ROM駆動装置140などのプログラム読取装置が設けられ、そこに記録媒体である磁気テープまたはCD−ROM142が挿入されることで読取可能なプログラムメディアであってもよい。いずれの場合においても、格納されているプログラムはCPU122がアクセスして実行させる構成であってもよいし、あるいはいずれの場合もプログラムが一旦読出されて、読出されたプログラムは、図2の所定のプログラム記憶エリア、たとえばメモリ124のプログラム記憶エリアにロードされて、CPU122により読出されて実行される方式であってもよい。このロード用のプログラムは、予め当該コンピュータに格納されているものとする。
ここで、上述したプログラムメディアはコンピュータ本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープなどのテープ系、FD132や固定ディスク126などの磁気ディスクやCD−ROM142/MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc)などの光ディスクのディスク系、ICカード(メモリカードを含む)/光カードなどのカード系、あるいはマスクROM、EPROM(Erasable and Programmable ROM)、EEPROM(Electrically EPROM)、フラッシュROMなどによる半導体メモリを含めた固定的なプログラムを担持する媒体であってもよい。
また、本実施の形態においては、図2のコンピュータはインターネットを含む通信ネットワーク182と接続可能な構成が採用されているから、通信ネットワーク182からプログラムがダウンロードされて流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワーク182からプログラムがダウンロードされる場合には、ダウンロード用プログラムは予め当該コンピュータ本体に格納しておくか、あるいは別の記録媒体から予め当該コンピュータ本体にインストールされるものであってもよい。
なお記録媒体に格納されている内容としてはプログラムに限定されず、データであってもよい。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。