JP2001216523A - 画像処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 紙文書を高精細なデジタル画像に変換して表
示することができるとともに、インタラクティビティを
高めることができる画像処理方法を提供すること。 【解決手段】 ドローツールによって、ピクセル画像を
関数化画像に変換して描画オブジェクトを作成する。次
に、オーサリングツールによって、描画オブジェクトの
配置位置と描画オブジェクト内で発生する所定のイベン
トの内容に応じて発生させるアクションとが記述された
オーサリングファイルを作成する。作成されたオーサリ
ングファイルに基づいて、ビューワにより、描画オブジ
ェクトに対応した画像の表示を行うとともに、オーサリ
ングファイルに基づいて、所定のイベントが発生した場
合にはその内容に応じたアクションを実行する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、紙面等に印刷され
た画像を高精細なデジタル画像に変換して表示等を行う
画像処理方法に関する。なお、本明細書中では、関数化
図形によって表現された画像を「関数化画像」と称して
説明を行うものとする。

【０００２】

【従来の技術】「デジタルコンテンツ」はコンピュータ
で処理ができて表示・再生できるデータのことであると
言えるが、それらを作成・閲覧するアプリケーションや
サービスの総称に使われることもある。具体的には、Ｗ
ｅｂページ、動画、楽曲、仮想３次元空間のような擬似
世界、デジタルマガジン、デジタルブックなどに対して
デジタルコンテンツという言葉が用いられていることが
多い。デジタルコンテンツを構成するデータには多種多
様な物が存在するが、ここではデジタルコンテンツの中
でも２次元画像を中心としたデジタルコンテンツに注目
して議論を進める。

【０００３】２次元画像を扱うデジタルコンテンツで最
も一般的なものはＷｅｂページであるが、近年ではＷｅ
ｂコンテンツを構成する画像としてベクタ画像が注目さ
れている。しかし、ベクタ画像の作成は熟練を要す上に
既存の紙媒体のコンテンツを活用することもできない。
その上ベクタ画像の特長を活用するような表示形態・イ
ンタラクションも提供しておらず、あまり普及している
とは言えない。

【０００４】デジタルコンテンツと既存のメディアによ
るコンテンツとの違いは、（１）インタラクティビテイ
（対話性）、すなわち、ユーザーの操作によって内容が
変化していく機能と、（２）ネットワーク配信、特にイ
ンターネットを介したデジタルコンテンツの配信、の２
つの特徴であると考えられる。

【０００５】しかし、このような特徴を活用するために
は、データの形式や出力形態がこれらの特徴を生かすも
のでなければならない。例えば、画像の表示や変形に時
間がかかってしまえば必然的にインタラクティビティは
低下するし、現状ではバンド幅の広いネットワークばか
りではないので画像データのサイズがあまりに大きくな
ってしまっては配信が困難になる。

【０００６】出力形態としての要求の一つは多様な出力
デバイスへの対応である。デジタルコンテンツの出力デ
バイスは、携帯端末、テレビ、ＰＣ（パーソナルコンピ
ュータ）、プリンタなど多様な解像度を持っているので
一つの画像ファイルで効率よく多様な解像度の出力に対
応できることが望ましい。現在、デジタルコンテンツを
構成する画像としてはピクセル画像が主流となってい
る。ビットマップ画像はスキャナやデジタルカメラを通
して本や写真など実世界に存在するコンテンツを簡単に
取りこむ事ができるという利点がある。しかし、ディス
プレイ画面に表示する程度の解像度であればファイルサ
イズも小さくて済むが、印刷や拡大表示をすることを考
えた場合、解像度とファイルサイズのトレードオフが生
じてしまう。

【０００７】そこで最近ではＷｅｂのデジタルコンテン
ツ表現方法として、ベクタ画像が注目され始めている。
ベクタ画像を用いる利点としては、（１）ファイルサイ
ズが画像解像度ではなく画像の複雑さで決まる点、特に
高解像度な出力が必要なときはファイルサイズの大きさ
でピクセル画像と比べて有利である点、（２）高品質な
画像を拡大・縮小が可能であり、高精度な印刷が可能
で、出力デバイスの多様化（携帯端末、テレビ、ＰＣ、
プリンタなど）に対応可能な点、（３）高品質な変形が
可能である点、（４）単純な図形であれば描画・変形は
高速である点、などが挙げられる。

【０００８】多くのフォーマットでは、図形の記述にベ
ジェ曲線のみを用いている。これに対して関数化画像で
は、線分・円弧・自由曲線を使い分けて図形を記述する
ので、より少ないデータで高精度な記述が可能である。
また、テキストファイルのフォーマットを有するものと
比較しても、はるかにコンパクトなファイルサイズであ
り、関数化画像はデジタルコンテンツを構成する画像と
して非常に適していると言える。

【０００９】

【発明が解決しようとする課題】ところで、通常のコン
テンツを作成するシステムは、概ね、ドローツールで画
像を作成し、オーサリングツールで配置やアクションを
設定し、そしてＷｅｂ等を通して配布され、ビューワで
再生される、という流れになっている。デジタルコンテ
ンツとしてより普及するためには、画像の生成・編集が
簡単であることと、ベクタ画像ならではの表示方法が必
要である。しかし、現在のベクタ画像のデジタルコンテ
ンツシステムでは、画像の作成には熟練を要し、表示・
インタラクションもベクタ画像ならではというものでは
ない。

【００１０】現在のベクタ画像を作成するためのドロー
ツールでは、図形はベジェ曲線で構成されており、これ
を編集するには図１７のように全ての制御点を設定しな
くてはならない。したがって、べジェ曲線などを自在に
描けるようになるにはかなりの熟練を要し、仮に熟練し
ていても作成には時間がかかってしまう。ビットマップ
画像の場合、スキャナやデジタルカメラからの入力画像
をそのまま利用できるため、コンテンツ作りが簡単であ
ると同時に、紙媒体のコンテンツの活用という点でもベ
クタ画像に比べて優れている。いくつかの描画ツールに
はビットマップ画像からベクタ画像へ変換できる機能が
ついているが、変換精度が低く、結局ツールを用いて修
正する必要があるため、あまり効率は上がらない。

【００１１】また、表示方法に関しても、ベクタ画像で
あることを活用しているものは少ないく、アニメーショ
ンを主眼に置いたものでキーフレームアニメーションに
利用している程度である。関数化画像やベクタ画像の表
示に関する特長の一つとして高精度拡大・縮小が挙げら
れる。そのため、ベクタ画像を用いたデジタルコンテン
ツにはほぼ必ずズーム機能が備わっている。しかし、実
際に作られているコンテンツを見ると積極的にズーム機
能を利用しているものはほとんどない。これは、既存の
ベクタ画像表示のシステムでは定められた倍率でのズー
ム機能しか備わっていないためである。そのような段階
的なズームでは、拡大した際にどの部分を拡大したもの
なのかが非常に把握しづらくなってしまう。

【００１２】本発明は、このような点に鑑みて創作され
たものであり、その目的は、紙文書を高精細なデジタル
画像に変換して表示することができるとともに、インタ
ラクティビティを高めることができる画像処理方法を提
供することにある。

【００１３】

【課題を解決するための手段】上述した課題を解決する
ために、請求項１の画像処理方法では、ピクセル画像を
関数化画像に変換して描画オブジェクトを作成し、作成
された前記描画オブジェクトの配置位置と前記描画オブ
ジェクト内で発生する所定のイベントの内容に応じて発
生させるアクションとが記述されたオーサリングファイ
ルを作成し、作成された前記オーサリングファイルに基
づいて、前記描画オブジェクトに対応した画像の表示を
行うとともに、前記オーサリングファイルに基づいて、
前記所定のイベントが発生した場合にはその内容に応じ
た前記アクションを実行することを特徴とする。

【００１４】

【発明の実施の形態】以下、本発明を適用した一実施形
態のデジタルコンテンツシステムについて、図面を参照
しながら説明する。本実施形態のデジタルコンテンツシ
ステムの特徴は、ピクセル画像（ビットマップ画像）を
高精度にベクタ画像へ変換して利用できることと、画像
をリニアでスムーズなズームを利用したインターフェー
スを有するビューワに表示することである。以下では、
（１）関数化図形を用いたデジタルコンテンツシステム
の概要、（２）関数化画像の再構成と描画に関する手法
と実験、（３）関数化画像のためのインタラクティブビ
ューワ「Ｆｖｉｅｗ」の機能と実装、（４）デジタルコ
ンテンツとしての適用例、についてそれぞれ述べてい
く。

【００１５】（１）関数化図形を用いたデジタルコンテ
ンツシステムの概要 上述した既存のデジタルコンテンツシステムの欠点を踏
まえ、関数化図形を用いたデジタルコンテンツの概要を
述べる。通常のシステムは概ね、ドローツールで画像を
作成し、オーサリングツールで配置やアクションを設定
し、そしてＷｅｂ等を通して配布されビューワで再生さ
れる、という流れになっている。本実施形態のシステム
も似たような構成になっており、画像作成、オーサリン
グ、コンテンツ表示・インタラクションの３つの部分か
らなっている（図１参照）。

【００１６】画像作成は、紙文書をスキャナやデジタル
カメラで取り込んだ画像またはペイントツールで描いた
画像を関数化画像に変換する処理を行う。本実施形態に
おけるＤｙｎａｍｉｃＰｒｏｇｒａｍｍｉｎｇを用いた
図形関数近似手法は、簡単なシンボルやフォントだけで
なく複雑な文書や図にも適用可能であり、紙媒体の文書
や図を自動処理で簡単にデジタル化できるので、既存の
システムに比べて画像の素材の幅が広がり、作成が容易
になっている。入力画像はカラー画像でもよいが、白黒
画像か色数の少ないカラー画像が望ましく、ディザやア
ンチエイリアスが施された画像は望ましい変換が難し
い。

【００１７】オーサリングは、コンテンツの素材として
用いる画像や文章の表示位置、スケールの設定およびイ
ンタラクションに関するイベントやアクションの設定を
行う。本実施形態では、そのようなオーサリングの情報
はオーサリングファイルに書き込む。オーサリングファ
イルで設定できることは、描画オブジェクトを、どこ
に、どの大きさで配置するかということと、描画オブジ
ェクト毎にそのオブジェクト内でどのイベントが起きた
ときにどのアクションを起こすか、といったことであ
る。オーサリングファイルの例を図２に示す。現状のシ
ステムでは特にグラフィカルオーサリングツールを用意
していないので、オーサリングはテキストエディタ等を
用いるか、自動的に生成することになる。

【００１８】コンテンツ表示・インタラクションでは、
オーサリングファイルをもとに画像ファイル、サウンド
ファイルなどを読み込んでコンテンツを表示したりイン
タラクションを処理する。コンテンツの利用形態の違い
によりオーサリング、画像作成で作成したファイルの転
送方法は異なる。プレゼンテーションツールのようにロ
ーカルな環境で表示する場合にはファイルシステムから
読み込むことになる。ＷｅｂコンテンツやＷｅｂを利用
したイントラネットアプリケーションなどの場合には、
Ｗｅｂサーバーからファイルを転送する。他にも、メー
ルサービスなどのプッシュ配信によるファイルの転送な
ども考えられる。

【００１９】コンテンツの表示・インタラクションは、
関数化画像の特長を十分に活用するようなものである必
要がある。高精度かつ高速な拡大・縮小表示は関数化画
像の特長の一つであるが、リニアでスムーズにズームさ
せることで２次元平面上に一種の奥行き感を持たせ、ズ
ームをインターフェースとして捉えたものに「Ｚｏｏｍ
ｉｎｇ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ」がある。「Ｚ
ｏｏｍｉｎｇ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ」につい
ては、文献「B.Bederson,J.Hollan,K.Perlin,J.Meyer,
D.Bacon,and F.Furnas.Pad++: A Zoomable Graphical S
ketchpad for Exploring Alternate Interface Physic
s. Journal of Visual Language and Computing,Vol.7,
No.1,pp.3-31,1996 」にその詳細が説明されている。本
実施形態でもこの考え方に基づいてスムーズなズーム機
能を持ったビューワを実装している。

【００２０】（２）関数化画像の再構成と描画に関する
手法と実験 デジタルコンテンツにおいては画像の出力は非常に重要
である。ここでは、出力デバイスの解像度とインタラク
ティビティという観点から、関数化画像の再構成と描画
の手法と、その処理時間について行った実験について述
べていく。

【００２１】関数化画像を出力するにはファイルに格納
されたデータから輪郭線を再構成すればよいのだが、出
力デバイスの多くがピクセル画像を出力する仕組みにな
っているので最終的にはピクセル画像に変換しなければ
ならない。実際には多くのグラフィック描画ライブラリ
には輪郭を描画（塗りつぶし）する機能が備わっている
ので、通常はその機能を用いて近似関数による図形を輪
郭として出力する。ほとんどの２次元描画ライブラリで
は、最低限ポリゴン描画機能は実装されている。また、
最近の２次元描画ライブラリでは、３次ベジェ曲線を輪
郭のパーツにできるものもあるが、円弧を輪郭のパーツ
として持つことは一般的ではない。

【００２２】ここで気をつけなければならないのは、出
力デバイスによって要求が異なるということである。例
えば、プリンタの場合、多少出力に時間をかけてもプリ
ンタの解像度を最大限活かした出力結果が要求される。
これとは対照的に、解像度の低いディスプレイでは高い
表示品質はあまり望めないためプレビュー的な表示が主
目的となる。したがって、表示品質よりも高いインタラ
クティブ性が要求されるので、描画は非常に高速に行わ
れなくてならない。しかし、ディスプレイでも画像の詳
細を見るためには拡大表示する必要があるので、いつで
も低画質でよいわけではなく、デバイスの解像度や拡大
率に合わせて適切な精度でポリゴンを生成し、それを出
力する必要がある。ポリゴンを再構成する処理は近似関
数によって異なるので、以下ではそれぞれの近似関数別
の再構成手法を述べる。

【００２３】直線区間では、終点をポリゴンの頂点とし
て加えればよい。円弧区間では、まずデータとして与え
られる始点（一つ前の近似関数の終点）、中点、終点の
３点を通る円弧の半径と円弧の開始角、終了角を算出す
る。描画は開始角から終了角へ向けて円弧を点列として
ポリゴンに加えていくことで行われる。このときにステ
ップ角を調節することで輪郭点の密度を変えることがで
きる（図３（ａ）参照）。また、自由曲線区間では、ｘ
方向とｙ方向のそれぞれにおいてスプライン係数と離散
的なＢスプラインとの畳み込みを計算して近似輪郭を得
る。畳み込みを計算するときにＢスプラインの密度を変
えることで、異なる密度の輪郭点列を構成できる（図３
（ｂ）参照）。実際には多くの描画ライブラリでベジェ
曲線の描画をサポートしているので、その場合には以下
に説明する変換式によりスプライン係数をベジェ曲線の
制御点へ変換して描画することが可能である。

【００２４】３次ベジェ曲線は、図４（ａ）のように通
常４つのパラメータで一つの区間を表す。このパラメー
タをｒ₀ ，ｒ₁ ，ｒ₂ ，ｒ₃ とする。一方、２次Ｂスプ
ライン曲線は、図４（ｂ）のように３つのスプライン係
数で一つの区間を構成している。この係数をｃ₀ ,ｃ
₁ ，ｃ₂ とする。変換は、ｃ₀ ,ｃ₁ ，ｃ₂ からｒ₀ ，
ｒ ₁ ，ｒ₂ ，ｒ₃ を求めることになる。３次ベジェ曲線
は３次関数であるからパラメータを使って表記した３次
式と２次Ｂスプライン曲線の式を等式でつないだ方程式
が得られる。

【００２５】ａ_bezｔ³＋ｂ_bezｔ²＋ｃ_bezｔ ＋ｒ₀ ＝ａ
_splｔ²＋ｂ_splｔ ＋ｃ_spl ただし、 ｃ_bez ＝３（ｒ₁ −ｒ₀ ）、 ｂ_bez ＝３（ｒ₂ −ｒ₁ ）−ｃ_bez 、 ａ_bez ＝ｒ₃ −ｒ₀ −ｂ_bez −ｃ_bez 、 ａ_spl ＝ｃ₀ −２ｃ₁ ＋ｃ₂ 、 ｂ_spl ＝−２ｃ₀ ＋２ｃ₁ 、 ｃ_spl ＝ｃ₀ ＋ｃ₁ 、 である。この式は２次の項までしかないので、ａ_bez ＝
０となる。この等式が成り立つにはそれぞれの次数の項
の係数が等しい時なので、これを解くと、 ｒ₀ ＝ｃ₀ ＋ｃ₁ 、 ｒ₁ ＝（ｃ₀ ＋５ｃ₁ ）／３、 ｒ₂ ＝（５ｃ₁ ＋ｃ₂ ）／３、 ｒ₃ ＝ｃ₁ ＋ｃ₂ 、 が得られる。この変換式によって２次Ｂスプライン曲線
は３次ベジェ曲線に変換される。

【００２６】次に、再構成と描画に関する予備実験の結
果について説明する。ここでは、関数化画像ファイルを
読み込んで輪郭を再構成するのに要する時間と、ディス
プレイ画面に画像全体を表示する時間の両方の処理時間
に関して実験を行った。実装には、ローカルに存在する
ファイルを表示・印刷するだけでなく、ネットワークを
介したシステムを想定してＪａｖａ２（ＪＤＫ１．２．
２＋ＨｏｔＳｐｏｔ１．０．１）を用いている。Ｊａｖ
ａ２を実装に用いる理由としては、クラスライブラリの
豊富さ、メモリ管理の容易さなどによるプログラマビリ
ティの高さ、ネットワークアプリケーション構築の容易
さなどが挙げられる。実行速度もＪａｖａ登場当時は仮
想マシンでの実行となるために問題とされたが、最近で
はＪＩＴ（Just In Time compiler ）やその他の手法に
よりネイティブアプリケーションとの性能差はかなり縮
まっている。

【００２７】実験環境は、ＣＰＵがＣｅｌｅｒｏｎ（登
録商標）４００ＭＨｚのＰＣを用い、ＯＳ（オペレーテ
ィングシステム）としてＷｉｎｄｏｗｓ９８（登録商
標）を使用した。この実験環境は現時点のＰＣの性能と
してはローエンドに属する方である。性能の評価は、図
５の５つの文書画像を関数近似した画像に対して処理す
る事で行った。実験では、関数化画像のファイルを読み
込んで輪郭線を再構成する時間と、全ての輪郭線を表示
するのに要する時間を計測した。

【００２８】図６の再生時間という項目が、関数化画像
ファイルからデータを読み込んで輪郭線を生成する時間
である。Ｊａｖａ２では、閉輪郭の図形は、輪郭にはＧ
ｅｎｅｒａｌＰａｔｈというクラスが用意されており、
線分と３次ベジェ曲線が輪郭として登録できる。輪郭線
再構成処理は、０．０１秒から０．２２秒であり非常に
高速に処理されていることがわかる。再構成にかかる時
間は、領域数との相関係数が０．９７となりほぼ比例関
係になっており、複雑な画像ほど再構成に時間がかかっ
ていることが分かる。

【００２９】図６の描画時間という項目は、関数化画像
全体の表示に要する時間を示している。描画時間は、
０．０４秒から０．５５秒であった。この程度の高速描
画であれば、リアルタイムに描画を行わないアプリケー
ションであれば応答性は十分であるといえる。描画する
図形の個数と描画時間の関係は相関関数が０．９８とな
りほぼ比例している。

【００３０】この実験では、関数化画像全体の表示にす
るという条件で実験したが、拡大した場合には画面上に
現れない描画不要な輪郭が増加するので描画時間は大き
く短縮される。また、描画対象の領域を大きくすると、
逆に描画時間は増加してしまう。描画時間はグラフィッ
クアクセラレータ、ＣＰＵ速度などのハードウェアだけ
でなくライブラリの実装方法の違いによって大きく変わ
ってしまうため、ここでの実験の結果を全ての実行環境
に当てはめて考えることはできない。しかし、実験に用
いた環境は現時点のＰＣとしては一般的な構成であり、
ＰＣ上で実行するのであれば十分参考になる結果であ
る。

【００３１】この実験ではＪａｖａ２で実装して実験を
行ったが、Ｊａｖａでは描画機能に関しては近年のグラ
フィックアクセラレータに合わせて最適化されたもので
はないので、やはりネイティブな実行環境に比べどうし
ても実行速度の面で劣るはずである。しかも実験で用い
た画像は輪郭数も多く複雑な文書画像が多かったが、そ
れにもかかわらず高速な再構成・描画が達成されている
ことが確認できた。あまり頻繁に再構成処理、描画が発
生しないアプリケーションでとしては十分な応答が得ら
れるはずである。

【００３２】しかし、描画に関してはリアルタイムな描
画を必要とする場合には必ずしも十分とは言えない結果
であった。例えば、文献「Ben Bederson and Jon Meye
r.Implementing a zooming User Interface: experienc
e building Pad++. Software:Practice and Experienc
e, Vol.28,No.10,pp.1079-1099,1998」では、スムーズ
なズームのためには１０ｆｐｓ（frame per second）は
必要であるとしている。これに当てはめると、今回の結
果から複雑な画像の場合や、簡単な画像でも多数の画像
を描画しなければならない場合にはスムーズなズームは
実現できないことになる。Ｊａｖａはクロスプラットフ
ォームでの互換性を重視しているので、特定のグラフィ
ックカードに適した最適化が行われるとは考えにくい。
したがってスムーズなズームのためにはハードウェアに
よる支援よりも、アルゴリズムの工夫が必要になってく
る。

【００３３】（３）関数化画像のためのインタラクティ
ブビューワ「Ｆｖｉｅｗ」の機能と実装 関数化画像のためのインタラクティブビューワ「Ｆｖｉ
ｅｗ」は、デジタルコンテンツシステムにおいて、コン
テンツを表示し、インタラクションを処理するアプリケ
ーションである。表示するオブジェクトやインタラクシ
ョンに関する設定はオーサリングファイルに書かれてい
るので、Ｆｖｉｅｗは画像ファイルと共に読み込んで動
作する。この時、ネットワーク経由で読み込むことでネ
ットワーク配信が実現される。Ｆｖｉｅｗのインターフ
ェースは、Ｚｏｏｍｉｎｇ Ｕｓｅｒ Ｉｎｔｅｒｆａ
ｃｅの考え方を元にしてスムーズでリニアなズームを基
本にいくつかの独自の付加機能を持っている。

【００３４】次に、Ｆｖｉｅｗに実装されている機能の
詳細を述べる。Ｆｖｉｅｗで扱える画像は、関数化画
像、ピクセル画像、テキストなどでサウンドも扱えるよ
うになっている。関数化画像は文書画像など複雑なもの
も想定しているので、高速で粗い描画と詳細な描画を使
い分けて、インタラクティビティと高画質を両立させて
いる。Ｆｖｉｅｗでのインタラクションとしては、ズー
ム、パン、リンク機能が実装されている。ズームは拡大
・縮小であり、パンはスクロール機能のように拡大率そ
のままに表示領域を移動させる機能である。リンク機能
はＦｖｉｅｗ内の別の領域へのジャンプ＆ズームであ
り、実際には図７のように、リンクをたどる操作がなさ
れるとリンク先の領域が画面に収まるようにパンとズー
ムが起こることで処理される。

【００３５】ズーミング関数化画像ビューワに要求され
ることは、（１）Ｗｅｂブラウザでの使用、（２）基本
的にマウスのみでの操作、（３）自在かつスムーズなズ
ーム、のようなことである。（１）の実現のために、Ｆ
ｖｉｅｗは、Ｊａｖａ２を用いて実装している。操作方
法は図８に図示したとおりで、マウスの左ボタンを押し
ながらドラッグすることで画面のパンを行い（図８
（ａ）参照）、右ボタンを押すことでズームイン（図８
（ｃ）参照）、シフト＋右ボタンでズームアウトする
（図８（ｄ）参照）。その他リンク機能、印刷、リンク
バックなどは左ボタンをクリックすることで起動する
（図８（ｂ）参照）。ズームアウトは、３つボタンマウ
スであれば真中ボタンを割り当ててもよいのだが、ＰＣ
では３つボタンマウスはあまり一般的ではないのでこの
ような操作系になっている。

【００３６】その他の機能として、簡単なナビゲーショ
ン機能と印刷機能がある。スムーズなズームによりどこ
を表示しているかわからなくなることは減るが完全では
ない。そこでホーム領域を設け、ｈｏｍｅキーを押すこ
とで確実にホーム領域へ戻れるようになっている。また
リンク機能により意味のあるつながりを持たせることが
できるが、ユーザーの操作によって移動・ズームしてい
ないのでどこを表示しているのかがわからなくなってし
まう。リンク先に逆にたどるリンクを作っておけばよい
がオーサリングが煩雑になってしまう。そこで、最も最
近たどったリンクの元のリンクへ戻る「リンクバックボ
タン」を用意している。

【００３７】次に、オーサリングファイルについて説明
する。現在、オーサリングファイルで設定可能なイベン
トは、（１）マウスカーソルが描画オブジェクト領域内
に入った、（２）マウスカーソルが描画オブジェクト領
域から出た、（３）描画オブジェクト領域内でクリック
された、の３種類である。また、登録可能なアクション
は、現在のところ、（１）リンク（別の描画オブジェク
トへフォーカスを移す）、（２）サウンドを出す、の２
種類である。オーサリングファイルの構文は非常にシン
プルで、１文字目の記号によって登録内容が決まるよう
になっている。詳細は図９に示すとおりである。

【００３８】次に、Ｆｖｉｅｗの実装について説明す
る。実行時のモジュール構成は図１０のようになってい
る。ｆｖｉｅｗＣｏｒｅはＣａｎｖａｓのサブクラスで
あり、実際に表示される領域であると同時にＦｖｉｅｗ
の全ての機能を有するものである。したがって、コンテ
ナを用意し、そこにｆｖｉｅｗＣｏｒｅをａｄｄしオー
サリングファイルを読み込ませるだけで、独立したアプ
リケーションとしてもアプレットとしても動作させるこ
とが容易にできるようになっている。ｆｖｉｅｗＣｏｒ
ｅ内の主なモジュールは、オーサリングファイルの読み
込みと解析を行い描画オブジェクトを生成するＦｉｌｅ
Ｄｅｃｏｄｅｒ、描画処理を行うＤｒａｗｉｎｇＨａｎ
ｄｌｅｒ、イベント処理を行うＡｃｔｉｏｎＨａｎｄｌ
ｅｒ、の３つである。

【００３９】ＦｉｌｅＤｅｃｏｄｅｒが読み込むオーサ
リングファイルは、基本的に、どの描画オブジェクト
を、どこに、どの大きさで配置するか、ということを設
定するものであり、ファイルの内容の詳細は既に述べ
た。ＦｉｌｅＤｅｃｏｄｅｒではオーサリングファイル
の内容にしたがって描画オブジェクトを生成するが、画
像ファイルのデコードはそれぞれの描画オブジェクトの
クラスに任されている。そして、ＪＰＥＧ（Joint Phot
ographic Expert Group ）や関数化画像のように読み込
み・デコードに時間がかかる恐れのある描画オブジェク
トのクラスでは、別のスレッドを起動してバックグラン
ドで読み込み・デコードを行うようになっている。

【００４０】全ての動作はユーザーの操作によって発生
するイベントを処理することで行われる。動作にかかわ
るイベントとしては、マウスカーソルの移動、マウスボ
タンの押下、ウィンドウのサイズ変更、などである。こ
れらのイベントはｆｖｉｅｗＣｏｒｅで発生する。描画
のみのイベントであればＤｒａｗｉｎｇＨａｎｄｌｅｒ
で処理され、リンクなど複雑な処理はＡｃｔｉｏｎＨａ
ｎｄｌｅｒで処理される。ＤｒａｗｉｎｇＨａｎｄｌｅ
ｒでは、スムーズなインタラクションのために、高速な
描画と高精細な描画の２種類が実行される。ユーザーが
マウスボタンを押している間（ズームあるいはパンの動
作中）、または、リンクによって別領域へジャンプする
際の描画は高速な描画が行われ、それらが終了した直後
に高精細な描画が実行される。高精細な描画は、ユーザ
ーが何らかのアクションを起こした際には直ちに中断さ
れるようになっている。実際にどのような描画が行われ
るかは描画オブジェクトの実装によって異なるが、関数
化画像の場合、高速な描画にはサムネールビットマップ
を用い、高精細な描画にはアンチエイリアスされたポリ
ゴン描画を行っている。

【００４１】リンク機能を有効的に利用するには、大き
すぎる描画オブジェクトや小さい描画オブジェクト、つ
まりその描画オブジェクトにとって適切な拡大率でなく
なった時は描画をしないようにする必要がある。描画オ
ブジェクトの適切な拡大率は、本来描画オブジェクト毎
に異なり画一的に決められないが、描画オブジェクト毎
にそのような設定をするのは非常に手間がかかるので、
現在のところ、表示画面に対する大きさで表示するかど
うかを判断している。また、ズーム時に描画をしなくな
る大きさへ変化するとき、あるしきい値で急に消えてし
まうのは非常に不自然であるため、薄くなりながら消え
るようにしている。この機能は、Ｊａｖａ２の描画属性
のアルファ値を描画オブジェクト毎に設定することで実
現している。

【００４２】（４）デジタルコンテンツとしての適用例 次に、システムの構築例について説明する。ここでは、
始めに、本実施形態のデジタルコンテンツシステムの特
長を挙げて、これらの特長がどのようなアプリケーショ
ンに適しているかについて述べる。本実施形態のデジタ
ルコンテンツシステムの特長は、（１）１つのファイル
で様々な解像度に対応できる、（２）コンパクトなファ
イルサイズ、（３）高画質な拡大縮小が可能、（４）ズ
ームを利用したビューワ、といったことが挙げられる。
上記（１）〜（３）の特長は、関数化画像そのものの特
長であるので、ここでは、ズームをインタラクティブコ
ンテンツとしてどう活用するかについて考える。

【００４３】ズームに効果的な使い方の一つは木構造の
データの閲覧である。親のノードにあたる部分に内部に
葉のノードにあたる部分を縮小させて配置すると、親ノ
ードが通常の大きさで表示されているときには葉ノード
は小さいので表示されないが、拡大していくとそこに属
する葉ノードが現れてくる（図１１参照）。実際のデー
タとしては、文書やプレゼンテーションなどかなり多く
のデータが木構造として表現できるので、この表示手法
は非常に応用範囲が広いといえる。これまでに発表され
ているズームを用いたインターフェースの多くも木構造
のデータの表示に利用している。

【００４４】これらの特長から、本実施形態のデジタル
コンテンツシステムを効果的に適用できるコンテンツと
して考えられるのは、（１）プレゼンテーションツー
ル、（２）Ｗｅｂコンテンツ、（３）デジタルブック、
（４）ファイリングシステム、などである。以下の説明
では、本発明を適用した一実施形態のプレゼンテーショ
ンツール、Ｗｅｂコンテンツ、ファイリングシステムの
各々について説明を行う。

【００４５】（４−１）プレゼンテーションツール 本実施形態のデジタルコンテンツシステムであるＦｖｉ
ｅｗは、そのままでプレゼンテーションツールとして応
用することが可能である。プレゼンテーションのコンテ
ンツは、上述したような木構造になっていることが多
く、ズームを用いたインターフェースに適している。一
般的なプレゼンテーションツールにない特徴としては、
紙媒体のコンテンツやペイントツールで描いた画像を素
材として利用できることと、ズームを利用したインター
フェースを用いて木構造を効果的にビジュアライズする
ことができることである。図１２に、プレゼンテーショ
ンツールに適用した例のスクリーンショットを示す。

【００４６】（４−２）Ｗｅｂコンテンツ ＦｖｉｅｗをＪａｖａ ａｐｐｌｅｔで実装すること
で、容易にＷｅｂコンテンツとして利用することが可能
となる。システムの全体の構成は図１３のようになって
いる。今まで述べたように、コンテンツの素材は、紙媒
体のコンテンツやペイントツールで描いた画像である。
これを関数化画像に変換し、ズームを考慮してオーサリ
ングし、画像ファイルやオーサリングファイルをＷｅｂ
サーバーに置くことで容易にデジタルコンテンツとして
公開することができる。ＪＤＫ１．１までのＪａｖａ
ａｐｐｌｅｔでは、セキュリティ保護のために印刷機能
が使えないようになっていた。しかし、Ｊａｖａの最新
バージョンのＪａｖａ２では、ＪＡｐｐｌｅｔクラスを
用いてａｐｐｌｅｔを実装すれば印刷機能が使えるよう
になったので、高精度な印刷という関数化画像の特徴を
活用することが可能になっている。

【００４７】このシステムでは、通常のＷｅｂページの
ようなコンテンツを作ることはもちろん可能だが、関数
化画像は任意の解像度で印刷できファイルサイズが小さ
いので、図１４の例のような地図やデジタルブックのネ
ットワーク配信にも向いている。

【００４８】（４−３）ファイリングシステム ファイリングシステムは、紙文書をスキャナで取り込ん
で文書画像として保存・活用するシステムである。多く
のファイリングシステムでは、ファイルサイズを小さく
するために粗い解像度のピクセル画像が用いられている
が、このシステムでは関数化画像を用いるために少ない
データで高い画質が保持される上に印刷にも適してい
る。ファイリングシステムとして保存した文書を活用す
るためには検索機能が必須である。既存の画像を対象と
したファイリングシステムでは、ファイル名や登録した
キーワードからの検索機能しか持たないものが多い。し
かし、ここで扱う画像は文書画像を主体としているの
で、ＯＣＲ(Optical CharacterReader)を利用してテキ
スト化し全文検索することが考えられる。

【００４９】そこで、本実施形態では、より使い易いこ
とを目指した「関数化画像ファイリングシステム」を構
築した。図１５は、関数化画像ファイリングシステムの
概要である。本システムの特徴は、文書画像を関数化画
像として保存していること、ユーザーが陽にキーワード
を付加しなくても検索が可能であること、ズーミングビ
ューワを用いて効果的に検索結果を提示できること、な
どが挙げられる。

【００５０】本実施形態の関数化画像ファイリングシス
テムは、２つのサブシステムからなっている。１つは文
書を登録するサブシステムで、もう１つはＷｅｂブラウ
ザから入力されたキーワードから画像を検索しブラウザ
に表示するサブシステムである。登録サブシステムで
は、紙文書をスキャナで取り込み、それを関数化画像変
換とＯＣＲにかけ、関数化画像とテキストファイルを得
る。ＯＣＲは、市販のコンシューマ向けＯＣＲを用い
る。また、本実施形態で用いた全文検索システムでは、
検索対象ファイルをインデックス化し、インデックスを
用いて検索するため、ＯＣＲによって得られたテキスト
ファイルをインデックス化する必要がある。ここまでの
処理で、ユーザーが行う作業はスキャナから取り込むこ
とだけであり、後の処理は全て自動で行われる。

【００５１】検索サブシステムは、基本的にはＷｅｂブ
ラウザとＷｅｂサーバーに分かれている。検索するユー
ザーは、検索キーワードを入力し、それがＣＧＩリクエ
ストとしてＷｅｂサーバーに渡される。Ｗｅｂサーバー
ではＣＧＩスクリプトを呼び出して検索エンジンを起動
し、キーワードにヒットする関数化画像ファイルのファ
イル名を取得する。ＣＧＩスクリプトは、ヒットしたフ
ァイル名からオーサリングファイルを作成してＷｅｂブ
ラウザに返す。そして、Ｗｅｂブラウザは、生成された
オーサリングファイルにしたがって画像を表示する、と
いった動作を行う。上述した基本的なデジタルコンテン
ツシステムに当てはめて考えると、オーサリングに相当
することを検索サブシステムが自動的に処理しているこ
とになる。

【００５２】本システムの実行例を図１６に示す。指定
したキーワードに近い画像が左から順に並べられている
様子がわかる。通常の検索エンジンのような単なるリス
ト＋ハイパーリンクによる表示と違い、ズーミングビュ
ーワではヒットした文書全体を眺めたり、それぞれの文
書の詳細を見ることがスムーズに行える。現段階では、
検索結果はヒットした順に並べているだけだが、検索エ
ンジンからの分類情報を２次元＋ズームの３次元に射影
して表示することも考えられる。

【００５３】このように、本実施形態のデジタルコンテ
ンツシステムでは、図形の関数近似手法を用いて関数化
画像を作成する。したがって、複雑な文書画像でも修正
せずにそのまま高精度な関数化画像として扱えるので、
コンテンツの素材として扱える範囲が大きく広がったと
言える。コンテンツ表示・インタラクションに関しては
スムーズでリニアなズームを積極的に導入したインター
フェースを用いることで高精度な拡大が可能であるとい
う関数化画像の特長を十分に活用したコンテンツの表現
が可能となっている。コンテンツ表示・インタラクショ
ンを処理するアプリケーションはＪａｖａを用いて実装
されており、ローカルなアプリケーションからＷｅｂコ
ンテンツのようなネットワークアプリケーションまで対
応している。実際に本発明を適用した例として、プレゼ
ンテーションツール、Ｗｅｂコンテンツ、ファイリング
システムのそれぞれについて説明した。これらのシステ
ムをファイルサイズ、表示精度、インタラクションなど
の観点から見ると、本発明のシステムが既存のシステム
より優れていることが確認された。

【００５４】

【発明の効果】上述したように、本発明によれば、図形
の関数近似手法を用いて関数化画像を作成しているの
で、複雑な文書画像でも修正せずにそのまま高精度な関
数化画像として扱うことができ、コンテンツの素材とし
て扱える範囲を広げることができる。また、コンテンツ
表示・インタラクションに関しては、スムーズでリニア
なズームを積極的に導入したインターフェースを用いる
ことで、高精度な拡大が可能であるという関数化画像の
特長を十分に活用したコンテンツの表現が可能となり、
インタラクティビティを高めることができる。

【図面の簡単な説明】

【図１】関数化図形を用いたデジタルコンテンツシステ
ムの概要について説明する図である。

【図２】オーサリングファイルの例を示す図である。

【図３】輪郭再構成の精度について説明する図である。

【図４】３次ベジェ曲線と２次Ｂスプライン曲線につい
て説明する図である。

【図５】性能の評価に使用した５つの文書画像を示す図
である。

【図６】関数化画像の再構成・描画時間の評価結果につ
いて説明する図である。

【図７】リンク機能について説明する図である。

【図８】Ｆｖｉｅｗのマウス操作について説明する図で
ある。

【図９】オーサリングファイルの詳細について説明する
図である。

【図１０】Ｆｖｉｅｗの実行時におけるモジュールの構
造について説明する図である。

【図１１】ズーム中の画面例について説明する図であ
る。

【図１２】プレゼンテーションツールとして適用した例
のスクリーンショットを示す図である。

【図１３】インタラクティブＷｅｂコンテンツシステム
の構成について説明する図である。

【図１４】Ｗｅｂコンテンツの一例を示す図である。

【図１５】関数化図形ファイリングシステムの概要を示
す図である。

【図１６】ファイリングシステムの検索画面の一例を示
す図である。

【図１７】ドローツールにおけるベジェ曲線の編集につ
いて説明する図である。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B050 BA16 BA18 DA06 EA10 EA21 FA02 FA19 GA08

Claims (1)

【特許請求の範囲】
1. 【請求項１】 ピクセル画像を関数化画像に変換して描
   画オブジェクトを作成し、作成された前記描画オブジェ
   クトの配置位置と前記描画オブジェクト内で発生する所
   定のイベントの内容に応じて発生させるアクションとが
   記述されたオーサリングファイルを作成し、作成された
   前記オーサリングファイルに基づいて、前記描画オブジ
   ェクトに対応した画像の表示を行うとともに、前記オー
   サリングファイルに基づいて、前記所定のイベントが発
   生した場合にはその内容に応じた前記アクションを実行
   することを特徴とする画像処理方法。