JP2009086860A - 画像処理装置、画像処理システム及びプログラム - Google Patents

Abstract

【課題】既に描画された画像を消去せずに余白を形成できる技術を提供する。
【解決手段】描画された画像を表示する描画空間内で、余白を形成する指示を受け入れ、この描画空間内に描画されている画像要素について、予め定められた関係を有する画像要素同士を画像要素群として一体的に、描画空間内で変形処理して余白を形成する画像処理装置である。
【選択図】図１

Description

本発明は、画像処理装置、画像処理システム及びプログラムに関する。

電子文書を紙へ出力した後に手書きの加筆の位置あわせを行う技術がある（特許文献１）。また、電子黒板など、手書きの画像を電子的な画像として処理する装置がある。
特開２００４−１７８００２号公報

一つの描画空間内に画像の描画を受け入れる装置では、描画空間に描画された画像が多くなって余白がなくなると、既に描画された画像を消去することでしか余白を形成できない。既に描画された画像を消去せずに余白を形成できる技術が望まれている。

請求項１記載の発明は、画像処理装置であって、描画された画像を表示する描画空間内で、余白を形成する位置を特定する情報とともに余白を形成する指示を受け入れる受入手段と、前記描画空間内に描画されている画像要素について、予め定められた関係を有する画像要素同士を画像要素群として一体的に、前記特定された余白を形成する位置から画像要素群を離隔させるよう移動する処理と、画像要素群を縮小する処理と、の少なくとも一方を含む変形処理を実行する変形処理手段と、を有することとしたものである。

また請求項２記載の発明は、請求項１記載の画像処理装置であって、前記変形処理手段は、前記一体的に変形処理した後の画像要素群が、当該変形処理によって形成された余白に書き込まれた画像要素群と、描画空間内で重なりあうか否かを判断し、重なり合う場合に、重なり合う画像要素群の少なくとも一部について、縮小処理を実行することとしたものである。

また請求項３記載の発明は、画像処理システムであって、描画されるべき画像の情報を保持する情報保持装置と、前記描画されるべき画像を表示する描画空間内で、余白を形成する位置を特定する情報とともに余白を形成する指示を受け入れる受入手段と、前記描画空間内に描画されている画像要素について、予め定められた関係を有する画像要素同士を画像要素群として一体的に、前記特定された余白を形成する位置から画像要素群を離隔させるよう移動する処理と、画像要素群を縮小する処理と、の少なくとも一方を含む変形処理を実行する変形処理手段とを有する画像処理装置と、を含むこととしたものである。

請求項４記載の発明はプログラムであって、コンピュータを、描画された画像を表示する描画空間内で、余白を形成する位置を特定する情報とともに余白を形成する指示を受け入れる受入手段と、前記描画空間内に描画されている画像要素について、予め定められた関係を有する画像要素同士を画像要素群として一体的に、前記特定された余白を形成する位置から画像要素群を離隔させるよう移動する処理と、画像要素群を縮小する処理と、の少なくとも一方を含む変形処理を実行する変形処理手段と、して機能させる。

請求項１，３，４記載の発明によると、既に描画された画像を消去することなく描画を受け入れることができる。

請求項２記載の発明によると、元の画像が受け入れられた画像に重ならないよう調整できる。

本発明の実施の形態について図面を参照しながら説明する。本実施の形態に係る画像処理装置は、図１に例示するように、制御部１１、記憶部１２、操作部１３、及び表示部１４を含んで構成される。

ここで、制御部１１は、ＣＰＵ（Central Processing Unit）等のプログラム制御デバイスであり、記憶部１２に格納されているプログラムに従って動作する。この制御部１１は、ここでは操作部１３から入力される描画の指示を受け入れて、当該描画の指示によって描画される画像を生成する。そして当該生成した画像を表示部１４に表示する。また、この制御部１１は、表示部１４に表示した画像内に、余白を形成するべき旨の指示を利用者から受けると、当該指示に従って、それまでに描画されている画像に対して予め設定された処理を行って余白を形成する。この制御部１１の処理の具体的な内容については、後に述べる。

記憶部１２は、ＲＡＭ（Random Access Memory）等を含んで構成される。この記憶部１２には、制御部１１によって実行されるプログラムが格納されている。このプログラムは、コンピュータ可読な記録媒体であるＤＶＤ−ＲＯＭなどに格納されて提供され、この記憶部１２に複写されて格納されたものであってもよい。

操作部１３は、マウスやキーボードなどであってもよいし、表示部１４上で利用者が行った手書き操作を検出するデバイスであってもよい。ここで手書き操作を検出するデバイスは、例えば表示部１４が液晶モニタや、プラズマディスプレイなどであれば、その表示面に重ね合わせて配置した透明なペンタブレットであってもよい。表示部１４が、プロジェクタとスクリーンとである場合は、スクリーン上に重ね合わせて配置した透明なペンタブレット、またはスクリーン上でのペンの動きを検出して、手書きされた画像を受け入れるデバイスであってもよい。

表示部１４は、ディスプレイやプロジェクタなどであり、制御部１１から入力される指示によって画像を表示する。表示部１４は、描画指示により制御部１１が生成した画像を表示出力しており、この画像を表示する部分が描画空間となる。

ここで、制御部１１によって実行される処理について説明する。制御部１１は、利用者からの描画指示を操作部１３を介して受け入れる。そしてその描画の指示に従って、画像を生成して表示部１４に表示出力する。

ここで制御部１１は、生成した画像の情報を記憶部１２に格納する。例えば制御部１１は、描画の指示として線分の描画指示を受け入れた場合、当該線分を描画するための座標情報を取得してもよい。この座標情報は例えば、ベジェ曲線の制御点とすることができる。なお、手書きされた画像を、ベジェ曲線に変換する処理は広く知られているので、ここでの詳細な説明は省略する。

制御部１１は、描画が行われるごとに、個々の描画の結果（画像要素と呼ぶ）を表す情報を記憶部１２に格納する。制御部１１は、画像要素を格納するときに、図示しない計時部から格納の時点の時刻情報を取得して、各画像要素に関連付けて取得した時刻情報を格納してもよい。この結果、記憶部１２には、図２に例示するように、個々の画像要素が、描画された時点を表す情報とともに蓄積されていることとなる。

また別の方法として、制御部１１は、描画指示に基づいて描画した画像をビットマップ画像として保持してもよい。この場合、制御部１１は、利用者が描画した画像に外接する外接矩形の座標を演算し、当該外接矩形の所定点の座標（例えば左上隅の頂点の座標）と、外接矩形内のビットマップ画像とを画像要素として保持する。この場合も、描画の時点を表す時刻の情報を関連付けて保持しておいてもよい。

次に、本実施の形態の制御部１１の余白形成の処理について説明する。この制御部１１が実行する余白形成のプログラムは、機能的には図３に例示するように、余白形成指示受入部２１と、画像要素群決定部２２と、変形処理部２３と、変形結果確認部２４と、修正部２５とを含んで構成されている。

余白形成指示受入部２１は、利用者から、余白の形成位置を表す情報とともに、余白を形成するべき旨の指示を受け入れる。この指示は予め、ペンやキーボードの操作として定めておき、当該定められた操作が行われたときに、余白の形成指示があったとして処理を行うこととすればよい。また、余白の形成位置は、表示部１４が表示している画像内の一点であってもよいし、画像内で面積をもった領域であってもよい。

画像要素群決定部２２は、記憶部１２に格納されている画像要素を、グループ（画像要素群）に分類する。ここで画像要素群決定部２２は、記憶部１２に格納されている画像要素について、予め定められた関係を有する画像要素同士をグループにまとめる。この関係としては、例えば交差または内包の関係とすればよい。例えば画像要素群決定部２２は、各画像要素に外接する外接矩形を演算によって求める。そして、当該外接矩形の少なくとも一部が重なり合う画像要素同士を、一つのグループとする。

画像要素群決定部２２は、分類したグループごとに固有のグループ識別子を発行し、画像要素の各々に対して、属しているグループを表すグループ識別子を関連付けて記憶部１２に格納する。

変形処理部２３は、各画像要素を、グループごとに一体として変形処理を行う。ここで変形処理は、例えば特定された余白を形成する位置からグループを離隔させるよう移動する処理と、グループを縮小する処理と、のいずれかによって行われる。

移動の処理は、例えば次のように行われる。移動の場合、グループに属する画像要素を、余白を形成する位置として指定された位置から離れるように平行移動する。一例として図４に示すように、各画像要素の外接矩形Ｒｉ（ｉ＝１，２…）のそれぞれについての中心位置Ｃｉ（ｉ＝１，２…）を算出し、さらにこの中心位置の平均位置Ｃを算出する。次に平均位置の座標Ｃ（Ｃｘ，Ｃｙ）と、指定された余白の形成位置Ｐ（Ｐｘ，Ｐｙ）とを用いて、新たな中心位置の座標Ｃ′（Ｃ′ｘ，Ｃ′ｙ）を、
（Ｃ′ｘ，Ｃ′ｙ）＝α・｛（Ｃｘ，Ｃｙ）−（Ｐｘ，Ｐｙ）｝＋（Ｃｘ，Ｃｙ）
と演算する。ここにαは、変形量にあたるパラメータであり、予め定めた値としておいてもよいし、グループの数に応じて、グループ数が多いほど小さくなる値（例えばグループ数Ｎに対して指数関数ｅｘｐを用いて、ｅｘｐ［−Ｎ］に比例する値）としてもよい。さらに変形処理部２３は、グループに含まれる画像要素に関連付けられている、描画の時刻を表す情報のうち最も近い時刻を表しているものを選択して代表時刻Ｔｒとし、また処理の時点の時刻Ｔｐを図示しない計時部から取得して、これらの差Ｔｐ−Ｔｒが大きくなるほど移動量が大きくなるよう、パラメータαを設定してもよい。また、画像要素の平均位置Cと余白形成位置Pが接近した場合に移動量を大きくとるようにαを設定する方法として、CP間の距離に逆比例する値に定めることでも良い。すなわち、
α＝ｋ／｜｛（Cx，Cy）−（Px，Py）＋（Cx，Cy）｝｜、ここでｋは画面サイズに応じて適宜定めた定数値である。

そして変形処理部２３は、このグループに属する画像要素のそれぞれについて、｛（Ｃ′ｘ，Ｃ′ｙ）−（Ｃｘ，Ｃｙ）｝だけ平行移動する。

また、変形処理部２３は、余白を形成する位置が領域として指定された場合、このグループに属する画像要素のそれぞれを、（Ｃｘ，Ｃｙ）−（Ｐｘ，Ｐｙ）で特定されるベクトルの方向へ同じ量（距離）ずつ、このグループに属する画像要素のどれもが、指定された領域に入らなくなるまで、移動していけばよい。

また、縮小の処理は、例えば次のように行われる。変形処理部２３は、グループに属する画像要素を内包する矩形（グループ矩形と呼ぶ）を規定する。一例として、各画像要素の外接矩形を論理和合成した図形に外接する矩形（図５）としてもよい。この場合に規定されるグループ矩形は、グループに属する画像要素を一つのビットマップで表した場合、当該ビットマップに外接する矩形となる。

変形処理部２３は、グループ矩形の頂点座標のうち、余白を形成する位置から最も遠い座標を一つ選択する。そして変形処理部２３は、その選択した座標を目標位置Ｔ（Ｔｘ，Ｔｙ）として、グループに属する各画像要素を、当該目標位置Ｔに向かって、別途定めたグループに共通の縮小率βで縮小する。例えば画像要素がベジェ曲線などのベクトル情報で表されているとき、そのベクトル情報における制御点の座標は、元の座標をＳ（Ｓｘ，Ｓｙ）として、座標Ｓ′（Ｓ′ｘ，Ｓ′ｙ）＝β・｛（Ｓｘ，Ｓｙ）−（Ｔｘ，Ｔｙ）｝＋（Ｔｘ，Ｔｙ）へ移動する。

また変形処理部２３は、次のように縮小の処理を行ってもよい。すなわち、グループに属する画像要素を一つのビットマップ画像に変換し、当該変換後のビットマップ画像に外接する矩形を規定する。そして、変形処理部２３は、この矩形の頂点座標のうち、余白を形成する位置から最も遠い座標を一つ選択する。変形処理部２３は、選択した座標を不動点として、この不動点に向かって変換後のビットマップ画像を縮小率βで縮小する。

なお、縮小率βは、一定の値として予め定めておいてもよいし、余白を形成する位置として指定された位置Ｐと、選択した座標Ｔとの距離に応じて、この距離が大きくなるほど縮小率も大きくなるように設定してもよい。さらに変形処理部２３は、グループに含まれる画像要素に関連付けられている、描画の時刻を表す情報のうち最も近い時刻を表しているものを選択して代表時刻Ｔｒとし、また処理の時点の時刻Ｔｐを図示しない計時部から取得して、これらの差Ｔｐ−Ｔｒが大きくなるほど、縮小率βが大きくなるようβを設定してもよい。

変形結果確認部２４は、変形処理後の各グループについて、互いに異なるグループに属している画像要素の外接矩形（変形処理のときにグループ内の画像要素を一つのビットマップに変換したときは、当該ビットマップに外接する矩形同士）が重なりあっているか否かを調べる。ここで、異なるグループに属する画像要素の外接矩形同士が重なり合っていると判断されるときには、当該グループを特定する情報を修正部２５に出力する。

修正部２５は、変形結果確認部２４からグループを特定する情報が受け入れられると、当該受け入れた情報に係るグループについて、さらに縮小の処理を行わせる。この場合の縮小の処理は、グループ矩形（または一つのビットマップに変換したときには、そのビットマップに外接する矩形）の中心を不動点として、当該不動点に向かって縮小の処理を行えばよい。修正部２５は、例えば予め定めたΔβずつ縮小を行いながら、変形結果確認部２４に確認を行わせ、互いに異なるグループに属している画像要素の外接矩形が重なり合わなくなるまで、縮小の処理を続ける。

また、修正部２５は、入力された情報で特定されるグループのうち、グループ矩形（または一つのビットマップに変換したときには、そのビットマップに外接する矩形）の中心等が余白を生成する位置として入力された位置からより離れているグループについて、余白を生成するべき位置からより離隔する方向へ、互いに異なるグループに属している画像要素の外接矩形が重なり合わなくなるまで平行移動の処理を行ってもよい。

なお、ここまでの説明では、外接矩形を用いて画像要素同士が重なり合っているか否かを調べることとしていたが、画像要素同士の重なり合いを判断する方法は、これに限られない。例えば、画像要素の外郭（輪郭）線を抽出し、当該外郭線を構成するベクトルの集合を得ておき、次のように処理してもよい。すなわち、注目画像要素の外郭線のベクトルのいずれかに対して、比較対象となる画像要素の外郭線のベクトルのいずれか少なくとも一つが交差する場合に、注目画像要素と比較対象となる画像要素とが重なり合っていると判定してもよい。この判定は、画像要素群決定部２２においてグループに分類する際に用いることができる。また、変形結果確認部２４において、変形処理後に、異なるグループに属している画像要素が重なり合っているか否かの判定においても、用いることができる。

このように本実施の形態によると、制御部１１が、図６に示すように、余白の形成指示が行われると（Ｓ１）、描画されている画像要素をグループに分割し（Ｓ２）、グループごとに移動、または縮小などの変形処理を行う（Ｓ３）。そして、変形処理後に、異なるグループ同士が重なり合っているか否かを判定し（Ｓ４）、重なり合っていない場合には、変形処理後の画像要素を記憶部１２に上書きして格納し（Ｓ５）、処理を終了する。このとき、対応する描画の時刻の情報はそのままとする。なお、一つのビットマップへ変換されているときには、当該グループに属する画像要素のうち、最後に描画された画像要素の時刻を、当該変換後の一つのビットマップの描画時刻として格納する。

また、処理Ｓ４において、重なり合っていると判断される場合は、縮小、移動の量（変形量）を調整して（Ｓ６）、処理Ｓ３に戻って処理を続ける。

これにより、例えば図７に例示するように、利用者が描画指示を行うことにより画像要素を描き込むことのできる領域（描画空間）に多数の画像要素があり、新たな書き込みが困難である場合（図７（ａ））に、例えば、一点Ｐを指定して、余白の形成指示を行うと、それまでに描き込まれた画像要素が移動または縮小されて、当該Ｐを中心として余白が形成される（図７（ｂ））。

さらに、制御部１１は、こうして生成した余白に対して書込が行われると、書込の完了を検出して、次の処理を行ってもよい。ここで書込の完了は、例えば利用者がペン入力などで余白への書込を行う場合、最後にペン入力があった時点から予め定めた時間が経過したことを以て、書込が完了したと判断すればよい。

つまり制御部１１は、当初の状態（図７（ａ））から、指示に従って余白を形成する処理を行い（図７（ｂ））、当該余白に対して書込を行って（図８（ａ））完了すると、次の処理を行う。

制御部１１は、書込の完了を検出すると、生成した余白（点Ｐを中心として、変形処理した画像要素に重ならない領域）内に書き込まれた画像要素を一体のグループとし、上述の処理Ｓ４のように、先に余白形成のために変形処理したグループと、この余白に書き込まれた画像要素のグループとが重なりあうか否かを調べる。

ここで、変形処理したグループと、余白に書き込まれた画像要素のグループとが重なりあっていない場合は、変形処理したグループの各々を注目グループとして順次選択し、注目グループが、注目グループ以外のグループ（余白に書き込まれた画像要素のグループをも含む）のいずれかと接するまで、拡大処理してもよい。この拡大処理は、予め定めた拡大ステップずつ処理を行い、他のグループと接していないグループがなくなるまで、かかるグループを注目グループとして順次選択しながら拡大処理する（図８（ｂ））。なお、図８（ｂ）では仮想的に各グループの外接矩形を破線で示している。この場合も拡大処理後の画像要素を、記憶部１２に上書きしてもよい。

また、変形処理したグループと、余白に書き込まれた画像要素のグループとの一部が重なりあっている場合は、当該重なり合っている部分について、重なり合いに係るいずれか一方のグループを縮小処理してもよい（図８（ｃ））。この図８（ｃ）の例では、重なり合うグループごとに、その外接矩形の重なり合う部分について、重なり合いに係る他方のグループの中心に向かう方向へ、縮小率を漸増させた例を示している（破線内部）。

さらに、ここまでの説明では、利用者が余白の形成位置として、描画空間である、表示部１４の表示領域の略中央部を指定している場合を例としていたが、利用者は、例えば描画空間の左端部や、上端部に余白を形成する位置を指定してもよい。

このように描画空間周縁部に余白の形成指示が行われた場合、グループの移動、縮小を、ｘ軸方向またはｙ軸方向に限定して行ってもよい。一例として、描画空間全体を、図９に例示するように、左端部中央付近（Ｌ）と、上端部中央付近（Ｔ）と、右端部中央付近（Ｒ）と、下端部中央付近（Ｂ）と、その他の部分との５つの部分に分割し、各部に余白の形成指示が行われた場合に、どの軸方向にグループの移動・縮小を行うかを予め定めておいてもよい。

例えば左端部中央付近（Ｌ）または、右端部中央付近（Ｒ）に余白の形成位置が指示された場合、ｘ軸方向にのみグループの移動・縮小を行うとし、上端部中央付近（Ｔ）または下端部中央付近に余白の形成位置が指示された場合、ｙ軸方向にのみグループの移動・縮小を行うとし、その他の場合に、ｘ，ｙの両軸方向にグループの移動・縮小を行うこととしてもよい。このように移動・縮小の軸を制限する場合、定めた移動量、または縮小率に従って、変形処理の対象となるグループの、当該軸方向の位置や、サイズを変形することとなる。

例として、左端部中央付近（Ｌ）に余白形成指示が行われた場合と、上端部中央付近（Ｔ）に余白形成指示が行われた場合の図７（ａ）に対応する変形処理の結果を、図１０（ａ），（ｂ）にそれぞれ示す。

なお、ここまでの説明では、描画空間に描画されるべき画像要素は、記憶部１２に、描画された時点を表す情報とともに蓄積されていることとしたが、これに限らず、例えば図１１に例示するように、ネットワークなどの通信手段を介して接続された情報保持装置としてのサーバ２に、本実施の形態の画像処理装置を接続して、このサーバ２に描画されるべき画像要素の情報（図２に例示した情報）を格納することとしてもよい。

またこの場合、本実施の形態の画像処理装置は、グループごとに変形処理した後の画像要素の情報を、サーバ２へ格納する処理を行ってもよい。

本発明の実施の形態に係る画像処理装置の例を表す構成ブロック図である。 本発明の実施の形態に係る画像処理装置が保持する画像要素の例を表す説明図である。 本発明の実施の形態に係る画像処理装置の例を表す機能ブロック図である。 本発明の実施の形態に係る画像処理装置において用いられる画像要素の外接矩形の例を表す説明図である。 本発明の実施の形態に係る画像処理装置において用いられるグループ矩形の例を表す説明図である。 本発明の実施の形態に係る画像処理装置の処理例を表すフローチャート図である。 本発明の実施の形態に係る画像処理装置の動作例を表す説明図である。 本発明の実施の形態に係る画像処理装置のもう一つの動作例を表す説明図である。 本発明の実施の形態に係る画像処理装置において描画領域に設定される領域の例を表す説明図である。 本発明の実施の形態に係る画像処理装置のまた別の動作例を表す説明図である。 本発明の実施の形態に係る画像処理システムの例を表す構成ブロック図である。

符号の説明

１１ 制御部、１２ 記憶部、１３ 操作部、１４ 表示部、２１ 余白形成指示受入部、２２ 画像要素群決定部、２３ 変形処理部、２４ 変形結果確認部、２５ 修正部。

Claims (4)

1. 描画された画像を表示する描画空間内で、余白を形成する位置を特定する情報とともに余白を形成する指示を受け入れる受入手段と、
   前記描画空間内に描画されている画像要素について、予め定められた関係を有する画像要素同士を画像要素群として一体的に、
   前記特定された余白を形成する位置から画像要素群を離隔させるよう移動する処理と、
   画像要素群を縮小する処理と、
   の少なくとも一方を含む変形処理を実行する変形処理手段と、
   を有することを特徴とする画像処理装置。
2. 前記変形処理手段は、前記一体的に変形処理した後の画像要素群が、当該変形処理によって形成された余白に書き込まれた画像要素群と、描画空間内で重なりあうか否かを判断し、重なり合う場合に、重なり合う画像要素群の少なくとも一部について、縮小処理を実行することを特徴とする請求項１記載の画像処理装置。
3. 描画されるべき画像の情報を保持する情報保持装置と、
   前記描画されるべき画像を表示する描画空間内で、余白を形成する位置を特定する情報とともに余白を形成する指示を受け入れる受入手段と、
   前記描画空間内に描画されている画像要素について、予め定められた関係を有する画像要素同士を画像要素群として一体的に、
   前記特定された余白を形成する位置から画像要素群を離隔させるよう移動する処理と、
   画像要素群を縮小する処理と、
   の少なくとも一方を含む変形処理を実行する変形処理手段とを有する画像処理装置と、
   を含むことを特徴とする画像処理システム。
4. コンピュータを、
   描画された画像を表示する描画空間内で、余白を形成する位置を特定する情報とともに余白を形成する指示を受け入れる受入手段と、
   前記描画空間内に描画されている画像要素について、予め定められた関係を有する画像要素同士を画像要素群として一体的に、
   前記特定された余白を形成する位置から画像要素群を離隔させるよう移動する処理と、
   画像要素群を縮小する処理と、
   の少なくとも一方を含む変形処理を実行する変形処理手段と、
   として機能させることを特徴とするプログラム。

Images