JP2009064078A - 画像処理装置及びプログラム - Google Patents

Abstract

【課題】互いに関連しているべき図形同士の相対的位置が損なわれる機会を低減する。
【解決手段】それぞれ描画された複数の画像要素の情報を記憶し、画像要素の情報で特定される画像要素の一部を対象とした変形指示を受け入れて、変形指示の対象となった画像要素との間に、予め定めた条件に基づく関係を有し、変形指示の対象となっていない画像要素を検索する。そして検索の結果見出した画像要素に対し、受け入れた変形指示に基づく変形処理を実行して出力する画像処理装置である。
【選択図】図１

Description

本発明は、画像処理装置及びプログラムに関する。

手書きの図形などを取り込んで、当該図形を表す画像を表示する技術がある（例えば特許文献１）。
特開２００１−３１２２６１号公報

手書きの図形の情報を取り込み、当該取り込まれた図形の情報の一部を選択し、当該選択した情報で特定される図形に対し、後から拡大・縮小その他の変形指示を受け入れる場合、選択されなかった図形については変形が行われないので、互いに関連しているべき図形同士の相対的位置が損なわれる場合がある。

請求項１記載の発明は、画像処理装置であって、それぞれ描画された複数の画像要素の情報を記憶する記憶手段と、前記画像要素の情報で特定される画像要素の一部を対象とした変形指示を受け入れる受入手段と、前記変形指示の対象となった画像要素との間に、予め定めた条件に基づく関係を有し、前記変形指示の対象となっていない画像要素を前記記憶手段から検索する検索手段と、前記検索の結果見出した画像要素に対し、前記受け入れた変形指示に基づく変形処理を実行する処理実行手段と、当該変形処理の結果を出力する手段と、を含むこととしたものである。

請求項２記載の発明は、請求項１記載の画像処理装置であって、前記検索手段は、変形指示の対象となった画像要素との間に、予め定めた条件に基づく関係として、他方の画像要素と少なくとも一部が互いに重なり合う位置に配置された関係を有し、前記変形指示の対象となっていない画像要素を前記記憶手段から検索することとしたものである。

請求項３記載の発明は、請求項１または２記載の画像処理装置であって、前記検索手段は、予め定めた条件に基づく関係として、変形指示の対象となった画像要素に取り囲まれる関係を有し、前記変形指示の対象となっていない画像要素を前記記憶手段から検索することとしたものである。

請求項４記載の発明は、請求項１から３のいずれか一項に記載の画像処理装置であって、前記記憶手段は、画像要素の各々について描画日時に係る情報を記憶しており、前記検索手段は、前記予め定めた条件として、描画日時に係る条件を含む条件に基づく関係を有し、前記変形指示の対象となっていない画像要素を前記記憶手段から検索することとしたものである。

請求項５記載の発明は、プログラムであって、コンピュータを、それぞれ描画された複数の画像要素の情報を記憶する記憶手段と、前記画像要素の情報で特定される画像要素の一部を対象とした変形指示を受け入れる受入手段と、前記変形指示の対象となった画像要素との間に、予め定めた条件に基づく関係を有し、前記変形指示の対象となっていない画像要素を前記記憶手段から検索する検索手段と、前記検索の結果見出した画像要素に対し、前記受け入れた変形指示に基づく変形処理を実行する処理実行手段と、当該変形処理の結果を出力する手段と、として動作させることとしたものである。

請求項１，５記載の発明によると、予め定めた条件によって変形指示の対象となった画像要素と共に変形処理を行うべき画像要素を検索する。これによって当該構成を有しない場合に比べ、互いに関連しているべき図形同士の相対的位置が損なわれる機会を低減する。

請求項２記載の発明によると、少なくとも一部が重なり合う画像要素を互いに関連しているべき図形とすることで、この発明の構成を有しない場合に比べ、かかる関係を有する図形同士の相対的位置が損なわれる機会を低減する。

請求項３記載の発明によると、変形指示の対象となった画像要素に取り囲まれる画像要素を併せて変形の対象とすることで、この発明の構成を有しない場合に比べ、かかる関係を有する図形同士の相対的位置が損なわれる機会を低減する。

請求項４記載の発明によると、描画の日時を含む条件によって変形の対象とする画像要素を選ぶことで、この発明の構成を有しない場合に比べ、描画時間の間隔に応じて関係があると判断される図形同士の相対的位置が損なわれる機会を低減する。

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る画像処理装置１は、図１に例示するように、制御部１１、記憶部１２、入力部１３、及び表示部１４を含んで構成される。

制御部１１は、ＣＰＵ（Central Processing Unit）などのプログラム制御デバイスであり、記憶部１２に格納されているプログラムに従って動作する。この制御部１１は、文字や図形などの画像要素の描画指示を受け入れる。そして当該描画指示によって描画される画像要素を、記憶部１２に格納する。また、画像要素の一部を対象とした変形指示を受け入れ、変形指示の対象となった画像要素との間に、予め定めた条件に基づく関係を有し、かつ変形指示の対象となっていない画像要素を記憶部１２から検索する。そして変形指示の対象となった画像要素と、検索の結果見出した画像要素とに対し、受け入れた変形指示に基づく変形処理を実行して出力する。この制御部１１の詳しい処理の内容については後に述べる。

記憶部１２は、ＲＡＭ（Random Access Memory）等の記憶素子や、ハードディスク等を含んで構成される。この記憶部１２には制御部１１によって実行されるプログラムが保持される。このプログラムは、ＤＶＤ−ＲＯＭ等の記憶媒体に格納された状態で提供され、この記憶部１２に複写されたものであってもよい。さらにこの記憶部１２には、制御部１１が受け入れた描画指示に基づいて描画される画像要素の情報が保持される。

入力部１３は、例えばマウスやキーボードなどであり、タブレットを含んでもよい。この入力部１３は、利用者の指示を受け入れて制御部１１に出力する。例えば、タブレット上で描画された図形の情報を制御部１１へ出力する。

表示部１４は、ディスプレイなどであり、制御部１１から入力される指示に従って画像要素など、様々な情報を表示出力する。このディスプレイは、入力部１３のタブレットを通じて視認されるように配されていてもよい。

ここで制御部１１による処理の内容について述べる。制御部１１は、機能的には図２に例示するように、描画受入部２１と、画像要素保持部２２と、画像出力部２３と、変形対象受入部２４と、変形操作受入部２５と、画像要素関係設定部２６と、検索部２７と、変形処理部２８とを含んで構成されている。

描画受入部２１は、利用者が入力部１３を介して行った入力操作により、文字や図形の描画を受け入れる。例えば、この描画受入部２１は、利用者がタブレットやマウスなどで指定した座標に、キーボードを介して入力された文字列を描画する指示を受け入れる。また、この描画受入部２１は、マウスやタブレットなどの操作によって円や矩形、手書きの線などの図形の描画指示を受け入れる。

画像要素保持部２２は、描画受入部２１で受け入れた描画指示に基づいて固有の識別子（画像要素識別子）を発行する。また、描画指示に基づいて画像要素の情報を生成し、この画像要素の情報と、発行した画像要素識別子とを関連付けて記憶部１２に格納する。例えばこの画像要素の情報は、描画指示に基づいて描画されるべき図形を特定するベクトル情報（座標情報の群）であってもよい。入力された描画指示に基づき、文字列や図形などを描画するベクトル情報を生成する技術は、広く知られているので、ここでの詳しい説明は省略する。

この画像要素保持部２２は、ベクトル情報を記憶部１２に格納する際に、描画の行われた時点を表す日時の情報を、図示しない時計部から取得し、ベクトル情報に併せて記録しておいてもよい。

すなわち記憶部１２には、図３に例示するように、画像要素識別子（ＩＤ）と、ベクトル情報（Ｖ）と、日時の情報（Ｔ）とが関連付けて記録されているようになる。

画像出力部２３は、記憶部１２に格納した画像要素を描画した表示画面を生成し、表示部１４に出力する。変形対象受入部２４は、表示画面に描画されている画像要素の一部を選択する指示操作を受け入れて、選択された画像要素を変形の対象として設定する。この変形対象受入部２４は、例えば、マウスなどのクリック操作がされた場所に描画されている画像要素を特定し、当該特定した画像要素を変形の対象として設定する。

変形操作受入部２５は、画像要素の変形を伴う処理の指示を受け入れる。こうした処理には、画像要素のサイズ変形のほか、回転、文字列の配列方向（ラン）の変更（横書きから縦書きへの変更など）といったものがある。

画像要素関係設定部２６は、表示画面と同じ比率の描画面（オブジェクトプレーンと呼ぶ）を保持する領域を記憶部１２内に確保する。このオブジェクトプレーンは、表示画面よりも解像度が粗いもので構わない。例えば表示画面が８００×６００画素であれば、このオブジェクトプレーンは、１００×７５画素といった画素群で構わない。

画像要素関係設定部２６は、記憶部１２に格納されている画像要素に基づき、このオブジェクトプレーンに、画像要素を描画する。このとき、画像要素識別子がＸである画像要素の画素の値を、画像要素によって指定される色にかかわらずＸとする。なお、複数の画像要素の図形などが同じ画素に係る場合は、当該画素には複数の画像要素の画像要素識別子が記録される。これにより、例えば
（１）画像要素識別子が「１」である、矩形を表す画像要素Ｅ１と、
（２）画像要素識別子が「２」である、楕円形を表す画像要素Ｅ２と、
（３）画像要素識別子が「３」であり、画像要素Ｅ２の楕円形に取り囲まれる矩形の画像要素Ｅ３と、
が記憶部１２に格納されている場合に、オブジェクトプレーンには図４に示すような画像が描画されることとなる。

画像要素関係設定部２６は、オブジェクトプレーンの主走査方向（例えば左から右へ）の１ライン分を取り出す。次に、画像要素関係設定部２６は、記憶部１２に格納されている画像要素の一つを注目要素（ｉ番目に選択した注目要素の画像要素識別子をＯｐ［ｉ］とする）として選択する。そして、取り出した１ライン内で、左端の画素を０番目の画素として、主走査方向に走査しつつ、注目要素Ｏｐの画像要素識別子が現れる画素を探索する。そして画素値がＯｐとなっている画素が見出されるごとに、当該画素の位置（左からｘ番目の画素であれば「ｘ」）を蓄積して記録する。以下、ｋ番目に記録された画素の位置をＲ［ｉ，ｋ］とする。

画像要素関係設定部２６は、この記録Ｒ［ｉ，ｋ］（ｋ＝１，２…）を作成した後、奇数番目の記録Ｒ［ｉ，２ｎ−１］（ｎ＝１，２，…）と、それに続く偶数番目の記録Ｒ［ｉ，２ｎ］とのペアを取り出す。なお、続く偶数番目の記録がなければ、この取り出しは行わない。

以下、記憶部１２に格納されている各画素要素について、注目画素として選択しつつ、上述の処理を行っておく。

画像要素関係設定部２６は、オブジェクトプレーンにおいて上からｐ番目に取り出した１ラインにおいて、上述の処理を行い、取り出したすべての記録について、Ｒ［ｉ，２ｎ−１］＜Ｒ［ｊ，２ｍ−１］＜Ｒ［ｊ，２ｍ］＜Ｒ［２ｎ］を満足するｉ，ｊの組（ｉ≠ｊ）があれば、Ｏｐ［ｊ］の画像要素がＯｐ［ｉ］の画像要素に内包されていると仮に判断して、ラインを識別する値ｐに関連付けて、Ｏｐ［ｊ］の画像要素がＯｐ［ｉ］の画像要素に内包されている旨の情報を記録する。

画像要素関係設定部２６は、オブジェクトプレーンのすべてのラインにおいて、上述の処理を行う。そしてＯｐ［ｊ］の画像要素がＯｐ［ｉ］の画像要素に内包されている旨の情報が記録され、Ｏｐ［ｉ］の画像要素がＯｐ［ｊ］の画像要素に内包されている旨の情報が記録されていなければ、Ｏｐ［ｊ］の画像要素がＯｐ［ｉ］の画像要素に内包されている旨の記録を行う。

また、画像要素関係設定部２６は、Ｏｐ［ｊ］の画像要素がＯｐ［ｉ］の画像要素に内包されている旨の情報と、Ｏｐ［ｉ］の画像要素がＯｐ［ｊ］の画像要素に内包されている旨の情報との双方が記録されている場合は、Ｏｐ［ｊ］の画像要素とＯｐ［ｉ］の画像要素とが交差している（交わっている）旨の記録を行う。

この記録は、例えば画像要素識別子に対して、それに内包される画像要素識別子と、それに交差している画像要素識別子とをそれぞれ関連付けて記録した画像要素関係テーブルを生成することで行えばよい（図５）。

一例として、図４に示したオブジェクトプレーンにおいて、ｐ＝５のラインで、画像要素識別子が「１」である画素が３番目と１９番目とにあるので、Ｒ［１，１］＝３、Ｒ［１，２］＝１９となる。またこのラインにおいてＲ［２，１］＝４、Ｒ［２，２］＝１８であるからｉ＝１、ｊ＝２のときに、Ｒ［ｉ，２ｎ−１］＜Ｒ［ｊ，２ｍ−１］＜Ｒ［ｊ，２ｍ］＜Ｒ［２ｎ］が満足され、ｐ＝５に関連付けて画像要素識別子「２」の画像要素が「１」の画像要素に内包されている旨の仮の情報が記録される。

しかしながら、ｐ＝７のラインでは、Ｒ［１，１］＝３、Ｒ［１，２］＝１９、Ｒ［２，１］＝２、Ｒ［２，２］＝２０となっており、ｉ＝２、ｊ＝１のときに、Ｒ［ｉ，２ｎ−１］＜Ｒ［ｊ，２ｍ−１］＜Ｒ［ｊ，２ｍ］＜Ｒ［２ｎ］が満足されることとなって、ｐ＝７には画像要素識別子「１」の画像要素が「２」の画像要素に内包されている旨の仮の情報が記録される。そこで、画像要素関係設定部２６は、画像要素識別子「２」の画像要素が「１」の画像要素に内包されている旨の仮の情報と、画像要素識別子「１」の画像要素が「２」の画像要素に内包されている旨の仮の情報との双方が記録されているので、画像要素識別子「１」の画像要素と「２」の画像要素とが交差していると判断される。

一方、ｐ＝７からｐ＝１０のラインにおいて、ｉ＝１または２、ｊ＝３のときに、Ｒ［ｉ，２ｎ−１］＜Ｒ［ｊ，２ｍ−１］＜Ｒ［ｊ，２ｍ］＜Ｒ［２ｎ］が満足され、そのほかに記録がないので、画像要素関係設定部２６は、画像要素識別子「１」または「２」の画像要素が「３」の画像要素を内包していると判断する。

また、画像要素関係設定部２６は、ここでの交差の判定に代えて、またはこれに組み合わせて、例えば複数の画像要素識別子が記録されている画素が、オブジェクトプレーンに含まれる場合、当該画素に記録されている複数の画像要素識別子で識別される画像要素同士が交差していると判断してもよい。

画像要素関係設定部２６の上述の処理は、例えば利用者による描画指示が行われるごとに行っても構わない。

検索部２７は、変形対象受入部２４が変形の対象として設定した画像要素の画像要素識別子を受け入れる。そして、図５に例示した画像要素関係テーブルにおいて、受け入れた画像要素識別子で特定される画像要素に内包されている画像要素、または受け入れた画像要素識別子で特定される画像要素に交差する画像要素を検索する。そして、その検索結果を変形処理部２８に出力する。

またこの検索部２７は、画像要素のペアが、互いに交差する画像要素として記録されている場合であっても、当該ペアに含まれる各画像要素のサイズの差が予め定めたしきい値を超えている場合は、交差していない画像要素として、検索結果から除いてもよい。

なお、画像要素関係設定部２６が、互いに交差する画像要素として判断した場合に、当該ペアに含まれる各画像要素のサイズの差が予め定めたしきい値を超えている場合は、交差していない画像要素として、画像要素関係テーブルに記録しないようにしてもよい。

さらに検索部２７は、画像要素の描画された時刻を参照して、交差または内包しているとして記録されている場合であっても、予め定めたしきい値を超える時間差をおいて描画が行われている画像要素同士については、検索結果から除くようにしてもよい。

変形処理部２８は、変形対象受入部２４が設定した画像要素と、検索部２７が出力する検索結果で特定される画像要素とを変形の対象として、変形操作受入部２５が受け入れた変形操作の指示に基づく変形処理を実行する。

次に本発明の実施の形態に係る画像処理装置１の動作について説明する。利用者が画像処理装置１の入力部１３を操作して、文字や図形の入力を行う。例えば、まず第１の矩形と、それを取り囲む第２の矩形を描き、さらに、第２の矩形に交差する楕円を描き、これらとは離れた場所に文字列を書き込んだとする（図６）。このときには、
（１）画像要素識別子が「１」である、矩形を表す画像要素Ｅ１（第１矩形）と、
（２）画像要素識別子が「２」であり、画像要素Ｅ１を取り囲む矩形の画像要素Ｅ２（第２矩形）と、
（３）画像要素識別子が「３」で、画像要素Ｅ１を取り囲み、かつ画像要素Ｅ２と交差する楕円形を表す画像要素Ｅ３と、
（４）画像要素識別子が「４」で、上述の画像要素Ｅ１からＥ３に対して交差も内包の関係もない文字列の画像要素Ｅ４と、
が記録され、それぞれの描画日時が併せて記録される。

ここで利用者が第２矩形（画像要素Ｅ２）の形状を変更するため、第２矩形を選択すると、画像処理装置１は次のように動作する。画像処理装置１は、図７に示すように、第２矩形を変形の対象とした変形指示を受け入れると（Ｓ１）、記憶部１２に格納されている画像要素のうち、第２矩形との間に、予め定めた条件に基づく関係を有しており、かつ、変形指示の対象となっていない画像要素を検索する（Ｓ２）。

ここでは、既に述べたように、第２矩形に対して交差、ないし第２矩形が内包する画像要素を検索するものとする。すると、ここでは画像要素Ｅ１である第１矩形と、画像要素Ｅ３である楕円形とが検索の結果として見出される。

画像処理装置１は、対象として指定された第２矩形のほか、検索の結果見出された第１矩形と楕円形とを変形の対象として選択する（Ｓ３）。そして、利用者の指示に従って変形の処理を行う（Ｓ４）。例えば画像処理装置１は、画像要素Ｅ２に対し、利用者が指定した点を中心として拡大・縮小の操作が行われると、同じ点を中心として、画像要素Ｅ１，Ｅ３についても同じ拡大・縮小の操作が行われたとして画像要素の変形の処理を行う。そして画像処理装置１は、変形処理後の画像要素を表示部１４に表示出力する（Ｓ５）。

これにより例えば利用者が縦に２倍の引き延ばしを行ったとすると、図８に例示するように画像要素Ｅ１，Ｅ２，Ｅ３が縦２倍に引き延ばされ、画像要素Ｅ４は元のままになる。

なお、画像要素の変形は、画像要素の表す図形等ごとに予め規定された方法で行われるようにしておいてもよい。例えばベジェ曲線などにおいては、制御点の位置を拡大・縮小率に併せて移動する。一例として、制御点の座標を（Ｃｘ，Ｃｙ）とし、拡大・縮小の中心点として指定された位置の座標（Ｐｘ，Ｐｙ）とする。また、拡大縮小率をηとすると、新たな制御点の位置（Ｃ′ｘ，Ｃ′ｙ）＝（Ｐｘ，Ｐｙ）＋η・｛（Ｃｘ，Ｃｙ）−（Ｐｘ，Ｐｙ）｝とする。

また、画像要素を配置する座標系に仮想的な格子点を配列しておき、格子点の座標Ｃ（Ｃｘ，Ｃｙ）を上述の制御点と同様に新たな位置（Ｃ′ｘ，Ｃ′ｙ）＝（Ｐｘ，Ｐｙ）＋η・｛（Ｃｘ，Ｃｙ）−（Ｐｘ，Ｐｙ）｝に移動するとして、各制御点を、それに最も近い位置にある格子点と同じ変化量（Ｃ′ｘ，Ｃ′ｙ）−（Ｃｘ，Ｃｙ）だけ移動するようにしてもよい。

なお、ここまでの説明においては、変形処理の対象となり得る画像要素等は画像処理装置１が備える入力部１３において入力され、また、これら画像要素は表示部１４に表示されることとしたが、これに限られず、ネットワークなどの通信手段を介して、画像要素に係る情報の入力や変形の指示操作を受け入れてもよい。また、同じように、画像要素を、通信手段を介して接続された外部の装置に表示するようにしてもよい。

さらに変形の操作は、利用者によって明示的に行われるものに限られず、他の操作、例えば文字列を横書きから縦書きに変更するような操作によってサイズが変化してしまう場合にも、当該文字列の画像要素との間に所定の関係（交差・内包など）を有する他の画像要素を見出し、当該見出した画像要素についても、文字列について行われたサイズ変化と同じ比率でサイズを変化させてもよい。

本実施の形態の画像処理装置１によると、本実施の形態の構成を有しない場合に比して、互いに関連しているべき図形同士の相対的位置が損なわれる機会を低減できる。

本発明の実施の形態に係る画像処理装置の構成例を表すブロック図である。 本発明の実施の形態に係る画像処理装置の一例を表す機能ブロック図である。 本発明の実施の形態に係る画像処理装置が保持する画像要素の情報例を表す説明図である。 本発明の実施の形態に係る画像処理装置の処理例に係るオブジェクトプレーンの例を表す説明図である。 本発明の実施の形態に係る画像処理装置が生成する画像要素関係テーブルの例を表す説明図である。 本発明の実施の形態に係る画像処理装置において描画され得る画像要素の例を表す説明図である。 本発明の実施の形態に係る画像処理装置の動作例を表すフローチャート図である。 本発明の実施の形態に係る画像処理装置における変形処理後の画像要素の例を表す説明図である。

符号の説明

１ 画像処理装置、１１ 制御部、１２ 記憶部、１３ 入力部、１４ 表示部、２１ 描画受入部、２２ 画像要素保持部、２３ 画像出力部、２４ 変形対象受入部、２５ 変形操作受入部、２６ 画像要素関係設定部、２７ 検索部、２８ 変形処理部。

Claims (5)

1. それぞれ描画された複数の画像要素の情報を記憶する記憶手段と、
   前記画像要素の情報で特定される画像要素の一部を対象とした変形指示を受け入れる受入手段と、
   前記変形指示の対象となった画像要素との間に、予め定めた条件に基づく関係を有し、前記変形指示の対象となっていない画像要素を前記記憶手段から検索する検索手段と、
   前記検索の結果見出した画像要素に対し、前記受け入れた変形指示に基づく変形処理を実行する処理実行手段と、
   当該変形処理の結果を出力する手段と、
   を含むことを特徴とする画像処理装置。
2. 前記検索手段は、変形指示の対象となった画像要素との間に、予め定めた条件に基づく関係として、他方の画像要素と少なくとも一部が互いに重なり合う位置に配置された関係を有し、前記変形指示の対象となっていない画像要素を前記記憶手段から検索する
   請求項１記載の画像処理装置。
3. 前記検索手段は、予め定めた条件に基づく関係として、変形指示の対象となった画像要素に取り囲まれる関係を有し、前記変形指示の対象となっていない画像要素を前記記憶手段から検索することを特徴とする
   請求項１または２記載の画像処理装置。
4. 前記記憶手段は、画像要素の各々について描画日時に係る情報を記憶しており、
   前記検索手段は、前記予め定めた条件として、描画日時に係る条件を含む条件に基づく関係を有し、前記変形指示の対象となっていない画像要素を前記記憶手段から検索することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. コンピュータを、
   それぞれ描画された複数の画像要素の情報を記憶する記憶手段と、
   前記画像要素の情報で特定される画像要素の一部を対象とした変形指示を受け入れる受入手段と、
   前記変形指示の対象となった画像要素との間に、予め定めた条件に基づく関係を有し、前記変形指示の対象となっていない画像要素を前記記憶手段から検索する検索手段と、
   前記検索の結果見出した画像要素に対し、前記受け入れた変形指示に基づく変形処理を実行する処理実行手段と、
   当該変形処理の結果を出力する手段と、
   として動作させることを特徴とするプログラム。

Images