JP2006228126A - 画像処理装置 - Google Patents

Abstract

【課題】 よりユーザに使いやすいマウス操作で素早く目的の処理項目を選択できる画像処理装置を提供するものである。
【解決手段】 色空間／画像を処理する画像処理装置においてマウスイベントを認識するイベント管理手段と、前記イベント管理手段が前記マウスの右ボタンのプレスを認識した場合には、前記プレス以降の前記マウスの動作をマウスジェスチャーとし、前記ジェスチャーを処理するマウスジェスチャー処理手段によってメニューの表示／選択なしで処理項目を選択でき、さらに、判定用定数設定手段と、ジェスチャーリスト設定手段とを有することを特徴とする画像処理装置。
【選択図】 図１

Description

本発明は、色空間と画像を処理する画像処理操作に関して、ある色空間または画像を処理する場合において、処理項目に対応したマウス動作を認識し選択するマウスジェスチャー機能をユーザへ提供することで、これら色空間／画像を表示するウィンドウ上にてマウス動作（ボタンプッシュ、移動）を行うことで、素早くマウスポインタが指し示すウィンドウ内にある色空間または画像を処理対することができる画像処理装置に関する。

画像を処理する装置として、特許文献１のような画像処理装置が提案されているが、このような画像処理装置を利用して色空間／画像を処理する際に、処理の選択のためにはマウス操作によりメニューを表示させ、さらにメニューから処理項目を選択するという２段階の操作が必要であった。
特開２００４−２７２６０９号公報

しかしながら、特許文献１では、頻繁に使用する処理がメニューの最下段に設定されている場合は、メニューを選択するためにマウスの移動距離が大きくなり、頻繁に使用する項目であるにも関わらず選択に手間がかかってしまう。

このような問題を解決するために、本発明は、色空間／画像への処理項目の選択を素早く行うために、ユーザが処理する色空間／画像が表示されているウィンドウ内でプレスや移動と言った動作を行うことで、メニューの表示や項目の選択なしで、ユーザが処理したい処理項目を素早く画像処理システムに通知することができる画像処理システムに係る画像処理装置を提案するものである。

また、マウス動作の方向を判定するための定数や画像処理項目に対応するマウス動作を、ユーザにより決定することを可能にすることで、より簡単なマウス操作で処理項目の指定を実現することを目的とする。

上記目的を達成するために本発明は、画像処理装置において３次元物体または画像が描画されるウィンドウを表示するウィンドウ表示手段と、前記オブジェクトの関係を階層的に構成するツリー構造作成手段と、前記ツリー構造作成手段により作成された構造を表示する前記階層ツリー表示手段と、前記ウィンドウ上でのマウスイベントを認識するイベント管理手段と、前記イベント管理手段が前記マウスの右ボタンのプレスを認識した場合には、前記プレス以降の前記マウスの動作をマウスジェスチャーとし、前記ジェスチャーを処理するマウスジェスチャー処理手段によってメニューの表示／選択なしで処理項目を選択できる画像処理装置を提供するものである。

また、マウス動作を判定するための定数を設定する判定用定数設定手段と、画像処理処理項目に対応するジェスチャーパターンをユーザが設定するジェスチャーリスト設定手段により、よりユーザに使いやすいマウス操作で素早く目的の処理項目を選択できる画像処理装置を提供するものである。

第一の発明によれば、前記マウス１００による処理対象のウィンドウ上の動作をマウスジェスチャー処理手段で処理することで、ユーザが処理したい処理項目をマウスジェスチャーのみで決定することができる効果がある。

第二の発明によれば、前記マウス１００の動作を判定するために使用する判定用定数ファイルとを編集することで、ユーザが自分のマウス操作の傾向にあわせてジェスチャーを認識させることが可能となる。また、ジェスチャーパターンとそれらに対応する処理項目を定義するジェスチャーパターンリストファイルを編集することで、頻繁に使用する処理項目を簡単なジェスチャーに対応させることで、より簡単なマウス動作で処理の実行を指示することができる。

図１は本発明の実施形態である画像処理装置がモニタに表示するウィンドウの例を説明する図である。図１中、１は画像処理装置のモニタ、２は階層ツリーウィンドウ、３２と３３は３次元物体、３０は前記３次元物体３２と３３を表示する色空間ウィンドウ、２０は前記階層ツリーウィンドウ２に表示されるルートノード、２１は前記色空間ウィンドウ３０を示す色空間ウィンドウノード、２２は前記３次元物体３２を示す３次元物体ノード、２３は前記３次元物体３３を示す３次元物体ノード、３６は画像、３５は前記画像３６を表示するが画像３ウィンドウ、２５は前記画像ウィンドウ３５を示す画像ウィンドウノード、２６は前記画像３６を示す画像ノード、１０２は前記モニタ２上に表示されるマウスポインタである。

図２は本発明の実施形態である画像処理装置を実現するためのシステム図である。図２中、１３０は前記３次元物体３３及び３２の実体である３次元物体オブジェクト、１４０は前記３次元物体オブジェクトに対する処理を行う処理手段、１４１は処理手段１４０が保有するオブジェクト消去手段である。

１５０は前記色空間ウィンドウ３０の実体であり、前記３次元物体オブジェクト１３０を表示する色空間ウィンドウオブジェクト、１６０は前記色空間ウィンドウオブジェクト１５０に対する処理を行う処理手段、１６１は新規オブジェクト追加手段、１６２は前記色空間ウィンドウ３０に表示されている前記３次元物体３２から３４のうち再上面に表示されている３次元物体オブジェクトを消去する再上面オブジェクト消去手段であり、前記オブジェクト追加手段１６１と前記最上面オブジェクト消去手段１６２は前記処理手段１６０が保有する。

１７０は前記画像３６の実体である画像オブジェクト、１８０は前記画像オブジェクト１７０に対する処理を行う処理手段、１８１は前記処理手段１８０が保有するオブジェクト消去手段である。１９０は前記画像ウィンドウ３５の実体であり、前記画像オブジェクト１７０を表示する画像ウィンドウオブジェクト、２００は前記画像ウィンドウオブジェクト１９０に対する処理を行う処理手段、２０１はオブジェクト追加手段であり前記処理手段２００が保有する。

ここで、前記３次元物体オブジェクト１３０、前記色空間オブジェクト１５０、前記画像オブジェクト１７０、前記ウィドウオブジェクト１９０をオブジェクトと表現する。

３は前記モニタ１に対してユーザが操作したクリックなどのイベントを管理するイベント管理手段、４はオブジェクトへの操作を管理するオブジェクト操作管理手段、７０は前記色空間ウィドウ３０及び前記画像ウィンドウ３５を表示するウィンドウ表示手段、６０は前記階層ツリーウィンドウ２を表示する階層ツリー表示手段である。１００は本発明の画像処理装置で使用するマウス、１０１は前記マウス１００の右ボタンであり、図１の前記マウスポインタ１０２は前記マウス１００が前記モニタ１上に示すものである。

４０は前記マウス１００の動作を認識して処置項目を選択するマウスジェスチャー処理手段、５０は前記マウスジェスチャー処理手段４０が保有する記憶手段、５１はマウスが移動した位置を格納するマウス位置テーブル、５２はマウスジェスチャーのパターンを格納する入力パターンであり、前記マウス位置テーブル５１と入力パターン５２は前記記憶手段５０に保管されている。４２はマウスジェスチャー時の前記マウスポインタ１０２の位置を前記マウス位置テーブル５１に記録するマウス位置記録手段、４１は前記マウス位置テーブルを用いて前記入力パターン５３を作成する入力パターン作成手段、４３は前記入力パターン５３よりユーザが意図する処理を選択するパターン比較手段である。

５３は前記入力パターン作成手段４１で使用する判定用定数ファイル５３であり、前記マウス２の移動方向を判定する際に使用する定数が格納されている。５４は前記パターン比較手段４３で使用するジェスチャーリストファイルであり、各マウスジェスチャーのパターンに対応する処理項目が格納されている。５５は前記判定用定数ファイル５３を編集する判定用定数設定手段、６０は前記ジェスチャーリストファイル５４を編集するジェスチャーリスト設定手段である。

図３は、本発明１の実施形態である画像処理装置の前記モニタ１に表示される前記マウスポインタ１０２の位置を説明する図である。前記モニタ１の水平方向をＸ軸とし、垂直方向をＹ軸とする。前記モニタ１の左下の角を（０，０）とし、（０，０）の東（右）方向をＸ軸のプラス、原点の北（上）方向をＹ軸のプラスとする。マウスポインタの位置はＸ軸の値ｘとＹ軸の値ｙから（ｘ，ｙ）と表現される。

表１は、前記マウス位置テーブル５１が保有するマウスポインタの保管位置を示すもので、前記マウス位置記録手段４２によって１行目にｘ（０），ｙ（０）を保管し、以降ｉ行目のｘ（ｉ），ｙ（ｉ）まで保管される。

表２は、前記判定用定数ファイル５３が格納する判定用定数の例であり、前記入力パターン作成手段４１で用いられる定数ｃｏｎｓｔ、ｗｉｄｔｈ、ｈｅｉｇｈｔが保管されている。

ｃｏｎｓｔはジェスチャーがＸ軸方向の動きなのか、Ｙ軸方向の動きなのかを判定するために使われる。本発明で用いる判定の例では、Ｘ軸方向への移動距離をＬｘ，Ｙ軸方向への移動距離をＬｙとすると、
Ｌｘ＞Ｌｙ＊ｃｏｎｓｔ かつ Ｌｘ＞ｗｉｄｔｈ
の場合はジェスチャーがＸ軸方向の移動であり、
Ｌｙ＞Ｌｘ＊ｃｏｎｓｔ かつ Ｌｙ＞ｈｅｉｇｈｔ
の場合はジェスチャーがＹ軸方向の移動としている。

図４は前記判定用定数ファイル５３に格納されている定数を用いて、マウスジェスチャーの方向を判定する方法を示す図である。図では、前記マウスポインタ１０２は点Ｐ０（ｘ（０），ｙ（０））から点Ｐ１（ｘ（１），ｙ（１））へと移動したことを示している。この時、Ｘ軸の移動距離Ｌｘは、
Ｌｘ＝｜ｘ（１）−ｘ（０）｜
で表され、Ｙ軸の移動距離Ｌｙは、
Ｌｙ＝｜ｙ（１）−ｙ（０）｜
と表される。

ＬｘとＬｙから、点Ｐ（０）から点Ｐ（１）へのジェスチャーの移動はＸ軸のプラス、マイナスとＹ軸のプラス、マイナスの４種類のいずれかに判定される。

以下に各方向と、判定の条件を示す。いずれも全ての条件を満たす必要がある。

［Ｘ軸プラス］
Ｌｘ＞Ｌｙ＊ｃｏｎｓｔ
Ｌｘ＞ｗｉｄｔｈ
ｘ（１）−ｘ（０）＞０

［Ｘ軸マイナス］
Ｌｘ＞Ｌｙ＊ｃｏｎｓｔ
Ｌｘ＞ｗｉｄｔｈ
ｘ（１）−ｘ（０）＜０

［Ｙ軸プラス］
Ｌｙ＞Ｌｘ＊ｃｏｎｓｔ
Ｌｙ＞ｈｅｉｇｈｔ
ｙ（１）−ｙ（０）＞０

［Ｙ軸マイナス］
Ｌｙ＞Ｌｘ＊ｃｏｎｓｔ
Ｌｙ＞ｈｅｉｇｈｔ
ｙ（１）−ｙ（０）＜０

図５は、前記入力パターン５２と前記ジェスチャーリストファイル５４で用いる、マウスジェスチャーを表すパターン数字の例を示すものである。ここで、Ｙ軸プラス方向は０，Ｘ軸プラス方向は１，Ｙ軸マイナス方向は２，Ｘ軸マイナス方向は３で表される。

図６は、前記マウスポインタ１０２の動きと、前記入力作成パターン４１で作成した入力パターン５２の例である。ここでは、始めにＹ軸マイナス方向へ進み、次にＸ軸プラス方向へ進むため、図５のパターン数字を用いて入力パターンは２１である。

表３は前記ジェスチャーリストファイル５４に格納されているジェスチャーとそれに対応する処理項目の例であり、番号、ジェスチャーのパターン、処理項目が格納されている。ここでパターン欄では図５が示すパターン数字を用いる。

本発明の実現方法の実施形態を説明する。ここで、３次元物体および画像をコンテンツとし、コンテンツを表示する色空間ウィンドウおよび画像ウィンドウをウィンドウとする。

図７は本発明１の実施形態である画像処理装置における、コンテンツについて処理したい場合に、処理したいコンテンツが表示されているウィンドウ上でマウスの右ボタンをプレスし、更に移動することで、目的の処理実行の指示を行い、更新した処理が階層ツリーウィンドウにも反映されて表示する処理の流れを簡単に説明する図である。図７において、処理されるコンテンツおよびウィンドウの実体はオブジェクトとして表示されている。図８は実施形態の流れ説明するステップ図である。以下の説明において図７に記載されていないシステム構成の番号は、すべて前記に記載されたものと同一である。以下に図７の説明をする。

また、図７に示すように、処理対象が含まれるまたは処理対象であるウィンドウのサイズは幅がｗｉｎｄｏｗＸ、高さがｗｉｎｄｏｗＹより、判定用定数ファイルで設定されている値は以下のようになる。

ｈｅｉｇｈｔ＝ｗｉｎｄｏｗＸ／５
ｗｉｄｔｈ＝ｗｉｎｄｏｗＹ／５

［Ｓｔｅｐ０］ユーは処理をするコンテンツが表示されているウィンドウ上でマウスの右ボタンをプレスする。

［Ｓｔｅｐ１］イベント管理手段は、マウスの右ボタンのプレスを認識し、マウスジェスチャー処理手段に対してマウスジェスチャーの処理を依頼する。

［Ｓｔｅｐ２］マウス位置記録手段は、マウス位置テーブルを作成する。

［Ｓｔｅｐ３］入力パターン作成手段は、マウス位置テーブルから入力パターンを作成する。

［Ｓｔｅｐ４］パターン比較手段は、ジェスチャーリストファイルを参照し、Ｓｔｅｐ３で作成された入力パターンに対応する処理項目を選択する。

［Ｓｔｅｐ５］マウスジェスチャー処理手段は、オブジェクト操作管理手段にＳｔｅｐ４で選択した処理項目を送信する。

［Ｓｔｅｐ６］オブジェクト操作管理手段は、オブジェクトの処理手段に対して、Ｓｔｅ５で送信された処理の実行を依頼する。

［Ｓｔｅｐ７］オブジェクトの処理手段はＳｔｅｐ６で送信された処理実行依頼を受信し、処理を実行する。

［Ｓｔｅｐ８］オブジェクト操作管理手段は、ウィンドウ表示手段に処理したコンテンツまたはウィンドウの再描画要求を送信する。

［Ｓｔｅｐ９］ウィンドウ表示手段は、処理したコンテンツまたはウィンドウを再描画する。

［Ｓｔｅｐ１０］オブジェクト操作管理手段は、階層ツリー表示手段に再描画要求を送信する。

［Ｓｔｅｐ１１］階層ツリー表示手段は、階層ツリーウィンドウを再描画する。

図９はＳｔｅｐ１における、イベント管理手段がマウス右ボタンのプレスを認識し、マウスジェスチャー処理手段に処理を依頼する流れを説明するステップ図である。以下に図９の説明をする。

［Ｓｔｅｐ１−１］イベント管理手段は、マウスの右ボタンのプレスを認識する。

［Ｓｔｅｐ１−２］マウスポインタがウィンドウ上に存在する場合はＳｔｅｐ１−３へ、そうでない場合は終了する。

［Ｓｔｅｐ１−３］イベント管理手段は、マウスジェスチャー処理手段にマウスジェスチャーの処理を依頼する。

図１０はＳｔｅｐ２における、マウス位置記録手段がマウス位置テーブルを作成するステップを説明する図である。以下に図１０の説明をする。

［Ｓｔｅｐ２−０］マウスジェスチャー処理手段は、イベント管理手段からマウスジェスチャーの処理依頼を受信する。

［Ｓｔｅｐ２−１］ｉに０を代入する。

［Ｓｔｅｐ２−２］マウス位置記録手段は、マウスポインタの位置の値（ｘ，ｙ）をマウス位置テーブルに保管する。ｘ（０）ｘの値を、ｙ（０）にｙの値を保管する。

［Ｓｔｅｐ２−３］マウスポインタが移動した場合はＳｔｅｐ２−４へ進み、そうでない場合はＳｔｅｐ２−５へ進む。

［Ｓｔｅｐ２−４］ｉに１を加えてＳｔｅｐ２−５へ進む。

［Ｓｔｅｐ２−５］マウス位置記録手段は、マウス位置テーブルの行を一行追加し、マウスポインタの位置の値（ｘ，ｙ）を、マウス位置テーブルの最下段に保管する。ｘ（ｉ）にｘの値を、ｙ（ｉ）にｙの値を保管する。

［Ｓｔｅｐ２−６］マウスプレスか解除された場合はＳｔｅｐ２−７へ、そうでない場合はＳｔｅｐ２−３へ進む。

［Ｓｔｅｐ２−７］ｉ＞０の場合はＳｔｅｐ２−８へ進む、そうでない場合は終了する。

［Ｓｔｅｐ２−８］マウスジェスチャー処理手段は、入力パターン作成手段に入力パターンの作成を依頼する。

図１１は、Ｓｔｅｐ３における、入力パターン作成手段がマウス位置テーブルから入力パターンを作成するステップを説明する図である。以下に図１１の説明をする。

［Ｓｔｅｐ３−０］入力パターン作成手段は、マウスジェスチャー処理手段から入力パターン作成の依頼を受信する。

［Ｓｔｅｐ３−１］ｉに１を、Ｌに（マウス位置テーブルの行の長さ−１）を代入する。

［Ｓｔｅｐ３−２］マウス位置テーブルのｉ番目の値からジェスチャーのパターン数字ｐａｔｔｅｒｎを判定する。

［Ｓｔｅｐ３−３］ｉが１の場合はＳｔｅｐ３−４へ進み、そうでない場合はＳｔｅｐ３−５へ進む。

［Ｓｔｅｐ３−４］Ｓｔｅｐ３−２で判定したｐａｔｔｅｒｎを、入力パターンに追加する。

［Ｓｔｅｐ３−５］入力パターンの最後のパターン数字ｌａｓｔ＿ｐａｔｔｅｒｎを取得する。

［Ｓｔｅｐ３−６］ｐａｔｔｅｒｎとｌａｓｔ＿ｐａｔｔｅｒｎが等しい場合はＳｔｅｐ３−７へ進み、そうでない場合はＳｔｅｐ３−４へ進む。

［Ｓｔｅｐ３−７］ｉがＬと等しい場合はＳｔｅｐ３−８へ進み、そうでない場合はＳｔｅｐ３−９へ進む。

［Ｓｔｅｐ３−８］入力パターン作成手段は、作成した入力パターンをパターン比較手段に送信する。

［Ｓｔｅｐ３−９］ｉに１を加えてＳｔｅｐ３−２へ進む。

図１２は、図１１のＳｔｅｐ３−２における、マウス位置テーブルのｉ行目のマウス位置データ（ｘ，ｙ）から、マウスジェスチャーのパターンを判定するステップを説明する図である。Ｓｔｅｐ３−２−２およびＳｔｅｐ３−２−４では、マウスジェスチャー処理手段の記憶手段にある判定用定数ファイルを利用する。以下に図１２の説明をする。

［Ｓｔｅｐ３−２−０］マウス位置テーブルのｉ行目からｘ（ｉ），ｙ（ｉ）を、ｉ−１行目からｘ（ｉ−１），ｙ（ｉ−１）を取得する。

［Ｓｔｅｐ３−２−１］Ｌｘ＝｜ｘ（ｉ）−ｘ（ｉ−１）｜，Ｌｙ＝｜ｙ（ｉ）−ｙ（ｉ−１）｜からＬｘとＬｙを計算する。

［Ｓｔｅｐ３−２−２］Ｌｘ＞Ｌｙ＊ｃｏｎｓｔかつＬｘ＞ｗｉｄｔｈの場合はＳｔｅｐ３−２−３へ、そうでない場合はＳｔｅｐ３−２−４へ進む。

［Ｓｔｅｐ−２−３］ｘ（ｉ）−ｘ（ｉ−１）＞０の場合はＳｔｅｐ３−２−６へ、そうでない場合はＳｔｅｐ３−２−７へ進む。

［Ｓｔｅｐ３−２−４］Ｌｘ＞Ｌｘ＊ｃｃｎｓｔかつＬｙ＞ｗｉｄｔｈの場合はＳｔｅｐ３−２−５へ、そうでない場合はＳｔｅｐ３−５へ進む。

［Ｓｔｅｐ３−２−５］ｙ（ｉ）−ｙ（ｉ−１）＞０の場合はＳｔｅｐ３−２−８へ、そうでない場合はＳｔｅｐ３−２−９へ進む。

［Ｓｔｅｐ３−２−６］ｐａｔｔｅｒｎは１、Ｓｔｅｐ３−３へ進む。

［Ｓｔｅｐ３−２−７］ｐａｔｔｅｒｎは３、Ｓｔｅｐ３−３へ進む。

［Ｓｔｅｐ３−２−８］ｐａｔｔｅｒｎは０、Ｓｔｅｐ３−３へ進む。

［Ｓｔｅｐ３−２−９］ｐａｔｔｅｒｎは２、Ｓｔｅｐ３−３へ進む。

図１３は、パターン比較手段がＳｔｅｐ３で作成された入力パターンに対応する処理項目を選択するステップを説明する図である。以下に図１３の説明をする。

［Ｓｔｅｐ４−０］パターン比較手段は、入力パターン作成手段からＳｔｅｐ３−８で送信された入力パターンを受信する。

［Ｓｔｅｐ４−１］ｉに１を、ｎｕｍにジェスチャーリストの長さを代入する。

［Ｓｔｅｐ４−２］（Ａ）入力パターンと、（Ｂ）ジェスチャーリストｉ行目のパターンを比較する。

［Ｓｔｅｐ４−３］（Ａ）と（Ｂ）は等しい場合はＳｔｅｐ４−４へ、そうでない場合はＳｔｅｐ４−５へ進む。

［Ｓｔｅｐ４−４］パターンリストのｉ番目の処理項目を選択する。

［Ｓｔｅｐ４−５］ｉの値がｎｕｍと等しい場合は終了し、そうでない場合はＳｔｅｐ４−６へ進む。

［Ｓｔｅｐ４−６］ｉに１を加えてＳｔｅｐ４−２へ進む。

図１４は、本発明２の実施形態である画像処理装置における、ユーザが判定用定数ファイルを編集するステップを説明する図である。

［Ｓｔｅｐ０−０−１］ユーザは判定用定数設定手段に判定用定数の編集を依頼する。

［Ｓｔｅｐ０−１−１］判定用定数設定手段は、判定用定数ファイルをエディタで開く。

［Ｓｔｅｐ０−１−２］ユーザはＳｔｅｐ０−０−１で開かれたファイルに記載の定数の値を編集する。

［Ｓｔｅｐ０−１−３］判定用定数設定手段は、判定用定数ファイルを保存して閉じる。

図１５は、本発明２の実施形態である画像処理装置における、ユーザがジェスチャーリストを編集するステップを説明する図である。

［Ｓｔｅｐ０−２−０］ユーザはジェスチャーリスト設定手段にマウスジェスチャーリストの編集を依頼する。

［Ｓｔｅｐ０−２−１］ジェスチャーリスト設定手段は、ジェスチャーリストファイルをエディタで開く。

［Ｓｔｅｐ０−２−２］ユーザはＳｔｅｐ０−２−１で開かれたファイルに記載の、処理項目に対応するをマウスジェスチャーのパターン編集する。

［Ｓｔｅｐ０−２−３］ジェスチャーリスト設定手段は、ジェスチャーリストファイルを保存して閉じる。

以下では、上記で説明したシステム動作を具体的な例を示しながら、詳細な実施例を説明する。

前記モニタに表示されている色空間ウィンドウに新しく３次元物体を加える例で、その際ユーザは、画像処理装置のメニュー項目を表示／選択することなく、「新オブジェクトの追加」を意味するマウス動作である、マウスの右ボタンをプレスしながらＹ軸マイナス方向へマウスポインタを移動することで、色空間ウィンドウに新たに３次元物体オブジェクトを追加する。

この実施例において、ユーザはマウスポインタを座標（２５，２５）から（２４，２０）へと移動したものとする。処理対象の色空間ウィンドウの高さは５ｃｍ、幅は６ｃｍとし、判定用定数は表５に示すものを用いる。

図１６は、実施例１の処理の流れを説明する図である。

図１７は、実施例１における色空間ウィンドウに「新規オブジェクト追加」の処理を行う前のモニタの表示、図１８は処理を行った後のモニタの表示を表す図である。

以下の説明において図１６から１８に記載されていないシステム構成の番号は、すべて前記に記載されたものと同一である。

表４は、実施例１のＳｔｅｐ２で作成されたマウス位置テーブルである。

表５は、実施例１のＳｔｅｐ３−２で使用した判定用定数である。表５では、色空間ウィンドウの高さが１０ｃｍよりｈｅｉｇｈｔ＝１．２、幅が６ｃｍよりｗｉｄｔｈ＝１．０である。

表６は、実施例１のＳｔｅｐ４で使用したジェスチャーリストファイルである。

［Ｓｔｅｐ０］ユーザは図１２のモニタ１に表示されている色空間ウィンドウ２上で、マウス１００の右ボタン１０１をプレスする。

［Ｓｔｅｐ１−１］イベント管理手段３は、マウス１００の右ボタン１０１のプレスを認識する。

［Ｓｔｅｐ１−２］マウスポインタ１０２が色空間ウィンドウ３０上に存在するのでＳｔｅｐ１−３へ進む。

［Ｓｔｅｐ１−３］イベント管理手段３は、マウスジェスチャー処理手段４０にマウスジェスチャーの処理を依頼する。

［Ｓｔｅｐ２−０］マウスジェスチャー処理手段４０は、イベント管理手段３からマウスジェスチャーの処理依頼を受信する。

［Ｓｔｅｐ２−１］ｉに０を代入する。

［Ｓｔｅｐ２−２］マウス位置記録手段４２は、マウス位置テーブル５１に行を一行追加し、マウスポインタ１０２の位置の値（２４，２０）を、マウス位置テーブル５１の最下段に保管する。ｘ（１）に２４を、ｙ（１）に２０を保管する。

［Ｓｔｅｐ２−３］マウスポインタが移動した場合はＳｔｅｐ２−４へ進む。

［Ｓｔｅｐ２−４］ｉに１を加えてＳｔｅｐ２−５へ進む。

［Ｓｔｅｐ２−５］マウス位置記録手段４２は、マウスポインタ１０２の位置の値（ｘ，ｙ）をマウス位置テーブルに保管する。ｘ（１）に２４を、ｙ（１）に２０を保管する。

［Ｓｔｅｐ２−６］マウスプレスか解除されたのでＳｔｅｐ２−７へ進む。

［Ｓｔｅｐ２−７］現在のｉの値は１であり、ｉ＞０を満たすのでＳｔｅｐ２−８へ進む。

［Ｓｔｅｐ２−８］マウスジェスチャー処理手段４０は、入力パターン作成手段４１に入力パターン５２の作成を依頼する。

［Ｓｔｅｐ３−０］入力パターン作成手段４１は、マウスジェスチャー処理手段４０から、入力パターンの作成依頼を受信する。

［Ｓｔｅｐ３−１］ｉに１を、Ｌ＝（マウス位置テーブル５１の行の長さ−１）より１を代入する。

［Ｓｔｅｐ３−２−０］マウス位置テーブル５１の１行目からｘ（１）＝２４，ｘ（０）＝２５，ｙ（１）＝２０，ｙ（０）＝２５を取得する。

［Ｓｔｅｐ３−２−１］Ｌｘ＝｜２４−２５｜＝１、ｙ＝｜２０−２５｜＝５。

［Ｓｔｅｐ３−２−２］Ｌｘ＞Ｌｙ＊ｃｏｎｓｔに代入し、１＞５＊３は偽なのでＳｔｅｐ３−２−４へ進む。

［Ｓｔｅｐ３−２−４］Ｌｙ＞Ｌｘ＊ｃｃｎｓｔに代入し、５＞１＊３は真であり、かつＬｙ＞ｗｉｄｔｈに代入し、５＞１．２は真であるのでＳｔｅｐ３−２−５へ進む。

［Ｓｔｅｐ３−２−５］ｙ（１）−ｙ（０）＝２０−２５＝−５より、ｙ（１）−ｙ（０）＞０を満たさないのでＳｔｅｐ３−２−９へ進む。

［Ｓｔｅｐ３−２−８］ｐａｔｔｅｒｎ＝２である。

［Ｓｔｅｐ３−３］現在のｉは１であり、ｉ＝＝ｌを満たすのでＳｔｅｐ３−４へ進む。

［Ｓｔｅｐ３−４］Ｓｔｅｐ３−２で判定したｐａｔｔｅｒｎである２を入力パターン５２に追加する。

［Ｓｔｅｐ３−７］現在のｉは１、Ｌは１より、ｉ＝＝Ｌを満たすのでＳｔｅｐ３−８へ進む。

［Ｓｔｅｐ３−４］入力パターン作成手段４１は、作成した入力パターン５２：２をパターン比較手段４３に送信する。

［Ｓｔｅｐ４−０］パターン比較手段４３は、入力パターン作成手段４１から入力パターン５２：２を受信する。

［Ｓｔｅｐ４−１］ｉに１を、ｎｕｍにジェスチャーリストの長さである４を代入する。

［Ｓｔｅｐ４−２］（Ａ）入力パターン：２と、（Ｂ）ジェスチャーリスト１行目のパターン：２を比較する。

［Ｓｔｅｐ４−３］（Ａ）と（Ｂ）は等しいのでＳｔｅｐ４−４へ進む。

［Ｓｔｅｐ４−４］パターンリスト１番目の処理：新オブジェクトの追加を選択する。

［Ｓｔｅｐ５］マウスジェスチャー処理手段４０は、オブジェクト操作管理手段４にＳｔｅｐ４−４で選択した処理：新オブジェクトの追加の処理項目を送信する。

［Ｓｔｅｐ６］オブジェクト操作管理手段４は、色空間ウィンドウオブジェクト１５０の新規オブジェクト追加手段１６１にＳｔｅ５で送信された処理：新オブジェクトの追加の実行を依頼する。

［Ｓｔｅｐ７］色空間ウィンドウオブジェクト１５０の新規オブジェクト追加手段１６１は、Ｓｔｅｐ６で送信された処理実行の依頼を受け、新規オブジェクトの追加処理を実行する。

［Ｓｔｅｐ８］オブジェクト操作管理手段４は、ウィンドウ表示手段７０に色空間ウィンドウ３０の再描画要求を送信する。

［Ｓｔｅｐ９］ウィンドウ表示手段７０は、Ｓｔｅｐ８で送信された再描画要求を受信し、色空間ウィンドウ３０を再描画する。

［Ｓｔｅｐ１０］オブジェクト操作管理手段４は、階層ツリー表示手段６０に再描画要求を送信する。

［Ｓｔｅｐ１１］階層ツリー表示手段６０は、Ｓｔｅｐ１０で送信された再描画要求を受信し、階層ツリーウィンドウ２を再描画する。

前記判定用定数ファイル５２と前記ジェスチャーリストファイル５４をユーザがあらかじめ設定し、前記色空間ウィンドウ３０に表示されている最上面の前記３次元物体３４を消去する例で、その際ユーザは、画像処理装置のメニュー項目を表示／選択することなく、「最上面オブジェクトの消去」を意味するマウス動作である、マウスの右ボタンをプレスしながら始めはＹ軸マイナス方向、次にＸ軸プラス方向へマウスポインタを移動することで処理を実行する。

この実施例において、ユーザはまず、判定用定数ファイルとジェスチャーリストを編集する。その後、マウスポインタを座標（２５，２５）から（２９，２４．５）へ、さらに（２８，３０）へと移動したものとする。

図１９は、実施例２の処理の流れを説明する図である。

図２０は、実施例２における色空間ウィンドウの「最上面オブジェクトの消去」の処理を行う前のモニタの表示、図２１は処理を行った後のモニタの表示を表す図である。

以下の説明において図１９から２１に記載されていないシステム構成の番号は、すべて前記に記載されたものと同一である。

表７は、実施例２のＳｔｅｐ０−１で設定した判定用定数である。

表８は、実施例２のＳｔｅｐ０−２で設定したジェスチャーリストファイルである。

表９は、実施例２のＳｔｅｐ２で作成したマウス位置テーブルである。

［Ｓｔｅｐ０−０−１］ユーザは判定用定数設定手段５５に判定用定数の編集を依頼する。

［Ｓｔｅｐ０−１−１］判定用定数設定手段５５は、判定用定数ファイル５３をエディタで開く。

［Ｓｔｅｐ０−１−２］ユーザはＳｔｅｐ０−０−１で開かれた判定用定数ファイル５３に記載の定数の値を表７のように、ｃｏｎｓｔ＝２．５、ｈｅｉｇｈｔ＝２、ｗｉｄｔｈ＝３と設定する。

［Ｓｔｅｐ０−１−３］判定用定数設定手段５５は、判定用定数ファイル５３を保存して閉じる。

［Ｓｔｅｐ０−２−０］ユーザはジェスチャーリスト設定手段６０にマウスジェスチャーリストの編集を依頼する。

［Ｓｔｅｐ０−２−１］ジェスチャーリスト設定手段６０は、ジェスチャーリストファイル５４をエディタで開く。

［Ｓｔｅｐ０−２−２］ユーザはＳｔｅｐ０−２−１で開かれたジェスチャーリストファイル５４に記載の、処理項目に対応するマウスジェスチャーのパターンを、表８に示すように設定する。

［Ｓｔｅｐ０−２−３］ジェスチャーリスト設定手段６０は、ジェスチャーリストファイルを保存して閉じる。

［Ｓｔｅｐ０］ユーザはモニタ１に表示されている色空間ウィンドウ３０上で、マウス１００の右ボタン１０１をプレスする。

［Ｓｔｅｐ１−１］イベント管理手段３は、マウス１００の右ボタン１０１のプレスを認識する。

［Ｓｔｅｐ１−２］マウスポインタ１０２が色空間ウィンドウ３０上に存在するのでＳｔｅｐ１−３へ進む。

［Ｓｔｅｐ１−３］イベント管理手段３は、マウスジェスチャー処理手段４０にマウスジェスチャーの処理を依頼する。

［Ｓｔｅｐ２−０］マウスジェスチャー処理手段４０は、イベント管理手段３からマウスジェスチャーの処理依頼を受信する。

［Ｓｔｅｐ２−１］ｉに０を代入する。

［Ｓｔｅｐ２−２］マウス位置記録手段４２は、マウスポインタ１０２の位置の値（２５，２５）をマウス位置テーブル５１に保管する。ｘ（０）に２５を、ｙ（０）に２５を格納する。

［Ｓｔｅｐ２−３］マウスポインタ１０２が（２９，２４．５）へ移動したのでＳｔｅｐ２−４へ進む。

［Ｓｔｅｐ２−４］ｉに１を加えて１とする。

［Ｓｔｅｐ２−５］マウス位置記録手段４２は、マウス位置テーブル５１に行を一行追加し、マウスポインタの位置の値（２９，２４．５）を、マウス位置テーブルの最下段（（ｘ（１），ｙ（１））に保管する。

［Ｓｔｅｐ２−６］マウスプレスが解除されていないのでＳｔｅｐ２−３へ進む。

［Ｓｔｅｐ２−３］マウスポインタ１０２が（２８，３０）へ移動したのでＳｔｅｐ２−４へ進む。

［Ｓｔｅｐ２−４］ｉに１を加えて２とする。

［Ｓｔｅｐ２−５］マウス位置記録手段４２は、マウス位置テーブル５１に行を一行追加し、（２８，３０）を、マウス位置テーブル５１の最下段（（ｘ（２），ｙ（２））に格納する。

［Ｓｔｅｐ２−６］マウスプレスか解除されたのでＳｔｅｐ２−７へ進む。

［Ｓｔｅｐ２−６］現在のｉは２より、ｉ＞１を満たすのでＳｔｅｐ２−８へ進む。

［Ｓｔｅｐ２−８］マウスジェスチャー処理手段４０は、入力パターン作成手段４１に入力パターンの作成を依頼する。

［Ｓｔｅｐ３−０］入力パターン作成手段４１は、マウスジェスチャー処理手段４０から、入力パターンの作成依頼を受信する。

［Ｓｔｅｐ３−１］ｉに１を、Ｌに（マウス位置テーブル５１の長さ−１）である２を代入する。

［Ｓｔｅｐ３−２−０］マウス位置テーブル５１からｘ（１）＝２９，ｘ（０）＝２５，ｙ（１）＝２４．５，ｙ（０）＝２５を取得する。

［Ｓｔｅｐ３−２−１］Ｌｘ＝｜２９−２５｜＝４、Ｌｙ＝｜２４．５−２５｜＝０．５

［Ｓｔｅｐ３−２−２］Ｌｘ＞Ｌｙ＊ｃｏｎｓｔに代入し、４＞０．５＊２．５を満たす。Ｌｘ＞ｗｉｄｔｈに代入して、４＞３を満たすのでＳｔｅｐ３−２−３へ進む。

［Ｓｔｅｐ３−２−３］ｘ（１）−ｘ（０）＞０に代入して、２９−２５＞０は真よりＳｔｅｐ３−２−６へ進む。

［Ｓｔｅｐ３−２−６］ｐａｔｔｅｒｎ＝１

［Ｓｔｅｐ３−３］現在のｉは１であり、ｉ＝＝１を満たすのでＳｔｅｐ３−４へ進む。

［Ｓｔｅｐ３−４］入力パターンにＳｔｅｐ３−２−６で取得したｐａｔｔｅｒｎである１を追加。

［Ｓｔｅｐ３−７］現在のｉは１、Ｌ＝２より、ｉ＝＝Ｌを満たさないのでＳｔｅｐ３−９へ進む。

［Ｓｔｅｐ３−９］ｉに１を加えて２とする。

［Ｓｔｅｐ３−２−０］マウス位置テーブルからｘ（２）＝２８，ｘ（１）＝２９，ｙ（２）＝３０，ｙ（１）＝２４．５を取得する。

［Ｓｔｅｐ３−２−１］Ｌｘ＝｜２８−２９｜＝１，Ｌｙ＝｜３０−２４．５｜＝５．５

［Ｓｔｅｐ３−２−２］Ｌｘ＞Ｌｙ＊ｃｏｎｓｔに代入し、１＞５．５＊２．５を満たさないのでＳｔｅｐ３−２−４へ進む。

［Ｓｔｅｐ３−２−４］Ｌｙ＞Ｌｘ＊ｃｏｎｓｔかつＬｙ＞ｗｉｄｔｈに代入し、は、５．５＞１＊２．５および５．５＞３よりいずれも満たすのでＳｔｅｐ３−２−５へ進む。

［Ｓｔｅｐ３−２−５］ｙ（２）−ｙ（１）＞０に代入して、３０−２４．５＞を満たすのでＳｔｅｐ３−２−８へ進む。

［Ｓｔｅｐ３−２−８］ｐａｔｔｅｒｎ＝０

［Ｓｔｅｐ３−３］ｉは２より、ｉ＝＝１を満たさないのでＳｔｅｐ３−５へ進む。

［Ｓｔｅｐ３−５］入力パターン５２の最後のパターン数字を取得する。ｌａｓｔ＿ｐａｔｔｅｒｎ＝１

［Ｓｔｅｐ３−６］ｐａｔｔｅｒｎ＝０およびｌａｓｔ＿ｐａｔｔｅｒｎ＝１より、ｐａｔｔｅｒｎ＝ｌａｓｔ＿ｐａｔｔｅｒｎを満たさないのでＳｔｅｐ３−４へ進む。

［Ｓｔｅｐ３−４］入力パターン５２にｐａｔｔｅｒｎである０を追加する。

［Ｓｔｅｐ３−７］ｉは２、Ｌ＝２より、ｉ＝＝Ｌを満たすのでＳｔｅｐ３−８へ進む。

［Ｓｔｅｐ３−８］入力パターン作成手段４１は、作成した入力パターン５２：１０をパターン比較手段４３に送信する。

［Ｓｔｅｐ４−０］パターン比較手段４３は、入力パターン作成手段４１から入力パターン：２を受信する。

［Ｓｔｅｐ４−１］ｉに１を、ｎｕｍにジェスチャーリストの長さである４を代入する。

［Ｓｔｅｐ４−２］（Ａ）入力パターン：１０と、（Ｂ）ジェスチャーリスト１行目のパターン：２を比較する。

［Ｓｔｅｐ４−３］（Ａ）と（Ｂ）は等しくないのでＳｔｅｐ４−５へ進む。

［Ｓｔｅｐ４−５］ｉは１，ｎｕｍは４より、ｉ＝＝ｎｕｍを満たしていないのでＳｔｅｐ４−６へ進む。

［Ｓｔｅｐ４−６］ｉに１を加えて２とする。

［Ｓｔｅｐ４−２］（Ａ）入力パターン：１０と、（Ｂ）ジェスチャーリスト２行目のパターン：１０を比較する。

［Ｓｔｅｐ４−３］（Ａ）と（Ｂ）は等しいのでＳｔｅｐ４−４へ進む。

［Ｓｔｅｐ４−４］ジェスチャーリスト２行目の処理：「再上面のオブジェクトを削除」を選択する。

［Ｓｔｅｐ５］マウスジェスチャー処理手段４０は、オブジェクト操作管理手段４にＳｔｅｐ４−４で選択した処理項目「再上面のオブジェクトを削除」を送信する。

［Ｓｔｅｐ６］オブジェクト操作管理手段４は、色空間ウィンドウオブジェクト１５０の最上面オブジェクト削除手段１６２に対して、Ｓｔｅｐ５で送信された処理「再上面のオブジェクトを削除」の処理の実行を依頼する。

［Ｓｔｅｐ７］再上面オブジェクト消去手段１６２は、Ｓｔｅｐ６で送信された処理の実行依頼を受信して、処理を実行する。

［Ｓｔｅｐ８］オブジェクト操作管理手段４は、ウィンドウ表示手段７０に対して、色空間ウィンドウ３０の再描画要求を送信する。

［Ｓｔｅｐ９］ウィンドウ表示手段７０は、色空間ウィンドウ３０を再描画する。

［Ｓｔｅｐ１０］オブジェクト操作管理手段４は、階層ツリー表示手段６０に、階層ツリーウィンドウ２の再描画要求を送信する。

［Ｓｔｅｐ１１］階層ツリー表示手段７０は、階層ツリーウィンドウ２を再描画する。

本発明１の実施形態である画像処理装置がモニタに表示するウィンドウの例を示す図 本発明１および２の実施形態である画像処理装置を実現するためのシステム図 モニタに示されるマウスポインタの位置を示す図 マウスジェスチャーの方向判定を表す図 マウスジェスチャーの移動方向を示すパターン数字を示す図 入力パターンの例を示す図 本発明１の実施の形態を説明する図 図７を説明するステップ図 イベント管理手段のステップ図 マウスジェスチャー処理手段のステップ図 入力パターン作成手段のステップ図 図１１において入力パターン数字を判定するためにステップ図 パターン比較手段のステップ図 判定用定数設定手段のステップ図 ジェスチャーリスト設定手段のステップ図 実施例１を説明する図 実施例１を実施する前のモニタ画面を示す図 実施例１を実施した後のモニタ画面を示す図 実施例２を説明する図 実施例２を実施する前のモニタ画面を示す図 実施例２を実施した後のモニタ画面を示す図

符号の説明

１ モニタ
２ 階層ツリーウィンドウ
２０ ルートノード
２１ 色空間ウィンドウノード
２２ ３次元物体ノード
２３ ３次元物体ノード
２５ 画像ウィンドウノード
２６ 画像ノード
３０ 色空間ウィンドウ
３２ ３次元物体
３３ ３次元物体
３５ 画像ウィンドウ
３６ 画像
１０２ マウスポインタ

Claims (2)

1. モニタに色空間を示す３次元物体または画像を表示して解析または処理する画像処理装置において、前記モニタに前記３次元物体を表示するウィンドウを色空間ウィンドウ、前記画像を表示しるウィンドウを画像ウィンドウとし、前記色空間ウィンドウを表示する色空間表示手段と、前記画像ウィンドウを表示する画像表示手段と、前記３次元物体および前記色空間ウィンドウまたは前記画像および前記画像ウィンドウの関係をツリー階層に構成するツリー構造作成手段と、前記ツリー構造作成手段により作成された階層ツリーをノードの集まりとして表示する階層ツリー表示手段と、前記装置の入力デバイスであるマウスと、前記マウスのイベントを認識するイベント管理手段と、前記マウスの動作を認識して処理する項目を選択するマウスジェスチャー処理手段と、前記マウスジェスチャー処理手段が選択した処理項目を実行するオブジェクト操作管理手段を有することを特徴とする画像処理装置。
2. 前記マウスの動作方向を判定する定数を設定する判定用設定手段と、前記マウスの動作に対応する処理項目を設定するジェスチャーリスト設定手段を有することを特徴とする請求項１に記載の画像処理装置。

Images