JP2005004543A

JP2005004543A - ユーザインターフェース方法および装置、ならびにコンピュータ・プログラム

Info

Publication number: JP2005004543A
Application number: JP2003168357A
Authority: JP
Inventors: Hiroaki Hida; 博章飛田; Jiyunichi Rekimoto; 純一暦本
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-06-12
Filing date: 2003-06-12
Publication date: 2005-01-06
Also published as: US20050062740A1; US7580574B2

Abstract

【課題】操作が直感的かつ容易であり、さらにデザインイメージに近いオブジェクトを比較的簡単に獲得可能な、ユーザインターフェース手法を提供する。
【解決手段】入力ユーザインタフェースは、入力デバイスからユーザ入力処理モジュールにデータを転送するＩＦ機能を備える。ユーザ入力処理モジュールは、シンボル認識モジュールやシルエット認識モジュール或いは他の内部処理モジュールにコマンドやデータを送る。シンボル認識モジュールは、スケッチ入力されたシンボルを認識する。シルエット認識モジュールは、シルエットの形状等を認識する。テンプレート検索モジュールは、テンプレートデータベースから対応するテンプレートを検索する。検索結果は、モデル生成モジュールに送られ、シルエットや入力シンボルに対応する表示オブジェクトのモデルを生成する。表示処理モジュールは、出力ユーザインタフェースに表示可能な形式のデータを作成する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、ユーザインターフェース方法および装置、ならびにコンピュータ・プログラムに関する。
【０００２】
【従来の技術】
２次元の操作で３次元空間にインタラクションを行えるスケッチインタフェースが数多く存在している。例えば、非特許文献１のＴｅｄｄｙや非特許文献２のＦｌａｔ３Ｄ等を参照。従来のこうしたスケッチインターフェースシステムは、３次元に対する操作を全て２次元の感覚で行うことができるため、操作自体は簡単である。一方で、描画作業の成否はユーザのデザインスキルに大きく依存するため、デザインイメージに近いオブジェクトを簡単に獲得することが困難な場合がある。
【０００３】
一方、２次元や３次元空間のオブジェクトのパラメータ（形、位置、大きさ、色など）をスクリプトとして記述することでシーンを構築する手法もある。例えば、非特許文献３のＭａｙａ（ＴＭ）Ｍｅｌｓｃｒｉｐｔを参照。このようなスクリプトによるシーン構築手法は、文章を記述する感覚でシーンを構築することができる一方で、ユーザは、エディター上でスクリプトを記述しなければならず、直接的に３次元空間と対話することができない。また、意図したシーンやオブジェクトを獲得するためには、スクリプトを記述するための文法的なルールや関数の操作／振る舞い等を覚えなければならず、多くのユーザにとって簡単に操作することができない。
【０００４】
［非特許文献１］
Ｉｇａｒａｓｈｉ，Ｔ．，Ｓａｔｏｓｈｉ，Ｍ．，Ｈｉｄｅｈｉｋｏ，Ｔ．， ”Ｔｅｄｄｙ：ＡＳｋｅｔｃｈｉｎｇＩｎｔｅｒｆａｃｅｆｏｒ３ＤＦｒｅｅｆｏｒｍＤｅｓｉｇｎ”，ｉｎＰｒｏｃ．ｏｆＳＩＧＧＲＡＰＨ９９，４０９−４１６，１９９９．
［非特許文献２］
飛田博章，暦本純一， ”Ｆｌａｔ３Ｄ：クリエーションとコミュニケーションを可能にする３次元共有仮想空間システム”，情報処理学会ジャーナルＶｏｌ．４４Ｎｏ．０２，２００３．（ＨｉｒｏａｋｉＴｏｂｉｔａ，ＪｕｎＲｅｋｉｍｏｔｏ，”Ｆｌａｔ３Ｄ：ＡＳｈａｒｅｄＶｉｒｔｕａｌ３ＤＷｏｒｌｄＳｙｓｔｅｍｆｏｒＣｒｅａｔｉｖｅＡｃｔｉｖｉｔｉｅｓａｎｄＣｏｍｍｕｎｉｃａｔｉｏｎ” ＩＰＳＪＪＯＵＲＮＡＬ，Ｖｏｌ．４４Ｎｏ．０２，２００３．）
［非特許文献３］
Ａｌｉａｓ｜ｗａｖｅｆｒｏｎｔ社ホームページｈｔｔｐ：／／ｗｗｗ．ａｌｉａｓｗａｖｅｆｒｏｎｔ．ｃｏｍ／ｅｎ／ｎｅｗｓ／ｈｏｍｅ．ｓｈｔｍｌ．
【０００５】
【発明の解決しようとする課題】
本発明は、従来技術が有する上記その他の問題点に鑑みて成されたものであり、操作が直感的かつ容易であり、さらにデザインイメージに近いオブジェクトを比較的簡単に獲得可能な、ユーザインターフェース手法を提供することである。本発明の他の目的は、２次元の操作で３次元空間にインタラクションを行う際に、デザインイメージに近いオブジェクトを容易に生成することができる、ユーザインターフェース手法を提供することである。本発明のさらに他の目的は、文字、文字列或いは文章等のテキストベースのシンボルを用いながらも、そのシンボルの意味を通じて直感的な３次元空間との対話を実現することが可能な、ユーザインターフェース手法を提供することである。本発明のさらに他の目的は、図面および以下の説明を通して、順次、明らかにされて行くであろう。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、本発明に係るユーザインターフェース方法および装置、ならびにコンピュータ・プログラムでは、以下の構成が採用される。すなわち、ユーザのスケッチ操作により入力されたオブジェクト配置領域の形状が取得され、配置領域の取得形状に基づきオブジェクトの変換パラメータが取得される。さらに、ユーザのスケッチ操作により入力されたシンボルが取得され、登録されているオブジェクト群からシンボルに関連する表示オブジェクトが検索される。さらにまた、変換パラメータに基づき検索された表示オブジェクトの初期データが変換され、変換後の表示オブジェクトがオブジェクト配置領域に表示される。
【０００７】
本構成によれば、ユーザは、スケッチ操作という直感的な操作を通じて、オブジェクト配置領域を指定することにより、表示オブジェクトに様々な操作を行うことができる。さらに、本構成によれば、ユーザは、スケッチ操作という直感的な操作を通じて、シンボルを指定することにより、それと関連付けられ登録されている表示オブジェクトを容易に呼び出すことができる。配置領域の指定は、例えば、閉曲線を描く等の簡単な操作に基づき実現可能であるし、スケッチによるシンボル指定も、ユーザに親しみ易い紙に文字を記載するような操作に基づき実現可能である。したがって、本構成によれば、ユーザのデザインスキルに大きく依存しない、簡易かつ直感的なデザインツールを実現することができる。
【０００８】
なお、スケッチ操作は、マウス、トラックボール、タブレットデバイス、ジェスチャー入力システム、或いは光ポインティングシステム等の様々なポインティング手段を通して、実現することができる。スケッチ操作においては、点補間やスムージング等の適当な処理により、システム側がユーザを補助することができる。また、登録されたオブジェクト群は、適切な手法により、更新可能である。この更新は、例えば、新たに写真やユーザスケッチ等から適宜オブジェクトを切り出して来てそれに適当なシンボルを割り当てデータベース等の所定のリソースに登録し、或いはシンボルと関連付けられたオブジェクトの初期データ或いは初期データへのポインタ情報等を書き換えることにより、実現可能である。
【０００９】
ここで、本発明によれば、初期データに表示オブジェクトの初期形状データを含め、変換に表示オブジェクトの形状変形を含めることが可能である。勿論、表示オブジェクトの初期データの変換には、形状の変形以外にも、輝度の変換、色の変換、色の濃淡の変換或いは模様の変形等の様々な視覚的な変換を含めることができる。さらに、変換パラメータを、同一アプリケーション内の他のモジュールや他のアプリケーション等から参照可能に設定することで、表示オブジェクトに視覚的効果を加える以外にも、さらに様々な応用が可能となる。例えば、オブジェクト配置領域外への視覚的効果（例えば周辺オブジェクトの変換等）、或いは表示オブジェクトに付随する聴覚効果（例えば効果音の発生）等を発生させることが可能となる。
【００１０】
さらに、本発明によれば、オブジェクト配置領域に初期形状が設定されており、変換パラメータが初期形状と取得形状との比較に基づき取得される構成を採用することもできる。
【００１１】
また、本発明によれば、オブジェクト配置領域の初期形状が３次元形状であり、配置領域の取得形状が２次元形状であり、変換パラメータが初期形状の２次元投影形状と取得形状、または取得形状の３次元拡張形状と初期形状、の比較に基づき所得され、変換パラメータを取得するステップの前に、初期形状の２次元投影または取得形状の３次元拡張を行うステップがさらに含まれる構成を採用することができる。この構成では、２次元操作でオブジェクト配置領域の指定を通して、本発明にかかる構成での３次元空間との直感的なインタラクションをユーザに提供することができることとなる。
【００１２】
さらに、本発明によれば、シンボルは、文字、文字列または文章であり、シンボルに関連する表示オブジェクトは、シンボルの意味に関係するイメージオブジェクトである構成を採用することも可能である。このような構成を採用することによって、スクリプト言語等の文法（ｓｙｎｔａｘ）や意味（ｓｅｍａｎｔｉｃｓ）等に精通しなくても、文字を通して、容易にイメージオブジェクトを獲得することができる。逆の見方をすれば、表示オブジェクトを通じて文字の意味をユーザに提示するということもできる。この場合、ユーザは、例えば、意味の不明な文字、単語、熟語等をシンボルとして入力することにより、ユーザの指定した配置領域形状に対応する態様で、その意味をイメージ的に認識することが可能となる。
【００１３】
本発明のさらに他の特徴は、図面および以下の説明を通して、順次、明らかにされて行くであろう。
【００１４】
【発明の実施の形態】
（システム概要）
まず、本実施形態にかかるシステム例の概要について簡単に説明する。本システム例は、ユーザが手書き入力でイメージオブジェクトを獲得するためのものである。本例では、基本的に、ユーザが、シルエット（ｃｏｎｔｏｕｒ／ｌｉｎｅ／ｏｕｔｌｉｎｅ／ｓｉｌｈｏｕｅｔｔｅ）の描画と、適切な領域に漢字描画することにより、文字の意味に関連するオブジェクトがシルエット内に生成される。
【００１５】
本例における基本的な処理フローは、次の通りである。
１．ユーザがシルエット（例えば閉曲線）を描画
２．システムがシルエットを表示
３．ユーザが適切な描画領域（例えば閉曲線内）に漢字を入力
４．システムがシルエットの大きさ・形状データ（テンプレートとの比較に基づく変換パラメータとして使用可能）と文字の認識結果を保持
５．システムが文字の認識結果からデータベースを参照し文字に対応する表示オブジェクトを選択
６．システムがシルエットの形に表示オブジェクトの形を対応させる
７．システムがシルエット内に表示オブジェクトを表示
【００１６】
（画面イメージ例）
＜図５＞〜＜図７＞を使い、本システムにかかる表示イメージ例を示す。＜図５＞の例では、ユーザからシステムへの入力側インタラクションは、ＧＵＩの選択と、シルエットや漢字の描画操作と、を基本として行われる。したがって、例えば、通常のＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）とモニターとを組み合わせたハードウェアコンフィグレーション上で、マウスによる操作をベースに実現する。また、タブレットＰＣ、ＰＤＡや壁型の実世界指向インタフェースなどのペンや人の指による入力をサポートするシステムと組み合わせることで、ユーザに対し、より自然な操作を提供することができる。
【００１７】
＜図５＞の例では、ユーザは、システムに対し、ＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）部品の選択と、ストローク描画により操作を行う。この例において、表示領域は、ＧＵＩ部品部分と描画部分に大別される。
ＧＵＩ部品部分の例は、＜図５＞下方に示されており、モード選択用のＧＵＩ部品等を備えている。モード選択用のＧＵＩ部品としては、例えば、シルエット入力ＧＵＩ部品、シンボル入力ＧＵＩ部品、チェンジＧＵＩ部品、ペンＧＵＩ部品、テキストＧＵＩ部品、消去ＧＵＩ部品、或いは選択オブジェクト変更用のＧＵＩ部品等を挙げることができる。これらＧＵＩ部品は、＜図５＞のような形式で表示しても良いし、ラジオボタン、チェックボックス、或いはプルダウンメニュー等のように他の選択型ＧＵＩオブジェクトとしてシステムに実装することも可能である。なお、現在では、ＧＵＩ部品とそれに対応する機能とは、ユーザやシステム開発者により容易に対応の変更が可能である。このため、＜図５＞では、各ＧＵＩ部品とその関連機能との対応については、特に説明を行わない。必要な機能を適当なＧＵＩ部品に関連付けて使用することができるという程度に理解されたい。
描画部分の例は、＜図５＞の中央部に示されている。
【００１８】
＜図５＞の例においては、例えば、ユーザがシルエットＧＵＩ部品を選択することにより、システムがシルエット描画モードに移行する。このモードでは、ユーザは作業空間にシルエットを描画することができる。この描画結果は、３次元位置情報のリストとしてシステムにより保持される。リスト情報は閉曲線が描画された場合のみ格納対象（システムによる保持対象）とすることが良い。さらに、シルエット描画の後で、例えば、ユーザが漢字ＧＵＩ部品を選択すると、システムは漢字描画モードとなる。このモードにおいて、ユーザは、例えばシルエット内に、漢字を直接または間接的に描画（手書き入力）することができる。漢字描画は、スクリーンの画像データとしてシステムに保持される。
【００１９】
さらに、その後、ユーザがセットＧＵＩ部品を押すことで位置情報を保持するリストデータと漢字描画情報を保持する画像データの２つのデータに対して処理が行われる。例えば、ストロークリストは、アプリケーションの描画モジュールに閉曲線を描かせることができるようなデータセットであり、このリストをＴｒｉａｎｇｕｌａｒ関数に渡すことで、閉曲線内部は複数の三角形をベースに細分化が行われる。また、画像データはＯＣＲ（ＯｐｔｉｃａｌＣｈａｒａｃｔｅｒＲｅｃｏｇｎｉｔｉｏｎ）ライブラリに渡され文字認識が行われる。文字認識の結果からデータベースが参照されオブジェクトが決定され、このオブジェクトをシルエットに当てはめることで漢字からオブジェクトへの変換が完了する。
【００２０】
なお、本システム例では、場合によって、シルエットを介さず、漢字描画のみでオブジェクトへの変換も可能である。漢字の大まかな形をシルエットと同じ様に扱うことで、漢字描画だけでの変換も可能である。さらに、選択ＧＵＩ部品を設けずに、例えば、描画ストロークのみからオブジェクトを獲得したり、等の他の方法に基づき、システムのモード切替を行えるシステムを構築することも可能である。
【００２１】
＜図６＞に示すように、本システム例では、漢字ＧＵＩ部品を選択した時にユーザが「木」と描画した場合、シルエット内に木のモデルが現れる。例えば、チェンジＧＵＩの選択操作（押す等）により、他のオブジェクト候補を当てはめ直すことができるようにシステムを構築することで、ユーザはより用途に合ったオブジェクトを獲得し易くなる。また、描画の仕方で、直接的にオブジェクトの形を変換することも可能である。データベースには、同一漢字に対する複数のオブジェクトがあらかじめ登録されているので、ユーザはＧＵＩの操作によりこれらの候補を選択することができる。結果として、ユーザはシルエットと漢字の描画、及び、選択の３工程でオブジェクトの獲得を行うことができる。このため、本システムを用いれば、既にユーザが身に付けていて、日常生活で文章を書くのに使う漢字等をベースにすることで、ユーザが特別な学習をすることなくシステムを使える点に特徴がある。
【００２２】
本システム例を用いると、＜図７＞に示すように、
組み合わせにより、より複雑なオブジェクトを生成することも可能である。シルエットと漢字の描画からえられたオブジェクトの上に、さらに漢字を描画することで複雑なオブジェクトを獲得できる。例えば、シルエット内に”木”と書いて木オブジェクトを獲得した後で、木オブジェクトの上に”赤”と書くことで赤い木オブジェクトを獲得できる。また、オブジェクト間に関連を持たせたインタラクション手法も可能である。木オブジェクトの横に、シルエットと漢字の”時”描画からえられた時計オブジェクトを設定することで、時計を操作することで木の状態を変更することができる。
【００２３】
なお、本システムは、様々な素材に対して対応することができる。例えば、モデルだけではなく、音（笑、怒、泣）への変換や、キャラクターアニメーション（飛、走、歩）などの様々なコンテンツに対して適用することも可能である。本システムにおいては、テンプレートのデータベースを更新することにより、容易にオブジェクトの登録を行うことができる。
【００２４】
（機能モジュール）
＜図１＞は、本実施形態にかかるユーザインタフェース装置の機能モジュール群の一実施例を示す概略的なブロックダイアグラムである。＜図１＞は、説明の便宜上、非常に単純化されたイメージを示したものに過ぎない。本実施形態の実際の実装に際しては、これら機能モジュールの各機能を、適宜、適切なハードウェアコンポーネントやソフトウェアコンポーネントに割り当てることになる。このため、実際の実装時の概観が＜図１＞と同一ではなくなる場合も十分にあり得る。また、当然、各機能モジュール自体に、適当な改良、修正、追加、機能拡張等が加えられることもある。
【００２５】
＜図１＞の入力ユーザインタフェース１は、キーボード、マウス或いはタブレット入力装置等のユーザ入力デバイスを含み、ユーザ入力デバイスからユーザ入力処理モジュール３にデータを転送するＩＦ機能を備える。なお、本実施形態において、入力ユーザインタフェース１は、ユーザ入力デバイスとして、少なくとも、ユーザがスケッチ操作を施すことが可能なものを備えていることが好ましい。勿論、複数あるいは複数種類の入力手段を備える構成、例えばマルチモーダル入力型の構成等を採用することにより、多様な入力形態をとることも可能である。
【００２６】
ユーザ入力処理モジュール３は、入力ユーザインタフェース１を介して入力されたユーザ操作を解釈し、該操作に対応する処理が行われるように、後段のシンボル認識モジュール５やシルエット認識モジュール７或いは他の内部処理モジュール２１にコマンドやデータを送る。本実施形態において、ユーザ入力処理モジュール３は、少なくとも、ユーザによるスケッチ操作からシルエット入力とシンボル入力とを認識することができることが好ましい。このような構成は、ＧＵＩ部品の選択情報やユーザの入力ストローク情報等をキーにして、条件判断を行うことで、実現可能である。ここで、シンボルには、例えば、仮名文字、カタカナ文字、漢字、ハングル文字、アラビア文字、アルファベット文字等の文字、スペース、カンマ、ピリオド、アットマーク、顔文字等の記号文字、図形やイラスト等、並びに、文字列等のそれらを組み合わせたもの等、様々なものを適用することができる。また、シンボルに文字を適用する場合には、ＡＳＣＩＩ系やＵｎｉｃｏｄｅ系等のいずれ文字体系のものを用いても良い。また、シルエットは、シンボルに対応するモデル図形が何かしらの関連を持ちながら表示されるような、モデル表示のベースとなるオブジェクトである。例えば、シンボルに対応するモデル図形を表示する表示領域のようなものとすることができる。なお、本実施形態においては、シンボル、シルエットともに、ユーザに高度なデザインスキルを要求するものよりは、スケッチ操作によりユーザが簡単に入力可能なものを適用することが好適である。
【００２７】
シンボル認識モジュール５は、ユーザ入力処理モジュール３からの入力シンボルに関るデータ等に基づき、ユーザによりスケッチ入力されたシンボルが何であるかを認識する。例えばＯＣＲの文字認識機能やＰａｌｍＯＳ（米Ｐａｌｍ社製）のＧｒａｆｆｉｔｉのようなものを利用することにより、実現可能である。また、シルエット認識モジュール７は、ユーザ入力処理モジュール３からの入力シルエットに関るデータ等に基づき、ユーザによりスケッチ入力されたシルエットの形状等を認識する。シンボル認識やシルエット認識は、データの統合、キャリブレーションや補間等の適当な処理を用いることにより、認識精度を確保することが好ましい。
【００２８】
テンプレート検索モジュール１１は、シンボル認識モジュール５やシルエット認識モジュール７の認識結果を受けて、テンプレートデータベース１３から対応するテンプレートを検索する（以下、適宜、データベースを『ＤＢ』と省略記載する）。検索結果は、モデル生成モジュール１５に送られる。ＤＢ更新モジュール９は、例えば、テンプレートデータやシンボル、シルエットとの対応関係等の追加、変更、削除、書換等を行い、テンプレートＤＢ１３の登録情報を更新する。ＤＢ更新モジュール９によるＤＢ更新には、所定ルールに基づき自動で行う構成、ユーザの所定指示に基づき手動で行う構成、或いはそれらを適度に組み合わせる構成等を採用することができる。＜図１＞では、シンボル認識モジュール５やシルエット認識モジュール７からのデータに基づき、ＤＢ更新モジュール９によるＤＢ更新が行われるように記載されているが、本実施形態の構成はこれに限られない。他の入力処理２１からの入力データ等に基づいて、ＤＢ更新をするように構成することも当然可能である。
【００２９】
テンプレートデータベース１３は、表示オブジェクトのテンプレートデータを格納し、テンプレート検索モジュール１１を介して、少なくとも認識文字等のシンボルデータを使って対応表示オブジェクトのテンプレートを検索可能な構成を有する。また、場合により、シルエットのテンプレートデータをテンプレートデータベース１３に格納する構成とすることも可能である。ここで、テンプレートデータベース１３は、シンボルデータと対応テンプレートが同一エントリに含まれるように構成したり、シンボルデータから１又は２以上の識別情報（ＩＤ番号、ポインタ、ＵＲＬ等）を経由して対応テンプレートを検索できるように構成したり、することで容易に実現可能である。データベース内のデータは、ネットワークに接続された一の機器のローカルリソースやスタンドアローン機器に非分散的に記録しておいても良いし、複数の機器から構成されるネットワークに分散的に記録しておいても良い。
【００３０】
ここで、テンプレートデータベース１３に登録されたテンプレートには、３次元データを用いることができる。このような構成を採用すると、ユーザによる２次元的なスケッチ入力から、容易に３次元モデルを生成することができるようになる。つまり、このような構成を採用することで、３次元空間との対話の容易なスケッチインターフェースの提供が可能となる。さらに、本実施形態では、ユーザ入力処理モジュール３、シンボル認識モジュール５やシルエット認識モジュール７等にも、２次元データの３次元拡張機能を持たせることもできる。２次元データの３次元拡張機能については、本件発明者等による特開２００２−０２４８６０、特開２００２−０７４３９９、特願２００２−０００９４５或いは特願２００２−３６３４９３等に記載された発明を適用することもできる。ここで、これら先行技術の内容は、参照としてここに組み込まれる。
【００３１】
モデル生成モジュール１５は、テンプレート検索モジュール１１からテンプレートのデータを受け取ると、取得テンプレートに適切な変換を施し、シルエットや入力シンボルに対応する表示オブジェクトのモデルを生成する。なお、本システムでは、少なくとも一のシルエットについて行われた変換結果が、該シルエットと関連して表示される入力シンボルの対応表示オブジェクトに反映させられるように構成される。
【００３２】
表示処理モジュール１７は、モデル生成モジュール１５で生成されたモデル等から、出力ユーザインタフェース１９に含まれるディスプレイ等に表示可能な形式のデータを作成する。この表示処理モジュール１７では、上記のようにテンプレートに３次元データを使う場合、レンダリング処理等により、３次元データを２次元化することになる。出力ユーザインタフェース１９は、ディスプレイ装置、オーディオ出力装置、触感出力装置等の出力デバイスを含む。出力ユーザインタフェース１９の構成は、周知であるため、説明を省略する。
【００３３】
＜図１＞において、他の入力処理モジュール２１や他の出力処理モジュール２５は、上記以外の処理を実行するための機能モジュールである。例えば、他の出力処理モジュール２５では、生成モデルに対応する音声出力データを生成したり、他の入力処理モジュール２１では、シンボル入力とシルエット入力以外のユーザ入力を処理し、適当な内部処理を実行したり、することも可能である。
【００３４】
（処理フローの例）
＜図２＞〜＜図４＞には、本実施形態にかかるユーザインタフェース方法の一実施例を説明するための概略的なフローチャートを示す。具体的には、＜図２＞には、典型的な処理フローに沿ったフローチャートを示し、＜図３＞には、ユーザ入力イベントを中心としたフローチャートを示す。さらに、＜図４＞には、＜図２＞や＜図３＞の一部のステップについてのより詳細なフローチャートを示す。
【００３５】
まず、ステップ＜Ｓ１＞では、ユーザによるシルエット描画があったか否かを検出する。このステップは、例えば、ユーザによって、シルエット描画モードが選択されており、かつ閉曲線を描く等の所定の描画操作が行われたか否かを検出することで、実現することができる。ここで、肯定的な結果の場合、ステップ＜Ｓ２＞に処理が移り、否定的な結果の場合、シルエット描画モードが選択されている限り、ステップ＜Ｓ１＞が繰り返される。
【００３６】
ステップ＜Ｓ２＞では、ユーザによって入力されたシルエット領域が特定され、シルエットモデルが取得される。ここで、シルエットモデルには、例えば、円や球等の極めて単純なモデルを適用する場合、シルエットモデル自体をデータベースに登録しておく必要はなく、その都度演算によって求めることもできる。一方、複雑なモデルをシルエット化する場合には、そのテンプレートデータをデータベースに登録しておき、ユーザ入力の認識結果に基づき、データベースからシルエットテンプレートを検索するように構成しても良い。
【００３７】
ステップ＜Ｓ３＞では、ストローク情報が所定のリソース上に格納される。ここで、ストローク情報には、ストロークに対応するシルエット自体の描画データとともに、後述のステップで、シンボルに対応する表示オブジェクトの変換に用いるパラメータも含まれる。ステップ＜Ｓ４＞では、シルエットオブジェクトが表示される。
【００３８】
次に、ステップ＜Ｓ５＞では、ユーザによる漢字描画が有ったか否かを検出する。このステップは、例えば、ステップ＜Ｓ３＞で格納された適切なストローク情報が存在し、ユーザによって、漢字描画モードが選択されており、かつ適切な入力領域に認識可能な漢字の手書き入力操作が行われたか否かを検出することで、実現することができる。適切な入力領域には、表示されたシルエット内、シンボル認識用に用意された専用領域或いはタブレット等の入力デバイス上の認識可能領域等を用いることができる。ステップ＜Ｓ５＞が肯定的な結果の場合、ステップ＜Ｓ６＞に処理が移り、否定的な結果の場合、例外処理（後述）に処理が移る。
【００３９】
ステップ＜Ｓ６＞では、ユーザによって入力された手書き文字がシステムによって認識される。ユーザによる手書き入力データを、例えば、既存のＯＣＲライブラリ等を使いパターンマッチング処理することにより、認識は可能である。
【００４０】
ステップ＜Ｓ７＞では、認識された文字の情報を基に、テンプレートデータベースの検索が行われる。適切な表示オブジェクトがデータベースから取得できれば、ステップ＜Ｓ８＞において表示オブジェクトが有りと判断されステップ＜Ｓ９＞で表示オブジェクトが取得される。適切な表示オブジェクトがデータベースから取得できなければ、ステップ＜Ｓ８＞において表示オブジェクトが無しと判断され、例外処理（後述）に処理が移る。
【００４１】
ステップ＜Ｓ１３＞では、例外処理として、例えばシステムが漢字描画待ち状態か否かが判断される。結果が肯定的な場合、ユーザによる漢字描画を待つように、ステップ＜Ｓ５＞に処理が戻る。結果が否定的な場合には、処理が最初に戻る。
【００４２】
ステップ＜Ｓ１０＞では、シルエットの形に表示オブジェクトを対応させる。この対応は、想定されるシルエット形状と実際のシルエットストロークとの比較により求まるパラメータ、例えば、縦方向と横方向の縮尺率等、面積の変化率、傾き等に基づき、表示オブジェクトの形状を変形させたり、生物表示オブジェクトの表情を変化させたり、テクスチャー表示オブジェクトに適当な陰影をつけたり、或いは適当な聴覚的効果を発生させたり等、様々な態様で実現することができる。
【００４３】
ステップ＜Ｓ１１＞では、ステップ＜Ｓ１０＞で変換処理された表示オブジェクトの情報がシステムに格納され、ステップ＜Ｓ１２＞においてシステム上の適当なタイミングで当該表示オブジェクトがユーザに提示される。また、＜図２＞では、いくつかのステップからフローを終了できるように記載されているが、これはアプリケーション終了時等が起きた場合のパスである。この構成は、設計変更的な事項と考えられるため、詳細な説明を省略する。
【００４４】
＜図３＞は、＜図２＞のフローチャートをユーザ入力を中心に書き換えたものであるため、＜図２＞の対応ステップについて同一の参照符号を付すことにより、説明を省略する。
【００４５】
＜図４＞は、主に＜図２＞および＜図３＞の＜Ｓ９＞〜＜Ｓ１１＞部分のより詳細なフローチャートである。表示オブジェクトのみならずシルエットデータもテンプレートデータベースに登録したテンプレートに基づき生成する構成においては、＜図２＞および＜図３＞の＜Ｓ２＞〜＜Ｓ３＞部分にも同様に＜図３＞の処理を適用することができる。
【００４６】
ステップ＜Ｓ１０１＞では、データベースからテンプレートデータが取り出される。
【００４７】
ステップ＜Ｓ１０２＞では、テンプレートデータの個数と全体距離を１とした時の割合を格納する。
【００４８】
ステップ＜Ｓ１０３＞では、テンプレートの外接四角形が計算される。
【００４９】
ステップ＜Ｓ１０４＞では、テンプレートデータの割合を元に入力ストロークを正規化する。
【００５０】
ステップ＜Ｓ１０５＞では、ストロークの外接四角形を計算する。
【００５１】
ステップ＜Ｓ１０６＞では、アスペクト比を算出する。
【００５２】
ステップ＜Ｓ１０７＞では、ストロークを円に変形する。
【００５３】
ステップ＜Ｓ１０８＞では、円のデータ及びテンプレートデータをＴｒｉａｎｇｌｅｒに代入しストローク内をｐａｔｃｈで埋める。
【００５４】
ステップ＜Ｓ１０９＞では、Ｐａｔｃｈデータをオブジェクトとして保持する。
【００５５】
（擬似コード）
＜表１＞〜＜表１０＞には、本実施形態にかかるコンピュータプログラムの一実装例を擬似的なソースコードの形で示す。その内容は、ここに組み込まれる。
【表１】

【表２】

【表３】

【表４】

【表５】

【表６】

【表７】

【表８】

【表９】

【表１０】

【００５６】
以上、好適な具体例を例示して、本発明の実施形態について説明をしたが、本発明はかかる構成に限定されない。
【００５７】
例えば、上記実施形態では、シンボルとシルエット自体をユーザがスケッチ入力する場合を例示したが本発明はかかる構成に限定されない。例えば、シンボルおよび／またはシルエット自体は、バーコードの読み取りやイメージデータからの切り出し等の非スケッチ入力に基づき入力し、その編集（追加、修正等）についてのみスケッチ入力を行う構成を採用しても構わない。この場合、本発明では、シルエットに対する編集結果を表示上のシンボルの振る舞いに反映させるようにすることができる。
【００５８】
【発明の効果】
以上説明したように、本発明によれば、操作が直感的かつ容易であり、さらにデザインイメージに近いオブジェクトを比較的簡単に獲得可能な、ユーザインターフェース手法を提供することができる。さらに、本発明によれば、２次元の操作で３次元空間にインタラクションを行う際に、デザインイメージに近いオブジェクトを容易に生成することができる、ユーザインターフェース手法を提供することができる。さらにまた、本発明によれば、文字、文字列或いは文章等のテキストベースのシンボルを用いながらも、そのシンボルの意味を通じて直感的な３次元空間との対話を実現することが可能な、ユーザインターフェース手法を提供することができる。
【００５９】
また、本発明によれば、非常に有用な教育ツール、特に文字教育や単語教育のツールを実現できる可能性がある。例えば、漢字の形は、実世界における振る舞いや形から由来しているものが多く、漢字と画像などのオブジェクトを直接結び付けることで意味や形を理解する手助けになると考えられる。従って、子供向けの漢字教育や外国人向けの日本語教育において、漢字とオブジェクトが直接対応付けされている本手法は効果的であると考えられる。また、幼児や非母国語の学習者等に単語を教える際にも、単語とともに対応するイメージを示すことができれば、学習者の興味を惹くことができるとともに、高い学習効果を期待することができる。
【００６０】
さらに、本発明による表示オブジェクトの獲得は、単に、変換だけではなく描画のトリガーとしての利用も可能である。変換したオブジェクトをベースにして、その上に色を塗ったりすることでクリエーションのトリガーとしての機能がある。
【００６１】
さらにまた、本発明による表示オブジェクトは、簡単なデータ構成に基づき実現可能なので、メール等に添付する新たなコミュニケーションツールとして利用可能である。すなわち、データはビットマップ上の描画とすることができるため、この描画をメールで送ることは可能である。また、ＰＤＡなどのペン入力をサポートするコンピュータで手書き文字入力をする際に有効である。さらに、共有仮想空間でのコミュニケーションにおいても、漢字描画でオブジェクトを生成できることに加え、データも軽いので、ネットワークを介したコミュニケーションでは効果的であると考える。
【図面の簡単な説明】
【図１】本発明にかかるユーザインタフェース装置の機能モジュール群の一実施例を示す概略的なブロックダイアグラム
【図２】本発明にかかるユーザインタフェース方法の典型的な処理フローに沿ったフローチャート例
【図３】本発明にかかるユーザインタフェース方法のユーザ入力イベントを中心としたフローチャート例
【図４】表示オブジェクトのオブジェクト配置領域への対応処理に関するフローチャート例
【図５】本発明にかかるシステムの表示イメージ例
【図６】本発明にかかるシステムの基本変換に関する表示イメージ例
【図７】本発明にかかるシステムの応用変換に関する表示イメージ例
【符号の説明】
１：入力ユーザインタフェース、３：ユーザ入力処理モジュール、５：シンボル認識モジュール、７：シルエット認識モジュール、９：データベース更新モジュール、１１：テンプレート検索モジュール、１３：テンプレートデータベース、１５：モデル生成モジュール、１７：表示処理モジュール、１９：出力ユーザインタフェース

Claims

ユーザインターフェース方法であって：
ユーザのスケッチ操作により入力されたオブジェクト配置領域の形状を取得する、ステップと；
上記配置領域の上記取得形状に基づき、オブジェクトの変換パラメータを取得する、ステップと；
ユーザのスケッチ操作により入力されたシンボルを取得する、ステップと；
登録されているオブジェクト群から上記シンボルに関連する表示オブジェクトを検索する、ステップと；
上記変換パラメータに基づき、検索された上記表示オブジェクトの初期データを変換する、ステップと；
変換後の上記表示オブジェクトを上記オブジェクト配置領域に表示させる、ステップと；
を含むことを特徴とする、ユーザインターフェース方法。
上記初期データは、表示オブジェクトの初期形状データを含み；
上記変換は、表示オブジェクトの形状変形を含む；
ことを特徴とする、請求項１のユーザインターフェース方法。
上記オブジェクト配置領域には、初期形状が設定されており；
上記変換パラメータは、上記初期形状と上記取得形状との比較に基づき取得される；
ことを特徴とする、請求項１のユーザインターフェース方法。
上記オブジェクト配置領域の初期形状は、３次元形状であり；
上記配置領域の上記取得形状は、２次元形状であり；
上記変換パラメータは、上記初期形状の２次元投影形状と上記取得形状、または上記取得形状の３次元拡張形状と上記初期形状、の比較に基づき所得され；
上記変換パラメータを取得するステップの前に、上記初期形状の２次元投影または上記取得形状の３次元拡張を行うステップをさらに含む；
ことを特徴とする、請求項３のユーザインターフェース方法。
上記シンボルは、文字、文字列または文章であり；
上記シンボルに関連する表示オブジェクトは、上記シンボルの意味に関係するイメージオブジェクトである；
ことを特徴とする、請求項１のユーザインターフェース方法。
ユーザインターフェース装置であって：
ユーザのスケッチ操作により入力されたオブジェクト配置領域の形状を取得する、手段と；
上記配置領域の上記取得形状に基づき、オブジェクトの変換パラメータを取得する、手段と；
ユーザのスケッチ操作により入力されたシンボルを取得する、手段と；
登録されているオブジェクト群から上記シンボルに関連する表示オブジェクトを検索する、手段と；
上記変換パラメータに基づき、検索された上記表示オブジェクトの初期データを変換する、手段と；
変換後の上記表示オブジェクトを上記オブジェクト配置領域に表示させる、手段と；
を含むことを特徴とする、ユーザインターフェース装置。
コンピュータ・プログラムであって：
コンピュータを、ユーザのスケッチ操作により入力されたオブジェクト配置領域の形状を取得する手段として機能させる、モジュールと；
コンピュータを、上記配置領域の上記取得形状に基づきオブジェクトの変換パラメータを取得する手段として機能させる、モジュールと；
コンピュータを、ユーザのスケッチ操作により入力されたシンボルを取得する手段として機能させる、モジュールと；
コンピュータを、登録されているオブジェクト群から上記シンボルに関連する表示オブジェクトを検索する手段として、機能させるモジュールと；
コンピュータを、上記変換パラメータに基づき、検索された上記表示オブジェクトの初期データを変換する手段として、機能させるモジュールと；
コンピュータを、変換後の上記表示オブジェクトを上記オブジェクト配置領域に表示させる手段として機能させる、モジュールと；
を含むことを特徴とする、コンピュータ・プログラム。