JP2000259851A - 動的モデル変換装置及び方法 - Google Patents

Abstract

(57)【要約】 【課題】 既に入力されているようなデータのモデル
を、手書きによって加筆される画像によっても、音声に
よっても、別のモデルに動的に変換することができる動
的モデル変換装置及び方法を提供する。 【解決手段】 動的モデル変換装置は、所定の画像空間
内に第１の画像データを入力する手段と、音声データを
入力する手段と、入力された第１の音声データを認識し
て言語又は命令に変換する音声認識手段と、第１の音声
データと第１の画像データが入力された時間的関係に基
づいて第１の画像データが持つ属性又は手続きを変換す
るデータ・モデル変換手段とを備える。一連の画像デー
タを認識し処理する際に、既に入力された様々なデータ
のモデルを、手書きによって加筆される画像によって
も、音声によっても、適切にモデルを認識し、変換する
ことができる。また、知識ベースを交換することによっ
て、操作者に応じた画像認識と動的モデル変換を容易に
実現することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、所定形式のデータ
で表されるモデルを他のモデルに変換する動的モデル変
換装置及び方法に係り、特に、手書きデータや音声デー
タ、静止画像データ、動画像データ、手書きや音声の認
識結果である文字・図形・ジェスチャ（命令）で表され
るモデルを他のモデルに動的に変換する動的モデル変換
装置及び方法に関する。

【０００２】更に詳しくは、本発明は、既に入力されて
いるようなデータのモデルを、手書きによって加筆され
る画像によっても、音声によっても、別のモデルに動的
に変換する動的モデル変換装置及び方法に関する。

【０００３】

【従来の技術】昨今の情報処理技術の発展に伴い、高機
能で且つ強力な演算能力を持つ汎用コンピュータ・シス
テムが、各種研究機関や企業内のオフィス、一般家庭へ
と広汎に普及してきている。

【０００４】この種のコンピュータは、通常、キーボー
ドやマウス、ディスプレイなどのように、ユーザからの
入力やユーザへの情報提示を実現するための「ユーザ・
インターフェース」を備えている。ユーザは、キーボー
ドを介してキャラクタ・ベースのコマンド入力を行なう
ことができる。また、ビットマップ形式の表示機能によ
って実現されるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ
Ｉｎｔｅｒｆａｃｅ）環境下のデスクトップ画面上で
は、ユーザは必ずしもコマンドをキー入力する必要はな
く、関心のあるオブジェクトに対して直感的にマウス操
作（クリック、ドラッグ、ドロップなど）することでシ
ステムに所望の動作を実行させることが許されている。

【０００５】マウスによる入力操作はキーボード入力よ
りも直感的で分かり易く、ユーザ・フレンドリである。
しかしながら、マウスにしてもキーボードにしても、専
門家ではない一般的な人間の感覚に対して依然として不
自然さが残り、入力操作が定着するにはある程度以上の
時間と労力を要する。このため、より自然な感覚でユー
ザ入力を実現するユーザ・インターフェースが期待さ
れ、これまでにも数多くの技術が提案され開発されてい
る。１つの例は音声入力であり、他の例は手書き入力で
ある。

【０００６】このうち手書き入力は、タブレットなどの
略平坦な入力面上でペンやスタイラスなどで手書き入力
された文字や図形をシステムが自動的に認識して、シス
テムへのコマンドやデータの入力として扱うことによっ
て実現される。

【０００７】従来、タブレットのような入力装置から手
書き入力されたものを認識させる装置では、手書き入力
されたデータが文字であればパターン・マッチングなど
により文字として認識され対応する文字コードに変換さ
れる。また手書きデータが図形や線画であれば、夫々図
形データ又は線画データとして、ベクトル・データ又は
ラスタ・データに変換して扱われる。また、手書きデー
タがジェスチャとして認識された場合には、対応する命
令などに変換するして用いられる。言い換えれば、手書
きデータという形式で入力されたモデルは、他のモデル
に変換されてシステム内で扱われるというのが一般的で
あった。

【０００８】例えば、特開平６−１１１０７３号公報に
開示された手書き情報認識装置は、表示一体型タブレッ
トに入力された筆跡座標、あるいは文書情報記憶装置に
記憶されている既入力文書情報に対して、文字らしさ、
図形らしさ、編集用記号らしさなど、夫々のカテゴリを
識別するための評価項目に従って各カテゴリ毎の確信度
を得点付けし、最も高得点か又は閾値以上の得点を持つ
カテゴリを入力情報のカテゴリとして識別するようにな
っている。

【０００９】また、画像で表されるモデルを変換する幾
つかの技術についても、既に幾つかの提案がなされてい
る。例えば、特開平７−１１０８７２号公報では、複数
の２次元画像データから３次元データのモデルに変換す
るソリッド・モデル合成装置及び合成方法について開示
している。すなわち、同合成装置は、入力した２次元図
形データを平面図データと断面図データとに分類し、平
面図データから閉領域と各閉領域間の包含関係を検出す
るとともに、検出された閉領域の属性を検出して、同じ
属性を持つ閉領域をグループ化する。さらに、検出され
た閉領域のデータに基づいて断面図データを分割して、
分割された断面図データに基づいて閉領域を立体化する
とともに、立体化された閉領域と同じグループに属する
その他の閉領域についても同じ方法で立体化する。そし
て、各閉領域間の包含関係に基づいて集合演算により各
閉領域を組み合わせてソリッド・モデルを合成する。

【００１０】また本出願人に既に譲渡されている特願平
１０−２６６８６１号明細書（社内整理番号：ＦＥ９８
−００１８１）は、手書きデータを含む画像データのモ
デルを他のモデルに動的に変換する動的モデル変換装置
について開示している。すなわち、同動的モデル変換装
置は、入力された手書きデータの近傍にある近傍データ
のリストを作成し、このリストから近傍データを取り出
して、手書きデータとの関係をパターン化して、このパ
ターンと知識ベースに格納されているパターンとの照合
を行ない、動的にモデルを変換するようになっている。

【００１１】しかしながら、上記の各特許出願において
開示された技術はいずれも、画像データだけに基づく変
換であるため、入力が煩わしいという問題がある。

【００１２】

【発明が解決しようとする課題】本発明の目的は、所定
形式のデータで表されるモデルを他のモデルに変換する
ことができる、優れた動的モデル変換装置及び方法を提
供することにある。

【００１３】本発明の更なる目的は、手書きデータや音
声データ、静止画像データ、動画像データ、手書きや音
声の認識結果である文字・図形・ジェスチャ（命令）で
表されるモデルを他のモデルに動的に変換することがで
きる、優れた動的モデル変換装置及び方法を提供するこ
とにある。

【００１４】本発明の更なる目的は、既に入力されてい
るようなデータのモデルを、手書きによって加筆される
画像によっても、音声によっても、別のモデルに動的に
変換することができる、優れた動的モデル変換装置及び
方法を提供することにある。

【００１５】

【課題を解決するための手段及び作用】本発明は、上記
課題を参酌してなされたものであり、その第１の側面
は、所定形式のデータで表されるモデルを他のモデルに
変換する動的モデル変換装置であって、所定の画像空間
内に第１の画像データを入力する手段と、音声データを
入力する手段と、入力された第１の音声データを認識し
て言語又は命令に変換する音声認識手段と、第１の音声
データと第１の画像データが入力された時間的関係に基
づいて第１の画像データが持つ属性又は手続きを変換す
るデータ・モデル変換手段とを具備することを特徴とす
る動的モデル変換装置である。

【００１６】また、本発明の第２の側面は、所定形式の
データで表されるモデルを他のモデルに変換する動的モ
デル変換方法であって、（ａ）所定の画像空間内に第１
の画像データを入力するステップと、（ｂ）第１の音声
データを入力するステップと、（ｃ）第１の音声データ
を認識して言語又は命令に変換するステップと、（ｄ）
第１の音声データと第１の画像データが入力された時間
的関係に基づいて第１の画像データが持つ属性又は手続
きを変換するステップと、を具備することを特徴とする
動的モデル変換方法である。

【００１７】本発明に係る動的モデル変換装置によれ
ば、一連の画像データを認識し処理する際に、既に入力
された様々なデータのモデルを、手書きによって加筆さ
れる画像によっても、音声によっても、適切にモデルを
認識し、変換することができる。

【００１８】また、知識ベースを交換することによっ
て、操作者に応じた画像認識と動的モデル変換を容易に
実現することができる。

【００１９】本発明のさらに他の目的、特徴や利点は、
後述する本発明の実施例や添付する図面に基づくより詳
細な説明によって明らかになるであろう。

【００２０】

【発明の実施の形態】以下、図面を参照しながら本発明
の実施例を詳解する。

【００２１】図１には、本発明の実施に供される動的モ
デル変換装置１００のハードウェア構成を模式的に示し
ている。本実施例に係る動的モデル変換装置１００は、
画像処理という業務に適用したものである。以下、各部
について説明する。

【００２２】ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓ
ｉｎｇ Ｕｎｉｔ）１は、動的モデル変換装置１００全
体の動作を統括的に制御するためのメイン・コントロー
ラである。一般に、ＣＰＵ１は、オペレーティング・シ
ステム（ＯＳ）の制御下で各種プログラム・コードを実
行し、本実施例においては動的モデル変換に関わる各種
処理のための演算や論理判断などを行なう。

【００２３】ＣＰＵ１は、「バス」と呼ばれる共通信号
伝送路１１を介して各種周辺装置と相互接続されてい
る。

【００２４】プログラム・メモリ２は、ＣＰＵ１が実行
するプログラム・コードをロードしたり、処理中の作業
データを一次書き込むための書き込み可能メモリであ
る。プログラム・メモリ２は、通常、複数個のＤＲＡＭ
（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅ
ｍｏｒｙ）チップで構成される。

【００２５】手書き画像入力部３は、例えば「タブレッ
ト」のような、画像データのペン入力を受容する装置で
ある。ペン入力指示座標の読み取り方式は、感圧式、静
電容量式など、特に限定されない。

【００２６】手書き画像認識部４は、手書き画像入力部
３から手書き入力された画像データを文字、図形、ジェ
スチャ等に分類して認識する機能モジュールである。

【００２７】音声入力部５は、例えばマイクのような、
音声データを入力する装置である。また、音声認識部６
は、音声データを認識して、対応する言語や命令に変換
する機能モジュールである。

【００２８】記憶部７は、手書き画像データや音声デー
タ、マルチメディア・データ、ＣＰＵ１において処理さ
れたデータのモデル、及び、各モデル間の関係を記述し
たデータを記憶する機能モジュールである。記憶部７の
実体は、例えば、ハード・ディスク装置のような大容量
の記憶装置、又は、ハード・ディスク内に格納されたフ
ァイルである。

【００２９】知識ベース８は、入力データのモデルに対
するモデル変換を行うための各種の知識を保有するモジ
ュールであり、その実体はハード・ディスク装置のよう
な大容量記憶装置、又はハード・ディスク内に格納され
たファイルである。

【００３０】ここで言う「知識」とは、具体的には、２
以上のモデル間で生じうる関係や、関係が生じた場合の
モデル変換手順などを記述した情報である。また、ここ
で言う「関係」とは、例えば、モデル間の距離や入力の
時間間隔、包含、交差、交点や接点の数などのことを指
す。これらの知識は、一般的なＩＦ−ＴＨＥＮ形式のル
ールで表現することができる。

【００３１】動的モデル変換部９は、手書きデータや音
声データと、時間的あるいは空間的に近いデータとの関
係から、夫々のモデルを動的に変換する処理を行う機能
モジュールである。但し、モデルの動的変換に関する処
理手順の詳細については後述する。

【００３２】出力部１０は、手書き画像データや音声デ
ータ、マルチメディアデータ、記憶部７に記憶されたデ
ータなどを画像で表示し、音声データを再生する装置で
ある。具体的には、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ
Ｔｕｂｅ）やＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ
Ｄｉｓｐｌａｙ）のような表示装置と、スピーカのよう
な音声出力装置の組み合わせで構成される。

【００３３】なお、上述した動的モデル変換装置１００
は、動的モデル変換のために特化してデザインされた専
用のハードウェア装置として実装される他、ワークステ
ーションやパーソナル・コンピュータと呼ばれる汎用コ
ンピュータ・システム上で所定のアプリケーション・プ
ログラムを実行するという形態でも実現される。アプリ
ケーションの一例は、動的モデル変換用プログラムであ
る。

【００３４】次いで、動的モデル変換装置１００による
モデルの動的変換処理について説明する。図２には、手
書き画像の処理に認識結果を動的に反映させるための動
的モデル変換処理の手順をフローチャートの形式で示し
ている。以下、このフローチャートの各ステップについ
て説明する。

【００３５】まず、ステップＳ１０１では、手書きデー
タ又は音声データを、手書き画像入力部３又は音声入力
部５を介して入力する。入力された手書き画像は手書き
画像認識部４で、音声データは音声認識部６で、夫々認
識され、各々の認識結果から必要となるモデルが生成さ
れる。なお、手書き画像認識及び音声認識の処理手順自
体は周知技術を適用可能なので、本明細書ではこれ以上
説明しない。

【００３６】次いで、ステップＳ１０２では、ステップ
Ｓ１０１で入力されたデータを基に、時間的或いは空間
的に近い１以上のデータとそれらの組み合わせからなる
変換候補データ・リストを生成する。

【００３７】次いで、ステップＳ１０３では、初期のパ
ターン照合対象をセットする。

【００３８】次いで、ステップＳ１０４では、照合する
２つのモデルが入力され又は参照された時間的間隔や空
間的な距離、交点、接点、形状などの特徴をパターン化
する。

【００３９】次いで、ステップＳ１０５では、知識ベー
ス８に格納されているパターンの中から、ステップＳ１
０４で作成されたパターンを検索する。

【００４０】ステップＳ１０６では、マッチするパター
ンが知識ベース８中で発見できたか否かをチェックす
る。判断ブロックＳ１０６の結果、マッチするパターン
を発見できたならばステップＳ１０７へ進み、発見でき
なければステップＳ１０８へ進む。

【００４１】ステップＳ１０７では、知識ベース８に登
録されているルールに従って、音声又は手書きデータの
モデルや変換候補データのモデル、あるいは音声又は手
書きデータと変換候補データの両方のモデルを変換し
て、この処理フロー全体を終了する。但し、ここで言う
「モデルの変換」とは、属性や手続きの追加や変更、削
除、モデル自体の複製や削除などを意味する。

【００４２】他方、ステップＳ１０８では、上記のステ
ップＳ１０２において作成された変換候補データ・リス
トをチェックする。リスト中に未照合の変換候補データ
が存在する場合は次ステップＳ１０９に進み、存在しな
い場合にはこの処理フロー全体を終了する。

【００４３】ステップＳ１０９では、変換候補データ・
リストから次の変換候補データを取り出し、ステップＳ
１０４に復帰して上述と同様の処理を繰り返し行なう。

【００４４】図３には、モデルを動的に変換する様子を
図解している。以下、この図に従って説明する。

【００４５】図３は、手書きされた４角形ａを示して
いる。この４角形ａは、始点の座標（ｘ１，ｙ１）、幅
（ｗ１）、高さ（ｈ１）という各属性値を有するフレー
ム・モデルである。

【００４６】４角形ａを手書きする前後に「マトリク
ス」という文字列を音声入力すると、音声認識部６によ
る認識結果に基づいて、言語データ「マトリクス」を属
性として持つモデルが生成される。

【００４７】ここで、”４角形ａを手書きした前後の適
当な時間間隔内に「マトリクス」という音声が入力され
認識された場合は４角形ａがマトリクスｂである”、と
いう旨の知識（ルール）が知識ベース８に予め登録され
ているとする。この場合、手書き入力された図形は、音
声入力に従って、表に変換される。（図３）

【００４８】図３は、マトリクスｂに対して重なるよ
うに線分ｃが手書きされた状態を示している。線分ｃ
は、単独では、始点座標と終点座標という座標情報のみ
で表されるモデルになる。

【００４９】ここで、”マトリクスｂの同じ列に重なる
線分ｃは列の分割あるいは列の挿入を表す”、という旨
の知識が知識ベース８に予め登録されているものとす
る。この場合、線分ｃは音声入力に従ってマトリクスの
列に変換される。すなわち、マトリクスの列を容易に増
やすことができる訳である。

【００５０】同様に、図３は、知識ベース８に登録さ
れた知識に従って、手書きされた線分ｄによってマトリ
クスの行が増やされた状態を示している。

【００５１】線分ｄは、単独では、始点座標と終点座標
という座標情報のみで表されるモデルになる。”マトリ
クスｂの同じ行に重なる線分ｄは列の分割あるいは行の
挿入を表す”、という旨の知識が知識ベース８に予め登
録しておくことにより、線分ｄは音声入力に従ってマト
リクスの行に変換される。すなわち、マトリクスの列も
容易に増やすことができる訳である。

【００５２】なお、マトリクスｂに対する加筆は、上述
したようなマトリクス内の行や列の追加以外に、マトリ
クスの外側に接する線分などで手書きした場合でも、必
要な知識が登録されていれば変換が可能であることは言
うまでもない。

【００５３】［追補］以上、特定の実施例を参照しなが
ら、本発明について詳解してきた。しかしながら、本発
明の要旨を逸脱しない範囲で当業者が該実施例の修正や
代用を成し得ることは自明である。すなわち、例示とい
う形態で本発明を開示してきたのであり、限定的に解釈
されるべきではない。本発明の要旨を判断するために
は、冒頭に記載した特許請求の範囲の欄を参酌すべきで
ある。

【００５４】

【発明の効果】以上詳記したように、本発明によれば、
所定形式のデータで表されるモデルを他のモデルに変換
することができる、優れた動的モデル変換装置及び方法
を提供することができる。

【００５５】また、本発明によれば、手書きデータや音
声データ、静止画像データ、動画像データ、手書きや音
声の認識結果である文字・図形・ジェスチャ（命令）で
表されるモデルを他のモデルに動的に変換することがで
きる、優れた動的モデル変換装置及び方法を提供するこ
とができる。

【００５６】本発明に係る動的モデル変換装置によれ
ば、一連の画像データを認識し処理する際に、既に入力
された様々なデータのモデルを、手書きによって加筆さ
れる画像によっても、音声によっても、適切にモデルを
認識し、変換することができる。また、知識ベースを交
換することによって、操作者に応じた画像認識と動的モ
デル変換を容易に実現することができる。

【図面の簡単な説明】

【図１】 本発明の実施に供される動的モデル変換装置
１０のハードウェア構成を模式的に示した図である。

【図２】 動的モデル変換の処理手順を示したフローチ
ャートである。

【図３】 手書き入力された画像のモデルを動的に変換
する具体例を図解したものであり、より具体的には、図
３は手書きされた４角形ａを表した図、図３は知識
ベース８に登録された知識に従って手書きされた４角形
ａがマトリクスｂに変換された様子を示した図、図３
はマトリクスｂの列に対して重なるように手書き入力さ
れた線分ｃが知識ベース８に登録された知識に従ってマ
トリクスの列に変換された状態を示した図、図３はマ
トリクスｂの行に対して重なるように手書き入力された
線分ｄが知識ベース８に登録された知識に従ってマトリ
クスの行に変換された状態を示した図である。

【符号の説明】

１…ＣＰＵ ２…プログラム・メモリ ３…手書き画像入力部 ４…手書き画像認識部 ５…音声入力部 ６…音声認識部 ７…記憶部 ８…知識ベース ９…動的モデル変換部 １０…表示部 １１…バス １００…動的モデル変換装置

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ１０Ｌ 15/28

Claims (2)

【特許請求の範囲】
1. 【請求項１】所定形式のデータで表されるモデルを他の
   モデルに変換する動的モデル変換装置であって、 所定の画像空間内に第１の画像データを入力する手段
   と、 音声データを入力する手段と、 入力された第１の音声データを認識して言語又は命令に
   変換する音声認識手段と、 第１の音声データと第１の画像データが入力された時間
   的関係に基づいて第１の画像データが持つ属性又は手続
   きを変換するデータ・モデル変換手段と、を具備するこ
   とを特徴とする動的モデル変換装置。
2. 【請求項２】所定形式のデータで表されるモデルを他の
   モデルに変換する動的モデル変換方法であって、（ａ）
   所定の画像空間内に第１の画像データを入力するステッ
   プと、（ｂ）第１の音声データを入力するステップと、
   （ｃ）第１の音声データを認識して言語又は命令に変換
   するステップと、（ｄ）第１の音声データと第１の画像
   データが入力された時間的関係に基づいて第１の画像デ
   ータが持つ属性又は手続きを変換するステップと、を具
   備することを特徴とする動的モデル変換方法。