JP2000123200A

JP2000123200A - ユーザーインターフェース

Info

Publication number: JP2000123200A
Application number: JP29213798A
Authority: JP
Inventors: Ruml Wheeler; ウィーラー・ラムル; Marks Jezef; ジェゼフ・マークス; Lyall Kathleen; キャスリーン・ライアル; Stuart Merrill Shieber; スチュアート・メリル・シーバー
Original assignee: Mitsubishi Electric Information Technology Corp; Mitsubishi Electric Research Laboratories Inc
Current assignee: Mitsubishi Electric Information Technology Corp; Mitsubishi Electric Research Laboratories Inc
Priority date: 1998-09-29
Filing date: 1998-10-14
Publication date: 2000-04-28
Also published as: EP0992944A1

Abstract

(57)【要約】【課題】ユーザによる確認および選択のための処理が
容易で、入力パラメータにおける変化の効果を容易に確
認できるインターフェースを提供する。【解決手段】インターフェースは、入力データに変換
関数を適用することにより得られる出力ベクトルに確認
する際に有用である。インターフェースは、ユーザー
に、特にコンピュータ生成及びコンピュータ変形された
イメージと関連して、変換関数を作成する異なるパラメ
ータ設定の効果を調査することを可能にする。インター
フェースは、中央ディスプレイパネルと複数のイメージ
ディスプレイの周囲の領域を含む。出力ベクトルの各々
に対応しているイメージの簡潔なスケッチは、出力ベク
トルの間の関係を表すために中央ディスプレイパネルに
位置され、出力ベクトルはそれらの間の距離を判定する
ために処理され、距離は中央ディスプレイパネルの二次
元のディスプレイに映し出される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、非線形系におけ
る入力ベクトルおよび対応する出力ベクトルを生成およ
び操作するシステムに関するもので、より詳しくは、潜
在的なパラメータおよび出力を生成し、ユーザによって
拾い読みされる出力を編成し、これを表示するシステム
であって、所望の出力ベクトルの特徴を有する特定の入
力ベクトルの選択システムに関する。

【０００２】

【従来の技術】コンピュータシミュレーションにおける
主な問題点の一つに、入力パラメータの選択がある。入
力パラメータのセットは、シミュレーションによって与
えられたマッピング機能に基づいて出力を画定する。あ
る出力効果を求めようとすると、好ましい出力をもたら
す一組の入力パラメータを見つけだすことは困難であ
り、かつ多くの処理にあきあきする。通常、マッピング
機能は、多次元、非線形、かつ不連続である。したがっ
て、所望の出力を有する特定の入力パラメータは計算で
きない。所定の所望の出力に対する入力パラメータを決
定できるとしても、出力がその通り記述できるとは限ら
ない。

【０００３】パラメータの選択のために、２種類の汎用
のコンピュータ支援プロセスが開発されている。すなわ
ち、対話型展開（interactive evolution）と逆（もし
くは最適化ベースの）設計（inverse design）である。

【０００４】対話型展開の例は、K. Simsの「Artificia
l Evolution for Computer Graphics」COMPUTER GRAPHI
CS (SIGGRAPH 91講義録), v.25, 319 - 328 (１９９１
年７月)およびS.ToddとW. Lathamの「Evolutionary Art
and Computers」（１９９２年）に開示されている。こ
のようなシステムでは、コンピュータは可能なパラメー
タの設定を探求し、ユーザは好ましい出力を主観的に選
択する。コンピュータは出力を生成し、そして生成され
た出力を表示する。ユーザは、次の探求のためにある出
力を選択する。コンピュータは、ユーザのある一定の対
応する出力の選択に基づいて、入力パラメータの次の選
択を基底づける。しかしながら、当該システムは、マッ
ピングの計算の複雑性が増加するにつれて有用性が損な
われる。当該プロセスが異なるパラメータからの出力を
リアルタイムで生成できないとすると、ユーザは選択前
に各出力を待たねばならないので該システムは使用不能
となる。

【０００５】逆設計システムの例は、K. Simsの「Evolv
ing Virtual Creatures」COMPUTERGRAPHICS (SIGGRAPH
94 講義録) 15 - 22（１９９４年７月）およびJ.K. Ka
wai、J.S. PainterおよびM.F. Cohenの「Radioptimizat
ion - Goal-Based Rendering」COMPUTER GRAPHICS (SIG
GRAPHI 93講義録) 147 - 154（１９９３年８月）に述べ
られている。逆設計によって、ユーザは出力を通して目
的関数を入力する。コンピュータは、次に目的関数を最
適化するようにパラメータの設定を検索する。しかしな
がら、検索を実行するために、目的関数は数学的に表さ
れる必要がある。多くの場合、目的関数は、所望の結果
を記述するように展開できない。好ましいものにさせる
出力の特性または特徴を決定できないことが多い。

【０００６】このような各種のアプローチは、三次元仮
想環境において光を選択し、配置し調整するという背景
においてこれまで使用され、または使用が可能であっ
た。対話型展開アプローチにおいて、ユーザは、情景に
追加するためにあるランダムに生成された光を繰り返し
選択する。光がそれぞれ追加されると、該環境の画像が
再び与えられる。次に、コンピュータは、よりランダム
な光を生成し、ユーザの選択に向けて生成処理をバイア
スする。ユーザは、次に新たなランダムの集合から選択
する。この処理は、非常に時間がかかる。光線追跡法ま
たはラジオシティ法等の高性能なレンダリングプログラ
ムが使用されるとすると、光を基にした画像生成に相当
の時間がかかる。画像レンダリング処理は、光が変化す
るごとに繰り返されなければならない。

【０００７】逆設計アプローチは、特定の照明（lighti
ng）効果を達成するために光を決定しようとする試みに
おいてもまた使用されてきた。しかしながら、ユーザ
は、画像の所望の照射特性（illumination characteris
tics）を明瞭に表すことができなければならない。照明
設計に熟達している見識のあるユーザが必要となる。ま
た、理解可能な形式で目的のものの照明を公式化できる
ユーザが必要となる。見識あるユーザに加えて、所望の
照射から光を測定する既存のコンピュータシステムおよ
びプロセスは、画像に対する照明の可能性を制限するも
のである。

【０００８】たとえば、Kawai、PainterおよびCohenの
「Radioptimization - goal-based rendering」、SIGGR
APH 93講義録、147-154頁では、ユーザによって入力さ
れた照射の主観的印象から光を測定するシステムを記載
している。該システムでは、最適化技法を用いて、入射
された照射の印象に適合するように最適な照明パラメー
タを決定する。しかしながら、ユーザは、考慮される照
明選択を厳しく限定する一組の限定された可能な光位置
を入力する必要がある。同様に、Schoeneman、Dorsey、
Smits、ArvoおよびGreenbergは、「Painting with Ligh
t」SIGGRAPH 93講義録、143-146頁では、ユーザによっ
て入力されたある画素強度レベルを達成するために光を
測定する最適化技法を使用したシステムを開示してい
る。該システムでは、ユーザに全体画像に対して画素強
度レベルを入力できることを要求している。また、最適
光を決定するために限定された一組の光位置がユーザに
よって入力されることを要求している。

【０００９】さらに別のシステムは、PoulinおよびFour
nierにより「Lights from Highlights and Shadows」In
teractive Graphicsに関する1992年シンポジウムの講義
録、31-38頁に、ユーザにハイライト（highlight）およ
びシャドウ（shadow）の所望の配置を特定可能にさせる
ものが開示されている。該システムは、該所望のハイラ
イトおよびシャドウを達成するために、幾何学的技法を
用いて最適光位置および種類を測定するものである。前
述したシステムのように、該システムでは、見識のある
ユーザに設定照明パターンを心に決めておくことを要求
している。新たな光位置の設定を決定するために、特定
された照明パターンの調節は再処理される必要がある。

【００１０】

【発明が解決しようとする課題】したがって、所望の結
果を得るために、ユーザによって容易に処理可能な入力
パラメータを選択し出力を生成するシステムが必要とな
る。入力パラメータにおける変化の効果をユーザによっ
て容易に確認できるシステムが必要となる。多くの潜在
的なパラメータの設定を考慮し結合させることのできる
システムが必要となる。最終的には、入力および出力の
マッピングにおいて限られた経験を有する人間によって
使用可能なシステムが必要となる。

【００１１】この発明は上述した点に鑑みてなされたも
ので、既存のパラメータ設定システムの不具合を克服す
ることができ、入力パラメータを選択し出力を生成する
際にユーザによって容易に処理可能であり、入力パラメ
ータにおける変化の効果をユーザによって容易に確認で
きるユーザーインターフェースを提供するものである。

【００１２】

【課題を解決するための手段】この発明に係るユーザー
インターフェースは、出力ベクトル間の関係を表してい
る位置で出力ベクトルを表示する中央のディスプレイパ
ネルと、複数のイメージを表示するための複数のイメー
ジ・ディスプレイパネルとを含み、変換関数を入力デー
タおよび対応するイメージに適用することにより生成さ
れた複数の出力ベクトルを表すものである。

【００１３】また、上記複数のイメージが選択された出
力ベクトルに対応するように、ユーザー入力を受信し、
中央のディスプレイパネルからの出力ベクトルを選択す
るためのイメージ選択手段をさらに含んでいることを特
徴とするものである。

【００１４】また、上記中央のディスプレイパネルにお
ける出力ベクトルと複数のイメージとの一致をグラフィ
ックに表すための手段をさらに含んでいることを特徴と
するものである。

【００１５】また、上記出力ベクトルのうちの１つを表
示している追加のディスプレイをさらに含んでいること
を特徴とするものである。

【００１６】また、上記出力ベクトルに対応している複
数の入力ベクトルのうちの１つを表示している追加のデ
ィスプレイをさらに含み、各入力ベクトルは、入力デー
タに適用されるとき対応する出力ベクトルを生成する変
換関数を表すことを特徴とするものである。

【００１７】さらに、上記出力ベクトルを取り決めるた
めの手段をさらに含み、当該出力ベクトルを取り決める
ための手段は、多次元空間における出力ベクトルの間の
距離を判定するためのための手段と、上記多次元空間か
ら二次元空間までの前記距離を投影するためのための手
段と、上記二次元空間における位置に対応している上記
中央のディスプレイ上の位置で、上記出力ベクトルの各
々を表すための手段とを有することを特徴とするもので
ある。

【００１８】

【発明の実施の形態】この発明では、選択処理を実行す
るシステムによって既存のパラメータ設定システムの不
具合が実質的に克服される。この発明の該システムは、
入力ベクトルとして多数の潜在的なパラメータセットを
生成し、各入力ベクトルに対応する出力ベクトルを作成
する。入力ベクトルは、可能な出力の空間を覆うように
分散された一組の出力ベクトルを形成するために計算さ
れる。出力は、ユーザによる確認のために編成される。

【００１９】この発明の一態様によると、膨大な数の潜
在的な入力ベクトルは、識別された一組の潜在的なパラ
メータを通してランダムに生成される。解像度の低い出
力画像は、各入力ベクトルのための出力ベクトルとして
生成される。

【００２０】この発明の別の態様によると、解像度の低
い出力画像は、各種の入力ベクトルを消去するために使
用される。出力ベクトル空間を最もよく張る一群の入力
ベクトルが選択される。解像度の高い出力画像または出
力ベクトルは、選択された出力それぞれのために生成さ
れてもよい。

【００２１】この発明の別の態様によると、分散された
一組の出力ベクトルは、入力ベクトルの準ランダム選択
によって決定される。入力のランダム選択中、分散を決
定するためにこの対応する出力ベクトルが分析される。
そして入力ベクトルを形成するパラメータのサンプリン
グは、時間をかけて調整されてより分散された一組の出
力を生成できる。または、一組のパラメータはランダム
に摂動可能である。これによって演算結果の組は、一組
の出力ベクトルがさらに分散されるとすると、入力ベク
トルとして代入できる。

【００２２】この発明の別の態様によると、出力画像
は、編成されてユーザによって容易に拾い読みされる。
グラフ理論を用いて、出力ベクトルは、その要素が互い
に最も類似する部分集合に編成される。ユーザーインタ
ーフェースは、該集合を表示して画像の選択を可能にす
る。ユーザは、各集合について、代表出力の表示から第
一の出力を選択する。そして部分集合の代表出力ベクト
ルは、次の選択のために表示される。このようにして、
ユーザは特定の出力ベクトルを選択することができる。

【００２３】または、出力ベクトルは、出力ベクトルの
ための類似度マトリクス (similarity metric)に基づい
てグラフィックに構成できる。ユーザは、所望の出力ベ
クトル効果が達成されるまで、より詳細な画像の確認の
ためにある出力ベクトルを選択することができる。

【００２４】この発明の別の態様によると、ユーザは、
最終的な合成出力ベクトルを生成するために所望の特性
と組み合わされる各種の出力ベクトルを選択してもよ
い。出力ベクトルは、所望の出力画像効果が達成される
まで選択されることが可能であり、また選択を取り消す
ことができる。

【００２５】図１は、この発明と関連して使用可能な汎
用コンピュータシステムを図示している。メモリ２は、
入力ベクトルを出力ベクトルに変換するためのマッピン
グ機能を格納する。中央処理装置（ＣＰＵ）１は、メモ
リ２に接続され、入力ベクトルを処理し、出力ベクトル
を生成し、消去しかつこれを編成し、さらに出力画像ま
たは出力ベクトルを選択するためにユーザーインターフ
ェースを操作する。ディスプレイ５は、ＣＰＵ１に接続
され、ユーザーインターフェースと関連して出力画像を
表示する。ユーザは、キーボード４またはマウス３を介
して情報を入力して入力ベクトルにパラメータをセット
し、そしてインターフェイスを操作する。

【００２６】コンピュータ化された画像についての設定
光の例において、メモリ２は照明が使用される情景およ
びこの照明に関連するデータを格納する。中央処理装置
（ＣＰＵ）１はこの情景を処理し、光および与えられた
情景の画像を生成し、消去し、これを編成し、さらに画
像を生成するためにユーザーインターフェースを操作し
て照明を選択する。ディスプレイ５は、ユーザーインタ
ーフェースと関連して画像を表示する。ユーザは、キー
ボード４またはマウス３を介して情報を入力して照明パ
ラメータをセットし、そして照明選択のためのインター
フェイスを操作する。

【００２７】図２は、この発明の実施態様におけるシス
テムのプロセス全体を図示する。図２は、出力ベクトル
の集合が所望の特性を有するように、入力ベクトルのパ
ラメータを選択するプロセスを図示する。ステップ１０
００において、入力パラメータの多様な集合が選択され
る。パラメータの各集合は、入力ベクトルを形成する。
選択は、ランダムであってよく、またはいくつかの所定
のプロセスにしたがってもよい。入力パラメータの選択
後、分散された出力画像の集合は入力ベクトルに基づい
て決定される（ステップ１０１０）。分散された出力画
像の集合を決定するために様々なプロセスが利用できる
が、これについては詳細を後述する。一部のプロセスで
は、画像を表す出力ベクトルの分散についての情報は、
次の入力パラメータ選択のために入力ベクトルの選択に
戻される（ステップ１０１５）。出力ベクトルの集合が
一度決定されると、これらは、選択を目的としてユーザ
によって拾い読みできるように整える（ステップ１０２
０）。このアレンジメントプロセスは、出力ベクトルお
よび出力画像の特性そして所望の選択プロセスに依存す
る。このように構成された出力画像は、ユーザによる選
択（ステップ１０４０）のために表示される（ステップ
１０３０）。選択の後、出力画像の表示は、ある一定の
出力の選択または選択取消しのため変形されてもよい。

【００２８】図４は、画像のための照明を生成すること
に関連してこの発明のプロセス全体を図示している。入
力ベクトルおよび出力ベクトルは、分散された出力ベク
トルの集合を生成するように、本第一実施態様の分散プ
ロセスにおいて生成される。ステップ１００において、
当該システムは、可能な光の集合を生成する。

【００２９】光１００を生成するプロセスは図５に図示
される。各光は、この光を表すパラメータを３個まで含
む。すなわち、位置、光の種類そして光の標的(target)
である。位置は、画像の情景の中の配置を表すが、これ
は画像の内側にあってもまたは画像の外側からであって
もよい。光の位置は、光フック表面に基づいて測定され
る。ユーザが光フック表面を入力すると（ステップ２０
５）、該システムは、これらの表面上のランダムな配置
に光位置を生成する（ステップ２１０）。

【００３０】図３は、この発明において照射可能な画像
を図示する。画像は、２つの壁１０、１１と床１７とを
含む。これらのうちいずれが光フック表面であってよ
い。さらに、該情景は、２つの別の壁と１つの天井とを
本質的に含むが、これらは図示されていない。これらも
また光フック表面であってもよい。

【００３１】各光位置に少なくとも１種類の光が生成さ
れる。異なる光の種類は、異なる照明特性を有する。光
の種類は、異なる強度を有する点光（point light）
と、領域光（area lights）と、スポット光とを含む。
ユーザは、使用可能な異なる光の種類を入力することが
できる（ステップ２０５）。該システムは、各位置に光
の種類をそれぞれ生成してもよく、すなわち入力された
種類の集合から各位置の光の種類をランダムに選択して
もよい。

【００３２】スポット光等の方向光について、方向情報
は、光が対向する位置の形で提供される。ユーザは、一
組の光の標的の表面を入力できる。方向光は、ランダム
に選択された標的の表面上のランダムな位置に向くよう
に自動的に生成されることになる。図３の例示におい
て、椅子、テーブル、テーブル上の物体、棚、または棚
上の物体は光の標的であってもよい。または、壁、床お
よび天井は、画像内にまたは観察者に隠れているかどう
かであっても光の標的として同様に作用してもよい。

【００３３】光フック表面、光の種類および光の標的の
表面に基づいて、該システムは、潜在的な光の集合を生
成する（ステップ２２５）。光のパラメータは、該シス
テムのための入力ベクトルである。潜在的な最大照明選
択のために、好ましくは、潜在的な光の数はたとえば数
千と大きく、それぞれが入力ベクトルに対応している。
ユーザは数千の光の画像を容易に確認することができな
い（さらにこのような膨大な数の解像度の高い画像は容
易に生成および格納できない）ので、潜在的な光の数を
減少しなければならない。好ましくは、光空間のうち最
も広域な集合の潜在的な光を維持しながら、光の数を減
少することができる。

【００３４】生成および精選プロセスは、図２におい
て、入力ベクトルを選択するステップ（ステップ１００
０）の第一実施態様による分散プロセスを示す。光の数
を減少させるために、解像度の低い画像（出力ベクト
ル）は、光線追跡法または同様の技法を用いて各光につ
いて生成される（ステップ１０５、図４）。該画像はメ
モリ２に格納される。一実施態様では、解像度の低い画
像は３２×２５画素の解像度を有する。解像度の低い画
像は、画像を生成する所要の時間を制限するために使用
される。解像度の低い画像は、潜在的な光を精選するた
めに使用されて（ステップ１１０）光空間にわたる画像
の集合Ｓを選択する。

【００３５】光を精選するプロセスは図６に図示され
る。まず、照度をほとんど有さない画像が消去される
（ステップ２５０）。このために、画像の画素強度が合
計される。総強度値が選択可能なしきい値よりも小さい
場合、画像およびその対応する光は消去される。第二
に、照明空間を最も広域に覆う画像の集合が選択され
る。画像と光の集合を選択するために反復プロセスが利
用される。各反復において、すでに選択されている画像
の集合の中で最も近い画像と最も異なる画素強度値（pi
xel intensity value）を有する画像を選択する。この
反復プロセスは、所定の数の画像が選択されてしまうま
で繰り返される。それぞれ新たに選択された画像は、選
択されている画像の完全な集合と最も異なるので、最後
の集合は潜在的な光の空間を最もよく張る。

【００３６】該反復プロセスを実行するための可能なス
テップが図６のステップ２５５から３２５に図示されて
いる。この図では、集合Ｐは、まだ選択されていない潜
在的な光の画像の集合を表し、該集合Ｐにおける各画像
はＰ画像として表される。集合Ｓは、すでに選択されて
いる画像の集合を表し、集合Ｓにおける各画像はＳ画像
として表される。第一画像は、ステップ２５５において
集合Ｐから集合Ｓへ転送される。この画像は、ランダム
に選択されてもよく、また生成されている該第一画像等
該画像のうち所定のものであってもよい。画像は、集合
Ｐからそして集合Ｓから選択される（ステップ２６０お
よび２６５）。Ｓ画像およびＰ画像は、これらがどのく
らい近似しているかを測定するために比較される。近似
性（closeness）を測定するために各種の方法が使用可
能である。

【００３７】この発明の一実施態様では、差分測定が使
用される。差分測定は以下の式で求められる。 Σ（Ｙ_S（x,y）−Ｙ_P（x,y））（１）ここで、Ｙ（x,y）は、画像における場所ｘ、ｙでの画
素の輝度レベルである。光画像の内積等その他の測定
は、近似性を判断するために択一的に使用できる。

【００３８】比較値は最近値（closest value）と比較
され（ステップ２７５）、この比較値がより小さいとす
ると最近値はこの比較値を得る（ステップ２８０）。比
較ステップと最近値の調整は、集合Ｓにおける各画像に
ついて繰り返される。ステップ２６５−２９０によって
表される該反復プロセスは、集合Ｓにおける画像と集合
Ｐのうち選択された画像との間の最も少ない差分を決定
することを表している。このプロセスは、集合Ｐの各画
像に繰り返されて集合Ｓと各Ｐ画像との間の最も少ない
差分を決定する。

【００３９】最近似のＳ画像と最も異なるＰ画像は、ス
テップ２９５−３１５によって決定される。現行のＰ画
像の最近値は、ステップ２９５において異なる値（相違
値）と比較される。該最近値が該異なる値より大きい場
合、該異なる値は、該最近値に割り当てられ（ステップ
３００）、そして現行のＰ画像が選択される（ステップ
３０５）。この最近値は、現行で選択されているＰ画像
と集合Ｓにおける画像との最も有利な類似性を表してい
る。現行のＰ画像は、先に考慮された画像のうち最も異
なる場合、選択されている画像となる。すべてのＰ画像
が考慮されてしまった後、該選択されたＰ画像は、ステ
ップ３２０において集合Ｓに転送される。プロセス全体
は、集合Ｓが終了するまで、すなわち、所定の数の画像
が集合Ｐから選択されてしまうまで繰り返される（ステ
ップ３２５）。この発明の実施態様では、集合Ｓは５８
４本の光を含む。

【００４０】全体的な照明空間を最もよく張る所定の大
きさの画像の集合が一度選択されると、解像度の高い画
像は、ステップ１１５（図４）において画像の集合に対
応する各光について生成される。この発明の実施態様に
よると、該画像は５１２×４００画素の解像度を有す
る。解像度の高い画像は、解像度の低い画像より生成時
間を多く要するが、より近似性の高い比較が可能であ
り、ユーザによってより正確な確認を可能にする。光の
数が減少したため、これらの光について解像度の高い画
像を生成する時間は、当初生成されたすべての光のうち
解像度の低い画像に対するよりもはるかに少ない。

【００４１】残存光の数は、ユーザがこれらを確認する
能力に比べてもなお多い。画像を適宜構成することによ
って、当該システムにおいて、ユーザは、入力および出
力ベクトルをより効率よく確認し選択できる。画像また
は出力ベクトルを編成するために異なるプロセスが用い
られる。照明空間に関して、第一の実施態様の構成、そ
して対応するユーザーインターフェースが図７および図
８に図示されている。

【００４２】光は、効率よく確認できるようにステップ
１２０において階層的に区画され編成される。画像を区
画し編成するために各種の方法が利用される。本明細書
中で引用される米国特許第３，６１７，７１４号に記載
される特定のグラフ理論プロセスは、画像を区画し編成
するために使用できる。このグラフ理論プロセスを用い
ると、頂点は画像であり、相互接続のコストは画像の類
似値(similarity value)である。もちろん、類似性のそ
の他の測定法を使用することも可能である。

【００４３】この発明の他の実施態様によると、画像の
集合Ｃは、互いに最も区別し合う集合Ｓから選択され
る。残存画像は、次に、集合Ｃにおける画像との類似性
にしたがって部分集合に分けられる。一実施態様では、
画像は一つ以上の部分集合に含まれることが可能であ
る。または、それぞれの部分集合は相互に排他的であっ
てもよい。当該プロセスは、それぞれの部分集合につい
て繰り返される。間引きプロセスでは、画像の類似性は
解像度の高い画像からの式（１）の差分値によって測定
される。

【００４４】図８は、ユーザによって編成された画像を
確認し、画像を選択し、組合わせるために役立つユーザ
ーインターフェースを図示する第一実施態様である。本
実施態様のユーザーインターフェースは、階層的に構成
された出力ベクトルに特に適用可能である。インターフ
ェイスは、階層画像レベルの集合４１０、４２０、４３
０と、選択光のパレット（調光版）４４０と、ディスプ
レイ５上のフルサイズの結合画像４５０とを含む。編成
された階層における第一レベルの画像は、第一レベル４
１０に表示される。

【００４５】ユーザは、次にこれらの画像の一つをキー
ボード４またはマウス３を用いて選択できる。第一レベ
ルの画像が一度選択されると、次に低いレベルの画像が
第二階層レベル４２０において表示される。ユーザは、
第二レベルにおいて画像を一つ選択でき、これによって
第三レベル４３０が表示される。インターフェイスはそ
れぞれ８画像の三つの階層レベルで図示されているが、
任意の数のレベルまたはレベルの大きさを用いることが
できる。レベルの数および大きさは、選択プロセスにお
いて集合Ｓの大きさを決定する。それぞれ８画像の三つ
のレベルによって、画像が一以上の部分集合にある可能
性のある場合、光５８４が選択できる。

【００４６】マウス３によるドラッグアンドドロップ技
法またはその他の方法を用いて、選択光のパレット４４
０に含めるべく表示される画像のいずれが選択されても
よい。次にパレットにおける選択光は、フルサイズの結
合画像４５０を生成するために組み合わされる。この結
合画像は、すでに生成されている解像度の高い画像に基
づいて光の加法的性質（additive nature）を利用して
かなり早く生成できる。

【００４７】光を結合させる方法は、本明細書中に引用
されるJ. Dorsey、J. ArvoおよびD.Greenbergの「Inter
active Design of Complex Time-dependent Lightin
g」、IEEE Computer Graphics and Applications, ２６
−３６頁（１９９５年３月）に論述されている。スライ
ダースケール（slider scale）４４１は、各画像につい
て光の寄与を結合画像に適用するために使用できる。図
８では白色光を図示しているが、有色光を使用してもよ
い。インターフェイスは、光の選択パレット４４０にお
いて各光についてユーザが色を選択するパレットを表示
できる。

【００４８】情報を提供するために、その他様々なデー
タのタイプを用いてベクトルの生成、編成および拾い読
み処理が使用できる。この処理を他のデータのタイプに
適用する際、選択された入力因子および出力因子は所望
の結果を効率よく達成するために選択される。一つの適
用例では、照明空間のための光の測定と同様に、写真の
照明は当該システムを用いて調整できる。上述する照明
空間の例では、情景での特殊な三次元物体の生成と、そ
の配置と、その色とを含む情景がユーザによって指定さ
れる。写真では、三次元情報が写真それ自体から抽出で
きる。このため、同一情景の多重撮影写真が必要とされ
る。簡略のために、情景のある写真のうち一つのみ変形
されることが好ましい。もちろん、すべての写真が同様
に変形されてもよい。図９では写真データを使用した表
示を図示している。

【００４９】多重撮影写真は、三次元情報を写真から抽
出するために使用される。写真の情報を利用して、当該
システムは、どの物体が存在するか、およびその形状と
位置を決定する。照明空間の例において、入力ベクトル
のパラメータは当該システムにおいて光を表す。同様
に、出力ベクトルは照明を追加した写真の画素である。
しかしながら、該表示画像を生成する際、原写真の画素
は出力ベクトル画像の明空間および暗空間によって変調
される。これによって、写真の物体の構造を説明する写
真の照明となる。合成した情景の照明では、照明空間を
覆う入力ベクトルの広域な集合を決定するために膨大な
光が生成され、選択される。ユーザによって容易に拾い
読みするために、出力画像はグループにおいて階層的に
編成される。図８は、写真に対する照明画像を拾い読み
し結合させるために使用されるユーザーインターフェー
スを図示している。

【００５０】図１０は、第二の実施態様による出力ベク
トルの分散された集合を決定するための分散処理を図示
している。本実施態様において、所定の数の入力ベクト
ルがステップ１１１０で生成される。この数は、ユーザ
によって確認されるべき所望の出力数に対応する。膨大
な量のベクトルを生成し、そしてあるベクトルを選択す
るよりむしろ、本実施態様では、生成された入力ベクト
ルはさらに分散された集合の出力を適用するために摂動
される。ステップ１１２０において、入力ベクトルの一
つは、ランダムに選択され、そしてステップ１１３０に
おいてランダムに変形される。

【００５１】出力ベクトルは、この変形された入力ベク
トルに対して決定される（ステップ１１４０）。該変形
された入力ベクトルは、もし好ましければ、既存の入力
ベクトルの一つを置換する。すなわち、出力ベクトルの
より分散された集合になる。出力ベクトルの分散は、各
種の方法で計測可能である。一つの方法では、最近傍ア
プローチ(nearest-neighbor approach)が出力ベクトル
の特性に適用される。変形された集合の出力ベクトルの
最近傍距離は、最悪な入力ベクトルの出力ベクトルの最
近傍距離（すなわち、出力ベクトルは最近傍なものと）
と比較される（ステップ１１５０）。

【００５２】新たな出力ベクトルが該最悪な出力ベクト
ルよりその近傍から離れている場合、該最悪なベクトル
を置き換える（ステップ１１５５）。離れていない場
合、出力ベクトルは、摂動されている入力ベクトルの出
力ベクトルと比較される（ステップ１１６０）。この新
たな入力ベクトルに対応する出力ベクトルが既存の出力
ベクトルよりその最近傍から離れている場合、該既存の
出力ベクトルを置き換える（ステップ１１６５）。この
処理は完全になるまで繰り返される（ステップ１１７
０）。完全性は、様々な方法で決定可能である。所定回
数の摂動が行われ、または摂動は、特定回数の反復の代
替となるベクトルがなくなるまで行ってもよい。

【００５３】第二実施態様の分散プロセスとともに有効
なデータの例は、ボリュームレンダリングである。ボリ
ュームレンダリングでは、入力データは物質の密度を示
すボクセルである。この入力データは、様々な源から起
因することができる。たとえば、該入力データは、分子
における電子の分散等のことを表すためにコンピュータ
によって生成されてもよい。電子の分散のディスプレイ
インターフェイスが図示されている。同様に、医学分野
では、ボリュームレンダリングの密度情報を生成するた
めにＣＡＴスキャン情報が使用できる。

【００５４】医学データのディスプレイインターフェイ
スが図１１に図示されている。三次元データは、伝達関
数を用いることによって二次元画像データに変換され
る。所望の出力に基づいて、伝達関数は不透過度または
色等様々な変数に関連していてもよい。当該システムの
入力ベクトルは、伝達関数のパラメータを指定する。た
とえば、入力ベクトルは、伝達関数における傾斜および
区切り点または色伝達関数における分割領域（division
area）を表すパラメータからなる。伝達関数１２５５
は図１２に図示される。表示されるべき二次元画像を生
成するために様々な入力ベクトルがオリジナルボクセル
データに応用される。画像は、本実施態様では出力ベク
トルである。

【００５５】上述のように、第二の分散プロセスによっ
て入力ベクトルを生成する際、入力ベクトルの集合のた
めのパラメータはランダムに決定される。この入力ベク
トルは、次にランダムに摂動される。ベクトルの摂動が
さらに出力ベクトルのより分散された集合となる場合、
この摂動されたベクトルは組み込まれる。照明および写
真の例では、出力ベクトルは、出力画像におけるすべて
の画素から構成されていた。したがって、分散は、画像
におけるすべての画素間の差分に依存していた。

【００５６】しかしながら、出力ベクトルは、その他の
情報または画像の一部に関連していてもよい。ユーザが
興味のある特定情報を確認できるために、入力および出
力ベクトルが選択される。不透過度および色伝達関数に
よって、出力ベクトルの分散された集合は、すべての出
力画素を出力ベクトルとして用いることなく得られるこ
とが知られている。特に、８つの特定画素は、入力およ
び出力ベクトルの分散された集合を決定するのに概して
十分であることが証明されている。この特定の８画素は
ランダムに選択できる。しかしながら、好ましくは、ユ
ーザは、ボリュームレンダリングにおける興味の領域に
特に関連する出力ベクトルの分散された集合を有するよ
うに８画素の場所を指定する。

【００５７】図１１は、第二実施態様の、ボリュームレ
ンダリングとともに使用可能な出力ベクトルを構成する
ユーザーインターフェースを図示している。本構成で
は、ディスプレイは、２個の部分、すなわちサムネイル
（thumnail：非常に小さい）ディスプレイパネル１２０
０と該非常に小さいディスプレイパネル１２００を囲む
複数の画像パネル１２２０とを含む。本構成において、
各フルサイズの画像は、たとえば小さく解像度の低い画
像であるサムネイルスケッチ１２１０ともなる。サムネ
イルスケッチは、ディスプレイパネル１２００において
サムネイル間の距離が対応する出力ベクトル間の距離と
等しくなるように構成される。

【００５８】出力ベクトルとディスプレイパネル１２０
０の対応するサムネイルスケッチとの距離は、各種の方
法で測定できる。たとえば、一つの方法は、本明細書中
に引用されるK.M. Hallによる「An r-dimensional quad
ratic place algorithm」、Management Science, 17
(3): 219-229頁（１９７０年１１月）に記載されてい
る。２つのベクトル(ｄ_ij)間の距離が正規化されて０−
１の範囲にある場合、Hallの方法は、出力ベクトル１−
ＮのディスプレイにおけるＸおよびＹ位置を表す座標ベ
クトルＸ＝（Ｘ₁，Ｘ₂，・・・，Ｘ_N）およびＹ＝
（Ｙ₁，Ｙ₂，・・・，Ｙ_N）を計算する。座標は、Ｘ^T
Ｘ＝１,Ｙ^TＹ＝１およびΣiΣj（１−ｄ_ij）[（Ｘ_i−Ｘ
_j)²＋(Ｙ_i−Ｙ_j）²]が最小限とされるように決定され
る。Hallの方法は、根本的に高次元空間から二次元空間
に投影するものである。この投影は情報の多少の損失な
しに実行されることはないが、サムネイルの配置は、効
率よく拾い読みできるために出力ベクトルの根底をなす
構造を十分反映するものである。

【００５９】出力ベクトルが画像の画素と対応する場
合、フルサイズの画像またはサムネイルスケッチは、距
離を計算する出力ベクトルとして使用されてもよい。フ
ルサイズの画像は確認のためにすでに作成されていて別
に生成される必要がないので、フルサイズ版の画像を用
いることによって出力ベクトル間の距離を測定すること
は、より効率的である。フルサイズの画像の追加データ
は、サムネイルスケッチにおける基本データより正確な
距離を与える。このことは、ユーザによってより効率よ
く拾い読みするためにより有利な配置のサムネイルスケ
ッチをもたらす。

【００６０】ディスプレイパネル１２００は、サムネイ
ル１２１０の効率的な拾い読みを可能とする。ディスプ
レイパネル１２００は、ディスプレイパネルのある部分
を見るためにマウスまたはその他制御装置を用いること
によって操作される。ある位置またはサムネイルを見る
ために、パネルのパンおよびズームが可能である。すで
に記載したように、特定のサムネイルは選択されてディ
スプレイパネル１２００を囲む画像パネル１２２０に拡
大して表示できる。画像パネル１２２０における特定の
画像１２１０の位置は、ユーザがコントロールでき、画
像の生成と関係ない。このように、第一の実施態様のデ
ィスプレイインターフェイスと同様に、画像について階
層構造の作成は必要とされない。サムネイルスケッチと
画像パネル１２２０に表示されるフルサイズ画像との関
係を示すことが必要となる。一つの方法によると、サム
ネイルの選択は、画像パネルにおいてこの対応する画像
を強調する。同様に、フルサイズの画像の選択は、この
対応するサムネイルを強調する。また、図１０で図示さ
れるように、線を使用して、各画像をこの対応するサム
ネイルスケッチと関連させることもできる。

【００６１】図１２は、ある画像についての追加情報を
提供するディスプレイの用途を図示している。情報が表
示されると、追加ウィンドウがディスプレイパネルに現
れて特定の画像についての追加情報を示す。画像は、拡
大形式１２４０で表示される。また、画像についての情
報は、１２５０で別に表示される。たとえば、図１１に
図示されるように、不透過度および色伝達関数に関連す
る画像では、追加情報は関数そのものであってもよい。
照明分析では、追加情報は位置および光の種類であって
もよい。もちろん、その他情報を同様に表示することが
でいる。

【００６２】この発明の前の各適用例では、入力ベクト
ルは、画像の一部に関連するパラメータを含んでいて、
出力ベクトルは特定の画像であった。それぞれの場合で
は、出力ベクトルは、特定の画像でのすべての画素また
は一部の画素を含んでいた。しかしながら、出力ベクト
ルは画像または画素に限定されない。むしろ、出力ベク
トルは、ユーザによって探査されている情報に関するい
ずれのデータであってもよい。特に、この発明は、アニ
メーションシーケンス中の動作の特定の性質を達成する
ためにアニメーションシーケンスに適用できる。アニメ
ーションシーケンスにおける全画像の全画素が出力ベク
トルとして使用されると、出力ベクトルは極めて大きく
なり、容易に計算処理できず、また使用できなくなる。
さらに、画素自体の集合は、ユーザに関する動作の特性
を決定する際特に有用ではない。画素を使用して分散を
決定することによって、関連する問題に対する出力ベク
トルを実際に分散しないこともある。したがって、アニ
メーションシーケンスのための出力ベクトルは、ユーザ
に関する特性を表示すべきである。

【００６３】一実施態様では、この発明は、粒子の動き
を表すアニメーションシーケンスの選択に適用される。
図１３は、粒子が第一の宇宙船から第二の宇宙船に向か
って生成される粒子の動きのアニメーションシーケンス
に関連するユーザーインターフェースを図示している。
入力ベクトルは、粒子の動きを定義する膨大な量のパラ
メータを含み、さらに粒子の生成速度、寿命、加速度、
方向、ビーム幅等を含むことができる。粒子の動きを分
析する際、ユーザは、生成点および方向等あるパラメー
タを組み合わせてもよく、別のパラメータを変化させて
もよい。または、入力ベクトルは、すべてのパラメータ
が可変であるように粒子の動きに関するすべてのパラメ
ータを含んでもよい。出力ベクトルは、シーケンスにお
いて特定回数での粒子の動きの特性を含む。出力ベクト
ルを構成するパラメータは、粒子の数と、粒子雲の中心
と、粒子の平均速度と、粒子の広がりとを含んでもよ
い。粒子の属性は、アニメーションシーケンス中に特定
の回数または複数回数で決定されてもよい。たとえば、
一実施態様では、粒子の属性はアニメーションシーケン
スの終了時(t)と中間時(t/2)に決定される。

【００６４】第二実施態様による分散プロセスは、粒子
の動きのアニメーションシーケンスのための出力ベクト
ルの分散された集合を決定するために使用されてきた。
したがって、入力ベクトルの集合は、入力ベクトルにお
けるパラメータをランダムに選択することによって決定
される。入力ベクトルは、この対応する出力ベクトルを
決定するために処理される。出力ベクトル間の距離は多
次元空間において測定される。次に、入力ベクトルはラ
ンダムに摂動され、新たな出力ベクトルが生成される。
該新たな出力ベクトルは、出力ベクトルのより分散され
た集合となる場合、最悪な出力ベクトルまたは該摂動さ
れた入力ベクトルに対応する出力ベクトルのいずれかを
置き換える。この摂動プロセスは、出力ベクトルの相対
的に分散された集合が生成されてしまうまで、典型的に
は所定回数繰り返される。

【００６５】第二実施態様によるインターフェイスは、
図１２に図示されるように、粒子の動きのアニメーショ
ンシーケンスにも適用されてきた。上述のように、出力
ベクトルは、多次元空間における出力ベクトル間の距離
の二次元投影を提供する。各アニメーションシーケンス
についての合成画像のサムネイルスケッチは、アニメー
ションシーケンスを表すためにディスプレイにおいて用
いられる。ユーザは、解像度の高い画像としてインター
フェイスの画像パネルに配置すべき特定のシーケンスを
選択する。解像度の高い画像は、アニメーションシーケ
ンスを表す静止画像として、またはフルアニメーション
シーケンスを定期的に繰り返すもののいずれか１つとし
て表される。いずれにしても、ユーザは、フルアニメー
ションシーケンスとして追加ウィンドウ１２４０に拡大
形式で表示されるべき画像の一つを選択する。

【００６６】その他の実施態様では、この発明は、関節
連結形状の動作の合成に適用される。図１４は、２点連
結式モデルに関連するユーザーインターフェースを図示
している。図１５は、動作を同様に適用可能な多点連結
式キャラクタを図示している。いずれの場合も、入力ベ
クトルは、特定の回数において連結に適用可能なトルク
を示している。トルクは一定である必要はなく、全アニ
メーションシーケンスを通して変化してもよい。さら
に、トルクは、正弦波形入力の形式であってもよく、ま
たは画像においてその他のトルクの位置および値に対し
てある値を示してもよい。

【００６７】粒子の動きの例では、動きのいくつかのパ
ラメータは、ユーザによって部分的な入力パラメータに
ならないように組み合わされる。出力ベクトルは、動き
を表すいずれの値であってもよい。出力ベクトルは、図
形の中心、特定の要素の速度、（平均、最大または最
小）図形におけるある要素間の角度等情報を含んでいて
もよい。粒子の動きにおいて、２点連結式および多点連
結式形状のいずれの連結部の動きも第二分散プロセスお
よび第二ユーザーインターフェースを用いてこの発明に
適用されてきた。

【００６８】各場合において、初期入力ベクトルの集合
は、動きを制御する可変パラメータをランダムに選択す
ることによって生成される。次に出力画像が生成され、
関連する出力ベクトルが決定される。摂動および交換プ
ロセスは、出力ベクトルの分散された集合が達成される
ように繰り返される。次に出力ベクトルは、これらの出
力ベクトル間の距離を測定するために処理され、ディス
プレイパネル１２００において二次元空間に投影され
る。

【００６９】ユーザは、上述のように、画像が画像パネ
ル１２２０において表示されるように出力ベクトルのあ
るサムネイルスケッチを選択してもよい。ディスプレイ
は、各アニメーションシーケンスの静止画面であっても
よく、またはアニメーションシーケンスそのもの全体で
あってもよい。ユーザは、また拡大ウィンドウ１２４０
いっぱいに表示されるべき特定なアニメーションシーケ
ンスを選択してもよい。このように、ユーザは、このよ
うな動きの実際のパラメータまたは動きにおける所望の
効果を定義できる必要なく形状の所望の動作タイプを検
索できる。

【００７０】この発明の一部の実施態様を説明したが、
前に述べたものは単なる例として示して説明しただけで
あり、これに限定されないことは当業者には明白であ
る。また、多くの変形およびその他の実施態様は当業者
の範囲に属し、かつ特許請求の範囲に記載された発明の
範囲に属するものと考えられる。

【００７１】

【発明の効果】以上のように、この発明によれば、出力
ベクトル間の関係を表している位置で出力ベクトルを表
示する中央のディスプレイパネルと、複数のイメージを
表示するための複数のイメージ・ディスプレイパネルと
を含み、変換関数を入力データおよび対応するイメージ
に適用することにより生成された複数の出力ベクトルを
表すものであるから、入力パラメータを選択し出力を生
成する際にユーザによって容易に処理可能であり、入力
パラメータにおける変化の効果をユーザによって容易に
確認できるユーザーインターフェースを提供することが
できる。

【図面の簡単な説明】

【図１】この発明を実施するために使用可能なコンピ
ュータシステムである。

【図２】この発明におけるシステムの操作のフローチ
ャートである。

【図３】この発明の実施態様における照明システムを
適用できる基本画像を示す図である。

【図４】照明システムに適用されるこの発明のプロセ
スのフローチャートである。

【図５】図４のプロセスに関連して光の生成プロセス
を示すフローチャートである。

【図６】図４のプロセスに関連して光の測定する集合
を選択するプロセスを示すフローチャートである。

【図７】図４のプロセスに関連して光を構成するプロ
セスを示すフローチャートである。

【図８】この発明の実施態様にしたがって照明システ
ムにおいて光を選択するために使用されるユーザーイン
ターフェースを示す図である。

【図９】写真の照明変形例に関してこの発明における
ユーザーインターフェースを示す図である。

【図１０】この発明の別の実施態様におけるパラメー
タの集合の生成を示すフローチャートである。

【図１１】ボリュームレンダリングの際の不透過度お
よび色伝達関数に関するこの発明におけるユーザーイン
ターフェースを示す図である。

【図１２】ボリュームレンダリングと共に用いられる
第二のユーザーインターフェースを示す図である。

【図１３】粒子の動作のアニメーションに関するユー
ザーインターフェースを示す図である。

【図１４】二重振り子のアニメーションの適用例に関
するこの発明におけるユーザーインターフェースを示す
図である。

【図１５】この発明において動作を決定する際に用い
るアニメーションキャラクタを示す図である。

【符号の説明】

１０００入力ベクトルを選択、１０１０出力ベクト
ルを通して類似度測定を適用して入力ベクトルに基づい
て分散された出力ベクトルを決定、１０２０出力ベクト
ルを整える、１０３０出力を表示、１０４０ユーザ
選択。

───────────────────────────────────────────────────── フロントページの続き (71)出願人 597067574 201 ＢＲＯＡＤＷＡＹ，ＣＡＭＢＲＩＤＧＥ，ＭＡＳＳＡＣＨＵＳＥＴＴＳ 02139，Ｕ．Ｓ．Ａ. (72)発明者ウィーラー・ラムルアメリカ合衆国、マサチューセッツ州、ケンブリッジ、ホールデン・グリーン 118、アパートメント・ディー (72)発明者ジェゼフ・マークスアメリカ合衆国、マサチューセッツ州、ベルモント、ダルトン・ロード 61 (72)発明者キャスリーン・ライアルアメリカ合衆国、マサチューセッツ州、ケンブリッジ、ハーバード・ストリート 378、アパートメント・フォー (72)発明者スチュアート・メリル・シーバーアメリカ合衆国、マサチューセッツ州、ケンブリッジ、コンコード・アベニュー 243、ナンバーツーＦターム(参考） 5B046 DA08 GA01 HA04 JA04 5B050 BA07 BA08 BA09 BA15 CA06 CA07 FA02 FA12 5E501 AA01 BA05 CA02 CB02 CB09 EA08 EA13 EB05 FA14 FA22 FA23

Claims

【特許請求の範囲】

【請求項１】出力ベクトル間の関係を表している位置
で出力ベクトルを表示する中央のディスプレイパネル
と、複数のイメージを表示するための複数のイメージ・ディ
スプレイパネルとを含み、変換関数を入力データおよび
対応するイメージに適用することにより生成された複数
の出力ベクトルを表すためのユーザーインターフェー
ス。
【請求項２】請求項１記載のユーザーインターフェー
スにおいて、上記複数のイメージが選択された出力ベク
トルに対応するように、ユーザー入力を受信し、中央の
ディスプレイパネルからの出力ベクトルを選択するため
のイメージ選択手段をさらに含んでいることを特徴とす
るユーザーインターフェース。
【請求項３】請求項２記載のユーザーインターフェー
スにおいて、上記中央のディスプレイパネルにおける出
力ベクトルと複数のイメージとの一致をグラフィックに
表すための手段をさらに含んでいることを特徴とするユ
ーザーインターフェース。
【請求項４】請求項１記載のユーザーインターフェー
スにおいて、上記出力ベクトルのうちの１つを表示して
いる追加のディスプレイをさらに含んでいることを特徴
とするユーザーインターフェース。
【請求項５】請求項１記載のユーザーインターフェー
スにおいて、上記出力ベクトルに対応している複数の入
力ベクトルのうちの１つを表示している追加のディスプ
レイをさらに含み、各入力ベクトルは、入力データに適
用されるとき対応する出力ベクトルを生成する変換関数
を表すことを特徴とするユーザーインターフェース。
【請求項６】請求項１記載のユーザーインターフェー
スにおいて、上記出力ベクトルを取り決めるための手段
をさらに含み、当該出力ベクトルを取り決めるための手
段は、多次元空間における出力ベクトルの間の距離を判
定するためのための手段と、上記多次元空間から二次元
空間までの前記距離を投影するためのための手段と、上
記二次元空間における位置に対応している上記中央のデ
ィスプレイ上の位置で、上記出力ベクトルの各々を表す
ための手段とを有することを特徴とするユーザーインタ
ーフェース。