JP2005055573A - 高速表示処理装置 - Google Patents

Abstract

【課題】表示情報の視覚的に意味のある情報のみを取り出して、送信情報を削減することにより、転送と表示を高速化することが出来る高速表示処理装置を提供する。
【解決手段】ＣＡＤなどの大規模アプリケーションによって作成された、高解像度の画像１０をサーバ側処理１１で、メモリ上に展開し、クライアント側での表示装置に表示した場合を仮想的にシミュレーションする。表示のシミュレーションの結果をメモリに格納し、これに基づいてクライアント側に送る画像データを生成して、送信する。クライアント側では、サーバ側から送られてきた、表示シミュレーション後の表示データを表示する。
【選択図】 図１

Description

本発明は、高速表示処理装置に関し、特に、基幹系の大規模処理を必要とするエンジニアリング業務系アプリケーションや、大規模科学技術計算結果の高速表示の可視化分野等におけるＡＳＰ（Application Service Provider）サービスやオンデマンドサービス分野等での高速表示処理装置に関する。

近年の製品開発においては、高性能で高品質な製品を、短期間で、低コストに開発して、早期に市場に出さなければ利益が出ない。
そのための最も重要な対策として、利用者が、何時でも、何処からでも、最高性能のマシン環境で高性能なＣＡＤ（コンピュータによる一貫設計）ソフト等を低コストに利用でき、かつ、全体のＴＣＯ（維持管理も含めたトータルコスト）削減を図るＡＳＰ方式のシステム構築が重要となっている。

このようなソフトウェアオンデマンド環境で更に重要なのは、利用するあらゆるアプリケーションをサーバ側（提供側）で高速に処理すると共に、結果の表示情報等も効率的（ネットワーク負荷軽減化）に抽出・転送する表示高速化技術である。

従来の大規模・ネットワーク高速化対応の発明として特許文献１がある。
従来ＣＡＤ等、大規模なアプリケーションシステムの運用では、アプリケーションサーバとクライアント間の通信量が多いため、近距離で、管理規模もクライアント台数〜１０台程度の運用が限界であった。また、ブロードバンド化されても、同時利用者が増加すると将来的にも安定した運用が図れない。
特開平３−２５５５８３号公報

何時でも、何処でも、最高性能のマシン環境で高性能なＣＡＤソフト等をしかも低コストで利用できる環境の構築が急務であるが、従来のままの技術では、ＣＡＤのような大規模アプリケーション等は、遠隔地の多数利用者への同時提供をする場合、送信データ量が膨大になり時間的に大きな遅延が発生して実用に耐えなかった。

本発明の課題は、表示情報の視覚的に意味のある情報のみを取り出して、送信情報を削減することにより、転送と表示を高速化することが出来る高速表示処理装置を提供することである。

本発明の高速表示処理装置は、作成された原画像データを変換して表示装置に送信する表示処理装置であって、該原画像データから該表示装置上の表示結果だけを表示データとして抽出する抽出手段と、該表示データを該表示装置に送信する送信手段とを備えることを特徴とする。

本発明によれば、原画像データを表示装置で視認可能な状態にして表示装置に送るので、送信する画像データ量が大幅に減る。従って、ネットワークを介して、作成された原画像データを表示させようとするユーザが複数いても、送信する画像データ量が少なくなっているので、既存のネットワークの転送容量で十分多くのユーザを収容することが出来る。

本発明によれば、ユーザの表示装置に合った最終表示結果のみをデータ転送することにより、ネットワークの有効利用と、大規模画像データの高速転送と、その表示が可能となって実用上はきわめて有用である。また、高性能な情報資源のサーバ側での一括提供・管理が実現でき、ユーザの利便性と生産性が向上して総合的なコスト削減が実現できる。

更に、ネットワーク上を流れるデータは、視覚的に一部又はリダクションされた表面の表示データのみであるので、漏れても完全な内容としては意味を持たず、情報の流出が防げる。

図１は、本発明の第１の実施形態を説明する図である。
本発明においては、視覚認識可能な表示データのみをサーバ側で予め高速にシミュレーションして抽出することにより、画像データの転送量を削減させ、表示高速化を実現する。

図１の１０は、プリント板／システムＬＳＩ等、複数の層より構成されている物のイメージである。
図１の１１のサーバ側の大規模アプリケーションはそれを作るためのＣＡＤツール等で、物のイメージを忠実に表現しており、表示データはこのツールにより出力される。

図１の１１の表示シミュレーション部は、大規模アプリケーションの表示データを入力して、メモリ上に高速に仮想表示する。ここで、同じ座標位置に後から上書きされた表示データがある場合は、最後に書き込みされたデータが有効となる。

図１の１１の抽出送信部分は、メモリ上に仮想表示された結果を抽出してクライアント側に送信する部分である。ここで、抽出するデータは、上書きされた後のデータであり、表示結果となる表面の情報のみが転送されるので、送信量が少なく、送信速度が速くなる。

図１の１２は表示装置であり、送信された表示データを画面上で上書きすることなく表示するので、結果的に高速な表示結果が得られ、利用者の視覚認識も早まる。
すなわち、図１の１０のような多層パターン図等の表面から見た場合の表示をクライアント側表示装置、図１の１２に行う処理の場合、
（１）予めサーバ側のメモリ（図１の１１）上に１表示単位データ（ある時間内でデータが来なくなる）まで上書きする。
（２）その表示結果となるパターン情報のみを抽出する。
（３）このデータのみをクライアント側（図１の１２）に送出する。
（４）クライアント側ではこのデータを受信して表示する。

以上の処理により、図１の１０のデータの場合、５本の線が１本となり線分が８０％削減されたことになる。
図２は、本発明の第２の実施形態を説明する図である。

本実施形態では、第１の実施形態に加え、クライアント側の表示装置の解像度又は表示サイズに合った（解像度依存）最適な表示データをサーバ側で予め高速にシミュレーションして抽出することにより、画像データの転送量を削減させ表示高速化を実現する。

図２の１０は、プリント板／システムＬＳＩ等、複数の層より構成されている物のイメージである。ここでは、縦横５０００〜１０万グリッドで構成されたイメージとしている。

図２の１１の大規模アプリケーションは１０のイメージを作るためのＣＡＤツール等で、物のイメージを忠実に表現して、表示データはこのツールより出力される。従って、このＣＡＤツール等で生成されるイメージが縦横５０００〜１０万グリッドで構成される。

図２の１１の表示シミュレーション部は、大規模アプリケーションの表示データを入力して、メモリ上に高速に仮想表示する。ここで、物の実サイズから表示装置や表示サイズに最適な解像度に対応した丸め込みを行う。例えば、同図の場合では、クライアント側の表示装置の解像度が１０２４×１０２４であるとしている。従って、５０００〜１０万グリッドの解像度では別々の線として描かれるものも、クライアント側の表示装置においては、同じ座標の線として描かれる場合がかなりある。従って、クライアント側表示装置を表示シミュレーションした結果、同じ座標位置になった場合は、後から上書きされた線は、次の上書きがあるまで、クライアント側の表示装置に表示する場合に有効となる線である。図２の場合、１０のＣＡＤアプリケーションにおけるイメージでは、３本の線として描かれている線（１）、（２）は、サーバ側の表示シミュレーションにおいて、メモリ上に展開した場合には、それぞれ１本の線（１）、（２）となっている。

図２の１１の抽出送信部分は、メモリ上に仮想表示された結果を抽出してクライアント側に画像データを送信する部分である。ここで、抽出するデータは、上書きされた後のデータであり、表示結果となる表面の情報のみが転送されるので送信量が少なく、送信速度が速くなる。

図２の１２は表示装置であり、送信された表示データを上書き処理することなく表示するので、結果的に高速な表示結果が得られ、利用者の視覚認識も早まる。
図３は、本発明の第３の実施形態を説明する図である。

本実施形態は、前述の実施形態の手法の図形データへの適用例である。表示結果をサーバ側で予め高速に表示シミュレーションして、クライアント側に送信する画像データを抽出することにより、画像データの転送量を削減し、表示高速化を実現する。同図は、１〜３の順に表示された場合である。図３の１０は、２次元、３次元の図形データ表示される物のイメージである。

図３の１１の大規模アプリケーションは図形データを作るためのＣＡＤツール等で物のイメージを忠実に表現する。表示データはこのツールより出力される。
図３の１１の表示シミュレーションは、大規模アプリケーションの表示データを入力して、メモリ上に高速に仮想表示する。ここで、１〜３の順に表示された場合、２番目の図形は３番目の図形に隠れる座標位置になっていて、後から３の表示データが上書きされるので、２の図形データは無効となり、３の図形データが有効となる。

図３の１１の抽出送信部分は、メモリ上に仮想表示された結果を抽出してクライアント側に送信する部分である。ここで、抽出するデータは、上書きされた後のデータであり、表示結果となる表面の情報のみが転送されるので送信量が少なくなり、送信速度が速くなる。

すなわち、図３の１２は表示装置であり、送信された表示データを上書き処理することなく表示させるので、結果的に転送量が削減され、高速な表示結果が得られ、利用者の視覚認識も早まる。

図３の１０のような図形データ表示をクライアント側表示装置１２に行う処理の場合、
（１）予めサーバ側１１のメモリ上に１表示単位データ（ある時間内でデータが来なくなるまでなど）まで上書きする。
（２）その表示結果となるパターンのみを抽出する。
（３）このデータのみをクライアント側１２に送出する。
（４）クライアント側ではこのデータを受信して表示する。

以上の処理により、この図３の１０のデータの場合、１〜３の順に表示された場合、表示結果としては２番目の図形は転送不要となり、転送量が３３％削減される。
図４は、第１〜３の実施形態の処理を並列で高速に行うための概念図である。

図４の１１は表示シミュレーション処理部で、図４の１３は処理プロセスのタイムチャートである。
この処理では、高速化を図るために処理領域を４分割し、各分割領域に処理プロセス（Ｐ１〜Ｐ４）を割り付ける。また、分割された領域間をまたがるデータについても専用の処理プロセスＰ５を割り付け、個々の独立性を維持する。この処理によりシミュレーション処理を（２．６倍：１３／５）高速化することが可能となる。すなわち、図４の１３のタイムチャートにおいて、全ての処理をシリアルに行った場合、全ての矢印の合計の長さ１３単位時間だけ、時間がかかることになる。しかし、本実施形態では、プロセスＰ１〜Ｐ５で並列に処理しているので、図４の１３のタイムチャートでは、５単位時間で処理が終了している。このように、各プロセスの独立性を維持しながら、各処理を並列に行うことで、処理時間を短くすることができる。

図４の１２は表示装置であり、送信された表示データを上書きすることなく表示するので、高速な表示結果が得られ、ユーザの視覚認識も早まる。
図４の例において、
（１）処理並列化を図るために表示領域ａを４分割する。
（２）各分割領域に処理プロセス（Ｐ１〜Ｐ４）を割り付ける。
（３）更に、分割領域間をまたがるデータについても処理プロセスＰ５を割り付ける。

以上の処理単位に分割することにより、個々独立したプロセスで並列処理を行うことができ、高速にクライアント側用の表示データの作成を行うことが可能となる。
この結果、トータルな処理時間を（２．６倍：１３／５）高速化されたことになる。

図５は、表示シミュレーションについて説明する図である。
図５の２１のような高密度プリント板等の表示をクライアント側表示装置に行う処理の場合、
（１）クライアント２３の解像度（表示サイズ）を認識（関数コール）して圧縮率を算出する。
（２）予めサーバ側２１のメモリ上に最終データ（ある時間内でデータが来なくなる）まで上書き（メモリ上の座標に置換）する。
（３）その表示結果となる画面上の表示パターンのみを抽出する。
（４）このデータのみをクライアント側２３に送出する。
（５）クライアント側ではこのデータを受信して表示する。

以上の処理により、サーバ側のデータが図５の２０のデータの場合、すなわち、サーバ側２１の画像データが横３０００グリッド、縦５０００グリッドで構成され、クライアント側２３が１０２４×１０２４グリッドで構成されてる場合、クライアント側のデータが図５の２４のように、サーバ側データの５本の線がクライアント側２４で２本の線となり線分が６０％削減されたことになる。

つまり、図５の２０に示されるように、サーバ側では、Ｙ座標が３００１〜３００５で、Ｘ座標が１０１〜１１３の間に、Ｒ（赤）、Ｇ（緑）、Ｂ（青）、Ｍ（マゼンダ）、Ｙ（黄色）の５本の線が引かれるのであるが、クライアント側では、これら５本の線分は、クライアント側では、Ｙ座標６０１において、Ｘ座標が３４〜３８の間で重ね書き（上書き）される線分となる。従って、図５の２４に示されているように、クライアント側に送るデータとしては、Ｙ座標６０１の１グリッドに、Ｘ座標が３４〜３６の色がＲ（赤）の線と、Ｘ座標が３７〜３８の色がＧ（緑）の線分のみを描画するようなデータとなる。

図６及び図７は、本発明の実施形態の処理を説明するフローチャートである。
まず、ステップＳ１０において、表示範囲を算出する。すなわち、座標丸め込み縦・横率計算を行う。この計算の具体例は、図６の３０〜３２に記載されている。すなわち、図６の３０では、最初の表示対象全体として、サーバ側の縦横５０００〜１０万グリッドからなる画像データが用いられる。全景をクライアント側に表示する場合に使用される式は、
３１に示されるように、
ｒｘ＝（横表示データグリッドサイズ）／横表示画面サイズ
ｒｙ＝（縦表示データグリッドサイズ）／縦表示画面サイズ
である。これにより、縦横の倍率ｒｙとｒｘがわかる。

ユーザが画面の一部を指定して拡大表示させるときには、３２に示されるように、
ｒｘ＝（ｘｘ２−ｘｘ１）／横表示画面サイズ
ｒｙ＝（ｙｙ２−ｙｙ１）／縦表示画面サイズ
によって、縦と横の倍率ｒｙとｒｘを求める。

ここで、横画面サイズ、縦画面サイズは、クライアント側の表示装置のサイズであり、
横画面サイズ例：一般（１０２４）／ＰＤＡ（２４０）／携帯電話（１７６）
縦画面サイズ例：一般（７６８） ／ＰＤＡ（３２０）／携帯電話（２００）
である。

ステップＳ１１においては、表示単位ごとの繰り返し処理を行う。この処理の具体例は、図６の３３〜３６に示されている。すなわち、３３に示すように、表示シミュレーション部において、並列処理を用いて、縦／横表データ座標丸め込み値の算出を行う。丸め込み値算出のための式は、３３に示されるように、丸め込み値をＸ１、Ｘ２、Ｙ１、Ｙ２とすると、
Ｘ１＝ｘ１／ｒｘ；Ｘ２＝ｘ２／ｒｘ；
Ｙ１＝ｙ１／ｒｘ；Ｙ２＝ｙ２／ｒｘ；
によって求められる。並列処理化の手段は、並列化コンパイラやコーディング化、ベクトライザツール等を利用する。

また、上記の式によって求めた丸め込み値は、３４に示されるように、表示データ格納テーブルに格納される。３４のＩＴＢＬは、表示データ格納テーブルのアドレス値であり、ＤＳＰ ＴＢＬは、表示データ格納テーブルであり、ＤＡは画像データである。ＤＡの表示データ構造は、左上座標値（Ｘ１、Ｙ１）、右下座標値（Ｘ２、Ｙ２）、及び属性データＡＴＴＲからなる．属性データは、色や線幅などからなる。

次に、３４の表示シミュレーションメモリデータ更新ステップによって、３６の擬似表示メモリに表示データ格納テーブルの内容を展開する。
そして、ステップＳ１２に示すように、この段階でのメモリ上の上書き結果が画面表示イメージとなる。

そして、３８の擬似表示メモリから、３７に示すように、表示シミュレーションメモリデータの検索を行い、データがあれば、すなわち、データの抽出処理が終わっていないことが抽出済みフラグＶＭ（Ｘ、Ｙ）が０より大きいことによって示されている場合、擬似表示メモリの値ＶＭ（Ｘ，Ｙ）をＤＡ ＡＤＲに書き込む。そして、抽出済みフラグを設定する。今の場合、ＶＭを負の値に更新する。そして、ステップＳ１３において、表示データ格納テーブルＤＳＰ ＴＢＬにＤＡ ＡＤＲの値を設定したもの３９をクライアント側に送信する。

本発明の第１の実施形態を説明する図である。 本発明の第２の実施形態を説明する図である。 本発明の第３の実施形態を説明する図である。 第１〜３の実施形態の処理を並列で高速に行うための概念図である。 表示シミュレーションについて説明する図である。 本発明の実施形態の処理を説明するフローチャート（その１）である。 本発明の実施形態の処理を説明するフローチャート（その２）である。

符号の説明

１０ 大規模アプリケーションによるイメージ
１１ サーバ側処理
１２ クライアント側処理

Claims (9)

1. 作成された原画像データを変換して表示装置に送信する表示処理装置であって、
   該原画像データから該表示装置上の表示結果だけを表示データとして抽出する抽出手段と、
   該表示データを該表示装置に送信する送信手段と、
   を備えることを特徴とする表示処理装置。
2. 該表示データは、該原画像データを粗視化したものであることを特徴とする請求項１に記載の表示処理装置
3. 該抽出手段は、該原画像データ内の立体図形でのうち、該表示装置で表示する該立体図形のデータだけを該表示データとして抽出することを特徴とする請求項１に記載の表示処理装置。
4. 該抽出手段は、該原画像データを複数の領域に分割し、複数の独立した処理単位にこれらの該領域を処理させることにより、抽出を並列処理することを特徴とする請求項１に記載の表示処理装置。
5. コンピュータに、作成された原画像データを変換して表示装置に送信を実行させるためのプログラムであって、
   該原画像データから該表示装置上の表示結果だけを表示データとして抽出する抽出ステップと、
   該表示データを該表示装置に送信する送信ステップを実行させるためのプログラム。
6. 該表示データは、該原画像データを粗視化したものであることを特徴とする請求項５に記載のプログラム。
7. 該抽出ステップは、該原画像データ内の立体図形データの内、該表示装置で表示する該立体図形のデータだけを該表示データとして抽出することを特徴とする請求項５に記載のプログラム。
8. 該抽出ステップは、該原画像データを複数の領域に分割し、複数の独立した処理単位にこれらの該領域を処理させることにより、抽出を並列で処理させることを特徴とする請求項５に記載のプログラム。
9. 作成された原画像データを変換して表示装置に送信を実行させるための表示処理方法であって、
   該原画像データから該表示装置上の表示結果だけを表示データとして抽出する抽出ステップと、
   該表示データを該表示装置に送信する送信ステップとを備えることを特徴とする表示処理方法。

Images