JP2009251688A - 構造化データ処理装置、方法及びプログラム - Google Patents

Abstract

【課題】ＣＰＵ能力に制限のある装置等でデータ型検証を行う場合、検証処理に必要な文字列とバイナリデータの変換に時間がかかり、構造化データの妥当性検証処理全体の処理速度が遅くなるという問題があった。
【解決手段】構造化データ１３２のスキーマ定義１３１から構造化データ１３２の妥当性検証を行う際に使用するバイナリデータを事前に生成しておき、検証時に文字列のバイナリ表現をバイナリデータから取得することで、妥当性検証の際の文字列からバイナリ表現への変換処理を省略し、妥当性検証全体の処理速度を早くする。
【選択図】図１

Description

本発明は、構造化データ処理装置等に関し、特にＸＭＬ言語等で記述された構造化データの文法的な正しさを、スキーマ定義と比較して検証する妥当性検証技術に関する。

従来から、ＸＭＬ言語等で記述された構造化データの文法的な正しさを、スキーマ定義と比較して検証する妥当性検証の技術が知られている（特許文献１を参照のこと）。

ＸＭＬ言語で記述されたデータ（以降、ＸＭＬデータと呼ぶ）のスキーマ定義を記述するための代表的なスキーマ言語には、Ｗ３Ｃで策定されているＸＭＬ Ｓｃｈｅｍａや、ＩＳＯで策定されているＲＥＬＡＸ ＮＧ等がある。

これらの言語で記述されたスキーマ定義を参照してＸＭＬデータの妥当性検証を行う場合、処理はＸＭＬデータの要素の親子関係等の木構造の検証と、単純な文字列で表現されたデータ型の検証を行う必要がある。

なおＷ３ＣのＸＭＬＳｃｈｅｍａでは、データ構造の検証の仕様である「ＸＭＬ Ｓｃｈｅｍａ Ｐａｒｔ１:Ｓｔｒｕｃｔｕｒｅ」とデータ型検証の仕様である「ＸＭＬ Ｓｃｈｅｍａ Ｐａｒｔ２：Ｄａｔａｔｙｐｅｓ」という別の仕様として策定されている。これらは、それぞれ独立して使用することができる。特に、「ＸＭＬ Ｓｃｈｅｍａ Ｐａｒｔ ２:Ｄａｔａｔｙｐｅｓ」については、ＩＳＯのＲＥＬＡＸ ＮＧ等の別のスキーマ言語で定義したスキーマ定義で用いることができる。

特開２００５−２４２９１２号公報

上記データ型検証をデータ検証用の装置、プログラムで行う場合、テキスト形式である構造化データ内の文字列を、スキーマ定義で定義されたデータ型の検証用のバイナリ表現に変換してから比較する必要がある。これは、スキーマ定義には通常、各データ型の文字列表現ではなく、値を使って評価すべき制限（例えば、最大値、最小値、桁数等）が記述されるためである。

文字列で各データ型を表現する場合、文字列の記述の仕方に冗長性が許される。例えば、浮動小数点を表現する文字列の形式としては、"１２３．４５６","＋１２３４．４５６","−１．２３４４ｅ５６","−.４５Ｅ−６","ＩＮＦ","−ＩＮＦ","ＮＡＮ"等がある。

同じ数値を表す文字列としても、"１２３","０００１２３","＋１２３"等、複数があり得る。このため、上記文字列での記述の仕方をすべて網羅して検証用装置、プログラムで利用可能なバイナリ形式に変換する処理は一般的に単純ではない。

このようなデータ型を表す文字列が構造化データ内に大量に存在した場合、検証処理は検証用の装置、プログラムはＣＰＵ時間を多く使うことになる。したがって、ＣＰＵ能力に制限のある装置等でデータ型検証を行う場合、検証処理に必要な文字列とバイナリデータの変換に時間がかかり、構造化データの妥当性検証処理全体の処理速度が遅くなるという問題があった。本発明は係る問題点を解消する。

本発明の構造化データ処理装置は、構造化データと、構造化データのスキーマ定義とから、構造化データを解析する際に使用するバイナリデータを生成するバイナリデータ生成手段と、前記構造化データのどの部分をバイナリ化するかを判断するバイナリ化対象判定手段と、前記バイナリデータをどのようなエンコード方式で記述するのかを決定する決定手段と、前記構造化データを解析する際にどのバイナリデータを参照するのかを記述する参照先記述手段と、前記構造化データのバイナリ表現をバイナリデータから取得するバイナリデータ表現取得手段と、前記構造化データの妥当性を、前記バイナリデータを使って検証する構造化データ検証手段とを具備することを特徴とする。
また、本発明の構造化データ処理方法は、構造化データと、構造化データのスキーマ定義とから、構造化データを解析する際に使用するバイナリデータを生成するバイナリデータ生成工程と、前記構造化データのどの部分をバイナリ化するかを判断するバイナリ化対象判定工程と、前記バイナリデータをどのようなエンコード方式で記述するのかを決定する決定工程と、前記構造化データを解析する際にどのバイナリデータを参照するのかを記述する参照先記述工程と、前記構造化データのバイナリ表現をバイナリデータから取得するバイナリデータ表現取得工程と、前記構造化データの妥当性を、前記バイナリデータを使って検証する構造化データ検証工程とを有することを特徴とする。
また、本発明のプログラムは、構造化データ処理装置による構造化データ処理をコンピュータに実行させるためのプログラムであって、構造化データと、構造化データのスキーマ定義とから、構造化データを解析する際に使用するバイナリデータを生成するバイナリデータ生成ステップと、前記構造化データのどの部分をバイナリ化するかを判断するバイナリ化対象判定ステップと、前記バイナリデータをどのようなエンコード方式で記述するのかを決定する決定ステップと、前記構造化データを解析する際にどのバイナリデータを参照するのかを記述する参照先記述ステップと、前記構造化データのバイナリ表現をバイナリデータから取得するバイナリデータ表現取得ステップと、前記構造化データの妥当性を、前記バイナリデータを使って検証する構造化データ検証ステップとをコンピュータに実行させるためのプログラムである。

本発明によれば、構造化データを処理する装置において、構造化データのデータ型検証処理を高速化することにより、もとの構造化データの意味を変更することなく妥当性検証処理全体を高速化する。これにより、構造化データが、あらかじめ定義したスキーマ定義に合致した正しいデータであることを高速に確認することができるようになる。特に、構造は単純だが数値等のデータ型を表す文字列が多く記述されている構造化データを、ＣＰＵ能力が高くない組み込み機器等の受信装置で妥当性検証しなければならない場合、高速化の効果が大きくなる。

（第１の実施の形態）
本発明の実施の形態に係る、ＸＭＬスキーマ言語で記述された構造化データを送受信する構造化データ処理装置（以下、データ処理装置）のシステム構成について、図１のブロック図を参照して説明する。

図１において、構造化データ処理を行うデータ処理装置１００は、メモリ１１０、記憶部１３０、メモリ上の各処理部を動作させるのに使われるＣＰＵ１４０で構成される。

記憶部１３０には、検証する構造化文書の所定の部分をＷ３Ｃで策定されているＸＭＬ言語で記述されたＸＭＬデータ１３２、ＸＭＬデータ１３２の構造及びデータ型を定義したスキーマ定義１３１が格納される。また、ＸＭＬデータ１３２のどのデータ型をバイナリ化するかを定義したバイナリ化対象定義１３４、ＸＭＬデータ１３２の一部をバイナリ化したバイナリデータ１３３が格納される。また、ＸＭＬデータ１３２の部分がどのバイナリデータ１３３に格納されているかを記述したバイナリデータ対応表１３５が格納される。また、解析するためのバイナリデータ１３３に記述されているバイナリエンコード方法識別子に対応するバイナリエンコード名が記述されたエンコーディング方法対応表１３６が格納される。

メモリ１１０には、妥当性の検証を行う対象であるＸＭＬデータ１３２の一部を、バイナリ化対象定義１３４を参照してバイナリデータ１３３に変換するバイナリデータ生成部１１１が格納される。また、バイナリデータ生成部１１１がバイナリデータ１３３を生成する際に、エンコード方式を決定するバイナリデータ１３３に記述するエンコード方式記述部１１２が格納される。また、バイナリデータ生成部１１１がバイナリデータ１３３を生成する際に、ＸＭＬデータ１３２内の、どのデータ型に指定されたデータをバイナリ化するかを判断するバイナリ化対象判定部１１３が格納される。

またメモリ１１０には、バイナリデータ生成部１１１がバイナリデータ１３３を生成する際に、データ検証時にどのバイナリデータを参照すればよいかをＸＭＬデータに記述する参照先記述部１１５が格納される。また、ＸＭＬデータ１３２のスキーマ定義１３１に対する検証処理をバイナリデータ１３３を参照しながら実施する構造化データ検証部１１９が格納される。

またメモリ１１０には、構造化データ検証部１１９が参照するバイナリデータ１３３を検索して構造化データ検証部１１９に通知するバイナリデータ検索部１１６が格納される。また、バイナリデータ１３３から、検証すべきデータのバイナリ表現を取得して、構造化データ検証部に１１９に通知するバイナリデータ表現取得部１１７が格納される。また、ＸＭＬデータ１３２とスキーマ定義１３１を比較してＸＭＬデータの木構造を検証する構造検証部１１８が格納される。

図２は、図１のＸＭＬデータ（構造化データ）１３２の記述例である。図３は、図２に示したデータの内、バイナリ化対象定義１３４で定義されたデータ型(integer型)で指定されている要素(price、stock)の内容である文字列をバイナリ化して保存したバイナリデータ１３３の生成例である。なお、この例では記述形式として、バイナリデータのエンコーディング方法、バイナリ化したデータのデータ型、バイナリ化したデータのビット長、及びバイナリ化したデータの繰り返しを行う独自形式を用いている。

また、他の記述方法、例えばＩＳＯ８８２５で定義されているＡＳＮ.１言語のバイナリエンコード方法であるＢＥＲ（Basic Encoding Rules）等で表現してもよい。その場合には、バイナリのエンコード方法としてＢＥＲを使っていることを指定する識別子をエンコーディング方法に記述する。

図４は、図２の構造化データを検証するためのスキーマ定義１３１をＩＳＯで策定されているＲＥＬＡＸ ＮＧというスキーマ言語で記述した例である。この記述はデータのｂｏｏｋｌｉｓｔ要素、ｂｏｏｋ要素、ｉｓｂｎ要素、ｔｉｔｌｅ要素、ｐｒｉｃｅ要素、ｓｔｏｃｋ要素間の木構造を表す木構造定義の記述と、各要素のデータ型が記述されている。

データ型定義の記述では、例えばｐｒｉｃｅ要素を、Ｗ３Ｃ のＸＭＬ Ｓｃｈｅｍａ仕様で定義されているｉｎｔｅｇｅｒ型に、７桁以内という制限を加えたデータ型として定義している。同じく、ｓｔｏｃｋ要素はｉｎｔｅｇｅｒ型に０以上７０００以下という制限を加えたデータ型として定義している。

図５は、図１において、どのデータ型で定義された文字列を、バイナリ化するかを記述したバイナリ化対象定義１３４の例である。ここでは、データ型の名前空間５００の例として、Ｗ３ＣのＸＭＬ Ｓｃｈｅｍａ仕様で定義されている名前空間と、ｄｅｃｉｍａｌ型、ｉｎｔｅｇｅｒ型、ｌｏｎｇ型等のデータ型５０１を記述した例をあげている。

図８は、図１においてＸＭＬデータ１３２の一部がどのバイナリデータ１３３に格納されているのかを記述したバイナリデータ対応表１３５の記述例である。この例では、ＸＭＬファイル名（booklist.xml）と、バイナリファイル名（booklist.bin）が対応するデータであることが登録されている。

図１０は、図１におけるエンコーディング方法対応表１３６の記述例である。ここでは、バイナリデータ１３３に記述されたエンコーディング方法識別子がどのバイナリエンコード方法に対応するのかが記述されている。

次に、図６を参照して、本実装形態であるデータ処理装置１００におけるデータ検証処理の全体の流れについて説明する。

まずステップＳ６００で構造化データ検証部１１９は、アプリケーションから検証するＸＭＬデータ１３２とスキーマ定義１３１とともに検証指示を受け取る。

次にステップＳ６０１で構造化データ検証部１１９は、バイナリデータ検索部１１６を呼び出して、検証時に使用可能なバイナリデータを検索し、バイナリデータ検索部１１６は、バイナリデータ対応表１３５を参照する。そしてステップＳ６０２で検証するＸＭＬデータ１３２に対応するバイナリデータがあればそのファイル名を、なければ構造化データ検証部１１９にないことを通知する。

ステップＳ６０２で対応するバイナリデータがなかった場合のステップＳ６０３では、構造化データ検証部１１９は、バイナリデータ生成部１１１に、バイナリデータの生成を指示する。

次にステップＳ６０４でバイナリデータの生成指示を受け取ったバイナリデータ生成部１１１は、バイナリデータ生成処理によりバイナリデータ１３３の生成を行う。続いてステップＳ６０５で構造化データ検証部１１９はデータ検証処理を行う。

次にステップＳ６０５でデータ検証処理を行った後ステップＳ６０６で、構造化データ検証部１１９は、アプリケーションに検証結果を返却する。

次に、図７を参照して、データ送信処理から呼び出されるバイナリデータ生成処理（ステップＳ６０４）の流れについて詳細に説明する。

まずステップＳ７００でバイナリデータ生成部１１１は、構造化データ検証部１１９からバイナリデータ１３３の生成指示を受ける。

次にステップＳ７０１でバイナリデータ生成部１１１は、バイナリデータ格納するファイルを作成し、まずバイナリのエンコーディング方法（バイトオーダー、数値表現のフォーマット等）の識別子を書き込む。なお、ここで書き込む識別子は、エンコーディング方法対応表１３６に記述されている識別子を使用する。

次にステップＳ７０２でバイナリデータ生成部１１１は、ＸＭＬデータ１３２から順番に要素を読み込む。

その後、バイナリデータ生成部１１１は、ＸＭＬデータ１３２の要素がある間、以下のループ処理を繰り返す（ステップＳ７０３〜Ｓ７０９）。

ループ処理の中では、まずステップＳ７０４でバイナリデータ生成部１１１は、ＸＭＬデータ１３２から読み込んだ要素が、スキーマ定義１３１でどのデータ型で定義されているのかを取得する。

次にステップＳ７０５でバイナリデータ生成部１１１は、バイナリ化対象判定部１１３にこのデータ型が指定された文字列をバイナリ表現に変換するかどうかを、データ型の名前空間識別子、データ型名を指定して問い合わせる。そしてステップＳ７０６でバイナリ化対象判定部１１３は、バイナリ化対象定義１３４を参照し、データ型が登録されているかどうかを確認する。

ステップＳ７０６で確認の結果データ型が登録されていればステップＳ７０７でバイナリデータ生成部１１１は、文字列をステップＳ７０１で記述したエンコーディング方法で規定されたバイナリ表現に変換する。そしてステップＳ７０８で、バイナリデータ１３３の別部分に追加する。

なお、要素のデータ型が、バイナリ化対象データ型一覧表に登録されていなかった場合は次のループを実施する（ステップＳ７０６）。

次に図９を参照して、図６のデータ処理から呼び出されるデータ検証処理Ｓ６０５の流れについて詳細に説明する。

まずステップＳ９００で構造化データ検証部１１９は、バイナリデータ検索部１１６に対し、検証対象であるＸＭＬデータ１３２に対応するバイナリデータが存在するかどうか検索するよう指示する。

次にステップＳ９０１でバイナリデータ検索部１１６は、バイナリデータ対応表１３５を参照して、対応するバイナリデータ１３３のファイル名を通知する。

次にステップＳ９０２で構造化データ検証部１１９は、スキーマ定義１３１を読み込み、続いてステップＳ９０３で構造検証部１１８にＸＭＬデータ１３２のファイル名、バイナリデータ１３３のファイル名、スキーマ定義を渡す。

次にステップＳ９０４で構造検証部１１８は、バイナリデータ表現取得部１１７を呼び出し、バイナリデータ１３３からバイナリのエンコーディング方法識別子を取得した後、ＸＭＬデータ１３２から順番に要素を読み込む。

その後ステップＳ９０５で構造検証部１１８は、ＸＭＬデータ１３２に検証対象の要素がある間、以下のデータ検証ループを繰り返す（ステップＳ９０５〜Ｓ９１３）。

データ検証ループでは、まずステップＳ９０６で構造検証部１１８は、スキーマ定義１３１の木構造に関する記述と、ＸＭＬデータ１３２の木構造を比較する。

両者が一致しない場合、検証結果が正しくなかったことを戻り値に設定してリターンする（ステップＳ９０７、Ｓ９１６）。木構造を比較して、両者が一致した場合、次のデータ型定義処理に進む。

ステップＳ９０８では構造検証部１１８は、スキーマ定義１３１のデータ型定義から、読み込んだ検証対象の要素のデータ型を取得する。もしデータ型がバイナリ化対象定義１３４にそのデータ型が登録されていなかった場合、要素の内容である文字列をＸＭＬデータ１３２から取得する。続いてステップＳ９０９又はＳ９１５でスキーマのデータ型と比較する。

ステップＳ９０９でデータ型がバイナリ化対象定義１３４にデータ型が登録されていた場合ステップＳ９１０に進む。ステップＳ９１０では構造検証部１１８は、バイナリデータ表現取得部１１７に、バイナリデータ１３３に保存されている次のバイナリ化されたデータを取得するよう指示する。

次にステップＳ９１１で構造検証部１１８は、取得したバイナリ化されたデータをスキーマ定義１３１に定義されたデータ型と比較する。

ステップＳ９１１の比較の結果、データ型とデータが一致しなかった場合（ステップＳ９１２）、構造化データ検証部１１９は検証結果が正しくなかったことを戻り値に設定してリターンする（ステップＳ９１６）。

また、ステップＳ９１１の比較の結果、データ型とデータが一致した場合、構造化データ検証部１１９は、検証結果が正しかったことを戻り値に設定してリターンする（ステップＳ９１４）。

（第２の実施の形態）
次に本発明の第２の実施の形態について説明する。第１の実施の形態では、図２で説明したように、送信するテキストデータをそのまま加工せず送信している。ここで、バイナリ化した要素内容の文字列がバイナリデータのどこに保存されているかを例えばオフセットを意味する属性で指定することも可能である。これにより、バイナリデータ内で、バイナリ化したデータをより自由に配置することができる。

以下は、図２におけるバイナリ化した要素の内容の文字列がバイナリデータのどこに配置されているかをbi:position属性で指定した記述例を図１２に示す。

図１２のようにする場合、図９のステップＳ９０４において、バイナリデータ先頭からのオフセット値で直接文字列に対応するデータを読み込むためのダイレクト取得処理を構成に追加する必要がある。

図１１は、第２の実施の形態に係るデータ処理装置の構成図である。この構成では、図１に示した第２の実施の形態の構成図に、ダイレクト取得部１１２０が追加されている。

なお、本発明を実現するために、上述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記憶媒体を用いても良い。この場合には記憶媒体をシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって本発明の目的が達成される。

この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）等が実際の処理の一部又は全部を行う場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれてもよい。この場合には、書き込まれたプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行ってもよい。

本発明の第１の実施の形態に係るデータ処理装置の構成図である。 本発明の第１の実施の形態で使用される構造化データの記述例を示した図である。 本発明の第１の実施の形態で使用されるバイナリデータの記述例を示した図である。 本発明の第１の実施の形態で使用されるスキーマ定義の記述例を示した図である。 本発明の第１の実施の形態で使用されるバイナリ化対象定義の記述例を示した図である。 本発明の第１の実施の形態におけるデータ処理全体を説明するためのフローチャートである。 本発明の第１の実施の形態におけるバイナリデータ生成処理のフローチャートである。 本発明の第１の実施の形態におけるバイナリデータ対応表を示した図である。 本発明の第１の実施の形態におけるデータ検証処理のフローチャートである。 本発明の第１の実施の形態におけるエンコーディング方法対応表の記述例を示した図である。 本発明の第２の実施の形態に係るデータ処理装置の構成図である。 本発明の第２の実施に係るデータ処理装置が、バイナリ化した要素の内容の文字列がバイナリデータのどこに配置されているかをbi:position属性で指定した記述例を示した図である。

符号の説明

１００ データ処理装置
１１０ メモリ
１１１ バイナリデータ生成部
１１２ エンコード方式記述部
１１３ バイナリ化対象判定部
１１５ 参照先記述部
１１６ バイナリデータ検索部
１１７ バイナリデータ表現取得部
１１８ 構造解析部
１１９ 造化データ検証部
１３０ 記憶部
１３１ スキーマ定義
１３２ ＸＭＬデータ
１３３ バイナリデータ
１３４ バイナリ化対象定義
１３５ バイナリデータ対応表
１３６ エンコーディング方法対応表
１４０ ＣＰＵ
１１２０ ダイレクト取得部

Claims (6)

1. 構造化データと、構造化データのスキーマ定義とから、構造化データを解析する際に使用するバイナリデータを生成するバイナリデータ生成手段と、
   前記構造化データのどの部分をバイナリ化するかを判断するバイナリ化対象判定手段と、
   前記バイナリデータをどのようなエンコード方式で記述するのかを決定する決定手段と、
   前記構造化データを解析する際にどのバイナリデータを参照するのかを記述する参照先記述手段と、
   前記構造化データのバイナリ表現をバイナリデータから取得するバイナリデータ表現取得手段と、
   前記構造化データの妥当性を、前記バイナリデータを使って検証する構造化データ検証手段とを具備することを特徴とする構造化データ処理装置。
2. 前記バイナリデータ生成手段は、前記構造化データと同じファイルの別部分として前記バイナリデータを生成することを特徴とする請求項１に記載の構造化データ処理装置。
3. 前記構造化データにおいて定義されたデータに対応するバイナリデータの記述から、該構造化データにおいて定義されたデータのバイナリ表現を取得するダイレクト取得手段を具備することを特徴とする請求項１に記載の構造化データ処理装置。
4. 構造化データがＸＭＬ言語で記述され、スキーマ定義がＸＭＬスキーマ言語で記述されていることを特徴とする請求項１に記載の構造化データ処理装置。
5. 構造化データと、構造化データのスキーマ定義とから、構造化データを解析する際に使用するバイナリデータを生成するバイナリデータ生成工程と、
   前記構造化データのどの部分をバイナリ化するかを判断するバイナリ化対象判定工程と、
   前記バイナリデータをどのようなエンコード方式で記述するのかを決定する決定工程と、
   前記構造化データを解析する際にどのバイナリデータを参照するのかを記述する参照先記述工程と、
   前記構造化データのバイナリ表現をバイナリデータから取得するバイナリデータ表現取得工程と、
   前記構造化データの妥当性を、前記バイナリデータを使って検証する構造化データ検証工程とを有することを特徴とする構造化データ処理方法。
6. 構造化データ処理装置による構造化データ処理をコンピュータに実行させるためのプログラムであって、
   構造化データと、構造化データのスキーマ定義とから、構造化データを解析する際に使用するバイナリデータを生成するバイナリデータ生成ステップと、
   前記構造化データのどの部分をバイナリ化するかを判断するバイナリ化対象判定ステップと、
   前記バイナリデータをどのようなエンコード方式で記述するのかを決定する決定ステップと、
   前記構造化データを解析する際にどのバイナリデータを参照するのかを記述する参照先記述ステップと、
   前記構造化データのバイナリ表現をバイナリデータから取得するバイナリデータ表現取得ステップと、
   前記構造化データの妥当性を、前記バイナリデータを使って検証する構造化データ検証ステップとをコンピュータに実行させるためのプログラム。

Images