JP2007078688A - Ｔｏｄクロックを較正するためのシステムおよび方法 - Google Patents

Abstract

【課題】マイクロ秒のオーダの精度でＴＯＤクロックを協定世界時等の外部標準時のソースに同期させることができるシステムおよび方法を提供する。
【解決手段】システム１０は、サーバーデバイス１５、クライアントデバイス２０、ノード２５が接続され、データパケットを送受信してネットワークにおけるコンピューティング・デバイスのタイミング値のサンプルを取得するステップを実施し、各ノードの同期を維持する。この値は、デバイスに維持される物理クロック値およびＴＯＤオフセット総合値を含む。更に、このシステムは、サンプルから発振器スキュー値を計算するステップと、計算した発振器スキュー値の逆に等しく微細ステアリング・レート値を設定するステップと、微細ステアリング・レート値を利用して物理クロック値を調整し、コンピューティング・デバイスにおける発振器水晶体において生じる潜在的な発振器スキュー誤差を補正するステップと、を含む。
【選択図】 図１

Description

本発明は、一般に、コンピュータ・システムにおけるタイミング・システムおよびプロセスに関し、更に具体的には、時刻（ＴＯＤ：Time-of-Day）クロック・タイミング・ソースを較正し設定するためのシステムおよび方法に関する。

今日の並列シスプレックス（parallel sysplex）において、ＴＯＤクロックは、特別なＥＴＲ（External Time Reference）コンソールを用いて外部から同期を取る。しかしながら、ＳＴＰのみの構成においては、ＥＴＲ接続は利用可能でない。また、ＥＴＲ接続は、発振器の故障のための検出機構を提供しない。

また、システム・クロックの同期を取るために、ＧＰＳ受信器を用いることができる。しかしながら、ＩＢＭ ｚ−Ｓｅｒｉｅｓ（登録商標）ｅ−Ｓｅｒｖｅｒは、現在ＧＰＳ接続をサポートしていない。これらのサーバ・アーキテクチャがＧＰＳ接続をサポートしているとしても、外部時刻読み取りの精度を保証するためのシステムが更に必要である。ＧＰＳ受信器では、ＥＴＲ接続によって利用可能であるマイクロ秒レベルの保証精度が提供されない。更に、ＧＰＳ機構は、発振器の故障を検出するための手段を提供しない。

現在の時刻値を読み取る経路において著しい待ち時間およびジッタが存在する場合であっても、マイクロ秒のオーダの精度で、ＴＯＤクロックを協定世界時等の外部標準時のソースに同期させることができるシステムおよび方法を提供することは、極めて望ましいであろう。例示的な目的のため、本明細書中で言及する経路における誤差は、＋／−１００ミリ秒のオーダとする。第２に、ＴＯＤステアリング・レート（steering rate）を微調整して水晶発振器周波数における固有の誤差を克服することを可能とするシステムおよび方法を提供することは、極めて望ましいであろう。更に、発振器周波数における誤差が許容可能な発振器誤差についての記載された仕様を超えた場合に、システムが発振器の故障を自己診断することができるシステムおよび方法を提供することは、極めて望ましいであろう。

本発明は、発振器水晶体の周知の挙動に関する原理を実現する装置および方法を対象とする。すなわち、いずれの所与の発振器水晶体も、例えば−２ｐｐｍから＋２ｐｐｍの範囲の固有の周波数誤差を有するが、発振器が一定の温度に保たれるならば、この誤差は経時的にほぼ一定である。このため、本発明に従って、サーバにおける時刻クロックを外部タイム・ソースに密接に同期させ続けるために、この周波数誤差を求め、調整を行って誤差を補償することができる。これは、現在の環境において、以下のように行われる。

具体的には、ハードウェア管理コンソール（ＨＭＣ：Hardware ManagementConsole）によって、スケジュール設定したダイヤル・アウト・サービスにより、例えば１週間に１度の間隔のように周期的に外部時刻読み取りを行う。これらのタイムスタンプは、システム・マイクロコードに提示され、これが、その値を、物理的ＴＯＤ値およびＴＯＤオフセット等の別個に取得したいくつかの機械値と共に、内部アレイにストアする。更に具体的には、ＨＭＣは２つのタイムスタンプを受信する。すなわち、１つは外部タイム・ソース（例えばＵＴＣ）から、１つは１次タイム・サーバ（primary-time server）（アクティブ階層１サーバとしても知られる）からである。そして、ＨＭＣは、外部タイム・ソースにおける時刻から１次タイム・サーバにおける時刻を減算することによって、ＰＲＴオフセットを計算する。次いで、ＨＭＣは、ＳＴＰデータ構造におけるストレージのための「プライマリ・リファレンス・タイム（Primary Reference Time）設定」コンソール・コマンドによって、ＰＲＴオフセットを１次タイム・サーバにおけるＳＴＰ機構に送る。従って、本発明によれば、それらのタイムスタンプを用いてＰＲＴオフセットを計算する。

本発明によれば、ローカル発振器におけるスキューに関して蓄積されたＰＲＴオフセット値が何を示すかに関わらず、コンソールから取得したＰＲＴオフセットは、除外される値である。３週間後、充分なデータ・サンプルが蓄積されると、発振器のスキューを計算し、その値の負数が、ローカル発振器周波数における固有の誤差を相殺するために必要な「微細ステアリング・レート」となる。この「微細ステアリング・レート」とは別個に、「全体ステアリング・レート」を計算して、ＰＲＴオフセットをゼロにする。全体ステアリング・レートは、ＦＷＩ（Freeqheel interval）当たり１ｐｐｍのレートで変化させ、最終的には４０ｐｐｍの最大ステアリング・レートに達し、コンソールから受信したＰＲＴオフセットを排除する限り、これが維持される。次いで、このレートを減少させ、次の「ＰＲＴ設定」コマンドがコンソールから入力されるまで停止する。場合によっては、ＰＲＴオフセット値が小さいので、完全な増大は必要でない。部分的に増大してから減少させるプロセスを行えば、充分に全オフセットを排除することができる。いったん発振器スキューが正しく計算されると、この値の負数を「微細ステアリング」レジスタに書き込む。「微細ステアリング」レジスタに書き込んだ後に、ＰＲＴオフセット補正ステアリング動作を開始する。

従って、内部データ構造（アーキテクトおよびアンアーキテクト・アレイ）に蓄積されたＰＲＴオフセット履歴は、コンソールから受信したＰＲＴオフセットの値を調整するために用いられない。しかしながら、アレイ内の値は、ローカル発振器スキューを補償するために用いられる「微細ステアリング」レートを計算するために用いられ、この補償は、コンソールから受信したＰＲＴオフセットを低減させる間接的な効果を有する。

本発明によれば、長期間にわたる発振器誤差の蓄積によって、ノイズの多い読み取りがある場合でも、極めて小さい発振器のエラーの検出を観察可能とする。更に、線形適合の勾配は、現在の発振器誤差の極めて正確な尺度を提供する。計算された誤差が仕様内（＋／−２ｐｐｍ）に観察される場合、微細ステアリング・レートを、計算した勾配の負数に設定する。計算した誤差が仕様外にある場合、微細ステアリング・レートを２ｐｐｍの絶対値に設定し、報告手順を呼び出して、修理動作が必要であることをオペレータに通知する。

アルゴリズムは、毎週、アレイ値の範囲を拡大しながら、例えば１５週目にウインドウ・サイズが１６アレイ値に固定されるまで繰り返す。これによって、発振器の連続的な監視および自己補正が得られ、プライマリ・リファレンス・タイムに関して、例えばミリ秒のオーダで精度レベルが改善される。

従って、本発明の一態様によれば、マルチノード・ネットワークに設けられるコンピューティング・システム・ノードにおいて時刻（ＴＯＤ）クロックを較正するためのシステム、方法、およびコンピュータ・プログラムが提供される。ネットワークは、コンピューティング・デバイスのインフラストラクチャを含み、それらのデバイスが各々、共通の発振器に対して段階的に進む動作を実行するためのタイム・ベースを提供する物理クロックを有する。このシステムは、ネットワークにおけるコンピューティング・デバイスのタイミング値のサンプルを取得するステップを実施する。この値は、デバイスに維持される物理クロック値およびＴＯＤオフセット総合値を含む。更に、このシステムは、サンプルから発振器スキュー値を計算するステップと、計算した発振器スキュー値の逆に等しく微細ステアリング・レート値を設定するステップと、微細ステアリング・レート値を利用して物理クロック値を調整し、コンピューティング・デバイスにおける発振器水晶体において生じる潜在的な発振器スキュー誤差を補正するステップと、を含む。

本発明の目的、特徴、および利点は、添付図面と組み合わせて以下の詳細な説明を読むことによって、当業者には明らかとなろう。

これより、プライマリ・リファレンス・タイムを正確にＵＴＣ時刻に設定し、発振器の誤差を除去するための機構の詳細について、ＳＴＰ（サーバ・タイム・プロトコル）タイミング・ネットワークをＩＢＭ ｚＳｅｒｉｅｓ（登録商標）パラレル・シスプレックス等のネットワーク化パラレル・シスプレックスに導入した例示的な場合に関連付けて説明する。また、発振器故障の自己診断および報告についても説明する。

図１は、本発明を実施するＳＴＰ（サーバ・タイム・プロトコル）タイミング・ネットワークを具体的に示す。一実施形態において、システム１０は、サーバ・デバイス１５およびクライアント・デバイス２０を含む。各デバイス１５、２０は、本明細書において、代替的にセントラル・エレクトロニクス・コンプレックスまたはＣＥＣと称し、これは一般に、単一のエンティティとしてパッケージ化されたプロセッサ・コンプレックスを意味する。例えば、１つのＣＥＣ１５、２０は、スタンドアロンのＩＢＭ Ｓｙｓｔｅｍ ｚ９、または、ＩＢＭ ｅＳｅｒｖｅｒ（登録商標）ｚＳｅｒｉｅｓ（登録商標）（例えば、ｚＳｅｒｉｅｓ９９０（ｚ９９０、ｚ９００）またはｚＳｅｒｉｅｓ８９０（ｚ８９０）システム等）を含むことができる。図１において、第１のＣＥＣまたはサーバ・ノード１５（代替的に、本明細書において、「アクティブな１次タイム・サーバ」または「アクティブな階層１」サーバと称する）は、当業者に従来知られた方法で、例えばＵＴＣ時間基準システム（衛星、サーバ等）によって与えられるタイムスタンプによって、ＵＴＣ情報を受信するものとして図示されている。アクティブな１次タイム・サーバ１５は、１つ以上のＣＥＣまたはクライアント・ノード（代替的に階層２サーバと称する）に接続されている。一方、これは、１つ以上の追加のクライアントＣＥＣまたはノード２５（すなわち階層３サーバ）に接続することができる。図１には示さないが、コンピュータ・システムを含むハードウェア管理コンソール（ＨＭＣ）・デバイスを設ける。これが、スケジュール設定したダイヤル・サービスによって、例えば１週間に１度のように周期的に、シスプレックスにおけるアクティブ階層１に通信し、タイムスタンプを取得する。ＨＭＣは、具体的には２つのタイムスタンプを受信する。すなわち、１つは外部タイム・ソース（例えばＵＴＣ）からのものであり、１つは１次タイム・サーバ（アクティブ（階層１）・サーバとしても知られる）からのものである。外部タイム・ソースにおける時刻から１次タイム・サーバにおける時刻を減算することによって、ＰＲＴオフセットを計算する。次いで、ＨＭＣは、アレイにストアするための「プライマリ・リファレンス・タイム設定」コンソール・コマンドによって、１次タイム・サーバにおけるＳＴＰ機構にＰＲＴオフセットを送信する。

本発明を実施するための１つの例示的な用途は、システム１０においてクロック・デバイスを完璧な同期に維持するタイミング・シスプレックスである。本発明の説明において、かかるタイミング・シスプレックスは、サーバ・タイム・プロトコルに従って支配される。ＳＴＰプロトコルに従って、シスプレックス内のノード間でデータ・パケットを送信して、各ノードのクロックの同期を維持する。具体的には、ＳＴＰアーキテクチャによれば、第１のＣＥＣまたはシステム・ノード１５は１次タイム・ソースであり、そのクロックは受信したＵＴＣタイムスタンプに基づいており、シスプレックス内の残りのシステムにタイム・ソースを提供する。このシステムは、アクティブな１次タイム（階層１）・サーバ１５として具現化され、本明細書において記載するようにＰＲＴオフセットを取得する。他の機構を用いて、他のシステムを第１のサーバ・デバイス１５に同期させる。第２（階層２）または第３（階層３）のサーバ・デバイスとして具現化された、これらの他のサーバ・デバイスは、第１のサーバ（階層２サーバ）に対する直接接続を有するか、または、１つの経過ホップ（intermediate hop）（階層３サーバ）を必要とする。これらのシステムは、クロックを設定するためにここに記載する機構を用いないが、それらは、２つの目的のためにアルゴリズムを実行する。（１）それら（階層２または階層３のサーバ）は、第１のサーバ・デバイスが故障した場合、これを引き継ぐように求められる場合がある。アルゴリズムの実行によって、引き継ぎを実行するサーバは、微細ステアリング・レートで開始することができ、その発振子に固有のスキューを補償する。所定の時間間隔（例えば３週間）の間、スクラッチからデータを蓄積する必要はない。（２）ローカル発振子誤差を追跡し、誤差を検出し報告することができる。このため、他のサーバはＴＯＣクロックを同期させるためにアルゴリズムを即座には用いないが、所望の場合には、その目的のためにアルゴリズムを用いることができる。全システムにおける発振器の故障検出から、更に別の利点が得られる。

図１に示すように、ＳＴＰプロトコルに従って、結合リンク１６、２６を介してパケットで供給された情報を伝達する。各ＣＥＣノードは、メッセージ・コマンド・ブロック（ＭＣＢ）およびメッセージ応答ブロック（ＭＲＢ）と呼ばれる形態でデータをＳＴＰネットワーク内の他のシステム（複数のシステム）に送信する。図１に示すタイミング・シスプレックスにおいて、ＭＣＢおよびＭＲＢは、ＣＥＣノード１５と各クライアントＣＥＣノード２０との間で、毎秒何回も（例えば６４ミリ秒に１度）パケットとして周期的に交換される。各ＭＲＢは、各ノードにおけるクロックおよびタイミング同期に関する情報を含むパケットを含む。

図２〜４は、本発明に従って各ノード１５、２０、２５においてＴＯＤ較正／補正を実施するための方法１００を示すフローチャートである。図２に示すように、コンソールから到着する新しいＰＲＴ設定コマンドを受信する第１のステップ１０２が実施される。新しいＰＲＴオフセットの受信に応答して、ステップ１０５に示すように、以下のデータが、コマンド要求ブロックから、アーキテクトＰＲＴデータ・アレイ（図示せず）内の新しいエントリにコピーされる。すなわち、（１）ＰＲＴソースＩＤ（識別子）、（２）コンソールばらつき、（３）ＵＴＣばらつき、（４）ＰＲＴオフセット、および（５）ＰＲＴタイムスタンプ（情報のみ）である。ここで、アンアーキテクト・アレイ（図示せず）に、対応するエントリが生成され、ステップ１０８において、ＰＴＦＦ＿ＱＴＯ（「ＴＯＤオフセットに問い合わせ」）命令（タイミング機構問い合わせ機能を実行）を実行することによって取得した値によって初期化される。具体的には、この機能は、最新のＴＯＤオフセット更新イベントにおける物理クロックの値である物理クロック値（例えば６４ビット）、および、ＴＯＤオフセットの値を示すＴＯＤオフセット値（例えば６４ビット）を含むがこれらには限定されない値を戻す。ステップ１０８において、アーキテクトＰＲＴデータ・アレイにエントリごとに関連付けられたアンアーキテクト・アレイに、物理ＴＯＤクロック値およびＴＯＤオフセット総合値を記録する。アンアーキテクト・アレイに記録されたＴＯＤオフセット総合値は、ＰＴＦＦ＿ＱＴＯ命令が供給するＴＯＤオフセット値、ＰＲＴ設定コマンド要求ブロック（コンソールによって供給される）からのＰＲＴオフセット値、および、サーバに維持されている（１次タイム・サーバの場合はゼロである）調整サーバ・タイム（ＣＳＴ）・オフセットの和である。

ステップ１１２に進んで、ＰＲＴ設定コマンド要求ブロックにおいて見出されたＰＲＴソースＩＤが、ＰＲＴオフセットを手動で発生したことを示すか否か（「ＣＭＡＮ」）を判定する。ＰＲＴ設定コマンド要求ブロックに見出されるＰＲＴソースＩＤが「ＣＭＡＮ」である場合、手動で発生したＰＲＴ情報は最小二乗プロセスに対する入力として用いないので、このプロセスは終了する。このため、ダイヤル・アウト・サンプルがない限り、動作のために新しい情報を入手することができず、プロセスは停止し、ＰＲＴ設定コマンドを処理するＳＴＰコードに制御を戻す。

最新のサンプルがダイヤル・アウトによって得られた場合、ステップ１１５に示すように、発振器スキュー計算を試行するために充分なサンプルが蓄積されたか否かについて判定する。すなわち、最小二乗ライン・アルゴリズムを実行するために必要な最小数のサンプルが少なくとも蓄積されたか否かである。更に、サンプルが、アルゴリズムの最初の実行のために明示された最小時間期間に及んでいるか否かを判定しなければならない。例示的な実施形態では、物理ＴＯＤ／ＴＯＤオフセット総合データ・ポイントの有効セットを蓄積するためには３週間が最小の時間期間であること、および、最初に「最小二乗ライン」アルゴリズムを使用可能である前に４つのかかるデータ・ポイントが存在しなければならないことを想定している。初回の後は、ＣＴＮにおいて新しい「ＰＲＴ設定」コマンドが発行されるたびに、発振器スキューを計算する。ただし、これは、以前のサンプルを記録した後に「サンプルごとの最小時間期間」（例示的な場合では１週間）が経過した場合、および、新しいＰＲＴ情報が手動で発生されなかった場合である。新しい物理ＴＯＤ／ＴＯＤオフセット総合サンプルは、データ・ポイント集合に連続的に追加されて、少なくとも１６のデータ・ポイントおよび少なくとも１５週という標準に達するまで、「最小二乗ライン」アルゴリズムに提示される。

その後、必要な数の最新サンプルを用いて、少なくとも１５週間にわたって蓄積された少なくとも１６のデータ・ポイントを提供する。コンソールから取得された各ＰＲＴオフセット値には、コンソールばらつき値およびＵＴＣばらつき値が付随する。ＰＲＴオフセット値と同様、２つのばらつき値は、ＰＲＴ設定コマンド要求ブロック内にある。組み合わせた値は、１００ｍｓから２００ｍｓの範囲にあると予想される。いずれのＰＲＴオフセットも、これ自身を識別可能とする充分な時間がない限り、これより大幅に小さい可能性がある。２ｐｐｍのスキューでさえも、わずか１．２秒のオフセットを蓄積するために、まる１週間かかるであろう。このため、ステップ１１５において、最小二乗ライン・アルゴリズムを実行するために必要な少なくとも最小数のダイヤル・アウト・サンプル（少なくとも４）が蓄積されており、それらが例えば少なくとも３週間にわたって蓄積された場合、プロセスはステップ１１８に進む。その他の場合、プロセスはこの時点で終了し、ＰＲＴ設定コマンドを処理するＳＴＰコードに制御を戻す。

上述の２つ（１つはアーキテクチャ、１つはアンアーキテクチャ）アレイに、手動サンプルのためのデータもストアされることは理解されよう。しかしながら、これらのデータは発振器スキューの計算には用いられず、ダイヤル・アウト・サンプルのみが用いられる。このため、図２において、ステップ１１８で、２つのアレイに蓄積されたデータを走査し、１６の最新の取得されたダイヤル・アウト・サンプル（または、１６未満のダイヤル・アウト・サンプルが蓄積されている場合には存在するもの全て）を用いるステップが示されている。ダイヤル・アウト・アンプルのセットを走査すると、最大のコンソールおよびＵＴＰばらつき組み合わせ値を有するサンプルの位置が特定され、記録される（これは、発振器スキューの分散を計算するために用いる値である）。特に、各サンプルごとに、コンソールばらつきおよびＵＴＣばらつき値は、どちらのサンプルが最大の和を生じるとしても、用いられる値である。発振器スキューを計算するために用いる公式は、各サンプルのばらつきを個別に考慮しない。しかしながら、結局これは重要でない。なぜなら、サンプル間に７日間の間隔が許容されるからである。最大のばらつき組み合わせを有するサンプルのみを用いることによって、発振器スキューの標準偏差の計算がプラス側に偏りがちであるという効果が生じる。これは、次いで、不良の発振器を検出する状況を疑うという利点を発振器に与える効果がある。

続いて、ステップ１２０において、以下のように、式（５）に従った公式を有する最小二乗適合（least-squares-fit）アルゴリズムを用いて、発振器スキューを計算する。

ＸおよびＹの値を計算するには、現在のサンプル・セットを走査し、各ＸおよびＹの値を以下のように計算する。

Ｘｉ＝「この」ダイヤル・アウト・エンティティ（ｉ）からの物理ＴＯＤからサンプル・セットにおける最も古いダイヤル・アウト・エンティティからの物理ＴＯＤを減算する（すなわちＸｉ＝サンプルｉからの物理ＴＯＤ−サンプル１からの物理ＴＯＤ）。Ｙ＝「この」ダイヤル・アウト・エンティティ（ｉ）からのＴＯＤオフセット総合からサンプル・セットにおける最も古いダイヤル・アウト・エンティティからのＴＯＤオフセット総合を減算する（すなわち、Ｙｉ＝サンプルｉからの「ＴＯＤオフセット総合」−サンプル１からの「ＴＯＤオフセット総合」）。前述のように、「ＴＯＤオフセット総合」は、物理ＴＯＤオフセット、ＣＳＴオフセット、およびＰＲＴオフセットの組み合わせ値であり、ＰＲＴデータ・アレイに関連付けたアンアーキテクト・アレイに記録されている。図３に示すように、分散（ステップ１２５）および「発振器スキューばらつき（ステップ１３０）」を計算するために、この時点で追加のステップを実行することに留意すべきである。これらのステップについては、更に詳細に記載する。

ＰＲＴデータ・アレイ・エントリにおけるＰＲＴタイムスタンプは、単に通知のためのものであり、代わりに物理ＴＯＤ値を用いることは理解されよう。更に、ＰＲＴオフセットを単独で用いる代わりに、これを、ＰＴＦＦ＿ＱＴＯ命令によって供給されるＴＯＤオフセットに加える。このため、本発明によれば、発振器スキューを正確に補償する微細ステアリング・レート値を計算した後でも、新しい各サンプルが到着すると、発振器スキューが検出され、正確に計算される。サーバにおけるクロックが完璧にＵＴＣに較正された後でも、ＰＴＦＦ＿ＱＴＯ命令が戻すＴＯＤオフセット値は同じレートで増大し続ける。手動サンプルが含まれる場合に潜在的な問題を回避するため、式５のスキュー計算では、ダイヤル・アウト・サンプルのみを用いる。

発振器スキューは、例えば２／１０⁶のオーダの値のような極めて小さい小数である「１００万分の１」で計算され表現されることは理解されよう。しかしながら、例示的な実施形態における符号付き３２ビット整数値として、ＰＴＦＦ＿ＳＦＳ（「微細ステアリング・レート設定」）命令（タイミング機構制御機能実行）に入力する整数値が必要である。このため、計算した発振器スキュー値を、倍率２⁴⁴で乗算する。このため、例示的な計算された２ｐｐｍのスキューは、結局、０２１８ＤＥＦ６ｘになる（すなわち、その値を１０⁶で乗算し、次いで２⁴⁴で除算すると、２に極めて近い値になる）。

続いて、図３のステップ１３５において、計算した発振器スキューの負数に等しく微細ステアリング・レートを設定するステップが示されている。すなわち、計算した発振器スキューは、計算した発振器スキューを補償する微細ステア・レートとして機能するために、その符号を変更しなければならない。発振器スキューが正数である場合、微細ステアリング・レートは、発振器スキューと同じ大きさを有するが、負数である。同様に、発振器スキューが負数である場合、微細ステアリング・レートは正数でなければならない。しかしながら、微細ステアリング・レートが２ｐｐｍより大きい絶対値を有することはできない。このため、ステップ１４０において、発振器スキューの絶対値が２ｐｐｍより大きいか否かを判定する。発振器スキューの絶対値が２ｐｐ以下である場合、プロセスはステップ１５０に進む。その他の場合、ステップ１４０において、発振器スキューの絶対値が実際に２ｐｐｍより大きい場合、新しい微細ステアリング・レートの値を、発振器スキュー補正ステアリングの状況で許される最大値に等しく設定する、例えば、新しい微細ステアリング・レートの絶対値は２ｐｐｍに限定される。最後に、ステップ１５０に示すように、新しいステアリング・レートを、アーキテクトＣＴＮパラメータ・ブロックにおけるオペランドとして、システム要素（ＳＥ）にストアする。すでにステップ１３０で計算したように、「計算した発振器スキューばらつき」も、アーキテクトＣＴＮパラメータ・ブロックにストアする。

続いてステップ１５５において、本サーバがＣＴＮのためのアクティブな１次タイム（階層１）・サーバであるか否かを判定する。本サーバがアクティブな１次タイム（階層１）・サーバでない場合、プロセスは図４のステップ１６５に進む。その他の場合、本サーバがアクティブな１次タイム（階層１）・サーバである場合、プロセスはステップ１６０に進み、微細ステアリング・レートを新しい計算値に変更するための指示を行う。微細ステアリング・レートを新しい計算値に変更するプロセスは、ある時間期間にわたって段階的に実行する。図３のステップ１２５に戻ると、以下のように、式６に従って発振器スキューの分散を計算するステップが示されている。

ここで、前記「サンプル・セットからの最大ばらつき値」は、以前に記録した値であり、サンプルの最大コンソールおよびＵＴＣばらつき値の和を含む。ステップ１２５において、分散を計算する理由は、標準偏差すなわち分散の平方根を取得することであり、そのため、システムは、図３のステップ１３０に示すように、「分散器スキューばらつき」と呼ばれるアーキテクト値を計算することができる。例示的な実施において、計算された発振器スキューばらつきは、以下のように、式（７）に従って決定される。
ａ．発振器スキューばらつき＝３＊標準偏差＊２⁴⁴

ゼロ以下の分散では、「スキューばらつき」はゼロにセットされる。「スキューばらつき」は、ＰＲＴ設定コマンドの応答オペランドである。しかしながら、この機構は、それ自身の理由のために発振器スキューばらつき値を用いる。具体的には、発振器スキューが２ｐｐｍ包絡線の外に出るか否かを調べるためにこれを用いる。好ましくは、発振器は、２ｐｐｍを超えて外れないように想定されている。ただし、例えば、何年も使用された後である場合を除く。条件ＡＢＳ（発振器スキュー）＞２ｐｐｍが満足された場合であっても、警告はすぐに生成されない。代わりに、この機構は、計算した「発振器スキューばらつき」値を考慮に入れなければならない。このため、続いて図４のステップ１６５において、計算した発振器スキューから計算した「発振器スキューばらつき」を減算した絶対値が、発振器スキュー補償の状況おいてステアリングのために許される最大ステアリング・レート（例えば２ｐｐｍ）より大きいか否かを判定するステップが示されている。すなわち、
｜（発振器スキュー）｜−「発振器スキューばらつき」＞２ｐｐｍであるか否か、である。

発振器スキューから「発振器スキューばらつき」の絶対値が、許される最大ステアリング・レート以下（例えば＋／−２ｐｐｍ以下）である場合、プロセスはステップ１７０に進んで、エラー・カウントをゼロ（０）に等しくセットし、プロセスは戻る。または、ステップ１６５において、発振器スキューから「計算した発振器スキューばらつき」の絶対値が、許される最大ステアリング・レートより大きい（例えば２ｐｐｍより大きい）ことが判定されると、プロセスはステップ１７５に進んで、エラー・カウントを１だけ増分する。例示的な実施では、「ｅｒｒｏｒ＿ｃｏｕｎｔ」分散は、０に等しい値から開始する。初期マイクロコード・ロード（ＩＭＬ）時、または発振器の切り替えが生じた場合、または、計算した発振器スキューが−２ｐｐｍから２ｐｐｍの包絡線内に見出されるときはいつでも、これはゼロにリセットされる。

このため、この機構によって、発振器スキューは、３標準偏差だけ可能最大値を超える可能性があることがわかる。１つの実施において、この例でも、この機構は、問題があるということを即座には知らせない。代わりに、続いてステップ１８０において、ｅｒｒｏｒ＿ｃｏｕｎｔが許容可能な連続エラーの最大値（例えば、例示的な実施では６）以上であるか否かを判定し、その後に「不良の発振器」の報告を生成する。ｅｒｒｏｒ＿ｃｏｕｎｔが連続エラーの最大可能数以下である場合、プロセスは戻る。または、ｅｒｒｏｒ＿ｃｏｕｎｔが連続エラーの最大可能数以上である場合、プロセスはステップ１８５に進んで、ｅｒｒｏｒ＿ｒｅｐｏｒｔｅｄフラグがゼロに等しいか否かを判定する。これは、「不良の発振器」報告がまだ発生されていないことを示す。ｅｒｒｏｒ＿ｒｅｐｏｒｔｅｄフラグがゼロ（０）に等しくない場合、プロセスは戻る。または、ｅｒｒｏｒ＿ｒｅｐｏｒｔｅｄフラグがゼロ（０）に等しい場合、ステップ１９０において、通知メッセージを発生する（タイプ１ ＩＱＹＹＬＯＧ）。具体的には、ｅｒｒｏｒ＿ｒｅｐｏｒｔｅｄを１に等しくセットする（「ｅｒｒｏｒ＿ｒｅｐｏｒｔｅｄ」分散は、ゼロ（０）に初期化され、ＩＭＬ時または発振器の切り替えが生じる場合にゼロにリセットされる）。このタイプ１ ＩＱＹＹＬＯＧは、このサーバにおける発振器が不良であり取り替える必要があることの指示を与える。このため、例示的な実施において、例えば、この機構が連続して６のインスタンスの発振器エラーを記録した場合、これは、最終的に、発振器を取り替えるためにタイプ１ ＩＱＹＹＬＯＧコールを生成する。

１週間に１度、ＰＲＴ設定コマンドを発行するアカウントでは、発振器エラーが最初に検出される時点とＩＱＹＹＬＯＧが生成される時点との間に、少なくとも５週間が経過する。好ましくは、システム発振器を置換するための保守的な手法を実施する。例えば、発振器が２ｐｐｍ包絡線の外側で大きくドリフトする場合であっても、ＰＲＴオフセット補正ステアリングは、１次タイム・サーバにおけるＴＯＤクロックを制御下に保つ。２ｐｐｍのスキューが１週間にちょうど１．２秒に達し、ＰＲＴオフセット補正ステアリング状態マシンは、１．２秒のオフセットを除外するために８時間を少し超える時間がかかる。タイプ１ ＩＱＹＹＬＯＧは、修理アクションを明白に必要とする種類のＩＱＹＹＬＯＧである。不良の発振器を識別した場合、ＩＱＹＹＬＯＧを発生させるのは、アクティブな１次タイム（階層１）・サーバだけではない。これは、２次タイム・サーバの全てにおいて生じる。すなわち、各サーバは、ＣＴＮにおける役割が何であれ、その発振器を監視して、２ｐｐｍ包絡線の外にドリフしないことを保証する。ＳＴＰのみのＣＴＮにおけるアクティブな１次タイム（階層１）・サーバのみが、ＰＲＴ設定コマンドを得る。しかしながら、プライマリ・リファレンス・タイム補正ステアリング情報ブロック（ＰＣＳＩＢ）すなわちＳＴＰアーキテクチャにおいて規定される制御ブロックは、ＰＲＴ設定コマンドからのデータをストアする場合、ＣＴＮ全体に同報通信され、これによって、２次タイム・サーバにおいても発振器スキューの計算が可能となる。

ステアリング・レートを計算したばかりのサーバがアクティブな１次タイム（階層１）・サーバである場合、これは新しいステアリング・レートを利用する。しかしながら、サーバは、新しい値をその微細ステアリング・レジスタに配置しない。このプロセスでは、ＦＷＩ（freewheel interval）当たり１ｐｐｍ以下のステアリング変更が望まれる。すなわち、これは、そのクロック・ソースからＸＴＰ ＭＲＢを得ることなく２次タイム・サーバがＣＳＴに同期したままでいることができる最大時間長に対応する持続時間である。例示的な実施においては、この間隔は、ｚ９マシンでは約８．３３３秒であり、ｚ９９０マシンでは１２．５秒である。アクティブ階層１サーバがｚ９であり、突然に発振器の切り替えがあった場合、２ｐｐｍから−２ｐｐｍの発振器スキューに突然の揺れが生じる可能性がある。すなわち、古い発振器のスキューは正の最大値であり、新しい発振器のスキューは負の最大値である。この機構では、突然に−２ｐｐｍから２ｐｐｍに微細ステアリング・レジスタにおける値が変更することは望ましくない。ＦＷＩ当たり１ｐｐｍのレートで−２ｐｐｍから２ｐｐｍまで微細ステアリング・レートを少しずつ動かす作業は、ＰＲＴオフセットを除外する作業を実行する同じ状態マシンによって処理される。微細ステアリング・レジスタに正しい値を得ることは、実際、ＰＲＴオフセット補正ステアリング状態マシンが最初に行うことである。そのタスクが完了してからのみ、状態マシンは、ＰＲＴオフセット自体を排除するという通常はるかに複雑ではるかに時間のかかるジョブに注目する。

ＰＲＴオフセット補正ステアリング状態マシンが作動状態になる前に、ＰＲＴ設定コマンドのためのコマンド応答ブロックを戻すことは理解されよう。ＰＲＴ設定コマンドの実行には、上述の計算および何らかの状態変数の設定を伴い、これによって、状態マシン・コードは、全ての「メッセージ間隔」（すなわち６４ミリ秒ごと）で呼び出され、ＰＲＴオフセット補正ステアリング動作が完了するまで継続する。これは数時間または数日かかり得るプロセスである。

２次タイム・サーバに関して、上述したように、ＣＳＴオフセット・タームは、ＴＯＤオフセットの計算に含まれている。図５は、図２００であり、ＣＳＴオフセット・タームが２次タイム（階層２）・サーバに関係する場合のその使用を示す。

物理クロック２０５は、サーバにおけるハードウェア・クロックであり、ハードウェア発振器によって段階的に進み、または、９０３７シスプレックス・タイマ・ポートがイネーブルされた場合、９０３７シスプレックス・タイマからの同期信号によって段階的に進む。一例において、物理ＴＯＤクロックは、ＴＯＤクロック・フォーマットにおける１０４ビット・レジスタである。

サーバにおけるシステムＴＯＤクロックは、物理ＴＯＤクロックのあるビット（例えばビット０−６３）にＴＯＤクロック・オフセット２１０を加えることによって形成される。残りのビットは、物理ＴＯＤクロックによって提供されるようなものである。ビット位置０の実行は、この計算では無視される。

上述のように、ＴＯＤクロック・オフセットは６４ビット符号付き二進値であり、物理ＴＯＤクロックに追加されてサーバのためのシステムＴＯＤクロックを形成する。ＴＯＤクロック・オフセットは、物理ＴＯＤクロックに対する補正を提示して、ＣＳＴ２１５に対するシステムＴＯＤクロックの同期を維持しようとする。ＴＯＤＫクロック・オフセットは、システムＴＯＤをＣＳＴに同期させるように操作される。通常の動作では、ＴＯＤオフセットは、段階的に変更されて、システムＴＯＤクロックがＬＰＡＲおよびゲストに対して明白にＣＳＴに向けられるようになっている。場合によっては、同期の目的のために、ＴＯＤオフセットを段階的にある値にするか、または、クロックを特定の値にセットすることができる。サーバが（外部時間基準）ＥＴＲ−タイミング・モードにある場合、ＴＯＤクロック・オフセットはゼロに等しく、値はＳＴＰ機構によって変更されない（ステアリング・レートはゼロにセットされる）。サーバがローカル・タイミング・モードにある場合、ＴＯＤクロック・オフセットはいかなる値とすることも可能であるが、ＳＴＰ機構によって変更されない。

ＣＳＴオフセット２２０は、６４ビット符号付き二進値であり、クロック・ソースとして選択された付加サーバにおけるＴＯＤクロックに対するクロック・オフセットに等しい。ＣＳＴオフセットをシステムＴＯＤクロックに追加して、調整サーバ・タイム（ＣＳＴ）２１５を形成する。追加動作のため、ビット０の実行は無視される。１次タイム（階層１）・サーバおよび階層レベル０におけるサーバでは、フィールドはゼロにセットされる。ＣＳＴオフセットのビット６３は、ＴＯＤクロックのビット６３のものに等しい解像度を有する。ＣＳＴオフセットの初期化状態はゼロである。

ＰＲＴオフセット２２５は、６４ビット符号付き二進値であり、ビット６３はＴＯＤクロックのビット６３に等しい解像度を有する。１次（階層１）サーバにおけるＴＯＤクロックおよびＰＲＴオフセットの和は、調整タイミング・ネットワーク（ＣＴＮ）のためのＰＲＴを提供する。ビット０の実行は、追加動作のために無視される。

本発明によれば、２次タイム（階層２）・サーバは、インアクティブな１次タイム（階層１）・サーバとして機能することができる。従って、引き継ぎが生じ、インアクティブな１次タイム（階層１）・サーバが突然アクティブな１次タイム（階層１）・サーバになる場合、新しいアクティブな１次タイム（階層１）・サーバは、すでに、その微細ステアリング・レートの準備ができている。計算を実行するために必要なＰＲＴオフセット・データを蓄積するために、スクラッチから開始する場合のように、３週間待つ必要はない。インアクティブな１次タイム（階層１）・サーバは、新しいアクティブな１次タイム（階層１）・サーバに実際になる瞬間まで、計算した微細ステアリング・レートを用いない。更に、インアクティブな階層１サーバとして指定したサーバだけでなく、２次タイム（階層２、階層３等）・サーバは全て、発振器スキュー計算を実行する。

２次タイム・サーバが微細ステアリングに関して１次タイム・サーバと同様に動作する実施形態においては、システムによって、２次タイム・サーバは各々、その微細ステアリング・レジスタに、その発振器スキュー計算の結果の負数を書き込むことができ、いつか新しいアクティブな１次タイム（階層１）・サーバになる場合に備えてシステム要素（ＳＥ）にそれをストアするだけではない。

本発明の実施形態に従った方法、装置（システム）、およびコンピュータ・プログラムの図を参照して、本発明について説明した。各図は、コンピュータ・プログラム命令によって実施可能であることは理解されよう。これらのコンピュータ・プログラム命令は、汎用コンピュータのプロセッサ、特殊用途コンピュータ、埋め込みプロセッサ、または他のプログラマブル・データ処理装置に提供して、マシンを生成することができ、コンピュータまたは他のプログラマブル・データ処理装置のプロセッサによって実行する命令が、本明細書中で規定した機能を実施するための手段を生成するようになっている。

また、これらのコンピュータ・プログラム命令は、コンピュータ読み取り可能メモリにストアすることができる。これは、コンピュータまたは他のプログラマブル・データ処理装置に、特定の方法で機能するように指示することができ、コンピュータ読み取り可能メモリにストアされた命令が、本明細書中に規定した機能を実施する命令手段を含む製造アーティクルを生成するようになっている。

また、コンピュータ・プログラム命令は、コンピュータ読み取り可能または他のプログラマブル・データ処理装置に装填して、コンピュータまたは他のプログラマブル装置上で一連の動作ステップを実行させ、コンピュータ実施プロセスを生成することができ、コンピュータまたは他のプログラマブル装置上で実行する命令が、本明細書中で規定した機能を実施するためのステップを提供するようになっている。

本明細書中に開示した本発明は、上述の目的を達成するように充分に考えられていることは明らかであるが、当業者によって多くの変更および実施形態を考案することができ、特許請求の範囲は、本発明の精神および範囲内に該当するような全てのかかる変更および実施形態を包含することが意図されることは認められよう。

本発明を実施するシステム１０を示す図である。 本発明に従ってＴＯＤ較正／補正を実施する方法１００を示すフロー・チャートである。 本発明に従ってＴＯＤ較正／補正を実施する方法１００を示すフロー・チャートである。 本発明に従ってＴＯＤ較正／補正を実施する方法１００を示すフロー・チャートである。 ＣＳＴオフセット・タームが２次タイム（階層２、階層３等）・サーバに関係する場合のその使用を示す図である。

Claims (22)

1. マルチノード・ネットワークに設けられるコンピューティング・システム・ノードにおいて時刻（ＴＯＤ）クロックを較正するための方法であって、前記ネットワークがコンピューティング・デバイスのインフラストラクチャを含み、前記デバイスが各々、共通の発振器に対して段階的に進む動作を実行するためのタイム・ベースを提供する物理クロックを有し、前記方法が、
   （ａ）前記ネットワークにおけるコンピューティング・デバイスのタイミング値のサンプルを取得するステップであって、前記値が、前記デバイスに維持される物理クロック値およびＴＯＤオフセット総合値を含む、ステップと、
   （ｂ）前記サンプルから発振器スキュー値を計算するステップと、
   （ｃ）前記計算した発振器スキュー値の逆に等しく微細ステアリング・レート値を設定するステップと、
   （ｄ）前記微細ステアリング・レート値を利用して前記物理クロック値を調整し、前記コンピューティング・デバイスにおける前記発振器の水晶体において生じる潜在的な発振器スキュー誤差を補正するステップと、
   を含む、方法。
2. 前記ＴＯＤオフセット総合値が、
   物理クロック値に付加されて前記ノードにおける基本マシンＴＯＤクロックを取得するＴＯＤオフセット値成分と、
   プライマリ・リファレンス・タイム（ＰＲＴ）・オフセット値成分と、
   前記ノードにおけるコンピューティング・デバイスにおいて維持される調整サーバ・タイム（ＣＳＴ）・オフセット値成分と、
   を含む、請求項１に記載の方法。
3. 前記マルチノード・ネットワークが、接続されたデバイスの階層を含み、第１のデバイスが、１次コンピューティング・デバイスを含み、これが、結合リンクを介して取り付けられた複数の２次コンピューティング・デバイスを同期させるためのタイム・ベースを提供する、請求項２に記載の方法。
4. 前記マルチノード・ネットワークが、結合リンクを介して１つ以上の２次コンピューティング・デバイスに取り付けられた複数の３次コンピューティング・デバイスを含み、前記１つ以上の２次デバイスが、前記ネットワークにおける前記複数の３次コンピューティング・デバイスを同期させるためのタイム・ベースを提供する、請求項３に記載の方法。
5. 前記ノードが１次コンピューティング・デバイスであり、前記１次コンピューティング・デバイスにおいて維持される前記ＣＳＴオフセットがゼロに等しい、請求項３に記載の方法。
6. 前記発振器のスキュー・コンピューティングが、最小二乗適合アルゴリズムを適用することを含む、請求項１に記載の方法。
7. 前記適用された最小二乗適合アルゴリズムが、以下に従って前記発振器スキューを計算し、
   

   

   ここで、ＸｉおよびＹｉが、前記サンプルを走査することによって計算され、ここでＸｉ＝ｉ番目のサンプルからの物理クロック−サンプル１からの物理クロックであり、Ｙｉ＝ｉ番目のサンプルからの「ＴＯＤオフセット総合」値−サンプル１からの「ＴＯＤオフセット総合」値である、請求項６に記載の方法。
8. 前記計算した発振器スキューの分散値を計算するステップを更に含み、前記分散が以下に等しく、
   

   

   ここで、前記「サンプル・セットからの最大ばらつき値」が、データ・アレイにおける前記サンプルの最大ばらつき値の組み合わせを含む値である、請求項７に記載の方法。
9. 前記計算した変動から発振器スキューばらつき値を計算する分散値を計算するステップを更に含み、前記発振器スキューばらつき値が、以下に従って計算され、
   発振器スキューばらつき＝３＊標準偏差＊倍率
   ここで、前記標準偏差が前記変動の平方根であり、前記倍率がスケーリング・ファクタである、請求項８に記載の方法。
10. 前記発振器スキュー値が所定の範囲内にあるか否かを判定するステップと、
    前記発振器スキュー値がこの範囲外にある場合、エラーの指示を与えるステップと、
    を更に含む、請求項９に記載の方法。
11. 前記発振器スキュー値が所定の範囲内にあるか否かを判定する前記ステップが、以下の、
    ｜（発振器スキュー）｜−「発振器スキューばらつき」＞２ｐｐｍ
    を計算することを更に含む、請求項９に記載の方法。
12. マルチノード・ネットワークに設けられるコンピューティング・システム・ノードにおいて時刻（ＴＯＤ）クロックを較正するための装置であって、前記ネットワークがコンピューティング・デバイスのインフラストラクチャを含み、前記デバイスが各々、共通の発振器に対して段階的に進む動作を実行するためのタイム・ベースを提供する物理クロックを有し、前記装置が、
    前記ネットワークにおけるコンピューティング・デバイスのタイミング値のサンプルを取得するための手段であって、前記値が、前記デバイスに維持される物理クロック値およびＴＯＤオフセット総合値を含む、手段と、
    前記サンプルから発振器スキュー値を計算するための手段と、
    前記計算した発振器スキュー値の逆に等しく微細ステアリング・レート値を設定するための手段であって、前記微細ステアリング・レート値を利用して前記物理クロック値を調整し、前記コンピューティング・デバイスにおける前記発振器の水晶体において生じる潜在的な発振器スキュー誤差を補正する、手段と、
    を含む、装置。
13. 前記ＴＯＤオフセット総合値が、
    物理クロック値に付加されて前記ノードにおける基本マシンＴＯＤクロックを取得するＴＯＤオフセット値成分と、
    プライマリ・リファレンス・タイム（ＰＲＴ）・オフセット値成分と、
    前記ノードにおけるコンピューティング・デバイスにおいて維持される調整サーバ・タイム（ＣＳＴ）・オフセット値成分と、
    を含む、請求項１２に記載の装置。
14. 前記マルチノード・ネットワークが、接続されたデバイスの階層を含み、第１のデバイスが、１次コンピューティング・デバイスを含み、これが、結合リンクを介して取り付けられた複数の２次コンピューティング・デバイスを同期させるためのタイム・ベースを提供する、請求項１３に記載の装置。
15. 前記マルチノード・ネットワークが、結合リンクを介して１つ以上の２次コンピューティング・デバイスに取り付けられた複数の３次コンピューティング・デバイスを含み、前記１つ以上の２次デバイスが、前記ネットワークにおける前記複数の３次コンピューティング・デバイスを同期させるためのタイム・ベースを提供する、請求項１４に記載の装置。
16. 前記ノードが１次コンピューティング・デバイスであり、前記１次コンピューティング・デバイスにおいて維持される前記ＣＳＴオフセットがゼロに等しい、請求項１４に記載の装置。
17. 前記発振器スキュー値を計算するための手段が、最小二乗適合アルゴリズムを適用する、請求項１２に記載の装置。
18. 前記適用された最小二乗適合アルゴリズムが、以下に従って前記発振器スキューを計算し、
    

    

    ここで、ＸｉおよびＹｉが、前記サンプルを走査することによって計算され、ここでＸｉ＝ｉ番目のサンプルからの物理クロック−サンプル１からの物理クロックであり、Ｙｉ＝ｉ番目のサンプルからの「ＴＯＤオフセット総合」値−サンプル１からの「ＴＯＤオフセット総合」値である、請求項１７に記載の装置。
19. 前記計算した発振器スキューの分散値を計算するための手段を更に含み、前記分散が以下に等しく、
    

    

    ここで、前記「サンプル・セットからの最大ばらつき値」が、データ・アレイにおける前記サンプルの最大ばらつき値の組み合わせを含む値である、請求項１８に記載の装置。
20. 前記計算した変動から発振器スキューばらつき値を計算する分散値を計算するための手段を更に含み、前記発振器スキューばらつき値が、以下に従って計算され、
    発振器スキューばらつき＝３＊標準偏差＊倍率
    ここで、前記標準偏差が前記変動の平方根であり、前記倍率がスケーリング・ファクタである、請求項１９に記載の装置。
21. 前記発振器スキュー値が所定の範囲内にあるか否かを判定するための手段であって、前記発振器スキュー値がこの範囲外にある場合、エラーの指示を与える前記手段を更に含む、請求項２０に記載の装置。
22. 前記発振器スキュー値が所定の範囲内にあるか否かを判定するための前記手段が、以下の、
    ｜（発振器スキュー）｜−「発振器スキューばらつき」＞２ｐｐｍ
    を計算するための手段を更に含む、請求項２１に記載の装置。

Images