添付図面を参照して本開示のいくつかの実施形態について、より詳細に説明するが、添付図面には本開示のすべての実施形態が示されているわけではない。実際、本開示の種々の実施形態は、多くの異なる形態で実施可能であり、ここで説明される実施形態に限定されるものと解釈されるべきではなく、むしろ本開示が包括的で完全となるように、かつ当業者に本開示の範囲を十分に伝えるために、これらの実施形態が提供される。たとえば、特に明記されない限り、第一の、第二の、などとして何かに言及することは、特定の順序を意味するものと解釈されるべきではない。また、何か別のもの(特に明記されない限り)の上にあるとされるものが代わりに下にあってもよく、逆もまた同じであり、同様に、何か別の物の左にあるとされる物が代わりに右にあってもよく、逆もまた同じである。全体を通して、類似の参照番号は類似の要素を示している。
本発明の実施形態は、概して、複合システムの3次元(3D)表示のパノラマ的な視覚化に関する。より具体的には、種々の実施形態は、3D表示及び他の文書により示される複合システムの要素間の空間的関係、設計関係又は機能的関係を反映する方法における、そのような3D表示及び場合により複合システムに関する他の文書のパノラマ的な視覚化に関する。実施形態は、主として航空宇宙応用と併せて述べられる。しかしながら、実施形態は、航空宇宙産業及び航空宇宙以外の産業の両方で、様々な他の用途と併せて利用できると理解されるべきである。保守、材料-在庫管理、購入、調達、技術サポート、ロジスティック計画、出荷及び受け入れ、並びに倉庫設備管理を含む装置作動の多数の態様に影響を与える可能性があるので、業種を超えた正確な部品情報へのアクセスが重要である。
ここで図1を参照すると、パノラマ的な視覚化システム100が、本発明の実施形態に従って示される。システムは、一又は複数の電子文書に対して一又は複数の機能又は動作を実行するためのいかなる任意の数の異なるサブシステム(各別個のシステム)をも備えることができ、それらのうちの少なくともいくつかは、複合システムのデジタル3次元(3D)モデルの2次元(2D)派生物(derivative)とすることができる。たとえば、図示されるように、システムは、文書コレクションシステム102、3Dモデルコレクションシステム104、文書レイアウトシステム106、文書ナビゲーションシステム108、及び/又は空間ベースの検索システム110を備えることができる。パノラマ的な視覚化システムの一部として示されているが、一又は複数の文書コレクションシステム、3Dモデルコレクションシステム、レイアウトシステム、ナビゲーションシステム及び/又は空間ベースの検索システムは、その代わりに、パノラマ的な視覚化システムから切り離されそれと通信することもできる。一又は複数のサブシステムは、他のサブシステムとは関係なく、別個のシステムとして機能又は動作できることも理解されるべきである。さらに、パノラマ的な視覚化システムは、図1で示されるものに対し、一又は複数の付加的な又は代替的なサブシステムを備えるとしてもよい。
ここで述べられるように、電子文書(又は単に文書)は、電子的な及び/又は印刷された(又は印刷可能な)形態で視覚化できる任意の電子媒体コンテンツとされる。文書の媒体コンテンツは、一又は複数のテキストコンテンツ、グラフィックコンテンツ又は静止画、動画などの他の視覚的コンテンツを含むことができる。文書は、その文書の種類がそのフォーマット、媒体コンテンツなどの一又は複数の文書の特性により定義される任意の数の異なる種類の文書であってもよい。適する種類の文書の例は、コンピュータ設計文書(例えば、CAD、CATDrawing、CATPart、CATProduct、CATProcess、cgr、DWG、DXF、DWFなど)、テキストベースの文書(例えば、ANS、ASC、DOC、DOCX、HTML、PDF、RTF、TXT、WPDなど)、プレゼンテーション文書(例えば、PDF、PPTなど)、グラフィックス文書(例えば、BMP、GIF、JPEG、JP2、PNG、PSD、PSP、RAW、TIFFなど)、ビデオ文書(例えば、AVI、MPEG、QuickTime、WMVなど)などを含む。適する種類の文書の他の例は、法的文書(例えば、判決、要約、特許など)、本、マニュアル、雑誌又は業界誌、記事、ウェブページ、スクリーンショット、サービス速報、設計図、保証書、技術的な図面、配線図などの単独のもの又はコレクションを含む。そして、適する種類の文書の更なる例は、技術設計データ、配線データ、トラブルシューティングデータ、ビジネスデータなどのデータセットを含む。
文書は、基本的な区切り点(breaking points)の間のようなその媒体コンテンツのグループ化である一又は複数の構成文書コンポーネントからなる。文書コンポーネントは文書の種類次第であり、たとえば、電子ページ、スライド、グラフ、図、静止画、動画などを含むことができる。文書コンポーネントは、他の種類のコンポーネントを含むときには必ずしも電子ページを必要としないが、時には、大まかに「ページ」と言われることもある。文書が唯一のコンポーネントを含む例では、文書及びそのコンポーネントは一つとされ、かつ同一のものとされる。
ここで、構成ページからなる文書を参照する。しかしながら、実施形態は、構成ページからさらに構成されてもよく又は構成されなくてもよい、構成文書からなる文書のグループ(コレクション)に等しく適用可能であると理解されるべきである。ゆえに、文書に対して実行される機能は文書のグループに対して等しく実行され、かつページに対して実行される機能は構成文書に対して等しく実行される。
各ページは、それ(というよりは媒体コンテンツ)の視覚表示が電子的な及び/又は印刷された(又は印刷可能な)形式で生成されるデータから形成される。ページが他の種類の媒体コンテンツを含む時には必ずしも静止画を含む必要はないが、ページの視覚表示は、時には、大まかに単にページ又は「画像」と言われることもある。
ページは、一又は複数のサブジェクトを有し、かつサブジェクトを反映する又は別の方法でサブジェクトを形成する一又は複数のオブジェクトを有する媒体コンテンツを含む。それゆえ、時には、ページは、そのサブジェクト及び/又はそのサブジェクトのオブジェクトを表すと言われる。例として、ページは、そのサブジェクトとして航空機を有し、オブジェクトとして航空機の外装又は内装のビュー又は外装/内装ビューのセクションを含むことができ、若しくは、ページは、そのサブジェクトとして外装/内装のビューを有し、オブジェクトとして外装ビューのセクションを含むことができる。別の例として、ページはそのサブジェクトとして航空機の計器盤を含み、サブジェクトとして計器盤の計器を含むことができる。
種々の例では、一又は複数の文書は、航空機又は物理的構造、生物学的構造、化学的構造などを含むいかなる任意の数の他の構造などの複合システムについてである。先ほど述べられたように、これらの「システム関連の」文書及びそれらのシステム関連のページは、例えば、技術図、製図、配線図などを含むことができる。また、これらの文書は、保守文書及び/又は操作文書(または概して「保守文書」とも言われる)を含むことができる。複合システムは、概して一又は複数のコンポーネント、サブシステムなど(各々が概して「サブシステム」と言われる)からなり、各サブシステムは一又は複数の部品からなり、各部品は一又は複数の特性を含む。この点で、複合システムの部品は、任意の数のサブシステムに組み立てられ、これが順に複合システムに組み立てられる。航空機に照らして、一又は複数の部品又はサブシステムは、しばしばライン交換可能ユニット(LRU)ともいわれる航空機のモジュールコンポーネントとして設計され、その単一の航空機は任意の数のLRU及び他の部品又はサブシステムを含むことができる。任意の複合システムそれ自体又はいかなるそのサブシステム、(サブシステムの)部品、(部品の)特性なども、ときには概して複合システムの「要素」と言われる。
概して、システム関連の文書は、複合システムの一又は複数の要素を視覚的に示す(例えば、映像的に又はテキスト的に)いかなる任意の数の文書をも含むことができる。いくつかの例では、この表現は、例えば、複合システムの要素の操作、設定、保守、修理、除去、交換、又は試験のためなど、そのような要素(または概して「保守タスク」と言われる)の又はそのような要素を使用する、一又は複数の保守又は操作タスクを含むことができる。
適する航空機保守文書の例は、航空機図解部品カタログ(AIPC)、航空機飛行マニュアル(AFM)、航空機保守マニュアル(AMM)、航空機回収マニュアル(ARM)、耐空性改善命令(AD(airworthiness directive))、コンポーネント保守マニュアル(CMM)、コンポーネント保守マニュアル部品リスト(CMMIPL)、構造変更サポートデータ(CCSD(configuration change support data))、航空機異常形態承認表(CDL(configuration deviation list))、消耗製品マニュアル(CPM)、エンジン(部門)マニュアル(EM)、設計図(ED)、装置リスト(EL)、修理持ち越し基準(DDG(dispatch deviation guide))、エンジン洗浄点検及び修理マニュアル(CIR)、エンジン図解部品カタログ(EIPC)、エンジン部品構成管理セクション(EPCM)、障害修復マニュアル(FRM)、障害報告及び障害分離マニュアル(FRM/FIM)、搭乗員操作マニュアル(FCOM(flight crew operations manual))、一般保守マニュアル(GMM)、図解ツール及び装置マニュアル(ITEM)、運行活動報告(ISAR)、保守計画文書(MPD)、整備基準見直委員会報告(MRB(maintenance review board report))、保守総観(maintenance synoptics)、保守内部情報(MT(maintenance tips))、保守訓練マニュアル(MTM)、主要な最小限設備リスト(MMEL(master minimum equipment list))、非破壊試験マニュアル(NDT)、動力装置ぎ装マニュアル(PPBM)、動力装置ぎ装マニュアル図解部品リスト(PPBMIPL)、製品管理データベース(PMDB)、修理記録、業務広報(SB(service bulletin))、業務広報インデックス(SBI(service bulletin index)、サービスレター(SL)、構造修理マニュアル(SRM)、系統記述セクション(SDS)、系統構成図マニュアル(SSM)、ツール及び設備マニュアル(TEM)、重量及びバランスマニュアル(WBM)、配線図マニュアル(WDM)などを含む。
システム関連の文書は、媒体コンテンツを含む一又は複数のページからなり、テキストコンテンツ、グラフィック(例えば図など)コンテンツ又は他の視覚的コンテンツをさらに含んでもよい。一つの例では、媒体コンテンツは、複合システムの一又は複数の要素を示す図及び/又はテキストリストを含むことができる。種々の例では、媒体コンテンツはまた、要素に関する他の情報を含んでもよい。
例えば、ページは、多数のサブシステム(オブジェクト)を含む複合システム(サブジェクト)、多数の部品(オブジェクト)を含むサブシステム(サブジェクト)、若しくは一又は複数の特性(オブジェクト)を含む部品の図及び/又はテキストリスト(媒体コンテンツ)を含む。さらに又は別の方法では、例えば、ページは、多数のサブタスク(オブジェクト)を含む保守タスク(サブジェクト)、多数の保守アクション(オブジェクト)を含むサブタスク(サブジェクト)、又は保守アクション(サブジェクト/オブジェクト)の図及び/又はテキスト指示を含む。
種々の詳細レベルで種々のビューの要素が図として示される。図は、詳細図、組立図及び/又は装備図を含む。例えば、詳細な図は部品を示し、組立図は複合システム又はそのサブシステムの一又は複数を示す。組立図は、複合システム、そのサブシステム又はそのサブシステムの部品との間のいかなる任意の数の異なる関係をも反映することができる。例えば、組立図は、複合システムのサブシステム間の関係、又はサブシステムの部品間の関係を反映する。一つの例では、一又は複数の組立図には、それが示す一又は複数の部品の一又は複数の詳細図が付随する。説明図は、複合システムのその最終位置の要素を示す。
図は、立体図、図表及び/又は正射投影図などにより、いかなる任意の数の異なる方法でも要素を示すことができる。立体図は、目に見えるように(写真のように)要素を示すことができる。図表は、複合システム又はそれのサブシステムの一又は複数を示し、それらのサブシステム又は部品を図示し、製造、動作など(例えば、説明図)の方法又は原理を提示することができる。図は、技術図又は他の設計図、配線図、機械図、設置図など、いかなる任意の数の異なる種類のものである。
正射投影図は、任意の数のビューの要素を示し、一又は複数の角度及び/又は詳細レベルから要素を示すことができる。例えば、要素は、投影、正面、上面、底面、背面、右側面及び/又は左側面のビューのうちの一又は複数で示される。また、例えば、要素のビューは、完全なビュー、詳細なビュー、又は断面的なビューであってもよい。完全なビューは、要素の主要な図とみなされ、いかなる角度でも要素を示すことができる。詳細なビューは、要素の部分を示すのみであるが、より詳細にかつ主要なビューよりも大規模に示すことができ、断面的なビューは、切断面で切り取られた要素の他の部分とともに要素の部分を示すことができる。一つの例では、詳細なビューで示される要素の部分は、関連する完全なビューで取り囲まれ、同様に、一つの例では、断面的なビューで示された要素の部分は、関連する完全なビューの切断面により示される。
図に加え又はその代わりに、システム関連の文書の一又は複数のページの各々は、複合システムの要素をテキスト的に示すことができる。一つの例では、一又は複数のページは、複合システムの要素で又は要素を使用して実行される保守タスクを実行するための一又は複数のテキスト命令(媒体コンテンツ)を含む。別の例では、一又は複数のページは、複合システム及び/又は一又は複数のその要素についての情報のテキストリスト(媒体コンテンツ)を含む。リストは、例えば、複合システム/要素の名前、番号(例えば、システム番号、部品番号)又は他の識別子、要素の所要量、複合システム/要素のソース(例えば、製造者、卸業者など)、要素の位置、関連複合システム/要素識別子などを含む複合システム/要素に関するいかなる任意の数の異なる種類の情報をも含むことができる。またリストは、システム関連の文書の図における要素を識別する一又は複数の参照、及び/又は要素を(部分的に又は完全に)示す図を識別する一又は複数の参照を含んでもよい。
概して、実施形態による文書及び/又はそれらのページは、互いの間に一又は複数の論理関係を有することができる。システム関連の文書に照らして、例えば、共通のシステム関連の文書を共有するページが論理的に関連付けられ、若しくは共通のシステム関連の文書において順に互いに隣接するページが論理的に関連付けられる。他の例では、ページは、ここで示される複合システムの要素間で一又は複数の関係に従って論理的に関連付けられる。これらの関係は、例えば、空間的関係、設計の関係(例えば、作業分解図(WBS)、システム機能、設計ファミリー)、機能的関係などを含むことができる。
例えば、同じ要素を(部分的に又は完全に)示すページは、同じ要素を示す空間的関係、設計関係又は機能的関係に従って論理的に関連付けられる。複合システムを示すページは、それぞれの要素間の空間的関係、設計関係又は機能的関係に従って、複合システムのサブシステム、部品又は特性を示すページに論理的に関連付けられる。別の例では、サブシステムを示すページは、それぞれの要素間の空間的関係、設計関係又は機能的関係に従って、サブシステムの部品又は特性を示すページに論理的に関連付けられる。さらに別の例では、部品を示すページは、それぞれの部品と特性との間の空間的関係、設計関係又は機能的関係に従って、部品の特性を示すページに論理的に関連付けられる。
別の例では、要素を(部分的に又は完全に)示すページは、それぞれの要素で又はそれぞれの要素を使用して(部分的に又は完全に)実行される保守タスクを示すページに論理的に関連付けられる。同様に、要素で又は要素を使用して(部分的に又は完全に)実行される保守タスクを示すページは、それぞれの要素を(部分的に又は完全に)示すページに論理的に関連付けられる。
さらに別の例では、同一の保守タスクを(部分的に又は完全に)示すページは、互いに論理的に関連付けられる。同一の保守タスクのサブタスクを示すページは、互いに論理的に関連付けられる。同様に、同一のサブタスクのアクションを示すページは、互いに論理的に関連付けられる。保守タスクを示すページは、タスクのサブタスク又はアクションを示すページに論理的に関連付けられる。サブタスクを示すページは、サブタスクのアクションを示すページに論理的に関連付けられる。
一つの例では、ページ間の論理関係は、映像的(例えば、図)及び/又はテキスト的(例えば、リスト、命令)記述それ自体に反映される。一又は複数の要素を示す一又は複数の図及び/又はリストは、それぞれの要素を識別する、若しくはそれぞれの要素を(部分的に又は完全に)示す他の図を識別するために、例えば、数字、文字又はシンボルなどの参照を含むことができる。保守タスクを示す図及び/又は命令は、それぞれの保守タスクを識別する、若しくはそれぞれの保守タスクを示す他の保守タスクを識別するために、例えば、数字、文字、シンボルなどの参照を含むことができる。さらに、要素で又は要素を使用して実行される保守タスクを示す図及び/又は命令は、それぞれの要素を識別する、若しくはそれぞれの要素を(部分的に又は完全に)示す他の図を識別するために、例えば、数字、文字又はシンボルなどの参照を含むことができる。要素を識別する参照の場合には、参照は、コールアウトとも言われる。一つの例では、同一の要素を(部分的に又は完全に)示す多数の図は、その要素を識別するために同一のコールアウトを含むことができる。別の例では、要素の完全なビューの図は、それぞれの要素の詳細なビューの別の図への参照を含んでもよい。
以下で詳細に説明されるように、次いで、パノラマ的な視覚化システム100の文書コレクションシステム102は、概して、文書を受信し、ページがパノラマ的な視覚化のための文書コレクション(パノラマ的な視覚化文書コレクション)として収集された状態で、ページ間の論理関係に従ってページを収集するように構成される。先ほど述べられたように、種々の実施例では、これらの文書は、複合システムのためのシステム関連文書を含む。3Dモデルコレクションシステム104は、概して、複合システムのデジタル3D表示(モデル)を受信し、そこから一又は複数の2次元(2D)派生物を生成するように構成される。一つの例では、3Dモデル収集システムは、次いで、それぞれの複合システムについての一又は複数のシステム関連文書として文書コレクションシステムにこれら2D派生物を伝達する。
文書レイアウトシステム106は、概して、文書コレクションシステム102からのコレクションなど、パノラマ的な視覚化文書コレクションのパノラマ的に配置された、論理的に関連するページのレイアウトを生成するように構成される。文書ナビゲーションシステム108は、概して、文書レイアウトシステムにより生成されたレイアウトなど、パノラマ的な視覚化文書コレクションのパノラマ的に配置された、論理的に関連するページのレイアウトの視覚的表現をナビゲートするためにナビゲーションオプションを選択し提供するように構成される。空間ベースの検索システム110は、概して、文書コレクションシステムからのコレクションなど、パノラマ的な視覚化文書コレクションのページの空間ベースの検索を実行するように構成される。一つの例では、これらのクエリは、特定の場所で若しくは複合システムの座標系内で一又は複数の特定の場所についての又はそれ(ら)により画定されるボリューム(部分的な又は完全な)内で複合システムの要素を示すページについてのものである。レイアウトの視覚的表現は、概して、単にレイアウトと言われることもある。
それゆえ、本発明の実施形態は、ページ間での論理関係により文書のページを収集することができ、航空機などの複合システムに照らした一実施例では、その要素間での構造的な関係を反映することができる。論理関係を反映する方法で、及び種々の実施例では、空間的、設計の又は機能的関係を反映する方法で、ページはパノラマ的に配置される。この配置によって、そうでなければ理解するのが難しいかもしれない関係のよりよい理解を促す方法で、ユーザは単一のビューでページを見ることができる。例えば複合システムに照らして、配置は、大量の情報を含む文書を検討するのに要する時間を短縮するだけではなく、かつ複合システム及びその要素が互いに関連する方法を理解するために要する時間を短縮し情報を検討する困難を軽減することもできる。
ここで図2、図3、図4、図5、及び図6を参照すると、本開示の実施形態に従い、それぞれ適する文書コレクションシステム、3Dモデルコレクションシステム、文書レイアウトシステム、文書ナビゲーションシステム及び空間ベースの検索システムのより具体的な例が示される。
図2は、一つの実施形態による文書コレクションシステム200を示す。図示されるように、文書コレクションシステムは、一又は複数の電子文書を受信し、かつそれぞれが媒体コンテンツを含む複数の構成ページ(文書コンポーネント)に逆アセンブルするように構成された文書パーサー202を備える。一つの実施例の文書は、文書の種類(例えば、システム関連文書、コンピュータ設計文書、プレゼンテーション文書、グラフィックス文書、ビデオ文書、法的文書、本、記事、ウェブページ、設計図、技術的な図面、配線図など)に従って、逆アセンブルすることができる。それゆえ、文書パーサーは、文書形式、ビジネス規則、又はユーザ入力に基づくなどして、文書の種類を識別するよう構成されてもよい。一つの例では、文書は、以下でより詳しく説明されるように、3Dモデルなどから作成される他のページとは対照的に、ページが複合システムの3Dモデルから作成されない一又は複数の文書を含むことができる。
また、文書コレクションシステム200は、文書パーサー202に結合され、ページを結合するように構成されたコリゲータ204を備えることができる。この点で、ページの結合は、複数のページの一又は複数のページごとに、ページと複数の他のページの一又は複数のページとの間で一又は複数のリンクを識別するように構成されたコリゲータを備える。一つの実施例のリンクは、文書、文書の種類、及び/又はページ及び他のページの媒体コンテンツにより識別することができる。より具体的な例では、リンクは、先に記載された、特定のスキーマにより定義される文書の構造により識別される。一つの実施例では、リンクは、一又は複数のビジネス規則、論理又はスキーマなどにより、任意の数の異なる方法で定義されてもよい。これらのリンクは、ページと他のページとの間の一又は複数の論理関係を構築することができる。
一つの実施例では、リンクは、共通文書(同じ文書の要素)を共有するページ間で識別される。一つの実施例では、リンクは、たとえば、共通文書又は文書のコレクション内の時系列、空間系列又は順序系列などの所定の系列で互いに隣接するページ間で識別される。いくつかの例では、リンクは、ページのサブジェクト又はオブジェクトにより識別される。たとえば、リンクは、共通のサブジェクト又は共通のオブジェクトを共有するページ間で識別される。一つの例では、リンクは、一つのオブジェクトが他のサブジェクトである(オブジェクト−サブジェクト)、又は一つのサブジェクトが他のオブジェクトである(サブジェクト−オブジェクト)ページ間で識別される。
一つの実施例では、リンクは、共通の親を共有する子により直接的であろうと間接的であろうと、親−子関係により関連付けられるページ間で識別される。一つの実施例では、リンクは、ページの一つがその媒体コンテンツの他のページの参照又は他のページヘのリンクを含む例でのページ間で識別される。この点で、ある判決は別の判決(例えば、判決の主文、又は、脚注、巻末の注などにおいて)への引用を含み、又は、ページは別のページへのハイパーリンクを含むことができる。さらに別の実施例では、リンクは、ページ間のリンクを識別するユーザ入力により、ページ間で識別される。
システム関連文書に照らしたより具体的な例では、リンクは、共通のシステム関連文書を共有するページ間、又は共通のシステム関連文書において順に互いに隣接するページ間で識別される。リンクは、ページの2D画像によるなどして、ページにより示される複合システムの要素間の一又は複数の空間的関係、設計関係又は機能的関係に従ってページ間で識別される。リンクは、(部分的に又は完全に)同一の要素を示すページ間で識別される。リンクは、複合システムを示すページと複合システムのサブシステム、部品又は特性を示すページとの間で識別される。同様に、リンクは、サブシステムを示すページとサブシステムの部品又は特性を示すページとの間で識別される。さらに、リンクは部品を示すページと部品の特性を示すページとの間で識別される。一つの例では、複合システムの3Dモデルから作成されるページ(以下で述べる)とそのような3Dモデルから作成されない他のページのうちの一つとの間で識別される。
他の例では、リンクは、複合システムの要素で又は要素を使用して実行される保守タスクによるページとそれぞれの要素との間で識別される。リンクは、複合システムの要素を(部分的に又は完全に)示すページとそれぞれの要素で又は要素を使用して実行される保守タスクを(部分的に又は完全に)示すページとの間で識別される。同様に、リンクは、要素で又は要素を使用して実行される保守タスクを(部分的に又は完全に)示すページとそれぞれの要素を(部分的に又は完全に)示すページとの間で識別される。種々の例では、これらの例は、オブジェクト―サブジェクト関係又はサブジェクト―オブジェクト関係を反映することができ、若しくは親―子又は他の階層関係を反映することができる。
さらに別の例では、リンクは、ページにより示される一又は複数の保守タスクによりページ間で識別される。リンクは、同一の保守タスクを示すページ間で識別される。リンクは、同一の保守タスクのサブタスクを示すページ間で識別される。同様に、リンクは、同一のサブタスクのアクションを示すページ間で識別される。リンクは、メンテナンスタスクを示すページとタスクのサブスタック又はアクションを示すページとの間で識別される。さらに、リンクは、サブスタックを示すページとサブスタックのアクションを示すページとの間で識別される。
ページ間でリンクを識別することに加え、コリゲータ204は、一又は複数のページごとに、ページに関連するメタデータを抽出し、生成し、又は別の方法で提供するように構成されてもよい。ページごとに、その関連メタデータは、ページについての任意の数の異なる情報を提供することができる。例えば、メタデータは、ページとそのページに関連するメタデータの他のページとの間のリンクを識別する情報を提供することができる。この情報は、そのページにリンクされた他のページの名前又は他の識別子を含み、また、それらの間でリンクにより構築される論理関係の指示(例えば、共通文書、サブジェクト及び/又はオブジェクト、隣接物、オブジェクト−サブジェクト、サブジェクト−オブジェクト、親−子、参照/リンク、特定されたユーザなど)を含んでもよい。
リンクに加え、ページの関連メタデータは、ページについての一又は複数の他の情報を含むことができる。たとえば、メタデータは、文書の名前又は他の識別子、及び/又は文書の著者、サイズ、及び/又は作成時間又は最終修正時間など、ページが構成成分である文書に関する情報を提供する。また例えば、メタデータは、ページの媒体コンテンツについて情報を提供することもできる。例えば、この情報は、ページのサブジェクト及び/又はオブジェクトの識別、一又は複数のオブジェクトを含むページの部分、及び/又はページの一又は複数のオブジェクトの詳細のレベルを含む。
複合システムのシステム関連の文書に照らして、例えば、メタデータにより提供される情報は、複合システム(例えば、複合システム、サブシステム、部品、特性)の識別及び場合により複合システムの要素に関する他の情報を含むことができる。この情報は、例えば、複合システム及び/又は一又は複数のその要素に関する情報のリストについて上述のものに類似する情報(例えば、名前、数字、量、ソース、位置、関連する要素)を含む。3Dモデルの2D派生物などの種々のシステム関連の文書について、情報は、一又は複数の要素ごとに、その空間的場所、ボリュームエクステント、質量中心(又は重心)など、複合システムの座標系内に要素の3D形状を反映する情報を含むことができる。種々の実施例では、共通のサブジェクト、オブジェクトを共有する又はオブジェクト−サブジェクト又はサブジェクト−オブジェクト関係を有するページ間でのリンクは、それぞれの文書のサブジェクト及び/又はオブジェクトを識別するメタデータから推測できる。これらの例では、ページのサブジェクト及び/又はオブジェクトの仕様は、ページ間で適切なリンクを識別する情報としては十分である。
また、メタデータは、アクセス制限、編集又は修正制限、及び/又はページの暗号化など、ページに適用された又は適用対象である一又は複数のコンテンツ制限について情報を提供することもできる。航空機などの複合システムのシステム関連文書に照らした一つの例では、コンテンツ制限は、組織(航空会社顧客)、ある種の又は個々の複合システム(たとえば、ある種の又は個々の航空機)、複合システムの要素、保守タスクなど、一又は複数のベースで適合される。この例では、コンテンツ制限についての情報は、メタデータの他の場所で反映される、ユーザの識別、ある種の又は個々の複合システム、又はその要素又は保守タスクに関する情報に照らすなどして、他のメタデータに関連する又は別の方法で他のメタデータを組み込むことができる。
一つの実施例では、ページの結合は、少なくともある程度のページごとに一又は複数のレイアウトモデルを識別するように構成されたコリゲータ204をさらに含む。この実施例では、ページのコリゲータにより抽出され、生成され、又は別の方法で提供された関連メタデータは、一又は複数のレイアウトモデルの各々でそれぞれのページの配置を特定する情報をさらに含む。それぞれのレイアウトモデルについては、これは、例えば、ページ(又はより具体的にはそれの視覚表示)のサイズ、場所及び/又は深さ(z順序)を特定することを含む。レイアウトモデルが識別され、サイズ、場所及び/又は深さが、一又は複数のビジネス規則や論理などにより、いかなる任意の数の異なる方法でも特定される。
適するレイアウトモデル(ときに表現のスタイルと言われる)の例は、ブリックウォール(brickwall)、部分的なブリックウォール、階層、形状、センターアウト、トップ−ダウン/トライアンギュレイテッド、センターアウトトライアンギュレイテッド、サイズドミナンス、オーバーラップスルーディテール、マスターディテールスルーデプス、ロードシェイプ、ファセット、ミックスメディア/スタティックアンドダイナミックなどを含む。他の例は、一又は複数の上述のレイアウトモデルの組み合わせを含む。任意の数の実施例のレイアウトモデルの各々が、以下でさらに述べられる。
一つの実施例では、レイアウトモデルのページのサイズは、絶対的なサイズ又は相対的なサイズとして特定され、そのいずれかが任意の数の異なる方法で与えられる。種々の例では、ページのサイズは、画素のサイズに関連付けることができ、ゆえにページの画素数又は画素解像度が与えられる。一つの実施例では、ページの絶対的なサイズは、高さ及び幅の寸法(例えば、N×M画素)で与えられる。別の実施例では、ページのサイズは、ページが論理的に関連する一又は複数の他のページのサイズに基づき相対的なサイズとして特定される。例えば、相対的なサイズは、他のページの百分率、分数又は倍数などの任意の数の異なる方法で与えられ、又は、相対的なサイズは、単に他のページに対してサイズが小さい、大きい又は等しいという指示により与えられる。例えば、親−子関係により関連付けられるページでは、子のページのサイズはそれの親のページのサイズの半分と特定される。サイズが相対的であるいずれの場合も、それぞれの他のページのサイズは、それらの関連メタデータで与えられ、さらなる他のページのサイズに基づき絶対的なサイズ又は相対的なサイズとして与えられる。
一つの実施例では、サイズと同様に、レイアウトモデルのページの場所(時に位置と言われる)は、絶対的な場所又は相対的な場所として特定されるが、どちらかの場合に、任意の数の異なる方法で与えられる。同様に、レイアウトモデルのページの深さは、絶対的な深さ又は相対的な深さとして特定されるが、そのどちらかは任意の数の異なる方法で与えられる。例えば、ページの絶対的な場所は、レイアウトモデルを測る座標系のx座標、y座標に与えられ、及び/又は絶対的深さは、座標系のz座標に与えられる。別の実施例では、ページの相対的な場所は、レイアウトモデルのポイント又は他のページに対してx座標、y座標に与えられる。さらに別の実施例では、相対的な場所は、単にレイアウトモデルのポイント又は他のページの上方、下方、左側又は右側の指示により与えられる。同様に、一つの実施例では、相対的な深さは、単にレイアウトモデルの他のページの前又は後にあるページの指示により与えられる。場所及び/又は深さが相対的であるいかなる場合にも、それぞれの他のページの場所及び/又は深さは、それらの関連メタデータで与えられ、絶対的な又は相対的な場所及び/又は深さとして与えられる。
コリゲータ204は、パノラマ的な視覚化文書コレクションとしてページ及びメタデータを伝達し、任意の数の異なる送信先にコレクションを伝達するように構成される。一つの実施例では、コリゲータは、後の検索のためにそれぞれの記憶装置206及び208にページ及びメタデータを伝達するように構成される。記憶装置は、文書コレクションシステム200に常駐してもよく、または文書コレクションシステムから分離してそれと通信してもよい。ページ及びメタデータは、任意の数の異なる方法でフォーマット化されて記憶され、ゆえに、それらの記憶装置は、いかなる任意の数の異なる種類とすることができる。適する種類の記憶装置の例は、ファイル記憶装置、データベース記憶装置、クラウド記憶装置などを含む。
種々の実施例では、ページは、それぞれの記憶装置206に記憶される前に、より簡単な記憶及び検索のために圧縮され又は別の方法で処理される。例えば、図示されるように、システムは、コリゲータに結合され、コリゲータがページを伝達するように構成されたタイラー210を備えることができる。タイラーは、一又は複数のページごとに、ページのズームレベルのそれぞれの解像度でページの視覚表示を生成するように構成される。ここで述べられるように、各ズームレベルでのページ(というようりはむしろ視覚表示)は、概して「部分画像」と言われることもあり、時にはページの別個のバージョン又は複製と見なされることもある。しかしながら、上述のように、ページが他の種類の媒体コンテンツを含むときには、ページの部分画像は必ずしも静止画を含む必要はない。
ページの部分画像生成に加え又はその代わりに、タイラー210は、部分画像をズームレベル全域で各々がそれぞれのズームレベルで部分画像の空間的エリアを覆う漸進的な多数のタイルに分割するように構成されてもよい。これは、以下でさらに説明されるように、ページの検索、パン及び/又はズームを促進する。次いで、タイラーは、ページ記憶装置などに、ページの部分画像のタイルを伝達するようにさらに構成される。しかしながら、タイルを伝達する前に、タイラーは、そのように希望されるなら、タイルを圧縮するようにさらに構成されてもよい。
一つのより具体的な例では、タイラー210は、最大ズームレベルから、一又は複数の中間ズームレベルを通って基準ズームレベルまで階層的に配置されるそれぞれのズームレベルでページの多重解像度を生成するように構成される。各ズームレベルは、異なる解像度ではあるがページ全体の部分画像を含み、ズームレベル全域でのページの部分画像は、同じ本来のアスペクト比(イメージの高さに対する幅の割合)を有することができる。一つの実施例では、最大ズームレベル(レベル0)はそれの最低解像度でページ全体の部分画像を含み、一又は複数の中間ズームレベルは漸進的に高い解像度(レベル0直下のレベル1、レベル1直下のレベル2など)でページ全体の部分画像を含み、基準ズームレベル(レベルL)はそれの最高(又は完全)解像度でページ全体の部分画像を含むことができる。
ページの各部分画像は、いかなる任意の数の異なる方法において生成できる。一つの実施例では、部分画像の一つは、完全解像度部分画像のように、タイラー210により受信される。タイラーは、次いで、完全解像度部分画像をダウンサンプリングするなどにより、低い解像度で他の部分画像を生成するように構成される。
示されるように、タイラー210は、部分画像をズームレベル全域で各々がそれぞれのズームレベルで部分画像の空間的エリアを覆う漸進的に多数のタイルに分割するように構成される。タイルはズームレベル内及びズームレベル全域で固定されたサイズ(解像度)を有し、したがてって、多数のタイルからなる部分画像は、少数のタイルからなる部分画像よりも概して高い解像度を有する。それゆえ、各ズームレベルは、それを上回る任意のズームレベルと比べて高いズームレベルと見なされる(そのズームレベルでの部分画像は、それを上回る任意のズームレベルでの部分画像よりも高い解像度とされる)。同様に、各ズームレベルは、それを下回る任意のズームレベルと比べて低いズームレベルと見なされる(そのズームレベルでの部分画像は、それを下回る任意のズームレベルでの部分画像よりも低い解像度とされる)。
一つの実施例では、各ズームレベルでの部分画像は、そのすぐ下のズームレベルの半分の解像度であり、そのすぐ上のズームレベルの2倍の解像度である(解像度は2の倍数で増減する)。この例において、l=0,1,2,・・・L、及びt0は最高ズームレベル(レベル0)でのタイル数を表すとすると、ズームレベルlのタイルの数は、tl=t0×4lによって与えられる。4つのズームレベル0,1,2及び3(L=3)を含み、最高ズームレベル部分画像が1のタイル(t0=1)からなるより具体的な例では、第一の中間ズームレベル(レベル1)部分画像は4つのタイルからなり、第二の中間ズームレベル(レベル2)部分画像は16のタイルからなり、基準ズームレベル(レベル3)部分画像は64のタイルからなるとする。
一つの実施例では、一つのズームレベルの任意の数のタイルにより覆われたページは、それぞれ高ズームレベル又は低ズームレベルで増減する数のタイルにより覆われ、これによりページの解像度の増減がもたらされる。同様に、一つのズームレベルの一つのタイルにより覆われたページのエリアは、隣接する高ズームレベルで複数(例えば、4)のタイルにより覆われ、これにより、ページのそれぞれのエリアの解像度が増加する。一つのズームレベルの複数のタイルにより覆われるページのエリアは、隣接する低ズームレベルの一つのタイルにより覆われ、これにより、ページのそれぞれのエリアの解像度が減少する。
一つの実施例では、特定の解像度のページ(又はそのエリア)は、特定の解像度と釣り合ったズームレベルでページを覆うタイルによりディスプレーされる。ディスプレーされたタイルを高ズームレベルでページを覆う増加した数のタイルと交換することにより、ページの拡大が達成される。ディスプレーされたタイルを低ズームレベルでページを覆う減少した数のタイルと交換することにより、ページの縮小が達成される。ページがタイルに分割されるので、ページのすべてというわけでなくその一部をページがディスプレーされるグラフィックユーザインターフェース(GUI)で見ることができる例においては、ページの可視部分を覆うこれらのタイルのみが検索されてディスプレーされる。
ここで図3を参照すると、一つの実施形態による3Dモデルコレクションシステム300が示される。上述のように、3Dモデルコレクションシステム300は、図1のパノラマ的な視覚化システム100の3Dモデルコレクションシステム104の一つの例である。3Dモデルコレクションシステムは、概して、複合システムのデジタル3D表示(モデル)を受信し、3Dモデルから一又は複数の2次元(2D)派生物を生成し、次いでそれ(ら)が一又は複数のシステム関連文書として伝達されるように構成される。
図3に示されるように、3Dモデルコレクションシステム300は、3DのCAD又は他の類似モデル(ときにソリッドモデルと言われる)など、複合システムのデジタル3Dモデルを受信するように構成された視覚化エンジン302を含むことができる。一つの例では、3Dモデルは、エッジ、フェース、ポイント(例えば、頂点)など、「基本要素」のコレクションとして複合システムを表示することができ、それぞれの複合システムの表面形状、ボリューム又は要素を反映するために多角形構造又は他の演算的に導き出される構造に配列される。複合システムは、「境界線」表示、又は、複合システムにより占められる空間の境界を定める多角形のコレクションであって、複合システムのそれぞれの要素により占められる空間の境界を定める多角形のサブコレクションを含むコレクションにより画定される。いくつかの複合システムについては、3Dモデルは、多数の多角形を使用することができる。
3Dモデルは、技術概念、初期設計、公表された設計など、モデルの設計種類を含む情報を含むことができる。3Dモデルは、複合システム及び/又は一又は複数のその要素に関する情報のリストについて上述のものに類似する情報(例えば、名前、数字、量、ソース、位置、関連する要素)を含む。3Dモデルは、いくつかの実施例においては、3Dモデルで複合システムのモデルベースの定義(MBD)を構成する追加の情報をさらに含むことができる。例えば、3Dモデルは、形状寸法及び耐性(GD&T)、材料仕様、コンポーネントリスト、プロセス仕様、検査要求などの製品製造情報(PMI)を含むことができる。この情報は、どのように複合システムが製造され、組み立てられ、操作され、保持されるべきかなどの設計者の意図を反映する技術目的を伝える。種々の例では、この追加情報は、3Dモデルで、又は3Dモデルと関連付けられたメタデータで直接提供される。
視覚化エンジン302は、複合システムの3Dモデルを解釈すすることができ、複合システム(例えば、複合システム、サブシステム、部品、特性)の要素を示す2D画像を含む一又は複数のページ(電子文書コンポーネント)を作成するように構成される。この点で、視覚化エンジンにより作成された各ページは、一又は複数の要素を示す一又は複数の2D画像を含む。これらの2D画像は正投影図を含み、各ページは一又は複数のそのような図を含むことができる。一つの例では、各ページは、複合システムの要素の投影図、前面図、上面図、右側面図及び/又は左側面図を含むことができる。
一つの例では、視覚化エンジン302は、複合システムの要素間の空間的、設計の又は機能的関係に従って2D画像のページを作成するように構成され、それは一つの例では、3Dモデルとともに含まれる情報から解釈される。この点で、視覚化エンジンは、複合システム内で空間的に、設計により又は機能的に互いに関連付けられた複合システムの要素を示す2D画像のページを作成するように構成される。例えば、視覚化エンジンは、複合システムを示す2D画像のページ、及び複合システムの空間的に、設計により又は機能的に関連付けられたサブシステム、部品若しくは特性を示す2D画像のページを作成するように構成される。別の例では、視覚化エンジンは、サブシステムを示す2D画像のページ、及びサブシステムの空間的に、設計により又は機能的に関連付けられた部品又は特性を示す2D画像のページを生成するように構成される。さらに別の例では、視覚化エンジンは、部品を示す2D画像のページ、及び部品の空間的に、設計により又は機能的に関連付けられた特性を示す2D画像のページを生成するように構成される。
視覚化エンジン302は、3Dモデルの2D派生物を生成するように構成されたデータ抽出器304を含む、又は別の方法でそれに結合される。一又は複数のページごとに、例えば、データ抽出器は、複合システムの要素を示す2D画像を含むページを受信し、3Dモデルから、情報、すなわち、それぞれの2D画像により示される要素に関する情報を抽出するように構成される。抽出された情報は、先に述べられたもののように、3Dモデルとともに含まれる任意の様々な情報を含むことができる。より具体的な例では、抽出された情報は、複合システムの名前/数を含むことができる。抽出された情報は、2D画像により示されるそれぞれの要素と複合システムの一又は複数の他の要素との間の空間的、設計の又は機能的関係を識別する情報を含むことができる。例えば、2D画像により示される要素ごとに、抽出された情報は、それぞれの要素に空間的に、設計により又は機能的に関連付けられた別の要素の名前/識別子を含むことができ、かつ関係の提示を含むことができる。
一つの例では、抽出された情報は、2D画像により示される要素ごとに、その空間的場所、ボリュームエクステント、質量中心(又は重心)など、複合システムの座標系内に要素の3D形状を反映する情報を含むことができる。要素の空間的場所又は質量中心/重心は、絶対語又は相対語(absolute or relative terms)で特定され、任意の数の異なる方法で与えられる。一つの例では、要素の場所は、その点(例えば、頂点)の種々の点のx、y、z座標に与えられ、その質量中心/重心は、x、y、z座標に与えられる。これらの及び他の例では、各組の座標は、最小、最大、中間などの一又は複数の種々の方法で与えられる。
また、データ抽出器304は、2D画像のページに関連付けられるように構成されてもよく、要素に関して抽出される情報はそれぞれの2D画像により示される。一つの例では、データ抽出器は、それぞれのページに関連付けられたメタデータの抽出された情報を提供するように構成される。データ抽出器は、これにより、各2D派生物が2D画像及び関連メタデータのうちの一又は複数のページを含んで、3Dモデルの2D派生物を生成するように構成される。先ほど提示されたように、種々の実施例では、2D派生物は、例えば、図1の文書コレクションシステム102、又は一つの実施例においてより具体的には、図2の文書コレクションシステム200などに対して、パノラマ的な視覚化文書コレクションに含まれるように伝達される。これらの例では、文書コレクションシステムは、上述のように、他のシステム関連の文書に類似する2D派生物を処理することができる。
ここで一つの実施形態による文書レイアウトシステム400を示す図4を参照する。上述のように、文書レイアウトシステム400は、図1のパノラマ的な視覚化システム100の文書レイアウトシステム106の一つの例である。文書レイアウトシステムは、概して、パノラマ的な視覚化文書コレクションのパノラマ的に配置された論理的に関連するページのレイアウトを生成するように構成される。例えば、このコレクションは、文書コレクションシステム102からのコレクション、又は一つの実施例においてより具体的には、図2の文書コレクションシステム200からのコレクションとされる。
図4に示されるように、文書レイアウトシステム400は、検索エンジン402、媒体コンテンツのリクエストを受信してリクエストされた媒体コンテンツを含む一又は複数のページを識別するように構成されたリクエストインターフェースなどを備える。例えば、検索エンジンは、要素を映像的に示す図、要素をテキストで示すテキストリスト、並びに/若しくは要素で実行される又は要素を使用して実行される映像的又はテキストの保守タスクなど、複合システムの一又は複数の要素の表現のリクエストを受信するように構成することができる。識別されたページは、各々がそれぞれの媒体コンテンツを含み、それぞれのページについての情報を提供する関連メタデータを有する複数のページを有するパノラマ的な視覚化文書コレクションについてである。ページ及びメタデータは、それぞれの記憶装置404及び406で記憶され、一つの実施例では、これらは、図2に示されるそれぞれの記憶装置206及び208に対応する。
検索エンジン402は、コレクションのページの関連メタデータに基づくなどして、任意の数の異なる方法でページを識別するように構成される。たとえば、リクエストは、コレクションのページのサブジェクト又はオブジェクトに一致する又はそうでなければ関連するキーワードを含む。次いで、リクエストに応じて、検索エンジンは、リクエストに一致する又は関連する媒体コンテンツを含む一又は複数のページの関連メタデータのメタデータ記憶装置406を検索するように構成される。
また、文書レイアウトシステム400は、レイアウトエンジン408、又は検索エンジン402に結合され、識別されたページを含む、複数のページのうちのパノラマ的に配置されたページについての複数のレイアウトモデルからレイアウトモデル(表現のスタイル)を選択するように構成されたレイアウト生成装置などを備える。レイアウトモデルは、ファイル記憶装置、データベース記憶装置、クラウド記憶装置などのそれぞれの記憶装置で保持され、それぞれの記憶装置により任意の数の異なる方法でフォーマット化され記憶される。
レイアウトモデルは、パノラマ的な配置ページについての任意の数の異なるレイアウトを含む。先ほど記載され、さらに以下で述べられるように、適するレイアウトモデルの例は、ブリックウォール、部分的なブリックウォール、階層、形状、センターアウト、トップ−ダウン/トライアンギュレイテッド、センターアウトトライアンギュレイテッド、サイズドミナンス、オーバーラップスルーディテール、マスターディテールスルーデプス、ロードシェイプ、ファセット、ミックスメディア/スタティックアンドダイナミックなどを含む。他の例は、一又は複数の上述のレイアウトモデルの組み合わせを含む。
レイアウトエンジン408は、いかなる任意の数の異なる方法においてもレイアウトモデルを選択するように構成される。一つの実施例では、レイアウトエンジンは、識別されたページの関連メタデータによりレイアウトモデルを選択するように構成される。検索エンジン402は、それゆえ、レイアウトエンジンに識別されたページの関連メタデータを伝達し、順に、それぞれの関連メタデータによりレイアウトモデルを選択するように構成される。
先ほど説明したように、ページの関連メタデータは、ページが要素である種類の文書についての情報、及び/又はページの媒体コンテンツについての情報を提供する。一つの実施例では、次いで、レイアウトエンジン408は、識別されたページが要素である文書(例えば、システム関連文書、コンピュータ設計文書、プレゼンテーション文書、グラフィックス文書、動画文書、法的文書、本、記事、ウェブページ、設計図、技術的な図面、配線図など)の種類に従って、レイアウトモデルを選択するように構成される。別の例では、レイアウトエンジンは、識別されたページが要素である文書の構造により、及び/またはそれぞれの文書が構築されるスキーマにより、レイアウトモデルを選択するように構成される。さらに別の例では、レイアウトエンジンは、一又は複数のそれのサブジェクト及び/又はオブジェクトのような識別されたページの媒体コンテンツによりレイアウトモデルを選択するように構成される。
また上述のように、ページの関連メタデータは、ページとコレクションの他のページとの間でリンクを識別する情報を含む。それゆえ、レイアウトエンジン408は、識別されたページ及び識別されたページの関連メタデータにより識別された他のページを検索するように構成することもできる。これらのページはそれぞれの記憶装置404から検索される。
一つの例では、ページについての関連メタデータは、アクセス制限、編集又は修正制限、及び/又はページの暗号化など、ページに適用される又は適用対象である一又は複数のコンテンツ制限についての情報を含むことができる。複合システムについてのシステム関連文書に照らして、例えば、コンテンツ制限は、組織、ある種の又は個々の複合システム、複合システムの要素、又は保守タスクのような一又は複数をベースに適合される。この例では、文書レイアウトシステム400は、媒体コンテンツをリクエストするユーザに関する情報をリクエストする又は別の方法で受信することができる。この情報は、ユーザの識別及び/又はユーザの認証情報を含み、これらはユーザから受信される又はユーザの識別に一致するユーザプロファイルに記憶される。
前述の例では、レイアウトエンジン408は、次いで、ユーザ情報及びそれぞれのページに適合されるようなコンテンツ制限に従って識別されたページ及び他のページを検索するように構成される。この点で、組織と連携しているユーザは、それらの関連メタデータがそれぞれの組織、又はおそらくその特定の組織と関連付けられたある種の又は個別の複合システムへのアクセスを許可するページのみに制限される。別の例では、特に知識のある複合システムの要素と関連付けられたユーザは、それぞれの要素を示すこれらのページのみに制限される。これらの例では、レイアウトのビュー及びゆえにそのページのビューは、ページへのコンテンツ制限による任意の数の種々の方法で構成できる。
レイアウトエンジン408は、選択されたレイアウトモデル、及び検索されたページ並びにそれらの関連メタデータによりパノラマ的に配置される、検索ページのレイアウトを生成するように構成される。ページ検索に加え、次いで、一つの実施例のレイアウトエンジンは、例えばそれぞれの記憶装置406から、関連メタデータを受信するように構成されてもよい。レイアウトエンジンは、次いで、例えば、レイアウトが表示されるGUI、又はレイアウトのプリントアウトを生成するプリンタなどへ、レイアウトを伝達するように構成される。
種々の例では、レイアウトは、そのような3Dモデルから作成されない別のページを含まずに、複合システムの3Dモデルの2D派生物のページのうちの少なくともいくつかを含むことができる。他の例では、レイアウトは、複合システムの3Dモデルの2D派生物のページのうちの少なくともいくつかを含んでもよく、そのような3Dモデルから作成されない一又は複数の他のページを含んでもよい。これらの例では、2D派生物のページは、複合システムの要素を示す2D画像のページを含んでもよく、複合システムの座標系内にそれぞれの要素の3D形状を反映する情報を含む関連メタデータを有してもよい。レイアウトに何が含まれようとも、他のページは、同様に複合システムの要素を示すことができるが、これらの他のページは、複合システムの座標系内にそれらそれぞれの要素の3D形状を反映する関連メタデータ不在情報を有することができる。
示唆されているように、レイアウトは、選択されたレイアウトモデルにより検索されたページのパノラマ的な配置を定義することができる。レイアウトの配置において、ページは、それぞれ特定のサイズ、場所及び/又は深さ(z順序)を有する。レイアウトの各ページのサイズ、場所及び/又は深さは、レイアウトの他のページに対して絶対的又は相対的とすることができ、任意の数の異なる方法において特定され又は別の方法で決定可能とされる。一つの実施例では、サイズ、場所及び/又は深さは、複数のレイアウトモデルのうちの選択されたものの定義から特定される又は別の方法で決定可能とされる。付加的に又は代替的に、たとえば、レイアウトの各ページの関連メタデータは、先ほど説明したように、レイアウトのそれのサイズ、場所及び/又は深さ(z順序)を特定する情報を提供する。これらの例では、レイアウトエンジン408は、選択されたレイアウトモデル及び/又はレイアウトのページの関連メタデータにより特定されたサイズ、場所及び/又は深さによりレイアウトを生成するように構成される。
ページのアスペクト比は、それらの本来のアスペクト比とすることができる。しかしながら、種々の例では、レイアウトモデルは、一又は複数のページごとに、それぞれのページの本来のアスペクト比とは異なるアスペクト比を特定する又は別の方法で定義するとしてもよい。これらの例では、レイアウトエンジン408は、異なる、ページについての本来のものではないアスペクト比によりレイアウトを生成するようにさらに構成される。
さらなる実施例では、一又は複数のレイアウトページは、それぞれの解像度で視覚表示(例えば、部分画像)を含む状態とすることができる。これらのページの各々については、レイアウトエンジン408は、選択されたレイアウトモデル及び/又は関連メタデータにより特定されるサイズに一致する又は最も厳密に一致する解像度で視覚表示のためにページを検索するように構成される。例えば、これは、それぞれの解像度での又はそれに最も近いページの部分画像を検索することを含む。
レイアウトエンジン408により生成されるレイアウトは、選択されたレイアウトモデルを変更することによりページの異なるレイアウトが実現されるように、選択されたレイアウトモデルに従い動的に生成される。また、異なるレイアウトは、レイアウトのページの関連メタデータ又は一又は複数の時間ベースの要因に基づくなどして、任意の数の他の方法でも実現される。一つの実施例では、レイアウトエンジンは、それゆえに、検索されたページの異なるパノラマ的な配置のリクエストを受信するようにさらに構成される。この例では、レイアウトエンジンは、リクエストに応じて複数のレイアウトモデルと異なるレイアウトモデルを選択するように構成される。レイアウトエンジンは、次いで、検索されたページの異なるレイアウトを生成するように構成される。これは、選択された異なるレイアウトモデル、及び検索されたページ並びに検索されたページの関連メタデータにより、検索されたページをパノラマ的に再配置するように構成されたレイアウトエンジンを含む。
以下でより詳しく述べられる種々の例では、検索エンジン402、ページ記憶装置404、メタデータ記憶装置406、及び/又はレイアウトエンジン408は、空間ベースの検索システム110などの空間ベースの検索システム内に含まれる、若しくは別の方法でそれに結合される。これらの例では、空間ベースの検索システムは、先述の又はここで述べられるものと同一又は類似の方法などで、レイアウトエンジンにレイアウトモデルを選択させ、パノラマ的に配置されるページのレイアウトを生成させる。
先述のように、レイアウトモデルは、ページのパノラマ的な配置のいかなる任意の数の異なる種類のレイアウトをも含むことができる。レイアウトモデルにおいて、ページ間のリンクにより構築された論理関係は、場所又は深さ(z順序)のどちらか又は両方において、ページの配置により表現される。一つの実施例では、論理関係は、それらの場所、及び/又はそれらの相対的な深さにおいて互いに近接するページにより表現される。さらに、一又は複数のレイアウトモデルは、互いに関連した文書間のナビゲーション経路、及び/又はそれぞれのレイアウトモデルに従って生成されるレイアウトのページを読み込むためのロードシェイプを定義又は意味することができる。図7及び図8は、ブリックウォール及び階層の形態で、それぞれ適するレイアウトモデルの例を概略的に示す。適するレイアウトモデルの他の例に関するさらなる詳細については、少なくとも先述の’987出願を参照されたい。
図7は、ページ702が一又は複数の行及び一又は複数の列に配置された一つの実施形態によるブリックウォールレイアウトモデル700を示す。図示されたように、ブリックウォールレイアウトモデルは、ページがサイズ並びに/若しくは一又は複数の行及び/又は列に沿ってアスペクト比が一致した状態で、一致した端から端までの方向付けにより特徴づけられる。この種のレイアウトモデルは、一般的な検索結果に使用される。一つの例では、レイアウトモデルは、垂直の方向付けがページ長の漸進的増加に関連付けられた状態で、チャプターの場所に関連付けられた水平の方向付けを提供する。
別個に示されてはいないが、部分的なブリックウォールレイアウトモデルは、ブリックウォールレイアウトモデル700の上位集合とみなされる。部分的なブリックウォールレイアウトモデルは、少なくともそれぞれのクラスター内でサイズ及び/又はアスペクト比が同様に一致しているページのクラスターにより特徴づけられる。このレイアウトモデルにおいて、クラスターは、それらの媒体コンテンツ、著者、作成日時又は最終修正日時によるなど、それぞれのページの関連メタデータによって関連付けられる。
図8は、ページが場所及び/又はサイズの階層に配置された一つの実施形態による階層レイアウトモデル800を示す。ページ(階層的に関連したページ)間の階層関係は、任意の数の異なる方法で、それらの関連メタデータにより示される。例えば、階層関係は、ページ間の親−子関係により示される。別の実施例では、階層の高い一つのページのオブジェクトが階層の低い他のページのサブジェクトとされ、及びそれぞれの他のページの少なくともいくつかが階層の同じレベルとされる、オブジェクト−サブジェクト関係又はサブジェクト−オブジェクト関係により、階層関係が示される。この例では、一つのページのサブジェクトがマスタービューとされ、他のページのサブジェクトがマスタービューのオブジェクトの詳細ビューとされる。さらに別の実施例では、階層の高い一つのページが階層の低い他のページの参照又はリンク(例えば、引用、ハイパーリンクなど)を含み、それぞれの他の文書の少なくともいくつかは階層が同じレベルである関係により、階層関係が示される。
階層レイアウトモデル800の一つの例では、階層の高いページは、階層の低いページの上に配置され(トップ−ダウン)、及び/又は階層の低いページよりもサイズが大きい。このレイアウトモデルのページは、サイズまたはアスペクト比が一致しなくてもよい。階層の高いページが階層の低いページより優勢であり、階層の低いページは階層の高いページの幅によりx方向に制約される。
より具体的には、例えば、階層の最も高いページ802は最上部に配置され、その本来のアスペクト比でのページの完全な解像度によりサイズが決定される。次に階層の高いページ804は、最上部ページより小さいサイズで最上部ページのすぐ下に、次に階層の高いページを集合的に最上部ページの幅に制約するアスペクト比で、配置される。このパターンは、次に階層の高いページのそれぞれの下に階層が三番目に高いページ806、階層が四番目に高いページ808へと繰り返す。一つの実施例では、レイアウトモデルは、単一のページをその下でそれぞれのページに引用される関連ページに提供する。
ここで図5に戻ると、文書ナビゲーションシステム500が、一つの実施形態に従って示される。上述のように、文書レイアウトシステム500は、図1のパノラマ的な視覚化システム100の文書ナビゲーションシステム108の一つの例である。文書ナビゲーションシステムは、概して、パノラマ的な視覚化文書コレクションのパノラマ的に配置され、論理的に関連付けられたページのレイアウトをナビゲートするためにナビゲーションオプションを選択し提供するように構成される。一つの実施例では、これは、文書コレクションシステム102(例えば、文書コレクションシステム200)からのコレクションを含む。さらに又は代替的には、例えば、それは、文書レイアウトシステム106(例えば、文書レイアウトシステム400)により生成されたレイアウトを含む。
図5に示されるように、文書ナビゲーションシステム500は、パノラマ的な視覚化文書コレクションのページ(文書コンポーネント)のレイアウトを受信するように構成されたナビゲーションエンジン502を含む。コレクションは、各々がそれぞれの媒体コンテンツを含み、それぞれのページについての情報を提供する関連メタデータを有する複数のページを含む。レイアウトは、それぞれのページの関連メタデータによりレイアウトのページの視覚表示のパノラマ的な配置を含む。
また、ナビゲーションエンジン502は、レイアウトのナビゲーションのための複数のナビゲーションオプションから一又は複数のナビゲーションオプションを選択するように構成され、その中で、ナビゲーションオプションはレイアウトのページの関連メタデータにより選択される。ナビゲーションオプションは、ファイル記憶装置、データベース記憶装置、クラウド記憶装置などのそれぞれの記憶装置内で保持され、それぞれの記憶装置により任意の数の異なる方法でフォーマット化され記憶される。同様に、レイアウトのページのメタデータは、それぞれの記憶装置504に記憶され、一つの実施例では、それは、記憶装置208及び406のどちらか一方又は両方に対応することができる。ナビゲーションエンジンは、選択されたナビゲーションオプションがレイアウトとともに表現されるGUIなどへ、選択されたナビゲーションオプションを伝達するようにも構成される。
一つの実施例では、ナビゲーションエンジン502は、ページの関連メタデータに表示される、レイアウトのページが要素である文書の種類によりナビゲーションオプションを選択するように構成される。一つの実施例では、ナビゲーションエンジンは、関連メタデータにも示される、それらのサブジェクト及び/又はオブジェクトなどの、レイアウトのページの媒体コンテンツによりナビゲーションオプションを選択するように構成される。レイアウトの適するナビゲーションオプションの例は、命令ツール(例えば、パン、回転、ズーム、オブスキュア/ショー、ホームなど)、注釈ツール(例えば、タイムライン/マイルストーン、コールアウトなど)、連結ツール(ハイパーリンク、ホットリンク、ホットスポットなど)、ナビゲーション経路ツール(例えば、トラキッキング、レコーディングなど)、メタデータツール(例えば、検索、フィルタ、挿入など)、ページツール(例えば、検索、フィルタ、キュー、アクティブ化、サイズ、場所、ドミナンス、論理関係など)、レイアウトモデル変更、共同ナビゲーション、ハイパーハイポナビゲーション、印刷などを含む。
レイアウトページの関連メタデータは、直接的に又は間接的に、選択されたナビゲーションオプションに影響を与える。一つの実施例では、ナビゲーションエンジン502により選択されたナビゲーションオプションに直接影響を与えるために関連メタデータが検索される。さらに又は代替的には、例えば、ページの関連メタデータは、それによりレイアウトが生成される選択されたレイアウトモデルに影響することなどにより、それらのレイアウトに影響を与える。より具体的には、例えば、ページのレイアウトは、ページの文書及び/又はページの媒体コンテンツの種類により選択されたレイアウトモデルに従って生成される。次いで、レイアウトは、ナビゲーションエンジンにより選択されたナビゲーションオプションに影響を与える。選択されたナビゲーションオプションに直接的にせよ又は間接的にせよ影響する関連メタデータの場合には、ナビゲーションエンジンは、レイアウトページの関連メタデータによりナビゲーションオプションを選択するといわれる。
文書ナビゲーションシステム500は、ナビゲーションエンジン502に結合され、一又は複数の選択されたナビゲーションオプションに従ってリクエストを受信するように構成されたリクエストインターフェース506を備えることもできる。リクエストインターフェースは、ナビゲーションエンジンにリクエストを伝達するように構成される。ナビゲーションエンジンは、次に、リクエストに応じてかつリクエストに従いレイアウトの視覚表示の調節を実行し、先に述べたGUIなどへ調節を伝達するようにさらに構成される。一つの実施例では、ナビゲーションエンジンは、レイアウト自体を調節せずに、視覚表示の調節を実行するように構成される。別の実施例では、ナビゲーションエンジンは、レイアウトの調節を含む視覚表示の調節を実行するように構成される。
上述のように、選択されたナビゲーションオプションは、レイアウト及び/又はそのページにより、又は一つのより具体的な例では、レイアウトのページの関連メタデータにより影響を与えられる。次いで、種々の例では、異なるページのレイアウトは、一又は複数の異なるナビゲーションオプションの選択をもたらす。例えば、ナビゲーションエンジン502は、各レイアウトがそれぞれのページのパノラマ的な配置を含んだ状態で、異なる時間帯に第一のページのレイアウト及び第二のページの別個のレイアウトを受信する。この実施例では、ナビゲーションエンジンは、第一のレイアウトについては第一のナビゲーションオプション、第二のレイアウトについては第二のナビゲーションオプションを選択する。第一及び第二のページは、一又は複数の共通のページを含むことができるが、一つの実施例では、一又は複数の異なるページを含んでもよい。この例では、第一及び第二のレイアウトは、少なくとも第一及び第二のページが一又は複数の異なるページを含むという点で異なる。次に、第一及び第二のページ同様に、第一及び第二のナビゲーションオプションは一又は複数の共通のナビゲーションオプションを含むが、ナビゲーションエンジンにより選択される第一及び第二のナビゲーションオプションは、一又は複数の異なるナビゲーションオプションを含んでもよい。
以下でより詳しく述べられる種々の例では、メタデータ記憶装置504及びナビゲーションエンジン502は、空間ベースの検索システム110などの空間ベースの検索システム内に含まれる、又は別の方法で検索システムに結合される。これらの例では、空間ベースの検索システムより、先述と同じ又は類似の方法若しくはここで述べられる別の方法などで、ナビゲーションエンジンは、ナビゲーションオプションを選択し、及び/又はレイアウト(及び/又はメタデータ)の調節に対するリクエストを受信し、調節を実行し、調節を伝達する。
ナビゲーションエンジン502は、ページのレイアウトの任意の数の異なるナビゲーションオプションを選択するように構成される。多くの異なるレイアウトモデルにより生成され多くの異なる種類の文書のページを含む多くのレイアウトは、レイアウトのページの関連メタデータに対して動作することができる、検索、フィルタ、挿入などのメタデータツールを含む。検索及びフィルタオプションは、ユーザが特定のメタデータの関連レイアウトを検索する又は関連メタデータをフィルタリングして、特定のメタデータを含む又は排除することを可能にする。挿入オプションは、関連メタデータが特定のメタデータを含むページを参照した特定のメタデータを含むコールアウトの形態などで、レイアウトの視覚的表現への特定のメタデータの挿入を可能にする。
ナビゲーションオプションは、検索、フィルタ、キュー、アクティブ化、サイズ、場所、ドミナンス、論理関係などのページツールを含む。メタデータツール同様に、検索及びフィルタオプションは、ユーザが特定のページ又は特定の媒体コンテンツのレイアウトのページを検索することを許可する。この点で、検索及びフィルタオプションは、レイアウトのページの関連メタデータを関連付けることができる。
キューオプションは、レイアウトのこれらのページへのユーザの注意を引き出すために、一又は複数のページに対する一又は複数の視覚効果の適用を許可する。視覚効果は、いかなる任意の数の異なる効果としてもよい。適する視覚効果の例は、ページ周囲の目立つ色(例えば、黄色)の不透明又は半透明の境界線、ページより小さくページに重なる不透明又は半透明の視覚オブジェクト又は形状、若しくはページとサイズが等しい又はページより大きくページに重なる半透明の視覚オブジェクト又は形状などを含む。他の適する視覚効果の例として、ページサイズの拡大、ページに適用されるアニメーションなどが含まれる。
この視覚効果は、効果が適用されるページ次第で、いかなる任意の数の異なる方法でも、もたらされる。例えば、視覚効果は、一又は複数のページの選択を示すためにもたらされる。この実施例では、視覚効果は、選択されたページに適用される。この実施例においてさらに又は代替的には、視覚効果は、選択されたページとの具体的な論理関係を有する(例えば、共通の文書、サブジェクト及び/又はオブジェクト、隣接物、オブジェクト−サブジェクト・サブジェクト−オブジェクト、親−子、参照/リンク、特定されたユーザなどを共有する)ページに適用される。別の例では、視覚効果は、ユーザが従うナビゲーション経路を示すためのページに適用される。適するナビゲーションオプションのこれらの例及び他の例に関するさらなる詳細については、先述の’964出願を参照されたい。
ここで図6に戻ると、空間ベースの検索システム600が、一つの実施形態に従って示される。空間ベースの検索システムは、図1のパノラマ的な視覚化システム100の空間ベースの検索システム110の一つの例である。空間ベースの検索システムは、概して、文書コレクションシステム102(例えば、文書コレクションシステム200)からのコレクションのような、パノラマ的な視覚化文書コレクションのページの空間ベースの検索を実行するように構成される。さらに又は別の方法では、例えば、それは、文書レイアウトシステム106(例えば、文書レイアウトシステム400)がレイアウトを生成するようなコレクションを含むことができ、及び/又はそれは、文書ナビゲーションシステム108(例えば、文書ナビゲーションシステム500)がナビゲーションオプションを選択し提供するそのレイアウトである、コレクションを含んでもよい。
先ほど示されたように、空間ベースの検索は、特定の場所で、若しくは(部分的に又は完全に)複合システムの座標系内で一又は複数の特定の場所周囲の又はそれ(ら)により画定されるボリューム内で、複合システムの要素を示すページについてのものである。空間ベースの検索システム600は、それゆえにそのような特定の場所を受信又は計算するように構成されたロケータ602を含む。ロケータは、いかなる任意の数の異なる方法で特定の場所を受信又は計算するように構成される。適する技術の例は、2010年12月28日発行の米国特許番号7,859,655、表題:ポインティング機器及びターゲットオブジェクトを含む方法(Method Involving a Pointing Instrument and a Target Object)、2011年1月18日発行の米国特許番号7,873,494、表題:航空機の場所位置特定システムのための方法及び装置(Method and Apparatus for an Aircraft Location Position System)、及び2011年10月25日発行の米国特許番号8,044,991、表題:ローカル位置特定システム及び方法、に開示され、それらの全体を参照することにより、それらすべての内容がここに統合される。
一つの例では、ロケータ602は、ファイルされたテキストエントリー又は場所を受信するための他のユーザインターフェース制御を含む適切なGUIを介するなどして、ユーザから特定の場所を受信することができる。一つの例では、ロケータは、複合システムの3Dモデルを解釈することができ、適するGUIなどで3Dモデルの視覚表現を作成するように構成されたモデルビューア604を含むことができる。モデルビューアは、CADビューア、バーチャルリアリティモデリング言語(VRML)ビューア、X3Dビューア、Java3Dビューア、QuickTimeバーチャルリアリティ(VR)又はQTVRビューアなどにより用いられるような、任意の数の技術に従って視覚表現を作成するように構成される。モデルビューアは、3Dモデルの視覚表現の特定のポイントのユーザ選択を受信し、複合システムの特定の場所に特定のポイントをマッピングする又は別の方法で変換するように構成される。一つの例では、これは、3Dモデル及びそれの関連情報を使用して達成される。
モデルビューア604に追加して又はその代わりに、一つの例では、ロケータ602は、一又は複数の距離センサ608及び/又はオドメトリック(odometric)センサ610に接続された位置確認モジュール606を含むことができる。距離センサは、第二の座標系の原点のセンサ(ときに「ローカル」座標系とも言われる)と複合システムの物理的実体(physical instance)のそれぞれの場所での複数の点との間の距離測定を提供するように構成される。オドメトリックセンサは、距離センサに収容されてもその近傍にあってもよく、オドメトリ(odometry)データを提供するように構成される。適する距離センサの例は、レーザー測距器、LiDAR(光検出及び測距)センサ、ソーナーセンサ、カメラ又は他の視覚センサなどを含む。オドメトリックセンサは、いかなる任意の数の異なる種類のセンサとすることができ、オドメトリックセンサのみならず、視覚オドメトリックセンサ、慣性測定ユニット(IMU)、加速度計、ジャイロスコープなども含むことができる。
距離センサ608が距離測定を提供する複合システムの物理的実体の点は、複合システムの座標系内の既知の場所における点(ここではときに「グローバル」座標系とも言われる)、及びグローバルな座標系内の不明の特定の場所における特定の点を含むことができる。一つの例では、既知の場所は、それぞれの複合システムの3Dモデルから取得される。位置確認モジュール606は、ゆえに、距離測定及びオドメトリデータを受信及び処理し、グローバルな座標系内で不明の特定の場所を計算するように構成される。
位置確認モジュール606は、いかなる任意の数のマルチラテレーション技術、マルチアンギュレーション技術に従うなどして、いかなる任意の数の異なる方法で、不明の特定の場所を計算するように構成される。一つの適する技術の例が、図9及び図10を参照してここで述べられる。図9は、ローカル座標系の図を示し、図10は、ローカル座標系及びグローバル座標系の両方を含む図を示す。
一つの例では、位置確認モジュール606には、既知の場所:PG1 = (xG1, yG1, zG1), PG2 = (xG2, yG2, zG2)がグローバル座標系内にある状態で、点P1 、P2 が与えられ、グローバル座標系の第3の点P3の不明の特定の場所:PG3 = (xG3, yG3, zG3)を計算することができる。図9及び図10に示されるように、これは、3点D1, D2 及び D3の各々に距離測定を提供する距離センサ608を含む。オドメトリックセンサ610は、第三の点と第一の点α1及び第二の点α2のそれぞれとの間に方位角を提供し、一つの例では、第三の点は、α3 = 0となるようにローカル座標系のY軸上にあると仮定される。また、オドメトリックセンサは、水平x−y平面と3点β1、 β2 及びβ3の各々との間に鉛直角を提供する。
位置確認モジュール606は、3点:P
1 (D
1, α
1, β
1), P
2 (D
2, α
2, β
2) 及び P
3 (D
3, 0, β
3)についてセンサ608、610からそれぞれの測定を受信し、それぞれの測定から点 P
1, P
2, P
3 のローカル座標(x
L, y
L, z
L) を計算することができる。図9に対する一つの例では、位置確認モジュールは、以下の数式からローカル座標を計算することができる。
数式(3)の乗数(-1)は、オドメトリックセンサが負の値として角度を提供する実体を構成するために含まれ、正の値として角度が提供される他の例において、乗数は含まれなくてもよい。一つの例では x
L3 = 0であるが、どちらの実体でも、上記の計算は、ローカル座標:P
L1 = (x
L1, y
L1, z
L1), P
L2 = (x
L2, y
L2, z
L2) 及び P
L3 = (x
L3, y
L3, z
L3)をもたらす。
位置確認モジュール606は、次いで、複合システムのグローバル座標系の第三の点のローカル座標を登録する。一つの例では、位置確認モジュールは、それらの既知のグローバル座標から点P
1とP
2 との間の距離 D
12を計算することができる。位置確認モジュールは、次いで、ローカル座標P
L1, P
L2 及び距離D
1, D
2 , D
12からローカル座標系原点のブローバル座標(x
0, y
0, z
0)を計算することができる。図10に対する一つの例では、この計算は、以下の数式に従って実行される。
次いで、ローカル座標系原点のローカル座標P
L3 及びグローバル座標(x
0, y
0, z
0)から、位置確認モジュールは、数式(8)から(10)に従うなどして、第三の点P
3の不明のグローバル座標P
G3(特定の場所)を計算することができる。
ロケータ602が複合システムのグローバル座標系内で特定の場所を受信又は計算する抽出方法に関わらず、ロケータは、パノラマ的な視覚化文書コレクションのページの空間ベースのリクエストとして検索エンジン612に特定の場所を伝達することができる。上述のように、パノラマ的な視覚化文書コレクションは、各々がそれぞれの媒体コンテンツを含み関連メタデータを有するページを含むことができる。ページ及びメタデータは、それぞれの記憶装置614及び616に記憶され、一つの例では、これらは、図4に示されるそれぞれの記憶装置404及び406に対応することができる。
リクエストに応じて、検索エンジン612は、特定の場所で又は(部分的に又は完全に)ボリューム内で複合システムの要素を示す一又は複数のページを識別するように構成される。種々の例では、ボリュームは、事前設定されるユーザ識別されるなどの特定の場所についてのボリュームである。他の例では、ロケータ602は、複合システムのグローバル座標系内で複数の特定の場所を受信又は計算することができ、それらは検索エンジンに伝達される。これらの例では、複数の特定の場所は、検索エンジンが複合システムの要素を示すページを識別するボリュームを画定することができる。
検索エンジン612は、コレクションのページの関連メタデータに基づくなどして、任意の数の異なる方法でページを識別するように構成される。先述したように、種々のページのメタデータは、それらが示す要素ごとに、その空間的場所、ボリュームエクステント、質量中心(又は重心)など、複合システムの座標系内に要素の3D形状を反映する情報を含むことができる。一つの例では、次いで、検索エンジンは、ボリュームエクステントが特定の場所を含む若しくは部分的に又は完全に特定の場所についての又は特定の場所により画定されるボリューム内にある要素を示すページを識別することができる。他の例では、検索エンジンは、特定の場所若しくは特定の場所についての又は特定の場所により画定されるボリューム内に点(例えば、頂点)又は質量中心/重心を有する要素を示すページを識別することができる。
空間ベースの検索システム600は、レイアウトエンジン618を含むことができ、又は別の方法で、文書レイアウトサブシステム400のレイアウトエンジン408などのレイアウトエンジンに接続されてもよい。レイアウトエンジンは、レイアウトモデルを選択し、上述のものと同一又は類似する方法などで、パノラマ的に配置されたページのレイアウトを生成するように構成される。この点において、レイアウトエンジンは、識別されたページ、及び先ほど説明されたように、ページ間のリンクを識別する情報を含む、識別されたページの関連メタデータにしたがって識別されたおそらく他のページを(記憶装置614から)検索するように構成することができる。検索されたページは、識別されたページ及び別のページを含んでいるが、システムに関連付けられた文書からのページ、つまり、複合システムの3Dモデルの2D派生物のすべてとは限らないが少なくともそれらのいくつかを含まなくてもよい。種々の例では、検索されたページは、複合システムの3Dモデルの一又は複数の2D派生物を含み、その関連メタデータは、それぞれの2D派生物により示される複合システムの要素の3D形状を反映する情報を含むことができる。一つの例では、検索されたページは、2D派生物ではない、又は別の方法でそのメタデータがそれぞれのページにより示された要素の3D形状を反映する情報を含まない、一又は複数のページをさらに含むことができる。
先ほど説明された類似の方法で、レイアウトエンジン618(又は空間ベースの検索システム600と通信するレイアウトエンジン408)は、選択されたレイアウトモデル、検索されたページ及びそれらの関連メタデータによりパノラマ的に配置された、検索されたページのレイアウトを生成するように構成される。ページが部分画像を含む一つの例では、レイアウトエンジンは、選択されたレイアウトモデル及び/又は関連メタデータにより特定されるサイズに一致する又はもっとも厳密に一致するページの部分画像を識別及び検索するように構成される。レイアウトエンジンは、次いで、例えば、レイアウトが表示されるGUI、又はレイアウトを含むプリントアウトを生成するプリンタなどへ、ページのレイアウトを伝達するように構成される。
一つの例では、空間ベースの検索システム600は、ナビゲーションエンジンをさらに含むことができ、又は別の方法で、文書ナビゲーションシステム500のナビゲーションエンジン502などのナビゲーションエンジンに接続される。この例では、それぞれのナビゲーションエンジンは、レイアウトエンジン618(又は空間ベースの検索システム600と通信するレイアウトエンジン408)により生成されるレイアウトをナビゲートするための複数のナビゲーションオプションから一又は複数のナビゲーションオプションを選択するように構成することができる。ナビゲーションオプションは、先ほど説明されたものと同一又は類似の方法など、任意の数の異なる方法で選択される。次いで、ナビゲーションエンジンは、選択されたナビゲーションオプションがレイアウトとともに表現されるGUIなどへ、選択されたナビゲーションオプションを伝達するように構成される。また、ナビゲーションエンジンは、一又は複数の選択されたナビゲーションオプションによるリクエストを受信し、リクエストに応じかつリクエストに従ってレイアウトの調節を実行し、調節を伝達するように構成されてもよい。この例では、ナビゲーションエンジンは、直接又は適するリクエストインターフェース(例えば、リクエストインターフェース504)を介してリクエストを受信することができる。
本発明の実施形態をさらに説明するために、本発明の実施形態による、所定の可視エリアを有するGUIに表示され、ユーザによってナビゲートされるページの例示的なレイアウトを示す図11から図13をここで参照する。図11から図13は、所定の可視エリア1100を有するGUIに表示された階層レイアウトモデル800によるレイアウトの例を示す。図示されるように、階層レイアウトモデルによるレイアウトは、複数のページ1102を含み、一つの実施例では、それらの各々が、それぞれの解像度でページの部分画像とされる。ページ1104はページ1106より高い解像度を有し、次にページ1106はページ1108より高い解像度を有し、次にページ1108のいくつかは階層の低い他のページより高い解像度を有するというように、種々のページは、レイアウト内に異なる解像度を有することができる。
ページは、ページ間での論理関係に従ってレイアウトに配置され及び/又はサイズが決定される。示される例では、ページ1102は、主として航空機の3Dモデルの2D派生物からであるが、3Dモデルから作成されない一又は複数の他のページを含んでもよく、さらにオブジェクト―サブジェクト関係を有してもよい。より具体的には、たとえば、階層レベルでのページのオブジェクトは、階層でそれより下のページのサブジェクトとされ、一つの実施例のサブジェクトは、オブジェクトに関して付加的なディテールとされる。
より具体的には、たとえば、ページ1104は、航空機全体の外装の投影図を示す。ページ1106は、翼、翼ボックス、尾部、機体、着陸装置、エンジン、及びドアアセンブリそれぞれを示す。示された例では、翼及び翼ボックス、尾部、機体、エンジン、及びドアアセンブリを示すページ1106は3Dモデルの2D派生物からであり、その一方で、着陸装置を示すページ1106は3Dモデルから作成されなくてもよい。ページ1108は、ページ1106のそれぞれにより示される要素についての追加的詳細を示す。各ページ1106(着陸装置のページを除く)及び1108は、投影図、正面図、上面図及び側面(左又は右)図など、それぞれの要素の4つのビューを示す。しかしながら、可視エリア1100では、ページ1108(及びおそらくページ1106でさえ)は、それらの媒体コンテンツがユーザにより部分的に理解されるのみ又は全く理解されない解像度で提示される。もちろん、他の実施形態では、ページ1108は、実質的にそれらの媒体コンテンツすべてが理解される十分な解像度で提示されてもよい。
GUIは、ページ1102のレイアウトをナビゲートするために一又は複数の選択されたナビゲーションオプションを提示する。この実施例では、ウィンドウ枠及びズームナビゲーションオプションは、可視エリア1100のページのサイズを移動及び/又は拡大し、レイアウトの部分1112をフォーカスするために調整つまみ1110の形態で提示される。要するに、ユーザは、レイアウトを移動及び/又は拡大して、レイアウトの部分でGUIの可視エリアの大部分を満たすために、前述の調整つまみを作動させる。図12は、この方法でレイアウトをナビゲートする結果の一例を示す。
図12で示されるように、ユーザがレイアウトの部分1112をフォーカスするために調整つまみ1110を作動させると、ページ1104-1108のサイズは拡大し、一つの実施例では、ページ1104−1106の部分画像を高い解像度で対応する部分画像と交換することが含まれる。部分画像の解像度により、ユーザは、実質的に、表現された媒体コンテンツのすべてを理解できる。しかしながら、このビューにおいて、ページ1108は、ユーザにより理解されるほど十分な解像度では表現されていない、というのは、それぞれのページのサイズは、次の部分画像に関連するレベルにまで拡大していないからである。すなわち、画像サイズを拡大した後でさえ、より高い解像度で次の部分画像と交換が起こらないように、そのサイズは同じ部分画像になおも最も近似する。ページ1104の一部分のみがGUIの可視エリア内にあり、それぞれのページがタイルに分割される一つの実施例では、それぞれのページの可視部分を覆うこれらのタイルのみが検索され表示される。
一つの例では、ユーザは、図13の例に示されるように、ビューを移動し及び/又はサイズ変更してレイアウトのずっと小さい部分1202をフォーカスするために、調整つまみ1110を再び作動させる。先述のように、ユーザがレイアウトの部分1202をフォーカスするために調整つまみ1110を作動させると、ページ1104−1108のサイズは拡大し、一つの実施例では、ページ1108の部分画像を高い解像度で対応する部分画像と交換することがさらに含まれる。
図14及び図15では、図11から図13に示された例示的レイアウトが再び提示されるが、さらなる例において、レイアウトは、空間ベースの検索によるなど、航空機の要素の検索を実行するためのフィールド又は制御により提示される。この例では、GUIは、その全体の可視エリア1400をそれぞれの情報を提示するための複数のウィンドウ枠に分割する。ウィンドウ枠の一つは、図11〜13に対して先ほど述べられたように、ページのレイアウトを提示するための可視エリア1100に類似する可視エリア1402とすることができ、又は別の方法でそれを含むことができる。また、GUIは、そのような要素を示すページに関連付けられたメタデータを介してなど、航空機の要素をブラウジングするためのウィンドウ枠1404を含んでもよい。このウィンドウ枠から、航空機の要素がブラウジングされ、又は別の方法で、部品カテゴリ、つまり航空輸送協会(ATA)のチャプター番号など所望の要素を検索することができる。さらに又は別の方法では、例えば、GUIは、それぞれの場所に、又は(部分的に又は完全に)それぞれの場所についてのボリュームの内に、航空機の要素の空間ベースの検索を実行するための場所を受信するためのテキストのエントリーフィールドをこのウィンドウ枠に含むことができる。
ユーザは、ウィンドウ枠1404のテキストのエントリーフィールドの特定の場所(例えば、866、−39、107)に入ることができ、特定の場所で又は特定の場所についてのボリューム内で航空機の要素を示すレイアウトのページの検索が開始される。一つの例では、文書ナビゲーションシステム108は、一又は複数の視覚効果をこれらのページに適合し、先述のキューオプションの使用によるなどして、ユーザの注意をそれらに向けることができる。他の例では、ナビゲーションシステムは、これらのページを示すためだけに、又は関連性のないページをうす暗くしたり半透明にしたりするために、レイアウトを再配置することができる。これらの例では、検索結果は、レイアウトの部分1406のページを含むことができ、ユーザはそれぞれの部分に焦点を合わせるためにコントロールキー1110を作動することができる。図15は、この方法でレイアウトをナビゲートした結果の一例であり、境界線は検索結果のそれぞれのページ1502周囲に適合される。
本開示の実施形態によると、パノラマ的な視覚化システム100、並びに文書コレクションシステム102、3Dモデルコレクションシステム104、文書レイアウトシステム106、文書ナビゲーションシステム108、及び空間ベースの検索システム110を含むそのサブシステムは、種々の手段で実施される。同様に、文書コレクションシステム200、3Dモデルコレクションシステム300、文書レイアウトシステム400、文書ナビゲーションシステム500、及び空間ベースの検索システム600は、それらそれぞれの要素の各々を含んでいるが、実施形態による種々の手段により実施される。システム、サブシステム及びそれらのそれぞれの要素を実施するための手段は、単独で、又は、コンピュータ可読記憶媒体からの一又は複数のコンピュータプログラムコード命令、プログラム命令又は実行可能なコンピュータ可読プログラムドード命令の指示のもとで、ハードウェアを備えることができる。
一つの実施例では、ここで図示され述べられるシステム、サブシステム、及びそれぞれの要素として機能する又はそうでなければそれらを実施するように構成された一又は複数の装置が提供される。複数の装置を含む実施例では、それぞれの装置は、有線又は無線ネットワークなどを介して直接的に又は間接的になどの任意の数の異なる方法で、互いに接続される又はそうでなければ互いに通信する。
概して、本開示の実施形態の装置は、一又は複数の固定された又は携帯用の電子装置に備えられ、含まれ、又は実施される。適する電子機器の例は、スマートフォン、タブレット型コンピュータ、ノート型コンピュータ、デスクトップコンピュータ、ワークステーションコンピュータ、サーバコンピュタなどを含む。装置は、メモリ(たとえば、記憶装置)に接続されたプロセッサ(たとえば、プロセッサユニット)などの任意の数のコンポーネントそれぞれの一又は複数を含むことができる。
プロセッサは、概して、たとえば、データ、コンピュータ可読プログラムコード、命令など(概して、ソフトウェア、ファームウェアなどの「コンピュータプログラム」)などの情報、及び/又は他の適する電子情報を処理できる任意のハードウェアである。より具体的には、たとえば、プロセッサは、プロセッサに搭載された状態で記憶された又はそうでなければメモリ(同じ又は別の装置のメモリ)に記憶された、コンピュータプログラムを実行するように構成される。プロセッサは、特定の実施次第では、任意の数のプロセッサ、マルチプロセッサコア、又は他の種類のプロセッサであってもよい。さらに、プロセッサは、単一のチップ上に主要プロセッサと共に一つ以上の二次プロセッサが存在する任意の数の異種プロセッサシステムを使用して実施されてもよい。別の実施例では、プロセッサは、同一形態の複数のプロセッサを含む対称型マルチプロセッサシステムであってもよい。さらに別の実施例では、プロセッサは、一つ以上の特定用途向け集積回路(ASIC)、フィールドプログラム可能なゲートアレイ(FPGA)などとして実施される、又はそうでなければそれらを含むことができる。ゆえに、プロセッサは一つ以上の機能を実行するためのコンピュータプログラムを実行できるが、種々の例のプロセッサは、コンピュータプログラムの補助がなくとも一つ以上の機能を実行することができる。
メモリは、概して、データ、コンピュータプログラム及び/又は一時的な及び/又は永続的な他の適する情報などの情報を記憶できる任意のハードウェアである。メモリは、揮発性及び/又は不揮発性メモリを含み、固定されても取り外し可能でもよい。適するメモリの例は、ランダムアクセスメモリ(RAM)、読出し専用メモリ(ROM)、ハードドライブ、フラッシュメモリ、サムドライブ、取り外し可能なコンピュータディスケット、光ディスク、磁気テープ又はそれらをいくつか組み合わせたものを含む。光ディスクには、コンパクトディスク−リードオンリーメモリ(CD−ROM)、コンパクトディスク−リード/ライト(CD−R/W)、及びDVDなどが含まれる。種々の例では、メモリは、情報を記憶できる永続的装置として、一つの場所から別の場所へ情報を伝送できる電子的な一時的信号などのコンピュータ可読伝送媒体と区別される、コンピュータ可読記憶媒体としてもよい。ここで述べられるコンピュータ可読媒体は、概して、コンピュータ可読記憶媒体又はコンピュータ可読伝送媒体を参照することができる。
メモリに加えて、プロセッサは、情報をディスプレー、送信及び/又は受信するために一つ以上のインターフェースに接続される。インターフェースは、通信インターフェース(たとえば通信ユニット)及び/又は一つ以上のユーザインターフェースを含む。通信インターフェースは、他の装置やネットワークへ及び/又はそれらから情報を送信及び/又は受信するように構成される。通信インターフェースは、物理的(有線)及び/又は無線通信リンクにより情報を送信及び/又は受信するように構成される。適する通信インターフェースの例は、ネットワークインターフェースコントローラ(NIC)、無線NIC(WNIC)などを含む。
ユーザインターフェースは、ディスプレー及び/又は一つ以上のユーザ入力インターフェース(たとえば、入力/出力ユニット)を含む。ディスプレーは、適する例として液晶ディスプレー(LCD)、発光ダイオードディスプレー(LED)、プラズマディスプレーパネル(PDP)などを含む、ユーザに情報を表現する又はそうでなければディスプレーするように構成される。ユーザ入力インターフェースは、有線でも無線でもよく、処理、記憶及び/又はディスプレー用の装置内でユーザから情報を受信するように構成される。ユーザ入力インターフェースの適する例として、マイク、画像またはビデオキャプチャー装置、キーボードまたはキーパッド、ジョイスティック、タッチセンサ式画面(タッチスクリーンとは別個の、又はタッチスクリーンに統合されたもの)、生物測定センサなどが含まれる。ユーザインターフェースは、プリンタやスキャナなどの周辺機器と通信する一つ以上のインターフェースをさらに備える。
上述のように、プログラムコード命令は、システム、サブシステム及びここで述べられるそれぞれの要素の機能を実施するために、メモリに記憶され、プロセッサで実行することができる。理解されるように、任意の適するプログラムコード命令は、コンピュータ可読記憶媒体からコンピュータ又はその他のプログラム可能装置に読み込まれ、ここで特定される機能を実施する手段となるように特定のマシンが製造される。また、これらのプログラムコード命令は、コンピュータ、プロセッサ、又はその他のプログラム可能な装置を特定の方法で機能させることにより特定のマシン又は特定の製造品を生成する、コンピュータ可読記憶媒体に記憶される。コンピュータ可読記憶媒体に記憶された命令は、製造品を生産することができ、この製造品はここで述べられた機能を実施するための手段となる。プログラムコード命令をコンピュータ可読記憶媒体から検索されコンピュータ、プロセッサ、又はその他のプログラム可能な装置に読み込むことにより、コンピュータ、プロセッサ、又はその他のプログラム可能な装置上で又はそれらにより実行される動作を実行するコンピュータ、プロセッサ、又はその他のプログラム可能な装置を構成することができる。
一つの命令が一度に検索され読み込まれ実行されるように、プログラムコード命令の検索、読み込み及び実行は連続して行われる。幾つかの実施形態では、複数の命令をまとめて検索し、読み込み及び/又は実行するために、検索、読み込み、及び/又は実行が並行して行なわれる。コンピュータ、プロセッサ、又はその他のプログラム可能な装置により実行される命令がここで述べられる機能を実施するための動作を提供するために、プログラムコード命令の実行により、コンピュータで実施されるプロセスが生成される。
プロセッサによる命令の実行、又はコンピュータ可読記憶媒体での命令の記憶により、特定の機能を実行するための動作の組み合わせがサポートされる。さらに、一つ以上の機能及び機能の組み合わせは、特定の機能を実行する特殊用途ハードウェアに基づくコンピュータシステム及び/又はプロセッサ、或いは特殊用途ハードウェアとプログラムコード命令との組み合わせによって実施されることも理解されるだろう。
上述のように、本発明の実施形態により、多数のページ(又は文書)のコレクション、レイアウト及び/又はナビゲーションが可能になる。実施形態により、ユーザは、全てのページを検索するよりも少ない処理能力を使用して、同時にかつ迅速に多数のページを見て視覚的に検索することができる。ユーザが概して対象となるページ掲載の概念を持っている又はそれぞれのページと他のページとの間で論理関係の概念を持っている例では、ユーザが対象となるページを位置付けて使用できるように、ページのレイアウトを生成し及び/又はナビゲートすることができる。ページの大きいコレクションに関わる物理的な空間が必要とされることなく、ページが現実世界に広がっているかのように、ユーザはページを見てそれらをナビゲートすることができる。
さらに、本発明は、以下の条項による実施形態を含む。
第15条項
内部に記憶されたコンピュータ可読プログラムコード部分を有するコンピュータ可読記憶媒体であって、プロセッサによる実行に応じて、装置が少なくとも:
複合システム(100)の物理的実体に対する距離測定及びオドメトリデータを受信及び処理して、前記複合システム(100)の座標系内で不明の特定の場所を計算し;
複数の文書コンポーネントの少なくともいくつかが、前記複合システム(100)の要素を示し、前記示された要素のうちの少なくともいくつかごとに、前記複合システム(100)の座標系内に前記それぞれの要素の3次元(3D)形状を反映する情報を含む関連メタデータを有する前記複数の文書コンポーネントを有する、パノラマ的な視覚化文書コレクション(200)の文書コンポーネントを識別し、前記識別された文書コンポーネントは、前記特定の場所で、又は前記特定の場所により画定される部分の周囲又は少なくとも一部分のボリューム内で前記複合システム(100)の要素を示し;
前記識別された文書コンポーネント及び前記識別された文書コンポーネントについての前記関連メタデータに従って識別される一又は複数の他の文書コンポーネントを含むパノラマ的に配置された文書コンポーネントのレイアウト(106)を生成し、前記それぞれのメタデータは、前記識別された文書コンポーネントとそれぞれの一又は複数の他の文書コンポーネントとの間のリンクを識別する情報をさらに含み;かつ
前記レイアウト(106)を伝達する、コンピュータ可読記憶媒体。
第16条項
既知の場所が前記複合システム(100)の前記座標系内にある第一の点及び第二の点が与えられ、第三の点は前記複合システム(100)の前記座標系内の前記不明の特定の場所にあり、かつ
前記不明の特定の場所を計算するように構成されている前記位置確認モジュール(606)は、別の第二の座標系内で前記第一の点、前記第二の点及び前記第三の点のそれぞれの場所を計算し、前記複合システム(100)の前記座標系内で前記第三の点の前記それぞれの場所を登録するように構成されることを含む、第15条項に記載のコンピュータ可読記憶媒体。
第17条項
前記リンクは、前記識別された文書コンポーネントにより示される前記要素を含む前記複合システム(100)の一又は複数の要素間の空間的(110)関係、設計関係又は機能的関係により、前記識別された文書コンポーネントとそれぞれの一又は複数の他の文書コンポーネントとの間の論理関係を構築する、第15条項に記載のコンピュータ可読記憶媒体。
第18条項
前記識別された文書コンポーネントについての前記関連メタデータ、及び前記それぞれの一又は複数の他の文書コンポーネントごとの関連メタデータは、前記レイアウト(106)の前記それぞれの文書コンポーネントのサイズ、場所及び深さのうちの一又は複数を特定する情報を含み、かつ
前記レイアウト(106)の前記文書コンポーネントごとに、前記装置は、それぞれの関連メタデータに提供される前記情報により特定される前記サイズ、場所及び深さのうちの前記一又は複数により前記レイアウト(106)を生成する、第15条項に記載のコンピュータ可読記憶媒体。
第19条項
前記レイアウト(106)の前記文書コンポーネントのうちの少なくともいくつかは、前記複合システム(100)の一又は複数の要素を示す2次元(2D)画像を含み、前記複合システム(100)のデジタル3Dモデル(104)から作成される、第15条項に記載のコンピュータ可読記憶媒体。
第20条項
前記レイアウト(106)の一又は複数の文書コンポーネントは、前記複合システム(100)の一又は複数の要素を示し、前記3Dモデル(104)から作成されない、第19条項に記載のコンピュータ可読記憶媒体。
第21条項
前記レイアウト(106)の前記文書コンポーネントのうちの少なくとも一つは、前記複合システム(100)の要素を示し、前記複合システム(100)の前記座標系内で前記それぞれの示された要素の前記3D形状を反映する情報を含む関連メタデータを有し、かつ
前記レイアウト(106)の前記文書コンポーネントのうちの少なくとももう一つは、前記複合システム(100)の要素を示し、前記複合システム(100)の前記座標系内で前記それぞれの示された要素の前記3D形状を反映する関連メタデータ不在情報を有する、第15条項に記載のコンピュータ可読記憶媒体。
これまでの説明および関連する添付図面に提示された教示の利点を有するこれらの開示が関連する技術分野の当業者であれば、本開示の多数の変形例および他の実施形態が想起されよう。したがって、本発明は開示された特定の実施形態に限定されるものでなく、変形例及び他の実施形態が添付の特許請求の範囲に含まれることを意図しているものと理解されるべきである。さらに、上述の説明及び添付図面は、要素及び/又は機能の特定の例示的な組み合わせに照らして実施形態を説明しているが、特許請求の範囲から逸脱せずに、別の実施形態によって要素及び/又は機能の異なる組み合わせが提供されてもよいと解されるべきである。この点で、例えば、上に明記したものとは異なる、要素及び/又は機能の組み合わせも、特許請求の範囲の一部に明記されるものと考慮される。ここでは特定の用語が使用されるが、それらは、一般的及び説明的な意味でのみ使用されており、限定を目的とするものではない。