JP2017207269A - ターゲットのリアルタイムな飛行中シミュレーション - Google Patents

ターゲットのリアルタイムな飛行中シミュレーション Download PDF

Info

Publication number
JP2017207269A
JP2017207269A JP2017033143A JP2017033143A JP2017207269A JP 2017207269 A JP2017207269 A JP 2017207269A JP 2017033143 A JP2017033143 A JP 2017033143A JP 2017033143 A JP2017033143 A JP 2017033143A JP 2017207269 A JP2017207269 A JP 2017207269A
Authority
JP
Japan
Prior art keywords
target
environment
composite
live stream
aircraft
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017033143A
Other languages
English (en)
Other versions
JP7403206B2 (ja
Inventor
ロブ・レヒナー
Lechner Rob
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of JP2017207269A publication Critical patent/JP2017207269A/ja
Application granted granted Critical
Publication of JP7403206B2 publication Critical patent/JP7403206B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/003Simulators for teaching or training purposes for military purposes and tactics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/24Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer including display or recording of simulated flight path
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/30Simulation of view from aircraft
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/30Simulation of view from aircraft
    • G09B9/301Simulation of view from aircraft by computer-processed or -generated image
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/30Simulation of view from aircraft
    • G09B9/301Simulation of view from aircraft by computer-processed or -generated image
    • G09B9/302Simulation of view from aircraft by computer-processed or -generated image the image being transformed by computer processing, e.g. updating the image to correspond to the changing point of view
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/30Simulation of view from aircraft
    • G09B9/308Simulation of view from aircraft by LCD, gas plasma display or electroluminescent display
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/30Simulation of view from aircraft
    • G09B9/32Simulation of view from aircraft by projected image
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/44Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer providing simulation in a real aircraft flying through the atmosphere without restriction of its path

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Plasma & Fusion (AREA)
  • Processing Or Creating Images (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】ターゲットのリアルタイムな飛行中シミュレーションのための改善されたシステム、方法およびコンピュータ可読記憶媒体を提供する。【解決手段】ターゲットのリアルタイムな飛行中シミュレーションのためのシステムを提供する。センサ・システムが飛行中の航空機の環境のライブ・ストリームを生成してもよく、ライブ・ストリームは環境内の航空機のリアルタイム位置を示す構造化された情報にメタデータを関連付けている。ターゲット生成器が、複数の異なるターゲット画像を生成可能でありうる情報源からターゲット画像を生成してもよい。ターゲット生成器がまた、ターゲット画像を含む環境の合成シーンを生成してもよい。重ね合わせエンジンが次いで、ターゲット画像が環境内の航空機のリアルタイム位置に空間的かつ時間的に相関付けられるように、合成シーンをライブ・ストリームに重ね合わせてもよい。【選択図】図1

Description

本発明は一般に航空機ターゲット・シミュレーションに関し、特に、ターゲットのリアルタイムな飛行中シミュレーションに関する。
トレーニング・エクササイズがしばしば軍用航空機に対して実施される。これらのトレーニング・エクササイズは、どのように航空機を操縦するかをパイロットに教えるために使用される。さらに、当該エクササイズはまた、航空機を操縦することに関して様々な戦略および戦術に関してパイロットを訓練するために使用される。例えば、パイロットが、敵対的なイベントに対するスキルと反応を向上させるために航空機内で訓練してもよい。これらのイベントが、例えば、限定ではなく、敵の航空機に遭遇すること、地対空ミサイル発射基地の存在に反応すること、重要目標にロックすること、および他の適切なイベントを含んでもよい。
大量のトレーニングを、地上でのトレーニング装置を用いて実施してもよい。これらのトレーニング装置はしばしば飛行シミュレータの形態をとる。飛行シミュレータは、航空機を飛行させる体験をコピーまたはシミュレートするシステムである。飛行シミュレータは、当該体験を可能な限り現実的としようとするものである。飛行シミュレータが、部屋内のコントロールやディスプレイから、パイロットがとったアクションに応答して当該コックピットを移動させるように構成されたアクチュエータに搭載されたコックピットのフルサイズのレプリカにわたってもよい。これらのタイプのシミュレータは、様々な航空機システムを運用し様々なイベントに反応するためにパイロットおよび/または他の搭乗員に教える能力を提供する。
さらなるトレーニングは、ライブ航空機を用いたトレーニング・エクササイズを通じて実施される。これらのタイプのトレーニング・エクササイズは、航空機を飛行させるときに遭遇する実際の条件にパイロットを晒す。様々な条件を、飛行シミュレータを用いて正確にシミュレートすることはできない。例えば、航空機を飛行させる際に遭遇する実際の動きまたは力が、飛行シミュレータを通じて適切に提供されないかもしれない。
軍用航空機では、この種のトレーニングが、複数のライブ航空機を用いて敵の航空機との遭遇に関するトレーニングを実施することを含んでもよい。さらに、様々な地上プラットフォームを使用してもよい。これらの地上プラットフォームが、例えば、タンク、地対空ミサイルシステム、および他の適切な地上ユニットを含んでもよい。これらのタイプのトレーニング・エクササイズは、航空機を様々な条件で操縦するために必要なさらなる体験をパイロットに提供する。
ライブ・トレーニング・エクササイズは、設定および運用に対して困難および/または高価である。例えば、空中でのトレーニングのエクササイズを実施するために、空域は、当該トレーニングが行われる空域への意図しない侵入を回避するために、他の航空機に対して制限されている。さらに、燃料、保守、および他の費用が当該エクササイズのために航空機を準備し、当該エクササイズ中に航空機を操縦し、当該エクササイズが完了した後に保守を実施するために必要である。
さらに、空域の量が制限的である可能性があり、航空機がトレーニング・エクササイズ中に行えるタイプと量の動きが制限される可能性がある。空域が制限されうる時間と位置が、トレーニング・エクササイズを実施できる時間量を制限しうる。
米国特許出願公開第2014/0113255号明細書
したがって、これらの課題の少なくとも幾つかを解決し、既存のプラクティスに関して改善するシステムおよび方法を有するのが望ましいであろう。
本発明の例示的な実装は、ターゲットのリアルタイムな飛行中シミュレーションのための改善されたシステム、方法およびコンピュータ可読記憶媒体に関する。特に、航空機トレーニング・エクササイズに対する飛行シミュレータまたは費用のかかるライブリソースと反対に、当該システムは、航空機に搭載されたディスプレイ上のターゲットのリアルタイムな飛行中シミュレーションを可能とする。したがって、当該システムは、飛行シミュレーションエクササイズよりも現実的な体験を提供しつつ、ライブ航空機トレーニング・エクササイズを構成するコストと困難さを排除しうる。
LVC (live, virtual, constructive)として知られる技術の混合を、航空トレーニングの未来とみなしてもよい。この概念は、「仮想」世界およびコンピュータ生成型の「構造的な」力においてライブ航空機を有人シミュレータとリンクすることを伴う。本発明の例示的な実装はさらに、既存のLVC航空機トレーニング・システムを改善しうる。例示的な実装によれば、ターゲット画像を、飛行中の航空機の環境の表示可能なライブ・ストリーム内で生成し重ね合わせてもよい。当該ターゲット画像が、トレーニング・ミッションにわたって航空機のディスプレイ内で現実的に出現してもよく、それによりその全体の有効性を高めてもよい。本発明は、限定ではなく、以下の例示的な実装を含む。
幾つかの例示的な実装では、航空機に搭載されたディスプレイ上のターゲットのリアルタイムな飛行中シミュレーションのための方法を提供する。当該方法は飛行中の航空機の環境のライブ・ストリームを生成するステップを含んでもよい。当該ライブ・ストリームが、当該環境内の航空機のリアルタイム位置を示す構造化された情報に関連付けられたメタデータを有してもよい。当該方法がまた、複数の異なるターゲット画像を生成可能である情報源からターゲット画像を生成するステップを含んでもよい。当該方法がまた、そのように生成されたターゲット画像を含む当該環境の合成シーンを生成するステップを含んでもよい。
当該方法がまた、当該ターゲット画像が当該環境内の航空機のリアルタイム位置に空間的かつ時間的に相関付けられるように当該合成シーンを当該ライブ・ストリームに重ね合わせるステップを含んでもよい。当該方法がまた、飛行中に航空機のディスプレイに表示するために、重ね合わされた合成シーンを有するライブ・ストリームを出力するステップを含んでもよい。
先行するまたは任意の後続の例示的な実装の方法、または任意のそれらの組合せの幾つかの例示的な実装において、当該情報源は、仮想的な環境または構造的な環境、または地上トレーニング・システムのうち少なくとも1つを含む。
先行するまたは任意の後続の例示的な実装の方法、または任意のそれらの組合せの幾つかの例示的な実装において、当該ターゲット画像が生成される情報源は、当該ターゲットのタイプまたは地理的特徴、または当該合成シーン内の当該ターゲットの位置の少なくとも1つを定義する。
任意の先行するまたは任意の後続の例示的な実装の方法の幾つかの例示的な実装、または任意のそれらの組合せにおいて、当該環境の合成シーンを生成するステップは、当該合成シーン内で登録された合成ターゲットの画像を描画するステップを含む。当該画像が、当該合成シーン内の合成ターゲットの位置を示す構造化情報を有するメタデータを含む複合画像であってもよく、当該合成シーンを当該ライブ・ストリームに重ね合わせるステップが、当該複合画像を当該ライブ・ストリームに重ね合わせるステップを含んでもよい。
任意の先行するまたは任意の後続の例示的な実装の方法の幾つかの例示的な実装、または任意のそれらの組合せにおいて、当該環境の合成シーンは当該合成ターゲットと異なる1つまたは複数のオブジェクトを描画し、当該合成シーンを当該ライブ・ストリームに重ね合わせるステップは、当該1つまたは複数のオブジェクトが透過的であるように当該合成シーンを当該ライブ・ストリームに重ね合わせるステップを含む。
任意の先行するまたは任意の後続の例示的な実装の方法の幾つかの例示的な実装、または任意のそれらの組合せにおいて、当該環境の当該ライブ・ストリームは地形を描画し、当該方法はさらに、当該地形が当該環境内のターゲット画像の視野の少なくとも一部およびそれにより当該合成シーンを遮蔽すると判定するステップと、当該ターゲット画像の視野の少なくとも一部が当該地形により遮蔽されるように、当該ライブ・ストリームからの当該ターゲット画像の視野の少なくとも一部を当該重ね合わされた合成シーンでマスクするステップとを含む。
幾つかの例示的な実装では、航空機ディスプレイ上のターゲットのリアルタイムな飛行中シミュレーションのための装置を提供する。当該装置は、プロセッサと、当該プロセッサによる実行に応答して、任意の先行する例示的な実装の方法、または任意のそれらの組合せを少なくとも実施するように構成されたセンサ・システム、ターゲット生成器、重ね合わせエンジン、およびオクルージョン・エンジンのような幾つかのサブシステムを当該装置に実装させる実行可能命令を格納したメモリとを備える。
幾つかの例示的な実装では、ターゲットのリアルタイムな飛行中シミュレーションのためのコンピュータ可読記憶媒体を提供する。当該コンピュータ可読記憶媒体は非一時的であり、かつ、プロセッサによる実行に応答して、任意の先行する例示的な実装の方法、または任意のそれらの組合せを装置に少なくとも実施させるコンピュータ可読プログラム・コード部分を格納する。
本発明のこれらのおよび他の特徴、態様、および利点は添付図面を参照した以下の詳細な説明を読むことから明らかになろう。当該添付図面は下記で簡単に説明される。本発明は、かかる特徴または要素が本明細書で説明する特定の例示的な実装において明示的に結合または記載されるかどうかにかかわらず、本開示で説明する2つの、3つの、4つのまたはそれ以上の特徴または要素の任意の組合せを含む。本開示は、その態様および例示的な実装の何れかにおいて、本開示の内容が明示的に他のことを述べない限り、本開示の任意の分離可能な特徴または要素が意図したように参照される、即ち、結合可能であるように、全体論的に読まれることを意図している。
したがって、本要約は幾つかの例示的な実装を要約して本発明の幾つかの態様の基本的な理解を与える目的のためにのみ提供されることは理解される。したがって、上述の例示的な実装は例にすぎず、本開示の範囲または趣旨を狭めると決して解釈されるべきではないことは理解される。他の例示的な実装、態様および利点は、添付図面と関連した以下の詳細な説明から明らかになろう。添付図面は、例として、幾つかの説明される例示的な実装の原理を示す。
本開示の例示的な実装を一般的な用語で説明したので、次に添付図面を参照する。添付図面は必ずしも正しい縮尺で描かれていない。
本発明の例示的な実装に従うオンボード航空機ターゲット・シミュレーション・システムの例示の図である。 幾つかの例示的な実装に従う装置を示す図である。 例示的な実装に従うターゲットのリアルタイムな飛行中シミュレーションのための方法の様々な動作を示す流れ図である。
以下で、添付図面を参照して本発明の幾つかの実装をより十分に説明する。添付図面においては、本開示の全てではなく一部の実装が示される。実際、本開示の様々な実装を多数の異なる形態で具体化してもよく、本明細書で説明した実装に限定されるとして解釈すべきではない。寧ろ、これらの例示的な実装は、本開示が徹底的かつ完全であり、本発明の範囲を当業者に完全に伝えるように提供される。例えば、特に断らない限り、第1の、第2の等であるとしての何かへの参照は特定の順序を示唆すると解釈されるべきではない。また、例えば、本明細書では定量的な測定値、値、関係等を参照してもよい。特に断らない限り、これらの全てではないにしても任意の1つまたは複数が、技術許容範囲等によるもののような、発生しうる許容可能な変形を説明するために絶対的または近似的であってもよい。同じ参照番号は本明細書にわたって同じ要素を指す。
本発明の例示的な実装は一般に、航空機のターゲットのシミュレーションに関し、特に、ターゲットのリアルタイムな飛行中シミュレーションに関する。例示的な実装は主に、航空宇宙アプリケーションと関連して説明される。しかし、例示的な実施形態を、航空宇宙業界内および航空宇宙業界外の両方において、多数の他のアプリケーションと関連して利用してもよいことは理解されるべきである。この点、例示的な実施形態を、航空宇宙、自動車、海洋およびエレクトロニクスの場合のように、複雑なシステム、ビークル等と関連して利用してもよい。
シミュレーション・システムを、ロジック、戦術、インテリジェンス、姿勢(攻撃的/守備的)、および/またはコマンド群を含む、ターゲット・プラットフォームを操作する人間的要素のモデリングおよびシミュレーションを提供するように構成してもよい。当該ターゲットの物理表現のモデリングおよびシミュレーションが、(例えば、6つの(6)自由度における)空間内位置、時間、速度、加速度、属性(例えば、ライトのオン/オフ、フラップ位置、着陸装置位置等)、センサ状態(例えば、無線検出測距(RADAR)放出、探索モード、追跡等)および反対効果状態(例えば、ジャミング、チャフ、閃光弾)のようなパラメータを含んでもよい。当該パラメータをCGF(Computer Generated Forces)、SAF(Semi−Automated Forces)、または構造的な力と称してもよい。
図1は、本発明の例示的な実装に従うオンボード航空機ターゲット・シミュレーション・システム100を示す。当該システムを、本明細書では単に、「システム」と称してもよい。当該システムを、自動的に、直接的なオペレータ制御の元で、またはその幾つかの組合せの何れかにより幾つかの異なる機能または動作を実施するように構成してもよい。この点、当該システムを、その機能または動作のうち1つまたは複数を自動的に、即ち、オペレータによる直接制御なしに、実施するように構成してもよい。さらにまたはあるいは、当該システムを、その機能または動作のうち1つまたは複数を直接的なオペレータ制御の元で実施するように構成してもよい。
システム100が、一般に、合成ターゲットのリアルタイムな飛行中シミュレーションを提供し、それにより、引用により本明細書に組み込まれる特許文献1に記載のシステムのような既存のLVC航空機トレーニング・システムを改善するように構成されてもよい。特に、ターゲット画像を、航空機の飛行中(即ち、飛行中)に航空機の環境の表示可能なライブ・ストリーム内で生成し重ね合わせてもよい。本明細書で使用する際、「ライブ・ストリーム」という用語が、航空機センサ・システムにより生成され飛行乗務員により参照するために航空機のディスプレイに表示可能なビデオ画像を指してもよい。当該ライブ・ストリームを、ターゲット認識、識別、および/またはターゲット化の目的のために利用してもよい。当該ターゲット画像が、トレーニング・ミッションにわたって航空機のディスプレイ(しばしば単純に航空機ディスプレイと呼ばれる)内部で現実的に出現してもよく、それにより、その全体の有効性を高めることができる。
システム100が、1つまたは複数の機能または動作を実施するために互いに接続された幾つかの異なるサブシステム(各独立システム)の各々の1つまたは複数を含んでもよい。図1に示すように、例えば、当該システムが、互いに接続されうるセンサ・システム102、ターゲット生成器104、情報源106、重ね合わせエンジン108、および/またはオクルージョン・エンジン110を備えてもよい。当該システムの一部として示すが、当該センサ・システム、ターゲット生成器、情報源、重ね合わせエンジンおよび/またはオクルージョン・エンジンの1つまたは複数が当該システムと別個であるがそれと通信してもよい。当該サブシステムの1つまたは複数が、当該サブシステムのその他と無関係に別個のシステムとして機能または動作してもよいことも理解されるべきである。さらに、当該システムが、図1に示したものと比べて1つまたは複数の追加のまたは代替的なサブシステムを含んでもよいことは理解されるべきである。
以下でさらに詳細に説明するように、センサ・システム102が、一般に飛行中の航空機の環境のライブ・ストリームを生成するように構成されてもよい。当該ライブ・ストリームが、当該環境内の航空機のリアルタイム位置を示す構造化情報とメタデータを関連付けてもよい。ターゲット生成器104が、一般に、情報源106からターゲット画像を生成するように構成されてもよい。当該データは、複数の異なるターゲット画像が生成可能である情報を含みうる。当該ターゲット生成器がまた、そのように生成されたターゲット画像を含む当該環境の合成シーンを生成するように構成されてもよい。重ね合わせエンジン108が一般に、当該ターゲット画像の画像が当該環境内の航空機のリアルタイム位置に空間的かつ時間的に相関付けられるように当該合成シーンを当該ライブ・ストリームに重ね合わせるように構成されてもよい。当該重ね合わせエンジンがまた、飛行中に航空機のディスプレイに表示するために、重ね合わされた合成シーンを有するライブ・ストリームを出力するように構成されてもよい。
本発明の例示的な実装によれば、センサ・システム102、ターゲット生成器104、情報源106、重ね合わせエンジン108および/またはオクルージョン・エンジン110を含むシステム100およびそのサブシステムおよび/またはコンポーネントを様々な手段により実装してもよい。当該システム、サブシステムおよびそれらの夫々の要素を実装するための手段が、ハードウェアを、単体で、または、コンピュータ可読記憶媒体からの1つまたは複数のコンピュータ・プログラムの指示のもとで含んでもよい。
幾つかの例では、本明細書で図示し説明したシステム、サブシステム、ツールおよび各要素として機能するかまたはそれらを実装するように構成された1つまたは複数の装置を提供してもよい。1つより多くの装置を含む例では、当該それぞれの装置を、幾つかの異なる方式で、例えば、有線または無線ネットワーク等を介して直接または間接的に、接続してもよいか、または、当該装置が互いに通信してもよい。
図2は、システム100を実装するように構成でき、幾つかの本発明の例示的な実装に従ってそのサブシステムおよび/またはコンポーネントの何れかを個別に実装するように等価に構成しうる装置200を示す。一般に、当該装置が、1つまたは複数の固定されたまたはポータブルな電子装置を含んでもよく、または、それらで具体化されてもよい。
適切な電子装置の例は、航空機のダッシュボード、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーションコンピュータ、サーバコンピュータ等を含む。より具体的な例において、当該電子装置が、LVCポッドに組み込まれ、航空機の制御ユニットまたは補助プロセッサに組み込まれるかまたは接続されてもよい。あるいは幾つかの例では、当該電子装置を、航空機の制御ユニットに(有線または無線で)接続可能な固定またはモバイルの地上ミッションコンピューティング・デバイスで具現化してもよい。
装置200が、例えば、コンピュータ可読プログラム・コード206を格納したメモリ204(例えば、記憶装置)に接続されたプロセッサ202(例えば、プロセッサユニット)のような幾つかのコンポーネントの各々の1つまたは複数を含んでもよい。当該メモリに加えて、当該プロセッサをまた、情報を表示、送信、および/または受信するための1つまたは複数のインタフェースに接続してもよい。当該インタフェースが、入力インタフェース208、通信インタフェース210(例えば、通信ユニット)等を含んでもよい。別々には示していないが、当該プロセッサが、航空機のディスプレイへのインタフェースを含むかまたはそれに接続されてもよい。
入力インタフェース208および/または通信インタフェース210を、航空機からのセンサ・データのような情報または情報源106を介した情報を、受信するように構成してもよい。幾つかの例では、当該入力インタフェースが、航空機の制御ユニットまたはセンサ(複数可)に接続されるかまたは接続可能であってもよく、航空機の制御ユニットまたはセンサ(複数可)を通じて、装置200により実装されたシステム100のセンサ・システム102を、航空機の環境のライブ・ストリームを生成するための情報(例えば、センサ・データ)を受信するように構成してもよい。上述し、以下でさらに完全に説明するように、当該装置が、ターゲット画像を含む合成シーンを当該ライブ・ストリームに重ね合わせるように構成されたその他のサブシステム(例えば、ターゲット生成器104、情報源106、重ね合わせエンジン108および/またはオクルージョン・エンジン110)をさらに含むシステムを実装してもよい。当該装置が次いで、航空機のディスプレイにその飛行中に表示するための重ね合わされた合成シーンを有するライブ・ストリームを出力してもよい。
次に図1を再度参照する。上述のように、センサ・システム102を、飛行中に航空機の環境のライブ・ストリームを生成するように構成してもよい。センサ・システム102が、レーダシステム、レーダ警告受信機、赤外線ターゲティング・ポッド、全地球測位システムユニット、および他の適切なセンサ・システムのうち少なくとも1つを含んでもよい。当該ライブ・ストリームが、当該環境内の航空機のリアルタイム位置、速度、方位、または他の適切なデータを示す構造化情報にメタデータを関連付けてもよい。本明細書で説明するように、航空機のようなオブジェクトの位置が、その座標位置、角度位置(方位)、またはオブジェクトの位置が座標位置および角度位置の組合せにより定義されうるその座標位置および角度位置の組合せを指してもよい。本明細書で説明するように、リアルタイムとは、リアルタイムだけでなく、データ処理、送信等により導入されうる任意の時間を説明するために実質的に、近似的に、またはほぼリアルタイムであることを含むと解釈すべきである。当該メタデータはまた、幾つかの武器が航空機で使用されていることを示す情報のような、航空機に搭載された武器に関する情報を含んでもよい。
幾つかの例示的な実装では、航空機がそのリアルタイムな位置をメタデータの形で提供してもよい。例えば、当該メタデータが、航空機のプラットフォームに搭載された全地球測位システム(GPS)または同様な測位センサにより生成されてもよい。別の例では、当該メタデータを、代替的なデータおよび/または検知システムにより生成してもよく、または、手動で入力されたユーザ入力により示される航空機の推定位置に少なくとも部分的に基づいて生成してもよい。当該メタデータを利用して、航空機が合成環境内のどこに位置しうるかを判定してもよい。当該メタデータはまた、航空機時間、速度、加速度データ、および視野、ポインティング・アングル、スルー・レート等のようなセンサ・データを含む、他の飛行パラメータおよび/またはデータを含んでもよい。
ターゲット生成器104を、複数の異なるターゲット画像を生成可能である情報の情報源106からターゲット画像を生成するように構成してもよい。当該ターゲット生成器が、人間の観察のためのCGFの表現を提供するように構成されたシステムであってもよいかまたはそれを含んでもよい。幾つかの例では、当該ターゲット生成器が、可視スペクトル、赤外線スペクトル、または電磁気スペクトルのうち少なくとも1つで三次元(3D)画像をレンダリングするためのシステムであってもよいかまたはそれを含んでもよい。当該ターゲット画像が、可視センサ(例えば、人間の目、赤外線センサ、合成開口RADAR等)に対するターゲットの3D表現を含んでもよい。当該ターゲット画像がまた、人間に対して表示可能な電子署名(例えば、RADARディスプレイ内のブリップ)であってもよいかまたはそれを含んでもよい。
幾つかの例では、情報源106が、仮想的または構造的なデータを有する仮想的な環境または構造的な環境であってもよいかまたはそれを含んでもよい。これらの例示的な実装において、当該ターゲット生成器がCGFであってもよいかまたはそれを含んでもよい。幾つかの例では、当該情報源が、当該ターゲット画像を生成するための特徴を取得するために利用しうるターゲットまたはシミュレートされたオブジェクトのライブラリを含んでもよい。ターゲットの適切な特徴の例が、そのタイプまたは地理的特徴、または位置(座標および/または角度位置)を含んでもよい。幾つかの例示的な実装では、当該ターゲットが、航空機のトレーニング・ミッションに関連付けられたシナリオに少なくとも部分的に基づいてもよい。
幾つかの例では、仮想データが、幾つかのトレーニング装置の利用を通じて生成された任意のデータであるかまたはそれを含んでもよい。これらの例において、当該トレーニング装置が、人間オペレータにより操作されうる任意の装置であってもよい。さらにこれらの例では、当該トレーニング装置が幾つかの飛行シミュレータを含んでもよい。本例では、当該飛行シミュレータを、幾つかのシミュレーション・オブジェクトを生成するために使用してもよい。幾つかの例では、構造的なデータが、オブジェクトをシミュレートするためのソフトウェア・プログラムにより生成されたデータであるかまたはそれを含んでもよい。
他の例では、情報源106が、トレーニング・シナリオのパラメータを指定しうる地上トレーニング・システムを含んでもよい。例えば、トレーニング・ミッションを、トレーニング・セッションに対する幾つかの異なるシナリオを有するように定義してもよい。これらのシナリオが、例えば、限定ではなく、空対空戦闘シナリオ、空対地攻撃シナリオ、他の航空機を含む統合作戦シナリオ、および他の適切なシナリオを含んでもよい。異なる例示的な実装の1つまたは複数により、複数のシナリオを、単一のトレーニング・セッションまたは飛行において実施するために可能であるよりも多くの時間、空域、および機器の利用可能性を要求しうるトレーニング・セッションにおいて実施してもよい。幾つかの例では、トレーニング領域、航空機の装備、センサ・パラメータ、行動、経路、および他の情報の定義を設定してもよい。当該ミッションにおける各シナリオで使用される様々なパラメータおよび機器を定義してもよい。この場合、ライブ・オブジェクトならびにシミュレーション・オブジェクトの両方を、或るシナリオにおいて使用しそれにより当該ターゲット画像を生成する際に使用するために特定することができる。
前述のように、情報源106を介して提供された情報を、入力インタフェース(例えば、入力インタフェース208)および/または通信インタフェース(例えば、通信インタフェース210)を通じて受信してもよい。しかし、当該情報の少なくとも一部を、専ら当該入力または通信インタフェースを通じて送信するのではなく、航空機に(例えば、当該トレーニング・システムの搭載部分に)ローカルに記憶し、かつ/または、航空機内からローカルにアクセス可能であってもよいことに留意すべきである。
ターゲット生成器104がまた、そのように生成されたターゲット画像を含む環境の合成シーン(例えば、当該環境の3D合成シーン)を生成するように構成されてもよい。上述のように、幾つかの例では、当該ターゲット画像が生成される情報源が、当該合成シーン内のターゲットのタイプまたは地理的特徴、またはターゲットの位置(座標および/または角度位置)の少なくとも1つを定義してもよい。
幾つかの例示的な実装では、ターゲット生成器104を、当該合成シーン内で登録された合成ターゲットの画像を描画するように構成してもよい。これらの例示的な実装では、その地理的特徴および/または位置のような当該ターゲットの特徴が、当該ターゲット画像の3Dレンダリングに対する基礎であってもよい。当該合成シーン内で登録された合成ターゲットの画像が、当該合成シーン内部の当該合成ターゲットの少なくとも位置を示す構造化情報を有する当該メタデータを含む複合画像であってもよい。
重ね合わせエンジン108を、当該ターゲット画像が当該環境内の航空機のリアルタイム位置に空間的かつ時間的に相関付けられるように当該合成シーンを当該ライブ・ストリームに重ね合わせるように構成してもよい。したがって、当該ターゲットの特徴を、航空機の透視図からのリアルタイムなライブ・ストリームに相関付け(例えば、正確な位置)てもよい。幾つかの例では、当該環境の合成シーンが、当該合成ターゲットと異なる1つまたは複数のオブジェクトを描画してもよい。これらの例において、当該重ね合わせエンジンを、当該1つまたは複数のオブジェクトが透過的であるように当該合成シーンを当該ライブ・ストリームに重ね合わせるように構成してもよい。
幾つかの例示的な実装では、ターゲット生成器104が当該合成シーン内で登録された合成ターゲットの複合画像を描画し、重ね合わせエンジン108を、当該複合画像を当該ライブ・ストリームに重ね合わせることによって当該合成シーンを当該ライブ・ストリームに重ね合わせるように構成してもよい。当該重ね合わせエンジンがまた、航空機のディスプレイ上に表示するための重ね合わされた合成シーンを有するライブ・ストリームを出力するように構成されてもよい。航空機のディスプレイが、可視スペクトル、赤外線スペクトル、および/または電磁気(RADAR)スペクトルのうち1つまたは複数におけるディスプレイであってもよいかまたはそれを含んでもよい。
幾つかの例示的な実装では、当該環境のライブ・ストリームが地形を描画してもよい。これらの実装において、オクルージョン・エンジン110を、当該地形が当該環境内のターゲット画像の視野の少なくとも一部を遮蔽しそれにより合成シーンを遮蔽すると判定するように構成してもよい。当該オクルージョン・エンジンがさらに、当該ターゲット画像の視野の少なくとも一部が当該地形により遮蔽されるように、当該ライブ・ストリームからのターゲット画像の視野の少なくとも一部を、重ね合わされた合成シーンでマスクしてもよい。
幾つかの例において、オクルージョン・エンジン110が、当該地形の少なくとも一部をマスクするための環境の地形に関する情報を含む参照データベースを備えてもよい。当該参照データベースが、衛星画像、高度マップ、および/または画像化されている実世界の仮想表現を提供する他の既知の3D特徴データまたは3Dコンテンツを含む、当該環境の3Dデータベースであってもよいかまたはそれを含んでもよい。幾つかの例示的な実装では、当該参照データベースが、衛星画像、高度マップ、または任意の既知の3D特徴データから構築されてもよい。他の例示的な実装において、当該参照データベースが、代替的な画像ソースから構築されてもよく、コンピュータ支援型設計(CAD)図面、ラスタライズされた道路ネットワーク、都市特徴(複数可)データ等を含んでもよい。
図3は、本発明の例示的な実装に従うターゲットのリアルタイムな飛行中シミュレーションのための方法300の様々な動作を含む流れ図を示す。ブロック302に示すように、当該方法は、飛行中の航空機の環境のライブ・ストリームを生成するステップを含んでもよい。当該ライブ・ストリームが、当該環境内の航空機のリアルタイム位置を示す構造化された情報に関連付けられたメタデータを有してもよい。ブロック304に示すように、当該方法はまた、複数の異なるターゲット画像を生成可能である情報源からターゲット画像を生成するステップと、そのように生成されたターゲット画像を含む当該環境の合成シーンを生成するステップを含んでもよい。ブロック306に示すように、当該方法はまた、当該ターゲット画像が当該環境内の航空機のリアルタイム位置に空間的かつ時間的に相関付けられるように当該合成シーンを当該ライブ・ストリームに重ね合わせるステップを含んでもよい。ブロック308に示すように、当該方法はまた、飛行中に航空機のディスプレイに表示するために、重ね合わされた合成シーンを有するライブ・ストリームを出力するステップを含んでもよい。
図2を再度参照する。図2は、プロセッサ202、コンピュータ可読プログラム・コード206を格納したメモリ204、入力インタフェース208、および/または通信インタフェース210を備えた装置200の様々なコンポーネントを示す。プロセッサ202は一般に、例えば、データ、コンピュータ・プログラムおよび/または他の適切な電子情報のような情報を処理できる任意のコンピュータハードウェアである。当該プロセッサは電子回路の集合から構成され、その幾つかが、集積回路または複数の相互接続された集積回路としてパッケージ化されてもよい(集積回路はしばしば共通的に「チップ」と称される)。当該プロセッサを、コンピュータ・プログラムを実行するように構成してもよく、当該コンピュータ・プログラムを、当該プロセッサ上に格納するかまたは(同一のまたは別の装置の)メモリ204に格納してもよい。
プロセッサ202が、特定の実装に応じて、幾つかのプロセッサ、マルチプロセッサコアまたは幾つかの他のタイプのプロセッサであってもよい。さらに、当該プロセッサを、メイン・プロセッサが1つまたは複数の二次プロセッサとともに単一のチップ上で提供される幾つかの適切なプロセッサシステムを用いて実装してもよい。別の例示的な例として、当該プロセッサが、同一のタイプの複数のプロセッサを含む対称マルチプロセッサシステムであってもよい。さらに別の例では、当該プロセッサを、1つまたは複数の特殊用途向け集積回路(ASIC)、フィールド・プログラム可能ゲート・アレイ(FPGA)等として具現化するか、または、当該プロセッサがそれらを含んでもよい。したがって、当該プロセッサがコンピュータ・プログラムを実行して1つまたは複数の機能を実施できてもよいが、様々な例の当該プロセッサが、コンピュータ・プログラムの支援なしに1つまたは複数の機能を実施できてもよい。
メモリ204は一般に、例えば、データ、コンピュータ可読プログラム・コード206のようなコンピュータ・プログラム、および/または他の適切な情報のような情報を一時的および/または永続的に記憶できる任意のコンピュータハードウェアである。当該メモリが揮発性および/または不揮発性メモリを含んでもよく、固定または取り外し可能であってもよい。適切なメモリの例は、ランダム・アクセス・メモリ(RAM)、読取り専用メモリ(ROM)、ハードドライブ、フラッシュメモリ、サムドライブ、取り外し可能コンピュータディスク、光ディスク、磁気テープまたは以上の幾つかの組合せを含む。光ディスクが、コンパクトディスク−読取り専用メモリ(CD−ROM)、コンパクトディスク読取り/書込み(CD−R/W)、DVD等を含んでもよい。様々な事例において、当該メモリをコンピュータ可読記憶媒体と称してもよい。当該コンピュータ可読記憶媒体は、情報を格納できる非一時的装置であり、情報を或る位置から別の位置に運搬できる電子一時的信号のようなコンピュータ可読送信媒体から区別可能である。本明細書で説明するコンピュータ可読媒体を一般にコンピュータ可読記憶媒体またはコンピュータ可読送信媒体と称してもよい。
入力インタフェース208が有線または無線であってもよく、処理、記憶および/または表示のために情報をユーザから当該装置に受信するように構成してもよい。入力インタフェースの適切な例は、マイクロフォン、画像またはビデオ・キャプチャ装置、キーボードまたはキーパッド、ジョイスティック、タッチ・センシティブ・サーフェス(タッチ・スクリーンとは別であるかまたはタッチ・スクリーンに統合される)、生体センサ等を含む。当該入力インタフェースがさらに、プリンタ、スキャナ等のような周辺機器と通信するための1つまたは複数のインタフェースを含んでもよい。
当該通信インタフェース210をプロセッサ202に接続してもよく、情報を例えば、他の装置(複数可)、ネットワーク(複数可)等に送信しかつ/またはそれらから受信するように構成してもよい。当該通信インタフェースを、物理(有線)および/または無線通信リンクにより情報を送信および/または受信するように構成してもよい。適切な通信インタフェースの例は、ネットワークインタフェースコントローラ(NIC)、無線NIC(WNIC)等を含む。
上述のように、プロセッサ202が、航空機のディスプレイへのインタフェースを含むかまたはそれに接続されてもよい。さらにまたはあるいは、幾つかの例示的な実装では、当該装置自体が、当該プロセッサに接続されたディスプレイを備えてもよく、航空機ディスプレイと同一または同様な方式で情報をユーザに提供または表示するように構成されてもよい。適切なディスプレイの例は、液晶ディスプレイ(LCD)、発光ダイオードディスプレイ(LED)、プラズマディスプレイパネル(PDP)等を含む。
上述のように、プログラム・コード命令を、メモリに格納し、プロセッサにより実行して、本明細書で説明する当該システム、サブシステムおよびそれらのそれぞれの要素の機能を実装してもよい。理解されるように、当該特定のマシンが本明細書で指定された機能を実装するための手段となるように、任意の適切なプログラム・コード命令をコンピュータ可読記憶媒体からコンピュータまたは他のプログラム可能装置にロードして特定のマシンを生成してもよい。これらのプログラム・コード命令を、特定の方式で機能しそれにより特定のマシンまたは特定の製品を生成するようにコンピュータ、プロセッサまたは他のプログラム可能装置に指示できるコンピュータ可読記憶媒体に格納してもよい。当該コンピュータ可読記憶媒体に格納された当該命令が製品を生成してもよい。当該製品は、本明細書で説明する機能を実装するための手段となる。当該プログラム・コード命令を、コンピュータ可読記憶媒体から取り出し、コンピュータ、プロセッサまたは他のプログラム可能装置にロードして、当該コンピュータ、プロセッサまたは他のプログラム可能装置上でまたはそれらにより動作が実施されるように当該コンピュータ、プロセッサまたは他のプログラム可能装置を構成してもよい。
当該プログラム・コード命令の抽出、ロードおよび実行を、1つの命令が一度に抽出され、ロードされ、実行されるように逐次的に実施してもよい。幾つかの例示的な実装では、抽出、ロードおよび/または実行を、複数の命令が一緒に抽出され、ロードされ、かつ/または実行されるように並列に実施してもよい。当該プログラム・コード命令の実行が、当該コンピュータ、プロセッサまたは他のプログラム可能装置により実行される命令が本明細書で説明する機能を実装するための動作を提供するように、コンピュータ実行型のプロセスを生成してもよい。
プロセッサによる命令の実行、またはコンピュータ可読記憶媒体における命令の記憶は、当該指定された機能を実施するための動作の組合せをサポートする。このように、装置200が、プロセッサ202およびコンピュータ可読記憶媒体または当該プロセッサに接続されたメモリ204を含んでもよい。当該プロセッサは、当該メモリに格納されたコンピュータ可読プログラム・コード206を実行するように構成される。1つまたは複数の機能、および機能の組合せを、当該指定された機能、または特殊目的ハードウェアおよびプログラム・コード命令の組合せを実施する特殊目的ハードウェアベースのコンピュータシステムおよび/またはプロセッサにより実装してもよいことは理解されよう。
本明細書で説明した本発明の多数の修正および他の実装は、以上の説明と添付図面で提供した教示事項の利益を有する、本発明が関わる業界の技術者には想到される。したがって、本発明は開示した特定の実装に限定されず、修正および他の実装は添付の特許請求の範囲内に含まれることは理解されるべきである。さらに、上述の説明および関連する図面では要素および/または機能の特定の例示的な組合せの内容において例示的な実装を説明するが、異なる組合せの要素および/または機能を添付の請求項の範囲から逸脱せずに代替的な実装により提供してもよいことは理解されるべきである。この点、例えば、上で明示的に説明したものとは異なる組合せの要素および/または機能も、添付の請求項のうち幾つかで説明されうるとして考慮される。本明細書では特定の用語を用いたが、それらは汎用的かつ記述的な意味で使用されるにすぎず、限定の目的のためではない。
さらに、本開示は以下の項に従う実施形態を含む。
1.ターゲットのリアルタイムな飛行中シミュレーションのための装置であって、当該装置はプロセッサと、当該プロセッサによる実行に応答して、当該装置に少なくとも、
飛行中の航空機の環境のライブ・ストリームを生成するように構成されたセンサ・システムであって、当該ライブ・ストリームは当該環境内の航空機のリアルタイム位置を示す構造化された情報にメタデータを関連付けている、センサ・システムと、
ターゲット画像を複数の異なるターゲット画像を生成可能である情報源から生成するように構成されたターゲット生成器であって、当該ターゲット生成器はそのように生成されたターゲット画像を含む当該環境の合成シーンを生成するように構成されている、ターゲット生成器と、
当該ターゲット画像が当該環境内の航空機のリアルタイム位置に空間的かつ時間的に相関付けられるように、当該合成シーンを当該ライブ・ストリームに重ね合わせるように構成された重ね合わせエンジンであって、当該重ね合わせエンジンは、飛行中に航空機のディスプレイに表示するために、重ね合わされた合成シーンを有するライブ・ストリームを出力するように構成されている、重ね合わせエンジンと、
を実装させる実行可能命令を格納したメモリとを備える、装置。
2.当該情報源は、仮想的な環境または構造的な環境、または地上トレーニング・システムのうち少なくとも1つを含む、項1に記載の装置。
3.当該ターゲット画像が生成される情報源は、当該ターゲットのタイプまたは地理的特徴、または当該合成シーン内の当該ターゲットの位置の少なくとも1つを定義する、項1に記載の装置。
4.当該ターゲット生成器が当該環境の合成シーンを生成するように構成されることは、当該合成シーン内で登録された合成ターゲットの画像を描画するように構成されることを含み、当該画像は、当該合成シーン内の合成ターゲットの位置を示す構造化情報を有するメタデータを含む複合画像であり、
当該重ね合わせエンジンが当該合成シーンを当該ライブ・ストリームに重ね合わせるように構成されることは、当該複合画像を当該ライブ・ストリームに重ね合わせるように構成されることを含む、
項1に記載の装置。
5.当該環境の合成シーンは当該合成ターゲットと異なる1つまたは複数のオブジェクトを描画し、当該重ね合わせエンジンが当該合成シーンを当該ライブ・ストリームに重ね合わせるように構成されることは、当該1つまたは複数のオブジェクトが透過的であるように当該合成シーンを当該ライブ・ストリームに重ね合わせるように構成されることを含む、項1に記載の装置。
6.当該環境のライブ・ストリームは地形を描画し、当該メモリはさらに、当該プロセッサによる実行に応答して、当該装置に少なくとも、
当該地形が当該環境内のターゲット画像の視野の少なくとも一部を遮蔽しそれにより当該合成シーンを遮蔽すると判定し、当該ターゲット画像の視野の少なくとも一部が当該地形により遮蔽されるように当該ライブ・ストリームからの当該ターゲット画像の視野の少なくとも一部を重ね合わされた合成シーンでマスクするように構成されたオクルージョン・エンジン
をさらに実装させる実行可能命令を格納する、項1に記載の装置。
7.ターゲットのリアルタイムな飛行中シミュレーションのための方法であって、
飛行中の航空機の環境のライブ・ストリームを生成するステップであって、当該ライブ・ストリームは当該環境内の航空機のリアルタイム位置を示す構造化された情報にメタデータを関連付けている、ステップと、
複数の異なるターゲット画像を生成可能である情報源からターゲット画像を生成するステップと、
そのように生成されたターゲット画像を含む当該環境の合成シーンを生成するステップと、
当該ターゲット画像が当該環境内の航空機のリアルタイム位置に空間的かつ時間的に相関付けられるように当該合成シーンを当該ライブ・ストリームに重ね合わせるステップと、
飛行中に航空機のディスプレイに表示するために、重ね合わされた合成シーンを有するライブ・ストリームを出力するステップと、
を含む、方法。
8.当該情報源は、仮想的な環境または構造的な環境、または地上トレーニング・システムのうち少なくとも1つを含む、項7に記載の方法。
9.当該ターゲット画像が生成される情報源は、当該ターゲットのタイプまたは地理的特徴、または当該合成シーン内の当該ターゲットの位置の少なくとも1つを定義する、項7に記載の方法。
10.当該環境の合成シーンを生成するステップは、当該合成シーン内で登録された合成ターゲットの画像を描画するステップであって、当該画像は、当該合成シーン内の合成ターゲットの位置を示す構造化情報を有するメタデータを含む複合画像である、ステップを含み、
当該合成シーンを当該ライブ・ストリームに重ね合わせるステップは当該複合画像を当該ライブ・ストリームに重ね合わせるステップを含む、
項7に記載の方法。
11.当該環境の合成シーンは当該合成ターゲットと異なる1つまたは複数のオブジェクトを描画し、当該合成シーンを当該ライブ・ストリームに重ね合わせるステップは、当該1つまたは複数のオブジェクトが透過的であるように当該合成シーンを当該ライブ・ストリームに重ね合わせるステップを含む、項7に記載の方法。
12.当該環境のライブ・ストリームは地形を描画し、当該方法はさらに、
当該地形が当該環境内のターゲット画像の視野の少なくとも一部を遮蔽しそれにより当該合成シーンを遮蔽すると判定するステップであって、当該ターゲット画像の視野の少なくとも一部が当該地形により遮蔽されるように当該ライブ・ストリームからの当該ターゲット画像の視野の少なくとも一部を重ね合わされた合成シーンでマスクする、ステップ
を含む、項7に記載の方法。
13.ターゲットのリアルタイムな飛行中シミュレーションのためのコンピュータ可読記憶媒体であって、プロセッサによる実行に応答して、装置に少なくとも、
飛行中の航空機の環境のライブ・ストリームを生成することであって、当該ライブ・ストリームは当該環境内の航空機のリアルタイム位置を示す構造化された情報にメタデータを関連付けている、ことと、
複数の異なるターゲット画像を生成可能である情報源からターゲット画像を生成することと、
そのように生成されたターゲット画像を含む当該環境の合成シーンを生成することと、
当該ターゲット画像が当該環境内の航空機のリアルタイム位置に空間的かつ時間的に相関付けられるように、当該合成シーンを当該ライブ・ストリームに重ね合わせることと、
飛行中に航空機のディスプレイに表示するために、重ね合わされた合成シーンを有するライブ・ストリームを出力することと、
を行わせるコンピュータ可読プログラム・コードを格納する、
コンピュータ可読記憶媒体。
14.当該情報源は、仮想的な環境または構造的な環境、または地上トレーニング・システムのうち少なくとも1つを含む、項13に記載のコンピュータ可読記憶媒体。
15.当該ターゲット画像が生成される情報源は、当該ターゲットのタイプまたは地理的特徴、または当該合成シーン内の当該ターゲットの位置の少なくとも1つを定義する、項13に記載のコンピュータ可読記憶媒体。
16.当該装置が当該環境の合成シーンを生成するために使用されることは、当該合成シーン内で登録された合成ターゲットの画像を描画するために使用されることを含み、当該画像は、当該合成シーン内の合成ターゲットの位置を示す構造化情報を有するメタデータを含む複合画像であり、
当該装置が当該合成シーンを当該ライブ・ストリームに重ね合わせるために使用されることは、当該複合画像を当該ライブ・ストリームに重ね合わせるために使用されることを含む、
項13に記載のコンピュータ可読記憶媒体。
17.当該環境の合成シーンは当該合成ターゲットと異なる1つまたは複数のオブジェクトを描画し、当該装置が当該合成シーンを当該ライブ・ストリームに重ね合わせるために使用されることは、当該1つまたは複数のオブジェクトが透過的であるように当該合成シーンを当該ライブ・ストリームに重ね合わせるために使用されることを含む、項13に記載のコンピュータ可読記憶媒体。
18.当該環境のライブ・ストリームは地形を描画し、当該コンピュータ可読記憶媒体は、当該プロセッサによる実行に応答して、当該装置に少なくとも、
当該地形が当該環境内のターゲット画像の視野の少なくとも一部を遮蔽し、それにより当該合成シーンを遮蔽すると判定し、当該ターゲット画像の視野の少なくとも一部が当該地形により遮蔽されるように、当該ライブ・ストリームからの当該ターゲット画像の視野の少なくとも一部を当該重ね合わされた合成シーンでマスクする
ことを当該装置に行わせるコンピュータ可読プログラム・コード部分をさらに格納する、 項13に記載のコンピュータ可読記憶媒体。
102 センサ・システム
104 ターゲット生成器
106 情報源
108 重ね合わせエンジン
110 オクルージョン・エンジン
202 プロセッサ
204 メモリ
206 コンピュータ可読プログラム・コード
208 入力インタフェース
210 通信インタフェース(複数可)

Claims (13)

  1. ターゲットのリアルタイムな飛行中シミュレーションのための装置であって、前記装置はプロセッサと前記プロセッサによる実行に応答して、前記装置に少なくとも、
    飛行中の航空機の環境のライブ・ストリームを生成するように構成されたセンサ・システムであって、前記ライブ・ストリームは前記環境内の前記航空機のリアルタイム位置を示す構造化された情報にメタデータを関連付けている、センサ・システムと、
    ターゲット画像を複数の異なるターゲット画像を生成可能である情報源から生成するように構成されたターゲット生成器であって、前記ターゲット生成器はそのように生成された前記ターゲット画像を含む前記環境の合成シーンを生成するように構成されている、ターゲット生成器と、
    前記ターゲット画像が前記環境内の前記航空機の前記リアルタイム位置に空間的かつ時間的に相関付けられるように、前記合成シーンを前記ライブ・ストリームに重ね合わせるように構成された重ね合わせエンジンであって、前記重ね合わせエンジンは、前記飛行中に前記航空機のディスプレイに表示するために、重ね合わされた合成シーンを有する前記ライブ・ストリームを出力するように構成されている、重ね合わせエンジンと、
    を実装させる実行可能命令を格納したメモリとを備える、装置。
  2. 前記情報源は、仮想的な環境または構造的な環境、または地上トレーニング・システムのうち少なくとも1つを含む、請求項1に記載の装置。
  3. 前記ターゲット画像が生成される前記情報源は、前記ターゲットのタイプまたは地理的特徴、または前記合成シーン内の前記ターゲットの位置の少なくとも1つを定義する、請求項1または2の何れか1項に記載の装置。
  4. 前記ターゲット生成器が前記環境の前記合成シーンを生成するように構成されることは、前記合成シーン内で登録された前記合成ターゲットの前記画像を描画するように構成されることを含み、前記画像は、前記合成シーン内の前記合成ターゲットの位置を示す構造化情報を有するメタデータを含む複合画像であり、
    前記重ね合わせエンジンが前記合成シーンを前記ライブ・ストリームに重ね合わせるように構成されることは、前記複合画像を前記ライブ・ストリームに重ね合わせるように構成されることを含む、
    請求項1乃至3の何れか1項に記載の装置。
  5. 前記環境の前記合成シーンは前記合成ターゲットと異なる1つまたは複数のオブジェクトを描画し、前記重ね合わせエンジンが前記合成シーンを前記ライブ・ストリームに重ね合わせるように構成されることは、前記1つまたは複数のオブジェクトが透過的であるように前記合成シーンを前記ライブ・ストリームに重ね合わせるように構成されることを含む、請求項1乃至4の何れか1項に記載の装置。
  6. 前記環境の前記ライブ・ストリームは地形を描画し、前記メモリはさらに、前記プロセッサによる実行に応答して、前記装置に少なくとも、
    前記地形が前記環境内の前記ターゲット画像の視野の少なくとも一部を遮蔽し、それにより前記合成シーンを遮蔽すると判定し、前記ターゲット画像の視野の前記少なくとも一部が前記地形により遮蔽されるように前記ライブ・ストリームからの前記ターゲット画像の視野の前記少なくとも一部を重ね合わされた合成シーンでマスクするように構成されたオクルージョン・エンジン
    をさらに実装させる実行可能命令を格納する、請求項1乃至5の何れか1項に記載の装置。
  7. ターゲットのリアルタイムな飛行中シミュレーションのための方法であって、
    飛行中の航空機の環境のライブ・ストリームを生成するステップであって、前記ライブ・ストリームは前記環境内の前記航空機のリアルタイム位置を示す構造化された情報にメタデータを関連付けている、ステップと、
    複数の異なるターゲット画像を生成可能である情報源からターゲット画像を生成するステップと、
    そのように生成された前記ターゲット画像を含む前記環境の合成シーンを生成するステップと、
    前記ターゲット画像が前記環境内の前記航空機の前記リアルタイム位置に空間的かつ時間的に相関付けられるように前記合成シーンを前記ライブ・ストリームに重ね合わせるステップと、
    前記飛行中に前記航空機のディスプレイに表示するために、重ね合わされた合成シーンを有する前記ライブ・ストリームを出力するステップと、
    を含む、方法。
  8. 前記情報源は、仮想的な環境または構造的な環境、または地上トレーニング・システムのうち少なくとも1つを含む、請求項7に記載の方法。
  9. 前記ターゲット画像が生成される前記情報源は、前記ターゲットのタイプまたは地理的特徴、または前記合成シーン内の前記ターゲットの位置の少なくとも1つを定義する、請求項7または8の何れか1項に記載の方法。
  10. 前記環境の前記合成シーンを生成するステップは、前記合成シーン内で登録された前記合成ターゲットの前記画像を描画するステップであって、前記画像は、前記合成シーン内の前記合成ターゲットの位置を示す構造化情報を有するメタデータを含む複合画像である、ステップを含み、
    前記合成シーンを前記ライブ・ストリームに重ね合わせるステップは前記複合画像を前記ライブ・ストリームに重ね合わせるステップを含む、
    請求項7乃至9の何れか1項に記載の方法。
  11. 前記環境の前記合成シーンは前記合成ターゲットと異なる1つまたは複数のオブジェクトを描画し、前記合成シーンを前記ライブ・ストリームに重ね合わせるステップは、前記1つまたは複数のオブジェクトが透過的であるように前記合成シーンを前記ライブ・ストリームに重ね合わせるステップを含む、請求項7乃至10の何れか1項に記載の方法。
  12. 前記環境の前記ライブ・ストリームは地形を描画し、前記方法はさらに、
    前記地形が前記環境内の前記ターゲット画像の視野の少なくとも一部を遮蔽し、それにより前記合成シーンを遮蔽すると判定し、前記ターゲット画像の視野の前記少なくとも一部が前記地形により遮蔽されるように前記ライブ・ストリームからの前記ターゲット画像の視野の前記少なくとも一部を重ね合わされた合成シーンでマスクするステップ
    を含む、請求項7乃至11の何れか1項に記載の方法。
  13. プロセッサによる実行に応答して、装置に請求項7乃至12の何れか1項に記載の方法を実施させるコンピュータ可読プログラム・コードを格納した、ターゲットのリアルタイムな飛行中シミュレーションのためのコンピュータ可読記憶媒体。
JP2017033143A 2016-04-11 2017-02-24 ターゲットのリアルタイムな飛行中シミュレーション Active JP7403206B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/095,572 US20170294135A1 (en) 2016-04-11 2016-04-11 Real-time, in-flight simulation of a target
US15/095,572 2016-04-11

Publications (2)

Publication Number Publication Date
JP2017207269A true JP2017207269A (ja) 2017-11-24
JP7403206B2 JP7403206B2 (ja) 2023-12-22

Family

ID=58410076

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017033143A Active JP7403206B2 (ja) 2016-04-11 2017-02-24 ターゲットのリアルタイムな飛行中シミュレーション

Country Status (4)

Country Link
US (1) US20170294135A1 (ja)
EP (1) EP3232419A1 (ja)
JP (1) JP7403206B2 (ja)
CN (1) CN107293183B (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10741084B2 (en) 2017-11-02 2020-08-11 Honeywell International Inc. System and method for enhancing the interactive transmission and visualization of flight data in real-time
WO2019145675A1 (en) * 2018-01-26 2019-08-01 Bae Systems Plc Flight simulation
US10607407B2 (en) * 2018-03-30 2020-03-31 Cae Inc. Dynamically modifying visual rendering of a visual element comprising a visual contouring associated therewith
TWI744536B (zh) * 2018-06-19 2021-11-01 宏正自動科技股份有限公司 直播系統及其直播方法
IL260960B (en) 2018-08-02 2020-02-27 Rosolio Beery Simulation for in-flight training showing in a simulated environment
US20200245029A1 (en) * 2019-01-24 2020-07-30 Rockwell Collins, Inc. Avionics Streaming Service
US11620919B2 (en) * 2019-02-11 2023-04-04 Sierra Nevada Corporation Live virtual constructive gateway systems and methods
US11216146B2 (en) * 2019-02-14 2022-01-04 The Boeing Company Mid-fidelity simulation approach and method for flight crew training and evaluation
US20220166917A1 (en) * 2019-04-02 2022-05-26 Sony Group Corporation Information processing apparatus, information processing method, and program
CN110189578A (zh) * 2019-05-20 2019-08-30 北京悉见科技有限公司 一种基于增强现实进行飞行员训练的方法和装置
US11482128B2 (en) 2019-08-21 2022-10-25 The Boeing Company Simulating aircraft data for tactics training
IT201900016859A1 (it) * 2019-09-20 2021-03-20 Leonardo Spa Sistema e metodo di valutazione dell'addestramento di un operatore in una missione addestrativa in tempo reale
US11694570B2 (en) * 2021-06-16 2023-07-04 Beta Air, Llc Methods and systems for simulated operation of an electric vertical take-off and landing (EVTOL) aircraft
CN114050977B (zh) * 2021-12-28 2022-04-12 中国飞机强度研究所 一种飞机试验的控制系统及其控制方法
US11790776B1 (en) 2022-07-01 2023-10-17 State Farm Mutual Automobile Insurance Company Generating virtual reality (VR) alerts for challenging streets
CN115294820A (zh) * 2022-07-13 2022-11-04 陕西千山航空电子有限责任公司 一种主从结构的飞行任务训练计算机

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0392673U (ja) * 1990-01-10 1991-09-20
JPH0950541A (ja) * 1995-08-10 1997-02-18 Sega Enterp Ltd 仮想画像生成装置及びその方法
WO2011071929A2 (en) * 2009-12-07 2011-06-16 Photon-X, Inc. 3d visualization system
JP2013524270A (ja) * 2010-04-01 2013-06-17 シーリアル テクノロジーズ ソシエテ アノニム ホログラムシステムにおける透過オブジェクトを含む3次元シーンを符号化する方法及び装置
US8986011B1 (en) * 2010-09-13 2015-03-24 The Boeing Company Occlusion server for an integrated live and simulation environment for an aircraft
US20150257080A1 (en) * 2012-07-27 2015-09-10 Alenia Aermacchi S.P.A. Electronic interface between communication networks among vehicles
JP2016510421A (ja) * 2012-12-13 2016-04-07 ザ・ボーイング・カンパニーTheBoeing Company 航空機訓練のためのデータ共有システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6166744A (en) * 1997-11-26 2000-12-26 Pathfinder Systems, Inc. System for combining virtual images with real-world scenes
US8040361B2 (en) * 2005-04-11 2011-10-18 Systems Technology, Inc. Systems and methods for combining virtual and real-time physical environments
AU2008339124B2 (en) * 2007-12-19 2014-07-03 Auguste Holdings Limited Vehicle competition implementation system
US8616884B1 (en) 2009-12-01 2013-12-31 The Boeing Company Integrated live and simulation environment system for an aircraft
US9230446B1 (en) * 2009-12-01 2016-01-05 The Boeing Company Integrated live and simulation environment system for an aircraft
US9274595B2 (en) * 2011-08-26 2016-03-01 Reincloud Corporation Coherent presentation of multiple reality and interaction models
CN104029825B (zh) * 2014-06-13 2016-01-20 中国人民解放军装甲兵工程学院 现场虚实耦合无人机系统
CN104457735A (zh) * 2014-10-27 2015-03-25 中国民航大学 基于World Wind的4D航迹显示方法
WO2017031118A1 (en) * 2015-08-17 2017-02-23 Innermedia, Inc. Generating objects in real time panoramic video
CN105204370A (zh) * 2015-08-18 2015-12-30 成都前沿动力科技有限公司 固定翼飞行器实时仿真系统及仿真方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0392673U (ja) * 1990-01-10 1991-09-20
JPH0950541A (ja) * 1995-08-10 1997-02-18 Sega Enterp Ltd 仮想画像生成装置及びその方法
WO2011071929A2 (en) * 2009-12-07 2011-06-16 Photon-X, Inc. 3d visualization system
JP2013524270A (ja) * 2010-04-01 2013-06-17 シーリアル テクノロジーズ ソシエテ アノニム ホログラムシステムにおける透過オブジェクトを含む3次元シーンを符号化する方法及び装置
US8986011B1 (en) * 2010-09-13 2015-03-24 The Boeing Company Occlusion server for an integrated live and simulation environment for an aircraft
US20150257080A1 (en) * 2012-07-27 2015-09-10 Alenia Aermacchi S.P.A. Electronic interface between communication networks among vehicles
JP2016510421A (ja) * 2012-12-13 2016-04-07 ザ・ボーイング・カンパニーTheBoeing Company 航空機訓練のためのデータ共有システム

Also Published As

Publication number Publication date
CN107293183B (zh) 2021-01-12
JP7403206B2 (ja) 2023-12-22
EP3232419A1 (en) 2017-10-18
CN107293183A (zh) 2017-10-24
US20170294135A1 (en) 2017-10-12

Similar Documents

Publication Publication Date Title
JP7403206B2 (ja) ターゲットのリアルタイムな飛行中シミュレーション
US9262939B2 (en) Integrated live and simulation environment system for an aircraft
US9058749B2 (en) Embedded simulator method and related system
US11069254B2 (en) Method for simulating live aircraft infrared seeker obscuration during live, virtual, constructive (LVC) exercises
US20140080099A1 (en) Performance-Based Simulation System for an Aircraft
EP2280359A1 (en) Training method and system using augmented reality
KR20140112811A (ko) V-c 연동 전투효과 분석시스템 및 그 운용방법
US20110309143A1 (en) Aerospace-ground integration testbed
KR102560798B1 (ko) 무인 차량 시뮬레이터
WO2013184155A1 (en) Embedded simulator method and related system
US9646417B1 (en) Augmented reality system for field training
CN112417581A (zh) 模拟飞行器数据用于战术训练
US20210035365A1 (en) Apparatus and method for displaying an operational area
US20240005812A1 (en) Bi-directional communications for vehicle and virtual game situations
Infantano et al. A novel system to display position of explosion, shot angle, and trajectory of the rocket firing by using markerless augmented reality: ARoket: Improving safety and quality of exercise anytime, anywhere, and real time
Hoke et al. Embedded LVC training: A distributed training architecture for live platforms
Papasimeon et al. The human agent virtual environment
Bennett et al. Improving situational awareness training for Patriot radar operators
Hogan et al. Enhanced situational awareness for uav operations over hostile terrain
Erichsen Weapon System Sensor Integration for a DIS-Compatible Virtual Cockpit
Bigelow et al. SIMDIS for real-time hardware-in-the-loop simulation visualization of rocket systems
Schaefer et al. US Army Robotic Wingman Simulation: June 2018 Integration Workshop
Schaefer et al. Advancements Made to the Wingman Software-in-the-loop (SIL) Simulation: How to Operate the SIL
RU124968U1 (ru) Учебно-тренировочный тренажер экипажа самолета-истребителя с активной внешней средой
Rohrer Design and Implementation of Tools to Increase User Control and Knowledge Elicitation in a Virtual Battlespace

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211109

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220516

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220516

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220524

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220530

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20220708

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20220719

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20230130

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20230410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231212

R150 Certificate of patent or registration of utility model

Ref document number: 7403206

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150