JP2013150315A - 航空機上で捕捉された音声を通信するための方法およびシステム - Google Patents

航空機上で捕捉された音声を通信するための方法およびシステム Download PDF

Info

Publication number
JP2013150315A
JP2013150315A JP2012276345A JP2012276345A JP2013150315A JP 2013150315 A JP2013150315 A JP 2013150315A JP 2012276345 A JP2012276345 A JP 2012276345A JP 2012276345 A JP2012276345 A JP 2012276345A JP 2013150315 A JP2013150315 A JP 2013150315A
Authority
JP
Japan
Prior art keywords
aircraft
data
flight
text data
processing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2012276345A
Other languages
English (en)
Inventor
Xian Qin Dong
シエン・チン・ドーン
Ben Dong
ベン・ドーン
Yunsong Gao
ユンソーン・ガオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honeywell International Inc
Original Assignee
Honeywell International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honeywell International Inc filed Critical Honeywell International Inc
Publication of JP2013150315A publication Critical patent/JP2013150315A/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004—Transmission of traffic-related information to or from an aircraft
    • G08G5/0013—Transmission of traffic-related information to or from an aircraft with a ground station
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B64D45/0015—Devices specially adapted for the protection against criminal attack, e.g. anti-hijacking systems
    • B64D45/0051—Devices specially adapted for the protection against criminal attack, e.g. anti-hijacking systems by monitoring passengers or crew on aircraft
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B64D2045/0065—Black boxes, devices automatically broadcasting distress signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)
  • Circuits Of Receivers In General (AREA)
  • Communication Control (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

【課題】航空機上の音声情報を航空機から地上位置におけるコンピュータシステムに通信するための方法およびシステムを提供する。
【解決手段】航空機上の音声入力デバイスから音声入力を取得するステップ２０２と、音声入力の１つまたは複数の語のテキスト表現を含むテキストデータを生成するステップ２０４と、テキストデータをリアルタイムの飛行データと共に地上位置のコンピュータシステムに通信するステップ２１２と、で構成される。
【選択図】図２

Description

[0001]本明細書で説明される主題は、一般に、アビオニクスシステム（ａｖｉｏｎｉｃｓ ｓｙｓｔｅｍｓ）に関し、より詳細には、本主題の実施形態は、航空機上で捕捉された音声を地上位置に通信することに関する。
[0002]通常、２つのタイプのフライトレコーダ、すなわち、飛行データレコーダ（ＦＤＲ）およびコックピットボイスレコーダ（ＣＶＲ）が航空機内に設置されている。ＣＶＲは航空機上（例えば、パイロットヘッドセット上またはコックピット内のその他の位置）に配置された１つまたは複数のマイクロフォンを使用して音声情報を記録する。記録されたコックピット音声は、その後の調査および解析のために、航空機の動作を知る手掛かりを提供する。
しかし、実際には、ＦＤＲおよび／またはＣＶＲが容易に位置特定され得ない状況（例えば、遠隔地域、外洋、またはロケータビーコンがレコーダから分離されたとき）が存在する。飛行データおよび／または音声データを航空機から地上位置に連続的にリアルタイムで送信することは技術的に可能であるが、動いているすべての航空機を通して飛行時間のすべてにわたって音声データと飛行データとを効果的に送信および／または記憶するための比較的高いコスト（例えば、メモリ要件および／または帯域幅要件）により、こうした手法は、データ圧縮技法が用いられる場合でも、航空機の事業者にとって経済的に実行不可能なものとなっている。
[0003]航空機から地上位置におけるコンピュータシステムに情報を通信するための方法が提供される。１つの例示的な方法は、航空機上の音声入力デバイスから音声入力を取得するステップと、その音声入力の１つまたは複数の語のテキスト表現を含むテキストデータを生成するステップと、テキストデータを地上位置のコンピュータシステムに通信するステップとを含む。
[0004]別の実施形態では、航空機と共に使用するのに適したシステムが提供される。このシステムは、１つまたは複数の語を含む音声入力を受信するための、航空機上の音声入力デバイスと、１つまたは複数の語を表すテキストデータを生成するために、音声入力デバイスに結合された処理システムと、テキストデータを航空機から地上位置に通信するために処理システムに結合された通信システムとを含む。
[0005]本要約は、詳細な説明において下でさらに説明される概念の選択を簡素化された形で紹介するために提供される。本要約は、特許請求される主題の主な特徴または重要な特徴を識別することが意図されず、特許請求される主題の範囲を判断する際の助けとして使用されることも意図されない。
[0006]本主題の実施形態は、以下で、類似の番号が類似の要素を示す以下の図面と共に説明される。
[0007]一実施形態による、航空機と共に使用するのに適した飛行追跡システムのブロック図である。 [0008]１つまたは複数の実施形態による、図１の飛行追跡システムと共に使用するのに適した、ある例示的なコックピットボイス通信プロセスの流れ図である。 [0009]１つまたは複数の実施形態による、図２のコックピットボイス通信プロセスと共に使用するのに適した、ある例示的な順序付けられたデータ構造のグラフィカル表現を示す図である。 １つまたは複数の実施形態による、図２のコックピットボイス通信プロセスと共に使用するのに適した、ある例示的な順序付けられたデータ構造のグラフィカル表現を示す図である。
[0010]以下の詳細な説明は、本質的に単なる例示であり、本出願の主題およびその使用を限定することが意図されない。さらに、前述の背景技術、発明の概要、または以下の詳細な説明で提示されるいずれかの理論によって制約されることも意図されない。
[0011]本明細書で説明される主題の実施形態は、航空機上で捕捉された音声情報を地上のコンピュータシステムに通信するためのシステムおよび方法に関する。ある例示的な実施形態では、コックピット内または航空機上のその他の位置内に配置された音声入力デバイスによって捕捉された音声信号は、音声認識（ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ）技法を使用してテキストに変換されて、テキストデータとして航空機上に記憶される。加えて、１つまたは複数の機上アビオニクスシステムからそのテキストデータに関連する同時飛行データが取得されて記憶される。ある例示的な実施形態では、テキストデータおよび飛行データは、循環バッファなど、順序付けられたデータ構造内に時間順（ｔｉｍｅ ｏｒｄｅｒｅｄ ｓｅｑｕｅｎｃｅ）に配列され、または別のやり方で記憶される。この点で、データ構造が一杯であるとき、最も古いテキストデータおよび飛行データは、データ構造がより最近のテキストデータと飛行データとを先入れ先出し順序で構成された状態に維持するように、削除され、除去され、または別のやり方で、最近取得されたテキストデータと飛行データとによって上書きされる。機上アビオニクスシステムまたは（例えば、操縦士、副操縦士、別の班員、もしくは地上職員による）手動の送信要求によって発行された警報など、送信トリガイベントに応答して、記憶されたテキストデータおよび飛行データは、時間的に順序付けられたシーケンスに従って、自動的に（すなわち、任意の手動入力もしくはその他の手動介入なしに、または別のやり方でそれらから独立して）航空機から地上のコンピュータシステムに送信され、この場合、テキストデータおよび飛行データは航空機から分離されて記憶されることが可能である。テキストデータおよび飛行データは、続いて、コンピュータシステムに関連するディスプレイデバイス上に表示されることが可能であり、それによって、地上職員が、時間的に順序付けられたシーケンスに従って、その関連する飛行データと共に、航空機上で捕捉された音声のテキスト表現を審査することを可能にする。このように、地上職員は、航空機上の飛行データレコーダ（ＦＤＲ）および／またはコクピットボイスレコーダ（ＣＶＲ）から独立して、捕捉された音声とその関連する動作状況とを審査することができる。
[0012]図１は、データおよび／または情報を航空機１２０から、地上オペレーションセンタ１０２における飛行追跡ステーション１０４など、地上位置におけるコンピュータシステムに通信するための飛行追跡システム１００のある例示的な実施形態を示す。以下により詳細に説明されるように、航空機１２０上の音声入力デバイス１２５によって捕捉された音声信号は、テキストに変換され記憶され、または別のやり方で音声認識技法を使用してテキストデータとして記録されて、テキストデータとして航空機上に記憶される。送信トリガイベントに応答して、テキストデータは、地上オペレーションセンタ１０２において記憶および／または審査するために、航空機１２０から飛行追跡ステーション１０４に自動的に送信される。
[0013]航空機１２０のこの例示される実施形態では、それだけに限らないが、以下でより詳細に説明されるコックピットボイス通信プロセスに従って飛行追跡システム１００の動作をサポートするように適切に構成されたディスプレイデバイス１２２と、ユーザ入力デバイス１２４と、音声入力デバイス１２５と、処理システム１２６と、ディスプレイシステム１２８と、通信システム１３０と、航行システム１３２と、飛行管理システム（ＦＭＳ）１３４と、１つまたは複数の追加のアビオニクスシステム１３６と、データ記憶要素１３８とを含む。ディスプレイデバイス１２２は、飛行情報、またはディスプレイシステム１２８および／もしくは処理システム１２６の制御下にある航空機１２０の動作に関連するその他のデータをグラフィックで表示することが可能な電子ディスプレイとして実現される。ディスプレイシステム１２８は、航空機１２０および／またはアビオニクスシステム１３０、１３２、１３４、１３６の動作に関連する１つまたは複数のグラフィック表現やグラフィック画像を、例えば、ナビゲーション・マップ・ディスプレイ、合成ビジョン（ｓｙｎｔｈｅｔｉｃ ｖｉｓｉｏｎ）および／または拡張視野ディスプレイなどのディスプレイデバイス１２２上に表示し、レンダリングし、または別のやり方で伝達するように構成されたハードウェア構成要素、ソフトウェア構成要素、および／またはファームウェア構成要素全体を表す。この点で、ディスプレイシステム１２８は、例えば、ナビゲーションマップおよび／またはその他の内容をディスプレイデバイス１２２上にレンダリングし、かつ／または表示するための地形データベース、障害データベース、航行データベース、地政学的データベース、ターミナル空域データベース、特別用途空域データベース、またはその他の情報など、ディスプレイシステム１２８の動作をサポートするように適切に構成された１つまたは複数のデータベースにアクセスしてもよいし、それらを含んでもよい。ユーザ入力デバイス１２４は、処理システム１２６に結合され、ユーザ入力デバイス１２４および処理システム１２６は、ユーザ（例えば、操縦士、副操縦士、もしくは班員）が航空機１２０上のディスプレイデバイス１２２および／またはその他の要素と相互作用することを可能にするように協調的に構成される。実施形態に応じて、ユーザ入力デバイス１２４は、ユーザから入力を受信するように適応されたプッシュボタン、スイッチ、キーパッド、タッチパッド、キーボード、マウス、タッチパネル（もしくは、タッチスクリーン）、ジョイスティック、ノブ、行選択キー、または別の適切なデバイスとして実現可能である。
[0014]ユーザ入力デバイス１２４に加えて、１つまたは複数の音声入力デバイス１２５も航空機１２０上に配置される。音声入力デバイス１２５は、航空機１２０上に配置されて、航空機１２０のコックピット内および／または客室内の音声信号を感知し、または別のやり方で受信することができるマイクロフォン、音声変換器、音声センサなどとして実現可能である。ある例示的な実施形態では、航空機１２０は、航空機１２０のコックピット内部に配置された少なくとも１つの音声入力デバイス１２５を含む。例えば、音声入力デバイス１２５は、航空機１２０の操縦士および／または副操縦士によって装着されるヘッドセットと一体化されたマイクロフォンであってよい。
[0015]この例示される実施形態では、処理システム１２６は、航空機１２０上のアビオニクスシステム１２８、１３０、１３２、１３４、１３６のうちの１つまたは複数から受信された飛行データおよび／または情報と共に、（１つまたは複数の）音声入力デバイス１２５によって捕捉された音声をテキストデータとして記憶するステップ、あるいはそうでない場合、記録するステップと、その記録されたデータおよび／または情報を地上オペレーションセンタ１０２の飛行追跡ステーション１０４に通信するステップと、以下でより詳細に説明されるような飛行追跡システム１００の動作をサポートするための追加のタスクおよび／または機能を実行するステップとをサポートするように構成されたハードウェア構成要素、ソフトウェア構成要素、および／またはファームウェア構成要素の全体を表す。例示的な実施形態では、処理システム１２６は、以下でより詳細に説明されるように、（１つまたは複数の）音声入力デバイス１２５から音声入力を受信して、その音声入力を対応するテキスト表現に変換するように適応された音声認識エンジン（すなわち、声認識エンジン）および／または音声・テキスト（ｓｐｅｅｃｈ−ｔｏ−ｔｅｘｔ）システムを実施する。この点で、処理システム１２６は、（１つまたは複数の）音声入力デバイス１２５を経由して受信された音声信号をそのテキスト表現に変換し、または別のやり方で転換することをサポートするように適切に構成された様々なフィルタ、アナログ・デジタル変換器（ＡＤＣ）などを含むこともできる。ある例示的な実施形態では、処理システム１２６は、（１つまたは複数の）音声入力デバイス１２５から音声入力を転換するために使用される、航空機１２０に関する１つまたは複数の音響雑音モデルを維持するメモリを含み、または別のやり方でその音響雑音モデルにアクセスする。例えば、それぞれの音響雑音モデルは、航空機１２０のそれぞれの動作状態および／または飛行段階の間の音声入力デバイス１２５に近い聴覚（すなわち可聴）周囲雑音（すなわち背景雑音）、すなわち特定の動作状態および／または飛行段階の間に音声入力デバイス１２５によって受信される周囲雑音および／または背景雑音に対応し得る。この点で、それぞれの動作状態および／または飛行段階は、それぞれの動作状態および／または飛行段階の間に音声入力デバイス１２５によって感知され、または別のやり方で受信される雑音の特性および／またはパターン（例えば、音量または音圧レベル、周波数など）を反映する音響雑音モデルと関連付けられ得る。雑音モデルは、以下でより詳細に説明されるように、音声入力デバイス１２５から取得された受信音声入力信号に適用される、航空機１２０の現在の飛行段階および／または動作状態に対応するデジタルフィルタを構築するために、処理システム１２６によって利用される。加えて、処理システム１２６は、処理システム１２６によって実施される音声認識エンジンによって利用されるエアロスペース・グラマー・コンベンション（ａｅｒｏｓｐａｃｅ ｇｒａｍｍｅｒ ｃｏｎｖｅｎｔｉｏｎｓ）（例えば、頻繁に使用される航空技術の頭文字、用語および成句、航行技術用語、航空規約、計器の名称および／または識別子、飛行操作マニュアル用語、チェックリスト用語、音声改変（ａｕｄｉｏ ａｌｔｅｒｓ）などを含む語彙）を反映する音声認識語彙（すなわち辞書）にアクセスし、または別のやり方で、その音声認識語彙（すなわち辞書）を含む。
[0016]以下でさらに詳細に説明されるように、ある例示的な実施形態では、処理システム１２６は、処理システム１２６によって生成されたテキストデータ（例えば、音声入力デバイス１２５を経由して受信されたアナログ音声信号の内容のテキスト表現）を記憶し、または別のやり方で維持するデータ記憶要素１３８に結合される。ある例示的な実施形態では、処理システム１２６およびデータ記憶要素１３８は、循環バッファなど、順序付けられたデータ構造内に時間順にテキストデータを記憶するように協調的に構成される。この点で、循環バッファに関するデータ記憶要素１３８の割り当てられた部分が完全に利用されると、処理システム１２６は、最も古いテキストデータを最近生成されたテキストデータで上書きすることによって、データ記憶要素１３８内に維持されたテキストデータを更新する。このように、データ記憶要素１３８によって維持されたテキストデータの内容は（１つまたは複数の）音声入力デバイス１２５を経由して受信された音声内容の最も最近のサブセットに対応するが、より古い音声内容を表すテキストデータは上書きおよび／または削除される。ある例示的な実施形態では、データ記憶要素１３８は、テキストデータおよび関連する飛行データの少なくとも１０分を記憶することが可能である。データ記憶要素１３８は、当技術分野で知られているＲＡＭメモリ、ＲＯＭメモリ、フラッシュメモリ、レジスタ、ハードディスク、もしくはその他の適切なデータ記憶媒体、またはそれらの任意の適切な組合せを使用して物理的に実現可能である。
[0017]実施形態に応じて、処理システム１２６は、本明細書で説明される機能を実行するように設計された、汎用プロセッサ、コントローラ、マイクロプロセッサ、マイクロコントローラ、内容アドレス指定可能メモリ（ｃｏｎｔｅｎｔ ａｄｄｒｅｓｓａｂｌｅ ｍｅｍｏｒｙ）、デジタル信号プロセッサ、特定用途向け集積回路、フィールド・プログラマブル・ゲート・アレイ、任意の適切なプログラマブル論理デバイス、ディスクリートゲートもしくはレジスタ論理、処理コア、ディスクリートハードウェア構成要素、またはそれらの任意の組合せを含んでもよいし、または別のやり方で、それらとして実現されてもよい。実際に、処理システム１２６は、以下でより詳細に説明される飛行追跡システム１００の動作に関連する機能、技法、および処理タスクを実行するように構成可能な処理論理を含む。さらに、本明細書で開示される実施形態に関して説明される方法またはアルゴリズムのステップは、ハードウェアの形で直接的に、ファームウェアの形で、処理システム１２６によって実行されるソフトウェアモジュールの形で、またはそれらの任意の実際的な組合せの形で実施され得る。１つまたは複数の実施形態によれば、処理システム１２６は、処理システム１２６によって読み取られ実行されたとき、本明細書で説明されるプロセスタスク、動作、および／または機能のうちの１つもしくは複数を処理システム１２６に実行および実施させるコンピュータ実行可能プログラミング命令または実行用の他のデータを記憶することができるメモリまたは別の適切な非一時的な短期記憶媒体もしくは長期記憶媒体を含み、または別のやり方でそれらにアクセスする。
[0018]さらに図１を参照すると、ある例示的な実施形態では、処理システム１２６は、航空機１２０の動作に関するリアルタイムの航行データおよび／または航行情報を提供するように構成された航行システム１３２に結合される。航行システム１３２は、全地球測位システム（ＧＰＳ）、慣性基準装置（ＩＲＳ）、または無線ベースの航行システム（例えば、ＶＨＦ全方向式無線航路標識（ＶＨＦ ｏｍｎｉ−ｄｉｒｅｃｔｉｏｎａｌ ｒａｄｉｏ ｒａｎｇｅ）（ＶＯＲ）または長距離航路標識（ｌｏｎｇ ｒａｎｇｅ ａｉｄ ｔｏ ｎａｖｉｇａｔｉｏｎ）（ＬＯＲＡＮ））として実現されてよく、当技術分野で理解されるように、航行システム１３２の動作をサポートするように適切に構成された、１つもしくは複数の航行無線またはその他のセンサを含んでよい。航行システム１３２は、航空機１２０の瞬時位置、すなわち、航空機１２０の現在の（すなわち瞬時の）位置（例えば現在の緯度および経度）と、航空機１２０に関する現在の（すなわち瞬時の）高度（すなわち地面からの高さ）とを取得および／または判断することが可能である。航行システム１３２は、航空機１２０の機首方位（すなわち、何らかの基準に対して航空機が移動している方向）を取得し、または別のやり方で判断することも可能である。
[0019]図１に例示されるように、処理システム１２６は、航空機１２０への通信および／または航空機１２０からの通信をサポートするように構成された通信システム１３０にも結合される。例えば、通信システム１３０は、航空機１２０と、地上オペレーションセンタ１０２、航空管制、および／または別の適切な司令部もしくは地上位置など、１つまたは複数の地上位置との間の通信をサポートすることができる。この点で、通信システム１３０は、無線通信システムまたは別の適切なデータ・リンク・システムを使用して実現可能である。
[0020]ある例示的な実施形態では、処理システム１２６は、航行、飛行計画、およびその他の航空機制御機能を通常のやり方でサポートするため、ならびに航空機１２０の動作状態に関するリアルタイムのデータおよび／または情報を処理システム１２６に提供するために、航行システム１３２と、通信システム１３０と、１つまたは複数の追加のアビオニクスシステム１３６とに結合されたＦＭＳ１３４にも結合される。図１は単一のアビオニクスシステム１３６を示すが、実際には、飛行追跡システム１００および／または航空機１２０は、ディスプレイデバイス１２２上に表示されてもよいし、または別のやり方でユーザ（例えば、操縦士、副操縦士、もしくは班員）に提供されてもよいリアルタイムの飛行関連情報を取得および／または提供するために多数のアビオニクスシステムを含む可能性が高いことに留意されたい。例えば、飛行追跡システム１００および／または航空機１２０の実際的な実施形態は、航空機１２０の動作をサポートするように適切に構成された以下のアビオニクスシステム、すなわち、気象システム、航空交通管理システム、レーダーシステム、交通回避システム、自動操縦装置、自動推力調整装置（ａｕｔｏｔｈｒｕｓｔ ｓｙｓｔｅｍ）、飛行管制システム、油圧装置、空圧装置、環境システム、電気装置、エンジンシステム、トリム調整装置、灯火装置、班員警告装置、電子チェックリストシステム、失速警報装置、スティックシェーカー、エレクトロニック・フライト・バッグ、および／または別の適切なアビオニクスシステムのうちの１つまたは複数を含む可能性が高い。
[0021]図１の例示された実施形態では、地上オペレーションセンタ１０２は、１つまたは複数の航空機１２０の動作を追跡、解析、さらには別のやり方で監視するために装備された１つまたは複数の飛行追跡ステーション１０４を含む、地上に配置された設備の全体を表す。この点で、飛行追跡ステーション１０４は、航空機１２０の飛行を監視、追跡、および／または解析するために、地上職員によって操作されることが可能な地上オペレーションセンタ１０２におけるコンピュータまたはその他のコンピューティングシステムの全体を表す。ある例示的な実施形態では、飛行追跡ステーション１０４は、ユーザ入力デバイス１０６と、ディスプレイデバイス１０８と、通信システム１１０と、処理システム１１２と、データ記憶要素１１４とを含む。例示的な実施形態では、ディスプレイデバイス１０８は、以下でより詳細に説明されるように、処理システム１１２の制御下で航空機１２０から受信されたテキストデータと飛行データとをグラフィックで表示することが可能な、処理システム１１２に結合された電子ディスプレイとして実現される。実施形態に応じて、ユーザ入力デバイス１０６は、マイクロフォン、音声変換器、音声センサなどの音声入力デバイスなど、ユーザからの入力を受信するように適合されたキーパッド、タッチパッド、キーボード、マウス、タッチパネル（もしくは、タッチスクリーン）、ジョイスティック、ノブ、行選択キー、または別の適切なデバイスとして実現可能である。通信システム１１０は、例えば、データ・リンク・アビオニクス、データ・リンク・インフラストラクチャ、および／またはデータ・リンク・サービス・プロバイダを使用してなど、（例えば、通信システム１３０を経由して）飛行追跡ステーション１０４と航空機１２０との間の通信をサポートするように構成されたハードウェア構成要素、ソフトウェア構成要素、ファームウェア構成要素、および／またはその他の構成要素の組合せの全体を表す。
[0022]処理システム１１２は、（例えば、通信システム１１０、１３０を経由して）航空機１２０からテキストデータおよび飛行データを受信し、または別のやり方で取得して、航空機１２０から受信されたテキストデータおよび飛行データをデータ記憶要素１１４内に記憶して、受信されたテキストデータおよび飛行データのグラフィック表現をディスプレイデバイス１０８上にレンダリングし、または別のやり方で表示するように構成されたハードウェア構成要素、ソフトウェア構成要素、および／またはファームウェア構成要素の全体を表す。実施形態に応じて、処理システム１１２は、本明細書で説明される機能を実行するように設計された、汎用プロセッサ、コントローラ、マイクロプロセッサ、マイクロコントローラ、内容アドレス指定可能メモリ、デジタル信号プロセッサ、特定用途向け集積回路、フィールド・プログラマブル・ゲート・アレイ、任意の適切なプログラマブル論理デバイス、ディスクリートゲートもしくはトランジスタ論理、処理コア、ディスクリートハードウェア構成要素、またはそれらの任意の組合せを用いて実施または実現可能である。
[0023]図１は、説明し、また記述を簡単にするために飛行追跡システム１００を簡略化して表すものであり、図１は、本出願および本明細書で記述される主題の範囲を限定するものでは決してないことを理解されたい。例えば、いくつかの実施形態では、ディスプレイデバイス１２２、ユーザ入力デバイス１２４、音声入力デバイス１２５、および／または処理システム１２６は、航空機１２０から物理的に分離されているが、航空機１２０上にあるとき、航空機１２０の他の要素に通信可能に結合されていることが可能なエレクトロニック・フライト・バッグとして実施されてよい。さらに、飛行追跡システム１００および／または航空機１２０の実際的な実施形態は、当技術分野で理解されるように、追加の機能および特徴を提供するための多数のその他のデバイスならびに構成要素を含む。この点で、図１は単一のディスプレイデバイス１２２を示すが、実際には、追加のディスプレイデバイスが航空機１２０上に存在し得ることが理解されよう。加えて、他の実施形態では、本明細書で説明される処理システム１２６の特徴および／または機能性は、例えば、ＦＭＳ１３４もしくは別のアビオニクスシステム１３６など、航空機１２０上の別の要素によって提供される特徴および／または機能性によって実施され、または別のやり方でそれらと一体化されてよいことに留意されたい。すなわち、処理システム１２６は、ＦＭＳ１３４または別のアビオニクスシステム１３６の構成要素であってよい。
[0024]次に図２を参照すると、ある例示的な実施形態では、飛行追跡システム１００は、コックピットボイス通信プロセス２００と、以下で説明される追加のタスク、機能、および動作とを実行するように構成される。例示されるプロセス２００に関して実行される様々なタスクは、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せによって実行されてよい。例示のために、以下の記述は、図１に関して上で記述された要素を参照する場合がある。実際には、コックピットボイス通信プロセス２００の一部は、音声入力デバイス１２５、処理システム１２６、通信システム１３０、航行システム１３２、ＦＭＳ１３４、および／または（１つもしくは複数の）アビオニクスシステム１３６など、飛行追跡システム１００の異なる要素によって実行されることが可能である。コックピットボイス通信プロセス２００は、任意の数の追加のタスクまたは代替のタスクを含むことが可能であり、これらのタスクは、例示された順序で実行される必要がなく、かつ／またはこれらのタスクは、同時に実行されることがあり、かつ／あるいはコックピットボイス通信プロセス２００は、本明細書で詳細に説明されていない追加の機能性を有するより包括的な手順またはプロセスに組み込まれてもよいことを理解されたい。さらに、図２の文脈で示され、記述されているタスクのうちの１つまたは複数は、意図された機能性全体が元の状態を保つ限り、コックピットボイス通信プロセス２００の実際的な実施形態から省かれてよい。
[0025]さらに図２を参照し、かつ図１を引き続き参照すると、ある例示的な実施形態では、コックピットボイス通信プロセス２００は、航空機上の１つまたは複数の音声入力デバイスから音声入力を受信し、または別のやり方で取得するステップ（タスク２０２）によって開始する。この点で、航空機１２０上の音声入力デバイス１２５は、音もしくはその他の可聴情報を受信し、または別のやり方で感知して、それらの音を、処理システム１２６に提供される、対応する電子信号（すなわち音声信号）に変換する。ある例示的な実施形態では、音声入力デバイス１２５は、音を受信し、または別のやり方で感知するステップに応答して、アナログ音声信号を生成して、そのアナログ音声信号を処理システム１２６に提供する。
[0026]ある例示的な実施形態では、コックピットボイス通信プロセス２００は、航空機上の（１つまたは複数の）音声入力デバイスから取得された音声入力のテキスト表現を生成するステップ（タスク２０４）によって継続する。この点で、処理システム１２６は、（１つまたは複数の）音声入力デバイス１２５を経由して受信されたアナログ音声信号を、アナログ音声信号の音声（または声）内容をテキストの形で表すデジタルデータに変換する。例えば、１つまたは複数の実施形態によれば、処理システム１２６は、航空機１２０の現在の飛行段階（または動作状態）を識別し、または別のやり方で判断して、航空機１２０の現在の飛行段階に対応する音響雑音モデルを取得して、アナログ音声信号を対応するデジタル音声信号に変換して、その音響雑音モデルに基づいて、デジタル音声信号をフィルタリングして、フィルタリングされたデジタル音声信号を取得する。処理システム１２６は、次いで、１つもしくは複数の音声認識技法および／または音声認識アルゴリズムを実行して、フィルタリングされたデジタル音声信号を認識し、または別のやり方で、フィルタリングされたデジタル音声信号を音声認識語彙（すなわち、辞書）内の１つまたは複数の語（すなわち用語）に転換する。このように、処理システム１２６は、フィルタリングされたデジタル音声入力信号を処理して、１つまたは複数の音声認識アルゴリズムを実行し、音声認識語彙内の１つまたは複数の語に対応しており、または別のやり方で一致しているものとして音声入力（もしくは、その一部）を識別し、または別のやり方で認識する。音声認識語彙内の１つまたは複数の語としてその音声入力を認識して、音声入力の内容を対応するテキスト表現に転換した後で、処理システム１２６は、音声入力の内容に対応する、１つまたは複数のテキストデータオブジェクト（例えば、ストリング、文字など）を作成する。処理システム１２６は、以下でより詳細に説明されるように、生成されたテキストデータをデータ記憶要素１３８内に時間順に記録し、または別のやり方で記憶する。この点で、処理システム１２６は、テキストデータを、対応する音声入力が受信された時間でタイムスタンプしてもよいし、または別のやり方でタグ付けしてもよい。
[0027]ある例示的な実施形態では、航空機上の（１つまたは複数の）音声入力デバイスから音声入力を受信するのと同時期にかつ／または同時に、コックピットボイス通信プロセス２００は、リアルタイムの飛行データおよび／または飛行情報を航空機上の１つまたは複数のアビオニクスシステムから受信し、または別のやり方で取得する（タスク２０６）。この点で、取得された飛行データおよび／または飛行情報は、その音声入力が受信された時点の、またはその頃の航空機１２０の動作を反映する。例えば、音声入力デバイス１２５から音声入力を受信するステップに応答して、処理システム１２６は、航行システム１３２から航空機１２０の現在の位置（例えば、瞬時の緯度、経度、高度、機首方位など）を取得することができる。加えて、処理システム１２６は、例えば、航空機１２０の現在の速度、航空機１２０の現在の方位（例えば、ロール、ピッチ、およびヨー）、航空機に近接する現在の気象状態（例えば、航空機１２０外部の温度、圧力、風など）、航空機１２０上の現在の状態（例えば、客室与圧、客室温度など）、現在のエンジン状態（例えば、エンジン遮断パラメータ、停止エンジンおよび／または動作不能エンジンの識別）など、その他の飛行データおよび／または飛行情報を、航空機１２０上のＦＭＳ１３４または他のアビオニクスシステム１３６から取得することができる。処理システム１２６は、以下でより詳細に説明されるように、取得された飛行データをデータ記憶要素１３８内に時間順に記録するか、または別のやり方で記憶する。この点で、処理システム１２６は、取得された飛行データをそのデータが受信された時間でタイムスタンプし、または別のやり方でタグ付けすることができる。
[0028]ある例示的な実施形態では、コックピットボイス通信プロセス２００は、その音声入力が受信された時点の、もしくはその頃の航空機の動作に対応する、取得された飛行データに関連するテキストデータを記憶し、または別のやり方で維持することによって継続する（タスク２０８）。例えば、一実施形態によれば、処理システム１２６は、取得された飛行データに対応する時点で受信された音声入力に基づいて、取得された飛行データを生成されたテキストデータに関連するメタデータとして添付することによって、テキストデータと飛行データとを関連付ける。この点で、処理システム１２６は、取得された飛行データをテキストデータに関連するタグまたはメタデータとして利用することによって、実質的に同時に取得されたテキストデータと飛行データ（例えば、一致するタイムスタンプを有するテキストデータと飛行データと）とを組み合わせて単一のデータオブジェクトにすることができる。このように、テキストデータオブジェクトは、その関連する飛行データ（例えば、一致するタイムスタンプを有する飛行データ）と共にデータ記憶要素１３８内に記憶される。上記で説明されたように、ある例示的な実施形態では、処理システム１２６およびデータ記憶要素１３８は、循環バッファなど、順序付けられたデータ構造を実施するように協調的に構成され、テキストデータオブジェクトおよび関連する飛行データは、循環バッファの論理的な終端において記憶される。この点で、循環バッファが一杯である（例えば、論理的な終端に達している）とき、最近生成されたテキストデータオブジェクトは、循環バッファ内の最も長い間生成されていないテキストデータオブジェクトを上書きすることによって（例えば、最近のテキストデータと飛行データとを循環バッファの論理的な開始に対応するエントリ（ｅｎｔｒｙ）において記憶して、最近のテキストデータおよび飛行データに関するエントリが循環バッファの論理的な終端に対応するように、循環バッファの論理的な開始と終了とを増分することによって）記憶される。結果として、循環バッファの内容は、最近生成されたテキストデータオブジェクトおよびそれらの関連する飛行データの時間順に対応する。別の実施形態では、処理システム１２６は、テキストデータと同時飛行データとを循環バッファ内で論理的に互いと隣接するように記憶し、または別のやり方で維持することによって、テキストデータと同時飛行データとの間の関連性を維持する。例えば、テキストデータおよび飛行データのタイムスタンプを使用して、処理システム１２６は、データ記憶要素１３８によって維持された循環バッファ内にデータを記憶するときに、データを連続的に順序付けることができる。このように、最初に受信された音声入力に対応するテキストデータは、最初の航空機１２０の動作に対応する飛行データに論理的に隣接する。
[0029]ある例示的な実施形態では、コックピットボイス通信プロセス２００は送信トリガイベントを連続的に監視する（タスク２１０）。この点で、送信トリガイベントは、航空機１２０上に記憶されたテキストデータおよび飛行データが地上位置に送信されるべきであることを示す出来事または事象である。送信トリガイベントがないとき、タスク２０２、２０４、２０６、２０８、および２１０によって定義されたループは、航空機１２０上の（１つまたは複数の）音声入力デバイス１２５から音声入力を連続的に捕捉して、機上アビオニクスシステム１３２、１３４、１３６から対応するリアルタイムの飛行データを取得して、捕捉された音声入力を受信された音声を表すテキストデータに変換して、テキストデータと飛行データとをデータ記憶要素１３８内に時間順に記憶するために、航空機１２０の動作を通して繰り返す。１つまたは複数の実施形態によれば、航空機１２０が着陸した後で、または別のやり方で動作を停止した後で、コックピットボイス通信プロセス２００は、動作を自動的に停止するか、またはそうでない場合、終了することができ、操縦士および／または副操縦士は、ユーザ入力デバイス１２４を操作して、データ記憶要素１３８内に記憶されたテキストデータおよび飛行データを削除することができる。
[0030]送信トリガイベントを検出し、または別のやり方で識別するステップに応答して、コックピットボイス通信プロセス２００は、テキストデータおよび飛行データの時間順を１つもしくは複数の地上位置に自動的に送信するか、または別のやり方で通信する（タスク２１２）。１つまたは複数の実施形態によれば、処理システム１２６は、航空機１２０上のアビオニクスシステム１３２、１３４、１３６のうちの１つまたは複数の出力を監視して、そのアビオニクスシステム１３２、１３４、１３６のうちの１つまたは複数のうちの出力に基づいて、送信トリガ現象を自動的に識別する。例えば、ＦＭＳ１３４および／または機上アビオニクス１３６は、処理システム１２６によって受信される警報または警告（例えば、失速警報、地上接近警報および／もしくは地域接近警報、航空機衝突防止装置回避指示警報（ｔｒａｆｆｉｃ ｃｏｌｌｉｓｉｏｎ ａｖｏｉｄａｎｃｅ ｓｙｓｔｅｍ ｒｅｓｏｌｕｔｉｏｎ ａｄｖｉｓｏｒｙ ｗａｒｎｉｎｇ）、衝突警報、客室与圧損失警報、スティックシェーカー警報、煙警報、離陸断念警告など）を生成することができ、ＦＭＳ１３４および／または機上アビオニクス１３６からの警報を受信するステップに応答して、処理システム１２６は、データ記憶要素１３８内に記憶されたテキストデータおよび飛行データの送信を自動的に開始する。ある例示的な実施形態では、処理システム１２６は、時間順序（例えば、先入れ、先出し）で構成された循環バッファからテキストデータと飛行データとを含む暗号化されたデータ・リンク・メッセージを構築して、それらのデータ・リンク・メッセージを通信システム１３０に提供し、次に、通信システム１３０は、それらのデータ・リンク・メッセージを地上オペレーションセンタ１０２および／または飛行追跡ステーション１０４に送信し、または別のやり方で通信する。他の実施形態では、処理システム１２６は、記憶されたテキストデータと飛行データとを地上オペレーションセンタ１０２および／または飛行追跡ステーション１０４に送信することを望むことを示すユーザ入力を受信するステップに応答して、送信トリガイベントを識別することができる。例えば、処理システム１２６は、ユーザが記憶されたテキストデータおよび飛行データの送信を開始することを可能にするように適応されたグラフィカル・ユーザ・インターフェース要素（例えば、ボタンなど）をディスプレイデバイス１２２上に表示し、または別のやり方でレンダリングすることが可能であり、ユーザ（例えば、操縦士または副操縦士）がユーザ入力デバイス１２４を操作して、グラフィカル・ユーザ・インターフェース要素を選択するステップに応答して、処理システム１２６は、データ・リンク・メッセージを構築して、地上オペレーションセンタ１０２および／または飛行追跡ステーション１０４に送信するためにデータ・リンク・メッセージを通信システム１３０に提供する。さらに他の実施形態では、処理システム１２６は、記憶されたテキストデータおよび飛行データを送信することを求める要求を地上オペレーションセンタ１０２および／または飛行追跡ステーション１０４から受信するステップに応答して、送信トリガイベントを識別することができる。例えば、処理システム１１２は、飛行追跡ステーション１０４の地上職員が通信システム１１０を経由して記憶されたテキストデータおよび飛行データに関する要求を航空機１２０に送信することを可能にするように適応されたグラフィカル・ユーザ・インターフェース要素をディスプレイデバイス１０８上に表示し、または別のやり方でレンダリングすることができる。代替の実施形態では、コックピットボイス通信プロセス２００は、送信トリガイベントを待たずに、テキストデータと飛行データとを地上位置に連続的に送信するように構成されることが可能である点に留意されたい。
[0031]飛行追跡ステーション１０４において処理システム１１２は、（例えば、通信システム１１０を経由して）データ・リンク・メッセージを航空機１２０から受信して、それらを復号して、それらのデータ・リンク・メッセージの内容（例えば、データ記憶要素１３８からのテキストデータおよび飛行データ）をデータ記憶要素１１４内に記憶する。加えて、処理システム１１２は、テキストデータおよび飛行データのグラフィカル表現をディスプレイデバイス１０８上に表示し、または別のやり方でレンダリングすることができる。この点で、処理システム１１２は、処理システム１２６によって最も長い間生成されなかったテキストデータとその関連する飛行データとが最初に表示されて、その後に、生成されたテキストデータと関連する飛行データとが表示され、それによって、飛行追跡ステーション１０４において地上職員が飛行データと共に（１つまたは複数の）音声入力デバイス１２５によって捕捉された音声の内容を時間順に審査して、航空機１２０の動作をより良好に解析することを可能にするように、時間順に構成されたテキストデータと飛行データとを表示する。例示的な実施形態では、飛行データおよびテキストデータは、地上職員がテキストデータの表示されたインスタンスに関して航空機１２０の動作内容を容易に確認することができるように、（例えば、互いに近接する同じタイムスタンプを有する飛行データとテキストデータとをディスプレイデバイス１０８上に表示することによって）グラフィカルに関連付けられる。
[0032]図３〜４は、上で説明されたコックピットボイス通信プロセス２００に従って、航空機１２０上のデータ記憶要素１３８によって記憶されるか、またはそうでない場合、維持されることが可能な、循環バッファなど、順序付けられたデータ構造３００のグラフィカル表示を示す。図３に例示されるように、初期時間ｔ０において、処理システム１２６は、音声入力デバイス１２５から音声入力を受信して、音声認識を実行して、受信された音声入力を対応するテキスト表現（ｔｅｘｔ＿ｄａｔａ＿０）に変換する。処理システム１２６は、例えば、航空機１２０の位置（ａｉｒｃｒａｆｔ＿ｌｏｃａｔｉｏｎ＿０）、航空機１２０の高度（ａｉｒｃｒａｆｔ＿ａｌｔｉｔｕｄｅ＿０）、航空機１２０の方位（ａｉｒｃｒａｆｔ＿ｏｒｉｅｎｔａｔｉｏｎ＿０）など、航空機１２０上の１つまたは複数のアビオニクスシステム１３２、１３４、１３６から航空機１２０に関するリアルタイムの飛行データも時間ｔ０に取得する。例示されるように、処理システム１２６は、時間ｔ０でタイムスタンプされ（または、タグ付けされ）、かつ対応するテキストデータと飛行データとを含む初期値（ｉｎｉｔｉａｌ ｅｎｔｒｙ）３０２を循環バッファ内に作成する。その後の時間ｔ１に、処理システム１２６は、音声入力デバイス１２５から第２の音声入力を受信して、音声認識を実行して、受信された音声入力を対応するテキスト表現（ｔｅｘｔ＿ｄａｔａ＿１）に変換する。この場合も、処理システム１２６は、やはり、時間ｔ１における航空機１２０に関するリアルタイムの飛行データを取得して、時間ｔ１でタイムスタンプされ（または、タグ付され）、かつ対応するテキストデータと飛行データとを含むエントリ３０４を作成する。図３に例示されるように、循環バッファ３００は、エントリ３０４が先行する音声入力に対応する初期値３０２に続き、かつ初期値３０２に論理的に隣接するように、エントリ３０２、３０４を時間順序で維持する。
[0033]図４に例示されるように、一定のその後の時間ｔＮの後で、循環バッファ３００は一杯になり、処理システム１２６が、その後の時間ｔＮ＋１において音声入力デバイス１２５から音声入力を受信するとき、処理システム１２６は時間ｔＮ＋１に関するテキストデータと飛行データとを用いて循環バッファ３００内の初期値３０２を上書きして、時間ｔ１に関するエントリ３０４は更新されて、送信が開始されたとき、循環バッファ３００の論理的な開始になる。この点で、処理システム１２６が時間ｔＮ＋１の後に送信トリガイベントを識別するとき、処理システム１２６は、時間ｔ１に対応するエントリ３０４の内容から開始して、時間ｔＮ＋１に対応するエントリ３０２の内容で終わる、循環バッファ３００の内容を表す暗号化されたデータ・リンク・メッセージを作成する。飛行追跡ステーション１０４によって受信されたとき、処理システム１１２は、時間ｔ１に関してテキストデータおよび飛行データ（例えば、ｔｅｘｔ＿ｄａｔａ＿１、ａｉｒｃｒａｆｔ＿ｌｏｃａｔｉｏｎ＿１、ａｉｒｃｒａｆｔ＿ａｌｔｉｔｕｄｅ＿１、ａｉｒｃｒａｆｔ＿ｏｒｉｅｎｔａｔｉｏｎ＿１）を最初に、時間ｔＮ＋１に関するテキストデータおよび飛行データ（例えば、ｔｅｘｔ＿ｄａｔａ＿Ｎ＋１、ａｉｒｃｒａｆｔ＿ｌｏｃａｔｉｏｎ＿Ｎ＋１、ａｉｒｃｒａｆｔ＿ａｌｔｉｔｕｄｅ＿Ｎ＋１、ａｉｒｃｒａｆｔ＿ｏｒｉｅｎｔａｔｉｏｎ＿Ｎ＋１）を最後に順序付けることによって、受信されたテキストデータと飛行データとをディスプレイデバイス１０８上に表示することができる。
[0034]簡単に要約するために、本明細書で説明される主題の１つの利点は、記憶および／または送信の前に、捕捉された音声をテキスト表現に変換することによって、音声情報を記憶および送信するコスト（例えば、必要とされる記憶域の量、必要とされる帯域幅の量、送信に必要とされる時間）が削減されることである。加えて、同時（もしく、同時発生）飛行データおよび／または飛行情報が取得されて、音声情報のテキスト表現と関連付けられ、それによって、捕捉された音声の動作内容を捕捉された音声情報を審査する地上職員に提供することが可能である。捕捉された音声とその関連する飛行データとを航空機と分離して時間的に順序付けられたシーケンスで提供および記憶することは、捕捉された音声およびその捕捉された音声に関する動作内容が飛行データレコーダ（ＦＤＲ）ならびに／またはコクピットボイスレコーダ（ＣＶＲ）から独立して利用可能になることを確実にする。
[0035]分かり易くするために、これらのシステムの音声認識と、音声処理および音声サンプリングと、データ構造と、データ記憶と、データ送信と、航空機制御と、その他の機能的側面に関する従来の技法（ならびに、これらのシステムの個々の動作構成要素）とは本明細書で詳細に説明されない場合がある。さらに、本明細書に含まれた様々な図面に示される接続線は、様々な要素間の例示的な機能的関係および／または物理的結合を表すことが意図される。多くの改変的な機能的関係もしくは物理的接続または追加の機能的関係もしくは物理的接続が本主題のある実施形態内で提示される場合がある点に留意されたい。
[0036]本主題は、機能ブロック構成要素および／または論理ブロック構成要素の点から、様々なコンピューティング構成要素またはコンピューティングデバイスによって実行されることが可能な動作、処理タスク、および機能の記号表現を参照して本明細書で説明される場合がある。図面に示される様々なブロック構成要素は、指定された機能を実行するように構成された任意の数のハードウェア構成要素、ソフトウェア構成要素、および／またはファームウェア構成要素によって実現されることが可能である点を理解されたい。例えば、システムまたは構成要素の一実施形態は、１つもしくは複数のマイクロプロセッサまたはその他の制御デバイスの制御下で様々な機能を実行することができる様々な集積回路構成要素、例えば、メモリ要素、デジタル信号処理要素、論理要素、ルックアップテーブルなどを用いることが可能である。さらに、本明細書で説明される主題の実施形態は、（例えば、処理システムによって）実行されるとき、上で説明されたプロセスを円滑にするコンピュータ実行可能命令またはデータを記憶している、任意の適切な一時的でないコンピュータ可読媒体上に記憶されること、その上で符号化されること、またはそうでない場合、それによって実施されることが可能である。
[0037]前述の説明は、一緒に「結合」されている要素もしくはノードまたは特徴を参照する。本明細書で使用される場合、別段に明記されていない限り、「結合された」は、必ずしも機械的にではなく、１つの要素／ノード／特徴が別の要素／ノード／特徴に直接的もしくは間接的に接合されている（または、別の要素／ノード／特徴と直接的もしくは間接的に通信している）ことを意味する。したがって、これらの図面は要素の１つの例示的な構成を示す場合があるが、追加の介在要素、介在デバイス、介在特徴、または介在構成要素が示された主題のある実施形態内に存在する可能性がある。加えて、ある種の用語は、参照のためだけに以下の説明において使用される場合もあり、したがって、限定的であることが意図されない。
[0038]実施例１は、航空機から地上位置におけるコンピュータシステムに情報を通信する方法であって、航空機上の音声入力デバイスから音声入力を取得するステップであって、音声入力が１つまたは複数の語を含む、取得するステップと、その１つまたは複数の語のテキスト表現を含むテキストデータを生成するステップと、そのテキストデータをコンピュータシステムに通信するステップとを含む、通信する方法を含む。
[0039]実施例２は、航空機上のアビオニクスシステムから飛行データを取得するステップと、テキストデータを通信するステップに先立って、飛行データをテキストデータと関連付けるステップとをさらに含む、実施例１の方法を含む。
[0040]実施例３は、テキストデータを通信するステップに先立って、テキストデータを循環バッファ内に記憶するステップをさらに含み、飛行データをテキストデータと関連付けるステップがテキストデータと共に飛行データを循環バッファ内に記憶するステップを含む、実施例２の方法を含む。
[0041]実施例４は、音声入力を取得するのと同時に飛行データが取得される、実施例２〜３のうちのいずれかの方法を含む。
[0042]実施例５は、飛行データを関連付けるステップが、飛行データをテキストデータに関連するメタデータとして添付するステップを含む、実施例２〜４のうちのいずれかの方法を含む。
[0043]実施例６は、テキストデータを通信するステップが、１つまたは複数の語のテキスト表現と飛行データとを含むデータ・リンク・メッセージを作成するステップと、データ・リンク・メッセージを航空機から地上位置に送信するステップとを含む実施例２〜５のうちのいずれかの方法を含む。
[0044]実施例７は、航空機上のアビオニクスシステムから飛行データを取得するステップと、テキストデータに関連する飛行データを通信するステップとをさらに含む、実施例１〜実施例６のうちのいずれかの方法を含む。
[0045]実施例８は、テキストデータに関連する飛行データを通信するステップが、飛行データと１つまたは複数の語のテキスト表現とを同時に通信するステップを含む、実施例７の方法を含む。
[0046]実施例９は、テキストデータを航空機上に記憶するステップと、トリガイベントを識別するステップとをさらに含み、テキストデータを通信するステップが、トリガイベントを識別するステップに応答して、テキストデータを自動的に送信するステップを含む、実施例１〜８のうちのいずれかの方法を含む。
[0047]実施例１０は、テキストデータをデータ構造内に時間的に順序付けられたシーケンスで記憶するステップをさらに含み、テキストデータを通信するステップが、時間的に順序付けられたシーケンスに従って、テキストデータを通信するステップを含む、実施例１〜９のうちのいずれかの方法を含む。
[0048]実施例１１は、テキストデータを生成するステップが、音声認識語彙を使用して１つまたは複数の語を認識するステップを含む、実施例１〜１０のうちのいずれかの方法を含む。
[0049]実施例１２は、１つまたは複数の語を認識するステップに先立って、航空機の現在の動作状態に対応する音響雑音モデルに基づいて、音声入力をフィルタリングするステップをさらに含む、実施例１１の方法を含む。
[0050]実施例１３は、コンピュータシステムによって、飛行データにグラフィカルに関連する１つまたは複数の語を同時に表示するステップをさらに含む、実施例１〜実施例１２のうちのいずれかの方法を含む。
[0051]実施例１４は、航空機から地上オペレーションセンタにおける飛行追跡ステーションに情報を通信する方法であって、航空機上の音声入力デバイスから音声入力を最初に受信するステップであって、音声入力が１つまたは複数の語を含む、受信するステップと、音声入力を１つまたは複数の語を表すテキストデータに変換するステップと、上記最初のときに対応する飛行データを航空機上のアビオニクスシステムから取得するステップと、テキストデータおよび飛行データを航空機から飛行追跡ステーションに送信するステップとを含む、通信する方法を含む。
[0052]実施例１５は、飛行データを取得するステップが音声入力を受信するのと同時に飛行データを取得するステップを含む、実施例１４の方法を含む。
[0053]実施例１６は、飛行データをテキストデータと関連付けるステップをさらに含み、テキストデータおよび飛行データを送信するステップがテキストデータと共に飛行データを送信するステップを含む、実施例１４〜１５のうちのいずれかの方法を含む。
[0054]実施例１７は、テキストデータと飛行データとを航空機上のデータ記憶要素上に記憶するステップをさらに含み、テキストデータと共に飛行データを送信するステップが、航空機上の第２のアビオニクスシステムの出力に基づいて、テキストデータと共に飛行データを自動的に送信するステップを含む、実施例１６の方法を含む。
[0055]実施例１８は、１つまたは複数の語を含む音声入力を受信するための、航空機上の音声入力デバイスと、１つまたは複数の語を表すテキストデータを生成するために、音声入力デバイスに結合された処理システムと、テキストデータを航空機から地上位置に通信するために処理システムに結合された通信システムとを備えたシステムを含む。
[0056]実施例１９は、航空機上のデータ記憶要素をさらに含み、処理システムが、テキストデータを地上位置に通信するステップに先立って、テキストデータをデータ記憶装置内に記憶するように構成された、実施例１８のシステムを含む。
[0057]実施例２０は、飛行データを処理システムに提供するための、航空機上のアビオニクスシステムをさらに備え、処理システムが、飛行データとテキストデータとを関連付けて、テキストデータと共に飛行データを通信するように構成された、実施例１８〜１９のうちのいずれかのシステムを含む。
[0058]少なくとも１つの例示的な実施形態が前述の詳細な説明で提示されているが、膨大な数の変形例が存在する点を理解されたい。１つまたは複数の例示的な実施形態は単なる例であり、主題の範囲、適用性、または構成を決して限定することが意図されない点にも留意されたい。むしろ、前述の詳細な説明は、本主題のある例示的な実施形態を実施するための好都合な指針を当業者に提供することになる。添付の請求項に記載される本主題の範囲から逸脱せずに、ある例示的な実施形態で説明された要素の機能および構成に様々な変更を行うことが可能である点を理解されよう。
１００ 飛行追跡システム
１０２ 地上オペレーションセンタ
１０４ 飛行追跡ステーション
１０６ ユーザ入力デバイス
１０８ ディスプレイデバイス
１１０ 通信システム
１１２ 処理システム
１１４ データ記憶要素
１２０ 航空機
１２２ ディスプレイデバイス
１２４ ユーザ入力デバイス
１２５ 音声入力デバイス
１２６ 処理システム
１２８ ディスプレイシステム
アビオニクスシステム
１３０ 通信システム
アビオニクスシステム
１３２ 航行システム
アビオニクスシステム
１３４ 飛行管理システム（ＦＭＳ）
アビオニクスシステム
１３６ アビオニクスシステム
１３８ データ記憶要素
２００ コックピットボイス通信プロセス
２０２ タスク
２０４ タスク
２０６ タスク
２０８ タスク
２１０ タスク
２１２ タスク
３００ データ構造
循環バッファ
３０２ 初期値
３０２ エントリ
３０４ エントリ

Claims (3)

  1. 航空機から地上位置におけるコンピュータシステムに情報を通信する(communicating)方法であって、
    前記航空機上の音声入力デバイスから音声入力(audio input)を取得する(obtaining)ステップであって、前記音声入力が１つまたは複数の語(words)を含む、取得するステップと、
    前記１つまたは複数の語のテキスト表現(textual representation)を含むテキストデータを生成するステップと、
    前記テキストデータを前記コンピュータシステムに通信するステップとを含む方法。
  2. 前記航空機上のアビオニクス(avionics)システムから飛行データを取得するステップと、
    前記テキストデータを通信するステップに先立って、前記飛行データを前記テキストデータと関連付けるステップと
    をさらに含む、請求項１に記載の方法。
  3. 前記テキストデータを前記航空機上に(on board the aircraft)記憶するステップと、
    トリガイベント(triggering event)を識別するステップとをさらに含み、前記テキストデータを通信するステップが、前記トリガイベントを識別するステップに応答して、前記テキストデータを自動的に送信するステップを含む、
    請求項１に記載の方法。
JP2012276345A 2011-12-20 2012-12-19 航空機上で捕捉された音声を通信するための方法およびシステム Ceased JP2013150315A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/331,365 US8666748B2 (en) 2011-12-20 2011-12-20 Methods and systems for communicating audio captured onboard an aircraft
US13/331,365 2011-12-20

Publications (1)

Publication Number Publication Date
JP2013150315A true JP2013150315A (ja) 2013-08-01

Family

ID=47664057

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012276345A Ceased JP2013150315A (ja) 2011-12-20 2012-12-19 航空機上で捕捉された音声を通信するための方法およびシステム

Country Status (4)

Country Link
US (1) US8666748B2 (ja)
EP (1) EP2608188B1 (ja)
JP (1) JP2013150315A (ja)
CN (1) CN103257988B (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7873610B2 (en) 2006-05-26 2011-01-18 Andrew S Poulsen Meta-configuration of profiles
US9432611B1 (en) * 2011-09-29 2016-08-30 Rockwell Collins, Inc. Voice radio tuning
US9989377B2 (en) 2012-03-09 2018-06-05 Gulfstream Aerospace Corporation Method and system for displaying information
FR2997778B1 (fr) * 2012-11-05 2015-12-11 Snecma Procede de construction d'un modele comportemental d'un moteur d'avion
US9563580B2 (en) * 2013-07-25 2017-02-07 North Flight Data Systems, LLC System, methodology, and process for wireless transmission of sensor data onboard an aircraft to a portable electronic device
US9299340B2 (en) * 2013-10-07 2016-03-29 Honeywell International Inc. System and method for correcting accent induced speech in an aircraft cockpit utilizing a dynamic speech database
US20160155435A1 (en) * 2013-11-14 2016-06-02 Honeywell International Inc. Aircraft systems and methods for reducing and detecting read-back and hear-back errors
CN103617749B (zh) * 2013-11-15 2015-12-09 中国航空无线电电子研究所 一种机载陆空指令管理系统及其管理方法
CN103679847B (zh) * 2013-12-05 2016-09-14 成都民航空管科技发展有限公司 语音采集存储系统及方法
US9607608B2 (en) 2013-12-09 2017-03-28 Honeywell International Inc. Voice based diagnostic systems and methods
US9718557B2 (en) * 2014-01-17 2017-08-01 The Research Foundation For The State University Of New York Flight data tracker
US9550578B2 (en) * 2014-02-04 2017-01-24 Honeywell International Inc. Systems and methods for utilizing voice commands onboard an aircraft
US20160004501A1 (en) * 2014-07-01 2016-01-07 Honeywell International Inc. Audio command intent determination system and method
DE112015003912T5 (de) * 2014-08-27 2017-05-11 Gulfstream Aerospace Corporation Luftfahrzeug und Instrumentenausrüstungssystem zur Sprach-Transkription von Funkverkehr
US10748352B2 (en) * 2015-03-17 2020-08-18 Sikorsky Aircraft Corporation Systems and methods for remotely triggered data acquisition
US9529362B1 (en) * 2015-05-13 2016-12-27 Rockwell Collins, Inc. Autonomous aircraft operating system, device, and method
US20160379640A1 (en) * 2015-06-24 2016-12-29 Honeywell International Inc. System and method for aircraft voice-to-text communication with message validation
US9794059B2 (en) * 2015-08-31 2017-10-17 The Boeing Company Lightweight cyber secure bi-directional aircraft communications addressing and reporting system (ACARS) transmission
US9947315B2 (en) * 2015-10-12 2018-04-17 Honeywell International Inc. Method and system for using combined voice and customized instructions to trigger vehicle reports
US10409551B1 (en) * 2016-06-21 2019-09-10 Amazon Technologies, Inc. Voice-driven monitoring of resources in a service provider network
CN107562755A (zh) * 2016-06-30 2018-01-09 深圳市多尼卡电子技术有限公司 飞行数据的管理方法及系统
CN106341204B (zh) * 2016-09-29 2019-02-22 北京小米移动软件有限公司 音频处理方法及装置
US10285087B2 (en) 2016-11-10 2019-05-07 Honeywell International Inc. Efficient event-triggered reporting system
WO2018103017A1 (zh) * 2016-12-07 2018-06-14 深圳市大疆创新科技有限公司 无人机的控制方法及无人机
US10484466B2 (en) * 2017-02-01 2019-11-19 Panasonic Avionics Corporation Methods and systems for communicating messages to passengers on a transportation vehicle
US10564637B2 (en) * 2017-10-05 2020-02-18 Honeywell International Inc. Wireless e-signoff system
US11087747B2 (en) * 2019-05-29 2021-08-10 Honeywell International Inc. Aircraft systems and methods for retrospective audio analysis
US12001206B2 (en) 2020-01-16 2024-06-04 Honeywell International Inc. Methods and systems for remote operation of vehicles using hands-free functionality
CN111415412B (zh) * 2020-03-18 2023-08-04 北京山维科技股份有限公司 一种立体测图采编系统和方法
CN111586528A (zh) * 2020-05-07 2020-08-25 中国商用飞机有限责任公司 一种对飞机驾驶舱音源的音量动态调节的方法和系统
US12012219B2 (en) * 2020-07-17 2024-06-18 The Boeing Company Aircraft buffet detection
US11955012B2 (en) 2021-07-12 2024-04-09 Honeywell International Inc. Transcription systems and message fusion methods
WO2023080947A2 (en) * 2021-08-19 2023-05-11 Merlin Labs, Inc. Advanced flight processing system and/or method
CN114140905A (zh) * 2021-11-30 2022-03-04 中国商用飞机有限责任公司 一种用于对驾驶舱操作进行监测的方法、装置和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030225492A1 (en) * 2002-05-29 2003-12-04 Cope Gary G. Flight data transmission via satellite link and ground storage of data
US20040128039A1 (en) * 2002-12-30 2004-07-01 Podowski Robert Richard Wireless supplement and/or substitute for aircraft flight recorders
JP2006218229A (ja) * 2005-02-14 2006-08-24 Olympus Corp 医療支援システム
JP2006218230A (ja) * 2005-02-14 2006-08-24 Olympus Corp 医療用システム
US20070106510A1 (en) * 2005-09-29 2007-05-10 Ivras Inc. Voice based data capturing system
US20100027768A1 (en) * 2006-11-03 2010-02-04 Foskett James J Aviation text and voice communication system

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4624008A (en) * 1983-03-09 1986-11-18 International Telephone And Telegraph Corporation Apparatus for automatic speech recognition
US4725956A (en) 1985-10-15 1988-02-16 Lockheed Corporation Voice command air vehicle control system
FR2744277B1 (fr) 1996-01-26 1998-03-06 Sextant Avionique Procede de reconnaissance vocale en ambiance bruitee, et dispositif de mise en oeuvre
US5826206A (en) 1996-03-12 1998-10-20 Training Inovations Group, Llc Debriefing systems and methods for retrieving and presenting multiple datastreams with time indication marks in time synchronism
US5844503A (en) 1996-10-01 1998-12-01 Honeywell Inc. Method and apparatus for avionics management
US20110149849A1 (en) * 1996-12-06 2011-06-23 Edwin Brownrig Wireless black box communication systems and methods
US6182039B1 (en) 1998-03-24 2001-01-30 Matsushita Electric Industrial Co., Ltd. Method and apparatus using probabilistic language model based on confusable sets for speech recognition
US6430488B1 (en) * 1998-04-10 2002-08-06 International Business Machines Corporation Vehicle customization, restriction, and data logging
US6346892B1 (en) 1999-05-07 2002-02-12 Honeywell International Inc. Method and apparatus for aircraft systems management
US20020107694A1 (en) 1999-06-07 2002-08-08 Traptec Corporation Voice-recognition safety system for aircraft and method of using the same
US7725307B2 (en) 1999-11-12 2010-05-25 Phoenix Solutions, Inc. Query engine for processing voice based queries including semantic decoding
FR2808917B1 (fr) * 2000-05-09 2003-12-12 Thomson Csf Procede et dispositif de reconnaissance vocale dans des environnements a niveau de bruit fluctuant
JP2001344905A (ja) * 2000-05-26 2001-12-14 Fujitsu Ltd データ再生装置、その方法及び記録媒体
JP2002041432A (ja) * 2000-07-25 2002-02-08 Oki Electric Ind Co Ltd チャットシステム，端末装置，サーバ装置及び媒体
US6466847B1 (en) 2000-09-01 2002-10-15 Canac Inc Remote control system for a locomotive using voice commands
US20020087319A1 (en) 2001-01-04 2002-07-04 Stephenson Marc C. Portable electronic voice recognition device capable of executing various voice activated commands and calculations associated with aircraft operation by means of synthesized voice response
US20020093564A1 (en) * 2001-01-12 2002-07-18 Danny Israel Digital camera network for commercial aircraft
US20030006910A1 (en) 2001-07-06 2003-01-09 Dame Stephen G. Aural/visual interactive aircraft communications module, system and methods
US20030025682A1 (en) 2001-07-06 2003-02-06 Dame Stephen G. Aural/visual checklist system for avionics
US6985852B2 (en) 2001-08-21 2006-01-10 Microsoft Corporation Method and apparatus for dynamic grammars and focused semantic parsing
US7113109B2 (en) 2001-09-29 2006-09-26 I-Tex Wireless,Inc. Voice activated alerting system for aircraft crew
IL161333A0 (en) 2001-10-10 2004-09-27 Mcloughlin Pacific Corp Method and apparatus for tracking aircraft and securing against unauthorized access
US7466992B1 (en) * 2001-10-18 2008-12-16 Iwao Fujisaki Communication device
US7174300B2 (en) 2001-12-11 2007-02-06 Lockheed Martin Corporation Dialog processing method and apparatus for uninhabited air vehicles
US20040027255A1 (en) 2002-03-01 2004-02-12 Greenbaum Myron H. Wideband avionics data retrieval system
CN1252448C (zh) * 2002-10-11 2006-04-19 中国南方航空股份有限公司 一种飞机远程诊断实时跟踪系统及其方法
JP4352790B2 (ja) 2002-10-31 2009-10-28 セイコーエプソン株式会社 音響モデル作成方法および音声認識装置ならびに音声認識装置を有する乗り物
US7496511B2 (en) 2003-01-14 2009-02-24 Oracle International Corporation Method and apparatus for using locale-specific grammars for speech recognition
US7505764B2 (en) * 2003-10-28 2009-03-17 Motorola, Inc. Method for retransmitting a speech packet
US20050114140A1 (en) 2003-11-26 2005-05-26 Brackett Charles C. Method and apparatus for contextual voice cues
US7089108B2 (en) 2004-03-12 2006-08-08 Voiceflight Systems, Inc. Method and apparatus for entering a flight plan into an aircraft navigation system
US7751947B2 (en) 2004-03-31 2010-07-06 The Boeing Company Methods and systems for displaying assistance messages to aircraft operators
US7289890B2 (en) 2004-11-24 2007-10-30 The Boeing Company Checklist system
US7627638B1 (en) * 2004-12-20 2009-12-01 Google Inc. Verbal labels for electronic messages
US7580377B2 (en) 2006-02-16 2009-08-25 Honeywell International Inc. Systems and method of datalink auditory communications for air traffic control
US7606715B1 (en) 2006-05-25 2009-10-20 Rockwell Collins, Inc. Avionics system for providing commands based on aircraft state
US7912592B2 (en) 2006-06-09 2011-03-22 Garmin International, Inc. Automatic speech recognition system and method for aircraft
US7733903B2 (en) 2006-08-04 2010-06-08 International Business Machines Corporation Text transcriptions for voice communications
WO2008019709A1 (en) 2006-08-17 2008-02-21 Snap-On Incorporated Vehicle diagnostic equipment providing hands free operation
US7913569B2 (en) * 2007-12-11 2011-03-29 Israel Aerospace Industries Ltd. Magnetostrictive type strain sensing means and methods
US9207758B2 (en) * 2008-05-30 2015-12-08 Honeywell International Inc. Operator assistance methods and systems
US8224653B2 (en) 2008-12-19 2012-07-17 Honeywell International Inc. Method and system for operating a vehicular electronic system with categorized voice commands
CN101527085A (zh) * 2009-04-21 2009-09-09 中国民航大学 一种航班信息即动报知装置及其处理方法
US8306675B2 (en) 2010-05-13 2012-11-06 Prus Robert S Graphic display system for assisting vehicle operators
CN101916565A (zh) * 2010-06-24 2010-12-15 北京华安天诚科技有限公司 空管系统中的语音识别方法及语音识别装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030225492A1 (en) * 2002-05-29 2003-12-04 Cope Gary G. Flight data transmission via satellite link and ground storage of data
US20040128039A1 (en) * 2002-12-30 2004-07-01 Podowski Robert Richard Wireless supplement and/or substitute for aircraft flight recorders
JP2006218229A (ja) * 2005-02-14 2006-08-24 Olympus Corp 医療支援システム
JP2006218230A (ja) * 2005-02-14 2006-08-24 Olympus Corp 医療用システム
US20070106510A1 (en) * 2005-09-29 2007-05-10 Ivras Inc. Voice based data capturing system
US20100027768A1 (en) * 2006-11-03 2010-02-04 Foskett James J Aviation text and voice communication system

Also Published As

Publication number Publication date
CN103257988A (zh) 2013-08-21
EP2608188B1 (en) 2014-11-26
US20130158991A1 (en) 2013-06-20
CN103257988B (zh) 2017-11-21
EP2608188A1 (en) 2013-06-26
US8666748B2 (en) 2014-03-04

Similar Documents

Publication Publication Date Title
US8666748B2 (en) Methods and systems for communicating audio captured onboard an aircraft
US10275427B2 (en) Systems and methods for contextual tagging of data on vehicle display
CN104700661B (zh) 以文本和以图形呈现空中交通控制语音信息的系统和方法
CN106355957B (zh) 监视邻近交通的飞行器系统和方法
CN106952504B (zh) 具有增强cpdlc消息管理的飞机系统
US8838294B2 (en) Methods and systems for briefing aircraft procedures
US10797945B2 (en) Methods are provided for flight management services in a cloud environment
EP2196775A2 (en) Next generation electronic flight bag
US10971155B2 (en) Aircraft systems and methods for monitoring onboard communications
KR20120108534A (ko) 선박 운항 시스템, 선박 운항정보 표시방법, 및 그 기록매체
CN106846715B (zh) 具有可穿戴设备警报的飞行器系统和方法
CN108733284B (zh) 用于交通工具控制系统的预测用户界面
US20230005483A1 (en) System and method for displaying radio communication transcription
US11676496B2 (en) Methods and systems for querying for parameter retrieval
US8996202B1 (en) Presenting notices to airmen in charting applications
EP3483860B1 (en) Methods are provided for flight management services in a cloud environment
US10803684B2 (en) Aircraft systems and methods for retrospective pilot input analysis
US8346411B1 (en) Integrated system for providing a journey log display and the automatic reporting thereof
US12020578B2 (en) Systems and methods for adding relevant data to ATC transcription messages
CN115148209A (zh) 基于座舱语音识别的自动报告生成方法和系统
US11955012B2 (en) Transcription systems and message fusion methods
EP4290498A1 (en) Vehicle systems and related message prioritization methods
US20230368682A1 (en) Transcription systems and related supplementation methods
EP4120222A1 (en) Transcription systems and message fusion methods
US20240143937A1 (en) Transcription systems and methods for challenging clearances

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151211

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161209

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170602

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20171026