JP2007129691A - デジタルビデオデータ処理のためのシステムおよび方法 - Google Patents

Abstract

【課題】デジタルビデオデータを処理する方法およびシステムを提供する。
【解決手段】１つまたは複数のビデオ画像をキャプチャすること、および該１つまたは複数のビデオ画像のシリアルデジタルビデオ信号を生成し、さらに、該シリアルデジタルビデオ信号から、色、音および制御シンボルのうちの１つまたは複数をフィルタリングする。さらに、該シリアルデジタルビデオ信号を、メモリマッピングされたイメージとして１つまたは複数のメモリ内に格納すること、デジタルフィルタリング、エッジ検出、画像トリミングおよび画像拡大のうちの１つまたは複数を含む１つまたは複数の画像強調操作をメモリマッピングイメージに対して実施すること、および制御シンボルの復元、空白の色データサンプルの挿入、空白の音データサンプルの挿入のうちの１つまたは複数によって、送信されたメモリマッピングイメージの第２のシリアルデジタルビデオ信号を生成する事を含む。
【選択図】図５

Description

本発明は、一般には、ビデオ画像に関し、より詳細には、デジタルビデオ処理に関する。

本出願は、参照により本明細書に組み込まれている、２００４年７月２３日に出願した以下の同時係属の米国特許出願にも関連する。

米国特許出願第１０／８９７，８８８号（整理番号Ｈ０００３９４４−１６２８、題名「３９４４」）。同特許を本明細書では、「‘３９４４出願」と称する。

本出願は、参照により本明細書に組み込まれている、本出願と同日付に出願した以下の同時係属の米国特許出願にも関連する。

米国特許出願第 ／ 号（整理番号Ｈ０００８８２７−１６２８、「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｓｅｍｉ−Ｐｅｒｍａｎｅｎｔ，Ｎｏｎ−Ｐｒｅｃｉｓｉｏｎ Ｉｎ−ｓｐａｃｅ Ａｓｓｅｍｂｌｙ ｏｆ Ｓｐａｃｅ Ｓｔｒｕｃｔｕｒｅｓ，Ｍｏｄｕｌｅｓ ａｎｄ Ｓｐａｃｅｃｒａｆｔ」）。同特許を本明細書では、「‘８８２７出願」と称する。

テレビデータなど、ストリーミングビデオデータのデジタル処理は現在、各ビデオフレームについて様々な計算を実施するために非常に強力なコンピューティング装置を必要とする。一般に、ビデオデータのための処理時間を減少させるには、それに応じてコンピューティング装置の処理能力を増加させることが必要である。しかし、宇宙ベースのシステムなどの応用例では、財政面、システムリソース、ならびに使用可能なコンピューティング装置の複雑さ、メモリおよび演算能力を制限する他の実際的な制約がある。
米国特許出願第１０／８９７，８８８号 米国特許出願第 ／ 号

上述の理由、ならびに本明細書を読み、理解すると当業者には明らかになる以下で述べる他の理由により、コンピューティング装置の処理能力の増加を必要とせずにビデオデータのより高速なデジタル処理を可能にする改良型のシステムおよび方法が、当技術分野において求められている。

本発明の諸実施形態は、デジタルビデオデータを処理するための方法およびシステムを提供するものであり、以下の明細を読み検討することによって理解される。

ある実施形態では、デジタルビデオ処理システムが提供される。このシステムは、キャプチャされた画像のシリアルデジタルビデオ信号を生成するように適応された１つまたは複数の光センサモジュールと、１つまたは複数の光センサモジュールに結合され、シリアルデジタルビデオ信号を処理するように構成された再構成可能なコンピュータとを備える。再構成可能コンピュータはさらに、色、音および制御シンボルのうちの１つまたは複数に関係するデータをシリアルデジタルビデオ信号から除去するように適応された第１のデジタルフィルタを実装するように構成され、再構成可能コンピュータはさらに、第１デジタルフィルタによってフィルタリングされたシリアルデジタルビデオ信号をメモリマッピングされたイメージとして格納するように適応された１つまたは複数のメモリを実装するように構成される。

別の実施形態では、軌道上の衛星によってキャプチャされた画像を処理するための方法が提供される。この方法は、軌道上を周回する光センサで１つまたは複数のビデオ画像をキャプチャすること、軌道上で該１つまたは複数のビデオ画像のシリアルデジタルビデオ信号を生成すること、軌道上でシリアルデジタルビデオ信号から色、音および制御シンボルのうちの１つまたは複数をフィルタリングすること、フィルタリングされたシリアルデジタルビデオ信号をメモリマッピングされたイメージとして軌道上で１つまたは複数のメモリ内に格納すること、およびメモリマッピングイメージを地上局に送信することを備える。

別の実施形態では、ビデオ画像を処理するための方法が提供される。この方法は、１つまたは複数のビデオ画像をキャプチャすること、該１つまたは複数のビデオ画像のシリアルデジタルビデオ信号を生成すること、シリアルデジタルビデオ信号から色、音および制御シンボルのうちの１つまたは複数をフィルタリングすること、シリアルデジタルビデオ信号をメモリマッピングされた１つまたは複数のイメージとして１つまたは複数のメモリ内に格納すること、デジタルフィルタリング、エッジ検出、画像トリミングおよび画像拡大のうちの１つまたは複数を含む１つまたは複数の画像処理操作をメモリマッピングイメージに対して実施すること、および制御シンボルの復元、空白の色データサンプルの挿入、空白の音データサンプルの挿入のうちの１つまたは複数によって、送信されたメモリマッピングイメージの第２のシリアルデジタルビデオ信号を生成することを備える。

本発明は、好ましい諸実施形態についての説明および後述の図面に鑑みて考慮すればより容易に理解され、そのさらなる利点および使用がより容易に明らかになり得る。

一般的慣行に従って、説明する様々な特徴は、一定の縮尺では描かれていないが、本発明に関連する特徴を強調するように描かれている。参照符号は、図面および本文を通じて同様の要素を示す。

以下の詳細な説明では、添付の図面を参照する。この諸図面は、本明細書の一部を形成しており、また本発明が実施され得る特定の例示的な実施形態を例示するために示されている。これらの実施形態は当業者が本発明を実施できるようにするのに十分なほど詳細に述べられており、他の実施形態が使用されることができ、また本発明の範囲から逸脱せずに論理、機械および電気に関する変更が加えられ得ることを理解されたい。したがって、以下の詳細な説明は、限定的な意味で解釈されるものではない。

本発明の実施形態は、ビデオデータストリームから不必要なデータサンプルをフィルタで除去し、そのデータに対してデジタル画像処理操作を実施する前にビデオ画像フレームをメモリマッピングされたイメージとして格納することにより、使用可能なコンピューティングリソースを増加させる必要なしにビデオデータのより高速なデジタル処理を提供する問題に対処するものである。データセットの減少によってビデオデータ格納のメモリ要件およびビデオデータ送信の帯域幅要件が低減されるだけでなく、メモリから取り出され、コンピューティングリソースによって処理されるビデオデータが所望の画像処理操作の実施に必要な情報だけを含むので、効率も得られる。

図１Ａは、コンピュータによるビデオ処理システム１００の一実施形態を示すブロック図である。システム１００は、１つまたは複数の画像センサモジュール１０２を含む。それぞれの画像センサモジュール１０２は、システム１００によって処理される生ビデオデータのソースである。それぞれの画像センサモジュール１０２は、ビデオ画像データを生成する１つまたは複数の画像センサ１０３を備える。画像センサモジュール１０２は適切なサポート機能（図示せず）を含み、このサポート機能は、たとえばアナログデジタル変換を実施し、システム１００の他の部分にセンサデータを供給するのに必要な入出力インターフェースを駆動する。たとえば、ある実施形態では、それぞれのセンサモジュール１０２は、電荷結合素子（ＣＣＤ：ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）センサや相補型金属酸化膜システム（ＣＭＯＳ：ｃｏｍｐｌｉｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｙｓｔｅｍ）センサなど、光センサアレイを含む。別の実施形態では、赤外線センサアレイが使用される。こうした実施形態では、光センサアレイは、システム１００内の後続の画像処理のために使用されるピクセル画像データを生成する。他の実施形態では、他のタイプのセンサが使用される。多くの応用例において、センサ１０３はそれ自体によって、特定の仕事を完遂するのに必要である以上のデータを生成し出力する。たとえば、センサ１０３は、白黒のビデオ画像だけが必要とされる、玄関での動きを観察し検出するセキュリティカメラの応用例において役立ち得る。しかし、センサ１０３は、白黒のビデオ画像を生成するのに必要な輝度データに加えて、それだけに限らないが色、音、制御シンボルまたは他のデータを含むシリアルデジタルインターフェース（ＳＤＩ：ｓｅｒｉａｌ ｄｉｇｉｔａｌ ｉｎｔｅｒｆａｃｅ）規格信号など、標準のビデオ信号として生ビデオデータを出力し得る。この余分のデータの存在は、特定の応用には不要であるだけでなく、データをリアルタイムに送信するのに必要な帯域幅が増加することにつながり、データを格納するのに必要なメモリを増加させ、またコンピュータがデータを解析し処理するのに必要な時間を増加させる。

センサモジュール１０２によって出力されたセンサデータは、システム１００内に含まれており、デジタルビデオ処理用に構成されている１つまたは複数の再構成可能コンピュータ（ＲＣ：ｒｅｃｏｎｆｉｇｕｒａｂｌｅ ｃｏｍｐｕｔｅｒ）１０４によって処理される。図１Ｂに示すように、ある実施形態では、ＲＣ１０４は、それだけに限らないがＲｉｃｅ圧縮やエッジ検出など、１つまたは複数の画像処理操作を実施するためにデジタルビデオプロセッサ（ＤＶＰ：ｄｉｇｉｔａｌ ｖｉｄｅｏ ｐｒｏｃｅｓｓｏｒ）１２４を実装するように構成される。ある実施形態では、ＲＣ１０４は、‘３９４４出願に記載された再構成可能コンピュータである。再構成可能コンピュータに関係するさらなる詳細は、参照により本明細書に組み込まれている‘３９４４出願に示されている。

ＤＶＰ１２４がビデオフレームを処理し得るレートを増加させるために、ＲＣ１０４はさらに、センサモジュール１０２から出力されたデータ信号から不必要なデータをフィルタで除去するように構成される。図１Ｂに示すように、ＲＣ１０４はさらに、第１のデジタルフィルタ（ＤＦＡ：ｆｉｒｓｔ ｄｉｇｉｔａｌ ｆｉｌｔｅｒ）１２０を実装するように構成される。ＤＦＡ１２０は、それだけに限らないが色、音および制御シンボルのうちの１つまたは複数に関係するデータをビデオ信号から除去する、「損失の多い」圧縮フィルタアルゴリズムを使用する。輝度ビデオデータだけが関連したある実施形態では、信号から色、音および制御シンボル情報を取り除くことにより、所望の画像処理操作を完遂するためにＲＣ１０４によって処理されなければならないデータ量が減少する。

ＤＦＡ１２０はＤＶＰ１２４によって処理されなければならないデータサンプルの量を減少させるが、データから制御シンボルを除去すると、複数の輝度データサンプルを再び組み立てて、キャプチャ画像の意味のある正確な表現にするのに必要な構造情報もが取り除かれる。したがって、ＲＣ１０４はさらに、画像構造を保持するようなやり方でデータをメモリ内に格納するように構成される。ある実施形態では、メモリ１２６は、それぞれのメモリアドレスが画像の特定のピクセル位置に相関するようにマッピングされたメモリである。たとえば、ある実施形態では、ビデオフレームのビデオ画像データは、各行がＮ個のピクセルを備えた、行１からＬを備える。ある実施形態では、ビデオ画像の第１行のＮピクセルの輝度サンプルは、メモリ１２６内のメモリアドレスの第１行に格納される。同様に、ビデオ画像の行２からＬのＮピクセルの輝度サンプルは、メモリ１２６内のメモリアドレスの行２からＬに格納される。このように、ビデオ画像フレーム内の各ピクセルが、メモリ１２６内の特定のメモリアドレスにマッピングされ、したがってシリアルデジタルビデオ信号からの制御シンボルの保持を必要とせずにビデオ画像が保持される。メモリマッピングされた画像フレームの利点は、関心のあるデータだけが、メモリリソースが制限されたアプリケーション内に保持される必要があることである。ＤＶＰ１２４が画像フレームに対して１つまたは複数の画像処理操作を実施する場合には効率も得られ、それはＤＶＰ１２４によってメモリ１２６から取り出されるデータが、操作の実施のためＤＶＰ１２４によって必要とされる情報しか含まないからである。効率は、ＤＶＰ１２４によって保存されるデータもやはり関心のあるデータしか含まないので、処理済みの画像をメモリマッピングイメージとしてメモリ１２６に保存し戻す場合にも得られる。

ある実施形態では、メモリ１２６内の処理済みの画像を１つまたは複数の外部装置に通信するために、ＲＣ１０４はさらに、第２のデジタルフィルタ（ＤＦＢ）１２８を実装するように構成される。ＤＦＢ１２８はフィルタアルゴリズムを使用し、このフィルタアルゴリズムは、メモリ１２６内に格納されたデジタル画像を入力し、制御シンボルの復元、ならびにそれだけに限らないが色および音のうちの１つまたは複数についての空白（ゼロ値など）データサンプルの挿入によってその画像をシリアルデジタルビデオ信号として出力する。ある実施形態では、ＤＦＢ１２８は、メモリマッピングされたメモリ１２６内に格納されたイメージを変換し、ＳＤＩ規格信号を出力する。

図２Ａは、軌道を周回する宇宙機２１０で使用される本発明の一実施形態を示している。デジタルビデオ画像の処理に必要な演算能力およびメモリリソースを減少させることによって本発明の実施形態は、周回する宇宙機２１０によってキャプチャされるデジタルビデオ画像が宇宙の宇宙機内で限られた計算リソースを用いて処理されることを可能にする。画像を宇宙で処理することによって、関心のある画像データだけが地球に送信される必要があり、したがって、送信帯域幅の要件と、地球ベースの画像処理の必要性の両方が低減される。さらに、ビデオデータの各フレームに対する画像処理操作の実施に必要な計算時間が短縮されることは、処理された画像フレームが、それがキャプチャされるのとほぼ同じレートで地球に送信され得ることを意味する。

ある実施形態では、宇宙機２１０は、地球または他の天体上で生じる気象パターンを観察するために使用される気象衛星などの衛星である。宇宙機２１０は、地球のビデオ画像をキャプチャするように適応された光センサ２０３を含む、光センサモジュール２０２を含む。ある実施形態では、光センサ２０３は、キャプチャされたビデオ画像を、それだけに限らないがＮＴＳＣ規格アナログ信号やＰＡＬ規格アナログ信号などのアナログ信号として出力する。ある実施形態では、光センサモジュール２０２は、アナログ信号を、それだけに限らないがＳＤＩ規格信号などのシリアルデジタルビデオ信号に変換する。別の実施形態では、光センサ２０３は、電荷結合素子（ＣＣＤ）センサアレイや相補型金属酸化膜システム（ＣＭＯＳ）センサアレイなどの光センサアレイを含み、キャプチャされたビデオ画像を、それだけに限らないがＳＤＩ規格信号などのシリアルデジタルビデオ信号として出力する。

ある実施形態では、宇宙機２１０はさらに、デジタルビデオ処理を実施するように構成されたＲＣ２２０を備える。ある実施形態では、ＲＣ２２０は、参照により本明細書に組み込まれている‘３９４４出願に記載されるような再構成可能コンピュータを備える。ある実施形態では、ＲＣ２２０は、入出力（Ｉ／Ｏ：ｉｎｐｕｔ／ｏｕｔｐｕｔ）インターフェース２１４を介して光センサモジュール２０２からのシリアルデジタルビデオ信号を入力し、その信号を１つまたは複数のメモリ２１６内のデジタルデータサンプルとして格納するように構成される。ある実施形態では、ＲＣ２２０は、デジタルフィルタ、ＤＦＡ２２５を実装するように構成される。ＤＦＡ２２５は、信号データがメモリ２１６内に格納される前に、それだけに限らないが色、音および制御シンボルのうちの１つまたは複数に関係するデータをシリアルデジタルビデオ信号から除去する、「損失の多い」圧縮フィルタアルゴリズムを使用する。さらに、メモリ２１６は、ＤＦＡ２２５がフィルタリング済みの信号データをメモリ２１６内に格納するときにビデオ画像の構造が維持されるようにマッピングされたメモリである。たとえば、シリアルデジタルビデオ信号がＳＤＩ規格信号である一実施形態では、ＤＦＡ２２５は、タイミング基準信号（ＴＲＳ：Ｔｉｍｉｎｇ Ｒｅｆｅｒｅｎｃｅ Ｓｉｇｎａｌ）データ、色差（ＣｂおよびＣｒ）データサンプル、オーディオ技術協会／欧州放送連合（ＡＥＳ／ＥＢＵ：Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ／Ｅｕｒｏｐｅａｎ Ｂｒｏａｄｃａｓｔｉｎｇ Ｕｎｉｏｎ）オーディオ・チャネル・データ・サンプル、およびＳＤＩビデオストリームのブランキング期間内に格納される他の任意の情報を取り除く。キャプチャされたビデオ画像の各ピクセルについて輝度サンプル（Ｙ）のストリームだけを備える残りのデータサンプルは、メモリ２１６内に格納される。

ある実施形態では、ＲＣ２２０はさらに、メモリ２１６内に格納されたビデオ画像フレームへのデジタル強調を実施するためデジタルビデオプロセッサ（ＤＶＰ）２０４を実装するように構成される。ＤＶＰ２０４は、それだけに限らないがデジタルフィルタリング、エッジ検出、画像トリミング、画像拡大または他の画像強調など、１つまたは複数の画像強調操作を実施し、処理された画像をメモリ２１６内に格納する。宇宙で画像を処理することによって、地球上の個人は、興味のある画像の特徴だけをダウンロードすることができる。

ある実施形態では、宇宙機２１０はさらに、光センサモジュール２０２によってキャプチャされ、ＲＣ２２０によって処理された画像を含むデータストリームを無線で送信するように適応された送信機２３０を備える。画像強調を行った後、ＤＶＰ２０４は、Ｉ／Ｏポート２１５を介して送信機２３０に画像を出力する。ある実施形態では、データストリームは、図２Ｂに示す受信局２５０によって無線で受信される。ある実施形態では、受信局２５０は、受信機２５５と再構成可能コンピュータ（ＲＣ）２６０とを備える。ＲＣ２６０は、Ｉ／Ｏポート２１７を介して受信機２５５によって受信されたデータストリームを入力し、データストリームを１つまたは複数のメモリ２５６内にデジタルデータサンプルとして格納する。メモリ２１６に関して述べたように、メモリ２５６は、それぞれのメモリアドレスが、画像の特定のピクセルに相関する輝度サンプルを含むようにマッピングされたメモリである。ある実施形態では、ＲＣ２６０は、デジタルフィルタ、ＤＦＢ２６５を実装するように構成される。ＤＦＢ２６５はフィルタアルゴリズムを使用し、このフィルタアルゴリズムは、メモリマッピングされたメモリ２５６内に格納されたデジタル画像を入力し、制御シンボルの復元、ならびにそれだけに限らないが色および音のうちの１つまたは複数についての空白（ゼロ値など）データサンプルの挿入によってその画像をシリアルデジタルビデオ信号として出力する。ある実施形態では、ＤＦＢ２６５は、メモリマッピングメモリ２５６内に格納されたイメージを変換し、ＴＲＳデータの再構築、ＤＦＡ２２５によって除去されたＣｂおよびＣｒデータサンプルについてのゼロ値データサンプルおよびＳＤＩビデオストリームのブランキング期間のゼロ値データサンプルの挿入によってＳＤＩ規格信号を出力する。ＤＦＢ２６５から出力されたシリアルデジタルビデオ信号は、光センサ２０３によってキャプチャされた生ビデオ画像のデジタル強調されたバージョンを表しており、次いで、このデジタル強調バージョンは地球上で複数のやり方で使用され得る。ある実施形態では、デジタル強調ビデオ画像は、後の表示および処理に備えて（磁気テープや磁気または光ディスクなど）デジタルビデオ記憶装置２７０内に格納される。ある実施形態では、ＲＣ２６０はさらに、シリアルデジタルビデオ信号を、それだけに限らないが、モニタ２９０などアナログビデオモニタで使用するためのＮＴＳＣ信号およびＰＡＬ信号など、１つまたは複数の標準アナログビデオ信号に変換するように適応されたシリアルデジタルビデオ信号変換器（ＳＤＶＳ Ｃｏｎｖ．ｓｅｒｉａｌ ｄｉｇｉｔａｌ ｖｉｄｅｏ ｓｉｇｎａｌ ｃｏｎｖｅｒｔｅｒ）２７５を備える。

図３Ａおよび３Ｂは、本発明の一実施形態の自動宇宙モジュールドッキングシステムの一実施形態３００を示している。第１の宇宙機モジュール３１０および第２の宇宙機モジュール３５０は、参照により本明細書に組み込まれている‘８８２７出願に記載された結合装置３４０で適応される。ある実施形態では、宇宙機モジュール３１０および宇宙機モジュール３５０（図３Ａで、互いに分離されて示されている）は共に組み立てられて単一の宇宙機アセンブリ３７０（図３Ｂに示す）となり、宇宙機モジュール３１０および３５０は結合装置３４０によって一緒に固定される。ある実施形態では、結合装置３４０は、宇宙機モジュール３１０および３５０上にそれぞれ取り付けられた２つの構成要素、結合支柱（ｂｏｎｄｉｎｇ ｐｏｓｔ）３４２および受けプレート（ｒｅｃｅｉｖｉｎｇ ｐｌａｔｅ）３４４で構成される。宇宙では、宇宙機モジュール３１０および３５０は、その相対位置を結合支柱３４２が受けプレート３４４に非常に近づきまたはそれに接触するまで調整する。次いで、宇宙機モジュール３１０および３５０は、参照により本明細書に組み込まれている‘８８２７出願に記載されるように形成された機械結合３４５によって一緒に固定される。第１宇宙機モジュール３１０は、光センサ３０３によってキャプチャされた第２宇宙機モジュール３５０のビデオ画像のシリアルデジタルビデオ信号を出力するように適応された光センサモジュール３０２を含む。第１宇宙機モジュール３１０はさらに、宇宙機モジュール３１０および３５０の相対位置を決定するため光センサモジュール３０２によってキャプチャされた画像を処理するように構成されたＲＣ３２０を備える。ある実施形態では、ＲＣ３２０は、入出力（Ｉ／Ｏ）インターフェース３１４を介して光センサモジュール３０２からシリアルデジタルビデオ信号を入力し、その信号をデジタルデータサンプルとして１つまたは複数のメモリ３１６内に格納するように構成される。ある実施形態では、ＲＣ３２０はデジタルフィルタ、ＤＦＡ３２５を実装するように構成され、このＤＦＡ３２５は、信号データがメモリ３１６内に格納される前に、それだけに限らないが色、音および制御シンボルのうちの１つまたは複数に関係するデータをシリアルデジタルビデオ信号から除去する。メモリ３１６は、ＤＦＡ３２５がフィルタリングされた信号データをメモリ３１６内に格納するときにビデオ画像の構造が維持されるようにマッピングされたメモリである。ＲＣ３２０はさらにＤＶＰ３０４を実装するように構成され、このＤＶＰ３０４は、宇宙機モジュール３１０および３５０の相対位置を決定するためメモリ３１６内に格納されたビデオ画像に対して１つまたは複数の画像強調操作を実施するように構成される。ある実施形態では、ＲＣ３２０は、ビデオ画像を処理し、宇宙機モジュール３１０および３５０の相対位置の決定のため、宇宙機モジュール３５０のキャプチャされた画像の１つまたは複数の特徴を宇宙機モジュール３５０の画像のデータベース（ＤＢ：ｄａｔａｂａｓｅ）３２１に相関させる。ある実施形態では、ＲＣ３２０は、宇宙機モジュール３１０および宇宙機モジュール３５０の相対位置を表す１つまたは複数の相対位置信号をＩ／Ｏポート３１５を介して出力する。ある実施形態では、誘導システム３３０が、ＲＣ３２０からの１つまたは複数の相対位置信号を入力し、結合支柱３４２を受けプレート３４４と位置合わせするため相対位置信号に基づいて宇宙機モジュール３１０を操縦するように適応される。結合支柱３４２と受けプレート３４４とが互いに十分に近いときに、宇宙機モジュール３１０と３５０は、参照により本明細書に組み込まれている‘８８２７出願に記載されるように結合３４５を確立する。理解されるように、任意の数の宇宙機モジュールが、本発明の実施形態に従って形成された複数の結合を使用して単一の構造へと組み立てられ得る。

図４Ａ、４Ｂおよび４Ｃは、本発明の一実施形態のセキュリティ監視システム４００を示している。セキュリティ監視システム４００は、１つまたは複数のネットワーク４０８を介してモニタ局４５０とデジタル画像を通信するように適応された複数の監視局４１０を備える。

図４Ｂに示すように、それぞれの監視局４１０は、監視下の領域のビデオ画像をキャプチャするように適応された光センサ４０３を含む。ある実施形態では、光センサ４０３は、キャプチャされたビデオ画像を、それだけに限らないがＮＴＳＣ規格アナログ信号やＰＡＬ規格アナログ信号など、アナログ信号として出力する。ある実施形態では、シリアル・ビデオ・データ・ストリーム変換器（ＳＤＶＳ Ｃｏｎｖ．）４０５は、アナログ信号を、それだけに限らないがＳＤＩ規格信号など、シリアル・ビデオ・データ・ストリームに変換する。別の実施形態では、光センサ４０３は、それだけに限らないがＣＣＤセンサアレイ、ＣＭＯＳセンサアレイなどの光センサアレイを含み、キャプチャされたビデオ画像を、それだけに限らないがＳＤＩ規格信号などのシリアル・ビデオ・データ・ストリームとして直接に出力する。監視局４１０はさらに、デジタルビデオ処理用に構成されたＲＣ４２０を備える。ある実施形態では、ＲＣ４２０は、ＳＶＤＳ変換器４０５からＩ／Ｏインターフェース４１４を介してシリアルデジタルビデオ信号を入力し、その信号をデジタルデータサンプルとして１つまたは複数のメモリ４１６内に格納するように構成されている。ある実施形態では、ＲＣ４２０はさらに、デジタルフィルタＤＦＡ４２５を実装するように構成される。ＤＦＡ４２５は、それだけに限らないが色、音および制御シンボルのうちの１つまたは複数に関係するデータをシリアル・ビデオ・データ・ストリームから除去し、結果として生じる、フィルタリングされたビデオデータをメモリ４１６内に格納する。シリアル・ビデオ・データ・ストリームがＳＤＩ規格信号である一実施形態では、ＤＦＡ４２５は、ＴＲＳデータ、ＣｂおよびＣｒデータサンプル、ＡＥＳ／ＥＢＵオーディオ・チャネル・データ・サンプル、およびＳＤＩビデオストリームのブランキング期間に格納された他の任意の情報を取り除く。キャプチャされたビデオ画像の各ピクセルの輝度サンプル（Ｙ）のストリームだけを備える残りのデータサンプルは、メモリ４１６内に格納される。メモリ４１６は、上述したように、ＤＦＡ４２５がフィルタリングされたビデオデータをメモリ４１６に格納するときにビデオ画像の構造が維持されるようにマッピングされたメモリである。ある実施形態では、ＲＣ４２０は、フィルタリングされたビデオデータをＩ／Ｏポート４１５を介してネットワークインターフェースカード（ＮＩＣ：ｎｅｔｗｏｒｋ ｉｎｔｅｒｆａｃｅ ｃａｒｄ）４０４に出力し、このネットワークインターフェースカードは、フィルタリングされたビデオデータをネットワーク４０８を介した送信に適応させ、結果として生じる信号をネットワーク４０８を介してモニタ局４５０に送信する。ある実施形態では、ネットワーク４０８は、イーサネット（登録商標）ネットワークおよびＴＣＰ／ＩＰネットワークのうちの１つまたは複数を備える。

ある実施形態では、モニタ局４５０は、ＮＩＣ４５５とＲＣ４６０とを備える。ＮＩＣ４５５は、フィルタリングされたビデオデータ信号をネットワーク４０８から受信し、Ｉ／Ｏポート４６６を介してＲＣ４６０にデータを出力する。ＲＣ４６０は、フィルタリングされたビデオデータを１つまたは複数のメモリ４５６内に格納する。メモリ２１６に関して述べたように、メモリ４５６は、各メモリアドレスが、画像の特定のピクセルに相関する輝度サンプルを含むようにマッピングされたメモリである。

ある実施形態では、ＲＣ４６０は、デジタルフィルタ、ＤＦＢ４６５を実装するように構成される。ＤＦＢ４６５はフィルタアルゴリズムを使用し、このフィルタアルゴリズムは、メモリマッピングされたメモリ４５６内に格納されたデジタル画像を入力し、その画像を、制御シンボルを復元し、それだけに限らないが色および音のうちの１つまたは複数について空白データサンプルを挿入することによってシリアルデジタルビデオ信号としてＩ／Ｏ４６７を介して出力する。ある実施形態では、ＤＦＢ４６５は、メモリマッピングメモリ４５６内に格納された画像を入力し、ＳＤＩ規格信号を、ＴＲＳデータを再構築し、ＣｂおよびＣｒデータサンプルについての、ならびにＳＤＩビデオストリームのブランキング期間のゼロ値データサンプルを挿入することによって出力する。ある実施形態では、ＲＣ４６０はさらに、メモリ４５６内に格納されたビデオ画像フレームに対してデジタル画像強調を実施するためデジタルビデオプロセッサ（ＤＶＰ）４６４を実装するように構成される。ＤＶＰ４６４は、それだけに限らないが、エッジ検出、画像トリミング、画像拡大または他の画像強調など、１つまたは複数の画像強調操作を実施し、処理された画像をメモリ４５６内に格納する。

ある実施形態では、監視システム４００は、ビデオモニタなどの出力装置４９０上の表示のためシリアル・ビデオ・データ・ストリームを、それだけに限らないがＮＴＳＣ信号およびＰＡＬ信号など、１つまたは複数の規格アナログビデオ信号に変換するように構成されたシリアルデジタルビデオ信号変換器（ＳＤＶＳ Ｃｏｎｖ．）４７５を備える。ある実施形態では、監視システム４００は、後の表示および処理のために運ばれるビデオ画像を格納するように適応されたビデオ記憶装置４７０（磁気テープや磁気または光ディスクなど）を含む。ある実施形態では、監視システム４００は、複数の監視局４１０のうちの１つによってキャプチャされた個人の顔の画像を、それだけに限らないが、既知の容疑者、逃亡者またはテロリストなど、関心のある人物の顔画像データベースに相関させるように適応された顔特徴認識システム４７６を含む。

図５は、本発明の一実施形態のデジタルビデオ処理のための方法５００を示すフローチャートである。この方法はまず、ビデオ画像をキャプチャすること（５１０）および画像からシリアルデジタルビデオ信号を生成すること（５２０）を備える。多くの応用例では、標準のシリアルデジタルビデオ信号はしばしば、ビデオ画像を必要とする特定の仕事を完遂するのに必要である以上のデータ（色および音データサンプルなど）を生成し出力する。データを関心のあるデータサンプルへと簡素化するために、次いでこの方法は、シリアルデジタルビデオ信号から色、音、制御シンボルおよび他のデータをフィルタで除去すること（５３０）を備える。ある実施形態では、標準シリアルデジタルビデオ信号をフィルタリングした後、輝度関連のデータだけが残る。簡素化されたビデオデータでは、ビデオ画像に対する所望のデジタルビデオ処理操作の完遂には必要ないデータサンプルを格納し、処理し、送信するのに費やされるコンピュータリソースが減少する。上記で論じたように、データから制御シンボルを削除すると、キャプチャ画像の表現へとデータサンプルを再び組み立てるのに有用である構造情報もがデータから削除される。しかし、この制御信号の必要性は、ビデオフレームをメモリマッピングされたイメージとしてメモリ内に格納すること（５４０）によって取り除かれる。ある実施形態では、それぞれのメモリアドレスは、画像の特定のピクセル位置に相関する。ある実施形態では、各ビデオフレームについての輝度データサンプルは、メモリマッピングされたイメージとして格納される。ある実施形態では、それだけに限らないがエッジ検出、画像トリミング、画像拡大または他の画像フィルタリングなど、１つまたは複数の画像処理操作がビデオ画像に対して実施される（５５０）。本発明の実施形態を用いると、これらの画像処理操作の実施において、メモリマッピングされたイメージデータが操作の実施に必要な情報しか含まないので効率が得られる。処理された画像を１つまたは複数の外部装置に通信するためにある実施形態では、この方法はさらに、デジタル強調されたビデオ画像を第２のシリアルデジタルビデオ信号として出力する（５７０）ため必要に応じて、制御シンボルを復元し、それだけに限らないが色、音のうちの１つまたは複数について空白データサンプル（ゼロ値データサンプルなど）を追加すること（５６０）を備える。ある実施形態では、第２シリアルデジタルビデオ信号は、それだけに限らないがＳＤＩ規格信号などの標準信号である。ある実施形態では、方法５００の１つまたは複数のステップは、参照により本明細書に組み込まれている‘３９４４出願に記載されたものなど、１つまたは複数の再構成可能コンピュータによって実施される。

特定の実施形態について示し、本明細書で述べたが、同じ目的を達成すると見込まれる任意の構成が、示した特定の実施形態の代わりに用いられ得ることが当業者には理解されよう。本出願は、本発明の任意の適応または変形を網羅するものである。したがって、本発明は、特許請求の範囲およびその等価物によって限定されるものにすぎないことが明らかに意図されている。

図１Ａは、本発明の一実施形態の再構成可能コンピュータベースのデジタルビデオ処理システムのブロック図である。図１Ｂは、本発明の一実施形態の再構成可能コンピュータベースのデジタルビデオ処理システムのブロック図である。 本発明の一実施形態の再構成可能コンピュータベースの衛星画像システムを示す図である。 本発明の一実施形態の再構成可能コンピュータベースの衛星画像システムを示す図である。 本発明の一実施形態の再構成可能コンピュータベースの自動宇宙モジュールドッキングシステム用デジタルビデオ処理システムを示す図である。 本発明の一実施形態の再構成可能コンピュータベースの自動宇宙モジュールドッキングシステム用デジタルビデオ処理システムを示す図である。 本発明の一実施形態の再構成可能コンピュータベースのデジタルビデオ監視システムを示す図である。 本発明の一実施形態の再構成可能コンピュータベースのデジタルビデオ監視システムを示す図である。 本発明の一実施形態の再構成可能コンピュータベースのデジタルビデオ監視システムを示す図である。 本発明の一実施形態の方法を示すフローチャートである。

符号の説明

１０２ 画像センサモジュール
１０３ 画像センサ
１０４ 再構成可能コンピュータ／ＲＣ
１２０ デジタルフィルタ／ＤＦＡ
１２４ デジタルビデオプロセッサ／ＤＶＰ
１２６ メモリ
１２８ デジタルフィルタ／ＤＦＢ
２０２ 光センサモジュール
２０３ 光センサ
２０４ デジタルビデオプロセッサ／ＤＶＰ
２１０ 宇宙機
２１４ Ｉ／Ｏインターフェース
２１５ Ｉ／Ｏポート
２１６ メモリ
２１７ Ｉ／Ｏポート
２２０ ＲＣ
２２５ ＤＦＡ
２３０ 送信機
２５０ 受信局
２５５ 受信機
２５６ メモリ
２６０ 再構成可能コンピュータ／ＲＣ
２６５ デジタルフィルタ／ＤＦＢ
２７０ デジタルビデオ記憶装置
２７５ シリアルデジタルビデオ信号変換器／ＳＤＶＳ Ｃｏｎｖ．
２９０ モニタ
３００ 実施形態
３０２ 光センサモジュール
３０３ 光センサ
３０４ ＤＶＰ
３１０ 第１宇宙機モジュール
３１４ Ｉ／Ｏインターフェース
３１５ Ｉ／Ｏポート
３１６ メモリ
３２０ ＲＣ
３２１ データベース
３２５ デジタルフィルタ／ＤＦＡ
３３０ 誘導システム
３４０ 結合装置
３４２ 結合支柱
３４４ 受けプレート
３４５ 機械結合
３５０ 第２宇宙機モジュール
３７０ 宇宙機アセンブリ
４０３ 光センサ
４０４ ネットワークインターフェース／ＮＩＣ
４０５ シリアル・ビデオ・データ・ストリーム変換器／ＳＤＶＳ Ｃｏｎｖ．
４０８ ネットワーク
４１０ 監視局
４１４ Ｉ／Ｏインターフェース
４１５ Ｉ／Ｏポート
４１６ メモリ
４１８ ネットワーク
４２０ ＲＣ
４２５ デジタルフィルタ／ＤＦＡ
４５０ モニタ局
４５５ ＮＩＣ
４５６ メモリ
４６０ ＲＣ
４６４ デジタルビデオプロセッサ／ＤＶＰ
４６５ デジタルフィルタ／ＤＦＢ
４６６ Ｉ／Ｏポート
４６７ Ｉ／Ｏ
４７０ デジタルビデオ記憶装置
４７５ シリアルデジタルビデオ信号変換器／ＳＤＶＳ Ｃｏｎｖ．
４７６ 顔特徴認識装置
４９０ 出力装置
５００ 方法

Claims (10)

1. デジタルビデオ処理システムであって、
   キャプチャされた画像のシリアルデジタルビデオ信号を生成するように適応された１つまたは複数の光センサモジュール１０２と、
   前記１つまたは複数の光センサモジュール１０２に結合されており、前記シリアルデジタルビデオ信号を処理するように構成され、さらに前記シリアルデジタルビデオ信号から色、音および制御シンボルのうちの１つまたは複数に関係するデータを除去するように適応された第１のデジタルフィルタ１２０を実装するように構成され、さらに前記第１デジタルフィルタ１２０によってフィルタリングされた前記シリアルデジタルビデオ信号をメモリマッピングされたイメージとして格納するように適応された１つまたは複数のメモリ１２６を実装するように構成された再構成可能コンピュータ１０４とを備えるシステム。
2. 前記１つまたは複数の光センサモジュール１０２がさらに、
   キャプチャされたビデオ画像をアナログ信号として出力するように適応された光センサ１０３と、
   前記アナログ信号をシリアルデジタルビデオ信号に変換するように適応されたシリアルデジタルビデオ信号変換器４０５とを備える請求項１に記載のシステム。
3. 前記アナログ信号が、ＮＴＳＣ規格アナログ信号およびＰＡＬ規格アナログ信号のうちの１つである請求項２に記載のシステム。
4. 前記シリアルデジタルビデオ信号がＳＤＩ規格信号である請求項２に記載のシステム。
5. 第１デジタルフィルタ１２０がＴＲＳデータ、ＣｂおよびＣｒデータサンプル、ＡＥＳ／ＥＢＵオーディオ・チャネル・データ・サンプル、ならびにＳＤＩビデオストリームのブランキング期間内に格納された情報のうちの１つまたは複数を除去するように適応される請求項４に記載のシステム。
6. 前記再構成可能コンピュータ１０４がさらに、前記１つまたは複数のメモリ１２６内に格納された前記メモリマッピングイメージに対して、デジタルフィルタリング、エッジ検出、画像トリミングおよび画像拡大のうちの１つまたは複数を含む１つまたは複数の画像強調操作を実施するように適応された第２のデジタルフィルタ１２４を実装するように構成される請求項１に記載のシステム。
7. 前記再構成可能コンピュータ１０４がさらに、前記１つまたは複数のメモリ１２６内に格納されたメモリマッピングイメージを入力し、フィルタリングされた前記画像を第２のシリアルデジタルビデオ信号として出力するように適応された第３のデジタルフィルタ１２８を実装するように構成される請求項１に記載のシステム。
8. 前記再構成可能コンピュータ１０４がさらに、ＴＲＳデータを再構築し、ＣｂおよびＣｒデータサンプルについて空白データサンプルを挿入することによってＳＤＩ規格信号を出力するように構成される請求項７に記載のシステム。
9. 前記第２シリアルデジタルビデオ信号を１つまたは複数のアナログビデオ信号に変換するように適応された第２のシリアルデジタルビデオ信号変換器をさらに備える請求項７に記載のシステム。
10. 前記再構成可能コンピュータ１０４がビデオ画像処理のための方法を実施するように適応され、前記方法が、
    １つまたは複数のビデオ画像をキャプチャするステップ５１０と、
    前記１つまたは複数のビデオ画像のシリアルデジタルビデオ信号を生成するステップ５２０と、
    前記シリアルデジタルビデオ信号から色、音および制御シンボルのうちの１つまたは複数をフィルタリングするステップ５３０と、
    前記シリアルデジタルビデオ信号を１つまたは複数のメモリマッピングイメージとして１つまたは複数のメモリ内に格納するステップ５４０と、
    デジタルフィルタリング、エッジ検出、画像トリミングおよび画像拡大のうちの１つまたは複数を含む１つまたは複数の画像処理操作を前記メモリマッピングイメージに対して実施するステップ５５０と、
    制御信号の復元、空白の色データサンプルの挿入、空白の音データサンプルの挿入のうちの１つまたは複数によって、送信された前記メモリマッピングイメージの第２のシリアルデジタルビデオ信号を生成するステップ５６０とを備える請求項１に記載のシステム。

Images