JP2013524662A - 赤外及び可視混合画像 - Google Patents
赤外及び可視混合画像 Download PDFInfo
- Publication number
- JP2013524662A JP2013524662A JP2013503033A JP2013503033A JP2013524662A JP 2013524662 A JP2013524662 A JP 2013524662A JP 2013503033 A JP2013503033 A JP 2013503033A JP 2013503033 A JP2013503033 A JP 2013503033A JP 2013524662 A JP2013524662 A JP 2013524662A
- Authority
- JP
- Japan
- Prior art keywords
- infrared
- input signal
- visible
- image
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 46
- 239000002131 composite material Substances 0.000 claims description 50
- 238000012545 processing Methods 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 15
- 230000004297 night vision Effects 0.000 abstract description 35
- 230000003287 optical effect Effects 0.000 abstract description 26
- 238000003384 imaging method Methods 0.000 abstract description 25
- 238000012549 training Methods 0.000 abstract description 5
- 230000003068 static effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 17
- 230000003595 spectral effect Effects 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 230000004438 eyesight Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 241000338702 Cupido minimus Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000002329 infrared spectrum Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000000422 nocturnal effect Effects 0.000 description 2
- 230000005043 peripheral vision Effects 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 229920000515 polycarbonate Polymers 0.000 description 1
- 239000004417 polycarbonate Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 238000002645 vision therapy Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3102—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
- H04N9/3111—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators for displaying the colours sequentially, e.g. by using sequentially activated light sources
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Color Television Image Signal Generators (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
単一の光学システム及び赤外入力信号及び可視入力信号に基づいた像形成装置を用いて、赤外動画データ及び可視動画データを混合するシステム及び方法が開示される。赤外画像フレームは、完全な可視画像入力フレームあるいは可視画像入力フレームの一部を置換する、即ち1以上の可視画像入力フレームの1以上のカラーチャネルを赤外画像入力フレームで置換する。動画、あるいはコンピュータで生成された動体または静止グラフィックは、赤外画像データと可視画像データの両方を含みうる。可視画像フレーム及び赤外画像フレームは、同一の表示装置において、赤外コンテンツ及び可視コンテンツの双方を表示するために入れ替え方式で表示されうる。システム及び方法は、暗視像形成装置チーム訓練シミュレータの投影システムにおいて、このようなシステムのコストを低減し、使用の容易性及び性能を増大するために用いられうる。
【選択図】図4C
【選択図】図4C
Description
暗視ゴーグル、カメラ、及びその他の像形成装置は、低照度や光がない等の様々な状況で有益である。捜索救助から夜行性の動物の観察及び狩猟に至るまで、暗視像形成装置は、人工照明の使用が実用的ではない、不可能である、あるいはその他の好ましくない状況において、周囲の世界を明らかにする。多くの従来の暗視像形成装置は、近赤外及び/または遠赤外スペクトルの部分を用いることで、温度感知として潜在的に使用されている。
暗視像形成装置の潜在的な温度撮像能力は、捜索救助において配備した場合、非常に有益である。このような状況において暗視像形成装置は、自然災害や他の大災害の犠牲者となった、傷ついた、あるいは意識不明の人や動物の体温を検出するために使用できる。スポットライトのような従来の人工照明を用いて、大規模の事故や災害の犠牲者を探索することも可能であるが、可視光による捜索は暗視像形成装置に可能なような暖かな体の温度特徴を明らかにできないであろう。さらに、従来の人工光源はしばしば外部の赤外光及び熱をシーンに導き、暗視像形成装置の負担になる、あるいは暗視像形成装置を視認不可能にするため、暗視像形成装置の使用している間に人工光源を使用することは好ましくない。
また、動物のような被写体に干渉する、驚かす、あるいは警戒させうるため、人工光の使用が好ましくない状況においては暗視像形成装置が好ましい。例えば、生物学者や動物学者等の科学者は、様々な動物や昆虫の夜行性活動を、人工光による妨害や影響なしに、あるいは観察者の場所を知らせることなく観察したいかもしれない。また狩猟者は、獲物を狩る際にこのような能力が好ましいことを理解するかもしれない。
しかしながら暗視像形成装置が低照度及び光のない状況に用いられることが有益であるために、装置の使用は、ユーザが空間をナビゲートすることを必要とする際、あるいは車やヘリコプター等の乗り物を運転する際に制限されうる。図1に示される暗視ゴーグル100のような一般的な暗視像形成装置は、乗り物の操作を困難あるいは危険にしうる周辺視を、皆無かそれに近くなるように、暗視ゴーグル100のユーザに提供する視野を制限している。暗視像形成装置に時に有利な評価が下される周辺視の欠如は、1人の人間が暗視装置を使用し、他の人間が裸眼あるいは自然視で乗り物やその他の道具をナビゲートまたは運転するような状況において、暗視装置の使用を余儀なくさせうる。
図2A及び2Bは、暗視像形成装置を介して見たシーンと、裸眼で見たシーンの知覚の違いを示している。シーン200a及び200bは同一の空間位置かつ同一時間のものであるが、2つのシーンの違いは、知覚された照明の色、観測可能な詳細のレベル、及び視野における差を含む。例えば、シーン200aは暗視像形成装置を介して見られるシーンを示している。この場合、暗視像形成装置は、領域225aの境界内のシーンの一部に視野が制限されうる、一対の暗視ゴーグルであってよい。図からわかるように、領域225aはシーン200aの全体よりも著しく小さい。しかしながら、視野が狭いことについての代表的なトレードオフは、低照度状況においてユーザに詳細を見せることができる量が増加することにある。例えば、樹木205a及び犬210aは、裸眼で見たシーン200bよりも、一対の暗視ゴーグルを解して見たシーン200aの方がより視認できる。図2Bに示されるように、樹木205及び犬210bは、シーン200bでは夜の闇により略完全に隠されている。シーン200bにおいて見ることができる詳細は、強い可視光のみである。この場合、シーン200a及び200bの各々における月215a及び215bは、両シーンにおいて容易に観測できる。即ち、月215のみが、シーン200b下の観察者が裸眼で詳細を識別可能なものであろう。
このような状況において、暗視ゴーグルの制限は、ユーザが特定の装置を操作したり、乗り物を運転したりすることを不可能にしうることである。暗視ゴーグルのユーザに最大の能力を与えるために、機械の操作や乗り物を運転可能な他のチームメンバーと2人1組にされうる。効率的なチームになるために、チームの暗視担当者と裸眼視担当者は、暗視像形成装置の使用が採用されうる如何なる状況においても、暗視像形成装置を使う為のユニットとして動けるように、練習し、訓練しなければならない。
チームとして動作することを練習するために、多くの手法及び装置が開発されている。このような伝統的な訓練装置の1つが図2Cに示される。図2Cは、スクリーン280上に赤外画像と可視光画像の両方を表示し、かつ2以上のユーザに同時に画像を提示できるシステムを示している。例えば、プロジェクタ250Vはスクリーン280に低照度可視光シーンを投影するために用いられ、同時にプロジェクタ250IRはスクリーン280に赤外画像を投影するために用いられる。説明のために、シーン200a及び200bはスクリーン280上に投影されるシーンであってよい。シーン200a及び200bは、互いの上に本質的に重ね合わされるが、暗視ゴーグルを装着したユーザ270IRはシーン200aの赤外情報を、ユーザ270Vはシーン200bの可視光情報のみを見ることが可能である。このような設置により、ユーザ270IR及び270Vはスクリーン280上に表示され、そして可視光及び赤外スペクトルで投影された2つのシーンにおいて異なる情報を見ることが可能なシーンを用いて、相互作用及び協力する練習が可能である。
このような設置は便利であるが、決して理想的ではない。2つのプロジェクタ250V及び250IRの使用は、2つのプロジェクタが必要となるコストの増加、スクリーン280上に投影された2つの画像の空間配置、2つのプロジェクタの各々に送られる信号の時間配置、及び2つのプロジェクタにおいて2つの分離した像形成装置が用いられる場合に生じる潜在的な可視副作用に限らない多くの問題が存在する。本発明の実施形態の単体及びその組み合わせは、これら及びその他の問題に取り組む。
単一の光学システム及び赤外入力信号及び可視入力信号に基づいた像形成装置を用いて、赤外動画データ及び可視動画データを混合するシステム及び方法が開示される。赤外画像フレームは、完全な可視画像入力フレームあるいは可視画像入力フレームの一部を置換する、即ち1以上の可視画像入力フレームの1以上のカラーチャネルを赤外画像入力フレームで置換する。動画、あるいはコンピュータで生成された動体または静止グラフィックは、赤外画像データと可視画像データの両方を含みうる。可視画像フレーム及び赤外画像フレームは、同一の表示装置において、赤外コンテンツ及び可視コンテンツの双方を表示するために入れ替え方式で表示されうる。システム及び方法は、暗視像形成装置チーム訓練シミュレータの投影システムにおいて、このようなシステムのコストを低減し、使用の容易性及び性能を増大するために用いられうる。
様々な実施形態は、画像処理コンピュータを用いて可視画像データ及び赤外画像データを混合する方法及びシステムを導く。画像処理コンピュータは、第1の可視入力信号、即ち、第1のフレームレートを有する可視の動画またはコンピュータで生成された動体グラフィックと、第1の赤外入力信号、即ち第2のフレームレートを有する赤外動画あるいはコンピュータで生成された動体グラフィックとを受信するように用いられる。そして画像処理コンピュータは、第1の可視光入力信号を、第3のフレームレートを有する第2の可視光入力信号に処理するために用いられうる。第1の赤外入力信号は、第4のフレームレートを有する第2の赤外出力信号に処理されうる。続いて、第2の可視入力信号と第2の赤外入力信号に基づく合成出力信号が生成されうる。
他の実施形態は、画像処理コンピュータが複数のカラーチャネル入力データを有する可視入力信号と赤外入力信号とを受信可能な画像処理コンピュータを用いて、可視画像データと静該画像データを混合する方法を導く。そして画像処理コンピュータは、可視入力信号及び赤外入力信号を、1以上のカラーチャネルのデータを置換した赤外入力信号のデータを含む複数のチャネル出力データを有する混合出力信号に処理するために用いられうる。
さらに他の実施形態は、可視画像データと赤外画像データを混合する画像処理システムを導く。画像処理システムは、可視入力信号と赤外入力信号を受信するように構成された色置換プロセッサを含みうる。画像処理システムは、可視入力信号と赤外入力信号を、可視入力信号に含まれるデータに基づき、かつ可視入力信号のデータを置換する赤外入力信号データを有する合成出力信号に処理するように構成されてもよい。画像処理システムは色置換プロセッサに接続された画像プロセッサを有していてもよい。色置換プロセッサは合成出力信号を受信し、該合成出力信号を複数の連続した可視及び赤外カラーチャネルフレームに処理するように構成されてもよい。また色置換プロセッサは、像形成装置に同期して複数の可視光源及び赤外光源を動作させる光源シーケンサを制御するように構成されてもよい。
本発明の実施形態の本質及び利点の良好な理解は、以下の詳細な説明及び添付の図面を参照して得られうる。
多くの状況において、暗視像形成装置の使用は、チームの1人のメンバーが暗視像形成装置を使用またはモニタし、チームの他のメンバーが裸眼視での装置や乗り物の操作に伝えられる情報を受信する、2人以上のチームにおいてしばしば生じる。暗視像形成装置及び裸眼視を用いるチームの有効性を強化するために必要な能力のマスターは、練習及び訓練を必要とする。現実世界における練習の危険性及び不測の事態を回避するために、チームは相互作用可能な赤外及び可視をシミュレートしたシナリオを表示するシミュレータを用いて練習可能である。このようなシミュレータの1つが図2Cに示される。
図2Cに示されるような従来の赤外/可視シミュレータは、時間的及び空間的な配置問題や、2つの別々の像形成装置やプロジェクタを用いるコストが増大すること等の様々な欠点の影響を受けていた。本発明の実施形態は、1つの光学システムを有する1つの像形成装置を用いて、赤外及び可視画像を混合するシステム及び方法を提供することにより、これらの、またはその他の問題、即ち2つの投影システムに関するコスト低減、配置、及びタイミングの問題に対処する。
図3は、本発明の様々な実施形態で用いられうる色合成光学システムを示している。光学システム300は、異なるスペクトル出力を有するいくつかの異なる光源で像形成装置を照射することにより可視画像及び赤外画像を提供するために用いられる。該光学システム300の設置は、動体部が少ないか全くない可視及び赤外の静止画像及び動画像を提供する単一の像形成装置を用いるための利便的な方法を与える。
光学システム300は、3つの可視光源及び1つの赤外光源を有しうる。各光源は順番に起動され、像を生成する光を操作し、そして投影レンズ340を用いてスクリーン250に投影や表示を行う像形成装置を照射しうる。例えば、赤色光源311、緑色光源313、及び青色光源317は、順番に、かつ像形成装置335の動作に連携して起動されうる。像形成装置335は、像を生成するために、反射、偏光状態の変更、あるいは透過の制限により、光源からの光を操作するように動作されうる。光源が順番あるいは計画的に起動されるように、像形成装置335は完全な画像の正確なカラーチャネルを生成するように素早く構成されうる。このような設置において、光学システム300は可視範囲においてカラー画像を生成するように色を混合する人間の視覚の知覚を頼っている。赤外光源315の追加は、投影像において赤外画像データを含めるために、赤外光を光学システム300に投入する。
光源動作のために1つの考えられるシーケンスは、パス346に沿って像形成装置335に光を反射するビームスプリットプリズム330に対し、xプリズム310を介するパス312に沿って赤色光を送出するように、赤色光源311を起動して開始されうる。そして像形成装置335は、プリズム330を介して投影レンズ340に至るパス338に沿って、像の赤領域を選択的にスクリーン350に反射する。いくつかの実施形態において、像の反射は反射光の偏光を、ビームスプリットプリズム330の通過に相性の良い方位に偏光する。この場合、ビームスプリットプリズム330は偏光ビームスプリットプリズムとなりうる。赤色光源311は起動された後、停止され、緑色光源313が起動されうる。そして緑色光源313は、赤外反射プリズム320を介するパス314に沿って、xプリズム310に緑色光を送出する。このとき、緑色光はビームスプリットプリズム330で反射される。ビームスプリットプリズムからは緑色光は、パス336に沿って画像の緑成分を選択的に送出し、ビームスプリットプリズム330を介してパス338に沿って、スクリーン350上に像を投影しうる投影レンズに送出する像形成装置335を照射しうる。
次に緑色光源331が停止された後、青色光源317が起動され、ビームスプリットプリズム330に向かって光を反射し、最終的にスクリーン350に投影される赤色光及び緑色光と同じように像形成装置335に光を至らせるxプリズム310に、パス318に沿って青色光を送出する。前述した光路及び像形成ステップは、人間の視覚知覚を利用して、単一のフルカラー静止画像や動画像内でカラーチャネルが混合されるように、非常に高速に繰り返されうる。
最終的に、赤外光が好ましい実施形態においては、赤外光源315は、パス316に沿って、xプリズム310に光を反射する赤外反射プリズム320が赤外光を送出するように起動されうる。xプリズム310からは赤外光は、パス336に沿ってビームスプリットプリズム330に入射して像形成装置335に至り、そしてパス338に沿ってスクリーン350に赤外像を投影する投影レンズ340に入射するように反射されうる。
光源311、313、315、及び317の動作のタイミングは、像形成装置335を駆動する画像信号に応じた像形成装置335の動作に連携しうる。具体的には光源及び像形成装置の動作は、単一の静止画像や、動画像を生成する一連の画像を表示するように、非常に高速に繰り返されうる。上述の例の動作の順序は例示を意図しており、光学システム300の使用についての完全な開示としてとられるべきではない。さらに、光学システム300の配置は例示でしかない。色混合光学システムの多くの他の配置が、本発明の様々な他の実施形態で用いられてよい。
光学システム300において、xプリズム310、赤外反射プリズム320、及びビームスプリットプリズム330は、可視から赤外までを可能な限り少なく併合する透過光に適した光学材料で形成されうる。このような光学材料はガラス、ポリカーボネート、及び様々なレベルの添加剤を有するアクリル素子を含みうるが、これに限られるものではない。いくつかの実施形態では、屈折、分散、複屈折、及び他の光学特性の指針が全ての光源311、313、315、及び317からの光を像形成装置335に透過及び反射するために選択され、投影レンズ340は所望の画質を生成しうる。光源311、313、315、及び317は、像形成装置及び光学システム300の残りの素子が高品質な像を生成するために要求する赤、緑、青、及び赤外領域における光の好適形状のスペクトル出力を提供することに適した如何なる光源であってよい。いくつかの実施形態では、光源は、統合されたコリメート光学を有する、または有さないLEDであってよい。像形成装置335は、所望のレスポンス時間、解像度、及びアスペクト比について選択されうる。像形成装置は、LCD像形成装置、LCOS像形成装置、あるいはTexas Instruments DLP(登録商標)のような光処理像形成装置であってよい。
図4Aは、可視入力信号及び赤外入力信号が分離されて含まれる、赤外及び可視画像データを混合するシステム400のブロック図である。システム400は、可視信号受信機401、赤外信号受信機405、画像プロセッサ407、像形成装置フォーマッタ、及び像形成装置413を含みうるが、これに限られるものではない。いくつかの実施形態において、システム400のモジュールは、適当にフィールドプログラム可能なゲートアレイやASICを有する単一のプリント回路基板に組み込まれてもよい。他の実施形態では、システム400のモジュールは、プロセッサ、メモリ及びあらゆる必要な記憶装置を有する汎用コンピュータにおいて実行されるソフトウェアを用いて達成されてもよい。システム400の様々なモジュールは、集積回路、ソフトウェアモジュール、あるいはそれらの組み合わせとして実現されてもよい。ここで用いられるように、混合するとの文言は、赤外画像データと可視画像データあらゆる方法で混ぜる、あるいは組み合わせることを指す。赤外画像信号とカラー画像信号の混合は、信号のフレームを交互配置すること、即ち同一あるいはより高いフレームレートにおいて、順番に赤外フレームと可視フレームを交代することを含んでもよい。さらに混合は、赤外画像データでカラー画像信号フレームの1以上のカラーチャネルを置換することを含んでもよい。
可視信号受信機401は、ステップ10において可視入力信号を受信しうる。同様に、赤外信号受信機405は、ステップ20において赤外入力信号を受信しうる。可視入力信号及び赤外入力信号は、並行して、あるいは順番に受信されてもよい。可視入力信号と赤外入力信号は、高品質で強力な可視画像の送信に適した、DVI、VGA、あるいは他のデジタルまたはアナログ画像信号であってよい。可視信号受信機401及び赤外信号受信機405が可視入力信号及び赤外入力信号を受信すると、各受信機は入力信号を画像プロセッサ407に送出しうる。
画像プロセッサ407は、1以上のフレームレートにおいて、可視入力信号と赤外入力信号を受信し、より高いフレームレートに信号を処理する。例えば、可視入力信号と可視入力信号は、可視信号受信機及び赤外信号受信機に対して60Hzで送り込まれ、画像プロセッサ407は、赤外信号入力及び可視信号入力の各々のフレームレートを、2倍の120Hzにしうる。いくつかの実施形態において、可視入力信号及び赤外入力信号から得られるフレームは、フレームレートの増加を促進するように、画像プロセッサ407のバッファに送り込まれる。このような実施形態では、バッファは画像プロセッサに1つの入力信号のフレームレートを増加させ、他方をバッファに保持する。以下の例では画像プロセッサ407は入力信号のフレームレートを2倍にするものとして説明されるが、本発明の様々な他の実施形態は、より高いまたはより低いフレームレートを有する可視入力信号及び赤外入力信号を許容し、各信号のフレームレートを同一か異なる量に増加させる。
可視信号及び赤外信号のフレームレートを2倍にするために、画像プロセッサ407は入力信号における各フレームのデュレーションを半分に減らす。また、画像プロセッサ407内のバッファは、フレームレートを2倍にすることを容易にするために有用である。処理された可視入力信号及び赤外入力信号の各フレームのデュレーションが入力信号のフレームのデュレーションの半分だけになると、処理された可視入力信号及び処理された赤外入力信号のフレームは、可視画像データ及び赤外画像データを有する合成出力信号を交互に生成しうる。合成出力信号の60Hzの各々は、ハーフデュレーションの可視フレームとハーフデュレーションの赤外フレームとを組み合わせうる。いくつかの実施形態では、低減されたデュレーションのフレームは、更なる処理や転送を待機している他のバッファに送り込まれうる。あるいは、合成出力信号は混合された可視と赤外の画像を有する120Hzの信号と直ちにみなされてもよい。
そして画像プロセッサ407は、半分が可視データかつ半分が赤外データを有するフレームで構成された、連続する赤外/可視出力信号を、像形成装置フォーマッタ411に送出しうる。像形成装置フォーマッタ装置411は、合成出力信号を像形成装置413及び可視光源及び赤外光源(不図示)に送信される、適切な電圧、制御及びタイミング信号にフォーマットする。制御及びタイミング信号は、赤外光源及び可視光源を像形成装置413の動作に同期して動作させるための一致及び時間同期信号を含んでもよい。そして制御信号はステップ60で像形成装置413に送信される。
さらに他の実施形態では、画像プロセッサ407は画像入力信号、または既に混合された赤外及び可視画像データを有する合成入力信号を受信しうる。このような実施形態において、合成画像信号は、画像プロセッサ407とは別のコンピュータにより生成される、あるいはDVD、CD、ビデオテープ、コンピュータファイル等の、予め記録された、または他の格納されたビデオファイルにより提供されうる。画像入力信号が既に赤外及び可視画像信号を組み合わせたものである実施形態において、画像プロセッサ407は、光学システム300のような光学システムを用いて所望の出力を生成する像形成装置及び光源を動作させるための必要な情報を抽出する信号を処理してもよい。画像プロセッサは、合成画像信号を元々のフレームレートで表示する、あるいは出力画像の所望の使用に応じてフレームレートを増加あるいは減少させるように、合成画像信号を処理しうる。例えば、120Hzの合成入力信号は、120Hzで表示される、あるいは適当な処理で60Hzに低下させられてよい。
図4Bは、本発明の様々な実施形態に係る光学システム400についての方法470のフローチャートである。方法は、システム400が可視及び赤外入力信号または他の開始信号を受信することにより、起動あるいは初期化されるステップ471で開始する。そしてシステム400は、ステップ472において可視入力信号及び赤外入力信号を受信する。いくつかの実施形態において、2つの入力信号はシステムに適合された入力信号に応じて、並行または順番に受信されうる。次に、赤外入力信号及び可視入力信号から得られるフレームは、例えば画像プロセッサ407により、ステップ473において合成出力信号に入れ替えられる。合成出力信号は、上述したような可視及び赤外入力信号よりも高いフレームレートを有しうる。ステップ474において、タイミング信号は合成出力信号に基づいて生成されうる。タイミング信号は、像形成装置と可視光源及び赤外光源の他にも像形成装置を動作させるための情報及び制御信号を含む。合成出力信号及びタイミング信号は、光源制御回路及び像形成装置の要求に応じて、デジタルまたはアナログ信号であってよい。
ステップ475において、合成出力信号は像形成装置、あるいは像形成装置が要求する適切な電圧及び信号形状に合成出力信号をフォーマットする像形成装置回路またはフォーマッタに送信されうる。ステップ476においてタイミング信号は像形成装置の動作に同期して可視光源及び赤外光源を動作させるシーケンサに送信されうる。上述したように、像形成装置413は透過または反射LCDマイクロディスプレイ、LCOSマイクロディスプレイ、あるいはTexas instruments DLPチップのような光処理エンジン等の適当な光処理モジュールっであってよい。そして方法470は、あらたな可視入力信号及び赤外入力信号について繰り返す、あるいはステップ477において処理が完了してもよい。
図4Cの図形480は、本発明の一実施形態に係る画像プロセッサにより受信され、生成された可視入力信号、赤外入力信号、及び合成出力信号のタイミング図である。図示されるように、可視入力信号及び赤外入力信号は、他方のフレームと合致する順次的な対応フレームと等しいまたは同等のフレームレートを有しうる。例えば、可視入力フレームと赤外入力フレームとは、全て同一の時間において開始及び終了し、同一のフレームレートを有しうる。また、可視入力信号と赤外入力信号とは、同一のフレームレートを有するが、他方とは同期しないものであってもよい。
このような実施形態において、画像プロセッサは可視入力信号及び赤外入力信号を同期するように用いられるが、これらの同期は常に必要なものでなくてもよい。可視入力信号と赤外入力信号を組み合わせるために、画像プロセッサは各入力信号のフレームレートを増加させうる。タイミング図480に例示されるように、可視入力信号と赤外入力信号のフレームレートは、2つの要素によりおよそ増加され、合成出力信号に交互に組み合わされうる。フレームの順番及びフレームの一致が可能である場合、可視入力信号及び赤外入力信号は同期されなくてもよい。
図示されるように、合成出力信号は可視フレームVLF0で開始し、その後ろに赤外入力フレームIRF1、及びさらにその後ろに可視入力フレーム他の可視フレームVLF1が続く。可視入力信号及び赤外入力信号から得られるフレームは、可視入力信号及び赤外入力信号についてデータが存在するように、合成出力信号において交互に繰り返される。他の実施形態では、赤外フレームを有する合成出力信号を開始することも可能である。
図4Dに示される図形490は、赤外可視合成表示画像を生成するために、可視光源及び赤外光源の調整あるいは制御に用いられるタイミング信号のタイミング図である。図示されるように、第1の可視フレームは3つの可視光源についてのパルス光を含みうる。この特定の例では、可視光源は適切に形成された出力スペクトルを有する赤、緑、及び青色のLED光源であってよい。赤、緑、及び青色のLED光源の特定の出力スペクトルは、あらゆるペクトルを形成する干渉フィルタ、あるいは光源の混合用及び最終画像の投影用の特定の光学的な流れにおいて用いられる反射器と同様に用いられる、像形成装置のスペクトル感度を含む多くの要素に依存してもよい。
第1の可視フレーム及び合成可視出力信号は、赤、緑、及び青成分についての情報を含みうる。このような場合、各可視光源は像形成装置の動作に一致して順番に起動される必要がある。第1の可視フレームVLF1は、第1の赤画像情報、緑画像情報、及び青画像情報を有し、赤、緑、及び青色LEDが合成出力信号によって制御される像形成装置に一致して起動される必要がある、3つの時間フレームにさらに分割する情報を有する。
次に、赤外ダイオードあるいは他の赤外光源は、合成出力信号の第1の赤外フレームIRF1が像形成装置の動作に用いられる際に起動されうる。この場合、像形成装置がIRF1に含まれる合成出力信号の赤外部を反射及び透過するように、赤外光は像形成装置を照射しうる。合成出力信号は可視画像フレームの赤外画像フレームによる置換を含むため、処理は画像品質、ユーザの能力、及び本発明の様々な実施形態に係るトレーニングシステム、装置、及び方法で用いられうる暗視装置の能力に適したフレームレートで繰り返す。
図5Aは本実施形態の様々な実施形態に係る可視画像及び赤外画像を混合するシステム500を示している。システム500は、可視入力画像の1つのカラーチャネルを、赤外入力信号から得られた赤外画像データで置換するように用いられうる。システム400と同様に、システム500はステップ15において可視信号受信機501を用いて可視入力信号を受信し、ステップ25において赤外信号受信機505を用いて赤外入力信号を受信する。可視入力信号及び赤外入力信号は、可視入力信号源及び赤外入力信号源の能力、及びその他の要因に応じて、並行して、あるいは順番に受信されうる。
可視入力信号及び赤外入力信号がシステム500で受信されると、可視信号受信機501はステップ35において、可視入力信号をFPGA507あるいは他の色置換プロセッサに通してもよい。同様に、赤外信号受信機505はステップ45において、赤外入力信号をFPGA507に通しうる。いくつかの実施形態では可視信号受信機501及び赤外信号受信機505は並行して、あるいは順番にFPGA507と通信してもよい。いくつかの実施形態ではFPGA507は、赤外入力信号から得られた赤外画像データでの可視入力信号の1つのカラーチャネルの置換に適したASICや他の専用回路であってもよい。他の実施形態では、画像プロセッサ509が色置換を実行してもよい。
FPGA507は、赤外入力信号から得られるフレームで、可視入力信号の1以上のフレームの1以上のカラーチャネルを置換する動作を含む、しかしこれに限られるものではない、色置換機能を実行してもよい。例えば、可視入力信号は赤、緑、及び青色チャネルのような3つのカラーチャネルを有していてもよい。FPGA507は、例えば青色のような1つのカラーチャネルを、対応するフレームの赤外入力信号から得られた画像データで置き換えてもよい。
特定のカラーチャネルの置き換えは、FPGA507や画像プロセッサにより決定され、及び/または周期的配置に基づいて決定される、あるいは可視入力信号の特定のフレームのカラーコンテンツにより決定されてもよい。例えば、可視入力信号における特定のフレームは、非常にわずかな青色チャネル情報を有しており、FPGA507は赤外入力信号の対応フレームから得られる赤外情報で置換されるべきである青色チャネルを決定するように構成されてもよい。この方法では、可視入力信号の最小量の情報が赤外入力信号から得られる情報で置換されるため、可視画像データにおける知覚可能な最小限の違いが生成される。FPGA507はステップ55において、可視入力信号の1以上のカラーチャネルを、赤外入力信号から得られる情報で置換するように、入力される可視入力信号及び赤外入力信号を、合成画像信号に連続的に処理可能である。
FPGA507は、ステップ55において画像プロセッサ509に対して合成画像信号を送信しうる。画像プロセッサ509は、置換出力信号を画像入力信号に表現する、あるいは同期データを抽出するように、合成画像信号を処理しうる。そして画像プロセッサ509は、ステップ75において合成画像信号を像形成装置フォーマッタ510に送信しうる。また画像プロセッサ509は、像形成装置513の動作と赤色光源520、緑色光源530、青色光源540、及び赤外光源550の動作を同期するために、同期データをFPGA511に送信しうる。いくつかの実施形態では、画像プロセッサ509はステップ75において、合成画像信号を像形成装置フォーマッタ510に送信してもよい。さらに像形成装置フォーマッタ510は、ステップ77において、合成画像信号を像形成装置513の動作に適した信号に処理しうる。他の実施形態において、像形成装置フォーマッタ510は省略され、画像プロセッサ509が直接像形成装置513に合成画像信号を送信してもよい。
画像プロセッサ509は、像形成装置513に直接的あるいは間接的に合成画像信号を送信し、像形成装置513の動作に一致して適切な光源を起動するために、同期データをFPGA511に送信しうる。例えば、像形成装置513は、赤色チャネル、緑色チャネル、青色チャネル、あるいは1つの可視入力信号チャネルを置換した赤外データを表示するように構成され、適切な光源は像形成装置513を照射するように起動されうる。
図5Bは、赤外画像データで可視入力画像の1以上のカラーチャネルを置換することにより、可視画像データと赤外画像データとを混合する方法570を示している。方法は、ステップ571において適切な起動メッセージにより開始する。ステップ572で、可視入力信号及び赤外入力信号は受信されうる。可視入力信号及び赤外入力信号は、並行して、あるいは順番に受信されうる。可視入力信号及び赤外入力信号が受信されると、赤外入力信号から得られるフレームはステップ573において、合成画像信号を生成するために可視入力信号の1以上のカラーチャネルを置換する。さらに合成画像信号の生成では、合成画像信号に基づくタイミング信号がステップ574において生成されうる。タイミング信号は、像形成装置に一致して可視光源及び赤外光源の動作を同期するために、FPGA511のような1以上の制御回路を制御するために用いられる。
ステップ575において、合成画像信号により制御される像形成装置に同調して可視光源及び赤外光源を動作させるために、合成画像信号は像形成装置に送信され、タイミング信号はFPGA511のようなシーケンサに送信されうる。ステップ572、573、574、575、及び576は、全ての可視入力信号及び赤外入力信号が処理されるまで繰り返されうる。最終的に方法572は、ステップ577で終了する。
図5Cは、可視入力信号、赤外入力信号、及び赤外入力信号データが可視入力信号データの1以上のカラーチャネルを置換する、結果としての合成画像信号のコンテンツ及び/またはフレームを比較するタイミング図580を示している。図示されるように、可視入力信号は赤、緑、及び青(RGB)のカラーチャネルを有する多数のフレームを含みうる。ここで、タイミング図580におけるフレームRGB1F1、RGB1F2、RGB1F3、及びRGB1F4は、可視入力信号のサンプルとして示される。タイミング図580におけるフレームI1F1、I1F2、I1F3、及びI1F4は、赤外入力信号のサンプルとして示される。本発明の一実施形態によれば、赤外入力信号におけるフレームから得られる情報は、サンプルフレームRGB0F1、IGB1F1、RIB1F2、及びRGI1F3として示される合成画像信号を生成するために、可視入力信号の1つのカラーチャネルを置換する。本例では、1つのフレームから得られる赤外画像データは、対応する可視入力信号フレームのカラーチャネルに順番に挿入される。
図示されるように、赤外入力信号の第1のフレームはまず、可視入力信号の第1のフレームの赤色チャネルに挿入される、あるいは赤色チャネルを置換する。合成出力信号の第2のフレームは、可視入力信号の第2のフレームの緑のチャネルを置換した赤外入力信号の第2のフレームを含む。そして、合成画像信号の第3のフレームは、可視入力信号の第3のフレームの青色チャネルを置換した赤外入力信号の第3のフレームを含む。
いくつかの実施形態において、処理は可視入力信号及び赤外入力信号の長さの分だけ繰り返されてよい。他の実施形態では、時々、全ての可視入力信号フレームは赤外入力情報に置換されることなく合成画像信号のフレームとして示されてもよい。この例は、合成画像信号の第1のフレームが、可視入力信号の第1のフレームの赤、緑、及び青色のチャネルRGB1F0を含むフレーム0において示される。
他の実施形態において、赤外入力信号フレームが置換される特定のフレーム及び可視入力信号のカラーチャネルは、可視入力信号の特定のフレームに含まれる画像情報に依存しうる。例えば、個々の入力信号の特定のフレームは、緑色チャネルの情報のみを有していてもよく、該緑色チャネル情報が対応フレームの赤外情報で置き換えられることは不都合である。このようにすると、フレームは裸眼で見ることはできないことになる。一方、画像入力信号の特定のフレームにおいて、ほとんど青色チャネルデータがない場合、対応フレームの赤外画像データで青色チャネルを置換することは、可視入力信号画像に対してもたらす変化は小さいだろう。
図5Dは、合成画像データのフレームに含まれるタイミング情報と、赤色光源、緑色光源、青色光源、及び赤外光源の動作とを比較するタイミング図590である。この特定の例では、可視光源は赤色LED、緑色LED、及び青色LEDであってよく、赤外光源は赤外ダイオードであってよい。スペクトル形成フィルタ及び反射器を有する光学的な流れについて、十分な応答時間を有する好適な形状のスペクトル出力を提供するのであれば、他の光源が用いられてもよい。
合成画像信号の第1のフレームRGB1F0は、可視画像データのみを有するため、可視光源のみが像形成装置を照射するために必要となるだろう。赤色LED、緑色LED、及び青色LECはフレームRGB0F0のデータについて、像形成装置の動作に同期して順番に起動されうる。シーケンスでは、カラーチャネルはLEDのあらゆるシーケンス及び像形成装置カラーチャネルデータを有しうる。例えば、図5Dにおける図形590のフレームRGB1F0は、赤色LEDが起動され、赤色チャネルデータがまず像形成装置に送信され、続いて緑色チャネル、そして青色チャネルが送信される。他の実施形態において、緑が最初で、他の2つのカラーチャネルが順番に続いてもよい。
合成画像信号の次のフレームIGB1F1は、直前の赤色チャネル画像データを置換した赤外画像データを含みうる。このように、赤外ダイオードは赤色LEDに代わって起動され、フレームの赤外画像データは合成画像信号が抽出された可視入力信号から得られる赤色チャネル画像データの代わりに像形成装置に送信されうる。そして合成画像信号が抽出される方式に依れば、次のフレームは可視入力信号のカラーチャネルの他の1つを置換した赤外入力信号から得られる赤外画像データを有しうる。図5Dに示される例では、次のフレームRIB1F2では、赤外画像データは緑色チャネルを置換しうる。従って、赤外ダイオードは像形成装置に送信される合成画像信号から得られる赤外画像データに同期して、緑色LEDに代わって起動されうる。そして例の最終フレームRGI1F3は、青色チャネルを置換し、像形成装置に送信される可視画像データ及び赤外画像データに同期して、赤、緑及び赤外ダイオードの動作に対応する赤外画像データを示している。
図6は、本発明の様算な実施形態に係る様々な機能及びステップを実現するコンピュータ読み取り可能なコードを実行するように構成された一般的なコンピュータシステム600のブロック図である。
システム600は、本発明を具体化可能なコンピュータシステムの見本である。コンピュータシステムは、画像プロセッサ407、像形成装置フォーマッタ411、画像プロセッサ509、像形成装置フォーマッタ510、及び上述した対応する可視光信号受信機及び赤外信号受信機を含む、図4A及び5Bの要素のいずれであってもよい。多くの他のハードウェア及びソフトウェア構成が本発明の使用に適していることは、本発明の技術分野に属する当業者にとって容易に理解されよう。例えば、コンピュータは、デスクトップ型、携帯型、ラックマウント型、あるいはタブレット構成であってもよい。またコンピュータは一続きのネットワークコンピュータであってもよい。さらに、Xeon(登録商標)、Pentium(登録商標)、Core(登録商標)マイクロプロセッサや、Advanced Micro Devices, IncのTurion(登録商標)64、Opteron(登録商標)Athlon(登録商標)マイクロプロセッサ等の他のマイクロプロセッサの使用が考慮される。さらに、Microsoft CorporationのWindows(登録商標)、WindowsXP(登録商標)、WindowsNT(登録商標)や、Sun MicrosystemsのSolaris(登録商標)や、LINUX(登録商標)、UNIX(登録商標)等の他の種類のオペレーティングシステムが考慮される。さらに他の実施形態では、上述した技術はチップや補助処理基板上に実装されてもよい。様々な実施形態が、daVinci、Pandora、Silicon Colorや他のベンダーにより提供されるシステムに基づいていてもよい。
一実施形態において、コンピュータシステム600は一般的に、ディスプレイ610、コンピュータ620、キーボード630、ユーザ入力装置640、通信あるいはネットワークインタフェース650等を有する。いくつかの実施形態では、ディスプレイ(モニタ)610はCRTディスプレイ、LCDディスプレイ、プラズマディスプレイ、直接投射あるいは背面投射DLP、マイクロディスプレイ等として具体化されうる。様々な実施形態では、ディスプレイ610はユーザインタフェース及び描画された画像を表示するために用いられてよい。
様々な実施形態において、ユーザ入力装置640は一般的に、コンピュータマウス、トラックボール、トラックパッド、ジョイスティック、無線遠隔装置、描画タブレット、音声命令システム等として具体化される。ユーザ入力装置640は一般に、ボタンのクリック等のような命令を介してディスプレイ610に出現する、ユーザが選択可能なオブジェクト、アイコン、テキスト等である。磁気ストライプ、RFID送受信機、あるいはスマートカードリーダのような追加の専門ユーザ入力装置645が様々な実施形態において提供されてもよい。他の実施形態において、ユーザ入力装置645は追加のコンピュータシステムディスプレイ(例えばマルチモニタ)を有する。さらに、ユーザ入力装置645は、このようなディスプレイ上に1以上のグラフィカルユーザインタフェースとして実現されてもよい。
コンピュータインタフェース650の実施形態は、一般的にイーサネット(登録商標)カード、モデム(電話、衛星、ケーブル、ISDN)、(非同期)デジタル加入者回線(DSL)ユニット、FireWireインタフェース、USBインタフェース等を含む。例えば、コンピュータインタフェース650は、コンピュータネットワーク、FireWireバス等に連結されてもよい。他の実施形態において、コンピュータインタフェース650は、ソフトDSL等のソフトウェアプログラムであってよいコンピュータのマザーボード620条に物理的に結合されてよい。
RAM670及びディスクドライブ680の例は、ユーザ、アカウント、及びトランザクションレベルデータ、計算された集合データ、スーパーキー、サブキー、その他の実行可能なコンピュータコード、人間が読み取り可能なコード等のようなデータを格納するコンピュータ読み取り可能なタンジブル記録媒体である。タンジブル記録媒体の他の種類は、フロッピー(登録商標)ディスク、ネットワークハードディスク、あるいは書き換え可能なハードディスクのような磁気記録媒体や、CD−ROM、DVD、ホログラムメモリ、バーコード等の光学記録媒体や、フラッシュメモリ、読み取り専用メモリ(ROM)のような半導体記録媒体や、バッテリ装着型揮発性メモリや、ネットワーク記録装置等を含む。
本実施形態において、コンピュータシステム600は、HTTP、TCP/IP、RTP/RTSPプロトコルのようなネットワークを介した通信が可能なソフトウェアを有していてもよい。本発明の代替的な実施形態では、例えばIPX、UDP等の他の通信ソフトウェアおよび転送プロトコルが用いられてもよい。
様々な実施形態において、一般にコンピュータ620はプロセッサ660、ランダムアクセスメモリ(RAM)670のようなメモリ記録装置、ディスクドライブ680、及び上述の構成要素を相互接続するシステムバス690等の通常のコンピュータ部品を有する。
いくつかの実施形態において、コンピュータ600は1以上のIntelのXeonマイクロプロセッサを有する。さらに本実施形態では、コンピュータ620は一般的にUNIXベースのオペレーティングシステムを有する。
上述した本発明の実施形態が、モジュールや統合された方式で、コンピュータソフトウェアを用いる制御ロジックの形で実装されてもよいことは理解されるべきである。ここに提供された開示及び教示の双方に基づいて、同一の技術分野に属する当業者は、ハードウェア及びハードウェアとソフトウェアの組み合わせを用いて、本発明を実現する他の手段及び/または方法を知り、理解するであろう。
本明細書に記載されたあらゆるソフトウェア部品あるいは機能は、例えば従来のまたはオブジェクト指向技術を用いるJava(登録商標)、C++、Perl等の適切なあらゆるコンピュータ言語を用いた、プロセッサにより実行されるソフトウェアコードとして実装されてもよい。ソフトウェアコードは、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、ハードドライブやフロッピーディスク等の磁気記録媒体、あるいはCD−ROMのような光学記録媒体等のコンピュータ読み取り可能な記録媒体に、一連の指示や命令として記録されてよい。このようなあらゆるコンピュータ読み取り可能な記録媒体は、単一の計算装置上または内に備えられてもよいし、システムやネットワーク内の様々な計算装置上または内にあってもよい。
上の記載は、例示であり、制限するものではない。発明の多くの変形は、開示のレビューにより当業者にとって容易になるだろう。故に、発明の範囲は上の記載を参照することなく決定されるべきであるが、全ての範囲または相当物に加えて、審理中の請求項を参照することにより決定されるべきである。
あらゆる実施形態から得られる1以上の特性は、発明の範囲を逸脱することなく、他の実施形態の1以上の特性を有する第2のフレームであってもよい。
「a」、「an」、あるいは「the」との記述は、反対に特定の記述がない限り、「1以上」を意味することを目的とする。
Claims (17)
- 画像処理コンピュータを用いて可視画像データと赤外画像データとを混合する方法であって、
前記画像処理コンピュータのプロセッサを用いて第1のフレームレートを有する第1の可視入力信号と、前記第1のフレームレートと等しい第2のフレームレートを有する第1の赤外入力信号とを受信する工程と、
前記プロセッサを用いて、前記第1の可視入力信号を第3のフレームレートを有する第2の可視入力信号に処理する工程と、
前記プロセッサを用いて、前記第1の赤外入力信号を前記第3のフレームレートと等しい第4のフレームレートを有する第2の赤外入力信号に処理する工程と、
前記プロセッサを用いて前記第2の可視入力信号及び前記第2の赤外入力信号のフレームを混合することにより合成出力信号を生成する工程と、
前記画像処理コンピュータから像形成装置に前記合成出力信号を送信する工程と、
前記像形成装置において前記第2の可視入力信号のフレームと同期して、1以上の可視光源を動作させる工程と、
前記像形成装置において前記第2の赤外入力信号のフレームと同期して赤外光源を動作させる工程と、を有する
ことを特徴とする方法。 - 前記合成出力信号を生成する工程は、第5のフレームレートで、前記第2の可視入力信号から得られた画像データと、前記第2の赤外入力信号から得られた画像データとを交互に出力する工程を有することを特徴とする請求項1に記載の方法。
- 前記合成出力信号に基づいてタイミング信号を生成する工程と、
前記光源に前記タイミング信号を送信する工程と、をさらに有する
ことを特徴とする請求項1に記載の方法。 - 画像処理コンピュータを用いて可視画像データと赤外画像データとを混合する方法であって、
各フレームが複数のカラーチャネルを有する可視入力信号を受信する工程ように前記画像処理コンピュータを使用する工程と、
赤外光源に同期して赤外画像を表示するための赤外入力信号を受信するように前記画像処理コンピュータを使用する工程と、
前記可視入力信号及び前記赤外入力信号を、複数のチャネル出力データを有する合成出力信号に処理するように前記画像処理コンピュータを使用する工程と、を有し、
前記複数のチャネル出力データは、複数のフレームの各々について、前記可視入力信号の前記複数のカラーチャネルのうちの1つのデータから得られたデータを置換した、前記赤外入力信号から得られたデータを含む
ことを特徴とする方法。 - 前記複数のカラーチャネルは、赤色チャネル、緑色チャネル、及び青色チャネルを有し、
前記赤外入力信号から得られたデータは、前記赤色チャネル、前記緑色チャネル、または前記青色チャネルを順番に置換する
ことを特徴とする請求項4に記載の方法。 - 前記赤外入力信号から得られたデータは、周期の中で順番に置換することを特徴とする請求項5に記載の方法。
- 前記周期は、前記可視入力信号、前記赤外入力信号、あるいはその両方に基づいて、画像処理コンピュータにより決定されることを特徴とする請求項6に記載の方法。
- 前記周期はさらに、前記赤色チャネル、前記緑色チャネル、及び前記青色チャネルにおける画像データを比較することにより決定されることを特徴とする請求項7に記載の方法。
- 前記周期は、前記可視入力信号のフレームレートに基づくことを特徴とする請求項6に記載の方法。
- 前記周期は、前記赤外入力信号のフレームレートに基づくことを特徴とする請求項6に記載の方法。
- 可視画像データと赤外画像データとを混合する画像処理システムであって、
可視入力信号及び赤外入力信号を受信し、前記可視入力信号と前記赤外入力信号とを混合することにより、前記可視入力信号及び前記赤外入力信号を合成出力信号に処理する色置換プロセッサと、
前記合成出力信号を受信し、前記合成出力信号を複数の置換可能な可視カラーチャネルフレームと赤外フレームに処理し、像形成装置に同期して複数の可視光源及び赤外光源を動作させるように光源シーケンサを制御する、前記色置換プロセッサと結合された画像プロセッサと、を有する
ことを特徴とする画像処理システム。 - 前記画像プロセッサはさらに、複数の連続した可視及び赤外カラーチャネルフレームを前記像形成装置に送信するように構成されることを特徴とする請求項11に記載の画像処理システム。
- さらに、前記可視入力信号の1以上のカラーチャネルフレームを、前記赤外入力信号から得られたフレームで置換するように構成されることを特徴とする請求項11に記載の画像処理システム。
- さらに、周期的に1以上の前記カラーチャネルを前記赤外入力信号から得られたフレームで置換するように構成されることを特徴とする請求項13に記載の画像処理システム。
- さらに、前記可視入力信号の前記カラーチャネルの内容の比較に基づいて、前記周期を決定するように構成されることを特徴とする請求項14に記載の画像処理システム。
- さらに、前記赤外入力信号の内容と前記可視入力信号の前記カラーチャネルの内容との比較に基づいて、前記周期を決定するように構成されることを特徴とする請求項14に記載の画像処理システム。
- 前記可視入力信号及び前記赤外入力信号を、並行して、あるいは順番に受信するように構成されることを特徴とする請求項12に記載の画像処理システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/755,575 US9077915B2 (en) | 2010-04-07 | 2010-04-07 | Interweaving of IR and visible images |
US12/755,575 | 2010-04-07 | ||
PCT/EP2011/001709 WO2011124368A2 (en) | 2010-04-07 | 2011-04-06 | Interweaving of ir and visible images |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013524662A true JP2013524662A (ja) | 2013-06-17 |
Family
ID=44118706
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013503033A Pending JP2013524662A (ja) | 2010-04-07 | 2011-04-06 | 赤外及び可視混合画像 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9077915B2 (ja) |
EP (1) | EP2540076A2 (ja) |
JP (1) | JP2013524662A (ja) |
CN (1) | CN102823234B (ja) |
WO (1) | WO2011124368A2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019220910A (ja) * | 2018-06-22 | 2019-12-26 | 株式会社Jvcケンウッド | 映像表示装置 |
US10715769B2 (en) | 2018-06-20 | 2020-07-14 | JVC Kenwood Corporation | Projector |
WO2020230510A1 (ja) * | 2019-05-10 | 2020-11-19 | キヤノン株式会社 | 画像投射装置 |
JP2021086087A (ja) * | 2019-11-29 | 2021-06-03 | 株式会社Jvcケンウッド | 表示装置、表示装置の制御方法 |
US11322112B2 (en) | 2020-05-08 | 2022-05-03 | Jvckenwood Corporation | Display device, and control method for display device |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011070086A (ja) * | 2009-09-28 | 2011-04-07 | Seiko Epson Corp | プロジェクター、プロジェクションシステム、プロジェクションシステムの制御方法 |
US9531964B2 (en) | 2013-03-14 | 2016-12-27 | Drs Network & Imaging Systems, Llc | Methods and system for producing a temperature map of a scene |
JP2016521480A (ja) | 2013-03-22 | 2016-07-21 | セイコーエプソン株式会社 | 赤外線ビデオ表示アイウェア |
US10051209B2 (en) * | 2014-04-09 | 2018-08-14 | Omnivision Technologies, Inc. | Combined visible and non-visible projection system |
US9245196B2 (en) * | 2014-05-09 | 2016-01-26 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for tracking people in indoor environments using a visible light camera and a low-frame-rate infrared sensor |
JP6264233B2 (ja) * | 2014-09-02 | 2018-01-24 | 株式会社Jvcケンウッド | 撮像装置、撮像装置の制御方法及び制御プログラム |
US9269132B1 (en) * | 2015-03-31 | 2016-02-23 | Cae Inc. | Night vision detection enhancements in a display system |
CN106371274B (zh) * | 2015-07-20 | 2019-11-26 | 深圳光峰科技股份有限公司 | 一种混合光源装置及其发光控制方法、投影系统 |
CN106371273B (zh) * | 2015-07-20 | 2020-05-29 | 深圳光峰科技股份有限公司 | 一种混合光源装置及其发光控制方法、投影系统 |
TWI560565B (en) | 2015-11-30 | 2016-12-01 | Ind Tech Res Inst | Thermal simulation device and method |
US10359618B2 (en) | 2016-01-11 | 2019-07-23 | Nikon Corporation | Multispectral stereoscopic endoscope system and use of same |
US20180332219A1 (en) * | 2017-05-10 | 2018-11-15 | Fotonation Limited | Wearable vision system and method of monitoring a region |
WO2019054204A1 (ja) * | 2017-09-14 | 2019-03-21 | ソニー株式会社 | 画像処理装置および方法 |
TWI643372B (zh) * | 2017-11-07 | 2018-12-01 | Macroblock, Inc. | 用於顯示器的雙顯示光源及雙顯示影像產生方法 |
WO2020039605A1 (ja) * | 2018-08-20 | 2020-02-27 | コニカミノルタ株式会社 | ガス検出装置、情報処理装置およびプログラム |
US11212456B2 (en) * | 2018-12-21 | 2021-12-28 | Sony Group Corporation | Synchronized projection and image capture |
JP7277236B2 (ja) * | 2019-04-18 | 2023-05-18 | キヤノン株式会社 | 撮像装置、撮像システム、プログラム、記録媒体、及び制御方法 |
US11663828B1 (en) * | 2021-12-22 | 2023-05-30 | Colin Shaw | System for visual cognition processing for sighting |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007329749A (ja) * | 2006-06-08 | 2007-12-20 | Matsushita Electric Ind Co Ltd | 撮像素子、撮像装置及び画像処理装置 |
JP2008185673A (ja) * | 2007-01-29 | 2008-08-14 | Seiko Epson Corp | プロジェクタ |
JP2010140017A (ja) * | 2008-10-31 | 2010-06-24 | Christie Digital Systems Usa Inc | 可視画像および不可視画像を投影するための方法、システムおよび装置 |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4530010A (en) * | 1982-09-30 | 1985-07-16 | Ltv Aerospace And Defense Company | Dynamic infrared scene projector |
US4751571A (en) | 1987-07-29 | 1988-06-14 | General Electric Company | Composite visible/thermal-infrared imaging apparatus |
AUPP697398A0 (en) * | 1998-11-06 | 1998-12-03 | Lions Eye Institute Of Western Australia Incorporated, The | Eye tracker for refractive surgery |
SE522328C2 (sv) | 2000-06-16 | 2004-02-03 | Flir Systems Ab | System för avbildning och övervakning av olika våg längdsområden |
JP2004525569A (ja) * | 2001-01-12 | 2004-08-19 | ヴレックス、インク. | デジタル光処理による列交互配置データを用いた立体表示法および装置 |
EP1485011B1 (en) * | 2002-03-12 | 2013-02-13 | Beth Israel Deaconess Medical Center | Medical imaging systems |
JP4088188B2 (ja) * | 2003-04-07 | 2008-05-21 | セイコーエプソン株式会社 | プロジェクタ |
US20040207768A1 (en) * | 2003-04-15 | 2004-10-21 | Yin Liu | Electron-beam controlled micromirror (ECM) projection display system |
KR100595312B1 (ko) * | 2003-07-08 | 2006-07-03 | 엘지.필립스 엘시디 주식회사 | 액정표시장치의 구동회로 및 이의 구동방법 |
US8493298B2 (en) | 2003-11-01 | 2013-07-23 | Silicon Quest Kabushiki-Kaisha | Video display system |
US8432341B2 (en) * | 2003-11-01 | 2013-04-30 | Silicon Quest Kabushiki-Kaisha | Color sequence control for video display apparatus |
TWI286034B (en) * | 2004-07-05 | 2007-08-21 | Prodisc Technology Inc | Display device and image processing method therefor |
US7538326B2 (en) * | 2004-12-03 | 2009-05-26 | Fluke Corporation | Visible light and IR combined image camera with a laser pointer |
US20070153122A1 (en) * | 2005-12-30 | 2007-07-05 | Ayite Nii A | Apparatus and method for simultaneous multiple video channel viewing |
US20070171376A1 (en) * | 2006-01-26 | 2007-07-26 | Motorola, Inc. | Projection display system |
KR101219143B1 (ko) * | 2006-02-24 | 2013-01-07 | 삼성디스플레이 주식회사 | 액정 표시 장치와 이의 구동 방법 |
US20080165176A1 (en) * | 2006-09-28 | 2008-07-10 | Charles Jens Archer | Method of Video Display and Multiplayer Gaming |
US8016424B2 (en) * | 2006-12-20 | 2011-09-13 | Seiko Epson Corporation | Rear projector and projection system |
JP4341680B2 (ja) | 2007-01-22 | 2009-10-07 | セイコーエプソン株式会社 | プロジェクタ |
JP5168936B2 (ja) * | 2007-02-22 | 2013-03-27 | 株式会社日立製作所 | 投射型表示装置及び照明装置 |
TW200900833A (en) * | 2007-06-22 | 2009-01-01 | Coretronic Corp | Liquid crystal projection apparatus |
US9052575B2 (en) | 2007-07-12 | 2015-06-09 | Hewlett-Packard Development Company, L.P. | Determining correspondence mappings from infrared patterns projected during the projection of visual content |
JP5184016B2 (ja) * | 2007-09-12 | 2013-04-17 | オンセミコンダクター・トレーディング・リミテッド | 撮像装置 |
JP5104205B2 (ja) * | 2007-10-24 | 2012-12-19 | セイコーエプソン株式会社 | 画像表示装置 |
JP4780094B2 (ja) * | 2007-11-28 | 2011-09-28 | ソニー株式会社 | 表示装置及び表示装置の製造方法 |
CN201142710Y (zh) * | 2007-12-10 | 2008-10-29 | 深圳市通宝莱科技有限公司 | 适宜全天候使用的摄录机 |
JP4606502B2 (ja) | 2008-08-07 | 2011-01-05 | 三菱電機株式会社 | 画像表示装置および方法 |
US8864313B2 (en) * | 2009-06-15 | 2014-10-21 | Eastman Kodak Company | Dynamic illumination control for laser projection display |
US8305502B2 (en) * | 2009-11-11 | 2012-11-06 | Eastman Kodak Company | Phase-compensated thin-film beam combiner |
US9225916B2 (en) * | 2010-03-18 | 2015-12-29 | Cisco Technology, Inc. | System and method for enhancing video images in a conferencing environment |
-
2010
- 2010-04-07 US US12/755,575 patent/US9077915B2/en active Active
-
2011
- 2011-04-06 WO PCT/EP2011/001709 patent/WO2011124368A2/en active Application Filing
- 2011-04-06 CN CN201180017339.7A patent/CN102823234B/zh active Active
- 2011-04-06 EP EP11714695A patent/EP2540076A2/en not_active Withdrawn
- 2011-04-06 JP JP2013503033A patent/JP2013524662A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007329749A (ja) * | 2006-06-08 | 2007-12-20 | Matsushita Electric Ind Co Ltd | 撮像素子、撮像装置及び画像処理装置 |
JP2008185673A (ja) * | 2007-01-29 | 2008-08-14 | Seiko Epson Corp | プロジェクタ |
JP2010140017A (ja) * | 2008-10-31 | 2010-06-24 | Christie Digital Systems Usa Inc | 可視画像および不可視画像を投影するための方法、システムおよび装置 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10715769B2 (en) | 2018-06-20 | 2020-07-14 | JVC Kenwood Corporation | Projector |
JP2019220910A (ja) * | 2018-06-22 | 2019-12-26 | 株式会社Jvcケンウッド | 映像表示装置 |
US10880527B2 (en) | 2018-06-22 | 2020-12-29 | JVC Kenwood Corporation | Video display device |
JP7218106B2 (ja) | 2018-06-22 | 2023-02-06 | 株式会社Jvcケンウッド | 映像表示装置 |
WO2020230510A1 (ja) * | 2019-05-10 | 2020-11-19 | キヤノン株式会社 | 画像投射装置 |
JP2021086087A (ja) * | 2019-11-29 | 2021-06-03 | 株式会社Jvcケンウッド | 表示装置、表示装置の制御方法 |
JP7354801B2 (ja) | 2019-11-29 | 2023-10-03 | 株式会社Jvcケンウッド | 表示装置、表示装置の制御方法 |
US11322112B2 (en) | 2020-05-08 | 2022-05-03 | Jvckenwood Corporation | Display device, and control method for display device |
Also Published As
Publication number | Publication date |
---|---|
WO2011124368A2 (en) | 2011-10-13 |
US20110249014A1 (en) | 2011-10-13 |
EP2540076A2 (en) | 2013-01-02 |
CN102823234A (zh) | 2012-12-12 |
US9077915B2 (en) | 2015-07-07 |
CN102823234B (zh) | 2017-04-19 |
WO2011124368A4 (en) | 2012-03-08 |
WO2011124368A3 (en) | 2011-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2013524662A (ja) | 赤外及び可視混合画像 | |
US10169922B2 (en) | Reality mixer for mixed reality | |
US9858900B2 (en) | Eye mounted displays and systems, with scaler | |
CN112346638B (zh) | 透视计算机显示系统 | |
TWI448804B (zh) | 光源系統及包含該光源系統之投影裝置 | |
US20170053445A1 (en) | Augmented Reality | |
US7663795B2 (en) | Image display apparatus with night vision goggle compatibility | |
CN110989166A (zh) | 一种近眼显示设备的眼球追踪系统及近眼显示设备 | |
CN106371273B (zh) | 一种混合光源装置及其发光控制方法、投影系统 | |
RU2010142894A (ru) | Нормализация сигнала синхронизации для трехмерных очков | |
CN110824699B (zh) | 一种近眼显示设备的眼球追踪系统及近眼显示设备 | |
CN105719517A (zh) | 一种应用头戴式显示器的培训系统 | |
JP2008165077A (ja) | 画像投影装置 | |
CN110634420B (zh) | 影像显示装置 | |
JP2015066043A (ja) | 視覚刺激画像呈示装置 | |
TWI479253B (zh) | 光源系統及包含該光源系統之投影裝置 | |
CN108628570A (zh) | 显示控制装置、显示控制方法及存储介质 | |
Kamei et al. | PILC Projector: RGB-IR projector for pixel-level infrared light communication | |
JP2006227096A (ja) | 表示システム | |
WO2015103638A1 (en) | System, method, and apparatus for displaying an image with reduced color breakup | |
JP2003084912A (ja) | 情報呈示システム | |
US10666932B2 (en) | More reliable monochromatic stereoscopic image projector | |
Lawson | Biologically encoded augmented reality: multiplexing perceptual bandwidths | |
CN105468250B (zh) | 一种信息处理方法及便携式电子设备 | |
KR20140091422A (ko) | 광고용 영상장치 및 그를 이용한 광고효과를 위한 컨텐츠 제공방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140403 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150306 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150831 |