JP2008546028A - 特性を物体上または生命形態上に表示する方法および装置 - Google Patents

特性を物体上または生命形態上に表示する方法および装置 Download PDF

Info

Publication number
JP2008546028A
JP2008546028A JP2008514899A JP2008514899A JP2008546028A JP 2008546028 A JP2008546028 A JP 2008546028A JP 2008514899 A JP2008514899 A JP 2008514899A JP 2008514899 A JP2008514899 A JP 2008514899A JP 2008546028 A JP2008546028 A JP 2008546028A
Authority
JP
Japan
Prior art keywords
image
projection device
target object
frame
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2008514899A
Other languages
English (en)
Inventor
ラリー エリオット
Original Assignee
ミティテック エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ミティテック エルエルシー filed Critical ミティテック エルエルシー
Publication of JP2008546028A publication Critical patent/JP2008546028A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/01Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/373Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/378Surgical systems with images on a monitor during operation using ultrasound

Abstract

特性を物体上に表示するためのシステムおよび方法において、画像装置が、対象物体の画像を捕獲し、捕獲した画像から肉眼によっては検出することができない対象物体の情報を含む画像データを生成するように構成されており、画像処理ユニットが、画像データを目に見えるフォーマットに変換する。画像投影装置が、画像処理ユニットによって変換された画像データにしたがって、画像を対象物体上に表示する。

Description

発明の分野
本発明は一般に、画像技術に関し、より具体的には、特性を物体上または生命形態上に表示するシステムおよび方法に関する。
発明の背景
標的物体の目に見えない熱変動を見るためには、熱画像を使用することができる。熱画像を見るためには、ユーザは、熱画像装置を取得し、熱画像装置のビューワを通して見なければならない。または、熱画像装置のビデオ出力を離れたところからTVまたはコンピュータモニタ上で見ることもできる。ユーザにとってより好都合なやり方で画像を取得し、見ることが望ましいであろう。
発明の概要
本発明の局面にしたがって、特性を物体上に表示するシステムおよび方法は、対象物体の画像を捕獲し、捕獲した画像から、肉眼によっては検出することができない対象物体の情報を含む画像データを生成するように構成された画像装置と、画像データを目に見えるフォーマットに変換する画像処理ユニットとを含む。システムおよび方法はさらに、画像処理ユニットによって変換された画像データにしたがって画像を対象物体上に表示する画像投影装置を含む。
本発明のもう一つの局面にしたがって、画像は、対象物体に対して寸法的に正比例した状態で表示される。
本発明のさらなる特徴、局面および利点は、以下の好ましい態様の詳細な説明を添付図面と併せて考察することによって明らかになるであろう。
好ましい態様の詳細な説明
本発明の表示システムでは、観察者は、肉眼では見ることができないやり方で物体または生命形態を見ることができる。そのような特性は、熱画像装置、X線機械、または物体もしくは生命形態に含まれる、またはそこから放射する、人の目には見えない特性を明らかにすることができる任意の他の検査装置のいずれかによって提供されるデータから抽出される。また、そのような特性は、たとえば、検査装置によって検出されるような、物体または生命形態およびその物理的周囲環境によって作り出されるコントラスト付与現象であることもできる。
検出された特性は、光の投影により、物体上または生命形態上に表示される。物体または生命形態に対するこの光の投影は、検査装置から得られたデータの直接表現またはその対応する抽出物のいずれかであることができる。さらには、物体上または生命形態上に表示される特性は、好ましくは、物体または生命形態に含まれている、またはそこから放射していることが検査装置によって見いだされている特性に対して寸法的に正比例するようなやり方で表示される。投影の結果は、投影に近接する人が、画像装置によって検出されている物体上または生命形態上に表示された特性を見ることを可能にする。
図1は、本発明の表示システムのブロック図である。図1に示すように、表示システムは、対象物体10(以下、物体10)、画像装置20、画像投影装置30、画像処理ユニット40、制御パネル50および機械的調節装置60を含む。物体10は、画像装置20によって見て、捕獲することができるいかなるタイプの物体または生命形態であることもできる。たとえば、物体10は、人、動物、建造物、容器、橋、電力装置等であることができる。
画像装置20は、たとえば、熱画像装置、X線機械、または肉眼では見ることができない物体の特性を検出し、捕獲することができる任意の他のタイプの画像装置、たとえばマルチスペクトル画像装置、電波画像装置、電磁場画像装置、超音波画像装置、紫外線画像装置、ガンマ線画像装置、マイクロ波画像装置、レーダ画像装置、磁気共鳴画像装置(MRI)および赤外線画像装置(熱赤外線画像装置である近、中および遠赤外線画像装置)として具現化することができる。画像投影装置30は、たとえば、レーザプロジェクタまたはビデオプロジェクタとして具現化することができる。例示的な市販のレーザプロジェクタは、LumalaserによるColorburstである。画像処理ユニット40は、好ましくは、処理ハードウェア、たとえばCPU、マイクロプロセッサまたはマルチプロセッサユニット、画像装置20によって捕獲された画像データを画像投影装置30によって表示することができる投影データに変換するように構成されたソフトウェア、ならびに画像処理ユニット40がその機能を実行するために使用するソフトウェアおよび他の命令を記憶するためのメモリまたは記憶装置を含む。画像装置20によって捕獲された画像データを、画像投影装置30によって表示することができる投影データに変換するために、画像処理ユニット40は、市販のソフトウェアアプリケーション、たとえばPangolin Laser Systems Inc.のLD2000を用いて構成されることができる。
制御パネル50は、好ましくは、表示装置、たとえばLCD、プラズマまたはCRTスクリーンならびに入力ユニット、たとえばキーボード、ポインティングデバイスおよび/またはタッチパッドを含む。制御パネル50の表示装置は、画像装置20によって捕獲された画像を見せる。入力ユニットは、ユーザが、表示システムに対する変更、たとえば画像装置20の視野、画像装置20および画像投影装置30の位置決めならびに画像投影装置30によって投影される要素の追加を加えることを許す種々の制御を含む。
一般に、画像投影装置30は画像装置20の上に取り付けることができるが、他の構造、たとえば横並びもまた可能である。それらの間の配設にかかわらず、機械的調節装置60が、画像投影装置30に対する画像装置20の相対的位置決めを調節する。画像投影装置30と画像装置20との間の正しい整合を得るために、機械的調節装置60が画像装置20および/または画像投影装置30の垂直方向、水平方向および軸方向(方位)の位置決めを調節する。画像装置30によって捕獲される画像が画像投影装置30によって投影される画像と整合するとき、画像装置20と画像投影装置30とは正しく整合する。機械的調節装置60による調節は、画像装置20もしくは画像投影装置30のいずれかにまたは両方に対して実施することができる。加えて、機械的調節装置60の調節は、使用者が手作業で実施することもできるし、または制御パネル50に加えられる入力を介して自動的に実施することもできる。本明細書で説明するように、制御パネル50は、画像装置20と画像投影装置30との整合にさらなる改良を提供するため、機械的調節装置60から独立して電子的調節を提供するために使用することができる。
図2は、図1の表示システムで使用するための光学部品の配設の例である。図2に示すように、表示システムは、ミラー72およびトランスミッタ/リフレクタ74を含む光学システムを含むように構成することができる。トランスミッタ/リフレクタ74は、特定の電磁波を伝送または透過させ、特定の他の電磁波を反射するように設計されている。たとえば、トランスミッタ/リフレクタ74は、しきい値未満の波長の電磁波(たとえば可視光線)が反射され、しきい値よりも大きな波長の電磁波(たとえば熱波)が伝送されるような特定のしきい値を有することができる。
図2に示すように、画像20、たとえば熱画像は、9ミクロン波長を有する電磁波を受け、その電磁波がトランスミッタ/リフレクタ74を介して伝送される。画像投影装置30、たとえばレーザプロジェクタが、0.5ミクロン波長を有する電磁波を含む画像をミラー72に投影し、そのミラーが電磁波をトランスミッタ/リフレクタ74に反射する。画像投影装置30からの電磁波は十分に短い、すなわち、トランスミッタ/リフレクタ74のしきい値よりも短いため、トランスミッタ/リフレクタ74は、その光波を画像投影装置から画像装置30によって画像化される物体に向けて反射する。
図3A〜3Dは、画像装置の視野を図1の表示システムの画像投影装置の投影と整合させるために加えられる調節の例である。図3A〜3Dに示すように、二重の実線のボックスが画像装置20の光学視野に対応し、破線のボックスが画像投影装置30の投影の外周に対応する。図3Aでは、画像投影装置30の投影は画像装置20の光学視野から軸外れである。この誤整合を修正するため、機械的調節装置60を使用して画像装置20および画像投影装置30の軸方向(方位)位置を互いに対して変化させる。
図3Bでは、画像投影装置30の投影は、画像装置20の光学視野に対して垂直方向および水平方向に小さめである。この誤整合を修正するため、画像投影装置30の投影の電子的調節を実施することができる。電子的調節は、たとえば、制御パネル50を通じて、または画像投影装置30に対する直接調節を通じて実施することができる。電子的調節は、画像投影装置30の投影の垂直方向および水平方向サイズを調節するために実施することができる。電子的調節はまた、制御パネル50を通じて、または画像装置20の直接調節を通じて画像装置20の垂直方向および水平方向サイズ、すなわち画像装置20の視野を調節するために実施することもできる。
図3Cでは、画像投影装置30の投影は、画像装置20の光学視野に対して低すぎ、かつ左すぎる。この誤整合を修正するためには、画像投影装置30の投影を調節して投影を水平方向かつ垂直方向にセンタリングする。この調節は、機械的調節装置60および/または電子的調節を使用して実施することができる。
図3Dは、画像装置20の光学視野と正しく整合している画像投影装置30の投影を示す。この整合を実施することにより、画像投影装置30は、物体10そのものに対して寸法的に正比例している画像を物体10に投影することができる。破線のボックスが二重線のボックスの中にあるとき、整合が得られている。
図4は、図1の表示システムを使用してカバーすることができる面積の例である。一般に、画像装置20の視野が広くなればなるほど、画像装置20が物体を効果的に検出することができる距離は短くなる。逆に、画像装置20の視野が狭くなればなるほど、画像装置20が物体を効果的に検出することができる距離は遠くなる。図4では、画像装置20が熱画像装置、たとえばRaytheon 640x480 Common Uncooled Engineとして具現化されているならば、45°の水平視野で、画像装置20は2000フィート先までの物体または活動を検出することができる。この距離では、視野は、1500フィート×1125フィートになるであろう。地表レベルでは、これは1,500,000平方フィートをカバーするであろう。2000フィートの垂直面では、画像装置は1,687,500平方フィートを検出するであろう。
夜または薄暮では、画像投影装置30によって投影される画像は、2000フィートを超える距離ででも非常に鮮明に見ることができる。レーザプロジェクタとして具現化されている場合、画像投影装置30は、合焦させる必要のないシャープな画像を投影する。目に見えるためには、使用されるレーザは、好ましくは、532nm付近の緑の波長にある。緑色が、ヒトの眼に知覚可能なもっとも明るい色であるため、好ましいが、他の可視色を使用することもできる。45°を見る表示システムを用いた場合の視野は、それぞれが45°を見る多数のユニットを360°が得られるまで横並びに使用することにより、360°に拡大することができる。
画像装置20は、水平方向には3〜6°の視野しか許さないが、より遠くの画像を捕獲する能力を提供するレンズアセンブリを用いて具現化することができる。このような具現態様は国境警備の場合に有用であろう。3〜6°の視野で、画像装置20は、1マイル先、場合によっては1マイルよりもずっと先にある人の存在を検出することができる。加えて、画像投影装置30によって発される低出力レーザは、このような距離ででも見ることができる。
図5は、人の熱画像の例である。図5に示すように、熱画像装置として具現化された画像装置20は人の熱画像を捕獲する。捕獲された画像は、画像処理ユニット40によって処理され、画像投影装置30に提供され、画像投影装置がその人の熱画像を直接その人に投影する。
図6A-6Dは、本発明にしたがってベクトル輪郭画像を画像化し、処理し、対象物体に投影する例を示す。図6Aは、熱画像装置として具現化されている場合などの画像装置20からのビデオ出力を示す。画像装置20からのビデオ出力は、制御パネル50の表示装置上に表示することができる。
図6Bは、画像装置20によって捕獲された物体10の画像であって、画像装置20によって提供されたアナログ信号をデジタル信号に変換し、背景に対して最大のコントラストを見ることができるようにコントラストおよび明るさを調節した後の画像を示す。アナログ・デジタル変換ならびに明るさおよびコントラスト調節は画像処理ユニット40によって実施される。背景に対するこのコントラストが得られると、図6Cに示すように、白が黒と接触する場所のベクトル輪郭が生成される。ベクトル輪郭の生成はまた、画像処理ユニット40によって実施することもでき、画像処理ユニット40中、当技術分野で公知であるようなベクトルグラフィックスソフトウェアプログラムを用いて具現化することができる。
画像処理ユニットによって生成されたベクトル輪郭に対応する画像データは画像投影装置30に提供され、図6Dに示すように、この画像投影装置が、画像装置20によって画像化された物体10の上に輪郭を投影する。このようにして、画像投影装置30は、画像装置20によって捕獲された各物体10のボディを目に見えるように描く。
図7A〜7Dは、本発明にしたがってラスタライン画像を画像化し、処理し、対象物体に投影する例を示す。図7Aおよび7Bはそれぞれ上記の図6Aおよび6Bと同じである。したがって、図7Aおよび7Bの説明は省く。図7Cでは、図6Cに示すように白が黒と接触する場所のベクトル輪郭を生成する代わりに、白が存在する場所にラスタラインが生成されている。ラスタラインの生成は、画像処理ユニット40によって実施することができ、画像処理ユニット40中、当技術分野で公知であるようなラスタグラフィックスソフトウェアプログラムを用いて具現化することができる。
画像処理ユニットによって生成されたラスタラインに対応する画像データは画像投影装置30に提供され、図6Dに示すように、この画像投影装置が、画像装置20によって画像化された物体10の上にラスタラインを投影する。このように、画像投影装置30は、画像装置20によって捕獲された各物体10のボディを目に見えるように照らす。
したがって、図1の表示システムを使用すると、図6A〜6Dに示すように、画像装置20によって画像化された物体10の輪郭を描くこともできるし、または図7A〜7Dに示すように、物体10を照らすこともできる。加えて、輪郭画定および照明ならびに任意の他のタイプの画像投影をリアルタイムで実施することができる。そのために、画像装置20のビデオ出力が、画像化している間にリアルタイムで画像処理ユニット40に提供され、この画像処理ユニットが、たとえばビデオ・ベクトルグラフィックスソフトウェアプログラムを用いて、それらの画像フレームを1コマずつリアルタイムで処理する。画像処理ユニット40は、ビデオの各フレームを1コマずつリアルタイムで解析し、そのフレーム上で白が黒と接触する場所でベクトルライン(またはラスタラインもしくは投影するための他のタイプの画像)を作製する。作製されたベクトルライン(またはラスタラインもしくは他のタイプの画像投影)は、ビデオのフレームをベクトル輪郭フレーム(またはラスタラインフレームもしくは他のタイプの画像投影フレーム)で1コマずつリアルタイムで置換する。これらの新たに作製されたグラフィックスフレームは1コマずつリアルタイムで画像投影装置30に電子的に送られ、すると、画像投影装置が、画像装置20によって検出されている物体10の上に直接それらを投影する。
図8は、図1の表示システムで使用することができる制御パネルの例である。図8に示すように、制御パネル50は、表示装置51、グラフィックスキー52、明滅キー53、リセットキー54、外周キー55およびパン&チルトキー56を含む。表示装置51は、たとえば、CRT、LCD、プラズマまたは他のタイプのビデオ表示装置として具現化することができる。グラフィックスキー52、明滅キー53、リセットキー54、外周キー55およびパン&チルトキー56は、表示装置51とは別個のパネル上のボタンとして具現化することもできるし、表示装置51そのものの上のタッチパネルとして具現化することもできる。
グラフィックスキー52は、画像装置20によって捕獲された画像の部分を隠蔽し、画像装置20によって捕獲された画像に画像を加えるために使用することができる。図8に示すように、グラフィックスキー52は、異なるサイズの二つ円、異なるサイズの二つの長方形および四つの矢印を含む。円および矢印は、画像装置20によって捕獲された画像に加えることができるグラフィックスであり、無地の長方形は、画像装置によって捕獲された画像の部分を隠蔽するために使用することができるグラフィックスである。画像を加えるためのグラフィックスおよび画像の部分を隠蔽するためのグラフィックスの両方として他の形をグラフィックスキー52に使用することもできることが理解されよう。グラフィックスキー52はまた、ユーザが、削除される画像部分または追加される画像のサイズを画定することを可能にするサイズ変更可能なツールを含むこともできる。削除される画像部分または追加される画像の位置は、パン&チルトキー52を使用してセットすることができる。または、マウスのようなポインティングデバイスまたはペンデバイスを使用して位置をセットすることもできる。また、ユーザが、選択されたグラフィックが配置される位置に触れることを可能にすることも可能である。
明滅キー53は、ユーザがある特定の区域中の投影画像を明滅させたいときに選択される。そのためには、ユーザは、ビデオスクリーンの区域に触れ(または、サイズ変更可能なツールをポインティングデバイスとともに用いてその区域を画定し)たのち、明滅キー53を選択することができる。この動作がその区域中の投影画像を明滅させ、これは、見る人の注意を明滅する物体に向けるのに有用である。
リセットキー54は、グラフィックスキー52によって削除された任意の画像部分および追加された任意の画像を除去する。外周キー55は、表示装置51上のビューおよび画像投影装置30によって投影された画像にフレームを追加する。外周キーによって加えられたフレームは画像装置20の視野に対応する。パン&チルトキー56は、たとえば、画像装置20の位置(および、相応に、画像投影装置30の位置)を動かし、画像装置20の視野のサイズを変更し、表示装置51に加えられる物体の位置を動かすために使用することができる。
図8の表示装置51に示される例示的な画像では、建造物の一部が、画像装置20によって、たとえば画像装置20が熱画像装置として具現化されている場合にはその熱形跡によって識別可能である5個の人物体を含むように示されている。表示装置51はまた、グラフィックスキー52によって加えられた円形の画像を有する2個の特定の人物体を含む。ユーザは、これら円形の画像を加えて、画像装置20によって捕獲された物体の中から高い値の物体を識別することができ、画像投影装置30が、追加された円を有する画像を、人物体を含む建造物そのものの上に表示するとき、画像投影装置30によって表示された画像を見る人だれもが、高い値の物体の回りの円を見、それにより、対象ではない物体から対象物体を区別することができるようにする。たとえば、軍事に関連しては、円のある物体は敵戦闘員であることができ、円のない物体は味方戦闘員であることができる。円形の画像に加えて、画像全体にフレームを加えることができる。フレームは、画像装置20によって捕獲された実際の画像の輪郭、すなわち画像装置20の視野を提供する。フレームは、画像装置20がどれくらい多くまたは少なくを見ているのかを見る人に正確に示すため、有用であり得る。
図9は、本発明にしたがって対象物体の画像を遠くに投影する例である。図9に示すように、夜間、表示システムが具現化されている車両が、図8に示す同じ建造物から離れたところに位置している。このシステムの使用により、画像装置20は、物体、この場合は人物体を離れたところから識別し、画像投影装置30によってそれらを照らすことができる。隠密作戦の場合、画像投影装置30によって発されるレーザは、肉眼には見えない940nm付近の近赤外線範囲にあることができ、したがって、標準的な暗視能力を有する者だけがその投影を見ることを可能にする。
図10は、図9の例で対象物体を強調表示する例である。特に、図10は、制御パネル50の画像追加キー54を使用して追加されたグラフィックスである円によって囲まれている2個の特定の物体を示す。画像処理ユニット40は、強調表示された物体(たとえば回りにグラフィックスを加えられた物体)が画像装置20によって画像化されている間に移動するならば、その物体を追跡するように構成することができる。たとえば、図10の円によって囲まれた物体が移動しているならば、画像処理ユニット40は、円がその移動する物体の回りにとどまるように画像を処理することができる。
図11は、図10の例で強調表示された対象物体にフレームを提供する例である。特に図11のフレームは、建造物のどれくらいの部分が画像装置20によって画像化されているのかを示す。
図12A〜12Cは、図1の表示システムで投影することができる様々なフレーム形状の例を示す。図1の表示システムでは、この投影された窓の水平方向および垂直方向のサイズ(視野)を独立的に調節してオペレータの具体的な必要性に合わせることができる。図12Aでは、画像投影装置30は、投影される窓のデフォルトサイズであるフルスクリーンを表示している。図12Bは、投影窓の高さがより小さく作られているパノラマビューの表示を示す。図12Cでは、画像投影装置は、たとえば背の高い建造物だけを検査する場合のように、投影窓の幅が狭められている縦長のビューを表示している。これらの様々な窓寸法がセットされると、画像投影装置30は、画像装置20がその窓寸法よりも大きな画像を捕獲することができるとしても、そのような寸法を越えては投影しない。
図13は、火災を制御する場合の図1のシステムの代替応用例である。図13に示すように、画像処理ユニット40および画像装置20を含むシステムは、火災を起こしている物体、たとえば船82の上に吊り下げることができる。表示システムは、たとえば、ヘリコプタ、気球、飛行機または他の航空機によって吊り下げることができる。熱画像装置として具現化されるならば、画像装置20は、ホットスポット、すなわち火災の場所を識別する船82の熱画像を画像処理ユニット40に提供する。画像処理ユニット40は、その熱画像からホットスポットを識別し、その情報を放水砲・誘導アセンブリ80に提供するように構成することができる。より具体的には、画像処理ユニット40は、すべてのホットスポットを含む燃焼域全体の外周およびこの不安定な状態に関連する任意の熱データをデジタル的にマッピングするように構成することができる。この情報に基づいて、アセンブリ80は、船82の上のもっとも必要とされるスポットを位置付けし、そこに水を供給するように自動的に指示を受け、それにより、船上火災を効果的かつ効率的に消火することができる。識別されたホットスポットはまた、アセンブリ80が水を火炎に供給するときの勢いを決定することができる。アセンブリ80は水を使用するものとして記載されているが、他の難燃剤を使用することもできることが理解されよう。
図14は、気団を制御する場合の図1のシステムの代替応用例である。図13のシステムと同様、ここでもまた、システムは、システムを寒気団84または暖気団86の上に配置することができる航空機によって運ばれる。図14の例では、寒気団84が暖気団86に向かう軌道コースにあるか、その逆である。この条件が存在すると、ハリケーンまたは他の強烈な前線が形成し始めるかもしれない。図14に示すように、熱画像装置として具現化された画像装置20は、気団84、86の空からの眺めとともに、熱データを画像処理ユニット40に提供する。画像処理ユニットは、この天候事象に関連する熱領域全体をデジタル的にマッピングし、寒気団84の一部または全部を暖めて不可避な天候状態を緩和または停止させるためには強力なオーバヘッドレーザとして具現化された画像投影装置30をどこに向けることが最良であるのかを計算するように構成することができる。
図15は、橋の応力領域を識別する場合の図1の表示システムの応用例である。図15に示すように、画像装置20は橋の少なくとも一部分を画像化する。熱画像装置として具現化されるならば、画像装置20によって捕獲された画像は、機械的に応力を受けている橋の区域を強調表示するであろう。そして、その画像は画像処理ユニット40によって処理され、このユニットが、処理された画像を画像投影装置30に提供し、画像投影装置30がその画像を橋の画像に投影して、見る人が橋のどこに応力スポットが位置しているのかを正確に注視することができるようにする。
図16A〜16Bは、電力装置中のホットスポットを識別する場合の図1の表示システムの応用例である。図16A〜16Bに示すように、画像装置20は、電力装置の少なくとも一部を画像化する。熱画像装置として具現化されているならば、画像装置20によって捕獲される画像は、ホットスポットに対応する電力装置の区域を強調表示するであろう。そして、その画像は画像処理ユニット40によって処理され、このユニットが、処理された画像を画像投影装置30に提供し、画像投影装置30がその画像を電力装置に投影して、見る人が電力装置のどこにホットスポットが位置しているのかを正確に注視することができるようにする。このように、橋および電力装置に関して図1の表示システムを使用すると、多数のユーザが、物体そのもののどこに対象項目が位置するのかを正確に見ることができる。
図17は、容器の内容物を表示する場合の図1の表示システムの応用例である。この例では、画像装置20は、好ましくはX線装置として具現化されている。この態様では、表示システムは、輸送コンテナ86の内容物を検出し、表示するために使用することができる。特に、輸送コンテナ86は、画像装置20によって捕獲することができる領域に対応するX線区域22を通過する。X線画像データは画像処理ユニット40に提供され、このユニットが、X線画像データを、画像投影装置30によって投影することができる画像に変換する。画像投影装置30は、見る人がコンテナを開けることなくコンテナの内容物の形状および位置を注視することができるよう、コンテナ86の側面に画像を投影する。
場合によっては、表示システムが、最初の発見を記憶し、それを長めの期間で表示する、すなわち画像をリアルタイムでは表示しないように表示システムを構成することが望ましいであろう。たとえば、ある人物が検出され、その人物が、自らの位置が今表示されていることを知るならば、その人物は、画像装置20の視野から逃れようとする可能性があり、それが一方で、表示システムがその人物の位置をさらに表示することを止めさせるであろう。一見の捕獲モードを使用することにより、表示システムは、画像投影装置30によって表示された最後の位置を記憶し、その指定区域を所定期間にわたって表示し続けるよう、画像投影装置30に指示するように構成することができる。これは、見る人に対し、このような目撃を評価するためにさらなる時間を与えるであろう。
本発明の好ましい実施態様の前記記載は、例示および説明のために提示したものである。網羅的であることを意図したものでもないし、本発明を開示されたとおりの形態に限定することを意図したものでもなく、改変および変形が、上記開示を考慮して可能であるか、または本発明の実施を通じて取得することができる。態様(別々または組み合わせて実施することができる)は、本発明の原理を説明し、実用化として、当業者が、考慮される特定の用途に適した様々な態様および様々な改変で本発明を実施し、使用することを可能にするために選択し、記載したものである。本発明の範囲は、請求の範囲およびその等価物によって定義されるものと解釈される。
本発明の表示システムのブロック図である。 図1の表示システムで使用するための光学部品の配設の例である。 A〜Dは、画像装置の視野を図1の表示システムの画像投影装置の投影と整合させるために加えられる調節の例である。 図1の表示システムを使用してカバーすることができる面積の例である。 人の熱画像の例である。 A〜Dは、本発明にしたがってベクトル輪郭画像を画像化し、処理し、対象物体に投影する例を示す。 A〜Dは、本発明にしたがってラスタライン画像を画像化し、処理し、対象物体に投影する例を示す。 図1の表示システムで使用することができる制御パネルの例である。 本発明にしたがって対象物体の画像を遠くに投影する例である。 図9の例で対象物体を強調表示する例である。 図10の例で強調表示された対象物体にフレームを提供する例である。 A〜Cは、図1の表示システムで投影することができる様々なフレーム形状の例を示す。 火災を制御する場合の図1のシステムの代替応用例である。 気団を制御する場合の図1のシステムの代替応用例である。 橋の応力領域を識別する場合の図1の表示システムの応用例である。 A〜Bは、電力装置中のホットスポットを識別する場合の図1の表示システムの応用例である。 コンテナの内容物を表示する場合の図1の表示システムの応用例である。

Claims (30)

  1. 対象物体の画像を捕獲し、捕獲した画像から、肉眼によっては検出することができない該対象物体の情報を含む画像データを生成するように構成された画像装置と、
    該画像データを目に見えるフォーマットに変換する画像処理ユニットと、
    該画像処理ユニットによって変換された該画像データにしたがって画像を該対象物体上に表示する画像投影装置とを含む、
    特性を物体上に表示するためのシステム。
  2. 画像装置が熱画像装置であり、捕獲された画像が対象物体の熱画像である、請求項1記載のシステム。
  3. 対象物体が人物であり、画像投影装置が、該人物の熱画像を該人物に対して寸法的に正比例する状態で該人物上に表示する、請求項2記載のシステム。
  4. 画像装置がX線機械であり、捕獲された画像が対象物体のX線像である、請求項1記載のシステム。
  5. 対象物体が、内容物を含む容器であり、画像投影装置が、該容器の該内容物のX線画像を該内容物に対して寸法的に正比例した状態で該容器の壁上に表示する、請求項4記載のシステム。
  6. 画像投影装置によって表示された画像の位置およびサイズを調節するように構成された電子的画像調節ユニットと、
    画像装置と該画像投影装置との間の相対位置を調節するように構成された機械的調節ユニットとをさらに含む、
    請求項1記載のシステム。
  7. 電子的調節ユニットおよび機械的調節ユニットが、表示される画像が該画像が投影される物体に対して寸法的に正比例するように、画像投影装置によって表示される該画像を整合させるために使用される、請求項5記載のシステム。
  8. 画像処理ユニットが、
    画像装置から画像データのフレームをリアルタイムで受けるように、および
    該画像装置から受けた各フレーム中で対象物体と背景との間のコントラストをリアルタイムで最大化するように、
    構成されている、請求項1記載のシステム。
  9. 画像処理ユニットが、さらに、
    各フレーム中で白の画像データが黒の画像データと接触する場所のベクトルラインをリアルタイムで識別するように、
    画像装置から受けた画像データの各フレームごとに、識別されたベクトルラインに基づいてベクトル輪郭フレームをリアルタイムで作製するように、および
    該ベクトル輪郭フレームを画像投影装置に提供するように、
    構成されており、
    該画像投影装置が、該画像処理ユニットによって提供されたベクトル輪郭フレームにしたがって画像を表示する、
    請求項8記載のシステム。
  10. 画像処理ユニットが、
    画像装置から受けた画像データの各フレーム中で白の画像データが存在する場所のラスタラインデータをリアルタイムで生成するように、
    該画像装置から受けた画像データの各フレームごとに、生成されたラスタラインデータに基づいてラスタラインフレームをリアルタイムで作製するように、および
    該ラスタラインフレームを画像投影装置に提供するように、
    構成されており、
    該画像投影装置が、該画像処理ユニットによって提供されたラスタラインフレームにしたがって画像を表示する、
    請求項8記載のシステム。
  11. 制御パネルを介して実施された入力に応答して画像制御を提供するように構成された制御パネルをさらに含み、各画像制御が、画像装置、画像処理ユニットおよび画像投影装置の少なくとも一つの動作を調節するように構成されている、請求項1記載のシステム。
  12. 制御パネルが、画像投影装置によって表示される画像の指定部分が、該画像投影装置によって表示されている間に明滅する明滅機能を含む、請求項11記載のシステム。
  13. 制御パネルが、画像投影装置によって表示される画像にグラフィックスが加えられて該画像の指定部分を強調表示する強調表示機能を含む、請求項11記載のシステム。
  14. 画像投影装置がレーザプロジェクタである、請求項1記載のシステム。
  15. 画像投影装置が画像を対象物体に対して寸法的に正比例した状態で表示する、請求項1記載のシステム。
  16. 肉眼によっては検出することができない対象物体の情報を検出することができる画像装置によって対象物体の画像を捕獲する段階と、
    捕獲した画像から、肉眼によっては検出することができない対象物体の情報を表す画像データを生成する段階と、
    該画像データを目に見えるフォーマットに変換する段階と、
    変換された画像データに基づく画像を、画像投影装置により、表示される画像が該対象物体に対して寸法的に正比例する状態で、該対象物体上に表示する段階とを含む、特性を物体上に表示する方法。
  17. 画像装置が熱画像装置であり、捕獲された画像が対象物体の熱画像である、請求項16記載の方法。
  18. 対象物体が人物であり、該人物の熱画像が該人物に対して寸法的に正比例する状態で該人物上に表示される、請求項17記載の方法。
  19. 画像装置がX線機械であり、捕獲された画像が対象物体のX線像である、請求項16記載の方法。
  20. 対象物体が、内容物を含む容器であり、かつ該容器の該内容物のX線画像が該内容物に対して寸法的に正比例した状態で該容器の壁上に表示される、請求項19記載の方法。
  21. 画像投影装置によって表示された画像の位置およびサイズを電子的に調節する段階と、
    画像装置と該画像投影装置との間の相対位置を機械的に調節する段階とをさらに含む、請求項16記載の方法。
  22. 表示される画像が該画像が投影される物体に対して寸法的に正比例するように、画像投影装置によって表示される画像を電子的および機械的調節に基づいて整合させる段階をさらに含む、請求項21記載の方法。
  23. 画像装置から画像データのフレームをリアルタイムで受ける段階と、
    該画像装置から受けた各フレーム中で対象物体と背景との間のコントラストをリアルタイムで最大化する段階とをさらに含む、
    請求項16記載の方法。
  24. 各フレーム中で白の画像データが黒の画像データと接触する場所のベクトルラインをリアルタイムで識別する段階と、
    画像装置から受けた画像データの各フレームごとに、識別されたベクトルラインに基づいてベクトル輪郭フレームをリアルタイムで作製する段階と、
    該ベクトル輪郭フレームを画像投影装置に提供する段階をさらに含み、
    該画像投影装置が、提供されたベクトル輪郭フレームにしたがって画像を表示する、
    請求項23記載の方法。
  25. 画像装置から受けた画像データの各フレーム中で白の画像データが存在する場所のラスタラインデータをリアルタイムで生成する段階と、
    画像装置から受けた画像データの各フレームごとに、生成されたラスタラインデータに基づいてラスタラインフレームをリアルタイムで作製する段階と、
    該ラスタラインフレームを画像投影装置に提供する段階をさらに含み、
    該画像投影装置が、提供されたラスタラインフレームにしたがって画像を表示する、
    請求項23記載の方法。
  26. 制御パネルを介して実施された入力に応答して画像制御を提供する段階をさらに含み、各画像制御が、画像装置および画像投影装置の少なくとも一つの動作を調節するように構成されている、請求項16記載の方法。
  27. 所定の画像制御に応答して、画像投影装置によって表示される画像の指定部分を、それが該画像投影装置によって表示されている間に明滅させる段階をさらに含む、請求項26記載の方法。
  28. 所定の画像制御に応答して、画像投影装置によって表示される画像にグラフィックスを加えて該画像の指定部分を強調表示する段階をさらに含む、請求項26記載の方法。
  29. 画像投影装置がレーザプロジェクタである、請求項16記載の方法。
  30. 画像が対象物体に対して寸法的に正比例した状態で表示される、請求項16記載の方法。
JP2008514899A 2005-06-02 2006-06-02 特性を物体上または生命形態上に表示する方法および装置 Withdrawn JP2008546028A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US68640505P 2005-06-02 2005-06-02
PCT/US2006/021450 WO2006130831A2 (en) 2005-06-02 2006-06-02 Method and apparatus for displaying properties onto an object or life form

Publications (1)

Publication Number Publication Date
JP2008546028A true JP2008546028A (ja) 2008-12-18

Family

ID=37482346

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008514899A Withdrawn JP2008546028A (ja) 2005-06-02 2006-06-02 特性を物体上または生命形態上に表示する方法および装置

Country Status (8)

Country Link
US (1) US20100054545A1 (ja)
EP (1) EP1904955A4 (ja)
JP (1) JP2008546028A (ja)
KR (1) KR20080038280A (ja)
AU (1) AU2006252382A1 (ja)
CA (1) CA2610657A1 (ja)
IL (1) IL187820A0 (ja)
WO (1) WO2006130831A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017191223A (ja) * 2016-04-14 2017-10-19 大日本印刷株式会社 投射型表示装置及び投射表示方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7881605B2 (en) * 2007-03-02 2011-02-01 Nikon Corporation Camera with built-in projector and projector device
US8911147B2 (en) * 2007-06-15 2014-12-16 Fluke Corporation System and method for analyzing a thermal image using configurable markers
US9241143B2 (en) 2008-01-29 2016-01-19 At&T Intellectual Property I, L.P. Output correction for visual projection devices
FR2942343B1 (fr) * 2009-02-16 2012-10-12 Airbus France Ensemble d'equipement pour aeronef comprenant un capteur video et au moins deux dispositifs de visualisation tete haute
US9948872B2 (en) * 2009-03-02 2018-04-17 Flir Systems, Inc. Monitor and control systems and methods for occupant safety and energy efficiency of structures
US20110050905A1 (en) * 2009-08-26 2011-03-03 United States Of America, As Represented By The Secretary Of The Army Target-Conforming Illuminator System
EP2635022A1 (en) * 2012-02-29 2013-09-04 Flir Systems AB A method and system for performing alignment of a projection image to detected infrared (IR) radiation information
US8978982B2 (en) * 2012-06-19 2015-03-17 Symbol Technologies, Inc. Aiming system for imaging scanner
US9686481B1 (en) * 2014-03-17 2017-06-20 Amazon Technologies, Inc. Shipment evaluation using X-ray imaging
WO2016036352A1 (en) * 2014-09-03 2016-03-10 Hewlett-Packard Development Company, L.P. Presentation of a digital image of an object
WO2016036370A1 (en) * 2014-09-04 2016-03-10 Hewlett-Packard Development Company, L.P. Projection alignment
US10754427B2 (en) * 2015-03-12 2020-08-25 Vita-Mix Management Corporation Display system for blending systems
EP3284396B1 (en) * 2016-08-16 2020-02-12 Leica Instruments (Singapore) Pte. Ltd. Observation apparatus and method for visual enhancement of an observed object

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4502075A (en) * 1981-12-04 1985-02-26 International Remote Imaging Systems Method and apparatus for producing optical displays
JPS59193682A (ja) * 1983-04-18 1984-11-02 Omron Tateisi Electronics Co 撮像システム
US6379009B1 (en) * 1996-04-24 2002-04-30 James L. Fergason Conjugate optics projection display with image enhancement
JP4065327B2 (ja) * 1996-10-08 2008-03-26 株式会社日立メディコ 投影像表示方法および装置
US5969754A (en) * 1996-12-09 1999-10-19 Zeman; Herbert D. Contrast enhancing illuminator
US6115022A (en) * 1996-12-10 2000-09-05 Metavision Corporation Method and apparatus for adjusting multiple projected raster images
US6198799B1 (en) * 1998-01-30 2001-03-06 Konica Corporation X-ray image forming method and x-ray image forming system
GB2350510A (en) * 1999-05-27 2000-11-29 Infrared Integrated Syst Ltd A pyroelectric sensor system having a video camera
US6473489B2 (en) * 1999-09-30 2002-10-29 Siemens Corporate Research, Inc Apparatus for superimposition of X-ray and video images
US6229873B1 (en) * 1999-09-30 2001-05-08 Siemens Corporate Research, Inc Method for aligning an apparatus for superimposing X-ray and video images
US6618076B1 (en) * 1999-12-23 2003-09-09 Justsystem Corporation Method and apparatus for calibrating projector-camera system
US6556858B1 (en) * 2000-01-19 2003-04-29 Herbert D. Zeman Diffuse infrared light imaging system
US7239909B2 (en) * 2000-01-19 2007-07-03 Luminetx Technologies Corp. Imaging system using diffuse infrared light
US8078263B2 (en) * 2000-01-19 2011-12-13 Christie Medical Holdings, Inc. Projection of subsurface structure onto an object's surface
JP3807721B2 (ja) * 2000-02-21 2006-08-09 シャープ株式会社 画像合成装置
GB0004351D0 (en) * 2000-02-25 2000-04-12 Secr Defence Illumination and imaging devices and methods
US6370881B1 (en) * 2001-02-12 2002-04-16 Ge Medical Systems Global Technology Company Llc X-ray imager cooling device
US6920236B2 (en) * 2001-03-26 2005-07-19 Mikos, Ltd. Dual band biometric identification system
US7555157B2 (en) * 2001-09-07 2009-06-30 Geoff Davidson System and method for transforming graphical images
US7710391B2 (en) * 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US6837616B2 (en) * 2002-08-27 2005-01-04 Ircon, Inc. Method and system for determining the rotational position of a molten metal vehicle
US7198404B2 (en) * 2003-04-03 2007-04-03 Siemens Medical Solutions Usa, Inc. Real-time acquisition of co-registered X-ray and optical images
US7657059B2 (en) * 2003-08-08 2010-02-02 Lockheed Martin Corporation Method and apparatus for tracking an object
US7302174B2 (en) * 2003-12-31 2007-11-27 Symbol Technologies, Inc. Method and apparatus for capturing images using a color laser projection display
US20070019787A1 (en) * 2004-01-06 2007-01-25 Zuckier Lionel S Fusion imaging using gamma or x-ray cameras and a photographic-camera
US7208733B2 (en) * 2004-08-24 2007-04-24 International Electronic Machines Corp. Non-visible radiation imaging and inspection
WO2006041834A2 (en) * 2004-10-04 2006-04-20 Disney Enterprises, Inc. Interactive projection system and method
EP2155100A4 (en) * 2007-06-08 2013-11-06 Cynosure Inc SECURITY FOLLOWING THERMAL SURGERY

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017191223A (ja) * 2016-04-14 2017-10-19 大日本印刷株式会社 投射型表示装置及び投射表示方法

Also Published As

Publication number Publication date
WO2006130831A2 (en) 2006-12-07
WO2006130831A3 (en) 2007-09-07
CA2610657A1 (en) 2006-12-07
EP1904955A4 (en) 2010-01-13
KR20080038280A (ko) 2008-05-06
US20100054545A1 (en) 2010-03-04
AU2006252382A1 (en) 2006-12-07
WO2006130831A9 (en) 2007-03-15
AU2006252382A2 (en) 2006-12-07
IL187820A0 (en) 2008-08-07
EP1904955A2 (en) 2008-04-02

Similar Documents

Publication Publication Date Title
JP2008546028A (ja) 特性を物体上または生命形態上に表示する方法および装置
CN104871084B (zh) 自适应投影仪
EP2284814A1 (en) Systems and methods for night time surveillance
CN104272717B (zh) 用于执行投影图像到检测到的红外线(ir)辐射信息的对准的方法和系统
US7315241B1 (en) Enhanced perception lighting
US8896701B2 (en) Infrared concealed object detection enhanced with closed-loop control of illumination by.mmw energy
CN110476148B (zh) 用于提供多视图内容的显示系统和方法
US20090225001A1 (en) Hybrid Display Systems and Methods
CN102959616A (zh) 自然交互的交互真实性增强
US20070247457A1 (en) Device and Method for Presenting an Image of the Surrounding World
CN105247414B (zh) 影像投射装置
US20050280628A1 (en) Projector pen image stabilization system
US20120075477A1 (en) Handheld terahertz wave imaging system
KR20130107981A (ko) 시선 추적 장치 및 방법
EP1883850A1 (en) Method of navigating in a surrounding world captured by one or more image sensors and a device for carrying out the method
JP5601179B2 (ja) 視線検出装置及び視線検出方法
JPWO2016158855A1 (ja) 撮像システム、撮像装置、撮像方法、及び撮像プログラム
EP4134917A1 (en) Imaging systems and methods for facilitating local lighting
CN105814604B (zh) 用于提供位置信息或移动信息以用于控制车辆的至少一种功能的方法和系统
IL274205B1 (en) A system and method for multi-level viewing
US20050105793A1 (en) Identifying a target region of a three-dimensional object from a two-dimensional image
WO2009073009A1 (en) Method and apparatus for projecting viewable data onto an imaged object
JP7189484B2 (ja) 登録システム、空気調和システム及び登録プログラム
CA3111783C (en) Target display device
KR20120080914A (ko) 비접촉식 인터랙션 시스템 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090527

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20110812

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20110812