JP2016533115A - 可視光及び近非可視光の合成の検出、処理及び表示を容易にすること - Google Patents

可視光及び近非可視光の合成の検出、処理及び表示を容易にすること Download PDF

Info

Publication number
JP2016533115A
JP2016533115A JP2016536282A JP2016536282A JP2016533115A JP 2016533115 A JP2016533115 A JP 2016533115A JP 2016536282 A JP2016536282 A JP 2016536282A JP 2016536282 A JP2016536282 A JP 2016536282A JP 2016533115 A JP2016533115 A JP 2016533115A
Authority
JP
Japan
Prior art keywords
digital camera
nnv
spectral range
information
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016536282A
Other languages
English (en)
Other versions
JP6556721B2 (ja
Inventor
シー. リード,ディラン
シー. リード,ディラン
Original Assignee
エイ・ティ・アンド・ティ インテレクチュアル プロパティ アイ,エル.ピー.
エイ・ティ・アンド・ティ インテレクチュアル プロパティ アイ,エル.ピー.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エイ・ティ・アンド・ティ インテレクチュアル プロパティ アイ,エル.ピー., エイ・ティ・アンド・ティ インテレクチュアル プロパティ アイ,エル.ピー. filed Critical エイ・ティ・アンド・ティ インテレクチュアル プロパティ アイ,エル.ピー.
Publication of JP2016533115A publication Critical patent/JP2016533115A/ja
Application granted granted Critical
Publication of JP6556721B2 publication Critical patent/JP6556721B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/743Bracketing, i.e. taking a series of images with varying exposure conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

デジタルカメラが、可視光及び近非可視(「NNV」)光から構成される合成画像にアクセスし、そのような合成画像を処理し、表示する。方法が、デジタルカメラによって、第1の電磁スペクトル範囲に関連付けられる第1の情報及び第2の電磁スペクトル範囲に関連付けられる第2の情報を有する生データにアクセスすることを含む。第1の電磁スペクトル範囲は実質的に可視スペクトル内に存在し、第2の電磁スペクトル範囲は実質的にNNVスペクトル内に存在する。また、その方法は、可視スペクトルに関する生データを最適化し、それにより、第1の視覚画像表現を生成することと、NNVスペクトルに関する生データを最適化し、それにより、第2の視覚画像表現を生成することとを含む。また、その方法は、第1の視覚画像表現及び第2の視覚画像表現を合成し、合成画像を生成することを含む。その後、デジタルカメラは、合成画像の表示を開始する。【選択図】図1

Description

[関連出願の相互参照]
本出願は、その全体が引用することにより本明細書の一部をなす、2013年8月20日に出願の「FACILITATING DETECTION, PROCESSING AND DISPLAY OF COMBINATION OF VISIBLE AND NEAR NON-VISIBLE LIGHT」と題する米国特許出願第13/971,520号の優先権を主張する。
本開示は包括的には、画像処理に関し、具体的には、可視光及び近非可視(NNV:near non-visible)光の合成の検出、処理及び表示を容易にすることに関する。
本特許ファイル又は出願ファイルはカラー仕上げの少なくとも1つの図面を含む。カラー図面を伴うこの特許又は特許出願公開のコピーは、要請に基づき、必要な手数料を支払うことにより、特許商標庁から提供される。
本明細書において説明される実施形態による、合成可視及びNNV光を処理し、表示するように構成されるデジタルカメラと、NNV光を反射するように構成される材料を支持する物体とを含むシステムの例示的なブロック図である。 本明細書において説明される実施形態による、図1の物体から反射される可視光の画像表現を表示するデジタルカメラ表示領域の例示的なブロック図である。 本明細書において説明される実施形態による、図2の物体から反射される可視光及びNNV光から構成される合成画像を表示するデジタルカメラ表示領域の例示的なブロック図である。 本明細書において説明される実施形態による、可視スペクトル及びNNVスペクトルを含む電磁スペクトルの例示的な概略図である。 本明細書において説明される実施形態による、可視光情報及びNNV光情報から生成される合成画像のための処理及びその表示を容易にするように構成されるデジタルカメラを有するモバイルデバイスの例示的なブロック図である。 本明細書において説明される実施形態による、可視光情報及びNNV光情報から生成された合成画像のための処理及びその表示を容易にするように構成されるデジタルカメラの例示的なブロック図である。 本明細書において説明される実施形態による、可視光及びNNV光から生成された合成画像のための処理及びその表示を容易にするように構成されるデジタルカメラのデータ記憶の例示的なブロック図である。 本明細書において説明される実施形態による、可視光モード及び合成光モードにおいて動作するようにデジタルカメラを構成するためのデジタルカメラ表示領域表示設定の例示的なブロック図である。 本明細書において説明される実施形態による、可視光情報及びNNV光情報から生成される合成画像のための処理及びその表示を容易にするように構成されるデジタルカメラの可視光及びNNV光処理コンポーネントの例示的なブロック図である。 本明細書において説明される実施形態による、NNVスペクトル内の近赤外光及び赤外光に関する、シリコン、インジウムガリウムヒ素(InGaAs)、可視InGaAs及びナイトビジョンチューブの場合の量子効率対波長のグラフである。 本明細書において説明される実施形態による、可視光情報を処理し、表示することから生成される画像を表示する例示的なデジタルカメラ表示領域を示す図である。 本明細書において説明される実施形態による、可視光情報及びNNV光情報を処理し、表示することから生成される画像を表示する例示的なデジタルカメラ表示領域を示す図である。 本明細書において説明される実施形態による、可視光情報を処理し、表示することから生成される画像を表示する例示的なデジタルカメラ表示領域を示す図である。 本明細書において説明される実施形態による、可視光情報及びNNV光情報を処理し、表示することから生成される画像を表示する例示的なデジタルカメラ表示領域を示す図である。 本明細書において説明される実施形態による、可視光情報を処理し、表示することから生成される画像を表示する例示的な自動車ダッシュボード表示領域を示す図である。 本明細書において説明される実施形態による、可視光情報及びNNV光情報を処理し、表示することから生成される画像を表示する例示的な自動車ダッシュボード表示領域を示す図である。 本明細書において説明される実施形態による、合成可視及びNNV光を処理し、表示するように構成されるデジタルカメラと、NNVスペクトルにおいて放射する物体とを含むシステムの例示的なブロック図である。 本明細書において説明される実施形態による、図17の物体から取り込まれる可視光及びNNV光から構成される合成画像を表示するデジタルカメラ表示領域の例示的なブロック図である。 本明細書において説明される実施形態による、可視光情報及びNNV光情報からの合成画像と、可視光情報からの画像とをピクチャインピクチャとして並行して表示するようにデジタルカメラを構成するか、又はNNV検出警告を与えるようにデジタルカメラを構成するための設定を示すデジタルカメラ表示領域の例示的なブロック図である。 本明細書において説明される実施形態による、可視光情報及びNNV光情報からの合成画像と、可視光情報からの画像とをピクチャインピクチャとして並行して表示するデジタルカメラ表示領域の例示的なブロック図である。 本明細書において説明される実施形態による、被検出NNV光の警告を与えるように構成されるアイコンを含む、デジタルカメラの例示的なブロック図である。 本明細書において説明される実施形態による、可視光情報及びNNV光情報から合成画像を検出し、処理し、及び/又は表示するように構成されるデジタルカメラを含むシステムの例示的なブロック図である。 本明細書において説明される実施形態による、可視光及びNNV光から構成される合成画像の検出、処理及び/又は表示を容易にする方法の例示的な流れ図である。 本明細書において説明される実施形態による、可視光及びNNV光から構成される合成画像の検出、処理及び/又は表示を容易にする方法の例示的な流れ図である。 本明細書において説明される実施形態による、可視光及びNNV光から構成される合成画像の検出、処理及び/又は表示を容易にする方法の例示的な流れ図である。 本明細書において説明される実施形態による、可視光及びNNV光から構成される合成画像の検出、処理及び/又は表示を容易にする方法の例示的な流れ図である。 本明細書において説明される実施形態による、可視光及びNNV光から構成される合成画像の検出、処理及び/又は表示を容易にする方法の例示的な流れ図である。 本明細書において説明される実施形態による、合成可視及びNNV光の検出、処理及び/又は表示を容易にするように動作可能なコンピュータのブロック図である。
ここで、1つ又は複数の実施形態が図面を参照しながら説明され、図面では、同じ参照番号が、全体を通して同じ要素を指すために用いられる。以下の説明では、説明の目的上、種々の実施態様を完全に理解してもらうために、具体的な細部が記載される。しかしながら、これらの細部を用いることなく(そして、任意の特定のネットワーク化された環境又は標準規格に適用することなく)種々の実施形態を実施できることは明らかである。
本出願において用いられるときに、幾つかの実施形態において、「コンポーネント」、「システム」等の用語は、コンピュータ関連エンティティ、又は1つ若しくは複数の特定の機能を有する動作可能な装置に関連付けられるエンティティを指すか、又はそのようなエンティティを含むことを意図しており、そのエンティティはハードウェア、ハードウェア及びソフトウェアに組み合わせ、ソフトウェア、又は実行中のソフトウェアのいずれかとすることができる。一例として、コンポーネントは、限定はしないが、プロセッサ上で実行されるプロセス、プロセッサ、オブジェクト、実行ファイル、実行のスレッド、コンピュータ実行可能命令、プログラム及び/又はコンピュータとすることができる。例示であって、限定はしないが、サーバー上で実行されているアプリケーション、及びサーバーはいずれもコンポーネントとすることができる。1つ又は複数のコンポーネントは、プロセス及び/又は実行のスレッド内に存在することができ、コンポーネントは、1つのコンピュータ上に局在することができるか、又は2つ以上のコンピュータ間に分散することができる。さらに、これらのコンポーネントは、種々のデータ構造を記憶している種々のコンピュータ可読媒体から実行することができる。コンポーネントは、例えば、1つ又は複数のデータパケット(例えば、ローカルシステム内、分散システム内の別のコンポーネントとインタラクトし、及び/又はインターネットのようなネットワークを介して信号によって他のシステムとインタラクトする1つのコンポーネントからのデータ)を有する信号に従って、ローカルプロセス及び/又はリモートプロセスを介して通信することができる。別の例として、コンポーネントは、電気回路又は電子回路によって動作する機械部分によって提供される特殊機能を有する装置とすることができ、回路はプロセッサによって実行されるソフトウェアアプリケーション又はファームウェアアプリケーションによって動作し、プロセッサは装置の内部又は外部に存在することができ、ソフトウェアアプリケーション又はファームウェアアプリケーションの少なくとも一部を実行することができる。更に別の例として、コンポーネントは、機械部分を用いることなく電子コンポーネントを通して特殊機能を提供する装置とすることができ、電子コンポーネントは、その中に、電子コンポーネントの機能の少なくとも一部を与えるソフトウェア又はファームウェアを実行するプロセッサを含むことができる。種々のコンポーネントが別々のコンポーネントとして例示されてきたが、例示的な実施形態から逸脱することなく、複数のコンポーネントを単一のコンポーネントとして実現できるか、又は単一のコンポーネントを複数のコンポーネントとして実現できることは理解されよう。
さらに、種々の実施形態は、コンピュータを制御して開示される発明内容を実施する、ソフトウェア、ファームウェア、ハードウェア又は任意のその組み合わせを作製する標準的なプログラミング及び/又はエンジニアリング技法を用いる方法、装置又は製造品として実現することができる。本明細書において用いられるときに、「製造品」という用語は、任意のコンピュータ可読デバイス又はコンピュータ可読記憶/通信媒体からアクセス可能なコンピュータプログラムを含むことを意図している。例えば、コンピュータ可読記憶媒体は、限定はしないが、磁気記憶デバイス(例えば、ハードディスク、フロッピィディスク、磁気ストリップ)、光ディスク(例えば、コンパクトディスク(CD)、デジタル多用途ディスク(DVD))、スマートカード及びフラッシュメモリデバイス(例えば、カード、スティック、キーデバイス)を含むことができる。当然、当業者は、種々の実施形態の範囲又は趣旨から逸脱することなく、この構成に数多くの変更を加えることができることは認識されよう。
さらに、「例」及び「例示的」という言葉は、本明細書において、「事例」又は「例示」としての役割を果たすことを意味するために用いられる。「例」又は「例示的」として本明細書において説明される任意の実施形態又は設計は、必ずしも、他の実施形態又は設計より好ましいか、又は有利であると解釈されるべきではない。むしろ、例又は例示的という言葉を使用することは、概念を具体的に提示することを意図している。本出願において用いられるときに、「又は」という用語は、排他的な「又は」ではなく、包括的な「又は」を意味することを意図している。すなわち、他に明記されないか、又は文脈から明らかでない限り、「XがA又はBを利用する」は、自然な包括的置換のいずれかを意味することを意図している。すなわち、XがAを利用する場合、XがBを利用する場合、又はXがA及びBの両方を利用する場合、上記の事例のいずれのもとでも「XがA又はBを利用する」が満たされる。さらに、冠詞「1つの(a及びan)」は、本出願及び添付の特許請求の範囲において用いられるときに、単数形を対象にするように他に明記されないか、又は文脈から明らかでない限り、一般的に、「1つ又は複数の」を意味するように解釈されるべきである。
さらに、「モバイルデバイス機器」、「移動局」、「モバイル」、「加入者局」、「アクセス端末」、「端末」、「ハンドセット」、「モバイルデバイス」(及び/又は類似の専門用語を表す用語)は、データ、制御、音声、ビデオ、サウンド、ゲーム又は概ね任意のデータストリーム若しくはシグナリングストリームを受信又は搬送するワイヤレス通信サービスの加入者又はモバイルデバイスによって利用されるワイヤレスデバイスを指すことができる。上記の用語は、本明細書及び関連する図面の参照時において区別なく利用される。同様に、「アクセスポイント(AP)」、「基地局(フェムトセルデバイス)」、「NodeB」、「発展型NodeB(eNodeB)」、「ホームNodeB(HNB)」等も本出願において区別なく利用され、1つ又は複数の加入者局からデータ、制御、音声、ビデオ、サウンド、ゲーム又は概ね任意のデータストリーム若しくはシグナリングストリームを送信及び/又は受信するワイヤレスネットワークコンポーネント又は機器を指している。データストリーム及びシグナリングストリームは、パケット化されたフロー、又はフレームに基づくフローとすることができる。
さらに、「モバイルデバイス」、「加入者」、「顧客」、「消費者」等の用語は、文脈によってそれらの用語を特に区別することが正当でない限り、全体にわたって区別なく利用される。そのような用語は、シミュレートされた視覚、音声認識等を提供することができる人工知能(例えば、複雑な数学的形式に基づいて推論を行う能力)を通してサポートされる人間エンティティ又は自動化されたコンポーネントを指すことができることは理解されたい。
本明細書において説明される実施形態は、限定はしないが、ワイヤレスフィデリティ(Wi−Fi)、モバイル通信用グローバルシステム(GSM)、ユニバーサルモバイル電気通信システム(UMTS)、マイクロ波アクセスのための世界的相互運用(WiMAX)、高度汎用パケット無線サービス(高度GPRS)、第3世代パートナーシッププロジェクト(3GPP)長期発展型(LTE)、第3世代パートナーシッププロジェクト2(3GPP2)超モバイル広帯域(UMB)、高速パケットアクセス(HSPA)、Zigbee及び他の802.XXワイヤレス技術及び/又はレガシー電気通信技術を含む、実質的に任意のワイヤレス通信技術において利用することができる。さらに、「フェムト」及び「フェムトセル」という用語は区別なく使用され、「マクロ」及び「マクロセル」という用語は区別なく使用される。
本明細書において説明される実施形態によれば、情報(可視光情報及びNNV光情報)の複数の層を処理し、人の目に見えるように並行して表示できるようになる。本明細書において用いられるときに、「可視スペクトル」という用語は、目に見えるか、又は人の目で検出することができる電磁スペクトルの部分、及び/又は390ナノメートル(nm)〜約700nmの波長を有する電磁スペクトルの部分を意味することができる。本明細書において用いられるときに、「可視光」という用語は、可視スペクトル内の電磁放射、及び/又は約390nm〜約700nmの波長を有する電磁放射を意味することができる。
本明細書において用いられるときに、「非可視スペクトル」又は「不可視スペクトル」は、目に見えないか、又は人の目で検出できない電磁スペクトルの部分、及び/又は約365nmより短いか、又は約725nmより長い波長を有する電磁スペクトルの部分を意味することができる。本明細書において用いられるときに、「非可視光」又は「不可視光」は、非可視スペクトル又は不可視スペクトル内の電磁放射、及び/又は約365nmより短く、及び/又は約725nmより長い波長を有する電磁放射を意味することができる。
本明細書において用いられるときに、「NNVスペクトル」という用語は、約389nm〜約365nmの波長を有し、及び/又は約701nm〜約725nmの波長を有する電磁スペクトルの部分を意味することができる。本明細書において用いられるときに、「NNV」という用語は、NNVスペクトル内の電磁放射、及び/又は約389nm〜約365nmの波長を有し、及び/又は約701nm〜約725nmの波長を有する電磁放射を意味することができる。
幾つかの実施形態では、上記の波長範囲の代わりに、非可視光のための波長(又は非可視スペクトル)及び不可視光のための波長(又は不可視スペクトル)の範囲は、約710nmより長く、約380nmより短くすることができる。この実施形態では、NNV光のための波長(又はNNVスペクトル)の範囲は、約701nm〜約710nm、及び/又は約389nm〜約380nmとすることができる。
一実施形態では、方法が、プロセッサを備えるデジタルカメラによって、第1の電磁スペクトル範囲に関連付けられる第1の情報と、第2の電磁スペクトル範囲に関連付けられる第2の情報との両方を有する生データにアクセスすることを含むことができ、第1の電磁スペクトル範囲は実質的に可視スペクトル内に存在し、第2の電磁スペクトル範囲は実質的にNNVスペクトル内に存在する。また、その方法は、可視スペクトルに関する生データを最適化し、それにより第1の視覚画像表現を生成することと、NNVスペクトルに関する生データを最適化し、それにより、第2の視覚画像表現を生成することとを含むこともできる。
別の実施形態では、コンピュータ可読記憶媒体がコンピュータ実行可能命令を記憶し、その命令は、デジタルカメラのプロセッサによって実行されるときに、デジタルカメラに動作を実行させる。それらの動作は、第1の電磁スペクトル範囲に関連付けられる第1の情報と、第2の電磁スペクトル範囲に関連付けられる第2の情報との両方を有する生データにアクセスすることを含むことができ、第1の電磁スペクトル範囲は実質的に可視スペクトル内に存在し、第2の電磁スペクトル範囲は実質的にNNVスペクトル内に存在する。また、その動作は、可視スペクトルに関する生データを最適化し、それにより第1の視覚画像表現を生成することと、NNVスペクトルに関する生データを最適化し、それにより、第2の視覚画像表現を生成することとを含むことができる。また、その動作は、第1の視覚画像表現と第2の視覚画像表現とを合成し、合成画像を生成することを含むこともできる。
別の実施形態では、デジタルカメラが、コンピュータ実行可能命令を記憶するように構成されるメモリと、メモリに通信可能に接続され、動作を実行するためのコンピュータ実行可能命令の実行を容易にするように構成されるプロセッサとを含む。それらの動作は、第1の電磁スペクトル範囲に関連付けられる第1の情報と、第2の電磁スペクトル範囲に関連付けられる第2の情報との両方を有する生データにアクセスすることを含むことができ、第1の電磁スペクトル範囲は実質的に可視スペクトル内に存在し、第2の電磁スペクトル範囲は実質的にNNVスペクトル内に存在する。また、その動作は、可視スペクトルに関する生データを最適化し、それにより第1の視覚画像表現を生成することと、NNVスペクトルに関する生データを最適化し、それにより、第2の視覚画像表現を生成することとを含むことができる。また、その動作は、第1の視覚画像表現と第2の視覚画像表現とを合成し、合成画像を生成することを含むこともできる。
1つ又は複数の実施形態は、製品を使用する消費者、又は製品に関連付けられる関係者に提供される情報量を増やすために、可視光情報及びNNV情報の両方を有利に処理し、表示することができる。その情報は、スチール写真又はビデオを介して、任意の数の異なるタイプのモバイルデバイス(例えば、デジタルカメラ、スマートフォン、タブレット、自動車)から提供することができる。さらに、可視光及び/又はNNV情報は、任意の数の異なるタイプの有線又はワイヤレスネットワークを介して2つのモバイルデバイス間で送信することができる。このようにして、本明細書において説明される実施形態によって、ユーザー間で共有することができる1組の情報を著しく増やすことができる。
1つ又は複数の実施形態は、ユーザーのための普及した拡張現実への適用を容易にするために本明細書において説明される技術によって強化された既存のモバイルデバイス(例えば、NNV光情報及び可視情報を処理するための特別なハードウェアフィルタを有する修正されたカメラ/デバイスの代わりに、既存のデジタルカメラ)において既存の相補型金属酸化膜半導体(CMOS)技術を有利に利用する。幾つかの実施形態では、そのデジタルカメラでは、ハードウェアの代わりにソフトウェアを利用することができる(例えば、ピクチャ内の可視光情報及びNNV光情報を保持するために、ピクチャをソフトウェアによってデジタル形式でフィルタリングすることができる)。
複数の実施形態を利用して、限定はしないが、公衆安全への適用、製品物流、公共部門サービス、工業への適用等を含む、数多くの異なる適用例を容易にすることができる。例えば、実施形態のうちの1つ又は複数を利用して、製品ラベリング(例えば、目につくメッセージ、広告、クイックレスポンス(QR)コードに隠される)、製品ブランド変更/ブランド提携(例えば、特別な販売促進情報を含む製品パッケージング)、公衆安全(例えば、自律車両及び道路障害物警告、パニック停止、一時的通行ルート変更情報)、化粧品及びモデリング(例えば、人の肉眼では識別できない特殊な化粧及び一時的な刺青)、及び/又はテレビ並行多重番組表示(例えば、複数のテレビ番組の並行表示)を容易にすることができる。
図1は、合成可視及びNNV光を処理し、表示するように構成されるデジタルカメラと、NNV光を反射するように構成される材料を支持する物体とを含むシステムの例示的なブロック図を示す。システム100は、可視光情報108及びNNV光情報(図示せず)を支持する物体106と、光104を放射するように構成されるデジタルカメラ102とを含む。図示される実施形態は、物体106が人の肉眼で見える態様を例示するために、NNV光情報を用いることなく物体106を示し、可視光情報108のみを示す。しかしながら、物体106は、NNV光情報も含むことができる。
NNV光情報は、1つ又は複数の材料上への光104の入射に応答して、NNVスペクトル内の電磁放射を反射することができる1つ又は複数の材料(又はその組み合わせ)を含むことができる。例えば、その材料は、人の肉眼に対して実質的にNNVでありながら、デジタルカメラ102からの光104に応答してNNV光情報を反射するように構成されるナノ材料とすることができる。幾つかの実施形態では、ナノ材料は、物体106に塗布されるコーティングを含むことができる。ナノ材料は、NNVスペクトル内の光を反射するように構成及び/又は設計することができる。種々の実施形態において、ナノ粒子のサイズ及び配置を変更することに基づいて、異なるナノ材料を設計することができる(例えば、粒子が互いにいかに密集して詰め込まれるかが、反射される特定のNNV光を決定することができる)。
本明細書において用いられるときに、「可視光情報」という用語は、可視スペクトル内の光についての情報を意味することができる。例えば、可視光情報は、人の目によって検出可能な色とすることができる。その場合に、物体106の可視光情報108は、人の目で知覚できる情報、例えば、可視スペクトル内の1つ又は複数の色を有する文字列、ベタ塗及び/又はパターンとすることができる。
システム100は、可視光情報108及びNNV光情報(図示せず)を支持する物体106と、NNV光情報を物体106から反射させる光104を放射するように構成されるデジタルカメラ102とを含む。
図2は、本明細書において説明される実施形態による、図1の物体から反射された可視光の画像表現を表示するデジタルカメラ表示領域の例示的なブロック図を示す。デジタルカメラ102は2つの異なるモード:デジタルカメラ102が可視光情報108のみを処理し、表示する第1のモード、及びデジタルカメラ102が、可視光情報108及びNNV光情報110の両方を処理し、並行して表示する第2のモードにおいて動作することができる。図示される実施形態では、デジタルカメラ102は、第1のモードにおいて動作するように構成され、デジタルカメラ102のデジタルカメラ表示領域106は、物体106の可視光情報108のみを表示する。
図3は、本明細書において説明される実施形態による、図2の物体から反射された可視光及びNNV光から構成される合成画像を表示するデジタルカメラ表示領域の例示的なブロック図を示す。図示される実施形態では、デジタルカメラ102は、第2のモードにおいて動作するように構成され、デジタルカメラ102のデジタルカメラ表示領域106は、物体106の可視光情報108及びNNV光情報110の両方を並行して表示する。
図示されるように、物体106上に、関係者が使用するための製品物流情報(例えば、シリアル番号)を与えることができる。例えば、関係者は在庫管理、材料運搬、製品配置等に関連付けることができる。他の実施形態では、情報は、例えば、中毒事故管理センター情報とすることができる。異なる物体上に任意の数の異なるタイプのNNV光情報110を与えることができる。
図1、図2及び図3に示される実施形態は、デジタルカメラ102から放射される光104に応答して、デジタルカメラ102によってNNV光情報が読み出されることを説明するが、種々の実施形態において、デジタルカメラ102は、合成可視光情報及びNNV光情報の処理及び/又は表示の前に、光104を放射する必要はない。代わりに、種々の実施形態において、デジタルカメラ102は、あらかじめ記憶されるか、又は別の方法であらかじめ読み出される可視光情報及び/又はNNV光情報にアクセスするように構成することができ、処理及び表示前に光104を放射する必要はない。
図4は、電磁スペクトルの例示的な概略図を示す。電磁スペクトル400は、X線波から長い電波までに及び、390nm〜700nmの可視スペクトルと、NNVスペクトル402、404とを含む。説明されたように、NNVスペクトル402は、約389nm〜約365nmの波長を有する電磁スペクトル400の部分を含むことができ、一方、NNVスペクトル404は、約701nm〜約725nmの波長を有する電磁スペクトル400の部分を含むことができる。
幾つかの実施形態では、NNVスペクトル402は、約389nm〜約380nmの波長を有する電磁スペクトル400の部分を含むことができ、及び/又はNNVスペクトル404は、約701nm〜約710nmの波長を有する電磁スペクトル400の部分を含むことができる。
ここで図5を参照すると、本明細書において説明される実施形態による、可視光情報及びNNV光情報から生成された合成画像のための処理及び表示を容易にするように構成されるデジタルカメラを有するモバイルデバイスの例示的なブロック図が示される。簡潔にするために、本明細書において説明されるシステム及び/又は装置のそれぞれの実施形態において用いられる同様の要素は繰り返し説明しない。
モバイルデバイス500は、通信コンポーネント502、表示コンポーネント504、メッセージングコンポーネント506、デジタルカメラ102、カレンダーコンポーネント508、ソーシャルメディアコンポーネント510、メモリ512、プロセッサ514及び/又はデータ記憶装置516を含むことができる。種々の実施形態において、通信コンポーネント502、表示コンポーネント504、メッセージングコンポーネント506、デジタルカメラ102、カレンダーコンポーネント508、ソーシャルメディアコンポーネント510、メモリ512、プロセッサ514及び/又はデータ記憶装置516は、モバイルデバイス500の1つ又は複数の機能を実行するために互いに電気的に、及び/又は通信可能に結合することができる。
モバイルデバイス500は、NNV光情報及び可視光情報から構成される合成光にアクセスし、そのような合成光を処理し、及び/又は表示するように構成される任意のモバイルデバイスとすることができる。例えば、種々の実施形態において、モバイルデバイス500は、限定はしないが、セルラー電話、カメラ機能を備えたラップトップ、スマートフォン等を含むことができる。
通信コンポーネント502は、モバイルデバイス500との間で情報を送信及び/又は受信することができる。例えば、種々の実施形態において、通信コンポーネント502は、モバイルデバイス500において、光情報を送信及び/又は受信することができる。その場合に、通信コンポーネント502は、種々の実施形態において、送信機及び/又は受信機を含むことができる。光情報は、種々の実施形態において、可視光情報及び/又はNNV光情報とすることができる。光情報は、通信コンポーネント502によって、ワイヤレスチャネル又は有線チャネルを介して、送信することができ、受信することができ、及び/又は別の方法でアクセスすることができる。例えば、可視光情報又はNNV光情報は、モバイルデバイスから遠隔したデータ記憶装置に記憶することができ、通信コンポーネント502が通信可能に結合されるチャネルを介してアクセスすることができる。種々の実施形態において、通信コンポーネント502は、限定はしないが、音声、ビデオ、文字列、データ等を含む、複数の異なるタイプの情報のいずれかを送信及び/又は受信することもできる。
表示コンポーネント504は、シーンの電子画像表現を出力するように構成される表示装置とすることができるか、又はそのような表示装置を含むことができる。シーンは、種々の実施形態において、可視光情報及び/又はNNV光情報を含むことができる。
表示コンポーネント504は、幾つかの実施形態では、単色カラースキームにおいて、他の実施形態では、多色カラースキームにおいて、及び/又は他の実施形態では、単色カラースキームと、可視スペクトル内の波長を有する1つ又は複数の他の色との組み合わせにおいて、電子画像表現を出力することができる。表示コンポーネント504がシーンを出力する態様は、モバイルデバイス500が構成される態様によって決めることができ、経時的に変化することができる。例えば、一実施形態では、表示コンポーネント504は、NNV光情報から構成される電子画像表現の部分を赤色で、可視光情報から構成される電子画像表現の部分をグレースケールで出力するように構成することができる。したがって、電子画像表現の視認者が、NNV光情報を容易に見ることができる。
幾つかの実施形態では、表示コンポーネント504は、液晶表示装置(LCD)及び/又は機能とすることができるか、又はそれを含むことができる。LCD技術は、薄膜トランジスタ又はインプレーンスイッチング回路及び/又は機能とすることができるか、又はそれを含むことができる。幾つかの実施形態では、表示コンポーネント504は、有機発光ダイオード又はアクティブマトリックス有機発光ダイオード回路及び/又は機能とすることができるか、又はそれを含むことができる。一実施形態では、表示コンポーネント504は、画像を表示することができる任意のタイプの表示装置とすることができる。
メッセージングコンポーネント506は、限定はしないが、電子メール、通話、ボイスメール、テキストメッセージ等を含む、1つ又は複数の異なるタイプのメッセージングを開始するか、又は容易にするように構成される構造、ハードウェア、ソフトウェア及び/又は機能を含むことができる。カンレンダーコンポーネント510は、カレンダー通知を提供する、カレンダーエントリを記憶する等のように構成される構造、ハードウェア、ソフトウェア及び/又は機能を含むことができる。ソーシャルメディアコンポーネント512は、限定はしないが、ソーシャルメディアポスト、ブログ等を示す情報の受信又は送信を含む、モバイルデバイス500とソーシャルメディアとの1つ又は複数の異なるタイプのやりとりを開始するか、又は容易にするように構成される構造、ハードウェア、ソフトウェア及び/又は機能を含むことができる。
メモリ512は、モバイルデバイス500(又はモバイルデバイス500の任意のコンポーネント)を参照しながら本明細書において説明される機能を実行するためのコンピュータ実行可能命令及び/又は情報を記憶するコンピュータ可読記憶媒体とすることができる。例えば、メモリ512は、モバイルデバイス500によって実行される表示、処理又は他のタイプの機能を実行するために、プロセッサ514によって実行することができるコンピュータ実行可能命令を記憶することができる。プロセッサ514は、モバイルデバイス500(又は、デジタルカメラ102を含む、その任意のコンポーネント)を参照しながら本明細書において説明される機能のうちの1つ又は複数を実行することができる。例えば、プロセッサ514は、可視光情報及び/又はNNV光情報から視覚画像表現を生成する画像処理機能、異なる視覚画像表現を合成して、単一の合成画像にする画像処理機能、NNV光情報に対比して可視光情報に関連付けられる合成画像の部分に色を付ける画像処理機能、及び/又は種々の異なるタイプの画像処理機能(例えば、解像度、定位、ピクチャサイズ、絞り、シャッター速度及び/又は焦点調整)を実行することができる。
データ記憶装置516は、図7を参照しながら更に詳細に説明することができる。図7に示されるように、データ記憶装置516は、デジタルカメラ102及び/又はモバイルデバイス500によってアクセスされ、受信され、及び/又は処理される情報を記憶するように構成することができる。例えば、データ記憶装置516は、可視光情報702、NNV光情報704、色情報706、可視光モード画像708、合成光モード画像710、可視光画像表現情報712、NNV光画像表現情報714を記憶することができる。幾つかの実施形態では、可視光モード画像708は、可視光情報に基づいて生成された画像を示す情報とすることができ、合成光モード画像710は、合成された可視光情報及びNNV光情報に基づいて生成される画像を示す情報とすることができる。
デジタルカメラ102は、図1、図2及び図3を参照しながら説明されたようなデジタルカメラ102の構造、ハードウェア、ソフトウェア及び/又は機能とすることができるか、又はそれを含むことができる。デジタルカメラ102は、図6、図8、図9及び図10を参照しながら更に説明することができる。
最初に図6及び図8を参照すると、図6には、本明細書において説明される実施形態による、可視光情報及びNNV光情報から生成された合成画像の処理及び表示を容易にするように構成されるデジタルカメラの例示的なブロック図が示される。図8は、本明細書において説明される実施形態による、可視光モード及び合成光モードにおいて動作するようにデジタルカメラを構成するための設定を表示するデジタルカメラ表示領域の例示的なブロック図を示す。簡潔にするために、本明細書において説明されるシステム及び/又は装置のそれぞれの実施形態において用いられる同様の要素は繰り返し説明しない。
図6に示されるように、デジタルカメラ102は、通信コンポーネント600、コンフィギュレーションコンポーネント602、可視及びNNV光処理(VNP)コンポーネント604、表示コンポーネント606、メモリ512、プロセッサ514、及び/又はデータ記憶装置516を含むことができる。種々の実施形態において、通信コンポーネント600、コンフィギュレーションコンポーネント602、VNPコンポーネント604、表示コンポーネント606、メモリ512、プロセッサ514、及び/又はデータ記憶装置516のうちの1つ又は複数は、デジタルカメラ102の1つ又は複数の機能を実行するために互いに電気的に、及び/又は通信可能に結合することができる。
図6の実施形態は表示コンポーネント606を示し、モバイルデバイス500はデジタルカメラ102を含むモバイルデバイス500を示すが、幾つかの実施形態では、デジタルカメラ102は、表示コンポーネント106とは別の表示コンポーネント606を有することができる(又は幾つかの実施形態では、デジタルカメラ102は、表示コンポーネント606を含まず、表示コンポーネント606の代わりに表示コンポーネント106に通信可能に結合することができる)。同様に、図6の実施形態は通信コンポーネント600を示すが、幾つかの実施形態では、デジタルカメラ102は、モバイルデバイス500とは別の通信コンポーネント600を有することができる(又は幾つかの実施形態では、デジタルカメラ102は、通信コンポーネント502とは別の異なる通信コンポーネント(例えば、通信コンポーネント600)を含むことができる)。
通信コンポーネント600は、種々の実施形態において、可視光情報及び/又はNNV光情報を送信し、及び/又は受信し、及び/又はその情報にアクセスするように構成される構造、ハードウェア、ソフトウェア及び/又は機能を含むことができる。その情報は、デジタルカメラ102が通信可能に結合することができるワイヤレスチャネル又は有線チャネルを介して、送信し、受信し、及び/又はアクセスすることができる。
図6及び図8を参照すると、コンフィギュレーションコンポーネント602は、デジタルカメラ102の動作を制御するための種々の設定を構成する構造、ハードウェア、ソフトウェア及び/又は機能を含む。図8に示されるように、コンフィギュレーションコンポーネント602がアクセス又は起動されるときの表示コンポーネント606の例示的なスクリーンショットは、デジタルカメラ102の以下の種々のタイプの設定:ピクチャモード802、フォーカスタイプ804(例えば、オートフォーカス、マニュアルフォーカス)、ピクチャ定位806(例えば、風景、ポートレート、パノラマ)、光処理808(例えば、可視光処理、NNV光処理、合成可視及びNNV光処理)、シャッター速度810及び/又は解像度812を制御するための情報を含むことができる。
図示されるように、幾つかの実施形態では、光処理608を選択することができ、デジタルカメラ102の少なくとも2つの動作モード:可視光モード814及び合成光モード816を表示することができる。幾つかの実施形態では、可視光モード814において、デジタルカメラ102は、可視光情報及びNNV光情報を処理するが、可視光情報のみから生成された画像を表示するように構成することができる。他の実施形態では、可視光モード814において、デジタルカメラ102は、可視光情報を処理し、可視光情報のみから生成された画像を表示するように構成することができる。
幾つかの実施形態では、合成光モード816において、デジタルカメラ102は、可視光情報及びNNV光情報を処理し、可視光情報及びNNV光情報の両方から生成された画像を表示するように構成することができる。
図示されないが、幾つかの実施形態では、コンフィギュレーションコンポーネント602は、第3のモード:NNV光モードにおいてデジタルカメラ102を構成することができる。幾つかの実施形態では、NNV光モードにおいて、デジタルカメラ102は、可視光情報及びNNV光情報を処理するが、NNV光情報のみから生成された画像を表示するように構成することができる。他の実施形態では、NNV光モードでは、デジタルカメラ102は、NNV光情報を処理し、NNV光情報のみから生成された画像を表示するように構成することができる。
VNPコンポーネント604は図9及び図10を参照しながら更に詳細に説明することができる。図示されるように、図9は、本明細書において説明される実施形態による、可視光情報及びNNV光情報から生成された合成画像のための処理及び表示を容易にするように構成されるデジタルカメラのVNPコンポーネントの例示的なブロック図を示す。
VNPコンポーネント604は、入出力(I/O)コンポーネント900、相補型金属酸化膜半導体(CMOS)イメージセンサ902、NNV光イメージセンサ904、信号処理コンポーネント906、メモリ512、プロセッサ514、及び/又はデータ記憶装置516を含むことができる。種々の実施形態において、入出力(I/O)コンポーネント900、CMOSイメージセンサ902、NNV光イメージセンサ904、信号処理コンポーネント906、メモリ512、プロセッサ514、及び/又はデータ記憶装置516のうちの1つ又は複数は、VNPコンポーネント604の1つ又は複数の機能を実行するために、互いに電気的に、及び/又は通信可能に結合することができる。簡潔にするために、本明細書において説明されるシステム及び/又は装置のそれぞれの実施形態において用いられる同様の要素は繰り返し説明しない。
種々の実施形態において、VNPコンポーネント604は、可視光情報及びNNV光情報から構成される合成光情報を処理すること、及びその表示を容易にすることを含む、可視光情報及び/又はNNV光情報を処理し、その表示を容易にする数多くの異なるタイプの機能を実行することができる。
I/Oコンポーネント900は、デジタルカメラ102によって取り込まれ、及び/又はデジタルカメラ102によって呼び出された光情報を受信し、及び/又はそのような光情報にアクセスすることができる。I/Oコンポーネント900は、表示コンポーネント106又は表示コンポーネント606によって表示することができる可視光情報、NNV光情報及び/又は合成光情報の電子画像表現を出力することもできる。I/Oコンポーネント900は、種々の実施形態において、VNPコンポーネント404、表示コンポーネント106及び/又は表示コンポーネント606によって使用されるための情報入力及び/又は出力をフォーマットすることができる。例えば、情報は、コンフィギュレーション設定に従って、及び/又は任意の数の異なる画像処理及び/又は表示標準規格に準拠するようにフォーマット設定することができる。
CMOSイメージセンサ902は、VNPコンポーネント604によって受信された可視光情報を電子に変換し、CMOSイメージセンサ902の1つ又は複数のセルの蓄積された電荷を求めることができる。CMOSイメージセンサ902は、可視光情報から構成される電子画像表現内の異なる位置に対応する異なる場所において電荷をピクセル値に変換することができる。幾つかの実施形態では、デジタルカメラ102は、可視光情報からの電子画像表現のための求められたピクセル値を、単色カラースキーム又はグレースケールカラースキームを示すピクセル値にマッピングするように構成することができる。他の実施形態では、電子画像表現は、蓄積された電荷から求められたピクセル値を示す色を含むことができる。
図9には、1つのCMOSイメージセンサ902及び1つのNNV光イメージセンサ904が示されているが、種々の実施形態において、VNPコンポーネント604内に数多くのCMOSイメージセンサ及び/又は数多くのNNV光イメージセンサを含むことができ、本明細書においてそのような実施形態も想定される。さらに、幾つかの実施形態では、CMOSイメージセンサ902の代わりに、又はそれに加えて、VNPコンポーネント604は、可視スペクトル内の光を処理するように構成される1つ又は複数の電荷結合デバイス(CCD)イメージセンサを含むことができる。
NNV光イメージセンサ904は、NNVスペクトル内の電磁放射を検出するように構成される1つ又は複数の構造及び/又は材料を含むことができる。幾つかの実施形態では、NNV光イメージセンサ904は、近赤外光(又は赤外光)を検出することができるCCDイメージセンサとすることができるか、又はそれを含むことができる。
幾つかの実施形態では、NNV光イメージセンサ904は、NNVスペクトル402及び/又はNNVスペクトル404内の電磁放射を検出することができる任意のデジタルイメージセンサとすることができる。幾つかの実施形態では、NNV光イメージセンサ904は、従来のデジタルカメラに含まれる従来のデジタルイメージセンサである。
幾つかの実施形態では、VNPコンポーネント904内の1つ又は複数のセンサは、NNVスペクトル内の近赤外光を検出することができるInGaAs(又は他の材料)から構成される1つ又は複数のフォトダイオードを含むことができる。図10は、本明細書において説明される実施形態による、NNVスペクトル内の近赤外光及び赤外光に関する、シリコン、InGaAs、可視InGaAs及びナイトビジョンチューブの場合の量子効率対波長のグラフを示す。そのグラフは、電磁スペクトルの可視領域、短波赤外(SWIR)領域、中波赤外(MWIR)領域及び長波赤外(LWIR)領域を示す。その場合に、シリコンは、可視光を検出するのに最も高い量子効率を有する。対照的に、可視InGaAsは1.06ミクロンレーザー生成SWIRを検出するのに最も高い量子効率を有し、そのような効率は約0.7ミクロンにおいて生じる。InGaAsは、1.55ミクロンアイセーフレーザー生成SWIRを検出するのに最も高い量子効率を有し、そのような効率は、約1.7ミクロンにおいて生じる。
図9は、CMOSイメージセンサ902及びNNV光イメージセンサ904を異なるコンポーネントとして示すが、幾つかの実施形態では、CMOSイメージセンサ902及びNNV光イメージセンサ904は、単一の構成とすることができる。例えば、単一のセンサ(例えば、CCDイメージセンサ)を、CMOSイメージセンサ902及びNNV光イメージセンサ904の代わりに用いることができる。幾つかの実施形態では、例えば、CCDイメージセンサは、約350nm〜約700nmの光を検出することができる。
信号処理コンポーネント906は、デジタルカメラ102によって受信され、及び/又はアクセスされる可視光情報及び/又はNNV光情報に関して任意の数の異なるタイプの処理を実行する構造、ハードウェア、ソフトウェア及び/又は機能を含むことができる。一実施形態では、信号処理コンポーネント906は、本明細書において説明される機能のうちの1つ又は複数を実行するソフトウェアとすることができる。
幾つかの実施形態では、信号処理コンポーネント906は、VNP604の1つ又は複数のセンサによって検出された光情報を受信し、可視光情報、NNV光情報、及び/又は可視光情報及びNNV光情報から構成される合成画像のカラー表現を生成することができる。
例えば、信号処理コンポーネント906は、可視光情報に第1のカラースキームを適用することができ、NNV光情報に第2のカラースキームを適用することができる。一実施形態では、可視光情報は、単色カラースキーム又はグレースケールカラースキームによって表すことができ、NNV光情報は、デジタルカメラの表示コンポーネント上でNNV光情報を視認するのを容易にするために、単色カラースキーム又はグレースケールカラースキームに関連付けられる色とは異なる色によって表すことができる。
また、信号処理コンポーネント906は、可視光情報及びNNV光情報の電子画像表現を合成することもできる。例えば、信号処理コンポーネント906は、NNV光情報をデジタルカメラ102によって取り込まれたシーン内の位置に対応する位置に配置することができるように、NNV光情報及び可視光情報を互いに重ね合わせるか、又はオーバーレイすることができる。
VNPコンポーネント604の1つ又は複数のセンサが合成された可視光情報及びNNV光情報を出力する幾つかの実施形態では、信号処理コンポーネント906は、合成された情報を2回処理することができる。最初に、信号処理コンポーネント906は、可視光情報を読み出すのに最適になるように合成情報を処理することができる。その後、信号処理コンポーネント906は、NNV光情報を読み出すのに最適になるように合成情報を処理することができる。NNV光情報の読出しに関して、信号処理コンポーネント906は、合成情報を処理して、NNVスペクトル光に対応する場所において周波数スパイクを識別することができる。したがって、種々の実施形態において、検知された可視光及び検知されたNNV光を信号処理コンポーネント906によって処理して、可視光情報及びNNV光情報を表示することができる。
種々の実施形態において、信号処理コンポーネント906は、画像処理に通常関連付けられるマッピング、ガンマ補正、ピクセル補正、雑音抑制、補間及び任意の数の他の機能を実行することができる。
図11は、本明細書において説明される実施形態による、可視光情報を処理し、表示することから生成される画像を表示する例示的なデジタルカメラ表示領域を示す。図12は、本明細書において説明される実施形態による、可視光情報及びNNV光情報を処理し、表示することから生成される画像を表示する例示的なデジタルカメラ表示領域を示す。デジタルカメラ102は、デジタルカメラ102に対して可視光モード814が選択されるときに、可視光情報108を表示するように構成される表示領域106を含むことができる。デジタルカメラ102は、合成光モード816が選択されるときに、可視光情報108及びNNV光情報110を処理し、表示するように構成される表示領域106を含むことができる。図示されるように、ランプシェードについての情報を詳述するために、ランプシェードに関する更なる情報を与えることができる。
同様に、図示されないが、幾つかの実施形態では、NNV光を反射するナノ材料を介して壁又は他の表面上に概略図を設けることができる。概略図は、種々の実施形態において、デジタルカメラ102を用いて表示することができ、住宅及び商業ビルの壁において種々の電気回路の場所を求めるのに役に立つ可能性がある。
図13は、本明細書において説明される実施形態による、可視光情報を処理し、表示することから生成される画像を表示する例示的なデジタルカメラ表示領域を示す。図14は、本明細書において説明される実施形態による、可視光情報及びNNV光情報を処理し、表示することから生成される画像を表示する例示的なデジタルカメラ表示領域を示す。デジタルカメラ102は、デジタルカメラ102に対して可視光モード814が選択されるときに、可視光画像表現108を表示するように構成される表示領域106を含むことができる。デジタルカメラ102は、合成光モード816が選択されるときに、可視光情報108及びNNV光情報110を処理し、表示するように構成される表示領域106を含むことができる。
図5を参照しながら説明されたモバイルデバイス500の意味において、従来のモバイルデバイスとは見なされないが、種々の実施形態において、車両(例えば、自律車両、従来の非自律車両)を、本明細書において説明される1つ又は複数の実施形態による、合成光の処理及び表示のための機能及び/又は構造を有するモバイルデバイスと見なすことができる。
図15は、本明細書において説明される実施形態による、可視光情報を処理し、表示することから生成される画像を表示する例示的な自動車ダッシュボード表示領域を示す。図16は、本明細書において説明される実施形態による、可視光情報及びNNV光情報を処理し、表示することから生成される画像を表示する例示的な自動車ダッシュボード表示領域を示す。
幾つかの実施形態では、自動車ダッシュボードは、道路に関するNNV情報、又は道路に関連付けられる標識を読み出すように構成される車両の一部である。その車両は、幾つかの実施形態では、M2Mセンサから情報を入手するように構成することができる。車両によって読み出されたNNV光情報110は、幾つかの実施形態において、表示領域106上に表示することができる。したがって、車両が種々の道路状態に達する前に、その道路状態を運転者に伝達することができる。図示される実施形態では、道路の更に先の方にある道路障害物を指摘するNNV光情報110が、表示領域106上に表示される。
表示装置1500は、可視光画像モードにおいて可視光情報108を表示するように構成される表示領域106を含むことができる。表示装置1500は、合成光画像モードにおいて可視光情報108及びNNV光情報110を含む合成光情報を表示するように構成される表示領域106を含む。
したがって、自律車両の分野では、車両上のデジタルカメラが、道路に関する可視光情報及び/又はNNV光情報、又は標識若しくは車両外の任意の他の場所を視認することができる。例えば、特殊な路面表示が、特定の自律車両に命令を与えることができ、及び/又はデジタルカメラ内のスマートセンサが、車両の外部から取り込まれた情報に基づいて車両の進行方向を変更することができる。他の実施形態では、構造化されたグラフィックス噴霧器(graphics sprayer)を備えるトラックがナノ材料を噴霧することができ、ナノ材料は広告又は他の情報を一時的に与えることができ、噴霧器内で利用されるナノ材料のタイプに基づいて、1つ又は複数の異なる時間長にわたって分解消失(degrade)することができる。
図17は、本明細書において説明される実施形態による、合成可視及びNNV光を処理し、表示するように構成されるデジタルカメラと、NNVスペクトルにおいて放射する物体とを含むシステムの例示的なブロック図を示す。図18は、本明細書において説明される実施形態による、図17の物体から取り込まれた可視光及びNNV光から構成される合成画像を表示するデジタルカメラ表示領域の例示的なブロック図を示す。
システム1700は、光104を放射するように構成されるデジタルカメラ102と、テレビ1702とを含む。テレビ1702は、可視光情報及びNNV光情報を並行して表示するように構成される表示領域106を含む。例えば、一実施形態では、テレビ1702内の発光ダイオード(LED)がNNV光を放射することができ、テレビ1702が、可視光(例えば、人の肉眼で視認可能な番組)も放射することができる。
表示領域106は、可視光情報108及びNNV光情報110を含む合成画像を表示することができる。図示されるように、合成光モード816が選択され、それゆえ、デジタルカメラ102は、合成可視及びNNV光を処理し、表示する。図18に示されるように、表示装置106上で、NNV及び可視画像表現情報が提供される。一方、図17において、NNV情報は人の目には見えず、デジタルカメラ102の処理及び表示を介してのみ見ることができる。
したがって、この例は、異なる人が2つの異なる番組を並行して視聴できるようにする能力を示す。異なるタイプの情報の層をLCD及び/又はプラズマテレビに表示することができ、異なる内容を有する複数の異なる放送番組を視聴できるようになる。
NNV画像表現において表される番組は、デジタルカメラ102のデバイス106を通して視聴することができ、一方、可視画像表現番組は、人の肉眼で視聴することができる。図示されるように、1つの番組は滝を表示し、他の番組は、文字による質問及び対応する正解を示すトリビアショーである。別の例は、可視光情報としてのスポーツ番組と、NNV光情報としての統計データとを並行して表示する。システム1700において、任意の数の異なるタイプの番組を並行して視聴することができる。
したがって、デジタルカメラ102がテレビ1702に向けられる場合には、テレビ1702内の発光体からのNNV光をデジタルカメラ102が取り込み、表示領域106上に表示することができる。一例では、可視光情報108及びNNV光情報110の両方を表示領域106上に表示することができる。したがって、デジタルカメラ102によって、可視光及びNNV光を有する並行して表示される番組を視聴可能にすることができる。2つの異なるテレビ番組を、テレビ1702の単一の画面上で並行して視聴することができる。
図19は、単一の合成画像(例えば、単一のピクチャ1902)と、可視光情報及びNNV光情報を含む合成画像と、可視光情報を含む画像とをピクチャインピクチャ(例えば、ピクチャインピクチャ1904)として並行して表示するようにデジタルカメラを構成するか、又はNNV検出警告(例えば、NNV検出警告1906)を提供するようにデジタルカメラを構成するための設定を示すデジタルカメラ表示領域の例示的なブロック図を示す。図20は、本明細書において説明される実施形態による、可視光情報及びNNV光情報を含む合成画像と、可視光情報を含む画像とをピクチャインピクチャとして並行して表示するデジタルカメラ表示領域の例示的なブロック図を示す。
図19に示されるように、図6のコンフィギュレーションコンポーネント602がアクセスされるか、又は起動されるときの表示コンポーネント(例えば、表示コンポーネント606)の例示的なスクリーンショットは、デジタルカメラ102の表示モードのための以下の異なるタイプの設定:シングルピクチャ1902、ピクチャインピクチャ1904及びNNV検出警告1906を制御するための情報を含むことができる。シングルピクチャ1902の表示のための設定は、デジタルカメラ102に、図12、図14又は図16に示されるような、可視光及びNNV光を処理することからなる合成画像を表示させることができる。
ピクチャインピクチャ1904の表示のための設定は、デジタルカメラ102の表示領域を介して、デジタルカメラ102に、可視光情報及びNNV光情報からの合成画像と、可視光情報のみから構成された画像(「可視光画像」)との並行表示を提供させることができる。図19及び図20を参照すると、この実施形態では、合成画像2000を可視光画像2002の表示の一部と重ね合わせて表示することができる。例えば、合成画像2000は、可視光画像2002の角に挿入することができる。他の実施形態(図示せず)では、可視光画像2002は、合成画像2000の一部と重ね合わせて表示することができる。更に別の実施形態では、いずれの画像も重なり合わないように、表示領域の一部が合成画像2000を表示することができ、表示領域の第2の部分が可視光画像2002を表示することができる(例えば、表示領域の半分が合成画像2000を表示し、表示領域の残りの半分が可視光画像2002を表示する)。説明される実施形態は、ユーザーによって望まれるように、及び/又はデジタルカメラ102の設計を介して規定されるように、合成画像2000及び可視光画像2002を並行して、又は同時に表示することができる。
ピクチャインピクチャ表示は、合成光モード816が起動されるときに提供されるように上記の実施形態において説明されるが、他の実施形態では、ピクチャインピクチャ表示能力は、合成光モード816が起動される事例には限定される必要はない。例えば、幾つかの実施形態では、ピクチャインピクチャ能力は、デジタルカメラ102の電源が入れられるのに基づいて、デジタルカメラ102が提供することができる。
再び図19を参照すると、NNV検出警告1906のための設定は、本明細書において説明される実施形態に従って、デジタルカメラ102に、NNV光の検出時に可視警告又は可聴警告を提供させることができる。図21は、本明細書において説明される実施形態による、検出されたNNV光の警告を提供するように構成されるアイコンを含む、デジタルカメラの例示的なブロック図を示す。
図19及び図21を参照すると、デジタルカメラ102は、デジタルカメラ102の検出領域2102内で出力されるNNV光情報110を検出することができる。デジタルカメラ102は、検出されたNNV光情報110の警告を生成することができる。警告は、種々の異なる実施形態において、可視警告、可聴警告、又は可視警告及び可聴警告の組み合わせとすることができる。
幾つかの実施形態では、警告は、NNV光情報110が検出領域2102内で検出されるときに、アイコン2104を点灯させること、又はアイコン2104の見え方を変更することを含むことができる。例えば、デジタルカメラ102の検出領域2102内でNNV光情報110が検出されないとき、アイコン2104は非点灯状態若しくは静止状態にすることができるか、又は第1の画像(例えば、アイコン画像1)を有することができる。NNV光情報110の検出に応答して、アイコン2104は、点灯状態になることができるか(図21に示される)、動きを示すことができるか、又は第2の画像(例えば、アイコン画像2)を有することができる。画像変化の一例として、アイコン画像1は第1の言葉(「可視のみ」)とすることができ、アイコン画像2は第2の言葉(例えば、「合成」)とすることができる。別の例として、アイコン画像1は木とすることができ、アイコン画像2は森とすることができる。任意の数の異なるアイコンを利用することができ、幾つかの実施形態では、ユーザー選択とすることができる。
種々の他の実施形態において、警告は、NNV光情報が検出領域2102内で検出されるときに、音を出すために起動することができる可聴警告とすることができる。例えば、NNV光情報110がデジタルカメラ102の検出領域2102内で検出されないとき、デジタルカメラ102は無音とすることができる。検出領域2102内でNNV光情報110を検出するのに応答して、デジタルカメラ102は、音(例えば、ビープ音、ベル音、着信音)を出すことができる。
図21を参照しながら説明された実施形態は、NNV光情報の検出を含むが、種々の実施形態において、合成可視光情報及びNNV光情報の検出を実行することもできる。
幾つかの実施形態では、デジタルカメラ102は、デジタルカメラ102の検出領域2101内でNNV光情報110の存在に関する常時の、又は少なくとも断続的な監視を実行するために、バックグラウンドプロセスとして実行するように構成されるソフトウェアを含むことができる。
図22は、本明細書において説明される実施形態による、可視光情報及びNNV光情報を含む合成画像を検出し、処理し、及び/又は表示するように構成されるデジタルカメラを含むシステムの例示的なブロック図を示す。システム2200は、検出領域2102及び2202をそれぞれ有するデジタルカメラ102、104と、デジタルカメラ102、104に通信可能に結合されるネットワーク2204とを含むことができる。種々の実施形態において、ネットワーク2204は1つ又は複数のチャネルを含むことができ、チャネルを介して、デジタルカメラ102、104は互いに通信することができる。幾つかの実施形態では、デジタルカメラ102、104は、デジタルカメラ102、104が地理的に極めて近接した後にデジタルカメラ102、104間に確立される近距離通信(near field communication)チャネル2206を介して互いに通信することができ、近距離通信プロトコルに従って発見を実行することができる。したがって、幾つかの実施形態では、デジタルカメラ102、104は、近距離通信チャネルを介して互いに通信することができ、幾つかの実施形態では、デジタルカメラ102、104は、限定はしないが、Wi−Fiネットワーク、WLANネットワーク等に関連付けられるチャネルを含む、ネットワーク2204の任意の数の他の異なるタイプのチャネルを介して通信することができる。
種々の実施形態において、デジタルカメラ104は、本明細書において説明又は図示された実施形態及び/又は図のうちのいずれかと参照するデジタルカメラ102の構造及び/又は機能のうちのいずれかを含むことができる。例えば、デジタルカメラ104は、デジタルカメラ102から送信された信号を受信するように説明されるが、他の実施形態では、デジタルカメラ102が、デジタルカメラ104から送信される信号を受信することができる。デジタルカメラ102、104は、可視光情報108及びNNV光情報110の検出、処理及び/又は表示を容易にするための構造及び/又は機能を有する。また、デジタルカメラ102、104は、検出される可視光情報108及び/又はNNV光情報110の警告を提供する構造及び/又は機能も含むことができる。
図示される実施形態では、デジタルカメラ102は、デジタルカメラ102の検出領域2102内でNNV光情報110を検出し、検出後に信号2206をデジタルカメラ104に送信することができる。デジタルカメラ104は検出領域2202を有するが、可視光情報108及びNNV光情報110を有する物体(図示せず)は検出領域2102内に与えられるので、デジタルカメラ104は可視光情報108及び/又はNNV光情報110を検出しない。
種々の実施形態において、信号2206は、NNV光情報110の検出をデジタルカメラ104に知らせるメッセージを示す情報を含むことができる。また、信号2206は、デジタルカメラ102の地理的位置を示す情報、可視光情報108及びNNV光情報110の近似的な地理的位置を示す情報、及び/又はデジタルカメラ102の検出領域2102の地理的境界を示す情報も含むことができる。
幾つかの実施形態では、情報は、デジタルカメラ104の地理的位置からデジタルカメラ102への方向を示す情報も含むことができる。これらの実施形態において、デジタルカメラ102及び/又はデジタルカメラ104は、限定はしないが、グローバルポジショニングシステム(GPS)情報を含む位置情報をやりとりするか、又は求めるように構成されるソフトウェア及び/又はハードウェアを含むことができる。幾つかの実施形態では、デジタルカメラ102、104は、位置に基づくサービスを提供するデバイス若しくはサービスからの情報にアクセスするか、若しくはその情報を受信するように通信可能に結合することができるか、又はその情報にアクセスするか、若しくはその情報を受信することができる。例えば、位置に基づくサービスを提供するデバイス又はサービスは、ネットワーク2204に通信可能に結合することができる。
図23、図24、図25、図26及び図27は、本明細書において説明される実施形態による、可視光情報及びNNV光情報から構成される合成画像の検出、処理及び/又は表示を容易にする方法の例示的な流れ図を示す。最初に図23を参照すると、2302において、方法2300は、プロセッサを備えるデジタルカメラによって、第1の電磁スペクトル範囲に関連付けられる第1の情報及び第2の電磁スペクトル範囲に関連付けられる第2の情報の両方を有する生データにアクセスすることを含むことができる。第1の電磁スペクトル範囲は実質的に可視スペクトル内に存在することができ、第2の電磁スペクトル範囲は実質的にNNVスペクトル内に存在することができる。
幾つかの実施形態では、第1の電磁スペクトル範囲は約390nm〜約700nmの範囲を含むことができる。第2の電磁スペクトル範囲は約390ナノメートルより短い波長の範囲を含むことができる。幾つかの実施形態では、第2の電磁スペクトル範囲は、約700ナノメートルより長い波長の範囲を含むことができる。
幾つかの実施形態では、第1の視覚画像表現は単色画像表現とすることができる。幾つかの実施形態では、第2の視覚画像表現は、第1の電磁スペクトル範囲の波長に対応する色とすることができる。例えば、第2の視覚画像表現は、赤色、青色、紫色、緑色又はオレンジ色(又はその組み合わせ)とすることができる。
2304において、方法2300は、デジタルカメラによって、可視スペクトルのための生データを最適化し、それにより、第1の視覚画像表現を生成することを含むことができる。2306において、方法2300は、デジタルカメラによって、NNVスペクトルのための生データを最適化し、それにより、第2の視覚画像表現を生成することを含むことができる。例えば、NNVスペクトルのための生データを最適化することは、デジタルカメラのモード選択の検出に応答して実行することができる。モードは合成画像の表示に関連付けることができる。
2308において、方法2300は、デジタルカメラによって、第1の視覚画像表現及び第2の視覚画像表現を合成し、合成画像を生成することを含むことができる。例えば、幾つかの実施形態では、単色画像を第1の電磁スペクトル範囲内の波長に対応する色にオーバーレイすることができる。2310において、方法2300は、デジタルカメラによって、合成画像の表示を開始することを含むことができる。
ここで、図24を参照すると、2402において、方法2400は、第1のカラースキームにおいて第1の視覚画像表現を生成することを含むことができる。幾つかの実施形態では、第1の視覚画像表現は可視光情報から得られる。
2404において、方法2400は、第1のカラースキームとは異なる第2のカラースキームにおいて第2の視覚画像表現を生成することを含むことができる。例えば、第1のカラースキームは単色カラースキームとすることができ、第2のカラースキームは単色カラースキームとは異なるカラースキームから構成することができる。幾つかの実施形態では、第2のカラースキームは、単色カラースキームが構成される色とは異なる1つ又は複数の色を含むことができる。幾つかの実施形態では、第2の視覚画像表現はNNV光情報から得られる。
2406において、方法2400は、第1の視覚画像表現及び第2の視覚画像表現を合成し、合成画像を生成することを含むことができる。例えば、第1の視覚画像表現及び第2の視覚画像表現を、一方を他方にオーバーレイして、又は交互配置して、合成画像を形成することができる。
ここで、図25を参照すると、2502において、方法2500が、プロセッサを備えるデジタルカメラによって、第1の電磁スペクトル範囲に関連付けられる第1の情報及び第2の電磁スペクトル範囲に関連付けられる第2の情報の両方を有する生データにアクセスすることを含むことができる。第1の電磁スペクトル範囲は実質的に可視スペクトル内に存在することができ、第2の電磁スペクトル範囲は実質的にNNVスペクトル内に存在することができる。
幾つかの実施形態では、第1の電磁スペクトル範囲は約390nm〜約700nmの範囲を含むことができる。第2の電磁スペクトル範囲は約390ナノメートルより短い波長の範囲を含むことができる。幾つかの実施形態では、第2の電磁スペクトル範囲は、約700ナノメートルより長い波長の範囲を含むことができる。
幾つかの実施形態では、第1の視覚画像表現は単色画像表現とすることができる。幾つかの実施形態では、第2の視覚画像表現は、第1の電磁スペクトル範囲の波長に対応する色とすることができる。例えば、第2の視覚画像表現は、赤色、青色、紫色、緑色又はオレンジ色(又はその組み合わせ)とすることができる。
2504において、方法2500は、デジタルカメラによって、可視スペクトルのための生データを最適化し、それにより、第1の視覚画像表現を生成することを含むことができる。2506において、方法2500は、デジタルカメラによって、NNVスペクトルのための生データを最適化し、それにより、第2の視覚画像表現を生成することを含むことができる。例えば、NNVスペクトルのための生データを最適化することは、デジタルカメラのモード選択の検出に応答して実行することができる。モードは合成画像の表示に関連付けることができる。
2508において、方法2500は、デジタルカメラによって、第1の視覚画像表現及び第2の視覚画像表現を合成し、合成画像を生成することを含むことができる。例えば、幾つかの実施形態では、単色画像を第1の電磁スペクトル範囲内の波長に対応する色にオーバーレイすることができる。2510において、方法2500は、デジタルカメラによって、合成画像の表示、及び第1の視覚画像表現の表示を開始することを含むことができる。この実施形態では、合成画像は、第1の視覚画像表現の表示の一部を重ね合わせて表示することができる。例えば、合成画像は、第1の視覚画像表現の角に挿入することができる。他の実施形態では、第1の視覚画像表現は、合成画像の一部と重ね合わせて表示することができる。また他の実施形態では、いずれの画像も重なり合わないように、表示領域の一部分が合成画像を表示することができ、表示領域の第2の部分が第1の視覚画像表現を表示することができる(例えば、表示領域の半分が合成画像を表示し、表示領域の残りの半分が第1の視覚画像表現を表示する)。説明される実施形態は、ユーザーによって望まれるように、及び/又はシステム若しくはデバイス若しくはデジタルカメラの設計において規定されるように、合成画像及び第1の視覚画像表現を並行して、又は同時に表示することができる。
ここで図26を参照すると、2602において、方法2600が、プロセッサを備えるデジタルカメラによって、第1の電磁スペクトル範囲に関連付けられる第1の光及び第2の電磁スペクトル範囲に関連付けられる第2の光を検出することを含むことができる。種々の実施形態において、例えば、第1の電磁スペクトル範囲は実質的に可視スペクトル内に存在し、第2の電磁スペクトル範囲は実質的に非可視スペクトル内に存在する。さらに、検出は、デジタルカメラの検出領域内に並行して(又は実施形態によっては、同時に)与えられる第1の光及び第2の光の検出とすることができる。したがって、デジタルカメラは、デジタルカメラを包囲する環境内で第1の光及び第2の光の存在を検出することができる。
幾つかの実施形態では、検出は、デジタルカメラにおいて進行中のバックグラウンドプロセスとして実行することができる画像処理ソフトウェアによって実行することができる。その場合、これらの実施形態では、デジタルカメラは、デジタルカメラが合成モードに入れられることを必要とすることなく、第1の光及び第2の光の存在を検出することができる。幾つかの実施形態では、検出のための最低限の処理を実行することができ、第1の光及び第2の光の検出時に、第1の光及び第2の光を取り込み、処理するために、更なる処理を実行することができる。この実施形態では、電池寿命を保つために、及び/又はデジタルカメラの1つ又は複数の他の機能の最適な処理を提供するために、デジタルカメラ内で異なるレベルの処理を提供することができる。
2604において、方法2600は、デジタルカメラによって、検出された第1の光及び第2の光の警告を生成することを含むことができる。種々の異なる実施形態において、警告は、可視警告、可聴警告、又は可視及び可聴の組み合わせとすることができる。
種々の実施形態において、警告は、並行して与えられるような第1の光及び第2の光が検出されるときに、点灯することができるか、変更された見え方を別の方法で表示することができるアイコンとすることができる。例えば、並行して与えられるような第1の光及び第2の光がデジタルカメラの検出領域内で検出されないとき、アイコンは非点灯状態又は静止状態を有することができる。並行して与えられた第1の光及び第2の光を検出するのに応答して、アイコンは点灯状態になることができか、又は動きを示すことができる。
種々の他の実施形態において、警告は、並行して与えられるような第1の光及び第2の光が検出されるときに、音を出すために起動することができる可聴警告とすることができる。例えば、並行して与えられるような第1の光及び第2の光がデジタルカメラの検出領域内で検出されないとき、警告は無音とすることができる。並行して与えられた第1の光及び第2の光が検出されるのに応答して、アイコンは、音(例えば、ビープ音、ベル音、着信音)を出すことができる。
ここで、図27を参照すると、2702において、方法2700が、プロセッサを備える第1のデジタルカメラによって、第2のデジタルカメラの検出領域において並行して与えられる第1の電磁スペクトル範囲に関連付けられる第1の光及び第2の電磁スペクトル範囲に関連付けられる第2の光の検出を示す情報を含む信号を受信することを含むことができる。例えば、第1の電磁スペクトル範囲は実質的に可視スペクトル内に存在することができ、第2の電磁スペクトル範囲は実質的に非可視スペクトル内に存在することができる。
幾つかの実施形態では、信号は、第1の光及び第2の光の存在を検出した第2のデジタルカメラから受信することができる。したがって、第1の光及び第2の光は、第2のデジタルカメラの検出領域内で並行して与えることができ、第2のデジタルカメラは、第1の検出カメラに信号を送り、第1の光及び第2の光が検出されたことを第1のデジタルカメラに通知することができる。
幾つかの実施形態では、信号は、第2のデジタルカメラの地理的位置を示す情報、検出された第1の光及び第2の光の近似的な地理的位置を示す情報、及び/又は第2のデジタルカメラの検出領域の地理的境界を示す情報を含むことができる。幾つかの実施形態では、情報は、第1のデジタルカメラの地理的位置から第2のデジタルカメラへの方向を示す情報を含むこともできる。これらの実施形態において、第1のデジタルカメラ及び/又は第2のデジタルカメラは、限定はしないが、位置情報をやりとりするか、又は求めるように構成されるソフトウェア及び/又はハードウェアを含むことができる。幾つかの実施形態では、第1及び/又は第2のデジタルカメラは、位置に基づくサービスを提供するデバイス若しくはサービスからの情報にアクセスするか、若しくはその情報を受信するように通信可能に結合することができるか、又はその情報にアクセスするか、若しくはその情報を受信することができる。
2704において、方法2700が、第1のデジタルカメラによって、信号を受信することに少なくとも基づいて、第1の光及び第2の光の位置を求めることを含むことができる。例えば、第2のデジタルカメラから受信される情報は、位置情報を含むことができ、第1のデジタルカメラは、第1の光及び第2の光の位置を求めるように構成することができる。他の実施形態では、第1のデジタルカメラは、第2のデジタルカメラの位置、及び/又は第2のデジタルカメラの検出領域を特定するように構成することができる。
2706において、方法2700が、第1のデジタルカメラによって、第1の光及び第2の光の位置において光を取り込むことに少なくとも基づいて、第1の光及び第2の光を検出することを含むことができる。例えば、信号を受信すると、ユーザーは、第1の光及び第2の光の位置に近接して第1のデジタルカメラを配置することができ、その後、第1のデジタルカメラは、第1の光及び第2の光の検出を実行することができる。
図28は、本明細書において説明される実施形態による、合成可視及びNNV光の処理及び表示を容易にするように動作可能なコンピュータのブロック図を示す。例えば、幾つかの実施形態では、コンピュータは、デジタルカメラ102及び/又はモバイルデバイス500とすることができるか、又はそれらに収容することができる。
本明細書において説明される種々の実施形態に関して更なる状況を与えるために、図28及び以下の検討は、本明細書において説明される種々の実施形態を実施することができる適切なコンピューティング環境2800の簡潔で全般的な説明を提供することを意図している。実施形態が1つ又は複数のコンピュータ上で実行することができるコンピュータ実行可能命令の一般的状況においてこれまで説明されてきたが、それらの実施形態を他のプログラムモジュールと組み合わせて、及び/又はハードウェア及びソフトウェアの組み合わせとして実施することもできることは、当業者は認識されよう。
一般的に、プログラムモジュールは、特定のタスクを実行するか、又は特定の抽象データ型を実施するルーチン、プログラム、コンポーネント、データ構造等を含む。さらに、本発明の方法を、それぞれが1つ又は複数の関連するデバイスに動作可能に結合することができる、シングルプロセッサ若しくはマルチプロセッサコンピュータシステム、ミニコンピュータ、メインフレームコンピュータ及びパーソナルコンピュータ、ハンドヘルドコンピューティングデバイス、マイクロプロセッサに基づくか、若しくはプログラム可能な家庭用電化製品等を含む、他のコンピュータシステム構成とともに実施できることは、当業者は理解されよう。
「第1の」、「第2の」、「第3の」等の用語は、特許請求の範囲において用いられるときに、文脈によって他に明記される場合を除いて、明確にすることのみを目的としており、他の点では時間に関するいかなる順序も示さず、暗示もしない。例えば、「第1の判断」、「第2の判断」及び「第3の判断」は、第1の判断が第2の判断の前に行われることを示すものでも暗示するものでもなく、その逆も同様である。
本明細書における実施形態の例示される実施形態は、或る特定のタスクが通信ネットワークを通してリンクされる遠隔処理デバイスによって実行される分散コンピューティング環境において実施することもできる。分散コンピューティング環境では、プログラムモジュールをローカルメモリ記憶デバイス及びリモートメモリ記憶デバイス内の両方に配置することができる。
コンピューティングデバイスは通常、種々の媒体を含み、それらの媒体はコンピュータ可読記憶媒体及び/又は通信媒体を含むことができ、その2つの用語は、以下のように、本明細書において互いに異なるように使用される。コンピュータ可読記憶媒体は、コンピュータによってアクセスすることができる任意の入手可能な記憶媒体とすることができ、揮発性及び不揮発性媒体、リムーバブル及び非リムーバブル媒体の両方を含む。例であって、限定はしないが、コンピュータ可読記憶媒体は、コンピュータ可読命令、プログラムモジュール、構造化データ又は非構造化データのような情報を記憶するための任意の方法又は技術に関連して実現することができる。有形及び/又は非一時的コンピュータ可読媒体は、限定はしないが、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、電気的消去可能プログラマブルリードオンリーメモリ(EEPROM)、フラッシュメモリ若しくは他のメモリ技術、コンパクトディスクリードオンリーメモリ(CD−ROM)、デジタル多用途ディスク(DVD)若しくは他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、他の磁気記憶デバイス及び/又は所望の情報を記憶するために用いることができる他の媒体を含むことができる。コンピュータ可読記憶媒体は、媒体によって記憶される情報に関する種々の動作のために、例えば、アクセス要求、問い合わせ又は他のデータ検索プロトコルを介して、1つ又は複数のローカル若しくはリモートコンピューティングデバイスによってアクセスすることができる。
この関連で、記憶装置、メモリ又はコンピュータ可読媒体に適用されるような、本明細書における「有形」という用語は、修飾語(modifier)として、それ自体が伝搬するだけの無形の信号を除外するものと理解されるべきであり、それ自体が伝搬するだけの無形の信号でない全ての標準的な記憶装置、メモリ又はコンピュータ可読媒体を網羅することを放棄しない。
この関連で、記憶装置、メモリ又はコンピュータ可読媒体に適用されるような、本明細書における「非一時的」という用語は、修飾語として、それ自体が伝搬するだけの一時的信号を除外するものと理解されるべきであり、それ自体が伝搬するだけの一時的信号でない全ての標準的な記憶装置、メモリ又はコンピュータ可読媒体を網羅することを放棄しない。
通信媒体は通常、被変調データ信号、例えば、チャネル波又は他の搬送機構のようなデータ信号において、コンピュータ可読命令、データ構造、プログラムモジュール又は他の構造化若しくは非構造化データを具現し、任意の情報送達又は搬送媒体を含む。「被変調データ信号」又は信号という用語は、1つ又は複数の信号内に情報を符号化するように設定又は変更される特性のうちの1つ又は複数を有する信号を指している。例であって、限定はしないが、通信媒体は、有線ネットワーク又は直結される接続のような有線媒体、及び音響、RF、赤外線及び他のワイヤレス媒体のようなワイヤレス媒体を含む。
再び図28を参照すると、本明細書において説明される実施形態の種々の実施形態を実施するための例示的環境2800はコンピュータ2802を含み、コンピュータ2802は、処理ユニット2804と、システムメモリ2806と、システムバス2808とを含む。システムバス2808は、限定はしないが、システムメモリ2806を含むシステムコンポーネントを処理ユニット2804に結合する。処理ユニット2804は種々の市販のプロセッサのうちのいずれかとすることができる。処理ユニット2804として、デュアルマイクロプロセッサ及び他のマルチプロセッサアーキテクチャーも利用することができる。
システムバス2808は、種々の市販のバスアーキテクチャーのいずれかを用いて、メモリバス(メモリコントローラーを備えるか、又は備えない)、周辺機器用バス及びローカルバスに更に相互接続することができる幾つかのタイプのバス構造のいずれかとすることができる。システムメモリ2806は、ROM2810及びRAM2812を含む。ROM、消去可能プログラマブルリードオンリーメモリ(EPROM)、EEPROMのような不揮発性メモリ内に基本入出力システム(BIOS)を記憶することができ、BIOSは、起動中等に、コンピュータ2802内の要素間で情報を転送するのを助ける基本ルーチンを含む。RAM2812は、データをキャッシュするためのスタティックRAMのような高速RAMも含むことができる。
コンピュータ2802は、適切なシャーシ(図示せず)において外部で使用するように構成することもできる内部ハードディスクドライブ(HDD)2814(例えば、EIDE、SATA)と、磁気フロッピーディスクドライブ(FDD)2816(例えば、リムーバブルディスケット2818に対する読出し又は書込み用)と、光ディスクドライブ2820(例えば、CD−ROMディスク2822の読出し、又はDVDのような他の大容量光学媒体に対する読出し若しくは書込み用)とを更に含む。ハードディスクドライブ2814、磁気ディスクドライブ2816及び光ディスクドライブ2820はそれぞれ、ハードディスクドライブインターフェース2824、磁気ディスクドライブインターフェース2826及び光ドライブインターフェース2828によって、システムバス2808に接続することができる。外部ドライブを実現するためのインターフェース2824は、ユニバーサルシリアルバス(USB)及び米国電気技術者協会(IEEE)1394インターフェース技術のうちの少なくとも一方又は両方を含む。他の外部ドライブ接続技術も本明細書において説明される実施形態の考慮の範囲内にある。
ドライブ及びその関連するコンピュータ可読記憶媒体は、データ、データ構造、コンピュータ実行可能命令等の不揮発性記憶を提供する。コンピュータ2802の場合、ドライブ及び記憶媒体は、適切なデジタルフォーマットにおいて任意のデータの記憶に対応する。上記のコンピュータ可読記憶媒体の説明はハードディスクドライブ(HDD)、リムーバブル磁気ディスケット、及びCD又はDVDのようなリムーバブル光媒体を参照するが、ジップドライブ、磁気カセット、フラッシュメモリカード、カートリッジ等の、コンピュータによって読出し可能である他のタイプの記憶媒体も例示的な動作環境において使用できること、さらに、任意のそのような記憶媒体が、本明細書において説明される方法を実行するためのコンピュータ実行可能命令を含むことができることは、当業者には理解されたい。
ドライブ及びRAM2812内に、オペレーティングシステム2830、1つ又は複数のアプリケーションプログラム2832、他のプログラムモジュール2834及びプログラムデータ2836を含む、複数のプログラムモジュールを記憶することができる。オペレーティングシステム、アプリケーション、モジュール及び/又はデータの全て又は一部をRAM2812にキャッシュすることもできる。本明細書において説明されるシステム及び方法は、種々の市販のオペレーティングシステム又はオペレーティングシステムの組み合わせを利用して実施することができる。
モバイルデバイスは、1つ又は複数の有線/ワイヤレス入力デバイス、例えば、キーボード2838及びマウス2840のようなポインティングデバイスを通して、コンピュータ2802にコマンド及び情報を入力することができる。他の入力デバイス(図示せず)は、マイクロフォン、赤外線(IR)遠隔制御、ジョイスティック、ゲームパッド、スタイラスペン、タッチスクリーン等を含むことができる。これらの入力デバイス及び他の入力デバイスは、多くの場合に、システムバス2808に結合することができる入力デバイスインターフェース2842を通して処理ユニット2804に接続されるが、パラレルポート、IEEE1394シリアルポート、ゲームポート、ユニバーサルシリアルバス(USB)ポート、IRインターフェース等の他のインターフェースによって接続することもできる。
モニタ2844又は他のタイプの表示デバイスも、ビデオアダプタ2846のようなインターフェースを介して、システムバス2808に接続することができる。モニタ2844に加えて、コンピュータは通常、スピーカー、プリンタ等の他の周辺出力デバイス(図示せず)を含む。
コンピュータ2802は、リモートコンピュータ(複数の場合もある)2848のような1つ又は複数のリモートコンピュータとの有線及び/又はワイヤレス通信を介しての論理接続を用いてネットワーク化された環境において動作することができる。リモートコンピュータ(複数の場合もある)2848は、ワークステーション、サーバーコンピュータ、ルーター、パーソナルコンピュータ、ポータブルコンピュータ、マイクロプロセッサ内蔵娯楽機器、ピアデバイス又は他の共通ネットワークノードとすることができ、通常、コンピュータ2802に関して説明される要素の多く又は全てを含むが、簡潔にするために、1つのメモリ/記憶デバイス2850のみが示される。図示される論理接続は、ローカルエリアネットワーク(LAN)2852及び/又はより大きなネットワーク、例えば、ワイドエリアネットワーク(WAN)2854への有線/ワイヤレス接続を含む。そのようなLAN及びWANネットワーク化環境はオフィス及び企業では一般的であり、その全てがグローバル通信ネットワーク、例えば、インターネットに接続することができるイントラネットのような、企業規模のコンピュータネットワークを促進する。
LANネットワーク化環境において用いられるときに、コンピュータ2802は、有線及び/又はワイヤレス通信ネットワークインターフェース、及び/又はアダプタ2856を通して、ローカルネットワーク2852に接続することができる。アダプタ2856は、LAN2852との有線又はワイヤレス通信を容易にすることができ、LANは、そこに配置され、無線アダプタ2856と通信するためのワイヤレスAPも含むことができる。
WANネットワーク化環境において用いられるときに、コンピュータ2802は、モデム2858を含むことができるか、WAN2854上の通信サーバーに接続することができるか、又は例えばインターネットによって、WAN2858を介して通信を確立するための他の手段を有する。モデム2858は、内部又は外部、及び有線又はワイヤレスデバイスとすることができ、入力デバイスインターフェース2842を介して、システムバス2808に接続することができる。ネットワーク化された環境では、コンピュータ2802に関して図示されるプログラムモジュール又はその一部は、リモートメモリ/記憶デバイス2850に記憶することができる。図示されるネットワーク接続は例であり、コンピュータ間に通信リンクを確立する他の手段を用いることができることは理解されよう。
コンピュータ2802は、ワイヤレス通信において動作可能に配置される任意のワイヤレスデバイス又はエンティティ、例えば、プリンタ、スキャナ、デスクトップ及び/又はポータブルコンピュータ、ポータブルデータアシスタント、通信衛星、ワイヤレスで検出可能なタグに関連付けられる機器又は場所(例えば、キオスク、ニューススタンド、化粧室)の任意の部分、及び電話と通信するように動作可能にすることができる。これは、ワイヤレスフィデリティ(Wi−Fi)及びBLUETOOTH(登録商標)ワイヤレス技術を含むことができる。このようにして、通信は、従来のネットワーク、又は単に少なくとも2つのデバイス間のアドホック通信の場合のような規定された構造とすることができる。
Wi−Fiによって、自宅の長椅子から、ホテルの部屋のベッドから、又は仕事中に会議室から、ワイヤレスでインターネットに接続できるようになる。Wi−Fiは携帯電話において使用されるのに類似のワイヤレス技術であり、それにより、そのようなデバイス、例えば、コンピュータが、フェムトセルデバイスの範囲内の屋内外いずれの場所にもデータを送信及び受信できるようになる。Wi−Fiネットワークは、安全で、信頼性があり、高速のワイヤレス接続性を提供するために、IEEE802.11(a、b、g、n等)と呼ばれる無線技術を使用する。Wi−Fiネットワークを用いて、コンピュータを互いに、インターネットに、そして有線ネットワーク(IEEE802.3又はイーサネットを使用することができる)に接続することができる。Wi−Fiネットワークは、例えば、無認可の2.4GHz及び5GHz無線帯域において、11Mbps(802.11a)又は54Mbps(802.11b)のデータ速度で動作するか、又は両方の帯域(デュアルバンド)を含む製品を用いて動作するので、ネットワークは、多くのオフィスにおいて用いられる基本的な10Base T有線イーサネットネットワークと同様の実効性能(real-world performance)を提供することができる。
本明細書において説明される実施形態は、本明細書において説明される1つ又は複数の特徴を自動化するのを容易にするために人工知能(AI)を利用することができる。複数の実施形態(例えば、既存の通信ネットワークに追加した後に最大の価値/利益を提供する取得セルサイトを自動的に識別することに関連する)は、種々の実施形態を実行するために、AIに基づく種々の方式を利用することができる。さらに、分類器を用いて、取得ネットワークの各セルサイトのランク付け又は優先順位を決定することができる。分類器は、入力属性ベクトルx=(x1,x2,x3,x4,...,xn)を、入力が1つのクラスに属する信頼度にマッピングする関数であり、すなわち、f(x)=信頼度(クラス)である。そのような分類は、モバイルデバイスが自動的に実施されることを望む動作を予測又は推論するために、(例えば分析の有用性及びコストを計算に入れる)確率的解析及び/又は統計に基づく解析を利用することができる。サポートベクトルマシン(SVM:support vector machine)は、利用できる分類器の一例である。SVMは、取り得る入力の空間内で超曲面を見つけることによって動作し、超曲面は非トリガーイベントからトリガー基準を分離しようとする。直観的には、これは、トレーニングデータに近いが、同一ではないデータをテストするために、分類を正確にする。他の有向及び無向モデル分類手法は、例えば、ナイーブベイズ、ベイジアンネットワーク、決定木、ニューラルネットワーク、ファジー論理モデルを含み、独立した異なるパターンを提供する確率的分類モデルを利用することができる。本明細書において用いられるときに、分類は、優先順位のモデルを開発するために利用される統計的回帰も包含する。
容易に理解されるように、実施形態のうちの1つ又は複数は、暗黙的にトレーニングされる(例えば、モバイルデバイス挙動を観察すること、運用者の好み、履歴情報、外部情報を受信することによる)だけでなく、明確にトレーニングされる(例えば、汎用トレーニングデータによる)分類器を利用することができる。例えば、SVMは、分類器コンストラクタ及び特徴選択モジュール内の学習又はトレーニング段階を介して構成することができる。したがって、分類器(複数の場合もある)を用いて、限定はしないが、所定の基準に従って、取得セルサイトのうちのどの取得セルサイトが最大数の加入者に利益を与えることになり、及び/又は取得セルサイトのうちのどの取得セルサイトが既存の通信ネットワークカバレッジに最小値を追加することになるか等を判断することを含む、複数の機能を自動的に学習し、実行することができる。
本明細書において用いられるときに、「プロセッサ」という用語は、限定はしないが、シングルコアプロセッサ、ソフトウェアマルチスレッド実行能力を有するシングルプロセッサ、マルチコアプロセッサ、ソフトウェアマルチスレッド実行能力を有するマルチコアプロセッサ、ハードウェアマルチスレッド技術を用いるマルチコアプロセッサ、並列プラットフォーム、分散共有メモリを有する並列プラットフォームを含む、実質的に任意のコンピューティング処理ユニット又はデバイスを指すことができる。さらに、プロセッサは、集積回路、特定用途向け集積回路(ASIC)、デジタルシグナルプロセッサ(DSP)、フィールドプログラマブルゲートウェイアレイ(FPGA)、プログラマブルロジックコントローラー(PLC)、コンプレックスプログラマブルロジックデバイス(CPLD)、ディスクリートゲート若しくはトランジスタロジック、ディスクリートハードウェアコンポーネント、又は本明細書において説明される機能を実行するように設計されたそれらの任意の組み合わせを指すことができる。プロセッサは、モバイルデバイス機器の空間利用を最適化するか、又は性能を向上させるために、限定はしないが、分子又は量子ドットに基づくトランジスタ、スイッチ及びゲートのような、ナノスケールアーキテクチャーを利用することができる。また、プロセッサは、コンピューティング処理ユニットの組み合わせとして実現することもできる。
本明細書において用いられるときに、「データ記憶装置」、「データベース」、並びにコンポーネントの動作及び機能に関連する実質的に任意の他の情報記憶コンポーネントのような用語は、「メモリコンポーネント」、又は「メモリ」において具現されるエンティティ、又はメモリを備えるコンポーネントを指している。本明細書において説明される、メモリコンポーネント又はコンピュータ可読記憶媒体は、揮発性メモリ若しくは不揮発性メモリのいずれかとすることができるか、又は揮発性及び不揮発性両方のメモリを含むことができることは理解されよう。
本明細書において開示されるメモリは、揮発性メモリ若しくは不揮発性メモリを含むことができるか、又は揮発性及び不揮発性両方のメモリを含むことができる。例示であって、限定はしないが、不揮発性メモリは、リードオンリーメモリ(ROM)、プログラマブルROM(PROM)、電気的プログラマブルROM(EPROM)、電気的消去可能PROM(EEPROM)又はフラッシュメモリを含むことができる。揮発性メモリは、外部キャッシュメモリとしての役割を果たすランダムアクセスメモリ(RAM)を含むことができる。例示であって、限定はしないが、RAMは、スタティックRAM(SRAM)、ダイナミックRAM(DRAM)、同期DRAM(SDRAM)、ダブルデータレートSDRAM(DDR SDRAM)、エンハンストSDRAM(ESDRAM)、シンクリンクDRAM(SLDRAM)及びダイレクトラムバスRAM(DRRAM)のような数多くの形において入手することができる。実施形態のメモリ(例えば、データ記憶装置、データベース)は、限定はしないが、これらのタイプ及び任意の他の適切なタイプのメモリを含むことを意図している。
これまでに説明されてきたことは、種々の実施形態の単なる例を含む。当然、これらの例を説明するために、コンポーネント又は方法の考えられるありとあらゆる組み合わせを説明することはできないが、当業者は、本実施形態の数多くの更なる組み合わせ及び置換が可能であることを認識することができる。したがって、本明細書において開示され、及び/又は特許請求される実施形態は、添付の特許請求の範囲の趣旨及び範囲に入る全てのそのような改変、変更及び変形を含むことを意図している。さらに、「含む(include)」という用語が詳細な説明又は特許請求の範囲のいずれかにおいて使用される限りにおいて、そのような用語は、「備える、含む(comprising)」という用語が特許請求の範囲において移行語(transitional word)として利用されるときに解釈されるのと同様に、包括的であることを意図している。

Claims (20)

  1. コンピュータ実行可能命令を記憶しているコンピュータ可読記憶媒体であって、実行に応答して、プロセッサを備えるデジタルカメラに、
    第1の電磁スペクトル範囲に関連付けられる第1の情報及び第2の電磁スペクトル範囲に関連付けられる第2の情報の両方を有する生データにアクセスすることであって、前記第1の電磁スペクトル範囲は実質的に可視スペクトル内に存在し、前記第2の電磁スペクトル範囲は実質的に近非可視スペクトル内に存在する、アクセスすることと、
    前記可視スペクトルに関する前記生データを最適化し、それにより、第1の視覚画像表現を生成することと、
    前記非可視スペクトルに関する前記生データを最適化し、それにより、第2の視覚画像表現を生成することと、
    前記第1の視覚画像表現及び前記第2の視覚画像表現を合成し、合成画像を生成することと、
    を含む動作を実行させる、コンピュータ可読記憶媒体。
  2. 前記動作は、
    前記合成画像の表示を開始することを更に含む、請求項1に記載のコンピュータ可読記憶媒体。
  3. 前記第1の電磁スペクトル範囲は約390ナノメートル(nm)〜約700nmの範囲を含む、請求項1に記載のコンピュータ可読記憶媒体。
  4. 前記第2の電磁スペクトル範囲は約389ナノメートル(nm)〜約365nmの波長の範囲を含む、請求項1に記載のコンピュータ可読記憶媒体。
  5. 前記第2の電磁スペクトル範囲は約701ナノメートル(nm)〜約725nmの波長の範囲を含む、請求項1に記載のコンピュータ可読記憶媒体。
  6. 前記第1の視覚画像表現は単色画像表現を含む、請求項1に記載のコンピュータ可読記憶媒体。
  7. 前記第2の視覚画像表現は前記第1の電磁スペクトル範囲内の波長に対応する色を含む、請求項1に記載のコンピュータ可読記憶媒体。
  8. 前記近非可視スペクトルに関する前記生データを前記最適化することは、前記デジタルカメラのモード選択の検出に応答して実行され、前記モードは前記合成画像の表示に関連付けられる、請求項1に記載のコンピュータ可読記憶媒体。
  9. プロセッサを備えるデジタルカメラによって、第1の電磁スペクトル範囲に関連付けられる第1の情報及び第2の電磁スペクトル範囲に関連付けられる第2の情報の両方を有する生データにアクセスするステップであって、前記第1の電磁スペクトル範囲は実質的に可視スペクトル内に存在し、前記第2の電磁スペクトル範囲は実質的に近非可視スペクトル内に存在する、アクセスするステップと、
    前記デジタルカメラによって、前記可視スペクトルに関する前記生データを最適化するステップであり、該最適化するステップにより、第1の視覚画像表現を生成する、最適化するステップと、
    前記デジタルカメラによって、前記近非可視スペクトルに関する前記生データを最適化するステップであり、該最適化するステップにより、第2の視覚画像表現を生成する、最適化するステップと、
    合成画像を生成するために、前記デジタルカメラによって、前記第1の視覚画像表現及び前記第2の視覚画像表現を合成するステップと、
    を含む、方法。
  10. 前記デジタルカメラによって、前記合成画像の表示を開始することを更に含む、請求項9に記載の方法。
  11. 前記第1の電磁スペクトル範囲は約390ナノメートル(nm)〜約700nmの範囲を含む、請求項9に記載の方法。
  12. 前記第2の電磁スペクトル範囲は約389ナノメートル(nm)〜約365nmの波長の範囲を含む、請求項9に記載の方法。
  13. 前記第2の電磁スペクトル範囲は約701ナノメートル(nm)〜約725nmの波長の範囲を含む、請求項9に記載の方法。
  14. 前記第1の視覚画像表現は単色画像表現を含む、請求項9に記載の方法。
  15. 前記第2の視覚画像表現は前記第1の電磁スペクトル範囲内の波長に対応する色を含む、請求項9に記載の方法。
  16. 前記近非可視スペクトルに関する前記生データを前記最適化するステップは、前記デジタルカメラのモード選択の検出に応答して実行され、前記モードは前記合成画像の表示に関連付けられる、請求項9に記載の方法。
  17. 命令を記憶するメモリと、
    前記メモリに結合されるプロセッサであって、
    第1の電磁スペクトル範囲に関連付けられる第1の情報及び第2の電磁スペクトル範囲に関連付けられる第2の情報の両方を有する生データにアクセスすることであって、前記第1の電磁スペクトル範囲は実質的に可視スペクトル内に存在し、前記第2の電磁スペクトル範囲は実質的に近非可視スペクトル内に存在する、アクセスすることと、
    前記可視スペクトルに関する前記生データを最適化し、それにより、第1の視覚画像表現を生成することと、
    前記近非可視スペクトルに関する前記生データを最適化し、それにより、第2の視覚画像表現を生成することと、
    前記第1の視覚画像表現及び前記第2の視覚画像表現を合成し、合成画像を生成することと、
    を含む動作を実行するための命令の実行を容易にする、プロセッサと、
    を備える、デジタルカメラ。
  18. 前記動作は、
    前記合成画像の表示を開始することを更に含む、請求項17に記載のデジタルカメラ。
  19. 前記第1の視覚画像表現は単色画像表現を含み、前記第2の視覚画像表現は前記第1の電磁スペクトル範囲内の波長に対応する色を含む、請求項17に記載のデジタルカメラ。
  20. 前記近非可視スペクトルに関する前記生データを前記最適化することは、前記デジタルカメラのモード選択の検出に応答して実行され、前記モードは前記合成画像の表示に関連付けられる、請求項17に記載のデジタルカメラ。
JP2016536282A 2013-08-20 2014-08-05 可視光及び近非可視光の合成の検出、処理及び表示を容易にすること Expired - Fee Related JP6556721B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/971,520 US9591234B2 (en) 2013-08-20 2013-08-20 Facilitating detection, processing and display of combination of visible and near non-visible light
US13/971,520 2013-08-20
PCT/US2014/049780 WO2015026523A1 (en) 2013-08-20 2014-08-05 Facilitating detection, processing and display of combination of visible and near non-visible light

Publications (2)

Publication Number Publication Date
JP2016533115A true JP2016533115A (ja) 2016-10-20
JP6556721B2 JP6556721B2 (ja) 2019-08-07

Family

ID=51429367

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016536282A Expired - Fee Related JP6556721B2 (ja) 2013-08-20 2014-08-05 可視光及び近非可視光の合成の検出、処理及び表示を容易にすること

Country Status (4)

Country Link
US (3) US9591234B2 (ja)
EP (1) EP3036893B1 (ja)
JP (1) JP6556721B2 (ja)
WO (1) WO2015026523A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6579069B2 (ja) * 2016-09-20 2019-09-25 カシオ計算機株式会社 光通信装置、光通信方法、及び、プログラム
CN111491089A (zh) * 2020-04-24 2020-08-04 厦门大学 一种利用图像采集装置监测背景物上目标物的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005091343A (ja) * 2003-03-07 2005-04-07 Shikoku Res Inst Inc ガス漏洩監視方法、及びそのシステム
JP2006229894A (ja) * 2005-02-21 2006-08-31 Ibm Japan Ltd 表示装置、表示システム、表示方法、及びプログラム
JP2006267097A (ja) * 2005-02-28 2006-10-05 Shikoku Res Inst Inc 火炎可視化装置
JP2010272957A (ja) * 2009-05-19 2010-12-02 Nippon Hoso Kyokai <Nhk> 画像補正装置及びそのプログラム
JP2012142832A (ja) * 2011-01-05 2012-07-26 Seiko Epson Corp 撮像装置
JP2013042404A (ja) * 2011-08-18 2013-02-28 Seiko Epson Corp 画像処理装置、画像処理システム、カメラ、カメラシステム

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6024455A (en) 1998-01-13 2000-02-15 3M Innovative Properties Company Reflective article with concealed retroreflective pattern
US6203069B1 (en) 1998-11-18 2001-03-20 Dna Technologies Inc. Label having an invisible bar code applied thereon
WO2001082593A1 (en) 2000-04-24 2001-11-01 The Government Of The United States Of America, As Represented By The Secretary Of The Navy Apparatus and method for color image fusion
EP1211881A1 (en) 2000-12-04 2002-06-05 Fuji Photo Film Co., Ltd. Image processing method and device
US6832728B2 (en) 2001-03-26 2004-12-21 Pips Technology, Inc. Remote indicia reading system
BRPI0408830A (pt) 2003-03-27 2006-04-04 Graphic Security Systems Corp sistema e método para autenticar objetos
JP4016281B2 (ja) 2003-05-12 2007-12-05 セイコーエプソン株式会社 記録制御システム
US7305103B2 (en) 2003-06-30 2007-12-04 The Boeing Company System and method for generating pan sharpened multispectral imagery
EP2408192A3 (en) 2004-04-16 2014-01-01 James A. Aman Multiple view compositing and object tracking system
EP1797523A4 (en) 2004-08-23 2009-07-22 Sarnoff Corp METHOD AND DEVICE FOR PRODUCING A CONDENSED IMAGE
US7460160B2 (en) 2004-09-24 2008-12-02 Microsoft Corporation Multispectral digital camera employing both visible light and non-visible light sensing on a single image sensor
US7679672B2 (en) 2004-10-14 2010-03-16 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Electronic flash, imaging device and method for producing a flash of light having a wavelength spectrum in the visible range and the infrared range using a fluorescent material
WO2006060746A2 (en) 2004-12-03 2006-06-08 Infrared Solutions, Inc. Visible light and ir combined image camera with a laser pointer
JP4466569B2 (ja) * 2006-01-10 2010-05-26 株式会社豊田中央研究所 カラー画像再生装置
JP4899149B2 (ja) 2006-02-13 2012-03-21 株式会社ジェイエイアイコーポレーション 面順次方式カラーカメラシステム
US7744130B2 (en) 2006-05-15 2010-06-29 Victor Zazzu Secure product authentication tags
US7893966B2 (en) * 2006-06-30 2011-02-22 Canon Kabushiki Kaisha Apparatus and method for controlling editing and use of image processing parameters in image processing
US8319846B2 (en) 2007-01-11 2012-11-27 Raytheon Company Video camera system using multiple image sensors
EP2272027B1 (en) 2008-04-16 2014-03-26 Elbit Systems Ltd. Multispectral enhanced vision system and method for aircraft landing in inclement weather conditions
US8749635B2 (en) * 2009-06-03 2014-06-10 Flir Systems, Inc. Infrared camera systems and methods for dual sensor applications
US20110084126A1 (en) 2009-10-08 2011-04-14 3M Innovative Properties Company Methods and systems for enhancing read accuracy in automated license plate reader systems
US8432433B2 (en) 2010-01-14 2013-04-30 Raytheon Canada Limited Method and apparatus for colorizing a monochrome infrared image
CN102696280B (zh) 2010-01-15 2016-07-06 皇家飞利浦电子股份有限公司 使用常规相机传感器针对可见光通信的数据检测
US8350723B2 (en) 2010-01-29 2013-01-08 Guesswhat, Llc Method and system for improved traffic signage
US9584735B2 (en) * 2010-11-12 2017-02-28 Arcsoft, Inc. Front and back facing cameras
US8408468B2 (en) 2010-12-13 2013-04-02 Metrologic Instruments, Inc. Method of and system for reading visible and/or invisible code symbols in a user-transparent manner using visible/invisible illumination source switching during data capture and processing operations
US8379123B2 (en) * 2010-12-13 2013-02-19 Research In Motion Limited System and method of capturing low-light images on a mobile device
CN103460223B (zh) * 2011-02-10 2015-11-25 前视红外系统公司 波长差异的闪烁减少

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005091343A (ja) * 2003-03-07 2005-04-07 Shikoku Res Inst Inc ガス漏洩監視方法、及びそのシステム
JP2006229894A (ja) * 2005-02-21 2006-08-31 Ibm Japan Ltd 表示装置、表示システム、表示方法、及びプログラム
JP2006267097A (ja) * 2005-02-28 2006-10-05 Shikoku Res Inst Inc 火炎可視化装置
JP2010272957A (ja) * 2009-05-19 2010-12-02 Nippon Hoso Kyokai <Nhk> 画像補正装置及びそのプログラム
JP2012142832A (ja) * 2011-01-05 2012-07-26 Seiko Epson Corp 撮像装置
JP2013042404A (ja) * 2011-08-18 2013-02-28 Seiko Epson Corp 画像処理装置、画像処理システム、カメラ、カメラシステム

Also Published As

Publication number Publication date
WO2015026523A1 (en) 2015-02-26
US20150054960A1 (en) 2015-02-26
JP6556721B2 (ja) 2019-08-07
US20180249060A1 (en) 2018-08-30
US9992427B2 (en) 2018-06-05
US9591234B2 (en) 2017-03-07
US20170134633A1 (en) 2017-05-11
US10523877B2 (en) 2019-12-31
EP3036893A1 (en) 2016-06-29
EP3036893B1 (en) 2021-06-02

Similar Documents

Publication Publication Date Title
US20220174455A1 (en) Grouped transmission of location data in a location sharing system
CN103856630B (zh) 用于控制蓝牙低能耗装置的移动终端和方法
US20100138365A1 (en) Portable wireless enabled digital media frame
JP6388870B2 (ja) 導出環境コンテキストおよびアドホック状態ブロードキャストからの動作
US9443430B2 (en) Method and apparatus for determining an adjustment in parking position based on proximate parked vehicle information
US10972360B2 (en) Dynamic design of a lighting configuration
US8812656B2 (en) System and method for automatically managing a network of user-selectable devices
US9654942B2 (en) System for and method of transmitting communication information
CN105049510B (zh) 车辆通信的方法、装置及系统
US10231067B2 (en) Hearing aid adjustment via mobile device
US9313399B2 (en) System and method for identifying people in an image
WO2016196575A1 (en) Method and system for ambient proximity sensing techniques between mobile wireless devices for imagery redaction and other applicable uses
US10825310B2 (en) 3D monitoring of sensors physical location in a reduced bandwidth platform
US20200409725A1 (en) Method for page displaying, display terminal and storage medium
US20130207973A1 (en) Method and apparatus for generating panoramic maps with elements of subtle movement
US20210243602A1 (en) Uav service supporting method and device
JP6556721B2 (ja) 可視光及び近非可視光の合成の検出、処理及び表示を容易にすること
SE538778C2 (en) Selective user interaction in a dynamic, proximity-based group of wireless communication devices
US11409241B2 (en) Method and apparatus for adjusting holographic content and computer readable storage medium
US20220053148A1 (en) System for infinite windows with optical disparity and depth resolution
WO2019017885A1 (en) NETWORK-ASSISTED INCREASE IN REALITY
EP4311223A1 (en) Image capture method, and related apparatus and system
US20210118147A1 (en) Detection of a split-screen condition
US20240147335A1 (en) Facilitating on demand location based services in advanced networks
US20230239396A1 (en) Incoming Call Prompting Method and Electronic Device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170614

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180604

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190710

R150 Certificate of patent or registration of utility model

Ref document number: 6556721

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees