CN107645654B - 一种减少视觉传感器系统串扰的设备、系统和方法 - Google Patents

一种减少视觉传感器系统串扰的设备、系统和方法 Download PDF

Info

Publication number
CN107645654B
CN107645654B CN201710206791.7A CN201710206791A CN107645654B CN 107645654 B CN107645654 B CN 107645654B CN 201710206791 A CN201710206791 A CN 201710206791A CN 107645654 B CN107645654 B CN 107645654B
Authority
CN
China
Prior art keywords
image
sensor system
vision sensor
intensity
response curve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710206791.7A
Other languages
English (en)
Other versions
CN107645654A (zh
Inventor
斯图尔特·詹姆斯·麦伦·尼克尔森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Christie Digital Systems USA Inc
Original Assignee
Christie Digital Systems USA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Christie Digital Systems USA Inc filed Critical Christie Digital Systems USA Inc
Publication of CN107645654A publication Critical patent/CN107645654A/zh
Application granted granted Critical
Publication of CN107645654B publication Critical patent/CN107645654B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/30—Simulation of view from aircraft
    • G09B9/36—Simulation of night or reduced visibility flight
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/334—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using spectral multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens

Abstract

本发明实施例公开了一种减少视觉传感器系统串扰的设备、系统和方法。该系统包括：显示装置，所述显示装置配置为提供通过第一视觉传感器系统可视的第一图像和通过第二视觉传感器系统可视的第二图像，当所述第一图像和所述第二图像同时被提供时，所述第一图像和所述第二图像具有的共同特征可对齐，所述第一图像包含通过所述第二视觉传感器系统可视的波长；控制装置，所述控制装置配置为通过所述第二视觉传感器系统的响应曲线确定所述第一图像中的第二视觉传感器系统强度分量；及至少在所述第一图像和所述第二图像同时被提供时，使所述显示装置提供的第二图像的强度减去所述第一图像中的所述第二视觉传感器系统强度分量。

Description

一种减少视觉传感器系统串扰的设备、系统和方法
交叉引用
本申请要求2016年7月21日递交的编号为15/216,087的美国申请的优先权，上述申请的内容以引用方式被包含于此。
技术领域
本申请涉及投影仪与显示装置，尤其是涉及一种减少视觉传感器系统串扰的设备、系统和方法。
背景技术
当展示一幅图像时，期望的情况是裸眼(人类视觉传感器系统，或HVS系统)与使用夜视(NVIS)护目镜的观众都能看到适当的信息。不幸的是，因为HVS系统与NVIS护目镜有重叠的敏感范围，以至于HVS系统可视图像中的红色分量会引起NVIS护目镜感应。因此，场景中含有红色分量的物体也会显示在NVIS护目镜中。如果是使用RGB(红-绿-蓝)显示系统，由于所有的颜色都是由三原色混合后得到的，那么大部分物体可能都会含有一些红色，除非期望的绿色和蓝色的色域与该显示系统的设计色域匹配，否则那些颜色也将会包含一定量的红色，进而显示在NVIS护目镜中。对HVS系统与NVIS护目镜来说，所期望的图像可能不同，因此通常会使用不同的图像生成装置，并且，NVIS护目镜的图像生成装置可能区分不出在NVIS图像的任何位置上HVS(可见的)图像中的色彩或亮度。
发明内容
一般来说，本披露书涉及一种减少视觉传感器系统串扰的设备和方法，其中通过第一视觉传感器系统可视的第一图像和通过第二视觉传感器系统可视的第二图像同时被提供在一台显示装置中。所述第一图像中的第二视觉传感器系统强度分量通过所述第二视觉传感器系统的响应曲线确定，同时所述第二图像的强度减去所述第一图像中的第二视觉传感器系统强度分量。在一个具体实施例中，一个或多个投影仪投影可被人类视觉系统可视的RGB图像和可被夜视(NVIS)传感器系统(例如，NVIS护目镜)可视的红外图像。所述RGB图像中的NVIS传感器系统强度分量可以通过所述NVIS传感器系统的响应曲线确定，例如，作为一个波长的函数。同时将所述红外图像的强度减去所述RGB图像中的所述NVIS传感器系统强度分量。然而，本发明提供的系统和方法也可以应用于向不同视觉传感器系统同时提供图像时相互之间存在串扰的其他系统和设备。
在本披露书中，元件可以使用“配置为”来描述执行一个或多个功能。一般来说，配置为执行或配置为用于执行一个功能的元件能够执行该功能，或者适合执行该功能，或者可操作地执行该功能，或者是以其他方式执行该功能。
应当理解的是，为说明本披露书，“X，Y，Z中的至少一个”和“X，Y，Z中的一个或多个”可理解为只有X，只有Y，只有Z，或者X，Y，Z中的两个或多个的任意组合(例如，XYZ，XY，YZ，XZ，等等)。类似的逻辑也可应用于“至少一个……”和“一个或多个……”语句中出现的任何两个或多个对象。
根据本披露的一个方面，提供了一种减少视觉传感器系统串扰的系统，包括：显示装置，所述显示装置配置为提供通过第一视觉传感器系统可视的第一图像和通过第二视觉传感器系统可视的第二图像，当所述第一图像和所述第二图像同时被提供时，所述第一图像和所述第二图像具有的共同特征可对齐，所述第一图像包含通过所述第二视觉传感器系统可视的波长；控制装置，所述控制装置配置为通过所述第二视觉传感器系统的响应曲线确定所述第一图像中的第二视觉传感器系统强度分量；及至少在所述第一图像和所述第二图像同时被提供时，使所述显示装置提供的第二图像的强度减去所述第一图像中的所述第二视觉传感器系统强度分量。
所述系统进一步还可以包括存储装置，所述存储器存储所述第二视觉传感器系统的响应曲线，以及一个或多个的第一投影仪的光源连同所述第一图像的光谱辐射曲线。
所述显示装置可以包括一个或多个投影仪，所述一个或多个投影仪配置为通过如下方式中的一种或多种同时提供所述第一图像和第二图像：交错显示所述第一图像和第二图像；交替显示所述第一图像和第二图像；及共同投影所述第一图像和第二图像。
所述第一视觉传感器系统可以包括人类视觉系统，所述第二视觉传感器系统可以包括夜视(NVIS)传感器系统。
所述第一视觉传感器系统可以包括人类视觉系统，所述第二视觉传感器系统可以包括夜视(NVIS)传感器系统；及所述响应曲线包括NVIS响应曲线、NVIS-A响应曲线和NVIS-B响应曲线中的一条或多条。
所述第一图像可以包括蓝色图像、绿色图像和红色图像中的一个或多个，所述第二图像包括红外图像；所述控制装置可以进一步配置为通过所述第二视觉传感器系统的响应曲线确定所述第一图像中的所述第二视觉传感器系统强度分量，包括：在所述控制装置中将所述响应曲线与一个或多个的所述第一投影仪的光源连同所述第一图像的光谱辐射曲线中的每一条光谱辐射曲线相乘；并在所述控制装置中将每一个相乘的结果相加。
所述第一图像可以包括蓝色图像、绿色图像和红色图像中的一个或多个，所述第二图像包括红色图像；所述控制装置可以进一步配置为通过所述第二视觉传感器系统的响应曲线确定所述第一图像中的所述第二视觉传感器系统强度分量，包括：在所述控制装置中将所述响应曲线与一个或多个的所述第一投影仪的光源连同所述第一图像的光谱辐射曲线中的每一条光谱辐射曲线相乘；并在所述控制装置中将每一个相乘的结果相加。
所述控制装置可以进一步配置为使所述显示装置提供的所述第二图像的强度减去所述第二视觉传感器系统强度分量，包括：通过对所述第二视觉传感器系统强度分量进行积分来确定所述第二视觉传感器系统强度分量的与波长无关的总强度；和从所述第二图像的强度中减去所述总强度。
所述控制装置可以进一步配置为通过所述第二视觉传感器系统的响应曲线，确定所述第一图像中的作为波长函数的所述第二视觉传感器系统强度分量。
所述控制装置可以进一步配置为使所述显示装置提供的所述第二图像的强度减去所述第一图像中的作为波长函数的所述第二视觉传感器系统强度分量。
根据本披露的另一个方面，提供了一种减少视觉传感器系统串扰的方法，包括：在一个包含显示装置和控制装置的系统中，所述显示装置配置为提供通过第一视觉传感器系统可视的第一图像和通过第二视觉传感器系统可视的第二图像，当所述第一图像和所述第二图像同时被提供时，所述第一图像和所述第二图像具有的共同特征可对齐，所述第一图像包含通过所述第二视觉传感器系统可视的波长；在所述控制装置中，通过所述第二视觉传感器系统的响应曲线确定所述第一图像中的第二视觉传感器系统强度分量；至少在所述第一图像和所述第二图像同时被提供时，在所述控制装置中使所述显示装置提供的所述第二图像的强度减去所述第一图像中的所述第二视觉传感器系统强度分量。
所述显示装置可以包括一个或多个投影仪，所述一个或多个投影仪配置为通过如下方式中的一种或多种同时提供所述第一图像和第二图像：交错显示所述第一图像和第二图像；交替显示所述第一图像和第二图像；及共同投影所述第一图像和第二图像。
所述第一视觉传感器系统可以包括人类视觉系统，所述第二视觉传感器系统可以包括夜视(NVIS)传感器系统。
所述第一视觉传感器系统可以包括人类视觉系统，所述第二视觉传感器系统可以包括夜视(NVIS)传感器系统；所述响应曲线可以包括NVIS响应曲线、NVIS-A响应曲线、NVIS-B响应曲线中的一条或多条。
所述第一图像可以包括蓝色图像、绿色图像和红色图像中的一个或多个，所述第二图像包括红外图像；所述方法能够进一步通过所述第二视觉传感器系统的响应曲线确定所述第一图像中的所述第二视觉传感器系统强度分量，包括：在所述控制装置中将所述响应曲线与一个或多个的所述第一投影仪的光源连同所述第一图像的光谱辐射曲线中的每一条光谱辐射曲线相乘；及在所述控制装置中将相乘的结果相加。
所述第一图像可以包括蓝色图像、绿色图像和红色图像中的一个或多个，所述第二图像包括红色图像；所述方法能够进一步通过所述第二视觉传感器系统的响应曲线确定所述第一图像中的所述第二视觉传感器系统强度分量，包括：在所述控制装置中将所述响应曲线与一个或多个的所述第一投影仪的光源连同所述第一图像的光谱辐射曲线中的每一条光谱辐射曲线相乘；及在所述控制装置中将相乘的结果相加。
所述方法能够进一步将所述显示装置提供的所述第二图像的强度减去所述所述第二视觉传感器系统强度分量，包括：通过对所述第二视觉传感器系统强度分量积分来确定所述第二视觉传感器系统强度分量的与波长无关的总强度；和从所述第二图像的强度减去所述总强度。
所述方法能够进一步通过所述第二视觉传感器系统的响应曲线，确定所述第一图像中的作为波长函数的所述第二视觉传感器系统强度分量。
所述方法能够进一步将所述显示装置提供的所述第二图像的强度减去所述第一图像中的作为波长函数的所述第二视觉传感器系统强度分量。
根据本披露的另一个方面，提供了一种计算机可读的存储媒介，所述存储媒介存储计算机程序，其中执行所述计算机程序可用于：一个包含显示装置和控制装置的系统中，包括：所述显示装置配置为提供通过第一视觉传感器系统可视的第一图像和通过第二视觉传感器系统可视的第二图像，当所述第一图像和所述第二图像同时被提供时，所述第一图像和所述第二图像具有的共同特征可对齐，所述第一图像包含通过所述第二视觉传感器系统可视的波长；在所述控制装置中，通过所述第二视觉传感器系统的响应曲线确定所述第一图像中的第二视觉传感器系统强度分量；及至少在所述第一图像和所述第二图像同时被提供时，在所述控制装置中使所述显示装置提供的所述第二图像的强度减少所述第一图像中的所述第二视觉传感器系统强度分量。所述计算机可读的存储媒介可以包含非易失性计算机可读的存储媒介。
附图说明
为更好地理解本申请所描述的各种实施例并更清楚地示出如何实现这些实施例，本申请提供仅用作示例性说明的参考附图：
图1是根据本披露的非限制性实施例所示的一种减少视觉传感器系统串扰的示例系统的示意图；
图2是根据本披露的非限制性实施例所示的一种减少串扰的示例方法的流程框图；
图3是根据本披露的非限制性实施例所示的图1示例系统中视觉传感系统的响应曲线，以及人类视觉系统可视的图像中红-绿-蓝分量的光谱辐射曲线，和夜视护目镜可视的红外图像的光谱辐射曲线的示意图；
图4是根据本披露的非限制性实施例所示的确定图3中人类视觉系统可视的图像中红-绿-蓝分量中的每一种分量对红外感应贡献的示意图；
图5是根据本披露的非限制性实施例所示的确定图3中人类视觉系统可视的图像中红-绿-蓝分量对红外感应贡献总和的示意图；
图6是根据本披露的非限制性实施例所示的减去红外图像的强度的示意图，可以通过夜视护目镜对人类视觉系统可视的图像中的红-绿-蓝分量的响应曲线积分来确定与波长无关的总强度，并用红外图像的强度减去该总强度；
图7是根据本披露的非限制性实施例所示的减少红外图像的强度的示意图，可以通过夜视护目镜对人类视觉系统可视的图像中的红-绿-蓝分量的响应曲线积分来确定作为波长函数的总强度，并从红外图像的强度减去该总强度；
图8是根据本披露的非限制性实施例所示的视觉传感器系统中减少串扰的一种替代系统的示意图。
具体实施方式
请将注意力放至图1，其中描述的是一个在视觉传感器系统中减少串扰的系统100。系统100包括：第一视觉传感器系统101和第二视觉传感器系统102，其中第一视觉传感器系统101和第二视觉传感器系统102各自对应的波长敏感范围可以有部分重叠；显示装置103配置为提供通过第一视觉传感器系统101可视的第一图像111和通过第二视觉传感器系统102可视的第二图像112，其中当第一图像111和第二图像112被同时提供时，第一图像111和第二图像112具有的共同特征113和114可对齐，第一图像111还包含通过第二视觉传感器系统102可视的波长；控制装置201和存储装置120，其中存储装置210可以存储第二视觉传感器系统102的响应曲线122。控制装置201配置为可以通过第二视觉传感器系统102的响应曲线122确定第一图像111中的第二视觉传感器系统强度分量，并至少在第一图像111和第二图像112同时被提供时，使显示装置103提供的第二图像112的强度减去第一图像111中的第二视觉传感器系统强度分量。
如所描述，存储装置120是控制装置201的一个组件，控制装置201进一步还可以包括通信接口224。
进一步，如所描述，显示装置103可以包括两个投影仪210-1、210-2(也可简称为投影仪210，并且一般情况下被简称为投影仪210)和一个显示屏幕211，其中由投影仪210-1和投影仪210-2分别投影的图像111、112显示在该显示屏幕211上。
每个投影仪210可以包括一个数字投影仪，可以配置为使用各自相应的光调制器数字化地投影图像111和图像112。投影仪210可以包括但不限于基于DMD(数字微镜器件)的DLPTM(数字光处理)的投影仪、基于LCOS(硅基液晶)的投影仪等；另外，能够投影图像111和112的任何类型投影仪都在本实施例的范围内。尽管未在图1中标示，系统100和/或每个投影仪210可以包含其他装置，其他装置包括但不限于变形装置等，可以配置为使投影数据变形以用于投影仪210投影到一个平面上。例如，每个投影仪210可以包括一个各自相应的控制器，该控制器用来从控制装置201中以投影数据等形式接收各自相应的图像111和112，并使各自相应的图像111和112进行变形和/或调整用来投影在显示屏幕211上。具体地，每个投影仪210可以包括一个或多个各自相应的光源和/或照明器，用来照射其各自相应的光调制器。
进一步来说，尽管只有两个投影仪210被描述，但系统100可以包括多个投影仪210和/或三个或多个投影仪，每个投影仪都配置为投影各自相应的投影数据，例如一个待投影的更大的平铺图像的一部分。
可选择地，显示装置103也可以包括一个投影仪，适于交错显示图像111和112，和/或交替显示图像111和112。
因此，显示装置103可以包括一个或多个投影仪210，配置为通过如下的一种或多种方式同时提供第一图像111和第二图像112：交错显示第一图像111和第二图像112；交替显示第一图像111和第二图像112；以及共同投影(如所描述)第一图像111和第二图像112。
系统100可以包括一个模拟环境和/或一个可视化环境，例如用来训练飞行员在夜间飞行的飞行模拟器。同样的，在这些实施例中，第一图像111中可以包括通过人类视觉系统可视的图像，也可以包括由红色图像、绿色图像、蓝色图像组成的组合图像(“RGB图像”)；第二图像112中可以包括能通过夜视设备(例如，夜视护目镜等)可视的与第一图像111相同和/或相似的图像。因此，在这些实施例中，投影仪210-1通常配置为投影包括第一图像111在内的能被人类视觉系统可视的波长范围内的图像，例如可视的波长范围大约是400nm-700nm；投影仪210-2通常配置为投影包括第二图像112在内的能被夜视设备可视的波长范围的红外图像，例如NVIS-A可视的波长范围大约是580nm-900nm，和/或NVIS-B可视的波长范围大约是620nm-900nm。
具体地，投影仪210-1可以包括一个RGB投影仪，该RGB投影仪包括一个红色光源、一个绿色光源和一个蓝色光源(例如，三个光源和/或发光器)，这些光源发出的光对于人类视觉传感器系统来说都是可视的；进一步地，投影仪210-2可以包括一个红外投影仪，该红外投影仪包括一个红外光源，发出的光对于夜视设备来说是可视的。每个投影仪210都配置为可以控制各自相应光源发出的光的强度和/或相对强度。在一些实施例中，每个投影仪210可以通过增加或减少图像总强度来控制每个光源对相应的图像111和112的贡献(例如，通过增加或降低相应光源的功率，和/或通过使用调制方案，如在各自相应调制器中进行脉冲宽度调制等)。例如，在这些实施例中，每个相应图像111和112中的某一种颜色分量的光谱辐射曲线的特定形状不会改变，只是相对强度会改变。在另外一些实施例中，一个或多个投影仪210可以配置为至少部分地以波长函数的方式控制每个相应图像111和112中的某一种颜色分量的光谱辐射曲线。
在这些特定实施例中，任何情况下第一视觉传感器系统101可以包括人类视觉系统和/或人类视觉传感器系统，配置为在人类可视的波长范围内观察图像，其中人类可视的波长范围包括但不限于400nm-700nm。第一视觉传感器系统101可以包括一个或多个人类的眼睛，第一视觉传感器系统101还可以包括一个或多个相机、电荷耦合设备(CCDs)，甚至还可以是能够对400nm-700nm范围内的波长的光敏感的相机胶片。具体地，第一视觉传感器系统101可以在显示装置103提供第一图像111时检测到第一图像111，并将第一图像111直观地提供给用户。
在一些特定实施例中，第一视觉传感器系统101可以包括人类视觉传感器系统，第二视觉传感器系统102可以包括夜视(NVIS)传感器系统、夜视(NVIS)护目镜、夜视(NVIS)设备、夜视(NVIS)平视显示系统、红外探测器等其中的一个或多个。具体地，第一视觉传感器系统101根据响应曲线121探测光线，其中，响应曲线121将在下文中详细描述。第二视觉传感器系统102可以包括夜视设备等，其中夜视设备可以包括NVIS-A护目镜和/或NVIS-A设备，和/或，NVIS-B护目镜和/或NVIS-B设备，每一个所述设备都可以根据其响应曲线122探测红外光线(其中，响应曲线122可以包含多条响应曲线，例如一条NVIS-A响应曲线和一条NVIS-B响应曲线)。当第二视觉传感器系统102包含夜视设备时，该第二视觉传感器系统102可以不依赖波长而检测到图像111和112，而不是根据响应曲线121检测光。换句话说，由第二视觉传感器系统102呈现的图像通常是单色的(例如，黑色与白色，黑色与绿色，黑色与黄色等)，因此这样的夜视设备可以用来显示在第二视觉传感器系统102的可视范围内有或者没有红外光线，而与该红外光线的波长无关。
进一步地，如图1所示，当视觉传感器系统101和102同时存在时，在另一些实施例中，第二视觉传感器系统102可以与第一视觉传感器系统101结合使用，例如，当一个用户戴着NVIS护目镜的时候。
根据系统100使用的夜视设备的种类，存储装置120可以提供相应的响应曲线122。通常，夜视设备对红外光线敏感，例如，NVIS-A设备可以探测到波长大概在580nm-900nm范围内的红外光线，NVIS-B设备可以探测到波长大概在620nm-900nm范围内的红外光线。因此，在一些实施例中，第二视觉传感器系统102可以探测到显示装置103提供的第二图像112，并将其直观地呈现给用户。应当理解的是，第一视觉传感器系统101和第二视觉传感器系统102各自相应的波长敏感范围至少有部分重叠，因此，为通过第一视觉传感器系统101观察而产生的第一图像111也会含有可通过第二视觉传感器系统102可视的波长，具体将在下文描述。
如所描述，第一视觉传感器系统101可以包括人类视觉传感器系统，同时，第二视觉传感器系统102可以包括夜视传感器系统。进一步地，当第一视觉传感器系统101包括人类视觉系统，以及第二视觉传感器系统102包括夜视传感器系统时，响应曲线122可以包括NVIS响应曲线、NVIS-A响应曲线和NVIS-B响应曲线中的一条或多条。
更进一步地，NVIS-A的波长敏感范围(580nm-900nm)和NVIS-B的波长敏感范围(620nm-900nm)都与HVS的波长敏感范围(400nm-700nm)有重叠。因此，当第一图像111中含有波长范围在580nm-700nm的分量时，这个分量通过第二视觉传感器系统102也是可视的。因此，第一图像111会导致第二图像112的亮度增大。
如所描述，图像111和112各自包含一棵树的共同特征113和114：虽然图中所示的图像111和112中的树是互相错开的，但这种错位仅仅是为了标示出来以便清楚地进行说明，应当理解的是，图像111和112中所示的树是可以对齐的，和/或将共同特征中的一个投影在另一个之上，这样图像111中的树的特征就会与图像112中的树的相应特征对齐。
换句话说，图像111和112通常都会包含相似的内容，但是图像111是用人类视觉系统可视的波长的光提供的，因此图像111对第一视觉传感器系统101来说是可视的，例如人眼等。图像112是用红外波长的光提供的，因此图像112对第二视觉传感器系统102来说是可视的，例如夜视护目镜等。
本领域内的普通技术人员应当理解，图像111和112不需要完全相同，例如，可被人类视觉系统可视的特征可以不在红外波长范围内，这样的特征可以包含在第一图像111中而不在图像112中(反之亦然)。然而，在人类视觉系统波长范围和红外波长范围内都可视的共同特征(例如树冠)，投影在显示屏幕211上时，该共同特征是可以对齐的。特别地，在给定的波长范围内，图像111和112中与共同特征113和114有关的特征的位置也是一直相同的。换句话说，图像111和112的设计者可以确保系统100的用户体验与其在夜间操作飞机时是一致的(例如，当系统100包括飞行模拟器时)。
因此，当用户直接使用裸眼观看显示屏幕211时，可以看到图像111；当用户带上夜视护目镜时，可以通过夜视护目镜看到图像112中在红外波长下的相同的场景。场景中的不同特征可视与否取决于用户是否佩戴夜视护目镜，而且这些不同特征可以被编码到图像111和112中。
图像111中的一部分也会通过夜视护目镜被看到，因为夜视护目镜的响应曲线包括部分可见光的波长范围，这会引起一些不好的用户体验。事实上，当系统100包括飞行模拟器或其他类似系统时，这种波长敏感范围上的重叠甚至最终是危险的，因为它会给使用夜视护目镜训练操作飞机的飞行员等提供一个错误的经验理解，而这可能导致以后在夜间飞行状况下使用夜视护目镜操作飞机时发生事故。
因此，系统100进一步可以包括一个控制装置201来解决这个问题，如下文所述。
控制装置201可以包括但不限于内容播放器、图像生成器、图像渲染器等其中的一个或多个，或者其他能够处理和/或播放和/或生成图像111和112的装置，例如通过生成可适用于每个投影仪210进行处理和投影的投影数据。控制装置201可以包括任何合适的计算设备，包括但不限于图形处理单元(GPU)、图形处理设备、图形处理引擎、视频处理装置、个人计算机(PC)、服务器，通常还可以包括存储装置120和通信接口224(以下可简称为接口224)。可选地，还可以包括任何输入设备和显示设备或其组合。
控制装置201可以包括服务器等，配置为以图像数据的形式生成和/或渲染图像，包括但不限于图像111和112。另外，控制装置201可以使用图像生成算法等生成图像111和112。事实上，图像111和112可以以数据的形式存储在存储装置120中(如所描述)和/或“实时”生成，并以投影数据的形式被发送至每个投影仪210中，每个投影仪210可以使用投影数据来控制各自相应的光调制器来调制光，并可以投影相应的图像111和112到显示屏幕211上。
图像111和112中的每一个可以包括但不限于一个或多个AVI文件、一个或多个JPG文件和一个或多个PNG文件等。当图像111和112以投影数据的形式提供给投影仪210时，该投影数据可以包括但不限于HDMI数据、VGA数据和/或视频传输数据。换句话说，控制装置201可以通过处理图像111和112来生成相应的投影数据并发送至每个投影仪210。反过来，投影仪210又可以处理各自相应的投影数据，使之成为适于投影的数据格式。应当理解的是，多种多样的结构和图像格式均在本实施例的范围内。
控制装置201可以包括一个或多个处理器，包括但不限于一个或多个中央处理器(CPUs)、一个或多个处理单元和/或一个或多个图形处理单元(GPUs)。无论哪种方式，控制装置201包括硬件单元和/或硬件处理器。在一些实施例中，控制装置201还可以包括专用集成电路(ASIC)和/或现场可编程门阵列(FPGA)，专门配置为实现控制装置201的功能。因此，控制装置201不一定是一台通用计算设备和/或通用处理器和/或通用组件，还可以是专门配置为实现特定功能的设备，下文将详细描述。例如，控制装置201可以包括一个特定的引擎，该引擎配置为在视觉传感器系统中减少串扰。
存储装置120可以包括非易失性存储单元(例如，电可擦可编程只读存储器即EEPROM、闪存)和易失性存储单元(例如，随机存取存储器即RAM)。此处所描述的能实现控制装置201的功能的程序指令通常是一直存储在存储装置120中，控制装置201在执行这些程序指令时可以适当地利用易失性存储器。本领域内的技术人员应当理解，存储装置120只是能够存储可被控制装置201执行的程序指令的计算机可读媒介的一种示例，更进一步地，存储装置120也是存储单元和/或存储模块和/或非易失性存储器的一种示例。
特别地，存储装置120可以存储应用236，当控制装置201执行该应用236时，能够通过第二视觉传感器系统102的响应曲线122确定第一图像111中的第二视觉传感器系统强度分量，并且至少在第一图像111和第二图像112同时被提供时，使显示装置103提供的第二图像112的强度减去第一图像111中的第二视觉传感器系统强度分量。
如所描述，存储装置120可以进一步地存储第一视觉传感器系统101的HVS系统响应曲线121，相应地，该响应曲线121可预置在存储装置120中。例如，当第一图像111的强度需要减去第二图像112中的第一视觉传感器系统强度分量时，可以根据存储装置120存储的响应曲线121完成。可以理解的是，一般来说，在存储器120中预先存储响应曲线121是可选的。
如所描述，存储装置120还可以进一步存储每个投影仪210各自相应光源的光谱辐射曲线，下文中将详述。
更进一步地，系统100中组件的特定功能可以在控制装置201中被执行。例如，如上所述的实施例中，针对一个指定的投影仪210，控制装置201可以进一步播放和/或生成图像数据得到投影数据，将投影数据依次发送至投影仪210，每个投影仪210可以基于收到的投影数据来投影相应的图像111和112。
接口224包括任何合适的有线或无线通信接口，能够使控制装置201与投影仪210通过相应的通信线路进行通信，通信线路包括有线通信线路和/或无线通信线路。
图2根据本披露的非限制性实施例所示的一种减少视觉传感器系统中串扰的示例方法300的流程框图。为了更清楚的说明方法300，假设方法300通过系统100来完成，更具体地，是通过控制装置201完成，例如当控制装置201运行处理应用236时的流程。事实上，系统100和/或控制装置201配置为用方法300执行功能。下文中对方法300的说明有助于更进一步地理解控制装置201、系统100及其组件。应当理解的是，系统100和/或控制装置201和/或方法300可以是变化的，不是必须完全按照本说明书描述的相互结合的方式工作，并且各种变化也在本实施例的范围内。
需要强调的是，除非另有说明，方法300不需要完全按照图2中所示的顺序执行。同样地，不同的流程框可以并行地被执行，而不一定是按顺序执行。因此，方法300中的内容在这里使用“框”而不是“步骤”来说明。还应当理解的是，方法300也可以通过系统100的各种变化执行。
在框301中，控制装置201通过第二视觉传感器系统102的响应曲线122确定第一图像111中的第二视觉传感器系统强度分量。
在框303中，至少在第一图像111和第二图像112同时被提供时，控制装置201使显示装置103提供的第二图像112的强度减去第一图像111中的第二视觉传感器系统强度分量。
接下来将参照图3到图5详细说明方法300。
图3是根据本披露的非限制性实施例所示的第一视觉传感器系统101的响应曲线121以及第二视觉传感器系统102的响应曲线122。如所描述，响应曲线121对应于人类眼睛的光谱敏感曲线，响应曲线122包括NVIS-B的响应曲线。如上所述，在存储器120中预存储响应曲线121是可选的。
图3进一步标示出了图像111中至少一个像素的作为波长函数的蓝色光谱辐射曲线311-B、作为波长函数的绿色光谱辐射曲线311-G和作为波长函数的红色光谱辐射曲线311-R的一个非限制性实施例，以及图像112中至少一个像素的作为波长函数的光谱辐射曲线312的一个非限制性实施例，其中每一条曲线都清楚地包括了红外波段部分(例如，波长大于700nm部分)。光谱辐射曲线311-B、311-G和311-R在本说明书中可以统称为光谱辐射曲线311，并且一般情况下也可被简称为光谱辐射曲线311。进一步地，响应曲线121和122中的每一条，以及光谱辐射曲线311和312的单位都是相对单位(AU)。更进一步地，光谱辐射曲线311和312可以存储在存储装置120中，作为光谱辐射曲线131的子集。另外，可以理解的是，此处所示的每一条光谱辐射曲线311、312仅作为示例。进一步地，此处提供的光谱辐射曲线311只是用来说明投影仪210的蓝色光源、绿色光源、红色光源中的任何一个可能包括红外波段部分。实际上，RGB投影仪中的蓝色光源、绿色光源和红色光源可以包含那些波长分布集中在给定蓝色波长、绿色波长和红色波长的光谱辐射曲线，这些光谱辐射曲线的波长分布比图3所示的每一条光谱辐射曲线311更窄。类似的，光谱辐射曲线312表示为红外光源的一种光谱辐射曲线示例，该红外光源的光谱辐射曲线中的非红外分量(例如，人类视觉系统可视波长分量)被夸大了。
特别地，响应曲线122可以表示第二视觉传感器系统102的敏感度作为波长函数的曲线。类似的，光谱辐射曲线311和312分别表示图像111和112中对应像素的光强作为波长函数的曲线。例如，光谱辐射曲线311-B、311-G和311-R可以包括图像111中构成共同特征113中一部分的一个或多个蓝色像素、绿色像素和红色像素的光谱辐射曲线。光谱辐射曲线312可以包括图像112中构成共同特征114中相同部分的红外像素的光谱辐射曲线，图像112中的共同特征114中相同部分也是由光谱辐射曲线311-B、311-G和311-R表示的一个或多个相应的像素构成的。
换句话说，在任何给定的时刻，显示屏幕211可以同时显示具有光谱辐射曲线311和312的像素，这些像素是对齐的和/或重叠的。进一步地，因为每一条光谱辐射曲线311都清楚地含有与响应曲线122重叠的相应部分，至少这些重叠部分是可以被第二视觉传感器系统102可视的。
例如，如图4中左侧一列图像所示，响应曲线122可以叠加到光谱辐射曲线311-B、311-G和311-R中的每一条上。通过将响应曲线122与光谱辐射曲线311-B、311-G和311-R中的每一条相乘，可以得到一个重叠区域。因此，如图4中右侧一列所示，分别是第一图像111的第二视觉传感器系统强度分量411-B、411-G和411-R。具体地，强度分量411-B、411-G和411-R可以通过响应曲线122与第一图像111的光谱辐射曲线311-B、311-G和311-R相乘来确定(例如，方法300的框301所示)。
如图5所示，图表501是将每一个第二视觉传感器系统强度分量411-B、411-G和411-R相加后得到的作为波长函数的第二视觉传感器系统强度分量总和511。图表502是将第二视觉传感器系统强度分量总和511叠加到第二图像112的光谱辐射曲线312中。修正前，第二视觉传感器系统强度分量总和511以及光谱辐射曲线312可以同时通过第二视觉传感器系统102观察到，这也意味着图像111和112具有的共同特征(例如，共同特征113和114)会比第二视觉传感器系统102中原本期望的亮度更高。因此，为了修正这个情况，控制装置201将每一个第二视觉传感器系统强度分量411-B、411-G和411-R求和后得到第二视觉传感器系统强度分量总和511，然后将第二图像112的强度减去第一图像111的第二视觉传感器系统强度分量总和511。可以理解的是，将第二图像112的强度减去第一图像111的第二视觉传感器系统强度分量总和511的各种实施例均在本说明书的范围内。
例如，如图6所示，本披露提供了显示装置103提供的第二图像112的强度减去第二视觉传感器系统强度分量总和511的一个实施例：对第二视觉传感器系统强度分量总和511进行积分来确定第二视觉传感器系统强度分量的与波长无关的总强度，然后将图像112的强度减去该总强度。例如，如图表602中所示，对第二视觉传感器系统强度分量总和511的曲线进行积分，可得到第二视觉传感器系统强度分量总和511曲线的面积A1，这个面积A1代表了第二视觉传感器系统强度分量总和511的总强度。然后，如图表603中所示，将光谱辐射曲线312的总强度减去A1对应的强度。因此，如图表603所示，将光谱辐射曲线312减去A1所对应的强度后，得到缩小的光谱辐射曲线612。例如，如图604中所示，将缩小的光谱辐射曲线612与第二视觉传感器系统强度分量总和511相加，会得到一个总强度曲线693，这个总强度曲线693的面积与光谱辐射曲线312的面积相似，因此，还会得到亮度与图像112的亮度也相似的结果。例如，在第二视觉传感器系统102中，图像111的共同特征113的亮度会增加图像112中的共同特征114的亮度。
如所描述，该总强度曲线693的形状可以与光谱辐射曲线312不同。然而，因为第二视觉传感器系统102对波长不敏感，与根据响应曲线121接收到的图像111和112不同，因此总强度曲线693在光谱形状上的改变(与光谱辐射曲线312相比)不会影响图像112。
减少光谱辐射曲线312得到缩小的光谱辐射曲线612可以通过如下方式中的一种或多种实现：降低投影仪210-2的红外光源的强度和在投影仪210-1中使用调制方案(包括但不限于在上述投影仪的调制器中使用脉冲宽度调制等)。这种强度上的减少通常与波长无关，因为缩小的光谱辐射曲线612基本上相当于一条变暗的光谱辐射曲线312，曲线312和曲线612通常会有类似的形状。
此外，显示装置103提供的第二图像112的强度也可以减去作为波长函数的第二视觉传感器系统强度分量总和511。例如，在一些实施例中，投影仪210配置为控制第二图像112的光谱辐射曲线312的形状。例如，如图7中的图表703所示，可以从光谱辐射曲线312中减去作为波长函数的第二视觉传感器系统强度分量总和511，得到调整后的光谱辐射曲线712。因此，第二图像112被投影时包括调整后的光谱辐射曲线712，以至于当包含第二视觉传感器系统强度分量总和511的第一图像111和包括调整后的光谱辐射曲线712的第二图像112同时被提供时，通过第二视觉传感器系统102观察到的总亮度是第二视觉传感器系统强度分量总和511与调整后的光谱辐射曲线712的总和，这样就得到与光谱辐射曲线312类似的总强度曲线793。因此，通过第二视觉传感器系统102观察到的总强度曲线793的亮度与光谱辐射曲线312的亮度相似。同样地，在第二视觉传感器系统102中，图像111的共同特征113的亮度会增加图像112中的共同特征114的亮度。
因此，在这些实施例中，控制装置201通过对图像111和112以及响应曲线122进行处理确定每一个第二视觉传感器系统强度分量411-B、411-G、411-R以及光谱辐射曲线312，然后得到包括调整后的光谱辐射曲线712且与图像112相关的投影数据。
进一步地，在任意实施例中，第一图像111可以包括蓝色图像、绿色图像和红色图像中的一个或多个，第二图像112可以包括红外图像，控制装置201可以配置为通过第二视觉传感器系统102的响应曲线122确定第一图像111中的第二视觉传感器系统强度分量511，可以通过如下方式：将响应曲线122与第一图像111(和/或第一投影仪210-1的光源)的每一条光谱辐射曲线311相乘；并将作为波长函数的每一个相乘的结果相加。更进一步地，上述过程可以基于每个像素实现。换句话说，控制装置201可以配置为通过第二视觉传感器系统102的响应曲线122确定第一图像111中的第二视觉传感器系统强度分量511，通过如下方式：将响应曲线122与一个或多个的第一投影仪210-1的光源和第一图像111的每一条光谱辐射曲线311相乘；并将每一个相乘的结果相加。
换句话说，控制装置201可以进一步配置为逐个像素地通过第二视觉传感器系统102的响应曲线122确定第一图像111中的作为波长函数的第二视觉传感器系统强度分量511。此外，控制装置201还可以进一步配置为逐个像素地使第二图像112(由显示装置103提供)的强度减去第一图像111中的第二视觉传感器系统强度分量511，通过减去与波长无关的总强度的方式，或者通过减去作为波长函数的强度的方式。
本领域内技术人员应当理解，以上描述可以有多种实施方式及其可能的变化。尽管方法300是使用包含NVIS-B响应曲线的响应曲线122来说明，但响应曲线122还可以包括NVIS-A响应曲线，或者其他任何NVIS响应曲线。
进一步地，在一些实施例中，第一图像111可以包括蓝色图像、绿色图像和红色图像中的一个或多个；第二图像112可以包括相应的红色图像，而不一定是严格红外图像。例如，如图3所示，第一图像111可以包括具有响应曲线311-B的蓝色图像、具有响应曲线311-G的绿色图像和具有响应曲线311-R的红色图像；第二图像112可以包括具有响应曲线311-R的红色图像，该红色图像可以与图像111中的红色图像相同，也可以不同。换句话说，在一些实施例中，系统100只是通过以红色图像编码的红外数据来提供可通过第二视觉传感器系统102观察到的图像。
因此，除了将第二视觉传感器系统强度分量411-B、411-G、411-R相加来得到第二视觉传感器系统强度分量总和511之外，在一些实施例中，控制装置201还可以用响应曲线122和每一个蓝色图像和每一个绿色图像中的每一条光谱辐射曲线311-B、311-G相乘来得到第二视觉传感器系统强度分量411-B、411-G，再将相乘的结果相加得到仅包含第二视觉传感器系统强度分量411-B、411-G的第二视觉传感器系统强度分量，然后将红色图像的强度减去该第二视觉传感器系统强度分量，这与上文描述的减少光谱辐射曲线312得到缩小的光谱辐射曲线612和/或调整后的光谱辐射曲线712类似。
因此，在这些实施例中，第一图像111可以包括蓝色图像、绿色图像和红色图像中的一个或多个，第二图像112可以包括红色图像，控制装置201可以进一步配置为通过第二视觉传感器系统102的响应曲线122确定第一图像111中的第二视觉传感器系统强度分量，可以通过如下方式：将响应曲线122与每一个蓝色图像和每一个绿色图像中的每一条光谱辐射曲线相乘；然后将每一个相乘的结果相加。第二视觉传感器系统强度分量可以用来减少红色图像的强度。
实际上，因为用来使红色图像强度降低的第二视觉传感器系统强度分量一般在红外波长范围，因此这种降低对第一视觉传感器系统101来说通常是无影响的，和/或如果这种降低会有影响，通常也只是在远红外波长范围，对第一图像111的RGB显示几乎没有影响。
本领域内技术人员应当理解，以上描述可以有多种实施方式及其可能的变化。例如，尽管当前的实施例是使用投影仪进行说明的，但显示装置103还可以包括任何能够如本披露描述的可以提供图像111和112的显示设备，包括但不限于：一个或多个阴极射线管显示器(CRT)、一个或多个平板显示器(例如，液晶显示器、有机发光二极管显示器、等离子体显示器等)等可以配置为生成能被视觉传感器系统101和102可视的图像。在一些实施例中，显示器可以提供RGB图像；在另一些实施例中，显示器还可以专门配置为提供红外图像和RGB图像。
进一步地，尽管当前已经描述的实施例都是针对RGB图像和红外图像，以及相应的人类视觉系统和夜视传感器系统，但本披露提供的系统和方法也可以适用于任何各自相应的波长敏感范围至少有部分重叠的视觉传感器系统。例如，在一个使用紫外视觉传感器系统代替红外视觉传感器系统的模拟环境或类似的环境中，可以将紫外图像的强度减去RGB图像中的紫外强度分量。类似的，在一个包括两个视觉传感器系统的模拟环境或类似环境中，所述两个视觉传感器系统能在两个相邻的波长范围(不一定要包括人类可视的波长)内成像，且所述两个相邻的波长范围至少有部分重叠，那么其中第一个视觉传感器系统可视的图像的强度可以减去第二个视觉传感器系统可视的图像中的第一个视觉传感器系统强度分量。
实际上，这种减少可以在两个视觉传感器系统中同时实现。例如，如图3所示，第一视觉传感器系统101的响应曲线121可以用来确定第二图像112的光谱辐射曲线312中的人类视觉强度分量，然后图像111的强度也可以相应地减少。
本领域内技术人员应当理解，以上描述可以有多种实施方式及其可能的变化。例如，在系统100中，光谱辐射曲线131(例如，光谱辐射曲线311和312)可以存储在存储装置120中。在一些实施例中，光谱辐射曲线131可以在制造过程中就被存储在存储装置120中，和/或通过预置过程存储在存储装置120中，例如，通过接口224从一个外部装置中接收光谱辐射曲线131并将其存储在存储装置120中。在另一些实施例中，系统100可以调整为确定一条或多条光谱辐射曲线131，并将一条或多条光谱辐射曲线131存储在存储装置120中。
例如，图8所示的是视觉传感器系统中减少串扰的一种替代系统100a的示意图。系统100a与系统100基本类似，具有相同数字代表的相同组件。然而，在系统100a中，显示装置103a已被调整为包括含有相应传感器810-1和810-2的投影仪210a-1和210a-2。除此之外，显示装置103a和投影仪210a-1、210a-2与系统100中对应的显示装置103和投影仪210-1、210-2基本类似。投影仪210a-1和210a-2在后文中可互换地统称为投影仪210a，并且一般被称为投影仪210a。类似的，传感器810-1和810-2在后文中可互换地统称为传感器810，并且一般被称为传感器810。
每一个传感器810配置为检测相应投影仪210a的照明器的光谱辐射曲线131。例如，传感器810-1配置为检测投影仪210a-1的每一个光源(例如，红色光源、绿色光源和蓝色光源)的光谱辐射曲线311。类似的，传感器810-2配置为检测投影仪210a-2的光源(例如，红外光源)的光谱辐射曲线312。因此每个传感器810可以包括光度计和分光光度计等，所述光度计和分光光度计等配置为检测作为波长函数的光线，并且传感器810可位于相应投影仪210a的任何位置，用来检测由相应光源发出的光。实际上，如图8所示，每一个投影仪210a可以使用相应的传感器810检测相应光源的相应光谱辐射曲线，并将所述光谱辐射曲线发送到控制装置201，存储在存储装置120中。
例如，如所描述，投影仪210a-1将光谱辐射曲线311发送至控制装置201，投影仪210a-2将光谱辐射曲线312发送至控制装置201，控制装置201将光谱辐射曲线311和312作为光谱辐射曲线131存储在存储装置120中。实际上，图8中存储装置120中的光谱辐射曲线131以虚线表示，是因为最初光谱辐射曲线131可能并未存储在存储装置120中。
实际上，图8所示的是一种在存储装置120中预置提供光谱辐射曲线131(例如，光谱辐射曲线311和312)的示例过程。在一些实施例中，当系统100a启动和/或安装时，控制装置201可以从每个投影仪210a处请求光谱辐射曲线311和312；在另一些实施例中，投影仪210a可以不需要请求就将光谱辐射曲线311和312推送和/或发送给控制装置201。无论哪种方式，当控制装置201从每个投影仪210a处接收到光谱辐射曲线311和312后，控制装置201就可以将光谱辐射曲线311和312存储在存储装置120中的光谱辐射曲线131。当光谱辐射曲线131最初没有存储在存储装置120中时，控制装置201可以使用光谱辐射曲线311和312作为预置在存储装置120中的光谱辐射曲线131。当存储装置120中已经存储有光谱辐射曲线131时(例如，可以是在之前的预置过程中存储)，控制装置201可以使用光谱辐射曲线311和312来更新存储装置120中的光谱辐射曲线131(例如，使用光谱辐射曲线311和312代替之前的任何光谱辐射曲线)。
实际上，图8中所示是一个或多个过程可以周期性地重复执行，例如，如果光谱辐射曲线311和312中的一条或多条随时间变化时，则存储装置120中的一条或多条光谱辐射曲线131也会随之重复更新。例如，控制装置201可以周期性地从投影仪210a处请求一条或多条光谱辐射曲线311和312，和/或投影仪210a可以周期性地将光谱辐射曲线311和312发送给控制装置201。此外，每个投影仪210a可以配置为通过相应的传感器810监测其相应的光源，当探测到一个或多个相应光源发生变化时(例如，亮度的绝对变化和/或相对变化，和/或波长分布的变化等)，投影仪210a可以将探测到发生变化的光源的一条或多条光谱辐射曲线311和312发送至控制装置201，和/或将所有光源的一条或多条光谱辐射曲线311和312发送至控制装置201。
如所描述，系统100a还可以进一步包括一个可选的传感器840。传感器840与传感器810类似，但放置在能从显示装置103探测光(例如从显示屏幕211反射的光)的位置。当传感器840存在时，传感器840能与控制装置201通信。例如，传感器840可以与视觉传感器系统101和102相邻放置，和/或集成在视觉传感器系统101和102的一个或多个中。因此，在一个备选的预置过程和/或监测过程中，传感器840可以探测一条或多条光谱辐射曲线311和312并且将其发送至控制装置201中。在一些实施例中，控制装置201可以控制每个投影仪210a固定地和/或周期性地按顺序使用各自相应的光源在显示屏幕211上投影图像，这样传感器840可以按顺序探测光谱辐射曲线311-B、311-G、311-R和312的一条或多条中的每一条，并将一条或多条光谱辐射曲线311-B、311-G、311-R和312发送至控制装置201。另外，控制装置201可以确定只有一种颜色的图像111和112(例如，只使用投影仪210a的一个光源投影)在显示屏幕211上投影的时刻，并且可以控制传感器840来获取相应的光谱辐射曲线311-B、311-G、311-R和312。
进一步地，在图8中，传感器810-1、传感器810-2和/或传感器840都是可选的。例如，当只有传感器810-2存在而没有传感器810-1和传感器840时，系统100a配置为仅提供和/或监测投影仪210a-2的光源(例如，红外光源)，并且假设投影仪210a-1的光源的光谱辐射曲线已经预置在存储装置120中，比如在工厂里面，和/或一个不包括传感器810-1和传感器840的预置过程中。类似的，当只有传感器810-1存在而没有传感器810-2和传感器840时，系统100a配置为仅提供和/或监测投影仪210a-1的光源(例如红色光源、绿色光源和蓝色光源)，并且假设投影仪210a-2的光源的光谱辐射曲线已经存储在存储装置120中，比如在工厂里面，和/或一个不包括传感器810-2和传感器840的预置过程中。
一般说来，本披露书涉及一种减少视觉传感器系统串扰的设备和方法，其中通过第一视觉传感器系统可视的第一图像和通过第二视觉传感器系统可视的第二图像可以同时被提供在一台显示装置中。本披露书描述的方法可以有益地应用于夜视飞行模拟器中，以提供更真实的训练环境。
本领域内的技术人员应当理解，在一些实施例中，控制装置201的功能可以通过使用预先编程的硬件或固件元件(例如，专用集成电路即ASICs、电可擦可编程只读存储器即EEPROM等)或其他相关组件等实现。在另一些实施例中，控制装置201的功能可以通过使用能够访问存储有用于操作计算装置的计算机可读程序指令的指令存储器(图中未标示出)的计算装置来实现。计算机可读程序指令可以存储在永久的、有形的并且可被组件直接可读的计算机可读存储媒介中(例如，可移动磁盘、CD-ROM、ROM、固定磁盘、USB驱动器等)。进一步地，可以理解的是，计算机可读程序可以被认为是以包括可执行的代码的计算机可用媒介形式而存在的“产品”或“制品”。进一步地，永久的存储媒介中可以包含计算机可读程序指令。可以理解的是，计算机可读程序指令和/或计算机可用媒介包括非易失性计算机可读程序指令和/或非易失性计算机可用媒介。此外，计算机可读程序指令还可以被远程存储，但可以利用传输媒介通过调制解调器或其他能够连接到网络(包括但不限于因特网)的接口设备发送到组件中。所述传输媒介可以是不可移动媒介(例如，光纤和/或数字通信线路和/或模拟通信线路)或可移动媒介(例如，微波、红外波、电磁波或其他传输媒介)或其任意组合。
本领域技术人员能够理解，本披露书的内容可以出现多种变型和改进。以上内容描述了本披露和/或一些其他的示例，以上的实施例只是用来说明本披露书的内容，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种减少视觉传感器系统串扰的系统，其特征在于，包括：
显示装置，所述显示装置配置为提供通过第一视觉传感器系统可视的第一图像和通过第二视觉传感器系统可视的第二图像，当所述第一图像和所述第二图像同时被提供时，所述第一图像和所述第二图像具有的共同特征可对齐，所述第一图像包含通过所述第二视觉传感器系统可视的波长的分量；
控制装置，所述控制装置配置为：
通过所述第二视觉传感器系统的响应曲线确定所述第一图像中的第二视觉传感器系统强度分量；及
至少在所述第一图像和所述第二图像同时被提供时，使所述显示装置提供的第二图像的强度减去所述第一图像中的所述第二视觉传感器系统强度分量；
所述第一图像包括蓝色图像、绿色图像和红色图像中的一个或多个，所述第二图像包括红外图像或红色图像，
所述控制装置配置为通过所述第二视觉传感器系统的响应曲线确定所述第一图像中的所述第二视觉传感器系统强度分量，包括：
将所述响应曲线与一个或多个第一投影仪的光源的、和所述第一图像的光谱辐射曲线中的每一条光谱辐射曲线相乘；及
将每一个相乘的结果相加。
2.根据权利要求1所述的减少视觉传感器系统串扰的系统，其特征在于，所述减少视觉传感器系统串扰的系统进一步可以包括存储装置：
所述存储装置配置为存储所述第二视觉传感器系统的响应曲线，一个或多个的第一投影仪的光源连同所述第一图像的光谱辐射曲线。
3.根据权利要求1所述的减少视觉传感器系统串扰的系统，其特征在于，所述显示装置包括一个或多个投影仪，所述一个或多个投影仪配置为通过如下方式中的一种或多种同时提供所述第一图像和第二图像：
交错显示所述第一图像和第二图像；
交替显示所述第一图像和第二图像；及
共同投影所述第一图像和第二图像。
4.根据权利要求1所述的减少视觉传感器系统串扰的系统，其特征在于，所述第一视觉传感器系统包括人类视觉系统，所述第二视觉传感器系统包括夜视传感器系统(NVIS)。
5.根据权利要求1所述的减少视觉传感器系统串扰的系统，其特征在于，所述第一视觉传感器系统包括人类视觉系统，所述第二视觉传感器系统包括夜视传感器系统(NVIS)；及
所述响应曲线包括NVIS响应曲线。
6.根据权利要求1所述的减少视觉传感器系统串扰的系统，其特征在于，所述控制装置进一步配置为使所述显示装置提供的所述第二图像的强度减去所述第一图像中的所述第二视觉传感器系统强度分量，包括：
通过对所述第二视觉传感器系统强度分量进行积分来确定所述第二视觉传感器系统强度分量的与波长无关的总强度；和
从所述第二图像的强度减去所述总强度。
7.根据权利要求1所述的减少视觉传感器系统串扰的系统，其特征在于，所述控制装置进一步配置为通过所述第二视觉传感器系统的响应曲线，确定所述第一图像中的所述第二视觉传感器系统强度分量。
8.根据权利要求1所述的减少视觉传感器系统串扰的系统，其特征在于，所述控制装置进一步配置为使所述显示装置提供的所述第二图像的强度减去所述第一图像中的所述第二视觉传感器系统强度分量。
9.一种减少视觉传感器系统串扰的方法，其特征在于，所述方法应用于一种包含显示装置和控制装置的系统， 所述显示装置配置为提供通过第一视觉传感器系统可视的第一图像和通过第二视觉传感器系统可视的第二图像，当所述第一图像和所述第二图像同时被提供时，所述第一图像和所述第二图像的共同特征可对齐，所述第一图像包含通过所述第二视觉传感器系统可视的波长的分量；
在所述控制装置中，通过所述第二视觉传感器系统的响应曲线确定所述第一图像中的第二视觉传感器系统强度分量；及
至少在所述第一图像和所述第二图像同时被提供时，在所述控制装置中使所述显示装置提供的所述第二图像的强度减去所述第一图像中的所述第二视觉传感器系统强度分量；
所述第一图像包括蓝色图像、绿色图像和红色图像中的一个或多个，所述第二图像包括红外图像或红色图像；
所述方法能够进一步通过所述第二视觉传感器系统的响应曲线确定所述第一图像中的所述第二视觉传感器系统强度分量，包括：
在所述控制装置中将所述响应曲线与一个或多个第一投影仪的光源的、和所述第一图像的光谱辐射曲线中的每一条光谱辐射曲线相乘；及
在所述控制装置中将相乘的结果相加。
10.根据权利要求9所述的方法，其特征在于，所述显示装置包括一个或多个投影仪，所述一个或多个投影仪配置为通过如下方式中的一种或多种同时提供所述第一图像和第二图像：
交错显示所述第一图像和第二图像；
交替显示所述第一图像和第二图像；及
共同投影所述第一图像和第二图像。
11.根据权利要求9所述的方法，其特征在于，所述第一视觉传感器系统包括人类视觉系统，所述第二视觉传感器系统包括夜视传感器系统(NVIS)。
12.根据权利要求9所述的方法，其特征在于，所述第一视觉传感器系统包括人类视觉系统，所述第二视觉传感器系统包括夜视传感器系统(NVIS)；及
所述响应曲线包括NVIS响应曲线。
13.根据权利要求9所述的方法，其特征在于，所述方法能够进一步将所述显示装置提供的所述第二图像的强度减去所述第一图像中的所述第二视觉传感器系统强度分量，包括：
通过对所述第二视觉传感器系统强度分量积分来确定所述第二视觉传感器系统强度分量的与波长无关的总强度；和
从所述第二图像的强度减去所述总强度。
14.根据权利要求9所述的方法，其特征在于，所述方法能够进一步通过所述第二视觉传感器系统的响应曲线，确定所述第一图像中的所述第二视觉传感器系统强度分量。
15.根据权利要求9所述的方法，其特征在于，所述方法能够进一步将所述显示装置提供的所述第二图像的强度减去所述第一图像中的所述第二视觉传感器系统强度分量。
16.一种非易失性计算机可读的存储媒介，所述存储媒介存储计算机程序，其中所述计算机程序可用于：
一个包含显示装置和控制装置的系统中，包括：
所述显示装置配置为提供通过第一视觉传感器系统可视的第一图像和通过第二视觉传感器系统可视的第二图像，所述第一图像和所述第二图像的共同特征在第一图像和第二图像同时被提供时可对齐，所述第一图像包含通过所述第二视觉传感器系统可视的波长的分量；
在所述控制装置中，通过所述第二视觉传感器系统的响应曲线确定所述第一图像中的第二视觉传感器系统强度分量；及
至少在所述第一图像和所述第二图像同时被提供时，在所述控制装置中使所述显示装置提供的所述第二图像的强度减少所述第一图像中的所述第二视觉传感器系统强度分量；
所述第一图像包括蓝色图像、绿色图像和红色图像中的一个或多个，所述第二图像包括红外图像或红色图像；
进一步通过所述第二视觉传感器系统的响应曲线确定所述第一图像中的所述第二视觉传感器系统强度分量，包括：
在所述控制装置中将所述响应曲线与一个或多个第一投影仪的光源的、和所述第一图像的光谱辐射曲线中的每一条光谱辐射曲线相乘；及
在所述控制装置中将相乘的结果相加。
CN201710206791.7A 2016-07-21 2017-03-31 一种减少视觉传感器系统串扰的设备、系统和方法 Active CN107645654B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/216,087 US10218926B2 (en) 2016-07-21 2016-07-21 Device, system and method for cross-talk reduction in visual sensor systems
US15/216,087 2016-07-21

Publications (2)

Publication Number Publication Date
CN107645654A CN107645654A (zh) 2018-01-30
CN107645654B true CN107645654B (zh) 2021-08-10

Family

ID=58228035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710206791.7A Active CN107645654B (zh) 2016-07-21 2017-03-31 一种减少视觉传感器系统串扰的设备、系统和方法

Country Status (3)

Country Link
US (1) US10218926B2 (zh)
EP (1) EP3273427B1 (zh)
CN (1) CN107645654B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7147336B2 (ja) * 2018-07-31 2022-10-05 セイコーエプソン株式会社 投射方法及び投射システム
WO2020036603A1 (en) * 2018-08-17 2020-02-20 Hewlett-Packard Development Company, L.P. Exposure control of captured images

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102665083A (zh) * 2005-07-21 2012-09-12 索尼株式会社 物理信息获取方法、物理信息获取装置和半导体器件
CN102687502A (zh) * 2009-08-25 2012-09-19 Ip链有限公司 减少彩色图像中的噪声
CN105139370A (zh) * 2015-08-24 2015-12-09 中国航空无线电电子研究所 一种基于可见光与近红外双波段相机的实时图像融合方法
CN105453532A (zh) * 2013-07-31 2016-03-30 日立麦克赛尔株式会社 摄像装置、摄像方法和车载摄像系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5380204A (en) 1993-07-29 1995-01-10 The United States Of America As Represented By The Secretary Of The Army Night vision goggle aided flight simulation system and method
US7728845B2 (en) * 1996-02-26 2010-06-01 Rah Color Technologies Llc Color calibration of color image rendering devices
GB2373943A (en) 2001-03-28 2002-10-02 Hewlett Packard Co Visible and infrared imaging camera
DE102004052102A1 (de) 2004-10-26 2006-05-04 Rheinmetall Defence Electronics Gmbh Sichtsystem
EP1805979B1 (de) * 2004-10-28 2019-06-19 X-Rite Switzerland GmbH Verfahren zur korrektur von bildmesswerten
US7362336B2 (en) * 2005-01-12 2008-04-22 Eastman Kodak Company Four color digital cinema system with extended color gamut and copy protection
FR2898586B1 (fr) * 2006-03-15 2008-04-18 Airbus France Sas Outil d'aide a la conception d'un poste de pilotage d'aeronef compatible avec un systeme de vision nocturne
FR2901368B1 (fr) 2006-05-19 2008-10-24 Thales Sa Dispositif de projection d'images nocturnes et diurnes, notamment lors de l'entrainement a la conduite de vehicules
US8344949B2 (en) * 2008-03-31 2013-01-01 Golba Llc Wireless positioning approach using time-delay of signals with a known transmission pattern
JP5874116B2 (ja) * 2009-07-30 2016-03-02 国立研究開発法人産業技術総合研究所 画像撮影装置および画像撮影方法
US20110214082A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US9470891B2 (en) * 2013-06-17 2016-10-18 Saab Ab Head-up display for night vision goggles
US20150257735A1 (en) * 2013-10-24 2015-09-17 Evena Medical, Inc. Systems and methods for displaying medical images
JP2015097350A (ja) * 2013-11-15 2015-05-21 キヤノン株式会社 画像処理装置およびマルチプロジェクションシステム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102665083A (zh) * 2005-07-21 2012-09-12 索尼株式会社 物理信息获取方法、物理信息获取装置和半导体器件
CN102687502A (zh) * 2009-08-25 2012-09-19 Ip链有限公司 减少彩色图像中的噪声
CN105453532A (zh) * 2013-07-31 2016-03-30 日立麦克赛尔株式会社 摄像装置、摄像方法和车载摄像系统
CN105139370A (zh) * 2015-08-24 2015-12-09 中国航空无线电电子研究所 一种基于可见光与近红外双波段相机的实时图像融合方法

Also Published As

Publication number Publication date
CN107645654A (zh) 2018-01-30
US20180048834A1 (en) 2018-02-15
US10218926B2 (en) 2019-02-26
EP3273427A1 (en) 2018-01-24
EP3273427B1 (en) 2019-06-26

Similar Documents

Publication Publication Date Title
US9077915B2 (en) Interweaving of IR and visible images
CN110958438B (zh) 用于对显示设备提供的图像进行光度补偿的设备和方法
TWI495905B (zh) 投影裝置、顯示裝置及投影控制方法
TWI448804B (zh) 光源系統及包含該光源系統之投影裝置
US9905168B1 (en) Luminance-based non-uniformity correction for display panels in head-mounted displays
US11003411B2 (en) Image display system, image display device and method of controlling image display system
US20170208309A1 (en) Image projection system, projector, and method for controlling image projection system
US20180301076A1 (en) Improvements in and relating to displays
US9485498B2 (en) Display apparatus, projection apparatus, display assist apparatus, and system
JP2010250061A5 (zh)
US7663795B2 (en) Image display apparatus with night vision goggle compatibility
US20120236131A1 (en) Display device, display system, and method for controlling display device
JP2014182290A5 (zh)
US20130207991A1 (en) Wearable displays methods, and computer-readable media for determining display conditions
US20160156892A1 (en) Information processing device, image projecting system, and computer program
CN107409192A (zh) 图像显示设备、图像显示方法、信息处理设备、信息处理方法和程序
CN107645654B (zh) 一种减少视觉传感器系统串扰的设备、系统和方法
JP6630363B2 (ja) プロジェクタ、映像表示装置、及び映像表示方法
US11698530B2 (en) Switch leakage compensation for global illumination
US11347060B2 (en) Device and method of controlling device
JP7145944B2 (ja) 視覚キューを提供する手段を用いる表示装置および表示方法
TWI479253B (zh) 光源系統及包含該光源系統之投影裝置
JP2017072625A (ja) マルチ画面表示装置
Kamei et al. PILC Projector: RGB-IR projector for pixel-level infrared light communication
US20180309966A1 (en) Projection apparatus and control method therefor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant