CN102823234A - Ir和可见图像的交织 - Google Patents

Ir和可见图像的交织 Download PDF

Info

Publication number
CN102823234A
CN102823234A CN2011800173397A CN201180017339A CN102823234A CN 102823234 A CN102823234 A CN 102823234A CN 2011800173397 A CN2011800173397 A CN 2011800173397A CN 201180017339 A CN201180017339 A CN 201180017339A CN 102823234 A CN102823234 A CN 102823234A
Authority
CN
China
Prior art keywords
infrared
input signal
visible
signal
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800173397A
Other languages
English (en)
Other versions
CN102823234B (zh
Inventor
K·E·奥尔森
K·科尔斯塔德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
projectiondesign as
Original Assignee
projectiondesign as
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by projectiondesign as filed Critical projectiondesign as
Publication of CN102823234A publication Critical patent/CN102823234A/zh
Application granted granted Critical
Publication of CN102823234B publication Critical patent/CN102823234B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
    • H04N9/3111—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators for displaying the colours sequentially, e.g. by using sequentially activated light sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

披露使用基于红外输入信号和可见输入信号使用单个光学系统和成像器设备来交织红外和可见运动图像数据的系统和方法。红外图像帧可被代入来替代整个可见图像输入帧或部分可见图像输入帧，即将红外图像输入帧代入来替代一个或多个可见图像输入帧中的一个或多个色彩通道。运动视频或计算机产生的运动图形可包括拟显示给具有和不具有夜视成像设备的使用者观看结果图像的红外图像数据和可见图像数据两者。具体地说，该系统和方法可用于夜视成像设备团队训练模拟器的投影系统以降低系统的成本，同时增加这类系统的使用便利性和性能。

Description

IR和可见图像的交织
背景
夜视护目镜、照相机和其它成像器设备在众多低光照和无光照状况下是有用的。从搜寻和营救行动到夜间动物观察和狩猎，夜视成像设备在人造照明不可实现、不可能或者不合需的许多情况下能够揭示我们周围的世界。许多传统的夜视成像设备使用近红外和/或远红外光谱的一些部分，由此使它们对于热量是潜在地有用的。
当在搜寻和营救行动中部署时，夜视成像设备的潜在的热成像器能力可能是难以置信地有用的。在这些情况下，夜视成像设备可用于检测受自然灾害或其它灾变损害的已受伤或昏迷的人或动物的体热。尽管可使用例如聚光灯的传统人造光源来搜索大规模事故和灾害的受害者，然而可见光搜寻将无法象夜视成像设备那样揭示温热身体的热特征。此外，由于传统人造光源经常可能将外来的红外光和热引入到一场景并由此使夜视成像设备过载或使之失去判断力，因此在使用夜视成像设备的同时使用人造光源通常是不合需的。
即使在人造光的使用由于可能干扰到易受惊吓或警觉的对象(例如动物，当在低光照和无光照状况下被观察或狩猎时)而不合需的情况下，夜视成像设备也是合需的。例如，科学家(诸如生物学家和动物学家)，可能希望观察多种动物和昆虫的夜间活动而不想因人造光干扰或影响它们的行为或暴露正在作出观察的位置。猎人也会发现这种能力在狩猎野兽时也是合需的。
然而，尽管夜视成像设备对于低光照和无光照状况可能非常有用，但当这些设备的使用者需要通过航行通过一空间或驾驶例如汽车或直升飞机的交通工具时，设备的使用可能受到限制。典型的夜视成像设备，例如图1所示的夜视护目镜100，具有有限的视野，这为夜视护目镜100的使用者提供很小的周围视场或根本没有周围视场，这使驾驶交通工具变得困难或危险。使用夜视成像设备经常遇到的周围视场的缺乏通常需要在团队中使用夜视成像设备，在该团队中，一个人使用夜视成像设备而另一人使用独立或自然的视场来导航或驾驶交通工具或其它装备。
图2a和图2b示出通过夜视成像设备和通过肉眼观察到的场景感知之间的差异。尽管场景200a和200b处于空间中的同一位置且处于同一时间，然而这两个场景之间的差异包括觉察到的亮色、可观察的细节程度和视野的差异。例如，场景200a描绘通过夜视图像成像器设备观察到的场景。在这种情形下，夜视成像设备可能是一对夜视护目镜，其中视野可能局限在区域225a边界内的一部分场景。如所见那样，区域225a明显小于完整的场景200a。然而，窄视野的典型折衷是使用者在低光照状况下可观察到的细节量的增加。例如当通过一对夜视护目镜观察时，树205a和狗210a在场景200a中相比在它们用肉眼观察的场景200b中在视觉上要明显地多。如图2b所示，树205b和狗210b几乎完全被场景200b中夜色的昏暗所遮蔽。在场景200b中可见的唯一细节是具有大量可见光的细节。在这种情形下，场景200a、200b中各自的月亮215a、215b在两个场景下都能清楚观察到的。事实上，月亮215b可能是场景200b的观察者能够用肉眼辨认的唯一细节。
在如此的情形下，夜视护目镜的局限性可能使得一个使用者无法操作某些装备或驾驶一交通工具。为了给予夜光护目镜的使用者更好的能力，他或她可能与可操作机器或驾驶交通工具的另一团队成员配对。作为一高效率的团队，团队中的夜视成员和团队中的裸视成员必需进行实践和训练以作为一个体来工作，以便在凡是他们可能采用夜视成像设备的状况中使用夜视成像设备。
为了实现作为一个团队的运作，已开发出许多方案和装置。一种这样的传统训练装置示出于图2c中。图2c示出能在屏幕280上显示红外图像和可见光图像两者并在同一时间将图像显示给两个或更多个使用者的系统。例如，可使用投影仪250V来将低级别可见光场景投影到屏幕280上，而同时使用投影仪250IR来将红外图像投影到屏幕280上。出于例示的目的，场景200a、200b可以是被投影到屏幕280上的场景。场景200a、200b在彼此的顶部基本重叠，然而，只有佩带一对夜视护目镜的使用者270IR能看见场景200a的红外信息，而使用者270V只能看见场景200b的可见光信息。通过这种配置，使用者270IR和270V能在观察投影在可见和红外光谱内的两个场景中可用的不同信息的同时实践与显示在屏幕280上的场景的互动和协作。
尽管这种配置是有用的，但它们远非理想的。使用两个投影仪250V和250IR产生许多问题，这些问题包括但不局限于，需要两个投影仪的增加的成本、投影到屏幕280上的两图像的空间对准、馈送到两个单独投影仪的信号的时间对准以及当在两个投影仪中使用两个独立成像器设备时可能发生的潜在的可见伪像。本发明的实施例单独和组合地解决这些和其它的问题。
简要说明
披露了基于红外输入信号和可见输入信号使用单个光学系统和成像器设备以交织红外和可见的移动图像数据的系统和方法。红外图像帧可替代全部可见的图像输入帧或部分可见图像输入帧，即用红外图像输入帧来代替一个或多个可见图像输入帧中的一个或多个色彩通道。运动视频或计算机产生的运动或静止图形可包括红外图像数据和可见图像数据两者。可见图像帧和红外图像帧可以交替方式显示以在同一显示设备上显示红外内容和可见内容两者。这种系统和方法可使用在夜视成像设备团队训练模拟器中的投影系统中，以降低这些系统的成本，同时提高使用方便性和性能。
各实施例涉及使用图像处理计算机来交织可见图像数据和红外图像数据的方法和系统。可使用图像处理计算机来接收第一可见输入信号，即具有第一帧速率的可见视频或计算机产生的运动图形，并接收第一红外输入信号，即具有第二帧速率的红外视频或计算机产生的运动图形。随后可使用图像处理计算机来将第一可见光输入信号处理成具有第三帧速率的第二可见光输入信号。随后可将第一红外输入信号处理成具有第四帧速率的第二红外输入信号。接着，可生成基于第二可见输入信号和第二红外输入信号的经组合的输出信号。
其它实施例涉及使用图像处理计算机交织可见图像数据和红外图像数据的方法，其中图像处理计算机可接收具有多个色彩通道输入数据的可见输入信号以及红外输入信号。随后可使用图像处理计算机来将可见输入信号和红外输入信号处理成具有多个通道输出数据的组合输出信号，所述多个通道输出数据可包括来自红外输入信号的、替代来自一个或多个色彩通道的数据的数据。
又一些其它实施例涉及将可见图像数据与红外图像数据交织的图像处理系统。该图像处理系统可包括被配置成接收可见输入信号和红外输入信号的色彩置换处理器。该图像处理系统也可被配置成将可见输入信号和红外输入信号处理成组合的输出信号，该组合的输出信号是基于包含在可见输入信号中的数据并具有来自红外输入信号的、被代入来替代包含在可见输入信号中的数据的数据的。图像处理系统也可包括耦合至色彩替代处理器的图像处理器。色彩替代处理器可被配置成接收组合的输出信号并将组合的输出信号处理成多个连续的可见和红外色彩通道帧。色彩替代处理器也可被配置成控制光源定序器从而与成像器设备同步地运作多个可见光源和红外光源。
参照下面的详细描述和附图，可获得对本发明的实施例的本质和优势的更好理解。
附图说明
图1是以一对可佩带护目镜的形式的传统夜视成像设备的例子。
图2a示出用夜视成像设备观察到的场景的模拟。
图2b模拟用肉眼观察到的图2a中的场景。
图2c是传统的同步红外和可见观察训练模块的示意图。
图3是根据本发明各实施例的可用来混合可见光和红外光的光具组（optical train）的框图。
图4a是根据本发明各实施例的用于交织可见图像和红外图像的系统的框图。
图4b是根据本发明各实施例的用于交织可见图像和红外图像的方法的流程图。
图4c是根据本发明各实施例的用于交织可见图像和红外图像的时序图。
图4d是根据本发明各实施例的用于控制可见光源和红外光源以交织可见图像和红外图像的时序图。
图5a是根据本发明各实施例的用于交织可见图像和红外图像的系统的框图。
图5b是根据本发明各实施例的用于交织可见图像和红外图像的方法的流程图。
图5c是根据本发明各实施例的用于交织可见图像和红外图像的时序图。
图5d是根据本发明各实施例的用于控制可见光源和红外光源以交织可见图像和红外图像的时序图。
图6是可用于实现本发明的各个实施例的计算机的框图。
具体实施方式
在许多情况下，夜视成像设备的使用经常发生在两人或更多人的团队中，其中团队的一名成员使用或监视夜视成像设备，而团队中的其它成员接收由该成员转发的信息以使用肉眼运作装备或交通工具。加强团队使用夜视成像设备和肉眼视场的效率所需技巧的掌握采取实践和训练。为了避免在真实世界中实践的危险和缺陷，团队可使用模拟器进行实践，该模拟器显示团队可与之交互的模拟红外场景和可见场景。图2c中示出了一种这样的模拟器。
如图2c所示的那种传统红外/可见模拟器会遇到各种缺陷，比如时间和空间对准问题以及使用两个单独的成像器设备或投影仪的成本增加。本发明的实施例通过使用具有单个光学系统的单个成像器设备交织红外图像和可见图像的系统和方法来解决这些和其它的问题，由此降低与两个投影仪系统关联的成本、对准和定时问题。
图3示出可与本发明各实施例一起使用的混色光学系统300。可使用光学系统300通过用具有不同光谱输出的若干不同光源照射成像器设备来提供视觉图像和红外图像。光学系统300的配置提供一种方便方式来使用单个成像器设备提供具有极少或不具有运动部分的可见和红外、静止和运动的图像。
光学系统300可具有三个可见光源以及一个红外光源。每个光源可被顺序地接通并由此照射成像器设备335，成像器设备335可操纵光以产生图像，该随后可使用投影透镜340来将该图像投影或以其它方式显示在屏幕350上。例如，红光源311、绿光源313和蓝光源317可顺序地接通并与成像器设备335的操作协作。可操作成像器设备335来通过对产生的图像的反射、偏振状态改变或有限的透射率操纵来自光源的光。随着光源顺序或按计划地接通，成像器设备335可被快速地安排来产生完整图像的正确色彩通道。在这种配置中，光学系统300依赖于人视觉的持续性以混色，从而产生在可见范围内的色彩图像。红外光源315的添加允许光学系统300将红外光注入系统以将红外图像数据包括到所投影的图像中。
一种运作光源的可能顺序可开始于接通红光源311以通过x棱镜310沿路径312将红光送入分束棱镜330，在分束棱镜336处红光沿路径336被反射到成像器设备335。成像器设备335可在随后通过棱镜330沿路径338将图像的红色部分选择性地反射回投影透镜340直到屏幕350上。在一些实施例中，图像反射将反射光的偏振改变至与通过分束棱镜330相容的方向，在这种情形下分束棱镜330可以是偏振分束棱镜。
在红光源311接通后，其可断开，并且绿光源313可被接通。绿光源313随后可沿路径314发送绿光通过红外反射棱镜320并进入x棱镜310，在那里绿光被反射至分束棱镜330。从分束棱镜开始，绿光可照射成像器设备335，该成像器设备335可选择性地发送图像的绿光分量沿路径336、沿路径338向回通过分束棱镜330至投影透镜，图像可从投影透镜被投影到屏幕350上。
接着，在绿光源311断开后，蓝光源317可被接通，从而将蓝光沿路径318送入x棱镜310，在那里蓝光如同红光和绿光那样被反射入分束棱镜330并到达成像器设备335上以最终投射到屏幕350上。前面描述的光路和图像产生步骤可被快速重复以使用人类视觉的持续性将色彩通道组合成单个全色彩静止图像或运动图像。
最后，在需要红外光的实施例中，红外光源315可被接通以将红外光沿路径316送入红外反射棱镜320以便被反射入x棱镜310。从x棱镜310开始，红外光可被反射入分束棱镜330并沿路径336到达成像器设备335，随后沿路径338回到投影透镜340以将红外图像投射到屏幕350上。
光源311、313、315和317的操作的时间可根据驱动成像器设备335的图像信号与成像器设备335的操作协作。具体地说，光源和成像器设备的操作可被快速重复以显示单个静止图像或一系列图像，从而产生运动图像。前面示例的操作顺序旨在是示例性的并且不应当认为是光学系统300的用途的穷尽性描述。此外，光学系统300的配置只是一个例子。混色光学系统的许多其它配置可与本发明各个其它实施例一起使用。
在光学系统300中，x棱镜310、红外反射棱镜320和分束棱镜330可由适于传送从可见至红外的光并具有尽可能小的吸光率的光学材料制成。这类光学材料可包括，但不局限于，具有不同程度添加物的玻璃、聚碳酸酯以及丙烯酸元素。在一些实施例中，可选择折射率、散射率、双折射率和其它光学特性来将来自所有光源311、313、315和317的光传送和反射至成像器设备335并随后到达投影透镜340以产生所需的图像质量。光源311、313、315和317可以是适于根据需要由成像器设备335和其余光学系统300提供在红光、绿光、蓝光和红外光区域内的光的适当成形的光谱输出，以产生高质量图像的任何光源。在一些实施例中，光源可以是具有或不具有集成的准直光学器件的LED。可根据需要的响应时间、分辨率和高宽比来选择成像器设备335。成像器设备可以是LCD成像器设备、LCOS成像器设备或例如德州仪器DLPTM之类的光处理成像器设备。
图4a是用于交织包含在单独的可见输入和红外输入信号中的红外图像数据和可见图像数据的系统400的框图。系统400可包括，但不局限于，可见信号接收机401、红外信号接收机405、图像处理器407、成像器设备格式化器411以及成像器设备413。在一些实施例中，系统400的模块可被整合到具有合适的现场可编程门阵列或ASIC的单个印刷电路板中。在其它实施例中，系统400的模块可使用在具有处理器、存储器和任何需要的存储的通用计算机上执行的软件来实现。系统400的各模块可实现为集成电路、软件模块或其组合。如这里使用的术语“交织”指以任何方式混合或组合红外和可见图像数据。交织红外和色彩图像信号可包括交织信号的帧，即以相同或较高的帧速率使红外和可见帧顺次交替。另外，交织可包括用红外图像数据替代色彩图像信号的帧的一个或多个色彩通道。
可见信号接收机401可在步骤10接收可见输入信号。类似地，红外信号接收机405可在步骤20接收一红外输入信号。可并行或串行地接收可见输入信号和红外输入信号。可见输入信号和红外输入信号可以是DVI、VGA或其它适于传输高质量动态可见图像的数字或模拟图像信号。一旦可见信号接收机401和红外信号接收机405接收到可见输入信号和红外输入信号，则每个接收机能将输入信号发送至图像处理器407。
图像处理器407可以一个或多个帧速率接收可见输入和红外输入信号并将这些信号处理成更高的帧速率。例如，可见输入和可见输入信号均可以60Hz被馈送入可见信号和红外信号接收机，并且图像处理器407可使红外和可见信号输入中的每一个的帧速率翻倍至120Hz。在一些实施例中，来自可见和红外输入信号的帧被馈送入图像处理器407中的缓冲器以利于帧速率增加。在这些实施例中，缓冲器允许图像处理器增加一个输入信号的帧速率同时使另一个输入信号保持在缓冲器中。尽管下面的例子可表述为图像处理器407使输入信号的帧速率翻倍，然而本发明的各个其它实施例可接受具有更高或更低帧速率的可见和红外输入信号并将每个信号的帧速率增加相同或不同的量。
为使可见信号和红外信号的帧速率翻倍，图像处理器407可将输入信号中每个帧的持续时长减小一半。再次地，图像处理器407中的缓冲器有利于使帧速率翻倍。一旦经处理的可见和红外输入信号的每个帧的持续时长仅仅是输入信号的帧的持续时长的一半，则来自经处理的可见输入信号和经处理的红外输入信号的帧可被交替以产生既具有可见图像数据又具有红外图像数据的组合输出信号。组合的输出信号的每个60Hz帧可将半持续时长的可见帧和半持续时长的红外帧相组合。在一些实施例中，持续时长减少的帧可被馈送入到另一缓冲器以等待进一步的处理或传输。替代地，组合的输出信号可直接视为具有交织的可见图像和红外图像的120Hz信号。
图像处理器407可随后在步骤50将连续的红外/可见输出信号送至成像器设备格式化器411，该连续的红外/可见输出信号的帧具有一半可见数据和一半红外数据。成像器设备格式化器设备411可将组合的输出信号格式化为适当的电压信号、控制信号和定时信号，这些信号可被送至成像器设备413以及可见和红外光源(未示出)。控制和定时信号可包括坐标和时间同步信号，从而与成像器设备413的操作同步地运作红外和可见光源。控制信号随后在步骤60可被送至成像器设备413。
在又一实施例中，图像处理器407可接收一已具有经交织的红外和可见图像数据的图像输入信号或经组合的输入信号。在这些实施例中，组合的图像信号可通过与图像处理器407分开的计算机产生或由在DVD、CD、录像带、计算机文件等介质上预先录制或以其它方式存储的视频文件提供。在图像输入信号已组合了红外和可见信号的实施例中，图像处理器407可使用例如光学系统300之类的光学系统处理信号以提取必要的信息来运作成像器设备和光源，从而产生所需的输出。图像处理器可处理经组合的图像信号以便以其原有的帧速率显示图像信号，或根据输出图像的合需用途来提高或降低帧速率。例如，120Hz经组合的输入信号可在120Hz频率下显示或通过适当的处理减慢至60Hz。
图4b是根据本发明的各个实施例的用于运作系统400的方法470的流程图。该方法可开始于步骤471，其中系统400被加电或通过接收可见和红外输入信号或其它启动信号而被启动。系统400随后可在步骤472接收可见输入信号和红外输入信号。在一些实施例中，根据系统可用的输入信号并行或串行地接收两种输入信号。接着，在步骤473，可例如使用图像处理器407来将来自红外输入信号和可见输入信号的帧交替成组合的输出信号。如前所述，经组合的输出信号可具有比可见和红外输入信号更高的帧速率。在步骤474，可基于经组合的输出信号产生定时信号。定时信号可包括用于运作可见和红外光源以及运作成像器设备的信息和控制信号。根据光源控制电路和成像器设备的需要，经组合的输出信号和定时信号可以是数字或模拟信号。
在步骤475，经组合的输出信号可被送至成像器设备或成像器设备电路或格式化器，所述格式化器可将组合的输出信号格式化成成像器设备所需要的适当电压和信号波形。在步骤476，定时信号可被送至定序器从而与成像器设备的操作同步地运作可见和红外光源。如前面描述的，成像器设备413可以是适当的光处理模块，例如透射性或反射性LCD微型显示器、LCOS微型显示器或例如德州仪器DLP芯片之类的光处理引擎。随后可针对新的可见和红外输入信号重复方法470，或者可在步骤477结束方法470。
图4c中的图解480是由根据本发明一实施例的图像处理器接收和产生的可见输入信号、红外输入信号和组合的输出信号的时序图。如图所示，可见输入信号和红外输入信号可具有相等或相似的帧速率，且连续相应帧与另一信号中的帧对准。例如，可见输入帧和红外输入帧全部可以同时开始和同时结束，并因此具有相同的帧速率。替代地，可见输入信号和红外输入信号可具有相同的帧速率，但彼此可以不同步。
在这些实施例中，可使用图像处理器来使可见输入和红外输入信号同步，然而这种同步并非总是必需的。为了组合可见输入信号和红外输入信号，图像处理器可增加输入信号中的每一个的帧速率。如时序图480的示例中所示，可见输入信号和红外输入信号的帧速率可大约增至两倍，并随后交替地组合成组合的输出信号。只要帧的定序和帧的协作是可能的，可见输入信号和红外输入信号就不需要被同步。
如图所示，经组合的输出信号可开始于可见帧VLF0，可见帧之后跟随一红外帧IRF1，红外帧之后又跟随有另一可见帧VLF1。来自可见输入信号和红外输入信号的帧可被连续地交替成组合的输出信号，只要在可见输入信号和红外输入信号中存在数据。在其它实施例中，组合的输出信号始于一红外帧是可能的。
图4d中所示的示图490是定时信号的时序图，该定时信号可用来协作或控制可见和红外光源以产生经组合的红外和可见显示图像。如图所示，第一可见帧可包括来自三个可见光源的光脉冲。在该特定例中，可见光源可以是具有适当成形的输出光谱的红、绿和蓝LED光源。红、绿和蓝LED光源的特定输出光谱可依赖于许多因素，包括所使用的成像器设备的光谱响应以及用在特定光具组中用来混合光源并投影所得到的图像的任何光谱成形分色滤光器或反射器的光谱响应。
第一可见帧和组合的可见输出信号可包括具有红色、绿色和蓝色分量的信息。在这些情形下，必须协同成像器设备的操作顺序地接通每个可见光源。第一可见帧VLF1可具有信息，该信息包括第一红色图像信息、然后是绿色图像信息、最后是蓝色图像信息，由此将VLF1进一步分割成三个时间帧，其中必须与受组合的输出信号控制的成像器设备协作地接通红光LED、绿光LED和蓝光LED。
接着，可接通红外二极管或其它红外光源，同时使用组合的输出信号的第一红外帧IRF1来运作成像器设备。如此，红外光可照射成像器设备，同时成像器设备被安排成使包含在IRF1中的组合的输出信号的红外部分反射或透过。由于经组合的输出信号可包含交替的可见图像帧和红外图像帧，因此该过程可以适于图像质量以及使用者和夜视设备的能力的帧速率来重复，该夜视设备将被用在根据本发明各实施例的训练系统、设备和方法中。
图5a示出根据本发明各实施例的用于交织可见图像和红外图像的系统500。系统500可用于用来自红外输入信号的红外图像数据来替代可见输入信号的色彩通道之一。与系统400类似，系统500可在步骤15中使用可见信号接收机501接收一可见输入信号，并在步骤25中使用红外信号接收机505接收一红外输入信号。可并行或串行地接收可见输入和红外输入信号，这取决于可见输入和红外输入信号源的能力以及其它因素。
一旦可见和红外输入信号由系统500接收，可见信号接收机501可在步骤35将可见输入信号传递至FPGA 507，或其它色彩替代处理器。类似地，红外信号接收机505可在步骤45将红外输入信号传递至FPGA 507。在一些实施例中，可见信号接收机501和红外信号接收机505可并行或串行地与FPGA 507通信。在一些实施例中，可用ASIC或适合将来自红外输入信号的红外图像代入来替代可见输入信号的诸色彩通道之一的其它专用电路来取代FPGA 507。在另一实施例中，图像处理器509可执行色彩替代。
FPGA 507可执行多种色彩替代功能，包括但不局限于，将来自红外输入信号的帧代入来替代可见输入信号的一个或多个帧的一个或多个彩色通道。例如，可见输入信号可包括三个色彩通道，例如红色、绿色和蓝色通道。FPGA 507可用来自相应帧的红外输入信号的图像数据取代色彩通道中的一个，例如蓝色。
所取代的特定色彩通道可由FPGA 507或图像处理器509确定，和/或可基于周期性方案确定或通过可见输入信号中的特定帧的色彩内容确定。例如，可见输入信号中的特定帧可具有非常少的蓝色通道信息，因此FPGA 507可被配置成确定应当由来自红外输入信号中的相应帧的红外信息来取代蓝色通道。如此，可见输入信号中的最少量的信息将会被来自红外输入信号的信息取代，由此在可见图像数据中产生最不引人注意的差异。在步骤55，FPGA 507可连续地处理传入可见输入和红外输入信号以用来自红外输入信号的信息替代可见输入信号的诸色彩通道中的一个或多个，由此形成一组合的图像信号。
在步骤55，FPGA 507可将组合的图像信号发送至图像处理器509。图像处理器509可对组合的图像信号进行处理以将将替代输出信号再现为图像输入信号或提取同步数据。在步骤75，图像处理器509随后可将组合的图像信号送至图像设备格式化器510。图像处理器509也将同步数据发送至FPGA 511以使红光源520、绿光源530、蓝光源540和红外光源550的操作与图像设备513的操作同步。在一些实施例中，图像处理器509可在步骤75将组合的图像信号发送至图像设备格式化器510。在步骤77，图像设备格式化器510可将组合的图像信号进一步处理成适于运作图像设备513的信号。在其它实施例中，可省去图像设备格式化器510并且图像处理器509可将组合的图像信号直接发送至图像设备513。
图像处理器509可将组合的图像信号直接或间接地发送至图像设备513，并可将同步数据送至FPGA 511以与图像设备513的操作协作地激活适当的光源。例如，由于图像设备513被配置成显示红色通道、绿色通道、蓝色通道或替代可见输入信号通道中的一个的红外数据，因此可激活适当的光源以用适当的光源照射图像设备513。
图5b示出通过将红外图像数据代入来替代可见输入数据的诸色彩通道中的一个或多个而交织可见和红外图像数据的方法570。方法通过合适的启动消息开始于步骤571。在步骤572，可接收可见输入信号和红外输入信号。可并行或串行地接收可视输入信号和红外输入信号。在步骤573，一旦接收到可视和红外输入信号，来自红外输入信号的帧可被代入来替代可见输入信号中的诸色彩通道中的一个或多个以产生组合的图像信号。除了产生任意组合的图像信号，在步骤574可产生基于组合的图像信号的定时信号。可使用定时信号来控制一个或多个控制电路(例如FPGA 511)，从而与成像器设备协调地同步可见和红外光源的操作。
在步骤575，可将组合的图像信号发送至成像器设备并将定时信号发送至定序器(比如FPGA 511)，以与由组合的图像信号控制的成像器设备同步地运作可见和红外光源。可重复步骤572、573、574、575和576，直到所有可见和红外输入信号已被处理为止。最后，方法572可在步骤577结束。
图5c示出时序图580，该时序图580将可见输入信号、红外输入信号和红外输入信号数据已被代入来替代可见输入信号数据的诸色彩通道中的一个或多个的结果组合图像信号的内容和/或帧进行比较。如图所示，可见输入信号可包括数个帧，这些帧具有红色、绿色和蓝色(RGB)通道。这里，时序图580中的帧RGB1F1、RGB1F2、RGB1F3和RGB1F4在图中被示为可见输入信号的采样。时序图580中的帧I1F1、I1F2、I1F3和I1F4被图示为红外输入信号的采样。根据本发明的一个实施例，来自红外输入信号中的帧的信息可被代入来替代可见输入信号中的诸色彩通道之一，以产生组合的图像信号，该组合的图像信号在这里图示为采样帧RGB1F0、IGB1F1、RIB1F2和RGI1F3。在该例中，来自一个帧的红外图像数据被顺序地插入到相应可见输入信号帧的色彩通道中。
如图所示，红外输入信号的第一帧被首先插入到或替代可见输入信号的第一帧的红色通道。组合的图像信号的第二帧包括红外输入信号的第二帧，该红外输入信号的第二帧被代入来替代可见输入信号的第二帧的绿色通道。最后，组合的图像信号的第三帧包括红外输入信号的第三帧，该红外输入信号的第三帧被代入来替代到可见输入信号的第三帧的蓝色通道。
在一些实施例中，可针对可见输入信号和红外输入信号的长度一再地重复该过程。在其它实施例中，一个完全可见的输入信号帧往往可被示为一个没有红外输入信息被代入的组合图像信号帧。其一个例子在帧0中示出，其中组合的图像信号的第一帧包括可见输入信号的第一帧的红光、绿光、蓝色通道RGB1F0。
在其它实施例中，红外输入信号帧所替代的特定帧和可见输入信号的色彩通道可取决于可见输入信号的特定帧内包含的图像信息。例如，特定帧的个别输入信号可能仅包含绿色通道信息，因此用来自相应帧的红外信息取代绿色通道信息可能不是有利的。这样做导致无法用裸眼看到的帧。另一方面，如果对于可见输入信号的特定帧几乎没有或者没有蓝色通道数据，则将来自相应帧的红外图像数据代入到蓝色通道将导致对可见输入信号图像的很少的改变。
图5d示出一时序图590，该时序图590将组合图像数据的帧内包含的信息的时序与红、绿、蓝和红外光源的操作进行比较。在该特定例中，可见光源可以是红色LED、绿色LED和蓝色LED，而红外光源可以是红外二极管。可使用其它光源——如果这些光源向光具组提供具有充分响应时间的适当成形的光谱输出的话，所述光具组包括在其中将使用光源的光谱成形滤光器和反射器。
经组合的图像信号的第一帧RGB1F0仅包括可见图像数据，因此只需要可见光源来照射成像器设备。根据帧RGB0F0中的数据，可与成像器设备的操作同步地顺序接通红色LED、绿色LED和蓝色LED。在该序列中，色彩通道可包括LED的任何序列以及成像器设备色彩通道数据。例如，图5d中的示图590中的RGB1F0帧表示红色LED被接通且红色通道数据被首先送至成像器设备，然后是绿色，再是蓝色。在其它实施例中，绿色或可以是第一个，而另外两个色彩通道以任意顺序跟随。
组合的图像信号IGB1F1中的接下来的帧可包括代入来替代之前的红色通道图像数据的红外图像数据。同样，可接通红外二极管而不是红光LED，并且帧的红外图像数据——而不是从其得到组合的图像信号的可见输入信号的红色通道图像数据——被发送至成像器设备。然后，根据籍此得到组合的图像信号的方案，接下来的帧可使来自红外输入信号的红外图像数据被代入来替代其它可见输入信号色彩通道中的一个。在图5d所示的例子中，接下来的帧RIB1F2，红外图像数据可替代绿色通道。因此，可与来自正被送往成像器设备的组合图像信号的红外图像数据同步地接通红外二极管，而不是绿光LED。最后，本例的最末帧RGI1F3示出红外图像数据替代蓝色通道并且红光、绿光和红外二极管相应操作与可见和红外图像数据正被送至成像器设备同步。
图6是典型计算机系统600的框图，该计算机系统600被配置成执行计算机可读代码以实现根据本发明各个实施例的各种功能和步骤。
系统600代表能够实现本发明的计算机系统。计算机系统可以图4a和图5a中的任何要素表现，包括图像处理器407、图像设备格式化器411、图像处理器509、图像设备格式化器510以及前面描述的相应可见和红外信号接收机。许多其他硬件和软件配置适于在本发明中使用对本领域普通技术人员而言将是显而易见的。例如，计算机可以是台式的、便携式的、支架安装的、或便笺结构的。另外，计算机可以是一系列联网的计算机。此外，构想使用其他微处理器，诸如XeonTM、PentiumTM或CoreTM微处理器、来自超微器件公司（AdvancedMicro Devices,Inc）的TurionTM64、OpteronTM或AthlonTM微处理器等。此外，构想其他类型的操作系统，诸如来自微软公司（Microsoft Corporation）的
Figure BDA00002216420200151
Figure BDA00002216420200152
Figure BDA00002216420200153
等，来自太阳微系统公司（SunMicrosystems）的Solaris以及LINUX、UNIX等。在其他实施例中，以上所述的技术可在芯片或辅助处理板上实现。各个实施例可基于由daVinci、Pandora、Silicon Color、或其他厂家所提供的系统。
在一个实施例中，计算机系统600通常包括显示器610、计算机620、键盘630、用户输入设备640、通信或网络接口650等等。在各实施例中，显示器（监视器）610可体现为CRT显示器、LCD显示器、等离子体显示器、直投或背投DLP、微显示器等。在各个实施例中，显示器610可用于显示用户界面和所渲染的图像。
在各个实施例中，用户输入设备640通常体现为计算机鼠标、跟踪球、跟踪垫、操纵杆、无线遥控器、绘画便笺、语音命令系统等。用户输入设备640通常允许用户经由诸如点击按钮等命令来选择出现在显示器610上的对象、图标、文字等。在各个实施例中还可提供诸如磁条、RFID收发器或智能卡读卡器之类附加的专用用户输入设备645。在其他实施例中，用户输入设备645包括附加的计算机系统显示器（例如，多个监视器）。其他用户输入设备645可实现为这种显示器上的一个或多个图形用户接口。
计算机接口650的各个实施例通常包括以太网卡、调制解调器（电话、卫星、电缆、ISDN）、（异步）数字用户线（DSL）单元、火线接口、USB接口等。例如，计算机接口650可耦合到计算机网络，或者耦合到火线总线等。在其他实施例中，计算机接口650可被物理地集成到计算机620的母板上，可以是诸如软DSL等的软件程序。
RAM 670和盘驱动器680是计算机可读有形介质的示例，该计算机可读有形介质被配置成存储诸如用户、账户和交易等级数据、计算出的聚合数据、超级密钥、子密钥以及其他可执行计算机代码、人类可读代码等数据。其他类型的有形介质包括：诸如软盘、联网硬盘、或可移除硬盘之类的磁存储介质；诸如CD-ROM、DVD、全息存储器或条形码之类的光学存储介质；诸如闪存、只读存储器（ROM）之类的半导体介质；电池后备的易失性存储器；联网存储设备等。
在本实施例中，计算机系统600还可包括允许在诸如HTTP、TCP/IP、RTP/RTSP协议等网络上通信的软件。在本发明的替换实施例中，还可使用其他通信软件和传输协议，例如IPX、UDP等。
在各个实施例中，计算机620通常包括：诸如处理器660之类的熟悉的计算机组件；诸如随机存取存储器（RAM）670、盘驱动器680之类的存储器存储设备；以及将以上组件互连的系统总线690。
在一些实施例中，计算机600包括来自英特尔（Intel）的一个或多个Xeon微处理器。此外，在本实施例中，计算机620通常包括基于UNIX的操作系统。
应当理解，如上所述的本发明的各个实施例可采用以模块化或集成方式使用计算机软件的控制逻辑的形式实现。基于本文提供的公开和教导，本领域普通技术人员将知道并领会使用硬件以及硬件和软件的组合来实现本发明的其它方式和/或方法。
本申请中所描述的任何软件组件或功能均可使用任何合适的计算机语言来实现为由处理器执行的软件代码，此类合适的计算机语言例如为使用例如传统或面向对象技术的Java、C++、或Perl之类。软件代码可作为一系列指令或命令存储在诸如随机存取存储器（RAM）、只读存储器（ROM）、磁介质（例如硬驱动器或软盘）、或者光学介质（诸如CD-ROM）之类的计算机可读介质上。任何此类计算机可读介质均可驻留在单个计算装置之上或之中，并且可存在于系统或网络中的不同计算装置之上或之中。
以上描述是解说性的而非限制性的。在细阅本公开之后，本发明的许多变例对本领域技术人员而言将变得显而易见。因此，本发明的范围不应参照以上描述来确定，而是应当参照所附权利要求及其全部范围或等效方案来确定。
来自任何实施例的一个或更多个特征可以是具有任何其他实施例的一个或更多个特征的第二帧而不会脱离本发明的范围。
对“一”、“一个”或“该”的引用旨在表示“一个或多个”，除非有具体地相反指示。
权利要求书(按照条约第19条的修改)
1.一种使用图像处理计算机交织可见图像数据和红外图像数据的方法，所述方法包括：
使用所述图像处理计算机中的处理器接收具有第一帧速率的第一可见输入信号和具有第二帧速率的第一红外输入信号，所述第一帧速率和第二帧速率是相等的；
使用所述处理器将所述第一可见光输入信号处理成具有第三帧速率的第二可见光输入信号；
使用所述处理器将所述第一红外输入信号处理成具有第四帧速率的第二红外输出信号，所述第三帧速率和第四帧速率是相等的；以及
使用所述处理器通过交织所述第二可见输入信号和所述第二红外输入信号的帧生成经组合的输出信号；
将所述组合的输出信号从所述图像处理计算机发送至成像器设备；
与所述成像器设备上的所述第二可见输入信号的帧同步地运作一个或多个可见光源；以及
与所述成像器设备上的所述第二红外输入信号的帧同步地运作红外光源。
2.如权利要求1所述的方法，其特征在于，生成组合的输出信号包括以第五帧速率交替地输出来自所述第二可见输入信号的图像数据和来自所述第二红外信号的图像数据。
3.如权利要求2所述的方法，其特征在于，还包括基于所述组合的输出信号生成一定时信号，以及将所述定时信号发送至所述光源。
4.一种使用图像处理计算机交织可见图像数据和红外图像数据的方法，所述方法包括：
使用所述图像处理计算机来接收可见输入信号，所述可见输入信号的每个帧具有多个色彩通道；
使用所述图像处理计算机来接收红外输入信号，所述红外输入信号用于与红外光源同步地显示红外图像；以及
使用所述图像处理计算机来将所述可见输入信号和所述红外输入信号处理成具有多个通道输出数据的组合输出信号，
其中所述多个通道输出数据包括来自红外输入信号的数据，所述来自红外输入信号的数据对于多个帧中的每个帧替代来自所述可见输入信号中的多个色彩通道中的一个的数据。
5.如权利要求4所述的方法，其特征在于，所述多个色彩通道包括红色通道、绿色通道和蓝色通道；并且
其中来自所述红外输入的数据被顺序地代入来替代所述红色通道、绿色通道或蓝色通道。
6.如权利要求5所述的方法，其特征在于，来自所述红外输入的数据每隔一段时间间隔被顺序地代入。
7.如权利要求6所述的方法，其特征在于，所述时间间隔由所述图像处理计算机确定并且是基于所述第一可见输入信号、第一红外光输入信号或两者。
8.如权利要求7所述的方法，其特征在于，通过比较所述红色通道、绿色通道和蓝色通道中的图像数据来进一步确定所述时间间隔。
9.如权利要求6所述的方法，其特征在于，所述时间间隔是基于所述第一可见输入信号的第一帧速率。
10.如权利要求6所述的方法，其特征在于，所述时间间隔基于所述第一红外输入信号的第二帧速率。
11.一种将可见图像数据与红外图像数据进行交织的图像处理系统，包括：
色彩替代处理器，其被配置成：
接收可见输入信号和红外输入信号；以及
通过交织所述可见输入信号和所述红外输入信号的帧将可见输入信号和红外输入信号处理成组合的输出信号；以及
图像处理器，其被耦合至所述色彩替代处理器并被配置成：
接收所述组合的输出信号；
将所述组合的输出信号处理成多个连续的可见色彩通道帧和红外帧；以及
控制光源定序器以与成像器设备同步地运作多个可见和红外光源。
12.如权利要求11所述的图像处理系统，其特征在于，所述图像处理器进一步被配置成将多个连续的可见和红外色彩通道帧发送至所述成像器设备。
13.如权利要求11所述的图像处理系统，其特征在于，还被配置成将来自所述红外输入的帧代入来替代所述可见输入信号中的一个或多个色彩通道帧。
14.如权利要求13所述的图像处理系统，其特征在于，还被配置成每隔一段时间间隔将来自所述红外输入的帧代入来替代诸色彩通道中的一个或多个。
15.如权利要求14所述的图像处理系统，其特征在于，还被配置成基于所述可见输入信号中的色彩通道的内容的比较来确定所述时间间隔。
16.如权利要求14所述的图像处理系统，其特征在于，还被配置成基于所述红外输入信号的内容和所述可见输入信号中的色彩通道的内容的比较来确定所述时间间隔。
17.如权利要求12所述的图像处理系统，其特征在于，还被配置成并行或串行地接收所述可见输入信号和所述红外输入信号。

Claims (18)

1.一种使用图像处理计算机交织可见图像数据和红外图像数据的方法，包括：
使用所述图像处理计算机中的处理器接收具有第一帧速率的第一可见输入信号和具有第二帧速率的第一红外输入信号；
使用所述处理器将所述第一可见光输入信号处理成具有第三帧速率的第二可见光输入信号；
使用所述处理器将所述第一红外输入信号处理成具有第四帧速率的第二红外输出信号；以及
使用所述处理器基于所述第二可见输入信号和所述第二红外输入信号生成经组合的输出信号。
2.如权利要求1所述的方法，其特征在于，生成组合的输出信号包括以第五帧速率交替地输出来自所述第二可见输入信号的图像数据和来自所述第二红外信号的图像数据。
3.如权利要求2所述的方法，其特征在于，还包括将所述组合的输出信号从所述图像处理计算机发送至成像器设备。
4.如权利要求3所述的方法，其特征在于，还包括基于所述组合的输出信号生成一定时信号，以及将所述定时信号发送至一个或多个光源。
5.一种使用图像处理计算机交织可见图像数据和红外图像数据的方法，包括：
使用所述图像处理计算机来接收具有多个色彩通道输入数据的可见输入信号；
使用所述图像处理计算机来接收红外输入信号；以及
使用所述图像处理计算机来将所述可见输入信号和所述红外输入信号处理成具有多个通道输出数据的组合输出信号，
其中所述多个通道输出数据包括来自红外输入信号的数据，所述来自红外输入信号的数据替代来自所述可见输入信号中的一个或多个色彩通道输入数据的数据。
6.如权利要求5所述的方法，其特征在于，所述多个色彩通道输入数据包括红色通道、绿色通道和蓝色通道；并且
其中来自所述红外输入的数据被顺序地代入来替代所述红色通道、绿色通道或蓝色通道。
7.如权利要求6所述的方法，其特征在于，来自所述红外输入的数据每隔一段时间间隔被顺序地代入。
8.如权利要求7所述的方法，其特征在于，所述时间间隔由所述图像处理计算机确定并且是基于所述第一可见输入信号、第一红外光输入信号或两者。
9.如权利要求8所述的方法，其特征在于，通过比较所述红色通道、绿色通道和蓝色通道中的图像数据来进一步确定所述时间间隔。
10.如权利要求7所述的方法，其特征在于，所述时间间隔是基于所述第一可见输入信号的第一帧速率。
11.如权利要求7所述的方法，其特征在于，所述时间间隔基于所述第一红外输入信号的第二帧速率。
12.一种将可见图像数据与红外图像数据进行交织的图像处理系统，包括：
色彩替代处理器，其被配置成：
接收可见输入信号和红外输入信号；以及
将可见输入信号和红外输入信号处理成组合的输出信号，所述组合的输出信号基于包含在所述可见输入信号中的数据并具有来自红外输入信号的、被代入来替代包含在所述可见输入信号中的数据的数据；以及图像处理器，其被耦合至所述色彩替代处理器并被配置成：
接收所述组合的输出信号；
将所述组合的输出信号处理成多个连续的可见和红外色彩通道帧；以及
控制光源定序器以与成像器设备同步地运作多个可见和红外光源。
13.如权利要求12所述的图像处理系统，其特征在于，所述图像处理器进一步被配置成将多个连续的可见和红外色彩通道帧发送至所述成像器设备。
14.如权利要求12所述的图像处理系统，其特征在于，还被配置成将来自所述红外输入的帧代入来替代所述可见输入信号中的一个或多个色彩通道。
15.如权利要求14所述的图像处理系统，其特征在于，还被配置成每隔一段时间间隔将来自所述红外输入的帧代入来替代诸色彩通道中的一个或多个。
16.如权利要求15所述的图像处理系统，其特征在于，还被配置成基于所述可见输入信号中的色彩通道的内容的比较来确定所述时间间隔。
17.如权利要求15所述的图像处理系统，其特征在于，还被配置成基于所述红外输入信号的内容和所述可见输入信号中的色彩通道的内容的比较来确定所述时间间隔。
18.如权利要求13所述的图像处理系统，其特征在于，还被配置成并行或串行地接收所述可见输入信号和所述红外输入信号。
CN201180017339.7A 2010-04-07 2011-04-06 Ir和可见图像的交织 Active CN102823234B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/755,575 US9077915B2 (en) 2010-04-07 2010-04-07 Interweaving of IR and visible images
US12/755,575 2010-04-07
PCT/EP2011/001709 WO2011124368A2 (en) 2010-04-07 2011-04-06 Interweaving of ir and visible images

Publications (2)

Publication Number Publication Date
CN102823234A true CN102823234A (zh) 2012-12-12
CN102823234B CN102823234B (zh) 2017-04-19

Family

ID=44118706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180017339.7A Active CN102823234B (zh) 2010-04-07 2011-04-06 Ir和可见图像的交织

Country Status (5)

Country Link
US (1) US9077915B2 (zh)
EP (1) EP2540076A2 (zh)
JP (1) JP2013524662A (zh)
CN (1) CN102823234B (zh)
WO (1) WO2011124368A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106371273A (zh) * 2015-07-20 2017-02-01 深圳市光峰光电技术有限公司 一种混合光源装置及其发光控制方法、投影系统
CN106371274A (zh) * 2015-07-20 2017-02-01 深圳市光峰光电技术有限公司 一种混合光源装置及其发光控制方法、投影系统
CN110634420A (zh) * 2018-06-22 2019-12-31 Jvc 建伍株式会社 影像显示装置
CN111835949A (zh) * 2019-04-18 2020-10-27 佳能株式会社 摄像装置、摄像系统、非暂时性存储介质和控制方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011070086A (ja) * 2009-09-28 2011-04-07 Seiko Epson Corp プロジェクター、プロジェクションシステム、プロジェクションシステムの制御方法
US9628724B2 (en) 2013-03-14 2017-04-18 Drs Network & Imaging Systems, Llc Method and system for providing scene data in a video stream
JP2016521480A (ja) 2013-03-22 2016-07-21 セイコーエプソン株式会社 赤外線ビデオ表示アイウェア
US10051209B2 (en) * 2014-04-09 2018-08-14 Omnivision Technologies, Inc. Combined visible and non-visible projection system
US9245196B2 (en) * 2014-05-09 2016-01-26 Mitsubishi Electric Research Laboratories, Inc. Method and system for tracking people in indoor environments using a visible light camera and a low-frame-rate infrared sensor
JP6264233B2 (ja) * 2014-09-02 2018-01-24 株式会社Ｊｖｃケンウッド 撮像装置、撮像装置の制御方法及び制御プログラム
US9269132B1 (en) * 2015-03-31 2016-02-23 Cae Inc. Night vision detection enhancements in a display system
TWI560565B (en) 2015-11-30 2016-12-01 Ind Tech Res Inst Thermal simulation device and method
US10359618B2 (en) 2016-01-11 2019-07-23 Nikon Corporation Multispectral stereoscopic endoscope system and use of same
US10491819B2 (en) * 2017-05-10 2019-11-26 Fotonation Limited Portable system providing augmented vision of surroundings
US11109006B2 (en) * 2017-09-14 2021-08-31 Sony Corporation Image processing apparatus and method
TWI643372B (zh) * 2017-11-07 2018-12-01 Macroblock, Inc. 用於顯示器的雙顯示光源及雙顯示影像產生方法
JP6978729B2 (ja) 2018-06-20 2021-12-08 株式会社Ｊｖｃケンウッド プロジェクタ
JPWO2020039605A1 (ja) * 2018-08-20 2021-08-26 コニカミノルタ株式会社 ガス検出装置、情報処理装置およびプログラム
US11212456B2 (en) * 2018-12-21 2021-12-28 Sony Group Corporation Synchronized projection and image capture
JP2020187165A (ja) * 2019-05-10 2020-11-19 キヤノン株式会社 画像投射装置
JP7354801B2 (ja) * 2019-11-29 2023-10-03 株式会社Ｊｖｃケンウッド 表示装置、表示装置の制御方法
JP2021177613A (ja) * 2020-05-08 2021-11-11 株式会社Ｊｖｃケンウッド 表示装置、表示装置の制御方法
US11663828B1 (en) * 2021-12-22 2023-05-30 Colin Shaw System for visual cognition processing for sighting

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4751571A (en) * 1987-07-29 1988-06-14 General Electric Company Composite visible/thermal-infrared imaging apparatus
WO2001096824A1 (en) * 2000-06-16 2001-12-20 Flir Systems Ab An imaging and different wavelength region monitoring system
US20080165176A1 (en) * 2006-09-28 2008-07-10 Charles Jens Archer Method of Video Display and Multiplayer Gaming
CN201142710Y (zh) * 2007-12-10 2008-10-29 深圳市通宝莱科技有限公司 适宜全天候使用的摄录机
US20090201418A1 (en) * 2003-11-01 2009-08-13 Taro Endo Video display system
CN101611372A (zh) * 2007-11-28 2009-12-23 索尼株式会社 显示装置及其制造方法
US20100033555A1 (en) * 2008-08-07 2010-02-11 Mitsubishi Electric Corporation Image display apparatus and method

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4530010A (en) * 1982-09-30 1985-07-16 Ltv Aerospace And Defense Company Dynamic infrared scene projector
AUPP697398A0 (en) * 1998-11-06 1998-12-03 Lions Eye Institute Of Western Australia Incorporated, The Eye tracker for refractive surgery
EP1358766A1 (en) * 2001-01-12 2003-11-05 Vrex Inc. Method and apparatus for stereoscopic display using column interleaved data with digital light processing
WO2003077749A2 (en) * 2002-03-12 2003-09-25 Beth Israel Deaconess Medical Center Medical imaging systems
JP4088188B2 (ja) * 2003-04-07 2008-05-21 セイコーエプソン株式会社 プロジェクタ
US20040207768A1 (en) * 2003-04-15 2004-10-21 Yin Liu Electron-beam controlled micromirror (ECM) projection display system
KR100595312B1 (ko) * 2003-07-08 2006-07-03 엘지.필립스 엘시디 주식회사 액정표시장치의 구동회로 및 이의 구동방법
US8432341B2 (en) * 2003-11-01 2013-04-30 Silicon Quest Kabushiki-Kaisha Color sequence control for video display apparatus
TWI286034B (en) * 2004-07-05 2007-08-21 Prodisc Technology Inc Display device and image processing method therefor
US7538326B2 (en) * 2004-12-03 2009-05-26 Fluke Corporation Visible light and IR combined image camera with a laser pointer
US20070153122A1 (en) * 2005-12-30 2007-07-05 Ayite Nii A Apparatus and method for simultaneous multiple video channel viewing
US20070171376A1 (en) * 2006-01-26 2007-07-26 Motorola, Inc. Projection display system
KR101219143B1 (ko) * 2006-02-24 2013-01-07 삼성디스플레이 주식회사 액정 표시 장치와 이의 구동 방법
JP2007329749A (ja) 2006-06-08 2007-12-20 Matsushita Electric Ind Co Ltd 撮像素子、撮像装置及び画像処理装置
US8016424B2 (en) * 2006-12-20 2011-09-13 Seiko Epson Corporation Rear projector and projection system
JP4341680B2 (ja) 2007-01-22 2009-10-07 セイコーエプソン株式会社 プロジェクタ
JP4395792B2 (ja) 2007-01-29 2010-01-13 セイコーエプソン株式会社 プロジェクタ
JP5168936B2 (ja) * 2007-02-22 2013-03-27 株式会社日立製作所 投射型表示装置及び照明装置
TW200900833A (en) * 2007-06-22 2009-01-01 Coretronic Corp Liquid crystal projection apparatus
US9052575B2 (en) 2007-07-12 2015-06-09 Hewlett-Packard Development Company, L.P. Determining correspondence mappings from infrared patterns projected during the projection of visual content
JP5184016B2 (ja) * 2007-09-12 2013-04-17 オンセミコンダクター・トレーディング・リミテッド 撮像装置
JP5104205B2 (ja) * 2007-10-24 2012-12-19 セイコーエプソン株式会社 画像表示装置
US8840249B2 (en) 2008-10-31 2014-09-23 Christie Digital Systems, Inc. Method, system and apparatus for projecting visible and non-visible images
US8864313B2 (en) * 2009-06-15 2014-10-21 Eastman Kodak Company Dynamic illumination control for laser projection display
US8305502B2 (en) * 2009-11-11 2012-11-06 Eastman Kodak Company Phase-compensated thin-film beam combiner
US9225916B2 (en) * 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4751571A (en) * 1987-07-29 1988-06-14 General Electric Company Composite visible/thermal-infrared imaging apparatus
WO2001096824A1 (en) * 2000-06-16 2001-12-20 Flir Systems Ab An imaging and different wavelength region monitoring system
US20090201418A1 (en) * 2003-11-01 2009-08-13 Taro Endo Video display system
US20080165176A1 (en) * 2006-09-28 2008-07-10 Charles Jens Archer Method of Video Display and Multiplayer Gaming
CN101611372A (zh) * 2007-11-28 2009-12-23 索尼株式会社 显示装置及其制造方法
CN201142710Y (zh) * 2007-12-10 2008-10-29 深圳市通宝莱科技有限公司 适宜全天候使用的摄录机
US20100033555A1 (en) * 2008-08-07 2010-02-11 Mitsubishi Electric Corporation Image display apparatus and method

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106371273A (zh) * 2015-07-20 2017-02-01 深圳市光峰光电技术有限公司 一种混合光源装置及其发光控制方法、投影系统
CN106371274A (zh) * 2015-07-20 2017-02-01 深圳市光峰光电技术有限公司 一种混合光源装置及其发光控制方法、投影系统
CN106371274B (zh) * 2015-07-20 2019-11-26 深圳光峰科技股份有限公司 一种混合光源装置及其发光控制方法、投影系统
CN106371273B (zh) * 2015-07-20 2020-05-29 深圳光峰科技股份有限公司 一种混合光源装置及其发光控制方法、投影系统
CN110634420A (zh) * 2018-06-22 2019-12-31 Jvc 建伍株式会社 影像显示装置
CN110634420B (zh) * 2018-06-22 2021-08-27 Jvc 建伍株式会社 影像显示装置
CN111835949A (zh) * 2019-04-18 2020-10-27 佳能株式会社 摄像装置、摄像系统、非暂时性存储介质和控制方法
CN111835949B (zh) * 2019-04-18 2023-04-07 佳能株式会社 摄像装置、摄像系统、非暂时性存储介质和控制方法
US11637969B2 (en) 2019-04-18 2023-04-25 Canon Kabushiki Kaisha Imaging device, imaging system, non-transitory storage medium, and control method

Also Published As

Publication number Publication date
CN102823234B (zh) 2017-04-19
WO2011124368A3 (en) 2011-12-08
US20110249014A1 (en) 2011-10-13
WO2011124368A4 (en) 2012-03-08
EP2540076A2 (en) 2013-01-02
WO2011124368A2 (en) 2011-10-13
US9077915B2 (en) 2015-07-07
JP2013524662A (ja) 2013-06-17

Similar Documents

Publication Publication Date Title
CN102823234A (zh) Ir和可见图像的交织
US11393435B2 (en) Eye mounted displays and eye tracking systems
US8217996B2 (en) Stereoscopic display system with flexible rendering for multiple simultaneous observers
US9383586B2 (en) Stereoscopic imaging systems utilizing solid-state illumination and passive glasses
US6843564B2 (en) Three-dimensional image projection employing retro-reflective screens
TW574824B (en) Stereoscopic picture separation for phosphor lag reduction in PDP
CN100521770C (zh) 3d视频会议系统
WO2014041872A1 (ja) 画像表示装置
JP4827783B2 (ja) 画像表示装置
US6956964B2 (en) Apparatus for producing real-time anaglyphs
TW200836548A (en) System and method for synchronizing a viewing device
CN102445779B (zh) 显示方法
CN107229119A (zh) 近眼显示设备及近眼显示的方法
RU2010142894A (ru) Нормализация сигнала синхронизации для трехмерных очков
CN104155840A (zh) 基于高速投影机的360°全视差三维显示装置和方法
JP2008165077A (ja) 画像投影装置
CN101689354B (zh) 用于显示三维图像的方法
JP2006129225A (ja) 立体映像表示装置及び立体映像表示方法
CA2264887A1 (en) Method and apparatus for presenting a visual display to an audience
CN105468250B (zh) 一种信息处理方法及便携式电子设备
JP4969684B2 (ja) 画像表示装置
KR20020050897A (ko) 입체영상 디스플레이 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant