CN111050115A - 用以监视热源的双视角影像装置及其图像处理方法 - Google Patents

用以监视热源的双视角影像装置及其图像处理方法 Download PDF

Info

Publication number
CN111050115A
CN111050115A CN201811294206.4A CN201811294206A CN111050115A CN 111050115 A CN111050115 A CN 111050115A CN 201811294206 A CN201811294206 A CN 201811294206A CN 111050115 A CN111050115 A CN 111050115A
Authority
CN
China
Prior art keywords
thermal image
heat source
image sensor
view
dual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811294206.4A
Other languages
English (en)
Other versions
CN111050115B (zh
Inventor
云泰杰
柯呈达
林克臻
陈志仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN111050115A publication Critical patent/CN111050115A/zh
Application granted granted Critical
Publication of CN111050115B publication Critical patent/CN111050115B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/19—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using infrared-radiation detection systems
    • G08B13/191—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using infrared-radiation detection systems using pyroelectric sensor means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Toxicology (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Radiation Pyrometers (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一种用以监视热源的双视角影像装置，包括一第一热影像传感器、一第二热影像传感器、一驱动器以及一处理器。第一热影像传感器用以提取第一视角内具有一热源的一第一热影像。第二热影像传感器用以提取第二视角内具有热源的一第二热影像，第二视角小于第一视角，其中第一热影像中热源所占的像素点少于第二热影像中热源所占的像素点。驱动器用以驱动第一热影像传感器及第二热影像传感器，以追踪热源，并使热源位于第一视角内及第二视角内。处理器用以合并第一热影像及第二热影像为一双视角影像，并输出具有热源的双视角影像。

Description

用以监视热源的双视角影像装置及其图像处理方法
技术领域
本发明是有关于一种用以监视热源的双视角影像装置及其图像处理方法。
背景技术
随着安全意识日渐提升，安全监视应用也越来越受到重视。为了避免监视区域产生死角，通常会装设多台监视器或摄影机，以针对不同的区域进行同步监视。
用户可针对监视区域中多个关注区域装设监视器，以使各个关注区域的影像可回传至中央控制台，再由控制人员进行全面的监控，以确保无监视死角产生。然而，目前的监视器仅有单一镜头及单一视角，无法具有同时对同一监视区域进行多影像检测的功能与全天候的监测。尤其是，当有夜晚异常物体入侵监视区域时，只能靠不同地方的监视器来判断影像中的入侵者，无法对影像中的入侵者进行细部追踪或放大局部影像，导致缺少更有效及更清晰的影像可供判断。
发明内容
本发明关于一种用以监视热源的双视角影像装置，可针对监视区域内的热源进行追踪并提供双视角热影像，以供用户观看及判断。
根据本发明的一方面，提出一种用以监视热源的双视角影像装置，包括一第一热影像传感器、一第二热影像传感器、一驱动器以及一处理器。第一热影像传感器具有一第一视角，第一热影像传感器用以提取第一视角内具有一热源的一第一热影像。第二热影像传感器具有一第二视角，第二视角小于第一视角，第二热影像传感器用以提取第二视角内具有热源的一第二热影像，其中第一热影像中热源所占的像素点少于第二热影像中热源所占的像素点。驱动器用以驱动第一热影像传感器及第二热影像传感器，以追踪热源，并使热源位于第一视角内及第二视角内。处理器用以合并第一热影像及第二热影像为一双视角影像，并输出具有热源的双视角影像。
根据本发明的一方面，提出一种用以监视热源的双视角图像处理方法，包括下列步骤。以一第一热影像传感器检测一热源，第一热影像传感器具有一第一视角，第一热影像传感器提取第一视角内具有热源的一第一热影像。以一第二热影像传感器检测热源，第二热影像传感器具有一第二视角，第二视角小于第一视角，第二热影像传感器提取第二视角内具有热源的一第二热影像，其中第一热影像中热源所占的像素点少于第二热影像中热源所占的像素点。驱动第一热影像传感器及第二热影像传感器，以追踪热源，并使热源位于第一视角内及第二视角内。合并第一热影像及第二热影像为一双视角影像，并输出具有热源的双视角影像。
附图说明
为了对本发明上述及其他方面有更佳的了解，下文特举实施例，并配合所附图式详细说明如下：
图1绘示依照本发明实施例的用以监视热源的双视角影像装置的示意图。
图2绘示依照本发明实施例的用以监视热源的双视角图像处理方法的示意图。
图3绘示图1的第一热影像传感器与第二热影像传感器同轴设置于驱动器上的一影像追踪结构的示意图。
图4绘示利用图3的影像追踪结构进行双视角图像处理方法的流程示意图。
图5分别图1的第一热影像传感器与第二热影像传感器异轴设置于驱动器上的一影像追踪结构的示意图。
图6绘示利用图5的影像追踪结构进行双视角图像处理方法的流程示意图。
附图标记列表
100：双视角影像装置
110：第一热影像传感器
120：第二热影像传感器
130：驱动器
131：第一驱动单元
132：第二驱动单元
140：处理器
150：显示装置
200、300：双视角图像处理方法
θ1：第一视角
θ2：第二视角
P：热源
T：特征点坐标
M1：第一热影像
M2：第二热影像
Mx：双视角影像
S11-S14：流程步骤
S21-S27：流程步骤
S31-S37：流程步骤
具体实施方式
以下提出实施例进行详细说明，实施例仅用以作为范例说明，并非用以限缩本发明欲保护的范围。以下是以相同/类似的符号表示相同/类似的组件做说明。以下实施例中所提到的方向用语，例如：上、下、左、右、前或后等，仅是参考所附图式的方向。因此，使用的方向用语是用来说明并非用来限制本发明。
依照本发明实施例，提出一种用以监视热源的双视角影像装置，具有不同视角的二个热影像传感器，可针对监视区域内的一目标热源(例如人或动物)进行监视。当目标热源位于大视角的可视范围内时，同步移动双视角的热影像传感器或移动小视角的影像传感器以追踪热源，使目标热源同时位于大视角与小视角的可视范围内。接着，利用处理器将具有热源的双视角影像合并为一并输出至一显示装置，以供人员判断热源所在位置或由监视系统发出一异常警示通知人员处理。
请参照图1，用以监视热源的双视角影像装置100包括一第一热影像传感器110、一第二热影像传感器120、一驱动器130、一处理器140以及一显示装置150。第一热影像传感器110具有一第一视角θ1(或可视范围)，第二热影像传感器120具有一第二视角θ2(或可视范围)。在一实施例中，第二视角θ2小于第一视角θ1，因此第一热影像传感器110的可视范围大于第二热影像传感器120的可视范围。第一视角θ1例如为100～120度，第二视角θ2例如为60-90度，本发明对此不加以限制。
第一热影像传感器110例如为具有影像追踪功能的广视角摄影机，其设置于驱动器130上。第一热影像传感器110可对特定位置的一监视区域进行扫描，以检测是否有一热源P出现在监视区域内。广视角摄影机的视角较大，例如100度或更高，因此能对大视角的监视区域进行全局扫描，以避免产生监视死角。
第二热影像传感器120例如为具有影像追踪功能的小视角摄影机，其设置于驱动器130上。第一热影像传感器110与第二热影像传感器120可同轴设置于驱动器130上，可同步转动相同角度，以同步追踪热源P。在另一实施例中，第一热影像传感器110与第二热影像传感器120可异轴设置于驱动器130上，可各别转动角度，以各别追踪热源P。第二热影像传感器120的视角小于第一热影像传感器110的视角，可对局部小视角区域进行检测，特别是针对热源P出现的局部区域进行检测，以缩小监视范围，同时能追踪热源P并提供局部影像。
在一实施例中，当确定有热源P出现在监视区域内，第一热影像传感器110计算热源P的特征点坐标T，例如中心点坐标，以供第二热影像传感器120追踪热源P。第二热影像传感器120可根据热源P的特征点坐标T寻找热源P所在的局部区域，并进行小视角扫描，以确定热源P是否仍然存在小视角区域中。
驱动器130例如为马达及齿轮组，用以同步或单独驱动第一热影像传感器110与第二热影像传感器120。其中，驱动器130也可以是致动器，用以分别或同时致动第一热影像传感器110与第二热影像传感器120。在一实施例中，监控系统可根据回馈的影像讯号判断热源P的特征点坐标T，并产生一驱动指令至驱动器130，以同步或单独驱动第一热影像传感器110与第二热影像传感器120旋转至热源P所在区域的角度及方位。因此，第一热影像传感器110及/或第二热影像传感器120可根据驱动指令移动至预定位置以追踪热源P，以使热源P位于第一热影像传感器110及/或第二热影像传感器120的视角(或可视范围)内。
请参照图1，第一热影像传感器110用以提取第一视角θ1内具有一热源P的一第一热影像M1，第二热影像传感器120用以提取第二视角θ2内具有热源P的一第二热影像M2，其中第一热影像M1中热源P所占的像素点少于第二热影像M2中热源P所占的像素点。
请参照图1，第一热影像M1例如为全局影像，而第二热影像M2例如为局部区域的影像。第一热影像M1与第二热影像M2例如具有相同的像素点或相同的影像分辨率，例如640×480像素点，但在另一实施例中，第二热影像M2的影像分辨率例如大于第一热影像M1的影像分辨率。在相同的影像分辨率的情况下，在第一热影像M1中热源P所占的像素点较少，无法呈现出热源P的细部特征，因此影像画质比较不清晰。然而，在第二热影像M2中热源P所占的像素点较多，可具体呈现出热源P的细部特征，因此影像画质比较清晰。此外，为了提高影像分辨率，第一热影像M1及/或第二热影像M2可透过次像素补点来提高影像画质。
处理器140用以合并第一热影像M1及第二热影像M2为一双视角影像Mx，并输出具有热源P的双视角影像Mx至显示装置150，以供使用者观看。在一实施例中，处理器140除了合并第一热影像M1及第二热影像M2为一双视角影像Mx，亦可同步第一热影像M1与第二热影像M2的坐标信息。处理器140例如为数字影像混合器或多任务处理器，可结合大视角区域的热影像及小视角区域的热影像，以满足双视角热影像的安全监测需求。
请参照第1及2图，用以监视热源P的双视角图像处理方法包括如下步骤S11-S14：步骤S11，以一第一热影像传感器110检测一热源P，第一热影像传感器110具有一第一视角θ1，第一热影像传感器110提取第一视角θ1内具有热源P的一第一热影像M1。步骤S12，以一第二热影像传感器120检测热源P，第二热影像传感器120具有一第二视角θ2，第二视角θ2小于第一视角θ1，第二热影像传感器120提取第二视角θ2内具有热源P的一第二热影像M2，其中第一热影像M1中热源P所占的像素点少于第二热影像M2中热源P所占的像素点。步骤S13，驱动第一热影像传感器110及第二热影像传感器120，以追踪热源P，并使热源P位于第一视角θ1内及第二视角θ2内。步骤S14，合并第一热影像M1及第二热影像M2为一双视角影像Mx，并输出具有热源P的双视角影像Mx。
透过上述的图像处理技术，使用者可同时观看到第一视角θ1内的热源P以及第二视角θ2内的热源P，其中第二视角θ2内的热源影像相对大于第一视角θ1内的热源P影像，以供识别热源P的细部影像特征，例如人的眼睛、鼻子、嘴巴等特征。
另外，在合并为双视角影像Mx之前，为了提高影像分辨率，更可透过次像素补点来提高第一热影像M1及/或第二热影像M2的画质。次像素补点的图像处理方法的流程如下。首先，取得一低分辨率热影像，并依低分辨率热影像拼接序号计算各像素对应坐标。接着，依各像素的对应坐标填补高分辨率热影像中的对应坐标。以已知像素做均值计算填补高分辨率热影像的未知像素。以下针对双视角图像处理方法的细部流程进行说明。
请参照第3及4图，其中图3绘示图1的第一热影像传感器110与第二热影像传感器120同轴设置于驱动器130上的一影像追踪结构的示意图，图4绘示利用图3的影像追踪结构进行双视角图像处理方法的流程示意图。在图3中，第一热影像传感器110与第二热影像传感器120同轴设置于驱动器130，且可左右上下移动，以使监视区域可涵盖水平以及垂直的角度范围，以达到双视角影像同步及定位同步控制的功效。
在图4中，双视角图像处理方法200包括下列步骤S21-S27。在步骤S21中，以同轴设置的大视角第一影像传感器与小视角第二影像传感器分别进行全局扫描及小区域扫描。在步骤S22中，检测是否有异常热源存在大视角第一热影像中，若有，则进行步骤S23，在步骤S23中，将大视角第一热影像锁定在热源所在的局部区域并计算异常热源的特征点坐标，反之，则回到步骤S21，继续检测。接着，在步骤S24中，同步驱动小视角第二影像传感器，以追踪热源。此外，还可进行次画素补点扫描，以提高影像分辨率。在步骤S25中，检测异常热源是否仍然存在小视角第二热影像中，若不存在，进行步骤S26，同步驱动大视角第一影像传感器至邻近区域，以检测是否有异常热源在邻近区域，若确定邻近区域没有异常热源则回到步骤S21，反之，则进行步骤S23。若在步骤S25中，检测到异常热源仍然存在小视角第二热影像中，则进行步骤S27，在步骤S27中，合并小视角第二热影像及大视角第一热影像为一双视角影像，并显示双视角影像的画面于显示装置中。
请参照第5及6图，其中图5绘示图1的第一热影像传感器110与第二热影像传感器120异轴设置于驱动器130上的一影像追踪结构的示意图，图6绘示利用图5的影像追踪结构进行双视角图像处理方法的流程示意图。在图5中，第一热影像传感器110例如为一固定式广角摄影机或一水平转动式广角摄影机，驱动器130可分别单独驱动第一热影像传感器110与第二热影像传感器120。驱动器130例如包括一第一驱动单元131以及一第二驱动单元132，第一驱动单元131用以驱动第一热影像传感器110，第二驱动单元132用以驱动第二热影像传感器120。第二热影像传感器120可左右上下移动，以使第二热影像传感器120的监视区域可涵盖水平以及垂直的角度范围。
在图6中，双视角图像处理方法300包括下列步骤S31-S37。在步骤S31中，以异轴设置的大视角第一影像传感器与小视角第二影像传感器分别进行全局扫描(例如固定角度扫描)及小区域扫描。在步骤S32中，检测是否有异常热源存在大视角第一热影像中，若有，则进行步骤S33，在步骤S33中，将大视角第一热影像锁定在热源所在的局部区域并计算异常热源的特征点坐标，反之，则回到步骤S31，继续检测。接着，在步骤S34中，单独移动小视角第二影像传感器以追踪热源，并计算小视角影像传感器的旋转角度。此外，还可进行次画素补点扫描，以提高影像分辨率。在步骤S35中，检测异常热源是否仍然存在小视角第二热影像中，若不存在，进行步骤S36，单独旋转大视角第一影像传感器以检测是否有异常热源在邻近区域，若确定邻近区域没有异常热源则回到步骤S31，反之，则进行步骤S33。若在步骤S35中，检测到异常热源仍然存在小视角第二热影像中，则进行步骤S37，在步骤S37中，合并小视角第二热影像及大视角第一热影像为一双视角影像，并显示双视角影像的画面于显示装置中。
本发明上述实施例所公开的用以监视热源的双视角影像装置及其图像处理方法，除了可全局监测及追踪热源之外，还可针对热源所在的区域提供局部影像，并可同步移动双视角的热影像传感器或单独移动小视角的影像传感器以追踪热源，使目标热源同时位于大视角与小视角的可视范围内。因此，本实施例的双视角影像装置具有对同一监视区域进行多视角影像检测的功能，以供用户观看及判断，以符合多视角安全监测的需求。
综上所述，虽然本发明已以实施例公开如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种更动与润饰。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (18)

1.一种用以监视热源的双视角影像装置，包括：
第一热影像传感器，具有第一视角，该第一热影像传感器用以提取该第一视角内具有热源的第一热影像；
第二热影像传感器，具有第二视角，该第二视角小于该第一视角，该第二热影像传感器用以提取该第二视角内具有该热源的第二热影像，其中该第一热影像中该热源所占的像素点少于该第二热影像中该热源所占的像素点；
驱动器，用以驱动该第一热影像传感器及该第二热影像传感器，以追踪该热源，并使该热源位于该第一视角内及该第二视角内；以及
处理器，用以合并该第一热影像及该第二热影像为双视角影像，并输出具有该热源的该双视角影像。
2.如权利要求1所述的装置，其中该第一热影像传感器对监视区域进行全局扫描，以检测是否有该热源出现在该监视区域内。
3.如权利要求2所述的装置，其中该第一热影像传感器计算该热源的特征点坐标，以供该第二热影像传感器追踪该热源。
4.如权利要求3所述的装置，其中该第二热影像传感器根据该热源的特征点坐标寻找该热源所在的局部区域，并进行小视角扫描。
5.如权利要求4所述的装置，其中该驱动器根据该热源的特征点坐标同步或单独驱动该第一热影像传感器与该第二热影像传感器。
6.如权利要求1所述的装置，其中该第一热影像传感器与该第二热影像传感器同轴或异轴设置于该驱动器上。
7.如权利要求1所述的装置，其中该第一热影像与该第二热影像具有相同的像素点。
8.如权利要求1所述的装置，还包括显示装置，用以显示具有该热源的该双视角影像。
9.一种用以监视热源的双视角图像处理方法，包括：
以第一热影像传感器检测热源，该第一热影像传感器具有第一视角，该第一热影像传感器提取该第一视角内具有该热源的第一热影像；
以第二热影像传感器检测该热源，该第二热影像传感器具有第二视角，该第二视角小于该第一视角，该第二热影像传感器提取该第二视角内具有该热源的第二热影像，其中该第一热影像中该热源所占的像素点少于该第二热影像中该热源所占的像素点；
驱动该第一热影像传感器及该第二热影像传感器，以追踪该热源，并使该热源位于该第一视角内及该第二视角内；以及
合并该第一热影像及该第二热影像为双视角影像，并输出具有该热源的该双视角影像。
10.如权利要求9所述的方法，其中该第一热影像传感器对监视区域进行全局扫描，以检测是否有该热源出现在该监视区域内。
11.如权利要求10所述的方法，其中该第一热影像传感器计算该热源的特征点坐标，以供该第二热影像传感器追踪该热源。
12.如权利要求11所述的方法，其中该第二热影像传感器根据该热源的特征点坐标寻找该热源所在的局部区域，并进行小视角扫描。
13.如权利要求12所述的方法，其中驱动器根据该热源的特征点坐标同步或单独驱动该第一热影像传感器与该第二热影像传感器。
14.如权利要求9所述的方法，其中该第一热影像传感器与该第二热影像传感器同轴或异轴设置于驱动器上。
15.如权利要求9所述的方法，其中该第一热影像与该第二热影像具有相同的像素点。
16.如权利要求9所述的方法，还包括显示具有该热源的该双视角影像于显示装置上。
17.如权利要求9所述的方法，其中于合并为该双视角影像之前，还包括对该第二热影像进行次像素补点。
18.如权利要求9所述的方法，其中该热源不位于该第一视角内及该第二视角内，还包括驱动该第一热影像传感器至邻近区域，以检测是否有该热源在该邻近区域。
CN201811294206.4A 2018-10-15 2018-11-01 用以监视热源的双视角影像装置及其图像处理方法 Active CN111050115B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW107136247A TWI691939B (zh) 2018-10-15 2018-10-15 用以監視熱源的雙視角影像裝置及其影像處理方法
TW107136247 2018-10-15

Publications (2)

Publication Number Publication Date
CN111050115A true CN111050115A (zh) 2020-04-21
CN111050115B CN111050115B (zh) 2021-10-15

Family

ID=70160943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811294206.4A Active CN111050115B (zh) 2018-10-15 2018-11-01 用以监视热源的双视角影像装置及其图像处理方法

Country Status (3)

Country Link
US (1) US11064137B2 (zh)
CN (1) CN111050115B (zh)
TW (1) TWI691939B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5299971A (en) * 1988-11-29 1994-04-05 Hart Frank J Interactive tracking device
US20050149396A1 (en) * 2003-11-21 2005-07-07 Marchex, Inc. Online advertising system and method
TW200638772A (en) * 2005-04-20 2006-11-01 Univ Nat Chiao Tung Picture capturing and tracking method of dual cameras
TW200735649A (en) * 2006-03-02 2007-09-16 Univ Nat Taiwan Science Tech Surveillance system having tracking functions and control method thereof
US20070235648A1 (en) * 2004-09-09 2007-10-11 Teich Andrew C Multiple camera systems and methods
CN101075376A (zh) * 2006-05-19 2007-11-21 北京微视新纪元科技有限公司 基于多视点的智能视频交通监控系统及方法
CN103168467A (zh) * 2010-08-16 2013-06-19 韩国标准科学研究院 使用热图像坐标的安防摄像机追踪和监控系统及方法
CN103595916A (zh) * 2013-11-11 2014-02-19 南京邮电大学 一种双摄像头目标跟踪系统及其实现方法
CN104972980A (zh) * 2014-04-03 2015-10-14 许佑正 车体转向侧照影像定点追踪辨识方法及其装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000213985A (ja) 1999-01-26 2000-08-04 Optex Co Ltd 受動型赤外線感知器
US20030093805A1 (en) * 2001-11-15 2003-05-15 Gin J.M. Jack Dual camera surveillance and control system
TW572531U (en) * 2003-03-24 2004-01-11 402Nd Arsenal Topographic Serv Video thermal image instrument with two apertures and one shaft
CA2438939C (en) * 2003-08-28 2008-11-18 Jack Gin Dual surveillance camera system
WO2005036371A2 (en) * 2003-10-09 2005-04-21 Honda Motor Co., Ltd. Moving object detection using low illumination depth capable computer vision
JP2006059252A (ja) 2004-08-23 2006-03-02 Denso Corp 動き検出方法及び装置，プログラム，車両用監視システム
US20080260225A1 (en) * 2004-10-06 2008-10-23 Harold Szu Infrared Multi-Spectral Camera and Process of Using Infrared Multi-Spectral Camera
US7663662B2 (en) * 2005-02-09 2010-02-16 Flir Systems, Inc. High and low resolution camera systems and methods
BRPI0817039A2 (pt) 2007-08-24 2015-07-21 Stratech Systems Ltd Sistema e método de vigilância de pista de pouso e decolagem
US10091439B2 (en) * 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
TW201205115A (en) * 2010-07-27 2012-02-01 Chi-Sheng Hsieh The microscope on the dual light source of visible and IR
US8515127B2 (en) 2010-07-28 2013-08-20 International Business Machines Corporation Multispectral detection of personal attributes for video surveillance
WO2014078811A1 (en) 2012-11-16 2014-05-22 Flir Systems, Inc. Synchronized infrared beacon / infrared detection system
US10863098B2 (en) * 2013-06-20 2020-12-08 Microsoft Technology Licensing. LLC Multimodal image sensing for region of interest capture
US9871999B2 (en) 2013-07-05 2018-01-16 Flir Systems, Inc. Modular camera monitoring systems and methods
US9436872B2 (en) * 2014-02-24 2016-09-06 Hong Kong Applied Science and Technology Research Institute Company Limited System and method for detecting and tracking multiple parts of an object
CN103986917B (zh) 2014-06-03 2017-04-26 中科融通物联科技无锡有限公司 多视角热像监控系统
WO2016197010A1 (en) * 2015-06-05 2016-12-08 Flir Systems, Inc. Systems and methods for enhanced dynamic range infrared imaging
US9888073B2 (en) 2015-06-15 2018-02-06 Flir Commercial Systems, Inc. System and method for managing a collective data transfer rate of a plurality of edge devices
US9875556B2 (en) 2015-08-17 2018-01-23 Flir Systems, Inc. Edge guided interpolation and sharpening
TWI607276B (zh) 2016-11-16 2017-12-01 正修學校財團法人正修科技大學 立體影像與紅外線熱影像整合方法及其裝置
US11125623B2 (en) * 2017-06-26 2021-09-21 L3 Cincinnati Electronics Corporation Satellite onboard imaging systems and methods for space applications

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5299971A (en) * 1988-11-29 1994-04-05 Hart Frank J Interactive tracking device
US20050149396A1 (en) * 2003-11-21 2005-07-07 Marchex, Inc. Online advertising system and method
US20070235648A1 (en) * 2004-09-09 2007-10-11 Teich Andrew C Multiple camera systems and methods
TW200638772A (en) * 2005-04-20 2006-11-01 Univ Nat Chiao Tung Picture capturing and tracking method of dual cameras
TW200735649A (en) * 2006-03-02 2007-09-16 Univ Nat Taiwan Science Tech Surveillance system having tracking functions and control method thereof
CN101075376A (zh) * 2006-05-19 2007-11-21 北京微视新纪元科技有限公司 基于多视点的智能视频交通监控系统及方法
CN103168467A (zh) * 2010-08-16 2013-06-19 韩国标准科学研究院 使用热图像坐标的安防摄像机追踪和监控系统及方法
CN103595916A (zh) * 2013-11-11 2014-02-19 南京邮电大学 一种双摄像头目标跟踪系统及其实现方法
CN104972980A (zh) * 2014-04-03 2015-10-14 许佑正 车体转向侧照影像定点追踪辨识方法及其装置

Also Published As

Publication number Publication date
TW202016891A (zh) 2020-05-01
CN111050115B (zh) 2021-10-15
US20200120290A1 (en) 2020-04-16
US11064137B2 (en) 2021-07-13
TWI691939B (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
US7839423B2 (en) Image display system with gaze directed zooming
CN109348119B (zh) 一种全景监控系统
EP2402905B1 (en) Apparatus and method for actively tracking multiple moving objects using a monitoring camera
KR101695249B1 (ko) 감시 영상 표시 방법 및 시스템
JP2009253976A (ja) 統合型画像監視システムおよびその画像ビデオ融合方法
JP6568374B2 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20090089931A (ko) 실시간 복합 영상 출력 장치
TW201103787A (en) Obstacle determination system and method utilizing bird's-eye images
JP2010109452A (ja) 車両周囲監視装置及び車両周囲監視方法
US10129471B2 (en) Method, apparatus and system for detecting location of laser point on screen
KR101778744B1 (ko) 다중 카메라 입력의 합성을 통한 실시간 모니터링 시스템
KR101977635B1 (ko) 다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법 및 장치
KR20110044101A (ko) 듀얼 카메라를 이용한 실시간 감시장치
CN111050115B (zh) 用以监视热源的双视角影像装置及其图像处理方法
KR101874588B1 (ko) 고해상도 카메라를 이용한 다채널 관심영역 표출방법
JP2012147083A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2008286648A (ja) 距離計測装置、距離計測システム、距離計測方法
US11494934B2 (en) Image processing device, image processing method, and monitoring system
JP2009044475A (ja) 監視カメラ装置
US11498484B2 (en) Overhead image generation device, overhead image generation method, and program
CN112351265B (zh) 一种自适应裸眼3d视觉伪装系统
JP2002511221A (ja) 環境を視覚化するシステム
JPH07195978A (ja) 車両周囲表示装置
JPH11146389A (ja) 表示装置
EP2736249A1 (en) Imaging system and process

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant