CN105264439A - 采用多个虚拟设备分析热像数据的方法和将深度值与图像像素进行关联的方法 - Google Patents
采用多个虚拟设备分析热像数据的方法和将深度值与图像像素进行关联的方法 Download PDFInfo
- Publication number
- CN105264439A CN105264439A CN201480031510.3A CN201480031510A CN105264439A CN 105264439 A CN105264439 A CN 105264439A CN 201480031510 A CN201480031510 A CN 201480031510A CN 105264439 A CN105264439 A CN 105264439A
- Authority
- CN
- China
- Prior art keywords
- thermal imaging
- imaging camera
- camera image
- stop position
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 45
- 238000001931 thermography Methods 0.000 claims abstract description 137
- 230000000717 retained effect Effects 0.000 claims abstract description 28
- 238000004458 analytical method Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 17
- 230000007246 mechanism Effects 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 7
- 230000005059 dormancy Effects 0.000 claims description 5
- 230000033001 locomotion Effects 0.000 claims description 5
- 230000002596 correlated effect Effects 0.000 abstract 1
- 230000000875 corresponding effect Effects 0.000 abstract 1
- 230000005540 biological transmission Effects 0.000 description 11
- 230000009471 action Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004615 ingredient Substances 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 235000019628 coolness Nutrition 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B24—GRINDING; POLISHING
- B24B—MACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
- B24B9/00—Machines or devices designed for grinding edges or bevels on work or for removing burrs; Accessories therefor
- B24B9/02—Machines or devices designed for grinding edges or bevels on work or for removing burrs; Accessories therefor characterised by a special design with respect to properties of materials specific to articles to be ground
- B24B9/06—Machines or devices designed for grinding edges or bevels on work or for removing burrs; Accessories therefor characterised by a special design with respect to properties of materials specific to articles to be ground of non-metallic inorganic material, e.g. stone, ceramics, porcelain
- B24B9/08—Machines or devices designed for grinding edges or bevels on work or for removing burrs; Accessories therefor characterised by a special design with respect to properties of materials specific to articles to be ground of non-metallic inorganic material, e.g. stone, ceramics, porcelain of glass
- B24B9/14—Machines or devices designed for grinding edges or bevels on work or for removing burrs; Accessories therefor characterised by a special design with respect to properties of materials specific to articles to be ground of non-metallic inorganic material, e.g. stone, ceramics, porcelain of glass of optical work, e.g. lenses, prisms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
- B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
- B29C45/00—Injection moulding, i.e. forcing the required volume of moulding material through a nozzle into a closed mould; Apparatus therefor
- B29C45/0053—Injection moulding, i.e. forcing the required volume of moulding material through a nozzle into a closed mould; Apparatus therefor combined with a final operation, e.g. shaping
- B29C45/0055—Shaping
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0006—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means to keep optical surfaces clean, e.g. by preventing or removing dirt, stains, contamination, condensation
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
- G03B37/02—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
- B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
- B29C45/00—Injection moulding, i.e. forcing the required volume of moulding material through a nozzle into a closed mould; Apparatus therefor
- B29C45/0053—Injection moulding, i.e. forcing the required volume of moulding material through a nozzle into a closed mould; Apparatus therefor combined with a final operation, e.g. shaping
- B29C45/0055—Shaping
- B29C2045/0058—Shaping removing material
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
- B29K—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES B29B, B29C OR B29D, RELATING TO MOULDING MATERIALS OR TO MATERIALS FOR MOULDS, REINFORCEMENTS, FILLERS OR PREFORMED PARTS, e.g. INSERTS
- B29K2023/00—Use of polyalkenes or derivatives thereof as moulding material
- B29K2023/04—Polymers of ethylene
- B29K2023/06—PE, i.e. polyethylene
- B29K2023/0658—PE, i.e. polyethylene characterised by its molecular weight
- B29K2023/0683—UHMWPE, i.e. ultra high molecular weight polyethylene
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
- B29K—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES B29B, B29C OR B29D, RELATING TO MOULDING MATERIALS OR TO MATERIALS FOR MOULDS, REINFORCEMENTS, FILLERS OR PREFORMED PARTS, e.g. INSERTS
- B29K2995/00—Properties of moulding materials, reinforcements, fillers, preformed parts or moulds
- B29K2995/0018—Properties of moulding materials, reinforcements, fillers, preformed parts or moulds having particular optical properties, e.g. fluorescent or phosphorescent
- B29K2995/0026—Transparent
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
- B29K—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES B29B, B29C OR B29D, RELATING TO MOULDING MATERIALS OR TO MATERIALS FOR MOULDS, REINFORCEMENTS, FILLERS OR PREFORMED PARTS, e.g. INSERTS
- B29K2995/00—Properties of moulding materials, reinforcements, fillers, preformed parts or moulds
- B29K2995/0018—Properties of moulding materials, reinforcements, fillers, preformed parts or moulds having particular optical properties, e.g. fluorescent or phosphorescent
- B29K2995/0029—Translucent
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
- B29K—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES B29B, B29C OR B29D, RELATING TO MOULDING MATERIALS OR TO MATERIALS FOR MOULDS, REINFORCEMENTS, FILLERS OR PREFORMED PARTS, e.g. INSERTS
- B29K2995/00—Properties of moulding materials, reinforcements, fillers, preformed parts or moulds
- B29K2995/0037—Other properties
- B29K2995/0094—Geometrical properties
- B29K2995/0097—Thickness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
- B29L—INDEXING SCHEME ASSOCIATED WITH SUBCLASS B29C, RELATING TO PARTICULAR ARTICLES
- B29L2031/00—Other particular articles
- B29L2031/764—Photographic equipment or accessories
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B11/00—Filters or other obturators specially adapted for photographic purposes
- G03B11/04—Hoods or caps for eliminating unwanted light from lenses, viewfinders or focusing aids
- G03B11/041—Lens caps as separate accessory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
- H04N3/02—Scanning details of television systems; Combination thereof with generation of supply voltages by optical-mechanical means only
- H04N3/04—Scanning details of television systems; Combination thereof with generation of supply voltages by optical-mechanical means only having a moving aperture also apertures covered by lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Inorganic Chemistry (AREA)
- Ceramic Engineering (AREA)
- Manufacturing & Machinery (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
- Radiation Pyrometers (AREA)
- Lens Barrels (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
热成像相机图像从转动经过多个停止位置的热成像相机获得。相机以恒定帧率获取图像,至少有一些图像对应于停止位置。对应于停止位置的热成像相机图像被保留,而不对应于停止位置的图像则被抛弃。被保留的图像以视频流被发送至视频处理器。视频流被分解为单独的热成像相机图像,并针对对应于特定停止位置的相应虚拟相机设备进行存储。此外,相机的位置和图像中单独像素的位置均被与地理位置数据进行关联,并根据地理数据确定像素的深度值。
Description
对相关申请的交叉引用
本申请主张于2013年8月9日提交的题为“采用多个虚拟设备分析热像数据和将深度值与图像像素进行关联的方法以及一种包括无缝透镜盖的系统”的61/864,196号美国临时专利申请的权益,该申请通过参考整体并入本文中。
背景技术
可采用广角相机的阵列来生成全景图像,其中广角相机的阵列组合起来可形成最多360度的视场,也可采用配有鱼眼镜头或其他全景反射镜、可形成随后由计算机进行压平处理的连续“小型球面反射镜”图像的单个相机来生成全景图像。这些图像提供用于视频监控所需的细节的能力有限,因为传感器在宽视场上被拉伸(有时达到完整的360度)。
一种相对较新的获取热全景图像的方式是,以少于60RPM的转速持续转动采用低温冷却的热传感器或其他高速相机,并使用计算机处理来自该相机的图像,图像在计算机内被拼接在一起并被分析。这些低温冷却传感器能够在仅仅几纳秒内获取图像,这使其能够生成接近实时的视频。然而,这些冷却的传感器用电量很大且价格昂贵,使其在许多应用场合中难以实用。此外,高速相机对照明的需求非常大,这使其在并非完全在白天工作的场合中的应用受到很大限制。
即使在本领域的现有进展条件下,仍然需要有经过改进的相机系统和分析方法,特别是需要其能够呈现最低的复杂度和成本,并可在相对较低的功率要求下工作。
本申请所请求保护的主题并不局限于可解决任何不利状况或仅可在例如上文所述等环境中工作的实施例。提供本技术背景的目的仅在于例示出本文所述的一些实施例可得以实施的一个示例性技术领域。
发明概述
本发明的实现方式包括被配置以采用多个虚拟设备对全景图像数据的单独图像帧进行排序和分析的系统、方法和计算程序产品。例如,本发明的一种实施例所针对的是一种采用多个虚拟设备对全景图像数据的单独图像帧进行分析和排序的现场系统。此类系统可能包括:索引机构,在其上安装有热成像相机,用于转动该相机经过多个停止位置;热成像相机,其被配置以拍摄热成像相机图像,当该热成像相机转动经过所述多个停止位置时,热成像相机图像中的至少一些图像对应于停止位置;以及复用和分析模块,其被配置以抛弃与任何停止位置均不对应的任何热成像相机图像,使得对应于任何停止位置的热成像相机图像被保留。该复用和分析模块可被配置以通过将被保留的热成像相机图像的视频流分离为单独热成像相机图像的方式,对被保留的热成像相机图像的视频流进行处理,被保留的热成像相机图像被针对相应的虚拟相机设备进行存储。每个虚拟相机设备均可对应于一个特定的停止位置,且虚拟相机设备相对于热成像相机可能为在现场工作。复用和分析模块可被配置为不在现场将被保留的热成像相机图像拼接在一起成为全景图,以使包括热成像相机、用于转动相机的索引机构、以及用于对虚拟相机设备的图像进行排序的复用和分析模块的现场系统的总功率需求不超过10W左右。图像可被保存在现场系统中,或者非现场保存(例如,如果必要,在现场进行转递)。
本发明的另一种实施例包括从转动经过多个停止位置的热成像相机获得热成像相机图像。相机可能以恒定帧率获取热成像相机图像。至少有一些热成像相机图像对应于停止位置,而其他所获取的热成像相机图像可能不对应于任何停止位置。对应于任何停止位置的热成像相机图像会被保留,而不对应于任何停止位置的热成像相机图像会被抛弃。被保留的热成像相机图像以视频流被发送至视频处理器,在此其被分离为单独的热成像相机图像,并针对与给定的图像所对应的特定停止位置相对应的相应的虚拟相机设备进行排序。被保留的经排序的图像可在现场进行保存。在另一种实施例中,可非现场保存,并根据需要对图像进行现场转递。相对于热成像相机,虚拟相机设备位于现场,而非远程。有意不在现场将热成像相机图像拼接为一幅全景图像,以使现场系统(例如,包括热成像相机、用于转动相机的索引机构、以及用于对虚拟相机设备进行图像排序的复用和分析模块)的总功率需求不超过约10W左右。
抛弃不对应于任何停止位置的图像可使视频处理器定期休眠,因为其从不接收那些图像,由此使系统的用电效率更高。类似地,因为现场分析被限制到相对简单的功能(例如,不是将图像拼接在一起,而是停住并注视一个给定位置,以查看所发生的情况,等等),系统会呈现相对有限的功耗特性。例如,现场系统可能需用功率不超过10W左右,可在无人看管条件下运行数年,并可由以相对较小的太阳能电池进行充电的电池供电。
在另一方面,本发明涉及一种对地理位置数据进行关联的方法,所述方法包括确定全景图像的一个单独图像帧的像素位置的深度值(即,距相机的距离)。所述方法可能包括从转动经过多个停止位置的单个相机获得相机图像(例如,热成像相机图像)的步骤。相机可能以恒定帧率获取图像,当相机转动经过多个停止位置时,至少有一些图像对应于停止位置。相机的一个位置可与地理位置数据进行关联,一个给定的相机图像的像素位置可与地理位置数据关联,至少可部分根据相机的地理位置和给定停止位置被“指向”的方向或位置,来确定给定相机图像的像素位置的深度值。
本“发明概述”部分的目的是以简化的形式介绍概念选择,下文将在“详细说明”部分对其进行进一步说明。本“发明概述”并非旨在明确指出所请求保护的主题的关键特征或基本特征,也非旨在辅助确定所请求保护的主题的范围。
附加特征和优点将在下文说明中给出,其一部分将可从本说明中显见,或者可从对本文的教导内容的实践中获知。本发明的特征和优点可通过在所附权利要求中明确指出的仪器及组合加以实现和获得。本发明的特征将通过以下说明和所附权利要求而变得更加清楚,或者可通过对下文所述的本发明的实践而获知。
附图简要说明
为了对可获得上文所述及其他的优点和特征的方式进行说明,以下将参照附图中所示的特定实施例对上文所简述的主题进行更为具体的说明。在理解这些附图仅示出典型的实施例而非因此被看做对范围加以限定的条件下,将借助附图对各实施例进行更加具体和详细的介绍,其中:
图1示意性示出了可以在其中运用本文所述原理的一种示例性计算系统。
图2示意性示出了可以在其中运用本文所述原理的一种特定环境。
图3A示意性示出了当以顺时针方向转动、相机指向停止位置1时的虚拟相机位置,其在本文中也被称为停止位置。
图3B示意性示出了如图3A所示、相机指向停止位置5的虚拟相机位置。
图4示意性示出了图2所示视频处理器的一种实现方式。
图5A为示出一种示例方法的流程图。
图5B为示出了根据本发明的另一种示例方法的流程图。
详细说明
本发明的实现方式包括被配置为采用多个虚拟设备对全景图像数据的单独图像帧进行排序和分析的系统、方法和计算机程序产品。例如,如图5A所示,本发明的一种实施例包括从转动经过多个停止位置(S12)的热成像相机获取热成像相机图像的方法S10。相机可能以恒定帧率获取热成像相机图像。至少有一些热成像相机图像对应于停止位置,而其他被获取的热成像相机图像可能不对应于任何停止位置。对应于任何停止位置的热成像相机图像会被保留(S14),而不对应于任何停止位置的热成像相机图像会被抛弃(S16)。
被保留的热成像相机图像被以视频流发送至视频处理器(S18)。它们可被分离为单独的热成像相机图像,并经排序,针对与给定图像所对应的特定停止位置相对应的相应虚拟相机设备进行存储(S20)。例如,现场系统可能包括用于存储图像的相应存储器。作为替代方式,一些或全部图像可被非现场保存,并根据需要进行现场转递。虚拟相机设备相对于热成像相机可能为在现场工作。热成像相机图像并不在现场被拼接在一起成为现场全景图像,以使现场系统(例如,包括热成像相机,用于转动相机的索引机构,和用于对虚拟相机设备进行图像排序的复用和分析模块)的总功率需求不超过10W左右(S22)。
来自每个停止位置的单独热成像相机图像可以被作为一个视频流进行分析,以检测从一幅给定图像到一幅后续图像的变化(S24)。
抛弃不对应于任何停止位置的图像可使视频处理器能够因其不再接收这些图像而定时休眠,由此使系统的能效更高。类似地,由于现场分析仅限于相对简单的功能(例如,不将图像拼接在一起等),系统将呈现相对有限的功耗特性(例如,低于10W左右,可在无人看管条件下运行数年,并可由以相对较小的太阳能电池进行充电的电池供电)。
在另一方面,本发明涉及一种对地理位置数据进行关联的方法(S30-如图5B所示),包括对全景图像的一个单独图像帧的像素位置的深度值进行确定。本方法可能包括从转动经过多个停止位置的单个相机获取相机图像(例如,热成像相机图像)的步骤(S32)。相机可能以恒定帧率获取图像,在相机转动经过多个停止位置时,至少有一些图像对应于停止位置。相机的一个位置可与地理位置数据进行关联(S34),一个给定的相机图像的像素位置可与地理位置数据关联(S36),而给定相机图像的像素位置的深度值至少可部分根据相机的地理位置和给定停止位置被“指向”的方向或位置进行确定(S38)。
可选地,深度信息的确定(例如,计算)可采用非现场方式进行,并转递回相机系统现场,以供现场存储(S40)。换言之,将一幅图像的位置与位置数据进行关联的分析和处理、对每一像素相应深度值的确定,可不在现场进行,结果可被转递回现场系统,以供相机系统使用,由此进一步降低现场系统的功率需求。
在使用中,可以将一幅给定热成像相机图像的一个像素位置的一个给定深度值与此前或此后从相同停止位置获得的热成像相机图像进行比较,以确定热成像相机图像中显示的任何变化,例如其中所示一个物体的尺寸或运动速度的变化(S42)。
尽管采用特定于结构特征和/或方法动作的语言对所述主题进行说明,但应该理解的是,所附权利要求中所限定的主题并不一定局限为本文所述的特征或动作,或本文所述的动作的顺序。而是,所述特征和动作仅作为实现权利要求的示例形式加以披露。
计算系统现在正日益采取多种形式出现。计算系统可以是诸如手持式设备、电器、笔记本电脑、台式计算机、大型机、分布式计算系统,或者甚至是一般不会被视为计算系统的设备。在本说明书及权利要求中,“计算系统”一词被宽泛地定义为包括至少包括一个物理且有形的处理器和一个能够在其上具有可供处理器执行的计算机可执行指令的物理且有形的存储器在内的任何设备或系统(或其组合)。
图1示出了一种示例性计算系统100。在其最基本的配置中,计算系统100通常包括至少一个处理单元102和一个存储器104。存储器104可以是物理系统存储器,其可以为易失性、非易失性,或两者的某些组合。“存储器”一词在本文中还可能被用于指代非易失性大容量存储器,例如物理存储介质。如果计算系统为分布式,则其处理、内存和/或存储能力也可以为分布式。
本文所述的每种计算机系统均可通过一个网络(或者可以是一个网络的组成部分)与其他的系统互联,网络可以是诸如局域网(“LAN”)、广域网(“WAN”),甚至是因特网。相应地,每一个所述的计算机系统及其他任何与之相连的计算机系统及其部件,均可创建与消息相关的数据,并通过网络交换与消息相关的数据(例如,网际协议(“IP”)数据报及其他采用IP数据报的更高层协议,例如传输控制协议(“TCP”)、超文本传输协议(“HTTP”)、简单邮件传输协议(“SMTP”)等)。
如本文中所使用的,术语“可执行模块”或“可执行组件”可以指代可能在计算系统上执行的软件对象、路由选择或方法。本文所述的不同的部件、模块、引擎和服务均可作为在计算系统上执行的对象或进程而实现(例如,作为分开的线程)。
在下文说明中,将参照由一个或多个计算系统执行的动作对实施例进行说明。如果所述动作采用软件实现,则执行所述动作的相应计算系统的一个或多个处理器会响应于所执行的计算机可执行指令来指引计算系统的运行。例如,这样的计算机可执行指令可在形成计算机程序产品的一种或多种计算机可读取介质上实现。此类操作的一个示例涉及对数据的操作。计算机可执行指令(及所操作的数据)可被保存在计算系统100的存储器104内。计算系统100还可能包括通信信道108,其使计算系统100可以通过诸如网络110等与其他消息处理器进行通信。
本文所述的实施例可能包括或采用一种包括计算机硬件(例如,一个或多个处理器和系统存储器)的专用或通用型计算机系统,如下文所进一步详述的。系统存储器可被包括在整体存储器104中。系统存储器也可能被称为“主存储器”,并包括可由至少一个处理单元102在存储器总线上进行寻址的存储器位置,在此情况下,地址位置会在存储器总线上被自行声明。系统存储器传统上为易失性,但本文所述的原理也适用于系统存储器部分、甚至全部为非易失性的情形。
属于本发明范围内的实施例还包括用于承载或存储计算机可执行指令和/或数据结构的物理及其他计算机可读取介质。此计算机可读取介质可以是任何可由通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令和/或数据结构的计算机可读取介质为计算机存储介质。承载计算机可执行指令和/或数据结构的计算机可读取介质为传输介质。由此,作为非限制性的示例,本发明的实施例可以包括至少两种明显不同种类的计算机可读取介质:计算机存储介质和传输介质。
计算机存储介质是存储计算机可执行指令和/或数据结构的物理存储介质。物理存储介质包括可记录型存储设备,例如RAM、ROM、EEPROM、固态驱动器(“SSD”)、闪存、相变存储器(“PCM”)、光盘存储器、磁盘存储器或其他磁性存储设备,或其他任何可用于以计算机可执行指令或数据结构的形式存储程序代码、并可由通用或专用计算机系统访问和执行、以实现本文所述功能的物理硬件存储介质。
传输介质可包括可用于承载以计算机可执行指令或数据结构的形式存在的程序代码、并可由通用或专用计算机系统访问的网络和/或数据链路。“网络”被定义为可实现在计算机系统和/或模块和/或其他电子设备之间的电子数据传输的一个或多个数据链路。当信息通过网络或其他通信连接(硬连线、无线或硬连线与无线方式的组合)被传送或提供给一个计算机系统时,计算机系统可将此连接视为传输介质。上述方面的组合也应包括在计算机可读取介质的范围内。
此外,在到达各种计算机系统部件时,采用计算机可执行指令或数据结构形式的程序代码可以从传输介质被自动传送至计算机存储介质(反之亦然)。例如,通过网络或数据链路接收的计算机可执行指令或数据结构可以被缓存在一个网络接口模块(例如,一个“NIC”)内的RAM中,随后被最终传输至计算机系统RAM和/或计算机系统上的不太易失的计算机存储介质。由此,应该理解为,计算机存储介质可以被包括在同样(甚至是主要)采用传输介质的计算机系统部件内。
计算机可执行指令包括,例如指令和数据,当所述指令和数据在一个或多个处理器上被执行时,会导致通用计算机系统、专用计算机系统或专用处理设备执行一项或一组特定功能。计算机可执行指令可能是,例如,二进制、中间格式指令,例如汇编语言、或甚至源代码等。
本领域技术人员应理解,本发明可在具有许多类型的计算机系统配置的网络计算环境中实现,所述计算机系统配置包括,个人计算机、台式计算机、笔记本计算机、消息处理器、手持式设备、多处理器系统、基于微处理器或可编程的消费电子设备、网络PC、小型计算机、大型计算机、移动电话、PDA、平板电脑、寻呼机、路由器、交换机及其他类似设备。本发明还可在分布式系统环境中实现,其中通过网络链接(通过硬连线数据链路、无线数据链路或硬连线与无线数据链路的组合)的本地和远程计算机系统两者均执行任务。由此,在一个分布式系统环境中,一个计算机系统可能包括多个作为组成部分的计算机系统。在一个分布式系统环境中,程序模块可能同时存在于本地和远程存储设备中。
本领域技术人员还应理解,本发明可在云计算环境中实现。云计算环境可以为分布式,虽然这并非必需。当为分布式时,云计算环境可以在一个机构内跨国分布,并/或具有被多个机构拥有的部件。在本说明书及下文的权利要求中,“云计算”被定义为一种能对可配置计算资源(例如,网络、服务器、存储器、应用和服务)的共享池进行应需网络访问的模型。“云计算”的定义并不局限于可从经恰当部署的此类模型获得的其他多种优点中的任何内容。
作为替代或补充方式,本文所述的功能的至少部分可以由一个或多个硬件逻辑组件实现。作为并非限定性的示例而言,可使用的硬件逻辑部件的示例类型包括现场可编程门阵列(FPGA)、程序专用集成电路(ASIC)、程序专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等。
I.虚拟相机设备
图2示出了相机系统200的框图。相机系统200使相机250(例如,热成像相机)可以绕一个固定轴转动最多达完整的360°。完整的一圈包括多个位置,所述位置对应于需要在该处能获取图像的“停止位”。由于与相机、特别是热成像相机的校准相关的要求,相机可按恒定的帧率获取图像。所获取的光谱可在约800nm至约1400nm之间。当然,可以在被配置为采集和使用基于其他光谱(例如,可见光,更高或更低的波长)的图像数据的系统内使用本文所披露的概念。当以恒定帧率获取图像时,有些图像可能对应于处于指定的“停止”位置之间的位置,而其他图像则对应于一个“停止”位置。如下文的进一步详述,只有对应于“停止”位置的那些图像可被保留。其他的图像则会被抛弃。
相机250获取将被保留的图像的位置在本文中被称为停止位置,因为相机250必须为静止或短暂停住,以使相机250可获取不模糊的画面。停止位置可被表征为相对于相机250获取图像的指定原位置(即,“停止位”1)有一个角度偏移量。在一些实现方式中,系统可以通过以下方式确定原位置:使用一个带孔的相机架,以及一个透射式光编码器,当相机架上的孔与编码器对准时,其能检测到原位置。该透射式光编码器可能是一位编码器。在其他实现方式中,可以采用具有更高分辨率的编码器,以便在任何给定的时间提供对实际相机位置的更为精细的反馈。
相机系统200可允许每转有任何数量的停止位置。在一种实施例中,停止位置的数量可在1至16之间。停止位可能以相等的间距被定位。例如,每转10个停止位置(或停止位)将形成10个相邻间距为36°的停止位。相机系统200可采用任何合适的电机机构来确保相机在每个停止位置保持短暂的静止,以便于在每一所需的停止位置获取不模糊的图像。例如,可采用步进电机使相机250在每个停止位置保持静止一段合适的时间,以获取一幅图像之后再移动至下一停止位置。一种示例步进电机机构的详情在发明人于2014年4月9日提交的标题为“步进电机控制和火灾检测系统”、序列号为PCT/US/2014/033539的PCT专利申请中予以披露,该申请在此通过参考整体并入本文中。可被用于将相机转动经过多个停止位置、其中相机在每个停止位置短暂保持静止的电机机构的另一个示例包括一种机械凸轮系统,例如,如在2014年7月8日授权的发明人的标题为“采用计算机和可选电源的自动广角相机和传感器平台”的8,773,503号美国专利中所述,该专利通过参考整体并入本文中。可以采用上述专利和申请中所述的电机机构,也可以采用其他任何适用的设计。
如图2所示,系统可以采用两个处理器,微处理器210和视频处理器240。微处理器210可以管理相机250的位置和时序,而视频处理器240则可处理来自相机250的视频。采用两个处理器可通过将与高生产能力的视频处理器240解耦的微处理器210来实现相机250的实时性能和电机同步。作为替代方式,有些实现方式可能使用一个处理器来管理位置和时序,以及相机250的视频。当然,可替代地,还可以采用超过两个的处理器。
在一种实现方式中,来自相机250的数据会通过滑环260,滑环260会使相机250按上述方式转动(中间有间歇式的、非常短暂的停止过程的连续转动)。由于相机实际保持静止的时间很短,相机可能表现为连续转动。在一些情况下,相机帧率可能不会与相机系统200的转速和停止率准确匹配,由此会产生不完整的视频帧。此时可使用数字开关230抛弃任何不需要的视频帧。换言之,如上所述,有些所获取的帧可能对应于其中一个停止位置,而其他所获取的帧可能是在相机转动时被获取。使用数字开关230可使视频处理器240在不需要的视频帧被抛弃的时间内休眠,由此实现更高的用电效率。当然,在系统的其他实施例中,视频处理器(例如,ARM/DSP)可能几乎没有或完全没有休眠的时间。
在于每一停止位置获取图像的情况下,每个停止位置可以采用一个单独的虚拟相机加以表示。虚拟相机可以像指向单一方向的固定相机一样操作。相机系统200可以支持任何数量的停止位置和相应数量的虚拟相机。在一种实施例中,系统200可包括1至16个停止位置和1至16个虚拟相机,每个虚拟相机与一个特定停止位置相关联。图3A示出了每个停止位置如何与相机250面向停止位置1(即,原位置)的一个物理空间进行关联。图3B显示相机250已转动以面向停止位置5。如图3A和3B所示,用于停止位置的计数系统可以以顺时针方向增加计数。图3A和3B所示为包括8个停止位置的示例配置,但应可以理解,可以提供更多或更少的停止位置。举例而言,停止位置的数量可以为从2到约30个,4到约20个,或者为6到约16个。
相机短暂停住的时长可以是任何合适的时长(例如,可取决于相机的图像获取能力的特性)。在一种实施例中,每个停止时长(即停留时间)可在约30ms至约120ms之间(例如,约60ms)。
由相机250获取的对应于一个停止位置的每幅图像均可被复用或多路复用(multiplex或mux)成一个视频流,并被发送至视频处理器240。由相机250获取的待保留的每幅图像可经同一接口从相机发送出。当一幅待保留图像被获取(即,图像对应于一个停止位置)时,微处理器210可以管理并跟踪相机250的角度偏移量(及相应的停止位置)。即使是要被抛弃的图像(即,图像不对应于一个停止位置)也会通过与被保留图像相同的接口被发送至数字开关230。在数字开关230处,要被抛弃的图像可被分离并被抛弃,而不是被传递至视频处理器240。
显示视频处理器240如何可以工作的一种示例实现方式在图4中更为详细地进行了描述。参见图4,视频解复用驱动器430将视频流分解为单独的图像(即,帧),每一幅图像对应于一个特定的停止位置,或虚拟相机。例如,在此阶段所指的视频流可能包括在不同的停止位置获取的要保留的图像。解复用驱动器430可使用微处理器210所跟踪的位置信息来确定视频流中的每幅图像对应的虚拟相机,可实现图像针对其适用的虚拟相机设备的排序。如图4所示,一旦完成此确定工作,每幅图像均可被发送至其相应的虚拟相机(401-408)以供存储和未来分析(例如,对来自同一停止位置、获取时间相邻的图像进行比较)。
如果需要,来自不同停止位置的图像可被拼接在一起,形成一幅全景图像(例如,最大可达360°)。本实施例的一个优点在于,任何此类拼接均为可选操作,如果有的话,通常也不在现场进行。如果要进行拼接,拼接可在非现场进行,这就使现场系统200的总功率需求不超过10W左右,因为拼接需要的功率和计算机处理器能力都较大。
在一些实现方式中,可对与一给定虚拟相机设备相关联的视频流进行分析,以检测从一给定图像到一后续图像的变化。换言之,所进行的分析并不是将图像拼接在一起形成一幅全景图像,而是可能涉及将一幅图像与来自同一停止位置(由此来自同一虚拟相机设备)的后续获取的图像(或此前获取的图像)进行比较,以检测任何变化(例如,物体温度的变化、物体的运动等)。例如,所进行的分析可能包括火灾检测,如发明人此前于2014年4月9日提交的题为“步进电机控制和火灾检测系统”的序列号为PCT/US/2014/033539的PCT专利申请和于2014年4月9日提交的题为“火灾检测系统”的序列号为PCT/US/2014/033547的PCT专利申请中所述,这两个专利申请均通过参考整体纳并入本文中。
通过采集热成像数据并将热成像数据提交分析,与可见光谱数据相比,背底掩蔽可得以简化,由此可简化物体识别。
可采用由太阳能电池充电的电池对现场系统进行供电,这样可允许将系统长时间置于一个给定位置(例如,偏远的没有电网供电的地方),例如最长可到2年或更长。根据系统特性,寿命期可能不到2年或超过2年。
每个虚拟相机均可具有与置于相应停止位置的固定相机将获得的视频流类似的视频流。虚拟相机系统相对于热成像相机250可以为现场式。在一些实现方式中,虚拟相机视频流的帧率等于电机270的转速,因为相机250在每转中通过每个停止位一次。多路复用信号帧率可能等于电机270的转速乘以每转的停止数。例如,一个每转有16个停止位、以30RPM运行的系统,其复用帧率将是每秒(FPS)8帧,每个虚拟相机设备的帧率为1/2FPS,即每2秒1帧(例如,30RPM/60秒=0.5FPS)。
采用虚拟相机可将分析和任何拼接工作与图像采集分开。由于每个虚拟相机均有其自己的视频流,与每个虚拟相机相关联的图像可以被独立处理。系统200通常可能按数字(例如,顺时针或逆时针)顺序获取图像,但由于根据虚拟相机的停止数可以知晓相对原位置(即停止位置1)的角偏移,分析或任何拼接可按任何所需顺序进行更新。
II.地理位置数据
在一些实现方式中,获取图像的相机250的位置可以与实际地理位置数据(例如,GPS数据)进行关联。一旦根据地理位置数据知晓了实际相机250的所在位置,即可在三维地形图上对相机进行定位。类似地,可对一个给定虚拟相机设备的给定帧(即,停止位置)的单独像素的深度值进行确定。针对倾斜和高度可以进行校正。
示例火灾检测系统的附加细节、包括关联地理位置数据和确定深度值的能力可在2014年4月9日提交的题为“火灾检测系统”的序列号为PCT/US/2014/033547的PCT专利申请中查阅,该申请已通过参考整体并入本文中。
将地理位置数据与相机250的位置进行的关联可包括,但不限于,将一幅所获取图像的像素位置建立关联,并根据热成像相机250的地理位置确定具体热成像相机图像中像素位置的深度值。在给定热成像相机250的高程(elevation)和方位的条件下,图像中的每个像素的距离或深度值可采用高程数据(例如,来自美国国家高程数据集(NationalElevationDataset))进行计算。
将与一给定像素关联的深度值计算可采用一系列步骤实现,这些步骤用于确定(例如计算)每个像素如何表示经与大地相交的场景从相机投射的射线。一般而言,其实现方式可以是,在采用高程数据(例如,来自美国全国标高数据集(NationalElevationDataset))创建的一个线框地形模型上使用投影相机视图来估算相机视图中每个渲染的像素在何处与线框相交,以计算每个图像元素或像素的底部的可能的“z”深度值。此过程可采用循环过程,所述循环过程通过增大z距离、直至投影高度在某一距离处与高程高度相交来完成。
这可通过确定(例如,计算)一条长度等于相机高度的射线是否在投影距离处与地面相交的方式来实现。此确定过程可以通过将射线长度反复增加一个给定的量(例如,1dm),直至到达地面(例如,相交)或射线超出给定长度(例如,30km)来重复进行。这种过长的长度可用于帮助绘制地平线。交叉点的维度、经度、高程和距离数据可以被存储,并对一列中的下一像素重复进行此确定(例如,计算)过程。在图像中从底部向上前进,一旦一列像素到达地平线,确定工作可转至新的一列。这种确定或计算可能基于可变的垂直视场、水平视场、高程和方位。最终的数据集可用于渲染一幅用在一给定距离(例如,每100m)布置的线来描述距离(例如,以灰度)的图像。所确定或计算出的图像可与一幅实际图像进行比较,以便对输入变量进行最终调整。一经完成,最终结果将提供一个“z”深度值地图,其可被保存,以用于日后即时提供分析。
作为对上述步骤的例示,一幅640×512像素的图像可能需要重复上述确定过程约250000次。
一旦像素位置的深度值被确定,即可能实现对在图像内所捕捉到的物体的尺寸或运动速度的确定。例如,它可提供关于野火的尺寸或运动速度的信息。将图像的像素位置与位置数据相关联,和确定与每一像素相关联的深度值,这些处理工作可在一个远程用户界面终端上以非现场方式进行。与图像的给定像素相关联的实际深度值可以被转送至相机系统,以供存储和现场使用。
任何数据在现场与非现场之间的转递可采用任何适用的机制进行,例如,包括但不限于卫星链路或网络、蜂窝链路或网络、WiFi链路或网络、无线电传输、硬连线链路或网络等。
本发明可采用不背离其精神或特征的其他特定形式加以实现。所述实施例在各方面均应被视为仅作示例而并无限定性。因此,本发明的范围由所附权利要求而非前述说明给出。属于权利要求的等价内容的意义和范围内的所有变化均应被涵盖在其范围内。
Claims (24)
1.一种用于采用多个虚拟设备对全景图像数据的单独图像帧进行分析和排序的现场系统,所述现场系统包括:
索引机构,在其上安装有热成像相机,所述索引机构用于转动所述热成像相机经过多个停止位置;
热成像相机,其被配置以获取热成像相机图像,当所述热成像相机转动经过所述多个停止位置时,所述热成像相机图像中至少有一些热成像相机图像对应于停止位置;
复用和分析模块,其被配置以抛弃与任何停止位置均不对应的任何热成像相机图像,以使得对应于任何停止位置的热成像相机图像被保留;
所述复用和分析模块被配置以通过将被保留的热成像相机图像的视频流分离成单独热成像相机图像的方式,对所述被保留的热成像相机图像的视频流进行处理,并将所述被保留的热成像相机图像针对相应的虚拟相机设备进行存储;
每个所述虚拟相机设备均对应于一个特定的停止位置,所述虚拟相机设备相对于所述热成像相机为在现场工作;
其中所述复用和分析模块被配置以不在现场将所述被保留的热成像相机图像拼接在一起成为全景图,以使得包括所述热成像相机、用于转动所述热成像相机的所述索引机构、以及用于对所述虚拟相机设备进行图像排序的所述复用和分析模块的所述现场系统的总功率需求不超过约10W。
2.如权利要求1所述的系统,其中所述热成像相机以恒定帧率拍摄所述热成像相机图像。
3.如权利要求1所述的系统,其中所述现场系统由以太阳能电池充电的电池进行供电,使所述现场系统能在无人看管条件下被置于一个地点长达2年。
4.如权利要求1所述的系统,其中所述复用和分析模块包括第一处理器和第二处理器,所述第一处理器被配置以管理所述热成像相机的位置和时序,包括对相对于获取热成像相机图像的原位置的角度偏移量进行跟踪,而所述第二处理器为视频处理器,其被配置以处理来自所述热成像相机的视频流,包括将所述视频流分离成单独热成像相机图像,以针对相应的虚拟相机设备进行存储。
5.如权利要求4所述的系统,其中现场的所述复用和分析模块包括解复用驱动器,其将所述被保留的热成像相机图像的视频流进行分离,并对所述被保留的热成像相机图像进行排序,用于针对所述相应虚拟相机设备进行存储。
6.如权利要求5所述的系统,其中所述解复用驱动器采用由第一处理器提供的位置信息来确定一个给定图像对应于哪一个停止位置。
7.如权利要求0所述的系统,其中所述复用和分析模块包括数字开关,所述数字开关被配置以抛弃不对应于任何停止位置的所述热成像相机图像,以使对应于任何停止位置的热成像相机图像被保留。
8.如权利要求7所述的系统,其中所述复用和分析模块包括视频处理器,所述视频处理器被配置以通过将所述被保留的热成像相机图像的视频流分离为单独热成像相机图像的方式,对所述被保留的热成像相机图像的视频流进行处理,其中所述单独热成像相机图像被针对相应的虚拟相机设备进行存储。
9.如权利要求8所述的系统,其中所述被保留的热成像相机图像被从所述热成像相机经滑环发送至所述复用和分析模块的所述数字开关,以使所述热成像相机能够连续转动。
10.如权利要求8所述的系统,其中所述数字开关对所述对应于任何停止位置的热成像相机图像和所述不对应于任何停止位置的热成像相机图像均予以接收,并抛弃所述不对应于任何指定停止位置的图像,所述对应于任何停止位置的图像被发送至所述视频处理器。
11.如权利要求10所述的系统,其中所述视频处理器仅接收所述对应于任何停止位置的热成像相机图像,使得所述视频处理器能在所述数字开关抛弃不对应于任何指定停止位置的热成像相机图像的过程中休眠,从而提高所述现场系统的用电效率。
12.如权利要求1所述的系统,其中所述热成像相机在获取对应于每一个停止位置的热成像相机图像时,处于物理静止状态。
13.如权利要求1所述的系统,其中所述热成像相机在获取不对应于任何指定停止位置的热成像相机图像时,不处于物理静止状态。
14.如权利要求1所述的系统,其中所述现场系统包括1至16个停止位置及相应的虚拟相机设备。
15.如权利要求1所述的系统,其中所述热成像相机所获取的每幅热成像相机图像均经同一接口从所述热成像相机发送出。
16.如权利要求1所述的系统,其中所述系统还被配置以确定给定热成像相机图像的像素位置的深度值。
17.一种采用多个虚拟设备对全景图像数据的单独图像帧进行分析和排序的方法,所述方法包括:
从转动经过多个停止位置的热成像相机获得热成像相机图像,所述热成像相机拍摄热成像相机图像,当所述热成像相机转动经过多个停止位置时,至少一些所述热成像相机图像对应于所述停止位置;
保留对应于任何停止位置的热成像相机图像;
抛弃不对应于任何指定停止位置的任何热成像相机图像;
以视频流将被保留的热成像相机图像发送至视频处理器;
将所述视频流分离为单独热成像相机图像,针对对应于特定停止位置的相应虚拟相机设备保存所述热成像相机图像,所述虚拟相机设备相对于所述热成像相机为在现场工作;和
其中所述热成像相机图像不在现场被拼接为全景图像,以使得现场系统的总功率需求不超过约10W,其中所述现场系统包括所述热成像相机、用于转动所述热成像相机的索引机构,以及用于对所述虚拟相机设备进行图像排序的复用和分析模块。
18.如权利要求17所述的方法,其中来自每个所述停止位置的所述单独热成像相机图像均被作为一个视频流进行分析,以检测从一幅给定图像到一幅后续图像的变化。
19.如权利要求17所述的方法,其中来自每个所述停止位置的所述单独热成像相机图像被拼接在一起,以形成达360°的全景图像,所述拼接在用户界面上以非现场方式进行。
20.如权利要求17所述的方法,还包括:
将所述热成像相机的位置与地理位置数据进行关联;
将一幅给定的热成像相机图像的像素位置与地理位置数据进行关联;以及
至少部分根据所述热成像相机的所述地理位置,确定所述给定的热成像相机图像的像素位置的深度值。
21.一种对地理位置数据进行关联的方法,所述方法包括确定全景图像的一个单独图像帧的像素位置的深度值,所述方法包括以下步骤:
从转动经过多个停止位置的单个热成像相机获得热成像相机图像,所述热成像相机拍摄热成像相机图像,在所述热成像相机转动经过多个停止位置时,至少有一些所述热成像相机图像对应于所述停止位置;
将所述热成像相机的位置与地理位置数据进行关联;
将给定的热成像相机图像的像素位置与地理位置数据进行关联;以及
至少部分根据所述热成像相机的所述地理位置,确定所述给定的热成像相机图像的像素位置的深度值。
22.如权利要求21所述的方法,其中将一幅给定热成像相机图像的像素位置的给定深度值与此前或此后在相同停止位置获得的热成像相机图像进行比较,以确定所述热成像相机图像中所示的物体的尺寸或运动速度。
23.如权利要求21所述的方法,其中将热成像相机图像的像素位置与位置数据相关联和确定与每个像素相关联的深度值的处理工作在远程用户界面终端上以非现场方式进行。
24.如权利要求23所述的方法,其中深度信息被转递至所述相机系统现场,以供所述现场系统存储。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810643343.8A CN108495051B (zh) | 2013-08-09 | 2014-08-06 | 采用多个虚拟设备分析热像数据的方法和将深度值与图像像素进行关联的方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361864196P | 2013-08-09 | 2013-08-09 | |
US61/864,196 | 2013-08-09 | ||
PCT/US2014/049986 WO2015021186A1 (en) | 2013-08-09 | 2014-08-06 | Methods for analyzing thermal image data using a plurality of virtual devices and methods for correlating depth values to image pixels |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810643343.8A Division CN108495051B (zh) | 2013-08-09 | 2014-08-06 | 采用多个虚拟设备分析热像数据的方法和将深度值与图像像素进行关联的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105264439A true CN105264439A (zh) | 2016-01-20 |
Family
ID=52461914
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810643343.8A Active CN108495051B (zh) | 2013-08-09 | 2014-08-06 | 采用多个虚拟设备分析热像数据的方法和将深度值与图像像素进行关联的方法 |
CN201480031510.3A Pending CN105264439A (zh) | 2013-08-09 | 2014-08-06 | 采用多个虚拟设备分析热像数据的方法和将深度值与图像像素进行关联的方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810643343.8A Active CN108495051B (zh) | 2013-08-09 | 2014-08-06 | 采用多个虚拟设备分析热像数据的方法和将深度值与图像像素进行关联的方法 |
Country Status (8)
Country | Link |
---|---|
US (5) | US9348196B1 (zh) |
EP (1) | EP3030935B1 (zh) |
JP (1) | JP6581086B2 (zh) |
KR (1) | KR102248161B1 (zh) |
CN (2) | CN108495051B (zh) |
BR (1) | BR112016002720B1 (zh) |
MX (1) | MX360725B (zh) |
WO (1) | WO2015021186A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107424182A (zh) * | 2017-05-03 | 2017-12-01 | 北京海顿中科技术有限公司 | 一种热成像现场监控装置及方法 |
CN109564376A (zh) * | 2016-03-10 | 2019-04-02 | 维斯比特股份有限公司 | 时间复用可编程视场成像 |
CN111726522A (zh) * | 2020-06-12 | 2020-09-29 | 上海摩勤智能技术有限公司 | 一种人脸识别设备控制方法及装置 |
CN113382161A (zh) * | 2016-09-19 | 2021-09-10 | 谷歌有限责任公司 | 提供移动设备的改进的视频稳定性的方法、系统和介质 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
NL2008639C2 (en) * | 2012-04-13 | 2013-10-16 | Cyclomedia Technology B V | Device, system and vehicle for recording panoramic images, and a device and method for panoramic projection thereof. |
EP2984640B1 (en) | 2013-04-09 | 2019-12-18 | Thermal Imaging Radar, LLC | Fire detection system |
EP2984748B1 (en) | 2013-04-09 | 2021-06-02 | Thermal Imaging Radar LLC | Stepper motor control and fire detection system |
BR112016002720B1 (pt) | 2013-08-09 | 2021-11-23 | Thermal Imaging Radar, LLC | Sistema local e método para analisar e classificar quadros de imagem individuais de dados de imagem panorâmica |
US10366509B2 (en) | 2015-03-31 | 2019-07-30 | Thermal Imaging Radar, LLC | Setting different background model sensitivities by user defined regions and background filters |
USD776181S1 (en) | 2015-04-06 | 2017-01-10 | Thermal Imaging Radar, LLC | Camera |
JP6582805B2 (ja) * | 2015-09-25 | 2019-10-02 | 富士通株式会社 | 符号化装置、符号化システム、符号化方法、及びプログラム |
CN106652300B (zh) * | 2016-12-23 | 2019-03-15 | 中科星图股份有限公司 | 一种应用于林区的火点监测方法 |
US10574886B2 (en) | 2017-11-02 | 2020-02-25 | Thermal Imaging Radar, LLC | Generating panoramic video for video management systems |
EP3553697B1 (en) | 2018-04-13 | 2023-06-07 | Thermal Imaging Radar, LLC | Generating panoramic video for video management systems |
CN108520615B (zh) * | 2018-04-20 | 2020-08-25 | 吉林省林业科学研究院 | 一种基于图像的火灾识别系统和方法 |
US11280500B2 (en) | 2018-08-03 | 2022-03-22 | Pixart Imaging Inc. | Auto detection system based on thermal signals |
US10871394B2 (en) * | 2018-08-03 | 2020-12-22 | Pixart Imaging Inc. | Optical sensor assembly |
US11601605B2 (en) | 2019-11-22 | 2023-03-07 | Thermal Imaging Radar, LLC | Thermal imaging camera device |
KR102448584B1 (ko) * | 2022-02-24 | 2022-09-29 | 케비스전자 주식회사 | 회전 멀티어레이 써모폴리센서를 이용한 파노라마 열화상 온도 모니터링 시스템 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1254856A (zh) * | 1998-11-20 | 2000-05-31 | 索尼公司 | 摄像装置 |
TW401687B (en) * | 1998-03-31 | 2000-08-11 | Intel Corp | Method of and apparatus for creating panoramic or surround images using a motion sensor equipped camera |
CN1485690A (zh) * | 1995-05-22 | 2004-03-31 | ���ṫ˾ | 摄影和视频图像系统 |
US20110058036A1 (en) * | 2000-11-17 | 2011-03-10 | E-Watch, Inc. | Bandwidth management and control |
WO2013109742A1 (en) * | 2012-01-18 | 2013-07-25 | Logos Technologies, Inc. | Method, device, and system for computing a spherical projection image based on two-dimensional images |
Family Cites Families (200)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3336810A (en) | 1964-04-28 | 1967-08-22 | Sperry Rand Corp | Antifriction support means for gyroscopes |
US3648384A (en) | 1970-04-07 | 1972-03-14 | Borg Warner | Turntable drive release mechanism |
US3769501A (en) | 1973-01-02 | 1973-10-30 | Gte Sylvania Inc | Selective actuating mechanism for percussive photoflash lamp array |
US4977323A (en) * | 1973-08-16 | 1990-12-11 | The United States Of America As Represented By The Secretary Of The Navy | 360 degree infrared surveillance with panoramic display |
US3883788A (en) | 1973-10-26 | 1975-05-13 | Sperry Sun Well Surveying Co | Gyroscope orientation controller |
US4263513A (en) | 1979-02-28 | 1981-04-21 | Compagnie Generale De Radiologie | Apparatus for panoramic radiography |
GB2104321B (en) | 1981-07-21 | 1985-07-10 | Shinshu Seiki Kk | Method of and apparatus for controlling a stepping motor |
US4602857A (en) | 1982-12-23 | 1986-07-29 | James H. Carmel | Panoramic motion picture camera and method |
DE3706735A1 (de) | 1986-03-03 | 1987-09-10 | Canon Kk | Vorrichtung zum einstellen des optischen systems einer kamera |
US4710691A (en) | 1986-03-27 | 1987-12-01 | Anacomp, Inc. | Process and apparatus for characterizing and controlling a synchronous motor in microstepper mode |
JPH02188196A (ja) | 1989-01-13 | 1990-07-24 | Copal Co Ltd | ステッピングモータの駆動制御方法 |
US4922275A (en) | 1989-09-25 | 1990-05-01 | Burle Technologies, Inc. | Automatic panoramic camera mount |
US6088534A (en) | 1990-09-19 | 2000-07-11 | Minolta Co., Ltd. | Camera having an aperture controllable shutter |
US5990941A (en) | 1991-05-13 | 1999-11-23 | Interactive Pictures Corporation | Method and apparatus for the interactive display of any portion of a spherical image |
US5650813A (en) * | 1992-11-20 | 1997-07-22 | Picker International, Inc. | Panoramic time delay and integration video camera system |
BR9301438A (pt) * | 1993-04-05 | 1994-11-15 | Petroleo Brasileiro Sa | Processo de preparação de catalisador esférico tipo ziegler para polimerização de alfa-olefinas, catalisador esférico, processo de obtenção de polietileno esférico de altíssimo peso molecular e polietileno esférico de altíssimo pelo molecular |
US5453618A (en) * | 1994-01-31 | 1995-09-26 | Litton Systems, Inc. | Miniature infrared line-scanning imager |
US5598207A (en) | 1994-04-12 | 1997-01-28 | Hughes Electronics | Camera pointing mechanism using proximate magnetic sensing |
US7724278B2 (en) | 1995-05-30 | 2010-05-25 | Maguire Francis J Jr | Apparatus with moveable headrest for viewing images from a changing direction-of-view |
US20070061735A1 (en) | 1995-06-06 | 2007-03-15 | Hoffberg Steven M | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
US5752113A (en) | 1995-12-22 | 1998-05-12 | Borden; John | Panoramic indexing camera mount |
USD381997S (en) | 1996-01-30 | 1997-08-05 | Sony Corporation | Video camera |
US5790183A (en) | 1996-04-05 | 1998-08-04 | Kerbyson; Gerald M. | High-resolution panoramic television surveillance system with synoptic wide-angle field of view |
US6133943A (en) * | 1996-09-30 | 2000-10-17 | Intel Corporation | Method and apparatus for producing a composite image |
JP4332231B2 (ja) * | 1997-04-21 | 2009-09-16 | ソニー株式会社 | 撮像装置コントローラおよび撮像システム |
US6545701B2 (en) | 1997-08-13 | 2003-04-08 | Georgia Tech Research Corporation | Panoramic digital camera system and method |
US6229546B1 (en) | 1997-09-09 | 2001-05-08 | Geosoftware, Inc. | Rapid terrain model generation with 3-D object features and user customization interface |
US6034716A (en) * | 1997-12-18 | 2000-03-07 | Whiting; Joshua B. | Panoramic digital camera system |
US6304285B1 (en) | 1998-06-16 | 2001-10-16 | Zheng Jason Geng | Method and apparatus for omnidirectional imaging |
US6628338B1 (en) | 1998-07-08 | 2003-09-30 | Elbex Video Ltd. | Direct drive electric motor apparatus incorporating slip ring assembly |
US7023913B1 (en) | 2000-06-14 | 2006-04-04 | Monroe David A | Digital security multimedia sensor |
US6195204B1 (en) | 1998-08-28 | 2001-02-27 | Lucent Technologies Inc. | Compact high resolution panoramic viewing system |
US20030025599A1 (en) | 2001-05-11 | 2003-02-06 | Monroe David A. | Method and apparatus for collecting, sending, archiving and retrieving motion video and still images and notification of detected events |
AU6050099A (en) | 1998-09-18 | 2000-04-10 | Paul E. Kerouac | In vessel composting process and apparatus |
US6023588A (en) * | 1998-09-28 | 2000-02-08 | Eastman Kodak Company | Method and apparatus for capturing panoramic images with range data |
US6215115B1 (en) | 1998-11-12 | 2001-04-10 | Raytheon Company | Accurate target detection system for compensating detector background levels and changes in signal environments |
US20150297949A1 (en) | 2007-06-12 | 2015-10-22 | Intheplay, Inc. | Automatic sports broadcasting system |
JP2000243062A (ja) | 1999-02-17 | 2000-09-08 | Sony Corp | 映像記録装置および映像記録方法、ならびに集中監視記録システム。 |
JP3620327B2 (ja) * | 1999-02-17 | 2005-02-16 | 富士通株式会社 | 電子装置 |
US6539162B1 (en) * | 1999-03-30 | 2003-03-25 | Eastman Kodak Company | Photographing a panoramic image produced from a captured digital image |
US6738073B2 (en) | 1999-05-12 | 2004-05-18 | Imove, Inc. | Camera system with both a wide angle view and a high resolution view |
US6327327B1 (en) * | 1999-09-27 | 2001-12-04 | Picker International, Inc. | Multi-channel segmented slip ring |
JP4439045B2 (ja) | 1999-10-07 | 2010-03-24 | 日本電産コパル株式会社 | ステップモータ駆動装置 |
US6678001B1 (en) * | 1999-11-01 | 2004-01-13 | Elbex Video Ltd. | Ball shaped camera housing with simplified positioning |
JP2001154295A (ja) * | 1999-11-30 | 2001-06-08 | Matsushita Electric Ind Co Ltd | 全方位視覚カメラ |
US20010026684A1 (en) | 2000-02-03 | 2001-10-04 | Alst Technical Excellence Center | Aid for panoramic image creation |
US7129971B2 (en) | 2000-02-16 | 2006-10-31 | Immersive Media Company | Rotating scan self-cleaning camera |
WO2001089221A1 (en) | 2000-05-18 | 2001-11-22 | Imove Inc. | Multiple camera video system which displays selected images |
US6731799B1 (en) | 2000-06-01 | 2004-05-04 | University Of Washington | Object segmentation with background extraction and moving boundary techniques |
US6788333B1 (en) | 2000-07-07 | 2004-09-07 | Microsoft Corporation | Panoramic video |
USD435577S (en) | 2000-07-27 | 2000-12-26 | Mcbride Richard L | Video camera housing |
US6677982B1 (en) * | 2000-10-11 | 2004-01-13 | Eastman Kodak Company | Method for three dimensional spatial panorama formation |
US7126630B1 (en) | 2001-02-09 | 2006-10-24 | Kujin Lee | Method and apparatus for omni-directional image and 3-dimensional data acquisition with data annotation and dynamic range extension method |
JP2002314846A (ja) | 2001-04-09 | 2002-10-25 | Toshiba Corp | 撮像装置および駆動装置 |
US6586898B2 (en) | 2001-05-01 | 2003-07-01 | Magnon Engineering, Inc. | Systems and methods of electric motor control |
US6782363B2 (en) | 2001-05-04 | 2004-08-24 | Lucent Technologies Inc. | Method and apparatus for performing real-time endpoint detection in automatic speech recognition |
KR200252100Y1 (ko) | 2001-08-07 | 2001-11-23 | 정운기 | 폐쇄회로 텔레비전용 불렛 카메라 |
US7940299B2 (en) | 2001-08-09 | 2011-05-10 | Technest Holdings, Inc. | Method and apparatus for an omni-directional video surveillance system |
US6948402B1 (en) | 2001-09-12 | 2005-09-27 | Centricity Corporation | Rotary work table with cycloidal drive gear system |
JP2003123157A (ja) * | 2001-10-15 | 2003-04-25 | Masahiro Aoki | 環境災害防止機能を備えた建造物及び環境警備システム |
JP4010444B2 (ja) | 2002-02-28 | 2007-11-21 | シャープ株式会社 | 全方位監視制御システム、全方位監視制御方法および全方位監視制御プログラム |
US6788198B2 (en) | 2002-03-12 | 2004-09-07 | Bob F. Harshaw | System for verifying detection of a fire event condition |
US7259496B2 (en) | 2002-04-08 | 2007-08-21 | University Of North Carolina At Charlotte | Tunable vibratory actuator |
JP3925299B2 (ja) | 2002-05-15 | 2007-06-06 | ソニー株式会社 | モニタリングシステムおよび方法 |
US20070000317A1 (en) | 2002-07-16 | 2007-01-04 | Umberto Berti | System and method for territory thermal monitoring |
US7419375B2 (en) | 2002-08-19 | 2008-09-02 | Ormco Corporation | Aesthetic self-ligating orthodontic bracket |
JP4048907B2 (ja) | 2002-10-15 | 2008-02-20 | セイコーエプソン株式会社 | 複数の画像データのパノラマ合成 |
US20040075741A1 (en) * | 2002-10-17 | 2004-04-22 | Berkey Thomas F. | Multiple camera image multiplexer |
USD482712S1 (en) | 2003-01-07 | 2003-11-25 | Joe Hsu | Digital camera |
US7157879B2 (en) | 2003-01-30 | 2007-01-02 | Rensselaer Polytechnic Institute | On-hardware optimization of stepper-motor system performance |
US20040179098A1 (en) | 2003-02-25 | 2004-09-16 | Haehn Craig S. | Image reversing for infrared camera |
USD486847S1 (en) | 2003-04-09 | 2004-02-17 | Sony Corporation | Video camera |
US6809887B1 (en) * | 2003-06-13 | 2004-10-26 | Vision Technologies, Inc | Apparatus and method for acquiring uniform-resolution panoramic images |
US8824730B2 (en) | 2004-01-09 | 2014-09-02 | Hewlett-Packard Development Company, L.P. | System and method for control of video bandwidth based on pose of a person |
US7436438B2 (en) | 2004-03-16 | 2008-10-14 | Creative Technology Ltd. | Digital still camera and method of forming a panoramic image |
US7487029B2 (en) | 2004-05-21 | 2009-02-03 | Pratt & Whitney Canada | Method of monitoring gas turbine engine operation |
US6991384B1 (en) | 2004-05-27 | 2006-01-31 | Davis Robert C | Camera tripod rotating head |
JP2006013923A (ja) | 2004-06-25 | 2006-01-12 | Sony Corp | 監視装置 |
JP2006013832A (ja) * | 2004-06-25 | 2006-01-12 | Nippon Hoso Kyokai <Nhk> | 映像撮影装置および映像撮影プログラム |
JP2006033257A (ja) * | 2004-07-14 | 2006-02-02 | Fujitsu Ltd | 画像配信装置 |
WO2006040687A2 (en) | 2004-07-19 | 2006-04-20 | Grandeye, Ltd. | Automatically expanding the zoom capability of a wide-angle video camera |
US7381952B2 (en) | 2004-09-09 | 2008-06-03 | Flir Systems, Inc. | Multiple camera systems and methods |
USD520548S1 (en) | 2004-10-26 | 2006-05-09 | Inventec Multimedia & Telecom Corporation | Image recorder |
US20060179463A1 (en) | 2005-02-07 | 2006-08-10 | Chisholm Alpin C | Remote surveillance |
TWI427440B (zh) | 2005-04-06 | 2014-02-21 | Kodak Graphic Comm Canada Co | 用於校正影像化規則圖案的條帶之方法與裝置 |
JP2006333133A (ja) * | 2005-05-26 | 2006-12-07 | Sony Corp | 撮像装置、撮像方法、プログラム、プログラム記録媒体並びに撮像システム |
US7424218B2 (en) | 2005-07-28 | 2008-09-09 | Microsoft Corporation | Real-time preview for panoramic images |
CN1971336A (zh) * | 2005-11-22 | 2007-05-30 | 三星电子株式会社 | 光偏转器 |
JP4740723B2 (ja) | 2005-11-28 | 2011-08-03 | 富士通株式会社 | 画像解析プログラム、該プログラムを記録した記録媒体、画像解析装置、および画像解析方法 |
US7460773B2 (en) | 2005-12-05 | 2008-12-02 | Hewlett-Packard Development Company, L.P. | Avoiding image artifacts caused by camera vibration |
USD543644S1 (en) | 2006-02-08 | 2007-05-29 | Koninklijke Philips Electronics N.V. | Master traffic lamp |
JP2007271869A (ja) * | 2006-03-31 | 2007-10-18 | Digital Service International Co Ltd | 画像処理による地図作成方法、その装置及びそのコンピュータプログラム |
EP1876828B1 (en) | 2006-07-03 | 2016-10-26 | Axis AB | Method and apparatus for configuring parameter values for cameras |
US9369679B2 (en) | 2006-11-07 | 2016-06-14 | The Board Of Trustees Of The Leland Stanford Junior University | System and process for projecting location-referenced panoramic images into a 3-D environment model and rendering panoramic images from arbitrary viewpoints within the 3-D environment model |
US20080159732A1 (en) | 2006-12-29 | 2008-07-03 | Stuart Young | Positioning device |
RU2466364C2 (ru) | 2007-03-13 | 2012-11-10 | Томас МЕРКЛЯЙН | Способ детектирования интенсивности излучения газообразной смеси продуктов реакции при помощи фотокамер, применение способа и предназначенное для этого устройство |
EP2130084A4 (en) | 2007-03-16 | 2010-06-30 | Kollmorgen Corp | SYSTEM FOR PANORAMIC IMAGE PROCESSING |
JP2008236632A (ja) * | 2007-03-23 | 2008-10-02 | Hitachi Ltd | 画像処理装置及びその方法 |
US7949172B2 (en) | 2007-04-27 | 2011-05-24 | Siemens Medical Solutions Usa, Inc. | Iterative image processing |
KR100882011B1 (ko) | 2007-07-29 | 2009-02-04 | 주식회사 나노포토닉스 | 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치 |
US7863851B2 (en) | 2007-08-22 | 2011-01-04 | National Instruments Corporation | Closed loop stepper motor control |
US8041116B2 (en) | 2007-09-27 | 2011-10-18 | Behavioral Recognition Systems, Inc. | Identifying stale background pixels in a video analysis system |
KR20090067762A (ko) | 2007-12-21 | 2009-06-25 | 삼성전기주식회사 | 리플로우 공정 적용이 가능한 카메라 모듈 |
US8139113B2 (en) | 2007-12-26 | 2012-03-20 | Utc Fire & Security Americas Corporation, Inc. | Method and system for operating a camera assembly |
US20100097444A1 (en) | 2008-10-16 | 2010-04-22 | Peter Lablans | Camera System for Creating an Image From a Plurality of Images |
US8355042B2 (en) | 2008-10-16 | 2013-01-15 | Spatial Cam Llc | Controller in a camera for creating a panoramic image |
TW201001338A (en) | 2008-06-16 | 2010-01-01 | Huper Lab Co Ltd | Method of detecting moving objects |
ATE550875T1 (de) | 2008-07-23 | 2012-04-15 | Nxp Bv | Rahmen-raten-aufwärtsumsetzung |
EP2150057A3 (en) | 2008-07-29 | 2013-12-11 | Gerald Curry | Camera-based tracking and position determination for sporting events |
KR101030719B1 (ko) | 2008-09-25 | 2011-04-22 | 주식회사 로텍 | 센서 마그네트를 부착한 슬립링 |
US8223206B2 (en) | 2008-10-15 | 2012-07-17 | Flir Systems, Inc. | Infrared camera filter wheel systems and methods |
WO2010063830A1 (en) | 2008-12-05 | 2010-06-10 | Micronic Laser Systems Ab | Rotating arm for writing or reading an image on a workpiece |
US7991575B2 (en) | 2009-01-08 | 2011-08-02 | Trimble Navigation Limited | Method and system for measuring angles based on 360 degree images |
KR101670282B1 (ko) | 2009-02-10 | 2016-10-28 | 톰슨 라이센싱 | 전경-배경 제약 조건 전파를 기초로 하는 비디오 매팅 |
GB0908200D0 (en) * | 2009-05-13 | 2009-06-24 | Red Cloud Media Ltd | Method of simulation of a real physical environment |
US8744121B2 (en) | 2009-05-29 | 2014-06-03 | Microsoft Corporation | Device for identifying and tracking multiple humans over time |
US8499239B2 (en) | 2009-08-28 | 2013-07-30 | Microsoft Corporation | Globe container |
CN101719299B (zh) | 2009-11-10 | 2012-03-28 | 天津市浦海新技术有限公司 | 一种火灾、可燃气体报警系统及方法 |
KR20110052124A (ko) | 2009-11-12 | 2011-05-18 | 삼성전자주식회사 | 파노라마 이미지 생성 및 조회 방법과 이를 이용한 휴대 단말기 |
US8320621B2 (en) | 2009-12-21 | 2012-11-27 | Microsoft Corporation | Depth projector system with integrated VCSEL array |
EP2481679A4 (en) * | 2010-01-12 | 2015-05-06 | Chwei-Jei Tsai | PET BOTTLE LID AND MANUFACTURING METHOD THEREFOR |
US8905311B2 (en) | 2010-03-11 | 2014-12-09 | Flir Systems, Inc. | Infrared camera with infrared-transmissive dome systems and methods |
JP2011199750A (ja) * | 2010-03-23 | 2011-10-06 | Olympus Corp | 撮像端末、外部端末、撮像システム、及び撮像方法 |
JP2011239195A (ja) * | 2010-05-11 | 2011-11-24 | Sanyo Electric Co Ltd | 電子機器 |
US8625897B2 (en) | 2010-05-28 | 2014-01-07 | Microsoft Corporation | Foreground and background image segmentation |
WO2012007049A1 (en) * | 2010-07-16 | 2012-01-19 | Iplink Limited | Flash system for multi-aperture imaging |
USD640721S1 (en) | 2010-08-09 | 2011-06-28 | Scott Satine | Cannon-shaped, low-light video camera for marine use |
US20130162761A1 (en) * | 2010-08-31 | 2013-06-27 | Raul Goldemann | Rotary image generator |
JP5645566B2 (ja) * | 2010-09-17 | 2014-12-24 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム |
JP5249297B2 (ja) | 2010-09-28 | 2013-07-31 | シャープ株式会社 | 画像編集装置 |
US8576276B2 (en) | 2010-11-18 | 2013-11-05 | Microsoft Corporation | Head-mounted display device which provides surround video |
US8823707B2 (en) | 2010-11-24 | 2014-09-02 | Google Inc. | Guided navigation through geo-located panoramas |
EP2643820B1 (en) | 2010-11-24 | 2018-01-24 | Google LLC | Rendering and navigating photographic panoramas with depth information in a geographic information system |
JP2012113204A (ja) * | 2010-11-26 | 2012-06-14 | Canon Inc | 撮像装置 |
US20120133639A1 (en) | 2010-11-30 | 2012-05-31 | Microsoft Corporation | Strip panorama |
CA140587S (en) | 2010-12-03 | 2012-01-20 | Riegl Laser Measurement Sys | Camera |
US8717381B2 (en) | 2011-01-11 | 2014-05-06 | Apple Inc. | Gesture mapping for image filter input parameters |
US20120194564A1 (en) * | 2011-01-31 | 2012-08-02 | White Christopher J | Display with secure decompression of image signals |
US9930225B2 (en) | 2011-02-10 | 2018-03-27 | Villmer Llc | Omni-directional camera and related viewing software |
GB201102794D0 (en) | 2011-02-17 | 2011-03-30 | Metail Ltd | Online retail system |
CN102176270A (zh) | 2011-02-25 | 2011-09-07 | 广州飒特电力红外技术有限公司 | 安全监控及火灾预警一体化系统及方法 |
JP5891426B2 (ja) | 2011-03-31 | 2016-03-23 | パナソニックIpマネジメント株式会社 | 全周囲立体画像の描画を行う画像描画装置、画像描画方法、画像描画プログラム |
US8970665B2 (en) | 2011-05-25 | 2015-03-03 | Microsoft Corporation | Orientation-based generation of panoramic fields |
CN102280005B (zh) | 2011-06-09 | 2014-10-29 | 广州飒特红外股份有限公司 | 基于红外热成像技术的森林防火预警系统及方法 |
KR101073076B1 (ko) * | 2011-06-10 | 2011-10-12 | 주식회사 창성에이스산업 | 복합카메라를 이용한 화재감시 시스템 및 방법 |
US8773501B2 (en) | 2011-06-20 | 2014-07-08 | Duco Technologies, Inc. | Motorized camera with automated panoramic image capture sequences |
JP5875265B2 (ja) | 2011-07-04 | 2016-03-02 | キヤノン株式会社 | ステッピングモータの駆動制御装置および駆動制御方法、駆動制御システムならびに光学機器 |
US8718922B2 (en) | 2011-07-28 | 2014-05-06 | Navteq B.V. | Variable density depthmap |
US9000371B2 (en) | 2011-08-26 | 2015-04-07 | Custom Scene Technology, Inc. | Camera, computer program and method for measuring thermal radiation and thermal rates of change |
WO2013032955A1 (en) | 2011-08-26 | 2013-03-07 | Reincloud Corporation | Equipment, systems and methods for navigating through multiple reality models |
US20130249947A1 (en) | 2011-08-26 | 2013-09-26 | Reincloud Corporation | Communication using augmented reality |
US9127597B2 (en) | 2011-09-23 | 2015-09-08 | The Boeing Company | Sensor system |
US9116011B2 (en) | 2011-10-21 | 2015-08-25 | Here Global B.V. | Three dimensional routing |
US9071740B1 (en) * | 2011-10-28 | 2015-06-30 | Google Inc. | Modular camera system |
US9171384B2 (en) * | 2011-11-08 | 2015-10-27 | Qualcomm Incorporated | Hands-free augmented reality for wireless communication devices |
US9111147B2 (en) | 2011-11-14 | 2015-08-18 | Massachusetts Institute Of Technology | Assisted video surveillance of persons-of-interest |
AU2011265429B2 (en) | 2011-12-21 | 2015-08-13 | Canon Kabushiki Kaisha | Method and system for robust scene modelling in an image sequence |
US9024765B2 (en) | 2012-01-11 | 2015-05-05 | International Business Machines Corporation | Managing environmental control system efficiency |
US9070019B2 (en) | 2012-01-17 | 2015-06-30 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
WO2013109976A1 (en) | 2012-01-20 | 2013-07-25 | Thermal Imaging Radar, LLC | Automated panoramic camera and sensor platform with computer and optional power supply |
USD695809S1 (en) | 2012-06-01 | 2013-12-17 | Panasonic Corporation | Camera |
US9514570B2 (en) | 2012-07-26 | 2016-12-06 | Qualcomm Incorporated | Augmentation of tangible objects as user interface controller |
US9380222B2 (en) | 2012-12-04 | 2016-06-28 | Symbol Technologies, Llc | Transmission of images for inventory monitoring |
CN104036226B (zh) * | 2013-03-04 | 2017-06-27 | 联想(北京)有限公司 | 一种目标物信息获取方法及电子设备 |
WO2014159726A1 (en) | 2013-03-13 | 2014-10-02 | Mecommerce, Inc. | Determining dimension of target object in an image using reference object |
US9508115B2 (en) | 2013-03-15 | 2016-11-29 | International Business Machines Corporation | Large-area monitoring using infrared imaging system |
US20140282275A1 (en) | 2013-03-15 | 2014-09-18 | Qualcomm Incorporated | Detection of a zooming gesture |
EP2984748B1 (en) | 2013-04-09 | 2021-06-02 | Thermal Imaging Radar LLC | Stepper motor control and fire detection system |
EP2984640B1 (en) | 2013-04-09 | 2019-12-18 | Thermal Imaging Radar, LLC | Fire detection system |
US11165994B2 (en) | 2013-05-13 | 2021-11-02 | Texas Instruments Incorporated | Analytics-driven summary views for surveillance networks |
USD741388S1 (en) | 2013-07-03 | 2015-10-20 | Garmin Switzerland Gmbh | Camera |
US9165444B2 (en) | 2013-07-26 | 2015-10-20 | SkyBell Technologies, Inc. | Light socket cameras |
BR112016002720B1 (pt) | 2013-08-09 | 2021-11-23 | Thermal Imaging Radar, LLC | Sistema local e método para analisar e classificar quadros de imagem individuais de dados de imagem panorâmica |
USD728655S1 (en) | 2013-12-10 | 2015-05-05 | Isaac S. Daniel | Covert recording alarm device for vehicles |
CN108718397B (zh) | 2014-02-04 | 2021-10-08 | 英特尔公司 | 用于在帧速率上变频中进行帧重复控制的方法及设备 |
US9570113B2 (en) | 2014-07-03 | 2017-02-14 | Gopro, Inc. | Automatic generation of video and directional audio from spherical content |
US9756234B2 (en) | 2014-07-18 | 2017-09-05 | Intel Corporation | Contrast detection autofocus using multi-filter processing and adaptive step size selection |
USD743468S1 (en) * | 2014-07-24 | 2015-11-17 | Vsn Technologies, Inc. | 360 degree wireless camera |
US9363569B1 (en) | 2014-07-28 | 2016-06-07 | Jaunt Inc. | Virtual reality system including social graph |
USD786329S1 (en) * | 2014-09-01 | 2017-05-09 | Fujifilm Corporation | Electronic camera |
US10257494B2 (en) | 2014-09-22 | 2019-04-09 | Samsung Electronics Co., Ltd. | Reconstruction of three-dimensional video |
US9876954B2 (en) | 2014-10-10 | 2018-01-23 | Iec Infrared Systems, Llc | Calibrating panoramic imaging system in multiple dimensions |
US10825069B2 (en) | 2014-11-14 | 2020-11-03 | The Joan and Irwin Jacobs Technion-Cornell Institute | System and method for intuitive content browsing |
WO2016103566A1 (ja) | 2014-12-25 | 2016-06-30 | 日本電気株式会社 | 画像処理方法及び画像処理装置 |
USD797100S1 (en) * | 2015-02-20 | 2017-09-12 | Robert Bosch Gmbh | Apparatus for recording, transmission or processing of information |
US10366509B2 (en) | 2015-03-31 | 2019-07-30 | Thermal Imaging Radar, LLC | Setting different background model sensitivities by user defined regions and background filters |
USD749329S1 (en) * | 2015-04-05 | 2016-02-16 | Erik A. Kaiser | Selfie mirror |
USD776181S1 (en) | 2015-04-06 | 2017-01-10 | Thermal Imaging Radar, LLC | Camera |
US9996895B2 (en) | 2015-05-01 | 2018-06-12 | Ricoh Company, Ltd. | Image display system, information processing apparatus, and image display method |
US9992502B2 (en) | 2016-01-29 | 2018-06-05 | Gopro, Inc. | Apparatus and methods for video compression using multi-resolution scalable coding |
AU201614083S (en) * | 2016-02-02 | 2016-08-03 | Bosch Gmbh Robert | Camera |
US9742996B1 (en) | 2016-10-07 | 2017-08-22 | Sphericam Inc. | Single unit 360-degree camera with an integrated lighting array |
USD813291S1 (en) * | 2016-10-20 | 2018-03-20 | Geovision Inc. | Monitoring camera |
USD819112S1 (en) * | 2016-12-23 | 2018-05-29 | Samsung Electronics Co., Ltd. | Camera |
US10873708B2 (en) | 2017-01-12 | 2020-12-22 | Gopro, Inc. | Phased camera array system for generation of high quality images and video |
US10740622B2 (en) | 2017-03-23 | 2020-08-11 | Hall Labs Llc | Method of theft detection and prevention |
US20180307352A1 (en) | 2017-04-25 | 2018-10-25 | Gopro, Inc. | Systems and methods for generating custom views of videos |
USD849095S1 (en) * | 2017-09-26 | 2019-05-21 | Ademco Inc. | Camera and audio input/output device |
US10574886B2 (en) | 2017-11-02 | 2020-02-25 | Thermal Imaging Radar, LLC | Generating panoramic video for video management systems |
US11601605B2 (en) | 2019-11-22 | 2023-03-07 | Thermal Imaging Radar, LLC | Thermal imaging camera device |
-
2014
- 2014-08-06 BR BR112016002720-5A patent/BR112016002720B1/pt active IP Right Grant
- 2014-08-06 CN CN201810643343.8A patent/CN108495051B/zh active Active
- 2014-08-06 MX MX2016001689A patent/MX360725B/es active IP Right Grant
- 2014-08-06 KR KR1020167006217A patent/KR102248161B1/ko active IP Right Grant
- 2014-08-06 CN CN201480031510.3A patent/CN105264439A/zh active Pending
- 2014-08-06 JP JP2016533409A patent/JP6581086B2/ja active Active
- 2014-08-06 EP EP14835456.6A patent/EP3030935B1/en active Active
- 2014-08-06 WO PCT/US2014/049986 patent/WO2015021186A1/en active Application Filing
- 2014-08-11 US US14/456,329 patent/US9348196B1/en active Active
-
2015
- 2015-06-12 US US14/738,391 patent/US9516208B2/en active Active
-
2016
- 2016-05-19 US US15/159,523 patent/US10127686B2/en active Active
- 2016-12-05 US US15/369,117 patent/US9886776B2/en active Active
-
2018
- 2018-11-08 US US29/669,489 patent/USD968499S1/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1485690A (zh) * | 1995-05-22 | 2004-03-31 | ���ṫ˾ | 摄影和视频图像系统 |
TW401687B (en) * | 1998-03-31 | 2000-08-11 | Intel Corp | Method of and apparatus for creating panoramic or surround images using a motion sensor equipped camera |
CN1254856A (zh) * | 1998-11-20 | 2000-05-31 | 索尼公司 | 摄像装置 |
US20110058036A1 (en) * | 2000-11-17 | 2011-03-10 | E-Watch, Inc. | Bandwidth management and control |
WO2013109742A1 (en) * | 2012-01-18 | 2013-07-25 | Logos Technologies, Inc. | Method, device, and system for computing a spherical projection image based on two-dimensional images |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109564376A (zh) * | 2016-03-10 | 2019-04-02 | 维斯比特股份有限公司 | 时间复用可编程视场成像 |
CN109564376B (zh) * | 2016-03-10 | 2021-10-22 | 维斯比特股份有限公司 | 时间复用可编程视场成像 |
CN113382161A (zh) * | 2016-09-19 | 2021-09-10 | 谷歌有限责任公司 | 提供移动设备的改进的视频稳定性的方法、系统和介质 |
CN113382161B (zh) * | 2016-09-19 | 2023-05-09 | 谷歌有限责任公司 | 提供移动设备的改进的视频稳定性的方法、系统和介质 |
CN107424182A (zh) * | 2017-05-03 | 2017-12-01 | 北京海顿中科技术有限公司 | 一种热成像现场监控装置及方法 |
CN107424182B (zh) * | 2017-05-03 | 2024-04-12 | 北京海顿中科技术有限公司 | 一种热成像现场监控装置及方法 |
CN111726522A (zh) * | 2020-06-12 | 2020-09-29 | 上海摩勤智能技术有限公司 | 一种人脸识别设备控制方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3030935B1 (en) | 2020-11-18 |
US10127686B2 (en) | 2018-11-13 |
EP3030935A1 (en) | 2016-06-15 |
CN108495051B (zh) | 2021-07-06 |
KR20160042972A (ko) | 2016-04-20 |
MX360725B (es) | 2018-11-14 |
USD968499S1 (en) | 2022-11-01 |
CN108495051A (zh) | 2018-09-04 |
US20150334303A1 (en) | 2015-11-19 |
WO2015021186A1 (en) | 2015-02-12 |
US9516208B2 (en) | 2016-12-06 |
US9886776B2 (en) | 2018-02-06 |
US20170236300A1 (en) | 2017-08-17 |
US9348196B1 (en) | 2016-05-24 |
KR102248161B1 (ko) | 2021-05-04 |
EP3030935A4 (en) | 2017-09-27 |
US20160266380A1 (en) | 2016-09-15 |
JP6581086B2 (ja) | 2019-09-25 |
MX2016001689A (es) | 2016-10-05 |
JP2016532375A (ja) | 2016-10-13 |
BR112016002720A2 (pt) | 2017-08-01 |
BR112016002720B1 (pt) | 2021-11-23 |
BR112016002720A8 (pt) | 2020-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105264439A (zh) | 采用多个虚拟设备分析热像数据的方法和将深度值与图像像素进行关联的方法 | |
US10257400B2 (en) | Method and apparatus for imaging | |
ES2758558T3 (es) | Sistema de gestión de plataforma móvil en tiempo real | |
CN103841374B (zh) | 一种视频监控图像的显示方法及系统 | |
CN105339758B (zh) | 使用重叠区域优化光束法平差的系统、方法和设备 | |
US20150130840A1 (en) | System and method for reporting events | |
CN103874193A (zh) | 一种移动终端定位的方法及系统 | |
CN107038949A (zh) | 一种实景地图的生成方法、推送方法及其装置 | |
Lee et al. | Assessment of smartphone-based technology for remote environmental monitoring and its development | |
CN111758118B (zh) | 一种视觉定位方法、装置、设备及可读存储介质 | |
TW201249188A (en) | Image searching, capturing system and control method thereof | |
RU188093U1 (ru) | Сканер для получения панорамных снимков и трехмерных моделей окружающего пространства | |
CN111462252A (zh) | 一种标定摄像装置的方法、装置和系统 | |
EP2782058A1 (en) | Information system to obtain an exposition rating of a geographical area | |
Hillen et al. | Information fusion infrastructure for remote-sensing and in-situ sensor data to model people dynamics | |
CN110276837B (zh) | 一种信息处理方法、电子设备 | |
RU213389U1 (ru) | Сканер для получения панорамных снимков и трехмерных моделей окружающего пространства | |
JP6040336B1 (ja) | 撮影対象位置特定装置、撮影対象位置特定方法、及びプログラム | |
Gruszczyński | Method for precise determination of eccentric instrument set-ups | |
CN117351306B (zh) | 三维点云投影位姿求解器训练方法、确定方法及装置 | |
US20230237796A1 (en) | Geo-spatial context for full-motion video | |
JP2022034244A (ja) | ビデオ通信装置及びビデオ通信方法 | |
WO2023147376A1 (en) | Geo-spatial context for full-motion video | |
CA3153717A1 (en) | Preemptive image data caching based on geolocation | |
JP2015080155A (ja) | カメラシステムおよびカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20160120 |