CN114257707A - 具有彩色夜间模式的智能ip摄像头 - Google Patents

具有彩色夜间模式的智能ip摄像头 Download PDF

Info

Publication number
CN114257707A
CN114257707A CN202010997403.3A CN202010997403A CN114257707A CN 114257707 A CN114257707 A CN 114257707A CN 202010997403 A CN202010997403 A CN 202010997403A CN 114257707 A CN114257707 A CN 114257707A
Authority
CN
China
Prior art keywords
color
camera
image
processor
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010997403.3A
Other languages
English (en)
Inventor
杨志侃
冯羽涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anba International LP
Original Assignee
Anba International LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anba International LP filed Critical Anba International LP
Priority to CN202010997403.3A priority Critical patent/CN114257707A/zh
Priority to US17/034,095 priority patent/US11696039B2/en
Publication of CN114257707A publication Critical patent/CN114257707A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/43—Conversion of monochrome picture signals to colour picture signals for colour picture display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Studio Devices (AREA)

Abstract

具有彩色夜间模式的智能IP摄像头。一种包括摄像头和处理器电路的装置。摄像头可以被配置为响应于可见光而捕获彩色图像，并且响应于红外光而捕获单色红外图像。处理器电路可以被配置为从彩色图像中提取颜色特征，并且将颜色添加到在单色红外图像中检测到的相应单色特征中。

Description

具有彩色夜间模式的智能IP摄像头
技术领域
本发明总体上涉及数字IP摄像头，并且更具体地涉及用于实现具有彩色夜间模式的智能IP摄像头的方法和/或装置。
背景技术
固定安装式监视摄像头注视固定场景，并且可以保持24×7全天候运行几个月。通常，固定安装式摄像头可以实现日间和夜间模式。在夜间，对于固定安装式摄像头，色度(颜色)信息会丢失很多，通常只能接收到亮度(强度)信息。在夜间模式操作期间，通常使用红外(IR)照明，并且仅录制单色(灰度)视频。全彩色视频仅在日间模式下可用。强烈需要将黑白风格的夜间图像恢复为全彩色日间图像。
实现具有彩色夜间模式的智能IP摄像头将是期望的。
发明内容
本发明包括涉及一种包括摄像头和处理器电路的装置的方面。摄像头可以被配置为响应于可见光来捕获彩色图像，并且响应于红外光来捕获单色红外(IR)图像。处理器电路可以被配置为从彩色图像中提取颜色特征，并将颜色添加到在单色红外图像中检测到的相应单色特征中。
在上述装置方面的一些实施例中，摄像头包括RGB图像传感器和IR图像传感器。
在上述装置方面的一些实施例中，摄像头包括RGB-IR图像传感器。
在上述装置方面的一些实施例中，摄像头被安装在固定位置。
在上述装置方面的一些实施例中，处理器被配置为将从彩色图像提取的颜色特征存储在数据库中。在将颜色特征存储在数据库中的一些实施例中，处理器还被配置为动态地调整存储在数据库中的一个或多个所存储的颜色特征，以适应于摄像头的位置变化。在将颜色特征存储在数据库中的一些实施例中，处理器还被配置为动态地调整存储在数据库中的一个或多个对象，以在摄像头变化的情况下适应于对象。在将颜色特征存储在数据库中的一些实施例中，数据库被本地存储在连接到处理器的存储器中。在将颜色特征存储在数据库中的一些实施例中，数据库被远程存储在云资源中。
在上述装置方面的一些实施例中，摄像头和处理器是监视系统、安全系统和访问控制系统中的至少一者的一部分。
本发明还包括涉及在智能IP摄像头中实现彩色夜间模式的方法的一个方面，该方法包括：(i)使用摄像头以响应于可见光而捕获彩色图像，(ii)使用摄像头以响应于红外光而捕获单色红外图像，(iii)使用处理器电路以从彩色图像中提取颜色特征，以及(iv)使用处理器电路以将来自颜色特征的颜色添加到在单色红外图像中检测到的相应单色特征中。
在上述方法方面的一些实施例中，该方法还包括将从彩色图像提取的颜色特征存储在数据库中。在将颜色特征存储在数据库中的一些实施例中，该方法还包括动态地调整存储在数据库中的一个或多个颜色特征以适应于摄像头的安装位置变化。
在上述方法方面的一些实施例中，该方法还包括使用RGB图像传感器以捕获彩色图像以及使用IR图像传感器以捕获单色红外图像。
在上述方法方面的一些实施例中，该方法还包括使用RGB-IR图像传感器以捕获彩色图像和单色红外图像。
在上述方法方面的一些实施例中，从彩色图像中提取颜色特征包括使用处理器电路以将分段神经网络模型应用于所捕获的彩色图像和单色红外图像。
在上述方法方面的一些实施例中，从彩色图像中提取颜色特征还包括使用处理器电路以将对象检测神经网络模型应用于所捕获的彩色图像和单色红外图像，从而选择一个或多个关注区域。
在上述方法方面的一些实施例中，将来自颜色特征的颜色添加到在单色红外图像中检测到的相应单色特征包括使用处理器电路以将全卷积神经网络模型应用于所捕获的单色红外图像。
附图说明
根据以下详细描述以及所附权利要求书和附图，本发明的实施例将是显而易见的。
图1是示出根据本发明的示例实施例的可以利用具有彩色夜间模式的智能IP摄像头的边界设备的示例的图。
图2是示出根据本发明的示例实施例的可以利用具有彩色夜间模式的智能IP摄像头的边界设备的附加示例的图。
图3是示出根据本发明的示例实施例的摄像头的部件的图。
图4是示出根据本发明的示例实施例的摄像头的示例实施方式的图。
图5是示出根据本发明的示例实施例的其中可以运行人工神经网络以促进彩色夜间模式的处理电路的图。
图6是示出根据本发明的示例实施例的实现彩色夜间模式的过程的流程图。
图7是示出根据本发明的示例实施例的实现自适应彩色夜间模式的过程的流程图。
图8是示出根据本发明的另一示例实施例的实现自适应彩色夜间模式的过程的流程图。
图9是示出计算机视觉系统的示例实施方式的摄像头系统900的图，其中可以利用根据本发明的示例实施例的真随机数生成器电路。
具体实施方式
本发明的实施例包括提供一种具有彩色夜间模式的智能IP摄像头，该智能IP摄像头(i)可以提取从在智能IP摄像头的日间模式下捕获的场景的彩色(RGB)图像中提取的一个或多个颜色特征的颜色信息，(ii)从在智能IP摄像头的夜间模式下捕获的场景的单色红外图像中提取特征，(iii)将来自一个或多个颜色特征的颜色添加到从单色红外(IR)图像中提取的相应特征中，(iv)在数据库中存储与一个或多个颜色特征相关联的颜色信息，(v)当智能IP摄像头被移动时，动态地调整数据库中的颜色信息和关联的颜色特征，(vi)利用单独的RGB和IR图像传感器以捕获彩色图像和单色红外图像，(vii)利用RGB-IR传感器以捕获彩色图像和单色红外图像二者，和/或(viii)被实现为一个或多个集成电路。
在各种实施例中，提供了具有彩色夜间模式的智能IP摄像头。由于固定安装式摄像头(例如，监视/安全摄像头等)注视固定场景，并且可以保持24×7全天候运行几个月，因此固定安装式摄像头可以获得有关该场景的大量信息。在日间(彩色)图像和夜间(单色)图像二者上使用计算机视觉(CV)技术(例如，图像分割、对象检测和分类、前景/背景分离等)，可以从彩色的日间图像中捕获有关固定对象和背景的颜色信息，并且可以在日间图像和夜间图像之间匹配固定对象和背景。由于可以匹配固定对象和背景，因此可以实现使用从彩色日间模式视频中提取的颜色信息来恢复单色夜间模式视频中的已知对象和背景的准确的全彩色的过程。
在一些实施例中，还可以捕获在日间可能出现和消失的关注对象(例如，人、汽车等)。为了检测相同的对象是否出现在夜间模式视频中，可以执行匹配操作(例如，使用卷积神经网络(CNN))。在一些实施例中，可以将以单色(或灰度)图像作为输入并且将彩色图像作为真实值来训练的CNN应用于在未知和不匹配的对象上生成人造颜色。
参考图1，示出了说明根据本发明的示例实施例的可以利用具有彩色夜间模式的智能IP摄像头的边界设备的示例的图。在一个示例中，并入智能IP摄像头的边界设备可以包括低功率技术，该技术被设计为部署在网络边缘处的嵌入式平台(例如，在传感器、摄像头或其他电池供电的设备上运行的微处理器)中，其中，功耗是至关重要的问题。在一个示例中，并入智能IP摄像头的边界设备可以包括交通摄像头和智能运输系统(ITS)解决方案，包括自动车牌识别(ANPR)摄像头70、交通摄像头72、车辆摄像头74、访问控制摄像头76、自动柜员机(ATM)摄像头78、子弹头摄像头80和球形摄像头82。在一个示例中，交通摄像头和智能运输系统(ITS)解决方案可以被设计为结合人员和车辆检测、车辆品牌/型号识别(vehicle make/model recognition)以及自动车牌识别(ANPR)功能来增强道路安全性。
参考图2，示出了说明根据本发明的示例实施例的可以利用具有彩色夜间模式的智能IP摄像头的边界设备的附加示例的图。在一个示例中，可以在安全(监视)摄像头和/或访问控制应用中利用并入具有彩色夜间模式的智能IP摄像头的边界设备。在一个示例中，安全摄像头和访问控制应用可以包括电池供电的摄像头90、门铃摄像头92、室外摄像头94和室内摄像头96。在一个示例中，安全摄像头和访问控制应用边界设备可以包括低功率技术，该技术被设计为部署在边缘处的嵌入式平台(例如，电池供电的设备上运行的微处理器/控制器)中，其中，功耗是至关重要的问题。根据本发明的实施例，安全摄像头和访问控制应用可以从彩色夜间模式的应用中获得性能益处。在一个示例中，根据本发明的实施例的利用彩色夜间模式的边界设备可以获取大量的图像数据，并且进行设备上的推断以获得带宽减小和/或功耗降低的有用信息(例如，恢复的彩色图像)。
参考图3，示出了摄像头100的图，其说明了根据本发明的实施例的智能IP摄像头的示例性实施方式。在一个示例中，摄像头100可以包括块(block)(或电路)102、块(或电路)104、块(或电路)106、块(或电路)108、块(或电路)110、块(或电路)112、块(或电路)114、块(或电路)116、块(或电路)118和/或块(或电路)120。电路102可以被实现为处理器电路或片上系统(SoC)。电路104可以被实现为捕获设备。电路106可以被实现为存储器。块108可以被实现为透镜。电路110可以被实现为一个或多个红外(IR)发光二极管(LED)。电路112可以被实现为一个或多个可见(例如，白色)发光二极管(LED)。电路114可以被实现为一个或多个传感器。电路116可以被实现为通信模块(或设备)。电路118可以被实现为无线接口。电路120可以被实现为电池。
在一些实施例中，摄像头100可以包括处理器/SoC 102、捕获设备104、存储器106、透镜108、IR LED 110、可见光LED 112、传感器114、通信模块116、无线接口118和电池120。在另一示例中，摄像头100可以包括捕获设备104、透镜108、IR LED 110、可见光LED 112和传感器114，并且处理器/SoC 102、存储器106、通信模块116、无线接口118和电池120可以是单独设备的部件。摄像头100的实施方式可以根据特定实施方式的设计准则而变化。
透镜108可以被附接到捕获设备104。在一个示例中，捕获设备104可以包括块(或电路)122、块(或电路)124和块(或电路)126。在一个示例中，电路122可以包括彩色(例如，RGB)图像传感器和第一透镜108，以及红外(IR)图像传感器和第二透镜108。在另一示例中，电路122可以使用具有单个透镜108的RGB-IR图像传感器来实现。电路124可以被实现为处理器(例如，嵌入式处理器、控制器等)和/或逻辑单元。电路126可以实现存储器电路(例如，帧缓冲器)。
捕获设备104可以被配置为捕获由摄像头100监控的场景的视频图像数据(例如，由透镜108收集和聚焦的光)。捕获设备104可以捕获通过透镜108接收的数据，以生成静止图像序列和/或视频比特流(例如，视频帧序列)。在各种实施例中，透镜108可以被实现为定焦透镜。定焦透镜通常有助于实现更小尺寸和低功率。在一个示例中，定焦透镜可以用于电池供电的和门铃摄像头应用中。在一些实施例中，透镜108可以被定向、倾斜、摇动、缩放和/或旋转以捕获摄像头100周围的环境(或场景)(例如，捕获来自视场的数据)。在一个示例中，可以利用主动透镜系统来实现专业摄像头模型，以实现增强的功能、远程控制等。
捕获设备104可以将接收到的光转换成数字数据流。在一些实施例中，捕获设备104可以执行模数转换。例如，图像传感器122可以对由透镜108接收的光进行光电转换。处理器124可以将数字数据流转换为视频数据流(或比特流)、视频文件和/或多个图片和/或视频帧。在一个示例中，捕获设备104可以将视频数据呈现为数字视频信号(例如，VIDEO)。该数字视频信号可以包括视频帧(例如，顺序数字图像)和/或音频。
由捕获设备104捕获的视频数据可以被表示为信号/比特流/数据VIDEO(例如，数字视频信号)。捕获设备104可以将信号VIDEO呈现给处理器/SoC 102。信号VIDEO可以代表彩色和/或单色红外视频帧/视频数据。信号VIDEO可以是由捕获设备104捕获的视频流。
图像传感器122可以从透镜108接收光并且将光转换成数字数据(例如，比特流)。例如，图像传感器122可以对来自透镜108的光进行光电转换。在一些实施例中，图像传感器122可以具有未被用作图像输出的一部分的额外裕度。在一些实施例中，图像传感器122可以不具有额外裕度。在一些实施例中，图像传感器122可以被配置为生成分离的RGB和IR视频信号。在一些实施例中，图像传感器122可以被配置为生成RGB-IR视频信号。在仅红外光照明的视场中，图像传感器122可以生成单色(B/W)视频信号。在由IR光和可见光二者照明的视场中，图像传感器122可以被配置为除了单色视频信号之外还生成颜色信息。在各个实施例中，图像传感器122可以被配置为响应于可见光和/或红外(IR)光来生成视频信号。
处理器/逻辑单元124可以将比特流转换成人类可见的内容(例如，无论图像质量如何，普通人都可以理解的视频数据，例如视频帧)。例如，处理器124可以从传感器122接收纯(例如，原始)数据，并且基于原始数据来生成(例如，编码)视频数据(例如，比特流)。捕获设备104可以具有存储器126以存储原始数据和/或经处理的比特流。例如，捕获设备104可以实现帧存储器和/或缓冲器126，以存储(例如，提供临时存储和/或高速缓存)一个或多个视频帧(例如，数字视频信号)。在一些实施例中，处理器/逻辑单元124可以对存储在捕获设备104的存储器/缓冲器126中的视频帧执行分析和/或校正。
传感器114可以实现多个传感器，包括但不限于运动传感器、环境光传感器、接近传感器(例如，超声波、雷达、激光雷达等)、音频传感器(例如，麦克风)等。在实现运动传感器的实施例中，传感器114可以被配置为在由摄像头100监控的视场中的任何地方检测运动。在各种实施例中，运动的检测可以用作用于激活捕获设备104的一个阈值。在一些实施例中，传感器114可以被实现为摄像头100的内部部件。在一些实施例中，传感器114可以被实现为摄像头100外部的部件。在一个示例中，传感器114可以包括无源红外(PIR)传感器。在另一示例中，传感器114可以实现智能运动传感器。在实现智能运动传感器的实施例中，传感器114可以包括被配置为检测运动和/或人的低分辨率图像传感器。
在各种实施例中，传感器114可以产生信号(例如，SENS)。信号SENS可以包括由传感器114收集的各种数据(或信息)。在一个示例中，信号SENS可以包括响应于在被监控的视场中检测到的运动、被监控的视场中的环境光水平、和/或在被监控的视场中拾取的声音而收集的数据。然而，可以基于特定应用的设计准则来收集和/或生成其他类型的数据。可以将信号SENS呈现给处理器/SoC 102。在一个示例中，当在由摄像头100监控的视场中检测到运动时，传感器114可以生成(断言)信号SENS。在另一示例中，当被由摄像头100监控的视场中的音频触发时，传感器114可以生成(断言)信号SENS。在又一示例中，传感器114可以被配置为提供关于在视场中检测到的运动和/或声音的方向信息。方向信息也可以经由信号SENS传送到处理器/SoC 102。
处理器/SoC 102可以被配置为执行计算机可读代码和/或过程信息。在各种实施例中，计算机可读代码可以被存储在处理器/SoC 102内(例如，微代码、固件等)和/或存储器106内。在一个示例中，处理器/SoC 102可以被配置为存储和执行实现计算机视觉(CV)技术(例如，特征检测和提取、对象检测和分类、前景/背景分离、图像分割、面部检测和识别，活体确定等)的人工神经网络(ANN)。在一个示例中，ANN可以被存储为(例如，在非易失性计算机可读存储介质中)有向无环图(DAG)以及相应的权重和/或内核。处理器/SoC 102可以被配置为从存储器106接收输入和/或将输出呈现给存储器106。处理器/SoC 102可以被配置为呈现和/或接收其他信号(未示出)。处理器/SoC 102的输入和/或输出的数量和/或类型可以根据特定实施方式的设计准则而变化。处理器/SoC 102可以被配置用于低功率(例如，电池)操作。
处理器/SoC 102可以接收信号VIDEO和信号SENS。处理器/SoC 102可以基于信号VIDEO、信号SENS和/或其他输入来生成视频输出信号(例如，VIDOUT)。在一些实施例中，可以基于对信号VIDEO和/或在信号VIDEO中检测到的对象的分析来生成信号VIDOUT。在各种实施例中，处理器/SoC 102可以被配置为执行特征提取、对象检测、对象跟踪和对象识别中的一项或多项。在一个示例中，处理器/SoC 102可以被配置为执行存储在处理器中的一个或多个人工神经网络模型(例如，面部识别卷积神经网络(CNN)、对象检测CNN、对象分类CNN等)。在一个示例中，处理器/SoC 102可以通过分析来自信号VIDEO的帧并将该帧与前一帧进行比较来确定运动信息。所述比较可以用于执行数字运动估计。在一些实施例中，处理器/SoC 102可以被配置为生成包括来自信号VIDEO的视频数据的视频输出信号VIDOUT。在一个示例中，信号VIDOUT可以包括来自信号VIDEO的彩色和/或单色视频数据。在另一示例中，信号VIDOUT可以包括来自信号VIDEO的具有恢复了颜色的单色视频数据。视频输出信号VIDOUT可以被呈现给存储器106、通信模块116和/或无线接口118。
存储器106可以存储数据。存储器106可以实现各种类型的存储器，包括但不限于作为高速缓存、闪存、存储卡、随机存取存储器(RAM)、动态RAM(DRAM)存储器等。存储器106的类型和/或大小可以根据特定实施方式的设计准则而变化。存储在存储器106中的数据可以对应于视频文件、运动信息(例如，来自传感器114的读数)、视频融合参数、图像稳定参数、用户输入和/或元数据信息。在一个示例中，存储器106可以存储体现由处理器/SoC 102从信号VIDEO提取的颜色信息和颜色特征信息的数据库。
透镜108(例如，摄像头透镜)可以被定向以提供摄像头100周围的环境的视图。透镜108可以旨在捕获环境数据(例如，光)。透镜108可以是广角透镜和/或鱼眼透镜(例如，能够捕获宽视场的透镜)。透镜108可以被配置为捕获和/或聚焦用于捕获设备104的光。通常，图像传感器122位于透镜108的后面。基于来自透镜108的捕获的光，捕获设备104可以生成比特流和/或视频数据。
通信模块116可以被配置为实现一个或多个通信协议。例如，通信模块116和无线接口118可以被配置为实现IEEE 802.11、IEEE 802.15、IEEE 802.15.1、IEEE 802.15.2、IEEE 802.15.3、IEEE 802.15.4、IEEE 802.15.5、IEEE 802.20、Bluetooth和/或ZigBee中的一个或多个。在一些实施例中，无线接口118还可以实现与蜂窝通信网络相关联的一个或多个协议(例如，GSM、CDMA、GPRS、UMTS、CDMA2000、3GPP LTE、4G/HSPA/WiMAX、SMS等)。在摄像头100被实现为无线摄像头的实施例中，由通信模块116和无线接口118实现的协议可以是无线通信协议。由通信模块116实现的通信协议的类型可以根据特定实施方式的设计准则而变化。
通信模块116和/或无线接口118可以被配置为生成广播信号作为来自摄像头100的输出。广播信号可以将视频数据VIDOUT发送到外部设备。例如，可以将广播信号发送到云存储服务(例如，能够按需扩展的存储服务)。在一些实施例中，通信模块116可以不发送数据，直到处理器/SoC 102已经执行了视频分析(例如，对象检测、面部检测、对象识别、面部识别等)来确定对象在摄像头100的视场和/或对象是什么为止。
在一些实施例中，通信模块116可以被配置为生成手动控制信号。可以响应于由通信模块116接收到的来自用户的信号来生成手动控制信号。可以将手动控制信号配置为激活处理器/SoC102。可以响应于手动控制信号来激活处理器/SoC 102，而不管摄像头100的电源状态如何。
在一些实施例中，摄像头100可以包括电池120，该电池120被配置为向摄像头100的各个部件提供电力。可以实现基于运动传感器114的输出和/或摄像头100的任何其他功耗特征来激活和/或禁用捕获设备104的多步骤方法来降低摄像头100的功耗并延长电池120的使用寿命。运动传感器114可以在电池120上消耗非常少的电量(例如，小于10W)。在一个示例中，运动传感器114可以被配置为保持开启(例如，始终处于活动状态)，除非响应于来自处理器/SoC 102的反馈而被禁用。由处理器/SoC 102执行的视频分析可能会在电池120上消耗大量的电量(例如，大于运动传感器114)。在一个示例中，处理器/SoC 102可以处于低功率状态(或断电)，直到运动传感器114检测到一些运动为止。
摄像头100可以被配置为使用各种电源状态进行操作。例如，在断电状态(例如，睡眠状态、低功率状态)下，运动传感器114和处理器/SoC 102可以打开并且摄像头100的其他部件(例如，图像捕获设备104、存储器106、通信模块116等)可能会关闭。在另一示例中，摄像头100可以在中间状态下操作。在中间状态下，图像捕获设备104可以打开，并且存储器106和/或通信模块116可以关闭。在又一示例中，摄像头100可以在通电(或高功率)状态下操作。在通电状态下，运动传感器114、处理器/SoC 102、捕获设备104、存储器106和/或通信模块116可以打开。摄像头100可以在断电状态下消耗电池120的一些电力(例如，相对较小和/或最小量的电力)。在通电状态下，摄像头100可能消耗来自电池120的更多电力。可以根据特定实施方式的设计准则来改变当摄像头100在每个电源状态下操作时的电源状态的数量和/或摄像头100的处于打开状态的部件的数量。
在一些实施例中，摄像头100可以包括小键盘、触摸板(或屏幕)、门铃开关和/或其他人机接口设备(HID)128。在一个示例中，传感器114可以被配置为确定对象何时接近HID128。在将摄像头100被实现为访问控制应用的一部分的示例中，白光LED 112可以被打开以提供用于识别尝试访问的人的照明、锁定区域的照明和/或访问触摸板的照明。
参考图4，示出了说明根据本发明的实施例的摄像头100的示例实施方式的图。在各种实施例中，摄像头100可以包括一个或多个电路板。在实现一个以上电路板的实施例中，印刷电路板可以被安装在一起。在一个示例中，第一印刷电路板可以包括透镜108、多个IR LED 110、一个或多个可见(白)光LED 112和无线接口电路(或模块)118，并且第二印刷电路板可以包括存储器电路(或芯片)106、处理器/SoC 102和RGB-IR图像传感器104(被第一印刷电路板遮盖)。在一个示例中，无线接口118可以包括预认证的无线/蜂窝协议模块。
参考图5，示出了说明处理电路的图，其中可以实现根据本发明的示例实施例的用于智能IP摄像头的彩色夜间模式。在一个示例中，处理器/SoC 102可以被配置用于包括但不限于自动和半自动车辆(例如，汽车、卡车、摩托车、农业机械、无人机、飞机等)、制造和/或安全和监视系统的应用。与通用计算机相比，处理器/SoC 102通常包括被优化以在最小的区域中以最小的功耗提供高性能的图像处理和计算机视觉管线化的硬件电路。在一个示例中，可以使用被设计为降低计算复杂性并有效使用资源的硬件模块来实现用于执行用于计算机(或机器)视觉的图像处理、特征检测/提取、和/或对象检测/分类的各种操作。
在示例实施例中，处理器/SoC 102可以包括块(或电路)150、块(或电路)152、块(或电路)154和/或存储器总线156。电路150可以实现第一处理器。电路152可以实现第二处理器。在一个示例中，电路152可以实现计算机视觉处理器。在一个示例中，处理器152可以是智能视觉处理器。电路154可以实现外部存储器(例如，电路150和152外部的存储器)。在一个示例中，电路154可以被实现为动态随机存取存储器(DRAM)电路。处理器/SoC 102可以包括其他部件(未示出)。处理器/SoC 102的部件的数量、类型和/或布置可以根据特定实施方式的设计准则而变化。
电路150可以实现处理器电路。在一些实施例中，可以使用通用处理器电路来实现处理器电路150。处理器150可以用于与电路152和电路154交互以执行各种处理任务。在一个示例中，处理器150可以被配置为电路152的控制器。处理器150可以被配置为执行计算机可读指令。在一个示例中，计算机可读指令可以由电路154存储。在一些实施例中，计算机可读指令可以包括控制器操作。处理器150可以被配置为与电路152通信和/或访问由电路152的部件生成的结果。在一个示例中，处理器150可以被配置为利用电路152来执行与一个或多个神经网络模型相关联的操作。
在一个示例中，处理器150可以被配置为利用一个或多个预训练的人工神经网络模型(ANN)170和权重/内核(WGTS)172对电路152进行编程。在各个实施例中，可以将ANN170配置(训练)用于在边界设备中进行操作。在一个示例中，处理电路102可以耦合到被配置为生成数据输入的传感器(例如，摄像机等)。处理电路102可以被配置为基于通过执行具有权重/内核(WGTS)172的经预训练的ANN 170而做出的一个或多个推断，响应于来自传感器的输入数据来生成一个或多个输出。可以根据特定实施方式的设计准则来改变处理器150所执行的操作。
在各种实施例中，电路154可以实现动态随机存取存储器(DRAM)电路。电路154通常可操作为存储输入数据元素的多维阵列和各种形式的输出数据元素。电路154可以与处理器150和处理器152交换输入数据元素和输出数据元素。
处理器152可以实现计算机视觉处理器电路。在一个示例中，电路152可以被配置为实现用于计算机视觉的各种功能。处理器152通常可操作为执行由处理器150布置的特定处理任务。在各个实施例中，处理器152的全部或部分可以仅以硬件来实现。处理器152可以直接执行针对ANN 170的执行的数据流，并且由指定处理(例如，计算机视觉)任务的软件(例如，有向无环图等)生成。在一些实施例中，处理器152可以是由处理电路102实现并被配置为一起操作的众多计算机视觉处理器的代表示例。
在一个示例中，处理器152通常包括块(或电路)160、一个或多个块(或电路)162a-162n、块(或电路)164、路径166和块(或电路)168。块160可以实现调度器电路。块162a-162n可以实现硬件资源(或引擎)。块164可以实现共享存储器电路。块168可以实现有向无环图(DAG)存储器。在示例实施例中，电路162a-162n中的一个或多个电路可以包括块(或电路)180a-180n。在所示的示例中，实现了电路180a和180b。
在一个示例中，电路180a可以实现卷积运算。在另一示例中，电路180b可以被配置为提供点积运算。卷积运算和点积运算可以用于执行计算机(或机器)视觉任务(例如，作为对象检测过程的一部分，等等)。在又一示例中，电路162c-162n中的一个或多个电路可以包括块(或电路)180c-180n(未示出)以提供多维的卷积计算。
在一个示例中，电路152可以被配置为从处理器150接收有向无环图(DAG)。从处理器150接收的DAG可以被存储在DAG存储器168中。电路152可以被配置为使用电路160、162a-162n和164执行用于ANN 170之一的DAG。
可以在电路160与各个电路162a-162n之间交换多个信号(例如，OP_A至OP_N)。信号OP_A至OP_N中的每个信号可以传达执行操作信息和/或产生操作信息。可以在各个电路162a-162n与电路164之间交换多个信号(例如，MEM_A至MEM_N)。信号MEM_A至MEM_N可以携带数据。可以在电路154与电路164之间交换信号(例如，DRAM)。信号DRAM可以在电路154与电路160之间(例如，在存储器总线166上)传输数据。
电路160可以实现调度器电路。调度器电路160通常可操作为调度电路162a-162n中的任务以执行由处理器150定义的各种与计算机视觉有关的任务。调度器电路160可以将各个任务分配给电路162a-162n。调度器电路160可以响应于解析由处理器150提供的有向无环图(DAG)来分配各个任务。调度器电路160可以基于电路162a-162n执行工作的可用性将任务时间复用到电路162a-162n。
每个电路162a-162n可以实现处理资源(或硬件引擎)。硬件引擎162a-162n通常可操作为执行特定的处理任务。硬件引擎162a-162n可以被实现为包括专用硬件电路，该专用硬件电路在执行特定处理任务时针对高性能和低功耗进行了优化。在一些配置中，硬件引擎162a-162n可以并行且彼此独立地操作。在其他配置中，硬件引擎162a-162n可以彼此共同操作以执行分配的任务。
硬件引擎162a-162n可以是同质处理资源(例如，所有电路162a-162n可以具有相同的能力)或异质处理资源(例如，两个或更多个电路162a-162n可以具有不同的能力)。硬件引擎162a-162n通常被配置为执行算子，这些算子可以包括但不限于重采样算子、翘曲算子、操纵部件列表的部件算子(例如，部件可以是共享共同属性的向量的区域并且可以与边界框一起分组)、矩阵逆算子、点积算子、卷积算子、条件算子(例如，复用和解复用)、重映射算子、最小最大约简算子、池化算子、非最小非最大抑制算子、聚集算子、散布算子、统计算子、分类器算子、积分图像算子、上采样算子、和两次下采样算子的幂等。
在各种实施例中，硬件引擎162a-162n可以仅被实现为硬件电路。在一些实施例中，硬件引擎162a-162n可以被实现为通用引擎，所述通用引擎可以通过电路定制和/或软件/固件被配置为充当专用机器(或引擎)。在一些实施例中，硬件引擎162a-162n可以替代地被实现为在处理器150和/或一个或多个处理器152上执行的程序代码的一个或多个实例或线程，处理器包括但不限于矢量处理器、中央处理单元(CPU)、数字信号处理器(DSP)或图形处理单元(GPU)。在一些实施例中，调度器160可以为特定过程和/或线程选择硬件引擎162a-162n中的一者或多者。调度器160可以被配置为响应于解析存储在DAG存储器168中的有向无环图而将硬件引擎162a-162n指派给特定任务。
电路164可以实现共享存储器电路。共享存储器164可以被配置为响应于输入请求而存储数据和/或响应于输出请求(例如，来自处理器150、DRAM 154、调度器电路160和/或硬件引擎162a-162n的请求)来呈现数据。在一个示例中，共享存储器电路164可以实现用于计算机视觉处理器152的片上存储器。共享存储器164通常可操作为存储由硬件引擎162a-162n生成和/或利用的输入数据元素和输出数据元素的多维阵列(或矢量)的全部或部分。输入数据元素可以经由存储器总线156从DRAM电路154传输到共享存储器164。输出数据元素可以经由存储器总线156从共享存储器164发送到DRAM电路154。
路径166可以实现处理器152内部的传输路径。传输路径166通常可操作为将数据从调度器电路160移动到共享存储器164。传输路径166还可以可操作为将数据从共享存储器164移动到调度器电路160。
处理器150被示为与计算机视觉处理器152通信。处理器150可以被配置为计算机视觉处理器152的控制器。在一些实施例中，处理器150可以被配置为将指令传输到调度器160。例如，处理器150可以经由DAG存储器168将一个或多个有向无环图提供给调度器160。调度器160可以响应于解析有向无环图来初始化和/或配置硬件引擎162a-162n。在一些实施例中，处理器150可以从调度器160接收状态信息。例如，调度器160可以从硬件引擎162a-162n向处理器150提供状态信息和/或输出的就绪状态，以使处理器150能够确定要执行的一个或多个下一条指令和/或要做出的决定。在一些实施例中，处理器150可以被配置为与共享存储器164通信(例如，直接地或通过调度器160通信，调度器160经由路径166从共享存储器164接收数据)。处理器150可以被配置为从共享存储器164取得信息以做出决定。可以根据特定实施方式的设计准则来改变处理器150响应于来自计算机视觉处理器152的信息而执行的指令。
参考图6，示出了过程200的流程图，该过程说明了根据本发明的示例实施例的可以在智能IP摄像头中实现的彩色夜间模式。在各种实施例中，过程(或方法)200可以用于将在日间操作期间获得的颜色添加(恢复)到夜间操作期间捕获的单色红外图像。在一个示例中，日间模式202可以在步骤204中开始，其中过程200可以周期性地捕获彩色(例如，RGB等)图像。在步骤206中，过程200可以使用人工智能(AI)算法以提取关于由智能IP摄像头监控的场景中的一个或多个颜色特征的全色信息。在一个示例中，可以使用分段神经网络(例如，DeepLabv3/FCN等)来实现AI算法。在步骤208中，过程200可以将与一个或多个提取的颜色特征相关联的提取的全色信息记录到数据库中。在一个示例中，存储在数据库中的数据可以包括但不限于用于整个图像、关注区域(例如，基于对象检测结果)或图像的一些其他预定部分的颜色(例如，RGB、YUV等)信息(例如，像素值)。在一个示例中，数据库可以被本地存储在非易失性存储介质(例如，闪存、SD存储卡等)中。在另一示例中，数据库可以被远程存储(例如，在专用服务器中，在云资源中等)。
在一个示例中，夜间模式210可以在步骤212中开始，其中过程200可以周期性地捕获单色红外图像。在步骤214中，过程200可以使用人工智能(AI)算法从单色红外(IR)图像提取特征。在一个示例中，可以使用分段神经网络(例如，DeepLabv3/FCN等)来实现AI算法。在步骤216中，过程200可以使用人工智能(AI)算法以智能地选择数据库中与从单色红外图像中提取的特征相对应的全色特征。在一个示例中，步骤216可以涉及用于基于预定义准则来找到与单色特征最匹配的颜色特征的迭代过程。在步骤218中，过程200可以使用另一AI算法以使用与数据库中的颜色特征相关联的全色信息将每个IR图像恢复(例如，着色)回到全色图像。在一个示例中，可以使用全卷积神经网络(FCN)(例如，UNet/Pix2Pix等)来实现AI算法。所恢复的全色图像可以由智能IP摄像头呈现为夜间模式210的输出。
参考图7，示出了过程300的流程图，该过程说明了根据本发明的另一示例实施例的可以在智能IP摄像头中实现的彩色夜间模式。在各种实施例中，过程(或方法)300可以用于将在日间操作期间获得的颜色添加到在夜间操作期间捕获的单色红外图像。在一个示例中，摄像头安装位置可以变化。当摄像头安装位置变化时，可以实现根据本发明的示例性实施例的自适应方法以将智能IP摄像头动态地调整到新的安装位置。在一个示例中，日间模式302可以在步骤304中开始，其中过程300可以周期性地捕获彩色(例如，RGB等)图像。在步骤306中，过程300可以使用人工智能(AI)算法以提取关于由智能IP摄像头监控的场景中的一个或多个颜色特征的全色信息。在一个示例中，可以使用分段神经网络(例如，DeepLabv3/FCN等)来实现AI算法。在步骤308中，过程300可以将与一个或多个提取的颜色特征相关联的提取的全色信息记录到数据库中。在一个示例中，存储在数据库中的数据可以包括但不限于用于整个图像、关注区域(例如，基于对象检测结果)或图像的一些其他预定部分的颜色(例如，RGB、YUV等)信息(例如，像素值)。在一个示例中，数据库可以本被地存储在非易失性存储介质(例如，闪存、SD存储卡等)中。在另一示例中，数据库可以被远程存储(例如，在专用服务器中，在云资源中等)。
响应于摄像头安装位置变化，可以在步骤310中使用另一AI算法以滤除(例如，去除、标记等)数据库中的过时的颜色特征。在步骤312中，可以在通过AI算法过滤之后将数据库修改为适应于由于安装位置的变化而导致的场景变化。
在一个示例中，夜间模式320可以在步骤322中开始，其中过程300可以周期性地捕获单色红外图像。在步骤324中，过程300可以使用人工智能(AI)算法以从单色红外(IR)图像提取特征。在一个示例中，可以使用分段神经网络(例如，DeepLabv3/FCN等)来实现AI算法。在步骤326中，过程300可以使用人工智能(AI)算法以在修改的数据库中智能地选择与从单色红外图像提取的特征相对应的全色特征。在一个示例中，步骤326可以涉及用于基于预定义的准则找到与单色特征最匹配的颜色特征的迭代过程。在步骤328中，过程300可以使用另一AI算法，以利用与修改后的数据库中的颜色特征相关联的全色信息将每个IR图像恢复(例如，着色)回到全色图像。在一个示例中，可以使用全卷积神经网络(FCN)(例如，UNet/Pix2Pix等)来实现AI算法。所恢复的全色图像可以由智能IP摄像头呈现为夜间模式320的输出。
参考图8，示出了过程400的流程图，该过程说明了根据本发明的另一示例实施例的可以在智能IP摄像头中实现的彩色夜间模式。在各种实施例中，过程(或方法)400可以用于将在日间操作期间获得的颜色添加到在夜间操作期间捕获的单色红外图像。在一些应用中，用户可能具有特定的关注对象，和/或对象(例如，车辆、人等)可能随时间变化(来来去去)，而场景可以另外保持静态。在一个示例中，根据本发明的示例实施例的彩色夜间模式可以提供覆盖这种情况的方法。在一个示例中，基于AI的对象检测步骤可以与以上结合图6和图7描述的流程合并。
在一个示例中，日间模式402可以在步骤404中开始，其中过程400可以周期性地捕获彩色(例如，RGB等)图像。在步骤406中，过程400可以使用人工智能(AI)算法以检测由智能IP摄像头观看的场景中的关注对象。在一个示例中，具有关注对象类别的关注区域(ROI)可以由相应的对象检测器生成。在一个示例中，可以使用对象检测神经网络(例如，YOLO/SSD等)来实现AI算法，以选择ROI图像。在步骤408中，过程400可以将ROI图像馈送到使用人工智能(AI)算法的全色特征提取器中，以提取关于由智能IP摄像头监控的场景中的对象的一个或多个ROI和/或颜色特征的全色信息。在一个示例中，可以使用分段神经网络(例如，DeepLabv3/FCN等)来实现AI算法。在步骤410中，过程400可以将与一个或多个对象相关联的提取的全色信息和/或提取的颜色特征记录到数据库中。在一个示例中，存储在数据库中的数据可以包括但不限于用于整个图像、关注区域(例如，基于对象检测结果)或图像的一些其他预定部分的颜色(例如，RGB、YUV等)信息(例如，像素值)。在一个示例中，数据库可以被本地存储在非易失性存储介质(例如，闪存、SD存储卡等)中。在另一示例中，数据库可以被远程存储(例如，在专用服务器中，在云资源中等)。
在一个示例中，过程400也可以适应于在智能IP摄像头的图像和/或安装位置中发现的对象的变化。响应于对象变化和/或摄像头安装位置变化，可以在步骤412中使用另一AI算法以滤除(例如，去除、标记等)数据库中的过时的颜色特征。在步骤414中，可以在通过AI算法滤除之后将数据库修改为适应于对象和/或场景的变化。
在一个示例中，夜间模式420可以在步骤422中开始，其中过程400可以周期性地捕获单色红外图像。在步骤424中，过程400可以使用人工智能(AI)算法以检测智能IP摄像头所观看到的夜晚或微光场景中的关注对象。在一个示例中，具有关注对象类别的每个关注区域(ROI)可以由相应的对象检测器生成。在一个示例中，可以使用对象检测神经网络(例如，YOLO/SSD等)来实现AI算法，以选择ROI图像。在步骤426中，过程400可以将ROI图像馈送到使用人工智能(AI)算法的特征提取器中，以提取关于由智能IP摄像头监控的场景的单色红外(IR)图像中的对象的一个或多个特征的信息。在一个示例中，可以使用分段神经网络(例如，DeepLabv3/FCN等)来实现AI算法。在步骤428中，过程400可以使用人工智能(AI)算法以在修改的数据库中智能地选择与来自单色红外图像的提取的对象和/或特征相对应的全色特征。在步骤430中，过程400可以使用另一AI算法，以使用与修改后的数据库中的对象和/或颜色特征相关联的全色信息将每个IR图像恢复(例如，着色)回到全色图像。在一个示例中，可以使用全卷积神经网络(FCN)(例如，UNet/Pix2Pix等)来实现AI算法。所恢复的全色图像可以由智能IP摄像头呈现为夜间模式420的输出。
参考图9，示出了摄像头系统900的图，该摄像头系统900说明了其中可以实现根据本发明的示例实施例的全色夜间模式的计算机视觉系统的示例实施方式。在一个示例中，摄像头系统900的电子设备可以被实现为一个或多个集成电路。在一个示例中，摄像头系统900可以围绕处理器/摄像头芯片(或电路)902而构建。在一个示例中，处理器/摄像头芯片902可以被实现为专用集成电路(ASIC)或片上系统(SOC)。处理器/摄像头电路902通常并入可以被配置为实现以上结合图1至图8描述的电路和过程的硬件和/或软件/固件。
在一个示例中，处理器/摄像头电路902可以连接到透镜和传感器组件904。在一些实施例中，透镜和传感器组件904可以是处理器/摄像头电路902的部件(例如，SoC部件)。在一些实施例中，透镜和传感器组件904可以是与处理器/摄像头电路902分离的部件(例如，透镜和传感器组件可以是与处理器/摄像头电路902兼容的可互换部件)。在一些实施例中，透镜和传感器组件904可以是(例如，经由视频电缆、高清媒体接口(HDMI)电缆、通用串行总线(USB)电缆、以太网电缆或无线链路)连接到处理器/摄像头电路902的单独摄像头的一部分。
透镜和传感器组件904可以包括块(或电路)906和/或块(或电路)908。电路906可以与透镜组件相关联。电路908可以被实现为一个或多个图像传感器。在一个示例中，电路908可以被实现为RGB传感器和IR传感器。在另一示例中，电路908可以被实现为RGB-IR传感器。透镜和传感器组件904可以包括其他部件(未示出)。透镜和传感器组件904的部件的数量、类型和/或功能可以根据特定实施方式的设计准则而变化。
透镜组件906可以捕获和/或聚焦从摄像头系统900附近的环境接收的光输入。透镜组件906可以捕获和/或聚焦用于图像传感器908的光。透镜组件906可以实现一个或多个光学透镜。透镜组件906可以提供缩放特征和/或聚焦特征。透镜组件906可以利用附加电路(例如，马达)来实现，以调节透镜组件906的方向、缩放和/或光圈。透镜组件906可以被定向、倾斜、摇动、缩放和/或旋转以提供摄像头系统900附近环境的目标视图。
图像传感器908可以从透镜组件906接收光。图像传感器908可以被配置为将接收到的聚焦光转换成数字数据(例如，比特流)。在一些实施例中，图像传感器908可以执行模数转换。例如，图像传感器908可以对从透镜组件906接收的聚焦光进行光电转换。图像传感器908可以将转换后的图像数据呈现为彩色滤光片阵列(CFA)格式的比特流。处理器/摄像头电路902可以将比特流转换为视频数据、视频文件和/或视频帧(例如，人类可读的内容)。
处理器/摄像头电路902还可以连接到(i)包括音频编解码器910、麦克风912和扬声器914的可选的音频输入/输出电路，(ii)可以包括动态随机存取存储器(DRAM)的存储器916，(iii)非易失性存储器(例如，NAND闪存)918、可移动介质(例如，SD、SDXC等)920、一个或多个串行(例如RS-485、RS-232等)设备922、一个或多个通用串行总线(USB)设备(例如，USB主机)924和无线通信设备926。
在各种实施例中，处理器/摄像头电路902可以包括多个块(或电路)930a-930n、多个块(或电路)932a-932n、块(或电路)934、块(或电路)936、块(或电路)938、块(或电路)940、块(或电路)942、块(或电路)944、块(或电路)946、块(或电路)948、块(或电路)950、块(或电路)952和/或块(或电路)954。多个电路930a-930n可以是处理器电路。在各种实施例中，电路930a-930n可以包括一个或多个嵌入式处理器(例如，ARM等)。电路932a-932n可以实现多个与计算机视觉有关的处理器电路。在一个示例中，电路932a-932n中的一个或多个电路可以实现各种与计算机视觉有关的应用。电路934可以是数字信号处理(DSP)模块。在一些实施例中，电路934可以实现分离的图像DSP和视频DSP模块。
电路936可以是存储接口。电路936可以使处理器/摄像头电路902与DRAM 916、非易失性存储器918和可移动介质920对接。DRAM 916、非易失性存储器918和/或可移动介质920中的一者或多者可以存储计算机可读指令。可以由处理器930a-930n读取和执行计算机可读指令。响应于计算机可读指令，处理器930a-930n可以可操作为充当处理器932a-932n的控制器。例如，处理器932a-932n的资源可以被配置为高效地执行硬件中的各种特定操作，并且处理器930a-930n可以被配置为做出关于如何处理去往/来自处理器932的各种资源的输入/输出的决定。
电路938可以实现本地存储器系统。在一些实施例中，本地存储器系统938可以包括但不限于高速缓存(例如，L2CACHE)、直接存储器访问(DMA)引擎、图形直接存储器存取(GDMA)引擎和快速随机存取存储器。在一个示例中，DAG存储器168可以在本地存储器系统938中实现。电路940可以实现传感器输入(或接口)。电路942可以实现一个或多个控制接口，所述控制接口包括但不限于设备间通信(IDC)接口、集成电路间(I2C)接口、串行外围设备接口(SPI)和脉冲宽度调制(PWM)接口。电路944可以实现音频接口(例如，I2S接口等)。电路946可以实现时钟电路，所述时钟电路包括但不限于实时时钟(RTC)、看门狗定时器(WDT)和/或一个或多个可编程定时器。电路948可以实现输入/输出(I/O)接口。电路950可以是视频输出模块。电路952可以是通信模块。电路954可以是安全模块。电路930至954可以使用一个或多个总线、接口、迹线(trace)、协议等彼此连接。
电路918可以被实现为非易失性存储器(例如，NAND闪存、NOR闪存等)。电路920可以包括一个或多个可移动介质卡(例如，安全数字介质(SD)、安全数字扩展容量介质(SDXC)等)。电路922可以包括一个或多个串行接口(例如，RS-485、RS-232等)。电路924可以是用于连接到通用串行总线(USB)主机或用作通用串行总线(USB)主机的接口。电路926可以是用于与用户设备(例如，智能电话、计算机、平板计算设备、云资源等)通信的无线接口。在各种实施例中，电路904-926可以被实现为处理器/摄像头电路902外部的部件。在一些实施例中，电路904-926可以是处理器/摄像头电路902上的部件。
控制接口942可以被配置为生成用于控制透镜和传感器组件904的信号(例如，IDC/I2C、STEPPER、IRIS、AF/ZOOM/TILT/PAN等)。信号IRIS可以被配置为调整透镜组件906的光圈。接口942可以使得处理器/摄像头电路902能够控制透镜和传感器组件904。
存储接口936可以被配置为管理一种或多种类型的存储和/或数据存取。在一个示例中，存储接口936可以实现直接存储器存取(DMA)引擎和/或图形直接存储器存取(GDMA)。在另一示例中，存储接口936可以实现安全数字(SD)卡接口(例如，以连接到可移动介质920)。在各种实施例中，可以将编程代码(例如，用于控制处理器/摄像头电路902的各种处理器和编码器的可执行指令)存储在一个或多个存储器(例如，DRAM 916、NAND 918等)中。当由一个或多个处理器930执行时，编程代码通常使处理器/摄像头电路902中的一个或多个部件配置视频同步操作并开始视频帧处理操作。可以将所得到的压缩视频信号呈现给存储接口936、视频输出950和/或通信接口952。存储接口936可以在外部介质(例如，DRAM916、NAND 918、可移动介质920等)与本地(内部)存储器系统938之间传输程序代码和/或数据。
传感器输入940可以被配置为向图像传感器908发送数据/从图像传感器908接收数据。在一个示例中，传感器输入940可以包括图像传感器输入接口。传感器输入940可以被配置为将捕获的图像(例如，图片元素、像素、数据)从图像传感器908传输至DSP模块934、一个或多个处理器930和/或一个或多个处理器932。传感器输入940所接收的数据可以被DSP934用来确定来自图像传感器908的亮度(Y)和色度(U和V)值。传感器输入940可以提供到透镜和传感器组件904的接口。传感器输入接口940可以使得处理器/摄像头电路902能够从透镜和传感器组件904捕获图像数据。
音频接口944可以被配置为发送/接收音频数据。在一个示例中，音频接口944可以实现音频IC间声音(I2S)接口。音频接口944可以被配置为发送/接收具有由音频编解码器910实现的格式的数据。
DSP模块934可以被配置为处理数字信号。DSP模块934可以包括图像数字信号处理器(IDSP)、视频数字信号处理器DSP(VDSP)和/或音频数字信号处理器(ADSP)。DSP模块934可配置为从传感器输入940接收信息(例如，由图像传感器908捕获的像素数据值)。DSP模块934可以被配置为根据从传感器输入940接收到的信息来确定像素值(例如，RGB、YUV、亮度、色度等)。DSP模块934还可以被配置为支持或提供传感器RGB到YUV原始图像管线化，以改善图像质量、不良像素检测和校正、去马赛克、白平衡、色彩和色调校正、伽玛校正、色相调整、饱和度、亮度和对比度调整、色度和亮度噪声过滤。
I/O接口948可以被配置为发送/接收数据。由I/O接口948发送/接收的数据可以是其他信息和/或控制数据。在一个示例中，I/O接口948可以实现通用输入/输出(GPIO)接口、模数转换器(ADC)模块、数模转换器(DAC)模块、红外(IR)远程接口、脉冲宽度调制(PWM)模块、通用异步接收器发送器(UART)、红外(IR)远程接口和/或一个或多个同步数据通信接口(IDC SPI/SSI)中的一者或多者。
视频输出模块950可以被配置为发送视频数据。例如，处理器/摄像头电路902可以连接到外部设备(例如，电视、监视器、膝上型计算机、平板计算设备等)。视频输出模块950可以实现高清多媒体接口(HDMI)、PAL/NTSC接口、LCD/TV/并行接口和/或DisplayPort接口。
通信模块952可以被配置为发送/接收数据。由通信模块952发送/接收的数据可以根据特定协议(例如，
Figure BDA0002693044970000233
USB、Wi-Fi、UART等)被格式化。在一个示例中，通信模块952可以实现安全数字输入输出(SDIO)接口。通信模块952可以包括对通过一种或多种无线协议(例如，
Figure BDA0002693044970000234
Z-Wave、LoRa、电气电子工程学院(IEEE)802.11a/b/g/n/ac(WiFi)、IEEE 802.15、IEEE 802.15.1、IEEE 802.15.2、IEEE802.15.3、IEEE 802.15.4、IEEE 802.15.5和/或IEEE 802.20、GSM、CDMA、GPRS、UMTS、CDMA2000、3GPP LTE、4G/HSPA/WiMAX、5G、LTE_M、NB-IoT、SMS等)的无线通信的支持。通信模块952还可以对使用一种或多种通用串行总线协议(例如，USB 1.0、2.0、3.0等)的通信的支持。处理器/摄像头电路902也可以被配置为经由USB连接供电。然而，可以相应地实现其他通信和/或电源接口，以满足特定应用的设计准则。
安全模块954可以包括一组高级安全特征，以实现高级设备上物理安全，包括OTP、安全启动、
Figure BDA0002693044970000235
I/O可视化以及DRAM加扰。在一个示例中，安全模块958可以包括真随机数生成器。在一个示例中，安全模块954可以用于处理器/摄像头电路902上的DRAM通信加密。
处理器/摄像头电路902可以被配置(例如，编程)以控制一个或多个透镜组件906和一个或多个图像传感器908。处理器/摄像头电路902可以从图像传感器908接收原始图像数据。处理器/摄像头电路902可以同时(并行)将原始图像数据编码为多个编码的视频流。多个视频流可以具有各种分辨率(例如，VGA、WVGA、QVGA、SD、HD、Ultra HD、4K等)。处理器/摄像头电路902可以在音频接口944处接收编码的和/或未编码的(例如，原始的)音频数据。处理器/摄像头电路902还可以从通信接口952(例如，USB和/或SDIO)接收编码的音频数据。处理器/摄像头电路902可以将编码的视频数据提供给无线接口926(例如，使用USB主机接口)。无线接口926可以包括对通过一种或多种无线和/或蜂窝协议(例如，
Figure BDA0002693044970000231
Figure BDA0002693044970000232
Z-Wave、LoRa、Wi-Fi IEEE 802.11a/b/g/n/ac、IEEE 802.15、IEEE 802.15.1、IEEE 802.15.2、IEEE 802.15.3、IEEE 802.15.4、IEEE 802.15.5、IEEE 802.20、GSM、CDMA、GPRS、UMTS、CDMA2000、3GPP LTE、4G/HSPA/WiMAX、5G、SMS、LET_M、NB-IOT等)的无线通信的支持。处理器/摄像头电路902还可以包括对使用一种或多种通用串行总线协议(例如，USB1.0、2.0、3.0等)的通信的支持。
如相关领域的技术人员将显而易见的那样，可以使用均根据本说明书的教导编程的常规通用处理器、数字计算机、微处理器、微控制器、RISC(精简指令集计算机)处理器、CISC(复杂指令集计算机)处理器、SIMD(单指令多数据)处理器、信号处理器、中央处理单元(CPU)、算术逻辑单元(ALU)、视频数字信号处理器(VDSP)、分布式计算机资源和/或类似的计算机器中的一者或多者来设计、建模、仿真和/或模拟由图1至图9的图中所执行的功能和所示的结构。如相关领域的技术人员将显而易见的那样，熟练的程序员可以基于本公开的教导容易地准备适当的软件、固件、编码、例程、指令、操作码、微代码和/或程序模块。软件通常体现在一个介质或若干介质(例如，非暂时性存储介质)中，并且可以由一个或多个处理器顺序地或并行地执行。
本发明的实施例还可以在ASIC(专用集成电路)、FPGA(现场可编程门阵列)、PLD(可编程逻辑器件)、CPLD(复杂可编程逻辑器件)、门海、ASSP(专用标准产品)和集成电路中的一者或多者中实现。该电路可以基于一种或多种硬件描述语言来实现。本发明的实施例可以与闪存、非易失性存储器、随机存取存储器、只读存储器、磁盘、软盘、诸如DVD和DVDRAM之类的光盘、磁光盘和/或分布式存储系统结合使用。
当在本文中结合“是”和动词使用时，术语“可以”和“通常”旨在传达以下意图：该描述是示例性的，并且被认为足够广泛以涵盖本公开内容中提出的具体示例以及可以基于本公开内容得出的替代示例。如本文所使用的术语“可以”和“通常”不应被解释为必然暗含省略相应元素的期望或可能性。
尽管已经参考本发明的实施例具体地示出和描述了本发明，但是本领域技术人员将理解，可以进行形式和细节上的各种改变而不脱离本发明的范围。

Claims (18)

1.一种装置，包括：
摄像头，其被配置为响应于可见光而捕获彩色图像，并且响应于红外光而捕获单色红外图像；以及
处理器电路，其被配置为从所述彩色图像中提取颜色特征，并且将颜色添加到在所述单色红外图像中检测到的相应单色特征中。
2.根据权利要求1所述的装置，其中，所述摄像头包括RGB图像传感器和IR图像传感器。
3.根据权利要求1所述的装置，其中，所述摄像头包括RGB-IR图像传感器。
4.根据权利要求1所述的装置，其中，所述摄像头被安装在固定位置。
5.根据权利要求1所述的装置，其中，所述处理器被配置为将从所述彩色图像中提取的颜色特征存储在数据库中。
6.根据权利要求5所述的装置，其中，所述处理器还被配置为动态地调整存储在所述数据库中的一个或多个所存储的颜色特征以适应于所述摄像头的位置变化。
7.根据权利要求5所述的装置，其中，所述处理器还被配置为动态地调整存储在所述数据库中的一个或多个对象以在所述摄像头变化的情况下适应于对象。
8.根据权利要求5所述的装置，其中，所述数据库被本地存储在连接到所述处理器的存储器中。
9.根据权利要求5所述的装置，其中，所述数据库被远程存储在云资源中。
10.根据权利要求1所述的装置，其中，所述摄像头和所述处理器是监视系统、安全系统和访问控制系统中的至少一者的一部分。
11.一种用于在智能IP摄像头中实现彩色夜间模式的方法，包括：
使用摄像头以响应于可见光而捕获彩色图像；
使用所述摄像头以响应红外光而捕获单色红外图像；
使用处理器电路以从所述彩色图像中提取颜色特征；以及
使用所述处理器电路以将来自所述颜色特征的颜色添加到在所述单色红外图像中检测到的相应单色特征中。
12.根据权利要求11所述的方法，还包括：
将从所述彩色图像中提取的所述颜色特征存储在数据库中。
13.根据权利要求12所述的方法，还包括：
动态地调整存储在所述数据库中的一个或多个颜色特征，以适应于所述摄像头的安装位置变化。
14.根据权利要求11所述的方法，还包括：
使用RGB图像传感器以捕获所述彩色图像；以及
使用IR图像传感器以捕获所述单色红外图像。
15.根据权利要求11所述的方法，还包括：
使用RGB-IR图像传感器以捕获所述彩色图像和所述单色红外图像。
16.根据权利要求11所述的方法，其中，从所述彩色图像中提取颜色特征包括使用所述处理器电路以将分段神经网络模型应用于所捕获的彩色图像和单色红外图像。
17.根据权利要求11所述的方法，其中，从所述彩色图像中提取颜色特征还包括使用所述处理器电路以将对象检测神经网络模型应用于所捕获的彩色图像和单色红外图像，从而选择一个或多个关注区域。
18.根据权利要求11所述的方法，其中，将来自所述颜色特征的颜色添加到在所述单色红外图像中检测到的相应单色特征包括使用所述处理器电路以将全卷积神经网络模型应用于所捕获的单色红外图像。
CN202010997403.3A 2020-09-21 2020-09-21 具有彩色夜间模式的智能ip摄像头 Pending CN114257707A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010997403.3A CN114257707A (zh) 2020-09-21 2020-09-21 具有彩色夜间模式的智能ip摄像头
US17/034,095 US11696039B2 (en) 2020-09-21 2020-09-28 Smart IP camera with color night mode

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010997403.3A CN114257707A (zh) 2020-09-21 2020-09-21 具有彩色夜间模式的智能ip摄像头

Publications (1)

Publication Number Publication Date
CN114257707A true CN114257707A (zh) 2022-03-29

Family

ID=80741798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010997403.3A Pending CN114257707A (zh) 2020-09-21 2020-09-21 具有彩色夜间模式的智能ip摄像头

Country Status (2)

Country Link
US (1) US11696039B2 (zh)
CN (1) CN114257707A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024103482A1 (zh) * 2022-11-14 2024-05-23 天地伟业技术有限公司 一种摄像机红外视频着色方法、装置及电子设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220085481A (ko) * 2020-12-15 2022-06-22 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
US20230306712A1 (en) * 2022-03-24 2023-09-28 Objectvideo Labs, Llc Dual descriptor data for object recognition in low light conditions
CN117975383B (zh) * 2024-04-01 2024-06-21 湖北经济学院 一种基于多模态图像融合技术的车辆定位和识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130229513A1 (en) * 2010-11-16 2013-09-05 Konica Minolta, Inc. Image input device and image processing device
CN103369257A (zh) * 2012-04-09 2013-10-23 索尼公司 成像装置、成像方法和相机系统
CN109076138A (zh) * 2016-04-28 2018-12-21 高通股份有限公司 相对于单声道和彩色图像执行强度均衡
CN109804622A (zh) * 2016-09-30 2019-05-24 微软技术许可有限责任公司 红外图像流的重新着色
CN110225331A (zh) * 2018-03-01 2019-09-10 摩托罗拉移动有限责任公司 选择性地将色彩施加到图像
CN110798623A (zh) * 2019-10-15 2020-02-14 华为技术有限公司 单目摄像机、图像处理系统以及图像处理方法

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3909266A (en) * 1966-04-14 1975-09-30 Canon Kk Recording member of photocolor developing and eliminating material and the recording method
US4245239A (en) * 1977-07-01 1981-01-13 Quadricolor Technology L.P. Color television receiving system utilizing inferred high frequency signal components to reduce color infidelities in regions of high color saturation
WO2004047421A2 (en) * 2002-11-14 2004-06-03 Donnelly Corporation Imaging system for vehicle
JP4984634B2 (ja) * 2005-07-21 2012-07-25 ソニー株式会社 物理情報取得方法および物理情報取得装置
FR2925706B1 (fr) * 2007-12-19 2010-01-15 Soc Tech Michelin Dispositif d'evaluation de la surface d'un pneumatique.
WO2010081010A2 (en) * 2009-01-09 2010-07-15 New York University Methods, computer-accessible medium and systems for facilitating dark flash photography
US8749635B2 (en) * 2009-06-03 2014-06-10 Flir Systems, Inc. Infrared camera systems and methods for dual sensor applications
US9635285B2 (en) * 2009-03-02 2017-04-25 Flir Systems, Inc. Infrared imaging enhancement with fusion
US10244190B2 (en) * 2009-03-02 2019-03-26 Flir Systems, Inc. Compact multi-spectrum imaging with fusion
US9451183B2 (en) * 2009-03-02 2016-09-20 Flir Systems, Inc. Time spaced infrared image enhancement
AU2010282715B2 (en) * 2009-08-11 2014-02-27 Rheinmetall Waffe Munition Gmbh Projectile with a multi-spectral marking plume
US8706184B2 (en) * 2009-10-07 2014-04-22 Intuitive Surgical Operations, Inc. Methods and apparatus for displaying enhanced imaging data on a clinical image
US9055237B1 (en) * 2012-06-01 2015-06-09 Rawles Llc Projection autofocus
JPWO2014034527A1 (ja) * 2012-08-27 2016-08-08 シチズンホールディングス株式会社 情報入力装置
WO2015171946A1 (en) * 2014-05-09 2015-11-12 Raven Industries, Inc. Image filter based on row identification
US20170091550A1 (en) * 2014-07-15 2017-03-30 Qualcomm Incorporated Multispectral eye analysis for identity authentication
US10360439B2 (en) * 2015-04-28 2019-07-23 Beijing Kuangshi Technology Co., Ltd. Apparatus, system, method and computer program product for recognizing face
US10292369B1 (en) * 2015-06-30 2019-05-21 Vium, Inc. Non-contact detection of physiological characteristics of experimental animals
US10839510B2 (en) * 2015-08-19 2020-11-17 Colorado Seminary, Which Owns And Operates The University Of Denver Methods and systems for human tissue analysis using shearlet transforms
US11033494B1 (en) * 2015-09-30 2021-06-15 Recursion Pharmaceuticals, Inc. Apparatuses containing an emulsion and methods of manufacture
US10596198B1 (en) * 2015-09-30 2020-03-24 Vium, Inc. Devices for selectively releasing volatile compounds
US10959398B1 (en) * 2015-09-30 2021-03-30 Recursion Pharmaceuticals, Inc. Experimental animal behavioral research methods and apparatuses
JP2018129672A (ja) * 2017-02-08 2018-08-16 パナソニックＩｐマネジメント株式会社 動体監視装置および動体監視システム
JP6341396B1 (ja) * 2017-02-28 2018-06-13 パナソニックＩｐマネジメント株式会社 動体監視装置、サーバ装置、および動体監視システム
US10646288B2 (en) * 2017-04-12 2020-05-12 Bio-Medical Engineering (HK) Limited Automated steering systems and methods for a robotic endoscope
US10692245B2 (en) * 2017-07-11 2020-06-23 Datacolor Inc. Color identification in images
US11102462B2 (en) * 2017-09-27 2021-08-24 University Of Miami Vision defect determination via a dynamic eye characteristic-based fixation point
EP3723364A4 (en) * 2017-12-04 2021-02-24 Sony Corporation IMAGE PROCESSING DEVICE AND METHOD
KR101852476B1 (ko) * 2017-12-28 2018-06-04 한국해양과학기술원 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템 및 그 분석 방법
US11100350B2 (en) * 2018-02-19 2021-08-24 Avigilon Corporation Method and system for object classification using visible and invisible light images
US10440293B1 (en) * 2018-06-22 2019-10-08 Jurgen R. Ihns Avionics imaging control method and apparatus
CN110660088B (zh) * 2018-06-30 2023-08-22 华为技术有限公司 一种图像处理的方法和设备
US11107257B1 (en) * 2018-08-01 2021-08-31 Adobe Inc. Systems and methods of generating playful palettes from images
CN111191664B (zh) * 2018-11-14 2024-04-23 京东方科技集团股份有限公司 标签识别网络的训练方法、标签识别装置/方法及设备
US11055857B2 (en) * 2018-11-30 2021-07-06 Baidu Usa Llc Compressive environmental feature representation for vehicle behavior prediction
KR102258776B1 (ko) * 2019-05-20 2021-05-31 주식회사 힐세리온 인공지능형 초음파 지방간 자동 진단 장치 및 이를 이용한 원격 의료 진단 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130229513A1 (en) * 2010-11-16 2013-09-05 Konica Minolta, Inc. Image input device and image processing device
CN103369257A (zh) * 2012-04-09 2013-10-23 索尼公司 成像装置、成像方法和相机系统
CN109076138A (zh) * 2016-04-28 2018-12-21 高通股份有限公司 相对于单声道和彩色图像执行强度均衡
CN109804622A (zh) * 2016-09-30 2019-05-24 微软技术许可有限责任公司 红外图像流的重新着色
CN110225331A (zh) * 2018-03-01 2019-09-10 摩托罗拉移动有限责任公司 选择性地将色彩施加到图像
CN110798623A (zh) * 2019-10-15 2020-02-14 华为技术有限公司 单目摄像机、图像处理系统以及图像处理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024103482A1 (zh) * 2022-11-14 2024-05-23 天地伟业技术有限公司 一种摄像机红外视频着色方法、装置及电子设备

Also Published As

Publication number Publication date
US11696039B2 (en) 2023-07-04
US20220094847A1 (en) 2022-03-24

Similar Documents

Publication Publication Date Title
US11696039B2 (en) Smart IP camera with color night mode
US20220044023A1 (en) Object-aware temperature anomalies monitoring and early warning by combining visual and thermal sensing sensing
US11140334B1 (en) 940nm LED flash synchronization for DMS and OMS
US11587259B2 (en) Fixed pattern calibration for multi-view stitching
US10445402B1 (en) Fast and energy-efficient region of interest pooling for object detection with convolutional neural network
US11935257B2 (en) Adding an adaptive offset term using convolution techniques to a local adaptive binarization expression
US11775614B2 (en) Unsupervised multi-scale disparity/optical flow fusion
US10621464B1 (en) Block based non-maximum suppression
US20230419505A1 (en) Automatic exposure metering for regions of interest that tracks moving subjects using artificial intelligence
US12002229B2 (en) Accelerating speckle image block matching using convolution techniques
US12073599B2 (en) Method to improve accuracy of quantized multi-stage object detection network
US12073581B2 (en) Adaptive face depth image generation
US11574484B1 (en) High resolution infrared image generation using image data from an RGB-IR sensor and visible light interpolation
US11568251B1 (en) Dynamic quantization for models run on edge devices
KR102499286B1 (ko) 이미지가 분할된 복수의 블록들의 압축과 관련된 압축 손실 데이터에 기반하여 이미지를 압축하는 전자 장치 및 그 동작 방법
US11924555B2 (en) Intelligent auto-exposure control for RGB-IR sensor
US12069235B2 (en) Quick RGB-IR calibration verification for a mass production process
US10878254B1 (en) Real-time color classification for street vehicles
US12094137B2 (en) Accelerated alignment of high-resolution image and depth map for low-bit-width floating-point representation
US11615304B1 (en) Quantization aware training by constraining input
US10671883B1 (en) Approximate cross-check for real-time feature matching
CN114612313A (zh) 图像处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination