CN110809881A - 图像处理系统和方法 - Google Patents

图像处理系统和方法 Download PDF

Info

Publication number
CN110809881A
CN110809881A CN201880042462.6A CN201880042462A CN110809881A CN 110809881 A CN110809881 A CN 110809881A CN 201880042462 A CN201880042462 A CN 201880042462A CN 110809881 A CN110809881 A CN 110809881A
Authority
CN
China
Prior art keywords
image data
type
visible light
infrared
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880042462.6A
Other languages
English (en)
Other versions
CN110809881B (zh
Inventor
麻军平
张青涛
林跃杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to CN202110895357.0A priority Critical patent/CN113438422A/zh
Publication of CN110809881A publication Critical patent/CN110809881A/zh
Application granted granted Critical
Publication of CN110809881B publication Critical patent/CN110809881B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00—Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20—Rotors; Rotor supports

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)

Abstract

提供了一种图像处理系统，包括：图像传感器，被配置为同时获取至少第一类型的图像数据和第二类型的图像数据；图像数据分离装置，被配置为把来自所述图像传感器的至少所述第一类型的图像数据和所述第二类型的图像数据分离，以获得分离的所述至少第一类型的图像数据和所述第二类型的图像数据；以及图像处理器，被配置为对来自所述图像数据分离装置的分离的所述至少第一类型的图像数据和所述第二类型的图像数据进行处理。

Description

图像处理系统和方法
技术领域
本申请的实施例涉及图像处理领域。更具体地，本申请的实施例涉及一种图像处理系统和相应的方法。
背景技术
各种图像传感器可以用于捕获图像。例如，红外图像传感器能够探测到环境中散发热量的物体(比如野外环境中的动物或人)并进行热成像，从而捕获红外图像。由于红外图像传感器根据环境中的物体散发热量的大小来成像，因此仅根据红外图像传感器的图像并不好确定环境中物体的位置。
一种方案是采用分离的可见光图像传感器和红外图像传感器，并且将两个传感器分别获得的可见光图像和红外图像进行叠加，从而确定物体的位置。例如，可以使用双图像传感器方案，即：一台红外图像传感器和一台可见光图像传感器，两台图像传感器同时输出图像，然后对两幅图像进行叠加。
然而，由于两幅图像是由两个分离的图像传感器分别获取的，因此它们的分辨率、成像视角范围、成像角度等参数可能不同，从而导致两幅图像叠加时很难完全重合。
发明内容
本申请的实施例提出了一种图像处理系统，其中使用了支持同时捕获若干种类型的图像(例如红外图像和可见光图像)的图像传感器，避免了图像叠加时图像不能很好地重合的问题。相应地，该图像处理系统能够将图像传感器同时捕获的若干种类型的图像数据分离为相应的图像数据，并进行处理。
具体地，本申请的实施例的第一方面，提供了一种图像处理系统，其特征在于，包括：
图像传感器，被配置为同时获取至少第一类型的图像数据和第二类型的图像数据；
图像数据分离装置，被配置为把来自所述图像传感器的至少第一类型的图像数据和第二类型的图像数据分离，以获得分离的至少第一类型的图像数据和第二类型的图像数据；以及
图像处理器，被配置为对来自所述图像数据分离装置的分离的至少第一类型的图像数据和第二类型的图像数据进行处理。
本申请的实施例的第二方面，提供了一种图像处理方法，其特征在于，包括：
同时获取至少第一类型的图像数据和第二类型的图像数据；
把至少第一类型的图像数据和第二类型的图像数据分离，以获得分离的至少第一类型的图像数据和第二类型的图像数据；以及
对分离的至少第一类型的图像数据和第二类型的图像数据进行处理。
根据本申请的实施例的第三方面，提供了一种无人机，该无人机包括：一个或更多个推进机构。该无人机还包括通信系统，被配置为提供无人机与外部终端之间的通信。该无人机还包括图像处理系统。该图像处理系统包括：图像传感器，被配置为同时获取至少第一类型的图像数据和第二类型的图像数据；图像数据分离装置，被配置为把来自所述图像传感器的至少所述第一类型的图像数据和所述第二类型的图像数据分离，以获得分离的至少所述第一类型的图像数据和所述第二类型的图像数据；以及图像处理器，被配置为对来自所述图像数据分离装置的分离的至少所述第一类型的图像数据和所述第二类型的图像数据进行处理。
根据本申请的实施例的第四方面，提供了一种计算机可读存储介质，存储有能够执行根据本申请的实施例的第二方面所述的图像处理方法的计算机程序。
采用本申请的实施例，能够同时获取多种类型的图像数据，并且保证所获取的若干种类的图像能够精准对齐。此外，通过将多种图像数据进行分离，可以使分离的图像分别进入相应的图像处理器进行处理，使得系统的器件选型更加灵活。
附图说明
通过下文结合附图的详细描述，本申请的实施例的上述和其它特征将会变得更加明显，其中：
图1是示出了根据本申请的实施例的图像处理系统的框图。
图2A-2D是示出了根据本申请的实施例的图像数据处理的示意图。
图3是示出了根据本申请的实施例的图像处理方法的流程图。
图4是示出了根据本申请的实施例的无人机的框图。
图5是示出了根据本申请的实施例的计算机可读存储介质的示意图。
需要注意的是，附图不一定按比例绘制，重点在于示出本申请的实施例的技术的原理。另外，为了清楚起见，贯穿附图中的相似的附图标记指代相似的元素。
具体实施方式
下面将结合本申请的实施例中的附图，对本申请的实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
图1是示出了根据本申请的实施例的图像处理系统的框图。如图1中所示，图像处理系统10包括图像传感器110、图像数据分离装置120、图像处理器130。可选地，图像处理系统10还可以包括图像叠加装置140(虚线框所示)。
图像传感器110被配置为同时获取至少第一类型的图像数据和第二类型的图像数据。换句话说，图像传感器110能够获取两种或两种以上的类型的图像数据。在本文以下的描述中，以图像传感器110获取红外图像和可见光图像为例详细阐述本申请的原理。例如，第一类型的图像数据可以包括红外图像数据，而第二类型的图像数据可以包括可见光图像数据。然而，本领域技术人员应当理解，图像传感器110还可以获取其他类型和/或更多种类的图像数据，例如紫外光图像数据等。
在一个实施例中，图像传感器110上具有交替分布的红外像素和可见光像素，能够同时感测可见光和红外光。此外，图像传感器110能够同时输出红外图像和可见光图像，以便于实现红外图像和可见光图像的准确叠加。
图2A是示出了一种CMOS图像传感器的示意图。如图2A所示，该CMOS图像传感器由像素阵列组成。由于CMOS器件感光特性的原因，像素阵列一般按照拜耳(Bayer)格式排列，即每个像素点只由R、G、B三种颜色里面的一个分量(R、G、B像素)按一定的顺序排列。图2A中给出了R、G、B三种像素的一种排列顺序。具体地，Bayer图像可以划分成2x2的Bayer单元，每个Bayer单元包含四个分量(一个R分量，一个B分量，两个G分量(G0和G1))。
为了实现对红外图像的捕获，还需要加入红外感光像素。图2B是示出了改进后的CMOS图像传感器的示意图，该图像传感器可以用作图1中的图像传感器110。具体地，如图2B所示，改进后的CMOS图像传感器把图2A中所示的CMOS图像传感器中的一个G分量(G1)变成了红外分量IR。这样，在图2B中，每个Bayer单元包含一个R分量、一个B分量、一个G分量(GO)和一个IR分量。
需要说明的是，红外图像和可见光像素在图像传感器中的排列顺序不限于图2A-2B中所示的具体示例。另外，虽然图2B中示出了将G分量G1变为红外分量IR，本领域技术人员可以理解，也可以保留G1分量而将GO分量变为红外分量IR，或将B分量或者R分量变为红外分量IR，其同样能够实现具有红外像素和可见光像素的图像传感器。
如图2B所示，在具有红外像素和可见光像素的图像传感器110中，红外像素和可见光像素交替排列。因此，在输出图像时，也是两种像素交替输出。由于图像传感器110的这种特性，导致其输出图像的数据格式与普通CMOS不同，无法直接输入通常的图像处理器。进一步地，即使将图像传感器110的图像直接输入图像处理器，因为红外图像数据和可见光图像数据混合在一起，所以图像处理器不能一并处理。
为此，需要把两种图像数据分开，然后再输入图像处理器进行处理。如图1所示，图像数据分离装置120可以被配置为把来自图像传感器110的至少第一类型的图像数据和第二类型的图像数据分离，以获得分离的至少第一类型的图像数据和第二类型的图像数据。在以红外图像和可见光图像为例的场景下，图像数据分离装置120把来自图像传感器110的红外图像数据和可见光图像数据分离，形成分离后的红外图像和可见光图像，并输入图像处理器130。
图像处理器130被配置为对来自图像数据分离装置120的分离的至少第一类型的图像数据和第二类型的图像数据进行处理。在以红外图像和可见光图像为例的场景下，可以采用独立的红外图像处理器和可见光图像处理器组成图像处理器130，以实现对红外图像和可见光图像的分别处理。即，红外图像处理器可以被配置为对来自图像数据分离装置120的红外图像数据进行处理，而可见光图像处理器可以被配置为对来自图像数据分离装置120的可见光图像数据进行处理。
在一个实施例中，可以使用FPGA(现场可编程逻辑门阵列)技术来实现图像数据分离装置120。由于FPGA具有可编程的特性，因此可以方便地实现图像数据分离装置120与各种图像传感器130之间的接口连接，以及图像数据分离装置120与图像传感器110之间的接口连接。
图像数据分离装置120从图像传感器110接收图像数据，并且根据图像格式对红外图像数据和可见光图像数据进行分离。即，图像数据分离装置120可以被配置为从图像传感器110获取的红外图像数据和可见光图像数据中获取第一红外图像数据。例如，参考图2C，在获取红外图像时，可以从图像传感器110获取的红外图像数据和可见光图像数据(在图2C的左侧示出)中直接获取IR分量(第一红外图像数据，参见图2C的右上侧所示的2x2的红外图像数据)，然后按顺序排列从而形成红外图像。
在获取可见光图像时，图像数据分离装置120可以被配置为从图像传感器110获取的红外图像数据和可见光图像数据中获取第一可见光图像数据。然后，根据获取的第一可见光图像数据，获取图像传感器110中被红外图像数据占据的位置处的第二可见光图像数据。接下来，根据获取的第一可见光图像数据和第二可见光图像数据，对被红外图像数据占据的位置处的可见光图像数据进行计算，从而获得第三可见光图像数据。
例如，图像数据分离装置120从图像传感器110获取第一可见光图像数据(原图像数据中的R、GO、B分量)，并且在IR占用的位置恢复G1分量(第二可见光图像数据)。IR分量的左上、左下、右上、右下分别是4个GO分量。因此，在一个实施例中，图像数据分离装置120可以用这4个G0分量的平均值作为IR处的G1分量(第三可见光图像数据)。例如，图2C的右下侧示出了所恢复的可见光图像数据(包括原图像数据中的R、G0、B分量以及从IR占用的位置恢复的G1分量)。
备选地，除了直接获取IR分量以外，还可以采用其他方式来获取IR分量。实际上，图像传感器中的像素阵列在感光时，临近像素之间会相互影响，因此IR分量会受到周围R、G、B分量的影响。在一个实施例中，可以使用滤波模板的方法来恢复IR分量，这样所获得的结果会更加准确。因此，图像数据分离装置120可以被配置为从图像传感器110获取的红外图像数据和可见光图像数据中获取第一红外图像数据以及第一红外图像数据周围的可见光图像数据。然后，图像数据分离装置120通过对第一红外图像数据和第一红外图像数据周围的可见光图像数据进行修正，得到第二红外图像数据。优选地，可以通过对第一红外图像数据和第一红外图像数据周围的可见光图像数据进行加权平均来修正，得到第二红外图像数据。
图2D是示出了采用滤波模板来恢复IR分量的示意图。如图2D中所示，可以从原始图像数据(图2D的上部所示)中获取以IR分量为中心的3x3的图像区域(图2D的左下侧所示)。基于此，设置一个3x3的滤波模板。在这个3x3的滤波模板中有9个具有固定值的系数(w00...w22)(图2D的右下侧所示)。然后，将所获取的3x3的图像区域中的9个像素点的值以滤波模板中的9个系数为权重做加权平均，从而得到IR分量的值。例如，可以采用以下公式(1)来计算IR分量的值：
Figure BDA0002334117050000071
类似地，在恢复可见光数据时，图像数据分离装置120可以被配置为对第二可见光图像数据进行修正以得到第三可见光图像数据，并且根据获取的第一可见光图像数据和第三可见光图像数据来获得第四可见光图像数据。例如，图像数据分离装置120可以对第二可见光图像数据以及第二可见光图像数据周围的可见光图像数据进行加权平均，对第二可见光图像数据进行修正以得到第三可见光图像数据。举例来说，参考图2D，可以直接获取可见光图像中的R、G0和B分量(第一可见光图像数据)。在恢复IR位置上的G1分量时，可以以该G1分量为中心，设置一个3x3的滤波模板，并且将以该G1分量(第二可见光图像数据)为中心的3x3的图像区域中的9个像素点的值与滤波模板中的9个系数为权重做加权平均(例如可以采用上述公式(1)，只是各个系数w00...w22有所不同)，从而恢复G1分量的值(第三可见光图像数据)。在此基础上，将恢复的G1分量的值与直接获取可见光图像中的R、G0和B分量(第一可见光图像数据)相结合，获得最终的可见光图像数据(第四可见光图像数据)。
本领域技术人员可以理解，可以采用不同的滤波模板，例如4x4、5x5或包含更多分量的滤波模板，或者通过设置合适的滤波模板系数来获得更接近于真实值的修正。进一步地，还可以采用双边滤波、梯度滤波等其他合适的的修正方法来进行修正，本实施例仅为示例性说明，在此不作限定。
此外，图像数据分离装置120可以将分离的红外图像和可见光图像分别发送给图像处理器130中包含的红外图像处理器和可见光图像处理器。红外图像处理器和可见光图像处理器在接收到各自的图像后，执行相应的图像处理算法。然后，分别输出处理后的图像。
进一步地，图像处理系统10可以与显示装置(图1未示出)相连接，处理后的可见光图像数据和红外图像数据显示在显示装置上。此外，图像传感器110所获得的红外图像的分辨率比Bayer格式的图像分辨率小(在上文的实施例中，红外图像的分辨率在水平方向和高度方向上都只有Bayer图像的一半)。为了更好地执行图像叠加，图像数据分离装置120还可以被配置为对红外图像数据和/或可见光图像数据进行采样，使得红外图像数据和可见光图像数据的分辨率相同。例如，图像数据分离装置120可以对红外图像数据执行上采样，使得上采样后的红外图像数据与可见光图像数据的分辨率相同。备选地，图像数据分离装置120还可以对可见光图像数据执行下采样，使得下采样后的可见光图像数据与红外图像数据的分辨率相同。
另外，可以不在图像数据分离装置120中执行上采样/下采样，而是由图像处理器130对分离的红外图像数据进行上采样或对分离的可见光图像执行下采样，只要保证两种图像的分辨率相同即可。即，图像处理器130可以对红外图像数据执行上采样，或者对可见光图像数据执行下采样，使得红外图像数据与可见光图像数据的分辨率相同。
此外，可以将所输出的处理后的图像进行叠加。例如，可以采用图1所示的图像叠加装置140来实现图像叠加。在一种实施例中，图像叠加装置140即为可见光图像处理器。具体地，红外图像处理器可以将处理后的红外图像传送给可见光图像处理器，由可见光图像处理器(在执行了对可见光图像数据的处理后)完成可见光图像和红外图像的叠加。在其他实施例中，红外图像处理器也可以作为图像叠加装置，将可见光图像传送给红外图像处理器，或者也可以单独设置图像叠加装置140，分别接受可见光图像和红外图像，以便完成可见光图像和红外图像的叠加。
进一步地，叠加后的图像可以被直接输出到显示装置上进行显示。
采用本申请的实施例，能够实现红外图像和可见光图像叠加时的精准匹配(精度可以达到单个像素级别)。通过将红外图像和可见光图像进行分离，可以使分离的图像分别进入红外图像处理器和可见光图像处理器进行处理，使得系统的器件选型更加灵活。
图3是示出了根据本申请的实施例的图像处理方法的流程图。
在块S310处，同时获取至少第一类型的图像数据和第二类型的图像数据。例如，第一类型的图像数据可以包括红外图像数据，而第二类型的图像数据可以包括可见光图像数据。
在块S320处，把至少第一类型的图像数据和第二类型的图像数据分离，以获得分离的至少第一类型的图像数据和第二类型的图像数据。例如，可以把在块S310处获取红外图像数据和可见光图像数据分离，以获得分离后的红外图像数据和可见光图像数据分离。
在一个实施例中，可以从获取的红外图像数据和可见光图像数据中获取第一红外图像数据。例如，在获取红外图像时，可以从2x2的Bayer单元中直接获取IR分量(第一红外图像数据)，然后按顺序排列从而形成红外图像。
备选地，可以从获取的红外图像数据和可见光图像数据中获取第一红外图像数据以及第一红外图像数据周围的可见光图像数据，通过对第一红外图像数据和第一红外图像数据周围的可见光图像数据进行修正，得到第二红外图像数据。例如，可以通过对第一红外图像数据和第一红外图像数据周围的可见光图像数据进行加权平均来修正，得到第二红外图像数据。
在一个实施例中，在获取可见光图像时，可以从获取的红外图像数据和可见光图像数据中获取第一可见光图像数据。然后，根据获取的第一可见光图像数据，获取被红外图像数据占据的位置处的第二可见光图像数据。接下来，根据获取的第一可见光图像数据和第二可见光图像数据，获得第三可见光图像数据。可以通过对第二可见光图像数据进行修正来得到第三可见光图像数据。例如，可以通过对第二可见光图像数据以及第二可见光图像数据周围的像素值进行加权平均，对第二可见光图像数据进行修正来得到第三可见光图像数据。可以根据获取的第一可见光图像数据和第三可见光图像数据来获得第四可见光图像数据。具体内容可以参考上文结合图2C-2D的描述。
在块S330，对分离的至少第一类型的图像数据和第二类型的图像数据进行处理。例如，为了更好地执行图像叠加，可以对第一类型的图像数据和/或第二类型的图像数据进行采样，使得第一类型的图像数据与第二类型的图像数据的分辨率相同。例如，可以对第一类型的图像数据执行上采样，使得上采样后的第一类型的图像数据与第二类型的图像数据的分辨率相同。备选地，可以对第二类型的图像数据执行下采样，使得下采样后的第二类型的图像数据与第一类型的图像数据的分辨率相同。
备选地，方法还可以包括块S340。在块S340，可以将处理后的第一类型的图像数据和处理后的第二类型的图像数据进行叠加，获取叠加图像数据。从而，可以显示叠加图像数据。
图4是示出了根据本申请的实施例的无人机的框图。如图4所示，该无人机40包括图像处理系统410，其例如可以是参考图1所描述的图像处理系统10。此外，无人机40还包括通信系统420和推进机构430。
通信系统420可以支持外部中断经由无线信号与图像处理系统410进行通信。通信系统420可以包括适合于无线通信的任何数量的发射机、接收机和/或收发机。所述通信可以是单向通信，使得数据只能在一个方向上传输。例如，单向通信可以仅涉及无人机40向外部终端发送数据。可以从通信系统420的一个或多个发射机向外部终端的一个或多个接收机发送数据，或者反之亦然。备选地，所述通信可以是双向通信，使得可以在无人机40和外部终端之间的两个方向上发送数据。双向通信可以涉及从通信系统40的一个或多个发射机向外部终端的一个或多个接收机发送数据，并且反之亦然。例如，在一个实施例中，无人机40可以通过通信系统420将图像处理系统410处理后的第一类型的图像数据和第二类型的图像数据发送至外部终端。
推进系统430可以包括任意数量旋翼(例如，一个、两个、三个、四个、五个、六个或更多个)。在图4的示例中，将推进机构430示出为包括两个旋翼。该旋翼可以使得无人机40能够悬停/保持位置、改变朝向和/或改变位置。例如，无人机40可以具有水平朝向的旋翼，其可以向无人机40提供升力和/或推力。可以驱动多个水平朝向的旋翼以向无人机40提供垂直起飞、垂直着陆和悬停能力。在一些实施例中，水平朝向旋翼中的一个或多个可沿顺时针方向旋转，而水平旋翼中的一个或多个可沿逆时针方向旋转。例如，顺时针旋翼的数量可以等于逆时针旋翼的数量。为了控制由每个旋翼产生的升力和/或推力，从而调整无人机40(例如，相对于最多三个平移度和三个旋转度)的空间布置、速度和/或加速度，可以独立地改变每个水平朝向的旋翼的转速。
相对旋翼的轴之间的距离可以是任何合适的长度。例如，该长度可以小于或等于2m、或小于等于5m。在一些实施例中，该长度可以在40cm至7m、70cm至2m，或5cm至5m的范围内。
另外，本领域技术人员可以理解，无人机40可以具有一个或多个、两个或更多个、三个或更多个，或四个或更多个推进机构。全部推进机构可以是相同类型的。备选地，一个或多个推进机构可以是不同类型的推进机构，例如旋翼、螺旋桨、叶片、发动机、电动机、轮、轴、磁体、喷嘴中的一个或多个。推进机构可以安装在无人机40的任何合适部分上，例如安装在顶部、底部、前部、后部、侧面或其合适的组合上。
另外，尽管上文提到了本申请的实施例可以应用于无人机中，然而其应用不限于此。例如，本申请的实施例中的图像处理系统还可以应用于诸如无人车、无人船、机器人等其它可移动平台上。
此外，本申请的实施例可以借助于计算机程序产品来实现。例如，该计算机程序产品可以是计算机可读存储介质。计算机可读存储介质上存储有计算机程序，当在计算设备上执行该计算机程序时，能够执行相关的操作以实现本申请的实施例的上述技术方案。
例如，图5是示出了根据本申请的实施例一个实施例的计算机可读存储介质50的框图。如图5所示，计算机可读存储介质50包括计算机程序510。计算机程序510在由至少一个处理器运行时，使得至少一个处理器执行例如上文结合图3所描述的方法的各个步骤。
本领域技术人员可以理解，计算机可读存储介质50的示例包括但不限于：半导体存储介质、光学存储介质、磁性存储介质、或任何其他形式的计算机可读存储介质。
上文已经结合优选实施例对本申请的实施例的方法和涉及的设备进行了描述。本领域技术人员可以理解，上面示出的方法仅是示例性的。本申请的实施例的方法并不局限于上面示出的步骤和顺序。例如，上述步骤可以按照与发明实施例的实施例中的不同步骤执行，或者并行执行。
应该理解，本申请的实施例的上述实施例可以通过软件、硬件或者软件和硬件两者的结合来实现。本申请的实施例的这种设置典型地提供为设置或编码在例如光介质(例如CD-ROM)、软盘或硬盘等的计算机可读介质上的软件、代码和/或其他数据结构、或者诸如一个或多个ROM或RAM或PROM芯片上的固件或微代码的其他介质、或一个或多个模块中的可下载的软件图像、共享数据库等。软件或固件或这种配置可安装在计算设备上，以使得计算设备中的一个或多个处理器执行本申请的实施例实施例所描述的技术方案。
此外，上述每个实施例中所使用的设备的每个功能模块或各个特征可以由电路实现或执行，所述电路通常为一个或多个集成电路。设计用于执行本说明书中所描述的各个功能的电路可以包括通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)或通用集成电路、现场可编程门阵列(FPGA)或其他可编程逻辑器件、分立的门或晶体管逻辑、或分立的硬件组件、或以上器件的任意组合。通用处理器可以是微处理器，或者所述处理器可以是现有的处理器、控制器、微控制器或状态机。上述通用处理器或每个电路可以由数字电路配置，或者可以由逻辑电路配置。此外，当由于半导体技术的进步，出现了能够替代目前的集成电路的先进技术时，本申请的实施例也可以使用利用该先进技术得到的集成电路。
运行在根据本申请的实施例的设备上的程序可以是通过控制中央处理单元(CPU)来使计算机实现本申请的实施例功能的程序。该程序或由该程序处理的信息可以临时存储在易失性存储器(如随机存取存储器RAM)、硬盘驱动器(HDD)、非易失性存储器(如闪速存储器)、或其他存储器系统中。用于实现本申请的实施例各实施例功能的程序可以记录在计算机可读记录介质上。可以通过使计算机系统读取记录在所述记录介质上的程序并执行这些程序来实现相应的功能。此处的所谓“计算机系统”可以是嵌入在该设备中的计算机系统，可以包括操作系统或硬件(如外围设备)。
如上，已经参考附图对本申请的实施例进行了详细描述。但是，具体的结构并不局限于上述实施例，本申请的实施例也包括不偏离本申请的实施例主旨的任何设计改动。另外，可以在权利要求的范围内对本申请的实施例的记载进行多种改动，通过适当地组合不同实施例的技术手段所得到的实施例也包含在本申请的实施例的技术范围内。此外，上述实施例中所描述的具有相同效果的组件可以相互替代。

Claims (58)

1.一种图像处理系统，其特征在于，包括：
图像传感器，被配置为同时获取至少第一类型的图像数据和第二类型的图像数据；
图像数据分离装置，被配置为把来自所述图像传感器的至少所述第一类型的图像数据和所述第二类型的图像数据分离，以获得分离的至少所述第一类型的图像数据和所述第二类型的图像数据；以及
图像处理器，被配置为对来自所述图像数据分离装置的分离的至少所述第一类型的图像数据和所述第二类型的图像数据进行处理。
2.根据权利要求1所述的图像处理系统，其特征在于，所述第一类型的图像数据包括红外图像数据，所述第二类型的图像数据包括可见光图像数据。
3.根据权利要求2所述的图像处理系统，其特征在于，所述图像处理器包括：
红外图像处理器，被配置为对来自所述图像数据分离装置的所述红外图像数据进行处理；以及
可见光图像处理器，被配置为对来自所述图像数据分离装置的所述可见光图像数据进行处理。
4.根据权利要求2所述的图像处理系统，其特征在于，所述图像数据分离装置被配置为：
从所述图像传感器获取的所述红外图像数据和所述可见光图像数据中获取第一红外图像数据。
5.根据权利要求2所述的图像处理系统，其特征在于，所述图像数据分离装置被配置为：
从所述图像传感器获取的所述红外图像数据和所述可见光图像数据中获取第一红外图像数据以及所述第一红外图像数据周围的可见光图像数据；
通过对所述第一红外图像数据和所述第一红外图像数据周围的可见光图像数据进行修正，得到第二红外图像数据。
6.根据权利要求5所述的图像处理系统，其特征在于，所述对所述第一红外图像数据和所述第一红外图像数据周围的可见光图像数据进行修正包括：
通过对所述第一红外图像数据和所述第一红外图像数据周围的可见光图像数据进行加权平均来修正，得到第二红外图像数据。
7.根据权利要求5或6所述的图像处理系统，其特征在于，所述图像处理系统与显示装置相连接，所述第二红外图像数据显示在所述显示装置上。
8.根据权利要求2所述的图像处理系统，其特征在于，所述图像数据分离装置被配置为：
从所述图像传感器获取的所述红外图像数据和所述可见光图像数据中获取第一可见光图像数据；
根据所述第一可见光图像数据，获取图像传感器中被红外图像数据占据的位置处的第二可见光图像数据。
9.根据权利要求8所述的图像处理系统，其特征在于，所述图像数据分离装置还被配置为：
通过对所述第二可见光图像数据进行修正，得到第三可见光图像数据；以及
根据所述第一可见光图像数据和所述第三可见光图像数据，获得第四可见光图像数据。
10.根据权利要求9所述的图像处理系统，其特征在于，所述图像数据分离装置被配置为：
通过对所述第二可见光图像数据以及所述第二可见光图像数据周围的可见光图像数据进行加权平均，对所述第二可见光图像数据进行修正，得到所述第三可见光图像数据。
11.根据权利要求9所述的图像处理系统，其特征在于，所述图像处理系统与显示装置相连接，所述第四可见光图像数据显示在所述显示装置上。
12.根据权利要求1所述的图像处理系统，其特征在于，所述图像数据分离装置还被配置为：
对所述第一类型的图像数据和/或所述第二类型的图像数据进行采样，使得所述第一类型的图像数据与所述第二类型的图像数据的分辨率相同。
13.根据权利要求12所述的图像处理系统，其特征在于，所述图像数据分离装置还被配置为：
对所述第一类型的图像数据执行上采样，使得上采样后的所述第一类型的图像数据与所述第二类型的图像数据的分辨率相同。
14.根据权利要求12所述的图像处理系统，其特征在于，所述图像数据分离装置还被配置为：
对所述第二类型的图像数据执行下采样，使得下采样后的所述第二类型的图像数据与所述第一类型的图像数据的分辨率相同。
15.根据权利要求1所述的图像处理系统，其特征在于，所述图像处理器还被配置为：
对所述第一类型的图像数据和/或所述第二类型的图像数据进行采样，使得所述第一类型的图像数据与所述第二类型的图像数据的分辨率相同。
16.根据权利要求15所述的图像处理系统，其特征在于，所述图像处理器还被配置为：
对所述第一类型的图像数据执行上采样，使得上采样后的第一类型的图像数据与所述第二类型的图像数据的分辨率相同。
17.根据权利要求15所述的图像处理系统，其特征在于，所述图像处理器还被配置为：
对所述第二类型的图像数据执行下采样，使得下采样后的第二类型的图像数据与所述第一类型的图像数据的分辨率相同。
18.根据权利要求12-17中任意一项所述的图像处理系统，其特征在于，所述第一类型的图像数据包括红外图像数据，所述第二类型的图像数据包括可见光图像数据。
19.根据权利要求1所述的图像处理系统，其特征在于，还包括：
图像叠加装置，被配置为将来自所述图像处理器的处理后的所述第一类型的图像数据和处理后的所述第二类型的图像数据进行叠加，获取叠加图像数据。
20.根据权利要求3所述的图像处理系统，其特征在于，
所述红外图像处理器还被配置为：将处理后的所述红外图像数据发送给所述可见光图像处理器；以及
所述可见光图像处理器还被配置为：将处理后的所述可见光图像数据和来自所述红外图像处理器的处理后的所述红外图像数据进行叠加，获取叠加图像数据。
21.根据权利要求19或20所述的图像处理系统，其特征在于，所述图像处理系统与显示装置相连接，所述叠加图像数据显示在所述显示装置上。
22.根据权利要求1所述的图像处理系统，其特征在于，所述图像数据分离装置通过现场可编程门阵列FPGA实现。
23.一种图像处理方法，其特征在于，包括：
同时获取至少第一类型的图像数据和第二类型的图像数据；
把至少所述第一类型的图像数据和所述第二类型的图像数据分离，以获得分离的至少所述第一类型的图像数据和所述第二类型的图像数据；以及
对分离的至少所述第一类型的图像数据和所述第二类型的图像数据进行处理。
24.根据权利要求23所述的图像处理方法，其特征在于，所述第一类型的图像数据包括红外图像数据，所述第二类型的图像数据包括可见光图像数据。
25.根据权利要求24所述的图像处理方法，其特征在于，从获取的数据中获取第一红外图像数据。
26.根据权利要求24所述的图像处理方法，其特征在于，
从获取的所述红外图像数据和所述可见光图像数据中获取第一红外图像数据以及所述第一红外图像数据周围的可见光图像数据；
通过对所述第一红外图像数据和所述第一红外图像数据周围的可见光图像数据进行修正，得到第二红外图像数据。
27.根据权利要求26所述的图像处理方法，其特征在于，对所述第一红外图像数据和所述第一红外图像数据周围的可见光图像数据进行修正包括：
通过对所述第一红外图像数据和所述第一红外图像数据周围的可见光图像数据进行加权平均来修正，得到第二红外图像数据。
28.根据权利要求24所述的图像处理方法，其特征在于，
从获取的所述红外图像数据和所述可见光图像数据中获取第一可见光图像数据；
根据获取的所述第一可见光图像数据，获取被红外图像数据占据的位置处的第二可见光图像数据。
29.根据权利要求28所述的图像处理方法，其特征在于，
对所述第二可见光图像数据进行修正，得到第三可见光图像数据；以及
根据所述第一可见光图像数据和所述第三可见光图像数据，获得第四可见光图像数据。
30.根据权利要求29所述的图像处理方法，其特征在于，
通过对所述第二可见光图像数据以及所述第二可见光图像数据周围的像素值进行加权平均，对所述第二可见光图像数据进行修正，得到所述第三可见光图像数据。
31.根据权利要求23所述的图像处理方法，其特征在于，对所述第一类型的图像数据和/或所述第二类型的图像数据进行采样，使得所述第一类型的图像数据与所述第二类型的图像数据的分辨率相同。
32.根据权利要求31所述的图像处理方法，其特征在于，
对所述第一类型的图像数据执行上采样，使得上采样后的所述第一类型的图像数据与所述第二类型的图像数据的分辨率相同。
33.根据权利要求31所述的图像处理方法，其特征在于，
对所述第二类型的图像数据执行下采样，使得下采样后的所述第二类型的图像数据与所述第一类型的图像数据的分辨率相同。
34.根据权利要求31-33中任意一项所述的图像处理方法，其特征在于，所述第一类型的图像数据包括红外图像数据，所述第二类型的图像数据包括可见光图像数据。
35.根据权利要求23所述的图像处理方法，还包括：
将处理后的所述第一类型的图像数据和处理后的所述第二类型的图像数据进行叠加，获取叠加图像数据。
36.一种无人机，其特征在于，包括：
一个或更多个推进机构；
通信系统，被配置为提供无人机与外部终端之间的通信；以及
图像处理系统，包括：
图像传感器，被配置为同时获取至少第一类型的图像数据和第二类型的图像数据；
图像数据分离装置，被配置为把来自所述图像传感器的至少所述第一类型的图像数据和所述第二类型的图像数据分离，以获得分离的至少所述第一类型的图像数据和所述第二类型的图像数据；以及
图像处理器，被配置为对来自所述图像数据分离装置的分离的至少所述第一类型的图像数据和所述第二类型的图像数据进行处理。
37.根据权利要求36所述的无人机，其特征在于，所述第一类型的图像数据包括红外图像数据，所述第二类型的图像数据包括可见光图像数据。
38.根据权利要求37所述的无人机，其特征在于，所述图像处理器包括：
红外图像处理器，被配置为对来自所述图像数据分离装置的所述红外图像数据进行处理；以及
可见光图像处理器，被配置为对来自所述图像数据分离装置的所述可见光图像数据进行处理。
39.根据权利要求37所述的无人机，其特征在于，所述图像数据分离装置被配置为：
从所述图像传感器获取的所述红外图像数据和所述可见光图像数据中获取第一红外图像数据。
40.根据权利要求37所述的无人机，其特征在于，所述图像数据分离装置被配置为：
从所述图像传感器获取的所述红外图像数据和所述可见光图像数据中获取第一红外图像数据以及所述第一红外图像数据周围的可见光图像数据；
通过对所述第一红外图像数据和所述第一红外图像数据周围的可见光图像数据进行修正，得到第二红外图像数据。
41.根据权利要求40所述的无人机，其特征在于，所述对所述第一红外图像数据和所述第一红外图像数据周围的可见光图像数据进行修正包括：
通过对所述第一红外图像数据和所述第一红外图像数据周围的可见光图像数据进行加权平均来修正，得到第二红外图像数据。
42.根据权利要求40或41所述的无人机，其特征在于，所述图像处理系统与显示装置相连接，所述第二红外图像数据显示在所述显示装置上。
43.根据权利要求37所述的无人机，其特征在于，所述图像数据分离装置被配置为：
从所述图像传感器获取的所述红外图像数据和所述可见光图像数据中获取第一可见光图像数据；
根据所述第一可见光图像数据，获取图像传感器中被红外图像数据占据的位置处的第二可见光图像数据。
44.根据权利要求43所述的无人机，其特征在于，所述图像数据分离装置还被配置为：
通过对所述第二可见光图像数据进行修正，得到第三可见光图像数据；以及
根据所述第一可见光图像数据和所述第三可见光图像数据，获得第四可见光图像数据。
45.根据权利要求44所述的无人机，其特征在于，所述图像数据分离装置被配置为：
通过对所述第二可见光图像数据以及所述第二可见光图像数据周围的可见光图像数据进行加权平均，对所述第二可见光图像数据进行修正，得到所述第三可见光图像数据。
46.根据权利要求44所述的无人机，其特征在于，所述图像处理系统与显示装置相连接，所述第四可见光图像数据显示在所述显示装置上。
47.根据权利要求36所述的无人机，其特征在于，所述图像数据分离装置还被配置为：
对所述第一类型的图像数据和/或所述第二类型的图像数据进行采样，使得所述第一类型的图像数据与所述第二类型的图像数据的分辨率相同。
48.根据权利要求47所述的无人机，其特征在于，所述图像数据分离装置还被配置为：
对所述第一类型的图像数据执行上采样，使得上采样后的所述第一类型的图像数据与所述第二类型的图像数据的分辨率相同。
49.根据权利要求47所述的无人机，其特征在于，所述图像数据分离装置还被配置为：
对所述第二类型的图像数据执行下采样，使得下采样后的所述第二类型的图像数据与所述第一类型的图像数据的分辨率相同。
50.根据权利要求36所述的无人机，其特征在于，所述图像处理器还被配置为：
对所述第一类型的图像数据和/或所述第二类型的图像数据进行采样，使得所述第一类型的图像数据与所述第二类型的图像数据的分辨率相同。
51.根据权利要求50所述的无人机，其特征在于，所述图像处理器还被配置为：
对所述第一类型的图像数据执行上采样，使得上采样后的第一类型的图像数据与所述第二类型的图像数据的分辨率相同。
52.根据权利要求50所述的无人机，其特征在于，所述图像处理器还被配置为：
对所述第二类型的图像数据执行下采样，使得下采样后的第二类型的图像数据与所述第一类型的图像数据的分辨率相同。
53.根据权利要求47-52中任意一项所述的无人机，其特征在于，所述第一类型的图像数据包括红外图像数据，所述第二类型的图像数据包括可见光图像数据。
54.根据权利要求36所述的无人机，其特征在于，所述图像处理系统还包括：
图像叠加装置，被配置为将来自所述图像处理器的处理后的所述第一类型的图像数据和处理后的所述第二类型的图像数据进行叠加，获取叠加图像数据。
55.根据权利要求38所述的无人机，其特征在于，
所述红外图像处理器还被配置为：将处理后的所述红外图像数据发送给所述可见光图像处理器；以及
所述可见光图像处理器还被配置为：将处理后的所述可见光图像数据和来自所述红外图像处理器的处理后的所述红外图像数据进行叠加，获取叠加图像数据。
56.根据权利要求54或55所述的无人机，其特征在于，所述图像处理系统与显示装置相连接，所述叠加图像数据显示在所述显示装置上。
57.根据权利要求36所述的无人机，其特征在于，所述图像数据分离装置通过现场可编程门阵列FPGA实现。
58.一种计算机可读存储介质，存储有计算机程序，当所述计算机程序由包括处理器的装置执行时，使所述装置执行根据权利要求23-35中任意一项所述的方法。
CN201880042462.6A 2018-08-31 2018-08-31 图像处理系统和方法 Expired - Fee Related CN110809881B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110895357.0A CN113438422A (zh) 2018-08-31 2018-08-31 图像数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/103536 WO2020042149A1 (zh) 2018-08-31 2018-08-31 图像处理系统和方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110895357.0A Division CN113438422A (zh) 2018-08-31 2018-08-31 图像数据处理方法

Publications (2)

Publication Number Publication Date
CN110809881A true CN110809881A (zh) 2020-02-18
CN110809881B CN110809881B (zh) 2021-08-24

Family

ID=69487925

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110895357.0A Pending CN113438422A (zh) 2018-08-31 2018-08-31 图像数据处理方法
CN201880042462.6A Expired - Fee Related CN110809881B (zh) 2018-08-31 2018-08-31 图像处理系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110895357.0A Pending CN113438422A (zh) 2018-08-31 2018-08-31 图像数据处理方法

Country Status (3)

Country Link
US (1) US20210168307A1 (zh)
CN (2) CN113438422A (zh)
WO (1) WO2020042149A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108965654B (zh) * 2018-02-11 2020-12-25 浙江宇视科技有限公司 基于单传感器的双光谱摄像机系统和图像处理方法
US10902572B1 (en) 2019-10-09 2021-01-26 Karl Storz Imaging, Inc. Enhanced fluorescence imaging for imaging system
WO2021217463A1 (zh) * 2020-04-28 2021-11-04 深圳市大疆创新科技有限公司 图像处理算法装置、图像处理方法及相机

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101179742A (zh) * 2006-11-10 2008-05-14 三洋电机株式会社 摄像装置和图像信号处理装置
CN101510007A (zh) * 2009-03-20 2009-08-19 北京科技大学 一种红外光图像与可见光图像实时摄取与自适应融合装置
CN201854353U (zh) * 2010-10-13 2011-06-01 山东神戎电子股份有限公司 多光谱图像融合摄像机
CN102404581A (zh) * 2011-11-02 2012-04-04 清华大学 基于插值与近红外的彩色图像处理的方法和装置
US20130265438A1 (en) * 2012-04-09 2013-10-10 Sony Corporation Imaging apparatus, imaging method, and camera system
CN103686111A (zh) * 2013-12-31 2014-03-26 上海富瀚微电子有限公司 一种基于rgbir图像传感器的颜色校正方法以及装置
CN104079908A (zh) * 2014-07-11 2014-10-01 上海富瀚微电子股份有限公司 红外与可见光图像信号处理方法及其实现装置
CN105988215A (zh) * 2015-02-15 2016-10-05 宁波舜宇光电信息有限公司 一种多光谱模组成像系统及其制造方法和应用
CN106488209A (zh) * 2016-09-29 2017-03-08 杭州雄迈集成电路技术有限公司 一种基于红外环境的rgb‑ir图像传感器的颜色校正方法
CN106572339A (zh) * 2016-10-27 2017-04-19 深圳奥比中光科技有限公司 一种图像采集器和图像采集系统
CN106932692A (zh) * 2017-03-07 2017-07-07 北京瑞盈智拓科技发展有限公司 基于红外紫外可见光图像融合的检测装置以及检测方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4501855B2 (ja) * 2005-12-22 2010-07-14 ソニー株式会社 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
JP4466569B2 (ja) * 2006-01-10 2010-05-26 株式会社豊田中央研究所 カラー画像再生装置
JP2016012746A (ja) * 2012-11-07 2016-01-21 ソニー株式会社 信号処理装置、信号処理方法及び信号処理プログラム
JP6029954B2 (ja) * 2012-11-30 2016-11-24 クラリオン株式会社 撮像装置
CN106464850B (zh) * 2014-06-24 2019-10-11 麦克赛尔株式会社 摄像传感器以及摄像装置
KR102286136B1 (ko) * 2014-12-01 2021-08-06 에스케이하이닉스 주식회사 컬러 필터 어레이, 이를 포함하는 이미지 센서 및 이를 이용한 적외선 정보 획득 방법
CN104539919B (zh) * 2014-12-31 2017-01-25 上海富瀚微电子股份有限公司 图像传感器的去马赛克方法及装置
CN106952245B (zh) * 2017-03-07 2018-04-10 深圳职业技术学院 一种航拍可见光图像的处理方法和系统
CN108282644B (zh) * 2018-02-14 2020-01-10 北京飞识科技有限公司 一种单摄像头成像方法及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101179742A (zh) * 2006-11-10 2008-05-14 三洋电机株式会社 摄像装置和图像信号处理装置
CN101510007A (zh) * 2009-03-20 2009-08-19 北京科技大学 一种红外光图像与可见光图像实时摄取与自适应融合装置
CN201854353U (zh) * 2010-10-13 2011-06-01 山东神戎电子股份有限公司 多光谱图像融合摄像机
CN102404581A (zh) * 2011-11-02 2012-04-04 清华大学 基于插值与近红外的彩色图像处理的方法和装置
US20130265438A1 (en) * 2012-04-09 2013-10-10 Sony Corporation Imaging apparatus, imaging method, and camera system
CN103686111A (zh) * 2013-12-31 2014-03-26 上海富瀚微电子有限公司 一种基于rgbir图像传感器的颜色校正方法以及装置
CN104079908A (zh) * 2014-07-11 2014-10-01 上海富瀚微电子股份有限公司 红外与可见光图像信号处理方法及其实现装置
CN105988215A (zh) * 2015-02-15 2016-10-05 宁波舜宇光电信息有限公司 一种多光谱模组成像系统及其制造方法和应用
CN106488209A (zh) * 2016-09-29 2017-03-08 杭州雄迈集成电路技术有限公司 一种基于红外环境的rgb‑ir图像传感器的颜色校正方法
CN106572339A (zh) * 2016-10-27 2017-04-19 深圳奥比中光科技有限公司 一种图像采集器和图像采集系统
CN106932692A (zh) * 2017-03-07 2017-07-07 北京瑞盈智拓科技发展有限公司 基于红外紫外可见光图像融合的检测装置以及检测方法

Also Published As

Publication number Publication date
WO2020042149A1 (zh) 2020-03-05
US20210168307A1 (en) 2021-06-03
CN113438422A (zh) 2021-09-24
CN110809881B (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN110809881B (zh) 图像处理系统和方法
US20200349687A1 (en) Image processing method, device, unmanned aerial vehicle, system, and storage medium
US20190215496A1 (en) Extended Color Processing on Pelican Array Cameras
CN110622499B (zh) 图像生成装置、图像生成系统、图像生成方法及记录介质
EP2589226B1 (en) Image capture using luminance and chrominance sensors
KR102710216B1 (ko) 멀티 센서를 사용하여 옴니 스테레오 비디오를 캡처하는 시스템 및 방법
US11108948B2 (en) Systems and methods for improved mobile platform imaging
JP6398457B2 (ja) 撮影装置、撮影方法、およびプログラム
JP2017514330A (ja) Ｒｇｂ−ｄ画像化システム及び超音波深度検知を使用するｒｇｂ−ｄ画像化方法
US12015835B2 (en) Multi-sensor imaging color correction
US10552963B2 (en) Imaging device, imaging method, and non-transitory recording medium
EP4241439A1 (en) Gaze-based non-regular subsampling of sensor pixels
JP2023169254A (ja) 撮像素子、撮像素子の作動方法、プログラム、及び撮像システム
CN110995982B (zh) 图像处理装置及其控制方法、摄像装置、以及记录介质
US10602066B2 (en) Imaging device, imaging method, program, and non-transitory recording medium
EP4142300A1 (en) Image acquisition apparatus including a plurality of image sensors, and electronic apparatus including the image acquisition apparatus
CN108665410B (zh) 一种图像超分辨率重构方法、装置及系统
JP6627117B1 (ja) 画像処理装置、撮像装置、移動体、画像処理方法、及びプログラム
WO2021117390A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
JP5269954B2 (ja) 撮像装置
JPWO2021058347A5 (zh)
JP6884959B1 (ja) 制御装置、画像処理装置、撮像装置、移動体、制御方法、及びプログラム
WO2024070203A1 (ja) 遠隔監視システム
JP6992425B2 (ja) 画像処理装置、座席使用状況検出システム、画像処理方法、及び、画像処理プログラム
JP6610740B2 (ja) 撮影装置、撮影方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210824

CF01 Termination of patent right due to non-payment of annual fee