CN105981379A - 自动白平衡系统及方法 - Google Patents
自动白平衡系统及方法 Download PDFInfo
- Publication number
- CN105981379A CN105981379A CN201480074936.7A CN201480074936A CN105981379A CN 105981379 A CN105981379 A CN 105981379A CN 201480074936 A CN201480074936 A CN 201480074936A CN 105981379 A CN105981379 A CN 105981379A
- Authority
- CN
- China
- Prior art keywords
- reference zone
- imageing sensor
- image
- white balance
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 104
- 238000003384 imaging method Methods 0.000 claims abstract description 84
- 230000004044 response Effects 0.000 claims abstract description 19
- 230000000007 visual effect Effects 0.000 claims description 28
- 230000007246 mechanism Effects 0.000 claims description 22
- 241000208340 Araliaceae Species 0.000 claims description 15
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 15
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 15
- 235000008434 ginseng Nutrition 0.000 claims description 15
- 238000006073 displacement reaction Methods 0.000 claims description 10
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 238000005303 weighing Methods 0.000 claims description 5
- 238000010422 painting Methods 0.000 claims description 2
- 230000001960 triggered effect Effects 0.000 claims 1
- 230000033001 locomotion Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 9
- 238000005286 illumination Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 239000000203 mixture Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 241000222065 Lycoperdon Species 0.000 description 4
- 241000768494 Polymorphum Species 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000007935 neutral effect Effects 0.000 description 3
- 241001062009 Indigofera Species 0.000 description 2
- 235000000177 Indigofera tinctoria Nutrition 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 229940097275 indigo Drugs 0.000 description 2
- COHYTHOBJLSHDF-UHFFFAOYSA-N indigo powder Natural products N1C2=CC=CC=C2C(=O)C1=C1C(=O)C2=CC=CC=C2N1 COHYTHOBJLSHDF-UHFFFAOYSA-N 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- -1 such as Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 102000006822 Agouti Signaling Protein Human genes 0.000 description 1
- 108010072151 Agouti Signaling Protein Proteins 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 241001464837 Viridiplantae Species 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 125000002015 acyclic group Chemical group 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000006260 foam Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 239000000123 paper Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000013558 reference substance Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
- B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Mechanical Engineering (AREA)
- Remote Sensing (AREA)
- Studio Devices (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
本发明提供一种对数字图像进行自动白平衡(AWB)处理的系统以及制造及使用所述系统的方法。响应于白平衡触发,自动地调整图像传感器与用于白平衡的参考区域之间的相对位置使所述图像传感器能够获取所述参考区域的图像。接着计算反映照明源色温的白平衡参数并使用所述参数来执行白平衡以去除色偏。所述参考区域的位置可以提前记录或由所述图像传感器扫描好。可以使所述参考区域可移动以使得其能够位于所述图像传感器的视野内。所述成像系统可以进一步包括能够使所述图像传感器能够绕一个或多个轴旋转的云台。本发明系统及方法适于例如由无人飞行器(UAV)使用。
Description
技术领域
本发明涉及一种数字图像处理,更具体地,但不限于,涉及自动白平衡系统及方法。
背景技术
白平衡是消除由照明源的色温所引起的不真实的色偏的过程。不同的照明源,例如日光、白炽灯和荧光灯,具有不同的功率谱分布,其可以引起图像的颜色失真。这样的失真可以导致例如在照明源色偏的情况下,白色的物体无法呈现为白色。例如,低色温(如2000K)的照明源可能使图像偏红色,而高色温(如9000K)的照明源可能使图像偏蓝色。人眼可以自动地适应照明的色温,而当前可用的(或传统的)人工图像获取装置及方法(例如,照相机和摄像机中使用的图像传感器)却无法自动地适应,因此会由于照明源的色温而产生一定的色偏伪影。通过白平衡补偿亮度,生成的图像具有更加真实的色彩。
市售的数码相机具有白平衡功能,例如,允许用户从预定义的照明设置(例如,白炽灯、荧光灯、阴天、闪光灯、晴天、烛光等)的集合中选择一色温设置。然而,如果实际光照条件与所述照明设置不匹配,使用预定义的照明设置产生的结果可能并不十分理想。备选地,各种技术可用于执行自动白平衡(AWB),即,无需所述照明设置的用户说明。这样的AWB技术需要基于图像的色彩组成。然而,在没有关于照明源色温的外部参考的情况下执行自动白平衡可能是困难的且计算量大。当自动白平衡技术不能分辨照明源所引起的整体色偏与场景组成的内在色彩偏差时,自动白平衡技术中很容易出现误差。
例如,常用的AWB技术为灰度世界(gray world)法,其假设场景中的平均颜色是灰色的或者是无色的。当所述场景中包括大量的颜色平均为灰色时,灰度世界技术是有效的。然而,当场景的平均颜色不是灰色时,灰度世界技术可能会引入明显的色彩偏差。这种问题在非灰色单色场景(例如,一蓝色海洋或绿色植物的场景)中尤为严重。另一种AWB技术是RGB最大值(max-RGB)法,其假设从红、绿、蓝三色通道中的每一个获取的最大值的组合是所述照明源的颜色。对于单色场景来说,所述RGB最大值法比所述灰度世界法更有效,但所述RGB最大值法的有效性高度依赖于场景组成。其他的白平衡算法存在相似的局限性。此外,一些具有高计算复杂度的算法(例如,其需要大量的微分运算)并不适用于实际应用,尤其不适用于实时视频处理。
鉴于上述,有必要提供改进的白平衡系统及方法,其可以在高效计算的同时为各种类型的图像构成执行精确的白平衡。
发明内容
依据本文所公开的第一方面,提出了一种对数字图像进行自动白平衡的方法,所述方法包括:
响应白平衡触发,调整图像传感器和参考区域的相对位置,以便定位所述图像传感器以获取所述参考区域的图像,所述参考区域具有适合于白平衡的颜色;
使用所述图像传感器获取所述参考区域的所述图像;以及
由所述参考区域的所述图像计算用于对所述数字图像进行白平衡的参数。
在所公开方法的一些实施方式中,所述调整所述相对位置包括自动调整所述图像传感器和所述参考区域的所述相对位置。
在所公开方法的一些实施方式中,所述获取包括自动地获取所述参考区域的所述图像。
在所公开方法的一些实施方式中,所述计算包括自动地计算用于白平衡的所述参数。
在所公开方法的一些实施方式中,所述调整所述相对位置包括响应于所述白平衡触发而调整所述相对位置,所述白平衡触发包括确定所述数字图像缺乏适用作白平衡参考的区域。
在所公开方法的一些实施方式中,所述确定所述数字图像缺乏适用作白平衡参考的区域包括将所述数字图像的多个像素的颜色比与参考图像的多个像素的颜色比进行比较。较佳地,所述颜色比为红-绿比率和蓝-绿比率。
在所公开方法的一些实施方式中,所述比较包括在散点图上绘制所述参考图像的所述多个像素的所述颜色比,并在所述散点图上绘制所述数字图像的所述多个像素的所述颜色比,以及将所述数字图像的所述像素的绘制位置与所述参考图像的所述像素的绘制位置进行比较。
在所公开方法的一些实施方式中,所述调整所述相对位置包括响应于包括用户命令的所述白平衡触发而调整所述相对位置。
在所公开方法的一些实施方式中,所述调整包括自动地移动所述图像传感器以使得所述参考区域在所述图像传感器的所述视野内。
所公开方法的一些实施方式进一步地包括:在所述调整前记录所述参考区域的位置,以及根据所述参考区域的所记录位置移动所述图像传感器。
在所公开方法的一些实施方式中,所述调整包括使能所述图像传感器扫描所述图像传感器的周围环境以定位所述参考区域。
在所公开方法的一些实施方式中,所述使能所述图像传感器包括使能所述图像传感器通过识别一个或多个标记物来定位所述参考区域。
在所公开方法的一些实施方式中,所述标记物界定所述参考区域的边界。
在所公开方法的一些实施方式中,所述标记物为快速响应(QR)码。
在所公开方法的一些实施方式中,所述调整包括将所述参考区域自动地移动至所述图像传感器的所述视野内。
所公开方法的一些实施方式进一步地包括:在由所述图像传感器获取所述参考区域的所述图像后,自动地恢复所述图像传感器和所述参考区域中至少一个的位置。
在所公开方法的一些实施方式中,所述计算包括丢弃所述参考区域的所述图像中具有异常颜色的像素。
所公开方法的一些实施方式进一步地包括:如果所述参考区域的所述图像的像素颜色方差值大于预定阈值,则向控制系统发送错误消息。
所公开方法的一些实施方式进一步地包括:使用所述参数对所述数字图像进行白平衡。
依据本文所公开的另一方面,提供了一种成像系统,包括:
适用于获取数字图像的图像传感器以及具有适合于白平衡的颜色的参考区域,
其中,所述成像系统用于依据本文所公开的任一方法对数字图像执行自动白平衡。
在所公开系统的一些实施方式中,所述参考区域嵌入于所述成像系统的主体中,并被配置为在所述图像传感器的视野移入与移出。
在所公开系统的一些实施方式中,所述成像系统包括无人飞行器(UAV)。
依据本文所公开的另一方面,提供了一成像系统,其包括:
图像传感器,其可操作地安装于云台机构上,以使所述图像传感器能够绕至少一个轴转动;以及
图像处理器,其被配置为对数字图像执行自动白平衡,
其中所述成像系统被配置为:
响应白平衡触发,使用所述云台机构调整所述图像传感器相对于参考区域位置的位置,所述参考区域具有适合于白平衡的颜色;
使用所述图像传感器获取所述参考区域的图像;以及
使用所述图像处理器,由所述参考区域的所述图像计算白平衡参数。
在所公开系统的一些实施方式中,所述白平衡触发包括由所述图像处理器确定感兴趣的数字图像缺乏适用作白平衡参考的区域。
在所公开系统的一些实施方式中,所述白平衡触发包括用户命令。
在所公开系统的一些实施方式中,所述图像处理器被配置成记录关于所述参考区域的所述位置的一个或多个参数以及使用所述参数调整所述图像传感器的所述位置。
在所公开系统的一些实施方式中,所述参数包括所述参考区域相对于所述图像传感器的所述位置的线性位移与角位移中的至少一个位移。
在所公开系统的一些实施方式中,所述图像处理器被配置成用于引导所述图像传感器扫描其周围环境以定位所述参考区域。
在所公开系统的一些实施方式中,所述图像传感器通过识别一个或多个标记物来定位所述参考区域。
在所公开系统的一些实施方式中,所述标记物界定所述参考区域的边界。
在所公开系统的一些实施方式中,所述标记物为快速响应(QR)码。
在所公开系统的一些实施方式中,所述成像系统包括无人飞行器(UAV)。
在所公开系统的一些实施方式中,所述云台机构安置于所述无人飞行器机身的选定表面上,且所述参考区域位于所述无人飞行器的降落设备上。
附图说明
图1为一种对数字图像进行自动白平衡的成像系统的实施方式的示例顶层框图。
图2为图1中所述成像系统的实施方式的示例图,其中,所述成像系统包括参考区域和朝向感兴趣场景的图像传感器。
图3为图2中所述成像系统的替代实施方式的示例图,其中,所述图像传感器朝向所述参考区域。
图4为图2中所述成像系统的另一替代实施方式的示例图,其中,所述参考区域放置于所述图像传感器的视野内。
图5为图2至图4中所述参考区域的实施方式的示例图,其中,所述参考区域包括用于定位所述参考区域的标记物。
图6为图5中所述参考区域的替代实施方式的示例图,其中所述参考区域包括多个用于定位所述参考区域的标记物。
图7为一种具有图像传感器和云台机构的成像系统的实施方式的示例图。
图8为图7中所述成像系统的侧视图的示例图,其中,所述图像传感器朝向感兴趣场景。
图9为图7中所述成像系统的侧视图的示例图,其中,所述图像传感器朝向参考区域。
图10为一种包括无人飞行器(UAV)的成像系统的实施方式的示例图,其中,图像传感器朝向感兴趣场景。
图11为图10中所述成像系统的示例图,其中所述图像传感器朝向所述无人飞行器上的参考区域。
图12为一种对数字图像进行自动白平衡的方法的实施方式的示例顶层流程图。
图13为图12中所述方法的替代实施方式的示例流程图,其中所述方法包括触发对数字图像进行自动白平衡。
图14为关于图13所述触发的一种判断图像是否包含适合于白平衡的区域的方法的实施方式的详细示例流程图。
图15为关于图13所述触发的一种判断图像是否包含适合于白平衡的区域的方法的实施方式的示例图。
图16为图12中所述方法用于相对于参考区域定位所述成像系统的图像传感器的实施方式的实例流程图。
图17为图12中所述方法用于相对于参考区域定位图像传感器的替代实施方式的示例流程图,其中,所述参考区域的位置由标记物指定。
图18为图12中所述方法用于相对于图像传感器定位参考区域的另一替代实施方式的示例流程图。
图19为一种计算用于白平衡的参数的方法的实施方式的示例流程图,其中所述白平衡采用图12中所述的方法。
应当注意的是,附图并未按比例绘制,且为了说明目的,在所有附图中通常使用相同的参考符号表示具有类似结构或功能的元件。还应当注意的是,附图仅仅旨在便于描述本发明的优选实施方式。附图并未说明所描述的实施方式的每个方面且并不限制本发明的范围。
具体实施方式
本发明提供了对数字图像进行白平衡的系统及方法,其通过使用参考区域使能自动白平衡,以克服现有白平衡技术的局限性。
转到图1,显示了包括图像传感器110与图像处理器120的示例成像系统100。所述图像传感器110可以执行感应光线且将所感应到的光线转换为电子信号的功能,这些电子信号可以最终显示为图像。各种图像传感器110适用于所述公开的系统及方法,包括,但不限于,市售相机和摄像机。合适的图像传感器110可以包括模拟图像传感器(如摄像管)和/或数字图像传感器(如电荷耦合装置(CCD)、互补金属氧化物半导体(CMOS)、N型金属氧化物半导体(NMOS)图像传感器,以及上述图像传感器的混合体或变形体)。数字图像传感器例如可以包括光敏元件二维阵列,其中每一个光敏元件可分别捕获图像信息的一个像素。所述图像传感器110优选地具有至少10万像素、50万像素、100万像素、200万像素、500万像素、1000万像素,或甚至更高像素的分辨率。所述图像传感器110也可以包括依据颜色分离和/或过滤所感应到的光线且将所述光线引导到合适的光敏元件上的装置。例如,所述图像传感器110可以包括颜色滤波阵列,其可以传递红色光、绿色光、或蓝色光至所选择的像素传感器并在拜耳模板中形成交错的彩色镶嵌网格。备选地,例如,图像传感器110可以包括分层像素光敏元件的阵列,该阵列依据各光敏元件的属性分离不同波长的光线。图像传感器110可以具有多种特殊功能以便用于不同的应用,如热成像,多光谱图像的生成,红外探测,伽马探测、X射线探测等。图像传感器110可以包括,例如,电光传感器,热/红外传感器,彩色/单色传感器,多光谱成像传感器,分光光度计,分光仪,温度计,以及照明光度计。
所述图像处理器120可以包括执行本文所描述的自动白平衡功能及操作所需的任何处理硬件。若没有限制,所述图像处理器120可以包括一个或多个通用微处理器(例如单核或多核处理器),专用集成电路、专用指令集处理器、图形处理单元、物理处理单元、数字信号处理单元、协处理器、网络处理单元、音频处理单元、加密处理单元等。在某些实施方式中,所述图像处理器120可以包括图像处理引擎或媒体处理单元,其可以包括用于提高图像捕捉、过滤、以及处理的某些操作的速度和效率的专用硬件。这样的操作包括,例如,拜耳转换,去马赛克操作、降噪操作,和/或图像锐化/软化操作。在某些实施方式中,所述图像处理器120可以包括用于执行白平衡操作的专用硬件。白平衡操作包括,但不限于,判断图像是否受益于用于白平衡的参考区域130(如图2到4所示)、获取所述用于白平衡的参考区130的图像、处理所述用于白平衡的参考区域130的图像、由所述参考区域130的图像计算用于白平衡的参数,以及使用所述用于白平衡的参数对图像进行白平衡。
在一些实施方式中,所述成像系统100可根据需要包括一个或多个附加硬件组件(未示出),用于白平衡或所述成像系统100的其他操作。示例性的附加硬件组件包括,但不限于,存储器(例如,随机存取存储器(RAM)、静态RAM、动态RAM、只读存储器(ROM)、可编程ROM、可擦除可编程ROM、电可擦除可编程ROM、闪存、安全数字(SD)卡等)、和/或一个或多个输入/输出接口(例如,通用串行总线(USB)、数字视频接口(DVI)、显示端口、串行ATA(SATA)、IEEE 1394接口(又称为火线接口)、串口、视频图形阵列(VGA)、超级视频图形阵列(SVGA)、小型计算机系统接口(SCSI)、高清晰度多媒体接口(HDMI)、音频端口,和/或专有的输入/输出接口)。若没有限制,所述成像系统100还可根据需要包括一个或多个输入/输出装置(如按钮、键盘、小型键盘、轨迹球、显示器以及监视器)。
在一些实施方式中,所述成像系统100被配置以使得所述白平衡过程造成的图像获取过程的中断最短。换一种说法,所述成像系统100可被配置为最小化“停电”时期,在该“停电”时期中,对感兴趣场景105(如图2到4所示)进行的成像被中断以便对用于白平衡的参考区域130进行成像。在一些实施方式中,所述图像传感器110从感兴趣场景105中的原始的有利位置开始移动,以聚焦于所述参考区域130,然后又移回到所述原始的有利位置,上述图像传感器110的整个移动时间优选地小于10秒,5秒,2秒,1秒,或甚至更短。还原到原始的有利位置所需要的时间取决于所述图像传感器110所移动的量、所述图像传感器110的运动速度、获取参考区域130的图像所需要的时间,和/或其他因素。在一些实施方式中,所述图像传感器110没有移动(例如,所述参考区域130移动到所述图像传感器110的视野的前面),此时,正常图像获取过程的仍有可能被中断,所述中断的发生最好不超过5秒,2秒,1秒,或甚至更短。
当正常的成像操作被中断以执行白平衡时,在所述白平衡过程中所获取的图像可以从所述成像系统100输出至外部系统(未示出)或用户(未示出)的图像流中移除。例如,在如上所述的“停电”期间,可告知所述用户所述成像系统100当前正在进行白平衡且正常的图像馈送会在一给定时间内恢复。备选地,所述白平衡过程中所获取的图像可以是未经过滤/未被中断的图像馈送的一部分。换言之,输出至外部系统或用户的图像可以说明所述成像系统100正在进行白平衡。
转到图2,显示了使用参考区域130执行白平衡的成像系统100的示例性实施方式。所述参考区域130优选地具有适合白平衡的颜色,例如,白色,中性灰,或其它灰色调的颜色。所述参考区域130优选地,但非一定颜色均匀。所述参考区域130优选地,但非必须具有平坦性,以避免由于差分光散射所引起的变化。白平衡不要求所述参考区域130的光学特性必须是理想的。对所述参考区域130的图像进行后处理(例如,使用软件和/或硬件)可以修正由于所述参考区域130的非理想特性引起的伪影,以在存在这样的非理想特性的情况下准确地测量照明源的色温。所述参考区域130可以由以下各种材料中的一种或多种组成,例如,塑料、纸、金属、木材、泡沫、上述材料的复合材料,以及其他材料。此外,所述参考区域130的颜色、反射率、和/或其他光学特性可以根据需求使用合适的颜料或其他涂料方便地进行校准。如图2所示,所述图像传感器110的视野被感兴趣场景105占据。所述参考区域130可以耦接于所述成像装置100,和/或独立于所述成像装置100。
在图3中,显示了图2中所述成像系统100的实施方式的替代配置。为了执行白平衡,图像传感器110显示为已经被移动(通过平移运动或旋转运动),以使得所述参考区域130位于所述图像传感器110的视野内。
在图4中,显示了图2中所述成像系统100的实施方式的另一替代配置。为了执行白平衡,所述图像传感器110显示为固定不动而所述参考区域130显示为已经被移动(通过平移运动或旋转运动)至所述图像传感器110的视野中。如图2到4共同示意,所述图像传感器110和/或所述参考区域130中的任意一个可以以任何的传统方式,包括平移和/或旋转,进行相对运动,以便定位所述图像传感器110以获取所述参考区域130的图像。
转至图5,显示了使用参考区域130与一个或多个标记物135来执行白平衡的成像系统100的示例性实施方式。所述一个或多个标记物135可以用于指定所述参考区域130的位置,和/或通过所述标记物135编码的信息来传递关于白平衡过程的附加信息。优选地,在所述参考区域130中,每一个标记物135可以很容易地区分于所述标记物135的外围137。例如,所述标记物135的颜色与所述外围137的颜色可以具有高比对度。备选地和/或附加地,所述标记物135可以具有能够被所述图像传感器110识别的图案。在一些实施方式中,所述标记物135可以对能够被使用的信息进行编码,例如,以进一步地描绘所述参考区域130。在一优选实施方式中,所述标记物135可以包括快速响应(QR)码,快速响应码是一种包含机器可读信息的二维条形码。所述QR码可以包括排列在方格中的深色模块,优选地,在提供色彩对比的背景136上。图像传感器110可以“读取”所述QR码,图像处理器120(图1所示)可以解码所述QR码编码的信息。
图5中,显示了被位于所述参考区域130中心的单个标记物135标记出的参考区域130。如下文参照图17进行的附加细节的描述,所述图像传感器110可以扫描所述图像传感器110的周围环境以定位所述标记物135。一旦所述标记物135被定位,所述图像传感器110可以获取围绕所述标记物135的外围区域137的图像以用于白平衡。如果所述标记物135包括QR码或编码信息的其他模式,所编码的信息可以用于提供关于白平衡的其他细节(例如,所述参考区域130的大小、边界、或地形)。
转到图6,显示了使用参考区域130和多个标记物135来执行白平衡的成像系统100的替代示例性实施方式。所述多个标记物135可以,例如,界定所述参考区域130的一个或多个边界138(如下文进一步地参照图17进行的描述)。在图5与图6中,所述图像传感器110可以以任何传统的方式,包括旋转和/或平移,相对于所述参考区域130运动以扫描所述标记物135(如下文进一步地参照图17进行的描述)。
在图7中,显示了包括图像传感器110的成像系统100的示例性实施方式,所述图像传感器110可以附接于云台机构140上,以使所述图像传感器110能够绕至少一个轴149的旋转。所述云台机构140可以包括一个或多个枢接支座145,所述枢接支座145相对于一个或多个旋转轴149安装,从而允许所述图像传感器110相对于所述云台机构140所附接的固定装置146独立旋转。如图所示的示例性云台机构140包括相对于所述固定装置146支撑所述图像传感器110的第一枢接支座145A、第二枢接支座145B,以及第三枢接支座145C。所述第一枢接支座145A可以安装在所述固定装置146上且被配置为绕着垂直于所述固定装置146的x轴149A旋转。所述第二枢接支座145B可以安装在所述第一枢接支座145A上且被配置为绕着垂直于所述x轴149A的y轴149B旋转。所述第三枢接支座145C可以安装在所述第二枢接支座145B上且被配置为绕着垂直于所述x轴149A与y轴149B的z轴149C旋转。最后,所述图像传感器110可以安装于所述第三枢接支座145C上。枢接支座145不必直接地安装于所述固定装置146、图像传感器110、或其他枢接支座145上。相反,枢接支座145可以选择性地间接安装于所述固定装置146,图像传感器110、或其他枢接支座145上(例如,通过一个或多个间隔部(未示出))。
所述云台机构140中所述枢接支座145的配置和安装方式是可变的且可以包括,例如,如图7到9所示的同心环结构以及非环结构。依据所需要的旋转自由度数,云台结构140可以包括任意合适数量的枢接支座145,包括一个,两个,或三个。此外,如图所示的所述枢接支座145A、145B及145C绕相互垂直的旋转轴(例如,所述x轴149A、y轴149B,及z轴149C)转动只是为了说明起见,所述枢接支座145不一定要被设计为绕相互垂直的旋转轴转动。所述云台机构140根据需求可以包括各种机械装置,例如,滚珠轴承、导轨、致动器等。例如,可以使用一个或多个转子将每一个枢接支座145旋转一期望角度α。所述云台机构140可以被配置为响应与来自图像处理器120的旋转命令来引导所述图像传感器110的运动以定位用于白平衡的参考区域130。
在图8中(显示了图7的侧视图),显示了朝向感兴趣场景105的所述图像传感器110,以及显示了处于所述图像传感器110的视野之外的所述参考区域130。
在图9中(显示了与图8类似的侧视图),显示了在响应于白平衡的触发后,所述云台机构140绕所述z轴149C向上旋转了角度α,这样使得所述参考区域130处于所述图像传感器110的视野内。
图示及描述的三个枢接支座145只是为了说明起见,所述云台机构140可以包括任意合适数量的枢接支座145以提供任意的自由度数。此外,图9所示的绕所述z轴149C旋转也只是为了说明起见,所述图像传感器110可以根据需求绕所述x轴149A、y轴149B,及z轴149C的任意组合旋转以获取所述参考区域130的图像。除了旋转地移动之外,所述图像传感器110根据需要同样可以平移地移动以获取所述参考区域130的图像。
在图10-11中,显示了包括无人飞行器(UAV)150的成像系统100的示例性实施方式。UAV150,俗称无人机,是指没有驾驶员在机上驾驶的航空器,其飞行是自主控制的或由一远程驾驶员控制(或有时两者都有)。目前发现在民用领域UAV的使用不断增加,这就需要各种形式的空中数据采集。各种类型的UAV150适合用于所公开的系统及方法。一种合适类型的UAV150例如是通过多个旋翼推进的旋翼飞行器。一合适的旋翼飞行器具有四个旋翼且被称四轴飞行器、四旋翼飞行器,或四旋翼。适合虚拟观光系统及方法的示例四轴飞行器包括许多目前市售的模型。适合本发明系统及方法的UAV150包括,但不限于,其他旋翼设计例如单旋翼、双旋翼、三旋翼、六旋翼及八旋翼设计。也可以使用固定翼UAV150和旋翼机-固定翼混合UAV150。UAV150可以包括例如机身151以及一个或多个降落装置152。关于UAV150的图示及描述只是为了说明起见,所述成像系统100可以包括或被安装在任何类型的移动平台上。示例性的适用移动平台包括,但不限于,自行车、汽车、卡车、大型船舶、小型轮船、火车、直升机、航空器、及其各种组合等。
UAV150可以特别配置于硬件和/或软件中以执行自动白平衡。例如,图像传感器110可以是特别适合于UAV150中使用的UAV摄像头115。所述UAV摄像头115优选地重量较轻以避免所述UAV150超重。有利地,所述UAV摄像头115可以具有较大运动范围,从而最大化所述UAV摄像头115的图像捕捉能力。
在图10-11中,显示了安置于所述UAV150的机身151表面上的云台机构140。所述图像传感器110附接于所述云台机构140,允许所述图像传感器110相对于所述机身151的一个或多个轴自由旋转。
在图10中,显示了朝向感兴趣场景105的所述图像传感器110,所述图像传感器110的视野优选地不被所述UAV150的一部分遮挡。在图11中,显示了接收到命令/触发以执行白平衡后,所述图像传感器110使用所述云台系统140进行转动,以使得用于白平衡的参考区域130在所述图像传感器110的视野内。在图11所示的实施方式中,显示了位于降落装置152上的所述参考区域130。图11中所示的位于所述降落装置152上的参考区域130只是为了说明起见,所述参考区域130可以位于所述UAV150上能够被所述图像传感器110成像的任意部分上(例如,在机身151上)。在对所述感兴趣场景105进行成像之前,所述参考区域130可能需要也可能不需要由所述成像系统100指定。例如,如果所述机身151、降落装置152,和/或UAV150的其他部分具有适合白平衡的颜色(例如,白色,中性灰,或其他灰色色调),所述图像传感器110仅需要朝向所述UAV150的这个部分。所述图像传感器110可以通过扫描所述图像传感器110的周围环境来定位所述UAV150上适合用于白平衡的部分,如下文进一步参照图17所述。备选地,在对所述感兴趣场景105进行成像之前,所述参考区域130的位置可以由所述成像系统100来指定。在这样的指定发生后,根据所述指定的位置可以程序化或以其他方式使所述图像传感器110能够移动,以使得所述参考区域处于所述图像传感器110的视野之内。一些实施方式中,在UAV150不具有适合于白平衡的均匀的颜色时,在对所述感兴趣场景105进行成像之前,所述参考区域130的位置优选地由所述成像系统100来指定。
图12中,显示了对数字图像进行自动白平衡的顶层方法200的实施方式。在一实施方式中,图1中的所述成像系统100可以用于执行所述方法200。在201中,响应于白平衡触发,调整图像传感器110与参考区域130的相对位置,以便定位所述图像传感器110以获取所述参考区域130的图像,所述参考区域130具有适合白平衡的颜色。在某些实施方式中,在响应所述白平衡触发时,可以自动地执行201中的所述调整所述图像传感器110与参考区域130的相对位置,如下文与图13有关的进一步讨论。例如,响应于白平衡触发,所述成像系统100可以激活能够自动改变所述图像传感器110位置的机构,以使得所述参考区域130处于所述图像传感器110的视野内。备选地和/或附加地,所述参考区域130可以自动地移动以便所述参考区域130处于所述图像传感器110的视野内。当所述图像传感器110不能移动时或不希望进行这样的移动时,较佳地,移动所述参考区域130。
在202中,使用所述图像传感器110获取所述参考区域130的图像。在某些实施方式中,可以自动地执行202中的所述图像获取。例如,响应于所述图像传感器110和/或所述参考区域130被定位以使所述参考区域130处于所述图像传感器110的视野内时,可以执行所述图像获取。可替换地和/或附加地,当所述图像传感器110为所述参考区域130扫描所述图像传感器110的周围环境时,所述图像传感器110可以配置为动态地评估所述图像传感器110获取的图像。当所述图像传感器110识别出获取的图像是所述参考区域130的图像后,所述获取的图像可以用于后续的白平衡。在扫描期间进行的所述参考区域130的识别可以基于所述图像传感器110获取的图像的颜色及颜色分布。备选地和/或附加地,所述参考区域130的识别可以基于与所述图像传感器110先前获取的图像或预先加载在所述成像系统100中的其他图像的比较。例如,可以将图像与先前获取的所述参考区域130的图像进行比较。如果所述图像与先前获取的所述参考区域130的图像相似(例如基于两张图像的颜色和/或构成),则所述成像系统100可以推断已经找到所述参考区域130。
在获取到所述参考区域130的图像后,可以恢复白平衡触发之前的所述图像传感器110和/或所述参考区域130的位置。所述图像传感器110和/或所述参考区域130的先前位置的恢复可以自动发生。例如,图像处理器120(如图1所示)可以被配置为记住所述先前位置并在所述图像传感器110已经获取到所述参考区域130的图像后,恢复所述先前位置。
在203中,由参考区域130的图像计算用于对数字图像进行白平衡的参数。所述用于白平衡的参数可以是反映照明源色温的参数,其依据所述参考区域130的色偏而确定。所述用于白平衡的参数可以由例如以开氏温度为单位的色温表示。较低的色温表示照明源中红色部分多于蓝色部分;反之,较高的色温表示照明源中蓝色部分多于红色部分。表明所述照明源其他属性的其他参数同样可以用于白平衡。在一些实施方式中,可以基于所述参考区域130的单张图像计算用于白平衡的多个参数。例如,在某些预期颜色是不均匀的情况下,可以计算所述参考区域130不同部分的色温。在其他情况下,可以计算所述参考区域130的每一个像素或每一组像素所对应的色温。在某些实施方式中,可以自动执行所述白平衡参数的计算,例如,在所述图像传感器110获取所述参考区域130的图像之后自动执行所述计算。例如,所述图像处理器120可以通过硬件或软件被配置为在接收到所述参考区域130的图像之后自动启动计算过程以获取所述白平衡参数。
在图13中,显示了确定白平衡何时触发的方法300的示例性流程图。在301中,当白平衡还没有触发时,成像系统100(图1所示)首先处于初始状态,图像传感器110(图1所示)处于获取来自感兴趣场景105的图象流的过程中(图2-4所示)。在302中,确定是否已接收到开始白平衡的外部命令(例如用户命令或者是来自外部系统(未示出)的命令,该外部系统已依据图像传感器110所拍摄的先前图像的色偏确定需要进行白平衡)。如果没有接收到外部白平衡命令,保持301中的初始状态。如果在302中接收到外部白平衡命令,在303中启动白平衡。在304中,白平衡继续进行直至白平衡完成。在303和304中的白平衡过程中,可以选择性地停止所述成像系统100向外部发送图像流。在白平衡完成后,在304中,成像系统100返回301的所述初始状态,如果需要可以恢复所述图像流。在303中白平衡启动之后且在304中白平衡完成之前,如果接收到额外的白平衡命令,这样的命令可以视为冗余而忽略掉。备选地,在前一次白平衡过程完成后,所述额外的白平衡命令可以作为后续的白平衡命令被缓存并中继。
备选地和/或在检测外部白平衡触发的同时,在305,通过分析所述图像传感器110拍摄的图像可以自动触发白平衡。在306,分析所拍摄的图像是否需要使用所述参考区域130进行白平衡。如果在306确定所述图像不需要使用所述参考区域130进行白平衡,所述成像系统100返回至301的初始状态。如果在306确定所述图像需要使用所述参考区域130进行白平衡,在步骤303开始进行白平衡。在306中可以使用各种的标准进行图像评估,包括确定所述图像是否缺乏具有适于用作白平衡的颜色的区域,在这种情况下不需要外部参考区域130。这个确定过程会参照图14在下文中进行描述。
转到图14,显示了方法400的实施方式的详细流程图,该方法400可以判断感兴趣的数字图像是否包含具有适于用作白平衡的颜色的区域而无需使用参考区域130。所示的方法400通过将数字图像的多个像素的颜色比与参考图像的多个像素的颜色比进行比较以作出上述判断。该实施方式是基于这样一个事实,即:在给定照明色温的情况下,灰色色调的红-绿和蓝-绿强度比率固定在一定界限内。相应地,依据所述像素的红-绿及蓝-绿强度比率的组合并参照一个或多个参考图像上的相同比率可以识别所述感兴趣数字图像中的灰度色调像素。在一些实施方式中,所述方法包括在散点图上绘制参考图像的多个像素的颜色比,在所述散点图上绘制所述数字图像的多个像素的颜色比,以及将所述数字图像的所述像素的绘制位置与所述参考图像的所述像素的绘制位置进行比较。
例如,在401,所述图像传感器110通过提供一个或多个具有一系列的灰色色调(例如从白色到中性灰)的参考物450来为白平衡作准备。所述图像传感器110的准备优选地在所述图像传感器开始成像感兴趣场景105(图2-4所示)之前执行。在方框402,所述图像传感器110在具有不同色温(例如,2800K,4000K,5000K,6500K,7500K等)的各种照明源下获取所述参照物450的参考图像455。在403,由所获取的参考图像455计算红-绿及蓝-绿颜色强度比。可以对所述参考图像455的单个像素计算所述红-绿及蓝-绿颜色强度比。备选地和/或附加地,在所述参考图像455的特定区域,可以计算所述红-绿及蓝-绿颜色强度比的平均值。例如,可以将所述参考图像455划分为具有固定宽度和高度(例如,大小为10x10像素,20x20像素,50x50像素,或更多)的区块,并可以计算每一个区块的红-绿及蓝-绿颜色强度比的平均值,这样可以去除每一个区块内的噪声。在另一例子中,可以仅计算所述参考图像455中符合一定条件的特定像素(例如,在计算平均值时可以去除不符合一定颜色标准的像素)的红-绿及蓝-绿颜色强度比的平均值。又一个例子中,可以仅计算所述参考图像455中符合一定条件的特定区域(例如,可以去除具有太多不符合一定颜色标准的像素的区域)的红-绿及蓝-绿颜色强度比的平均值。
在404中,在由所述参考图像455计算出所述红-绿及蓝-绿颜色强度比后,将在所述参考灰色色调及色温范围内的所述红-绿及蓝-绿颜色比的分布绘制在参考散点图901上(如图15所示),其中,所述参考散点图的坐标轴为红-绿颜色比(例如在x轴上)与蓝-绿颜色比(例如在y轴上)。图15显示了一示例性的参考散点图901。在参考散点图901上,各种灰度色调的像素可以形成簇902,所述簇902对应于产生像素的色温(例如,2800K温度下所取的像素可能趋向于落入所述散点图的右下方,而在7500K温度下所取的像素可能趋向于落入所述散点图的左上方)。所述参考散点图901可以在所述图像传感器开始对感兴趣场景105进行成像之前产生,以便在对所述感兴趣场景105进行成像期间所述参考散点图901可以用于白平衡。
回到图14,在已经开始对感兴趣场景105进行成像后,判断所述感兴趣场景105的图像是否包含具有适合于白平衡的颜色的区域而无需使用参考区域130。为了作出判断,在405中,计算所述感兴趣场景105的图像像素的红-绿及蓝-绿颜色比。优选地,所述感兴趣场景105的图像像素的颜色比可以采用与计算用于产生参考散点图901的颜色比相同或相似的方式进行计算。在406中,判断这些强度比的组合作为坐标时是否落入所述参考散点图的一个簇中而因此为灰色色调像素。在407,如果有足够数量或足够碎片的像素为灰色色调,则所述图像具有适合的区域用于白平衡而不需要使用外部参考区域130用于白平衡。否则,在408中,所述图像缺乏适合的区域用于白平衡而需要使用外部参考区域130以有助于白平衡。
转到图16,显示了自动地移动图像传感器110以使得参考区域130处于图像传感器110的视野内的方法500。在此实施方式中,在白平衡开始之前,图像处理器120(图1所示)会记录所述参考区域130的位置。在501,可以使用一个或多个位置参数来指定所述参考区域130的位置,所述位置参数例如为,在三个直角坐标系之一中所述参考区域130相对于所述图像传感器110的线性位移。例如,所述图像处理器120可以记录所述参考区域130的位置在所述图像传感器110上方的20到30厘米以及在所述图像传感器110左边的30到40厘米处。备选地和/或可替换地,可以使用一个或多个角位移(换言之,转动位移)参数来指定所述参考区域130的位置,当使用转动机构(例如,上文参考图7到9所描述的云台机构140)来控制所述图像传感器110的运动时,使用角位移参数更加合适。例如,所述图像处理器120可以记录通过将所述图像传感器110向上移动40到45度的角度以及向左移动20到25度的角度θ来定位所述参考区域130。在502中,通过对应的平移和/或转动机构(例如云台机构140),可以使用一个或多个位置参数来调整所述图像传感器110的位置,以使得所述参考区域130处于所述图像传感器110的视野之内(例如,将所述图像传感器110向上移动40到45度的角度以及向左移动20到25度的角度θ)。
转到图17,显示了自动地移动图像传感器110以使得参考区域130处于所述图像传感器110的视野内的替代方法600。在此实施方式中,所述图像处理器120(图1所示)不会记录所述参考区域130的位置,而是使用能够被所述图像处理器120识别的标记物135来标记所述参考区域130的位置。此实施方式的优势在于可以根据需求方便地移动所述参考区域130的位置,但相比于记录所述参考区域130的位置来说可能需要更大的计算强度。
在601中,使用标记物135来指定所述参考区域130的位置。优选地,所述标记物135足够独特以便所述图像处理器120可以很容易地将其从周围环境中区分开来。在优选的实施方式中,所述标记物135可以是快速响应(QR)码,快速响应码是一种用于编码机器可读信息的二维条形码。如上文参照图5-6所述,QR码可以包括排列在方格中的深色模块,优选地,在提供色彩对比的背景上,QR码可以被所述图像传感器110“读取”且其内容能够被所述图像传感器120解码。计算机读取QR码有各种已知的方法。例如,可以使用里德所罗门纠错来处理QR码的图像以适当地译码所述QR码的图像。
在602中,所述图像传感器110扫描所述图像传感器110的周围环境直至定位到所述标记物135(例如,QR码)。所述方法600可以根据所述图像传感器110附接于所述成像系统100的其他部分的不同方式而有所变化,如一些附接件相较于其他装置提供了较大程度的移动性。在一简单的实例中,所述图像传感器110仅能在单一的自由度上运动(例如,图像传感器110可以仅上下倾斜或左右摇摆)。在这种情况下,所述图像传感器110可以通过在其整个活动范围内任意移动来定位所述标记物135。在其他情况下,可以限制所述图像传感器110为定位所述标记物135而进行的运动的范围。这种限制可以是角和/或线性位移的限制(例如,不允许所述图像传感器110从其原始位置移动超过20度或2英寸来找标记物135)。这样的限制也可以规定例如所述图像传感器110应当向特定方向移动以找到所述标记物135(例如,所述限制可以是所述图像传感器110仅可以向上移动而不能向下运动,或仅可以向左旋转而不能向右旋转)。在更复杂的情况中,所述图像传感器110可以在多个自由度上移动,所述图像传感器110可以被限制(例如,为了效率)仅在一个或多个选定的自由度上移动以找到所述标记物135。此外,可以指定特定扇区(从角坐标来说),所述图像传感器110应该在该特定扇区内扫描所述标记物135。优选地,所述图像传感器110系统化地扫描任意特定区域或区段以找到所述标记物135。例如,所述图像传感器110可以配置为在一个方向上扫描整个活动范围,在另一个方向上移动固定的量,并再次在所述第一个方向上扫描整个活动范围。
在603中,所述图像传感器110已经定位到所述标记物135且可以使用所述标记物135来指定所述参考区域130。为了计算用于白平衡的参数,所述标记物135可以从所述参考区域130的图像中排除,这是因为所述标记物135独特的颜色和图案可能会在原本是中性色(例如,白色、中性灰、或其他灰度色调)的区域中产生偏差。在一实施方式中,所述标记物135可以设置在所述参考区域130的中心,且所述图像处理器120(图1所示)可以配置为捕捉离所述标记物135指定距离内的区域。在另一实施方式中,所述标记物135编码关于所述参考区域130的边界138(图6所示)的信息。在另一实施方式中,所述标记物135位于所述参考区域130的边界138上。在此实施方式中,可以将所述标记物135位于参考区域130的边界138上这一信息编码在所述标记物内或记录于所述图像处理器120上。在一些实施方式中,可以使用多个标记物135界定所述参考区域130的一个或多个边界138。因此,结合标记物135的位置及所述标记物135中编码的信息,可以完全指定所述参考区域130的边界。
转到图18,显示了将参考区域130自动地移动进入图像传感器110的视野的方法700的实施方式。方法700的优势在于,当所述图像传感器110是固定的或移动所述图像传感器110是不现实的时候(例如,当所述图像传感器110的运动太缓慢或所述图像传感器110太大而不能运动时),同样可以使用该方法。在这种情况下,所述参考区域130可以与所述成像系统100(图1所述)耦合且由各种机械设备(例如,发动机,滚珠轴承,轨道,弹簧等)来使参考区域130可移动。
因此,在701中,所述参考区域130嵌入于所述成像系统100的一部分中且不位于所述图像传感器110的视野内。在702中,响应于白平衡触发(如上文参照图3和4所述),将所述参考区域130移动进入所述图像传感器110的视野内并且部分地或完全地占据所述视野。在703中,图像传感器110获取所述用于白平衡的参考区域130的图像。在704中,在完成所述参考区域130的图像的获取之后,可以将所述参考区域130可以撤回到插入位置。在所述成像系统100包括UAV150(图10到11所示)的实施方式中,所述参考区域130可以例如嵌入所述UAV150的机身151(图10到11所示)中。在所述UAV150的正常运行的情况下,所述参考区域130可以至少部分地嵌入所述机身151中,这样所述参考区域130的外部与所述机身151的外表面153(如图10到11所示)齐平。所述参考区域130可以向外弹出进入所述图像传感器110的视野以用于白平衡,接着在所述参考区域130被成像后重新插入所述机身151。
转到图19,显示了使用参考区域130的图像计算用于白平衡的参数的方法800的实施方式。尽管参考区域130在设计上可以是颜色均匀的,但是参考区域130的图像的不均匀性可能包括伪影,这些伪影可能使产生的白平衡参数具有显著偏差。例如,参考区域的图像中的不均匀性可能是由于参考区域130受损或仅是由于过度使用而变脏和/或不利的气象条件而引起的。不均匀性可能进一步地由所述成像硬件的故障和/或图像处理软件的漏洞而引起的。不论哪种情况,对参考区域图像的均匀性进行测试可以提高自动白平衡过程的可靠性。
因而,在801中,分析所述参考区域130的图像的像素的颜色方差。在802中,判断所述颜色方差是否过高(例如,所述方差超过预定阈值)。如果所述颜色方差过高,可以表明对于有效的白平衡来说所述图像颜色过于不均匀,则在803中,所述成像系统100可以发向接收系统(未示出)或用户(未示出)发送警报消息,以提醒使用所述参考区域130进行的白平衡可能是不可靠的。所述成像系统100可以选择性地停止后续使用所述参考区域130的该特定图像计算白平衡参数的步骤。所述成像系统100可以尝试通过拍摄所述参考区域130后续的图像以及计算所述后续图像的颜色方差来执行白平衡。如果所述后续图像的颜色方差仍然很高,若有成像系统100可用的第二参考区域,则所述成像系统100可以尝试使用第二参考区域(未示出)进行白平衡。
即使所述参考区域130图像的方差具有合适的均匀度,所述图像仍可能包含需要移除的具有彩色伪影的像素。例如,为了避免由于具有异常颜色的像素而可能在色温评估中引起的偏差,在804中,可去除这样的异常像素,并且在805中,可对剩余的像素进行色温评估(例如,通过取所述剩余像素的平均值)。可以使用各种统计技术来去除异常像素,例如,去除固定百分位(例如,2%,5%,10%,15%,或者更多)的最高及最低色温像素。
本发明所描述的实施方式很容易有各种修改和替代形式,且其特定示例和方法已在附图中举例说明并在本文中进行了详细描述。然而,应当理解的是,本发明并不限制于所公开的特殊形式或方法,恰恰相反,所公开的实施方式旨在覆盖所有修改、等效形式和替代选择。
Claims (34)
1.一种对数字图像进行自动白平衡的方法,包括:
响应于白平衡触发,调整图像传感器和参考区域的相对位置,以便定位所述图像传感器以获取所述参考区域的图像,所述参考区域具有适合于白平衡的颜色;
使用所述图像传感器获取所述参考区域的所述图像;以及
由所述参考区域的所述图像计算用于对所述数字图像进行白平衡的参数。
2.如权利要求1所述的方法,其中所述调整所述相对位置包括自动地调整所述图像传感器和所述参考区域的所述相对位置。
3.如权利要求2或3所述的方法,其中所述获取包括自动地获取所述参考区域的所述图像。
4.如上述权利要求中任一项所述的方法,其中所述计算包括自动地计算用于白平衡的所述参数。
5.如上述权利要求中任一项所述的方法,其中所述调整所述相对位置包括相对位置响应于所述白平衡触发而调整所述相对位置,所述白平衡触发包括确定所述数字图像缺乏适用作白平衡参考的区域。
6.如权利要求5所述的方法,其中所述确定数字图像缺乏适用作白平衡参考的区域包括将所述数字图像的多个像素的颜色比与参考图像的多个像素的颜色比进行比较。
7.如权利要求6所述的方法,其中所述颜色比包括红-绿比率和蓝-绿比率。
8.如权利要求6或权利要求7所述的方法,其中所述比较包括在散点图上绘制所述参考图像的所述多个像素的所述颜色比,在所述散点图上绘制所述数字图像的所述多个像素的所述颜色比,以及将所述数字图像的所述像素的绘制位置与所述参考图像的所述像素的绘制位置进行比较。
9.如上述权利要求中任一项所述的方法,其中所述调整所述相对位置包括响应于包括用户命令的所述白平衡触发而调整所述相对位置。
10.如上述权利要求中任一项所述的方法,其中所述调整包括自动地移动所述图像传感器以使得所述参考区域在所述图像传感器的所述视野内。
11.如权利要求10所述的方法,进一步包括:在所述调整前记录所述参考区域的位置,以及根据所述参考区域的所记录的位置移动所述图像传感器。
12.如权利要求10或权利要求11所述的方法,其中所述调整包括使能所述图像传感器扫描所述图像传感器的周围环境以定位所述参考区域。
13.如权利要求12所述的方法,其中所述使能所述图像传感器包括使能所述图像传感器通过识别一个或多个标记物来定位所述参考区域。
14.如权利要求13所述的方法,其中所述标记物界定所述参考区域的边界。
15.如权利要求13或权利要求14所述的方法,其中所述标记物为快速响应(QR)码。
16.如上述权利要求中任一项所述的方法,其中所述调整包括将所述参考区域自动地移动至所述图像传感器的所述视野内。
17.如上述权利要求中任一项所述的方法,进一步包括:在由所述图像传感器获取所述参考区域的所述图像后,自动地恢复所述图像传感器和所述参考区域中至少一个的位置。
18.如上述权利要求中任一项所述的方法,其中所述计算包括丢弃所述参考区域的所述图像中具有异常颜色的像素。
19.如上述权利要求中任一项所述的方法,进一步包括:如果所述参考区域的所述图像的像素的颜色方差值大于预定阈值,则向控制系统发送错误消息。
20.如上述权利要求中任一项所述的方法,进一步地包括:使用所述参数对所述数字图像进行白平衡。
21.一种成像系统,包括:
适用于获取数字图像的图像传感器以及具有适合于白平衡的颜色的参考区域,
其中,所述成像系统被配置为依据上述权利要求1至20中任一项对数字图像执行自动白平衡。
22.如权利要求21所述的成像系统,其中所述参考区域嵌入于所述成像系统的主体中,并被配置为在所述图像传感器的视野内移入与移出。
23.如权利要求21或权利要求22所述的成像系统,其中所述成像系统包括无人飞行器(UAV)。
24.一种成像系统,包括:
图像传感器,其可操作地安装于云台机构上,以使所述图像传感器能够绕至少一个轴转动;以及
图像处理器,其被配置为对数字图像执行自动白平衡,
其中所述成像系统被配置为:
响应白平衡触发,使用所述云台机构调整所述图像传感器相对于参考区域位置的位置,所述参考区域具有适合于白平衡的颜色;
使用所述图像传感器获取所述参考区域的图像;以及
使用所述图像处理器,由所述参考区域的所述图像计算白平衡参数。
25.如权利要求24所述的成像系统,其中所述白平衡触发包括由所述图像处理器确定感兴趣的数字图像缺乏适用作白平衡参考的区域。
26.如权利要求24或权利要求25所述的成像系统,其中所述白平衡触发包括用户命令。
27.如权利要求24-26中任一项所述的成像系统,其中所述图像处理器被配置成记录关于所述参考区域的所述位置的一个或多个参数以及使用所述参数调整所述图像传感器的所述位置。
28.如权利要求27所述的成像系统,其中所述参数包括所述参考区域相对于所述图像传感器的所述位置的线性位移与角位移中的至少一个。
29.如权利要求24-28中任一项所述的成像系统,其中所述图像处理器被配置成用于引导所述图像传感器扫描其周围环境以定位所述参考区域。
30.如权利要求29所述的成像系统,其中所述图像传感器通过识别一个或多个标记物来定位所述参考区域。
31.如权利要求30所述的成像系统,其中所述标记物界定所述参考区域的边界。
32.如权利要求30或权利要求31所述的成像系统,其中所述标记物为快速响应(QR)码。
33.如权利要求24-32中任一项所述的成像系统,其中所述成像系统包括无人飞行器(UAV)。
34.如权利要求33所述的成像系统,其中所述云台机构安置于所述无人飞行器机身的选定表面上,且其中所述参考区域定位于所述无人飞行器的降落设备上。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810897151.XA CN108718405B (zh) | 2014-09-17 | 2014-09-17 | 自动白平衡系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2014/086739 WO2016041162A1 (en) | 2014-09-17 | 2014-09-17 | Automatic white balancing system and method |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810897151.XA Division CN108718405B (zh) | 2014-09-17 | 2014-09-17 | 自动白平衡系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105981379A true CN105981379A (zh) | 2016-09-28 |
CN105981379B CN105981379B (zh) | 2018-09-25 |
Family
ID=55175114
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480074936.7A Expired - Fee Related CN105981379B (zh) | 2014-09-17 | 2014-09-17 | 自动白平衡系统及方法 |
CN201810897151.XA Expired - Fee Related CN108718405B (zh) | 2014-09-17 | 2014-09-17 | 自动白平衡系统及方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810897151.XA Expired - Fee Related CN108718405B (zh) | 2014-09-17 | 2014-09-17 | 自动白平衡系统及方法 |
Country Status (5)
Country | Link |
---|---|
US (3) | US9253460B1 (zh) |
EP (1) | EP3195594B1 (zh) |
JP (1) | JP6263829B2 (zh) |
CN (2) | CN105981379B (zh) |
WO (1) | WO2016041162A1 (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107911683A (zh) * | 2017-11-28 | 2018-04-13 | 广东欧珀移动通信有限公司 | 图像白平衡处理方法、装置、存储介质和电子设备 |
CN107948619A (zh) * | 2017-12-13 | 2018-04-20 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和移动终端 |
WO2019085794A1 (zh) * | 2017-10-30 | 2019-05-09 | 深圳市大疆创新科技有限公司 | 控制装置、摄像装置、飞行体、控制方法以及程序 |
CN109753080A (zh) * | 2017-11-07 | 2019-05-14 | 英特尔Ip公司 | 用于使用无人机来捕捉结构的层析成像图的方法和装置 |
CN109842758A (zh) * | 2017-11-29 | 2019-06-04 | 超威半导体公司 | 计算传感器 |
CN110611803A (zh) * | 2019-09-03 | 2019-12-24 | 珠海格力电器股份有限公司 | 色温预估的方法、装置及计算机可读介质 |
CN110689497A (zh) * | 2019-09-27 | 2020-01-14 | 张玉奇 | 大数据提取装置及方法 |
CN112584110A (zh) * | 2020-12-01 | 2021-03-30 | 维沃移动通信有限公司 | 白平衡调节方法、装置、电子设备及存储介质 |
TWI843820B (zh) * | 2019-03-21 | 2024-06-01 | 大陸商礪鑄智能設備(天津)有限公司 | 使用多種波長之光單色成像的顏色檢查方法 |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10074165B2 (en) * | 2014-09-10 | 2018-09-11 | Morpho, Inc. | Image composition device, image composition method, and recording medium |
US10334158B2 (en) * | 2014-11-03 | 2019-06-25 | Robert John Gove | Autonomous media capturing |
US9824289B2 (en) * | 2015-12-07 | 2017-11-21 | Conduent Business Services, Llc | Exploiting color for license plate recognition |
CN105799945A (zh) * | 2016-03-21 | 2016-07-27 | 深圳电航空技术有限公司 | 云台及飞行器 |
JP6872103B2 (ja) * | 2016-05-11 | 2021-05-19 | 富士フイルムビジネスイノベーション株式会社 | 変化度合い導出装置、変化度合い導出方法及びプログラム |
USD816150S1 (en) * | 2016-07-29 | 2018-04-24 | Sz Dji Osmo Technology Co., Ltd. | Gimbal with camera |
KR102514566B1 (ko) | 2016-08-23 | 2023-03-27 | 삼성전자주식회사 | 전자 장치 및 그의 동작 방법 |
CN109661349B (zh) * | 2016-08-31 | 2021-11-05 | 深圳市大疆创新科技有限公司 | 用于uav和其他物体的激光雷达扫描和定位机构以及相关系统和方法 |
US11768376B1 (en) * | 2016-11-21 | 2023-09-26 | Apple Inc. | Head-mounted display system with display and adjustable optical components |
CN107000833B (zh) * | 2016-12-26 | 2019-01-22 | 深圳市大疆创新科技有限公司 | 无人机 |
US20180186472A1 (en) * | 2016-12-30 | 2018-07-05 | Airmada Technology Inc. | Method and apparatus for an unmanned aerial vehicle with a 360-degree camera system |
CN106706037A (zh) * | 2017-01-06 | 2017-05-24 | 四川克瑞斯航空科技有限公司 | 一种农场的智能巡视并报警装置 |
KR101930923B1 (ko) * | 2017-05-26 | 2018-12-20 | 한국해양과학기술원 | 드론 및 이를 이용한 해양 관측 시스템 |
US10179647B1 (en) | 2017-07-13 | 2019-01-15 | Fat Shark Technology SEZC | Unmanned aerial vehicle |
USD825381S1 (en) | 2017-07-13 | 2018-08-14 | Fat Shark Technology SEZC | Unmanned aerial vehicle |
USD848383S1 (en) | 2017-07-13 | 2019-05-14 | Fat Shark Technology SEZC | Printed circuit board |
US10567721B2 (en) * | 2017-08-23 | 2020-02-18 | Motorola Mobility Llc | Using a light color sensor to improve a representation of colors in captured image data |
CN109328325B (zh) * | 2017-12-18 | 2021-10-22 | 深圳市大疆灵眸科技有限公司 | 云台控制方法、可移动物体、存储装置、云台控制系统和云台 |
CN108234979A (zh) * | 2017-12-27 | 2018-06-29 | 努比亚技术有限公司 | 一种拍摄方法、移动终端及计算机可读存储介质 |
DE102018200989A1 (de) * | 2018-01-23 | 2019-07-25 | Siemens Aktiengesellschaft | Kameravorrichtung, Kamerasystem, spurgebundenes Fahrzeug und Verfahren zur Identifikation einer Kameraeinheit |
AU2019272771B2 (en) | 2018-05-25 | 2024-04-04 | Hologic, Inc. | Breast compression and imaging systems and methods |
CN110460782B (zh) * | 2019-08-28 | 2021-07-20 | 北京海益同展信息科技有限公司 | 信息采集装置、方法、巡检机器人和存储介质 |
TWI726536B (zh) * | 2019-12-16 | 2021-05-01 | 財團法人工業技術研究院 | 影像擷取方法及影像擷取設備 |
JP7015337B2 (ja) * | 2020-03-06 | 2022-02-02 | 任天堂株式会社 | 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法 |
CN111953955B (zh) * | 2020-08-26 | 2022-01-04 | 维沃移动通信有限公司 | 白平衡补偿方法、装置及电子设备 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004276165A (ja) * | 2003-03-14 | 2004-10-07 | Sony Corp | ロボット装置及びロボット装置における画像信号処理方法 |
CN1573503A (zh) * | 2003-06-10 | 2005-02-02 | 松下电器产业株式会社 | 图像摄取装置、图像摄取系统和图像摄取方法 |
CN101193316A (zh) * | 2006-11-21 | 2008-06-04 | 安凯(广州)软件技术有限公司 | 一种自适应白平衡校正方法 |
CN101442679A (zh) * | 2007-11-23 | 2009-05-27 | 佛山市顺德区顺达电脑厂有限公司 | 自动白平衡控制系统、其白平衡模块及其方法 |
CN101998043A (zh) * | 2009-08-25 | 2011-03-30 | 华晶科技股份有限公司 | 影像撷取装置的白平衡设定及启用方法 |
CN101217674B (zh) * | 2007-01-04 | 2011-11-09 | 三星电子株式会社 | 用于环境光自适应颜色校正的设备和方法 |
JP2012119756A (ja) * | 2010-11-29 | 2012-06-21 | Ricoh Co Ltd | 撮像装置およびホワイトバランス制御方法 |
CN102611851A (zh) * | 2012-03-01 | 2012-07-25 | 林青 | 一种视频图像的自动照度补偿方法及系统 |
CN103037224A (zh) * | 2012-12-07 | 2013-04-10 | 珠海全志科技股份有限公司 | 图像白平衡处理方法及装置 |
CN103338383A (zh) * | 2013-06-25 | 2013-10-02 | 深圳市中兴移动通信有限公司 | 白平衡校准的方法及装置 |
CN103841390A (zh) * | 2014-02-22 | 2014-06-04 | 深圳市中兴移动通信有限公司 | 拍摄方法和拍摄装置 |
Family Cites Families (59)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6218192A (ja) * | 1985-07-17 | 1987-01-27 | Fuji Photo Film Co Ltd | 電子スチルカメラ |
JPH06197355A (ja) * | 1992-12-25 | 1994-07-15 | Canon Inc | 撮像装置 |
JP3368041B2 (ja) | 1994-04-26 | 2003-01-20 | キヤノン株式会社 | 撮像装置 |
JPH09214986A (ja) * | 1996-02-05 | 1997-08-15 | Sharp Corp | 撮像装置のホワイトバランス調整装置 |
US7453490B2 (en) * | 1997-01-31 | 2008-11-18 | Gyrus Acmi, Inc. | Correction of image signals characteristic of non-uniform images in an endoscopic imaging system |
JP4288395B2 (ja) * | 1999-01-20 | 2009-07-01 | 株式会社ニコン | ホワイトバランス調整機能を備える電子カメラ |
JP2000232653A (ja) * | 1999-02-08 | 2000-08-22 | Fuji Photo Film Co Ltd | 撮影装置 |
JP2002232906A (ja) * | 2001-01-31 | 2002-08-16 | Ricoh Co Ltd | ホワイトバランス制御装置 |
JP2002374539A (ja) * | 2001-06-15 | 2002-12-26 | Olympus Optical Co Ltd | ホワイトバランス補正可能なカメラ |
JP2003102022A (ja) * | 2001-09-21 | 2003-04-04 | Canon Inc | 撮像装置及び撮像方法 |
JP3868896B2 (ja) * | 2002-01-23 | 2007-01-17 | 本田技研工業株式会社 | 自律移動体用撮像装置、撮像装置較正方法及び撮像装置較正プログラム |
JP3513506B2 (ja) * | 2002-02-20 | 2004-03-31 | キヤノン株式会社 | ホワイトバランス補正装置およびそれを搭載した撮像装置、及びホワイトバランス補正方法 |
US6573932B1 (en) | 2002-03-15 | 2003-06-03 | Eastman Kodak Company | Method for automatic white balance of digital images |
US6982744B2 (en) * | 2002-04-15 | 2006-01-03 | Radiant Imaging, Inc. | Multi-point calibration method for imaging light and color measurement device |
JP4135503B2 (ja) * | 2003-01-08 | 2008-08-20 | 株式会社ニコン | ホワイトバランスの機能を有する電子カメラ |
JP4289040B2 (ja) * | 2003-06-26 | 2009-07-01 | 富士ゼロックス株式会社 | 画像処理装置及び方法 |
JP4800591B2 (ja) * | 2004-05-26 | 2011-10-26 | オリンパス株式会社 | 撮影システム |
JP4603319B2 (ja) * | 2004-09-01 | 2010-12-22 | パナソニック株式会社 | 画像入力装置 |
TWI281084B (en) | 2005-01-27 | 2007-05-11 | Arima Computer Corp | White balance method |
JP4721769B2 (ja) * | 2005-05-17 | 2011-07-13 | Hoya株式会社 | デジタルカメラ |
JP4759332B2 (ja) * | 2005-07-01 | 2011-08-31 | Hoya株式会社 | 画像信号処理装置 |
JP2007017576A (ja) * | 2005-07-06 | 2007-01-25 | Konica Minolta Photo Imaging Inc | シャッタ及び撮像装置 |
US8140200B2 (en) * | 2006-11-09 | 2012-03-20 | Insitu, Inc. | Turret assemblies for small aerial platforms, including unmanned aircraft, and associated methods |
JP2008124928A (ja) * | 2006-11-14 | 2008-05-29 | Toshiba Corp | オートホワイトバランスシステム |
JP4860512B2 (ja) * | 2007-03-13 | 2012-01-25 | 株式会社市川ソフトラボラトリー | 画像処理装置 |
JP2009033361A (ja) * | 2007-07-25 | 2009-02-12 | Fuji Xerox Co Ltd | 色調整装置、画像形成装置およびプログラム |
CN101399998B (zh) | 2007-09-24 | 2011-06-08 | 鸿富锦精密工业(深圳)有限公司 | 白平衡调整系统及方法 |
US7843504B2 (en) * | 2007-09-27 | 2010-11-30 | Chung-Ho Jim Lee | Camera cap with a white balance insert |
JP5178170B2 (ja) * | 2007-12-11 | 2013-04-10 | オリンパス株式会社 | ホワイトバランス調整装置及びホワイトバランス調整方法 |
KR101396342B1 (ko) * | 2008-01-08 | 2014-05-19 | 삼성전자주식회사 | 디지털 촬영 장치 및 이의 제어 방법 |
JP2009171008A (ja) * | 2008-01-11 | 2009-07-30 | Olympus Corp | 色再現装置および色再現プログラム |
KR101451982B1 (ko) * | 2008-02-12 | 2014-10-24 | 삼성전자주식회사 | 디지털 영상 장치에서 화이트 밸런스 조정 장치 및 방법 |
US8013907B2 (en) | 2008-04-08 | 2011-09-06 | Omnivision Technologies, Inc. | System and method for adaptive local white balance adjustment |
US8149292B2 (en) * | 2008-06-11 | 2012-04-03 | Omnivision Technologies, Inc. | Automatic white balance using non-uniform averaging |
US8624989B2 (en) * | 2008-07-01 | 2014-01-07 | Sony Corporation | System and method for remotely performing image processing operations with a network server device |
JP5259291B2 (ja) * | 2008-07-30 | 2013-08-07 | オリンパス株式会社 | ホワイトバランス補正装置及び信号処理プログラム |
JP5487581B2 (ja) * | 2008-09-01 | 2014-05-07 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、及び、撮像装置 |
CN101957988B (zh) * | 2009-07-20 | 2013-11-06 | 华为技术有限公司 | 获得图像灰度点概率分布的方法、装置及白平衡方法、装置 |
US8316555B2 (en) * | 2009-12-09 | 2012-11-27 | Honeywell International Inc. | Non-contact data transfer from moving systems |
CN102193285A (zh) * | 2010-03-12 | 2011-09-21 | 富港电子(东莞)有限公司 | 激光投影机白平衡自动调节装置及方法 |
WO2011148799A1 (ja) * | 2010-05-28 | 2011-12-01 | 富士フイルム株式会社 | 撮像装置及びホワイトバランスゲイン算出方法 |
US8384796B2 (en) | 2011-01-21 | 2013-02-26 | Texas Instruments Incorporated | Methods and systems for automatic white balance |
JP2012213053A (ja) * | 2011-03-31 | 2012-11-01 | Seiko Epson Corp | 印刷制御方法 |
KR20120114899A (ko) * | 2011-04-08 | 2012-10-17 | 삼성전자주식회사 | 영상 처리 방법 및 영상 처리 장치 |
TW201249713A (en) * | 2011-06-02 | 2012-12-16 | Hon Hai Prec Ind Co Ltd | Unmanned aerial vehicle control system and method |
TW201328344A (zh) * | 2011-12-27 | 2013-07-01 | Hon Hai Prec Ind Co Ltd | 控制無人飛行載具進行影像採集的系統及方法 |
JP2015092643A (ja) * | 2012-01-30 | 2015-05-14 | 日本電気株式会社 | 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム |
EP2642747A1 (en) * | 2012-03-21 | 2013-09-25 | Axis AB | A movable monitoring device, a method therein and a monitoring system comprising the movable monitoring device. |
RU2646360C2 (ru) * | 2012-11-13 | 2018-03-02 | Сони Корпорейшн | Устройство и способ отображения изображения, мобильное устройство, система отображения изображения и компьютерная программа |
JP2014120844A (ja) * | 2012-12-14 | 2014-06-30 | Ricoh Co Ltd | 画像処理装置および撮像装置 |
JP6000133B2 (ja) | 2013-01-08 | 2016-09-28 | 株式会社 日立産業制御ソリューションズ | 撮像装置、撮像システム及び撮像方法 |
JP6083897B2 (ja) * | 2013-02-28 | 2017-02-22 | 株式会社 日立産業制御ソリューションズ | 撮像装置及び画像信号処理装置 |
CN103297789B (zh) * | 2013-05-20 | 2015-04-29 | 周宇 | 白平衡校正方法及其装置 |
CN103402102B (zh) * | 2013-07-17 | 2015-12-09 | 广东欧珀移动通信有限公司 | 双摄像头摄像系统及其白平衡调节的方法与装置 |
US20150116535A1 (en) * | 2013-10-30 | 2015-04-30 | Fu-Chi Wu | White-balance color temperature measuring device for image pick-up device |
US20150206468A1 (en) * | 2014-01-21 | 2015-07-23 | Fu-Chi Wu | White balance device for video screen |
CN103929632B (zh) | 2014-04-15 | 2016-02-03 | 浙江宇视科技有限公司 | 一种自动白平衡校正方法以及装置 |
JP6455764B2 (ja) * | 2014-05-30 | 2019-01-23 | パナソニックIpマネジメント株式会社 | 色補正パラメータ算出方法、色補正パラメータ算出装置および画像出力システム |
KR102218901B1 (ko) * | 2014-10-15 | 2021-02-23 | 삼성전자 주식회사 | 색 보정 방법 및 장치 |
-
2014
- 2014-09-17 EP EP14901921.8A patent/EP3195594B1/en not_active Not-in-force
- 2014-09-17 WO PCT/CN2014/086739 patent/WO2016041162A1/en active Application Filing
- 2014-09-17 CN CN201480074936.7A patent/CN105981379B/zh not_active Expired - Fee Related
- 2014-09-17 CN CN201810897151.XA patent/CN108718405B/zh not_active Expired - Fee Related
- 2014-09-17 JP JP2016542939A patent/JP6263829B2/ja not_active Expired - Fee Related
-
2015
- 2015-07-22 US US14/806,518 patent/US9253460B1/en not_active Expired - Fee Related
- 2015-12-18 US US14/974,493 patent/US9743058B2/en active Active
-
2016
- 2016-10-10 US US15/289,757 patent/US9743059B2/en active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004276165A (ja) * | 2003-03-14 | 2004-10-07 | Sony Corp | ロボット装置及びロボット装置における画像信号処理方法 |
CN1573503A (zh) * | 2003-06-10 | 2005-02-02 | 松下电器产业株式会社 | 图像摄取装置、图像摄取系统和图像摄取方法 |
CN101193316A (zh) * | 2006-11-21 | 2008-06-04 | 安凯(广州)软件技术有限公司 | 一种自适应白平衡校正方法 |
CN101217674B (zh) * | 2007-01-04 | 2011-11-09 | 三星电子株式会社 | 用于环境光自适应颜色校正的设备和方法 |
CN101442679A (zh) * | 2007-11-23 | 2009-05-27 | 佛山市顺德区顺达电脑厂有限公司 | 自动白平衡控制系统、其白平衡模块及其方法 |
CN101998043A (zh) * | 2009-08-25 | 2011-03-30 | 华晶科技股份有限公司 | 影像撷取装置的白平衡设定及启用方法 |
JP2012119756A (ja) * | 2010-11-29 | 2012-06-21 | Ricoh Co Ltd | 撮像装置およびホワイトバランス制御方法 |
CN102611851A (zh) * | 2012-03-01 | 2012-07-25 | 林青 | 一种视频图像的自动照度补偿方法及系统 |
CN103037224A (zh) * | 2012-12-07 | 2013-04-10 | 珠海全志科技股份有限公司 | 图像白平衡处理方法及装置 |
CN103338383A (zh) * | 2013-06-25 | 2013-10-02 | 深圳市中兴移动通信有限公司 | 白平衡校准的方法及装置 |
CN103841390A (zh) * | 2014-02-22 | 2014-06-04 | 深圳市中兴移动通信有限公司 | 拍摄方法和拍摄装置 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019085794A1 (zh) * | 2017-10-30 | 2019-05-09 | 深圳市大疆创新科技有限公司 | 控制装置、摄像装置、飞行体、控制方法以及程序 |
CN109753080A (zh) * | 2017-11-07 | 2019-05-14 | 英特尔Ip公司 | 用于使用无人机来捕捉结构的层析成像图的方法和装置 |
CN107911683A (zh) * | 2017-11-28 | 2018-04-13 | 广东欧珀移动通信有限公司 | 图像白平衡处理方法、装置、存储介质和电子设备 |
CN107911683B (zh) * | 2017-11-28 | 2019-07-23 | Oppo广东移动通信有限公司 | 图像白平衡处理方法、装置、存储介质和电子设备 |
CN109842758A (zh) * | 2017-11-29 | 2019-06-04 | 超威半导体公司 | 计算传感器 |
CN107948619A (zh) * | 2017-12-13 | 2018-04-20 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和移动终端 |
TWI843820B (zh) * | 2019-03-21 | 2024-06-01 | 大陸商礪鑄智能設備(天津)有限公司 | 使用多種波長之光單色成像的顏色檢查方法 |
CN110611803A (zh) * | 2019-09-03 | 2019-12-24 | 珠海格力电器股份有限公司 | 色温预估的方法、装置及计算机可读介质 |
CN110689497A (zh) * | 2019-09-27 | 2020-01-14 | 张玉奇 | 大数据提取装置及方法 |
CN110689497B (zh) * | 2019-09-27 | 2020-05-12 | 信通达智能科技有限公司 | 基于目标识别的数据提取装置及方法 |
CN112584110A (zh) * | 2020-12-01 | 2021-03-30 | 维沃移动通信有限公司 | 白平衡调节方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP6263829B2 (ja) | 2018-01-24 |
JP2017502596A (ja) | 2017-01-19 |
US20170034493A1 (en) | 2017-02-02 |
US9743058B2 (en) | 2017-08-22 |
US20170026626A1 (en) | 2017-01-26 |
CN108718405A (zh) | 2018-10-30 |
EP3195594A4 (en) | 2018-04-04 |
US9253460B1 (en) | 2016-02-02 |
CN105981379B (zh) | 2018-09-25 |
US9743059B2 (en) | 2017-08-22 |
WO2016041162A1 (en) | 2016-03-24 |
US20170150114A9 (en) | 2017-05-25 |
CN108718405B (zh) | 2019-11-26 |
EP3195594B1 (en) | 2019-08-14 |
EP3195594A1 (en) | 2017-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105981379A (zh) | 自动白平衡系统及方法 | |
US20200272803A1 (en) | Systems and methods for detecting and tracking movable objects | |
Lin et al. | Use of UAV oblique imaging for the detection of individual trees in residential environments | |
CN104952063B (zh) | 用于在真实环境的视图中表示虚拟对象的方法和系统 | |
Demaagd et al. | Practical Computer Vision with SimpleCV: the simple way to make technology see | |
JP7415347B2 (ja) | 情報処理装置、情報処理方法、プログラム、センシングシステム | |
CN109636927B (zh) | 一种飞行器姿态测量算法训练与鉴定的系统及方法 | |
CN106537217B (zh) | 宽视野深度成像 | |
US11769225B2 (en) | Image processing apparatus, image processing method, and program | |
WO2013047627A1 (ja) | 画像取得装置 | |
CN111226261A (zh) | 信息处理装置、信息处理方法、程序以及信息处理系统 | |
CN109410890A (zh) | 显示控制方法、装置和电子设备 | |
CN106033636A (zh) | 一种火灾监控方法及系统 | |
Crusiol et al. | Reflectance calibration of UAV-based visible and near-infrared digital images acquired under variant altitude and illumination conditions | |
WO2020244441A1 (zh) | 传感器以及移动体 | |
JP6880380B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
Haavardsholm et al. | Multimodal Multispectral Imaging System for Small UAVs | |
CN114972547A (zh) | 用于确定牙齿颜色的方法 | |
Salvador | Shadow segmentation and tracking in real-world conditions | |
JP6896962B2 (ja) | 決定装置、飛行体、決定方法、及びプログラム | |
JP6690106B1 (ja) | 決定装置、撮像システム、及び移動体 | |
Tappan et al. | Image processing for data acquisition and machine learning of helicopter flight dynamics | |
JP2022053417A (ja) | 制御装置、撮像装置、移動体、制御方法、及びプログラム | |
Jacobsen | Comparison of large size digital airborne frame cameras with analogue film cameras | |
de Oca Rebolledo | CONSTRUCTION AND CONTROL OF AN AERIAL VEHICLE FOR CROP MONITORING |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180925 |