CN106462956A - 局部自适应直方图均衡 - Google Patents
局部自适应直方图均衡 Download PDFInfo
- Publication number
- CN106462956A CN106462956A CN201580032107.7A CN201580032107A CN106462956A CN 106462956 A CN106462956 A CN 106462956A CN 201580032107 A CN201580032107 A CN 201580032107A CN 106462956 A CN106462956 A CN 106462956A
- Authority
- CN
- China
- Prior art keywords
- image
- piece
- view data
- block
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003044 adaptive effect Effects 0.000 title description 4
- 238000000034 method Methods 0.000 claims abstract description 72
- 230000008859 change Effects 0.000 claims description 28
- 238000003384 imaging method Methods 0.000 claims description 20
- 230000004044 response Effects 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 11
- 238000001228 spectrum Methods 0.000 claims description 10
- 238000005286 illumination Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 8
- 238000009825 accumulation Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims 2
- 230000001747 exhibiting effect Effects 0.000 abstract 2
- 230000015654 memory Effects 0.000 description 34
- 230000006870 function Effects 0.000 description 24
- 230000008569 process Effects 0.000 description 24
- 230000008878 coupling Effects 0.000 description 23
- 238000010168 coupling process Methods 0.000 description 23
- 238000005859 coupling reaction Methods 0.000 description 23
- 238000003860 storage Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 5
- 238000011282 treatment Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000000712 assembly Effects 0.000 description 4
- 238000000429 assembly Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 238000005303 weighing Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000033228 biological regulation Effects 0.000 description 2
- 238000000701 chemical imaging Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 241000256844 Apis mellifera Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001256 tonic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Studio Devices (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
某些方面涉及用于在展现局部强度变化的图像的集合中的图像上执行局部强度均衡的系统及技术。举例来说,所述局部强度均衡可用于执行所述图像的准确区域匹配及对准。所述图像可举例来说基于所述图像中的所识别关键点的位置、形状及大小而分割成像素块的区域。描绘所述图像中的相同特征的区域可相对于强度均衡。可甚至在由不对称传感器捕获或展现空间变化强度的图像中准确地执行基于所述强度均衡区域中的所述关键点的区域匹配。
Description
技术领域
本文中所揭示的系统及方法涉及图像处理,且更确切地说,涉及在区域匹配技术中的局部强度均衡。
背景技术
图像配准或图像对准是将不同的图像数据集合变换到一个坐标系中的过程。图像数据包含多个图像(例如,来自不同图像传感器的图像)、时间、深度、视角或光谱的部分。除了其它应用之外,图像对准用于摄影、计算机视觉、医学成像及对来自望远镜及卫星的图像及数据进行编译及分析。为了能够比较或整合从这些不同光学测量中获得的图像数据而使用图像对准。通常,通过以下方法进行图像对准:通过经由相关性度量比较图像中的强度图案的基于强度的方法,或通过寻找图像特征(例如,点、线及轮廓)之间的对应性的基于特征的方法。可在逐像素对准、基于区域的配准或全局配准的层面上实现图像对准。
一种类型的图像对准是立体匹配,其用于在呈现两个偏移图像的集合时产生深度的错觉。立体匹配是确定相关图像(举例来说,从不同视角捕获的同一图像场景的两个图像)中的对象之间的对应性的过程。对应性可指展示两个立体图像中的图像场景中的同一位置的匹配点。也就是说,匹配点表示两个立体图像中所描绘的对象的同一部分。通常,确定对应性被处理为两个非常独立的子过程,即,分段,接着是匹配。图像可基于像素值,举例来说,颜色值或强度值分段成区域。区域被认为是将在对应的图像对之间匹配的图元,因为可通过匹配更多开发的实体来克服基于点或线的方法中固有的许多缺点。对应性可用于通过使用匹配点之间的视差根据三角测量的原理来计算到所关注对象的深度。
发明内容
一般来说,本发明涉及用于图像对准技术或处理的局部强度均衡的系统及技术。举例来说,所述过程的一个实施方案可将包含两个或多于两个图像的图像数据分段成包含像素块的区域。在一些实施例中,区域可对应于图像数据中的所识别特征。在例如立体对准应用的一些实施例中,像素块可经设定大小,使得块大小大于最大视差值且小于滚降变化。可在每个块上执行局部直方图匹配,接着在块之间执行双线性内插,从而跨越图像产生均衡强度变化。与非强度匹配图像集相比,均衡的强度变化可产生更准确的区域匹配结果。
在一些实施例中,局部强度均衡过程可实现跨越不对称传感器的准确区域匹配,例如,可实施于立体、全景或多光谱成像系统中。举例来说,多个立体成像系统实施不同位置处的多个图像传感器以捕获目标图像场景的不同视图来产生立体图像集。此外,这些多图像传感器可相对于增益、滚降、敏感度、视场、白平衡、几何畸变及噪声灵敏度不匹配,从而在所捕获图像中的对应特征处产生强度变化。用于将光聚焦到传感器上的透镜或光学元件的变化还可产生对应特征处的强度变化。同样,车载图像信号调节的偏差还可促进对应特征处的强度变化。此类传感器在本文中称为“不对称传感器”,因为其对从图像场景的特征进入的光的强度作出变化响应。
作为另一实例,一些多光谱成像系统实施多个传感器以捕获电磁光谱的不同部分处的图像数据。在电磁光谱的变化范围处捕获的图像可(举例来说)由于红外线及可见光颜色传感器对照明的不同强度响应而在对应特征处的强度方面变化,并且因此多光谱系统还可包含不对称传感器。如本文所使用的“对应特征”是指如图像集的多个图像中所描绘的实际图像场景中的同一特征。特征可表示为包含特征处及/或特征周围的像素块的区域,并且描绘对应特征的区域在本文中称为“对应区域”。对应区域中的像素的强度值的变化在本文中称为“局部强度变化”。图像集可在图像集的多个对应特征中的一些或所有对应特征处展现局部强度变化。
尽管一般在本文的多传感器系统的上下文中论述,但是局部强度均衡过程还可实现由单个传感器捕获的展现局部强度变化的图像之间的准确区域匹配。举例来说,通过单个RGBN传感器(经配置以捕获图像场景的RGB及NIR通道的四通道传感器)捕获的近红外(NIR)图像及可见光颜色(例如,RGB)图像可展现局部强度变化。作为另一实例,由同一传感器获取的具有同一图像场景,但在不同照明中的两个或多于两个图像可展现局部强度变化。通过单个传感器捕获并且展现局部强度变化的其它图像集合是可能的。可使用局部强度均衡执行展现局部强度变化的任何图像集合的对准。
对于立体深度图的对准及产生,跨越多个图像的匹配区域需要跨越图像的相同局部强度变化。如上所述,由不对称传感器产生的图像集通常不具有相同局部强度,从而引起区域匹配性能误差及后续性能下降。在一些实施例中,通过本文中描述的用于均衡化在识别用于区域匹配的关键特征周围的区域中的像素块强度变化的局部强度均衡技术来解决此问题及其它问题。与非强度匹配图像集相比,均衡的强度变化可产生更准确的区域匹配结果。对于立体应用(例如,深度感测),自适应强度匹配可减小体现为在表征为相同深度但不同对比度的区域中的错误视差的匹配误差。减小深度图中的此类误差可减小任何后续处理中的误差并且实现与从非强度匹配图像集产生的立体图像相比呈现更高质量立体图像。
与图像之间的全局直方图匹配相比,本文中描述的局部强度均衡技术通过(举例来说)对空间变化强度中的局部变化的自适应实现更准确的区域匹配。举例来说,影响胶卷及数码相机两者的渐晕是指由透镜视场(FOV)的外围附近的光学系统传输的光的量减小,产生入射到图像传感器上的光的空间变化强度,从而导致边缘处的图像逐渐暗化。此外,自然图像场景的照明跨越整个场景不是恒定的,从而在整个场景中引起不可预测的空间变化强度。空间变化强度对具有不同平均强度值的图像之间的特征匹配造成大量问题,因为全局直方图调整可能不适用于局部变化。举例来说,全局直方图匹配方法基于平均像素值,并且因此局部区域相对于其在输入图像中的对应区域朝向不准确的强度值偏置。本文中描述的局部强度均衡技术在局部区域中提供未偏置的强度均衡,从而优化在空间变化照明中的关键点结构周围的匹配准确度。对于用于立体图像中的深度图构造的关键点匹配,局部直方图自适应提供允许准确深度图构造的关键点区域之间的强度对应。
因此,一方面涉及一种图像捕获装置,其包括:具有第一强度响应的第一图像传感器;具有第二强度响应的第二图像传感器;及图像处理器,其经配置以:接收包含来自所述第一图像传感器的第一图像及来自所述第二图像传感器的第二图像的图像数据,所述第一图像及所述第二图像描绘单个图像场景的至少一部分并且相对于彼此展现局部强度变化;将所述第一图像分割成多个第一块;将所述第二图像分割成多个第二像素块;确定一对对应块,所述对对应块包含所述多个第一块的所识别第一块及所述多个第二块的所识别第二块;及产生包含于所述所识别第一块及所述所识别第二块中的像素的均衡局部强度值。
另一方面涉及一种用于处理图像集合的方法,所述方法包括:接收表示图像场景的第一图像的图像数据;接收表示所述图像场景的至少一部分的第二图像的图像数据,所述第二图像相对于所述第一图像的局部强度值展现局部强度值变化;将所述第一图像及所述第二图像中的每一者分割成多个像素块;确定一对对应块,所述对对应块包含所述多个像素块中的第一块及所述多个像素块中的第二块,包含在所述图像数据中的所述第一块表示所述第一图像并且包含在所述图像数据中的所述第二块表示所述第二图像;及针对包含在所述第一块中的像素及包含在所述第二块中的像素产生均衡局部强度值。
另一方面涉及存储指令的非暂时性计算机可读媒体,当执行时所述指令致使图像处理器执行包括以下项的操作:接收表示由不对称图像传感器捕获的两个或多于两个图像的图像数据;将所述两个或多于两个图像中的每一者分割成多个像素块;确定一对对应块,所述对对应块包含所述多个像素块的第一块及所述多个像素块的第二块,所述第一块包含在第一图像或所述两个或多于两个图像中并且所述第二块包含在所述两个或多于两个图像的第二图像中;及针对包含在所述第一块中的像素及包含在所述第二块中的像素产生均衡强度值。
附图说明
将在下文中结合附图来描述所揭示方面,提供附图是为了说明但不限制所揭示方面,其中相同符号表示相同元件。
图1说明具有局部强度均衡功能的图像捕获系统的一个实施方案的框图。
图2说明用于使用局部强度均衡产生立体图像的级的实施例的框图。
图3说明均衡模块的实施例的框图。
图4说明局部强度均衡过程的实施例。
图5A及5B说明描绘常规区域匹配及包含局部强度均衡过程的实施例的区域匹配的均方误差结果的比较的框图。
具体实施方式
介绍
本发明的实施例涉及用于在用于图像对准的区域匹配中的局部强度均衡的系统及技术。在图像集合中的每个图像可描绘大体上相同的图像场景,举例来说,来自不同视角、在不同照明或在电磁光谱的不同部分中的图像场景。集合中的图像中的每一者可分成包含像素块的多个区域。区域可经匹配以确定描绘图像之间的对应特征的区域,即,确定图像中的哪些区域描绘相同特征。可关于强度匹配描绘对应特征的区域。描绘对应特征的区域之间的强度对应性可准许使用区域的准确匹配,从而(举例来说)引起准确的后续图像对准及/或深度图构造。
在一个实施例中,可至少部分基于识别图像集合中的每个图像中的独特特征(称为关键点)来确定区域。关键点可经选择及/或处理,使得所述关键点对于图像比例变化及/或旋转不变并且跨越大范围失真、视角变化及/或噪声提供稳固的匹配。可(举例来说)基于经提取特征的位置、形状及大小来确定区域位置、形状及大小。对应区域之间的强度均衡可适合于局部结构内容,例如关键点的形状。因此,可在关键点检测之后通过均衡对应区域的强度来缓解或消除对空间变化强度对关键点匹配的影响。
对应区域之间的强度值的均衡可调节包含在区域中的关键点的结构。在一些实例中,可分析每个对应区域的直方图以确定空间强度变化并且可执行对应区域的强度之间的空间映射以提供适合于局部结构内容(例如,独特特征)的均衡强度。举例来说,在基于一对图像中的块的直方图分析而确定均衡函数之后,第一图像中的强度值可被映射到第二图像中的强度值,使得第一图像变换成具有与第二图像的直方图最密切类似或匹配的直方图。所有所确定区域就强度值而言看起来非常类似,并且因此可通过后续处理识别为每个图像中的对应区域,即使所述区域通过不同传感器、光学器件及/或光波长产生。
尽管本发明中所描述的实施例的各方面将聚焦于立体图像对下上文内的区域匹配,但是这是出于说明的目的且并非意图限制本文中所描述的局部强度均衡技术的使用。还可使用本文中所描述的局部强度均衡技术更准确地执行使用非立体图像对的区域匹配的对准。举例来说,局部强度均衡可提供用于更准确的多光谱图像对准,即,匹配来自光谱的不同部分的图像,例如,对准近红外(NIR)图像及具有同一图像场景的所捕获可见光颜色(例如,RGB)图像。局部强度均衡还可提供更准确的光谱图像对准,举例来说,用于对准通过光学系统使用衍射光栅来执行光谱分析而在不同波长处获取的图像集合。本文中所描述的局部强度均衡技术可用于在各种实施例中对准一对图像或三个或多于三个图像的集合。此外,本文中所描述的局部强度均衡技术不限于通过区域匹配的对准并且可并入到任何图像对准或校正技术中。
现将关于意图说明而不是限制本发明的某些实例和实施例描述本发明的各个方面。
实例系统的概述
图1说明具有强度均衡功能的图像捕获装置(或系统)100的一个实施方案的框图。装置100包含图像处理器(或处理器)120,其连接到图像传感器组合件115A及115B、工作存储器105、存储装置110、显示器125及存储器130。
装置100可为蜂窝电话、数码相机、平板计算机、个人数字助理等等。存在具有不对称图像传感器的多个成像装置,其中局部强度均衡过程(例如,本文中描述)将提供优点。多个成像应用可供装置100上的用户使用。这些应用可包含传统摄影及视频应用、高动态范围成像、全景照片及视频、例如3D图像或3D视频的立体成像或多光谱成像(仅举几例)。
如所说明的图像捕获装置100包含用于捕获外部图像的图像传感器组合件115A、115B。图像传感器组合件115A、115B可各自包含传感器、透镜组合件及自动聚焦模块。在一些实施例中,组合件115A及115B的传感器可为电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)。组合件115A及115B的传感器可为经配置以对从图像场景的特征进入的光的强度具有变化响应的不对称传感器。因此,目标图像场景可被捕获为图像集合,其中传感器组合件115A根据传感器的强度响应捕获图像A并且传感器组合件115B根据传感器的强度响应捕获图像B。尽管展示两个图像传感器组合件115A、115B,但是这是出于说明的目的且并非意图限制可实施本文中所描述的强度均衡技术的系统的类型。在其它实施例中,三个或多于三个传感器组合件可捕获目标场景的图像的集合,所述图像集合展现至少某一局部强度变化。在又其它实施例中,单个传感器组合件可捕获目标场景的图像的集合,所述图像集合展现至少某一局部强度变化。在一些实施例中,传感器组合件中的一或多者可不为装置100的一部分,替代地将来自一或多个传感器组合件的信息提供到装置100以供处理。举例来说,传感器组合件可为另一成像系统的一部分,并且可提供来自此系统的信息以使用描述用于装置100的功能进行处理。在一些实施例中,首先存储此信息,且随后将所述信息提供到装置100以供处理。传感器组合件的数目可根据成像系统100的需要增加或减少。图像传感器组合件115A、115B可耦合到图像处理器120以将所捕获图像发射到图像处理器120。
图像处理器120可经配置以在包含图像场景的多个图像的所接收图像数据上执行不同处理操作以便输出准确对准的图像集,如将在下文更详细地描述。处理器120可为通用处理单元或专门设计用于成像应用的处理器。图像处理操作的实例包含裁剪、按比例缩放(例如,按比例缩放到不同分辨率)、图像拼接、图像格式转换、颜色内插、颜色处理、图像滤波(例如,空间图像滤波)、镜头伪影或疵点校正等。在一些实施例中,处理器120可包括多个处理器。某些实施例可具有专用于每个图像传感器的处理器。处理器120可为一或多个专用图像信号处理器(ISP)或处理器的软件实施方案。
图像处理器120连接到存储器130及工作存储器105。在所说明的实施例中,存储器130存储捕获控制模块135、对准模块140及操作系统150。这些模块包含配置图像处理器120及/或装置处理器160以执行各种图像处理及装置管理任务的指令。工作存储器105可由图像处理器120用于存储存储器130的模块中所含有的处理器指令的工作集。或者,工作存储器105也可由图像处理器120用于存储在装置100的操作期间所产生的动态数据。
如上所述,图像处理器120通过存储于存储器(举例来说,存储器130)中的若干模块配置。捕获控制模块135可包含配置图像处理器120以调整成像传感器组合件115A、115B的聚焦位置的指令。捕获控制模块135可进一步包含控制装置100的总体图像捕获功能的指令。举例来说,捕获控制模块135可包含调用子例程以配置图像处理器120来使用成像传感器组合件115A、115B捕获目标图像场景的原始图像数据的指令。捕获控制模块135接着可调用对准模块140以在由传感器组合件115A、115B捕获的图像上执行局部强度均衡及对准并且将对准的图像数据输出到成像处理器120。捕获控制模块135还可调用对准模块140以在一些实施例中在原始图像数据上执行强度均衡及对准,以便在待捕获场景的显示器125上输出预览图像,并且以某些时间间隔或当原始图像数据中的场景变化时更新预览图像。
对准模块140可包含配置图像处理器120以使用局部强度均衡技术在所捕获图像数据上执行图像对准的指令。举例来说,传感器组合件115A、115B中的每一者可根据每个传感器的强度响应捕获描绘目标图像的图像。如上所述,由于传感器增益、滚降、敏感度、视场、白平衡、几何畸变及噪声灵敏度(除了其它以外)的偏差、传感器组合件115A、115B中的透镜之间的差及车载图像信号调节,因此强度响应可不同。为了不管图像之间的强度变化执行图像的准确对准,对准模块140可配置图像处理器120以将图像分割成多个区域、均衡对应区域的局部强度值并且使用强度均衡区域执行区域匹配。
举例来说,对准模块140可包含特征检测器142,其包含配置图像处理器120以检测图像数据中的独特特征或关键点的指令。此类特征可对应于图像中可与高准确度匹配的点。举例来说,独特特征可至少部分表征为与周围像素区域相比的特性(例如,大小、形状、尺寸、亮度或颜色)不同的边缘或线、拐角、脊线或斑点的存在或锐度。一般来说,出于特征识别的目的,对象或特征辨识可涉及识别图像中的关注点(也被称为关键点)及/或这些关键点周围的局部特征。对象或特征可表征为识别一或多个关键点的描述符。可通过任何已知特征检测技术,例如,差方和、高斯-拉普拉斯算子(LoG)、高斯差分(DoG)及海赛行列式(DoH)(仅举几例)来识别关键点。
特征检测器142还可包含至少部分基于所识别关键点配置图像处理器120以将图像数据分割成包含像素块的区域的指令。可(举例来说)基于所识别关键点的位置、形状及大小确定像素块位置、形状及大小。在例如一些立体对准应用的一些实施例中,特征检测器142可包含配置图像处理器120以将像素块大小限制为大于视差值及/或小于滚降变化值的指令。
对准模块140还可包含直方图模块144,其包含至少部分基于直方图分析配置处理器120以产生及分析区域的直方图并且产生强度均衡函数的指令。直方图模块144可包含配置处理器120以确定每个块的概率质量函数(PMF)、求和PMF中的质量以计算累积质量函数(CMF)及使用CMF以将来自由传感器组合件115A捕获的图像中的像素的强度值映射到由传感器组合件115B捕获的图像中的像素(或反之亦然)的指令。因此,对应区域之间的强度均衡可适用于局部结构内容,例如,关键点的形状。
对准模块140还可包含匹配模块146,其可包含配置处理器120以使用由直方图模块144产生的强度均衡图像数据来执行区域匹配的指令。由于局部自适应强度均衡,对应关键点区域就强度值而言看起来彼此非常类似,从而在关键点结构周围,甚至在展现空间变化强度的图像中实现高度准备的匹配。
操作系统模块150配置图像处理器120以管理装置100的工作存储器105及处理资源。举例来说,操作系统模块145可包含装置驱动器以管理例如成像传感器组合件115A、115B等硬件资源。因此,在一些实施例中,上文所论述的图像处理模块中所含有的指令可不与这些硬件资源直接交互,而是通过位于操作系统组件150中的标准子例程或API交互。操作系统150内的指令可接着与这些硬件组件直接交互。操作系统模块150可进一步配置图像处理器120以与装置处理器160共享信息。
装置处理器160可经配置以控制显示器125来向用户显示所捕获图像或所捕获图像的预览。显示器125可在成像装置100外部或可为成像装置100的一部分。显示器125还可经配置以提供显示预览图像以供在捕获图像之前使用的视图查找器,或可经配置以显示存储在存储器中或最近由用户捕获的所捕获图像。显示器125可包括LCD或LED屏幕,且可实施触敏技术。
装置处理器160可将数据写入到存储模块110,举例来说,表示所捕获图像的数据、图像对准数据、强度值数据等。虽然存储模块110以图形方式表示为传统磁盘装置,但所属领域的技术人员应理解,可将存储模块110配置为任何存储媒体装置。举例来说,存储模块110可包含磁盘驱动器,例如,软盘驱动器、硬盘驱动器、光盘驱动器或磁光盘驱动器,或固态存储器,例如快闪存储器、RAM、ROM及/或EEPROM。存储模块110还可包含多个存储器单元,且所述存储器单元中的任一者可经配置以处于图像捕获装置100内,或可在图像捕获装置100的外部。举例来说,存储模块110可包含含有存储在图像捕获装置100内的系统程序指令的ROM存储器。存储模块110还可包含经配置以存储所捕获图像的可从相机拆卸的存储卡或高速存储器。
尽管图1描绘具有单独组件以包含处理器、成像传感器及存储器的装置,但所属领域的技术人员将认识到,这些单独组件可用多种方式组合以实现特定的设计目标。举例来说,在替代实施例中,存储器组件可与处理器组件组合以节省成本且改进性能。另外,尽管图1说明包含存储器组件130(包含若干模块)及单独的工作存储器105的两个存储器组件,但是其它实施例可利用不同存储器架构。举例来说,设计可利用ROM或静态RAM存储器来存储实施包含于存储器130中的模块的处理器指令。处理器指令可加载到RAM以促进图像处理器120的执行。举例来说,工作存储器105可包括RAM存储器,其中指令在由处理器120执行之前加载到工作存储器105。
使用局部强度均衡的实例立体图像产生的概述
图2说明可用于执行用于使用局部强度均衡产生立体图像的级的模块的实施例的框图,所述级包含图像捕获级240、图像处理级245及立体匹配级250。
在图像捕获级240处,图像数据A 205及图像数据B 210可描绘单个图像场景(举例来说,在相同或不同时间处获取的同一单个图像场景或单个图像场景的一部分)或图像场景的至少一些重叠部分(在相同时间或不同时间获取)的所捕获图像信息。图像数据A 205及图像数据B 210中的每一者包含与包含于图像中的像素相关联的信息,举例来说,如由成像系统感测到的像素的强度或亮度值(或所测量信号)。在一些实施例中,图像数据A及/或B中的像素还可具有关于与其相关联的像素的其它信息,举例来说,关于颜色或另一图像特征的信息。
如上文所论述,图像数据A 205及图像数据B 210可使用不对称传感器或通过具有变化照明的单个传感器捕获,从而产生图像中的关键点特征处的局部强度变化。在一个实施例中,图像数据A 205及图像数据B 210可从略微不同的视角获取并且用于构造立体图像。在另一实施例中,图像数据A 205及图像数据B 210可来自光谱的不同部分并且用于构造多光谱图像或用于其它多光谱成像应用。
在图像处理级245处,所捕获图像数据A 205及图像数据B 210可使用局部强度均衡处理以在图像数据中的关键点特征处实现准确区域匹配。举例来说,图像处理级245可实施经配置以确定关键点的独特特征(或包含用于确定关键点的独特特征的指令)的检测模块215。独特特征可从图像数据A 205及图像数据B 210中的每一者中提取。此类特征可对应于图像中可与高准确度匹配的点。举例来说,独特特征可至少部分表征为与周围像素区域相比的特性(包含但不限于,大小、形状、尺寸、亮度或颜色)不同的边缘或线、拐角、脊线或斑点的存在。如上文所论述,可通过任何已知特征检测技术,例如,差方和、高斯-拉普拉斯算子(LoG)、高斯差分(DoG)及海赛行列式(DoH)(仅举几例)来识别此类关键点特征。
图像处理级245还可实施关键区域确定模块220,其经配置以基于所识别关键点将图像数据A 205及图像数据B 210分割成包括像素块的区域(或包含用于基于所识别关键点将图像数据A 205及图像数据B 210分割成包括像素块的区域的指令)。可根据相应图像捕获系统的光学及成像参数确定区域大小。块大小可足够小以捕获局部变化且涵盖关键点特征,并且可足够大以足够对局部强度概率密度功能进行采样。在一些实施例中,使用均衡块将图像分成4个、8个及16个块可产生区域匹配的良好性能。一些实施例可基于关键点特征自适应地设定块大小,并且可使用强度均衡及自适应设定大小的块来实现区域匹配中的性能增益。举例来说,可基于所识别关键点的位置、形状及大小确定像素块位置、形状及大小。在例如一些立体对准应用的一些实施例中,像素块大小可在大于视差值且小于滚降变化值的范围内。关键区域确定模块220还可用于确定图像数据A 205及图像数据B 210的区域之间的一般对应性,以便识别描绘相同关键点特征的像素块对。
图像处理级245还可实施局部强度均衡模块225,其经配置以产生及分析区域中的每一者的直方图(包含用于产生及分析区域中的每一者的直方图的指令)。局部强度均衡模块225可(举例来说)至少部分基于直方图分析产生用于图像数据A及图像数据B中的一对对应区域的强度均衡函数。在一个实施例中,为了均衡局部强度,可确定每个块的概率质量函数(PMF)、可求和PMF中的质量以计算累积质量函数(CMF),并且CMF可用于将来自第一图像中的像素的强度值映射到第二图像中的像素。因此,对应区域之间的强度均衡说明为区域内的关键点的强度结构。
立体匹配级250说明用于使用区域匹配对准图像并且使用对应关键点构造深度图的使用由自适应局部强度均衡产生的数据的立体深度图构造的一个实施方案。在区域匹配模块230处,强度均衡图像数据A及图像数据B可用于确定图像数据A及图像数据B之间的关键点处的对应像素。因为特征可呈现在不同位置、定向及尺度中,所以强度匹配的区域数据用于确定对应关键点之间的准确几何转换。深度图构造模块235可基于视差值确定每个像素的深度水平,所述视差值基于图像中的对应关键点的位置之间的距离而确定。举例来说,图像数据A中的关键点与图像数据B中的对应关键点之间的几何转换可使用匹配关键点估计并且可用于确定表示关键点的像素的深度值。尽管未说明,但是可使用强度均衡图像的立体图像产生的一些实施例可用于使用构造的深度图产生立体图像。在其它实施例中,原始图像可用于使用构造的深度图产生立体图像。
实例均衡模块的概述
图3说明可用于在包含两个或多于两个图像的图像数据上执行本文所论述的局部强度均衡技术的均衡模块300的实施例的框图。在一些实施例中,均衡模块300可并入到上述装置100的直方图模块144中。
在所说明的实施例中,表示图像A 305的数据可从第一图像传感器接收并且表示图像B 310的数据可从第二图像传感器接收,其中第一图像传感器及第二图像传感器不对称。因此,图像A 305及图像B 310可具有局部强度值的变化,举例来说,在关键点特征处及关键点特征周围的像素强度值。尽管实施所描绘实施例以均衡两个图像的局部强度值,但是在其它实施例中可将三个或多于三个图像发送到均衡模块300。在均衡三个或多于三个图像之间的强度的一些实施例中,一个图像可识别为用于将其它图像的强度值匹配到参考图像的强度值的参考。在一些实施例中,第一图像传感器及第二图像传感器不对称。
图像A可在分割模块A 315处接收以分割成像素块的K个区域。图像B可在分割模块B 320处接收以分割成像素块的相同数目K个区域。如上所述,在一些实施例中,像素块的数目、大小、位置及形状可基于图像A及图像B中的关键点的识别。在一些实施例中,图像可根据预定块数目及配置分割。
经分割图像数据A可在直方图分析模块A 325处接收,并且经分割图像数据B可在直方图分析模块B 330处接收。尽管描绘为单独模块,但是在一些实施例中,直方图分析模块A及直方图分析模块B可实施为单个模块。对于图像A及B中的每一者中的K个块中的每个块,直方图分析模块A及直方图分析模块B可计算
对于从1到K的i值及对于j=0,1..255,其为用于水平j除以每块的元件总数目N的值的数。因此,hi是块的概率质量函数(PMF)。这指示在提供关于区域中的空间结构内容的信息的块中发生的水平j的可能性。
可通过用于由直方图分析模块A 325输出的直方图的均衡模块A 335来确定均衡函数H1。举例来说,均衡模块A 335可根据以下等式求和PMF中的质量:
以便计算累积质量函数(CMF)。均衡模块B 340可计算用于由直方图分析模块B330输出的直方图的类似函数H2。CMF可指示(举例来说)归因于关键点特征结构,空间强度值如何在块内变化。
强度匹配模块345可基于由均衡模块A及B确定的累积质量函数来执行图像A及图像B的强度之间的空间映射。在一些实施例中,在已确定所有块及所有传感器的CMF之后,可根据以下等式应用均衡函数:
这可将图像B中的强度值映射到图像A中的强度值,使得图像B变换成具有与图像A的直方图密切类似或匹配的直方图。因此,区域可看起来非常类似并且可通过后续处理识别为每个图像中的对应区域,即使所述区域通过不对称传感器产生。可根据以下等式表示所得的强度匹配图像A及B:
在一些实施例中,为了确定图像B的像素的新强度值,匹配模块可执行双线性直方图内插。举例来说,对于每个像素,可通过来自加载直方图的查表确定四个新亮度值。可接着通过合适的内插技术(举例来说,双线性)确定目标像素的新亮度值,以便根据相邻直方图信息产生均衡像素值。
实例局部强度均衡过程的概述
图4说明局部强度均衡过程400的实施例。在一些实施例中,可通过上述装置100的均衡模块300或直方图模块144执行过程400的块405-425。匹配模块146可在一些实施例中用于执行过程400的块430。
在块405处,均衡模块300可接收由不对称传感器捕获的至少第一图像及第二图像的图像数据。因此,第一图像及第二图像可展现在关键点区域处或在关键点区域周围(除其它位置之外)的局部强度变化。
在块410处,分割模块A及B(并且在一些实施例中,未说明的额外分割模块对应于第三、第四或更多图像)可识别对应于可准确匹配的结构的第一及第二图像中的关键点。关键点可至少部分标准为与周围像素区域相比的特性(例如,亮度或颜色)不同的边缘或线、拐角、脊线或斑点的存在。然而,归因于局部强度变化,在第一及第二图像中的对应关键点特征处的强度值可为不同的。
在块415处,分割模块A及B可将第一图像及第二图像分割成包含像素块的多个区域。在一些实施例中,第一图像及第二图像可分割成相同数目的块。在一些实施例中,像素块数目、位置、大小及形状可至少部分基于在块410处识别的关键点。
在块420处,分割模块A 315及B 320(图3)可确定第一及第二图像之间的块到块对应性。块到块对应性一般可指示出具有在包含于第一图像中的对中的一个块及在包含于第二图像中的对中的一个块的一对块描绘来自目标图像场景的相同关键点特征。块到块对应性可实现关键点特征周围的局部强度分析及均衡。
在块425处,均衡模块300可均衡第一及第二图像中的一些或全部块中的像素的局部强度值。举例来说,如上所述,直方图模块A 325及B 330可计算第一图像及第二图像两者中的每个块的PMF。均衡模块A 335及B 340可通过求和PMF中的质量来计算均衡函数以计算CMF。使用每一对对应块的CMF函数,强度匹配模块345可执行双线性内插以映射第二图像的强度值以在保持关键点特征的结构时匹配或近似第一图像的强度值。
在块430处,匹配模块146可通过应用于图像数据的自适应局部强度均衡来接收第一及第二图像的数据。匹配模块146可使用此数据来执行区域匹配且确定关键点特征中的像素之间的对应性及转换。
实例结果比较
图5A及5B说明常规区域匹配及包含局部强度均衡过程的实施例的区域匹配的均方误差结果的比较。
图5A表示用于关于局部强度值不匹配的第一图像505及第二图像510之间的区域匹配的常规方法。此方法可产生高均方误差515。举例来说,图像505、510中的关键点之间的对应性可基于确定强度分布的最小均方差。归因于关键点周围的失配局部强度值,最小均方差可足够高以由于匹配误差而致使图像505、510之间的不当或不准确对准。这可产生不准确的深度图、低视觉质量对准或立体图像及其它不合需要的后续处理效果。
图5B表示用于本文中所描述的区域匹配的均衡方法,其中第一图像505及第二图像510在块520处经历局部强度均衡处理。因此,在一些实施例中,第一图像505变换成具有与第二图像510的直方图匹配或基本上对应的直方图的强度均衡图像525。这可产生低均方误差530,从而引起关键点特征之间的适当对准并且在立体应用中引起准确深度图的构造。
实施系统及术语
本文所揭示的实施方案提供用于区域匹配技术中的局部强度均衡的系统、方法及设备。所属领域的技术人员将认识到,这些实施例可在硬件、软件、固件或其任何组合中实施。
在一些实施例中,可在无线通信装置中利用上文所论述的电路、过程及系统。无线通信装置可为用来与其它电子装置无线通信的一种电子装置。无线通信装置的实例包含蜂窝电话、智能电话、个人数字助理(PDA)、电子阅读器、游戏系统、音乐播放器、上网本、无线调制解调器、膝上型计算机、平板计算机装置等。
无线通信装置可包含一或多个图像传感器、一或多个图像信号处理器及存储器,所述存储器包含用于执行上文所论述的局部强度均衡技术的指令或模块。装置也可具有数据、从存储器加载指令及/或数据的处理器、一或多个通信接口、一或多个输入装置、一或多个输出装置(例如,显示装置)及电源/接口。无线通信装置可另外包含发射器及接收器。发射器及接收器可共同被称作收发器。收发器可耦合到一或多个天线以用于发射及/或接收无线信号。
无线通信装置可以无线方式连接至另一电子装置(例如,基站)。无线通信装置可替代地被称作移动装置、移动台、订户台、用户设备(UE)、远端台、接入终端、移动终端、终端、用户终端、订户单元等。无线通信装置的实例包含膝上型或桌上型计算机、蜂窝电话、智能电话、无线调制解调器、电子阅读器、平板装置、游戏系统等。无线通信装置可根据例如第三代合作伙伴计划(3GPP)等一或多个工业标准来操作。因此,一般术语“无线通信装置”可包含根据工业标准以变化的命名法来描述的无线通信装置(例如,接入终端、用户设备(UE)、远程终端等)。
可将本文中所描述的功能作为一或多个指令而存储在处理器可读或计算机可读媒体上。术语“计算机可读媒体”是指可由计算机或处理器存取的任何可用媒体。借助于实例并且非限制性地,此种媒体可包括RAM、ROM、EEPROM、快闪存储器、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置或可用来存储呈指令或数据结构的形式的所要程序代码并且可由计算机存取的任何其它媒体。如本文所使用的磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及光盘,其中磁盘通常以磁性方式再现数据,而光盘用激光以光学方式再现数据。应注意,计算机可读媒体可为有形的且非暂时性的。术语“计算机程序产品”是指与可由计算装置或处理器执行、处理或计算的代码或指令(例如,“程序”)组合的计算装置或处理器。如本文中所使用,术语“代码”可指可由计算装置或处理器执行的软件、指令、代码或数据。
还可通过传输媒体发射软件或指令。举例来说,如果使用同轴电缆、光纤电缆、双绞线、数字订户线路(DSL)或无线技术(例如,红外线、无线电及微波)从网站、服务器或其它远程源传输软件,则同轴电缆、光纤电缆、双绞线、DSL或无线技术(例如,红外线、无线电及微波)包含在传输媒体的定义中。
本文中所揭示的方法包括用于实现所描述方法的一或多个步骤或动作。在不偏离权利要求书的范围的情况下,方法步骤及/或动作可彼此互换。换句话说,除非正描述的方法的适当操作需要步骤或动作的特定次序,否则在不脱离权利要求书的范围的情况下,可修改特定步骤及/或动作的次序及/或使用。
应注意,如本文中所使用,术语“耦合(couple、coupling、coupled)”或词语“耦合(couple)”的其它变化可指示间接连接或者直接连接。举例来说,如果第一组件“耦合”到第二组件,那么第一组件可间接连接到第二组件或者直接连接到第二组件。如本文所使用,术语“多个”指示两个或多于两个。举例来说,多个组件指示两个或多于两个组件。
术语“确定”涵盖各种动作,且因此“确定”可包含计算、运算、处理、导出、调查、查找(例如,在表、数据库或另一数据结构中查找)、确认等。并且,“确定”可包含接收(例如,接收信息)、存取(例如,存取存储器中的数据)等。并且,“确定”可包含解析、选择、挑选、建立等等。
除非以其它方式明确地指定,否则短语“基于”并不意味着“仅基于”。换句话说,短语“基于”描述“仅基于”与“至少基于”两者。
在以下描述中,给出特定细节以提供对实例的透彻理解。然而,所属领域的技术人员将理解,可在没有这些具体细节的情况下实践所述实例。举例来说,可在框图中展示电组件/装置,以免用不必要的细节混淆所述实例。在其它实例中,可详细展示此类组件、其它结构及技术以进一步解释所述实例。
本文中包含数个标题是为了参考及辅助定位各个部分。这些标题不意图限制关于其描述的概念的范围。此类概念可在整个说明书中都适用。
还应注意,可将所述实例描述成过程,所述过程被描绘成流程图、流图、有限状态图、结构图或框图。虽然流程图可将操作描述成循序过程,但许多操作可并行或同时执行,并且所述过程可重复。另外,可重新布置操作的顺序。过程在其操作完成时终止。过程可对应于方法、功能、程序、子例程、子程序等。当过程对应于软件功能时,过程的终止对应于功能返回到调用功能或主功能。
提供对所揭示实施方案的前述描述是为了使得所属领域的技术人员能够制作或使用本发明。所属领域的技术人员将易于了解对这些实施方案的各种修改,且本文中定义的一般原理可应用于其它实施方案而不脱离本发明的精神或范围。因此,本发明不意图限于本文中所展示的实施方案,而是应被赋予与本文中所揭示的原理及新颖特征相一致的最广范围。
Claims (30)
1.一种图像捕获装置,其包括:
第一图像传感器;
第二图像传感器;及
图像处理器,其经配置以:
接收包含来自所述第一图像传感器的第一图像及来自所述第二图像传感器的第二图像的图像数据,所述第一图像及所述第二图像描绘图像场景的至少一部分并且相对于彼此展现局部强度变化,
将所述第一图像分割成多个第一块,
将所述第二图像分割成多个第二像素块,
确定一对对应块,所述对对应块包含所述多个第一块中的所识别第一块及所述多个第二块中的所识别第二块,及
产生包含在所述所识别第一块及所述所识别第二块中的像素的均衡局部强度值。
2.根据权利要求1所述的装置,其中所述第一图像传感器具有第一强度响应并且其中所述第二图像传感器具有第二强度响应,其中所述第一强度响应不同于所述第二强度响应。
3.根据权利要求1所述的装置,其中展现所述局部强度变化的所述第一图像及所述第二图像至少部分基于包括NIR图像的所述第一图像及包括RGB图像的所述第二图像。
4.根据权利要求1所述的装置,其中展现所述局部强度变化的所述第一图像及所述第二图像至少部分基于在所述第一图像的捕获期间所述图像场景的第一光照条件不同于在所述第二图像的捕获期间所述图像场景的第二光照条件。
5.根据权利要求1所述的装置,其进一步包括匹配模块,所述匹配模块包含配置所述图像处理器以至少部分基于包含在所述所识别第一块及所述所识别第二块中的所述像素的所述均衡局部强度值执行区域匹配的指令。
6.根据权利要求5所述的装置,其进一步包括深度图构造模块,所述深度图构造模块包含配置所述图像处理器以至少部分基于所述区域匹配的结果产生深度图的指令。
7.根据权利要求1所述的装置,其进一步包括特征检测模块,所述特征检测模块包含配置所述图像处理器以识别所述第一图像中的多个关键点及识别所述第二图像中的多个关键点的指令。
8.根据权利要求7所述的装置,其进一步包括关键区域确定模块,所述关键区域确定模块包含配置所述图像处理器以至少部分基于所述第一图像中的所述多个关键点分割所述第一图像及至少部分基于所述第二图像中的所述多个关键点分割所述第二图像的指令。
9.根据权利要求1所述的装置,其中所述第一图像传感器及所述第二图像传感器被配置为立体成像系统或多光谱成像系统中的一者的至少一部分。
10.一种用于处理图像的集合的方法,所述方法包括:
接收表示图像场景的第一图像的图像数据;
接收表示所述图像场景的至少一部分的第二图像的图像数据,所述第二图像展现相对于所述第一图像的局部强度值的局部强度值变化;
将所述第一图像及所述第二图像中的每一者分割成多个像素块;
确定一对对应块,所述对对应块包含所述多个像素块中的第一块及所述多个像素块中的第二块,包含在所述图像数据中的所述第一块表示所述第一图像并且包含在所述图像数据中的所述第二块表示所述第二图像;及
产生包含在所述第一块中的像素及包含在所述第二块中的像素的均衡局部强度值。
11.根据权利要求10所述的方法,其进一步包括从一对不对称传感器接收所述第一图像及所述第二图像。
12.根据权利要求10所述的方法,其进一步包括从NIR图像传感器接收所述第一图像及从RGB图像传感器接收所述第二图像。
13.根据权利要求10所述的方法,其中产生所述均衡局部强度值包括确定所述第一块及所述第二块中的每一者的概率质量函数。
14.根据权利要求13所述的方法,其中产生所述均衡局部强度值包括求和所述第一块及所述第二块中的每一者的所述概率质量函数中的质量值以计算所述第一块及所述第二块中的每一者的累积质量函数。
15.根据权利要求14所述的方法,其中产生所述均衡局部强度值包括使用所述第一块及所述第二块中的每一者的所述计算出的累积质量函数以产生所述第一块中的像素的强度值到所述第二块中的像素的强度值的映射。
16.根据权利要求15所述的方法,其中产生所述均衡局部强度值包括对所述强度值的所述映射执行双线性内插以产生所述第一块中的所述像素中的每一者的新亮度值。
17.根据权利要求10所述的方法,其进一步包括识别所述第一图像及所述第二图像中的每一者中的多个关键点。
18.根据权利要求17所述的方法,其中将所述第一图像及所述第二图像中的每一者分割成多个像素块至少部分基于所述多个关键点的位置、大小、形状及数目中的一或多者。
19.根据权利要求18所述的方法,其中确定所述对对应块包括确定所述第一块及所述第二块描绘所述多个关键点的相同关键点。
20.根据权利要求10所述的方法,其进一步包括至少部分基于所述均衡局部强度值执行区域匹配。
21.根据权利要求20所述的方法,其进一步包括至少部分基于所述区域匹配的结果构造深度图。
22.一种存储指令的非暂时性计算机可读媒体,当执行时所述指令致使图像处理器执行包括以下项的操作:
接收表示由第一图像传感器及第二图像传感器捕获的两个或多于两个图像的图像数据;
将所述两个或多于两个图像中的每一者分割成多个像素块;
确定一对对应块,所述对对应块包含所述多个像素块中的第一块及所述多个像素块中的第二块,所述第一块包含在第一图像或所述两个或多于两个图像中并且所述第二块包含在所述两个或多于两个图像的第二图像中;及
产生包含在所述第一块中的像素及包含在所述第二块中的像素的均衡强度值。
23.根据权利要求22所述的非暂时性计算机可读媒体,所述操作进一步包括识别所述第一图像及所述第二图像中的每一者中的多个关键点。
24.根据权利要求22所述的非暂时性计算机可读媒体,所述操作进一步包括至少部分基于所述均衡强度值执行区域匹配。
25.根据权利要求24所述的非暂时性计算机可读媒体,所述操作进一步包括至少部分基于所述区域匹配的结果构造立体深度图。
26.一种成像设备,其包括:
用于接收表示图像场景的第一图像的图像数据的装置;
用于接收表示所述图像场景的至少一部分的第二图像的图像数据的装置,所述第二图像展现相对于所述第一图像的局部强度值的局部强度值变化;
用于将所述第一图像及所述第二图像中的每一者分割成多个像素块的装置;
用于确定一对对应块的装置,所述对对应块包含所述多个像素块中的第一块及所述多个像素块中的第二块,包含在所述图像数据中的所述第一块表示所述第一图像并且包含在所述图像数据中的所述第二块表示所述第二图像;及
用于产生包含在所述第一块中的像素及包含在所述第二块中的像素的均衡局部强度值的装置。
27.根据权利要求26所述的设备,其中所述用于接收表示所述第一图像的图像数据的装置包括NIR传感器并且所述用于接收表示所述第二图像的图像数据的装置包括RGB传感器。
28.根据权利要求26所述的设备,其中所述用于接收表示所述第一图像的图像数据的装置及所述用于接收表示所述第二图像的图像数据的装置包括一对不对称图像传感器。
29.根据权利要求26所述的设备,其中所述用于接收表示所述第一图像的图像数据的装置及所述用于接收表示所述第二图像的图像数据的装置包括单个图像传感器。
30.根据权利要求29所述的设备,其中所述单个图像传感器在不同光照条件下捕获所述第一图像及所述第二图像。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/309,458 | 2014-06-19 | ||
US14/309,458 US10013764B2 (en) | 2014-06-19 | 2014-06-19 | Local adaptive histogram equalization |
PCT/US2015/033685 WO2015195317A1 (en) | 2014-06-19 | 2015-06-02 | Local adaptive histogram equalization |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106462956A true CN106462956A (zh) | 2017-02-22 |
Family
ID=53488444
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580032107.7A Pending CN106462956A (zh) | 2014-06-19 | 2015-06-02 | 局部自适应直方图均衡 |
Country Status (7)
Country | Link |
---|---|
US (1) | US10013764B2 (zh) |
EP (1) | EP3158532B1 (zh) |
JP (1) | JP2017520050A (zh) |
KR (1) | KR20170019359A (zh) |
CN (1) | CN106462956A (zh) |
BR (1) | BR112016029392A2 (zh) |
WO (1) | WO2015195317A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108470327A (zh) * | 2018-03-27 | 2018-08-31 | 成都西纬科技有限公司 | 图像增强方法、装置、电子设备及存储介质 |
CN110349114A (zh) * | 2019-05-24 | 2019-10-18 | 江西理工大学 | 应用于aoi设备的图像增强方法、装置及道路视频监控设备 |
CN114119627A (zh) * | 2021-10-19 | 2022-03-01 | 北京科技大学 | 基于深度学习的高温合金微观组织图像分割方法及装置 |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9485495B2 (en) | 2010-08-09 | 2016-11-01 | Qualcomm Incorporated | Autofocus for stereo images |
US9438889B2 (en) | 2011-09-21 | 2016-09-06 | Qualcomm Incorporated | System and method for improving methods of manufacturing stereoscopic image sensors |
US9398264B2 (en) | 2012-10-19 | 2016-07-19 | Qualcomm Incorporated | Multi-camera system using folded optics |
US10178373B2 (en) | 2013-08-16 | 2019-01-08 | Qualcomm Incorporated | Stereo yaw correction using autofocus feedback |
US9383550B2 (en) | 2014-04-04 | 2016-07-05 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
US9374516B2 (en) | 2014-04-04 | 2016-06-21 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
US9386222B2 (en) | 2014-06-20 | 2016-07-05 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax artifacts |
US9819863B2 (en) | 2014-06-20 | 2017-11-14 | Qualcomm Incorporated | Wide field of view array camera for hemispheric and spherical imaging |
US9541740B2 (en) | 2014-06-20 | 2017-01-10 | Qualcomm Incorporated | Folded optic array camera using refractive prisms |
US9549107B2 (en) | 2014-06-20 | 2017-01-17 | Qualcomm Incorporated | Autofocus for folded optic array cameras |
US9294672B2 (en) | 2014-06-20 | 2016-03-22 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax and tilt artifacts |
US9832381B2 (en) | 2014-10-31 | 2017-11-28 | Qualcomm Incorporated | Optical image stabilization for thin cameras |
TWI552600B (zh) * | 2014-12-25 | 2016-10-01 | 晶睿通訊股份有限公司 | 用於接圖的影像校正方法及具有影像校正功能的相關攝影機與影像處理系統 |
US10362205B2 (en) | 2016-04-28 | 2019-07-23 | Qualcomm Incorporated | Performing intensity equalization with respect to mono and color images |
CN110520768B (zh) * | 2017-06-05 | 2021-10-22 | 上海科技大学 | 高光谱光场成像方法和系统 |
EP3877951A1 (en) * | 2018-11-06 | 2021-09-15 | Flir Commercial Systems, Inc. | Automatic co-registration of thermal and visible image pairs |
WO2020097130A1 (en) * | 2018-11-06 | 2020-05-14 | Flir Commercial Systems, Inc. | Response normalization for overlapped multi-image applications |
KR20200090347A (ko) * | 2019-01-21 | 2020-07-29 | 엘지전자 주식회사 | 카메라 장치 및 이를 구비하는 전자 장치 |
US11109010B2 (en) * | 2019-06-28 | 2021-08-31 | The United States of America As Represented By The Director Of The National Geospatial-Intelligence Agency | Automatic system for production-grade stereo image enhancements |
EP3935601A4 (en) * | 2019-08-06 | 2022-04-27 | Samsung Electronics Co., Ltd. | LOCAL HISTOGRAM MATCHING WITH GLOBAL REGULARIZATION AND MOTION EXCLUSION FOR MULTI-EXPOSURE IMAGE BLENDING |
WO2021025445A1 (en) | 2019-08-06 | 2021-02-11 | Samsung Electronics Co., Ltd. | Local histogram matching with global regularization and motion exclusion for multi-exposure image fusion |
US11238574B2 (en) * | 2019-08-09 | 2022-02-01 | The Boeing Company | Low-latency augmented contrast limited adaptive histogram equalization |
CN110751613A (zh) * | 2019-09-09 | 2020-02-04 | 中国航空工业集团公司洛阳电光设备研究所 | 一种自适应增强红外图像对比度的直方图均衡化方法 |
CN110751603A (zh) * | 2019-09-26 | 2020-02-04 | 中国科学院长春光学精密机械与物理研究所 | 一种图像对比度的增强方法、系统及终端设备 |
GB2588616B (en) * | 2019-10-29 | 2021-10-27 | Visidon Oy | Image processing method and apparatus |
CN111695529B (zh) * | 2020-06-15 | 2023-04-25 | 北京师范大学 | 一种基于人体骨骼关键点检测算法的x射线源检测方法 |
KR102624308B1 (ko) * | 2021-03-31 | 2024-01-15 | 서울대학교산학협력단 | 대응점 기반 이미지 정합 장치 및 그 방법 |
CN115311479B (zh) * | 2022-09-30 | 2022-12-23 | 南通鑫生派智能科技有限公司 | 一种汽车工件装配图像识别方法及系统 |
CN116542526B (zh) * | 2023-07-05 | 2023-09-19 | 山东省标筑建筑规划设计有限公司 | 一种国土空间规划中的灾害风险的评估方法、装置和设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6650774B1 (en) * | 1999-10-01 | 2003-11-18 | Microsoft Corporation | Locally adapted histogram equalization |
US6987534B1 (en) * | 1999-08-30 | 2006-01-17 | Fuji Jukogyo Kabushiki Kaisha | Brightness adjusting apparatus for stereoscopic camera |
CN102611828A (zh) * | 2012-01-11 | 2012-07-25 | 四川大学 | 一种雾天连续视频图像实时性增强处理系统 |
Family Cites Families (297)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2102987A5 (zh) | 1970-09-09 | 1972-04-07 | Hitachi Shipbuilding Eng Co | |
US4114171A (en) | 1976-04-06 | 1978-09-12 | Vivitar Corporation | Reflex camera with internal zoom lens |
US4437745A (en) | 1982-09-30 | 1984-03-20 | Stephen Hajnal | Three dimensional camera system |
GB8430980D0 (en) | 1984-12-07 | 1985-01-16 | Robinson M | Generation of apparently three-dimensional images |
US4639586A (en) | 1985-02-06 | 1987-01-27 | The United States Of America As Represented By The Secretary Of The Air Force | Optically phased laser transmitter |
US4740780A (en) | 1985-06-24 | 1988-04-26 | Gec Avionics, Inc. | Head-up display for automobile |
US5012273B1 (en) | 1986-05-12 | 1996-10-01 | Asahi Optical Co Ltd | Lens shutter type of camera including zoom lens |
US6031892A (en) | 1989-12-05 | 2000-02-29 | University Of Massachusetts Medical Center | System for quantitative radiographic imaging |
US5194959A (en) | 1989-12-21 | 1993-03-16 | Ricoh Company, Ltd. and Nippon Telegraph and Telephone Corporation | Image forming apparatus for forming image corresponding to subject, by dividing optical image corresponding to the subject into plural adjacent optical image parts |
US5016109A (en) | 1990-07-02 | 1991-05-14 | Bell South Corporation | Apparatus and method for segmenting a field of view into contiguous, non-overlapping, vertical and horizontal sub-fields |
US5063441A (en) | 1990-10-11 | 1991-11-05 | Stereographics Corporation | Stereoscopic video cameras with image sensors having variable effective position |
US5142357A (en) | 1990-10-11 | 1992-08-25 | Stereographics Corp. | Stereoscopic video camera with image sensors having variable effective position |
US5207000A (en) | 1991-06-14 | 1993-05-04 | Industrial Technology Research Institute | Method and apparatus useful for determining an angle between a virtual optical axis and a planar surface |
US5231461A (en) | 1991-12-09 | 1993-07-27 | Hughes Danbury Optical Systems, Inc. | Solar monochromator for filter calibration |
US5926411A (en) | 1991-12-30 | 1999-07-20 | Ioptics Incorporated | Optical random access memory |
US5686960A (en) | 1992-01-14 | 1997-11-11 | Michael Sussman | Image input device having optical deflection elements for capturing multiple sub-images |
DE4212271C1 (zh) | 1992-04-11 | 1993-07-08 | Deutsche Forschungsanstalt Fuer Luft- Und Raumfahrt E.V., 5300 Bonn, De | |
US5243413A (en) | 1992-09-02 | 1993-09-07 | At&T Bell Laboratories | Color parallax-free camera and display |
US5313542A (en) | 1992-11-30 | 1994-05-17 | Breault Research Organization, Inc. | Apparatus and method of rapidly measuring hemispherical scattered or radiated light |
JP2888713B2 (ja) | 1993-01-14 | 1999-05-10 | キヤノン株式会社 | 複眼撮像装置 |
DE69312257T2 (de) | 1993-02-11 | 1998-01-29 | Agfa Gevaert Nv | Strahlungsfelderkennungsverfahren |
US5754692A (en) * | 1993-07-31 | 1998-05-19 | Sony Corporation | Picture coincidence detecting apparatus and method |
US5586063A (en) | 1993-09-01 | 1996-12-17 | Hardin; Larry C. | Optical range and speed detection system |
US5614941A (en) | 1993-11-24 | 1997-03-25 | Hines; Stephen P. | Multi-image autostereoscopic imaging system |
GB2284273B (en) | 1993-11-29 | 1997-01-08 | Hadland Photonics Limited | Electronic high speed camera incorporating a beam splitter |
JPH089424A (ja) | 1994-06-20 | 1996-01-12 | Sanyo Electric Co Ltd | 立体画像撮像制御装置 |
JP3186448B2 (ja) | 1994-08-01 | 2001-07-11 | ミノルタ株式会社 | 立体テレビカメラ |
JP3458486B2 (ja) | 1994-10-25 | 2003-10-20 | 松下電器産業株式会社 | 全方位撮影装置及び全方位画像合成装置 |
KR100235343B1 (ko) | 1994-12-29 | 1999-12-15 | 전주범 | 영역분할 기법을 이용한 동영상신호 부호화기의 움직임 벡터 측정장치 |
JPH08194274A (ja) | 1995-01-13 | 1996-07-30 | Olympus Optical Co Ltd | 立体撮像装置 |
US5606627A (en) | 1995-01-24 | 1997-02-25 | Eotek Inc. | Automated analytic stereo comparator |
US5745305A (en) | 1995-04-28 | 1998-04-28 | Lucent Technologies Inc. | Panoramic viewing apparatus |
US5990934A (en) | 1995-04-28 | 1999-11-23 | Lucent Technologies, Inc. | Method and system for panoramic viewing |
US5793527A (en) | 1995-06-30 | 1998-08-11 | Lucent Technologies Inc. | High resolution viewing system |
US5539483A (en) | 1995-06-30 | 1996-07-23 | At&T Corp. | Panoramic projection apparatus |
US5903306A (en) | 1995-08-16 | 1999-05-11 | Westinghouse Savannah River Company | Constrained space camera assembly |
US6115176A (en) | 1995-11-30 | 2000-09-05 | Lucent Technologies Inc. | Spherical viewing/projection apparatus |
US6111702A (en) | 1995-11-30 | 2000-08-29 | Lucent Technologies Inc. | Panoramic viewing system with offset virtual optical centers |
US6141034A (en) | 1995-12-15 | 2000-10-31 | Immersive Media Co. | Immersive imaging method and apparatus |
US5640222A (en) | 1996-03-15 | 1997-06-17 | Paul; Eddie | Method and apparatus for producing stereoscopic images |
US6850279B1 (en) | 1996-06-18 | 2005-02-01 | Sony Corporation | Optical image recording system, and associated processing system |
US5721585A (en) | 1996-08-08 | 1998-02-24 | Keast; Jeffrey D. | Digital video panoramic image capture and display system |
JPH10142490A (ja) | 1996-11-15 | 1998-05-29 | Canon Inc | 環境認識装置及びカメラ |
AU6515798A (en) | 1997-04-16 | 1998-11-11 | Isight Ltd. | Video teleconferencing |
US7028899B2 (en) | 1999-06-07 | 2006-04-18 | Metrologic Instruments, Inc. | Method of speckle-noise pattern reduction and apparatus therefore based on reducing the temporal-coherence of the planar laser illumination beam before it illuminates the target object by applying temporal phase modulation techniques during the transmission of the plib towards the target |
DE19903807A1 (de) | 1998-05-05 | 1999-11-11 | Zeiss Carl Fa | Beleuchtungssystem insbesondere für die EUV-Lithographie |
US6285365B1 (en) | 1998-08-28 | 2001-09-04 | Fullview, Inc. | Icon referenced panoramic image display |
US6195204B1 (en) | 1998-08-28 | 2001-02-27 | Lucent Technologies Inc. | Compact high resolution panoramic viewing system |
US6144501A (en) | 1998-08-28 | 2000-11-07 | Lucent Technologies Inc. | Split mirrored panoramic image display |
US6128143A (en) | 1998-08-28 | 2000-10-03 | Lucent Technologies Inc. | Panoramic viewing system with support stand |
US6141145A (en) | 1998-08-28 | 2000-10-31 | Lucent Technologies | Stereo panoramic viewing system |
US6992700B1 (en) | 1998-09-08 | 2006-01-31 | Ricoh Company, Ltd. | Apparatus for correction based upon detecting a camera shaking |
US7271803B2 (en) | 1999-01-08 | 2007-09-18 | Ricoh Company, Ltd. | Method and system for simulating stereographic vision |
US6611289B1 (en) | 1999-01-15 | 2003-08-26 | Yanbin Yu | Digital cameras using multiple sensors with multiple lenses |
US6870680B2 (en) | 2001-08-17 | 2005-03-22 | Sony Corporation | Imaging device |
US7015954B1 (en) | 1999-08-09 | 2006-03-21 | Fuji Xerox Co., Ltd. | Automatic video system using multiple cameras |
GB2354389A (en) | 1999-09-15 | 2001-03-21 | Sharp Kk | Stereo images with comfortable perceived depth |
GB2354390A (en) | 1999-09-16 | 2001-03-21 | Ibm | Wide-angle image capture apparatus |
US6862364B1 (en) * | 1999-10-27 | 2005-03-01 | Canon Kabushiki Kaisha | Stereo image processing for radiography |
US6782137B1 (en) * | 1999-11-24 | 2004-08-24 | General Electric Company | Digital image display improvement system and method |
JP2001194114A (ja) | 2000-01-14 | 2001-07-19 | Sony Corp | 画像処理装置および画像処理方法、並びにプログラム提供媒体 |
JP2001209037A (ja) | 2000-01-26 | 2001-08-03 | Olympus Optical Co Ltd | 可変ホログラム素子及びそれらを用いた光学装置 |
US6823021B1 (en) | 2000-10-27 | 2004-11-23 | Greenwich Technologies Associates | Method and apparatus for space division multiple access receiver |
US6701081B1 (en) | 2000-06-06 | 2004-03-02 | Air Controls, Inc. | Dual camera mount for stereo imaging |
US6768509B1 (en) | 2000-06-12 | 2004-07-27 | Intel Corporation | Method and apparatus for determining points of interest on an image of a camera calibration object |
WO2002027372A2 (en) | 2000-07-14 | 2002-04-04 | Applied Wdm, Inc. | Optical waveguide transmission devices |
JP2002040584A (ja) | 2000-07-28 | 2002-02-06 | Hamamatsu Photonics Kk | 高速撮像カメラ |
IL139995A (en) | 2000-11-29 | 2007-07-24 | Rvc Llc | System and method for spherical stereoscopic photographing |
EP1231780A3 (en) | 2001-02-07 | 2004-01-14 | Sony Corporation | Image pickup apparatus |
JP2002277736A (ja) | 2001-03-21 | 2002-09-25 | Olympus Optical Co Ltd | 撮像装置 |
US6421185B1 (en) | 2001-04-16 | 2002-07-16 | The United States Of America As Represented By The Secretary Of The Air Force | Wide field-of-view imaging system using a spatial light modulator |
US6628897B2 (en) | 2001-06-20 | 2003-09-30 | Sony Corporation | Camera system |
US20030038814A1 (en) | 2001-08-27 | 2003-02-27 | Blume Leo R. | Virtual camera system for environment capture |
US7116351B2 (en) | 2001-10-29 | 2006-10-03 | Sony Corporation | Imaging device |
JP4198449B2 (ja) | 2002-02-22 | 2008-12-17 | 富士フイルム株式会社 | デジタルカメラ |
JP2003260025A (ja) | 2002-03-08 | 2003-09-16 | Olympus Optical Co Ltd | カプセル型内視鏡 |
US6768598B2 (en) | 2002-04-02 | 2004-07-27 | Sony Corporation | Image pickup system |
US6861633B2 (en) | 2002-06-20 | 2005-03-01 | The Aerospace Corporation | Microelectromechanical system optical sensor providing bit image data of a viewed image |
US7298392B2 (en) | 2003-06-26 | 2007-11-20 | Microsoft Corp. | Omni-directional camera design for video conferencing |
US7209161B2 (en) | 2002-07-15 | 2007-04-24 | The Boeing Company | Method and apparatus for aligning a pair of digital cameras forming a three dimensional image to compensate for a physical misalignment of cameras |
AU2003244304A1 (en) * | 2002-07-18 | 2004-02-09 | Sony Corporation | Imaging data processing method, imaging data processing device, and computer program |
JP2004072349A (ja) | 2002-08-05 | 2004-03-04 | Canon Inc | 撮像装置、及びその制御方法 |
US7893957B2 (en) | 2002-08-28 | 2011-02-22 | Visual Intelligence, LP | Retinal array compound camera system |
US7084904B2 (en) | 2002-09-30 | 2006-08-01 | Microsoft Corporation | Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time |
AU2003302166A1 (en) | 2003-01-02 | 2004-07-29 | Covi Technologies, Inc. | Optical block assembly |
JP4231317B2 (ja) * | 2003-03-26 | 2009-02-25 | 株式会社トプコン | 角膜内皮細胞像撮影装置 |
US6933493B2 (en) | 2003-04-07 | 2005-08-23 | Kingpak Technology Inc. | Image sensor having a photosensitive chip mounted to a metal sheet |
IL155525A0 (en) | 2003-04-21 | 2009-02-11 | Yaron Mayer | System and method for 3d photography and/or analysis of 3d images and/or display of 3d images |
JP3709879B2 (ja) | 2003-05-01 | 2005-10-26 | 日産自動車株式会社 | ステレオ画像処理装置 |
US7463280B2 (en) | 2003-06-03 | 2008-12-09 | Steuart Iii Leonard P | Digital 3D/360 degree camera system |
WO2004109359A1 (ja) | 2003-06-09 | 2004-12-16 | Olympus Corporation | 可変ミラー |
US6809887B1 (en) | 2003-06-13 | 2004-10-26 | Vision Technologies, Inc | Apparatus and method for acquiring uniform-resolution panoramic images |
US7495694B2 (en) | 2004-07-28 | 2009-02-24 | Microsoft Corp. | Omni-directional camera with calibration and up look angle improvements |
US7336299B2 (en) | 2003-07-03 | 2008-02-26 | Physical Optics Corporation | Panoramic video system with real-time distortion-free imaging |
KR100541028B1 (ko) | 2003-07-21 | 2006-01-11 | 주식회사 옵토메카 | 이미지 센서 및 그 제조 방법 |
US20050057659A1 (en) | 2003-09-16 | 2005-03-17 | Takami Hasegawa | Camera image shake correcting device |
US7028546B2 (en) | 2003-10-21 | 2006-04-18 | Instrumented Sensor Technology, Inc. | Data recorder |
US20050111106A1 (en) | 2003-10-31 | 2005-05-26 | Kazuhiro Matsumoto | Optical element assembly formed of multiple optical elements such as prisms, and image pickup apparatus using the same in image pickup function section |
WO2005081020A1 (ja) | 2004-02-19 | 2005-09-01 | Canon Kabushiki Kaisha | 光学機器およびビームスプリッター |
US20050185711A1 (en) | 2004-02-20 | 2005-08-25 | Hanspeter Pfister | 3D television system and method |
GB0406730D0 (en) | 2004-03-25 | 2004-04-28 | 1 Ltd | Focussing method |
US7593057B2 (en) | 2004-07-28 | 2009-09-22 | Microsoft Corp. | Multi-view integrated camera system with housing |
WO2006017771A1 (en) | 2004-08-06 | 2006-02-16 | University Of Washington | Variable fixation viewing distance scanned light displays |
EP1812968B1 (en) | 2004-08-25 | 2019-01-16 | Callahan Cellular L.L.C. | Apparatus for multiple camera devices and method of operating same |
US7039292B1 (en) | 2004-09-09 | 2006-05-02 | Rockwell Collins, Inc. | Optical system for vehicle flight control |
GB2418314A (en) * | 2004-09-16 | 2006-03-22 | Sharp Kk | A system for combining multiple disparity maps |
DE102004045430A1 (de) | 2004-09-18 | 2006-05-18 | Deutsche Telekom Ag | Vorrichtung zur Bildstabilisierung |
JP3791847B1 (ja) | 2005-08-10 | 2006-06-28 | 京セラ株式会社 | カメラモジュールおよび該カメラモジュールを搭載した情報端末 |
WO2006052024A1 (ja) | 2004-11-15 | 2006-05-18 | Hitachi, Ltd. | ステレオカメラ |
US7372996B2 (en) | 2004-12-27 | 2008-05-13 | Trw Automotive U.S. Llc | Method and apparatus for determining the position of a vehicle seat |
WO2006075528A1 (ja) | 2005-01-13 | 2006-07-20 | National University Corporation NARA Institute of Science and Technology | 3次元オブジェクト計測装置 |
US7512262B2 (en) | 2005-02-25 | 2009-03-31 | Microsoft Corporation | Stereo-based image processing |
US20060215054A1 (en) | 2005-03-23 | 2006-09-28 | Eastman Kodak Company | Wide angle camera with prism array |
JP4177826B2 (ja) | 2005-03-23 | 2008-11-05 | 株式会社東芝 | 画像処理装置および画像処理方法 |
JP2006279538A (ja) | 2005-03-29 | 2006-10-12 | Sony Corp | 撮像装置 |
US20060238441A1 (en) | 2005-04-25 | 2006-10-26 | The Boeing Company | Method and apparatus for displaying a stereoscopic image |
US20070102622A1 (en) | 2005-07-01 | 2007-05-10 | Olsen Richard I | Apparatus for multiple camera devices and method of operating same |
WO2007014293A1 (en) | 2005-07-25 | 2007-02-01 | The Regents Of The University Of California | Digital imaging system and method to produce mosaic images |
JP5364965B2 (ja) | 2005-07-26 | 2013-12-11 | コニカミノルタ株式会社 | 撮像光学系、撮像レンズ装置及びデジタル機器 |
JP2007081473A (ja) | 2005-09-09 | 2007-03-29 | Eastman Kodak Co | 複数光学系を有する撮像装置 |
CN101025475A (zh) | 2005-10-17 | 2007-08-29 | 威盛电子股份有限公司 | 立体三维影像显示系统与方法 |
US20070164202A1 (en) | 2005-11-16 | 2007-07-19 | Wurz David A | Large depth of field line scan camera |
JP4979928B2 (ja) | 2005-11-28 | 2012-07-18 | 株式会社トプコン | 三次元形状演算装置及び三次元形状演算方法 |
US8059185B2 (en) | 2005-12-28 | 2011-11-15 | Canon Kabushiki Kaisha | Photographing apparatus, image display method, computer program and storage medium for acquiring a photographed image in a wide range |
US7215479B1 (en) | 2006-02-10 | 2007-05-08 | Micron Technology, Inc. | Integrated lens system for image sensor and method for manufacturing the same |
GB2435360B (en) | 2006-02-16 | 2009-09-23 | Imagination Tech Ltd | Method and apparatus for determining motion between video images |
JP4844177B2 (ja) | 2006-03-07 | 2011-12-28 | 株式会社ニコン | ブレ補正装置及びカメラ |
JP2007274542A (ja) | 2006-03-31 | 2007-10-18 | Sony Corp | 撮像装置および携帯電話機 |
CN101055342A (zh) | 2006-04-12 | 2007-10-17 | 鸿富锦精密工业(深圳)有限公司 | 自动对焦镜头模组 |
US8433157B2 (en) * | 2006-05-04 | 2013-04-30 | Thomson Licensing | System and method for three-dimensional object reconstruction from two-dimensional images |
WO2007129147A1 (en) | 2006-05-05 | 2007-11-15 | Nokia Corporation | Optical image recording device with small height and high resolution |
EP2023298A4 (en) | 2006-05-09 | 2010-07-21 | Sega Corp | IMAGE PROCESSING DEVICE AND IMAGE PROCESSING PROGRAM |
JP4972779B2 (ja) | 2006-05-30 | 2012-07-11 | コニカミノルタアドバンストレイヤー株式会社 | 光学ユニットおよび撮像装置 |
JP5067021B2 (ja) | 2006-06-01 | 2012-11-07 | 富士ゼロックス株式会社 | 画像形成装置、画像形成装置の組立方法及び解体方法並びに画像形成装置に用いられる仮止め部材 |
JP4851239B2 (ja) | 2006-06-05 | 2012-01-11 | 株式会社トプコン | 画像処理装置及びその処理方法 |
JP2008048293A (ja) | 2006-08-18 | 2008-02-28 | Kyocera Corp | 撮像装置、およびその製造方法 |
US20080058629A1 (en) | 2006-08-21 | 2008-03-06 | University Of Washington | Optical fiber scope with both non-resonant illumination and resonant collection/imaging for multiple modes of operation |
DE102006044786A1 (de) | 2006-09-14 | 2008-03-27 | Schefenacker Vision Systems Germany Gmbh | Kamerasystem, Verfahren zum Betreiben eines Kamerasystems und Sensoreinrichtung eines Kamerasystems |
EP1912098B1 (en) | 2006-10-12 | 2012-04-25 | Carl Zeiss SMT GmbH | Unit magnification projection objective |
US7817354B2 (en) | 2006-10-25 | 2010-10-19 | Capsovision Inc. | Panoramic imaging system |
JP5040493B2 (ja) | 2006-12-04 | 2012-10-03 | ソニー株式会社 | 撮像装置及び撮像方法 |
KR100866491B1 (ko) | 2007-01-30 | 2008-11-03 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
JP4917060B2 (ja) | 2007-02-26 | 2012-04-18 | Hoya株式会社 | 撮像ユニット及び携帯用電子機器 |
US7683962B2 (en) | 2007-03-09 | 2010-03-23 | Eastman Kodak Company | Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map |
US8356035B1 (en) | 2007-04-10 | 2013-01-15 | Google Inc. | Association of terms with images using image similarity |
JP4582423B2 (ja) | 2007-04-20 | 2010-11-17 | 富士フイルム株式会社 | 撮像装置、画像処理装置、撮像方法、及び画像処理方法 |
JP5013078B2 (ja) | 2007-04-24 | 2012-08-29 | コニカミノルタアドバンストレイヤー株式会社 | レンズ鏡胴及び撮像装置 |
US20080290435A1 (en) | 2007-05-21 | 2008-11-27 | Micron Technology, Inc. | Wafer level lens arrays for image sensor packages and the like, image sensor packages, and related methods |
JP2008294819A (ja) | 2007-05-25 | 2008-12-04 | Sony Corp | 撮像装置 |
US7860214B1 (en) * | 2007-06-13 | 2010-12-28 | The United States Of America As Represented By Secretary Of Agriculture | Correction of x-ray images |
US20090003646A1 (en) | 2007-06-29 | 2009-01-01 | The Hong Kong University Of Science And Technology | Lossless visible watermarking |
US20090005112A1 (en) | 2007-06-29 | 2009-01-01 | Samsung Electronics Co., Ltd. | Optical imaging system configurations for handheld devices |
CN101743740B (zh) | 2007-07-13 | 2012-04-04 | 三菱电机株式会社 | 图像读取装置 |
JP4900118B2 (ja) | 2007-07-31 | 2012-03-21 | コニカミノルタオプト株式会社 | カメラモジュールおよび電子機器 |
TWI383666B (zh) | 2007-08-21 | 2013-01-21 | Sony Taiwan Ltd | 多重鏡頭相機系統之先進式動態接圖方法 |
JP5000428B2 (ja) | 2007-08-22 | 2012-08-15 | Hoya株式会社 | 撮像装置 |
US7973834B2 (en) | 2007-09-24 | 2011-07-05 | Jianwen Yang | Electro-optical foveated imaging and tracking system |
KR20090032261A (ko) | 2007-09-27 | 2009-04-01 | 삼성전자주식회사 | 움직임 추정에 기초하여 움직임 보상을 수행하는 영상 처리장치 및 그 방법 |
JP5152483B2 (ja) | 2007-10-05 | 2013-02-27 | ソニー株式会社 | 撮像装置 |
US8282222B2 (en) | 2007-10-10 | 2012-10-09 | Gerard Dirk Smits | Image projector with reflected light tracking |
EP2201784B1 (en) | 2007-10-11 | 2012-12-12 | Koninklijke Philips Electronics N.V. | Method and device for processing a depth-map |
WO2009057436A1 (ja) | 2007-11-01 | 2009-05-07 | Konica Minolta Holdings, Inc. | 撮像装置 |
KR100927347B1 (ko) | 2007-11-13 | 2009-11-24 | 파워옵틱스 주식회사 | 줌렌즈 광학계 |
JP4831514B2 (ja) | 2007-11-13 | 2011-12-07 | 独立行政法人情報通信研究機構 | 設定パラメータ最適化装置およびそのプログラム |
US8791984B2 (en) | 2007-11-16 | 2014-07-29 | Scallop Imaging, Llc | Digital security camera |
CN100465699C (zh) | 2007-12-05 | 2009-03-04 | 浙江大学 | 利用棱镜分光渐晕补偿实现多ccd无缝拼接的光电系统 |
KR101349589B1 (ko) | 2007-12-13 | 2014-01-10 | 엘지이노텍 주식회사 | 카메라 모듈 |
US8300086B2 (en) | 2007-12-20 | 2012-10-30 | Nokia Corporation | Image processing for supporting a stereoscopic presentation |
US20090185067A1 (en) | 2007-12-21 | 2009-07-23 | Stereo Display, Inc. | Compact automatic focusing camera |
EP2227711A4 (en) | 2008-01-02 | 2014-01-22 | Univ California | TELEMIC ROSCOPY DEVICE WITH HIGH NUMERICAL APERTURE |
US7978222B2 (en) | 2008-03-01 | 2011-07-12 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Systems and methods for image stabilization |
WO2009111642A1 (en) | 2008-03-05 | 2009-09-11 | Contrast Optical Design & Engineering, Inc. | Multiple image camera and lens system |
CN101981915B (zh) | 2008-03-26 | 2014-03-05 | 柯尼卡美能达精密光学株式会社 | 摄像装置 |
WO2009120928A2 (en) * | 2008-03-28 | 2009-10-01 | The Trustees Of Columbia University In The City Of New York | Generalized assorted pixel camera systems and methods |
CN101571666A (zh) | 2008-04-28 | 2009-11-04 | 鸿富锦精密工业(深圳)有限公司 | 成像设备 |
US7864336B2 (en) | 2008-04-28 | 2011-01-04 | Agilent Technologies, Inc. | Compact Littrow encoder |
US8280194B2 (en) | 2008-04-29 | 2012-10-02 | Sony Corporation | Reduced hardware implementation for a two-picture depth map algorithm |
US9001187B2 (en) | 2009-05-11 | 2015-04-07 | CapsoVision, Inc. | Capsule imaging system having a folded optical axis |
US9171221B2 (en) | 2010-07-18 | 2015-10-27 | Spatial Cam Llc | Camera to track an object |
JP4435867B2 (ja) | 2008-06-02 | 2010-03-24 | パナソニック株式会社 | 法線情報を生成する画像処理装置、方法、コンピュータプログラム、および、視点変換画像生成装置 |
JP5223486B2 (ja) | 2008-06-18 | 2013-06-26 | ソニー株式会社 | 電子双眼鏡 |
JP5096496B2 (ja) | 2008-07-24 | 2012-12-12 | パナソニック株式会社 | カメラ駆動装置 |
JP2010041381A (ja) | 2008-08-05 | 2010-02-18 | Nikon Corp | 電子カメラ、ステレオ画像生成方法およびステレオ画像生成システム |
KR100942925B1 (ko) | 2008-08-11 | 2010-02-22 | 한국전자통신연구원 | 스테레오 비전 시스템 및 그 제어방법 |
EP2316054A1 (en) | 2008-08-14 | 2011-05-04 | Remotereality Corporation | Three-mirror panoramic camera |
TWI419551B (zh) | 2008-08-22 | 2013-12-11 | 固態全景影像擷取裝置 | |
JP2010067014A (ja) | 2008-09-11 | 2010-03-25 | Ricoh Co Ltd | 画像分類装置及び画像分類方法 |
WO2010035223A1 (en) | 2008-09-25 | 2010-04-01 | Koninklijke Philips Electronics N.V. | Three dimensional image data processing |
WO2010044223A1 (ja) | 2008-10-14 | 2010-04-22 | 日本電産サンキョー株式会社 | 撮影用光学装置 |
US8267601B2 (en) | 2008-11-04 | 2012-09-18 | James Cameron | Platform for stereoscopy for hand-held film/video camera stabilizers |
JP4852591B2 (ja) | 2008-11-27 | 2012-01-11 | 富士フイルム株式会社 | 立体画像処理装置、方法及び記録媒体並びに立体撮像装置 |
US8339475B2 (en) * | 2008-12-19 | 2012-12-25 | Qualcomm Incorporated | High dynamic range image combining |
CN101770059B (zh) | 2008-12-27 | 2012-06-20 | 鸿富锦精密工业(深圳)有限公司 | 相机模组 |
US9395617B2 (en) | 2009-01-05 | 2016-07-19 | Applied Quantum Technologies, Inc. | Panoramic multi-scale imager and method therefor |
US8326036B2 (en) | 2009-02-20 | 2012-12-04 | Qylur Security Systems, Inc. | Automated image separation method |
GB0903689D0 (en) | 2009-03-03 | 2009-04-15 | Sigmavision Ltd | Vehicle tyre measurement |
JP5316118B2 (ja) | 2009-03-12 | 2013-10-16 | オムロン株式会社 | 3次元視覚センサ |
US20100265313A1 (en) | 2009-04-17 | 2010-10-21 | Sony Corporation | In-camera generation of high quality composite panoramic images |
US20100278423A1 (en) | 2009-04-30 | 2010-11-04 | Yuji Itoh | Methods and systems for contrast enhancement |
US8503778B2 (en) * | 2009-05-14 | 2013-08-06 | National University Of Singapore | Enhancing photograph visual quality using texture and contrast data from near infra-red images |
US8170408B2 (en) | 2009-05-18 | 2012-05-01 | Invensense, Inc. | Optical image stabilization in a digital still camera or handset |
US8194170B2 (en) | 2009-06-02 | 2012-06-05 | Algonquin College | Axicon lens array |
US9124874B2 (en) | 2009-06-05 | 2015-09-01 | Qualcomm Incorporated | Encoding of three-dimensional conversion information with two-dimensional video sequence |
US8405750B2 (en) | 2009-06-08 | 2013-03-26 | Aptina Imaging Corporation | Image sensors and image reconstruction methods for capturing high dynamic range images |
CN101581828B (zh) | 2009-06-09 | 2011-06-22 | 苏州大学 | 环形孔径超薄光学成像系统 |
US9479768B2 (en) | 2009-06-09 | 2016-10-25 | Bartholomew Garibaldi Yukich | Systems and methods for creating three-dimensional image media |
JP5293463B2 (ja) | 2009-07-09 | 2013-09-18 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
US8228417B1 (en) | 2009-07-15 | 2012-07-24 | Adobe Systems Incorporated | Focused plenoptic camera employing different apertures or filtering at different microlenses |
JP5450200B2 (ja) | 2009-07-17 | 2014-03-26 | 富士フイルム株式会社 | 撮像装置、方法およびプログラム |
TWI389559B (zh) * | 2009-08-14 | 2013-03-11 | Ind Tech Res Inst | 前景影像分離方法 |
US8294073B1 (en) | 2009-10-01 | 2012-10-23 | Raytheon Company | High angular rate imaging system and related techniques |
US9063345B2 (en) | 2009-10-19 | 2015-06-23 | Pixar | Super light-field lens with doublet lenslet array element |
JP5539818B2 (ja) | 2009-10-20 | 2014-07-02 | 富士フイルム株式会社 | 撮像レンズおよび撮像装置 |
US8325187B2 (en) | 2009-10-22 | 2012-12-04 | Samsung Electronics Co., Ltd. | Method and device for real time 3D navigation in panoramic images and cylindrical spaces |
US8457398B2 (en) | 2009-10-27 | 2013-06-04 | Himax Media Solutions, Inc. | Image enhancement method and apparatuses utilizing the same |
US8514491B2 (en) | 2009-11-20 | 2013-08-20 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
WO2011066275A2 (en) | 2009-11-25 | 2011-06-03 | Massachusetts Institute Of Technology | Actively addressable aperture light field camera |
US8400555B1 (en) | 2009-12-01 | 2013-03-19 | Adobe Systems Incorporated | Focused plenoptic camera employing microlenses with different focal lengths |
US9030530B2 (en) | 2009-12-15 | 2015-05-12 | Thomson Licensing | Stereo-image quality and disparity/depth indications |
US8442392B2 (en) | 2009-12-22 | 2013-05-14 | Nokia Corporation | Method and apparatus for operating the automatic focus or the optical imaging stabilizing system |
US20110213664A1 (en) | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Local advertising content on an interactive head-mounted eyepiece |
US9128281B2 (en) | 2010-09-14 | 2015-09-08 | Microsoft Technology Licensing, Llc | Eyepiece with uniformly illuminated reflective display |
JP5683025B2 (ja) | 2010-04-19 | 2015-03-11 | パナソニックIpマネジメント株式会社 | 立体画像撮影装置および立体画像撮影方法 |
JP5593118B2 (ja) | 2010-04-30 | 2014-09-17 | 日本電産サンキョー株式会社 | 振れ補正機能付き光学ユニット |
WO2011155318A1 (ja) | 2010-06-08 | 2011-12-15 | 日本電産サンキョー株式会社 | 振れ補正装置、撮影用光学装置およびレンズ駆動装置 |
JP5622443B2 (ja) | 2010-06-08 | 2014-11-12 | 日本電産サンキョー株式会社 | 振れ補正機能付き光学ユニット |
JP5138734B2 (ja) | 2010-06-15 | 2013-02-06 | シャープ株式会社 | 撮像レンズ、および撮像モジュール |
CN101902657B (zh) | 2010-07-16 | 2011-12-21 | 浙江大学 | 一种基于深度图分层的虚拟多视点图像的生成方法 |
US9485495B2 (en) | 2010-08-09 | 2016-11-01 | Qualcomm Incorporated | Autofocus for stereo images |
TWI409577B (zh) | 2010-08-20 | 2013-09-21 | Primax Electronics Ltd | 光學影像系統 |
US20120056987A1 (en) | 2010-09-03 | 2012-03-08 | Luke Fedoroff | 3d camera system and method |
WO2012039043A1 (ja) | 2010-09-22 | 2012-03-29 | 富士通株式会社 | ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム |
JP6042814B2 (ja) | 2010-10-01 | 2016-12-14 | コンテックス・エー/エス | イメージセンサの信号輝度マッチング法 |
SG190730A1 (en) * | 2010-12-09 | 2013-07-31 | Univ Nanyang Tech | Method and an apparatus for determining vein patterns from a colour image |
TR201010436A2 (tr) * | 2010-12-14 | 2012-07-23 | Vestel Elektron�K Sanay� Ve T�Caret A.�. | Aykırılık aralığının tespiti için bir yöntem ve cihaz. |
JP5716465B2 (ja) | 2011-03-09 | 2015-05-13 | ソニー株式会社 | 撮像装置 |
US9197798B2 (en) | 2011-03-25 | 2015-11-24 | Adobe Systems Incorporated | Thin plenoptic cameras using microspheres |
US9087375B2 (en) * | 2011-03-28 | 2015-07-21 | Sony Corporation | Image processing device, image processing method, and program |
US9172856B2 (en) | 2011-03-29 | 2015-10-27 | Microsoft Technology Licensing, Llc | Folded imaging path camera |
US8928988B1 (en) | 2011-04-01 | 2015-01-06 | The Regents Of The University Of California | Monocentric imaging |
EP2695385B8 (en) | 2011-04-08 | 2016-03-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Capturing panoramic or semi-panoramic 3d scenes |
US20120293607A1 (en) | 2011-05-17 | 2012-11-22 | Apple Inc. | Panorama Processing |
CN103597810B (zh) | 2011-05-27 | 2017-02-15 | 诺基亚技术有限公司 | 图像拼接 |
US9635274B2 (en) * | 2011-06-15 | 2017-04-25 | Microsoft Technology Licensing, Llc | High resolution multispectral image capture |
TWI507807B (zh) | 2011-06-24 | 2015-11-11 | Mstar Semiconductor Inc | 自動對焦方法與裝置 |
US20130265459A1 (en) | 2011-06-28 | 2013-10-10 | Pelican Imaging Corporation | Optical arrangements for use with an array camera |
US8896890B2 (en) | 2011-06-30 | 2014-11-25 | Lexmark International, Inc. | Image capture system having a folded optical path |
JP5848052B2 (ja) | 2011-07-21 | 2016-01-27 | 日本電産サンキョー株式会社 | 振れ補正機能付き光学ユニット |
US8784301B2 (en) | 2011-08-12 | 2014-07-22 | Intuitive Surgical Operations, Inc. | Image capture unit and method with an extended depth of field |
US8988564B2 (en) | 2011-09-09 | 2015-03-24 | Apple Inc. | Digital camera with light splitter |
US9438889B2 (en) | 2011-09-21 | 2016-09-06 | Qualcomm Incorporated | System and method for improving methods of manufacturing stereoscopic image sensors |
US8855476B2 (en) | 2011-09-28 | 2014-10-07 | DigitalOptics Corporation MEMS | MEMS-based optical image stabilization |
US9495597B2 (en) * | 2011-10-20 | 2016-11-15 | Monsanto Technology Llc | Plant stand counter |
US9692991B2 (en) * | 2011-11-04 | 2017-06-27 | Qualcomm Incorporated | Multispectral imaging system |
US8582220B2 (en) | 2011-12-05 | 2013-11-12 | Himax Technologies Limited | Lens module |
CN202405984U (zh) | 2011-12-10 | 2012-08-29 | 东莞市旭业光电科技有限公司 | 一种用于音圈马达的垫片 |
JP5907755B2 (ja) * | 2012-02-24 | 2016-04-26 | 三菱電機株式会社 | 画像位置合わせ装置及び画像位置合わせ方法 |
KR101975893B1 (ko) | 2012-03-21 | 2019-09-10 | 엘지이노텍 주식회사 | 카메라 모듈 |
US9210405B2 (en) | 2012-03-22 | 2015-12-08 | Qualcomm Technologies, Inc. | System and method for real time 2D to 3D conversion of video in a digital camera |
KR101818778B1 (ko) | 2012-03-23 | 2018-01-16 | 한국전자통신연구원 | 실감 파노라마 영상 생성을 위한 3d 데이터 포맷 생성/소비 장치 및 방법 |
US20130260823A1 (en) | 2012-03-31 | 2013-10-03 | Ashutosh Y. Shukla | Compact Portable Electronic Device Having Augmented Back Volume for Speaker |
NL2008639C2 (en) | 2012-04-13 | 2013-10-16 | Cyclomedia Technology B V | Device, system and vehicle for recording panoramic images, and a device and method for panoramic projection thereof. |
JP2013238848A (ja) | 2012-04-20 | 2013-11-28 | Hoya Corp | 撮像装置 |
US9571818B2 (en) | 2012-06-07 | 2017-02-14 | Nvidia Corporation | Techniques for generating robust stereo images from a pair of corresponding stereo images captured with and without the use of a flash device |
EP2677734A3 (en) | 2012-06-18 | 2016-01-13 | Sony Mobile Communications AB | Array camera imaging system and method |
EP2677733A3 (en) | 2012-06-18 | 2015-12-09 | Sony Mobile Communications AB | Array camera imaging system and method |
US9134503B2 (en) | 2012-07-06 | 2015-09-15 | Apple Inc. | VCM OIS actuator module |
WO2014012603A1 (en) | 2012-07-17 | 2014-01-23 | Heptagon Micro Optics Pte. Ltd. | Optical devices, in particular computational cameras, and methods for manufacturing the same |
CN105787908B (zh) | 2012-08-08 | 2019-05-14 | 杜比实验室特许公司 | 用于高动态范围图像的图像处理方法、装置及存储介质 |
US9275459B2 (en) * | 2012-10-05 | 2016-03-01 | Qualcomm Incorporated | Method and apparatus for calibrating an imaging device |
US9398264B2 (en) | 2012-10-19 | 2016-07-19 | Qualcomm Incorporated | Multi-camera system using folded optics |
JP2014112302A (ja) | 2012-12-05 | 2014-06-19 | Ricoh Co Ltd | 所定領域管理システム、通信方法、及びプログラム |
US9857470B2 (en) | 2012-12-28 | 2018-01-02 | Microsoft Technology Licensing, Llc | Using photometric stereo for 3D environment modeling |
US9270876B2 (en) | 2013-01-05 | 2016-02-23 | The Lightco Inc. | Methods and apparatus for using multiple optical chains in parallel with multiple different exposure times |
US9171355B2 (en) * | 2013-04-12 | 2015-10-27 | Qualcomm Incorporated | Near infrared guided image denoising |
US9602806B1 (en) | 2013-06-10 | 2017-03-21 | Amazon Technologies, Inc. | Stereo camera calibration using proximity data |
JP2015036716A (ja) | 2013-08-12 | 2015-02-23 | ソニー株式会社 | 像ぶれ補正装置及び撮像装置 |
US10178373B2 (en) | 2013-08-16 | 2019-01-08 | Qualcomm Incorporated | Stereo yaw correction using autofocus feedback |
EP2860699A1 (en) | 2013-10-11 | 2015-04-15 | Telefonaktiebolaget L M Ericsson (Publ) | Technique for view synthesis |
US9223118B2 (en) | 2013-10-31 | 2015-12-29 | Apple Inc. | Small form factor telephoto camera |
CN203745777U (zh) | 2014-01-10 | 2014-07-30 | 瑞声声学科技(深圳)有限公司 | 阵列式镜头装置 |
EP3105916A1 (en) | 2014-02-13 | 2016-12-21 | Sony Corporation | Method and system for adjusting camera settings using corneal reflection |
US9557627B2 (en) | 2014-03-07 | 2017-01-31 | Apple Inc. | Folded camera lens systems |
US9316810B2 (en) | 2014-03-07 | 2016-04-19 | Apple Inc. | Folded telephoto camera lens system |
US9374516B2 (en) | 2014-04-04 | 2016-06-21 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
US9383550B2 (en) | 2014-04-04 | 2016-07-05 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
US9819863B2 (en) | 2014-06-20 | 2017-11-14 | Qualcomm Incorporated | Wide field of view array camera for hemispheric and spherical imaging |
US20150373269A1 (en) | 2014-06-20 | 2015-12-24 | Qualcomm Incorporated | Parallax free thin multi-camera system capable of capturing full wide field of view images |
US9294672B2 (en) | 2014-06-20 | 2016-03-22 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax and tilt artifacts |
US9549107B2 (en) | 2014-06-20 | 2017-01-17 | Qualcomm Incorporated | Autofocus for folded optic array cameras |
US9386222B2 (en) | 2014-06-20 | 2016-07-05 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax artifacts |
US9541740B2 (en) | 2014-06-20 | 2017-01-10 | Qualcomm Incorporated | Folded optic array camera using refractive prisms |
US9832381B2 (en) | 2014-10-31 | 2017-11-28 | Qualcomm Incorporated | Optical image stabilization for thin cameras |
US10334158B2 (en) | 2014-11-03 | 2019-06-25 | Robert John Gove | Autonomous media capturing |
US10070055B2 (en) | 2015-03-25 | 2018-09-04 | Massachusetts Institute Of Technology | Devices and methods for optically multiplexed imaging |
US10142113B2 (en) | 2015-06-18 | 2018-11-27 | Bank Of America Corporation | Identifying and maintaining secure communications |
US20170038502A1 (en) | 2015-08-06 | 2017-02-09 | Qualcomm Incorporated | Methods and apparatus having a two-surface microlens array for low f-number plenoptic cameras |
-
2014
- 2014-06-19 US US14/309,458 patent/US10013764B2/en not_active Expired - Fee Related
-
2015
- 2015-06-02 CN CN201580032107.7A patent/CN106462956A/zh active Pending
- 2015-06-02 JP JP2016571217A patent/JP2017520050A/ja active Pending
- 2015-06-02 EP EP15731764.5A patent/EP3158532B1/en active Active
- 2015-06-02 BR BR112016029392A patent/BR112016029392A2/pt not_active Application Discontinuation
- 2015-06-02 KR KR1020167035066A patent/KR20170019359A/ko active IP Right Grant
- 2015-06-02 WO PCT/US2015/033685 patent/WO2015195317A1/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6987534B1 (en) * | 1999-08-30 | 2006-01-17 | Fuji Jukogyo Kabushiki Kaisha | Brightness adjusting apparatus for stereoscopic camera |
US6650774B1 (en) * | 1999-10-01 | 2003-11-18 | Microsoft Corporation | Locally adapted histogram equalization |
CN102611828A (zh) * | 2012-01-11 | 2012-07-25 | 四川大学 | 一种雾天连续视频图像实时性增强处理系统 |
Non-Patent Citations (7)
Title |
---|
YAWEI HAN ET AL.: "Removing Illumination from Image Pair for Stereo Matching", 《 ICALIP2012》 * |
刘贵喜,王蕾: "基于区域选择和特征点匹配的图像配准算法", 《光电子•激光》 * |
葛永新 等: "基于特征点对齐度的图像配准方法", 《电子与信息学报》 * |
葛永新 等: "基于边缘特征点对对齐度的图像配准方法", 《中国图象图形学报》 * |
郭健,王保平: "基于特征块匹配的图像检索技术", 《计算机仿真》 * |
陈建乐 等: "多视点视频中基于局部直方图匹配的亮度和色差校正", 《中国图象图形学报》 * |
陈桂兰 等: "基于块匹配的综合图像检索技术", 《哈尔滨师范大学自然科学学报》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108470327A (zh) * | 2018-03-27 | 2018-08-31 | 成都西纬科技有限公司 | 图像增强方法、装置、电子设备及存储介质 |
CN108470327B (zh) * | 2018-03-27 | 2022-05-17 | 成都西纬科技有限公司 | 图像增强方法、装置、电子设备及存储介质 |
CN110349114A (zh) * | 2019-05-24 | 2019-10-18 | 江西理工大学 | 应用于aoi设备的图像增强方法、装置及道路视频监控设备 |
CN114119627A (zh) * | 2021-10-19 | 2022-03-01 | 北京科技大学 | 基于深度学习的高温合金微观组织图像分割方法及装置 |
CN114119627B (zh) * | 2021-10-19 | 2022-05-17 | 北京科技大学 | 基于深度学习的高温合金微观组织图像分割方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3158532B1 (en) | 2019-08-28 |
US20150371387A1 (en) | 2015-12-24 |
EP3158532A1 (en) | 2017-04-26 |
BR112016029392A2 (pt) | 2017-08-22 |
US10013764B2 (en) | 2018-07-03 |
WO2015195317A1 (en) | 2015-12-23 |
KR20170019359A (ko) | 2017-02-21 |
JP2017520050A (ja) | 2017-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106462956A (zh) | 局部自适应直方图均衡 | |
CN108604373A (zh) | 用于使用多个相机实施无缝缩放功能的系统和方法 | |
CN110225330A (zh) | 用于多视点降噪和高动态范围的系统和方法 | |
CN108141527A (zh) | 相位检测自动聚焦算法 | |
CN110660088A (zh) | 一种图像处理的方法和设备 | |
CN109360235A (zh) | 一种基于光场数据的混合深度估计方法 | |
CN105814875A (zh) | 选择用于立体成像的相机对 | |
CN102713938A (zh) | 用于均匀和非均匀照明变化中的改善的特征检测的尺度空间正规化技术 | |
US20190253608A1 (en) | Artificial optical state simulation | |
KR20120083486A (ko) | 화상 처리 장치, 화상 처리 방법, 및, 기록 매체 | |
CN106210465A (zh) | 用于根据4d原始光场数据获得重聚焦图像的方法 | |
CN105678736B (zh) | 具有孔径改变深度估计的图像处理系统及其操作方法 | |
JP7378219B2 (ja) | 撮像装置、画像処理装置、制御方法、及びプログラム | |
CN104205825B (zh) | 图像处理装置及方法以及摄像装置 | |
US20190355101A1 (en) | Image refocusing | |
CN105791793A (zh) | 图像处理方法及其电子装置 | |
CN104205827A (zh) | 图像处理装置及方法、以及摄像装置 | |
US20190014303A1 (en) | Imaging system and method | |
CN111383254A (zh) | 一种深度信息获取方法、系统及终端设备 | |
WO2015069063A1 (en) | Method and system for creating a camera refocus effect | |
CN106973199A (zh) | 利用对焦距离扫描提高深度精确度的多光圈相机系统 | |
CN104754316A (zh) | 一种3d成像方法、装置及成像系统 | |
CN106803272A (zh) | 一种相机评测方法及系统 | |
CN113225484A (zh) | 快速获取屏蔽非目标前景的高清图片的方法及装置 | |
CN113344997B (zh) | 快速获取只含有目标对象的高清前景图的方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170222 |
|
RJ01 | Rejection of invention patent application after publication |