CN102833487A - 面向视觉计算的光场成像装置和方法 - Google Patents
面向视觉计算的光场成像装置和方法 Download PDFInfo
- Publication number
- CN102833487A CN102833487A CN2012102806808A CN201210280680A CN102833487A CN 102833487 A CN102833487 A CN 102833487A CN 2012102806808 A CN2012102806808 A CN 2012102806808A CN 201210280680 A CN201210280680 A CN 201210280680A CN 102833487 A CN102833487 A CN 102833487A
- Authority
- CN
- China
- Prior art keywords
- imaging
- image
- depth
- optical
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 247
- 230000003287 optical effect Effects 0.000 title claims abstract description 113
- 230000000007 visual effect Effects 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 49
- 238000012634 optical imaging Methods 0.000 claims abstract description 33
- 230000005540 biological transmission Effects 0.000 claims abstract description 32
- 230000003993 interaction Effects 0.000 claims abstract description 7
- 230000004438 eyesight Effects 0.000 claims description 42
- 238000004422 calculation algorithm Methods 0.000 claims description 26
- 238000004458 analytical method Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 14
- 230000008878 coupling Effects 0.000 claims description 11
- 238000010168 coupling process Methods 0.000 claims description 11
- 238000005859 coupling reaction Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 10
- 239000004973 liquid crystal related substance Substances 0.000 claims description 7
- 230000004807 localization Effects 0.000 claims description 7
- 238000012546 transfer Methods 0.000 claims description 7
- 230000001360 synchronised effect Effects 0.000 claims description 5
- 239000005357 flat glass Substances 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 230000006399 behavior Effects 0.000 claims description 3
- 230000003139 buffering effect Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000005855 radiation Effects 0.000 claims description 3
- 238000007667 floating Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 12
- 230000008447 perception Effects 0.000 abstract description 6
- 230000019771 cognition Effects 0.000 abstract description 5
- 230000002452 interceptive effect Effects 0.000 abstract description 3
- 230000016776 visual perception Effects 0.000 abstract 2
- 230000008901 benefit Effects 0.000 description 8
- 238000011161 development Methods 0.000 description 7
- 230000018109 developmental process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000003909 pattern recognition Methods 0.000 description 4
- 210000001747 pupil Anatomy 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000005290 field theory Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000004392 development of vision Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000010332 selective attention Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明公开了一种面向视觉计算的光场成像装置及方法，该装置包括：一光学成像系统、一集成一体化近红外光源、一数据传输模块、一大容量高速缓存单元、一人机交互设备、一逻辑控制单元和一处理单元。本发明提出基于“计算+成像”互动双赢模式的光场成像装置，以光场成像为主导，以深度感知、高动态范围成像为辅，实现视觉感知智能化和视觉认知精准化，获取具有“大景深、宽动态、真三维、高分辨、会采编”特点的新型视觉信息，通过视觉感知源头的数据创新提高视觉计算任务的精确性和鲁棒性，在物联网、安全监控、生物识别、智能交通、航空遥感、数字医疗、动画传媒等领域有广泛应用。
Description
技术领域
本发明涉及计算机视觉、光学工程、计算机图形学、模式识别、人工智能等技术领域，尤其是一种面向视觉计算的光场成像装置和方法，能够实现大景深、宽动态、真三维、高分辨、会采编的光场成像。
背景技术
视觉是人类感知世界的最重要的信息来源，视觉计算试图赋予机器从图像和视频数据中自动获取物理场景高层语义知识的能力，在智能信息科学领域具有战略性学术意义，同时对国家公共安全和经济社会发展具有重要的实用价值。解决现实场景中复杂环境下的行为和事件分析，是当前视觉计算领域面临的重要挑战。传统成像装置遵循成像镜头加感光胶片直接获取二维图像信息的成像原理，现有视觉计算研究大多建立在该二维平面视觉信号基础之上，在成像景深等方面存在信息盲区。计算成像采用非成像光学器件取代部分传统成像光学器件，在光学系统和计算单元的共同作用下生成结果图像，提供了传统图像传感单元所无法提供的新信息，为视觉计算领域的发展注入新的活力。
计算成像在光学领域也被称为集成计算成像系统，衍生自机器视觉、图像处理、计算机图形学和应用光学。计算成像与数字成像相异之处在于成像装置的某些部分成像任务转移到计算单元，从而能够显著拓宽图像捕获的数据种类。近20年间，计算成像不断得到扩展和定义，目前的计算成像主要基于2005年MIT计算和人工智能实验室Fredo Durand和微软实验室Richard Szeliski提出的相关技术，应用于立体建模、遥感、动画、计算机视觉和应用光学等领域。
计算成像从编码方式上大致可分为六大类：物面编码、光瞳编码、传感器编码、光照编码、相机阵列、非传统编码，主要应用于光场成像、高动态成像、高分辨率成像、大景深成像、深度估计、宽视场、图像增强等。物面编码(object side coding)通过相机外接光学器件进行空间调制，是目前最直接方便的计算成像实施方式。光瞳编码(pupil plane coding)通过在主透镜光瞳面增设光学器件来调制系统点扩散函数，分为光圈编码和波前编码两类，其中光圈编码主要针对光强调制，波前编码主要针对相位调制。传感器编码(sensor plane coding)与物面编码效果相似，但具有结构紧凑、不引入相差的优点，具有传感器前(front of the sensor plane)、传感器上(on the sensor plane)和传感器移动三种方式。光照编码(illuminationcoding)主要应用在3D重建领域，具有代表性的即是利用结构光进行空间光照编码，结构光技术利用光条纹间的不同特征(强度、颜色、模式等)简化立体视觉匹配算法。相机阵列(camera clusters or arrays)方式利用多个相机可实现立体视觉和全景成像。非传统编码(unconventional coding)方式的显著特点就是光学成像结构相对简单，在扩大景深、高分辨率成像和处理运动模糊领域均有应用。
光场是空间中同时包含位置和方向信息的光辐射场，相比只记录二维数据的传统成像方式，光场成像能够获得更加丰富的图像信息。因此，光场数据的获取为计算成像提供了许多新的发展方向。1939年Gershun首次提出光场的概念，将其定义为光辐射在空间各个位置各个方向的传播。1992年Adelson将光场理论应用于计算机视觉，并提出全光场相机的概念，随后，Levoy在1996年提出光场渲染理论，首次对四维光场进行参数化表示并设计获取4D光场的装置，对光场理论完善具有重要意义。
光场相机尚处于新型研究领域，近年来国内外代表性专利有近30项，相关的发明人和研究机构包括美国的Levoy、Yi-Ren Ng、麻省理工大学、斯坦福大学、哥伦比亚大学、Adobe公司、美国三菱电机实验室、韩国三星公司等。美国在光场相机专利领域基本处于垄断地位，我国和韩国在相关领域的研究起步较晚。目前获取光场数据的光场成像装置主要有三种形式：微透镜阵列、相机阵列、掩膜及其他。其中微透镜阵列是最常用的光场获取方式，具有代表性的有两种：一种是Adelson(US5076687)提出的全光场相机和在此基础上Ng(US201002685)提出的便携式光场相机；另一种是Georgeiv提出的基于集成成像的光场相机。Ng的设计理念来源于Adelson，但比Adelson的设计缩短了光程，提高了便携性，此外，二者在应用方面也有所不同，Ng侧重重聚焦，Adelson则侧重深度信息提取。Georgiev提出的光场相机采用透镜-棱镜组合排列的形式，可外接在普通相机镜头上，可移植性更强，不过Georgiev的相机模型由于镜头外接，会带来新的像差问题。此外，专利US20080266655、US7872796、US20090102956、US20090185801、US7949252、US20100271467等都是基于微透镜阵列形式展开，可应用于深度估计、增大景深和显微成像等领域。相机阵列方式是通过多个相机在空间的一定分布来同时抓取一系列视角略有差别的图像，从而重建出光场数据。该方式在空间分辨率、动态范围等方面具有优势，主要应用在3D重建领域，相关专利有US8027531、US20080309754、US7609906、US8044994、US20080043095等。掩膜形式对相机的光圈做相应处理来重构光场数据，如专利US7965936、US20110069324；此外以Levoy为代表，专利US6097394、US6342917和US20080297593利用相机移动方式获取光场数据实现图像物体的立体视觉；专利US20110174998提出一种新型角度敏感传感器的设计制作方法，无需额外光学器件即可感知光场信息；专利US20110249341和US20110273609利用相互匹配的透镜阵列获取光场数据。与此同时，专利US8055101、US20110026910、US7949252、US20100091133、CN201010215416等从提高光场图像空间分辨率、光度失真校准、增大景深、感兴趣区域深度增强等角度提出相应的解决方案。
光场成像技术在增大图像景深方面具有较大优势，在图像前景与后景重对焦方面的效果令人满意，但直接应用于视觉感知场景还存在一些问题，首先由于空间分辨率与角度分辨率的矛盾关系，现有光场成像装置普遍存在图像空间分辨率低的问题；其次，仅依赖现有光场获取形式的成像装置在深度估计和三维成像方面还存在一定的局限；同时，目前光场成像技术也尚未考虑先进视觉感知环境下的图像宽动态需求；此外，对感兴趣区域的采编目前尚基于相机几何位置建模，准确度和灵活性尚存在不足，而且在提高景深的过程中重对焦点需人工指定，不能满足先进视觉认知任务的实际需求。综合以上考虑，为自动以感兴趣区域为重对焦点进行光场数据处理，还需结合图像宽动态处理、深度估计、高分辨率成像、视觉选择性注意机制等计算成像技术以实现光场成像装置在先进视觉计算领域的应用。
发明内容
本发明的目的在于提供一种大景深、宽动态、真三维、高分辨、会采编的光场成像装置和方法，采取“计算+成像”的双向互动机制，提高视觉感知场景的成像质量和自动化感知性能。
为了实现上述目的，本发明提供了一种光场成像装置，其特征在于，该装置包括：一光学成像系统101，一集成一体化近红外光源102，一数据传输模块103，一大容量高速缓存单元104，一逻辑控制单元106和一处理单元107，其中：
所述逻辑控制单元106通过数据传输模块103驱动集成一体化近红外光源102发射近红外面光源，并在处理单元107判断视觉图像数据满足结构光发射条件时，通过数据传输模块103控制集成一体化近红外光源102发射近红外编码结构光；
所述光学成像系统101用于进行光场成像、视觉/深度成像和高动态范围成像，并将采集到的视觉图像数据通过数据传输模块103由逻辑控制单元106传输至处理单元107进行视觉场景先验分析；将采集到的有近红外编码结构光的深度图像数据通过数据传输模块103在大容量高速缓存单元104中进行缓存；将在近红外编码结构光发射光源切换为发射近红外面光源时，采集到的光场图像数据经数据传输模块103在大容量高速缓存单元104中进行缓冲；将采集到的曝光不同图像数据通过数据传输模块103在大容量高速缓存单元104中进行缓冲；
所述逻辑控制单元106还用于对所述光学成像系统101采集到的光场图像数据进行图像拼接处理，对所述光学成像系统101采集到的曝光不同图像数据进行图像校准处理；并将拼接后的光场图像数据和校准后的曝光不同图像数据发送给所述处理单元107；
所述处理单元107用于根据所述深度图像数据、校准后的曝光不同图像数据和拼接后的光场图像数据进行深度计算成像、高动态范围计算成像、目标检测、重对焦、图像采编算法处理。
根据本发明的另一方面，还提供了一种大景深、宽动态、真三维、高分辨、会采编光场成像方法，其特征在于，该方法包括以下步骤：
步骤1，光场成像装置上电启动后，集成一体化近红外光源102发射近红外面光源，逻辑控制单元106控制光学成像系统101中的视觉/深度成像传感器203采集场景的视觉图像；
步骤2，视觉图像数据经数据传输模块103和逻辑控制单元106传输到处理单元107进行视觉场景先验分析，当分析确定所述视觉图像具有丰富纹理信息时，逻辑控制单元106驱动集成一体化近红外光源102发射近红外编码结构光，当分析确定所述视觉图像不具有丰富纹理信息时，重复步骤1直至采集到的视觉图像具有丰富纹理信息；
步骤3，逻辑控制单元106控制视觉/深度成像传感器203采集所述场景的有近红外编码结构光深度图像，所述有近红外编码结构光深度图像数据经数据传输模块103和逻辑控制单元106传输到大容量高速缓存单元104进行缓存，同时将近红外编码结构光源切换为近红外面光源；
步骤4，逻辑控制单元106对光学成像系统101中的光场成像传感器阵列208中的各个传感器进行同步控制，将光场成像传感器阵列208同步采集到的多个光场图像数据输入到大容量高速缓存单元104进行缓存；
步骤5，逻辑控制单元106控制光学成像系统101中的高动态成像传感器组的2个具有不同曝光系数的传感器210和211采集所述场景的曝光不同的图像，并将采集到的图像数据传输到大容量高速缓存单元104进行缓存；
步骤6，逻辑控制单元106根据预先标定的光场成像传感器阵列208中传感器之间的相对机械位置关系，对所述步骤4采集得到的多个光场图像进行水平方向或者垂直方向上的实时重叠区域加权拼接，以获取高分辨率的光场图像数据，并将拼接结果存储在大容量高速缓存缓存单元104中；
步骤7，逻辑控制单元106对所述步骤5采集得到的曝光不同图像进行高动态成像传感器210和211的像素数据匹配，生成相应的校准图像，并将该校准图像存储在大容量高速缓存单元104中；
步骤8，大容量高速缓存单元104将其存储的有近红外编码结构光深度图像数据和曝光不同的校准图像数据传输至处理单元107，进行深度计算成像和高动态范围计算成像处理；
步骤9，处理单元107对处理后的深度图像和高动态范围图像分别不断进行感兴趣目标检测并对目标进行定位；
步骤10，根据目标定位结果和深度图像中的深度信息，处理单元107对拼接后的光场图像中的对应感兴趣目标所处的区域进行重对焦算法处理；
步骤11，处理单元107利用经过重对焦处理的光场图像，结合深度图像、高动态范围图像通过图像采编算法处理，输出具有三维深度信息的高动态大景深多视角图像。
本发明为先进视觉计算提供丰富生动、便于解析的视觉感知数据，能够有效消除视觉感知盲区，避免视觉认知过程的歧义，提高视觉计算任务的精确性和鲁棒性，推动计算机视觉、模式识别等学科的跨越式发展，在物联网、视频监控、生物识别、智能交通、航空遥感、数字医疗、动画传媒等领域具有广阔的应用前景。
1)多功能协同光场成像
本发明在基于微透镜阵列光场成像的基础上，利用半反半透棱镜等光学器件组成高度统一光学系统，在实现光场成像的同时，兼顾深度成像和高动态成像的应用需求，是现有光场成像装置的扩展创新。同时，三种成像方式在图像信息上具有很大的耦合度，属于同一场景不同感知源输入，本发明将这三种成像任务由统一的并行处理单元进行集中分析，协同处理，去除冗余数据，从而获得高度耦合度的视觉感知信息，推动视觉感知源头的数据创新。
2)高性能光场成像
本发明提出的光场成像装置及方法突破相关光场成像技术在分辨率、动态范围、主动感知等方面的瓶颈，实现“大景深、宽动态、真三维、高分辨、会采编”的高性能光场成像，在自适应成像环境和提升成像质量方面具有突出的创造性和实用性。其中，利用光场成像图像传感器阵列对视场光束的不同区域进行成像，通过图像拼接实现高分辨率成像，为现有光场成像在空间分辨率表现不足问题上提供一种直接有效的解决方案；集成深度成像的光场成像系统较传统仅依赖微透镜阵列的光场成像系统在深度估计、增大景深和三维成像方面具有更显著的优势；融合高动态范围计算成像的光场成像系统相对于相机阵列的高动态特性具有集成度高、校准简单、易操作的优点，同时降低了成像效果对视场环境光照的依赖性，扩大了成像装置的适用范围；结合目标检测算法、图像采编算法的光场成像方法在对感兴趣区域的定位与跟踪方面具有准确度高、友好性强和更灵活可控的特点。
3)智能化光场成像
本发明将视觉场景先验分析、深度计算成像、高动态范围计算成像、目标检测、重对焦、图像采编算法嵌入成像装置，在全自动获取感兴趣目标图像数据基础上，实现重对焦点自动定位，提高重对焦技术的智能化程度，并实现多目标同时重对焦成像的重大研究突破，提高成像系统的效率，由于仅对感兴趣区域进行重对焦处理，从而可降低光场成像计算量，提高系统反应速度。本发明提出的智能化光场成像方式可极大改善用户体验度，提高系统的鲁棒性和实用性，对光场成像应用产业发展具有重要推动作用。
附图说明
图1为本发明提供的光场成像装置部件结构图；
图2为本发明提供的光学成像系统的结构图；
图3为本发明提供的光场成像方法的流程图；
图4为本发明采用的深度成像流程图；
图5为本发明采用的高动态范围成像流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
本发明面向先进视觉计算学科发展前沿和物联网、视频监控、生物识别、智能交通等国家经济社会和公共安全领域的重大战略需求，突破传统光面成像方式在成像景深、动态范围、深度感知等方面的技术瓶颈，提出基于“计算+成像”互动双赢模式的智能型光场成像装置，以光场成像为主导，以深度感知、高动态范围成像为辅，实现视觉感知智能化和视觉认知精准化，获取具有“大景深、宽动态、真三维、高分辨、会采编”特点的新型视觉信息，通过视觉感知源头的数据创新推动计算机视觉、模式识别等学科的跨越式发展，具有重要现实指导意义。
图1为本发明提供的光场成像装置部件结构图。如图1所示，本发明提供的光场成像装置包括：
一光学成像系统101；
一集成一体化近红外光源102；
一数据传输模块103；
一大容量高速缓存单元104；
一人机交互设备105；
一逻辑控制单元106；
一处理单元107。
其中，光学成像系统101包含光场成像、视觉/深度成像和高动态范围成像三种成像形式。
所述集成一体化近红外光源102包括主透镜、液晶面板及其驱动器、匀光透镜、大功率近红外LED阵列及其驱动器，其中大功率近红外LED阵列为背光源；匀光透镜用于将背光源发射的非均匀光束均匀化；液晶面板用于在进行视觉成像、光场成像和高动态范围成像时发射面光源，在进行深度成像时发射编码结构光；主透镜用于会聚出射光束。
所述光场成像装置上电后，逻辑控制单元106通过数据传输模块103驱动集成一体化近红外光源102发射近红外面光源，光学成像系统101将采集到的视觉图像数据通过数据传输模块103由逻辑控制单元106传输至处理单元107进行视觉场景先验分析，当处理单元107判断视觉图像数据满足结构光发射条件时，逻辑控制单元106通过数据传输模块103控制集成一体化近红外光源102发射近红外编码结构光，光学成像系统101采集有近红外编码结构光的深度图像数据并通过数据传输模块103将该有近红外编码结构光的深度图像数据在大容量高速缓存单元104中进行缓存，然后，近红外编码结构光发射光源关闭，近红外面光源开启，光学成像系统101将采集到的光场图像数据经数据传输模块103在大容量高速缓存单元104中进行缓冲，同时在逻辑控制单元106中进行图像拼接处理，处理后的数据依然通过大容量高速缓存单元104进行数据缓冲，然后，光学成像系统101采集曝光不同图像数据并通过数据传输模块103将原始曝光不同图像数据在大容量高速缓存单元104中进行缓冲，同时在逻辑控制单元106中进行图像校准处理，处理后的数据仍通过大容量高速缓存单元104进行数据缓冲，大容量高速缓存单元104中缓存的深度图像数据、校准后的曝光不同图像数据和拼接后的光场图像数据经逻辑控制单元106送入处理单元107中完成深度计算成像、高动态范围计算成像、目标检测、重对焦、图像采编算法处理，期间，逻辑控制单元106根据所述处理单元107的反馈结果控制人机交互设备105利用显示屏、语音、文字提示信息与场景观测对象进行互动操作以配合光学成像系统101进行下一步的图像采集。
图2为本发明提供的光学成像系统101的结构图。如图2所示，所述光学成像系统101包括3个半反半透棱镜201、视觉/深度成像镜头202、视觉/深度成像传感器203、光场成像镜头204、像方远心光路205、平板阵列206、微透镜阵列组207、光场成像传感器阵列208、2个高动态成像镜头209、高动态成像传感器210和211。其中，视觉/深度成像传感器203可对无结构光发射的场景和有结构光发射的场景进行成像；微透镜阵列组207由多个平凸微透镜阵列单元构成，用于提取光场信息；光场成像传感器阵列208由多个高分辨率CMOS传感器单元组成，逻辑控制单元106对光场成像传感器阵列208中的所有传感器单元进行精确控制，同步图像采集，实现高分辨率光场成像；平板阵列206、微透镜阵列组207和光场成像传感器阵列208中的平板玻璃单元、微透镜阵列单元和传感器单元数量、位置分别一一对应。
入射光束经半反半透棱镜201分为透射光束和反射光束，第一个半反半透棱镜201将透射光束投射给光场成像镜头204，经过光场成像镜头204的会聚后光束经像方远心光路205来减小微透镜阵列成像的渐晕影响，随后光束经平板阵列206完成光束的平移和视场分割，使每块平板玻璃单元出射光束入射到对应的微透镜阵列单元，微透镜阵列单元组成微透镜阵列组207紧置于光场成像传感器阵列208前，光束经微透镜阵列组207投射到光场成像传感器阵列208生成光场图像，完成光场成像初始过程，即光场图像的采集；第一个半反半透棱镜201将反射光束投射给第二个半反半透棱镜201，第二个半反半透棱镜201的透射光束投射到视觉/深度成像镜头202，经成像镜头的会聚后光束投射到视觉/深度成像传感器203生成视觉图像或深度图像，完成视觉成像或深度成像初始过程，即视觉图像或深度图像的采集；第二个半反半透棱镜201的反射光束投射给第三个半反半透棱镜201，第三个半反半透棱镜201的透射光束和反射光束分别投射到2个高动态成像镜头209，经成像镜头的会聚后分别投射到具有不同曝光系数的高动态成像传感器210和211生成曝光不同图像，完成高动态范围成像初始过程，即高动态范围图像的采集。
所述逻辑控制单元106采用FPGA或ARM逻辑控制芯片，用以控制光学成像系统中的光场成像传感器阵列208、视觉/深度成像传感器203、高动态范围成像传感器组；控制集成一体化近红外光源102的大功率近红外LED阵列驱动和液晶面板驱动；控制数据传输模块103，保证数据传输的速度和准确性；实现光场成像传感器阵列208采集到的光场图像的拼接和高动态范围传感器组图像的校准；并对人机交互设备进行功能控制。
所述处理单元107负责嵌入式算法的执行，包括视觉场景先验分析、深度计算成像、高动态范围计算成像、目标检测、重对焦、图像采编。
图3为本发明提供的光场成像方法的流程图。如图3所示，本发明提供的光场成像方法包括以下步骤：
步骤1，光场成像装置上电启动后，集成一体化近红外光源102发射近红外面光源，逻辑控制单元106控制光学成像系统101中的视觉/深度成像传感器203采集场景的视觉图像；
步骤2，视觉图像数据经数据传输模块103和逻辑控制单元106传输到处理单元107进行视觉场景先验分析，当分析确定所述视觉图像具有丰富纹理信息时，逻辑控制单元106驱动集成一体化近红外光源102发射近红外编码结构光；当分析确定所述视觉图像不具有丰富纹理信息时，重复步骤1直至采集到的视觉图像具有丰富纹理信息；
步骤3，逻辑控制单元106控制视觉/深度成像传感器203采集所述场景的有近红外编码结构光深度图像，所述有近红外编码结构光深度图像数据经数据传输模块103和逻辑控制单元106传输到大容量高速缓存单元104进行缓存，同时将近红外编码结构光源切换为近红外面光源；
步骤4，逻辑控制单元106对光学成像系统101中的光场成像传感器阵列208中的各个传感器进行同步控制，将光场成像传感器阵列208同步采集到的多个光场图像数据输入到大容量高速缓存单元104进行缓存；
步骤5，逻辑控制单元106控制光学成像系统101中的高动态成像传感器组的2个具有不同曝光系数的传感器210和211采集所述场景的曝光不同的图像，并将采集到的图像数据传输到大容量高速缓存单元104进行缓存；
步骤6，逻辑控制单元106根据预先标定的光场成像传感器阵列208中传感器之间的相对机械位置关系，对所述步骤4采集得到的多个光场图像进行水平方向或者垂直方向上的实时重叠区域加权拼接，以获取高分辨率的光场图像数据，并将拼接结果存储在大容量高速缓存缓存单元104中；
光场成像在解决图像景深问题上具有较大优势，但目前的光场成像装置普遍存在空间分辨率低的问题。一般情况下，成像的景深精度由角度分辨率决定，角度分辨率与微透镜的个数有关，而在光学系统结构确定的条件下，空间分辨率与角度分辨率成反比关系，为此，本发明通过高分辨率传感器阵列的形式对光束的不同区域进行成像，在保证角度分辨率基本不变的情况下，通过后期的图像拼接技术提高光场成像的空间分辨率，以满足高分辨率成像的认知任务需求。在光场成像过程中，逻辑控制单元对光场成像传感器阵列中的所有传感器进行同步控制，保证采集到的所有图像帧具有精确同步的光电积分起始时间、结束时间、数字增益系数和模拟增益系数，为下一步的图像拼接做准备。
所述图像拼接方法可以采用现有技术中的任一方法实现，比如可以这样实现：首先，标定光场成像传感器阵列208各个传感器的相对位置，获得初步重叠视场区域；随后，提取重叠视场区域图像的Harris特征，在相邻重叠区域范围内进行小范围特征匹配；然后，计算出图像拼接所需的变换矩阵，最后通过图像变换来实现图像的拼接。
步骤7，逻辑控制单元106对所述步骤5采集得到的曝光不同图像进行高动态成像传感器210和211的像素数据匹配，生成相应的校准图像，并将该校准图像存储在大容量高速缓存单元104中；
所述像素数据匹配是指根据预先标定的高动态成像传感器210和211的相对位置关系，利用所述场景特征，对二者分别采集到的图像进行像素间的相似性匹配，生成对应的校准图像，保证曝光不同的校准图像对所述场景具有相同视场。
步骤8，大容量高速缓存单元104将其存储的有近红外编码结构光深度图像数据和曝光不同的校准图像数据传输至处理单元107，进行深度计算成像和高动态范围计算成像处理；
深度信息对于目标与背景分离、三维成像具有重要意义。尽管光场成像能够获取深度信息，但主动的深度成像方法与其相比具有工作范围更大、处理速度更快的优点，同时主动的深度成像方法还可辅助用于光场成像确定对焦点，提高光场成像在扩大成像景深方面的自动化性能。本发明集成一体化近红外光源发射近红外编码结构光，结构光在观测场景中的物体表面发生形变，深度成像传感器感应包含形变的光线后经处理单元进行深度计算成像算法进而获得深度成像，图4为本发明采用的深度成像流程图，所述深度成像包括以下几个步骤，采用的是基于编码结构光的深度成像技术，详细内容请参考文献J.Salvi，J.Pages，and J.Batlle.Pattern codificationstrategies in structured light systems.Pattern Recognit，Vol.37，No.4，PP.827-849，2004：
步骤811，对场景中的光平面进行标定；
步骤812，逻辑控制单元控制集成一体化近红外光源的液晶面板驱动器生成不同编码结构光，其中不同编码结构光对应不同光平面；
步骤813，将编码结构光投射到场景中，结构光在物体表面发生形变，采集结构光形变图像；
步骤814，处理单元提取结构光形变图像中的编码信息；
步骤815，将编码信息与编码结构光进行编码匹配，实现深度成像，获得场景深度信息，输出深度图像。
高动态范围成像用来实现比普通图像更大的曝光动态范围，进而可以获取更多的图像信息。本发明采用具有不同曝光系数的高动态成像传感器获得曝光不同的图像，通过处理单元完成高动态范围计算成像算法进而获得高动态范围图像，图5为本发明采用的高动态范围成像流程图，其包括以下几个步骤，该高动态范围计算成像算法详细内容请参考文献KatrienJacobs，Celine Loscos，Greg Ward.Automatic High-Dynamic Range ImageGeneration for Dynamic Scenes.IEEE Computer Graphics and Applications，Vo1.28，No.2，PP：84-93，2008：
步骤821，采集曝光不同图像；
步骤822，逻辑控制单元进行图像像素数据匹配，生成校准图像；
步骤823，处理单元根据校准图像计算高动态范围成像装置响应曲线；
所述高动态范围成像装置是指光学成像系统101中高动态范围成像部分的装置，包括2个高动态成像镜头209、高动态成像传感器210和211。
步骤824，将所述校准图像的像素值所表示的光强转换为光辐照度；
步骤825，生成相应的单精度浮点图像；
步骤826，结合视觉表达模型生成高动态范围图像。
步骤9，处理单元107对处理后的深度图像和高动态范围图像分别不断进行感兴趣目标检测并对目标进行定位；
所述感兴趣目标可以是人、人脸或者车辆等物体。
所述目标检测算法是为了进行目标定位并确定重对焦感兴趣区域，从而减小重对焦算法的计算量，提高装置响应速度。所述目标检测算法根据场景中的要检测的目标属性，选择相应的本领域通用的目标检测和定位方法。
步骤10，根据目标定位结果和深度图像中的深度信息，处理单元107对拼接后的光场图像中的对应感兴趣目标所处的区域进行重对焦算法处理；
所述重对焦算法首先通过目标定位结果和深度图像确定重对焦点所处的焦距，得到对应的切片算子，随后利用傅立叶切片定理重建感兴趣区域的清晰图像，从而完成重对焦成像，该重对焦算法详细内容请参考文献Ren Ng.Fourier slice photography.ACM Transactions on Graphics，24(3)：735-744，2005。
步骤11，处理单元107利用经过重对焦处理的光场图像，结合深度图像、高动态范围图像通过图像采编算法处理，输出具有三维深度信息的高动态大景深多视角图像。
所述图像采编算法将局部区域视觉感知的场景、目标、行为、事件识别信息映射到“时空切片”模型的对应坐标，采用“时空”多尺度分析的方法展现不同层次的语义内容单元，然后按照视觉感知任务需求进行采编，合成新的图像。所述图像采编算法亦为本领域通用的图像处理技术，在此不作赘述。
本发明针对先进视觉计算学科发展前沿和物联网、视频监控、生物识别、智能交通等国家经济社会和公共安全领域的重大战略需求，突破传统成像方式在成像景深、动态范围、深度感知等方面的技术瓶颈，提出一种面向视觉计算的光场成像装置和方法光场成像装置，实现视觉感知智能化和视觉认知精准化，获取具有“大景深、宽动态、真三维、高分辨、会采编”等特点的新型视觉信息，通过视觉感知源头的数据创新推动计算机视觉、模式识别等学科的跨越式发展。
场景1：应用于机场、车站等大规模人群监控场景下的身份识别。
本发明可应用于机场、车站等大规模人群监控场景下的身份设别：某机场当多名犯罪嫌疑人出现在成像装置监控范围内时，传统成像装置由于景深所限，同一时刻只能采集距离较近的某个目标的人脸或者虹膜图像，而使用了面向视觉计算的光场成像装置可同时采集位于不同景深处的多个目标的人脸或者虹膜图像；当该犯罪嫌疑人移动时，传统成像装置存在目标易跟踪丢失、成像模糊的不足，而使用了面向视觉计算的光场成像装置能够根据监测目标自动调整视野及景深，并通过快速重对焦和高速传输通道将采集到的清晰图像进入人脸或虹膜图像数据库，进行人脸或者虹膜识别，识别结果发送到机场安保部门，如果犯罪嫌疑人身份得到确认则立刻对其组织抓捕。
场景2：应用于小区、街道等人群居住或公共设施处的安全监控。
本发明可应用于小区、街道等人群居住或公共设施处的安全监控，推动智慧平安城市建设：某小区内当有犯罪嫌疑人出现在成像装置监控范围内，并欲从事入室偷窃行为，如翻窗时，当该犯罪行为发生于夜晚环境光线较弱时或者犯罪嫌疑人与成像装置前有建筑物或者树木遮挡时，传统成像装置可能无法及时检测到该犯罪行为，而使用了面向视觉计算的光场成像装置不受光线明暗或部分遮挡物所限，能够及时采集犯罪行为图像并实时调整视野及景深保证图像质量，采集到的犯罪行为图像在小区监控室内显示并发出报警提示保安人员，保安人员随后即时制止嫌疑人的犯罪活动，保障小区内的人身财产安全。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (15)
1.一种光场成像装置，其特征在于，该装置包括：一光学成像系统(101)，一集成一体化近红外光源(102)，一数据传输模块(103)，一大容量高速缓存单元(104)，一逻辑控制单元(106)和一处理单元(107)，其中：
所述逻辑控制单元(106)通过数据传输模块(103)驱动集成一体化近红外光源(102)发射近红外面光源，并在处理单元(107)判断视觉图像数据满足结构光发射条件时，通过数据传输模块(103)控制集成一体化近红外光源(102)发射近红外编码结构光；
所述光学成像系统(101)用于进行光场成像、视觉/深度成像和高动态范围成像，并将采集到的视觉图像数据通过数据传输模块(103)由逻辑控制单元(106)传输至处理单元(107)进行视觉场景先验分析；将采集到的有近红外编码结构光的深度图像数据通过数据传输模块(103)在大容量高速缓存单元(104)中进行缓存；将在近红外编码结构光发射光源切换为发射近红外面光源时，采集到的光场图像数据经数据传输模块(103)在大容量高速缓存单元(104)中进行缓冲；将采集到的曝光不同图像数据通过数据传输模块(103)在大容量高速缓存单元(104)中进行缓冲；
所述逻辑控制单元(106)还用于对所述光学成像系统(101)采集到的光场图像数据进行图像拼接处理，对所述光学成像系统(101)采集到的曝光不同图像数据进行图像校准处理；并将拼接后的光场图像数据和校准后的曝光不同图像数据发送给所述处理单元(107)；
所述处理单元(107)用于根据所述深度图像数据、校准后的曝光不同图像数据和拼接后的光场图像数据进行深度计算成像、高动态范围计算成像、目标检测、重对焦、图像采编算法处理。
2.根据权利要求1所述的装置，其特征在于，所述大容量高速缓存单元(104)还用于对经过所述图像拼接处理后的数据和经过所述校准后的曝光不同图像数据进行数据缓冲。
3.根据权利要求1所述的装置，其特征在于，所述装置还包括一人机交互设备(105)，用于支持人机交互。
4.根据权利要求1所述的装置，其特征在于，所述集成一体化近红外光源(102)包括主透镜、液晶面板及其驱动器、匀光透镜、大功率近红外LED阵列及其驱动器，其中：
大功率近红外LED阵列为背光源；
匀光透镜用于将背光源发射的非均匀光束均匀化；
液晶面板用于在进行视觉成像、光场成像和高动态范围成像时发射面光源，在进行深度成像时发射编码结构光；
主透镜用于会聚出射光束。
5.根据权利要求1所述的装置，其特征在于，所述光学成像系统(101)包括3个半反半透棱镜(201)、视觉/深度成像镜头(202)、视觉/深度成像传感器(203)、光场成像镜头(204)、像方远心光路(205)、平板阵列(206)、微透镜阵列组(207)、光场成像传感器阵列(208)、2个高动态成像镜头(209)、高动态成像传感器(210)和(211)，其中：
视觉/深度成像传感器(203)可对无结构光发射的场景和有结构光发射的场景进行成像；
微透镜阵列组(207)由多个平凸微透镜阵列单元构成，用于提取光场信息；
光场成像传感器阵列(208)由多个高分辨率CMOS传感器单元组成；
平板阵列(206)、微透镜阵列组(207)和光场成像传感器阵列(208)中的平板玻璃单元、微透镜阵列单元和传感器单元数量、位置分别一一对应。
6.根据权利要求5所述的装置，其特征在于，所述逻辑控制单元(106)还对所述光场成像传感器阵列(208)中的所有传感器单元进行精确控制，同步图像采集，实现高分辨率光场成像。
7.根据权利要求6所述的装置，其特征在于，所述光学成像系统(101)中，入射光束经半反半透棱镜(201)分为透射光束和反射光束，第一个半反半透棱镜(201)将透射光束投射给光场成像镜头(204)，经过光场成像镜头(204)的会聚后光束经像方远心光路(205)来减小微透镜阵列成像的渐晕影响，随后光束经平板阵列(206)完成光束的平移和视场分割，使每块平板玻璃单元出射光束入射到对应的微透镜阵列单元，微透镜阵列单元组成微透镜阵列组(207)紧置于光场成像传感器阵列(208)前，光束经微透镜阵列组(207)投射到光场成像传感器阵列(208)生成光场图像，完成光场图像的采集；
第一个半反半透棱镜(201)将反射光束投射给第二个半反半透棱镜(201)，第二个半反半透棱镜(201)的透射光束投射到视觉/深度成像镜头(202)，经成像镜头的会聚后光束投射到视觉/深度成像传感器(203)生成视觉图像或深度图像，完成视觉图像或深度图像的采集；
第二个半反半透棱镜(201)的反射光束投射给第三个半反半透棱镜(201)；
第三个半反半透棱镜(201)的透射光束和反射光束分别投射到2个高动态成像镜头(209)，经成像镜头的会聚后分别投射到具有不同曝光系数的高动态成像传感器(210)和(211)生成曝光不同图像，完成高动态范围图像的采集。
8.根据权利要求1所述的装置，其特征在于，所述逻辑控制单元(106)采用FPGA或ARM逻辑控制芯片。
9.一种利用权利要求1所述的光场成像装置进行光场成像的方法，其特征在于，该方法包括以下步骤：
步骤1，光场成像装置上电启动后，集成一体化近红外光源(102)发射近红外面光源，逻辑控制单元(106)控制光学成像系统(101)中的视觉/深度成像传感器(203)采集场景的视觉图像；
步骤2，视觉图像数据经数据传输模块(103)和逻辑控制单元(106)传输到处理单元(107)进行视觉场景先验分析，当分析确定所述视觉图像具有丰富纹理信息时，逻辑控制单元(106)驱动集成一体化近红外光源(102)发射近红外编码结构光，当分析确定所述视觉图像不具有丰富纹理信息时，重复步骤1直至采集到的视觉图像具有丰富纹理信息；
步骤3，逻辑控制单元(106)控制视觉/深度成像传感器(203)采集所述场景的有近红外编码结构光深度图像，所述有近红外编码结构光深度图像数据经数据传输模块(103)和逻辑控制单元(106)传输到大容量高速缓存单元(104)进行缓存，同时将近红外编码结构光源切换为近红外面光源；
步骤4，逻辑控制单元(106)对光学成像系统(101)中的光场成像传感器阵列(208)中的各个传感器进行同步控制，将光场成像传感器阵列(208)同步采集到的多个光场图像数据输入到大容量高速缓存单元(104)进行缓存；
步骤5，逻辑控制单元(106)控制光学成像系统(101)中的高动态成像传感器组的2个具有不同曝光系数的传感器(210)和(211)采集所述场景的曝光不同的图像，并将采集到的图像数据传输到大容量高速缓存单元(104)进行缓存；
步骤6，逻辑控制单元(106)根据预先标定的光场成像传感器阵列(208)中传感器之间的相对机械位置关系，对所述步骤4采集得到的多个光场图像进行水平方向或者垂直方向上的实时重叠区域加权拼接，以获取高分辨率的光场图像数据，并将拼接结果存储在大容量高速缓存缓存单元(104)中；
步骤7，逻辑控制单元(106)对所述步骤5采集得到的曝光不同图像进行高动态成像传感器(210)和(211)的像素数据匹配，生成相应的校准图像，并将该校准图像存储在大容量高速缓存单元(104)中；
步骤8，大容量高速缓存单元(104)将其存储的有近红外编码结构光深度图像数据和曝光不同的校准图像数据传输至处理单元(107)，进行深度计算成像和高动态范围计算成像处理；
步骤9，处理单元(107)对处理后的深度图像和高动态范围图像分别不断进行感兴趣目标检测并对目标进行定位；
步骤10，根据目标定位结果和深度图像中的深度信息，处理单元(107)对拼接后的光场图像中的对应感兴趣目标所处的区域进行重对焦算法处理；
步骤11，处理单元(107)利用经过重对焦处理的光场图像，结合深度图像、高动态范围图像通过图像采编算法处理，输出具有三维深度信息的高动态大景深多视角图像。
10.根据权利要求9所述的方法，其特征在于，所述步骤7中的所述像素数据匹配是指根据预先标定的高动态成像传感器(210)和(211)的相对位置关系，利用所述场景特征，对二者分别采集到的图像进行像素间的相似性匹配，生成对应的校准图像，保证曝光不同的校准图像对所述场景具有相同视场。
11.根据权利要求9所述的方法，其特征在于，图像拼接进一步包括：首先，标定光场成像传感器阵列(208)各个传感器的相对位置，获得初步重叠视场区域；随后，提取重叠视场区域图像的Harris特征，在相邻重叠区域范围内进行小范围特征匹配；然后，计算出图像拼接所需的变换矩阵，通过图像变换进行图像的拼接。
12.根据权利要求9所述的方法，其特征在于，所述深度计算成像进一步包括：首先，对场景中的光平面进行标定；然后，逻辑控制单元(108)控制集成一体化近红外光源的液晶面板驱动器生成不同编码结构光，其中不同编码结构光对应不同光平面；随后，将编码结构光投射到场景中，结构光在物体表面发生形变，得到结构光形变图像；最后，将采集到的结构光形变图像中的编码信息与编码结构光进行编码匹配，获得场景深度信息。
13.根据权利要求9所述的方法，其特征在于，所述高动态范围计算成像进一步包括：首先，通过所述校准图像计算高动态范围成像装置的响应曲线；随后，将所述校准图像的像素值表示的光强转换为光辐射度，并生成相应的单精度浮点图像；最后，结合视觉表达模型生成高动态范围图像，其中，所述高动态范围成像装置是指光学成像系统(101)中高动态范围成像部分的装置，包括2个高动态成像镜头(209)、高动态成像传感器(210)和(211)。
14.根据权利要求9所述的方法，其特征在于，所述重对焦算法进一步包括：首先，通过目标定位结果和深度图像确定重对焦点所处的焦距，得到对应的切片算子；随后，利用傅立叶切片定理重建感兴趣区域的清晰图像，完成重对焦成像。
15.根据权利要求9所述的方法，其特征在于，所述图像采编算法将局部区域视觉感知的场景、目标、行为、事件识别信息映射到“时空切片”模型的对应坐标，采用“时空”多尺度分析的方法展现不同层次的语义内容单元，然后按照视觉感知任务需求进行采编，合成新的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210280680.8A CN102833487B (zh) | 2012-08-08 | 2012-08-08 | 面向视觉计算的光场成像装置和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210280680.8A CN102833487B (zh) | 2012-08-08 | 2012-08-08 | 面向视觉计算的光场成像装置和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102833487A true CN102833487A (zh) | 2012-12-19 |
| CN102833487B CN102833487B (zh) | 2015-01-28 |
Family
ID=47336435
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210280680.8A Active CN102833487B (zh) | 2012-08-08 | 2012-08-08 | 面向视觉计算的光场成像装置和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102833487B (zh) |
Cited By (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103237161A (zh) * | 2013-04-10 | 2013-08-07 | 中国科学院自动化研究所 | 基于数字编码控制的光场成像装置及方法 |
| CN104021587A (zh) * | 2014-05-22 | 2014-09-03 | 湖南大学 | 基于计算全息技术的大场景真三维显示快速生成方法 |
| CN104732514A (zh) * | 2013-12-20 | 2015-06-24 | 康耐视公司 | 用于处理高度图的设备、系统和方法 |
| WO2015169137A1 (zh) * | 2014-05-09 | 2015-11-12 | 华为技术有限公司 | 一种图像数据的采集处理方法及相关装置 |
| CN105158893A (zh) * | 2015-09-29 | 2015-12-16 | 南京理工大学 | 基于lcd液晶面板的可编程孔径显微镜系统的光场成像方法 |
| CN105338255A (zh) * | 2014-06-24 | 2016-02-17 | 联想(北京)有限公司 | 一种深度恢复调整方法及电子设备 |
| CN105357515A (zh) * | 2015-12-18 | 2016-02-24 | 天津中科智能识别产业技术研究院有限公司 | 一种基于结构光和光场成像的彩色深度成像方法及其装置 |
| CN105426885A (zh) * | 2015-11-20 | 2016-03-23 | 北京天诚盛业科技有限公司 | 多模态生物识别装置及其进行图像传输的方法 |
| CN105488771A (zh) * | 2015-12-16 | 2016-04-13 | 清华大学 | 光场图像编辑方法及装置 |
| CN105704476A (zh) * | 2016-01-14 | 2016-06-22 | 东南大学 | 一种基于边缘修复的虚拟视点图像频域快速获取方法 |
| CN106023189A (zh) * | 2016-05-17 | 2016-10-12 | 北京信息科技大学 | 一种基于匹配优化的光场数据深度重建方法 |
| CN106303166A (zh) * | 2015-05-22 | 2017-01-04 | 电信科学技术研究院 | 一种图像采集设备 |
| CN106846473A (zh) * | 2016-12-22 | 2017-06-13 | 上海百芝龙网络科技有限公司 | 一种基于红外线扫描的室内三维重建方法 |
| CN106937105A (zh) * | 2015-12-29 | 2017-07-07 | 宁波舜宇光电信息有限公司 | 基于结构光的三维扫描装置及目标物体的3d图像建立方法 |
| CN107860315A (zh) * | 2017-11-17 | 2018-03-30 | 浙江大学城市学院 | 一种结构光全向光场视觉系统组合结构 |
| CN107883994A (zh) * | 2016-09-29 | 2018-04-06 | 豪夫迈·罗氏有限公司 | 多腔板分析装置及分析方法 |
| CN108352060A (zh) * | 2015-09-17 | 2018-07-31 | 汤姆逊许可公司 | 用于生成表示像素束的数据的方法和装置 |
| CN108376409A (zh) * | 2018-02-24 | 2018-08-07 | 首都师范大学 | 一种光场图像配准方法及系统 |
| CN108885089A (zh) * | 2015-12-09 | 2018-11-23 | 优质视觉技术国际公司 | 用于远心光学测量机器的聚焦系统 |
| CN108924407A (zh) * | 2018-06-15 | 2018-11-30 | 深圳奥比中光科技有限公司 | 一种深度成像方法及系统 |
| CN108921781A (zh) * | 2018-05-07 | 2018-11-30 | 清华大学深圳研究生院 | 一种基于深度的光场拼接方法 |
| CN108986204A (zh) * | 2017-06-01 | 2018-12-11 | 哈尔滨工业大学 | 一种基于双重校准的全自动快速室内场景三维重建装置 |
| TWI658410B (zh) * | 2016-09-07 | 2019-05-01 | 李美燕 | 可變光場的生物影像感測系統 |
| CN110099214A (zh) * | 2013-05-16 | 2019-08-06 | 索尼公司 | 用于在图像重新对焦期间选择参数的用户界面 |
| CN110784706A (zh) * | 2019-11-06 | 2020-02-11 | Oppo广东移动通信有限公司 | 信息处理方法、编码装置、解码装置、系统及存储介质 |
| CN110879468A (zh) * | 2014-03-05 | 2020-03-13 | 亚利桑那大学评议会 | 可佩戴3d增强现实显示器 |
| CN111127379A (zh) * | 2019-12-25 | 2020-05-08 | 清华大学深圳国际研究生院 | 光场相机2.0的渲染方法及电子设备 |
| CN111480183A (zh) * | 2017-11-20 | 2020-07-31 | 上海科技大学 | 用于产生透视效果的光场图像渲染方法和系统 |
| CN111650759A (zh) * | 2019-12-31 | 2020-09-11 | 北京大学 | 近红外光斑投影的多焦距微透镜阵列遥感光场成像系统 |
| US10783616B2 (en) | 2015-09-28 | 2020-09-22 | Huawei Technologies Co., Ltd. | Method and apparatus for sharing and downloading light field image |
| TWI709323B (zh) * | 2018-07-27 | 2020-11-01 | 大陸商Ｏｐｐｏ廣東移動通信有限公司 | 結構光投射器的控制系統及電子裝置 |
| CN112437908A (zh) * | 2018-05-29 | 2021-03-02 | Abb瑞士股份有限公司 | 使用结构光的深度感测机器手-眼相机 |
| CN112470191A (zh) * | 2018-05-02 | 2021-03-09 | 奎蒂安特有限公司 | 用于处理具有几乎无限细节的场景的编解码器 |
| CN113630517A (zh) * | 2021-10-08 | 2021-11-09 | 清华大学 | 光电感算一体光场智能成像方法及装置 |
| CN114022923A (zh) * | 2021-09-17 | 2022-02-08 | 云南开屏信息技术有限责任公司 | 智能采编系统 |
| CN114170567A (zh) * | 2021-12-01 | 2022-03-11 | 北京拙河科技有限公司 | 监测区域亿级像素的光场相机ai分析系统及其方法 |
| CN114187724A (zh) * | 2021-12-01 | 2022-03-15 | 北京拙河科技有限公司 | 一种基于亿级像素相机的目标区域安防与监控系统 |
| CN116320198A (zh) * | 2023-01-13 | 2023-06-23 | 西北工业大学 | 基于计算成像的无人航行器加密导引系统及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007044725A2 (en) * | 2005-10-07 | 2007-04-19 | The Board Of Trustees Of The Leland Stanford Junior University | Microscopy arrangements and approaches |
| CN101581997A (zh) * | 2008-05-12 | 2009-11-18 | 财团法人工业技术研究院 | 多点触控位置追踪装置及互动系统与互动影像处理方法 |
| CN102540446A (zh) * | 2011-12-28 | 2012-07-04 | 中国科学院西安光学精密机械研究所 | 一种基于数字微镜器件的高速结构照明光学显微系统及方法 |
| CN102595171A (zh) * | 2012-02-03 | 2012-07-18 | 浙江工商大学 | 一种多通道空时编码孔径的动态光场成像方法和成像系统 |
-
2012
- 2012-08-08 CN CN201210280680.8A patent/CN102833487B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007044725A2 (en) * | 2005-10-07 | 2007-04-19 | The Board Of Trustees Of The Leland Stanford Junior University | Microscopy arrangements and approaches |
| CN101581997A (zh) * | 2008-05-12 | 2009-11-18 | 财团法人工业技术研究院 | 多点触控位置追踪装置及互动系统与互动影像处理方法 |
| CN102540446A (zh) * | 2011-12-28 | 2012-07-04 | 中国科学院西安光学精密机械研究所 | 一种基于数字微镜器件的高速结构照明光学显微系统及方法 |
| CN102595171A (zh) * | 2012-02-03 | 2012-07-18 | 浙江工商大学 | 一种多通道空时编码孔径的动态光场成像方法和成像系统 |
Cited By (59)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103237161B (zh) * | 2013-04-10 | 2016-03-23 | 中国科学院自动化研究所 | 基于数字编码控制的光场成像装置及方法 |
| CN103237161A (zh) * | 2013-04-10 | 2013-08-07 | 中国科学院自动化研究所 | 基于数字编码控制的光场成像装置及方法 |
| CN110099214A (zh) * | 2013-05-16 | 2019-08-06 | 索尼公司 | 用于在图像重新对焦期间选择参数的用户界面 |
| CN104732514A (zh) * | 2013-12-20 | 2015-06-24 | 康耐视公司 | 用于处理高度图的设备、系统和方法 |
| CN104732514B (zh) * | 2013-12-20 | 2018-03-30 | 康耐视公司 | 用于处理高度图的设备、系统和方法 |
| CN110879468A (zh) * | 2014-03-05 | 2020-03-13 | 亚利桑那大学评议会 | 可佩戴3d增强现实显示器 |
| WO2015169137A1 (zh) * | 2014-05-09 | 2015-11-12 | 华为技术有限公司 | 一种图像数据的采集处理方法及相关装置 |
| US9905031B2 (en) | 2014-05-09 | 2018-02-27 | Huawei Technologies Co., Ltd. | Method and related apparatus for capturing and processing image data |
| CN104021587B (zh) * | 2014-05-22 | 2017-07-14 | 湖南大学 | 基于计算全息技术的大场景真三维显示快速生成方法 |
| CN104021587A (zh) * | 2014-05-22 | 2014-09-03 | 湖南大学 | 基于计算全息技术的大场景真三维显示快速生成方法 |
| CN105338255A (zh) * | 2014-06-24 | 2016-02-17 | 联想(北京)有限公司 | 一种深度恢复调整方法及电子设备 |
| CN106303166A (zh) * | 2015-05-22 | 2017-01-04 | 电信科学技术研究院 | 一种图像采集设备 |
| CN108352060A (zh) * | 2015-09-17 | 2018-07-31 | 汤姆逊许可公司 | 用于生成表示像素束的数据的方法和装置 |
| US10783616B2 (en) | 2015-09-28 | 2020-09-22 | Huawei Technologies Co., Ltd. | Method and apparatus for sharing and downloading light field image |
| CN105158893A (zh) * | 2015-09-29 | 2015-12-16 | 南京理工大学 | 基于lcd液晶面板的可编程孔径显微镜系统的光场成像方法 |
| CN105158893B (zh) * | 2015-09-29 | 2017-09-15 | 南京理工大学 | 基于lcd液晶面板的可编程孔径显微镜系统的光场成像方法 |
| CN105426885A (zh) * | 2015-11-20 | 2016-03-23 | 北京天诚盛业科技有限公司 | 多模态生物识别装置及其进行图像传输的方法 |
| CN108885089A (zh) * | 2015-12-09 | 2018-11-23 | 优质视觉技术国际公司 | 用于远心光学测量机器的聚焦系统 |
| CN105488771B (zh) * | 2015-12-16 | 2018-08-28 | 清华大学 | 光场图像编辑方法及装置 |
| CN105488771A (zh) * | 2015-12-16 | 2016-04-13 | 清华大学 | 光场图像编辑方法及装置 |
| CN105357515A (zh) * | 2015-12-18 | 2016-02-24 | 天津中科智能识别产业技术研究院有限公司 | 一种基于结构光和光场成像的彩色深度成像方法及其装置 |
| CN105357515B (zh) * | 2015-12-18 | 2017-05-03 | 天津中科智能识别产业技术研究院有限公司 | 一种基于结构光和光场成像的彩色深度成像方法及其装置 |
| CN106937105A (zh) * | 2015-12-29 | 2017-07-07 | 宁波舜宇光电信息有限公司 | 基于结构光的三维扫描装置及目标物体的3d图像建立方法 |
| CN105704476B (zh) * | 2016-01-14 | 2018-03-20 | 东南大学 | 一种基于边缘修复的虚拟视点图像频域快速获取方法 |
| CN105704476A (zh) * | 2016-01-14 | 2016-06-22 | 东南大学 | 一种基于边缘修复的虚拟视点图像频域快速获取方法 |
| CN106023189B (zh) * | 2016-05-17 | 2018-11-09 | 北京信息科技大学 | 一种基于匹配优化的光场数据深度重建方法 |
| CN106023189A (zh) * | 2016-05-17 | 2016-10-12 | 北京信息科技大学 | 一种基于匹配优化的光场数据深度重建方法 |
| TWI658410B (zh) * | 2016-09-07 | 2019-05-01 | 李美燕 | 可變光場的生物影像感測系統 |
| CN107883994A (zh) * | 2016-09-29 | 2018-04-06 | 豪夫迈·罗氏有限公司 | 多腔板分析装置及分析方法 |
| CN107883994B (zh) * | 2016-09-29 | 2021-07-23 | 豪夫迈·罗氏有限公司 | 多腔板分析装置及分析方法 |
| CN106846473A (zh) * | 2016-12-22 | 2017-06-13 | 上海百芝龙网络科技有限公司 | 一种基于红外线扫描的室内三维重建方法 |
| CN108986204B (zh) * | 2017-06-01 | 2021-12-21 | 哈尔滨工业大学 | 一种基于双重校准的全自动快速室内场景三维重建装置 |
| CN108986204A (zh) * | 2017-06-01 | 2018-12-11 | 哈尔滨工业大学 | 一种基于双重校准的全自动快速室内场景三维重建装置 |
| CN107860315A (zh) * | 2017-11-17 | 2018-03-30 | 浙江大学城市学院 | 一种结构光全向光场视觉系统组合结构 |
| CN111480183B (zh) * | 2017-11-20 | 2023-08-08 | 上海科技大学 | 用于产生透视效果的光场图像渲染方法和系统 |
| CN111480183A (zh) * | 2017-11-20 | 2020-07-31 | 上海科技大学 | 用于产生透视效果的光场图像渲染方法和系统 |
| CN108376409B (zh) * | 2018-02-24 | 2020-12-01 | 首都师范大学 | 一种光场图像配准方法及系统 |
| CN108376409A (zh) * | 2018-02-24 | 2018-08-07 | 首都师范大学 | 一种光场图像配准方法及系统 |
| CN112470191A (zh) * | 2018-05-02 | 2021-03-09 | 奎蒂安特有限公司 | 用于处理具有几乎无限细节的场景的编解码器 |
| CN108921781A (zh) * | 2018-05-07 | 2018-11-30 | 清华大学深圳研究生院 | 一种基于深度的光场拼接方法 |
| CN108921781B (zh) * | 2018-05-07 | 2020-10-02 | 清华大学深圳研究生院 | 一种基于深度的光场拼接方法 |
| CN112437908A (zh) * | 2018-05-29 | 2021-03-02 | Abb瑞士股份有限公司 | 使用结构光的深度感测机器手-眼相机 |
| CN108924407A (zh) * | 2018-06-15 | 2018-11-30 | 深圳奥比中光科技有限公司 | 一种深度成像方法及系统 |
| CN108924407B (zh) * | 2018-06-15 | 2020-12-18 | 深圳奥比中光科技有限公司 | 一种深度成像方法及系统 |
| US11115607B2 (en) | 2018-07-27 | 2021-09-07 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Control system for structured light projector and electronic device |
| TWI709323B (zh) * | 2018-07-27 | 2020-11-01 | 大陸商Ｏｐｐｏ廣東移動通信有限公司 | 結構光投射器的控制系統及電子裝置 |
| CN110784706B (zh) * | 2019-11-06 | 2021-08-31 | Oppo广东移动通信有限公司 | 信息处理方法、编码装置、解码装置、系统及存储介质 |
| CN110784706A (zh) * | 2019-11-06 | 2020-02-11 | Oppo广东移动通信有限公司 | 信息处理方法、编码装置、解码装置、系统及存储介质 |
| CN111127379A (zh) * | 2019-12-25 | 2020-05-08 | 清华大学深圳国际研究生院 | 光场相机2.0的渲染方法及电子设备 |
| CN111650759A (zh) * | 2019-12-31 | 2020-09-11 | 北京大学 | 近红外光斑投影的多焦距微透镜阵列遥感光场成像系统 |
| CN114022923A (zh) * | 2021-09-17 | 2022-02-08 | 云南开屏信息技术有限责任公司 | 智能采编系统 |
| CN113630517A (zh) * | 2021-10-08 | 2021-11-09 | 清华大学 | 光电感算一体光场智能成像方法及装置 |
| US11425292B1 (en) | 2021-10-08 | 2022-08-23 | Tsinghua University | Method and apparatus for camera-free light field imaging with optoelectronic intelligent computing |
| CN114187724A (zh) * | 2021-12-01 | 2022-03-15 | 北京拙河科技有限公司 | 一种基于亿级像素相机的目标区域安防与监控系统 |
| CN114170567B (zh) * | 2021-12-01 | 2022-07-12 | 北京拙河科技有限公司 | 监测区域亿级像素的光场相机ai分析系统及其方法 |
| CN114187724B (zh) * | 2021-12-01 | 2022-07-12 | 北京拙河科技有限公司 | 一种基于亿级像素相机的目标区域安防与监控系统 |
| CN114170567A (zh) * | 2021-12-01 | 2022-03-11 | 北京拙河科技有限公司 | 监测区域亿级像素的光场相机ai分析系统及其方法 |
| CN116320198A (zh) * | 2023-01-13 | 2023-06-23 | 西北工业大学 | 基于计算成像的无人航行器加密导引系统及方法 |
| CN116320198B (zh) * | 2023-01-13 | 2024-09-17 | 西北工业大学 | 基于计算成像的无人航行器加密导引系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102833487B (zh) | 2015-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102833487B (zh) | 面向视觉计算的光场成像装置和方法 | |
| CN102855471B (zh) | 远距离虹膜智能成像装置及方法 | |
| CN105357515B (zh) | 一种基于结构光和光场成像的彩色深度成像方法及其装置 | |
| CN103868460B (zh) | 基于视差优化算法的双目立体视觉自动测量方法 | |
| CN105574525B (zh) | 一种复杂场景多模态生物特征图像获取方法及其装置 | |
| CN102045577B (zh) | 用于三维立体显示的观察者跟踪系统及三维立体显示系统 | |
| CN101422035A (zh) | 光源推定装置、光源推定系统与光源推定方法以及图像高分辨率化装置与图像高分辨率化方法 | |
| CA2940535A1 (en) | A method and an apparatus for generating data representative of a light field | |
| CN103973976B (zh) | 一种利用光学成像的显著性提取装置及方法 | |
| CN109035307A (zh) | 基于自然光双目视觉的设定区域目标追踪方法及系统 | |
| CN113572962A (zh) | 室外自然场景光照估计方法及装置 | |
| CN109101935A (zh) | 基于热成像相机的人物动作捕捉系统和方法 | |
| CN206378680U (zh) | 基于结构光多模块360度空间扫描和定位的3d相机 | |
| Wang et al. | Parallel light fields: A perspective and a framework | |
| Yang et al. | Lightningnet: Fast and accurate semantic segmentation for autonomous driving based on 3D LIDAR point cloud | |
| CN210605740U (zh) | 基于活体感应运动趋势检测的无线传感人脸识别装置 | |
| Li et al. | Monocular 3-D Object Detection Based on Depth-Guided Local Convolution for Smart Payment in D2D Systems | |
| CN117576153A (zh) | 一种目标跟踪方法及系统 | |
| Deng et al. | Three-dimensional reconstruction method for bionic compound-eye system based on MVSNet network | |
| CN108564654A (zh) | 三维大场景的画面进入方式 | |
| CN116258756B (zh) | 一种自监督单目深度估计方法及系统 | |
| CN115981467B (zh) | 一种图像合成参数确定方法、图像合成方法及装置 | |
| Wang et al. | YOLOv5-light: efficient convolutional neural networks for flame detection | |
| CN116506731A (zh) | 跟焦拍摄方法、装置和存储介质及电子设备 | |
| Niu et al. | Real-time recognition and location of indoor objects |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |