CN113014754A - 产生全景深度图像的图像装置及相关图像装置 - Google Patents

产生全景深度图像的图像装置及相关图像装置 Download PDF

Info

Publication number
CN113014754A
CN113014754A CN202110125687.1A CN202110125687A CN113014754A CN 113014754 A CN113014754 A CN 113014754A CN 202110125687 A CN202110125687 A CN 202110125687A CN 113014754 A CN113014754 A CN 113014754A
Authority
CN
China
Prior art keywords
image
depth
panoramic
acquirer
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110125687.1A
Other languages
English (en)
Other versions
CN113014754B (zh
Inventor
李季峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
eYs3D Microelectronics Co
Original Assignee
eYs3D Microelectronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by eYs3D Microelectronics Co filed Critical eYs3D Microelectronics Co
Priority to CN202110125687.1A priority Critical patent/CN113014754B/zh
Publication of CN113014754A publication Critical patent/CN113014754A/zh
Application granted granted Critical
Publication of CN113014754B publication Critical patent/CN113014754B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00—Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/52—Combining or merging partially overlapping images to an overall image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种产生全景深度图像的图像装置及相关图像装置。所述产生全景深度图像的图像装置包含至少二图像获取组。所述至少二图像获取组中的每一图像获取组包含至少三图像获取器，所述至少三图像获取器中的每一图像获取器的尺寸为一第一长度，所述至少三图像获取器中的相邻两个图像获取器的光学中心之间的距离为一第二长度，以及所述第二长度与所述第一长度的比值不小于一预定值。所述至少二图像获取组所对应的至少三深度图的深度是应用于一全景深度图像。因此，相较于现有技术，本发明所公开的图像装置不仅可提供所述全景深度图像，也可解决现有技术所产生的机构上的矛盾的问题。

Description

产生全景深度图像的图像装置及相关图像装置
原申请案的申请日为2018年2月23日，申请号为201810155153.1，以及发明名称为“产生全景深度图像的图像装置”。
技术领域
本发明涉及一种产生全景深度图像的图像装置、相关方法及相关图像装置，尤其涉及一种可减轻机构上矛盾的产生全景深度图像的图像装置、相关方法及相关图像装置。
背景技术
请参照图1-3，图1、2是说明深度相机(depth camera)102的示意图，和图3是说明全景相机(panorama camera)104的示意图。如第1图所示，深度相机102是一利用三角定位原理的深度相机，其中深度相机102所包含的两图像获取器1022、1024之间必须存在一预定距离BL(也就是一基线)才能产生一深度图，且预定距离BL越大，则所述深度图越精确。另外，深度相机102的另一种实现方式是深度相机102的图像获取器1024由一结构光产生单元1026取代(如第2图所示)。
如图3所示，全景相机104具有4个相机1042-1048，其中4个相机1042-1048的视野(field of view,FOV)FOV1、FOV2、FOV3、FOV4的角度和大于360°，且全景相机104所包含的相机的数量是由个别相机的视野决定。当全景相机104产生一全景图像时，全景相机104的特性是希望4个相机1042-1048的每一相机的光学中心都维持在相同位置。然而全景相机104无法在物理上实现上述全景相机104的特性，也就是说全景相机104仅能尽量缩短所述每一相机的光学中心与相邻相机的光学中心之间的距离以减少4个相机1042-1048之间的视差。
因为上述深度相机102的特性(深度相机102的特性是希望预定距离BL越大)以及上述全景相机104的特性(全景相机104的特性是希望4个相机1042-1048的每一相机的光学中心都维持在相同位置)，所以当现有技术将深度相机102和全景相机104结合在一起产生一全景深度图像时，现有技术会产生机构上矛盾的问题。因此，如何解决现有技术所产生的机构上矛盾的问题将是本发明的重要课题。
发明内容
本发明的一实施例公开一种用于产生全景深度图像的图像装置。所述图像装置包含至少二图像获取组。所述至少二图像获取组中的每一图像获取组包含至少三图像获取器，所述至少三图像获取器中的相邻两个图像获取器之间的距离为一第一长度，所述至少二图像获取器中的每一图像获取器和所述至少二图像获取组中其余图像获取组所包含的至少一相对应图像获取器之间的距离为一第二长度，所述第二长度与所述第一长度的比值不小于1。所述至少二图像获取组所对应的至少三深度图的深度是应用于一全景深度图像。
本发明的另一实施例公开一种用于产生全景深度图像的图像装置。所述图像装置包含至少二图像获取组。所述至少二图像获取组中的每一图像获取组包含至少二图像获取器，所述至少二图像获取器中的相邻两个图像获取器之间的距离为一第一长度，所述至少二图像获取器中的每一图像获取器和所述至少二图像获取组中其余图像获取组所包含的至少一相对应图像获取器之间的距离为一第二长度，以及所述第二长度与所述第一长度的比值不小于1。所述至少二图像获取组所对应的至少二深度图的深度是应用于一全景深度图像。
本发明的另一实施例公开一种用于产生全景深度图像的图像装置。所述图像装置包含至少一图像获取组和至少一光源。所述至少一图像获取组中的每一图像获取组包含至少一图像获取器。所述至少一光源是用于发出一发射光，其中所述每一图像获取组所获取包含所述发射光的图像是用于产生对应所述每一图像获取组的深度图，或对应所述发射光从所述至少一光源经由每一对象反射至所述每一图像获取组的飞行时间是用于产生对应所述每一图像获取组的深度图。所述深度图的深度是应用于一全景深度图像。
本发明的另一实施例公开一种用于产生全景图像的图像装置。所述图像装置包含一全景图像产生器。所述全景图像产生器是用于接收多个深度图，并根据所述多个深度图产生一对应所述多个深度图的一全景图像，其中对应所述多个深度图的视角的总和不小于360°。
本发明的另一实施例公开一种用于产生深度图像的图像装置。所述图像装置包含一深度图像产生器。所述深度图像产生器是用于接收一第一全景图像与一相对应的第二全景图像，根据多个视角分别分割所述第一全景图像与所述第二全景图像为多个第一分割图像与多个第二分割图像，投影所述多个第一分割图像的每一第一分割图像与一对应的第二分割图像至一对应的投影平面以产生一第一投影图像与一第二投影图像，以及根据所述第一投影图像与所述第二投影图像产生一对应所述每一第一分割图像的深度图。所述多个视角的总和不小于360°。
本发明的另一实施例公开一种用于产生图像的图像装置。所述图像装置包含一图像产生器。所述图像产生器是用于接收一全景深度图像，根据多个视角分别分割所述全景深度图像为多个分割图像，投影所述多个分割图像的每一分割图像至一对应的投影平面以产生对应所述每一分割图像的一投影图像，以及转换所述投影图像的每一深度值为一转换深度值，其中所述每一分割图像对应所述多个视角中的一视角，所述视角对应一光学中心平面，所述每一深度值对应所述光学中心平面上的一光学中心，以及所述对应的投影平面平行所述光学中心平面；其中所述多个视角的总和不小于360°。
本发明公开一种用于产生全景深度图像的图像装置。所述图像装置的每一图像获取组中的每一图像获取器的光学中心与所述每一图像获取组中相邻的图像获取器的光学中心之间的距离远小于所述每一图像获取器的光学中心与所述图像装置的其余图像获取组的至少一相对应图像获取器的光学中心之间的距离，所以相较于现有技术，本发明所公开的图像装置不仅可提供一全景深度图像，也可解决现有技术所产生的机构上的矛盾的问题。
附图说明
图1、2是说明深度相机的示意图。
图3是说明全景相机的示意图。
图4A是本发明的第一实施例所公开的一种用于产生全景深度图像的图像装置的示意图。
图4B是说明图像获取组所在的平面之间不互相平行的示意图。
图5A是说明图像装置的俯视图的示意图。
图5B-5E是说明图像装置的不同实施例的示意图。
图6是本发明的另一实施例所公开的图像装置的俯视图的示意图。
图7是说明图像装置的爆炸示意图。
图8是说明原始深度与转换深度的关系示意图。
图9是本发明的第二实施例所公开的图像装置的爆炸示意图。
图10是本发明的第三实施例所公开的图像装置的爆炸示意图。
图11是说明第一预定视角、第一成像平面、第二成像平面、第一极点、第二极点、第一全景图像的光学中心和第二全景图像的光学中心的示意图。
图12是说明第一极点的第一核线的示意图。
图13是说明第二预定视角、第三成像平面、第四成像平面、第三极点、第四极点、第一全景图像的光学中心和第二全景图像的光学中心的示意图。
图14A是本发明的第四实施例所公开的一种用于产生全景深度图像的图像装置的侧视示意图。
图14B-14D是本发明的另一实施例所公开的一种用于产生全景深度图像的图像装置的侧视示意图。
图14E-14J是说明光源组利用至少一激光束和至少二镜子在所述前方的方向与所述后方的方向产生具有180°发光角度的结构光的示意图。
图14K是本发明的另一实施例所公开的一种用于产生全景深度图像的图像装置的示意图。
图15是说明全景深度图像的图像装置的前视示意图。
图16、17是说明图像装置应用在无人机的示意图。
其中，附图标记说明如下：
102 深度相机
104 全景相机
1022、1024、IC11-IC14、 图像获取器
IC21-IC24、IC31、IC32
1026、502-508 结构光产生单元
1042-1048 相机
400、500、600、1400、1500、 图像装置
1600、1700、1800
402-410 支撑单元
412、414 固定单元
702 深度产生器
704、1004 全景深度图像产生器
1002 全景图像产生器
1006 显示屏
1600 无人机
1102 吊臂
1702、1802 光源组
17022、17023 准直器
17024-17026 激光束
17028-17030 镜子
17032-17034 分光绕射光学组件
A、B、PL 平面
BL 预定距离
B1 第一基线
B2 第二基线
C1、C2、C3、FPIC、SPIC 光学中心
D1、D2、r 距离
DPE、DPS、DPW、DPN 深度图
EP1 第一极点
EP2 第二极点
EPL1 第一核线
EPL2 第二核线
EPL3 第三核线
EPL4 第四核线
FOV1、FOV2、FOV3、FOV4 视角
FPVA 第一预定视角
FPPL 第一成像平面
FOPPL 第四成像平面
f 焦距
FPI 第一全景图像
ICG1、ICG2、ICG3 图像获取组
IM11-IM14 第一图像
IM21-IM24 第二图像
OZ 原始深度
PDI 全景深度图像
PPL 成像平面
P 点
SPI 第二全景图像
SPVA 第二预定视角
SPPL 第二成像平面
TPPL 第三成像平面
Z 转换深度
θ 夹角
具体实施方式
请参照图4A，图4A是本发明的第一实施例所公开的一种用于产生全景深度图像的图像装置400的示意图，其中图像装置400包含二图像获取组ICG1、ICG2和4个支撑单元402、404、406、408，图像获取组ICG1、ICG2中的每一图像获取组包含四个图像获取器，以及所述四个图像获取器中的每一图像获取器是一非鱼眼图像获取器。但在本发明的另一实施例中，所述四个图像获取器中的每一图像获取器是一鱼眼图像获取器。另外，图4A仅显示图像获取组ICG1中的图像获取器IC11、IC12，以及图像获取组ICG2中的图像获取器IC21、IC22。但本发明并不受限于图像装置400仅包含二图像获取组ICG1、ICG2和4个支撑单元402、404、406、408，以及图像获取组ICG1、ICG2中的每一图像获取组包含四个图像获取器。如图4A所示，图像获取组ICG1所包含的四个图像获取器所在的平面A和图像获取组ICG2所包含的四个图像获取器所在的平面B可互相平行。然而在本发明的另一实施例中，如图4B所示，平面A和平面B可因为图像装置400的机构设计因素而不互相平行。
请再参照图4A，图像获取组ICG1所包含的四个图像获取器的每一图像获取器是设置在一相对应支撑单元上(例如图像获取器IC11是设置在支撑单元402上)；同理，图像获取组ICG2所包含的四个图像获取器的每一图像获取器也是设置在一相对应支撑单元上(例如图像获取器IC21是设置在支撑单元402上)。另外，图像获取器IC11的光学中心C1与相邻的图像获取器IC12的光学中心C2之间的距离D1远小于图像获取器IC11的光学中心C1与图像获取器IC21的光学中心C3之间的距离D2，也就是说距离D2和距离D1的比值不小于1。另外，在本发明的一实施例中，图像获取器IC11的尺寸为一第一长度，图像获取器IC11的光学中心C1与相邻的图像获取器IC12的光学中心C2之间的距离为一第二长度(也就是距离D1)，以及所述第二长度与所述第一长度的比值不小于1，其中图像获取器IC11的尺寸可为图像获取器IC11的镜头的尺寸或是支持图像获取器IC11的支撑物的尺寸。当图像装置400是安装在一手持式装置(例如一智能型手机)时，因为所述手持式装置是应用于产生一具有较短距离(例如有关于一用户的脸部辨识)的深度图，所以所述比值具有一第一数值；当图像装置400是安装在一交互式游戏设备时，因为所述交互式游戏设备是应用于产生一具有较长距离(例如有关于所述用户的手势或肢体动作)的深度图，所以所述比值具有一第二数值，其中所述第一数值小于所述第二数值(例如所述第一数值为12以及所述第二数值为18)。另外，当图像装置400具有多个并肩设置的图像获取器时，所述比值将趋近于1。
在图5A的实施例中，支撑单元402、404、406、408的俯视图可形成一封闭凸4边形，其中图5A仅显示图像获取组ICG1所包含的图像获取器IC11-IC14，以及支撑单元402、404、406、408)，且如图5A所示，图像获取器IC11-IC14中的相邻两个图像获取器并肩设置时，所述第二长度(图像获取器IC11的光学中心C1与相邻的图像获取器IC12的光学中心C2之间的距离)将会有一最小值。而在图5B的实施例中，图像装置400则可通过一机构固定而使支撑单元402、404、406、408不互相接触，所述机构并未绘示于图5B，且所述机构对于本发明领域的技术人员是显而易见的。另外，在图5C的实施例中，支撑单元402、404、406、408是通过每一支撑单元的一端与另两其他支撑单元的一端互相接触。而在本发明的其他实施例中，图像装置400也可不包含4个支撑单元402、404、406、408，而是通过如图5D所示的至少一支撑单元410使得图像获取组ICG1和图像获取组ICG2连接。或者，又如图5E所示，图像获取组ICG1和图像获取组ICG2也可通过至少二固定单元412、414固定。上述各图像获取组中的所有图像获取器的视野的角度和会大于360°。例如，如图5A所示，图像获取器IC11-IC14的视野FOV1、FOV2、FOV3、FOV4的角度和大于360°。
另外，图6是本发明的另一实施例所公开的图像装置400的俯视图的示意图。在本实施例中，图像装置400可包含3个支撑单元402、404、406，图像获取组ICG1、ICG2中的每一图像获取组包含三个图像获取器，以及支撑单元402、404、406的俯视图形成一三角形。为便于理解，图6仅显示图像获取组ICG1所包含的图像获取器IC11-IC13，以及支撑单元402、404、406。
请参照图7，图7是说明图像装置400的爆炸示意图。如图7所示，图像获取组ICG1所包含的图像获取器IC11-IC14，以及图像获取组ICG2所包含的图像获取器IC21-IC24耦接于图像装置400另包含的一深度产生器702，以及图像获取组ICG1所包含的图像获取器IC11-IC14另耦接于图像装置400另包含的一全景深度图像产生器704。如图7所示，深度产生器702可根据图像获取器IC11所获取的一第一图像IM11以及与图像获取组ICG2内一相对应图像获取器(也就是图像获取器IC21)所获取的一第二图像IM21，产生一面向东方的深度图DPE(其中所述东方的方向可参考图4A)；深度产生器702可根据图像获取器IC12所获取的一第一图像IM12以及与图像获取组ICG2内一相对应图像获取器(也就是图像获取器IC22)所获取的一第二图像IM22，产生一面向南方的深度图DPS(其中所述南方的方向可参考图4A)；深度产生器702可根据图像获取器IC13所获取的一第一图像IM13以及与图像获取组ICG2内一相对应图像获取器(也就是图像获取器IC23)所获取的一第二图像IM23，产生一面向西方的深度图DPW(其中所述西方的方向可参考图4A)；深度产生器702可根据图像获取器IC14所获取的一第一图像IM14以及与图像获取组ICG2内一相对应图像获取器(也就是图像获取器IC24)所获取的一第二图像IM24，产生一面向北方的深度图DPN(其中所述北方的方向可参考图4A)。
另外，上述各深度图中的深度信息还可经由转换而有不同的表示方式。图8是说明原始深度与转换深度的关系示意图。深度图DPE内一点P对应于图像获取器IC11的光学中心C1所在的平面PL的一原始深度OZ(如图8所示)可通过式(1)转换成以图像获取器IC11的光学中心C1为原点的一转换深度Z(也就是说对应深度图DPE内的所有转换深度的原点是图像获取器IC11的光学中心C1)，其中如图8所示，f为图像获取器IC11的焦距，PPL为图像获取器IC11的成像平面，θ为一夹角，以及距离r可通过图像获取器IC11的像素宽度表示：
Figure BDA0002923474190000101
另外，本发明领域的技术人员可轻易地通过图像获取器IC11的内部参数得到焦距f和距离r之间的关系，所以在此不在赘述。另外，在本发明的另一实施例中，深度图DPE内点P对应于图像获取器IC11的光学中心C1所在的平面PL的原始深度OZ(如图8所示)可转换成以空间中任意一点为一参考原点的另一转换深度。
但在本发明的另一实施例中，对应深度图DPE内的所有转换深度的原点是图像获取器IC21的光学中心C3。另外，深度图DPS、DPW、DPN内的所有原始深度都可通过上述原理转换，在此不再赘述。另外，在深度图DPE、DPS、DPW、DPN内的所有原始深度通过上述原理转换成转换深度后，深度图DPE、DPS、DPW、DPN内的所有转换深度可应用于全景深度图像产生器704所产生的一全景深度图像PDI，也就是全景深度图像PDI是由全景深度图像产生器704根据第一图像IM11-IM14所产生的一全景图像与深度图DPE、DPS、DPW、DPN内的所有转换深度所组成，其中全景深度图像PDI可为一灰阶全景深度图像或一彩色全景深度图像。另外，在本发明的另一实施例中，一全景图像产生器可用于接收深度图DPE、DPS、DPW、DPN，并根据深度图DPE、DPS、DPW、DPN产生对应深度图DPE的第一图像IM11和第二图像IM21，对应深度图DPS的第一图像IM12和第二图像IM22，对应深度图DPW的第一图像IM13和第二图像IM23，以及对应深度图DPN的第一图像IM14和第二图像IM24，其中对应深度图DPE、DPS、DPW、DPN的视角的总和等于360°。然后所述全景图像产生器可根据第一图像IM11-IM14产生所述全景图像，或根据第二图像IM21-IM24产生另一全景图像。
因为全景深度图像PDI是由全景深度图像产生器704根据第一图像IM11-IM14所产生的全景图像与深度图DPE、DPS、DPW、DPN内的所有转换深度所组成，所以全景深度图像PDI具有全景深度图像产生器704根据第一图像IM11-IM14所产生的全景图像的色彩信息以及深度图DPE、DPS、DPW、DPN内的所有转换深度的信息。如图4A所示，因为图像获取器IC11的光学中心C1与相邻的图像获取器IC12的光学中心C2之间的距离D1远小于图像获取器IC11的光学中心C1与图像获取器IC21的光学中心C3之间的距离D2，所以图像装置400所产生的全景深度图像PDI可解决现有技术所产生的机构上的矛盾的问题。另外，深度产生器702和全景深度图像产生器704可以是具有上述深度产生器702和全景深度图像产生器704的功能的现场可编程门阵列(Field Programmable Gate Array,FPGA)，或是具有上述深度产生器702和全景深度图像产生器704的功能的专用集成电路(Application-specificintegrated circuit,ASIC)或是具有上述深度产生器702和全景深度图像产生器704的功能的软件模块。
请参照图9，图9是本发明的第二实施例所公开的图像装置500的爆炸示意图。如图9所示，图像装置500与图像装置400的差别在于图像装置500利用结构光产生单元502-508取代图像获取器IC21-IC24。另外，图像装置500的其余操作原理都和图像装置400，在此不再赘述。
请参照图10，图10是本发明的第三实施例所公开的图像装置600的爆炸示意图。如图10所示，图像获取组ICG1所包含的图像获取器IC11-IC14以及图像获取组ICG2所包含的图像获取器IC21-IC24耦接于图像装置600另包含的一全景图像产生器1002，图像装置600另包含的一全景深度图像产生器1004耦接于全景图像产生器1002，以及图像装置600另包含的一显示屏1006耦接于全景深度图像产生器1004，其中显示屏1006是用于显示全景深度图像PDI。如图10所示，全景图像产生器1002可根据图像获取器IC11所获取的第一图像IM11、图像获取器IC12所获取的第一图像IM12、图像获取器IC13所获取的第一图像IM13以及图像获取器IC14所获取的第一图像IM14，产生一第一全景图像FPI，以及全景图像产生器1002可根据图像获取器IC21所获取的第二图像IM21、图像获取器IC22所获取的第二图像IM22、图像获取器IC23所获取的第二图像IM23以及图像获取器IC24所获取的第二图像IM24，产生一第二全景图像SPI，其中如图11所示，第一全景图像FPI的光学中心FPIC和第二全景图像SPI的光学中心SPIC之间的距离为D2，且光学中心FPIC和光学中心SPIC是位于一基线BL上。在全景深度图像产生器1004接收第一全景图像FPI和第二全景图像SPI后，全景深度图像产生器1004可将对应光学中心FPIC所在平面的360°视角分成4个预定视角，其中每个预定视角的角度等于90°。但本发明并不受限于全景深度图像产生器1004将对应光学中心FPIC所在平面的360°视角分成4个预定视角，也就是说全景深度图像产生器1004可将360°视角分成多个预定视角。另外，所述多个预定视角的角度可相同或不同。在全景深度图像产生器1004将360°视角分成4个预定视角后，全景深度图像产生器1004可根据所述4个预定视角中的一第一预定视角FPVA(如图11所示)分别将第一全景图像FPI与第二全景图像SPI投影至一第一成像平面FPPL与一第二成像平面SPPL以产生一第一投影图像与一第二投影图像，其中第一成像平面FPPL和第二成像平面SPPL是平行于显示屏1006的成像平面(未绘示于图11)。在所述第一投影图像与所述第二投影图像产生后，全景深度图像产生器1004可根据第一预定视角FPVA和光学中心FPIC计算出对应第一预定视角FPVA的第一极点(epipole)EP1，以及根据第一预定视角FPVA和光学中心SPIC求出对应第一预定视角FPVA的第二极点EP2。在全景深度图像产生器1004计算出第一极点EP1、第二极点EP2后，全景深度图像产生器1004即可根据第一极点EP1的第一核线EPL1(也对应第一预定视角FPVA)和第二极点EP2的相对应的第二核线EPL2(也对应第一预定视角FPVA)，决定全景深度图像产生器1004在所述第一投影图像与所述第二投影图像的搜寻方向，其中第一极点EP1的第一核线EPL1的样式可参照图12。如图12所示，第一核线EPL1是以第一极点EP1为中心向外散射。另外，第二极点EP2的第二核线EPL2的样式也可参照图12，在此不再赘述。如此，全景深度图像产生器1004即可根据所述第一投影图像与所述第二投影图像产生对应第一预定视角FPVA的深度图DPF。另外，全景深度图像产生器1004计算出第一极点EP1、第二极点EP2、第一核线EPL1和第二核线EPL2的方式是本发明领域的技术人员所熟知，在此也不再赘述。
如图13所示，全景深度图像产生器1004可根据所述4个预定视角中的一第二预定视角SPVA分别将第一全景图像FPI与第二全景图像SPI投影至一第三成像平面TPPL与一第四成像平面FOPPL以产生一第三投影图像与一第四投影图像，其中第三成像平面TPPL与一第四成像平面FOPPL是平行于显示屏1006的成像平面(未绘示于图13)。在所述第三投影图像与所述第四投影图像产生后，全景深度图像产生器1004可根据第二预定视角SPVA和光学中心FPIC计算出对应第二预定视角SPVA的第三极点(位于无穷远处)，以及根据第二预定视角SPVA和光学中心SPIC求出对应第二预定视角SPVA的第四极点(位于无穷远处)。在全景深度图像产生器1004计算出第三极点和第四极点后，全景深度图像产生器1004即可根据所述第三极点的第三核线EPL3(也对应第二预定视角SPVA)和所述第四极点的相对应的第四核线EPL4(也对应第二预定视角SPVA)，决定全景深度图像产生器1004在所述第三投影图像与所述第四投影图像的搜寻方向，其中第三核线EPL3和第四核线EPL4互相平行。如此，全景深度图像产生器1004即可根据所述第三投影图像与所述第四投影图像产生对应第二预定视角SPVA的深度图DPS。
另外，可通过上述产生对应第二预定视角SPVA的深度图DPS或产生对应第一预定视角FPVA的深度图DPF的方式，产生对应所述4个预定视角中的第三预定视角的深度图DPT与第四预定视角的深度图DPFO，以及对应图像装置600上方的第五预定视角的深度图DPFI与对应图像装置600下方的第六预定视角的深度图DPSI，其中深度图DPF、DPS、DPT、DPFO、DPFI、DPSI内的所有原始深度都可通过上述图8的原理转换成转换深度，在此不再赘述。在全景深度图像产生器1004将深度图DPF、DPS、DPT、DPFO、DPFI、DPSI内的所有原始深度转换成转换深度后，全景深度图像产生器1004可根据深度图DPF、DPS、DPT、DPFO、DPFI、DPSI内的所有转换深度和第一全景图像FPI，产生对应于第一全景图像FPI的全景深度图像PDI，或根据深度图DPF、DPS、DPT、DPFO、DPFI、DPSI内的所有转换深度和第二全景图像SPI，产生对应于第二全景图像SPI的全景深度图像PDI。另外，图像装置600的其余操作原理都和图像装置400，在此不再赘述。
另外，全景深度图像产生器1004可以是具有上述全景深度图像产生器1004的功能的现场可编程门阵列，或是具有上述全景深度图像产生器1004的功能的专用集成电路或是具有上述全景深度图像产生器1004的功能的软件模块。
另外，在本发明的另一实施例中，一深度图像产生器可用于接收一第一全景图像与一第二全景图像(对应所述第一全景图像)，根据多个视角分别分割所述第一全景图像与所述第二全景图像为多个第一分割图像与多个第二分割图像，利用图11-13所示的方法投影所述多个第一分割图像的每一第一分割图像与一对应的第二分割图像至一对应的投影平面以产生一第一投影图像与一第二投影图像，以及根据所述第一投影图像与所述第二投影图像产生一对应所述每一第一分割图像的深度图，其中所述多个视角的总和不小于360°。因此，所述深度图像产生器可根据所述第一全景图像与所述第二全景图像，产生对应所述多个视角的多个深度图。
另外，在本发明的另一实施例中，一图像产生器可用于接收全景深度图像PDI，根据所述多个视角分割全景深度图像PDI为多个分割图像，利用图11-13所示的方法投影所述多个分割图像的每一分割图像至一对应的投影平面以产生对应所述每一分割图像的一投影图像，以及转换所述投影图像的每一深度值为一转换深度值，其中所述每一分割图像对应所述多个视角中的一视角，所述视角对应一光学中心平面(可参照图8所示的平面PL)，所述每一深度值(可参照图8所示的转换深度Z)对应所述光学中心平面上的一光学中心(可参照图8所示的光学中心C1)，所述对应的投影平面平行所述光学中心平面，以及所述多个视角的总和不小于360°。因此，在所述图像产生器转换所述投影图像的每一深度值(可参照图8所示的转换深度Z)为所述转换深度值(可参照图8所示的原始深度OZ)后，所述转换深度值对应所述光学中心平面(可参照图8所示的平面PL)。
另外，请参照图14A、15，图14A是本发明的第四实施例所公开的一种用于产生全景深度图像的图像装置1400的侧视示意图，和图15是说明用于产生全景深度图像的图像装置1400的前视示意图，其中图像装置1400包含二图像获取组ICG1、ICG2、1个支撑单元402、深度产生器702和全景深度图像产生器704，图像获取组ICG1、ICG2中的每一图像获取组包含二个图像获取器，以及所述二个图像获取器中的每一图像获取器是一鱼眼图像获取器。如图14A所示，图像获取组ICG1包含图像获取器IC11、IC12，以及图像获取组ICG2包含图像获取器IC21、IC22。但本发明并不受限于图像装置1400仅包含二图像获取组ICG1、ICG2和1个支撑单元402，以及图像获取组ICG1、ICG2中的每一图像获取组包含二个图像获取器。如图14A所示，图像获取器IC11、IC21是设置在支撑单元402的一边，以及图像获取器IC12、IC22是设置在支撑单元402的另一边。另外，图15仅显示图像获取组ICG1中的图像获取器IC11以及图像获取组ICG2中的图像获取器IC21。
如图14A所示，深度产生器702可根据图像获取器IC11所获取的第一图像IM11以及与图像获取组ICG2内的一相对应图像获取器(也就是图像获取器IC21)所获取的第二图像IM21，产生一面向前方的深度图DPF(其中所述前方的方向可参考图14A)；深度产生器702可根据图像获取器IC12所获取的第一图像IM12以及与图像获取组ICG2内一相对应图像获取器(也就是图像获取器IC22)所获取的第二图像IM22，产生一面向后方的深度图DPR(其中所述后方的方向可参考图14A)，其中深度图DPF、DPR内的所有原始深度都可通过上述图8的原理转换成转换深度，在此不再赘述。
另外，在深度图DPF、DPR内的所有原始深度通过上述原理转换成转换深度后，深度图DPF、DPR内的所有转换深度可应用于全景深度图像产生器704所产生的全景深度图像PDI，也就是全景深度图像PDI是由全景深度图像产生器704根据第一图像IM11、IM12所产生的一全景图像与深度图DPF、DPR内的所有转换深度所组成。另外，如图14A所示，因为图像获取器IC11的光学中心C1与相邻的图像获取器IC12的光学中心C2之间的距离D1远小于图像获取器IC11的光学中心C1与图像获取器IC21的光学中心C3之间的距离D2，所以图像装置1400所产生的全景深度图像PDI可解决现有技术所产生的机构上的矛盾的问题。
另外，在本发明的另一实施例中，如图14B所示，一全景深度图像的图像装置1500和图像装置1400的差别在于图像装置1500包含三图像获取组ICG1、ICG2、ICG3、1个支撑单元402，其中为了简化图14B，图14B并未绘示出深度产生器702和全景深度图像产生器704。但在本发明的另一实施例中，全景深度图像的图像装置1500可包含至少三图像获取组。如图14B所示，图像获取组ICG1、ICG2、ICG3中的每一图像获取组包含二个图像获取器，以及所述二个图像获取器中的每一图像获取器是一鱼眼图像获取器。如图14B所示，图像获取组ICG1包含图像获取器IC11、IC12，图像获取组ICG2包含图像获取器IC21、IC22，以及图像获取组ICG3包含图像获取器IC31、IC32。如图14B所示，图像获取器IC11、IC21、IC31是设置在支撑单元402的一边，以及图像获取器IC12、IC22、IC32是设置在支撑单元402的另一边，其中图像获取器IC11、IC21之间具有一第一基线B1，以及图像获取器IC11、IC31之间具有一第二基线B2。
如图14B所示，深度产生器702可根据图像获取器IC11所获取的第一图像IM11以及与图像获取组ICG2内的一相对应图像获取器(也就是图像获取器IC21)所获取的第二图像IM21，产生一面向前方的第一深度图(其中所述前方的方向可参考图14A)；同理深度产生器702也可根据图像获取器IC11所获取的第一图像IM11以及与图像获取组ICG3内的一相对应图像获取器(也就是图像获取器IC31)所获取的第三图像，产生另一面向前方的第二深度图。深度产生器702可根据图像获取器IC12所获取的第一图像IM12以及与图像获取组ICG2内一相对应图像获取器(也就是图像获取器IC22)所获取的第二图像IM22，产生一面向后方的第三深度图(其中所述后方的方向可参考图14A)；同理深度产生器702可根据图像获取器IC12所获取的第一图像IM12以及与图像获取组ICG3内一相对应图像获取器(也就是图像获取器IC32)所获取的第四图像IM22，产生一面向后方的第四深度图。然后全景深度图像产生器704可根据所述第一深度图、所述第二深度图、所述第三深度图和所述第四深度图产生全景深度图像PDI。另外，图像装置1500的其余操作原理和图像装置1400的操作原理相同，在此不再赘述。另外，图像装置1500的概念也可应用于图像装置400，在此也不再赘述。
另外，在本发明的另一实施例中，如图14C所示，一全景深度图像的图像装置1600和图像装置1400的差别在于图像装置1600包含一第一图像获取器IC1和一第二图像获取器IC2，其中为了简化图14C，图14C并未绘示出深度产生器702和全景深度图像产生器704。另外，如图14C所示，第一图像获取器IC1的视角和第二图像获取器IC2的视角有重迭即可，例如第一图像获取器IC1的视角大于180°和第二图像获取器IC2的视角也大于180°。另外，图像装置1600的其余操作原理和图像装置1400的操作原理相同，在此不再赘述。
另外，在本发明的另一实施例中，如图14D所示，一全景深度图像的图像装置1700和图像装置1400的差别在于图像装置1700利用一光源组1702取代图像获取组ICG1(或用光源组1702取代图像获取组ICG2)，其中为了简化图14D，图14D并未绘示出深度产生器702和全景深度图像产生器704，且光源组1702是用于发出一结构光。但在本发明的另一实施例中，图像装置1700可包含至少一光源组和至少一图像获取组。另外，在本发明的另一实施例中，图像获取组ICG2可被如图14C所示的第一图像获取器IC1取代。如图14D所示，深度产生器702可根据图像获取器IC21所获取的包含所述结构光的第一图像IM21，产生面向前方的深度图DPF(其中所述前方的方向可参考图14A)；深度产生器702可根据图像获取器IC22所获取的包含所述结构光的第二图像IM22，产生面向后方的深度图DPR(其中所述后方的方向可参考图14A)。另外，图像装置1700的其余操作原理和图像装置1400的操作原理相同，在此不再赘述。另外，图像装置1700的光源组1702也可应用于图像装置400，在此也不再赘述。
另外，光源组1702可利用至少一激光束(例如至少一红外线激光束)和至少一反射组件(例如至少二镜子)在所述前方的方向与所述后方的方向(其中所述前方的方向与所述后方的方向可参考图14A)产生至少两不同角度光束，然后使所述至少两不同角度光束经过一光学组件(例如一绕射组件)后以形成在所述前方的方向与所述后方的方向都具有180°发光角度的光源。另外，在本发明的另一实施例中，光源组1702可利用至少一激光束和至少一折射组件形成在所述前方的方向与所述后方的方向都具有180°发光角度的光源。如图14E所示，光源组1702利用一准直器(collimator)17022，激光束17024、17026，镜子17028、17030和分光绕射光学组件(Diffraction Optical Element,DOE)17032、17034产生具有180°发光角度的结构光；如图14F所示，光源组1702利用准直器17022，激光束17024、17025、17026，镜子17028、17029、17030和分光绕射光学组件17032、17033、17034产生具有180°发光角度的结构光；如图14G所示，光源组1702利用准直器17022，激光束17024，镜子17028、17030和分光绕射光学组件17032、17034产生具有180°发光角度的结构光；如图14H所示，光源组1702利用准直器17022，激光束17024，镜子17028、17029、17030和分光绕射光学组件17032、17033、17034产生具有180°发光角度的结构光；如图14I所示，光源组1702利用准直器17022、17023，激光束17024、17026，镜子17028、17030和分光绕射光学组件17032、17034产生具有180°发光角度的结构光；如图14J所示，光源组1702利用准直器17022，激光束17024、17026，镜子17028和分光绕射光学组件17032、17034产生具有180°发光角度的结构光。另外，在图14E-14J中，准直器17022和分光绕射光学组件17032、17033、17034并非必须。另外，180°发光角度的结构光不能朝向图像获取器IC21和图像获取器IC22，因为会影响图像获取器IC21和图像获取器IC22的图像获取功能。另外，在本发明的另一实施例中，所述光学组件可替换为一扩散器(diffuser)以形成具有180°发光角度的均匀光源。
另外，在本发明的另一实施例中，如图14K所示，一全景深度图像的图像装置1800和图像装置1400的差别在于图像装置1800利用一光源组1802取代图像获取组ICG1(或用光源组1802取代图像获取组ICG2)，其中为了简化图14K，图14K并未绘示出深度产生器702和全景深度图像产生器704。另外，在本发明的另一实施例中，图像获取组ICG2可被如图14C所示的第一图像获取器IC1取代。如图14K所示，图像获取组ICG2可接收光源组1802所发出的光经过在图像获取组ICG2的接收范围内的每一对象反射后的反射光，以及深度产生器702可根据光源组1802所发出的光经过所述每一对象反射后的总飞行时间，计算出所述每一对象与图像装置1800的距离。然后深度产生器702可根据所述每一对象与图像装置1800的距离，产生面向前方的深度图和面向后方的深度图。另外，图像装置1800的其余操作原理和图像装置1400的操作原理相同，在此不再赘述。
请参照图16、17，图16、17是说明图像装置400应用在一无人机1600的示意图。如图16所示，图像装置400通过一吊臂1602悬吊在无人机1600的下方，而当无人机1600起飞后，吊臂1602可降下图像装置400以使图像装置400获取更多上方视野的图像(如图17所示)。另外，图像装置500、600、1400也可应用在无人机1600，所以在此不再赘述。
综上所述，因为本发明所公开的图像装置的每一图像获取组中的每一图像获取器的光学中心与所述每一图像获取组中相邻的图像获取器的光学中心之间的距离远小于所述每一图像获取器的光学中心与所述图像装置的其余图像获取组的至少一相对应图像获取器的光学中心之间的距离，所以相较于现有技术，本发明所公开的图像装置不仅可提供一全景深度图像，也可解决现有技术所产生的机构上的矛盾的问题。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种用于产生全景深度图像的图像装置，包含：
至少一图像获取组，其中所述至少一图像获取组中的每一图像获取组包含至少一图像获取器；及
其特征在于另包含：
至少一光源，用于发出一发射光，其中所述每一图像获取组所获取包含所述发射光的图像是用于产生对应所述每一图像获取组的深度图，或对应所述发射光从所述至少一光源经由每一对象反射至所述每一图像获取组的飞行时间是用于产生对应所述每一图像获取组的深度图；
其中所述深度图的深度是应用于一全景深度图像。
2.如权利要求1所述的图像装置，其特征在于另包含：
至少一支撑单元，其中所述至少一图像获取器中的每一图像获取器是设置在所述至少一支撑单元中的一相对应支撑单元上。
3.如权利要求2所述的图像装置，其特征在于：所述每一图像获取器是一鱼眼图像获取器。
4.如权利要求1所述的图像装置，其特征在于：当所述每一图像获取组所获取包含所述发射光的图像是用于产生对应所述每一图像获取组的深度图时，所述发射光是一结构光。
5.如权利要求4所述的图像装置，其特征在于：所述结构光具有180°发光角度且是通过至少一激光束、至少一第一光学组件和至少一第二光学组件所产生。
6.如权利要求5所述的图像装置，其特征在于：所述至少一第一光学组件是至少一反射组件或至少一折射组件，以及所述至少一第二光学组件是至少一绕射组件或至少一扩散器。
7.如权利要求5所述的图像装置，其特征在于：所述至少一激光束通过所述至少一第一光学组件形成至少二非平行光束，以及至少二非平行光束通过所述至少一第二光学组件产生所述结构光。
8.如权利要求1所述的图像装置，其特征在于另包含：
一深度产生器，耦接于所述至少一图像获取组，用于根据所述每一图像获取组所获取包含所述发射光的图像或所述飞行时间，产生对应所述每一图像获取组的深度图；及
一全景深度图像产生器，耦接于所述深度产生器与所述至少一图像获取组，用于根据所述至少一图像获取组所包含的至少一图像获取器所获取的至少一图像，与对应所述至少一图像获取组的深度图的深度，产生所述全景深度图像。
9.一种用于产生深度图像的图像装置，其特征在于包含：
一深度图像产生器，用于接收一第一全景图像与一相对应的第二全景图像，根据多个视角分别分割所述第一全景图像与所述第二全景图像为多个第一分割图像与多个第二分割图像，投影所述多个第一分割图像的每一第一分割图像与一对应的第二分割图像至一对应的投影平面以产生一第一投影图像与一第二投影图像，以及根据所述第一投影图像与所述第二投影图像产生一对应所述每一第一分割图像的深度图；
其中所述多个视角的总和不小于360°。
10.一种用于产生图像的图像装置，其特征在于包含：
一图像产生器，用于接收一全景深度图像，根据多个视角分别分割所述全景深度图像为多个分割图像，投影所述多个分割图像的每一分割图像至一对应的投影平面以产生对应所述每一分割图像的一投影图像，以及转换所述投影图像的每一深度值为一转换深度值，其中所述每一分割图像对应所述多个视角中的一视角，所述视角对应一光学中心平面，所述每一深度值对应所述光学中心平面上的一光学中心，以及所述对应的投影平面平行所述光学中心平面；
其中所述多个视角的总和不小于360°。
11.如权利要求10所述的图像装置，其特征在于：当所述图像产生器转换所述投影图像的每一深度值为所述转换深度值后，所述转换深度值对应所述光学中心平面。
CN202110125687.1A 2017-02-23 2018-02-23 用于产生图像的图像装置 Active CN113014754B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110125687.1A CN113014754B (zh) 2017-02-23 2018-02-23 用于产生图像的图像装置

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201762462363P 2017-02-23 2017-02-23
US62/462,363 2017-02-23
US201762511317P 2017-05-25 2017-05-25
US62/511,317 2017-05-25
US201762599794P 2017-12-18 2017-12-18
US62/599,794 2017-12-18
CN202110125687.1A CN113014754B (zh) 2017-02-23 2018-02-23 用于产生图像的图像装置
CN201810155153.1A CN108471487B (zh) 2017-02-23 2018-02-23 产生全景深度图像的图像装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201810155153.1A Division CN108471487B (zh) 2017-02-23 2018-02-23 产生全景深度图像的图像装置

Publications (2)

Publication Number Publication Date
CN113014754A true CN113014754A (zh) 2021-06-22
CN113014754B CN113014754B (zh) 2024-01-12

Family

ID=63264034

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110125687.1A Active CN113014754B (zh) 2017-02-23 2018-02-23 用于产生图像的图像装置
CN201810155153.1A Active CN108471487B (zh) 2017-02-23 2018-02-23 产生全景深度图像的图像装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201810155153.1A Active CN108471487B (zh) 2017-02-23 2018-02-23 产生全景深度图像的图像装置

Country Status (3)

Country Link
US (1) US10728515B2 (zh)
CN (2) CN113014754B (zh)
TW (1) TWI668997B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10390007B1 (en) * 2016-05-08 2019-08-20 Scott Zhihao Chen Method and system for panoramic 3D video capture and display
US10977775B2 (en) 2018-12-07 2021-04-13 Himax Technologies Limited Depth decoding system and method for ground truth image rectification
CN109803089B (zh) * 2019-01-04 2021-05-18 Oppo广东移动通信有限公司 电子设备和移动平台
CN109660731B (zh) * 2019-01-04 2021-04-23 Oppo广东移动通信有限公司 电子设备和移动平台
CN109587304B (zh) * 2019-01-04 2021-04-16 Oppo广东移动通信有限公司 电子设备和移动平台
CN109729250B (zh) * 2019-01-04 2021-04-30 Oppo广东移动通信有限公司 电子设备和移动平台
CN109788196B (zh) * 2019-01-04 2021-07-23 Oppo广东移动通信有限公司 电子设备和移动平台
CN109756660B (zh) * 2019-01-04 2021-07-23 Oppo广东移动通信有限公司 电子设备和移动平台
CN109788195B (zh) * 2019-01-04 2021-04-16 Oppo广东移动通信有限公司 电子设备和移动平台
CN109660733B (zh) * 2019-01-04 2021-04-16 Oppo广东移动通信有限公司 电子设备和移动平台
CN109788172A (zh) * 2019-01-04 2019-05-21 Oppo广东移动通信有限公司 电子设备和移动平台
CN109660732B (zh) * 2019-01-04 2021-07-23 Oppo广东移动通信有限公司 电子设备和移动平台
CN109618085B (zh) * 2019-01-04 2021-05-14 Oppo广东移动通信有限公司 电子设备和移动平台
CN109587303B (zh) * 2019-01-04 2021-07-30 Oppo广东移动通信有限公司 电子设备和移动平台
CN109618108B (zh) * 2019-01-07 2021-04-16 Oppo广东移动通信有限公司 电子设备和移动平台
CN109862275A (zh) * 2019-03-28 2019-06-07 Oppo广东移动通信有限公司 电子设备和移动平台
US11039118B2 (en) 2019-04-17 2021-06-15 XRSpace CO., LTD. Interactive image processing system using infrared cameras
US10885671B2 (en) 2019-04-17 2021-01-05 XRSpace CO., LTD. Method, apparatus, and non-transitory computer-readable medium for interactive image processing using depth engine and digital signal processor
TWI696981B (zh) * 2019-04-26 2020-06-21 未來市股份有限公司 使用紅外線攝影機的互動影像處理系統
US10979633B1 (en) * 2019-12-17 2021-04-13 Suometry, Inc. Wide view registered image and depth information acquisition
US11276154B2 (en) * 2020-07-17 2022-03-15 Samsung Electronics Co., Ltd. Multi-frame depth-based multi-camera relighting of images

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102289145A (zh) * 2011-06-30 2011-12-21 浙江工业大学 基于3d全景视觉的智能三维立体摄像设备
CN102903090A (zh) * 2012-01-20 2013-01-30 李文松 全景立体图像合成方法、装置、系统和浏览装置
US20130101175A1 (en) * 2011-10-21 2013-04-25 James D. Lynch Reimaging Based on Depthmap Information
US20140240452A1 (en) * 2013-02-27 2014-08-28 Electronics And Telecommunications Research Institute Apparatus and method for creating panorama
US9013543B1 (en) * 2012-11-14 2015-04-21 Google Inc. Depth map generation using multiple scanners to minimize parallax from panoramic stitched images
CN105516569A (zh) * 2016-01-20 2016-04-20 北京疯景科技有限公司 一种获得全景图像的方法和装置
CN106371281A (zh) * 2016-11-02 2017-02-01 辽宁中蓝电子科技有限公司 基于结构光多模块360度空间扫描和定位的3d相机
TW201706675A (zh) * 2015-08-07 2017-02-16 高準精密工業股份有限公司 縮放結構光圖案的方法以及應用該方法的光學裝置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
US20140009570A1 (en) * 2012-07-03 2014-01-09 Tourwrist, Inc. Systems and methods for capture and display of flex-focus panoramas
WO2014071400A1 (en) * 2012-11-05 2014-05-08 360 Heros, Inc. 360 degree camera mount and related photographic and video system
CN104036226B (zh) * 2013-03-04 2017-06-27 联想(北京)有限公司 一种目标物信息获取方法及电子设备
CN104253939A (zh) * 2013-06-27 2014-12-31 聚晶半导体股份有限公司 调整对焦位置的方法及电子装置
US10750153B2 (en) * 2014-09-22 2020-08-18 Samsung Electronics Company, Ltd. Camera system for three-dimensional video
KR102249831B1 (ko) 2014-09-26 2021-05-10 삼성전자주식회사 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법
CN104679831B (zh) * 2015-02-04 2020-07-07 腾讯科技（深圳）有限公司 一种匹配人体模型的方法及装置
US10802390B2 (en) * 2015-05-08 2020-10-13 Suometry Inc. Spherical omnipolar imaging
TWI555379B (zh) * 2015-11-06 2016-10-21 輿圖行動股份有限公司 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
DE102016100656A1 (de) * 2016-01-15 2017-07-20 Fachhochschule Nordwestschweiz Stereobilderfassungssystem
CN105959665B (zh) * 2016-05-05 2018-08-07 清华大学深圳研究生院 一种针对于虚拟现实设备的全景3d视频生成方法
CN205647716U (zh) * 2016-05-06 2016-10-12 硕颖数码科技（中国）有限公司 双镜头全景摄像机

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102289145A (zh) * 2011-06-30 2011-12-21 浙江工业大学 基于3d全景视觉的智能三维立体摄像设备
US20130101175A1 (en) * 2011-10-21 2013-04-25 James D. Lynch Reimaging Based on Depthmap Information
CN102903090A (zh) * 2012-01-20 2013-01-30 李文松 全景立体图像合成方法、装置、系统和浏览装置
US9013543B1 (en) * 2012-11-14 2015-04-21 Google Inc. Depth map generation using multiple scanners to minimize parallax from panoramic stitched images
US20140240452A1 (en) * 2013-02-27 2014-08-28 Electronics And Telecommunications Research Institute Apparatus and method for creating panorama
TW201706675A (zh) * 2015-08-07 2017-02-16 高準精密工業股份有限公司 縮放結構光圖案的方法以及應用該方法的光學裝置
CN105516569A (zh) * 2016-01-20 2016-04-20 北京疯景科技有限公司 一种获得全景图像的方法和装置
CN106371281A (zh) * 2016-11-02 2017-02-01 辽宁中蓝电子科技有限公司 基于结构光多模块360度空间扫描和定位的3d相机

Also Published As

Publication number Publication date
CN113014754B (zh) 2024-01-12
TW201832547A (zh) 2018-09-01
US20180295341A1 (en) 2018-10-11
TWI668997B (zh) 2019-08-11
CN108471487B (zh) 2020-12-22
US10728515B2 (en) 2020-07-28
CN108471487A (zh) 2018-08-31

Similar Documents

Publication Publication Date Title
CN108471487B (zh) 产生全景深度图像的图像装置
US11310479B2 (en) Non-uniform spatial resource allocation for depth mapping
CN106127745B (zh) 结构光3d视觉系统与线阵相机的联合标定方法及装置
US10571668B2 (en) Catadioptric projector systems, devices, and methods
US20200192206A1 (en) Structured light projector, three-dimensional camera module and terminal device
WO2018028152A1 (zh) 一种图像采集设备、虚拟现实设备
CN110308557A (zh) 显示系统、电子镜系统、移动体以及显示方法
WO2022017447A1 (zh) 图像显示控制方法、图像显示控制装置及头戴式显示设备
CN112020856A (zh) 相机模块和用于通过相机模块提取深度信息的方法
CN207457609U (zh) 用于ar眼镜的近眼显示光学模组及ar眼镜
JP2018151557A (ja) 表示方法および表示装置
US20020080999A1 (en) System and method for highlighting a scene under vision guidance
JP2002523790A (ja) 投影システム
CN110908133A (zh) 一种基于二面角反射镜阵列的集成成像3d显示装置
JP7150966B2 (ja) 後方散乱レーザスペックルパターンのオプティカルフローの追跡
TWI393991B (zh) Stereoscopic image capture device and its application of symmetrical prism array
US10685453B1 (en) Folded laser emitters for structured light applications
KR102062765B1 (ko) 이미지 변환 메커니즘을 갖춘 3ｄ 이미지 캡쳐 시스템과 그 사용 방법
TW202117385A (zh) 飛行時間相機
CN111352252A (zh) 一种空气成像机构、实像装置和交互系统
KR102204074B1 (ko) 3차원공간영상 디스플레이 시스템
JP2018007110A (ja) 表示装置およびスクリーン
JP2019180068A (ja) 表示システム、移動体、表示システムの制御方法、及びプログラム
US20020067356A1 (en) Three-dimensional image reproduction data generator, method thereof, and storage medium
KR20200023857A (ko) 프로젝션 맵핑을 이용한 아날로그와 디지털이 결합된 트릭아트 체험 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant