CN108718373B - 影像装置 - Google Patents

影像装置 Download PDF

Info

Publication number
CN108718373B
CN108718373B CN201810283351.6A CN201810283351A CN108718373B CN 108718373 B CN108718373 B CN 108718373B CN 201810283351 A CN201810283351 A CN 201810283351A CN 108718373 B CN108718373 B CN 108718373B
Authority
CN
China
Prior art keywords
image
capturing module
image capturing
optical center
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810283351.6A
Other languages
English (en)
Other versions
CN108718373A (zh
Inventor
李季峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
eYs3D Microelectronics Co
Original Assignee
eYs3D Microelectronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by eYs3D Microelectronics Co filed Critical eYs3D Microelectronics Co
Publication of CN108718373A publication Critical patent/CN108718373A/zh
Application granted granted Critical
Publication of CN108718373B publication Critical patent/CN108718373B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Abstract

本发明公开了一种影像装置包括第一影像撷取模块、第二影像撷取模块及图像处理器。第一影像撷取模块及第二影像撷取模块具有相异的视野角度。图像处理器耦接于第一影像撷取模块以及第二影像撷取模块。图像处理器根据第一影像撷取模块、第二影像撷取模块以及目标视野设定虚拟光学中心，并产生对应于虚拟光学中心的显示影像。

Description

影像装置
技术领域
本发明是有关于一种影像装置，特别是指一种能够产生深度信息以进行图像处理的影像装置。
背景技术
随着用户对于影像质量的要求越来越高，有部分的电子装置也开始改以双镜头的方式来撷取影像。举例来说，电子装置可以分别利用较为广角的镜头来取得较大范围的影像，并利用较为望远的镜头来取得分辨率较高的细部影像，以满足用户在不同使用情境下的不同需求。举例来说，使用者可能会先使用广角镜头来寻找欲拍摄的物体，并逐步调整焦距以符合所欲拍摄的画面。倘若使用者调整的焦距超过广角镜头所能支持，则可能会改以望远镜头来提供用户所需的影像画面。
然而，广角镜头和望远镜头在位置上并非重合，因此在变焦画面的转换过程中，常会出现明显的视角变换，导致影像不连续，使得拍摄过程不易控制，造成使用者的不便。而当两个镜头的位置相离越远或被摄物越近时，影像不连续的问题也将越为明显，造成电子装置在设计上的限制和困难。
发明内容
本发明的一实施例提供一种影像装置，影像装置包括第一影像撷取模块、第二影像撷取模块及图像处理器。
第一影像撷取模块具有一第一视野角度(field of view，FOV)。第二影像撷取模块具有第二视野角度，且第二视野角度相异于第一视野角度。图像处理器耦接于第一影像撷取模块以及第二影像撷取模块。图像处理器根据第一影像撷取模块、第二影像撷取模块以及目标视野设定虚拟光学中心，并产生对应于虚拟光学中心之显示影像。
本发明的另一实施例提供一种影像装置，影像装置包括影像撷取模块、结构光源、图像处理器及深度处理器。
结构光源间歇性地投射结构光。深度处理器耦接于第一影像撷取模块以及结构光源。深度处理器至少根据影像撷取模块于结构光源投射结构光时所撷取包含结构光之深度影像产生深度信息。图像处理器耦接于影像撷取模块、结构光源以及深度处理器。图像处理器根据深度信息以及第一影像撷取模块在结构光源停止投射结构光时所撷取之至少一影像产生影像装置所呈现之显示影像。
附图说明
图1为本发明一实施例的影像装置的示意图。
图2为图1的影像装置的虚拟光学中心与目标焦距的变焦比例的变化示意图。
图3及4为图1的第一影像撷取模块及第二影像撷取模块所支持的视野范围示意图。
图5为本发明另一实施例的影像装置的示意图。
图6为本发明另一实施例的影像装置的示意图。
图7为图6的结构光源的发光时段示意图。
其中，附图标记说明如下：
100、200、300 影像装置
110、210、310 第一影像撷取模块
120、320 第二影像撷取模块
130、330 深度处理器
140、340 图像处理器
FOV1 第一视野角度
FOV2 第二视野角度
250 第三影像撷取模块
FOV3 第三视野角度
360 结构光源
T1 第一时段
T2 第二时段
T3 第三时段
T4 第四时段
具体实施方式
图1为本发明一实施例的影像装置100的示意图。影像装置100包括第一影像撷取模块110、第二影像撷取模块120、深度处理器130及图像处理器140。图像处理器140耦接于第一影像撷取模块110以及第二影像撷取模块120。
第一影像撷取模块110具有第一视野角度(field of view，FOV)FOV1，而第二影像撷取模块120具有第二视野角度FOV2，第二视野角度FOV2相异于第一视野角度FOV1。
深度处理器130可根据第一影像撷取模块110及第二影像撷取模块120所取得的复数个影像产生深度信息。也就是说，由于第一影像撷取模块110及第二影像撷取模块120会在不同的位置拍摄同样的物体，因此可以取得类似于双眼视觉的左右眼影像，而根据第一影像撷取模块110及第二影像撷取模块120的内外部参数，例如两者间的距离，亦即基线(baseline)的长度，以及各自的拍摄角度及焦距(focal length)等参数，就能够利用三角定位法进一步得知被拍摄物体与第一影像撷取模块110及第二影像撷取模块120的距离，进而取得深度信息。
此外，由于第一影像撷取模块110及第二影像撷取模块120的视野角度及焦距都可能相异，因此为了撷取适当的影像供深度处理器130进行处理，影像装置100可先执行校正程序。例如影像装置100可将第一影像撷取模块110及第二影像撷取模块120的焦距正规化，以确保两者的影像像素代表的单位相同。且为取得有效的深度信息，在还原回画素单位影像时，还可以选择视野角度较小的影像撷取模块所撷取的影像宽度为基准，并使视野角度较大的影像撷取模块也撷取相似宽度的影像。也就是说，具有较大视野角度的影像撷取模块所撷取的影像可能会有部分画面被裁切，如此一来，第一影像撷取模块110及第二影像撷取模块120所撷取的影像内容才会较为相关联，且所包括的物体也会具有近似的大小，利于比对物体特征以计算物体深度。
然而，由于第一影像撷取模块110及第二影像撷取模块120彼此之间实际上会相隔一段距离，因此两者所撷取的影像必定有些许差异。为了能够较为完整地比对第一影像撷取模块110及第二影像撷取模块120所撷取的两张影像中的物体，在裁切具有较大视野角度的影像撷取模块所撷取的影像时，可以在靠近具有较小视野角度的影像撷取模块的一侧保留较多的影像内容。亦即较大视野角度的影像撷取模块所撷取的影像可保留较大的宽度，以涵盖较小视野角度的影像撷取模块所撷取的影像中所包括的物体，使得深度信息能够更加完整。
根据深度处理器130所取得的深度信息，图像处理器140就能够根据目标视野以及第一影像撷取模块110及第二影像撷取模块120来设定影像装置100的虚拟光学中心。举例来说，用户会根据所欲拍摄物体所在的方向及远近调整拍摄的视角方向和焦距，进而决定拍摄物体所需的目标视野。也就是说，用户拍摄物体所需的目标视野，亦即影像中所应涵盖的范围，实际上至少会由目标视角方向和目标焦距共同决定。由于用户所要求的目标视野可能会落在第一影像撷取模块110的第一视野角度FOV1或第二影像撷取模块120的第二视野角度FOV2或同时落于两者，为了能够提供合适视点的影像，图像处理器140可以根据目标视野与第一影像撷取模块110的光学中心及第二影像撷取模块120的光学中心的位置，以及其所能够支持的第一视野角度FOV1及第二视野角度FOV2来设定适合的虚拟光学中心。在本发明的部分实施例中，虚拟光学中心会设定在第一影像撷取模块110的光学中心及第二影像撷取模块120的光学中心之间，例如可设定在第一影像撷取模块110及第二影像撷取模块120的光学中心的联机上。此外，图像处理器140亦可将虚拟光学中心直接设定于第一影像撷取模块110(或第二影像撷取模块120)的光学中心，此时影像装置100即可单纯利用第一影像撷取模块1100(或第二影像撷取模块120)所撷取的影像来产生显示影像。
如此一来，倘若虚拟光学中心由第一影像撷取模块110变换至第二影像撷取模块120或由第二影像撷取模块120变换至第一影像撷取模块110时，图像处理器140就可以在变换的过程中产生出对应于虚拟光学中心的影像，避免在切换影像撷取模块的过程中产生明显的视点变化。
在本发明的部分实施例中，目标视野的改变可包括目标视角方向的改变及目标焦距的改变(亦即所欲拍摄物体的尺寸改变)。举例来说，当用户要求的目标焦距改变时，影像装置100便可执行变焦功能。此时若目标焦距超过第一影像撷取模块110所能支持的焦距时，且第二影像撷取模块120相对能提供较远的焦距，影像装置100就可能会自第一影像撷取模块110切换至第二影像撷取模块120以提供显示影像，在此过程中，虚拟光学中心将逐渐自第一影像撷取模块110转换至第二影像撷取模块120。
图2为本发明一实施例的虚拟光学中心与目标焦距的变焦比例的变化示意图。在图2的实施例中，第一视野角度FOV1可大于第二视野角度FOV2，亦即第一影像撷取模块110可例如为以相对广角镜头撷取影像的影像撷取模块，而第二影像撷取模块120可例如为以相对望远镜头撷取影像的影像撷取模块。
在此情况下，当使用者欲调整焦距以提高放大倍率时，影像装置100便可使图像处理器140执行变焦功能。在执行变焦功能时，图像处理器140可先利用第一影像撷取模块110来提供影像，并在用户持续调整焦距而超出第一影像撷取模块110所能支持的范围时，改以第二影像撷取模块120来提供影像。
在此切换过程中，影像装置100会将虚拟光学中心从原先所在的第一影像撷取模块110转换至第二影像撷取模块120。为使转换过程较为顺畅，图像处理器140可在转换的过程中，依据用户目前所需的目标焦距大小，设定位于第一影像撷取模块110及第二影像撷取模块120之间的虚拟光学中心。例如在图2中，当目标焦距的变焦比例变为X倍时，图像处理器140可将虚拟光学中心设定在A点，而当目标焦距的变焦比例变为Y倍时，图像处理器140则可将虚拟光学中心设定在B点。
在本实施例中，图像处理器140可根据目标焦距以线性内插的方式来决定虚拟光学中心的位置。然而本发明并不以此为限，在本发明的其他实施例中，图像处理器140也可以经由非线性关系来决定虚拟光学中心的位置。也就是说，图像处理器140可以根据系统的需求来决定目标焦距与虚拟光学中心的关系。举例来说，目标焦距与虚拟光学中心的关系亦可例如图2中的一点链线所示。在此情况下，虚拟光学中心初期移动的速度会较慢，例如当焦距为Y倍时，虚拟光学中心仍在A点，然而后期移动的速度则会加快。如此一来，若用户调整焦距的幅度较小，就更不会感受到虚拟光学中心的变化。
在图像处理器140将虚拟光学中心设定于A点或B点后，图像处理器140就可进一步利用深度处理器130所取得的深度信息来处理第一影像撷取模块110所撷取的第一影像及第二影像撷取模块120所撷取的第二影像中的至少一者以产生对应的显示影像。也就是说，图像处理器140所合成出的显示影像将会仿真出在其光学中心在A点或B点的影像撷取模块所撷取到的影像。在本发明的部分实施例中，图像处理器140可利用二维影像及其对应的深度资料为基础，并根据虚拟视角合成(depth image based rendering，DIBR)算法来合成第一影像及第二影像以产生对应于虚拟光学中心的显示影像。上述的深度数据可以经由深度处理器130进行运算而得到，也可以在不透过深度处理器130的情况下，从二维影像估测而得。此外，在本发明的另一些实施例中，图像处理器140则是以三维信息的图像处理为基础，在此情况下，图像处理器140可将二维影像及其对应的深度信息转换为三维立体格式，例如三维点云(point cloud)，接着根据三维点云以虚拟光学中心所对应的视点产生对应的显示影像。
在图2的实施例中，影像装置100是在第一影像撷取模块110的焦距达到2倍之后开始将光学中心逐渐偏移到第二影像撷取模块120，然而在本发明的其他实施例中，影像装置100也可根据实际硬件的规格，选择在达到其他的焦距后开始转移光学中心。
透过设定虚拟光学中心以提供视点逐渐变换的显示影像，影像装置100就能够在变焦的过程中，提供平顺的影像变化，而不至于因为影像所对应的光学中心突然切换，导致影像变化过程中产生明显的视差。此外，由于影像装置100能够利用深度信息来产生对应虚拟光学中心的显示影像，因此也无须严格限定第一影像撷取模块110及第二影像撷取模块120之间的距离，使得影像装置100在设计及制造上具有更大的弹性。
在本发明的部分实施例中，影像装置100可利用标准的影像压缩算法将第一影像撷取模块所撷取的第一影像压缩成压缩图像文件，例如以联合图像专家小组(JointPhotographic Experts Group，JPEG)制定的影像压缩算法来进行压缩，并可将其他所需的数据，例如深度信息及影像撷取模块110及120的内外部参数储存于压缩图像文件所对应的使用者定义标头中，以供其他支持此功能的影像装置能够解析出其中的深度信息及影像撷取模块的内外部参数，并据以根据需求产生对应视点的显示影像。然若其他未支持此功能的影像装置接收到此一压缩文件案，则仍然能够将第一影像解压缩还原，而不至于无法辨识。
在前述的实施例中，当目标焦距改变时，影像装置100可以在由第一影像撷取模块110转换至第二影像撷取模块120来提供影像的过程中，执行变焦功能并设定虚拟光学中心。然而本发明并不以此为限，在本发明的其他实施例中，当目标视角方向改变，而须由其中一个影像撷取模块转换至另一个影像撷取模块来提供影像时，影像装置100也可以设定虚拟光学中心，因此用户在影像转换的过程中不会感受到突兀的视点改变。此外，根据目标视野的需求以及第一影像撷取模块110及第二影像撷取模块120实际上所能支持的视角方向及焦距，影像装置100也可能以其他方式来呈现对应的影像。
图3及4为第一影像撷取模块110及第二影像撷取模块120可能支持的视野范围示意图。在图3中，斜纹区域R1为第一影像撷取模块110所能够支持的视角范围及焦距，点纹区域R2则为第二影像撷取模块120所能够支持的视角范围及焦距。在此实施例中，由于第一影像撷取模块110是使用相对广角的镜头，因此在图3中，斜纹区域R1则具有较宽的分布范围。此外，在第3及图4中，当物体距离影像撷取模块越远时，影像撷取模块就须以越大的焦距来撷取清晰的影像。
由于不论是第一影像撷取模块110及第二影像撷取模块120都有其物理上的限制，因此影像装置100无法以任意的焦距提供任意视角方向的影像。在本发明的部分实施例中，当用户所要求的目标视角方向超出第一影像撷取模块110所能支持的第一视野角度FOV1时，举例来说，用户欲透过影像装置100来呈现图3中以P点为中心的影像时，则影像装置100将持续呈现原先所呈现的影像，亦即第一影像撷取模块110将持续呈现其所能够撷取的最符合用户需求的影像，例如在图3中，第一影像撷取模块110实际上会在其可支持的斜纹区域R1内，以虚拟的视野角度FOVP’并以P’点为中心来撷取对应的影像，而不另外进行处理。也就是说，第一影像撷取模块110实际上将会呈现投影区域RP’内的影像，而P’点则位于投影区域RP’的底部投影面中心。
此外，当用户所要求的目标焦距超出第一影像撷取模块110所能操作的最大倍率，且用户所要求的目标视角方向是位于第二影像撷取模块120的第二视野角度FOV2之外时，影像装置100可持续呈现原先所呈现的影像，亦即第一影像撷取模块110将持续呈现其所能够撷取的最符合用户需求的影像，或是先呈现模糊的放大影像(例如以数字变焦的方式产生)，接着再回复到呈现在最大倍率所撷取的影像。
举例来说，当用户欲透过影像装置100来呈现图3中Q点所代表的视角方向及焦距的影像时，影像装置100可以持续呈现其所能够撷取的最符合用户需求的影像，例如在图3中，第一影像撷取模块110可根据虚拟的视野角度FOVQ’呈现投影区域RQ’内以Q’点为中心的影像，或者是先以虚拟的视野角度FOVQ呈现投影区域RQ内以Q点为中心，较为模糊的放大影像后，再逐渐调整至投影区域RQ’内以Q’点为中心的影像，以提示用户影像装置100的限制所在。在图3中，投影区域RQ’及投影区域RQ为第一影像撷取模块110实际上在撷取影像时的投影范围，由于最终呈现的影像大小应为一致，因此在图3中，投影区域RQ’及投影区域RQ的底边长度相等，亦即两者具有相同的投影面宽，而视野角度FOVQ则会略小于视野角度FOVQ’。
再者，当用户所要求的目标焦距超出第一影像撷取模块110所能操作的最大倍率，且用户所要求的目标视角方向是位于第二影像撷取模块120的第二视野角度FOV2以内时，影像装置100便可根据前述图2的变焦功能，逐渐地由第一影像撷取模块110提供显示影像转换至由第二影像撷取模块120来提供显示影像，并在转换过程中逐渐转移光学中心，以使转换过程更加平顺。
然而，若用户所要求之目标视角方向超出第二影像撷取模块120所能操作之第二视野角度FOV2，且其所要求之目标焦距也超出第一影像撷取模块110所能操作之焦距时，例如用户欲透过影像装置100来呈现图4中以R0点为中心的影像时，影像装置100则可逐渐改以第一影像撷取模块110利用短焦距来提供目标视野内的显示影像，例如图4中以R1点为中心之投影区域RR1内的影像。在本发明的部分实施例中，影像装置100可先显示图4中以R2点为中心之投影区域RR2内的影像，并缩小第二影像撷取模块120的焦距，再改由第一影像撷取模块110提供影像并逐渐调整观点(实线路径)并提供所对应的影像。或者，可在调整观点的过程中，设定位于第一影像撷取模块110及第二影像撷取模块120之间的虚拟光学中心，并将第一影像撷取模块110及第二影像撷取模块120所撷取的影像加以合成，例如合成出虚拟光学中心在影像撷取模块110及120之间，并以R3点为中心之投影区域RR3内的影像，来逐渐接近最终图4中R1点所代表之视角方向及焦距的影像(虚线路径)。
也就是说，当用户所要求的目标视野改变时，亦即其所要求的目标视角方向或是目标焦距改变时，影像装置100便可根据需求来设定虚拟光学中心，因此在变换影像撷取模块的过程中，就能够避免使用者感受到突兀的视点变化。
在本发明的部分实施例中，深度处理器130可以是具有上述对应功能的一现场可程序逻辑门阵列(Field Programmable Gate Array，FPGA)、一特殊应用集成电路(Application-specific Integrated Circuit，ASIC)或是一软件模块。另外，图像处理器140可以是具有上述对应功能的一现场可程序逻辑门阵列、一特殊应用集成电路或一软件模块。另外，在本发明的部分实施例中，深度处理器130和图像处理器140也可整合成为一处理器，而所述处理器可以是一具有上述深度处理器130的功能和上述图像处理器140的功能的一现场可程序逻辑门阵列、一特殊应用集成电路或一软件模块。
图5为本发明一实施例的影像装置200的示意图。影像装置100与200具有相似的结构并可根据相似的原理操作，然而影像装置200的第一影像撷取模块210可为鱼眼影像撷取模块，且影像装置200还可包括第三影像撷取模块250。
第三影像撷取模块250可具有与第一视野角度FOV1互补的第三视野角度FOV3，也就是说，第一影像撷取模块210及第三影像撷取模块250可以分别设置于影像装置200的相对两侧，且第三影像撷取模块250亦可为鱼眼影像撷取模块，以共同提供360°全景影像。虽然鱼眼镜头的投影方式与一般广角镜头的投影方式有所差异，然而两者之间可以透过数学转换，例如扭曲(warping)公式，来呈现所需的影像。举例来说，当利用鱼眼镜头时，倘若所需的视野角度较大，则在投影至平面时，其边缘的影像分辨率会较差，且亦无法投影至180度，此时就可以利用鱼眼的投影公式来呈现影像。在本发明的部分实施例中，影像装置200还可根据所需的视野角度在平面投影和鱼眼投影两者间转换，或根据需求以适当的权重结合两种投影公式所计算出于影像中成像的半径，使得转换的过程能够更加平滑顺畅。此外，第三影像撷取模块250并不限定具有鱼眼镜头，在本发明的其他实施例中，第三影像撷取模块250可具有其他种类的镜头，且影像装置200也可包括两个或两个以上的第三影像撷取模块250分别以不同视角方向撷取影像，并与第一影像撷取模块210共同提供360°全景影像。
图6为本发明一实施例的影像装置300的示意图。影像装置300包括第一影像撷取模块310、深度处理器330、图像处理器340及结构光源360。深度处理器330耦接于第一影像撷取模块310以及结构光源360。图像处理器340耦接于第一影像撷取模块310、结构光源360以及深度处理器330。
结构光源360可以投射出具特定特征的结构光，结构光照射到物体之后，依据物体的位置将有不同的反射图案，因此深度处理器330可以比较第一影像撷取模块310所撷取的影像中结构光的特征变化来产生深度信息。一般来说，为了减少对外在环境及影像的干扰，结构光可为红外光，且可选择太阳光中较弱的红外光，亦即波长为940奈米的红外光来实作，以减少太阳光对于结构光的干扰。
在本发明的部分实施例中，第一影像撷取模块310可以利用原先既有的红光感应组件、蓝光感应组件及绿光感应组件来感应结构光，然而如此一来，在撷取影像时，就必须将结构光部分所造成的影响扣除以还原原本的红、蓝及绿光成分。惟本发明并不以此为限，在本发明的其他实施例中，第一影像撷取模块310还可包括红外光的感应组件以感应结构光。
然而即使利用红外光的感应组件来感应结构光，结构光的出现仍然可能会导致红、蓝、绿色光的感应组件产生过饱和，导致影像的色彩失真。为避免此问题，影像装置300可以使结构光源360间歇性地发出结构光。图7为本发明一实施例的结构光源360的发光时段示意图。
在图7中，结构光源360可在第一时段T1及第二时段T2投射结构光，并在第一时段T1及第二时段T2之间的第三时段T3停止投射结构光。如此一来，深度处理器330则可以根据第一影像撷取模块310于第一时段T1所撷取包含结构光的第一影像产生对应的第一深度信息，而图像处理器340则可以根据第一影像撷取模块310在第三时段T3所撷取的第三影像及深度处理器330所产生的第一深度信息产生影像装置300所呈现之显示影像，而不会受到结构光的干扰。
由于第一影像和第三影像的撷取时间有所差异，为了确保深度处理器330所产生的深度信息能够与第三影像的内容相符合，在本发明的部分实施例中，深度处理器330可以同时根据第一影像撷取模块310在第一时段T1及第二时段T2所撷取包含结构光的第一影像及第二影像来产生第一深度信息及第二深度信息。也就是说，深度处理器330可透过内插的方式，根据第一深度信息及第二深度信息来产生对应于在第三时段所撷取的第三影像的深度信息，以使第三影像的深度信息能够更加准确。
此外，在本发明的部分实施例中，当影像变化较大时，亦即影像处于动态变化的状态时，第一深度信息与第三影像之间的配对就可能较不准确。在此情况下，影像装置300可以根据第一深度信息及第二深度信息之间是否有明显差异来判断影像是否产生动态变化(motion detection)。而深度处理器330会在未侦测出动态变化时，将第一深度信息及第二深度信息中的至少之一者与配对第三影像配对。
相似地，在本发明的部分实施例中，影像装置300也可比较第三影像以及第一影像撷取模块310在第一时段T1之前的第四时段T4所撷取第四影像，以判断判断影像是否产生动态变化，并在未侦测出动态变化时，才将第一深度信息与第三影像或第四影像配对。
在图6的实施例中，影像装置还可包括第二影像撷取模块320。第二影像撷取模块320具有与第一影像撷取模块310的第一视野角度FOV1相异的第二视野角度FOV2。在本发明的部分实施例中，深度处理器330亦可根据第一影像撷取模块310及第二影像撷取模块320于第一时段T1所撷取包括结构光的两张深度影像来产生深度信息。
此外，透过深度处理器330所取得的深度信息，影像装置300便可以利用例如图2所示的变焦方式，在切换影像撷取模块的过程中，设定虚拟的光学中心并根据第一影像撷取模块310及第二影像撷取模块320在第三时段T3所撷取的两张影像来合成出对应的虚拟视角影像，使得切换影像撷取模块的过程能够更加顺畅，并避免产生明显的视差。
在此情况下，影像装置300也可与前述影像装置100利用相似的方式，根据用户所要求的目标视角方向及目标焦距来提供对应的影像，并可与影像装置100以相似的方式储存影像及深度信息。
此外，本发明并不限定深度处理器330须利用结构光源360来产生深度信息。在本发明的部分实施例中，影像撷取模块310及320便可提供深度处理器330产生深度信息所需双眼视觉的左右眼影像。因此，在环境光源充足的情况下，影像装置300可将结构光源360关闭，而深度处理器330将在没有结构光的情况下产生深度信息。然而，在环境光源较为不足的情况下，影像装置300则会利用结构光源360以间歇性的方式投射结构光以提升深度处理器330所产生之深度信息的准确性。
综上所述，本发明的实施例所提出的影像装置可以根据用户要求的目标视野设定虚拟光学中心，并产生对应于虚拟光学中心的影像，使得在切换影像撷取模块的过程中，能够产生视点逐渐变化的一系列影像，避免用户感受到明显的视点变换，也使得拍摄过程更容易控制，增加使用者在使用上的便利性。此外，由于本发明的影像装置能够利用深度信息来产生对应于虚拟光学中心的影像，因此也无须严格限定两个影像撷取模块之间的距离，使得影像装置在设计及制造上具有更大的弹性。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种影像装置，其特征在于，包括：
第一影像撷取模块，具有第一视野角度；
第二影像撷取模块，具有第二视野角度，所述第二视野角度相异于所述第一视野角度，其中所述第一视野角度大于所述第二视野角度；及
图像处理器，耦接于所述第一影像撷取模块以及所述第二影像撷取模块，用以根据所述第一影像撷取模块的光学中心、所述第二影像撷取模块的光学中心以及目标视野设定虚拟光学中心在所述第一影像撷取模块的光学中心及所述第二影像撷取模块的光学中心之间的位置，并产生对应于所述虚拟光学中心的显示影像，其中所述目标视野是通过所欲拍摄物体所需要的视角方向和焦距来决定。
2.如权利要求1所述的影像装置，其特征在于所述图像处理器依据所述目标视野的改变，动态调整所述虚拟光学中心在所述第一影像撷取模块的光学中心及所述第二影像撷取模块的光学中心之间的位置。
3.如权利要求1所述的影像装置，其特征在于，还包括深度处理器，用以根据所述第一影像撷取模块及所述第二影像撷取模块所撷取的复数个影像产生深度信息，其中所述图像处理器根据所述深度信息处理所述第一影像撷取模块所撷取的第一影像及所述第二影像撷取模块所撷取的第二影像，以产生对应于所述虚拟光学中心的所述显示影像。
4.如权利要求3所述的影像装置，其特征在于所述图像处理器根据虚拟视点合成算法合成所述第一影像及所述第二影像以产生所述显示影像。
5.如权利要求3所述的影像装置，其特征在于：
所述影像装置利用标准影像压缩算法将所述第一影像压缩成压缩图像文件；及
所述深度信息是储存在所述压缩图像文件的使用者定义标头中。
6.如权利要求1所述的影像装置，其特征在于所述第一影像撷取模块具有鱼眼镜头。
7.如权利要求6所述的影像装置，其特征在于，还包括至少一第三影像撷取模块，具有第三视野角度，其中所述第一影像撷取模块及所述至少一第三影像撷取模块共同用以提供一360°全景影像。
8.如权利要求1所述的影像装置，其特征在于：
当所述影像装置接收到超出所述第一视野角度的目标视角方向时，所述影像装置持续呈现所述第一影像撷取模块原先所呈现的影像。
9.如权利要求1所述的影像装置，其特征在于：
当所述影像装置接收到超出所述第二视野角度的目标视角方向时，所述影像装置逐渐改以所述第一影像撷取模块提供所述目标视野内的显示影像。
10.如权利要求1所述的影像装置，其特征在于：
当目标焦距超出所述第一影像撷取模块的最大倍率对应的焦距且目标视野超出所述第二视野角度时，所述影像装置先呈现模糊放大影像，接着再恢复到呈现在所述第一影像撷取模块的最大倍率所撷取的影像。
CN201810283351.6A 2017-03-31 2018-04-02 影像装置 Active CN108718373B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762479331P 2017-03-31 2017-03-31
US62/479,331 2017-03-31

Publications (2)

Publication Number Publication Date
CN108718373A CN108718373A (zh) 2018-10-30
CN108718373B true CN108718373B (zh) 2022-11-15

Family

ID=63671146

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201810255869.9A Pending CN108961194A (zh) 2017-03-31 2018-03-27 用以融合多深度图的深度图产生装置
CN201810261129.6A Active CN108718392B (zh) 2017-03-31 2018-03-28 用以融合多深度图的深度图产生装置
CN201810283351.6A Active CN108718373B (zh) 2017-03-31 2018-04-02 影像装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201810255869.9A Pending CN108961194A (zh) 2017-03-31 2018-03-27 用以融合多深度图的深度图产生装置
CN201810261129.6A Active CN108718392B (zh) 2017-03-31 2018-03-28 用以融合多深度图的深度图产生装置

Country Status (3)

Country Link
US (5) US10650542B2 (zh)
CN (3) CN108961194A (zh)
TW (3) TWI672677B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10979687B2 (en) * 2017-04-03 2021-04-13 Sony Corporation Using super imposition to render a 3D depth map
KR102344104B1 (ko) * 2017-08-22 2021-12-28 삼성전자주식회사 이미지의 표시 효과를 제어할 수 있는 전자 장치 및 영상 표시 방법
US10484667B2 (en) 2017-10-31 2019-11-19 Sony Corporation Generating 3D depth map using parallax
CN109870116B (zh) * 2017-12-05 2021-08-03 光宝电子(广州)有限公司 深度成像装置及其驱动方法
US11128854B2 (en) * 2018-03-13 2021-09-21 Magic Leap, Inc. Image-enhanced depth sensing via depth sensor control
US10549186B2 (en) 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
US10863097B2 (en) * 2018-08-21 2020-12-08 Gopro, Inc. Field of view adjustment
US11257237B2 (en) * 2019-08-29 2022-02-22 Microsoft Technology Licensing, Llc Optimized exposure control for improved depth mapping
CN110996041A (zh) * 2019-10-15 2020-04-10 安徽清新互联信息科技有限公司 一种图像采集设备的自动巡检方法及系统
JP2021086189A (ja) * 2019-11-25 2021-06-03 キヤノン株式会社 情報処理装置、情報処理方法、映像処理システム、およびプログラム
US11450018B1 (en) * 2019-12-24 2022-09-20 X Development Llc Fusing multiple depth sensing modalities
CN113542712A (zh) * 2020-04-16 2021-10-22 钰立微电子股份有限公司 多深度信息的处理方法与处理系统
CN113890984B (zh) * 2020-07-03 2022-12-27 华为技术有限公司 拍照方法、图像处理方法和电子设备
US11741671B2 (en) 2021-06-16 2023-08-29 Samsung Electronics Co., Ltd. Three-dimensional scene recreation using depth fusion
US11425283B1 (en) * 2021-12-09 2022-08-23 Unity Technologies Sf Blending real and virtual focus in a virtual display environment

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1878317A (zh) * 2005-06-07 2006-12-13 朱河东 一种渐变式立体影像及其制作方法
CN101014123A (zh) * 2007-02-05 2007-08-08 北京大学 一种多视点视频流的自由视点视频重建方法及系统
CN102325259A (zh) * 2011-09-09 2012-01-18 青岛海信数字多媒体技术国家重点实验室有限公司 多视点视频中虚拟视点合成方法及装置
CN102932657A (zh) * 2011-08-08 2013-02-13 索尼公司 图像处理装置、图像处理方法和程序
CN103777454A (zh) * 2012-10-25 2014-05-07 耿征 真三维图像显示系统及显示方法
US9007431B1 (en) * 2013-11-27 2015-04-14 Dmitry Kozko Enabling the integration of a three hundred and sixty degree panoramic camera within a consumer device case

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6141145A (en) * 1998-08-28 2000-10-31 Lucent Technologies Stereo panoramic viewing system
KR100653200B1 (ko) * 2006-01-09 2006-12-05 삼성전자주식회사 기하 정보를 교정하여 파노라마 영상을 제공하는 방법 및장치
CN100556153C (zh) * 2007-12-05 2009-10-28 宁波大学 一种多视点图像的预处理方法
WO2010130084A1 (zh) * 2009-05-12 2010-11-18 华为终端有限公司 远程呈现系统、方法及视频采集设备
WO2011091604A1 (zh) * 2010-01-29 2011-08-04 华为终端有限公司 视频通信的方法、装置和系统
TWI445398B (zh) * 2010-07-09 2014-07-11 Novatek Microelectronics Corp 影像校正裝置及影像校正方法
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US20120274626A1 (en) * 2011-04-29 2012-11-01 Himax Media Solutions, Inc. Stereoscopic Image Generating Apparatus and Method
KR101265667B1 (ko) * 2011-06-21 2013-05-22 ㈜베이다스 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
WO2013054240A1 (en) * 2011-10-10 2013-04-18 Koninklijke Philips Electronics N.V. Depth map processing
WO2013108531A1 (ja) * 2012-01-19 2013-07-25 ソニー株式会社 受信装置、受信方法および電子機器
CN102609974B (zh) 2012-03-14 2014-04-09 浙江理工大学 一种基于深度图分割渲染的虚拟视点图像的生成方法
US20140198977A1 (en) * 2012-03-21 2014-07-17 Texas Instruments Incorporated Enhancement of Stereo Depth Maps
WO2013166656A1 (zh) 2012-05-08 2013-11-14 青岛海信信芯科技有限公司 一种提取及优化图像深度图的方法与装置
LU92074B1 (en) * 2012-09-18 2014-03-19 Iee Sarl Depth image enhancement method
TW201432622A (zh) * 2012-11-07 2014-08-16 Koninkl Philips Nv 產生一關於一影像之深度圖
CN103345736B (zh) * 2013-05-28 2016-08-31 天津大学 一种虚拟视点绘制方法
US20140363097A1 (en) * 2013-06-06 2014-12-11 Etron Technology, Inc. Image capture system and operation method thereof
KR102184766B1 (ko) * 2013-10-17 2020-11-30 삼성전자주식회사 3차원 모델 복원 시스템 및 방법
EP2869263A1 (en) * 2013-10-29 2015-05-06 Thomson Licensing Method and apparatus for generating depth map of a scene
IN2013CH05313A (zh) 2013-11-18 2015-05-29 Nokia Corp
CN103824318B (zh) * 2014-02-13 2016-11-23 西安交通大学 一种多摄像头阵列的深度感知方法
CN103942756B (zh) 2014-03-13 2017-03-29 华中科技大学 一种深度图后处理滤波的方法
CN105007475B (zh) 2014-04-17 2017-08-04 聚晶半导体股份有限公司 产生深度信息的方法与装置
CN103996174B (zh) * 2014-05-12 2017-05-10 上海大学 一种对Kinect深度图像进行空洞修复的方法
CN105282537A (zh) * 2014-07-04 2016-01-27 聚晶半导体股份有限公司 图像获取装置
CN105491267A (zh) * 2014-09-16 2016-04-13 聚晶半导体股份有限公司 影像撷取装置及数位变焦方法
KR102249831B1 (ko) * 2014-09-26 2021-05-10 삼성전자주식회사 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법
TWI554103B (zh) 2014-11-13 2016-10-11 聚晶半導體股份有限公司 影像擷取裝置及其數位變焦方法
US10066933B2 (en) * 2015-05-04 2018-09-04 Facebook, Inc. Camera depth mapping using structured light patterns
CN106210698B (zh) 2015-05-08 2018-02-13 光宝电子(广州)有限公司 深度相机的控制方法
TWI540897B (zh) * 2015-05-08 2016-07-01 光寶電子（廣州）有限公司 深度相機的控制方法
TWI554108B (zh) * 2015-08-04 2016-10-11 緯創資通股份有限公司 電子裝置及影像處理方法
WO2017101108A1 (en) * 2015-12-18 2017-06-22 Boe Technology Group Co., Ltd. Method, apparatus, and non-transitory computer readable medium for generating depth maps
US11461912B2 (en) * 2016-01-05 2022-10-04 California Institute Of Technology Gaussian mixture models for temporal depth fusion
CN105869167A (zh) * 2016-03-30 2016-08-17 天津大学 基于主被动融合的高分辨率深度图获取方法
NL2016660B1 (en) * 2016-04-22 2017-11-15 Cyclomedia Tech B V Image stitching method and device.
CN105744239B (zh) * 2016-05-11 2018-10-19 湖南源信光电科技有限公司 多焦距镜头超高分辨率联动成像装置
TWI567693B (zh) * 2016-05-17 2017-01-21 緯創資通股份有限公司 產生深度資訊的方法及其系統
US20180070010A1 (en) * 2016-09-02 2018-03-08 Altek Semiconductor Corp. Image capturing apparatus and image zooming method thereof
US20180091798A1 (en) * 2016-09-26 2018-03-29 Imec Taiwan Co. System and Method for Generating a Depth Map Using Differential Patterns
US10771768B2 (en) * 2016-12-15 2020-09-08 Qualcomm Incorporated Systems and methods for improved depth sensing

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1878317A (zh) * 2005-06-07 2006-12-13 朱河东 一种渐变式立体影像及其制作方法
CN101014123A (zh) * 2007-02-05 2007-08-08 北京大学 一种多视点视频流的自由视点视频重建方法及系统
CN102932657A (zh) * 2011-08-08 2013-02-13 索尼公司 图像处理装置、图像处理方法和程序
CN102325259A (zh) * 2011-09-09 2012-01-18 青岛海信数字多媒体技术国家重点实验室有限公司 多视点视频中虚拟视点合成方法及装置
CN103777454A (zh) * 2012-10-25 2014-05-07 耿征 真三维图像显示系统及显示方法
US9007431B1 (en) * 2013-11-27 2015-04-14 Dmitry Kozko Enabling the integration of a three hundred and sixty degree panoramic camera within a consumer device case

Also Published As

Publication number Publication date
US20180293749A1 (en) 2018-10-11
US20180288397A1 (en) 2018-10-04
TWI692967B (zh) 2020-05-01
TW201843652A (zh) 2018-12-16
TWI672677B (zh) 2019-09-21
TWI660327B (zh) 2019-05-21
TW201837785A (zh) 2018-10-16
CN108718373A (zh) 2018-10-30
US20200234460A1 (en) 2020-07-23
TW201837860A (zh) 2018-10-16
CN108718392A (zh) 2018-10-30
CN108961194A (zh) 2018-12-07
US10650542B2 (en) 2020-05-12
CN108718392B (zh) 2021-07-16
US11120567B2 (en) 2021-09-14
US10977817B2 (en) 2021-04-13
US10699432B2 (en) 2020-06-30
US20180293748A1 (en) 2018-10-11
US20210201521A1 (en) 2021-07-01

Similar Documents

Publication Publication Date Title
CN108718373B (zh) 影像装置
Nayar et al. Programmable imaging: Towards a flexible camera
KR102225617B1 (ko) 영상 정합 알고리즘을 설정하는 방법
JP2000316120A (ja) 全焦点撮像装置
US9807372B2 (en) Focused image generation single depth information from multiple images from multiple sensors
Nagase et al. Dynamic defocus and occlusion compensation of projected imagery by model-based optimal projector selection in multi-projection environment
JPWO2012029298A1 (ja) 撮影装置および画像処理方法
CN101577795A (zh) 一种实现全景图像的实时预览的方法和装置
JP2011077900A (ja) 画像処理装置、カメラ及び画像処理方法
TWI723419B (zh) 產生深度影像的影像裝置和相關的電子裝置
WO2019184185A1 (zh) 目标图像获取系统与方法
JP2012124555A (ja) 撮像装置
TWI676855B (zh) 投影機校正方法與使用此方法的投影系統
CN103324022A (zh) 三维照相模块与手持装置
KR102176963B1 (ko) 수평 시차 스테레오 파노라마를 캡쳐하는 시스템 및 방법
TWI613904B (zh) 立體影像產生方法及使用此方法的電子裝置
JP6700935B2 (ja) 撮像装置、その制御方法、および制御プログラム
CN108718404B (zh) 影像校正方法及影像校正系统
WO2012124331A1 (ja) ３ｄ撮像装置
US20160275657A1 (en) Imaging apparatus, image processing apparatus and method of processing image
US9154770B2 (en) Three-dimensional imaging device, image processing device, image processing method, and program
WO2018235256A1 (ja) ステレオ計測装置及びシステム
US10324363B2 (en) Image device capable of compensating image variation
KR20160031869A (ko) 단일 프로젝터를 이용한 입체 영상 프로젝팅 시스템
JP2016131297A (ja) 立体画像生成装置、立体画像生成方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant