CN109087235B - 图像处理器和相关的图像系统 - Google Patents

图像处理器和相关的图像系统 Download PDF

Info

Publication number
CN109087235B
CN109087235B CN201810517679.XA CN201810517679A CN109087235B CN 109087235 B CN109087235 B CN 109087235B CN 201810517679 A CN201810517679 A CN 201810517679A CN 109087235 B CN109087235 B CN 109087235B
Authority
CN
China
Prior art keywords
image
depth map
sensors
generate
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810517679.XA
Other languages
English (en)
Other versions
CN109087235A (zh
Inventor
李季峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
eYs3D Microelectronics Co
Original Assignee
eYs3D Microelectronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by eYs3D Microelectronics Co filed Critical eYs3D Microelectronics Co
Publication of CN109087235A publication Critical patent/CN109087235A/zh
Application granted granted Critical
Publication of CN109087235B publication Critical patent/CN109087235B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/028—Circuits for converting colour display signals into monochrome display signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种产生深度图和彩色图像的图像系统。所述图像系统包含多个图像传感器、至少一图像处理器和至少一深度图产生器。所述至少一图像处理器中的一图像处理器根据至少一图像传感器所产生的至少一图像产生用一第一位数表示的亮度信息和用一第二位数表示的至少一彩色图像。所述至少一深度图产生器中的一深度图产生器根据用所述第一位数表示的亮度信息产生对应所述至少一图像的深度图。因为本发明仅利用具有所述第一位数的亮度信息支持产生深度图，产生360度深度图，合并多深度图，增加深度图的工作范围，以及消除深度图的遮蔽等功能，且用所述第一位数表示的亮度信息所对应的灰阶值的数据量较少，所以本发明并不会有带宽的问题。

Description

图像处理器和相关的图像系统
技术领域
本发明涉及一种图像处理器和相关的图像系统，尤其涉及一种可同时支持产生深度图，产生彩色图像，产生360度彩色图像，产生360度深度图，合并多深度图，增加深度图的工作范围，以及消除深度图的遮蔽等功能的图像处理器和相关的图像系统。
背景技术
大部分现有技术所公开的图像系统都为单一功能导向，无法同时公开多种功能给用户。例如所述图像系统可能只支持产生深度图，或产生彩色图像，或产生360度彩色图像，或产生360度深度图。然而所述图像系统可能不支持合并多深度图，或增加深度图的工作范围，或是消除深度图的遮蔽。因此，因为所述图像系统无法同时公开上述多种功能给所述用户，所以所述图像系统对于所述用户而言并不是一个较佳的图像系统。
发明内容
本发明的一实施例公开一种图像处理器。所述图像处理器包含一亮度信息产生器和一彩色信息产生器。所述亮度信息产生器耦接于至少一图像传感器，用以根据对应至少一图像传感器所产生的至少一图像的数据，产生用一第一位数表示的亮度信息。所述彩色信息产生器耦接于所述至少一图像传感器，用以根据所述数据，产生用一第二位数表示的至少一彩色图像。
本发明的另一实施例公开一种产生深度图和彩色图像的图像系统。所述图像系统包含多个图像传感器、至少一图像处理器和至少一深度图产生器。所述至少一图像处理器中的一图像处理器耦接于所述多个图像传感器中的至少一图像传感器，用以根据所述至少一图像传感器所产生的至少一图像，产生用一第一位数表示的亮度信息和用一第二位数表示的至少一彩色图像，其中所述至少一彩色图像对应所述至少一图像。所述至少一深度图产生器中的一深度图产生器耦接于所述图像处理器，用以根据用所述第一位数表示的亮度信息，产生对应所述至少一图像的深度图。
本发明的另一实施例公开一种产生彩色图像的图像系统。所述图像系统包含一显示器、一储存装置、多个图像传感器、至少一图像处理器和至少一图像校正单元。所述所述至少一图像处理器中的一图像处理器耦接于所述多个图像传感器中的至少一图像传感器，用以根据所述至少一图像传感器所产生的至少一图像，产生至少一彩色图像。所述至少一图像校正单元中的一图像校正单元耦接于所述图像处理器，用以对所述至少一彩色图像执行一图像校正以产生一校正后的至少一彩色图像。当所述显示器耦接所述图像校正单元时，所述显示器显示所述校正后的至少一彩色图像且所述图像校正对应一第一几何空间转换，以及当所述储存装置耦接所述图像校正单元时，所述储存装置储存所述校正后的至少一彩色图像且所述图像校正对应一第二几何空间转换。所述第一几何空间转换不同于所述第二几何空间转换。
本发明的另一实施例公开一种产生深度图和彩色图像的图像系统。所述图像系统包含多个图像传感器、至少一图像处理器和至少一深度图产生器。所述至少一图像处理器中的一图像处理器耦接于所述多个图像传感器中的至少一图像传感器，用以根据所述至少一图像传感器所产生的至少一图像，产生对应所述至少一图像的亮度信息和对应所述至少一图像的至少一彩色图像。所述至少一深度图产生器中的一深度图产生器耦接于所述图像处理器，用以根据对应所述至少一图像的亮度信息，产生对应所述至少一图像的至少一深度图。所述至少一彩色图像和所述至少一深度图是应用于多个图像模式。
本发明公开一种图像处理器和相关的图像系统。所述图像处理器和所述图像系统是利用所述图像系统所包含的至少一图像处理器中的一图像处理器根据至少一图像传感器所产生的至少一图像，产生对应所述至少一图像的用一第一位数表示的亮度信息和对应所述至少一图像的用一第二位数表示的至少一彩色图像，以及利用所述图像系统所包含的至少一深度图产生器中的一深度图产生器根据具有所述第一位数的亮度信息，产生对应所述至少一图像的深度图。因此，相较于现有技术，因为本发明可同时公开用所述第一位数表示的亮度信息和用所述第二位数表示的至少一彩色图像，以及架构的多变性，所以本发明可支持产生深度图，产生彩色图像，产生360度彩色图像，产生360度深度图，合并多深度图，增加深度图的工作范围，以及消除深度图的遮蔽等功能中的其中至少一功能。另外，虽然所述第一位数大于所述第二位数，但本发明因为仅利用具有所述第一位数的亮度信息支持产生深度图，产生360度深度图，合并多深度图，增加深度图的工作范围，以及消除深度图的遮蔽等功能，且用所述第一位数表示的亮度信息所对应的灰阶值的数据量较少，所以本发明并不会有带宽的问题。
附图说明
图1是本发明的第一实施例所公开的一种产生深度图和彩色图像的图像系统的示意图。
图2是本发明的第二实施例所公开的图像系统的第一多任务器耦接图像传感器的示意图。
图3是说明图像传感器在印刷电路板上的设置位置的示意图。
图4A、4B是说明并排图像处理器并排第一图像以及第二图像成为肩并肩图像的示意图。
图5是说明图像处理器包含亮度信息产生器和彩色信息产生器的示意图。
图6是本发明的第三实施例所公开的图像系统的第一多任务器耦接图像传感器的示意图。
图7是说明图像传感器在印刷电路板上的设置位置的示意图。
图8是本发明的第四实施例所公开的图像系统的第一多任务器耦接图像传感器的示意图。
图9是说明图像传感器在印刷电路板上的设置位置的示意图。
图10是本发明的第五实施例所公开的图像系统的第一多任务器耦接图像传感器的示意图。
图11是说明图像传感器在印刷电路板上的设置位置的示意图。
图12是本发明的第六实施例所公开的图像系统的第一多任务器耦接图像传感器的示意图。
图13是说明图像传感器在印刷电路板上的设置位置的示意图。
图14是本发明的第七实施例所公开的一种产生深度图和彩色图像的图像系统的示意图。
图15是本发明的第八实施例所公开的图像系统的第一多任务器耦接图像传感器的示意图。
图16是说明图像传感器在印刷电路板上的设置位置的示意图。
图17是说明第二深度图的无效区是由第一深度图的有效区取代的示意图。
图18是本发明的第九实施例所公开的图像系统的第一多任务器耦接图像传感器的示意图。
图19是说明图像传感器在印刷电路板上的设置位置的示意图。
图20是说明第二深度图中有关第二对象的区域右方出现遮蔽区的示意图。
图21是说明第一深度图中具有有关第二对象的区域的示意图。
图22是本发明的第十实施例所公开的图像系统的第一多任务器耦接图像传感器的示意图。
图23是本发明的第十一实施例所公开的图像系统的第一多任务器耦接图像传感器的示意图。
图24是本发明的第十二实施例所公开的一种产生深度图和彩色图像的图像系统的示意图。
图25是本发明的第十三实施例所公开的图像系统的图像传感器、功能方块和第一功能方块的关系示意图。
图26是本发明的另一实施例说明图像系统的图像传感器、功能方块和第一功能方块的关系示意图。
图27是本发明的第十四实施例所公开的图像系统的图像传感器、功能方块和第一功能方块的关系示意图。
图28是本发明的另一实施例说明图像系统的图像传感器、功能方块和第一功能方块的关系示意图。
图29是本发明的第十五实施例所公开的图像系统的图像传感器、功能方块和第一功能方块的关系示意图。
图30是本发明的第十六实施例所公开的图像系统的图像传感器、功能方块和第一功能方块的关系示意图。
图31是本发明的第十七实施例所公开的一种产生深度图和彩色图像的图像系统的示意图。
图32是本发明的第十八实施例所公开的图像系统的图像传感器、功能方块和第二图像系统的关系示意图。
图33是本发明的另一实施例说明图像系统的图像传感器、功能方块和第二图像系统的关系示意图。
图34是本发明的第十九实施例所公开的图像系统的图像传感器、功能方块和第二图像系统的关系示意图。
图35是本发明的第二十实施例所公开的图像系统的图像传感器、功能方块和第二图像系统的关系示意图。
图36是本发明的第二十一实施例所公开的一种产生彩色图像的图像系统的示意图。
图37A、37B是本发明的第二十二实施例所公开的图像系统的图像传感器在车上的设置位置的示意图。
图38是本发明的另一实施例说明图像系统的八个图像传感器在车上的设置位置的示意图。
其中，附图标记说明如下：
100、1400、2400、3100、3600 图像系统
1011-101N、1011-1018 图像传感器
101 印刷电路板
102 第一多任务器
104、106、134 并排图像处理器
108、110、136 图像处理器
112、114、138 图像校正单元
116 深度图产生器
118 第二多任务器
120 第一深度图产生器
122、126 混合器
124 传输线
128 第一混合器
130 显示器
132 储存装置
1082 亮度信息产生器
1084 彩色信息产生器
1032、1034、1036、VDP 区域
1901 第一对象
1903 第二对象
2500、2702-2706、2902、2904、 第一功能方块
3002-3006、2502
3202、3204 第二功能方块
3702 车
BL1 第一基线
ADAS 行车辅助系统
BL2 第二基线
CLI 校正后的亮度信息
CSI 360度彩色图像
CFCI、CSCI、CTCI 校正后的彩色图像
CFLI 校正后的第一亮度信息
CSLI 校正后的第二亮度信息
CSDP 校正深度图
DP 深度图
D1、D2 距离
FDP 第一深度图
FMDP 第一合并深度图
FI 第一图像
FCI 第一彩色图像
FCSI 第一360度彩色图像
FOI 第四图像
FOCI 第四彩色图像
FII 第五图像
FLI 第一亮度信息
FPDP 第一360度深度图
FODP 第四深度图
IVA2 无效区
LI 亮度信息
MDP 合并深度图
NMDP 新合并深度图
OSDP 遮蔽区
PDP 360度深度图
SI 第二图像
SCI 第二彩色图像
SCSI 第二360度彩色图像
SBSI 肩并肩图像
SLI 第二亮度信息
SPDP 第二360度深度图
SDP 第二深度图
SMDP 第二合并深度图
TI 第三图像
TCI 第三彩色图像
TDP 第三深度图
VA1、VA2 有效区
具体实施方式
请参照图1，图1是本发明的第一实施例所公开的一种产生深度图和彩色图像的图像系统100的示意图。如图1所示，图像系统100包含多个图像传感器1011-101N，一第一多任务器102，并排图像处理器104、106，图像处理器108、110，图像校正单元112、114，深度图产生器116，以及一第二多任务器118，其中多个图像传感器1011-101N，第一多任务器102，并排图像处理器104、106，图像处理器108、110，图像校正单元112、114，深度图产生器116，以及第二多任务器118之间的电连接关系可参照图1，在此不再赘述，以及N为不小于2的正整数。另外，本技术领域的技术人员应当熟知多个图像传感器1011-101N中的每一图像传感器至少包含一镜头和一传感器(例如电荷耦合组件(Charge-coupled Device,CCD)图像传感器或互补式金属氧化物半导体(Complementary Metal-Oxide-Semiconductor,CMOS)晶体管图像传感器)。
请参照图2，图2是本发明的第二实施例所公开的图像系统100的第一多任务器102耦接图像传感器1011、1012的示意图，以及图像传感器1011、1012在一印刷电路板101上的设置位置可参照图3，其中第一多任务器102可通过印刷电路板101耦接图像传感器1011、1012，图像传感器1011、1012是贝尔样式(bayer pattern)图像传感器，以及图2所示的粗黑线是信号处理路径。但在本发明的另一实施例中，图像传感器1011、1012是红绿蓝红外光(RGB-IR)图像传感器。如图2所示，图像传感器1011、1012可分别产生一第一图像FI和一第二图像SI，其中第一图像FI为一左眼图像以及第二图像SI为一右眼图像，以及第一图像FI和一第二图像SI为用一输入位数(例如14位)表示的原始图像(raw data)。但本发明并不受限于所述输入位数为14位。并排图像处理器104耦接于第一多任务器102，其中并排图像处理器104可通过第一多任务器102接收第一图像FI以及第二图像SI以及用以并排第一图像FI以及第二图像SI成为一肩并肩(side-by-side)图像SBSI(如图4A所示)。另外，在本发明的另一实施例中，并排图像处理器104可接收超过二图像以上的输入(如图4B所示)。如图2所示，图像处理器108耦接于并排图像处理器104，用以一起处理第一图像FI以及第二图像SI(因为肩并肩图像SBSI包含第一图像FI以及第二图像SI)。如图5所示，图像处理器108包含一亮度信息产生器1082和一彩色信息产生器1084。亮度信息产生器1082用以根据对应第一图像FI以及第二图像SI的原始数据所包含的Y成份或IR成份，产生用一第一位数(例如14位)表示的亮度信息LI，其中亮度信息LI对应第一图像FI以及第二图像SI，亮度信息LI是用所述第一位数表示的灰阶值，以及所述输入位数和所述第一位数可相同或是不同。如图5所示，彩色信息产生器1084是用以根据对应第一图像FI以及第二图像SI的原始数据，产生用一第二位数(例如8位)表示的一第一彩色图像FCI和一第二彩色图像SCI，其中第一彩色图像FCI和第二彩色图像SCI具有对应第一图像FI以及第二图像SI的原始数据所包含的R、G、B成份或Y、U、V成份，第一彩色图像FCI和第二彩色图像SCI分别对应第一图像FI以及第二图像SI，以及所述第一位数大于所述第二位数。但本发明并不受限于所述第二位数为8位。
在图像处理器108产生亮度信息LI、第一彩色图像FCI和第二彩色图像SCI后，图像校正单元112、114可用以分别对用所述第一位数表示的亮度信息LI和用所述第二位数表示的第一彩色图像FCI和第二彩色图像SCI执行一图像校正以产生一校正后的亮度信息CLI和校正后的彩色图像CFCI、CSCI，且校正后的亮度信息CLI用所述第一位数表示和校正后的彩色图像CFCI、CSCI用所述第二位数表示。另外，所述图像校正至少包含几何转换如失真(distortion)校正、旋转、缩放、平面与非平面投影等。另外，在本发明的另一实施例中，因为图像校正单元112的运算能力比较强大，所以图像校正单元112可直接分别对用所述第一位数表示的亮度信息LI和用所述第二位数表示的第一彩色图像FCI和第二彩色图像SCI执行所述图像校正以产生校正后的亮度信息CLI和校正后的彩色图像CFCI、CSCI，并通过一传输线124传送校正后的彩色图像CFCI、CSCI至第二多任务器118，其中校正后的亮度信息CLI用所述第一位数表示和校正后的彩色图像CFCI、CSCI用所述第二位数表示。也就是说当图像校正单元112的运算能力比较强大时，图像校正单元114可被省略。另外，本发明所述的并排图像处理器(并排图像处理器104、106)的目的是用以减少后续图像处理器(图像处理器108、110)的数量，所以本发明所述的并排图像处理器并非必须。例如在本发明的另一实施例中，第一图像FI的相关信号处理路径是图像处理器108、图像校正单元112和深度图产生器116；第二图像SI的相关信号处理路径是图像处理器110、图像校正单元114和深度图产生器116，或图像处理器110、图像校正单元114和第二多任务器118。另外，本发明所述的图像校正单元(图像校正单元112、114)中的每一图像校正单元可接受所有图像处理器(图像处理器108、110)的数据，承上所述，第二图像SI的相关信号处理路径是图像处理器110、图像校正单元112和深度图产生器116。
在图像校正单元112产生校正后的亮度信息CLI或校正后的彩色图像CFCI、CSCI后，深度图产生器116可根据校正后的亮度信息CLI或校正后的彩色图像CFCI、CSCI，产生深度图DP。另外，在图像系统100输出深度图DP之前，图像系统100可选择性地利用一后处理器(未绘示于图2)对深度图DP执行美化或补洞的处理以使深度图DP的质量较佳。另外，如图2所示，校正后的彩色图像CFCI、CSCI可通过第二多任务器118输出。
另外，如图2所示，因为第一多任务器102只耦接图像传感器1011、1012，所以此时并排图像处理器106和图像处理器110可被省略。另外，并排图像处理器104可以是一具有上述并排图像处理器104的功能的现场可程序逻辑门阵列(Field Programmable GateArray,FPGA)，或是一具有上述并排图像处理器104的功能的特殊应用集成电路(Application-specific integrated circuit,ASIC)或是一具有上述并排图像处理器104的功能的软件模块。另外，图像处理器108可以是一具有上述图像处理器108的功能的现场可程序逻辑门阵列，或是一具有上述图像处理器108的功能的特殊应用集成电路或是一具有上述图像处理器108的功能的软件模块。另外，图像校正单元112可以是一具有上述图像校正单元112的功能的现场可程序逻辑门阵列，或是一具有上述图像校正单元112的功能的特殊应用集成电路或是一具有上述图像校正单元112的功能的软件模块。另外，深度图产生器116可以是一具有上述深度图产生器116的功能的现场可程序逻辑门阵列，或是一具有上述深度图产生器116的功能的特殊应用集成电路或是一具有上述深度图产生器116的功能的软件模块。
另外，请参照图6，图6是本发明的第三实施例所公开的图像系统100的第一多任务器102耦接图像传感器1011、1012、1013的示意图，以及图像传感器1011、1012、1013在印刷电路板101上的设置位置可参照图7，其中第一多任务器102可通过印刷电路板101耦接图像传感器1011、1012、1013，图像传感器1011、1012是红外线图像传感器，图像传感器1013是一红绿蓝图像传感器，以及图6所示的粗黑线是信号处理路径。如图6所示，图像系统100利用图像传感器1011、1012所产生的第一图像FI和第二图像SI、图像处理器108、图像校正单元112和深度图产生器116产生深度图DP的原理可参照图2的相关说明，在此不再赘述。另外，如图6所示，图像传感器1013所产生的一第三图像TI也为具有所述输入位数(例如14位)的图像，以及图像系统100可关闭并排图像处理器106，并利用图像处理器110和图像校正单元114处理第三图像TI以产生一校正后的彩色图像CTCI，其中校正后的彩色图像CTCI用所述第二位数表示。另外，并排图像处理器106、图像处理器110和图像校正单元114的操作原理可参照并排图像处理器104、图像处理器108和图像校正单元112的操作原理，在此不再赘述。另外，如图6所示，校正后的彩色图像CTCI通过第二多任务器118输出。
另外，请参照图8，图8是本发明的第四实施例所公开的图像系统100的第一多任务器102耦接图像传感器1011、1012、1013的示意图，以及图像传感器1011、1012、1013在印刷电路板101上的设置位置可参照图9，其中第一多任务器102可通过印刷电路板101耦接图像传感器1011、1012、1013，图像传感器1012、1013是鱼眼图像传感器，以及图8所示的粗黑线是信号处理路径。如图8所示，图像系统100利用图像传感器1011、1012所产生的第一图像FI和第二图像SI、图像处理器108、图像校正单元112和深度图产生器116产生深度图DP的原理可参照图2的相关说明，在此不再赘述。另外，如图8所示，第二彩色图像SCI(用所述第二位数表示)可利用并排图像处理器106和图像处理器110处理图像传感器1012所产生的第二图像SI产生。另外，图像系统100是利用并排图像处理器106和图像处理器110处理第三图像TI以产生一第三彩色图像TCI，其中第三彩色图像TCI用所述第二位数表示。如图8所示，在第二彩色图像SCI和第三彩色图像TCI产生后，图像校正单元114可根据第二彩色图像SCI和第三彩色图像TCI产生一360度彩色图像CSI(例如当图像校正单元114拼接第二彩色图像SCI和第三彩色图像TCI时，图像校正单元114可对齐第二彩色图像SCI和第三彩色图像TCI之间的缝线以产生360度彩色图像CSI)，其中360度彩色图像CSI用所述第二位数表示。另外，如图8所示，360度彩色图像CSI可通过第二多任务器118输出。另外，图像校正单元112也可产生校正后的彩色图像CFCI、CSCI或校正后的亮度信息CLI，并通过传输线124和第二多任务器118输出。
另外，请参照图10，图10是本发明的第五实施例所公开的图像系统100的第一多任务器102耦接图像传感器1011、1012、1013、1014的示意图，以及图像传感器1011、1012、1013、1014在印刷电路板101上的设置位置可参照图11，其中第一多任务器102可通过印刷电路板101耦接图像传感器1011、1012、1013、1014，图像传感器1013、1014是鱼眼图像传感器，以及图10所示的粗黑线是信号处理路径。如图10所示，图像系统100利用图像传感器1011、1012所产生的第一图像FI和第二图像SI、图像处理器108、图像校正单元112和深度图产生器116产生深度图DP的原理可参照图2的相关说明，在此不再赘述。另外，图像系统100是利用并排图像处理器106和图像处理器110处理第三图像TI和一第四图像FOI以分别产生第三彩色图像TCI和一第四彩色图像FOCI，其中第三彩色图像TCI和第四彩色图像FOCI都用所述第二位数表示。如图10所示，在第三彩色图像TCI和第四彩色图像FOCI产生后，图像校正单元114可根据第三彩色图像TCI和第四彩色图像FOCI产生360度彩色图像CSI，其中360度彩色图像CSI用所述第二位数表示。另外，如图10所示，360度彩色图像CSI可通过第二多任务器118输出。另外，图像校正单元112也可产生校正后的彩色图像CFCI、CSCI或校正后的亮度信息CLI，并通过传输线124和第二多任务器118输出。
另外，请参照图12，图12是本发明的第六实施例所公开的图像系统100的第一多任务器102耦接图像传感器1011、1012、1013、1014的示意图，以及图像传感器1011、1012、1013、1014在印刷电路板101上的设置位置可参照图13，其中第一多任务器102可通过印刷电路板101耦接图像传感器1011、1012、1013、1014，图像传感器1011、1012、1013、1014是鱼眼图像传感器，以及图12所示的粗黑线是信号处理路径。如图12所示，图像系统100利用图像传感器1011、1012所产生的第一图像FI(半球体图像)和第二图像SI(半球体图像)和图像处理器108产生用所述第一位数表示的第一亮度信息FLI。在图像处理器108产生第一亮度信息FLI后，图像校正单元112可根据第一亮度信息FLI产生一校正后的第一亮度信息CFLI，且校正后的第一亮度信息CFLI用所述第一位数表示。另外，图像校正单元112也可产生校正后的彩色图像CFCI、CSCI，并根据校正后的彩色图像CFCI、CSCI产生一第一360度彩色图像FCSI，其中第一360度彩色图像FCSI是通过传输线124和第二多任务器118输出。另外，如图12所示，图像系统100也可利用图像传感器1013、1014所产生的第三图像TI(半球体图像)和第四图像FOI(半球体图像)和图像处理器110产生用所述第一位数表示的第二亮度信息SLI。在图像处理器110产生第二亮度信息SLI后，图像校正单元114可根据第二亮度信息SLI产生一校正后的第二亮度信息CSLI，且校正后的第二亮度信息CSLI用所述第一位数表示。另外，图像校正单元114也可产生校正后的彩色图像CTCI、CFOCI，并根据校正后的彩色图像CTCI、CFOCI产生一第二360度彩色图像SCSI，其中第二360度彩色图像SCSI是通过第二多任务器118输出。在图像校正单元114产生校正后的第二亮度信息CSLI或第二360度彩色图像SCSI后，与图像校正单元112产生校正后的第一亮度信息CFLI或第一360度彩色图像FCSI后，深度图产生器116将校正后的第一亮度信息CFLI以及校正后的第二亮度信息CSLI计算以产生一360度深度图FPDP。另外，在本发明的另一实施例中，深度图产生器116根据第一360度彩色图像FCSI和第二360度彩色图像SCSI产生360度深度图FPDP。
请参照图14，图14是本发明的第七实施例所公开的一种产生深度图和彩色图像的图像系统1400的示意图。如图14所示，图像系统1400和图像系统100的差别在于图像系统1400另包含一第一深度图产生器120和一混合器122，其中多个图像传感器1011-101N，第一多任务器102，并排图像处理器104、106，图像处理器108、110，图像校正单元112、114，深度图产生器116，第二多任务器118，第一深度图产生器120和混合器122之间的电连接关系可参照图14，在此不再赘述，以及N为不小于2的正整数。
另外，请参照图15，图15是本发明的第八实施例所公开的图像系统1400的第一多任务器102耦接图像传感器1011、1012、1013的示意图，以及图像传感器1011、1012、1013在印刷电路板101上的设置位置可参照图16，其中第一多任务器102可通过印刷电路板101耦接图像传感器1011、1012、1013，以及图16所示的粗黑线是信号处理路径。如图16所示，图像系统1400利用图像传感器1011、1012(一第一图像获取对)所产生的第一图像FI和第二图像SI、图像处理器108、图像校正单元112和深度图产生器116产生第一深度图FDP的原理可参照图2的相关说明，在此不再赘述。另外，图像系统1400利用图像传感器1011、1013(一第二图像获取对)所产生的第一图像FI和第三图像TI、图像处理器110、图像校正单元114和第一深度图产生器120产生第二深度图SDP的原理也可参照图2的相关说明，在此不再赘述。
如图16所示，所述第一图像获取对所对应的第一基线BL1的长度小于所述第二图像获取对所对应的第二基线BL2的长度，所以第一深度图FDP的准确度较第二深度图SDP的准确度低，但第二深度图SDP的有效区范围较第一深度图FDP的有效区范围窄，也就是说对应第二深度图SDP的最大视差(disparity)的距离D2会大于对应第一深度图FDP的最大视差的距离D1。在第一深度图FDP和第二深度图SDP产生后，电连接深度图产生器116和第一深度图产生器120的混合器122可根据一第一规则合并第一深度图FDP和第二深度图SDP以产生一合并深度图MDP，并可执行一正规化操作(例如一数值正规化操作或一几何正规化操作)，或可进行图像合并的操作，其中混合器122可以是一具有上述混合器122的功能的现场可程序逻辑门阵列，或是一具有上述混合器122的功能的特殊应用集成电路，或是一具有上述混合器122的功能的软件模块。所述第一规则包含第二深度图SDP的无效区(invalid area)IVA2(对应距离D2)是由第一深度图FDP的有效区VA1取代(如图17所示)。另外，第一深度图产生器120的操作原理和结构都和深度图产生器116相同，在此不再赘述。另外关于所述数值正规化，因为第二基线BL2大于第一基线BL1，所以当第一深度图FDP和第二深度图SDP是用视差表示时，第一深度图FDP的有效区VA1的视差必须被执行一正规化操作，也就是说第一深度图FDP的有效区VA1的视差必须乘上一第一正规化比例以匹配第二深度图SDP的视差，其中所述第一正规化比例是由式(1)所决定：
NRA＝BL2/BL1 (1)
其中NRA为所述第一正规化比例、BL1为第一基线BL1的长度以及BL2为第二基线BL2的长度。因此，合并深度图MDP将包含第一深度图FDP的有效区VA1和第二深度图SDP的有效区VA2，其中有效区VA1的视差是一正规化后的视差。另外，因为第一深度图FDP有可能与第二深度图SDP采用不同的校正公式，所以第一深度图FDP(或第二深度图SDP)需经过所述几何正规化操作以使第一深度图FDP与第二深度图SDP的几何位置互相匹配。另外，图像校正单元114是输出对应所述几何正规化操作的校正后的彩色图像CFCI、CTCI，也就是说第二深度图SDP和校正后的彩色图像CFCI、CTCI的几何位置必须互相匹配。
另外，请参照图18，图18是本发明的第九实施例所公开的图像系统1400的第一多任务器102耦接图像传感器1011、1012、1013的示意图，以及图像传感器1011、1012、1013在印刷电路板101上的设置位置可参照图19，其中图18所示的粗黑线是信号处理路径。如图18所示，图像系统1400利用图像传感器1011、1012(一第一图像获取对)所产生的第一图像FI和第二图像SI、图像处理器108、图像校正单元112和深度图产生器116产生第一深度图FDP的原理可参照图2的相关说明，在此不再赘述。另外，图像系统1400利用图像传感器1012、1013(一第二图像获取对)所产生的第二图像SI和第三图像TI、图像处理器110、图像校正单元114和第一深度图产生器120产生第二深度图SDP的原理也可参照图2的相关说明，在此不再赘述。如图19所示，图像传感器1011、1012之间具有第一基线BL1以及图像传感器1012、1013之间具有第二基线BL2，其中在本发明的一实施例中，第一基线BL1的长度和第二基线BL2的长度相等。
如图19所示，当一第一对象1901介于图像传感器1011、1012、1013和一第二对象1903之间，图像传感器1013相对于第二对象1903的视野将会因为第一对象1901的阻挡而无法传感第二对象1903的区域1032，导致第一深度图产生器120根据所述第二图像获取对所获取的包含第二对象1903的图像所产生的第二深度图SDP中有关第二对象1903的区域1034右方出现一遮蔽区OSDP(如图20所示)。以图19中图像传感器1012设置在图像传感器1013的左侧且图像传感器1012设置在图像传感器1011的右侧为例来说明，则第一深度图产生器120在图像传感器1012、1013所获取的图像中的搜寻方向是以图像传感器1012的图像内容为基准在图像传感器1013所获取的图像内容中向左方搜寻。第二深度图SDP中的遮蔽区OSDP即为第二深度图SDP中的无效区(invalid area)。另外，深度图产生器116也可根据所述第一图像获取对所产生的包含第二对象1903的图像，产生对应所述第一图像获取对的第一深度图FDP，其中第一深度图FDP中具有有关第二对象1903的区域1036(如图21所示)，且深度图产生器116在图像传感器1011、1012所获取的图像内容中的搜寻方向是以图像传感器1012图像内容为基准在图像传感器1011所获取的图像内容中向右方搜寻。如图19所示，虽然第一对象1901介于图像系统1400和第二对象1903之间，但因为图像传感器1011、1012相对于第二对象1903的视野没有受到第一对象1901的阻挡，所以图像传感器1011、1012都可以传感第二对象1903的区域1032。因此，深度图产生器116在所述第一图像获取对所获取的包含第二对象1903的图像内容中的搜寻方向是以图像传感器1012的图像内容为基准在图像传感器1011所获取的图像内容中向右方搜寻以产生第一深度图FDP，所以第一深度图FDP中对应第二深度图SDP的遮蔽区OSDP的区域VDP(如图21所示)是一有效区。因此，混合器122即可利用第一深度图FDP中对应第二深度图SDP的遮蔽区OSDP的区域VDP的深度信息校正(例如取代)第二深度图SDP的遮蔽区OSDP，然后输出对应第二深度图SDP的校正深度图CSDP。另外，因为第一基线BL1的长度和第二基线BL2的长度相等，所以混合器122可直接利用第一深度图FDP的区域VDP的深度信息取代第二深度图SDP的遮蔽区OSDP，也就是说当混合器122利用第一深度图FDP的区域VDP的深度信息取代第二深度图SDP的遮蔽区OSDP时，区域VDP的视差不需做任何正规化操作以匹配第二深度图SDP的视差。然而在本发明的另一实施例中，如果第一基线BL1的长度不等于第二基线BL2的长度，则当混合器122利用第一深度图FDP的区域VDP的深度信息取代第二深度图SDP的遮蔽区OSDP时，区域VDP的视差必须被执行所述正规化操作。另外，因为第一深度图FDP有可能与第二深度图SDP采用不同的校正公式，所以第一深度图FDP(或第二深度图SDP)需经过所述几何正规化操作以使第一深度图FDP与第二深度图SDP的几何位置互相匹配。另外，图像校正单元114是输出对应所述几何正规化操作的校正后的彩色图像CSCI、CTCI。
另外，请参照图22，图22是本发明的第十实施例所公开的图像系统1400的第一多任务器102耦接图像传感器1011、1012的示意图，其中图22所示的粗黑线是信号处理路径。如图22所示，图像系统1400利用图像传感器1011、1012所产生的第一图像FI和第二图像SI、图像处理器108、图像校正单元112和深度图产生器116产生第一深度图FDP的原理可参照图2的相关说明，在此不再赘述。另外，如图22所示，在图像处理器110根据第一图像FI和第二图像SI产生第二亮度信息SLI后，图像校正单元114可基于第一亮度信息FLI的分辨率缩放(放大、缩小)第二亮度信息SLI产生校正后的第二亮度信息CSLI，其中图像校正单元114可垂直缩放(或水平缩放)第二亮度信息SLI。另外，在本发明的另一实施例中，图像校正单元114可缩放第一彩色图像FCI和第二彩色图像SCI以产生校正后的彩色图像CFCI、CSCI。在本发明的另一实施例中，上述缩放动作也可由图像处理器108直接完成。然后，在本发明的一实施例中，第一深度图产生器120可根据校正后的第二亮度信息CSLI产生一暂时第二深度图，其中校正后的第二亮度信息CSLI的分辨率会不同于校正后的第一亮度信息CFLI的分辨率。在第一深度图产生器120产生所述暂时第二深度图后，第一深度图产生器120可缩放所述暂时第二深度图以产生第二深度图SDP使所述分辨率等同于第一深度图FDP。如果校正后的第二亮度信息CSLI的水平分辨率高于校正后的第一亮度信息CFLI的水平分辨率，则第二深度图SDP的第二水平分辨率会高于第一深度图FDP的第一水平分辨率，也就是说第一深度图FDP的准确度较第二深度图SDP的准确度低，但第一深度图FDP的有效区范围较第二深度图SDP的有效区范围大。在第一深度图FDP和第二深度图SDP产生后，电连接深度图产生器116和第一深度图产生器120的混合器122可根据所述第一规则合并第一深度图FDP和第二深度图SDP以产生合并深度图MDP，其中所述第一规则包含第二深度图SDP的无效区IVA2(对应距离D2)是由第一深度图FDP的有效区VA1取代(可参照图17)。另外，所述第一规则可参照第15-17图的相关说明，在此不再赘述。同理，当第一深度图FDP和第二深度图SDP是用视差表示时，第一深度图FDP的有效区VA1的视差必须被执行所述正规化操作，也就是说第一深度图FDP的有效区VA1的视差必须乘上一正规化比例以匹配第二深度图SDP的视差，其中所述正规化比例是由第一深度图FDP的分辨率和第二深度图SDP的分辨率决定。
另外，请参照图23，图23是本发明的第十一实施例所公开的图像系统1400的第一多任务器102耦接图像传感器1011、1012的示意图，其中图23所示的粗黑线是信号处理路径。如图23所示，图像系统1400利用图像传感器1011、1012所产生的第一图像FI和第二图像SI、图像处理器108和图像校正单元112产生第一亮度信息FLI(或第一色彩图像FCI和第二彩色图像SCI)的原理可参照图2的相关说明，在此不再赘述。另外，如图23所示，第一深度产图生器120可另通过改变匹配比对的分辨率(也就是区块匹配比对采样频率)，以产生具有不同特性的第二深度图SDP，其中在本发明的一实施例中，对应校正后的第一亮度信息CFLI的第一区块匹配比对采样频率小于对应第二深度图SDP的第二亮度信息的第二区块匹配比对采样频率。因此，深度图产生器116可根据所述第一区块匹配比对采样频率，对校正后的第一亮度信息CFLI进行区块匹配比对产生对应所述第一区块匹配比对采样频率的第一深度图FDP，以及第一深度图产生器120可根据所述第二区块匹配比对采样频率，对所述第二亮度信息进行区块匹配比对产生对应所述第二区块匹配比对采样频率的第二深度图SDP。因为所述第一区块匹配比对采样频率小于所述第二区块匹配比对采样频率，所以对应所述第一区块匹配比对采样频率的第一深度图FDP的分辨率小于对应所述第二区块匹配比对采样频率的第二深度图SDP的分辨率，其中对应所述第一区块匹配比对采样频率的第一深度图FDP的有效范围和对应所述第二区块匹配比对采样频率的第二深度图SDP的有效范围可参照图17。另外，混合器122可根据所述第一规则合并对应所述第一区块匹配比对采样频率的第一深度图FDP和对应所述第二区块匹配比对采样频率的第二深度图SDP以产生合并深度图MDP。例如，所述第一规则包含第二深度图SDP的无效区IVA2是由第一深度图FDP的有效区VA1取代。另外，当对应所述第一区块匹配比对采样频率的第一深度图FDP和对应所述第二区块匹配比对采样频率的第二深度图SDP是用视差表示时，对应所述第一区块匹配比对采样频率的第一深度图FDP的有效区VA1的视差必须乘上一第二正规化比例以匹配对应所述第二区块匹配比对采样频率的第二深度图SDP的视差，其中所述第二正规化比例是由式(2)所决定：
SNRA＝SSR/FSR (2)
其中SNRA为所述第二正规化比例、FSR为所述第一区块匹配比对采样频率以及SSR为所述第二区块匹配比对采样频率。
请参照图24，图24是本发明的第十二实施例所公开的一种产生深度图和彩色图像的图像系统2400的示意图。如图24所示，图像系统2400和图像系统100的差别在于图像系统2400另包含一混合器126，其中多个图像传感器1011-101N，第一多任务器102，并排图像处理器104、106，图像处理器108、110，图像校正单元112、114，深度图产生器116，第二多任务器118，和混合器126之间的电连接关系可参照图24，在此不再赘述，以及N为不小于2的正整数。
请参照图25，图25是本发明的第十三实施例所公开的图像系统2400的图像传感器1011、1012、1013、一第一功能方块2502、2504的关系示意图，其中如图25所示，图像系统2400的第一多任务器102，并排图像处理器104、106，图像处理器108、110，图像校正单元112、114，深度图产生器116，第二多任务器118，和混合器126皆被简化包含在第一功能方块2502内，所以功能方块2502具有第一多任务器102，并排图像处理器104、106，图像处理器108、110，图像校正单元112、114，深度图产生器116，第二多任务器118，和混合器126的功能。另外，如图25所示，第一功能方块2504具有第一功能方块2502的所有相关功能，且在图像系统2400外。另外，第一功能方块2502利用图像传感器1011、1012所产生的第一图像FI和第二图像SI产生第一深度图FDP的原理可参照图2的相关说明，在此不再赘述。另外，第一功能方块2504利用图像传感器1011、1013所产生的第一图像FI和第三图像TI产生第二深度图SDP的原理也可参照图2的相关说明，在此不再赘述，以及第一功能方块2504传送第二深度图SDP至第一功能方块2502。因此，当第一功能方块2502产生第一深度图FDP以及接收第二深度图SDP后，第一功能方块2502内的混合器126可合并第一深度图FDP以及第二深度图SDP以产生合并深度图MDP。另外，在本发明的另一实施例中，第一功能方块2504是通过第一功能方块2502接收图像传感器1011所产生的第一图像FI(如图26所示)。另外，混合器126的操作原理和结构都和混合器122相同，在此不再赘述。
请参照图27，图27是本发明的第十四实施例所公开的图像系统2400的图像传感器1011-1015、第一功能方块2502和第一功能方块2702-2706的关系示意图。如图27所示，第一功能方块2702-2706具有图像系统2400的所有相关功能，且在图像系统2400外。第一功能方块2702利用图像传感器1011、1013所产生的第一图像FI和第三图像TI产生第二深度图SDP的原理，第一功能方块2704利用图像传感器1011、1014所产生的第一图像FI和第四图像FOI产生一第三深度图TDP的原理，以及第一功能方块2706利用图像传感器1011、1015所产生的第一图像FI和一第五图像FII产生一第四深度图FODP的原理可参照图2的相关说明，在此不再赘述。另外，第四深度图FODP被传送至第一功能方块2704，然后第一功能方块2704合并第四深度图FODP和第三深度图TDP以产生一第一合并深度图FMDP；第一合并深度图FMDP被传送至第一功能方块2702，然后第一功能方块2702合并第一合并深度图FMDP和第二深度图SDP以产生一第二合并深度图SMDP；第二合并深度图SMDP被传送至第一功能方块2502，然后第一功能方块2502合并第二合并深度图SMDP和第一深度图FDP以产生合并深度图MDP。另外，在本发明的另一实施例中，第一功能方块2702-2706是通过功能方块2502接收图像传感器1011所产生的第一图像FI(如图28所示)。
请参照图29，图29是本发明的第十五实施例所公开的图像系统2400的图像传感器1011-1013、第一功能方块2502和第一功能方块2902、2904的关系示意图。如图29所示，第一功能方块2902、2904具有第一功能方块2502的所有相关功能，且在图像系统2400外。第一功能方块2902利用图像传感器1012、1013所产生的第二图像SI和第三图像TI产生第二深度图SDP的原理，以及第一功能方块2904利用图像传感器1011、1013所产生的第一图像FI和第三图像TI产生第三深度图TDP的原理可参照图2的相关说明，在此不再赘述。另外，第三深度图TDP被传送至第一功能方块2902，然后第一功能方块2902合并第三深度图TDP和第二深度图SDP以产生第一合并深度图FMDP；第一合并深度图FMDP被传送至第一功能方块2502，然后第一功能方块2502合并第一合并深度图FMDP和第一深度图FDP以产生一360度深度图PDP。
请参照图30，图30是本发明的第十六实施例所公开的图像系统2400的图像传感器1011-1014、功能方块2502和第一功能方块3002-3006的关系示意图。如图30所示，第一功能方块3002-3006具有图像系统2400的所有相关功能，且在图像系统2400外。第一功能方块3002利用图像传感器1014、1013所产生的第四图像FOI和第三图像TI产生第二深度图SDP的原理，第一功能方块3004利用图像传感器1012、1013所产生的第二图像SI和第三图像TI产生第三深度图TDP的原理，以及第一功能方块3006利用图像传感器1011、1012所产生的第一图像FI和第二图像SI产生第四深度图FODP的原理可参照图2的相关说明，在此不再赘述。另外，第四深度图FODP被传送至第一功能方块3004，然后第一功能方块3004合并第四深度图FODP和第三深度图TDP以产生第一合并深度图FMDP；第一合并深度图FMDP被传送至第一功能方块3002，然后第一功能方块3002合并第一融合深度图FMDP和第二深度图SDP以产生第二合并深度图SMDP；第二合并深度图SMDP被传送至第一功能方块2502，然后第一功能方块2502合并第二融合深度图SMDP和第一深度图FDP以产生360度深度图PDP。
请参照图31，图31是本发明的第十七实施例所公开的一种产生深度图和彩色图像的图像系统3100的示意图。如图31所示，图像系统3100和图像系统1400的差别在于图像系统3100另包含一第一混合器128，其中多个图像传感器1011-101N，第一多任务器102，并排图像处理器104、106，图像处理器108、110，图像校正单元112、114，深度图产生器116，第二多任务器118，第一深度图产生器120，混合器122，和第一混合器128之间的电连接关系可参照图31，在此不再赘述，以及N为不小于2的正整数。
请参照图32，图32是本发明的第十八实施例所公开的图像系统3100的图像传感器1011、1012、1013、1014、1015、一第二功能方块3202和第二图像系统3204的关系示意图，其中如图32所示，图像系统3100的第一多任务器102，并排图像处理器104、106，图像处理器108、110，图像校正单元112、114，深度图产生器116，第二多任务器118，第一深度图产生器120，混合器122，和第一混合器128皆被简化包含在一第二功能方块3202内，所以第二功能方块3202具有第一多任务器102，并排图像处理器104、106，图像处理器108、110，图像校正单元112、114，深度图产生器116，第二多任务器118，第一深度图产生器120，混合器122，和第一混合器128的功能。另外，如图32所示，第二功能方块3204具有第二功能方块3202的所有相关功能，且在图像系统3100外。另外，第二功能方块3202合并第一深度图FDP(有关第一图像FI和第二图像SI)以及第二深度图SDP(有关第一图像FI和第三图像TI)以产生第一合并深度图FMDP的原理可参照前述相关说明，在此不再赘述。另外，第二功能方块3204合并第三深度图TDP(有关第一图像FI和第四图像FOI)以及第四深度图FODP(有关第一图像FI和第五图像FII)以产生第二合并深度图SMDP的原理也可参照前述相关说明，在此不再赘述。另外，第二功能方块3204传送第二合并深度图SMDP至第二功能方块3202。因此，当第二功能方块3202产生第一合并深度图FMDP以及接收第二合并深度图SMDP后，第二功能方块3202即可合并第一合并深度图FMDP以及接收第二合并深度图SMDP以产生一新合并深度图NMDP。另外，在本发明的另一实施例中，第二功能方块3204是通过第二功能方块3202接收图像传感器1011所产生的第一图像FI(如图33所示)。另外，混合器128的操作原理和结构都和深度图产生器122相同，在此不再赘述。
请参照图34，图34是本发明的第十九实施例所公开的图像系统3100的图像传感器1011-1013、第二功能方块3202和第二功能方块3204的关系示意图。如图34所示，第二功能方块3202利用图像传感器1011、1012所产生的第一图像FI和第二图像SI产生第一深度图FDP以及利用图像传感器1011、1013所产生的第一图像FI和第三图像TI产生第二深度图SDP，以及第二功能方块3204利用图像传感器1012、1013所产生的第二图像SI和第三图像TI产生第三深度图TDP。另外，第三深度图TDP被第二功能方块3204传送至第二功能方块3202。因此，当功能方块3202产生第一深度图FDP和第二深度图SDP以及接收第三深度图TDP后，功能方块3202即可根据第一深度图FDP、第二深度图SDP和第三深度图TDP产生360度深度图PDP。
请参照图35，图35是本发明的第二十实施例所公开的图像系统2400的图像传感器1011-1014、第二功能方块3202和第二功能方块3204的关系示意图。如图35所示，第二功能方块3202利用图像传感器1011、1012所产生的第一图像FI和第二图像SI产生第一深度图FDP以及利用图像传感器1011、1014所产生的第一图像FI和第四图像FOI产生第二深度图SDP，以及第二功能方块3204利用图像传感器1012、1013所产生的第二图像SI和第三图像TI产生第三深度图TDP以及利用图像传感器1013、1014所产生的第三图像TI和第四图像FOI产生第四深度图FODP。另外，第三深度图TDP和第四深度图FODP合并成第一合并深度图FMDP被第二功能方块3204传送至第二功能方块3202。因此，当第二功能方块3202产生第一深度图FDP和第二深度图SDP以及接收第一合并深度图FMDP后，第二功能方块3202即可根据第一深度图FDP、第二深度图SDP、第一合并深度图FMDP产生360度深度图PDP。
请参照图36，图36是本发明的第二十一实施例所公开的一种产生彩色图像的图像系统3600的示意图。如图36所示，图像系统3600和图像系统100的差别在于图像系统3600另包含一显示器130、一储存装置132、并排图像处理器134、图像处理器136和图像校正单元138，而不包含第二多任务器118，其中多个图像传感器1011-101N，第一多任务器102，并排图像处理器104、106、134，图像处理器108、110、136，图像校正单元112、114、138，深度图产生器116、显示器130和储存装置132之间的电连接关系可参照图36，在此不再赘述，以及N为不小于4的正整数。另外，深度图产生器116所产生的深度图可输出至一行车辅助系统ADAS，行车辅助系统ADAS可根据深度图产生器116所产生的深度图，产生一警示信号或一行车建议给一车3702的用户。
请参照第37A、37B图，第37A、37B图是本发明的第二十二实施例所公开的图像系统3600的图像传感器1011-1016在车3702上的设置位置的示意图，其中图像传感器1011-1016为鱼眼图像传感器。如图37A所示，根据上述相关说明，图像传感器1011-1016所获取的图像可用以产生对应车3702的一360度彩色图像，图像传感器1011、1012所获取的图像可用以产生对应车3702前方的一前深度图，以及图像传感器1015、1016所获取的图像可用以产生对应车3702后方的一后深度图。也就是说图像校正单元112根据一第一几何空间转换对图像传感器1011-1016所获取的图像执行一图像校正以产生对应车3702的360度彩色图像，其中所述第一几何空间转换至少包含图像拼接、图像对齐和图像裁切等，且对应车3702的360度彩色图像给显示器130显示。另外，图像校正单元114根据一第二几何空间转换对图像传感器1011-1016所获取的图像执行所述图像校正以产生对应图像传感器1011-1016所获取的图像的校正后的平面彩色图像，且对应图像传感器1011-1016所获取的图像的校正后的彩色图像传送至储存装置132储存。另外，图像校正单元138根据一第三几何空间转换对图像传感器1012/1013以及图像传感器1015/1016所获取的图像对执行所述图像校正以产生对应的校正后的图像，其中所述第三几何空间转换至少包含图像对齐等，且所述对应的校正后的图像通过深度图产生器116产生所述深度图并传送至行车辅助系统ADAS。另外，在本发明的另一实施例中，图像系统3600包含八图像传感器1011-1018(如图38所示)。因此，如图38所示，根据上述相关说明，图像传感器1011-1018所获取的图像不仅可用以产生对应车3702的360度彩色图像，也可产生对应车3702的360度深度图。
综上所述，本发明所公开的图像处理器和相关的图像系统是利用所述图像系统所包含的至少一图像处理器中的一图像处理器根据至少一图像传感器所产生的至少一图像，产生对应所述至少一图像的用所述第一位数表示的亮度信息和对应所述至少一图像的用所述第二位数表示的至少一彩色图像，以及利用所述图像系统所包含的至少一深度图产生器中的一深度图产生器根据用所述第一位数表示的亮度信息，产生对应所述至少一图像的深度图。因此，相较于现有技术，因为本发明可同时公开用所述第一位数表示的亮度信息和用所述第二位数表示的至少一彩色图像，以及架构的多变性，所以本发明可支持产生深度图，产生彩色图像，产生360度彩色图像，产生360度深度图，合并多深度图，增加深度图的工作范围，以及消除深度图的遮蔽等功能中的其中至少一功能。另外，虽然所述第一位数大于所述第二位数，但本发明因为仅利用用所述第一位数表示的亮度信息支持产生深度图，产生360度深度图，合并多深度图，增加深度图的工作范围，以及消除深度图的遮蔽等功能，且用所述第一位数表示的亮度信息所对应的灰阶值的数据量较少，所以本发明并不会有带宽的问题。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (20)

1.一种产生深度图和彩色图像的图像系统，其特征在于包含：
多个图像传感器；
至少一图像处理器，其中所述至少一图像处理器中的一图像处理器耦接于所述多个图像传感器中的至少一图像传感器，用以根据所述至少一图像传感器所产生的至少一图像，产生用一第一位数表示的亮度信息和用一第二位数表示的至少一彩色图像，其中所述至少一彩色图像对应所述至少一图像；
至少一图像校正单元，其中所述至少一图像校正单元中的一图像校正单元耦接于所述图像处理器，用以分别对用所述第一位数表示的亮度信息和用所述第二位数表示的至少一彩色图像执行一图像校正以产生一校正后的亮度信息和一校正后的至少一彩色图像，且所述校正后的亮度信息是用所述第一位数表示和所述校正后的至少一彩色图像是用所述第二位数表示；及
至少一深度图产生器，其中所述至少一深度图产生器中的一深度图产生器耦接于所述图像处理器，用以根据用所述第一位数表示的亮度信息，产生对应所述至少一图像的深度图。
2.如权利要求1所述的图像系统，其特征在于：所述第一位数大于所述第二位数。
3.如权利要求1所述的图像系统，其特征在于另包含：
至少一并排图像处理器，其中所述至少一并排图像处理器中的一并排图像处理器耦接于所述至少一图像传感器和所述图像处理器之间，用以并排所述至少一图像。
4.如权利要求1所述的图像系统，其特征在于：所述多个图像传感器包含二图像传感器，所述二图像传感器所产生的二图像是应用于产生对应所述二图像的深度图和对应所述二图像的二彩色图像，且对应所述二图像的深度图是用所述第一位数表示以及所述二彩色图像是用所述第二位数表示。
5.如权利要求4所述的图像系统，其特征在于：所述二图像传感器是二贝尔样式图像传感器或二红绿蓝红外光图像传感器。
6.如权利要求1所述的图像系统，其特征在于：所述多个图像传感器包含三图像传感器，所述三图像传感器中的二图像传感器所产生的二图像是应用于产生对应所述二图像的深度图，所述三图像传感器中的一图像传感器所产生的一图像是应用于产生对应所述图像的彩色图像，且所述彩色图像是用所述第二位数表示，其中所述图像传感器是一红绿蓝图像传感器以及所述二图像传感器是红外线图像传感器。
7.如权利要求1所述的图像系统，其特征在于：所述多个图像传感器包含三图像传感器，所述三图像传感器中的一第一图像传感器和一第二图像传感器所产生一第一图像和一第二图像是应用于产生对应所述第一图像和所述第二图像的深度图，所述三图像传感器中的一第三图像传感器所产生的一第三图像和所述第二图像是应用于产生对应所述第二图像和所述第三图像的360度彩色图像，且所述360度彩色图像是用所述第二位数表示。
8.如权利要求1所述的图像系统，其特征在于：所述多个图像传感器包含四图像传感器，所述四图像传感器中的一第一图像传感器和一第二图像传感器所产生一第一图像和一第二图像是应用于产生对应所述第一图像和所述第二图像的深度图，所述四图像传感器中的一第三图像传感器和一第四图像传感器所产生的一第三图像和一第四图像是应用于产生对应所述第三图像和所述第四图像的360度彩色图像，且所述360度彩色图像是用所述第二位数表示。
9.如权利要求1所述的图像系统，其特征在于：所述多个图像传感器包含四图像传感器，所述四图像传感器中的一第一图像传感器和一第二图像传感器所产生一第一图像和一第二图像是应用于产生对应所述第一图像和所述第二图像的第一360度彩色图像，所述四图像传感器中的一第三图像传感器和一第四图像传感器所产生的一第三图像和一第四图像是应用于产生对应所述第三图像和所述第四图像的第二360度彩色图像，所述第一360度彩色图像和所述第二360度彩色图像是用所述第二位数表示，且所述第一360度彩色图像和所述第二360度彩色图像另用以产生一360度深度图。
10.一种产生深度图和彩色图像的图像系统，其特征在于包含：
多个图像传感器；
至少一图像处理器，其中所述至少一图像处理器中的一图像处理器耦接于所述多个图像传感器中的至少一图像传感器，用以根据所述至少一图像传感器所产生的至少一图像，产生用一第一位数表示的亮度信息和用一第二位数表示的至少一彩色图像，其中所述至少一彩色图像对应所述至少一图像；
至少一深度图产生器，其中所述至少一深度图产生器中的一深度图产生器耦接于所述图像处理器，用以根据用所述第一位数表示的亮度信息，产生对应所述至少一图像的深度图；
一混合器，用以合并所述至少一深度图产生器所产生的至少二深度图以产生对应所述至少二深度图的合并深度图，其中所述至少二深度图具有不同的特性；及
一第一混合器，用以合并所述合并深度图以及产生自所述图像系统外的至少一第一深度图以产生对应所述合并深度图以及所述至少一第一深度图的第一合并深度图。
11.如权利要求10所述的图像系统，其特征在于：所述多个图像传感器包含三图像传感器，所述三图像传感器形成二图像获取对，所述二图像获取对所获取的二图像对是应用于产生对应所述二图像获取对的二深度图，以及所述混合器合并所述二深度图以产生对应所述二深度图的合并深度图，其中所述所述二图像获取对对应二不同的基线。
12.如权利要求10所述的图像系统，其特征在于：所述多个图像传感器包含三图像传感器，所述三图像传感器形成二图像获取对，所述二图像获取对所获取的二图像对是应用于产生对应所述二图像获取对的一第一深度图以及一第二深度图，以及当所述第一深度图包括一遮蔽区及一非遮蔽区时，所述混合器根据所述第二深度图校正所述遮蔽区。
13.如权利要求10所述的图像系统，其特征在于：所述多个图像传感器包含二图像传感器，所述图像系统另包含的至少一图像校正单元缩放对应所述二图像传感器所产生的二第一图像的第一亮度信息以产生一对应的第二亮度信息，所述至少一深度图产生器分别根据所述第一亮度信息和所述对应的第二亮度信息产生一第一深度图和一第二深度图，以及所述混合器合并所述第一深度图和所述第二深度图以产生对应所述第一深度图和所述第二深度图的合并深度图。
14.如权利要求13所述的图像系统，其特征在于：所述第一深度图和所述第二深度图的分辨率不同。
15.如权利要求10所述的图像系统，其特征在于：所述多个图像传感器包含二图像传感器，所述图像系统另包含的至少一图像校正单元利用二区块匹配比对采样频率对所述二图像传感器所产生的二第一图像进行匹配比对以产生一第一亮度信息和一第二亮度信息，所述至少一深度图产生器分别根据所述第一亮度信息和所述第二亮度信息产生一第一深度图和一第二深度图，以及所述混合器合并所述第一深度图和所述第二深度图以产生对应所述第一深度图和所述第二深度图的合并深度图，其中所述第一深度图和所述第二深度图对应所述二区块匹配比对采样频率。
16.如权利要求15所述的图像系统，其特征在于：所述第一深度图和所述第二深度图的分辨率不同。
17.如权利要求1所述的图像系统，其特征在于另包含：
一混合器，用以合并所述至少一深度图产生器所产生的一第一深度图以及产生自所述图像系统外的至少一第二深度图以产生对应所述第一深度图以及所述至少一第二深度图的合并深度图。
18.一种产生深度图和彩色图像的图像系统，其特征在于包含：
多个图像传感器；
至少一图像处理器，其中所述至少一图像处理器中的一图像处理器耦接于所述多个图像传感器中的至少一图像传感器，用以根据所述至少一图像传感器所产生的至少一图像，产生对应所述至少一图像的亮度信息和对应所述至少一图像的至少一彩色图像；及
至少一深度图产生器，其中所述至少一深度图产生器中的一深度图产生器耦接于所述图像处理器，用以根据对应所述至少一图像的亮度信息，产生对应所述至少一图像的至少一深度图；
其中所述至少一彩色图像和所述至少一深度图是选择性地应用于多个图像模式，且所述多个图像模式包含一360度彩色图像模式，一360度深度图模式，一合并多深度图模式，一增加深度图的工作范围模式，以及一消除深度图的遮蔽模式中的其中至少一模式。
19.如权利要求18所述的图像系统，其特征在于：对应所述至少一图像的亮度信息是用一第一位数表示以及对应所述至少一图像的至少一彩色图像是用一第二位数表示，且所述第一位数大于所述第二位数。
20.如权利要求18所述的图像系统，其特征在于：所述至少一深度图和产生自所述图像系统外的至少一深度图同时应用于所述合并多深度图模式，所述增加深度图的工作范围模式，以及所述消除深度图的遮蔽模式。
CN201810517679.XA 2017-05-25 2018-05-25 图像处理器和相关的图像系统 Active CN109087235B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762511317P 2017-05-25 2017-05-25
US62/511,317 2017-05-25

Publications (2)

Publication Number Publication Date
CN109087235A CN109087235A (zh) 2018-12-25
CN109087235B true CN109087235B (zh) 2023-09-15

Family

ID=64492271

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810517679.XA Active CN109087235B (zh) 2017-05-25 2018-05-25 图像处理器和相关的图像系统
CN201810517604.1A Active CN108965751B (zh) 2017-05-25 2018-05-25 用于产生360度深度图的图像装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201810517604.1A Active CN108965751B (zh) 2017-05-25 2018-05-25 用于产生360度深度图的图像装置

Country Status (3)

Country Link
US (2) US10805514B2 (zh)
CN (2) CN109087235B (zh)
TW (2) TWI692983B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3410415B1 (en) * 2016-01-28 2020-11-18 Ricoh Company, Ltd. Image processing device, imaging device, moving body device control system and image processing program
CN109660733B (zh) * 2019-01-04 2021-04-16 Oppo广东移动通信有限公司 电子设备和移动平台
CN109660732B (zh) * 2019-01-04 2021-07-23 Oppo广东移动通信有限公司 电子设备和移动平台
CN109788196B (zh) * 2019-01-04 2021-07-23 Oppo广东移动通信有限公司 电子设备和移动平台
CN109788172A (zh) * 2019-01-04 2019-05-21 Oppo广东移动通信有限公司 电子设备和移动平台
CN109618108B (zh) * 2019-01-07 2021-04-16 Oppo广东移动通信有限公司 电子设备和移动平台
KR102648912B1 (ko) * 2019-01-23 2024-03-19 삼성전자주식회사 영상 데이터를 분석하여 최종 영상 데이터를 생성하는 프로세서
US11132772B2 (en) * 2019-06-11 2021-09-28 Samsung Electronics Co., Ltd. Asymmetric normalized correlation layer for deep neural network feature matching
US11800206B2 (en) * 2019-07-08 2023-10-24 Calumino Pty Ltd. Hybrid cameras
US11323603B2 (en) * 2019-09-18 2022-05-03 Gopro, Inc. Auto exposure for spherical images
US10979633B1 (en) * 2019-12-17 2021-04-13 Suometry, Inc. Wide view registered image and depth information acquisition
US11140375B2 (en) * 2019-12-18 2021-10-05 Qualcomm Incorporated Sharing an optical sensor between multiple optical processors
US11450018B1 (en) * 2019-12-24 2022-09-20 X Development Llc Fusing multiple depth sensing modalities
US11172139B2 (en) * 2020-03-12 2021-11-09 Gopro, Inc. Auto exposure metering for spherical panoramic content
EP4229552A4 (en) * 2020-10-13 2024-03-06 Flyreel Inc GENERATION OF MEASUREMENTS OF PHYSICAL STRUCTURES AND ENVIRONMENTS THROUGH AUTOMATED ANALYSIS OF SENSOR DATA
TWI768709B (zh) * 2021-01-19 2022-06-21 福邦科技國際股份有限公司 雙影像融合方法與裝置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101902651A (zh) * 2009-05-28 2010-12-01 佳能株式会社 图像处理设备和图像处理方法
CN102724528A (zh) * 2012-05-18 2012-10-10 清华大学 一种深度图生成装置
CN102821289A (zh) * 2011-06-06 2012-12-12 索尼公司 图像处理设备、图像处理方法和程序
US8619148B1 (en) * 2012-01-04 2013-12-31 Audience, Inc. Image correction after combining images from multiple cameras
CN104662896A (zh) * 2012-09-06 2015-05-27 诺基亚技术有限公司 用于图像处理的装置、方法和计算机程序
CN106468830A (zh) * 2015-08-20 2017-03-01 杨军 三维立体成像显示仪

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0921677B1 (en) * 1997-12-04 2003-03-26 Victor Company Of Japan, Limited Image pickup apparatus and method, and image output apparatus and method applicable thereto
US7567271B2 (en) * 2006-01-09 2009-07-28 Sony Corporation Shared color sensors for high-resolution 3-D camera
US8077964B2 (en) * 2007-03-19 2011-12-13 Sony Corporation Two dimensional/three dimensional digital information acquisition and display device
WO2011155136A1 (ja) * 2010-06-07 2011-12-15 コニカミノルタオプト株式会社 撮像装置
CN102005039B (zh) * 2010-08-24 2012-05-23 浙江大学 基于泰勒级数模型的鱼眼相机立体视觉深度测量方法
US9300946B2 (en) * 2011-07-08 2016-03-29 Personify, Inc. System and method for generating a depth map and fusing images from a camera array
WO2013079778A2 (en) 2011-12-02 2013-06-06 Nokia Corporation Method, apparatus and computer program product for capturing images
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
US20130250040A1 (en) * 2012-03-23 2013-09-26 Broadcom Corporation Capturing and Displaying Stereoscopic Panoramic Images
US9531961B2 (en) * 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US9479697B2 (en) * 2012-10-23 2016-10-25 Bounce Imaging, Inc. Systems, methods and media for generating a panoramic view
US20150010236A1 (en) * 2013-07-08 2015-01-08 Htc Corporation Automatic image refocusing method
US9451162B2 (en) * 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
US9294662B2 (en) * 2013-10-16 2016-03-22 Broadcom Corporation Depth map generation and post-capture focusing
CN105814880A (zh) * 2014-07-28 2016-07-27 联发科技股份有限公司 具有自适应全景图像处理器的便携式设备
TWI538508B (zh) * 2014-08-15 2016-06-11 光寶科技股份有限公司 一種可獲得深度資訊的影像擷取系統與對焦方法
US10091418B2 (en) * 2014-10-24 2018-10-02 Bounce Imaging, Inc. Imaging systems and methods
US10404969B2 (en) * 2015-01-20 2019-09-03 Qualcomm Incorporated Method and apparatus for multiple technology depth map acquisition and fusion
US20160295108A1 (en) * 2015-04-01 2016-10-06 Cheng Cao System and method for panoramic imaging
WO2016179694A1 (en) * 2015-05-08 2016-11-17 Valorisation-Recherche, Limited Partnership Spherical omnipolar imaging
WO2017026705A1 (ko) 2015-08-07 2017-02-16 삼성전자 주식회사 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
KR102458339B1 (ko) * 2015-08-07 2022-10-25 삼성전자주식회사 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
KR20170025058A (ko) * 2015-08-27 2017-03-08 삼성전자주식회사 영상 처리 장치 및 이를 포함하는 전자 시스템
TWI555379B (zh) * 2015-11-06 2016-10-21 輿圖行動股份有限公司 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
CN105530431A (zh) * 2015-12-16 2016-04-27 景好 一种反射式全景成像系统及方法
US20180241927A1 (en) * 2017-02-23 2018-08-23 Motorola Mobility Llc Exposure Metering Based On Depth Map
US10248890B2 (en) * 2017-04-13 2019-04-02 Facebook, Inc. Panoramic camera systems

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101902651A (zh) * 2009-05-28 2010-12-01 佳能株式会社 图像处理设备和图像处理方法
CN102821289A (zh) * 2011-06-06 2012-12-12 索尼公司 图像处理设备、图像处理方法和程序
US8619148B1 (en) * 2012-01-04 2013-12-31 Audience, Inc. Image correction after combining images from multiple cameras
CN102724528A (zh) * 2012-05-18 2012-10-10 清华大学 一种深度图生成装置
CN104662896A (zh) * 2012-09-06 2015-05-27 诺基亚技术有限公司 用于图像处理的装置、方法和计算机程序
CN106468830A (zh) * 2015-08-20 2017-03-01 杨军 三维立体成像显示仪

Also Published As

Publication number Publication date
US20180376129A1 (en) 2018-12-27
CN108965751A (zh) 2018-12-07
CN109087235A (zh) 2018-12-25
TWI692983B (zh) 2020-05-01
US20190007590A1 (en) 2019-01-03
CN108965751B (zh) 2021-09-17
US10992847B2 (en) 2021-04-27
TW201911862A (zh) 2019-03-16
TWI679875B (zh) 2019-12-11
TW201902210A (zh) 2019-01-01
US10805514B2 (en) 2020-10-13

Similar Documents

Publication Publication Date Title
CN109087235B (zh) 图像处理器和相关的图像系统
EP2589226B1 (en) Image capture using luminance and chrominance sensors
US20080232680A1 (en) Two dimensional/three dimensional digital information acquisition and display device
KR100910175B1 (ko) 입체영상 생성용 이미지센서
US20160301840A1 (en) Photographing Method for Dual-Lens Device and Dual-Lens Device
US20050253834A1 (en) Display apparatus and display system
KR101903619B1 (ko) 구조화된 스테레오
JPWO2011096251A1 (ja) ステレオカメラ
TWI761684B (zh) 影像裝置的校正方法及其相關影像裝置和運算裝置
TWI788739B (zh) 3d顯示設備、3d圖像顯示方法
JP4717853B2 (ja) ファイル生成方法および装置並びに立体画像の表示制御方法および装置
KR20150080101A (ko) 스테레오 카메라
CN108805921A (zh) 图像获取系统及方法
WO2018221367A1 (ja) ステレオ撮像装置
CN211531217U (zh) 3d终端
JP5996233B2 (ja) 画像撮像装置
WO2010035443A1 (ja) 映像信号処理装置及び映像信号処理方法
JP6732440B2 (ja) 画像処理装置、画像処理方法、及びそのプログラム
TWI462569B (zh) 三維影像攝相機及其相關控制方法
JP2000222116A (ja) 表示画像の位置認識方法とその位置認識装置および仮想画像立体合成装置
JP2007129436A (ja) 画像処理方法、画像処理装置およびこれを用いた画像表示装置
JP2006017632A (ja) ３次元画像処理装置、光軸調整方法、光軸調整支援方法
KR102112491B1 (ko) 물체 공간의 물점의 기술을 위한 방법 및 이의 실행을 위한 연결
JPWO2013179539A1 (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP2005045338A (ja) 車載用三次元表示用モニタシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant