CN111669562B - 高分辨率三维图像处理装置及图像处理方法 - Google Patents
高分辨率三维图像处理装置及图像处理方法 Download PDFInfo
- Publication number
- CN111669562B CN111669562B CN202010143825.4A CN202010143825A CN111669562B CN 111669562 B CN111669562 B CN 111669562B CN 202010143825 A CN202010143825 A CN 202010143825A CN 111669562 B CN111669562 B CN 111669562B
- Authority
- CN
- China
- Prior art keywords
- image
- image processing
- input information
- weight value
- movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 68
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims abstract description 111
- 229910052732 germanium Inorganic materials 0.000 claims abstract description 18
- GNPVGFCGXDBREM-UHFFFAOYSA-N germanium atom Chemical compound [Ge] GNPVGFCGXDBREM-UHFFFAOYSA-N 0.000 claims abstract description 18
- 238000012937 correction Methods 0.000 claims description 21
- 238000000034 method Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 19
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 8
- 229910052710 silicon Inorganic materials 0.000 description 8
- 239000010703 silicon Substances 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000003491 array Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 239000002019 doping agent Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 229910000577 Silicon-germanium Inorganic materials 0.000 description 3
- LEVVHYCKPQWKOP-UHFFFAOYSA-N [Si].[Ge] Chemical compound [Si].[Ge] LEVVHYCKPQWKOP-UHFFFAOYSA-N 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000005684 electric field Effects 0.000 description 2
- 239000011540 sensing material Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000000969 carrier Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- -1 sixGe1-x Chemical compound 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Abstract
本发明提供一种图像处理装置及一种图像处理方法。该图像处理装置包含具有多个光侦测器的影像传感器且包含三维影像计算模块。该影像传感器可被配置为在第一时间/位置产生第一组输入信息以及在第二时间/位置产生第二组输入信息，其中该第一组输入信息可与第一权重值相关联，且该第二组输入信息可与第二权重值相关联。该三维影像计算模块可被配置为基于该第一组输入信息与该第二组输入信息以及该第一权重值与该第二权重值来产生输出信息，其中该多个光侦测器中的至少一个包括锗。
Description
技术领域
本发明有关于图像处理，尤指一种用来进行图像处理的装置(例如：用于产生高分辨率三维(three-dimensional,3D)影像)及相关方法。
背景技术
近来影像传感器被广泛用于各种不同的应用中，诸如数字相机(digital stillcamera,DSC)、智能型手机，GoPro装置，机器人以及车辆。越来越多的应用程序需要高分辨率影像来满足不同的需求。对于飞行时间(time of flight,ToF)技术领域而言，深度影像的分辨率通常取决于影像传感器的像素阵列大小。因此，如何通过较小的像素阵列取得高质量及/或高分辨率的影像，遂成为相关技术中有待解决的问题。
发明内容
本发明的一目的在于提供一种用来进行图像处理的装置及相关方法，以解决上述问题。
本发明的至少一实施例提供一种图像处理装置，其中该图像处理装置包含：具有多个光侦测器的一影像传感器，该影像传感器被配置为在一第一时间产生一第一组输入信息以及在一第二时间产生一第二组输入信息，该第一组输入信息与一第一权重值相关联，该第二组输入信息与一第二权重值相关联；以及一三维(3D)影像计算模块，被配置为基于该第一组输入信息与该第二组输入信息以及该第一权重值与该第二权重值来产生一输出信息；其中该多个光侦测器中的至少一个包括锗。
本发明的至少一实施例提供一种图像处理方法，该图像处理方法包含：通过具有多个光侦测器的一影像传感器，以在一第一时间产生一第一组输入信息以及在一第二时间产生一第二组输入信息；根据该第一组输入信息决定一第一权重值；根据该第二组输入信息决定一第二权重值；以及基于该第一组输入信息与该第二组输入信息以及该第一权重值与该第二权重值来产生一输出信息；其中该多个光侦测器中的至少一个包括锗。
本发明的至少一实施例提供一种图像处理装置，其中该图像处理装置包含：具有多个光侦测器的一影像传感器，该影像传感器被配置为在一第一位置产生一第一组输入信息以及在一第二位置产生一第二组输入信息，该第一组输入信息与一第一权重值相关联，该第二组输入信息与一第二权重值相关联；以及一三维(3D)影像计算模块，被配置为基于该第一组输入信息与该第二组输入信息以及该第一权重值与该第二权重值来产生输出信息；
其中该多个光侦测器中的至少一个包括锗。
附图说明
本发明的一或多个实施例可通过(但不限于)图示中的例子来呈现，而相似的标示可指出相似的元件，其中图标不必按比例绘制。
图1为依据本发明的一实施例的一种具有图像处理功能的使用者装置的示意图。
图2为依据本发明的一实施例的一种图像处理装置的示意图。
图3为依据本发明的一实施例的影像传感器的结构的示意图。
图4为依据本发明的一实施例的影像传感器的结构的示意图。
图5为依据本发明的一实施例绘示由影像传感器在不同时间点所侦测到的影像图框。
图6A为依据本发明的一实施例绘示一种用于处理影像图框的计算方法。
图6B为依据本发明的一实施例绘示一种用于处理影像图框的计算方法。
图7A为依据本发明的一实施例绘示一种用于处理影像图框的计算方法。
图7B为依据本发明的一实施例绘示一种用于处理影像图框的计算方法。
图7C为依据本发明的一实施例绘示一种用于处理影像图框的计算方法。
图8为依据本发明的一实施例绘示一种用于处理影像图框的计算方法。
图9为依据本发明的一实施例绘示一种用于处理影像图框的计算方法。
图10为依据本发明的某些实施例绘示合并或插值计算的实施细节。
图11为依据本发明的一实施例绘示一种用于处理影像图框的计算方法的流程图。
图12为依据本发明的一实施例绘示一种用于处理影像图框的计算方法的流程图。
图13为依据本发明的一实施例绘示一种用于处理影像图框的计算方法的流程图。
图14为依据本发明的一实施例绘示一种三维(3D)影像计算模块。
图15为依据本发明的一实施例绘示光侦测器的结构。
图16为依据本发明的一实施例绘示图15所示光侦测器的等效电路。
附图标记说明：10-使用者装置；11-使用者；20-外部装置；100-电子系统；100P-处理器；100M-内存；100I-输入/输出模块；100C-通讯元件；100S-储存模块；102-像素阵列；104-影像传感器；105-移动传感器；106-模式控制电路；107-3D影像计算模块；108-计算电路；110-图像处理装置；111,113,114,PD-光侦测器；111A,111B-调变区；111C,111D-收集区；111S1,111S2-解调信号；111S3,111S4-侦测信号；S1-模式信号；S2-移动参数；F1-输入影像图框；F2-输出影像图框；102-1-非深度影像像素阵列；102-2-深度影像像素阵列；P1(1,1)～P1(5,5),P2(1,1)～P2(4,4)-输入像素；Po(1,1)～Po(5,5)-输出像素；1110～1360-步骤；A01-移动计算；A02-合并计算；A03-插值计算；C11-IQ不匹配校正；C12-非线性校正；C13-温度校正；C14-偏移校正；C15-镜头校正；G-闸极。
具体实施方式
图1为依据本发明的一实施例绘示一种具有图像处理功能的使用者装置10。使用者装置10(例如：智能型手机、膝上型计算机或其他移动装置)包括电子系统100中的至少一部分，被用来产生深度影像并进行深度及/或平面分辨率控制。依据本发明的一实施例，如图1所示，电子系统100包括处理器100P、内存100M、输入/输出(Input/Output,I/O)模块100I、通讯元件100C、储存模块100S和图像处理装置110。在一实施例中，图像处理装置110包括影像传感器104、移动传感器105及三维(简称3D)影像计算模块107。
依据某些实施例，处理器100P被配置为控制电子系统100的操作。内存100M被配置为暂时储存处理器100P所计算的数据。输入/输出模块100I被配置为进行输入/输出操作以容许使用者11与电子系统100互动。通讯元件100C被配置为进行通讯操作以容许电子系统100与外部装置20通讯。储存模块100S被配置为储存数据以供使用者11使用。影像传感器104被配置为进行影像感测。移动传感器105被配置为进行移动感测。3D影像计算模块107被配置为依据从影像传感器104所产生的影像感测结果及/或从移动传感器105所产生的移动感测结果来进行3D影像计算。
为更佳地理解使用者装置10，在此说明某些可能的实施方式如下。处理器100P可以用中央处理单元(Central Processing Unit,CPU)或图形处理单元(GraphicsProcessing Unit,GPU)实现。内存100M可以用随机存取内存(Random-Access Memory，简称RAM)诸如动态RAM(Dynamic RAM,DRAM)和静态RAM(Static RAM,SRAM)、或非挥发性内存诸如闪存(Flashmemory)来实现。输入/输出模块100I可以用液晶显示(LCD)面板、触控面板、触控屏幕、键盘、指向装置或音频输出装置来实现。通讯元件100C可以用无线通信模块(例如：Wi-Fi或蓝牙接口)及/或有线通讯模块(例如：通用串行总线(Universal Serial Bus,USB)或闪电(Lightning)界面)来实现。影像传感器104使用多个光侦测器来进行影像感测。这些光侦测器可以用基于硅的感测材料或基于锗的感测材料来实现。移动传感器105可以通过加速度计或微机电系统(Micro-Electro-Mechanical System，简称MEMS)陀螺仪来实现。储存模块100S可以用大量储存装置(mass storage device)诸如闪存储存装置来实现。3D影像计算模块107可以通过硬件、软件方式或其组合来实现。在一种情况下，当3D影像计算模块107通过硬件方式实现时，3D影像计算模块107可以是特殊应用集成电路(Application-Specific Integrated Circuit,ASIC)。在另一种情况下，当3D影像计算模块107通过软件方式实现时，3D影像计算模块107是可以在微处理器、数字信号处理(digital signal processing,DSP)处理器或处理器100P上执行的程序。值得注意的是，如果3D影像计算模块107是由处理器100P所执行的程序，则处理器100P可以被视为图像处理装置110的一部分。另外，在某些应用中，图像处理装置110可以不包括移动传感器105，这表示移动传感器是可选的(optional)模块。
依据某些实施例，包括该多个光侦测器的影像传感器104可以被配置为在第一时间(例如：时间点t1)产生第一组输入信息，并在第二时间(例如：时间点t2)产生第二组输入信息，其中该第一组输入信息可以与第一权重值W1相关联，而该第二组输入信息可以与第二权重值W2相关联；尤其，3D影像计算模块107可以被配置为基于该第一组输入信息和该第二组输入信息以及第一权重值W1和第二权重值W2来产生输出信息，其中至少一个光侦测器可以包括锗。依据某些实施例，输入信息或输出信息可为光电流值、电荷值、像素值或深度值。
依据某些实施例，包括该多个光侦测器的影像传感器104可以被配置为在第一位置(例如：位置RRL1)产生该第一组输入信息，并且在第二位置(例如：位置RRL2)产生该第二组输入信息，其中该第一组输入信息可以与第一权重值W1相关联，而该第二组输入信息可以与第二权重值W2相关联；尤其，3D影像计算模块107可以被配置为基于该第一组输入信息和该第二组输入信息以及第一权重值W1和第二权重值W2来产生该输出信息，其中至少一个光电探测器可以包括锗。
依据某些实施例，移动传感器105可以被配置为侦测使用者装置10的移动，尤其，可以包括陀螺仪(例如：MEMS陀螺仪)，其中该第一组输入信息可以在移动之前产生，并且该第二组输入信息可以在移动之后产生。在操作期间，3D影像计算模块107可以基于使用者装置102的移动来决定第一权重值W1和第二权重值W2。另外，3D影像计算模块107可以基于影像合并(binning)处理来产生该输出信息。在某些实施例中，影像合并处理可以包括重迭(overlapping)合并处理或非重迭(non-overlapping)合并处理。此外，3D影像计算模块107可以通过将该第一组输入信息和该第二组输入信息中的任何一组划分为多个合并集群(cluster)来进行影像合并处理。例如，该多个合并集群可以具有相同尺寸或具有两个或更多个不同尺寸。在其他实施方式中，可以动态地调整该多个合并集群。
图2为依据本发明的一实施例绘示图像处理装置110的示意图。图像处理装置110包括影像传感器104，其中影像传感器104包括多个光侦测器{PD}以共同形成像素阵列102。此外，图像处理装置110包括3D影像计算模块107和移动传感器105。在一实施例中，3D影像计算模块107包括模式控制电路106和计算电路108。模式控制电路106和计算电路108分别被配置为进行模式控制和影像计算。如前面所述，可以通过硬件、软件或其组合来实现3D影像计算模块107。
计算电路108被配置为从影像传感器104接收至少一个输入影像图框F1以及从模式控制电路106接收模式信号S1，并且依据上述至少一个输入影像图框F1和模式信号S1来产生以及输出至少一个输出影像图框F2。模式信号S1可以是多个预定模式(例如：多个操作模式)中的其中一种。模式控制电路106可依据一或多个设定(例如：默认设定、使用者设定或上层设定中的任何一个)从该多个预定模式中选择一种以作为一选择的模式，并通过模式信号S1控制计算电路108，其依据所述选择的模式进行操作。在模式控制电路106的控制下，模式信号S1可以被配置为控制计算电路108进行预定的计算，诸如像素合并(binning)或插值(interpolation)。依据不同的模式设定，输出图框F2的分辨率可以小于、大于或等于输入图框F1的分辨率。在一种实施方式中，输入图框F1可以是3D影像。
依据某些实施例，可以通过锗硅(Ge-on-Si)技术来实现影像传感器104内部的至少一部分或全部的光侦测器{PD}。尤其，像素阵列102可以被分成其两个子集合，诸如两个像素阵列。例如，这两个像素阵列可以包括非深度影像像素阵列102-1和深度影像像素阵列102-2。非深度影像像素阵列102-1可以被配置为产生二维(two-dimensional,2D)影像，并且深度影像像素阵列102-2可以被配置为产生3D影像。在一实施例中，非深度影像像素阵列102-1与深度影像像素阵列102-2相邻，并且这两个像素阵列被整合在单一芯片中。在一实施例中，这两个像素阵列可由不同的芯片所实现。
图3为依据本发明的一实施例绘示影像传感器104的结构。图3的左半部和右半部分别是俯视图(Top View)和侧视图(Side View)。如图3所示，非深度影像像素阵列102-1内部的任何光侦测器113可以使用硅来吸收光线，并且可以包括内嵌于硅(在图3的右上方标示为「Si」以求简明)中的PN接面(PN junction)以产生光电流(photocurrent)。本发明不局限于如图3的水平式PN接面，亦可为垂直式的PN接面，或是其他介于水平或垂直的PN接面。在另一方面，深度影像像素阵列102-2内部的任何光侦测器111可以使用锗吸收光线并且被配置为飞行时间(ToF)光侦测器。在一实施例中，光侦测器111可包括调变(modulation)区域111A和111B以及收集区域111C和111D(分别标示为「M」和「C」以求简明)。如图3所示，这四个区域111A、111B、111C和111D被内嵌于锗(标示为「Ge」以求简明)，其中锗形成在硅(标示为「Si」以求简明)上。调变区域111A和111B可以被配置为接收解调(demodulation)信号111S1和111S2以在锗中产生电场。光载子(例如：电子或电洞)将依据电场而产生，并由收集区域111C和111D收集以输出侦测信号111S3和111S4。
在一种实施方式中，调变区域111A和111B可以是掺杂的或未掺杂的。在掺杂情况下，调变区域111A和111B可以掺杂有N型或P型掺杂剂。在一种实施方式中，可以掺杂收集区111C和111D。例如，收集区111C和111D可以掺杂有N型或P型掺杂剂。
基于图3中所绘示的架构，非深度影像像素阵列102-1可以使用硅吸收光线，且深度影像像素阵列102-2可以使用锗吸收光线，因此，影像传感器104可以被视为混合(hybrid)影像传感器，其中影像传感器104可以将硅吸收用于2D影像，且将锗吸收用于3D影像。
图4为依据本发明的另一实施例绘示影像传感器104的结构。图4的左半部和右半部分别是俯视图和侧视图。相较于图3所示的架构，非深度影像像素阵列102-1可被本实施例替换。因应于架构上的替换，相关标号被重新编号(例如：在本实施例中，「113」可被替换成「114」)。如图4所示，非深度影像像素阵列102-1也可以通过使用锗硅技术来实现以吸收光线，其中，本实施例的非深度影像像素阵列102-1内部的任何光侦测器114可以包含在硅(标示为「Si」以求简明)上形成的锗(标示为「Ge」以求简明)，其可能包含一PN接面。本发明不局限于如图4的横向式的PN接面，亦可为垂直式的PN接面，或是其他介于横向式或垂直式的PN接面。
图5为依据本发明的一实施例绘示由影像传感器104在不同时间点t1和t2所侦测到的影像图框。由于在影像传感器104撷取影像的同时可能发生移动(例如：手的震动)，因此影像传感器104可以产生一或多个影像图框F1，诸如在时间点t1产生的第一图框(例如：第一深度影像)以及在时间点t2产生的第二图框(例如：第二深度影像)。另外，移动传感器105可以进行移动感测以产生移动感测结果，尤其，可依据至少两个影像图框F1(例如：第一图框和第二图框)之间的距离/速度信息来产生至少一个移动参数S2到3D影像计算模块107。换言之，一或多个移动参数S2可以包括这些影像图框(例如：第一和第二图框)之间的移动信息及/或速度信息。基于距离/速度信息和接收到的影像图框F1，计算电路108可以产生具有比这些影像图框F1更高分辨率/更高质量的至少一个输出图框F2(例如：通过将第一和第二深度影像的至少一部分组合而产生的一输出深度影像)。
图6A为依据本发明的一实施例绘示一种用于处理影像图框的计算方法。该计算方法可由计算电路108来进行。如图6A所示，第一图框(例如：第一深度影像)具有多个像素值诸如{P1(1,1),…,P1(3,3)}，第二图框(例如：第二深度影像)具有多个像素值诸如{P2(1,1),…,P2(3,3)}，并且输出图框(例如：输出深度影像)具有多个像素值诸如{Po(1,1),…,Po(5,5)}，其中第一图框、第二图框和输出图框的每个像素值可以是影像深度值。在操作期间，计算电路108可依据第一图框的一或多个像素值以及第二图框的一或多个像素值来得出输出图框的像素值(例如：{Po(1,1),…,Po(5,5)}中的任何一个)。例如，计算电路108可依据像素值P1(1,1)、像素值P2(1,1)以及权重值W1与W2来得出像素值Po(2,2)，如以下方程序(A)所示：
Po(2,2)＝P1(1,1)*W1+P2(1,1)*W2 (A)
权重值W1与W2可基于移动信息来决定。具体而言，计算电路108可依据由移动传感器105所产生的一或多个移动参数S2来决定第一和第二权重值W1和W2。
依据某些实施例，移动信息可以指出电子系统100的非故意手振动，其可用振动参数来表示。在这种情况下，由移动传感器105所产生的一或多个移动参数S2可以包括振动参数。计算电路108可依据包括振动参数的一或多个移动参数S2来决定第一和第二权重值W1和W2。例如，如果指出振动的振动参数大于一预定值，则第二权重值W2可以大于第一权重值W1；如果指出振动的振动参数小于该预定值，则可以将第二权重值W2设定为小于第一权重值W1；如果指出振动的振动参数等于该预定值，这表示第一图框和第二图框同等重要，则可以将第二权重值W2设定为等于第一权重值W1。
图6B为依据本发明的另一实施例绘示一种用于处理影像图框的计算方法。在本实施例中，可计算第一图框的两个或更多个像素值和第二图框的两个或更多个像素值以得出输出图框的某单一像素值。例如，计算电路108可以依据像素值P1(1,1)、像素值P1(1,2)、像素值P2(1,1)、像素值P2(1,2)以及对应的权重值W1、W2、W1'和W2'来得出像素值Po(2,3)，如以下方程序(B)所示：
Po(2,3)＝P1(1,1)*W1+P2(1,1)*W2+P1(1,2)*W1’+P2(1,2)*W2’(B)
权重值W1、W2、W1’和W2’可以用以上关于图6A所讨论的实施例的相似的方式来决定。因此，重复的描述在此予以省略。
在某些实施例中，可以使用四个以上的像素，这可取决于移动信息。例如，如果移动信息指出第二图框是由非故意的移动所造成的，则来自第二图框的像素的数量可以小于来自第一图框的像素的数量。另一方面，如果移动信息指出第二图框是由故意的移动所造成的，则来自第二图框的像素的数量可以大于来自第一图框的像素的数量。
除了使用移动来取得高分辨率及/或高质量的影像图框之外，本发明还提供了其他方法，包括但不限于合并和插值，以取得高分辨率及/或高质量的影像图框。以下将描述相关实施例。
模式控制电路106能够控制计算电路108的计算模式。以下实施例揭露了多个计算模式，包括但不限于空间域中的非重迭合并(non-overlapping binning)(以下使用模式Mode(1)为代表)、时域中的非重迭合并(以下使用模式Mode(2)为代表)、空间域中的重迭合并(overlapping binning)(以下使用模式Mode(3)为代表)以及插值(interpolation)(以下使用模式Mode(4)为代表)，来改善影像质量或分辨率。
图7A为依据本发明的一实施例绘示一种用于处理影像图框的计算方法。在本实施例中，其计算方法操作在模式Mode(1)下。尤其，应用子模式Mode(1A)，而这个子模式是用来在空间域中使用固定范围合并集群(fixed-range binning cluster)进行非重迭合并。如图7A所示，输入图框F1的分辨率可以是W×H，并且合并的集群的范围可以是m×n。换句话说，合并的集群的尺寸是相同的。合并的集群彼此不重迭。此外，m和n分别代表正整数，它们中的至少一个大于一；以及W和H分别代表正整数，分别大于m和n。在这个计算方法下，计算电路108可以从输入图框F1中的一合并的集群中取得输出图框F2的任何输出像素。
为了清楚理解，下面的描述使用符号来代表像素位置。例如，计算电路108可以从一合并的集群诸如{P1(1,1),P1(1,2),P1(2,1),P1(2,2)}取得一输出像素诸如Po(1,1)，从另一合并的集群诸如{P1(1,3),P1(1,4),P1(2,3),P1(2,4)}取得另一输出像素诸如Po(1,2)，且其余输出像素可通过类似方式取得。在一种实施方式中，计算电路108可以计算任何合并的集群诸如{P1(1,1),P1(1,2),P1(2,1),P1(2,2)}的平均值以取得一输出像素诸如Po(1,1)。在一种实施方式中，计算电路108可以向合并的集群的不同像素提供不同的权重。
图7B为依据本发明的一实施例绘示一种用于处理影像图框的计算方法。在本实施例中，其计算方法操作在模式Mode(1)下。尤其，应用了子模式Mode(1B)，而这个子模式是用来在空间域中使用非固定范围合并集群(non-fixed-range binning cluster)进行非重迭合并。相较于图7A所示的空间合并计算，于本实施例当中合并的集群的范围可以彼此不同。例如，某些输出像素(例如：Po(1,1)、Po(1,2))可从输入图框F1的一第一范围m×n(例如2×2)取得，且某些输出像素(例如：Po(2,1)、Po(2,2))可从输入图框F1的一第二范围q×r(例如2×3)取得，其中q和r分别代表正整数，并且它们中的至少一个是大于一。
图7C为依据本发明的一实施例绘示一种用于处理影像图框的计算方法。在本实施例中，其计算方法操作在模式Mode(3)下，而这个模式是用来在空间域中进行重迭合并。相较于第7A～7B图所示的实施例，于本实施例中由计算电路108所进行的该计算方法是重迭合并计算。如图7C所示，输入图框F1的分辨率可以是W×H，合并的集群的范围可以是m×n，且合并的集群彼此部分地重迭。例如，计算电路108可基于一合并的集群诸如{P1(1,1),P1(1,2),P1(2,1),P1(2,2)}来取得输出像素诸如Po(1,1)，基于另一合并的集群诸如{P1(1,2),P1(1,3),P1(2,2),P1(2,3)}来取得输出像素诸如Po(1,2)，且其余输出像素可通过类似方式取得。在一种实施方式中，计算电路108能计算任何合并的集群诸如{P1(1,1),P1(1,2),P1(2,1),P1(2,2)}的平均值以取得一输出像素诸如Po(1,1)。在一种实施方式中，计算电路108能向合并的集群的不同像素提供不同的权重。
图8为依据本发明的一实施例绘示一种用于处理影像图框的计算方法。在本实施例中，其计算方法操作在模式Mode(2)下，而这个模式是用来在时域中进行非重迭合并。相较于第7A～7C图所示的实施例，于本实施例中由计算电路108所进行的该计算方法是对不同输入图框{F1}(例如：在时间点t1产生的第一输入图框F1(t1)和在时间点t2产生的第二输入图框F1(t2))进行非重迭合并。输入图框{F1}的分辨率可以是W×H，而每个合并的集群的范围可以是m×n。对于第一输入图框F1(t1)，计算电路108可以基于一合并的集群诸如{Po(1,1),Po(1,2),Po(2,1),Po(2,2)}来取得一输出像素诸如Po(1,1)；对于第二输入图框F1(t2)，计算电路108可以基于另一合并的集群诸如{P2(2,1),P2(2,2),Po(3,1),Po(3,2)}来取得另一输出像素诸如Po(2,1)；且其余的输出像素可以通过类似的方式取得。
图9为依据本发明的一实施例绘示一种用于处理影像图框的计算方法。在本实施例中，其计算方法操作在模式Mode(4)下，而这个模式是用来进行插值计算。如图9所示，计算电路108可通过插值，以更高的分辨率将输入图框F1转换为输出图框F2。例如，计算电路108可基于以下方程序(C)取得输出图框F2的任何输出像素：
Po(I，J)＝∑(i,j)∈A(I,J)w(i，j)p1(i，j) (C)
依据方程式(C)，计算电路108可以从选择的输入像素{P1(i,j)}的加权总合(诸如输入像素{P1(i,j)}和其各自的权重w(i,j)相乘所得的积的总和)取得输出像素Po(I,J)。依据某些实施例，这个计算可以对从深度影像像素阵列102-2产生的3D影像(例如：输入图框F1)来进行，尤其，信号噪声比(signal-to-noise ratio,SNR)能被改善并且图框速率(framerate)能被保持。
依据某些实施例，计算电路108可以对在其他模式(例如：模式Mode(1)、模式Mode(2)及/或模式Mode(3))下产生的一或多个输入图框、及/或基于如上所述的移动产生的一或多个输入图框来进行额外的插值，以产生更高的平面/深度分辨率和更高质量的图框。
依据某些实施例，计算电路108可以任意地将重迭合并、非重迭合并、固定或动态集群、插值、空间域计算及/或时域计算组合成为由计算电路108所进行的前述预定计算。
图10为依据本发明的某些实施例绘示合并或插值计算的实施细节。排列在用虚线绘示的网网格线的交叉处的点可以代表输入像素{P1}的至少一部分的位置，并且在图10的左半部以及右半部描绘的阴影较深的点可以代表某一输出像素Po的位置。如图10的左半部所示，某一输入像素的位置可被标示为(i,j)，并且某一输出像素的位置可被标示为(a,b)。
在合并计算的情况下，计算电路108可将一共同设定应用于权重值{w(i,j)}。尤其，计算电路108可将所有的权重值{w(i,j)}设定为相同，诸如一平均系数1/|A(I,J)|。例如，计算电路108可基于如下方程序(D)来设定权重值w(i,j)：
w(i,j)＝f(a(i,j)) (D)；
其中a(i,j)代表像素P1(i,j)的强度。
在插值计算的情况下，输出像素和输入像素通常被转换至一共同的坐标。一最简单的情况，以图10的左半部为例，权重值可被计算为双线性插值(bilinearinterpolation)。假设(a,b)是对应到输入图框F1的坐标中的Po(I,J)的坐标，则A(I,J)可以代表包含(a,b)的最小矩形的顶点，且w(i,j)＝(1-|a-i|)*(1-|b-j|)。依据某些实施例，以图10的右半部为例，A(I,J)可以代表(a,b)附近的m×n个像素，且c(i,j)＝(1/Z)*f(i-a)*f(j-b)，其中Z是正规化常数。于是，最终权重值w(i,j)可以用c(i,j)表示(例如：w(i,j)＝c(i,j))。依据某些实施例，计算电路108可以使用具有c(i,j)的权重中值滤波器(weighted medianfilter)。在这种情况下，如果它是被滤出的像素，则(i,j)的权重值w(i,j)等于1。否则，(i,j)的权重值w(i,j)等于0。
基于以上揭露的装置和影像计算方法，某些实施例可以被实现。影像传感器104可以被配置为吸收光线以产生输入图框F1，并且计算电路108可以被配置为依据预定计算产生输出图框F2。尤其，模式控制电路106可以被配置为产生模式信号S1，以供输出到计算电路108，以控制由计算电路108进行哪一种预定计算。此外，光侦测器{111}可以使用包含锗的材料(例如：SixGe1-x，其中0≤x<1)以吸收光线，并且该预定计算可以包括像素合并、插值、移动或其任意组合。
依据某些实施例，影像传感器104内部的光侦测器{113}可以使用包括硅的材料来吸收光线。依据某些实施例，影像传感器104内部的光侦测器{113}可以使用包括锗的材料来吸收光线。
依据某些实施例，由计算电路108所进行的预定计算可以基于不同的模式(例如：模式Mode(1)、模式Mode(2)或任何其他模式)来改变。
由计算电路108所进行的影像计算是基于图框的计算，并且那些图框可被视为时间或位置上的信息，以供使用于图像处理装置110或电子系统100。例如，第一图框F1(1)和第二图框F1(2)可分别代表在该第一时间(例如：时间点t1)的该第一组输入信息以及在该第二时间(例如：时间点t2)的该第二组输入信息，而输出图框F2可代表基于这两组输入信息来产生的该输出信息。又例如，第一图框F1(1)和第二图框F1(2)可分别代表在该第一位置(例如：位置RRL1)的该第一组输入信息以及在该第二位置(例如：位置RRL2)的该第二组输入信息，而输出图框F2可代表基于这两组输入信息来产生的该输出信息。
图11依据本发明的一实施例绘示一种用于处理影像图框的计算方法的流程图。依据某些实施例，计算电路108能基于这个流程图进行该计算方法。
在步骤1110中，计算电路108可接收第一图框F1(1)及第二图框F1(2)。
在步骤1120中，计算电路108可依据移动传感器105所产生的一或多个移动参数S2取得第一权重值W1及第二权重值W2。
在步骤1130中，计算电路108可依据第一图框F1(1)中的第一像素P1、第二图框F1(2)中的第二像素P2、第一权重值W1及第二权重值W2计算输出像素Po。
依据本实施例，第一图框F1(1)中的第一像素P1、第二图框F1(2)中的第二像素P2以及输出图框F2中的输出像素Po可以是深度值。
图12依据本发明的一实施例绘示一种用于处理影像图框的计算方法的流程图。依据某些实施例，计算电路108能基于这个流程图进行该计算方法。
在步骤1210中，计算电路108可接收第一图框F1(1)、第二图框F1(2)及第三图框F1(3)。
在步骤1220中，计算电路108可依据移动传感器105所产生的一或多个移动参数S2取得第一权重值W1、第二权重值W2及第三权重值W3。
在步骤1230中，计算电路108可依据第一图框F1(1)中的第一像素P1、第二图框F1(2)中的第二像素P2及第三图框F1(3)中的第三像素P3、第一权重值W1、第二权重值W2及第三权重值W3计算输出像素Po。
依据本实施例，第一图框F1(1)中的第一像素P1、第二图框F1(2)中的第二像素P2、第三图框F1(3)中的第三像素P3和输出图框F2中的输出像素Po可以是深度值。相较于图11所示的实施例，图像处理装置110可以使用三个输入图框(例如：图框F1(1)、F1(2)和F1(3))来产生输出图框。
图13依据本发明的一实施例绘示一种用于处理影像图框的计算方法的流程图。依据某些实施例，计算电路108能基于这个流程图进行该计算方法。
在步骤1310中，计算电路108可接收第一图框F1(1)及第二图框F1(2)。
在步骤1320中，计算电路108可依据移动传感器105所产生的一个或多个移动参数S2取得第一权重值W1及第二权重值W2。
在步骤1330中，计算电路108可依据第一图框F1(1)中的第一像素P1、第二图框F1(2)中的第二像素P2、第一权重值W1及第二权重值W2计算暂时输出图框F_temp中的暂时输出像素Po_temp。
在步骤1340中，计算电路108可接收第三图框F1(3)。
在步骤1350中，计算电路108可依据移动传感器105所产生的一个或多个移动参数S2取得第三权重值W3。
在步骤1360中，计算电路108可依据暂时输出像素Po_temp、第三图框F1(3)中的第三像素P3、用于暂时输出像素Po_temp的权重值W_temp及第三权重值W3计算输出像素Po。例如，步骤1310～1330的操作可以分别等同于步骤1110～1130的操作，暂时输出像素Po_temp可以等于步骤1330的输出像素Po，并且权重值W_temp可以使步骤1360的输出像素Po等于步骤1230的输出像素Po。
依据本实施例，第一图框F1(1)中的第一像素P1、第二图框F1(2)中的第二像素P2、第三图框F1(3)中的第三像素P3和输出图框F2中的输出像素Po可以是深度值。相较于图11所示的实施例，图像处理装置110可以使用三个输入图框(例如：图框F1(1)、F1(2)和F1(3))来产生输出图框。尤其，计算电路108可依据两个输入图框(例如：图框F1(1)和F1(2))产生暂时输出图框F_temp，然后基于第三个输入图框(例如：图框F1(3))和暂时输出图框F_temp产生输出图框F2。
根据图11至图13所示的实施例，权重值是根据移动传感器105而获得，但是，这不是限制性的。在某些其他实施例中，可以根据其他因素来获得这些权重值，例如直接由计算电路108设置该些权重值系统以进行合并/内插计算。
前述实施例至少揭露了应用于具有锗硅技术的影像传感器104的移动计算、合并计算和插值计算，从而可以提升影像分辨率和质量。另外，由于影像传感器104的缺陷可能存在，故本发明以下揭露其他实施例，其整合了校正(calibration)机制以提高影像准确性。
图14依据本发明的一实施例绘示一种3D影像计算模块。移动计算A01可参考第2、5、6及11～13图所示的实施例。合并计算A02可参考第7、8及10图所示的实施例。插值计算A03可参考第9及10图所示的实施例。具体而言，本实施例将校正机制整合到计算电路108中，包括但不限于：同相-正交不匹配(In-phase and Quadrature(IQ)-mismatch，简称IQ不匹配)校正C11、非线性校正C12、温度校正C13、偏移(offset)校正C14和镜头校正C15。这些校正可以通过查找表(look-up-table,LUT)来实现，并且其校正数据可以储存在储存媒体(例如缓存器或闪存)中。
依据某些实施例，该输出信息(例如：输出图框F2)可至少部分地基于合并计算、插值计算和校正的一者或任意组合来产生。例如，进行这些计算A01、A02、A03以及校正C11、C12、C13、C14和C15的顺序可以适当地调整，并且不需要进行所有项目。在一实施例中，可以由计算电路108进行如{A02，A03，C11，C12，C13，C14和C15}的顺序和项目。在另一实施例中，可以由计算电路108进行如{C11，A02，C12，C13和C14}的顺序和项目。由于可以实现各种顺序和项目的许多组合，为简明起见，在此未绘示其他实施例。在其他方面，模式控制电路106可以动态地调整这些操作。
本发明能通过结合移动、合并及/或插值计算将校正机制整合到3D影像计算模块107中，于是，影像分辨率、质量和准确性能被改善。
图15为依据本发明的一实施例绘示一种光侦测器的结构。相较于图3所示的光侦测器111，本实施例具有相同的功能，但使用不同的结构。如图15所示，标示为「n+」的某些区域指出这些区域被N型掺杂剂重掺杂，并且符号「G」代表闸极。另外，这个光侦测器包括四个端子：两个汲极端子和两个闸极端子。源极端子被形成于两个闸极端子之间。值得注意的是，源极端子可以是未掺杂或掺杂的(例如：N型掺杂剂)。
在本实施例中，两个解调信号分别被施加于闸极端子，使得侦测信号可以分别从汲极端子输出。依据一种实施方式，一个解调信号可以是另一个解调信号的反相信号，波形可以是方波，诸如频率信号或脉冲信号。
图16为依据本发明的一实施例绘示图15所示的光侦测器的等效电路。简要而言，图15中所示的光侦测器结构以及图16所示的等效电路包括两个晶体管和一个光二极管(photodiode)。光二极管可以产生光载子，并且两个晶体管可以基于解调信号111S1和111S2来输出侦测信号111S3和111S4。
基于以上所述的实施例，本发明提供了能够在锗硅传感器(例如：影像传感器104)上进行深度/平面分辨率控制的装置和方法。锗硅技术能吸收具有更大波长(例如：大于900纳米(nanometer,nm)的波长)的光线，这提高了激光(laser)的安全性。此外，藉助于深度/平面分辨率控制，诸如合并、插值或移动感测，影像质量能被提升。由于操作模式是可调整的，故本发明所揭露的装置能基于不同的情况来调整操作模式，这可以省电及/或提升影像质量。并且，本发明整合了校正机制，因此输出深度信息可以更接近真实深度。
以上所述仅为本发明的较佳实施例，凡依本发明发明专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
Claims (19)
1.一种图像处理装置，其特征在于，包含：
具有一深度影像像素阵列的一影像传感器，该影像传感器被配置为在一第一时间产生一代表一第一深度影像的第一组输入信息以及在一第二时间产生一代表一第二深度影像的第二组输入信息，该第一组输入信息与一第一权重值相关联，该第二组输入信息与一第二权重值相关联；
一移动传感器，被配置为侦测该图像处理装置的一移动，以及基于该移动输出一移动信息；以及
一三维影像计算模块，被配置为基于该移动信息决定该第一权重值与该第二权重值，以及基于该第一组输入信息与该第二组输入信息以及该第一权重值与该第二权重值来产生一输出信息；
其中，该深度影像像素阵列包括锗。
2.如权利要求1所述的图像处理装置，其特征在于，该影像传感器包括一非深度影像像素阵列。
3.如权利要求1所述的图像处理装置，其特征在于，该移动传感器包括一加速度计或一微机电系统陀螺仪，其中，该第一组输入信息在该移动之前产生，并且该第二组输入信息在该移动之后产生。
4.如权利要求1所述的图像处理装置，其特征在于，该输出信息是至少部分地基于一合并计算来产生。
5.如权利要求4所述的图像处理装置，其特征在于，该合并计算是通过将该第一组输入信息与该第二组输入信息划分为多个合并集群来进行。
6.如权利要求5所述的图像处理装置，其特征在于，该多个合并集群是被动态地调整。
7.如权利要求1所述的图像处理装置，其特征在于，该输出信息是至少部分地基于一插值计算来产生。
8.如权利要求1所述的图像处理装置，其特征在于，该输出信息是至少部分地基于一校正来产生。
9.如权利要求1所述的图像处理装置，其特征在于，该输出信息是至少部分地基于合并计算、插值计算与校正的任意组合来产生。
10.一种图像处理装置的图像处理方法，其特征在于，包含：
通过具有一深度影像像素阵列的一影像传感器，以在一第一时间产生一代表一第一深度影像的第一组输入信息以及在一第二时间产生一代表一第二深度影像的第二组输入信息；
通过一移动传感器，侦测基于该图像处理装置的一移动决定一移动信息；
根据该移动信息决定一第一权重值；
根据该移动信息决定一第二权重值；以及
基于该第一组输入信息与该第二组输入信息以及该第一权重值与该第二权重值来产生一输出信息；
其中该深度影像像素阵列包括锗。
11.如权利要求10所述的图像处理方法，其特征在于，该影像传感器包括一非深度影像像素阵列。
12.如权利要求10所述的图像处理方法，其特征在于，该移动传感器包括一加速度计或一微机电系统陀螺仪。
13.如权利要求10所述的图像处理方法，其特征在于，另包含至少部分地基于一合并计算或一插值计算来产生该输出信息。
14.如权利要求10所述的图像处理方法，其特征在于，另包含至少部分地基于一校正来产生该输出信息。
15.一种图像处理装置，其特征在于，包含：
具有一深度影像像素阵列的一影像传感器，该影像传感器被配置为在一第一位置产生一代表一第一深度影像的第一组输入信息以及在一第二位置产生一代表一第二深度影像的第二组输入信息，该第一组输入信息与一第一权重值相关联，该第二组输入信息与一第二权重值相关联；
一移动传感器，被配置为侦测该图像处理装置的一移动，以及基于该移动输出一移动信息；以及
三维影像计算模块，被配置为基于该移动信息决定该第一权重值与该第二权重值，以及基于该第一组输入信息与该第二组输入信息以及该第一权重值与该第二权重值来产生输出信息；
其中该深度影像像素阵列包括锗。
16.如权利要求15所述的图像处理装置，其特征在于，该影像传感器包括一非深度影像像素阵列。
17.如权利要求15所述的图像处理装置，其特征在于，该移动传感器包括一加速度计或一微机电系统陀螺仪，其中，该第一组输入信息在该移动之前产生，并且该第二组输入信息在该移动之后产生。
18.如权利要求15所述的图像处理装置，其特征在于，该输出信息是至少部分地基于一合并计算或插值计算来产生。
19.如权利要求15所述的图像处理装置，其特征在于，该输出信息是至少部分地基于一校正来产生。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962813776P | 2019-03-05 | 2019-03-05 | |
| US62/813,776 | 2019-03-05 | ||
| US201962869570P | 2019-07-02 | 2019-07-02 | |
| US62/869,570 | 2019-07-02 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111669562A CN111669562A (zh) | 2020-09-15 |
| CN111669562B true CN111669562B (zh) | 2024-06-04 |
Family
ID=72335398
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010143825.4A Active CN111669562B (zh) | 2019-03-05 | 2020-03-04 | 高分辨率三维图像处理装置及图像处理方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US11544873B2 (zh) |
| CN (1) | CN111669562B (zh) |
| TW (1) | TWI808309B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11624653B2 (en) * | 2020-12-03 | 2023-04-11 | Artilux, Inc. | Multi-application optical sensing apparatus and method thereof |
| US11867562B2 (en) * | 2022-01-25 | 2024-01-09 | Visera Technologies Company Limited | Optical devices |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06326980A (ja) * | 1993-04-08 | 1994-11-25 | Sony United Kingdom Ltd | 動き補償映像信号処理方式 |
| CN101018299A (zh) * | 2006-02-07 | 2007-08-15 | 日本胜利株式会社 | 摄像方法以及摄像装置 |
| JP2010041633A (ja) * | 2008-08-08 | 2010-02-18 | Hitachi Ltd | 映像信号処理装置、映像表示装置、映像信号処理方法 |
| CN102780849A (zh) * | 2011-05-13 | 2012-11-14 | 索尼公司 | 图像处理装置、图像摄取装置、图像处理方法及程序 |
| CN104079799A (zh) * | 2013-03-28 | 2014-10-01 | 晨星半导体股份有限公司 | 影像移动检测方法、影像处理方法以及使用这些方法的装置 |
| CN109076144A (zh) * | 2016-05-10 | 2018-12-21 | 奥林巴斯株式会社 | 图像处理装置、图像处理方法以及图像处理程序 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10091439B2 (en) * | 2009-06-03 | 2018-10-02 | Flir Systems, Inc. | Imager with array of multiple infrared imaging modules |
| KR101887099B1 (ko) * | 2010-12-29 | 2018-08-09 | 삼성전자주식회사 | 이미지 처리 시스템 및 이미지 처리 방법 |
| KR101488074B1 (ko) * | 2013-02-04 | 2015-01-29 | 주식회사 동부하이텍 | 이미지 센서와 이를 이용한 비닝 이미지 생성 방법 |
| JP5908174B2 (ja) * | 2013-07-09 | 2016-04-26 | 株式会社日立国際電気 | 画像処理装置及び画像処理方法 |
| US9282253B2 (en) * | 2014-02-18 | 2016-03-08 | Qualcomm Technologies, Inc. | System and method for multiple-frame based super resolution interpolation for digital cameras |
| WO2015157341A1 (en) * | 2014-04-07 | 2015-10-15 | Samsung Electronics Co., Ltd. | High resolution, high frame rate, low power image sensor |
| KR102272254B1 (ko) * | 2015-02-13 | 2021-07-06 | 삼성전자주식회사 | 위상 검출 픽셀을 이용하여 깊이 맵을 생성하기 위한 영상 생성 장치 |
| TWI744196B (zh) * | 2015-08-04 | 2021-10-21 | 光程研創股份有限公司 | 製造影像感測陣列之方法 |
| US10679326B2 (en) * | 2015-11-24 | 2020-06-09 | Canon Kabushiki Kaisha | Image data processing apparatus and image data processing method that determine confidence data indicating a level of confidence in a pixel value in high resolution image data |
-
2020
- 2020-03-03 US US16/807,179 patent/US11544873B2/en active Active
- 2020-03-04 CN CN202010143825.4A patent/CN111669562B/zh active Active
- 2020-03-04 TW TW109107142A patent/TWI808309B/zh active
-
2022
- 2022-11-29 US US18/071,018 patent/US11887339B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06326980A (ja) * | 1993-04-08 | 1994-11-25 | Sony United Kingdom Ltd | 動き補償映像信号処理方式 |
| CN101018299A (zh) * | 2006-02-07 | 2007-08-15 | 日本胜利株式会社 | 摄像方法以及摄像装置 |
| JP2010041633A (ja) * | 2008-08-08 | 2010-02-18 | Hitachi Ltd | 映像信号処理装置、映像表示装置、映像信号処理方法 |
| CN102780849A (zh) * | 2011-05-13 | 2012-11-14 | 索尼公司 | 图像处理装置、图像摄取装置、图像处理方法及程序 |
| CN104079799A (zh) * | 2013-03-28 | 2014-10-01 | 晨星半导体股份有限公司 | 影像移动检测方法、影像处理方法以及使用这些方法的装置 |
| CN109076144A (zh) * | 2016-05-10 | 2018-12-21 | 奥林巴斯株式会社 | 图像处理装置、图像处理方法以及图像处理程序 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111669562A (zh) | 2020-09-15 |
| TW202034681A (zh) | 2020-09-16 |
| US11544873B2 (en) | 2023-01-03 |
| TW202341721A (zh) | 2023-10-16 |
| TWI808309B (zh) | 2023-07-11 |
| US20200286260A1 (en) | 2020-09-10 |
| US11887339B2 (en) | 2024-01-30 |
| US20230096508A1 (en) | 2023-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11887339B2 (en) | High resolution 3D image processing apparatus and method thereof | |
| KR102070562B1 (ko) | 이벤트 기반 이미지 처리 장치 및 그 장치를 이용한 방법 | |
| US11303794B2 (en) | Imaging apparatus, imaging method and imaging program | |
| US10002436B2 (en) | Image processing device, image processing method, and solid-state imaging device | |
| US20150365584A1 (en) | Reliability measurements for phase based autofocus | |
| CN111464754B (zh) | 用于生成hdr图像的成像系统及其操作方法 | |
| US20160156836A1 (en) | Image capture device and focus control method | |
| WO2017180272A1 (en) | Image sensors with dynamic pixel binning | |
| US20150054986A1 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
| US9258502B2 (en) | Methods of operating depth pixel included in three-dimensional image sensor and methods of operating three-dimensional image sensor | |
| CN112492165B (zh) | 摄像头模组、成像方法和电子设备 | |
| US20130135430A1 (en) | Method for adjusting moving depths of video | |
| TW202141065A (zh) | 主動深度感測圖像感測器 | |
| TWI846517B (zh) | 影像處理裝置及其影像處理方法、電子系統 | |
| JP6427720B2 (ja) | 撮像素子及び撮像装置 | |
| JP2014017785A (ja) | 画像処理装置、画像処理方法およびプログラム、ならびに、撮像装置 | |
| CN114730013A (zh) | 被配置为使用飞行时间成像和立体成像的成像系统 | |
| US10264191B2 (en) | Calibration of pixels for producing super resolution images | |
| CN116724563A (zh) | 用于光学传感器设备的光学滤波器 | |
| WO2016194576A1 (ja) | 情報処理装置および方法 | |
| US11418739B2 (en) | Lock-in pixel with reduced noise current and sensors including the same | |
| EP4175311A1 (en) | Photon counting image sensor, image acquisition apparatus and electronic apparatus including the image acquisition apparatus | |
| US20230388673A1 (en) | Patch-based image sensor | |
| JP2014033258A (ja) | 撮像装置 | |
| WO2023150671A1 (en) | Methods, systems and devices for increasing image resolution and dynamic range |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |