CN113537276A - 多深度信息的融合方法与融合系统 - Google Patents

多深度信息的融合方法与融合系统 Download PDF

Info

Publication number
CN113537276A
CN113537276A CN202110413690.3A CN202110413690A CN113537276A CN 113537276 A CN113537276 A CN 113537276A CN 202110413690 A CN202110413690 A CN 202110413690A CN 113537276 A CN113537276 A CN 113537276A
Authority
CN
China
Prior art keywords
information
depth information
image capturing
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110413690.3A
Other languages
English (en)
Inventor
李季峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
eYs3D Microelectronics Co
Original Assignee
eYs3D Microelectronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by eYs3D Microelectronics Co filed Critical eYs3D Microelectronics Co
Publication of CN113537276A publication Critical patent/CN113537276A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Radio Relay Systems (AREA)

Abstract

一种多深度信息的融合方法与融合系统。多深度信息的融合方法包括以下步骤。利用一第一图像获取模块获得一第一深度信息。利用一第二图像获取模块获得一第二深度信息。通过一非线性转换，转化该第一深度信息为一第一转化信息并依据该第一转化信息处理该第二深度信息产生一已转化信息；或者是融合该第一深度信息及该第二深度信息为一融合后的信息后，通过该非线性转换转换该融合后的信息为该已转化信息。

Description

多深度信息的融合方法与融合系统
技术领域
本发明是有关于一种融合方法与融合系统，且特别是有关于一种多深度信息的融合方法与融合系统。
背景技术
随着显示科技的快速发展，发展出一种立体显示技术。在立体显示技术中，可以融合多个不同基线(baseline)/深度视差的深度信息，以取得各方面的优点。为了让不同深度视差的深度信息能够位于同一基础，必须进行正规化的动作。一般而言，正规化的动作是对深度视差以线性转换的方式乘上相同的数值。如此一来，将导致位数大幅扩张。
此外，融合多深度信息可以实现去遮蔽的效果，但在传统的去遮蔽程序中，基线的长度都不长，而无法取得精密度较高的深度信息。
发明内容
本发明有关于一种多深度信息的融合方法与融合系统，其通过非线性转换的方式来进行转化，使得位数不会大幅扩张。此外，在进行去遮蔽程序时，利用光学中心转换技术，来充分利用具有最高精度的深度信息，使得融合结果能够大幅提升精确度。
根据本发明的一方面，提出一种多深度信息的融合方法。多深度信息的融合方法包括以下步骤。利用一第一图像获取模块获得一第一深度信息。利用一第二图像获取模块获得一第二深度信息。通过一非线性转换，转化该第一深度信息为一第一转化信息并依据该第一转化信息处理该第二深度信息产生该已转化信息；或者是融合该第一深度信息及该第二深度信息为一融合后的信息后，通过该非线性转换转换该融合后的信息为该已转化信息。
根据本发明的另一方面，提出一种多深度信息的融合系统。多深度信息的融合系统包括一第一图像获取模块、一第二图像获取模块、一深度产生单元及一融合单元。该深度产生单元用以依据利用一第一图像获取模块获得一第一深度信息并利用一第二图像获取模块获得一第二深度信息。该融合单元通过一非线性转换，转化该第一深度信息为一第一转化信息，并依据该第一转化信息处理该第二深度信息产生该已转化信息或者是融合该第一深度信息及该第二深度信息为一融合后的信息后，通过该非线性转换转换该融合后的信息为该已转化信息。
以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。
附图说明
图1为根据一实施例的多深度信息的融合系统的示意图。
图2为根据一实施例的多深度信息的融合方法的流程图。
图3为根据一实施例的视差的示意图。
图4示例说明根据一实施例的线性转换的示意图。
图5示例说明根据一实施例的非线性转换的示意图。
图6为根据一实施例的非线性转换的电路图。
图7为根据另一实施例的非线性转换的电路图。
图8示例说明根据另一实施例的非线性转换的示意图。
图9为根据另一实施例的多深度信息的融合系统的示意图。
图10为根据另一实施例的多深度信息的融合方法的流程图。
其中，附图标记：
100,100’:融合系统
110A:第一图像获取单元
110B:第二图像获取单元
110C:第三图像获取单元
120,120’:深度产生单元
121:第一深度引擎
122:第二深度引擎
123:第三深度引擎
140:光学中心转换单元
150:融合单元
151:乘法器
152:减法器
153:除法器
154:加法器
Bab:第一基线
Bac:第二基线
Bbc:第三基线
D1,D1’,D1”,D1”’:数据
Dab:第一深度视差
Dac:第二深度视差
DM1:第一深度信息
DM2:第二深度信息
DM3:第三深度信息
P1,P2:转折点
r:比值
S110,S120,S140,S150,S150’:步骤
thd,thd’:临界值
具体实施方式
下面结合附图对本发明的结构原理和工作原理作具体的描述：
请参照图1，其为根据一实施例的多深度信息的融合系统100的示意图。融合系统100包括由一第一图像获取单元110A及一第二图像获取单元110B组成的第一图像获取模块(图中未标示)、由该第二图像获取单元110B及一第三图像获取单元110C组成的第二图像获取模块(图中未标示)、一深度产生单元120及一融合单元150。第一图像获取单元110A、第二图像获取单元110B、第三图像获取单元110C用以获取彩色图像、灰阶图像或红外线图像，例如是彩色相机、黑白相机或红外线相机。深度产生单元120例如是包括一第一深度引擎121及一第二深度引擎122。在另一实施例中，深度产生单元120可以仅包括一个深度引擎。融合单元150用以融合多个深度信息。深度产生单元120及/或融合单元150例如是一电路、一芯片、一云端运算中心、一程序码、一电路板、或存储程序码的存储装置。在深度信息的融合过程中，必须对深度信息进行转化。然而，转化的过程可能会造成位数大幅扩张。本实施例的融合系统100可以通过非线性转换进行转化，以使扩张的位数能够降低，并降低存储的数据量。以下更搭配一流程图详细说明本实施例的融合系统100的运作。
请参照图2，其为根据一实施例的多深度信息的融合方法的流程图。在步骤S110中，依据第一图像获取单元110A及第二图像获取单元110B，深度产生单元120的第一深度引擎121获得一第一深度信息DM1。一第一基线(baseline)Bab位于第一图像获取单元110A与第二图像获取单元110B之间。第一基线Bab例如是3厘米。请参照图3，其为根据一实施例的视差的示意图。第一深度信息DM1具有一第一深度视差Dab。本发明所称的第一深度信息DM1指画面的整体。
接着，在步骤S120中，依据第一图像获取单元110A及第三图像获取单元110C，深度产生单元120的第二深度引擎122获得一第二深度信息DM2。一第二基线Bac位于第一图像获取单元110A与第三图像获取单元110C之间。第二基线Bac例如是12厘米。第二深度信息DM2具有一第二深度视差Dac。第二基线Bac大于第一基线Bab，第二基线Bac与第一基线Bab的比值例如为4。本发明所称的第二深度信息DM2指画面的整体。
上述步骤S110与步骤S120可同时执行或交换顺序，本发明并不局限其执行顺序。
然后，在步骤S150中，融合单元150依据第一深度信息DM1及第二深度信息DM2来进行融合。在步骤S150中，融合单元150通过一非线性转换，转化第一深度信息DM1为一已转化信息。在深度信息的融合过程中，必须对深度信息进行转化，然而，传统上传统转化的过程可能会造成位数大幅扩张，通过本发明非线性转换进行转化成已转化信息之后，将使扩张的位数能够降低，并降低存储的数据量。本发明所称的已转化信息指画面的整体。
传统上，第一深度信息DM1通过线性转换来进行转化。举例来说，下式(1)为线性转换的作法。第二基线Bac与第一基线Bab具有比值r。
D1’＝D1*r……………………………………………………(1)
请参照图4，其示例说明根据一实施例的线性转换的示意图。原本为「0、1、2、3」的数据D1通过线性转换进行转化，将被转化为「0、4、8、12」等数据D1’。为了存储「0、4、8、12」等数据D1’，需要额外增加2位，造成位数大幅扩张。在4、8、12等数值之间，并没有5、6、7、9、10、11等数值的存在，徒然浪费的许多数据量。当数据D1以上式(1)进行线性转换时，转化后的数据D1’以较大的幅度跳跃其数值，因而造成位数的大幅扩张。本发明所称的数据D1与数据D1’指一个像素的像数值。
为了避免位数的大幅扩张，本实施例通过非线性转换的方式进行转化。请参照图5，其示例说明根据一实施例的非线性转换的示意图。为了降低位数的扩张，数据D1’以下式(2)进行非线性转换，而获得转化后的数据D1”。本发明所称的数据D1”指一个像素的像数值。
D1”＝(D1’>thd)？thd+(D1’-thd)/r:D1’………………….(2)
也就是说，若数据D1’高于一临界值thd，则以一转换比例进行转化；若数据D1’不高于临界值thd，则仍为数据D1’。临界值thd例如是具有第二深度视差Dac的第二深度信息DM2的数据的最大值。转换比例为第二基线Bac相对于第一基线Bab的比值r(示于图7)的倒数，即1/r。如图5所示，非线性转换后的数据D1”以较小的幅度跳跃其数值。举例来说上式(2)的运作，临界值thd例如是4，比值r例如是4。上述「0」的数据D1’不高于临界值thd，故仍以原来的数据D1’做为数据D1”，即「0」。上述「4」的数据D1’不高于临界值thd，故仍以原来的数据D1’做为数据D1”，即「4」。上述「8」的数据D1’高于临界值thd，故经由「临界值thd+(数据D1’-临界值thd)/比值r」的运算，获得「5(即4+(8-4)/4＝5)」的数据D1”。上述「12」的数据D1’高于临界值thd，故经由「临界值thd+(数据D1’-临界值thd)/比值r」的运算，获得「6(即4+(12-4)/4＝6)」的数据D1”。也就是说，「0、4、8、12」等数据D1’可以经由上式(2)转化为「0、4、5、6」等数据D1”，非线性转换后的数据D1”以较小的幅度跳跃其数值。
上式(1)与上式(2)的组合可以获得下式(3)：
D1”＝(D1*r>thd)？thd+(D1*r-thd)/r:D1*r……………..(3)
请参照图6，其为根据一实施例的非线性转换的电路图。图6的电路图用以实现上式(3)的非线性转换。数据D1与比值r输入一乘法器151进行乘法运算。乘法器151的输出结果与临界值thd输入至减法器152进行减法运算。然后，减法器152的输出结果与比值r输入至除法器153进行除法运算。最后，除法器153的输出结果与临界值thd输入至加法器154进行加法运算，以获得数据D1”。
在另一实施例中，上式(3)可以简化为下式(4)：
D1”＝(cond)？D1+thd’:D1*r
thd’＝thd-thd/r
cond例如是D1*r>thd………….…………………………(4)
请参照图7，其为根据另一实施例的非线性转换的电路图。图7的电路图用以实现上式(4)的运算。数据D1与临界值thd’输入加法器154进行加法运算，即可获得数据D1”。临界值thd’则可以以参数形态预先存储于存储器中，无须进行运算。一般而言，加法器154的电路结构相当简易，无需过多的逻辑元件即可实现。除法器153的电路结构最为复杂，需要相当多的逻辑元件才能实现。设计者可以采用图7的设计来降低电路复杂度，并可减少运算延迟与系统负载。举例来说上式(4)的运作，临界值thd例如是4，比值r例如是4。上述「0、1」等数据D1无须经由「数据D1+临界值thd’」的运算。上述「2」的数据D1经由「数据D1+临界值thd’」的运算，可以得到「5(即2+3＝5)」的数据D1”。上述「3」的数据D1经由「数据D1+临界值thd’」的运算，可以得到「6(即3+3＝6)」的数据D1”。也就是说，上述「2、3」等数据D1只须经由简单的加法运算即可获得「5、6」等数据D1”。
在另一实施例中，上述步骤S150的非线性转换亦可通过位右移运算(shift)来实现。为了降低位数的扩张，数据D1’可以下式(5)进行非线性转换。
D1”＝(cond)？(D1>>s)+thd’:D1’
cond例如是D1’>thd……………………………………….(5)
在上式(5)中，s例如是1。也就是说，上式(5)的位右移运算为1位右移运算。举例来说，原本为「8、12、16、32」等数据D1’通过线性转换进行转化，将被转化为「4、6、8、16」等数据D1”。进行1位右移运算后，数据D1”的数值可以有效降低，亦能有效避免位数的大幅扩张。
请参照图8，其示例说明根据另一实施例的非线性转换的示意图。在某些实施例中，当有三个深度信息需要进行融合时，位数的扩张情况会更为严重，数据D1’可以利用图8的两阶段方式进行非线性转换。如图8所示，图8具有两个转折点P1、P2。非线性转换后的数据D1”’可以更小的幅度跳跃其数值。除此之外，本实施例的非线性转换亦可应用于四个深度信息的融合、五个深度信息的融合，甚至无上限数量的深度信息的融合。只需采用多个转折点，即可顺利降低数值的跳跃幅度。本发明所称的数据D1”’指一个像素的像数值。
上述数据D1转化为数据D1’、数据D1”或数据D1”’后，可以大幅降低运算所需存储器所需数据量与逻辑大小，这些数据D1’、数据D1”或数据D1”’经过运算后，可以再反向转化回数据D1，已运算回正确的深度信息。
通过上述实施例，第一深度信息DM1与第二深度信息DM2在融合过程中，可以通过非线性转换的方式来进行转化，使得位数不会大幅扩张。
此外，上述非线性转换的动作可以执行于融合选择的动作之前。或者，上述非线性转换的动作可以执行于融合选择的动作之后。本发明并不局限非线性转换的动作的执行顺序。另外本发明当非线性转换的动作在融合动作之前时，有下列不同的作法：先通过非线性转换的方式转换第一深度信息DM1为第一转化信息，接着将第一转化信息和第二深度信息DM2融合；或者先通过非线性转换的方式转换第一深度信息DM1为第一转化信息并转换第二深度信息DM2为第二转化信息，接着才融合第一转化信息和第二转化信息。另外本发明当非线性转换的动作在融合动作之后时，可以先融合该第一深度信息及该第二深度信息为一融合后的信息后，才通过该非线性转换转换该融合后的信息为该已转化信息。再次强调本发明并不局限非线性转换的动作和融合选择的动作的执行顺序。
再者，融合多深度信息也可以实现去遮蔽的效果。请参照图9，其为根据另一实施例的多深度信息的融合系统100’的示意图。融合系统100’包括一第一图像获取单元110A、一第二图像获取单元110B、一第三图像获取单元110C、一深度产生单元120、一光学中心转换单元140及一融合单元150。
一般而言，在进行去遮蔽程序时，两个深度信息的光学中心必须位于同一位置。以图9为例，第一图像获取单元110A位于第二图像获取单元110B与第三图像获取单元110C之间。第一深度信息DM1的一光学中心位于第一图像获取单元110A。第二深度信息DM2的一光学中心位于第一图像获取单元110A。第一基线Bab位于第一图像获取单元110A与第二图像获取单元110B之间。第一基线Bab例如是3厘米。第二基线Bac位于第一图像获取单元110A与第三图像获取单元110C之间。第二基线Bac例如是12厘米。一般而言，基线的长度越长，深度信息的精度越高。倘若仅通过第一深度信息DM1及第二深度信息DM2来进行去遮蔽程序，仅能利用到第一基线Bab与第二基线Bac的精度。在本实施例中，一第三基线Bbc位于第二图像获取单元110B与第三图像获取单元110C之间。第三基线Bbc例如是15厘米。本实施例更进一步利用第三基线Bbc来提高去遮蔽程序深度信息的精度。以下更搭配一流程图详细说明本实施例的融合方法所进行的去遮蔽程序。
请参照图10，其为根据另一实施例的多深度信息的融合方法的流程图。在图10的融合方法中，更实现去能够提高精度的遮蔽程序。在步骤S110中，依据第一图像获取单元110A及第二图像获取单元110B，深度产生单元120’的第一深度引擎121获得第一深度信息DM1。
接着，在步骤S120中，依据第一图像获取单元110A及第三图像获取单元110C，深度产生单元120’的第二深度引擎122获得第二深度信息DM2。
然后，在步骤S130中，依据第二图像获取单元110B及第三图像获取单元110C，深度产生单元120’的第三深度引擎123获得一第三深度信息DM3。一第三基线Bbc位于第二图像获取单元110B与第三图像获取单元110C之间。第三基线Bbc大于第二基线Bac与第一基线Bab。第三基线Bbc例如是15厘米。由于第三基线Bbc最长，故第三深度信息DM3具有最高精度。
上述步骤S110、S120、S130的步骤可同时执行。或者，步骤S110、S120、S130可任意调整执行顺序。本发明并不局限其执行顺序。
接着，在步骤S140中，光学中心转换单元140将第三深度信息DM3投影至第一深度信息DM1的光学中心与投影面。在此步骤中，光学中心转换单元140取得第三深度信息DM3与第一深度信息DM1的空间关系(例如外部参数)后，将第三深度信息DM3依据上述空间关系投影至第一深度信息DM1的光学中心与投影面。
然后，在步骤S150’中，融合单元150依据第一深度信息DM1、第二深度信息DM2及第三深度信息DM3进行融合。在步骤S150’的过程中，融合单元150一并进行去遮蔽程序。在本实施例中，融合单元150进行去遮蔽程序时，可以充分利用到具有最高精度的第三深度信息DM3，使得融合结果能够大幅提升精确度。
另外，在本实施例中由第一图像获取单元110A及第二图像获取单元110B组成的第一图像获取模块，由该第二图像获取单元110B及第三图像获取单元110C组成的第二图像获取模块。但在本发明的其它实施例中也可以由第一图像获取单元110A及第二图像获取单元110B组成的第一图像获取模块，由该第三图像获取单元110C及第四图像获取单元(图中未标示)组成的第二图像获取模块，由于第一图像获取模块以及第二图像获取模块之间未共用图像获取单元，因此需要利用光学中心转换单元140先进行光学中心的转换才进行本发明的非线性转换的动作，举例来说，当将第一深度信息的光学中心设于该第一图像获取单元且将该第二深度信息的一光学中心设于该第三图像获取单元时，需要利用光学中心转换单元140将二者的光学中心先转成一样，举例来说，先将该第二深度信息投影至该第一深度信息的光学中心与投影面后才进行本发明的非线性转换的动作。
当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (18)

1.一种多深度信息的融合方法，其特征在于，包括：
利用一第一图像获取模块获得一第一深度信息；
利用一第二图像获取模块获得一第二深度信息；以及
通过一非线性转换，转化该第一深度信息为一第一转化信息并依据该第一转化信息处理该第二深度信息产生一已转化信息；或者是融合该第一深度信息及该第二深度信息为一融合后的信息后，通过该非线性转换转换该融合后的信息为该已转化信息。
2.如权利要求1所述的多深度信息的融合方法，其特征在于，该依据该第一转化信息处理该第二深度信息产生该已转化信息更包括下列步骤：
转化该第二深度信息为一第二转化信息；以及
融合该第一转化信息及该第二转化信息产生该已转化信息。
3.如权利要求1所述的多深度信息的融合方法，其特征在于，该依据该第一转化信息处理该第二深度信息产生该已转化信息更包括下列步骤：
融合该第一转化信息及该第二深度信息产生该已转化信息。
4.如权利要求1所述的多深度信息的融合方法，其特征在于，该非线性转换以一转换比例进行转化。
5.如权利要求4所述的多深度信息的融合方法，其特征在于，该第一图像获取模块更包括一第一图像获取单元以及一第二图像获取单元，一第一基线(base line)位于该第一图像获取单元与该第二图像获取单元之间；
该第二图像获取模块更包括该第一图像获取单元与一第三图像获取单元，一第二基线位于该第一图像获取单元与该第三图像获取单元之间；以及
该转换比例为该第二基线相对于该第一基线的比值的倒数。
6.如权利要求1所述的多深度信息的融合方法，其特征在于，该非线性转换以位右移运算进行转化转换融合后的信息。
7.如权利要求6所述的多深度信息的融合方法，其特征在于，该位右移运算为1位右移运算。
8.如权利要求1所述的多深度信息的融合方法，其特征在于，该第一图像获取模块更包括一第一图像获取单元以及一第二图像获取单元，将该第一深度信息的一光学中心设于该第一图像获取单元；该第二图像获取模块更包括一第三图像获取单元与一第四图像获取单元，并将该第二深度信息的一光学中心设于该第三图像获取单元，该融合方法更包括：
将该第二深度信息投影至该第一深度信息的该光学中心与一投影面。
9.如权利要求1所述的多深度信息的融合方法，其特征在于，该第一图像获取模块更包括一第一图像获取单元以及一第二图像获取单元，该第二图像获取模块更包括该第二图像获取单元与一第三图像获取单元，该第一图像获取单元位于该第二图像获取单元与该第三图像获取单元之间，该第一深度信息的一光学中心位于该第一图像获取单元，该第二深度信息的一光学中心位于该第一图像获取单元，该融合方法更包括：
依据该第二图像获取单元及该第三图像获取单元，获得一第三深度信息；
将该第三深度信息投影至该第一深度信息的该光学中心与一投影面；以及
依据该第一深度信息、该第二深度信息及该第三深度信息进行一去遮蔽程序。
10.一种多深度信息的融合系统，其特征在于，包括：
一第一图像获取模块；
一第二图像获取模块；
一深度产生单元，用以依据利用该第一图像获取模块获得一第一深度信息并利用该第二图像获取模块获得一第二深度信息；以及
一融合单元，通过一非线性转换，转化该第一深度信息为一第一转化信息，并依据该第一转化信息处理该第二深度信息产生一已转化信息；或者是融合该第一深度信息及该第二深度信息为一融合后的信息后，通过该非线性转换转换该融合后的信息为该已转化信息。
11.如权利要求10所述的多深度信息的融合系统，其特征在于，该融合单元依据该第一转化信息处理该第二深度信息产生该已转化信息时转化该第二深度信息为一第二转化信息并融合该第一转化信息及该第二转化信息产生该已转化信息。
12.如权利要求10所述的多深度信息的融合系统，其特征在于，该融合单元依据该第一转化信息处理该第二深度信息产生该已转化信息时融合该第一转化信息及该第二深度信息产生该已转化信息。
13.如权利要求10所述的多深度信息的融合系统，其特征在于，该非线性转换以一转换比例进行转化。
14.如权利要求13所述的多深度信息的融合系统，其特征在于，该第一图像获取模块更包括一第一图像获取单元以及一第二图像获取单元，一第一基线(base line)位于该第一图像获取单元与该第二图像获取单元之间；
该第二图像获取模块更包括该第一图像获取单元与一第三图像获取单元，一第二基线位于该第一图像获取单元与该第三图像获取单元之间；以及
该转换比例为该第二基线相对于该第一基线的比值的倒数。
15.如权利要求10所述的多深度信息的融合系统，其特征在于，该非线性转换以位右移运算进行转化转换融合后的信息。
16.如权利要求15所述的多深度信息的融合系统，其特征在于，该位右移运算为1位右移运算。
17.如权利要求10所述的多深度信息的融合系统，其特征在于，该第一图像获取模块更包括一第一图像获取单元以及一第二图像获取单元，将该第一深度信息的一光学中心设于该第一图像获取单元；该第二图像获取模块更包括一第三图像获取单元与一第四图像获取单元，并将该第二深度信息的一光学中心设于该第三图像获取单元，以及该融合系统更包括：
将该第二深度信息投影至该第一深度信息的该光学中心与一投影面。
18.如权利要求10所述的多深度信息的融合系统，其特征在于，该第一图像获取模块更包括一第一图像获取单元以及一第二图像获取单元，该第二图像获取模块更包括该第二图像获取单元与一第三图像获取单元，该第一图像获取单元位于该第二图像获取单元与该第三图像获取单元之间，该第一深度信息之一光学中心位于该第一图像获取单元，该第二深度信息之一光学中心位于该第一图像获取单元，依据该第二图像获取单元及该第三图像获取单元，获得一第三深度信息，以及该融合系统更包括：
一光学中心转换单元，用以将该第三深度信息投影至第一深度信息的该光学中心与一投影面；
其中该融合单元依据该第一深度信息、该第二深度信息及该第三深度信息进行一去遮蔽程序。
CN202110413690.3A 2020-04-16 2021-04-16 多深度信息的融合方法与融合系统 Pending CN113537276A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063011246P 2020-04-16 2020-04-16
US63/011,246 2020-04-16

Publications (1)

Publication Number Publication Date
CN113537276A true CN113537276A (zh) 2021-10-22

Family

ID=78080991

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110413690.3A Pending CN113537276A (zh) 2020-04-16 2021-04-16 多深度信息的融合方法与融合系统
CN202110413696.0A Pending CN113542712A (zh) 2020-04-16 2021-04-16 多深度信息的处理方法与处理系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110413696.0A Pending CN113542712A (zh) 2020-04-16 2021-04-16 多深度信息的处理方法与处理系统

Country Status (3)

Country Link
US (2) US11889044B2 (zh)
CN (2) CN113537276A (zh)
TW (2) TWI804850B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102695070A (zh) * 2012-06-12 2012-09-26 浙江大学 一种立体图像的深度一致性融合处理方法
US20120249746A1 (en) * 2011-03-28 2012-10-04 Cornog Katherine H Methods for detecting, visualizing, and correcting the perceived depth of a multicamera image sequence
CN102750731A (zh) * 2012-07-05 2012-10-24 北京大学 基于左右单眼感受野和双目融合的立体视觉显著计算方法
CN103945204A (zh) * 2014-04-01 2014-07-23 青岛海信电器股份有限公司 一种图像信号处理方法及装置
CN105578019A (zh) * 2014-08-15 2016-05-11 光宝科技股份有限公司 一种可获得深度信息的影像提取系统与对焦方法
CN108961194A (zh) * 2017-03-31 2018-12-07 钰立微电子股份有限公司 用以融合多深度图的深度图产生装置
CN110135309A (zh) * 2019-05-02 2019-08-16 西安电子科技大学 基于深度共享表示的sar图像变化检测方法
CN110999301A (zh) * 2017-08-15 2020-04-10 杜比实验室特许公司 位深度高效图像处理

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070189750A1 (en) * 2006-02-16 2007-08-16 Sony Corporation Method of and apparatus for simultaneously capturing and generating multiple blurred images
US20070298867A1 (en) * 2006-06-09 2007-12-27 American Alpha, Inc. Games rewarding systems
JP5387377B2 (ja) * 2009-12-14 2014-01-15 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
KR101759252B1 (ko) * 2011-01-21 2017-07-19 삼성전자주식회사 액티브 셔터를 이용한 3차원 홀로그래피 영상 표시 장치
US20120236114A1 (en) * 2011-03-18 2012-09-20 Te-Hao Chang Depth information generator for generating depth information output by only processing part of received images having different views, and related depth information generating method and depth adjusting apparatus thereof
WO2014093376A1 (en) * 2012-12-10 2014-06-19 The Cleveland Clinic Foundation Mage fusion with automated compensation for brain deformation
KR20140145470A (ko) * 2013-06-13 2014-12-23 엘지전자 주식회사 3차원 영상 처리 장치 및 방법
JP6173156B2 (ja) * 2013-10-02 2017-08-02 キヤノン株式会社 画像処理装置、撮像装置及び画像処理方法
CN104660900B (zh) * 2013-10-30 2018-03-02 株式会社摩如富 图像处理装置及图像处理方法
US9087405B2 (en) * 2013-12-16 2015-07-21 Google Inc. Depth map generation using bokeh detection
KR102180068B1 (ko) * 2013-12-30 2020-11-17 엘지디스플레이 주식회사 해상도 스케일링 기능을 갖는 멀티뷰 이미지 생성 방법 및 장치
TWI519884B (zh) * 2014-01-23 2016-02-01 鈺創科技股份有限公司 產生深度資訊的裝置、產生深度資訊的方法和立體攝影機
US20150381965A1 (en) * 2014-06-27 2015-12-31 Qualcomm Incorporated Systems and methods for depth map extraction using a hybrid algorithm
US10547825B2 (en) * 2014-09-22 2020-01-28 Samsung Electronics Company, Ltd. Transmission of three-dimensional video
DE102014115310A1 (de) * 2014-10-21 2016-04-21 Infineon Technologies Ag Bilderzeugungsvorrichtungen und ein Laufzeit-Bilderzeugungsverfahren
US10262466B2 (en) 2015-10-14 2019-04-16 Qualcomm Incorporated Systems and methods for adjusting a combined image visualization based on depth information
JP2017184007A (ja) * 2016-03-30 2017-10-05 キヤノン株式会社 画像処理装置、撮像装置、制御方法およびプログラム
WO2018085797A1 (en) * 2016-11-04 2018-05-11 Aquifi, Inc. System and method for portable active 3d scanning
TWI672938B (zh) * 2017-03-31 2019-09-21 鈺立微電子股份有限公司 可校正遮蔽區的深度圖產生裝置
EP3441788A1 (en) * 2017-08-08 2019-02-13 Koninklijke Philips N.V. Apparatus and method for generating a representation of a scene
KR102525000B1 (ko) 2018-08-08 2023-04-24 삼성전자 주식회사 복수의 이미지들이 합성된 이미지를 깊이 정보에 기반하여 흐림 처리하는 전자 장치 및 상기 전자 장치의 구동 방법
CN110895822B (zh) * 2018-09-13 2023-09-01 虹软科技股份有限公司 深度数据处理系统的操作方法
US10885384B2 (en) * 2018-11-15 2021-01-05 Intel Corporation Local tone mapping to reduce bit depth of input images to high-level computer vision tasks
CN109525786B (zh) * 2018-12-26 2021-04-30 北京旷视科技有限公司 视频处理方法、装置、终端设备及存储介质
CN109631853A (zh) * 2018-12-29 2019-04-16 深圳市道通智能航空技术有限公司 一种深度图处理方法、装置和无人机
CN109741388B (zh) * 2019-01-29 2020-02-28 北京字节跳动网络技术有限公司 用于生成双目深度估计模型的方法和装置
US11430134B2 (en) * 2019-09-03 2022-08-30 Nvidia Corporation Hardware-based optical flow acceleration
US11423510B2 (en) * 2019-10-28 2022-08-23 Samsung Electronics Co., Ltd System and method for providing dolly zoom view synthesis
WO2021108626A1 (en) * 2019-11-27 2021-06-03 Compound Eye Inc. System and method for correspondence map determination
US11450018B1 (en) * 2019-12-24 2022-09-20 X Development Llc Fusing multiple depth sensing modalities
CN114494087A (zh) * 2020-11-12 2022-05-13 安霸国际有限合伙企业 无监督的多尺度视差/光流融合

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120249746A1 (en) * 2011-03-28 2012-10-04 Cornog Katherine H Methods for detecting, visualizing, and correcting the perceived depth of a multicamera image sequence
CN102695070A (zh) * 2012-06-12 2012-09-26 浙江大学 一种立体图像的深度一致性融合处理方法
CN102750731A (zh) * 2012-07-05 2012-10-24 北京大学 基于左右单眼感受野和双目融合的立体视觉显著计算方法
CN103945204A (zh) * 2014-04-01 2014-07-23 青岛海信电器股份有限公司 一种图像信号处理方法及装置
CN105578019A (zh) * 2014-08-15 2016-05-11 光宝科技股份有限公司 一种可获得深度信息的影像提取系统与对焦方法
CN108961194A (zh) * 2017-03-31 2018-12-07 钰立微电子股份有限公司 用以融合多深度图的深度图产生装置
CN110999301A (zh) * 2017-08-15 2020-04-10 杜比实验室特许公司 位深度高效图像处理
CN110135309A (zh) * 2019-05-02 2019-08-16 西安电子科技大学 基于深度共享表示的sar图像变化检测方法

Also Published As

Publication number Publication date
TW202141974A (zh) 2021-11-01
US20210329213A1 (en) 2021-10-21
TWI804850B (zh) 2023-06-11
CN113542712A (zh) 2021-10-22
US20210329212A1 (en) 2021-10-21
US11889044B2 (en) 2024-01-30
TWI784482B (zh) 2022-11-21
US11943418B2 (en) 2024-03-26
TW202141123A (zh) 2021-11-01

Similar Documents

Publication Publication Date Title
US11055826B2 (en) Method and apparatus for image processing
JP2022517444A (ja) 映像フレーム補間のための特徴ピラミッドワーピング
JP7228608B2 (ja) ビデオフレームの処理方法及び処理装置、電子機器、記憶媒体並びにコンピュータプログラム
US11308576B2 (en) Visual stylization on stereoscopic images
US10582132B2 (en) Dynamic range extension to produce images
US10692249B2 (en) Octree traversal for anchor point cloud compression
US11748986B2 (en) Method and apparatus for recognizing key identifier in video, device and storage medium
US20220261961A1 (en) Method and device, electronic equipment, and storage medium
US11010879B2 (en) Video image processing method and apparatus thereof, display device, computer readable storage medium and computer program product
US11076140B2 (en) Information processing apparatus and method of controlling the same
CN109643528B (zh) 信息处理装置、信息处理方法和程序
KR20210132590A (ko) 영상 프레임 처리 방법 및 장치, 전자 기기, 저장 매체 그리고 프로그램
JP2023524624A (ja) 画像フォーマットを変換する方法、装置、電子機器、記憶媒体およびプログラム
JP2021192244A (ja) 位置情報の生成方法、関連装置及びコンピュータプログラム製品
CN113537276A (zh) 多深度信息的融合方法与融合系统
KR20160082704A (ko) Tv 영상용 초해상 처리 방법 및 이 방법에 따른 tv 영상용 초해상 처리 장치, 제1~제14 초해상 처리 프로그램과 제1~제4 기억 매체
KR20180053494A (ko) 모바일 환경에서의 증강현실 게임공간 구축방법
US11368693B2 (en) Forward and inverse quantization for point cloud compression using look-up tables
CN111179388B (zh) 基于3d场景的漫画编辑方法及终端
Song et al. Computation of Level-Set Components From Level Lines
US20210217229A1 (en) Method and apparatus for plenoptic point clouds generation
CN115512033A (zh) 一种3d场景渲染方法、装置、电子设备及存储介质
CN115830422A (zh) 图像处理方法、装置和电子设备
CN117979070A (zh) 用于分享头戴显示设备显示画面的方法和装置
CN117726711A (zh) 特效图像生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination