CN111294582B - 三维影像处理方法、摄影装置及非暂态电脑可读取储存介质 - Google Patents

三维影像处理方法、摄影装置及非暂态电脑可读取储存介质 Download PDF

Info

Publication number
CN111294582B
CN111294582B CN201911140176.6A CN201911140176A CN111294582B CN 111294582 B CN111294582 B CN 111294582B CN 201911140176 A CN201911140176 A CN 201911140176A CN 111294582 B CN111294582 B CN 111294582B
Authority
CN
China
Prior art keywords
image
camera
electronic device
objects
depth information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911140176.6A
Other languages
English (en)
Other versions
CN111294582A (zh
Inventor
李经豪
何家驹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
HTC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HTC Corp filed Critical HTC Corp
Publication of CN111294582A publication Critical patent/CN111294582A/zh
Application granted granted Critical
Publication of CN111294582B publication Critical patent/CN111294582B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Prostheses (AREA)

Abstract

一种三维影像处理方法包括：藉由摄影装置利用第一摄影机撷取第一影像和利用第二摄影机撷取第二影像；藉由摄影装置传送第一影像至电子装置；藉由摄影装置基于第二影像的深度资讯传送第二影像中的一或多个物件影像至电子装置；以及藉由电子装置透过结合一或多个物件影像和第一影像重建第三影像。三维影像处理方法可实现以降低网络的流通量，同时为电子装置提供足够的影像资料以重建和显示给用户的左眼和右眼的两个不同影像，以利在需要低传送延迟(诸如直播/即时广播或其他即时应用)的应用中实现三维效果。

Description

三维影像处理方法、摄影装置及非暂态电脑可读取储存介质
技术领域
本公开内容关于一种电子装置和影像处理方法，且特别关于应用视差效应的三维影像处理方法。
背景技术
在一些三维影音串流应用中，用户从两只眼睛相应地接收两个不同的影像。由于视差效应，用户可感觉到影像中的物件的距离/深度不同，因此实现了三维效果。
发明内容
本公开内容的一个方面是关于一种三维影像处理方法。根据本公开内容的一些实施例，三维影像处理方法包括：藉由摄影装置利用第一摄影机撷取第一影像和利用第二摄影机撷取第二影像；藉由摄影装置传送第一影像至电子装置；藉由摄影装置基于第二影像的深度资讯传送第二影像中的一或多个物件影像至电子装置；以及藉由电子装置透过结合一或多个物件影像和第一影像重建第三影像。
在一实施例中，三维影像处理方法还包括辨识第二影像中的一或多个物件或影像区域；透过第二影像的深度资讯获得摄影装置与一或多个物件或影像区域之间的多个相应距离；以及当摄影装置与一或多个物件或影像区域之间的相应距离小于一门槛值，将一或多个物件或影像区域作为一或多个物件影像传送至电子装置。
在一实施例中，重建第三影像包括：用一或多个物件影像中的多个相应像素替换第一影像中的多个相应像素。
在一实施例中，三维影像处理方法还包括：应用一立体视觉方法以获得第二影像的深度资讯，且立体视觉方法包括：比较第一影像和第二影像中的多个相应像素，以估算第二影像的深度资讯。
在一实施例中，三维影像处理方法还包括应用一结构光方法以获得第二影像的深度资讯，且结构光方法包括藉由一发光单元将具有一编码图案的光投影到一或多个物件上；藉由一影像感测器撷取在一或多个物件上的一光编码；以及比较光编码与编码图案，以估算第二影像的深度资讯。
在一实施例中，三维影像处理方法还包括应用一飞行时间方法以获得第二影像的深度资讯，且飞行时间方法包括：藉由一发光单元将光投影到一或多个物件上；藉由一影像感测器撷取从一或多个物件反射的光；以及藉由影像感测器量测光从发光单元到一或多个物件并返回至影像感测器的一行进时间，以估算第二影像的深度资讯。
在一实施例中，三维影像处理方法还包括藉由电子装置分别在一第一屏幕和一第二屏幕上显示第一影像和第三影像。
本公开内容的另一方面是关于一种摄影装置。根据本公开内容的一些实施例，摄影装置包括第一摄影机、第二摄影机、处理电路、通讯电路、存储器、以及一或多个程序。处理电路电性连接至第一摄影机和第二摄影机。通讯电路电性连接至处理电路且用以让摄影装置与电子装置进行通讯。存储器电性连接至处理电路。一或多个程序储存在存储器中且用以由处理电路执行。一或多个程序包括指令用于控制第一摄影机撷取第一影像并控制第二摄影机撷取第二影像、控制通讯电路传送第一影像至电子装置、以及控制通讯电路基于第二影像的深度资讯传送第二影像中的一或多个物件影像至电子装置。第三影像藉由电子装置透过结合一或多个物件影像和第一影像重建。
在一些实施例中，一或多个程序还包括指令用于：辨识第二影像中的一或多个物件或影像区域；透过第二影像的深度资讯获得摄影装置与一或多个物件或影像区域之间的多个相应距离；以及当摄影装置与一或多个物件或影像区域之间的相应距离小于一门槛值，控制通讯电路将一或多个物件或影像区域作为一或多个物件影像传送至电子装置。
本公开内容的另一方面是关于一种非暂态电脑可读取储存介质。根据本公开内容的一些实施例，非暂态电脑可读取储存介质，用以储存包含多个指令的一或多个程序，当执行所述指令时，将致使处理电路执行多个操作包括：控制第一摄影机撷取第一影像并控制第二摄影机撷取第二影像、控制通讯电路传送第一影像至电子装置、以及控制通讯电路基于第二影像的深度资讯传送第二影像中的一或多个物件影像至电子装置。第三影像系藉由电子装置结合一或多个物件影像和第一影像重建。
如本公开文件所述，三维影像处理方法可实现以降低网络的流通量，同时为电子装置提供足够的影像资料以重建和显示给用户的左眼和右眼的两个不同影像，以利在需要低传送延迟(诸如直播/即时广播或其他即时应用)的应用中实现三维效果。
以上所述仅系用以阐述本发明所欲解决的问题、解决问题的技术手段、及其产生的功效等等，本发明的具体细节将在下文的实施方式及相关图式中详细介绍。
附图说明
为让本发明的上述和其他目的、特征、优点与实施例能更明显易懂，所附图式的说明如下：
图1是根据本公开内容的一些实施例绘示的介于摄影装置和电子装置之间的通讯情境的示意方块图。
图2是根据本公开内容的一些实施例绘示的三维影像处理方法的流程图。
图3A和图3B是根据本公开内容的一些实施例绘示的第一影像和第二影像的示意图。
图3C是根据本公开内容的一些实施例绘示的第一影像和第二影像的场景的示意图。
图4是根据本公开内容的一些实施例绘示的详细的操作的流程图。
图5A～图5C是绘示应用了相应的方法以获得第二影像的深度资讯的三维影像处理方法的操作示意图。
具体实施方式
以下将以图式及详细叙述清楚说明本公开内容的精神，任何所属技术领域中具有通常知识者在了解本公开内容的实施例后，当可由本公开内容所教示的技术，加以改变及修饰，其并不脱离本公开内容的精神与范围。下述说明中相同元件将以相同的符号标示来进行说明以便于理解。
关于本文中所使用的『电性连接』，可指二或多个元件相互直接作实体或电性接触，或是相互间接作实体或电性接触。相反地，若使用「直接电性连接」，则指二或多个元件间相互直接作实体或电性接触，中间不存在其他任何元件。此外，『电性连接』还可指二或多个元件相互之间操作或关系。
关于本文中所使用的『第一』、『第二』、...等，并非特别指称次序或顺位的意思，亦非用以限定本发明，其仅为了区别以相同技术用语描述的元件。
关于本文中所使用的『包含』、『包括』、『具有』、『含有』等等，均为开放性的用语，即意指包含但不限于。
关于本文中所使用的『及/或』，系包括所述事物的任一或全部组合。
关于本文中所使用的方向用语，例如：上、下、左、右、前或后等，仅是参考附加图式的方向。因此，使用的方向用语是用来说明并非用来限制本案。
关于本文中使用的所有用词(包含技术和科学用语)，除有特别注明外，与所属领域的具有通常知识者的通常理解含义相同。此外，如有出现在常用字典中定义的用语，除在本公开中特别定义外，应就相关技术领域以及上下文中的意义进行理解，而非将其理解为过度正式的涵义。
请参考图1。图1是根据本公开内容的一些实施例绘示的介于摄影装置100和电子装置200之间的通讯情境的示意方块图。摄影装置100可用以利用摄影机140撷取一或多个第一影像IMG1，或利用摄影机150撷取一或多个第二影像IMG2。从具有不同视角的不同镜头取得的多个影像可压缩及传送并显示在电子装置200的不同屏幕240和250上。由于屏幕240和250分别对应于用户的两只眼睛，因此两只眼睛的影像之间的视差效果可为穿戴电子装置200的用户带来三维影像。
举例来说，在一些实施例中，摄影装置100可撷取具有2K像素和每秒60帧的第一影像IMG1和第二影像IMG2。由摄影装置获得的原始资料大约是每秒36亿位元(3.6Gbps)，其在十倍压缩之后，传送到电子装置200的资料大约是每秒3.6亿位元(360Mbps)。
在一些实施例中，包括两个显示区域以同时显示影像给两只眼睛的电子装置200，可应用于虚拟实境(Virtual Reality,VR)、混合实境(Mixed Reality,MR)或扩增实境(Augmented Reality,AR)系统。举例来说，电子装置200可藉由独立的头戴式装置(HMD)或VIVE头戴式装置来实现。在一些其它实施例中，电子装置200亦可以是智慧型手机装置、平板电脑或是具有无线通讯能力以从摄影装置100接收影像资料的任一其它可携式电子装置。详细来说，独立的头戴式装置可进行位置和旋转的定位资料处理、图形处理或其它资料计算。
如图1所示，摄影装置100和电子装置200分别包括处理电路110和210、存储器120和220及通讯电路130和230。摄影装置100更包括摄影机140和150。电子装置200更包括屏幕240和250。
一或多个程序PR1和PR2分别储存在存储器120和220中，并用以透过处理电路110和210执行，以便执行和控制摄影装置100和电子装置200之间的通讯。另外，一或多个程序PR1和PR2用以透过处理电路110和210执行，以便执行三维影像处理方法，其中三维影像处理方法的操作将在以下段落中说明。
在一些实施例中，处理电路110和210可藉由一或多个处理器(诸如中央处理器及/或微处理器)实现，但不以此为限。在一些实施例中，存储器120和220分别包括一或多个存储器装置，其中每一存储器装置或多个存储器装置的集合包括电脑可读取储存介质。电脑可读取储存介质可包括只读存储器(ROM)、快闪存储器、软碟、硬碟、光碟、随身碟、磁带、可由网络存取的数据库、及/或本领域技术人员可轻易思及具有相同功能的任一储存介质。
在结构上，存储器120和220分别电性连接至处理电路110和210。通讯电路130和230分别电性连接至处理电路110和210，并用以让摄影装置100与电子装置200协作地进行通讯。在一些实施例中，通讯电路130和230包括一或多个射频(Radio Frequency,RF)模组，其符合定义的RF通讯协定(例如Wifi)，并用以在两个装置之间传送及/或接收无线电讯号。举例来说，通讯电路130和230可结合印刷电路板、一或多个传送或接收电路、一或多个天线单元、及用于与处理电路110和210通讯的串列介面。本领域技术人员可理解如何实现通讯电路130和230，因此为了简洁起见，在此省略了进一步的说明。
摄影装置100和电子装置200的详细操作将结合图2中所示的实施例来说明。图2是根据本公开内容的一些实施例绘示的三维影像处理方法900的流程图。值得注意的是，三维影像处理方法900可应用于具有相同或相似于图1中所示的摄影装置100的结构的摄影装置。为简便以下的叙述，将根据本公开内容的部分实施例，以图1所示的实施例为示例进行对三维影像处理方法900的说明，然而本公开内容并不以图1的实施例的应用为限。
如图2所示，三维影像处理方法900包括操作S1、S2、S3、S4和S5。在操作S1中，处理电路110用以控制摄影机140撷取第一影像IMG1并控制摄影机150撷取第二影像IMG2。
在操作S2中，处理电路110用以控制通讯电路130以传送第一影像IMG1至电子装置200。
在操作S3中，处理电路110用以控制通讯电路130基于第二影像IMG2的深度资讯传送第二影像IMG2中的一或多个物件影像至电子装置200。
为了更好地理解，请参考图3A、图3B和图3C。图3A和图3B是根据本公开内容的一些实施例绘示的第一影像IMG1和第二影像IMG2的示意图。图3C是根据本公开内容的一些实施例绘示的第一影像IMG1和第二影像IMG2的场景的示意图。
如图3A～图3C所示，现实世界中的物件OB1～OB5被撷取在第一影像IMG1和第二影像IMG2中。由于物件OB1～OB5与摄影装置100之间的相应距离D1～D5不同，因此沿着两条不同的视线观察的物件OB1～OB5的位置的位移或差异在第一影像IMG1和第二影像IMG2中也不同。
具体来说，对于相对近的物件如物件OB1(例如，棕榈树)在两个影像中观察到的差异大于相对远的物件如物件OB5(例如，鸟类)在两个影像中观察到的差异。另外，在物件远离摄影装置100的情况下，在两个影像中物件的位置的差异很小，因此对于人眼来说可忽略不计。换句话说，不需要传送完整的第一影像IMG1和第二影像IMG2，因为两个影像的一部分(例如，背景区域)实质上相同，此部分的影像差异可忽略不计。
据此，摄影装置100可基于第二影像IMG2的深度资讯传送完整的第一影像IMG1及第二影像IMG2中的一或多个物件影像IMGa、IMGb、IMGc至电子装置200。因此，仅传送部分的第二影像IMG2，且可减少进入和经由无线传输系统的资料量。换句话说，减少了网络的流通量，并相应地减少了资料传送的等待时间。摄影装置100和电子装置200可因此应用于需要低等待时间的各种应用中，例如直播/即时广播或其它即时应用。
具体来说，在一些实施例中，摄影装置100可基于第二影像IMG2的深度资讯辨识第二影像IMG2中的物件OB1～OB5的距离D1～D5，并在物件OB1、OB2和OB3靠近摄影装置100的情况下传送相应的物件影像IMGa、IMGb、IMGc至电子装置200。
请参考图4。图4是根据本公开内容的一些实施例绘示的详细的操作S3的流程图。如图4所示，操作S3包括操作S31、S32和S33。在操作S31中，处理电路110用以辨识第二影像IMG2中的一或多个物件OB1～OB5或影像区域。
在操作S32中，处理电路110用以透过第二影像IMG2的深度资讯获得摄影装置100与一或多个物件OB1～OB5或影像区域之间的相应距离D1～D5。
在操作S33中，当摄影装置100与一或多个物件OB1～OB3或影像区域之间的相应距离D1、D2和D3小于门槛值时，处理电路110用以控制通讯电路130将一或多个物件OB1～OB3或影像区域作为一或多个物件影像IMGa、IMGb和IMGc传送至电子装置200。在一些实施例中，门槛值可配置为大约1.5米，但本公开内容不限于此。举例来说，在一些其它实施例中，门槛值可配置为大约10米。门槛值可根据应用的实际要求而决定。举例来说，对于需要更高的准确度和更多细节的三维效果的应用(例如，三维模型的设计软体、关于真实飞行体验的游戏软体)，门槛值可配置为相对较低，例如0.5米至3米。在另一示例中，对于需要快速响应和高帧速率的应用，门槛值可配置为相对较高，例如5米至20米。
因此，对于具有大于门槛值的距离的物件OB4和OB5及场景的背景区域来说，仅传送第一影像IMG1至电子装置200。另一方面，对于具有小于门槛值的距离的物件OB1～OB3来说，则提供两个影像至电子装置200以产生三维效果。
因此，在操作S4中，电子装置200的处理电路210可用以透过结合一或多个物件影像IMGa、IMGb和IMGc及第一影像IMG1以重建第三影像IMG3。具体来说，在一些实施例中，处理电路210可用于以一或多个物件影像IMGa、IMGb和IMGc的多个相应像素替换第一影像IMG1中的多个相应像素。
最后，在操作S5中，处理电路210可用以控制屏幕240和250以分别在第一屏幕240和第二屏幕250上显示第一影像IMG1和第三影像IMG3。因此，穿戴电子装置200的用户可藉由视差效果看到三维影像。
在各种实施例中，可藉由不同方法获得第二影像IMG2的深度资讯。举例来说，立体视觉、结构光(也称为光编码)和飞行时间(ToF)可单独地或一并地应用在三维影像处理方法900中，以便获得第二影像IMG2的深度资讯。
请参考图5A。图5A是绘示应用了立体视觉方法以获得第二影像IMG2的深度资讯的三维影像处理方法900的操作示意图。
如图5A说明性地所示，立体视觉方法包括比较第一影像IMG1和第二影像IMG2中的多个相应像素以估算第二影像IMG2的深度资讯。具体来说，如以上段落所述，基于三角视差，相对于更远的物件/背景，靠近的物件从两个不同的摄影机140和150观看起来像是在移动。因此，藉由比较第一影像IMG1和第二影像IMG2中的像素的差异并量测物件OB1～OB5的位置偏移量，可分别计算物件OB1～OB5的距离。据此，可基于三角演算法来估算深度资讯。
请参考图5B。图5B是绘示应用了结构光方法以获得第二影像IMG2的深度资讯的三维影像处理方法900的操作示意图。
如图5B所示，在一些实施例中，摄影装置100更包括发光单元160和影像感测器170，两者皆电性连接至处理电路110。举例来说，发光单元160可藉由红外线发光二极体(IRLED)模组或红外线雷射(IR雷射)模组实现。影像感测器170可以由红外线摄影模组实现。藉由发光单元160和影像感测器170的操作，摄影装置100可操作为深度摄影机并接收物件OB1～OB5的深度资讯。
在一些实施例中，结构光方法包括以下步骤：藉由发光单元160将具有编码图案的光L1投影到一或多个物件OB1～OB5，藉由影像感测器170撷取在一或多个物件上的光编码，以及比较光编码与编码图案以估算第二影像IMG2的深度资讯。
举例来说，如图5B说明性地所示，发光单元160可用具有波长约700奈米(nm)至约1毫米(mm)的不规则图案的点的光L1进行投影，投影的光对人类来说是不可见的。此图案投影至整个空间中和并投影到物件OB1～OB5。在一些实施例中，发光单元160包括绕射光学元件，使得当产生红外光时，光L1会产生绕射以形成不规则图案的点。
影像感测器170用以撷取并记录投影在物件OB1～OB5上的红外光。在一些实施例中，影像感测器170包括多个互补式金属氧化物版导体(CMOS)感测器用以检测从物件OB1～OB5反射的红外光。因此，红外光的强度可由影像感测器170撷取。
将在撷取的影像中的光编码与投影光的编码图案进行比较，且因物件OB1～OB5的距离使得在投影的图案和记录的光编码之间具有偏移或差异。类似地，藉由应用三角测量方法，可相应地计算物件OB1～OB5的距离和第二影像IMG2的资讯。
请参考图5C。图5C是绘示应用了飞行时间方法以获得第二影像IMG2的深度资讯的三维影像处理方法900的操作示意图。
如图5C所示，在一些实施例中，摄影装置100更包括发光单元160和影像感测器170。类似地，发光单元160可藉由红外线发光二极体(IR LED)模组或红外线雷射(IR雷射)模组实现。影像感测器170可藉由红外线摄影模组实现。藉由发光单元160和影像感测器170的操作，摄影装置100可操作为深度摄影机并接收物件OB1～OB5的深度资讯。
在一些实施例中，飞行时间方法包括以下步骤：藉由发光单元160将光L2投影到一或多个物件；藉由影像感测器170撷取从物件OB1～OB5反射的光L3；以及藉由影像感测器170量测光从发光单元160至物件OB1～OB5，并返回到影像感测器170的行进时间，以估算第二影像IMG2的深度资讯。
举例来说，如图5C说明性地所示，发光单元160可投影光L2。类似地，在一些实施例中，光L2的波长可在约700奈米至约1毫米之内，其对于人类来说是不可见的。
影像感测器170用以撷取并记录从物件OB1～OB5反射的红外光。在一些实施例中，影像感测器170包括多个互补式金属氧化物半导体感测器用以检测从物件OB1-OB5反射的红外光L3。具体来说，由于物件OB1～OB5的距离不同，所以从光投影到CMOS感测器接收来自物件OB1～OB5的反射光L3之间的时间延迟是不同的。据此，由于光速是已知值，故可基于光的行进时间(即飞行时间)来估算物件OB1～OB5的距离，并可估算第二影像IMG2的深度资讯。。
鉴于以上所述，可应用各种方法来获得深度资讯。值得注意的是，上述实施例仅为示例，且未用以限制本公开内容。
值得注意的是，上述实施例系经简化以便较佳地理解本公开内容。值得注意的是，在一些实施例中，电脑实施的三维影像处理方法900亦可以电脑程序实施。当电脑程序系由电脑、电子装置、或图1中的处理电路110所执行时，此执行装置执行三维影像处理方法900。电脑程序可被储存于非暂态电脑可读取储存介质，例如只读存储器、快闪存储器、软碟、硬碟、光碟、快闪碟、随身碟、磁带、可由网络读取的数据库，或任何本公开内容所属技术领域中具通常知识者所能想到具有相同功能的储存介质。
另外，应了解到，在所提及的三维影像处理方法900的操作，除特别叙明其顺序者外，均可依实际需要调整其前后顺序，甚至可同时或部分同时执行。
再者，在本公开内容的不同实施例中，三维影像处理方法900中的操作亦可适应性地增加、置换、及/或省略。
透过以上所述各个实施例的操作，三维影像处理方法系实现以降低网络的流通量，同时为电子装置200提供足够的影像资料以重建和显示给用户的左眼和右眼的两个不同影像，以利在需要低传送延迟(诸如直播/即时广播或其他即时应用)的应用中实现三维效果。
各种功能性元件和方块已于此公开。对于本技术领域具通常知识者而言，功能方块可由电路(不论是专用电路，或是于一或多个处理器及编码指令控制下操作的通用电路)实现，其一般而言包含用以控制于此描述的相应功能及操作的电路的电晶体或其他电路元件。如将进一步理解地，一般而言电路元件的具体结构与互连，可由编译器(Compiler)，例如暂存器转移语言(Register Transfer Language，RTL)编译器决定。暂存器转移语言编译器在与组合语言(Assembly Language)代码相当相似的脚本(script)上进行操作，将脚本编译为用于最终电路布局或制作的形式。实际上，暂存器转移语言以其促进电子和数位系统设计过程中的所扮演的角色和用途而闻名。
虽然本公开内容已以实施方式公开如上，然其并非用以限定本公开内容，任何熟习此技艺者，在不脱离本公开内容的精神和范围内，当可作各种更动与润饰，因此本公开内容的保护范围当视后附的申请专利范围所界定者为准。
【符号说明】
100…摄影装置
110、210…处理电路
120、220…存储器
130、330…通讯电路
140、150…摄影机
160…发光单元
170…影像感测器
200…电子装置
240、250…屏幕
900…三维影像处理方法
S1～S5、S31～S33…操作
IMG1…第一影像
IMG2…第二影像
IMGa、IMGb、IMGc…物件影像
PR1、PR2…程序
OB1～OB5…物件
D1～D5…距离
L1～L3…光

Claims (7)

1.一种三维影像处理方法，其特征在于，包括：
藉由一摄影装置，该摄影装置包括一第一摄影机和一第二摄影机，利用该第一摄影机撷取一第一影像和利用该第二摄影机撷取一第二影像，该第一影像和该第二影像包括在不同角度拍摄的相同物体；
藉由该摄影装置传送该第一影像至一电子装置，该电子装置包括一第一屏幕和一第二屏幕；
藉由该摄影装置基于该第二影像的一深度资讯，获得该摄影装置与该第二影像中的一或多个物件或影像区域之间的多个相应距离；
藉由该摄影装置，当该些相应距离小于一门槛值时，将该第二影像中的该一或多个物件或影像区域作为该第二影像中的一或多个物件影像传送至该电子装置，而不传送该第二影像的其余部分；以及
藉由该电子装置透过结合该一或多个物件影像和该第一影像重建一第三影像，并分别在该第一屏幕和该第二屏幕上显示该第一影像和该第三影像。
2.如权利要求1所述的三维影像处理方法，其中重建该第三影像包括：
用该一或多个物件影像中的多个相应像素替换该第一影像中的多个相应像素。
3.如权利要求1所述的三维影像处理方法，还包括：应用一立体视觉方法以获得该第二影像的该深度资讯，且该立体视觉方法包括：
比较该第一影像和该第二影像中的多个相应像素，以估算该第二影像的该深度资讯。
4.如权利要求1所述的三维影像处理方法，还包括：应用一结构光方法以获得该第二影像的该深度资讯，且该结构光方法包括：
藉由一发光单元将具有一编码图案的光投影到一或多个物件上；
藉由一影像感测器撷取在该一或多个物件上的一光编码；以及
比较该光编码与该编码图案，以估算该第二影像的该深度资讯。
5.如权利要求1所述的三维影像处理方法，还包括：应用一飞行时间方法以获得该第二影像的该深度资讯，且该飞行时间方法包括：
藉由一发光单元将光投影到一或多个物件上；
藉由一影像感测器撷取从该一或多个物件反射的光；以及
藉由该影像感测器量测光从该发光单元到该一或多个物件并返回至该影像感测器的一行进时间，以估算该第二影像的该深度资讯。
6.一种摄影装置，其特征在于，包括：
一第一摄影机；
一第二摄影机；
一处理电路，电性连接至该第一摄影机和该第二摄影机；
一通讯电路，电性连接至该处理电路且用以让该摄影装置与一电子装置进行通讯；
一存储器，电性连接至该处理电路；以及
一或多个程序，其中该一或多个程序储存在该存储器中且用以由该处理电路执行，该一或多个程序包括指令用于：
控制该第一摄影机撷取一第一影像并控制该第二摄影机撷取一第二影像，该第一影像和该第二影像包括在不同角度拍摄的相同物体；
控制该通讯电路传送该第一影像至该电子装置，该电子装置包括一第一屏幕和一第二屏幕；
控制该通讯电路基于该第二影像的一深度资讯，获得该摄影装置与该第二影像中的一或多个物件或影像区域之间的多个相应距离；以及
藉由该摄影装置，当该些相应距离小于一门槛值时，将该第二影像中的该一或多个物件或影像区域作为该第二影像中的一或多个物件影像传送至该电子装置，而不传送该第二影像的其余部分；
其中该电子装置结合该一或多个物件影像和该第一影像重建一第三影像，并分别在该第一屏幕和该第二屏幕上显示该第一影像和该第三影像。
7.一种非暂态电脑可读取储存介质，用以储存包含一或多个程序，该一或多个程序包含多个指令，该非暂态电脑可读取储存介质的特征在于，当该些指令执行时将致使一处理电路执行下列操作包含：
控制一摄影装置撷取图像，该摄影装置包括一第一摄影机和一第二摄影机，该第一摄影机撷取一第一影像，该第二摄影机撷取一第二影像，该第一影像和该第二影像包括在不同角度拍摄的相同物体；
控制一通讯电路传送该第一影像至一电子装置，该电子装置包括一第一屏幕和一第二屏幕；
控制该通讯电路基于该第二影像的一深度资讯，获得包括该第一摄影机、该第二摄影机、该处理电路和该通讯电路的该摄影装置与该第二影像中的一或多个物件或影像区域之间的多个相应距离；
藉由该摄影装置，当该些相应距离小于一门槛值时，将该第二影像中的该一或多个物件或影像区域作为该第二影像中的一或多个物件影像传送至该电子装置，而不传送该第二影像的其余部分，其中一第三影像系藉由该电子装置结合该一或多个物件影像和该第一影像重建；以及
控制该电子装置透过结合该一或多个物件影像和该第一影像重建一第三影像，并分别在该第一屏幕和该第二屏幕上显示该第一影像和该第三影像。
CN201911140176.6A 2018-12-06 2019-11-20 三维影像处理方法、摄影装置及非暂态电脑可读取储存介质 Active CN111294582B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/212,600 US11089279B2 (en) 2018-12-06 2018-12-06 3D image processing method, camera device, and non-transitory computer readable storage medium
US16/212,600 2018-12-06

Publications (2)

Publication Number Publication Date
CN111294582A CN111294582A (zh) 2020-06-16
CN111294582B true CN111294582B (zh) 2022-04-15

Family

ID=70971249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911140176.6A Active CN111294582B (zh) 2018-12-06 2019-11-20 三维影像处理方法、摄影装置及非暂态电脑可读取储存介质

Country Status (3)

Country Link
US (1) US11089279B2 (zh)
CN (1) CN111294582B (zh)
TW (1) TWI781357B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI816057B (zh) * 2020-10-14 2023-09-21 財團法人資訊工業策進會 虛實影像融合方法、虛實影像融合系統及非暫態電腦可讀取媒體

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101610421A (zh) * 2008-06-17 2009-12-23 深圳华为通信技术有限公司 视频通讯方法、装置及系统
CN102239506A (zh) * 2008-10-02 2011-11-09 弗兰霍菲尔运输应用研究公司 中间视合成和多视点数据信号的提取
CN104427291A (zh) * 2013-08-19 2015-03-18 华为技术有限公司 一种图像处理方法及设备
CN106210504A (zh) * 2014-09-04 2016-12-07 株式会社东芝 图像处理装置、图像处理系统及图像处理方法
WO2018150933A1 (ja) * 2017-02-20 2018-08-23 ソニー株式会社 画像処理装置および画像処理方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3884321B2 (ja) * 2001-06-26 2007-02-21 オリンパス株式会社 ３次元情報取得装置、３次元情報取得における投影パターン、及び、３次元情報取得方法
JP2008136061A (ja) * 2006-11-29 2008-06-12 Brother Ind Ltd 画像処理装置、画像形成システム、コンピュータ読取可能なプログラム
US20080231740A1 (en) * 2007-03-21 2008-09-25 Mcintyre Dale F Camera with multiple displays
CN101690243B (zh) * 2008-05-14 2012-08-22 松下电器产业株式会社 摄像装置以及摄像方法
TW201021566A (en) * 2008-11-24 2010-06-01 E Ten Information Sys Co Ltd Image communication method and electronic apparatus using the same
JP4760973B2 (ja) * 2008-12-16 2011-08-31 カシオ計算機株式会社 撮像装置及び画像処理方法
US9380292B2 (en) * 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
TW201114244A (en) * 2009-10-15 2011-04-16 Chunghwa Picture Tubes Ltd Method for generating a 3D image
WO2011070774A1 (ja) * 2009-12-09 2011-06-16 パナソニック株式会社 ３ｄ映像処理装置および３ｄ映像処理方法
US9194953B2 (en) * 2010-10-21 2015-11-24 Sony Corporation 3D time-of-light camera and method
US8983121B2 (en) * 2010-10-27 2015-03-17 Samsung Techwin Co., Ltd. Image processing apparatus and method thereof
KR101824501B1 (ko) * 2011-05-19 2018-02-01 삼성전자 주식회사 헤드 마운트 디스플레이 장치의 이미지 표시 제어 장치 및 방법
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
JP5988790B2 (ja) * 2012-09-12 2016-09-07 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム
US9058053B2 (en) * 2012-10-26 2015-06-16 The Boeing Company Virtual reality display system
TWM453168U (zh) * 2012-12-19 2013-05-11 J Touch Corp 立體影像產生裝置
US9083960B2 (en) * 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage
US9979952B2 (en) * 2013-12-13 2018-05-22 Htc Corporation Method of creating a parallax video from a still image
KR102220443B1 (ko) * 2014-06-09 2021-02-25 삼성전자주식회사 깊이 정보를 활용하는 전자 장치 및 방법
US9565361B2 (en) * 2015-05-14 2017-02-07 Altek Semiconductor Corp. Image capturing device and hybrid image processing method thereof
US20170243384A1 (en) * 2016-02-19 2017-08-24 Mediatek Inc. Image data processing system and associated methods for processing panorama images and image blending using the same
TWI573451B (zh) * 2016-04-27 2017-03-01 王公誠 可替換物件之影片播放系統
US10666923B2 (en) * 2017-02-24 2020-05-26 Immervision, Inc. Wide-angle stereoscopic vision with cameras having different parameters

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101610421A (zh) * 2008-06-17 2009-12-23 深圳华为通信技术有限公司 视频通讯方法、装置及系统
CN102239506A (zh) * 2008-10-02 2011-11-09 弗兰霍菲尔运输应用研究公司 中间视合成和多视点数据信号的提取
CN104427291A (zh) * 2013-08-19 2015-03-18 华为技术有限公司 一种图像处理方法及设备
CN106210504A (zh) * 2014-09-04 2016-12-07 株式会社东芝 图像处理装置、图像处理系统及图像处理方法
WO2018150933A1 (ja) * 2017-02-20 2018-08-23 ソニー株式会社 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
US11089279B2 (en) 2021-08-10
TW202022321A (zh) 2020-06-16
CN111294582A (zh) 2020-06-16
TWI781357B (zh) 2022-10-21
US20200186774A1 (en) 2020-06-11

Similar Documents

Publication Publication Date Title
US11199706B2 (en) Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking
US11100664B2 (en) Depth-aware photo editing
CN108307675B (zh) 用于vr/ar应用中的深度增强的多基线相机阵列系统架构
CN106662930B (zh) 用于调整所捕获的图像的视角以供显示的技术
WO2014105646A1 (en) Low-latency fusing of color image data in a color sequential display system
US11143879B2 (en) Semi-dense depth estimation from a dynamic vision sensor (DVS) stereo pair and a pulsed speckle pattern projector
WO2019184184A1 (zh) 目标图像获取系统与方法
US20120050464A1 (en) Method and system for enhancing 3d effects for 3d video rendering
WO2019184183A1 (zh) 目标图像获取系统与方法
US11665334B2 (en) Rolling shutter camera pipeline exposure timestamp error determination
US10867408B1 (en) Estimation of spatial relationships between sensors of a multi-sensor device
CN111294582B (zh) 三维影像处理方法、摄影装置及非暂态电脑可读取储存介质
US20240031551A1 (en) Image capturing apparatus for capturing a plurality of eyeball images, image capturing method for image capturing apparatus, and storage medium
US11562496B2 (en) Depth image processing method, depth image processing apparatus and electronic device
US10778959B2 (en) Robot-based 3D picture shooting method and system, and robot using the same
CN116866541A (zh) 一种虚实结合的实时视频交互系统及方法
CN114998553A (zh) 一种交互式观影方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant