CN110574370B - 用于处理全向图像的方法和装置 - Google Patents

用于处理全向图像的方法和装置 Download PDF

Info

Publication number
CN110574370B
CN110574370B CN201880028827.XA CN201880028827A CN110574370B CN 110574370 B CN110574370 B CN 110574370B CN 201880028827 A CN201880028827 A CN 201880028827A CN 110574370 B CN110574370 B CN 110574370B
Authority
CN
China
Prior art keywords
image
omnidirectional image
omnidirectional
pole
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880028827.XA
Other languages
English (en)
Other versions
CN110574370A (zh
Inventor
禹志焕
崔秉斗
E.伊普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2018/006723 external-priority patent/WO2018230971A1/en
Publication of CN110574370A publication Critical patent/CN110574370A/zh
Application granted granted Critical
Publication of CN110574370B publication Critical patent/CN110574370B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T3/12—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Abstract

一种用于处理关于全向图像的信息的方法，该方法包括：通过将第一全向图像上的与通过作为第一全向图像中心的第一位置和作为第二全向图像的中心的第二位置的直线相交的点设置为第一极点和第二极点来生成从第一全向图像投影的第一二维(2D)图像；通过将第二全向图像上的与穿过第一位置和第二位置的直线相交的点设置为第三极点和第四极点，来生成从第二全向图像投影的第二2D图像；和基于第一2D图像和第二2D图像，生成与从以第一位置和第二位置之间的第三位置为中心的第三全向图像投影的2D图像相对应的第三2D图像。

Description

用于处理全向图像的方法和装置
技术领域
本公开总体上涉及一种用于处理全向图像的方法和装置，并且更具体地，涉及一种用于从具有不同中心的全向图像中获得具有新的中心的全向图像的方法和装置。
背景技术
已经在处理和传输全向图像(例如，三维(3D)图像)以显示在能够提供VR或AR的设备中以及与虚拟现实(VR)和/或增强现实(AR)相关的技术中进行了改进。
全向图像可以从由全向照相机获取的图像或由多个二维(2D)照相机获取的多个图像生成。为了响应于VR设备的移动而向用户提供逼真的VR体验，提供具有不同中心的多个全向图像，并且响应于用户的运动，提供从多个全向图像中选择的全向图像。
发明内容
【技术问题】
因为不可能通过在所有可能的位置上使用照相机来获取全向图像，所以如果区域与照相机所在的区域不同，则可能无法直接由照相机获取以区域为中心的全向图像。因此，应当生成具有与先前获取的全向图像的中心不同的中心的全向图像，以向用户提供逼真的VR体验。
【解决问题的方法】
本公开的实施例将至少解决上述问题和/或缺点，并至少提供下述优点。
根据本公开的一方面，提供一种用于处理关于全向图像的信息的方法。该方法包括：通过将第一全向图像上的与通过作为第一全向图像中心的第一位置和作为第二全向图像的中心的第二位置的直线相交的点设置为第一极点(pole)和第二极点来生成从第一全向图像投影的第一二维(2D)图像；通过将第二全向图像上的与穿过第一位置和第二位置的直线相交的点设置为第三极点和第四极点，来生成从第二全向图像投影的第二2D图像；和基于第一2D图像和第二2D图像，生成与从以第一位置和第二位置之间的第三位置为中心的第三全向图像投影的2D图像相对应的第三2D图像。
根据本公开的另一方面，提供一种用于处理关于全向图像的信息的装置。该装置包括通信接口和与该通信接口电连接的处理器，其中处理器可以通过将第一全向图像上的与通过作为第一全向图像中心的第一位置和作为第二全向图像的中心的第二位置的直线相交的点设置为第一极点和第二极点来生成从第一全向图像投影的第一二维(2D)图像；通过将第二全向图像上的与穿过第一位置和第二位置的直线相交的点设置为第三极点和第四极点，来生成从第二全向图像投影的第二2D图像；和基于第一2D图像和第二2D图像，生成与从以第一位置和第二位置之间的第三位置为中心的第三全向图像投影的2D图像相对应的第三2D图像。
【发明的有益效果】
根据本公开的一方面，提供一种用于生成具有与已经获取的全向图像的中心不同的中心的全向图像的方法和装置。
附图说明
通过以下结合附图的描述，某些实施例的上述和其他方面，特征和优点将变得更加明显，其中：
图1示出了根据一个实施例的照相机和与其对应的全向图像；
图2示出根据实施例的在第一全向图像和第二全向图像上指示的特定点的位置；
图3示出根据实施例的从第一全向图像和第二全向图像等角投影(ERP)投影的第一二维2D图像和第二2D图像。
图4示出根据实施例的用于基于第一和第二2D图像生成第三2D图像的方法；
图5示出根据实施例的用于基于第一和第二2D图像生成第三2D图像的方法；
图6示出了根据实施例的用于设置第三全向图像的中心的方法；
图7是示出根据实施例的用于处理全向图像的方法的流程图；
图8是根据一个实施例的用于处理全向图像的装置的框图；和
图9是根据一个实施例的用于处理全向图像的装置的框图。
具体实施方式
参考附图描述本公开的实施例。
在整个说明书中，相似的附图标记可用于表示执行基本相同功能的相似组件。
如本文中所使用的，诸如“第一”和“第二”或“第一个”和“第二个”之类的术语可以被用来简单地将对应的组件与另一组件区分开，并且在其他方面不限制这些组件(例如，重要性或顺序)。因此，在本公开的技术精神内，下面提到的第一元件可以是第二元件，反之亦然。
图1示出根据实施例的照相机和与其对应的全向图像。
参照图1，第一照相机C1和第二照相机C2中的每一个可以是全向照相机或一组多个照相机。第一全向图像O1可以由第一照相机C1捕获并生成。第二全向图像O2可以由第二照相机C2捕获并生成。第一全向图像O1和第二全向图像O2中的每一个可以呈现为球形。第一全向图像O1的中心L1对应于第一照相机C1的位置。第二全向图像O2的中心L2对应于第二照相机C2的位置。
穿过第一全向图像O1的中心L1和第二全向图像O2的中心L2的直线与第一全向图像O1和第二全向图像O2相交的点称为核点(epipole)(例如，极点)e1、e2、e3和e4。
基于关于第一全向图像O1的数据和关于第二全向图像O2的数据，生成关于第三全向图像O3的数据。第三全向图像O3对应于由第三照相机C3获取的图像。第三照相机C3可以是虚拟照相机。第三全向图像O3的中心L3对应于第三照相机C3的位置。第三全向图像O3的中心L3在通过第一全向图像O1的中心L1和第二全向图像O2的中心L2的直线上位于第一全向图像O1的中心L1和第二全向图像O2的中心L2之间。
穿过第一全向图像O1的北极N1和南极S1的轴和穿过第二全向图像O2的北极N2和南极S2的轴可能彼此不平行。在这种情况下，相对于第一全向图像O1的北极N1和南极S1以ERP方式从第一全向图像O1投影的二维2D图像和相对于第二全向图像O2的北极N2和南极S2以ERP方式从第二全向图像O2投影的2D图像可能彼此不对准。从未对准的2D图像生成关于第三全向图像O3的数据增加了处理的复杂性，这增加了系统负荷，并进而增加了系统的功耗。
图2示出了根据实施例的在第一全向图像和第二全向图像上指示的特定点的位置。
参照图2，可以将全向图像O1和O2的北极N1和N2以及南极S1和S2调整(例如，复位)到第一至第四核点e1、e2、e3和e4的位置。更具体地，可以将第一全向图像O1的北极N1和南极S1分别设置为第一核点e1和第二核点e2，并且可以将第二全向图像O2的北极N2和南极S2分别设置为第三核点e3和第四核点e4。
可以在第一全向图像O1上的第一位置p11和第二全向图像O2上的第二位置p12处指示空间上的第一点P1。基于第一和第二全向图像O1和O2的调整后的北极N1和N2以及南极S1和S2，第一位置p11和第二位置p12具有彼此相同的经度。指示第一全向图像O1上的任意点是空间上的第一点P1的位置，并且指示第二全向图像O2上的任意点(例如，P12)的位置具有彼此相同的经度。
基于第一和第二全向图像O1和O2的调整后的北极N1和N2以及南极S1和S2，可以相对于第一和第二全向图像O1和O2执行ERP投影。
图3示出了根据实施例的从第一全向图像和第二全向图像ERP投影的第一和第二2D图像。
参照图3，通过分别从第一全向图像O1和第二全向图像O2进行ERP投影来生成第一2D图像E1和第二2D图像E2。第一2D图像E1的左侧和右侧分别对应于第一核点e1和第二核点e2。在如图2所示的ERP投影中，2D图像上的特定位置的y坐标对应于全向图像上的对应位置的经度。2D图像上的特定位置的x坐标对应于全向图像上的对应位置与相对于全向图像的中心的北极(例如，核点)之间的角度。因此，第一2D图像E1上的第一位置p11的y坐标和第二2D图像E2上的第二位置p12的y坐标可以彼此相同。同样，第一2D图像E1上的任意位置的y坐标和第二2D图像E2上的对应位置的y坐标可以彼此相同。
即，根据图2和图3，将2D图像E1和E2上的对应位置对准在相同的y坐标上，从而简化了基于2D图像E1和E2生成关于第三全向图像O3的数据的处理。
图4示出根据实施例的用于基于第一和第二2D图像生成第三2D图像的方法。
参照图4，可以在第一2D图像E1上的第三位置p21和第二2D图像E2上的第四位置p22处指示空间上的第二点P2。第三2D图像E3对应于从第三全向图像O3进行ERP投影的图像。可以在第三2D图像E3上的第五位置p23处指示第二点P2。
如上参照图2和3所述，第三位置p21、第四位置p22和第五位置p23的Y坐标可以彼此相同。
第三位置p21的x坐标与第四位置p22的x坐标之间的视差值可以用λ表示。即，当第三位置p21的x坐标是x1并且第四位置p22的x坐标是x2时，λ＝x1-x2。当第五位置p23的x坐标为x3时，x3＝x1-(a)×λ。因此，(a)表示第一全向图像O1的中心L1与第三全向图像O3的中心L3之间的距离相对于第一全向图像O1的中心L1和第二全向图像O2的中心L2之间的距离之比。通过以这种方式识别第三2D图像E3上的对应于空间上的点的位置，可以生成第三2D图像E3。第三2D图像E3可以对应于通过将第三全向图像O3上的与穿过第一全向图像O1的中心L1和第二全向图像O2的中心L2的的直线相交的点e5和e6(例如，核点)设置成北极和南极并将第三全向图像O3投影为ERP而生成的2D图像。
图5示出根据实施例的用于基于第一和第二2D图像生成第三2D图像的方法。
参照图5，可以在第一全向图像O1上的第六位置p31、在第二全向图像O2上的第七位置p32以及在第三全向图像O3上的第八位置p33处指示空间上的第三点P3。ERP投影的2D图像上与全向图像上的特定位置相对应的位置的x坐标对应于全向图像的北极(例如，核点)与该全向图像上的特定位置相对于全向图像中心之间的夹角。因此，第一2D图像E1上的第六位置p31的x坐标对应于θL。第二2D图像E2上的第七位置p32的x坐标对应于θR。第一2D图像E1上的第六位置p31的x坐标与第二2D图像E2上的第七位置p32的x坐标之间的视差值可以表示为等于α+β的θL-θR。α是在第一全向图像O1的中心L1与第三全向图像O3的中心L3之间或者在第六位置p31与第八位置p33之间与第三点P3的夹角。β是在第二全向图像O2的中心L2与第三全向图像O3的中心L3之间或者在第七位置p32与第八位置p33之间与第三点P3的角度。
[40]从第三全向图像O3进行ERP投影的2D图像上的第八位置p33的x坐标对应于θC，其中θC＝θL-α。在此，α如以下的式(1)所示。
Figure BDA0002255360550000061
在2D图像上的第六位置p31、第七位置p32和第八位置p33的Y坐标可以彼此相同。
通过以此方式识别从第三全向图像O3进行ERP投影的2D图像上与空间上的点相对应的位置，可以通过将核点e5和e6设置成北极和南极并以ERP方式投影第三个全向图像O3来生成2D图像。
图6示出根据实施例的用于设置第三全向图像的中心的方法。
参照图6，可以在通过第一全向图像O1的中心L1和第二全向图像O2的中心L2的直线上从第一全向图像O1的中心L1与第二全向图像O2的中心L2之间的量化位置A1、A2和A3中选择第三全向图像O3的中心L3。根据实施例，可以不同地设置量化位置的数量。第一全向图像O1的中心L1，第二全向图像O2的中心L2与多个量化位置A1、A2和A3之间的间隔可以被均匀地设置，但是本公开不限于此。
在各个实施例中，在多个量化位置A1、A2和A3中，可以将最靠近用于显示全向图像的设备D或设备D的用户的位置设置为第三全向图像O3的中心L3。
第二量化位置A2可以被设置为第三全向图像O3的中心L3。当多个量化位置A1、A2和A3中的每一个与用于显示全向图像的设备D或者设备D的用户之间的每个距离大于第一全向图像O1的中心L1和用于显示全向图像的设备D之间的距离时，或者大于第一全向图像O1的中心L1与设备D的用户之间的距离时，对应于第一全向图像O1的图像可以在用于显示全向图像的设备D中显示。第三全向图像O3可以不被生成或者可以不被递送到用于显示全向图像的设备D。
当设备D或其用户正在移动时，多个量化位置A1、A2和A3中最接近的量化位置与设备D之间的距离相对于设备D上当前显示的全向图像的中心和设备D之间的距离的比率小于或等于阈值时，设备D显示以最接近量化位置为中心的全向图像。
因此，用于发送与全向图像有关的数据的装置(例如，服务器)生成与以最接近的量化位置为中心的全向图像有关的数据，并将所生成的数据发送给设备D。
参照图6，当当前在设备D上显示以第一量化位置A1为中心的全向图像时，设备D与第二量化位置A2之间的距离d2相对于设备D与第一量化位置A1之间的距离d1之比小于或等于阈值时，设备D显示以第二量化位置A2为中心的全向图像。
一种用于发送与全向图像有关的数据的装置预先生成并存储与以多个量化位置A1、A2和A3中的每个量化位置为中心的全向图像有关的数据，并将根据需要从先前生成和存储的关于多个全向图像的数据中选择的关于全向图像的数据发送给装置D。
装置D存储与以多个量化位置A1、A2和A3中的每一个为中心的全向图像有关的数据，检索根据需要从先前存储的关于多个全向图像的数据中选择的关于全向图像的数据，并显示选择的全向图像。
图7是示出根据实施例的用于处理全向图像的方法的流程图。
参照图7，在步骤710中，通过将第一全向图像的核点设置为极点，将第一全向图像投影为第一2D图像，并且通过将第二全向图像的核点设置为极点，将第二全向图像投影为第二2D图像。步骤710的详细操作与参考图2和3所描述的相似。
在步骤720中，从第一2D图像和第二2D图像生成与第三全向图像相对应的第三2D图像。步骤720的详细操作可以是参照图4描述的操作或参照图5描述的操作。
步骤710和720可以由用于发送关于全向图像的数据的装置(例如服务器)执行。在各个实施例中，步骤710和720可以由用于显示关于全向图像的数据的装置(例如，VR设备)执行。
图8是根据一个实施例的用于处理全向图像的装置的框图。
参照图8，用于处理全向图像的装置800可以是用于发送与全向图像有关的数据的装置(例如，服务器)。装置800生成关于第三全向图像O3的数据，并使用上述方法发送生成的数据。关于第三全向图像O3的数据基于与从第三全向图像O3进行ERP投影的2D图像相对应的2D图像。装置800可以通过使用诸如运动图像专家组(MPEG)的协议来发送关于与从第三全向图像O3进行ERP投影的2D图像相对应的2D图像的数据。
为了便于在接收侧进行显示，装置800将生成的2D图像转换为与基于第三全向图像O3的不同极点而ERP投影的2D图像相对应的2D图像。关于2D图像的数据的传输可以基于转换后的2D图像。在各种实施例中，可以在2D图像上执行根据区域(例如，区域方向)的打包。区域打包是指将2D图像划分为多个区域，并对多个区域中的每个区域执行变换、旋转、重新采样或重新排列。
装置800包括处理器810、存储器820和通信接口830。处理器810基本上执行并控制在装置800中执行的操作。处理器810与存储器820和用于通信的通信接口830电连接，并且控制存储器820和通信接口830的操作。因此，直接由存储器820或通信接口830执行的操作可以解释为基本上由处理器810执行。存储器820暂时或非暂时地存储所述装置800或处理器810的操作所需的数据。存储器820存储可由处理器810执行的指令或代码。通信接口830可以被配置为发送和/或接收数据。
图9是根据实施例的用于处理全向图像的装置的框图。
参照图9，装置900可以是用于显示全向图像的装置(例如，VR设备)。装置900接收关于全向图像的数据并显示接收到的数据。例如，该装置可以基于从与通过上述方法生成的第三全向图像O3来ERP投影的图像相对应的图像接收关于第三全向图像O3的数据，并基于接收到的数据显示第三全向图像O3的至少一部分。
装置900接收关于第一全向图像O1的数据和关于第二全向图像O2的数据。关于第一全向图像O1的数据可以是关于第一2D图像E1的数据，并且关于第二全向图像O2的数据可以是关于第二2D图像E2的数据。装置900基于与第一2D图像E1有关的数据和与第二2D图像E2有关的数据，使用上述方法，生成与从第三全向图像O3进行ERP投影的图像相对应的2D图像有关的数据。装置900基于所生成的关于2D图像的数据来显示第三全向图像O3的至少一部分。
装置900包括处理器910、存储器920、通信接口930和显示器940。处理器910、存储器920和通信接口930的描述与图8的装置800的处理器810存储器820和通信接口830的描述基本相似。显示器940在处理器910的控制下显示图像。
因此，本公开的实施例至少提供一种用于生成具有与现有全向图像的中心不同的中心的全向图像的方法和装置。另外，所提供的方法和装置可以减少处理全向图像所需的计算负荷。
尽管已经参考本公开的某些实施例具体地示出和描述了本公开，但是本领域普通技术人员将理解，在不脱离如所附权利要求书及其等同物所定义的本公开的精神和范围的情况下，可以在形式和细节上进行各种改变。

Claims (12)

1.一种用于处理关于全向图像的信息的方法，该方法包括：
通过将第一球状的全向图像上的与通过作为第一球状的全向图像中心的第一位置和作为第二球状的全向图像的中心的第二位置的直线相交的点设置为第一极点和第二极点来生成从第一球状的全向图像投影的第一二维(2D)图像，其中，第一极点和第二极点被投影到第一2D图像的相对两侧；
通过将第二球状的全向图像上的与穿过第一位置和第二位置的直线相交的点设置为第三极点和第四极点，来生成从第二球状的全向图像投影的第二2D图像，其中，第三极点和第四极点被投影到第二2D图像的相对两侧；和
基于第一2D图像和第二2D图像，生成与从以第一位置和第二位置之间的第三位置为中心的第三球状的全向图像投影的2D图像相对应的第三2D图像；
其中，以等角投影(ERP)的方式分别从所述第一球状的全向图像和所述第二球状的全向图像投影所述第一2D图像和所述第二2D图像。
2.根据权利要求1所述的方法，其中，生成所述第三2D图像还包括：识别所述第三2D图像上的第四位置的第三坐标，所述第三坐标与所述第一2D图像上的第四位置的第一坐标和所述第二2D图像上的第四位置的第二坐标相对应，以及
其中，第一坐标、第二坐标和第三坐标具有相同的y坐标，且定义如下：
θC＝θL-α
Figure FDA0002951478180000011
以及
其中
θC表示第三坐标的x坐标，
θL表示第一坐标的x坐标，
θR表示第二坐标的x坐标，并且
a表示第一位置和第三位置之间的距离相对于第一位置和第二位置之间的距离的比率。
3.根据权利要求1所述的方法，其中，生成所述第三2D图像还包括：识别所述第三2D图像上的第四位置的第三坐标，所述第三坐标与所述第一2D图像上的第四位置的第一坐标和所述第二2D图像上的第四位置的第二坐标相对应，
其中，第一坐标、第二坐标和第三坐标具有相同的y坐标，且定义如下：
x3＝x1-a×(x1-x2),以及
其中
x1表示第一坐标的x坐标，
x2表示第二坐标的x坐标，
x3表示第三坐标的x坐标，并且
a表示第一位置和第三位置之间的距离相对于第一位置和第二位置之间的距离的比率。
4.根据权利要求1所述的方法，还包括：将所述第三2D图像转换成第四2D图像，
其中，第三2D图像对应于通过将在第三球状的全向图像上的与穿过第一位置和第二位置的直线相交的点设置为到第五极点和第六极点来投影的2D图像，以及
其中，第四2D图像对应于基于与第五极点和第六极点不同的极点从第三球状的全向图像投影的2D图像。
5.根据权利要求1所述的方法，还包括：基于所述第三2D图像来发送关于所述第三球状的全向图像的信息。
6.根据权利要求1所述的方法，其中，所述第一球状的全向图像、所述第二球状的全向图像和所述第三球状的全向图像中的每一个分别被呈现为球形。
7.根据权利要求1所述的方法，其中，第三2D图像对应于通过将第三球状的全向图像上与直线相交的点设置为第五极点和第六极点而以ERP方式从第三球状的全向图像投影的2D图像。
8.根据权利要求1所述的方法，其中，所述第一球状的全向图像由位于所述第一位置的第一照相机获取，并且所述第二球状的全向图像由位于所述第二位置的第二照相机获取。
9.根据权利要求1所述的方法，其中，所述第三位置包括所述第一位置和所述第二位置之间的直线上的多个量化位置中的一个。
10.根据权利要求9所述的方法，其中，所述第三位置包括在所述多个量化位置中最靠近用于显示所述第三球状的全向图像的装置的位置。
11.一种用于处理关于全向图像的信息的装置，该装置包括：
通信接口；和
处理器，被配置为：
通过将第一球状的全向图像上的与通过作为第一球状的全向图像中心的第一位置和作为第二球状的全向图像的中心的第二位置的直线相交的点设置为第一极点和第二极点来生成从第一球状的全向图像投影的第一二维(2D)图像，其中，第一极点和第二极点被投影到第一2D图像的相对两侧；
通过将第二球状的全向图像上的与穿过第一位置和第二位置的直线相交的点设置为第三极点和第四极点，来生成从第二球状的全向图像投影的第二2D图像，其中，第三极点和第四极点被投影到第二2D图像的相对两侧；和
基于第一2D图像和第二2D图像，生成与从以第一位置和第二位置之间的第三位置为中心的第三球状的全向图像投影的2D图像相对应的第三2D图像；
其中，以等角投影(ERP)的方式分别从所述第一球状的全向图像和所述第二球状的全向图像投影所述第一2D图像和所述第二2D图像。
12.根据权利要求11所述的装置，其中，所述处理器还被配置为根据权利要求2至9中的一项所述的方法来操作。
CN201880028827.XA 2017-06-15 2018-06-14 用于处理全向图像的方法和装置 Active CN110574370B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762520192P 2017-06-15 2017-06-15
US62/520,192 2017-06-15
KR1020180003502A KR102454161B1 (ko) 2017-06-15 2018-01-10 전방향 이미지를 프로세싱하기 위한 방법 및 장치
KR10-2018-0003502 2018-01-10
PCT/KR2018/006723 WO2018230971A1 (en) 2017-06-15 2018-06-14 Method and apparatus for processing omni-directional image

Publications (2)

Publication Number Publication Date
CN110574370A CN110574370A (zh) 2019-12-13
CN110574370B true CN110574370B (zh) 2021-08-24

Family

ID=65006543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880028827.XA Active CN110574370B (zh) 2017-06-15 2018-06-14 用于处理全向图像的方法和装置

Country Status (3)

Country Link
EP (1) EP3590090A1 (zh)
KR (1) KR102454161B1 (zh)
CN (1) CN110574370B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102491939B1 (ko) 2018-08-24 2023-01-26 삼성전자주식회사 전방향 이미지를 프로세싱하기 위한 방법 및 장치
EP4057626A4 (en) * 2020-08-20 2023-11-15 Argosvision Inc. STEREO CAMERA DEVICE WITH A LARGE FIELD OF VIEW AND DEPTH IMAGE PROCESSING METHOD THEREFROM
KR102430273B1 (ko) * 2021-02-22 2022-08-09 (주)아고스비전 광시야각의 스테레오 카메라 기반 1인칭 비전 시스템 및 이를 이용한 영상 처리 방법
KR102430274B1 (ko) * 2021-02-22 2022-08-09 (주)아고스비전 광시야각의 스테레오 카메라 기반 사람 추종 시스템 및 그 방법
KR102310958B1 (ko) * 2020-08-20 2021-10-12 (주)아고스비전 광시야각의 스테레오 카메라 장치 및 이를 이용한 깊이 영상 처리 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101606177A (zh) * 2007-01-04 2009-12-16 鸣川肇 信息处理方法
CN102812497A (zh) * 2011-03-03 2012-12-05 松下电器产业株式会社 能够提供随后体验影像的影像提供装置、影像提供方法、影像提供程序
KR20170017700A (ko) * 2015-08-07 2017-02-15 삼성전자주식회사 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9335560B2 (en) * 2014-01-30 2016-05-10 Hoya Corporation Imaging apparatus
WO2016043562A1 (ko) * 2014-09-18 2016-03-24 (주)바텍이우홀딩스 X선 영상 형성 장치 및 방법
KR20190039669A (ko) * 2016-05-26 2019-04-15 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101606177A (zh) * 2007-01-04 2009-12-16 鸣川肇 信息处理方法
CN102812497A (zh) * 2011-03-03 2012-12-05 松下电器产业株式会社 能够提供随后体验影像的影像提供装置、影像提供方法、影像提供程序
KR20170017700A (ko) * 2015-08-07 2017-02-15 삼성전자주식회사 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
3D Scene Reconstruction from Multiple Spherical Stereo Pairs;Hansung Kim，et al;《International Journal of Computer Vision》;20130303;第104卷;第94-116页 *
A Robust Epipolar Rectification Method of Stereo Pairs;Guo-Yu Lin，et al;《2010 International Conference on Measuring Technology and Mechatronics Automation》;20100314;全文 *
Chen Wang，et al.View Synthesis for Virtual Walk through in Real Scene Based on Catadioptric Omnidirectional Images.《2008 International Conference on Cyberworlds》.2008, *
Dense 3D reconstruction from two spherical images via optical flow-based equirectangular epipolar rectification;Sarthak Pathak，et al;《2016 IEEE International Conference on Imaging Systems and Techniques (IST)》;20161006;全文 *
View Synthesis for Virtual Walk through in Real Scene Based on Catadioptric Omnidirectional Images;Chen Wang，et al;《2008 International Conference on Cyberworlds》;20080924;第150-156页 *

Also Published As

Publication number Publication date
EP3590090A4 (en) 2020-01-08
KR20180136873A (ko) 2018-12-26
CN110574370A (zh) 2019-12-13
KR102454161B1 (ko) 2022-10-14
EP3590090A1 (en) 2020-01-08

Similar Documents

Publication Publication Date Title
CN110574370B (zh) 用于处理全向图像的方法和装置
CN107340870B (zh) 一种融合vr和ar的虚拟现实展示系统及其实现方法
Schneider et al. Augmented reality based on edge computing using the example of remote live support
KR102375307B1 (ko) 가상 현실 뷰포트를 공유하기 위한 방법, 장치, 및 시스템
CN110520903B (zh) 基于用户移动信息显示图像的方法和装置
CN109478344B (zh) 用于合成图像的方法和设备
US20140192164A1 (en) System and method for determining depth information in augmented reality scene
CA2960426A1 (en) Stereo image recording and playback
CN105916022A (zh) 一种基于虚拟现实技术的视频图像处理方法及装置
US11146773B2 (en) Point cloud data communication system, point cloud data transmitting apparatus, and point cloud data transmission method
US20190268584A1 (en) Methods, devices and stream to provide indication of mapping of omnidirectional images
EP4270315A1 (en) Method and device for processing three-dimensional video, and storage medium
TW201921921A (zh) 基於紋理圖與網格之３ｄ影像資訊的處理
KR20180120456A (ko) 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치 및 그 방법
EP3665656B1 (en) Three-dimensional video processing
US10664948B2 (en) Method and apparatus for processing omni-directional image
US20220165015A1 (en) Image signal representing a scene
EP3542877A1 (en) Optimized content sharing interaction using a mixed reality environment
KR20070104129A (ko) 3차원 그래픽을 이용한 온스크린 디스플레이 생성 방법 및장치
US10827160B2 (en) Method for transmitting data relating to three-dimensional image
CN111524240A (zh) 场景切换方法、装置及增强现实设备
KR102491939B1 (ko) 전방향 이미지를 프로세싱하기 위한 방법 및 장치
KR102534449B1 (ko) 이미지 처리 방법, 장치, 전자 장치 및 컴퓨터 판독 가능 저장 매체
US20220174259A1 (en) Image signal representing a scene
CN116897374A (zh) 信息处理设备、信息处理方法和程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant