CN114270405A - 利用二维图像生成三维内容的图像处理方法及图像处理装置 - Google Patents

利用二维图像生成三维内容的图像处理方法及图像处理装置 Download PDF

Info

Publication number
CN114270405A
CN114270405A CN202080059333.5A CN202080059333A CN114270405A CN 114270405 A CN114270405 A CN 114270405A CN 202080059333 A CN202080059333 A CN 202080059333A CN 114270405 A CN114270405 A CN 114270405A
Authority
CN
China
Prior art keywords
image
boundary line
dimensional
image processing
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080059333.5A
Other languages
English (en)
Inventor
朴秉宰
金希根
李在玟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Art And Space It Co
Original Assignee
Art And Space It Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200054726A external-priority patent/KR102370326B1/ko
Application filed by Art And Space It Co filed Critical Art And Space It Co
Publication of CN114270405A publication Critical patent/CN114270405A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/579Depth or shape recovery from multiple images from motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/564Depth or shape recovery from multiple images from contours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008Cut plane or projection plane definition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种图像处理方法,通过图像处理装置执行,其特征在于,包括如下的步骤:获取第一图像和第二图像,所述第一图像显示在三维坐标系中从第一位置观察到的三维内容的二维图像,所述第二图像显示在所述三维坐标系中从第二位置观察到的所述三维内容的二维图像;检测第一边界线,所述第一边界线表示所述第一图像中所述三维内容的一边界;检测第二边界线,所述第二边界线表示所述第二图像中所述一边界;及利用所述第一边界线和所述第二边界线决定在所述三维坐标系中三维表示所述一边界的第三边界线。

Description

利用二维图像生成三维内容的图像处理方法及图像处理装置
技术领域
本发明涉及生成三维内容的图像处理方法及图像处理装置。
背景技术
三维建模是指以三维形式对现实世界或非现实世界进行建模或虚拟化来实现。这种三维建模可用几何性数据表示三维的对象物体。
以往,考虑到基于现实世界的测量结果的三维描绘构建方法效率低,所以不使用测量结果,而是主要根据通过照片或实地考察的目测大致进行三维建模或者对虚拟世界进行建模。然而,近来由于测量技术的发展、摄影测量工具的开发及计算机绘图技术的发展,对现实世界的三维建模工作正在逐步取得进展。
举一示例,三维建模可通过三维扫描对象物体来生成。通过扫描生成的图片描述了从各个点至表面的距离。据此,可以识别图片中各个点的三维位置。在这种技术中典型需要从多个方向进行扫描操作,以从对象物体的所有方向获取信息,并且该操作需要相当长的操作时间。
为了提高三维建模效率,韩国专利申请第10-2018-0047235号公开了一种方法,利用从商业化摄影测量工具(photogrammetry tool)获取的数据在三维空间中设置虚拟相机和纹理(texture),并且设定对象的坐标,进而快速制作更逼真的三维模型。
然而,近来随着对三维建模的需求激增,对于使用更高效的三维建模方法始终存在需求。
发明内容
要解决的问题
本说明书提出了一种有效生成逼真的三维内容的图像处理方法及图像处理装置。
解决问题的手段
通过与用于解决上述课题的一实施例的图像处理装置执行的图像处理方法包括如下的步骤:获取第一图像和第二图像,所述第一图像显示在三维坐标系中从第一位置观察到的三维内容的二维图像,所述第二图像显示在所述三维坐标系中从第二位置观察到的所述三维内容的二维图像;检测第一边界线,所述第一边界线表示所述第一图像中所述三维内容的一边界;检测第二边界线,所述第二边界线表示所述第二图像中所述一边界;及利用所述第一边界线和所述第二边界线决定在所述三维坐标系中三维表示所述一边界的第三边界线。
决定所述第三边界线的步骤可包括如下的步骤:以从所述第一位置观察所述三维内容的方向投射所述第一边界线,进而生成第一投射面;以从所述第二位置观察所述三维内容的方向投射所述第二边界线,进而生成第二投射面;及基于所述第一投射面和所述第二投射面的交叉决定所述第三边界线。
生成所述第一投射面的步骤可以是基于所述第一图像的视角信息及分辨率信息投射所述第一边界线来执行。
检测所述第一边界线的步骤可包括:在用户终端显示所述第一图像;基于用户输入在第一图像上表示所述第一边界线;及根据表示所述第一边界线检测所述第一边界线。
另外,用于解决上述课题的一实施例的图像处理方法还可包括如下的步骤:根据在所述终端显示的指示器的位置移动改变构成所述第一边界线的至少一点的位置,进而修改所述第一边界线。所述指示器可根据用户输入改变在所述终端显示的位置。
另外,用于解决上述课题的一实施例的图像处理方法还可包括如下的步骤:利用所述第三边界线生成在所述三维坐标系三维表示的边界面。在此,所述边界面可以是以预定方向延长所述第三边界线而成。
另外,用于解决上述课题的一实施例的图像处理方法可包括如下的步骤:在三维内容中识别对象物体;获取二维表示所述对象物体的第一图像和第二图像;在所述第一图像和第二图像中检测所述对象物体的边界线;及利用检测到的所述边界线决定在所述三维坐标系中三维表示的边界线。
所述决定三维表示的边界线的步骤可包括如下的步骤:决定显示在所述第一图像和所述第二图像中都有表示的所述对象物体的同一边界的边界线。
另外,用于解决上述课题的一实施例的图像处理方法还可包括如下的步骤:利用三维表示的所述边界线生成在所述三维坐标系中三维表示的边界面。
另外,用于解决上述课题的一实施例的图像处理方法还可包括将生成的所述边界面附加于所述三维内容的步骤。在该情况下,在所述三维内容中删除与已生成的所述边界面相对应的预定的数据,之后在所述三维内容可附加已生成的所述边界面的数据。
另外,用于解决上述课题的一实施例的图像处理装置包括处理器及存储器,所述处理器获取第一图像及第二图像,所述第一图像显示三维坐标系中从第一位置观察的三维内容的二维图像,所述第二图像显示所述三维坐标系中从第二位置观察的所述三维内容的二维图像;检测第一边界线,所述第一边界线表示所述第一图像中所述三维内容的一边界;检测第二边界线,所述第二边界线表示所述第二图像中所述一边界;利用所述第一边界线和所述第二边界线可决定在所述三维坐标系中三维表示所述一边界的第三边界线。
另外,用于解决上述课题的一实施例的图像处理装置包括处理器及存储器;所述处理器在三维内容中识别对象物体,获取二维表示所述对象物体的第一图像和第二图像,在所述第一图像和第二图像中检测所述对象物体的边界线,利用检测到的所述边界线可决定在所述三维坐标系中三维表示的边界线。
另外,用于解决上述课题的一实施例的记录介质,可用计算机读取,所述计算机记录用于执行上述的一实施例的图像处理方法的计算机程序。
发明的效果
根据在本说明书记载的技术项,一实施例的图像处理方法及图像处理装置利用在与对象物体相关的多个二维图像中选择的对象物体的边界线,可有效生成三维表示对象物体的三维内容。
附图说明
图1是示出一实施例的图像处理装置的框图。
图2是说明由一实施例的图像处理装置执行的图像处理方法的流程图。
图3是示出一实施例的对象物体与包围对象物体的多个相机的位置关系的概念图。
图4及图5是示出用于接收一实施例的第一及第二图像和与这些图像相关的用户输入的用户界面的图。
图6是说明一实施例的图像处理装置在三维空间中生成虚拟的投射面的方法的图。
图7是说明一实施例的图像处理装置利用第一投射面和第二投射面的交叉生成边界线的方法的概念图。
图8是说明一实施例的图像处理装置更新三维内容的方法的流程图。
图9示出了三维内容的一实施例。
图10是示出在三维空间中生成虚拟的三维面的一实施例的图。
图11是示出更新三维内容的一部分的示例的图。
具体实施方式
以下的内容仅是示例了发明的原理。因此,虽未在本说明书中明确说明或者示出,但是所属领域的技术人员可实现发明的原理,并且可发明包括在本发明的概念和范围的各种装置。另外,对于在本说明书列出的所有条件性用语和实施例,在原则上明确旨在仅用于使理解本发明的概念的目的,并且应该理解为不限于特别列出的实施例及状态。
通过与附图相关的以下的详细说明将更加明确上述的目的、特征及优点,据此在发明所属技术领域中具有常规知识的人员可容易实施例发明的技术思想。
在说明书及权利要求书的范围中,对于“第一”、“第二”、“第三”、“第四”等的用语,如果有则是为了区分类似的构成元素之间而使用的,但这不是必须的,而是为了说明特定顺序或者发生顺序而使用。如此使用的用语应该理解为在适当的环境下可互换,以使在此说明的本发明的实施例以例如不是在此示出或者说明的其他顺序进行动作。同样地,在此说明方法包括一系列的步骤的情况下,在此提出的这些步骤的顺序不一定是要可执行这些步骤的顺序,而是可省略任意说明的步骤及/或者未在此说明的任意的其他步骤可附加于该方法。
另外,说明书及权利要求书的“左侧”、“右侧”、“前”、“后”、“上部”、“底面”、“上”、“下”等的用语是为了说明而使用的,不一定是用于说明不变的相对位置。如此使用的用语可理解为在适当的环境下可进行互换,以在除了在此示出或者说明的以外的其他方向进行动作。对于在此使用的用语“连接”,定义为以电性或者非电性方式直接或者间接连接的。在此,对于用“相邻”说明的技术性对象,在使用该句子的文章中可以是指适当地相互物理性接触、相互接近或者彼此在相同的通常范围或者区域内。在此,对于“在一实施例中”的句子的存在是指相同的实施例,但是并不一定如此。
另外,在说明书及权利要求书中,对于“连接”、“被连接”、“紧固”、“被紧固”、“结合”、“被结合”等和这种表述的各种变形的指称,以与其他构成元素直接连接或者通过其他构成元素间接连接的含义使用。
另外,对于在本说明书中使用的构成元素的后缀“模块”及“部”,是只考虑到编写的方便性而赋予或者混用的,其本身并不具有相互区分的含义或者作用。
另外,在本说明书中使用的用语是用于说明实施例的,并非要限定本发明。在本说明书中,除非在单数型句子中有特别提及,否则在单数型句子中也包括复数型。在说明书中使用的“包括(comprise)”及/或者“包括的(comprising)”谈及的构成元素、步骤、动作及/或者元件不排除一个以上的其他构成元素、步骤、动作及/或者元件的存在或者增加。
另外,在本发明的说明中,若判断相关公知技术的具体说明使发明的要点不清楚,则省略该具体说明。以下,参照附图详细说明本发明的优选实施例。
图1是示出一实施例的图像处理装置的框图。一实施例的图像处理装置100可包括:处理器110、存储器120、通信部130、输入部140、输出部150。所述结构是示例性的,也可省略列出的结构中的一部分,也可包括未列出的结构。
为了控制图像处理装置100的操作来执行在以下说明的图像处理方法,处理器110可控制包括存储器120、通信部130、输入部140及输出部150中的至少任意一种的图像处理装置100的各个结构。
在一实施例中,处理器110可获取第一图像和第二图像,所述第一图像显示从三维坐标系上的第一位置看到的三维内容的图像,所述第二图像显示从三维坐标系上的第二位置看到的三维内容的图像。处理器110检测第一图像中表示所述三维内容的一边界的第一边界线,检测第二图像中表示一边界的第二边界线,利用第一边界线和第二边界线可决定在三维坐标系表示一边界的第三边界线。在此,第三边界线可以是在三维坐标系中表示的虚拟的线。
在另一实施例中,处理器110识别包括在三维内容的对象物体,可获取显示对象物体的第一图像和第二图像。处理器110在第一图像和第二图像中检测所述对象物体的边界线,利用检测到的边界线可决定三维坐标系中虚拟的边界线。
存储器120可保存用于操作图像处理装置的程序数据和临时数据。进一步地,存储器120可包括用于执行图像处理方法的三维内容数据、在一位置生成的三维内容的二维图像数据等。在此,二维图像数据作为附加信息,可包括在生成二维图像的三维坐标系中的位置信息(e.g.用x轴、y轴及z轴的坐标表示的位置信息)、用于生成二维图像的相机信息(e.g.视角、分辨率、颜色格式、相机视角朝向的方向信息等)等。
通信部130根据处理器110的控制利用现有的无线/有线通信方法可从外部装置接收三维内容数据、二维图像数据、图像生成信息、控制信息等,并且也可向外部装置发送三维内容数据、二维图像数据、图像生成信息、控制信息等。
为了执行一实施例的图像处理方法,输入部140可由用于接收用户输入的键盘、鼠标、触摸屏及利用该触摸屏的用户界面等构成。
为了给用户输出处理结果或者用于质疑用户输入的信息以执行一实施例的图像处理方法,输出部150可由包括显示面板等的显示部等构成。
图2是说明由一实施例的图像处理装置执行的图像处理方法的流程图。图3是示出一实施例的对象物体与包围对象物体的多个相机320的位置关系的概念图。
以下,参照图2及图3说明由一实施例的图像处理装置执行图像处理方法生成对象物体的三维内容的方法。
首先,图像处理装置可获取对象物体310的第一图像和第二图像(S210)。第一图像可以是从三维坐标系上的第一位置321看到的所述对象物体310的图像。例如,在三维坐标系为现实空间的情况下,第一图像可以是用在三维坐标系中位于任意一个位置的第一相机321拍摄所述对象物体310生成的二维图像。例如,在三维坐标系为虚拟的三维空间的情况下,第一图像可以是用在三维坐标系中位于任意一个位置的虚拟的第一相机321拍摄所述对象物体310生成的二维图像。同样地,第二图像可以是在三维坐标系上的第二位置322看到的所述对象物体310的图像。例如,第二图像可以是用在三维坐标系中位于任意一个位置的第二相机322拍摄的所述对象物体310生成的二维图像。
在一实施例中,第一位置和第二位置位于相互不同的位置,据此在第一图像和第二图像显示的物体图像可相互不同。例如,第一图像可如图4的(a)所示。第二图像可如图5的(a)所示。
然后,图像处理装置可在第一及第二图像中检测对象物体310的边界线(S220)。一实施例的图像处理装置使用物体识别算法可在图像中识别物体。进一步地,识别使用边界识别算法识别的物体的边界,进而也可检测在图像显示的对象物体的边界线。
另一方面,一实施例的图像处理装置基于用户输入也可检测图像中对象物体的边界线。为此,一实施例的图像处理装置可在用户终端的显示部显示第一图像。据此,用户可确认在显示部显示的第一图像。在一实施例中,用户可将用于在第一图像上生成第一边界线的用户输入输入于图像处理装置。据此,图像处理装置可获取表示在第一图像上生成的第一边界线的数据。例如,根据在显示部显示线段的用户输入,图像处理装置可获取表示第一边界线的数据。
若完成对第一图像的处理,则一实施例的图像处理装置在用户终端的显示部显示第二图像,并且基于对此的用户输入可获取表示第二边界线的数据。
为此的第一及第二图像的显示和接收该用户输入的一实施例在图4及图5示出。图4的(a)示出了第一图像和在第一图像上显示的用户界面,图4的(b)示出了用户界面的概念。图5的(a)示出了第二图像和在第二图像上显示的用户界面,图5的(b)示出了用户界面的概念。
以下,参照图4,说明了用于检测第一图像中对象物体的边界线的用户界面使用示例。在一实施例中,图像处理装置基于通过用户界面输入的用户输入可在显示部显示的第一图像上表示第一边界线430。
一实施例的用户界面可由第一控制器410和第二控制器420构成。一实施例的图像处理装置在获取对于第一图像的空白空间的用户输入的情况下,将第一控制器410配置在该位置;在再次获取对第一图像的空白空间的用户输入的情况下,第二控制器420可配置在该位置。据此,如图4(b)所示,图像处理装置可生成贯通第一控制器410和第二控制器420的第一边界线430。再则,图像处理装置根据改变控制器位置的用户输入改变控制器的位置,进而可改变第一边界线430的形态。
在一实施例中,基于控制器的位置可设置边界线的起点和终点。起点和终点从控制器的位置间隔预定距离生成,或者可在由控制器指示的一位置生成。例如,如图4(b)所示,第一边界线430的起点412可从第一控制器410的位置间隔预定距离生成。一实施例的图像处理装置通过显示部显示垂直于第一边界线430的第一引导线411,进而将通过第一控制器410生成的起点412显示给用户。在此,第一引导线411可以是从第一相机的位置401贯通起点412生成的虚拟的线。
另外,如图4(b)所示,可在第二控制器420的位置生成第一边界线430的终点422。一实施例的图像处理装置通过显示部显示垂直于第一边界线430的第二引导线421,进而可将通过第二控制器420生成的终点422显示给用户。在此,第二引导线421可以是从第一相机的位置401贯通终点422而生成的虚拟的线。
另一方面,如图5的(b)所示,第二边界线530的起点512可在第一控制器510的位置生成。一实施例的图像处理装置通过显示部显示垂直于第二边界线530的第一引导线511,进而可将通过第一控制器510生成的起点512显示给用户。在此,第一引导线511可以是从第二相机的位置贯通起点512而生成的虚拟的线。
另外,第二边界线530的终点522从第二控制器520的位置间隔预定距离生成。一实施例的图像处理装置通过显示部显示垂直于第二边界线530的第二引导线521,进而可将通过第二控制器520生成的终点522显示给用户。在此,第二引导线521可以是从第二相机的位置贯通终点522而生成的虚拟的线。
然后,图像处理装置利用在第一图像和第二图像检测到的对象物体的边界线可生成三维空间中的投射面(S230)。图6是说明一实施例的图像处理装置在三维空间中生成虚拟的投射面的方法的图。如图6所示,一实施例的图像处理装置向三维空间投射第一边界线,进而可在三维空间生成第一投射面。
例如,一实施例的图像处理装置以从第一位置(即,生成第一图像的三维空间中的位置)朝向对象物体的方向投射第一边界线,进而可生成第一投射面。
更详细地说,在以三维坐标系为准指定拍摄第一图像的第一相机的位置401以及以三维坐标系为准指定所述对象物体的位置310的一实施例中,从第一相机的位置朝向对象物体投射根据第一图像的分辨率生成的第一边界线,进而可生成第一投射面。
此时,根据第一图像的拍摄条件可投射第一边界线。例如,可根据第一图像的视角信息投射第一边界线。在一实施例中,根据与第一图像一同保存的相机的视角信息的扩大比例扩大第一边界线的同时可向三维空间投射。
通过相同的方式,一实施例的图像处理装置向三维空间投射第二边界线,进而可在三维空间生成第二投射面。
另一方面,S230步骤也可将通过对于各个图像设定的第一引导线及第二引导线决定的面决定为投射面来执行。据此决定的投射面可通过第一及第二引导线的表示方式定义。例如,投射面可通过表示第一及第二引导线的向量来表示。
更详细地说,一实施例的图像处理装置可将通过第一图像的第一引导线411和第二引导线421定义的面决定为第一图像的第一投射面。通过相同的方式,一实施例的图像处理装置可将通过第二图像的第一引导线511和第二引导线521定义的面决定为第二图像的第二投射面。
然后,图像处理装置利用投射面的交叉可决定三维空间中的边界线(S240)。图7是说明利用第一投射面710和第二投射面720的交叉生成边界线的方法的概念图。如图7所示,图像处理装置可将在三维空间中交叉第一投射面710和第二投射面720生成的边界线730决定为在之前的S220步骤中在二维图像指定的边界线在三维坐标系中的三维边界线。
如上所述,图像处理装置对于表示对象物体的各个边界线执行上述的方法,进而可在三维坐标系生成表示对象物体的三维内容。
图8是说明对于利用一实施例的图像处理装置在虚拟的三维空间生成的三维内容适用上述的图像处理方法以更新三维内容的方法的流程图。
首先,一实施例的图像处理装置可选择包括在三维内容的对象物体(S810)。图9示出了一实施例的三维内容。如图9所示,一实施例的三维内容可以是利用三维扫描仪生成的内容。一实施例的图像处理装置可基于在三维内容中选择对象物体910的用户输入决定对象物体910。或者,一实施例的图像处理装置也可利用识别三维内容中对象物体910的物体识别算法决定三维内容中的对象物体910。
然后,一实施例的图像处理装置可获取已选择的物体的多个二维图像(S820)。与上述参照图3的说明相同,一实施例的图像处理装置可决定在虚拟三维空间生成多个二维图像的位置。与上述说明的相同,可说明为在虚拟的三维空间生成多个虚拟相机。在这一点上,以下由在多个虚拟相机位置生成二维图像代替在二维图像生成位置生成二维图像。
一实施例的图像处理装置基于提前设定的相机配置可在虚拟的三维空间生成多个虚拟相机。在另一实施例中,图像处理装置也可基于用户输入在虚拟的三维空间生成多个相机。
一实施例的图像处理装置可在虚拟相机位置生成对象物体的二维图像。一实施例的图像处理装置可根据预定的选项生成图像。在此,预定的选项可以是用于生成图像的一系列的相机设置属性。例如,预定的选项可包括视角、分辨率等。据此,如上所述,一实施例的图像处理装置可将与二维图像一同生成的图像生成附加信息(e.g.相机位置、视角、分辨率信息等)匹配于二维图像来保存。
然后,如上所述,一实施例的图像处理装置可检测多个二维图像中物体的边界线(S830)。然后,一实施例的图像处理装置可在已检测到的边界线中选择表示三维内容的同一边界线的边界线(S840)。一实施例的图像处理装置将在多个二维图像中检测到的边界线基于是否与与此相对应的三维内容的边界线相同来分类,进而可选择表示三维内容的同一边界线的边界线。另一实施例的图像处理装置也可基于用户输入决定是否显示三维内容的同一边界线。
然后,一实施例的图像处理装置利用如上述选择的多个边界线生成多个投射面,进而可生成三维空间中的三维内容的边界线(S850)。
然后,一实施例的图像处理装置利用已决定的三维空间中的边界线生成三维空间中的面,进而可生成三维物体(S860)。参照图10进行更加详细说明。一实施例的图像处理装置在三维空间中识别出第一边界线1010和第二边界线1020的情况下,将其中任意一个边界线朝向另一个边界线延长1011,进而可生成边界面1030。
然后,一实施例的图像处理装置可利用已生成的三维物体修改三维内容(S870)。一实施例的图像处理装置将如图11生成的三维物体1110附加于现有的三维内容,进而可修改三维内容。一实施例的图像处理装置在三维内容中删除对象物体,并附加已生成的三维物体,进而可修改三维内容。
对于上述的一实施例的图像处理装置及图像处理方法以通过各种计算机工具可执行的程序指令形式实现,可记录于计算机可读取介质。所述计算机可读取介质可单独或者组合包括程序指令、数据文件、数据结构等。记录于所述介质的程序指令也可以是根据实施例特别设计并设置的,或者也可以是对于计算机软件技术人员公知并使用的。举例说明计算机可读取记录介质,包括:诸如硬盘、软盘及磁带的磁介质(magnetic media);诸如CD-ROM、DVD的光记录介质(optical media);诸如光磁软盘(floptical disk)的光磁记录介质(magneto-optical media);及诸如只读存储器(ROM)、随机存取存储器(RAM)、闪光存储器等的为了保存并执行计算机指令而特别配置的硬件装置。举例说明程序指令,不仅包括诸如由编译器生成的机器语言代码,而且还包括使用解释器等可通过计算机执行的高级语言代码。
在对上述的实施例的说明中参照的附图分别仅是为了便于说明而示出的一实施例,在各个附图示出的信息项、内容及图像能够以各种形式变形显示。
参照在附图示出的一实施例说明了本发明,但是这仅是示例性的,只要是在本发明技术领域中具有常规知识的人员应该理解为由此可进行各种变形及实现同等的其他实施例。从而,本发明的真正的保护范围应该由权利要求书的范围内的技术思想定义。
产业适用性
本发明可利用于生成三维内容。

Claims (15)

1.一种图像处理方法,通过图像处理装置执行,其特征在于,包括如下的步骤:
获取第一图像和第二图像,所述第一图像显示在三维坐标系中从第一位置观察到的三维内容的二维图像,所述第二图像显示在所述三维坐标系中从第二位置观察到的所述三维内容的二维图像;
检测第一边界线,所述第一边界线表示所述第一图像中所述三维内容的一边界;
检测第二边界线,所述第二边界线表示所述第二图像中所述一边界;及
利用所述第一边界线和所述第二边界线决定在所述三维坐标系中三维表示所述一边界的第三边界线。
2.根据权利要求1所述的图像处理方法,其特征在于,
决定所述第三边界线的步骤包括如下的步骤:
以从所述第一位置观察所述三维内容的方向投射所述第一边界线,进而生成第一投射面;
以从所述第二位置观察所述三维内容的方向投射所述第二边界线,进而生成第二投射面;及
基于所述第一投射面和所述第二投射面的交叉决定所述第三边界线。
3.根据权利要求2所述的图像处理方法,其特征在于,
生成所述第一投射面的步骤为基于所述第一图像的视角信息及分辨率信息投射所述第一边界线来执行。
4.根据权利要求1所述的图像处理方法,其特征在于,
检测所述第一边界线的步骤包括:
在用户终端显示所述第一图像;
基于用户输入在第一图像上表示所述第一边界线;及
根据表示所述第一边界线检测所述第一边界线。
5.根据权利要求4所述的图像处理方法,其特征在于,还包括如下的步骤:
根据在所述终端显示的指示器的位置移动改变构成所述第一边界线的至少一点的位置,进而修改所述第一边界线;
其中,所述指示器根据用户输入改变在所述终端显示的位置。
6.根据权利要求1所述的图像处理方法,其特征在于,还包括如下的步骤:
利用所述第三边界线生成在所述三维坐标系三维表示的边界面。
7.根据权利要求6所述的图像处理方法,其特征在于,
所述边界面为以预定方向延长所述第三边界线而成。
8.一种图像处理方法,通过图像处理装置执行,其特征在于,包括如下的步骤:
在三维内容中识别对象物体;
获取二维表示所述对象物体的第一图像和第二图像;
在所述第一图像和第二图像中检测所述对象物体的边界线;及
利用检测到的所述边界线决定在所述三维坐标系中三维表示的边界线。
9.根据权利要求8所述的图像处理方法,其特征在于,
所述决定三维表示的边界线的步骤包括如下的步骤:
决定显示在所述第一图像和所述第二图像中都有表示的所述对象物体的同一边界的边界线。
10.根据权利要求8所述的图像处理方法,其特征在于,还包括如下的步骤:
利用三维表示的所述边界线生成在所述三维坐标系中三维表示的边界面。
11.根据权利要求10所述的图像处理方法,其特征在于,还包括如下的步骤:
将生成的所述边界面附加于所述三维内容。
12.根据权利要求11所述的图像处理方法,其特征在于,
在所述三维内容中删除与已生成的所述边界面相对应的预定的数据,之后在所述三维内容附加已生成的所述边界面的数据。
13.一种图像处理装置,其特征在于,包括处理器及存储器,
所述处理器获取第一图像及第二图像,
所述第一图像显示三维坐标系中从第一位置观察的三维内容的二维图像,
所述第二图像显示所述三维坐标系中从第二位置观察的所述三维内容的二维图像;
检测第一边界线,所述第一边界线表示所述第一图像中所述三维内容的一边界;
检测第二边界线,所述第二边界线表示所述第二图像中所述一边界;
利用所述第一边界线和所述第二边界线决定在所述三维坐标系中三维表示所述一边界的第三边界线。
14.一种图像处理装置,其特征在于,包括处理器及存储器,
所述处理器在三维内容中识别对象物体;
获取二维表示所述对象物体的第一图像和第二图像;
在所述第一图像和第二图像中检测所述对象物体的边界线;
利用检测到的所述边界线决定在所述三维坐标系中三维表示的边界线。
15.一种记录介质,可用计算机读取,所述计算机记录用于执行权利要求1或者8的方法的计算机程序。
CN202080059333.5A 2019-08-23 2020-08-24 利用二维图像生成三维内容的图像处理方法及图像处理装置 Pending CN114270405A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2019-0103851 2019-08-23
KR20190103851 2019-08-23
KR1020200054726A KR102370326B1 (ko) 2019-08-23 2020-05-07 2d 이미지를 활용하여 3d 컨텐츠를 생성하는 영상 처리 방법 및 영상 처리 장치
KR10-2020-0054726 2020-05-07
PCT/KR2020/011216 WO2021040342A2 (ko) 2019-08-23 2020-08-24 2d 이미지를 활용하여 3d 컨텐츠를 생성하는 영상 처리 방법 및 영상 처리 장치

Publications (1)

Publication Number Publication Date
CN114270405A true CN114270405A (zh) 2022-04-01

Family

ID=74685655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080059333.5A Pending CN114270405A (zh) 2019-08-23 2020-08-24 利用二维图像生成三维内容的图像处理方法及图像处理装置

Country Status (5)

Country Link
US (1) US20220284667A1 (zh)
EP (1) EP4020400A4 (zh)
KR (1) KR20220029640A (zh)
CN (1) CN114270405A (zh)
WO (1) WO2021040342A2 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11410439B2 (en) * 2019-05-09 2022-08-09 Snap Inc. Sequence-of-sequences model for 3D object recognition

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6639597B1 (en) * 2000-02-28 2003-10-28 Mitsubishi Electric Research Laboratories Inc Visibility splatting and image reconstruction for surface elements
JP4635392B2 (ja) * 2001-08-09 2011-02-23 コニカミノルタホールディングス株式会社 3次元物体の表面形状モデリング装置、および、プログラム
KR101388133B1 (ko) * 2007-02-16 2014-04-23 삼성전자주식회사 2차원 실사 영상으로부터 3차원 모델을 생성하는 방법 및장치
KR101288971B1 (ko) * 2007-02-16 2013-07-24 삼성전자주식회사 모델링 방법 및 장치
US8331685B2 (en) * 2008-05-28 2012-12-11 Apple Inc. Defining a border for an image
US20140365955A1 (en) * 2013-06-10 2014-12-11 International Business Machines Corporation Window reshaping by selective edge revisions
KR102126532B1 (ko) * 2013-09-30 2020-06-24 엘지디스플레이 주식회사 멀티뷰 영상 생성 방법과 이를 이용한 입체 영상 표시 장치
US9436987B2 (en) * 2014-04-30 2016-09-06 Seiko Epson Corporation Geodesic distance based primitive segmentation and fitting for 3D modeling of non-rigid objects from 2D images
US20160239976A1 (en) * 2014-10-22 2016-08-18 Pointivo, Inc. Photogrammetric methods and devices related thereto
KR102498598B1 (ko) * 2016-10-18 2023-02-14 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
KR102599222B1 (ko) 2016-10-31 2023-11-08 한화오션 주식회사 가변 주파수 드라이브의 냉각 장치 및 그를 이용한 냉각 방법
KR102551713B1 (ko) * 2016-11-18 2023-07-06 삼성전자주식회사 전자 장치 및 그 이미지 처리 방법
KR102647351B1 (ko) * 2017-01-26 2024-03-13 삼성전자주식회사 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치
KR101906431B1 (ko) * 2017-07-20 2018-10-11 네이버랩스 주식회사 2d 이미지 인식에 기반한 3d 모델링 방법 및 그 시스템

Also Published As

Publication number Publication date
EP4020400A2 (en) 2022-06-29
KR20220029640A (ko) 2022-03-08
WO2021040342A2 (ko) 2021-03-04
WO2021040342A3 (ko) 2021-07-01
EP4020400A4 (en) 2024-01-10
US20220284667A1 (en) 2022-09-08

Similar Documents

Publication Publication Date Title
US10102639B2 (en) Building a three-dimensional composite scene
CN108780586B (zh) 图像处理方法、显示设备和检查系统
JP5248806B2 (ja) 情報処理装置、情報処理方法
US7755608B2 (en) Systems and methods of interfacing with a machine
KR102279300B1 (ko) 가상 물체 표시 제어 장치, 가상 물체 표시 시스템, 가상 물체 표시 제어 방법, 및 가상 물체 표시 제어 프로그램
JP6716996B2 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
CN110956695B (zh) 信息处理装置、信息处理方法和存储介质
JP2011095797A (ja) 画像処理装置、画像処理方法及びプログラム
US10950056B2 (en) Apparatus and method for generating point cloud data
KR20210023671A (ko) 2d 이미지를 활용하여 3d 컨텐츠의 텍스처를 생성하는 영상 처리 방법 및 영상 처리 장치
CN114270405A (zh) 利用二维图像生成三维内容的图像处理方法及图像处理装置
JP7003617B2 (ja) 推定装置、推定方法、及び推定プログラム
CN113129362A (zh) 一种三维坐标数据的获取方法及装置
US11055865B2 (en) Image acquisition device and method of operating image acquisition device
KR102370326B1 (ko) 2d 이미지를 활용하여 3d 컨텐츠를 생성하는 영상 처리 방법 및 영상 처리 장치
KR20190048810A (ko) 증강현실용 컨텐츠 제공 장치 및 방법
KR102279306B1 (ko) 가상 물체 표시 제어 장치, 가상 물체 표시 시스템, 가상 물체 표시 제어 방법, 및 가상 물체 표시 제어 프로그램
JP2013092888A (ja) データ処理装置
JP2019144958A (ja) 画像処理装置、画像処理方法およびプログラム
JP7401245B2 (ja) 画像合成装置、画像合成装置の制御方法およびプログラム
JP2005165665A (ja) 仮想物体の操作補助装置、方法、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体
JP2019159375A (ja) 情報処理装置,重畳表示プログラム,重畳表示方法
US20240029379A1 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JPH1125294A (ja) 三次元形状指示装置、その方法および三次元形状指示プログラムを記録したコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination