KR20190072987A - Stereo Depth Map Post-processing Method with Scene Layout - Google Patents

Stereo Depth Map Post-processing Method with Scene Layout Download PDF

Info

Publication number
KR20190072987A
KR20190072987A KR1020170174196A KR20170174196A KR20190072987A KR 20190072987 A KR20190072987 A KR 20190072987A KR 1020170174196 A KR1020170174196 A KR 1020170174196A KR 20170174196 A KR20170174196 A KR 20170174196A KR 20190072987 A KR20190072987 A KR 20190072987A
Authority
KR
South Korea
Prior art keywords
layout
depth image
image
estimated
estimating
Prior art date
Application number
KR1020170174196A
Other languages
Korean (ko)
Other versions
KR102264962B1 (en
Inventor
박민규
황영배
윤주홍
최병호
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020170174196A priority Critical patent/KR102264962B1/en
Publication of KR20190072987A publication Critical patent/KR20190072987A/en
Application granted granted Critical
Publication of KR102264962B1 publication Critical patent/KR102264962B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

Provided is a method for estimating an initial depth image after acquiring an input image using two cameras and estimating a more sophisticated depth image based on prior knowledge on a scene. According to an embodiment of the present invention, a depth image post-processing method includes the steps of: estimating a layout from an initial depth image; and generating a final depth image by improving the initial depth image by using the estimated layout. Therefore, a more sophisticated depth image can be estimated from a layout of a scene estimated from two images.

Description

레이아웃 정보를 이용한 깊이 영상 후처리 방법{Stereo Depth Map Post-processing Method with Scene Layout}[0001] The present invention relates to a depth image post-processing method and a depth image post-

본 발명은 3D 영상 기술에 관한 것으로, 더욱 상세하게는 양안 영상을 이용한 깊이 추정 방법에 관한 것이다.The present invention relates to a 3D image technology, and more particularly, to a depth estimation method using a binocular image.

3D 영상을 구성하기 위해 가장 중요한 정보 중 하나는 깊이 영상이다. 영상 기반 깊이 추정 기술은 두 장 이상의 영상 간 대응점을 탐색하고, 카메라의 위치 정보를 기반으로 거리 정보를 계산하는 접근 방법이다.One of the most important information for constructing a 3D image is a depth image. An image-based depth estimation technique is an approach to search for correspondence points between two or more images and to calculate distance information based on the camera position information.

따라서, 영상 간 대응점을 잘 탐색하는 것이 중요하며, 조밀한 대응점을 잘 탐색하기 위해 지금까지 수많은 연구가 진행되어 왔다.Therefore, it is important to search for correspondence points between images well, and many studies have been carried out so far to search well for dense correspondence points.

하지만, 역설적이게도, 고해상도 영상에서 정확한 깊이 영상을 얻지 못하는 경우가 빈번한데, 도 1에 이같은 상황을 나타내었다. 도 1에는 입력 영상(a)과 그에 대한 깊이 영상(b)을 제시하였는데, 바닥부분의 깊이 정보가 많이 부정확하게 산출되었음을 확인할 수 있다However, paradoxically, accurate depth images can not be obtained frequently in high-resolution images, and FIG. 1 shows this situation. In FIG. 1, the input image (a) and the depth image (b) for the input image are presented. However, it can be confirmed that the depth information of the bottom portion is inaccurately calculated

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 두 대의 카메라를 이용하여 입력 영상을 획득한 뒤, 초기 깊이 영상을 추정하고, 장면에 대한 사전지식을 바탕으로 보다 정교한 깊이 영상을 추정하는 방법을 제공함에 있다.SUMMARY OF THE INVENTION It is an object of the present invention to provide an apparatus and a method for acquiring an input image using two cameras and estimating an initial depth image, And a method for estimating a sophisticated depth image.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 깊이 영상 후처리 방법은 초기 깊이 영상으로부터 레이아웃을 추정하는 단계; 및 추정된 레이아웃을 이용하여, 초기 깊이 영상을 개선하여 최종 깊이 영상을 생성하는 단계;를 포함한다. According to an aspect of the present invention, there is provided a depth image post-processing method including: estimating a layout from an initial depth image; And generating the final depth image by improving the initial depth image using the estimated layout.

레이아웃은, 평면일 수 있다. The layout may be planar.

레이아웃 추정 단계는, 초기 깊이 영상을 다수의 영역으로 분할하는 단계; 분할된 영역들을 합쳐 평면들을 생성하는 단계; 생성된 평면들 중 레이아웃을 선정하는 단계;를 포함할 수 있다. The layout estimation step may include: dividing the initial depth image into a plurality of areas; Combining the divided regions to generate planes; And selecting a layout among the generated planes.

평면 생성 단계는, 분할된 영역들의 평면의 방정식들을 추정하는 단계; 평면의 방정식들로부터 동일한 평면상에 존재하는 것으로 판단되는 영역들을 합쳐 평면들을 생성하는 단계;를 포함할 수 있다. The plane generating step includes estimating equations of planes of the divided regions; And combining the regions determined to exist on the same plane from the equations of the plane to generate the planes.

선정단계는, 벽면, 바닥, 천장으로 판단되는 평면들을 선정하는 것일 수 있다. The selection step may be to select planes judged to be wall, floor, or ceiling.

최종 깊이 영상 생성단계는, 추정된 레이아웃의 평면 방정식을 이용하여, 레이아웃에 포함된 픽셀의 깊이를 추정하는 것일 수 있다. The final depth image generation step may be to estimate the depth of the pixels included in the layout using the plane equation of the estimated layout.

레이아웃 영역에 포함되지 않은 영역에 대해서는 잡음을 제거한 후에 픽셀들의 깊이를 추정할 수 있다. For regions not included in the layout area, the depth of the pixels can be estimated after removing the noise.

한편, 본 발명의 다른 실시예에 따른, 영상 시스템은 스테레오 영상을 생성하는 생성부; 및 스테레오 영상으로부터 초기 깊이 영상을 추정하고, 초기 깊이 영상으로부터 레이아웃을 추정하며, 추정된 레이아웃을 이용하여 초기 깊이 영상을 개선하여 최종 깊이 영상을 생성하는 프로세서;를 포함한다. According to another embodiment of the present invention, an image system includes a generating unit for generating a stereo image; And a processor for estimating an initial depth image from the stereo image, estimating a layout from the initial depth image, and improving the initial depth image using the estimated layout to generate a final depth image.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 두 장의 영상에서 추정한 장면에 대한 레이아웃으로부터 보다 정교한 깊이 영상을 추정할 수 있게 된다.As described above, according to the embodiments of the present invention, a more sophisticated depth image can be estimated from the layout of scenes estimated from two images.

특히, 본 발명의 실시예들에 따르면, 흰 벽면과 같이 모호함이 아주 큰 환경에서도 강건하게 깊이 영상을 추정할 수 있게 된다.In particular, according to the embodiments of the present invention, it is possible to robustly estimate a depth image even in an environment with a large ambiguity such as a white wall.

도 1은 부정확한 깊이 영상을 추정한 경우를 나타낸 도면,
도 2는 본 발명의 일 실시예에 따른 깊이 영상 후처리 방법의 설명에 제공되는 도면,
도 3은 레이아웃 선정 방법의 부연 설명에 제공되는 도면,
도 4는 레이아웃 추정 과정을 예시한 도면,
도 5는 다양한 레이아웃 추정 결과들을 예시한 도면,
도 6은 레이블링의 부연 설명에 제공되는 도면, 그리고,
도 7은 본 발명의 다른 실시예에 따른 영상 시스템의 블럭도이다.1 is a view showing a case where an inaccurate depth image is estimated,
FIG. 2 is a view for explaining a depth image post-processing method according to an embodiment of the present invention;
Fig. 3 is a diagram provided in a side view of the layout selection method,
4 is a diagram illustrating a layout estimation process,
5 illustrates various layout estimation results,
Figure 6 is a drawing provided in a further description of labeling,
7 is a block diagram of an image system according to another embodiment of the present invention.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in detail with reference to the drawings.

본 발명의 실시예에서는 레이아웃 정보를 이용한 깊이 영상 후처리 방법을 제시한다. 본 발명의 실시예에 따른 깊이 영상 후처리 방법은, 두 대의 카메라를 이용하여 입력 영상을 획득한 뒤, 초기 깊이 영상을 추정하고, 장면에 대한 사전지식을 바탕으로 보다 정교한 깊이 영상을 추정한다.In the embodiment of the present invention, a depth image post-processing method using layout information is presented. The depth image post-processing method according to an embodiment of the present invention estimates an initial depth image after acquiring an input image using two cameras, and estimates a more sophisticated depth image based on a prior knowledge of a scene.

본 발명의 실시예에 따른 깊이 영상 후처리 방법은, 장면에 대한 사전 지식(man-made environment, 복수 개의 평면이 존재하는 환경)을 바탕으로 레이아웃을 추정한다.A depth image post-processing method according to an embodiment of the present invention estimates a layout based on a man-made environment (an environment in which a plurality of planes exist).

그리고, 본 발명의 실시예에 따른 깊이 영상 후처리 방법은, 레이아웃 정보를 이용하여 깊이 영상을 후처리 하는데, 레이아웃 영역과 레이아웃이 아닌 영역에 대해 다른 방법을 적용한다.In the depth image post-processing method according to the embodiment of the present invention, the depth image is post-processed using the layout information, and a different method is applied to the area other than the layout area and the layout.

구체적으로, 레이아웃의 경우, 평면 영역이므로 평면 정보를 이용하여 패치간 비교를 수행하고, 레이아웃이 아닌 영역의 경우 깊이 경계 영역의 정확도를 향상시키는 접근 방법을 갖는다.Specifically, in the case of a layout, there is an approach of performing a comparison between patches using plane information because it is a planar region, and improving the accuracy of a depth boundary region in a region other than a layout.

도 2는 본 발명의 일 실시예에 따른 깊이 영상 후처리 방법의 설명에 제공되는 도면이다. 2 is a view for explaining a depth image post-processing method according to an embodiment of the present invention.

도 2에 도시된 바와 같이, 먼저 두 대의 카메라를 이용하여 스테레오 영상이 생성되고, 스테레오 영상으로부터 초기 깊이 영상이 추정된다. 다음, 초기 깊이 영상으로부터 장면의 레이아웃을 추정한다. 이후, 추정된 레이아웃을 이용하여 초기 깊이 영상을 개선하여 최종 깊이 영상을 생성한다.As shown in FIG. 2, a stereo image is first generated using two cameras, and an initial depth image is estimated from a stereo image. Next, the scene layout is estimated from the initial depth image. Then, the initial depth image is improved using the estimated layout to generate the final depth image.

레이아웃 추정은, 도 2에 도시된 바와 같이, 초기 깊이 영상을 다수의 영역으로 분할하고 분할된 영역들을 합치거나(Merging) 클러스터링(Clustering) 하여 평면들을 생성한 후에, 평면들 중 가장 두드러지게 관찰되는 평면들을 레이아웃으로 선정하는 과정에 의해 수행된다.As shown in FIG. 2, the layout estimation is performed by dividing the initial depth image into a plurality of regions and merging or clustering the divided regions to generate planes, And selecting the planes as a layout.

평면 생성을 위해, 먼저, 분할된 영역들의 평면의 방정식들을 추정하고, 추정된 평면의 방정식들로부터 동일한 평면상에 존재하는 것으로 판단되는 영역들을 합쳐 평면들을 생성한다.For plane generation, first, the equations of planes of the divided areas are estimated, and the areas determined to exist on the same plane from the equations of the estimated plane are combined to generate the planes.

선정되는 주요 레이아웃은, 평면들 사이의 호환성이 기준이 된다. 이를 테면, 도 3의 좌측에 도시된 경우는 평면들 간에 인간이 만든 구조물로서의 호환성이 있는 경우이고, 도 3의 우측에 도시된 경우는 평면들 간에 호환성이 없는 경우에 해당한다The selected main layout is based on compatibility between the planes. For example, the case shown on the left side of FIG. 3 corresponds to a case where there is compatibility between the planes as a human-made structure, and the case shown on the right side of FIG. 3 corresponds to a case where there is incompatibility between the planes

이에 따라, 벽면, 바닥, 천장 등으로 판단되는 평면들이 선정되며, 이들은 일반적으로, 깊이 영상에서 깊이가 가장 깊은 부분들, 즉, 장면의 배경에 해당하는 부분들이다.Accordingly, planes judged to be a wall, a floor, a ceiling, and the like are selected, and these are generally the portions having the deepest depth in the depth image, i.e., portions corresponding to the background of the scene.

도 4에는 위에서 설명한 방법에 따라 초기 깊이 영상으로부터 장면의 레이아웃을 추정하는 실제 예를 나타내었고, 도 5에는 다양한 레이아웃 추정 결과들을 예시하였다.FIG. 4 shows an actual example of estimating the scene layout from the initial depth image according to the above-described method, and FIG. 5 illustrates various layout estimation results.

다시, 도 2를 참조하여 설명한다.Referring again to FIG.

레이아웃 추정이 완료되면, 추정된 레이아웃을 이용하여, 초기 깊이 영상을 개선하여 최종 깊이 영상을 생성한다.When the layout estimation is completed, the initial depth image is improved using the estimated layout to generate the final depth image.

이를 위해, 먼저, 추정된 레이아웃의 평면 방정식을 이용하여, 레이아웃에 포함된 픽셀의 깊이를 추정하는데, 구체적으로, 각 레이아웃은 평면의 방정식을 갖으므로 해당 평면의 방정식을 이용하여 모든 픽셀을 와핑(warping)한 다음 영상 간 비교를 수행한다.To this end, first, the depth of a pixel included in a layout is estimated by using a plane equation of an estimated layout. Specifically, since each layout has an equation of a plane, warping) and then compare images.

레이아웃은 평면 영역이므로 레이아웃에 대해서는 평면 정보를 이용하여 패치간 비교를 수행하는 것이다.Since the layout is a planar area, the layout information is used to compare the patches using the planar information.

한편, 레이아웃 영역에 포함되지 않은 영역에 대해서는 잡음을 제거한 후에 픽셀들의 깊이를 추정한다. 레이아웃이 아닌 영역에 대해서는 깊이 경계 영역의 정확도를 향상시키는 것이다.On the other hand, for regions not included in the layout area, the depth of pixels is estimated after removing noise. And to improve the accuracy of the depth boundary region for non-layout regions.

이를 위해, 깊이 영상에서 영역들을 레이아웃, 로컬 평면, 비평면 영역 등으로 레이블링하는 것이 필요한데, 도 6에 도시된 바와 같이, Likelihood 함수를 이용할 수 있다.To do this, it is necessary to label areas in the depth image as layout, local plane, non-planar area, etc. As shown in Fig. 6, the Likelihood function can be used.

도 7은 본 발명의 다른 실시예에 따른 영상 시스템의 블럭도이다. 본 발명의 실시예에 따른 영상 시스템은, 도 6에 도시된 바와 같이, 스테레오 영상 생성부(110), 영상 프로세서(120), 영상 출력부(130) 및 저장부(140)를 포함한다.7 is a block diagram of an image system according to another embodiment of the present invention. 6, the image system according to an exemplary embodiment of the present invention includes a stereo image generator 110, an image processor 120, an image output unit 130, and a storage unit 140.

스테레오 영상 생성부(110)는 두대의 카메라로 스테레오 영상을 생성하고, 영상 프로세서(120)는 스테레오 영상으로부터 초기 깊이 영상을 추정하고, 초기 깊이 영상에서 레이아웃을 추정하며, 추정한 레이아웃을 이용하여 초기 깊이 영상을 개선함으로써 최종 깊이 영상을 추정한다.The stereo image generator 110 generates a stereo image using two cameras. The image processor 120 estimates an initial depth image from a stereo image, estimates a layout from an initial depth image, The final depth image is estimated by improving the depth image.

영상 출력부(130)는 생성된 스테레오 영상과 깊이 영상을 디스플레이, 외부기기, 네트워크 등으로 출력한다. 저장부(140)는 생성된 영상들을 저장하는 한편, 영상 프로세서(120)가 영상 처리를 수행함에 있어 필요한 저장공간을 제공한다.The image output unit 130 outputs the generated stereo image and the depth image to a display, an external device, a network, or the like. The storage unit 140 stores the generated images, and provides a storage space necessary for the image processor 120 to perform image processing.

지금까지, 레이아웃 정보를 이용한 깊이 영상 후처리 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.Up to now, a depth image post-processing method using layout information has been described in detail with a preferred embodiment.

본 발명의 실시예에 따른 깊이 영상 후처리 방법은, 양안 영상을 이용해 획득한 깊이 영상의 품질을 향상시켜, 실내 환경이나 도심과 같이 사람이 만든 환경에서 고품질의 깊이 영상을 획득하는 것이 가능하다.The depth image post-processing method according to an embodiment of the present invention improves the quality of a depth image acquired using a binocular image, and it is possible to acquire a high-quality depth image in a human environment such as an indoor environment or a city center.

깊이 정보는 환경의 모델링, 가상/증강 현실, 자율 주행 등 다양한 응용 기술에 사용될 수 있다.  Depth information can be used for various application technologies such as environment modeling, virtual / augmented reality, and autonomous driving.

본 발명의 실시예에 따른 깊이 영상 후처리 방법으로, 두 장의 영상에서 정교한 깊이 영상과 함께 장면에 대한 레이아웃을 추정할 수 있고, 흰 벽면과 같이 모호함이 아주 큰 환경에서도 강건하게 깊이 영상을 추정할 수 있다. According to the depth image post-processing method according to the embodiment of the present invention, it is possible to estimate a layout for a scene together with a sophisticated depth image on two images, and to estimate a depth image robustly even in an environment with a large ambiguity such as a white wall .

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.It goes without saying that the technical idea of the present invention can also be applied to a computer-readable recording medium having a computer program for performing the functions of the apparatus and method according to the present embodiment. In addition, the technical idea according to various embodiments of the present invention may be embodied in computer-readable code form recorded on a computer-readable recording medium. The computer-readable recording medium is any data storage device that can be read by a computer and can store data. For example, the computer-readable recording medium may be a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical disk, a hard disk drive, or the like. In addition, the computer readable code or program stored in the computer readable recording medium may be transmitted through a network connected between the computers.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and detail may be made therein without departing from the spirit and scope of the present invention.

110 : 스테레오 영상 생성부
120 : 영상 프로세서
130 : 영상 출력부
140 : 저장부110: a stereo image generating unit
120: image processor
130: Video output unit
140:

Claims (8)

초기 깊이 영상으로부터 레이아웃을 추정하는 단계; 및
추정된 레이아웃을 이용하여, 초기 깊이 영상을 개선하여 최종 깊이 영상을 생성하는 단계;를 포함하는 것을 특징으로 하는 깊이 영상 후처리 방법.
Estimating a layout from an initial depth image; And
And generating the final depth image by improving the initial depth image using the estimated layout.
청구항 1에 있어서,
레이아웃은,
평면인 것을 특징으로 하는 깊이 영상 후처리 방법.
The method according to claim 1,
The layout,
Wherein the depth information is plane.
청구항 2에 있어서,
레이아웃 추정 단계는,
초기 깊이 영상을 다수의 영역으로 분할하는 단계;
분할된 영역들을 합쳐 평면들을 생성하는 단계;
생성된 평면들 중 레이아웃을 선정하는 단계;
The method of claim 2,
In the layout estimation step,
Dividing the initial depth image into a plurality of regions;
Combining the divided regions to generate planes;
Selecting a layout among the generated planes;
청구항 3에 있어서,
평면 생성 단계는,
분할된 영역들의 평면의 방정식들을 추정하는 단계;
평면의 방정식들로부터 동일한 평면상에 존재하는 것을 특징으로 하는 깊이 영상 후처리 방법.으로 판단되는 영역들을 합쳐 평면들을 생성하는 단계;를 포함하는 것을 특징으로 하는 깊이 영상 후처리 방법.
The method of claim 3,
The plane generating step includes:
Estimating equations of planes of the divided regions;
Wherein the depth image post-processing method includes the steps of: generating planes by summing regions determined to be a depth image post-processing method.
청구항 3에 있어서,
선정단계는,
벽면, 바닥, 천장으로 판단되는 평면들을 선정하는 것을 특징으로 하는 깊이 영상 후처리 방법.
The method of claim 3,
In the selection step,
And selecting planes judged to be a wall, a floor, and a ceiling.
청구항 1에 있어서,
최종 깊이 영상 생성단계는,
추정된 레이아웃의 평면 방정식을 이용하여, 레이아웃에 포함된 픽셀의 깊이를 추정하는 것을 특징으로 하는 깊이 영상 후처리 방법.
The method according to claim 1,
In the final depth image generation step,
Wherein a depth of a pixel included in a layout is estimated using a plane equation of the estimated layout.
청구항 6에 있어서,
레이아웃 영역에 포함되지 않은 영역에 대해서는 잡음을 제거한 후에 픽셀들의 깊이를 추정하는 것을 특징으로 하는 깊이 영상 후처리 방법.
The method of claim 6,
And estimating the depth of the pixels after removing the noise for an area not included in the layout area.
스테레오 영상을 생성하는 생성부; 및
스테레오 영상으로부터 초기 깊이 영상을 추정하고, 초기 깊이 영상으로부터 레이아웃을 추정하며, 추정된 레이아웃을 이용하여 초기 깊이 영상을 개선하여 최종 깊이 영상을 생성하는 프로세서;를 포함하는 것을 특징으로 하는 영상 시스템.
A generating unit for generating a stereo image; And
A processor for estimating an initial depth image from a stereo image, estimating a layout from an initial depth image, and improving an initial depth image using the estimated layout to generate a final depth image.
KR1020170174196A 2017-12-18 2017-12-18 Stereo Depth Map Post-processing Method with Scene Layout KR102264962B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170174196A KR102264962B1 (en) 2017-12-18 2017-12-18 Stereo Depth Map Post-processing Method with Scene Layout

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170174196A KR102264962B1 (en) 2017-12-18 2017-12-18 Stereo Depth Map Post-processing Method with Scene Layout

Publications (2)

Publication Number Publication Date
KR20190072987A true KR20190072987A (en) 2019-06-26
KR102264962B1 KR102264962B1 (en) 2021-06-15

Family

ID=67105314

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170174196A KR102264962B1 (en) 2017-12-18 2017-12-18 Stereo Depth Map Post-processing Method with Scene Layout

Country Status (1)

Country Link
KR (1) KR102264962B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210073435A (en) * 2019-12-10 2021-06-18 한국전자기술연구원 Method and system for depth image estimation using flat information

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009087396A (en) * 2007-09-27 2009-04-23 Hitachi-Lg Data Storage Inc Content distributing system, optical disk apparatus and optical disk medium used in the content distributing system
US20100046837A1 (en) * 2006-11-21 2010-02-25 Koninklijke Philips Electronics N.V. Generation of depth map for an image
KR20130085199A (en) * 2012-01-19 2013-07-29 삼성전자주식회사 Apparatus and method for plane detection
US20160350930A1 (en) * 2015-05-28 2016-12-01 Adobe Systems Incorporated Joint Depth Estimation and Semantic Segmentation from a Single Image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100046837A1 (en) * 2006-11-21 2010-02-25 Koninklijke Philips Electronics N.V. Generation of depth map for an image
JP2009087396A (en) * 2007-09-27 2009-04-23 Hitachi-Lg Data Storage Inc Content distributing system, optical disk apparatus and optical disk medium used in the content distributing system
KR20130085199A (en) * 2012-01-19 2013-07-29 삼성전자주식회사 Apparatus and method for plane detection
US20160350930A1 (en) * 2015-05-28 2016-12-01 Adobe Systems Incorporated Joint Depth Estimation and Semantic Segmentation from a Single Image

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Valdandi Muninder 등. Robust segment-based Stereo using Cost Aggregation, BMVC 2014.(2014)* *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210073435A (en) * 2019-12-10 2021-06-18 한국전자기술연구원 Method and system for depth image estimation using flat information
WO2021256642A1 (en) * 2019-12-10 2021-12-23 한국전자기술연구원 Method and system for estimating depth image by using planar information

Also Published As

Publication number Publication date
KR102264962B1 (en) 2021-06-15

Similar Documents

Publication Publication Date Title
JP7173772B2 (en) Video processing method and apparatus using depth value estimation
EP3698323B1 (en) Depth from motion for augmented reality for handheld user devices
US8988464B2 (en) System and method for multi-layered augmented reality
JP5425897B2 (en) Image depth extraction system and method with forward and backward depth prediction
US20180158198A1 (en) Multi-view rotoscope contour propagation
US9210398B2 (en) Method and apparatus for temporally interpolating three-dimensional depth image
JP5156837B2 (en) System and method for depth map extraction using region-based filtering
US20100309292A1 (en) Method and apparatus for generating multi-viewpoint depth map, method for generating disparity of multi-viewpoint image
JP6418449B2 (en) Image processing apparatus, image processing method, and program
US20120176478A1 (en) Forming range maps using periodic illumination patterns
KR101893788B1 (en) Apparatus and method of image matching in multi-view camera
TW201308252A (en) Depth measurement quality enhancement
KR102380862B1 (en) Method and apparatus for image processing
JP2009071844A (en) Calibration processor, calibration processing method, and computer program
CN109934873B (en) Method, device and equipment for acquiring marked image
WO2019244944A1 (en) Three-dimension reconstruction method and three-dimension reconstruction device
KR20160098012A (en) Method and apparatus for image matchng
US9317968B2 (en) System and method for multiple hypotheses testing for surface orientation during 3D point cloud extraction from 2D imagery
TW202014993A (en) Information processing device, program, and information processing method
JP2016032298A (en) Apparatus and method for rendering image
KR102264962B1 (en) Stereo Depth Map Post-processing Method with Scene Layout
KR101626057B1 (en) Method and device for disparity estimation from three views
KR20180073976A (en) Depth Image Estimation Method based on Multi-View Camera
JP5728399B2 (en) Measuring device, method and program
JP2015033047A (en) Depth estimation device employing plural cameras

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant