KR102642418B1 - 3차원 영상을 처리하는 방법 및 장치 - Google Patents

3차원 영상을 처리하는 방법 및 장치 Download PDF

Info

Publication number
KR102642418B1
KR102642418B1 KR1020207017271A KR20207017271A KR102642418B1 KR 102642418 B1 KR102642418 B1 KR 102642418B1 KR 1020207017271 A KR1020207017271 A KR 1020207017271A KR 20207017271 A KR20207017271 A KR 20207017271A KR 102642418 B1 KR102642418 B1 KR 102642418B1
Authority
KR
South Korea
Prior art keywords
image
erp
information
color
depth
Prior art date
Application number
KR1020207017271A
Other languages
English (en)
Other versions
KR20200078666A (ko
Inventor
유성열
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20200078666A publication Critical patent/KR20200078666A/ko
Application granted granted Critical
Publication of KR102642418B1 publication Critical patent/KR102642418B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Electromagnetism (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

본 개시에 따른 영상을 전송하는 방법은, 3차원 입체 영상을 획득하는 과정과, 상기 3차원 입체 영상으로부터 색상 등장방형 투영(ERP, equiretangular projection) 영상 및 깊이 ERP 영상을 생성하는 과정과, 상기 색상 ERP 영상과 상기 깊이 ERP 영상을 전송하는 과정을 포함한다.
상기 색상 ERP 영상의 픽셀들은 상기 깊이 ERP 영상의 픽셀들에 대응되고, 상기 색상 ERP 영상의 픽셀은 색상 정보를 포함하고, 상기 깊이 ERP 영상의 픽셀은 상기 색상 ERP 영상의 대응되는 픽셀의 깊이 정보를 포함한다.
상기 상기 3차원 입체 영상으로부터 색상 ERP 영상 및 깊이 ERP 영상을 생성하는 과정은, 3차원 좌표 상의 특정점을 중심점으로 하는 동심구를 형성하는 과정과, 상기 3차원 입체 영상의 포인트들을 상기 동심구의 표면에 매핑하는 과정과, 상기 매핑된 포인트들의 색상 정보에 기초하여, 상기 색상 ERP 영상을 생성하는 과정과, 상기 매핑된 포인트들의 깊이 정보에 기초하여, 상기 깊이 ERP 영상을 생성하는 과정을 포함할 수 있다. 상기 3차원 입체 영상은, 포인트들의 3차원 위치 정보 및 상기 포인트들의 색상 정보를 포함할 수 있다.

Description

3차원 영상을 처리하는 방법 및 장치
본 개시는 입체 영상의 투영 방법 및 장치에 관한 것이다.
인터넷은 인간이 정보를 생성하고 소비하는 인간 중심의 연결 망에서, 사물 등 분산된 구성 요소들 간에 정보를 주고 받아 처리하는 사물인터넷(Internet of Things, IoT) 망으로 진화하고 있다. IoE(Internet of Everything) 기술은 클라우드 서버 등과의 연결을 통한 빅데이터(Big data) 처리 기술 등이 IoT 기술에 결합된 하나의 예가 될 수 있다.
IoT를 구현하기 위해서, 센싱 기술, 유무선 통신 및 네트워크 인프라, 서비스 인터페이스 기술, 및 보안 기술 등과 같은 기술 요소 들이 요구되어, 최근에는 사물간의 연결을 위한 센서 네트워크(sensor network), 사물 통신(Machine to Machine, M2M), MTC(Machine Type Communication) 등의 기술이 연구되고 있다.
IoT 환경에서는 연결된 사물들에서 생성된 데이터를 수집, 분석하여 인간의 삶에 새로운 가치를 창출하는 지능형 IT(Internet Technology) 서비스가 제공될 수 있다. IoT는 기존의 IT 기술과 다양한 산업 간의 융합 및 복합을 통하여 스마트홈, 스마트 빌딩, 스마트 시티, 스마트 카 혹은 커넥티드 카, 스마트 그리드, 헬스 케어, 스마트 가전, 첨단의료서비스 등의 분야에 응용될 수 있다.
한편, 멀티미디어 관련 국제 표준화 기구인 MPEG(Moving Picture Experts Group)은 1988년 MPEG-1을 시작으로 현재까지, MPEG-2, MPEG-4, MPEG-7, MPEG-21의 표준화 작업을 진행하고 있다. 또한 멀티미디어 응용 형식(Multimedia Application Format, MAF)은 기존의 MPEG 표준들뿐만 아니라, 비 MPEG 표준들을 함께 사용하여, 산업의 요구를 적극적으로 대응하여 표준의 활용 가치를 높이고자 한다. 상기 MAF 표준화의 주요 목적은 MPEG 기술을 쉽게 산업에서 이용 할 수 있는 기회를 제공하는데 있다. 즉, MAF 표준화의 주요 목적은 특정한 어플리케이션을 위한 표준화된 파일 포맷을 제공함으로써, 해당 어플리케이션의 범용적인 사용 및 MPEG 표준의 보급 등을 목적으로 한다.
한편, 입체 영상을 평면상에 투영하는 방법으로, 3차원 좌표상의 포인트 클라우드(point cloud) 정보를 다른 3차원 좌표계로 매핑하는 방법이 있다. 여기서, 포인트 클라우드 정보는 포인트로 저장된 정보를 의미한다.
입체 영상을 평면상에 투영하는 다른 방법으로, XY평면, YZ평면, XZ평면 상에 가장 가까운 포인트를 매핑시켜 패치(patch)를 생성한다. 여기서, 패치를 16x16의 간격으로 2D 평면상에 최대한 매핑시키는 과정을 "패킹(packing) 과정"이라 칭한다. 종래에는 3차원 좌표상의 포인트 정보를 XY, YZ, XZ 등 3차원상의 한 정보를 뺀 상태에서 2D 평면상에 매핑한다. 그러나 이러한 방법은 평면에 매핑되는 포인트의 거리를 매핑하는 구간(0~255구간, 8 비트) 내에서만 패치로 매핑할 수 있으므로, 더 먼 거리의 포인트를 매핑하기 위해서는 256 이상의 구간(9비트 이상)이 필요하거나 새로운 패치를 개시해야 하는 불확실성이 있다.
본 개시는, 보다 적은 구간내에서 포인트를 블럭에 매핑하는 입체 영상 투영 방법 및 장치를 제공한다.
본 개시는, 자유 각도를 갖는 블럭을 사용하여 포인트를 블럭에 매핑하는 입체 영상 투영 방법 및 장치를 제공한다.
본 개시는, 미리 결정된 패턴을 사용하여 포인트를 블럭에 매핑하는 입체 영상 투영 방법 및 장치를 제공한다.
본 개시에 따른 영상을 전송하는 방법은, 3차원 입체 영상을 획득하는 과정과, 상기 3차원 입체 영상으로부터 색상 등장방형 투영(ERP, equiretangular projection) 영상 및 깊이 ERP 영상을 생성하는 과정과, 상기 색상 ERP 영상과 상기 깊이 ERP 영상을 전송하는 과정을 포함한다.
상기 색상 ERP 영상의 픽셀들은 상기 깊이 ERP 영상의 픽셀들에 대응되고, 상기 색상 ERP 영상의 픽셀은 색상 정보를 포함하고, 상기 깊이 ERP 영상의 픽셀은 상기 색상 ERP 영상의 대응되는 픽셀의 깊이 정보를 포함한다.
상기 상기 3차원 입체 영상으로부터 색상 ERP 영상 및 깊이 ERP 영상을 생성하는 과정은, 3차원 좌표 상의 특정점을 중심점으로 하는 동심구를 형성하는 과정과, 상기 3차원 입체 영상의 포인트들을 상기 동심구의 표면에 매핑하는 과정과, 상기 매핑된 포인트들의 색상 정보에 기초하여, 상기 색상 ERP 영상을 생성하는 과정과, 상기 매핑된 포인트들의 깊이 정보에 기초하여, 상기 깊이 ERP 영상을 생성하는 과정을 포함할 수 있다. 상기 3차원 입체 영상은, 포인트들의 3차원 위치 정보 및 상기 포인트들의 색상 정보를 포함할 수 있다. 상기 3차원 입체 영상은, 상기 포인트들의 텍스처 정보, 상기 포인트들의 반사율 정보 및 상기 포인트들의 투명도 정보 중 적어도 하나를 더 포함할 수 있다.
본 개시에 따른 영상을 전송하는 방법은 점유 지도 정보를 포함하는 데이터를 전송하는 과정을 더 포함할 수 있다. 상기 점유 지도 정보는 색상 ERP 영상 및 깊이 ERP 영상의 영상 데이터가 없는 위치를 지시하는 정보를 포함할 수 있다. 상기 점유 지도 정보는 메타데이터 또는 ERP 영상으로 생성된다.
본 개시에 따른 3차원 입체 영상을 복원하는 방법은, 색상 ERP 영상과 깊이 ERP 영상을 수신하는 과정과, 상기 색상 ERP 영상과 상기 깊이 ERP 영상에 기초하여 3차원 입체 영상을 복원하는 과정을 포함하고, 상기 색상 ERP 영상의 픽셀들은 상기 깊이 ERP 영상의 픽셀들에 대응되고, 상기 색상 ERP 영상의 픽셀은 색상 정보를 포함하고, 상기 깊이 ERP 영상의 픽셀은 상기 색상 ERP 영상의 대응되는 픽셀의 깊이 정보를 포함한다.
상기 색상 ERP 영상과 상기 깊이 ERP 영상에 기초하여 3차원 입체 영상을 복원하는 과정은, 상기 깊이 ERP 영상의 픽셀의 깊이 정보와 상기 깊이 ERP 영상의 상기 픽셀의 위치에 기초하여, 상기 픽셀에 대응되는 포인트의 위치 정보를 획득하고, 상기 깊이 ERP 영상의 상기 픽셀에 대응하는 상기 색상 ERP 영상의 픽셀의 색상 정보를 상기 대응되는 포인트의 위치 정보와 결합하여, 상기 3차원 입체 영상의 포인트의 위치 정보 및 색상 정보를 복원하는 과정을 포함할 수 있다.
본 개시에 따른 방법은, 입체 영상의 투영 방법에 있어서, 상기 입체 영상의 오브젝트(object)에 대응하는 포인트 값을 확인하는 과정; 및 상기 포인트 값을 패턴에 기반으로 한 블럭에 매핑하는 과정을 포함하고, 상기 패턴은 평면상에 직교하는 포인트 값들의 거리와 패턴의 옵셋값을 기반으로 결정됨을 특징으로 한다.
본 개시에 따른 방법은, 입체 영상의 투영 방법에 있어서, 상기 입체 영상의 오브젝트(object)에 대응하는 포인트 값을 확인하는 과정; 및 상기 포인트 값을 각도를 기반으로 한 블럭에 매핑하는 과정을 포함하고, 상기 각도는 상기 포인트 값을 최대한 적은 값을 가지는 거리의 총합으로 매핑하도록 결정됨을 특징으로 한다.
본 개시에 따른 장치는, 입체 영상의 투영 장치에 있어서, 데이터를 송수신하는 송/수신부; 및 상기 입체 영상의 오브젝트(object)에 대응하는 포인트 값을 확인하고, 및 상기 포인트 값을 패턴에 기반으로 한 블럭에 매핑하는 제어부를 포함하고, 상기 패턴은 평면상에 직교하는 포인트 값들의 거리와 패턴의 옵셋값을 기반으로 결정됨을 특징으로 한다.
본 개시에 따른 장치는, 입체 영상의 투영 장치에 있어서, 데이터를 송수신하는 송/수신부; 및 상기 입체 영상의 오브젝트(object)에 대응하는 포인트 값을 확인하고, 및 상기 포인트 값을 각도를 기반으로 한 블럭에 매핑하는 제어부를 포함하고, 상기 각도는 상기 포인트 값을 최대한 적은 값을 가지는 거리의 총합으로 매핑하도록 결정됨을 특징으로 한다.
본 개시에 따른 방법은, 입체 영상의 복호 방법에 있어서, 데이터를 수신하는 과정; 패턴을 결정하는 과정; 상기 패턴을 기반으로 하여 블럭의 각도 정보 및 블럭-포인트 거리 정보 획득하는 과정; 상기 입체 영상의 오브젝트(object)에 대응하는 포인트 값을 상기 각도 정보 및 상기 블럭-포인트 거리 정보를 기반으로 하여 획득하는 과정; 및 상기 포인트 값을 기반으로 하여 상기 데이터를 복호하는 과정을 포함하고, 상기 패턴은 평면상에 직교하는 상기 포인트 값의 거리와 패턴의 옵셋값을 기반으로 결정된 것임을 특징으로 한다.
본 개시에 따른 방법은, 입체 영상의 복호 방법에 있어서, 데이터를 수신하는 과정; 상기 데이터에 포함된 블럭으로부터 블럭의 각도 정보 및 블럭-포인트 거리 정보 획득하는 과정; 상기 각도 정보 및 상기 블럭-포인트 거리 정보를 기반으로 하여 포인트 값을 획득하는 과정; 및 상기 포인트 값을 기반으로 하여 상기 데이터를 복호하는 과정을 포함하고, 상기 각도는 상기 포인트 값을 최대한 적은 값을 가지는 거리의 총합으로 매핑하도록 결정된 것임을 특징으로 한다.
본 개시에 따른 장치는, 입체 영상의 복호 장치에 있어서, 데이터를 송수신하는 송수신부; 및 상기 데이터를 수신하고, 패턴을 결정하고, 상기 패턴을 기반으로 하여 블럭의 각도 정보 및 블럭-포인트 거리 정보 획득하고, 상기 입체 영상의 오브젝트(object)에 대응하는 포인트 값을 상기 각도 정보 및 상기 블럭-포인트 거리 정보를 기반으로 하여 획득하고, 및 상기 포인트 값을 기반으로 하여 상기 데이터를 복호하도록 제어하는 제어부를 포함하고, 상기 패턴은 평면상에 직교하는 상기 포인트 값의 거리와 패턴의 옵셋값을 기반으로 결정된 것임을 특징으로 한다.
본 개시에 따른 장치는, 입체 영상의 복호 장치에 있어서, 데이터를 송수신하는 송수신부; 및 상기 데이터를 수신하고, 상기 데이터에 포함된 블럭으로부터 블럭의 각도 정보 및 블럭-포인트 거리 정보 획득하고, 상기 각도 정보 및 상기 블럭-포인트 거리 정보를 기반으로 하여 포인트 값을 획득하고, 상기 포인트 값을 기반으로 하여 상기 데이터를 복호하도록 제어하는 제어부를 포함하고, 상기 각도는 상기 포인트 값을 최대한 적은 값을 가지는 거리의 총합으로 매핑하도록 결정된 것임을 특징으로 한다.
본 개시는 보다 적은 구간을 사용해 포인트를 블럭에 매핑이 가능하다.
본 개시는 블럭에 적용된　패턴과 포인트간의 거리가 평면 보다 작아서 정보의 크기를 줄일 수 있다.
본 개시는 자유 각도를 갖는 블럭을 사용하여 포인트를 표현함으로써, 표현에 필요한 에너지를 감소시킬 수 있다.
본 개시는 미리 결정된 패턴을 사용하여 포인트를 블럭에 매핑함으로써 입체 영상을 2D 평면상에 효과적으로 투영할 수 있다.
본 개시는 실제 공간상의 물체가 가상의 공간상에 투영될 수 있다.
그 밖에, 본 개시에서 얻을 수 있는 효과는 언급한 효과들로 제한되지 않으며, 언급하지 않은 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있다.
도 1은 본 개시에 따른 3차원 공간상의 물체 표면을 나타낸 도면이다.
도 2는 본 개시에 따른 최초의 블럭이 임의의 방향으로 기울어진 경우, 3차원 공간상의 물체 표면을 나타낸 도면이다.
도 3은 본 개시에 따른 최초의 블럭이 임의의 방향으로 기울어져 있고, 최초의 블럭 다른 블럭(next block)이 있는 경우, 3차원 공간상의 물체 표면을 나타낸 도면이다.
도 4는 본 개시에 따른 최초의 블럭, 및 상기 최초의 블럭을 부모 블럭으로 하는 복수의 자식 블럭들이 있는 경우를 나타낸 도면이다.
도 5는 본 개시에 따른 최초의 블럭, 및 상기 최초의 블럭을 부모 블럭으로 하는 자식 블럭들과 상기 자식 블럭들 중 하나의 자식 블럭이 부모 블럭이 되는 경우를 나타낸 도면이다.
도 6은 본 개시에 따른 부모 블럭과 자식 블럭이 존재할 경우 부모 블럭이 포함하는 정보를 나타낸 도면이다.
도 7은 본 개시에 따른 부모 블럭과 자식 블럭이 동일한 평면상에 존재하는 일 예를 나타낸 도면이다.
도 8은 본 개시에 따른 부모 블럭과 자식 블럭이 동일한 평면상에 존재하는 또 다른 예를 나타낸 도면이다.
도 9는 본 개시에 따른 블럭과 포인트를 나타낸 도면이다.
도 10은 본 개시에 따른 3차원 공간상의 포인트(1001)를 블럭에 매핑하는 것을 나타내는 도면이다.
도 11은 본 개시에 따른 입체 영상 투영 방법을 나타낸 도면이다.
도 12는 본 개시에 따른 입체 영상 투영 방법을 상세히 나타낸 도면이다.
도 13a, b는 본 개시에 따른 입체 영상 투영 방법의 다른 예를 상세히 나타낸 도면이다.
도 14는 본 개시에 따른 송신기에서의 동작 흐름도이다.
도 15는 본 개시에 따른 송신기에서의 동작 흐름도이다.
도 16은 본 개시에 따른 수신기에서의 동작 흐름도이다.
도 17은 본 개시에 따른 수신기에서의 동작 흐름도이다.
도 18은 본 개시에 따른 송신기의 블럭 구성도를 나타낸다.
도 19는 본 개시에 따른 수신기의 블럭 구성도를 나타낸다.
도 20은 본 개시에 따른 동적으로 취득된 포인트 클라우드 영상의 예시를 나타낸다.
도 21은 본 개시에 따른 포인트 클라우드 영상을 처리하는 방법을 설명하기 위한 예시도이다.
도 22는 포인트 클라우드 영상에 대응되는 가상의 동심구를 나타내는 예시도이다.
도 23은 본 개시에 따른 색상 ERP 영상과 깊이 ERP 영상에 기초하여, 포인트 클라우드 영상을 처리하는 방법을 설명하기 위한 예시도이다.
도 24(a), (b) 및 (c)는 본 개시에 따른 시간 ERP 영상을 생성하는 방법을 설명하기 위한 예시도들을 나타낸다.
도 25는 본 개시에 따른 색상 ERP 영상, 깊이 ERP 영상 및 시간 ERP 영상을 나타내는 예시도이다.
도 26은 본 개시에 따른 영상 취득 장치의 배치를 나타내는 예시도이다.
도 27은 본 개시에 따른 복수의 영상 취득 장치들(2710, 2720)의 배치들을 나타내는 예시도이다.
도 28은 본 개시에 따른 동심구의 중심을 결정하는 방법을 설명하기 위한 예시도이다.
도 29는 본 개시에 따른 복수의 동심구들의 중심들을 결정하는 방법을 설명하기 위한 예시도이다.
도 30은 본 개시에 따른 동심구의 중심을 결정하는 방법을 설명하기 위한 예시도이다.
도 31은 본 개시에 따른 동심구의 중심을 결정하는 방법을 설명하기 위한 예시도이다.
도 32는 본 개시에 따른 동심구 상의 깊이 정보를 나타내는 방법을 설명하기 위한 예시도이다.
도 33은 본 개시에 따른 동심구 상의 깊이 정보를 나타내는 방법을 설명하기 위한 예시도이다.
도 34는 본 개시에 따른 영상 정보를 처리하는 방법을 설명하기 위한 예시도이다.
도 35는 본 개시에 따른 영상 정보를 처리하는 방법을 설명하기 위한 예시도이다.
도 36은 본 개시에 따른 프레임 내 압축 과정(intra frame compression process)을 설명하기 위한 모식도이다.
도 37은 본 개시에 따른 프레임 간 압축 과정(inter frame compression process)을 설명하기 위한 모식도이다.
도 38은 본 개시에 따라서, 패치들을 그리드에 삽입하는 방법을 설명하기 위한 예시도이다.
도 39는 본 개시에 따른 영상 취득 방법을 설명하기 위한 절차흐름도이다.
이하, 첨부된 도면들을 참조하여 본 개시의 실시 예를 상세하게 설명한다. 하기에서 본 개시를 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 개시에서의 기능을 고려하여 정의된 용어들로써 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 개시의 자세한 설명에 앞서, 본 명세서에서 사용되는 몇 가지 용어들에 대해 해석 가능한 의미의 예를 제시한다. 하지만, 아래 제시하는 해석 예로 한정되는 것은 아님을 주의하여야 한다. 본 개시의 자세한 설명에 앞서, 본 명세서에서 사용되는 포인트 정보 및 포인트 값은 동일한 의미임은 물론이다. 본 명세서에서의 물체(object)는 3차원 공간상의 물체를 의미한다.
본 개시는 3차원 공간상의 포인트 정보를 2차원 평면 블럭(2n x 2m 크기의 픽셀 블럭)에 매핑하기 위한 방법 및 장치를 제공한다. 이를 위해 본 개시의 제1 실시 예에서는 포인트를 자유 각도를 기반으로 한 블럭에 매핑한다.
본 개시에서는 포인트를 패턴을 기반으로 한 블럭에 매핑한다. 본 개시에서는 평면 블럭에 투영되는 포인트의 거리를 효과적으로 나타내기 위한 패턴 사용 방법을 제안한다.
도 1은 본 개시에 따른 3차원 공간상의 물체 표면을 나타낸 도면이다.
도 1을 참조하면, 2D 이미지의 픽셀과 같이, 3차원 공간상의 물체 표면(100)이 포인트 단위로 인식되어 가상의 공간상에 매핑된다.
상기 포인트는 물체(object)의 좌표(X, Y, Z)를 나타내는 좌표 정보와, R, G, B와 같은 색상 정보와, 그 밖의 속성(예를 들어, 반사율, 투명도 등) 등을 가진다.
3D 공간상의 정보를 하기 [표 1]과 같이 나타낼 수 있다.
3D 공간상의 정보는 상기 [표 1]을 참조하면, X, Y, Z와 같은 좌표 정보, R, G, B와 같은 색상 정보를 포함한다. 여기서, 그리고 일 예로, 상기 [표 1]에서의 211, 63, 61, 210, 63, 63, 211, 62, 63, 211, 63, 62, 211, 63, 63은 X, Y, Z와 같은 좌표 정보를 나타낸다. 반면에 일 예로, 상기 [표 1]에서의 133, 104, 77, 128, 97, 69, 126, 97, 71, 130, 100, 73, 129, 98, 71은 R, G, B와 같은 색상 정보를 나타낸다.
도 2는 본 개시에 따른 최초의 블럭이 임의의 방향으로 기울어진 경우, 3차원 공간상의 물체 표면을 나타낸 도면이다.
도 2는 블럭이 하나일 경우를 가정한 것이고, 블럭(201)을 최초의 블럭이라 칭한다.
물체 표면(201)에서 최초의 블럭(201)은 임의의 방향으로 기울어질 수 있으며 일 예로, 블럭(207))의 상단에 1 포인트(205)가, 그리고 블럭(207)의 하단에 다른 1 포인트(205)가 가장 가깝게 매핑되도록 배치할 수 있다. 3차원 좌표계상에서 블럭이 가지는 방향과 각도는 완전 자유도를 가질수록 오차가 적은 대신, 이를 표현하기 위한 데이터 상수의 bit 수가 증가한다. 따라서 본 개시에서는 45도 각도 또는 22.5도의 단계로 각도를 구분하지만 더 세분화된 각도(예를 들어, 10도)로 구분할 수 있음은 물론이다.
도 3은 본 개시에 따른 최초의 블럭이 임의의 방향으로 기울어져 있고, 최초의 블럭 다른 블럭(next block)이 있는 경우, 3차원 공간상의 물체 표면을 나타낸 도면이다.
도 3은 블럭이 두 개일 경우를 가정한 것이고, 블럭(201)은 최초의 블럭이고, 블럭(301)은 다음 블럭(next block)이라 칭한다.
블럭(301)은 블럭(201)과 인접된 블럭으로, 블럭(201)과 예를 들어, 22.5도 만큼의 각도를 가지고 있다.
도 4는 본 개시에 따른 최초의 블럭, 및 상기 최초의 블럭을 부모 블럭으로 하는 복수의 자식 블럭들이 있는 경우를 나타낸 도면이다.
블럭(다음 블럭(next blocks))(401a 내지 401b)은 최초의 블럭(201)의 일 예로, 상단, 하단, 좌단, 우단으로부터 뻗어나오는 방향으로 배치되며, 최초의 블럭(201)을 부모(parent)로 하는 자식(child) 블럭이 된다.
도 5는 본 개시에 따른 최초의 블럭, 및 상기 최초의 블럭을 부모 블럭으로 하는 자식 블럭들과 상기 자식 블럭들 중 하나의 자식 블럭이 부모 블럭이 되는 경우를 나타낸 도면이다.
자식 블럭들은 최초의 블럭(201)의 일 예로, 상단, 하단, 좌단, 우단으로부터 뻗어나오는 방향으로 배치된다. 그리고, 상기 자식 블럭들 중 자식 블럭(블럭 1)(501)은 또 다른 자식 블럭(블럭 2)(503)을 가질 수 있으며, 이 때 블럭 1(501)은 블럭 2(503)의 부모 블럭이 된다.
도 6은 본 개시에 따른 부모 블럭과 자식 블럭이 존재할 경우 부모 블럭이 포함하는 정보를 나타낸 도면이다.
부모 블럭은 3 또는 4방향으로 자식 블럭의 존재 여부를 나타내는 정보를 포함하며, 자식 블럭이 존재하는 경우 부모 블럭의 1 방향으로부터 자식 블럭의 진행 각도 정보를 포함한다.
도 6의 (a)는 일 예로, 부모 블럭(601)이 포함하는 정보(hasChildOnTop=true)는 자식 블럭이 맨 위(top)에 존재함을 나타내고, 부모 블럭(601)이 포함하는 정보(hasChildOnLeft=false)는 자식 블럭이 왼쪽에 없음을 나타낸다. 또한 부모 블럭(601)이 포함하는 정보(hasChildOnRight=true)는 자식 블럭이 오른쪽에 존재함을 나타내고, 부모 블럭(601)이 포함하는 정보(hasChildOnBottom=true)는 자식 블럭이 맨 아래(bottom)에 존재함을 나타낸다.
도 6의 (b)는 일 예로, 부모 블럭(601)이 포함하는 정보(angleChildOnTop=22.5)는 자식 블럭이 22.5 각도로 맨 위(top)에 존재함을 나타내고, 부모 블럭(601)이 포함하는 정보(hasChildOnLeft=false)는 자식 블럭이 왼쪽에 없음을 나타낸다. 부모 블럭(601)이 포함하는 정보(angleChildOnRight=22.5)는 자식 블럭이 22.5 각도로 부모 블럭(601)의 오른쪽에 존재함을 나타내고, 부모 블럭(601)이 포함하는 정보(angleChildOnBottom=-90)는 자식 블럭이 -90도 각도로 맨 아래(bottom)에 존재함을 나타낸다.
도 7은 본 개시에 따른 부모 블럭과 자식 블럭이 동일한 평면상에 존재하는 일 예를 나타낸 도면이다.
부모 블럭(701)이 포함하는 정보(angleChildOnTop=22.5)는 자식 블럭이 22.5 각도로 맨 위(top)에 존재함을 나타내고, 부모 블럭(701)이 포함하는 정보(angleChildOnRight=22.5)는 자식 블럭이 22.5 각도로 부모 블럭(701)의 오른쪽에 존재함을 나타내고, 부모 블럭(701)이 포함하는 정보(angleChildOnBottom=-90)는 자식 블럭이 -90도 각도로 맨 아래(bottom)에 존재함을 나타낸다.
여기서, 자식 블럭(703)과 또 다른 자식 블럭(705)이 동일한 평면상에 존재하는 경우 또 다른 자식 블럭(705)의 진행 각도는 0도이다. 따라서, 자식 블럭(703)이 포함하는 정보는 "angleChildOnBottom=0"으로 나타낼 수 있다.
또한, 자식 블럭은 4방향 중 부모 블럭의 방향과 나머지 3방향에 대해 자식 블럭의 정보를 가진다.
도 8은 본 개시에 따른 부모 블럭과 자식 블럭이 동일한 평면상에 존재하는 또 다른 예를 나타낸 도면이다.
부모 블럭(801)이 포함하는 정보(angleChildOnTop=22.5)는 자식 블럭이 22.5 각도로 맨 위(top)에 존재함을 나타내고, 부모 블럭(801)이 포함하는 정보(angleChildOnRight=22.5)는 자식 블럭이 22.5 각도로 부모 블럭(801)의 오른쪽에 존재함을 나타내고, 부모 블럭(801)이 포함하는 정보(angleChildOnBottom=-90)는 자식 블럭이 -90도 각도로 맨 아래(bottom)에 존재함을 나타낸다.
여기서, 자식 블럭(803)과 또 다른 자식 블럭(805)이 동일한 평면상에 존재하는 경우 또 다른 자식 블럭(805)의 진행 각도는 0도이다. 따라서, 자식 블럭(803)이 포함하는 정보는 "angleChildOnBottom=0"으로 나타낼 수 있다. 게다가 또 다른 자식 블럭(805)에 포함된 정보는 부모 블럭이 맨 위(top)에 존재함을 나타낸다. 따라서, 다른 자식 블럭(805)이 포함하는 정보는 "parent=onTOP"로 나타낼 수 있다.
도 9는 본 개시에 따른 블럭과 포인트를 나타낸 도면이다.
도 9의 (a)는 3차원 공간상을 평면 블럭으로 나타낸 것이고, 도 9의 (b)는 3차원 공간상을 포인트로 나타낸 것이다.
도 9의 (a)는 3차원 오브젝트를 덮는 평면 블럭들을 나타낸 것이고, 도 9의 (b)는 도 9의 (a)의 단면을 나타낸다.
블럭은 오브젝트 근방의 3차원 공간상에 위치하며, 상기 3차원 공간상에 존재하는 상기 오브젝트의 표면 상의 포인트들과 상기 블럭 사이의 거리의 합이 최소가 되도록 상기 블럭의 각도가 결정된다. 상기 오브젝트의 포인트들과 상기 블럭 사이의 거리의 합이 최소가 되도록 상기 블럭의 각도가 결정되면, 상기 포인트들을 상기 블럭에 매핑함으로써, 압축 효과를 높일 수 있다. 상기 오브젝트의 포인트들은 상기 오브젝트의 표면상의 포인트들일 수 있고, 상기 오브젝트 내부의 포인트들일 수 있다. 통상, 상기 오브젝트의 표면상의 포인트들부터 패치에 매핑되며, 순차적으로 오브젝트 내부의 포인트들을 패치에 매핑할 것이다. 모든 포인트들에 대하여 처리가 완료될 때까지, 오브젝트의 포인트들을 패치에 매핑한다.
도 10은 본 개시에 따른 3차원 공간상에 존재하는 오브젝트의 포인트(1005)를 블럭(1003)에 매핑하는 방법을 설명하기 위한 도면이다.
도 10의 (a)는 3차원 공간상에 존재하는 오브젝트의 포인트들을 블럭(패치)에 매핑할 수 있도록, 블럭들을 배치한 것을 나타내는 단면도이다. 도 10의 (b)는 도 10의 (a)의 일부분(1001)을 확대한 것이다.
도 10의 (b)를 참조하면, 블럭-포인트 거리의 총합은 블럭의 평면(1003)과 포인트(1005)들간의 직교 거리의 합을 기반으로 하여 결정된다. 상기 블럭의 평면(1003)과 포인트(1005)들간의 직교 거리의 합은 각 블럭(1005)의 평면(1003)상에 직교하는 포인트들(1005)의 거리의 합을 의미한다.
또한 블럭(1003)의 정보는 최초의 블럭 정보, 자식 블럭들의 정보를 포함한다. 즉, 블럭(1003)의 정보는 예를 들어, 최초의 블럭 정보 및 자식 블럭들의 위치 정보(즉, 각도)를 포함한다. 본 명세서에서의 블럭들의 위치 정보는 각도 정보를 포함한다. 상기 블럭의 정보는 메타 데이터에 포함되거나, 블럭 데이터에 포함될 수 있다.
도 11은 본 개시에 따른 입체 영상 투영 방법을 나타낸 도면이다.
본 개시에 따르면, 포인트를 패턴에 기반으로 한 블럭에 매핑하는 것이고, 도 11은 패턴(1101)을 도시한 것이다.
블럭은 미리 정의된 패턴들(1101) 중 하나를 갖도록 구성될 수 있다. 본 개시에서의 패턴은 송신기 및 수신기에서 공유 가능하고, 송신기 및 수신기 각각에서 저장할 수 있다.
패턴(1101)은 도 11과 같이, 블럭을 구성하는 각 좌표의 offset 값을 0에서 2k 단계로 구성하는 경우의 수의 합의 개수로 정해진다. 도 11에서 블럭의 가로, 세로는 동일하고, 좌표는 예컨대, 8단계로 구분되며, offset 값은 예를 들어, 8개가 주어지며 이에 따라 64개의 패턴을 생성할 수 있다.
블럭과 포인트의 매핑은, 블럭의 평면상에 직교하는 각 포인트들의 거리를 패턴의 offset값으로 제한 나머지들의 합이 가장 작은 일 패턴으로 결정하는 것이 바람직하다.
도 12는 본 개시에 따른 입체 영상 투영 방법을 상세히 나타낸 도면이다.
도 12의 (a)는 64개의 패턴(1101) 중 하나의 패턴을 결정한다. 여기서 상기 패턴은 평면상에 직교하는 상기 포인트 값의 거리와 패턴의 옵셋값을 기반으로 결정되고, 상기 결정된 패턴을 통해서 블럭의 위치 정보 및 블럭-포인트 거리를 알 수 있다.
도 12의 (b)에 기재된 블럭(1201)은 결정된 패턴을 기반으로 하여 포인트를 블럭에 매핑하는 것을 나타낸다. 블럭과 포인트의 매핑은, 블럭의 평면상에 직교하는 각 포인트들의 거리를 패턴의 offset값으로 제한 나머지들의 합이 그 결과값이 가장 작은 일 패턴으로 결정하는 것이 바람직하다.
도 12의 (c)는 도 12의 (b)의 블럭과 또 다른 블럭을 나타낸다.
도 12의 (d)는 도 12의 (c)에서 도 12의 (b)의 블럭과 또 다른 블럭에 대해 exclusive or(XOR)를 취한 결과를 나타낸 과정을 나타낸다. XOR을 취하는 것은 일 예이고, 생략될 수도 있다. XOR을 취하는 방법 외에도 절대값을 취한 후 빼는 방법이 있다. 절대값을 취한 후 빼는 방법 또한 생략될 수 있다.
도 12의 (d)의 블럭을 통해서 포인트 값들을 획득할 수 있다.
도 13a, b는 본 개시에 따른 입체 영상 투영 방법의 다른 예를 상세히 나타낸 도면이다.
도 13a는 패턴과 포인트가 최대한 매핑되도록 패턴을 양의 방향 또는 음의 방향으로 반전시킨 후(1301, 1303), 도 13b는 패턴의 offset과 포인트 거리를 빼고 양/음의 차분값을 결정한다. 이때, 블럭은 자신의 패턴 번호와 패턴의 방향(양의 방향/ 음의 방향)을 포함할 수 있고, 추가적으로, 양/음의 차분값을 포함할 수 있다. 블럭의 정보는 블럭들이 사용한 패턴의 정보를 가질 수 있다. 패턴의 정보에는 패턴의 가로, 세로 크기와 패턴의 개수, 또는 패턴 자체가 포함될 수 있다.
본 개시에 따르면, 저장하고자 하는 포인트들에 대해 블럭을 전개하고 블럭과 포인트간 거리에 따라 매핑한다. 제 1차 블럭의 전개를 통해 매핑된 포인트들을 제외하고 남은 포인트가 있을 경우 제 2차 블럭의 전개를 수행한다. 반복된 블럭의 전개 후 매핑할 포인트가 남지 않으면 블럭의 전개를 중지한다. 각 전개 별로 최초의 블럭 정보와 자식 블럭 정보를 저장한다.
도 14는 본 개시에 따른 송신기에서의 동작 흐름도이다.
송신기는 1401 단계에서 포인트 값을 확인한다.
송신기는 1403 단계에서 포인트 값을 블럭에 매핑하고, 상기 블럭으로부터 블럭 정보 및 블럭-포인트 거리 정보를 획득한다. 상기 블럭 정보는 각도 정보를 포함한다. 상기 각도 정보는 상기 포인트 값을 최대한 적은 값을 가지는 거리의 총합으로 매핑하도록 결정된다.
도 15는 본 개시에 따른 송신기에서의 동작 흐름도이다.
송신기는 1501 단계에서 포인트 값을 확인한다. 송신기는 1503 단계에서 패턴을 결정한다. 상기 패턴은 평면상에 직교하는 포인트 값들의 거리와 패턴의 옵셋값을 기반으로 결정된다.
송신기는 1505 단계에서 포인트 값을 결정된 패턴에 매핑하고, 상기 패턴으로부터 블럭 정보 및 블럭-포인트 거리 정보를 획득할 수 있다.
도 16은 본 개시에 따른 수신기에서의 동작 흐름도이다.
수신기는 1601 단계에서 데이터를 수신한다.
수신기는 1603 단계에서 블럭으로부터 블럭 정보 및 블럭-포인트 거리 정보를 획득한다.
수신기는 1605 단계에서 획득된 정보를 기반으로 하여 데이터를 복호한다.
도 17은 본 개시에 따른 수신기에서의 동작 흐름도이다.
수신기는 1701 단계에서 송신기로부터 데이터 수신한다. 수신기는 1703 단계에서 패턴을 확인한다. 상기 패턴은 평면상에 직교하는 상기 포인트 값의 거리와 패턴의 옵셋값을 기반으로 결정된 것이다. 수신기는 1705 단계에서 상기 결정된 패턴으로부터 블럭 정보 및 블럭-포인트 거리 정보를 획득한다.
수신기는 1707 단계에서 획득된 정보를 기반으로 하여 데이터를 복호한다.
도 18은 본 개시에 따른 송신기의 블럭 구성도를 나타낸다.
도 18을 참조하면, 송신기는 송/수신부(1820), 메모리부(1830), 제어부(1810)를 포함한다.
상기 송/수신부(1820)는 송신기에서 본 개시에 따라 수신기와 데이터를 송수신하기 위한 송신 모듈과 수신 모듈을 각각 포함한다.
상기 제어부(1810)는 도 1 내지 도 15에서 설명한 송신기의 동작을 수행한다. 즉, 상기 제어부(1810)는 오브젝트(object)에 대응하는 포인트 값을 확인하고, 상기 포인트 값을 패턴에 기반으로 한 블럭에 매핑하고, 상기 패턴은 평면상에 직교하는 포인트 값들의 거리와 패턴의 옵셋값을 기반으로 결정한다.
상기 메모리부(1030)는 송신기의 각종 데이터를 저장한다.
도 19는 본 개시에 따른 수신기의 블럭 구성도를 나타낸다.
도 19를 참조하면, 수신기는 송/수신부(1920), 메모리부(1930), 제어부(1910)를 포함한다.
상기 송/수신부(1920)는 수신기에서 본 개시에 따라 중앙 집중형 원격 채널 모니터와 데이터를 송수신하기 위한 송신 모듈과 수신 모듈을 각각 포함한다.
상기 제어부(1910)는 도 1 내지 13, 도 16 내지 도 17에서 설명한 수신기의 동작을 수행한다. 즉, 상기 제어부(1910)는 상기 데이터를 수신하고, 패턴을 결정하고, 상기 패턴을 기반으로 하여 블럭의 각도 정보 및 블럭-포인트 거리 정보 획득하고, 상기 입체 영상의 오브젝트(object)에 대응하는 포인트 값을 상기 각도 정보 및 상기 블럭-포인트 거리 정보를 기반으로 하여 획득하고; 및 상기 포인트 값을 기반으로 하여 상기 데이터를 복호하도록 제어한다. 여기서 상기 패턴은 평면상에 직교하는 상기 포인트 값의 거리와 패턴의 옵셋값을 기반으로 결정된다.
즉, 상기 제어부(1910)는 상기 데이터를 수신하고, 상기 데이터에 포함된 블럭으로부터 블럭의 각도 정보 및 블럭-포인트 거리 정보 획득하고, 상기 각도 정보 및 상기 블럭-포인트 거리 정보를 기반으로 하여 포인트 값을 획득하고, 상기 포인트 값을 기반으로 하여 상기 데이터를 복호하도록 제어하고, 상기 각도는 상기 포인트 값을 최대한 적은 값을 가지는 거리의 총합으로 매핑하도록 결정된다.
도 20은 본 개시에 따른 동적으로 취득된 포인트 클라우드 영상의 예시를 나타낸다.
본 개시에 따르면, 테스트 모델 카테고리 2(Test Model Category 2, TMC2)를 사용한 테스트 모델 카테고리 3(Test Model Category 3, TMC3) 포인트 클라우드 압축(point cloud compression, PCC)를 제안한다.
영상 처리 방법에 따라, 3차원 영상 정보는 오브젝트 영상 정보와 장면 영상 정보로 구분할 수 있다.
오브젝트 영상 정보(object image information)는 복수의 카메라를 이용하여, 하나의 오브젝트를 전방위에서 촬영한 영상(omnidirectional image) 데이터를 조합하여, 3차원 영상 정보를 생성한다. 일반적으로 전방위에서 촬영한 영상이라 하여도, 오브젝트의 표면의 영상 정보만을 획득하는 경우가 많다. 즉, 오브젝트 영상 정보는 오브젝트들의 표면의 영상 정보 내지 표면으로부터 일정 깊이까지의 영상 정보를 포함하는 것이 보통이다. 다만, 투명성 및 투과성에 따라, 물리적 표면과 달리, 일정 깊이까지 측정하는 것이 가능하다. 예컨대, 투과성이 좋은 X선 촬영을 통하여, 오브젝트의 내부 구조 정보를 포함하는 3차원 영상을 생성할 수 있고, 3차원 영상을 소프트웨어를 이용하여 생성할 경우, 촬영된 영상과 달리, 완전한 3차원 정보를 가지는 3차원 영상 정보를 생성할 수 있다.
장면 영상 정보(scene image information)은 LiDAR (Light detection and ranging)등의 영상 취득 장치를 이용하여 현재 위치에서 전방향 정보를 획득할 수 있다. 오브젝트 영상 정보는 오브젝트 외부에 존재하는 복수의 카메라로 오브젝트를 촬영한 영상 정보를 주로 이용하는 반면, 장면 영상 정보는 특정 위치(중심점)에서 전방향의 영상 정보를 취득한다는 점에서 차이가 있다. 장면 영상 정보도 오브젝트의 3차원 위치 정보를 포함하나, 상기 중심점에서 보이는 오브젝트의 부분만의 위치 정보를 획득한다는 점에서 오브젝트 영상 정보와 차이가 있다. 장면 영상 정보도 가시 영역을 넓히기 위하여, 복수의 LiDAR 장치들을 이용할 수 있음은 물론이다.
장면 영상 정보를 처리하는 명확한 표준은 아직 결정되지 아니하였다. 오브젝트 영상 정보는 오브젝트의 표면을 패치형태로 분리하여 2차원 이미지로 재구성한다. 오브젝트의 3차원 형상에 따라, 각 패치의 위치는 3차원 위치로서 결정되므로, 각 패치의 위치 정보는 2차원 이미지와 연결되어 저장되거나, 별도의 메타데이터로서 저장된다. 이러한 오브젝트 영상 정보를 처리하는 방법을 이용하여 장면 영상 정보를 처리할 수 있다.
도 20은 본 개시에 따른 3차원 영상을 처리하는 방법에서 이용하는 장면 영상 정보를 나타낸다. 상기 장면 영상 정보는 포인트 클라우드 영상일 수 있다. 중앙의 비어 있는 부분은 LiDAR 장치가 놓여 있는 위치를 나타내며, LiDAR 장치가 레이저를 방출하고, 오브젝트들에 의하여 반사된 레이저를 측정함으로써, 오브젝트의 위치들을 획득할 수 있다. 하나의 LiDAR 장치를 이용할 경우, LiDAR의 위치로부터, 보이는 오브젝트에 한하여, 영상을 취득할 수 있으므로, 장면 영상 정보는 LiDAR의 위치를 중심으로 하는 동심구의 표면에 표현할 수 있다.
또한, 차량에 LiDAR 장치를 탑재하고, 차량이 이동 중에 LiDAR 장치에 의하여 장면 영상들을 실시간으로 취득하여, 차량의 위치와 취득한 장면 영상들에 기초하여, 3차원 맵 데이터를 생성하는 것도 가능하다. 이때, 차량에 탑재된 GPS(global position system) 등을 이용하여, 상기 차량의 위치와 상기 차량의 위치가 측정된 시간 정보를 획득할 수 있다.
그러나, 특정 위치에 있어서, 필요한 장면 영상 정보는 해당 위치에서 보이는 부분으로 충분할 수 있으므로, 동심구의 표면상에 장면 영상 정보를 매핑함으로써 장면 영상 정보를 효율적으로 저장할 수 있다.
도 20에서 나타나는 장면 영상 정보에 기초하여, 색상 ERP (equiretangular projection) 영상과 깊이 ERP 영상을 생성할 수 있다.
본 개시에 따른 영상 취득 방법에 있어서, 영상 취득 장치는 하나 이상의 포인트 클라우드 영상들을 획득할 수 있다. 상기 하나 이상의 포인트 클라우드 영상들은 하나의 3차원 좌표상에 중첩되어 표시될 수 있다. 상기 하나 이상의 포인트 클라우드 영상들은 동적으로 취득되는 영상일 수 있다. 구체적으로, 상기 영상 취득 장치는 상기 하나 이상의 포인트 클라우드 영상들을 획득할 수 있고, 상기 영상 취득 장치가 차량에 장착되고, 상기 차량이 이동하면서, 차량에 장착된 상기 영상 취득 장치가 상기 하나 이상의 포인트 클라우드 영상들을 동적으로 획득할 수 있다. 상기 포인트 클라우드 영상들은 색상, 거리 및 시간 정보를 포함할 수 있다.
도 21은 본 개시에 따른 포인트 클라우드 영상을 처리하는 방법을 설명하기 위한 예시도이다.
포인트 클라우드 영상을 처리하기 위하여 MPEG(moving picture expert group)에서는 TMC1, TMC2 및 TMC3를 정의하여 논의하고 있다. 그러나, TMC3에 대하여는 논의가 활발하지 아니한 측면이 있다. TMC2에서 정의하고 있는 처리 방법을 이용하여, TMC3의 영상 데이터를 처리할 수 있는 방법이 제안된다.
MPEG의 규격을 이용하여, 포인트 클라우드 영상을 처리하기 위하여 TMC(Test Model Category)는 TMC1, TMC2, TMC3를 포함한다. TMC1은 3차원 정적 이미지(static objects and scenes)를 처리하는 방법을 개시하고, TMC2는 3차원 오브젝트 동영상(dynamic objects)을 처리하기 위한 방법을 개시하고, TMC3는 3차원 맵 데이터(dynamic acquisition)를 처리하는 방법을 개시한다.
이하, TMC2의 규격을 이용하여 TMC3의 데이터를 처리하는 방법을 설명한다.
예컨대, TMC2에 있어서, 패치 생성 과정에서 3차원 오브젝트 영상의 표면을 패치 형태로 분리하여 처리한다. 또한, 패킹 과정에서 분리된 패치들을 포함하는 제1 2차원 영상을 재구성하고, 재구성된 제1 2차원 영상에 대응되는 위치 정보 및 깊이 정보를 포함하는 별도의 제2 2차원 영상을 생성한다.
상기 제1 2차원 영상과 상기 제2 2차원 영상에 기초하여, 지오메트리 영상을 생성하고, 텍스처 영상을 생성할 수 있다. 영상 패딩 과정에서는 상기 생성된 지오메트리 영상과 상기 생성된 텍스처 영상에 패딩 데이터를 부가하여, 패딩된 지오메트리 영상과 패딩된 텍스처 영상을 생성한다. 상기 패딩된 지오메트리 영상과 상기 패딩된 텍스처 영상은 비디오 압축을 거쳐 비트스트림으로 출력된다.
상기 제1 2차원 영상과 상기 제2 2차원 영상의 패치들의 분포에 따라, 점유 지도(occupancy map) 정보를 생성할 수 있다. 상기 점유 지도 정보는 압축되어 전송될 수 있다. 또한, 부가적인 패치 정보를 생성하고 압축할 수 있다. 상기 점유 지도 정보와 부가적인 패치 정보는 비트스트림에 포함하여 전송되거나, 별도의 메타데이터에 포함시켜 전송될 수 있다.
도 22는 포인트 클라우드 영상에 대응되는 가상의 동심구를 나타내는 예시도이다.
도 22를 참고하면, 3차원 맵 데이터를 포인트 클라우드 영상으로 나타내고 있다. 영상 취득 장치의 위치를 중심점으로 하는 가상의 동심구(2210)를 생성하여 3차원 맵 데이터의 포인트 클라우드 영상의 각 점들에 대응하는 상기 동심구 상의 위치를 획득한다. 상기 포인트 클라우드 영상의 각 점들의 영상 정보를 동심구(2210) 상의 위치에 대응시켜 색상 ERP 영상(color equiretangular projection image)를 생성하고, 상기 포인트 클라우드 영상의 각 점들의 깊이 정보를 동심구 상의 위치에 대응시켜 깊이 ERP 영상(depth equiretangular projection image)를 생성한다. 생성된 색상 ERP 영상의 각 점들은 생성된 깊이 ERP 영상의 각 점들과 대응된다.
동심구(2210)의 중심점으로부터 3차원 맵 데이터의 한 점 방향(2220)으로 연장하여, 동심구 상의 한 점에 매핑시킨다. 상기 3차원 맵 데이터의 상기 한 점의 색상 정보는 상기 색상 ERP 영상의 대응되는 위치에 기록하고, 상기 3차원 맵 데이터의 상기 한 점의 깊이 정보는 상기 깊이 ERP 영상의 대응되는 위치에 기록한다. ERP 영상은 2차원 영상(2D image)의 위치에 따라, 동심구의 표면의 위치가 특정되므로, 상기 색상 ERP 영상과 상기 깊이 ERP 영상을 이용하여 상기 3차원 맵 데이터를 복원할 수 있다. 상기 3차원 맵 데이터의 모든 점을 동심구 상의 대응되는 점에 매핑시킴으로써, 상기 색상 ERP 영상 및 상기 깊이 ERP 영상을 생성할 수 있다.
ERP 방법이란, 지도 투영법 중 메르카토르 투영법(Mercator projection)과 유사한 방법으로 구면의 영상을 2차원 평면으로 투영하는 방법을 나타낸다. 메르카토르 투영법에서 위도와 경도에 따라, 가로와 세로를 구분하는 것처럼 ERP 방법에서도 위도와 경도의 개념을 사용한다. ERP 방법에 따른 ERP 영상은 세로 길이의 단위를 위도의 단위로서 -90도(남극)에서 +90도(북극)까지 나타내며, 가로 길이의 단위를 경도의 단위로서 -180도에서 +180도의 단위로 나타내거나, 0도에서 360도의 단위로 나타낸다.
ERP 방법에 따른 ERP 영상은 북극과 남극 근방은 과대 평가되고, 적도 근방은 비교적 정확히 나타난다. ERP 방법을 기초로 ERP 영상을 패킹하는 방법으로서, 적도 근방은 ERP 영상을 그대로 사용하고, 북극과 남극 근방의 ERP 영상은 삼각형 또는 사다리꼴 패킹 방법에 따라 북극과 남극에 가까울수록 더 압축하여 패킹하는 방법을 사용할 수 있다.
상술한 바와 같이 ERP 영상은 영상 자체에 위치 정보를 포함하고 있으므로, 높은 압축률과 빠른 처리가 가능하다는 장점이 있으나, 북극과 남극 근방의 정보는 과대 평가되고, 영상들을 스티칭하고 패킹하는 과정에서 왜곡이 발생한다는 단점이 있다.
도 23은 본 개시에 따른 색상 ERP 영상과 깊이 ERP 영상에 기초하여, 포인트 클라우드 영상을 처리하는 방법을 설명하기 위한 예시도이다.
상기 색상 ERP 영상은 MPEG의 TMC2의 지오메트리 영상 생성 과정에서 처리되고, 상기 깊이 ERP 영상은 MPEG의 TMC2의 텍스처 영상 생성 과정에서 처리될 수 있다.
도 23을 참고하면, 3차원 영상 정보(2330)로부터 색상 ERP 영상(2310)과 깊이 ERP 영상(2320)을 생성할 수 있고, 즉, 색상 ERP 영상(2310)은 지오메트리 영상 생성 과정(2350)에서 생성될 수 있고, 깊이 ERP 영상(2320)은 텍스처 영상 생성 과정(2360)에서 생성될 수 있다. 이는 예시적인 것으므로, 깊이 ERP 영상(2320)이 지오메트리 영상 생성 과정(2350)에서 생성되거나, 색상 ERP 영상(2310)은 텍스처 영상 생성 과정(2360)에서 생성될 수 있음은 물론이다.
색상 ERP 영상의 픽셀들은 ARGB(alpha-red-green-blue)의 방법에 따라서 처리될 수 있고, 깊이 ERP 영상의 픽셀들은 깊이 정보를 포함한다. 깊이 ERP 영상의 픽셀들의 깊이 정보는 선형 스케일의 값을 가질 수 있고, 로그 스케일의 값을 가질 수 있다. 통상 깊이 ERP 영상의 픽셀들의 깊이 정보는 최소 깊이 값과 최대 깊이 값 사이의 값을 가질 수 있으므로, 최소 깊이 값 및 최대 깊이 값을 별도의 메타데이터로 전송하거나, 깊이 ERP 영상의 헤더에 기록함으로써, 허용되는 데이터 크기에 비례하여 최소 깊이 값과 최대 깊이 값 사이에 정밀도를 높일 수 있다.
3차원 영상이 중심점 근방의 오브젝트의 밀도가 높을 경우, 로그 스케일 방법에 따라 깊이 정보를 저장하여, 데이터 저장 효율을 높일 수 있고, 최소 깊이 값과 최대 깊이 값 사이에 오브젝트의 밀도가 균일할 경우, 선형 스케일 방법에 따라 깊이 정보를 저장할 수 하여 데이터 저장 효율을 높일 수 있다.
일반적으로 LiDAR를 이용하여 3차원 장면 영상을 획득한 경우, 중심점 근방의 오브젝트들에 의하여 원거리의 오브젝트들이 차폐되기 때문에, 로그 스케일 방법이 적당할 수 있다. 차량에 탑재된 LiDAR를 이용하여 차량이 이동하면서, 복수의 장면 영상들을 획득하고, 복수의 장면 영상들에 기초하여 3차원 맵 데이터를 생성한 경우라면, 일정 범위 내에서, 오브젝트의 밀도가 비교적 균일할 수 있으므로, 이와 같은 경우라면, 선형 스케일의 방법이 적당할 수 있다.
도 24(a), (b) 및 (c)는 본 개시에 따른 시간 ERP 영상을 생성하는 방법을 설명하기 위한 예시도들을 나타낸다.
동심구 상의 포인트들은 3차원 맵 데이터에 대응되는데, 상기 맵 데이터를 획득하기 위하여, 라이다(LiDAR, Light detection and ranging)를 이용할 수 있다. 상기 LiDAR는 동심구의 시작점(북극)에서 끝점(남극) 방향에 수직되는 구면에 따라 회전하며 주사되며, 도 24(a)는 LiDAR의 주사 방향은 회전하면서 북극에서 남극 방향으로 이동되는 것을 나타내고 있다. 주사 순서에 따라, 3차원 맵 데이터를 획득할 수 있다.
전방향 영상(omnidirectional image)를 처리하는 방법으로서 등장방형 투영(ERP, equiretangular projection) 방법을 이용할 수 있다. ERP 방법은 구면의 영상을 직사각형의 영역에 투영하는 방법이다. ERP 영상은 북극과 남극 방향으로 과대하게 표현되고, 적도 부분은 비교적 정확히 표현되므로, ERP 영상을 패킹하는 다양한 방법들이 제안되고 있다.
도 24(a)는 3차원 동심구에서의 LiDAR의 주사 순서를 나타내고, 도 24(b)는 360 2차원 영상(ERP 영상)에서의 주사 순서를 나타내고, 도 24(c)는 ERP 영상에서의 주사 순서를 시간 데이터로 표현한 시간 ERP 영상을 나타낸다.
LiDAR의 회전 속도에 따라, LiDAR의 주사 시간에는 미세한 차이가 있으며, 도 24(a), 24(b) 및 24(c)를 참고하면, 주사 순서를 나타내기 위하여, 해당 위치의 주사 시간을 나타낼 수 있다. 이때, 최초 시각 값과 최후 시각 값은 별도의 메타데이터에 기록하거나, 시간 ERP 영상의 헤더에 기재할 수 있다. 예컨대, 시각 값으로 1바이트를 사용할 경우, 최초 시각을 0으로 표시하고, 최후 시각을 255로 표시하여, 최초 시각 값과 최후 시각 값 사이를 255등분하여 표시할 수 있다. 통상 최초 시각 값 및 최후 시각 값은 LiDAR 장치의 고유한 특성에 따라 결정될 수 있는 것이므로, LiDAR 장치의 주사 시간을 위도와 경도에 따라 실험적으로 미리 산정할 수 있다. 다만, LiDAR 장치의 주사 시간은 오브젝트의 밀도에 따라 변경될 필요도 존재하므로, 이 경우, 주사 시각을 시간 ERP 영상의 각 픽셀에 기재함으로써, 색상 ERP 영상 및 깊이 ERP 영상에 대응되는 시각을 알 수 있다. LiDAR 장치를 장착한 차량이 이동하거나, 관측되는 오브젝트들이 이동하는 경우, 색상 ERP 영상, 깊이 ERP 영상 및 시간 ERP 영상에 기초하여, 3차원 영상의 위치 정보를 보다 정확하게 복원할 수 있다.
도 24(c)의 각 픽셀은 주사 시각을 나타내는 숫자로 표현된다. 어두운 색일수록 먼저 주사된 것이며, 밝은 색일수록 나중에 주사된 것을 의미할 수 있고, 반대로 표시할 수도 있다. 이는 이해의 편의를 위하여, 제시된 것이며, 주사 시간을 데이터화하는 방법은 다양할 수 있다. 예컨대, 실제 시간과 유사하게 적용할 수 있고, 로그 스케일의 시간 단위로 주사 시간을 나타낼 수 있다.
도 25는 본 개시에 따른 색상 ERP 영상, 깊이 ERP 영상 및 시간 ERP 영상을 나타내는 예시도이다.
3차원 맵 데이터으로부터 색상 ERP 영상(2510), 깊이 ERP 영상(2520) 및 시간 ERP 영상(2530)을 획득할 수 있다. 상기 색상 ERP 영상(2510), 깊이 ERP 영상(2520) 및 시간 ERP 영상(2530)을 2차원 영상을 처리하는 방법으로 MPEG의 규격에 따라 사전 데이터 처리, 인코딩, 압축, 멀티 플렉싱 및 전송할 수 있다.
또한 수신된 색상 ERP 영상(2510), 깊이 ERP 영상(2520) 및 시간 ERP 영상에 기초하여, 3차원 맵 데이터를 생성할 수 있다.
상기 색상 ERP 영상(2510), 깊이 ERP 영상(2520), 시간 ERP 영상(2530)은 동일 원점을 가지는 동심구에 대응될 수 있다.
지금까지 3차원 맵 데이터를 처리하는 방법으로서, 색상 ERP 영상(2510), 깊이 ERP 영상(2520) 및 시간 ERP 영상(2530)을 이용하는 방법을 설명하였으나, 3차원 맵 데이터가 아닌, 3차원 포인트 클라우드 영상에 대하여도 색상 ERP 영상(2510), 깊이 ERP 영상(2520) 및 시간 ERP 영상(2530)을 이용할 수 있다. LiDAR를 이용하여 획득한 3차원 맵 데이터는 차폐되는 후방의 3차원 정보는 존재하지 않는 경우가 많으므로, 1개의 동심구를 이용하여, 1개의 색상 ERP 영상(2510) 및 1개의 깊이 ERP 영상(2520)으로 3차원 맵 데이터를 복원할 수 있다. 물론, 복수의 동심구들을 이용하여 복수의 색상 ERP 영상들(2510) 및 복수의 깊이 ERP 영상들(2520)을 이용할 수 있음은 물론이다. 그러나, 3차원 포인트 클라우드 영상은 3차원 정보가 중첩되어 표현될 수 있어서, 3차원 포인트 클라우드 영상은 한 개의 동심구를 이용하여 표현되기 어려운 측면이 있다.
3차원 포인트 클라우드 영상은 3차원 데이터가 존재하는 표면을 패치 형태로 2차원 데이터 조각으로 만들고, 해당 조각에 깊이 정보를 부가하는 형태로 데이터를 가공한 후, 모든 3차원 데이터에 대하여 깊이 정보를 포함하는 복수의 2차원 데이터 조각들을 생성한 후 생성된 복수의 2차원 데이터 조각들을 2차원 영상 데이터로 생성하여 전송한다. 수신된 2차원 영상 데이터는 다시 패치들을 분리하고 재배치하여 3차원 포인트 클라우드 영상으로 재배치한다.
이때, 상기 복수의 2차원 데이터 조각들을 복수의 동심구 상에 배치하여, 색상 ERP 영상과 깊이 ERP 영상을 생성하는 것을 고려할 수 있다. 복수의 동심구를 이용하여, 3차원 포인트 클라우드 영상을 처리할 경우, 복수의 동심구를 이용하기 때문에 압축률이 낮아지는 단점이 있으나, 2차원 데이터 조각들을 재배치할 필요가 없으므로, 빠르게 영상 처리를 할 수 있는 장점이 있다.
복수의 동심구들에 기초하여, 색상 ERP 영상들(2510)과 깊이 ERP 영상들(2520)을 생성하는 경우, 상기 복수의 동심구들의 반지름은 ERP 영상의 해상도에 대응될 수 있다. 상기 복수의 동심구들의 반지름은 일정할 수 있고, 중심점으로부터 거리가 먼 오브젝트들에 대응되는 동심구의 반지름이 더 짧을 수 있다. ERP 영상의 해상도를 낮춤으로써, 중심점으로부터 먼 거리에 존재하는 오브젝트에 대하여, 가중치를 낮게 설정할 수 있다. 하나의 동심구의 표면에 가까운 거리에 있는 오브젝트들의 부분들부터 먼 거리에 있는 오브젝트들의 부분들까지 투영된다. 다만 보이는 오브젝트들부터 투영되는 것이므로, 근거리 오브젝트에 의하여 차폐되는 원거리 오브젝트는 다른 동심구 표면에 투영되는 것이다. 보이는 부분에서 가장 가까운 오브젝트들의 부분부터 최초의 동심구에 투영되고, 가장 가까운 오브젝트들이 제거된 3차원 영상 중에 보이는 부분의 존재하는 오브젝트들의 부분들을 순차적으로 새로운 동심구에 투영하는 것을 반복한다. 3차원 영상에 존재하는 모든 오브젝트를 투영하면 비로서, 동심구들을 생성하는 것을 종료한다.
가까운 영역의 동심구부터 순차적으로 생성하나, 오브젝트들의 차폐에 의하여, 가까운 영역의 동심구에 포함된 오브젝트가 먼 영역의 동심구에 포함된 오브젝트보다 중심점으로부터 더 멀리 위치할 수 있는 것은 당연하다.
중심점으로부터 떨어진 거리에 따라 오브젝트들을 처리하기 위하여, 각 동심구의 중심점으로부터 떨어진 거리에 따라 동심구 그룹을 생성할 수 있다. 이 경우, 중심점으로부터의 거리에 따라 오브젝트들을 처리할 수 있어서, 빠르게 데이터를 처리할 수 있는 장점이 있으나, 보다 많은 동심구를 생성해야 하므로, 데이터 저장 효율은 떨어지는 단점이 있다.
동일 그룹에 포함되는 복수의 동심구들의 중심들은 동일하거나 다를 수 있다.
하나의 그룹에 포함되는 복수의 동심구들의 반지름들은 같거나 다를 수 있고, 동심구의 반지름은 속성값을 효과적으로 저장하기 위한 값으로 결정하는 것을 특징으로 한다. 예컨대, 동심구의 반지름은 ERP 영상의 해상도에 대응될 수 있다.
각 동심구에 대하여, 해당 동심구의 속성 및 해당 동심구의 반지름의 크기 정보는 별도의 메타데이터로 저장되거나 전송될 수 있고, ERP 영상의 헤더에 포함되어 저장되거나 전송될 수 있다.
포인트 클라우드 영상을 취득하는 영상 취득 장치는 LiDAR일 수 있다. 복수의 LiDAR들을 이용하여, 포인트 클라우드 영상을 취득할 때, 복수의 동심구들을 이용할 수 있고, 복수의 동심구 그룹들의 중심은 복수개가 될 수 있다.
하나의 동심구 그룹은 중심점의 위치가 같으므로, 동심구 그룹이 복수개 존재하면, 동심구 그룹별로 동심구의 중심점의 위치가 저장 및 전송된다.
동심구의 중심점 정보는 영상 취득 장치로부터 제공될 수 있고, 영상 취득 장치로부터 영상 취득 장치의 개수와 좌표들의 정보가 제공될 수 있다.
도 26은 본 개시에 따른 영상 취득 장치의 배치를 나타내는 예시도이다.
영상 취득 장치로부터 제공된 정보에 기초하여 동심구의 중심점에 관한 정보를 획득할 수 있다.
동심구의 중심점 좌표 정보 및 동심구의 반지름 정보는 영상 취득 장치로부터 제공될 수 있다. 영상 취득 장치는 LiDAR(Light detection and ranging) 장치일 수 있다.
영상 취득 장치는 자동차와 같은 영상 취득 차량(vehicle)에 장착될 수 있다.
영상 취득 장치로부터 제공되는 정보에는 영상 취득 장치들의 개수와 영상 취득 장치들의 차량에서의 위치들이 포함될 수 있다.
상기 취득 차량은 GPS 장치를 포함할 수 있고, GPS 장치로부터 차량의 위치 정보 및 시간 정보를 획득할 수 있다.
도 27은 본 개시에 따른 복수의 영상 취득 장치들(2710, 2720)의 배치들을 나타내는 예시도이다.
포인트들은 어떤 동심구 또는 취득 장치에 속한 것인지에 해당하는 정보를 추가 속성으로 가진다.
복수의 영상 취득 장치들(2710, 2720)과 포인트 클라우드의 포인트들(2730, 2740)에 따라 상기 복수의 영상 취득 장치들의 정보가 획득될 수 있다.
제1 영상 취득 장치(2710)는 제1 동심구(2730)의 중심점에 위치하고, 제2 영상 취득 장치(2720)는 제2 동심구(2740)의 중심점에 위치한다. 이는 예시적인 도면이고, 영상 취득 장치들의 개수는 3 이상일 수 있다.
도 28은 본 개시에 따른 동심구의 중심을 결정하는 방법을 설명하기 위한 예시도이다.
동심구 상에 존재하는 포인트들(2830)로부터 노멀들을 획득할 수 있다. 상기 노멀들을 연장하고, 노멀들의 교점을 이용하여 동심구의 중심점을 산출할 수 있다.
동심구 상의 하나의 포인트를 특정하고, 근방에 존재하는 동일한 거리에 존재하는 포인트를 획득하여, 두 포인트들의 중심점에서 두 포인트들을 연결한 선분과 수직인 수선을 생성하고, 다른 포인트들에 대하여 동일한 작업을 수행하여, 동심구의 중심점을 획득할 수 있다. 이때, 상기 수선을 노멀이라 칭한다.
도 29는 본 개시에 따른 복수의 동심구들의 중심들을 결정하는 방법을 설명하기 위한 예시도이다.
포인트들을 노멀에 기초하여, 동심구의 중심점을 획득할 수 있다.
이때, 동심구의 중심점이 2개 이상일 수 있다. 동심구의 중심점이 2개 이상인 경우, 복수의 중심점들에 따라 동심구들을 특정한다. 포인트들은 특정된 동심구들에 따라 분리되고, 각 동심구 별로 포인트들을 처리할 수 있다.
복수의 영상 취득 장치들을 사용하는 경우, 각 영상 취득 장치가 배치된 위치에 따라서, 동심구들의 중심점들은 서로 다르게 된다. 포인트들을 동심구 별로 분리하여 처리할 수 있다.
도 30은 본 개시에 따른 동심구의 중심을 결정하는 방법을 설명하기 위한 예시도이다.
포인트들이 건물과 같은 일직선 상에 위치되는 구조물을 나타내는 경우, 인접 포인들과의 노멀을 산출할 경우, 노멀들이 서로 평행하여, 동심구의 중심점 예측에 오차가 발생할 수 있다. 포인트들이 직선 형태를 가지는 경우(3010)는 동심구의 중심점을 예측하는데 사용하지 않음으로써, 동심구의 중심점을 보다 정확하게 예측할 수 있다.
도 31은 본 개시에 따른 동심구의 중심을 결정하는 방법을 설명하기 위한 예시도이다.
포인트들이 동심구의 중심점으로부터 너무 멀리 떨어져 있는 경우, 동심구의 중심을 예측하는 것이 부적절할 수 있다. 가까운 거리에 존재하는 포인트들을 사용함으로써, 동심구의 중심점을 보다 정확하게 예측할 수 있다.
동심구의 중심점을 결정하는 방법으로서, 포인트들이 가능한 겹치지 않고 관측될 수 있는 위치를 동심구의 중심점으로 선택할 수 있다. 근거리 포인트들에 의하여 차폐되는 원거리 포인트들이 존재할 경우, 동심구의 개수가 복수이어야 한다. 동심구의 개수만큼 필요로 하는 데이터의 용량이 증가한다. 그러나, 동심구의 중심점에서 관측되는 전방향 영상에서 근거리 오브젝트에 의하여 차폐되는 원거리 오브젝트는 그 중요도가 떨어지므로, 가능한 근거리 오브젝트에 의하여 차폐되는 원거리 오브젝트의 수가 작아지도록 동심구의 중심점을 결정할 수 있다.
동심구의 중심점을 결정하는 다른 방법으로서, 포인트들을 그루핑(grouping)함으로써, 복수의 평면들을 결정할 수 있다. 상기 복수의 평면들 각각은 그루핑된 포인트들을 포함한다. 상기 복수의 평면들 중 최대한 많은 개수의 평면들을 볼 수 있는 위치를 동심구의 중심점으로 결정할 수 있다. 복수의 포인트 클라우드 영상들은 시간적 또는 공간적으로 연속적으로 배치될 수 있다. 시간적 순서 또는 공간적 순서에 따라 개별 포인트 클라우드 영상을 포인트 클라우드 프레임이라 칭할 수 있다. 하나의 포인트 클라우드 프레임은 하나의 중심점을 가질 수 있다. 연속적인 포인트 클라우드 프레임들의 중심점들을 연결하여 중심점의 이동 경로를 결정할 수 있다.
포인트 클라우드 프레임들의 중심점은 연속된 선상에 존재하도록 조정할 수 있다.
복수의 동심구들 각각은 하나의 중심점을 가지고, 서로 다른 동심구들의 중심점은 같거나 다를 수 있다. 본 개시에 따른 영상 취득 방법은 각 동심구에 대응하는 색상 ERP 영상, 깊이 ERP 영상 및 시간 ERP 영상을 생성하는 방법을 제안한다.
도 32는 본 개시에 따른 동심구 상의 깊이 정보를 나타내는 방법을 설명하기 위한 예시도이다.
도 32(a)는 그루핑되는 포인트들을 포함하는 평면들의 중심점으로부터 떨어진 거리를 나타낸다. 상기 평면들 중 일부는 중심점으로부터 비교적 가까운 거리에 존재하며, 상기 평면들 중 일부는 중심점으로부터 비교적 먼 거리에 존재할 수 있다.
도 32(b)는 상기 평면들이 하나의 구면 위에 투영된 것을 나타낸다. 구면 위에 투영된 영상들은 색상 구면 영상, 깊이 구면 영상 및 시간 구면 영상을 포함할 수 있다. 상기 색상 구면 영상은 색상 ERP 영상으로 변환될 수 있고, 상기 깊이 구면 영상은 깊이 ERP 영상으로 변환될 수 있고, 상기 시간 구면 영상은 시간 ERP 영상으로 변환될 수 있다.
상기 색상 ERP 영상은 깊이 정보를 포함하지 않고, 상기 구면에 투영된 색상을 나타내는 것이나, 상기 깊이 ERP 영상으로부터 상기 색상 ERP 영상의 각 픽셀의 깊이 정보를 획득할 수 있다. 상기 색상 ERP 영상과 상기 깊이 ERP 영상을 토대로 3차원 맵 데이터를 복원할 수 있다. 상기 깊이 ERP 영상은 도 32(b)에 나타나는 것처럼 깊이 정보를 숫자로서 표현할 수 있고, 이해의 편의를 위하여, 색의 명도에 따라 깊이 값이 상이한 것을 나타내고 있다. 도 32(a) 및 도 32(b)를 참고하면, 색이 밝을 수록 깊이 값이 큰 것이고, 색이 어두울수록 깊이 값이 작은 것을 나타낸다.
도 33은 본 개시에 따른 동심구 상의 깊이 정보를 나타내는 방법을 설명하기 위한 예시도이다.
깊이 값은 최소 깊이 값부터 최대 깊이 값까지의 범위에서 정하여 질 수 있다. 상기 최소 깊이 값 및 최대 깊이 값은 미리 결정된 값일 수 있고, 상기 최대 깊이 값은 상당히 큰 값일 수 있으며, 상기 최소 깊이 값은 적절하게 선택된 작은 값일 수 있다. 상기 최대 깊이 값은 상기 최소 깊이 값보다 클 것이다.
도 33(a)는 선형(linear) 깊이 표현 방법을 나타내고, 도 33(b)는 로그(log) 깊이 표현 방법을 나타낸다.
상기 최대 깊이 값과 상기 최소 깊이 값이 결정되면, 깊이 값의 스케일은 도 33(a)와 같이 선형 깊이 스케일을 가질 수 있고, 도 33(b)와 같이 로그 깊이 스케일을 가질 수도 있다. 깊이 값의 스케일을 결정하는 것은 깊이에 따른 오브젝트의 분포에 따라서 결정될 수 있다. 오브젝트의 밀도가 높은 영역은 촘촘한 깊이 값 스케일에 따라 결정하고, 오브젝트의 밀도가 낮은 영역은 다소 성긴 깊이 값 스케일에 따라 결정하는 것이 적절할 수 있다. 다만, 3차원 영상에서 영역 별로 오브젝트의 밀도를 분석하기 전에는 영역 별로 깊이 값의 스케일을 조정하기 어렵고, 선형 스케일 또는 로그 스케일에 따라 깊이 값을 처리함으로써, 깊이 ERP 영상을 생성하는 것이 적절할 수 있다.
시간 ERP 영상에 있어서, 최초 시각 값과 최대 시각 값에 대하여, 시각 값의 스케일을 선형 스케일 또는 로그 스케일로 표현할 수 있다.
상기 최초 시각 값과 최대 시각 값은 별도의 메타데이터로 저장할 수 있고, 상기 메타데이터는 깊이 값의 스케일에 관한 정보를 더 포함할 수 있다. 상기 깊이 값의 스케일은 선형 스케일, 로그 스케일 또는 사용자 정의 스케일 중 어느 하나 일 수 있다.
동심구과 관련된 속성(attribute)은 점유 지도(occupancy map) 정보, 동심구의 그룹 정보, 동심구의 변환 정보 및 동심구의 압축 구조 정보 중 적어도 하나를 포함할 수 있다.
점유 지도 정보란, 동심구의 표면에 매핑되는 정보의 존재 여부를 나타낸다. 즉, 점유 지도 정보는 동심구 표면에 매핑되는 정보가 없는 영역을 지시한다. 점유 지도 정보에 기초하여 동심구 표면상의 매핑된 정보의 존재 여부를 판단할 수 있다.
하나의 동심구의 표면에 대응되는 색상 구면 정보, 깊이 구면 정보, 시간 구면 정보 및 반사율 구면 정보는 각각 개별적인 동심구를 구성할 수 있다. 색상 구면 정보, 깊이 구면 정보, 시간 구면 정보 및 반사율 구면 정보에 대응되는 동심구를 각각 색상 동심구, 깊이 동심구, 시간 동심구 및 반사율 동심구라 칭할 수 있다.
동심구의 표면에 매핑되는 정보들은 다양한 투영 방법에 따라 2차원 정보로 변환될 수 있다. 사용된 투영 방법은 시그널링 또는 메타데이터를 이용하여 저장하고 전송될 수 있다.
동심구의 정보가 변환된 2차원 정보는 전방향 영상 정보(omnidirectional image information)일 수 있다. 상기 전방향 영상 정보는 비디오 인코더에 의하여, 압축될 수 있다. 상기 전방향 영상 정보는 ERP 영상으로 표현할 수 있다.
복수의 동심구들은 각각 전방향 영상 정보들로 변환되는데, 복수의 동심구들이 인접하여 위치할 경우, 즉, 동심구들의 중심점이 인접하여, 동심구들이 서로 겹치는 경우, 동심구 표면의 정보들은 중복되는 정보를 포함할 수 있다.
이때, 비디오 인코더에 의하여, 압축될 때, 복수의 동심구들의 중복되는 정보에 기초하여, 중복되는 영역의 영상 데이터를 처리할 수 있다.
도 34는 본 개시에 따른 영상 정보를 처리하는 방법을 설명하기 위한 예시도이다.
차량에 복수의 영상 취득 장치들(3410, 3420)이 장착된 경우, 영상 취득 장치들의 중심점은 서로 상이하고, 각 영상 취득 장치에 의하여 취득된 포인트들은 서로 다른 중심점에 따라 분리된다. 도 34를 참고하면, 제1 영상 취득 장치(3410)는 제1 동심구(3430)에 대응되고, 제2 영상 취득 장치(3420)는 제2 동심구(3440)에 대응된다. 제1 동심구(3430)와 제2 동심구(3440)는 서로 겹치는 영역(3450)이 존재한다. 제1 동심구(3430)의 정보와 제2 동심구(3440)의 정보를 동시에 고려하여, 서로 겹치는 영역(3450)의 3차원 정보를 취득할 수 있다.
도 35는 본 개시에 따른 영상 정보를 처리하는 방법을 설명하기 위한 예시도이다.
도 34의 겹치는 영역(3450)에 대한 3차원 정보를 처리하기 위하여, 스케일러블 코덱 방법, 서브 채널 방법 또는 프레임의 교차 배정 방법 중 어느 하나의 방법을 사용할 수 있다.
상기 스케일러블 코덱 방법에 따르면, 제1 동심구의 정보에 제2 동심구의 정보를 부가하여 제1 동심구의 정보를 강화한 제1 ERP 영상을 생성하고, 제1 동심구의 정보만에 기초하여 제2 ERP 영상을 생성하여, 스케일러블 영상을 생성할 수 있다.
상기 서브 채널 방법에 따르면, 제1 동심구의 정보에 기초하여 제3 ERP 영상을 생성하고, 제2 동심구 정보에 기초하여 제4 ERP 영상을 생성할 수 있다. 메인 채널을 이용하여 제1 ERP 영상을 처리하고, 서브 채널을 이용하여 제2 ERP 영상을 처리할 수 있다.
상기 프레임의 교차 배정 방법에 따르면, 제1 동심구의 정보를 토대로 생성된 제1 ERP 영상 프레임들과 제2 동심구의 정보를 토대로 생성된 제2 ERP 영상 프레임들은 교차하여 배열함으로써, 제1 ERP 영상 프레임과 제2 ERP 영상 프레임을 조합하여, 겹쳐진 영역(3450)을 효율적으로 처리할 수 있다.
하나의 동심구에 대응하는 색상 ERP 영상, 깊이 ERP 영상 및 시간 ERP 영상은 함께 인코딩될 수 있고, 색상 ERP 영상, 깊이 ERP 영상 및 시간 ERP 영상 별로 그루핑되어 별도로 인코딩될 수도 있다. 즉, 색상 ERP 영상들만이 따로 인코딩되고, 깊이 ERP 영상들만이 따로 인코딩되고, 색상 ERP 영상들만이 따로 인코딩될 수 있다.
도 36은 본 개시에 따른 프레임 내 압축 과정(intra frame compression process)을 설명하기 위한 모식도이다.
본 개시에 따른 동적 포인트 클라우드 영상의 인코딩 방법은 3가지 별개의 비디오 시퀀스들로서, 동적 포인트 클라우드의 지오메트리 영상 정보, 텍스처 영상 정보 및 속성 영상 정보를 기존의 비디오 코덱을 이용하는 방법들이 제안되고 있다.
상기 세가지 비디오 시퀀스들을 해석하기 위하여 필요한 별개의 메타데이터는 분리되어 압축된다. 상기 메타데이터는 점유 지도 정보(occupancy map information)와 보조 패치 정보(auxiliary patch information)을 포함할 수 있다. 상기 메타데이터는 전체 비트스트림 중 작은 양이고, 소프트웨어 구현을 사용하여, 효율적으로 인코딩되고 디코딩될 수 있다. 대량의 정보들(지오메트리 영상 정보, 텍스처 영상 정보 및 속성 영상 정보)은 비디오 코덱(video compression)에 의하여 수행될 수 있다.
도 37은 본 개시에 따른 프레임 간 압축 과정(inter frame compression process)을 설명하기 위한 모식도이다.
패치 생성 과정은 포인트 클라우드를 부드러운 경계들을 가지는 최소의 패치들로 분해하면서, 재구성 에러를 최소하는 것을 목적으로 한다. 인코더들은 상술한 분해를 생성하기 위하여 다양한 방법을 실행할 수 있다.
각 포인트에서의 노멀이 예측될 수 있다. 예측된 노멀들에 기초하여, 각 포인트와 XY 평면, YZ 평면 또는 ZX 평면 중 어느 하나와 연관시킴으로써, 포인트 클라우드의 초기 클러스터링이 획득될 수 있다.
보다 자세하게, 각 포인트는 가장 가까운 노멀을 가지는 평면과 연관될 수 있다.
각 포인트의 노멀과 가장 가까운 이웃들의 클러스터 인덱스들에 기초하여 각 포인트와 연관된 클러스터 인덱스를 반복적으로 업데이트함으로써, 초기 클러스터링은 개량된다.
마지막 과정은 연결된 컴포넌트 추출 과정을 적용함으로써, 패치들을 추출하는 것을 포함한다.
추출된 패치들에 기초하여 패킹 과정을 수행할 수 있다. 상기 패킹 과정은 추출된 패치들을 2차원 그리드(grid)에 매핑한다. 상기 2차원 그리드의 사용되지 않는 영역을 최소화하고, 상기 2차원 그리드의 모든 MxM(예컨대, 16x16) 블럭이 고유한 패치와 연관되는 것을 보장하도록 추출된 패치들을 상기 2차원 그리드에 매핑한다. 상기 사용되지 않는 영역은 점유 지도 정보로서 저장된다.
상기 M은 인코더에 의하여 정의되고, 비트스트림에 인코딩되는 파라미터이다. 상기 M은 디코더에게 설정된다.
도 38은 본 개시에 따라서, 패치들을 그리드에 삽입하는 방법을 설명하기 위한 예시도이다.
단순하게, 패치들을 WxH 그리드에 반복적으로 삽입할 수 있다. W와 H는 사용자 정의 파라미터들이다. 인코딩되는 지오메트리 비디오 이미지, 텍스처 비디오 이미지 및 동작 비디오 이미지의 해상도에 대응되도록 W와 H가 결정된다. 예컨대, 오브젝트의 표면의 영상들을 패치 단위(16x16)로 추출하여, WxH 그리드에 순차적으로 배치할 수 있다. 추출된 패치들의 인접한 위치에 따라 WxH 그리드에 추출된 패치들이 인접하도록 배치함으로써, 복원시 인접한 패치들을 동시에 처리하여 연산 속도를 개선할 수 있다.
통상 패치들의 위치는 래스터 스캔 순서로 적용되는 철저한 검색을 통해 결정된다. 중첩되지 않는 패치의 삽입을 보장 할 수 있는 첫 번째 위치가 선택되고 패치로 덮힌 격자 셀이 사용 된 것으로 표시된다. 현재 해상도 이미지의 빈 공간이 패치에 적합하지 않으면 그리드의 높이 H를 증가시켜서, WxH 그리드를 확대할 수 있다. 확대된 WxH 그리드에 대하여 래스터 스캔 순서로 적용되는 검색이 다시 적용된다. 모든 패치들을 WxH 그리드에 삽입하면 사용된 그리드 셀에 맞추어 H 값을 조정한다. 즉, WxH 그리드의 높이를 줄인다. 비디오 시퀀스의 경우 전체 GOP(goal of production)에 대해 W 및 H를 결정하기 위하여 별도의 프로세스를 수행할 수 있다.
모든 패치들을 그리들에 매핑한 후, 포인트 클라우드 영상의 지오메트리 영상 정보, 텍스처 영상 정보 및 동작 영상 정보를 생성할 수 있다.
상기 지오메트리 영상, 텍스처 영상 및 동작 영상은 비디오 프레임들로서 저장되고, 비디오 코덱을 사용하여 압축될 수 있다.
본 개시에 따른 3차원 영상 처리 방법은 점유 지도(occupancy map) 정보를 생성하는 과정을 더 포함할 수 있다.
점유 지도는 그리드의 각 셀에 대하여, 각 셀이 빈 것인지 포인트 클라우드에 속하는지를 지시하는 이진 지도(binary map)을 포함한다.
2차원 그리드의 하나의 셀은 이미지 생성 과정 동안 하나의 픽셀을 생성한다.
메타데이터는 모든 패치에 대하여 인코딩되고, 디코딩될 수 있다.
상기 메타데이터는 투영 평면의 인덱스, 2차원 경계 상자(2D bounding box) 및 패치의 3차원 위치 중 적어도 하나를 포함할 수 있다.
또한, 각 MxM 블럭을 위한 각 MxM 블럭과 관련된 패치 인덱스를 제공하는 매핑 정보가 인코딩되고 디코딩될 수 있다.
리샘플링 블럭은 프레임 간 인코딩 프로세스(inter frame encoding process)에서 사용된다. 변형 필드가 가능한 한 매끄럽도록 하면서 참조 프레임을 변형하여 인코딩될 대상 프레임과 동일한 모양으로 만든다. 변형된 참조 프레임은 최종적으로 다시 채색되어 대상 프레임의 리샘플링된 버전으로 간주된다.
프레임 간 인코딩/디코딩 과정에서 3차원 동작 보상(3D motion compensation) 동작이 수행될 수 있다. 참조 포인트 클라우드의 위치와 변형된 버전의 포인트 클라우드 위치 사이의 차이를 계산하고, 획득된 동작 필드는 참조 프레임의 포인트와 연관된 3D 동작 벡터들을 포함할 수 있다. 참조 프레임의 3D에서 2D 매핑은 동작 필드를 2D 이미지로 변환하는 데 사용될 수 있다.
동작 영상의 각각의 블럭에 대한 스케일링 팩터를 제공하는 스케일 맵이 인코딩될 수 있다.
인코더는 동적 포인트 클라우드의 하나 이상의 프레임들을 기술하는 파일들의 집합을 입력으로 사용할 수 있다. 포인트 클라우드의 위치(지오메트리)와 색상(텍스처, 질감)은 모두 정수 값들이다. 인코더의 출력은 디스크에 기록되는 이진 스트림(binary stream)이다.
디코더는 압축 비트 스트림 파일을 입력으로 받아, 정수 위치들과 색상들로 재구성된 파일들의 집합을 생성한다.
파라미터들은 명령 행 변수들(command line arguments)로부터 획득될 수 있고, 비디오 코덱은 외부 프로세스로 활용될 수 있다. 인코더/디코더 실행 파일에 대한 경로는 파라미터들로 전달될 수 있다. 메타데이터는 상기 파라미터들을 포함할 수 있다. 지오메트리 영상, 텍스처 영상 및 동작 영상의 비디오 스트림을 인코딩하는데 사용되는 파라미터들은 별도의 구성 파일(예컨대, 메타데이터)에 기술될 수 있다. 상기 구성 파일과 연관된 경로도 파라미터들로서 전달될 수 있다.
도 39는 본 개시에 따른 영상을 전송하는 방법을 설명하기 위한 절차흐름도이다.
본 개시에 따른 영상을 전송하는 방법은, 3차원 입체 영상을 획득하는 과정과, 상기 3차원 입체 영상으로부터 색상 등장방형 투영(ERP, equiretangular projection) 영상을 생성하는 과정과, 상기 3차원 입체 영상으로부터 깊이 ERP 영상을 생성하는 과정과 상기 색상 ERP 영상과 상기 깊이 ERP 영상을 전송하는 과정을 포함할 수 있다.
상기 색상 ERP 영상의 각 픽셀은 상기 깊이 ERP 영상의 각 픽셀에 대응되고, 상기 색상 ERP 영상의 각 픽셀은 색상 정보를 포함하고, 상기 깊이 ERP 영상의 각 픽셀은 상기 색상 ERP 영상의 각 픽셀의 깊이 정보를 포함할 수 있다.
상기 3차원 입체 영상은 오브젝트 영상 정보 및 장면 영상 정보 중 어느 하나일 수 있다.
오브젝트 영상 정보는 하나 이상의 오브젝트들의 3차원 영상 정보를 포함한다. 상기 하나 이상의 오브젝트들을 외부에서 커버하는 패치들을 배치시켜, 오브젝트의 포인트들을 상기 패치들 중 어느 하나의 패치에 매핑시키고, 상기 매핑된 패치를 배열함으로써, 2차원 영상을 생성할 수 있다. 오브젝트의 특정 포인트 근방에 패치를 위치시키고, 패치에 대응되는 포인트들과 패치 사이의 거리의 합이 최소가 되도록 패치의 각도를 조정하여 패치를 배치할 수 있다. 최초의 패치를 기준으로 상하좌우 방향으로 패치를 더 생성할 수 있으며, 포인트들이 존재하지 않는 방향으로는 패치를 더 생성하지 아니한다.
오브젝트의 모든 포인트들을 매핑할 수 있도록 계속하여 패치를 생성한다. 생성된 패치들은 2차원 영상에 저장되며, 생성된 패치들의 깊이 정보, 투명도 정보, 반사율 정보 등은 다른 2차원 영상에 저장될 수 있다.
패치들의 색상 정보를 포함하는 2차원 영상은 색상 2차원 영상이라 하고, 패치들의 깊이 정보를 포함하는 2차원 영상은 깊이 2차원 영상이라고 할 수 있다.
상기 색상 2차원 영상은 지오메트리 영상 생성 과정에서 생성될 수 있다. 상기 깊이 2차원 영상은 텍스처 영상 생성 과정에서 생성될 수 있다. 상기 생성된 색상 2차원 영상과 상기 깊이 2차원 영상은 패딩되고, 압축되어 비트스트림으로 출력될 수 있다.
장면 영상 정보는 영상 취득 장치(예컨대, LiDAR)로부터 방출된 빛이 오브젝트에 의하여 반사된 것을 캡처하여, 오브젝트의 반사된 위치까지의 거리를 측정한다. LiDAR는 일반적으로 반사경을 360도 회전시키면서 반사된 빛을 감지하는 것이다. 반사경이 360도 수평 회전할 때마다, 반사경의 수직 각도를 변경시켜서 3차원 영상 데이터를 획득할 수 있다. LiDAR를 이용하여, 깊이 정보를 획득할 수 있다.
전방향 카메라를 이용하여 색상 전방향 영상을 획득할 수 있다. 전방향 카메라는 하나 이상의 카메라를 포함할 수 있고, 상기 하나 이상의 카메라는 어안(fisheye) 렌즈 또는 광각 렌즈를 포함할 수 있다. 색상 전방향 영상과 깊이 전방향 영상에 기초하여, 3차원 장면 영상 정보를 생성할 수 있고, 상기 3차원 장면 영상 정보로부터 상기 색상 ERP 영상과 깊이 ERP 영상을 획득할 수도 있다. 또는, LiDAR로부터 획득한 깊이 전방향 영상을 깊이 ERP 영상으로 변환하고, 색상 전방향 영상을 색상 ERP 영상으로 변환할 수 있다.
앞서 설명한 동작들은 해당 프로그램 코드를 저장한 메모리 장치를 통신 또는 방송 시스템의 엔터티, 기능(Function), 기지국, 단말 또는 차량 장치 내의 임의의 구성부에 구비함으로써 실현될 수 있다. 즉, 엔터티, 기능(Function), 기지국, 단말 또는 차량 장치의 제어부는 메모리 장치 내에 저장된 프로그램 코드를 프로세서 혹은 CPU(Central Processing Unit)에 의해 읽어내어 실행함으로써 앞서 설명한 동작들을 실행할 수 있다.
본 명세서에서 설명되는 엔터티, 기능(Function), 기지국, 단말 또는 차량 장치의 다양한 구성부들과, 모듈(module)등은 하드웨어(hardware) 회로, 일 예로 상보성 금속 산화막 반도체(complementary metal oxide semiconductor) 기반 논리 회로와, 펌웨어(firmware)와, 소프트웨어(software) 및/혹은 하드웨어와 펌웨어 및/혹은 머신 판독 가능 매체에 삽입된 소프트웨어의 조합과 같은 하드웨어 회로를 사용하여 동작될 수도 있다. 일 예로, 다양한 전기 구조 및 방법들은 트랜지스터(transistor)들과, 논리 게이트(logic gate)들과, 주문형 반도체와 같은 전기 회로들을 사용하여 실시될 수 있다.
한편, 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (14)

  1. 영상을 전송하는 방법에 있어서,
    3차원 입체 영상을 획득하는 과정;,
    상기 3차원 입체 영상으로부터 획득된 장면 영상 정보에 기초하여, 색상 등장방형 투영(ERP, equiretangular projection) 영상 및 깊이 ERP 영상을 생성하는 과정;
    상기 색상 ERP 영상과 상기 깊이 ERP 영상을 전송하는 과정; 및
    상기 색상 ERP 영상 및 상기 깊이 ERP 영상에 대한 점유 지도 정보와 보조 패치 정보를 포함하는 메타 데이터를 전송하는 과정을 포함하고,
    상기 색상 ERP 영상의 픽셀들은 상기 깊이 ERP 영상의 픽셀들에 대응되고, 상기 색상 ERP 영상의 픽셀은 색상 정보를 포함하고, 상기 깊이 ERP 영상의 픽셀은 상기 색상 ERP 영상의 대응되는 픽셀의 깊이 정보를 포함하며,
    상기 점유 지도 정보는 색상 ERP 영상 및 깊이 ERP 영상의 영상 데이터가 없는 위치를 지시하는 정보를 포함하는 영상을 전송하는 방법.
  2. 제1항에 있어서,
    상기 3차원 입체 영상으로부터 색상 ERP 영상 및 깊이 ERP 영상을 생성하는 과정은,
    3차원 좌표 상의 특정점을 중심점으로 하는 동심구를 형성하는 과정과,
    상기 3차원 입체 영상의 포인트들을 상기 동심구의 표면에 매핑하는 과정과,
    상기 매핑된 포인트들의 색상 정보에 기초하여, 상기 색상 ERP 영상을 생성하는 과정과,
    상기 매핑된 포인트들의 깊이 정보에 기초하여, 상기 깊이 ERP 영상을 생성하는 과정을 포함하는 영상을 전송하는 방법.
  3. 제1항에 있어서,
    상기 3차원 입체 영상은,
    포인트들의 3차원 위치 정보 및 상기 포인트들의 색상 정보를 포함하는 것인 영상을 전송하는 방법.
  4. 제3항에 있어서,
    상기 3차원 입체 영상은,
    상기 포인트들의 텍스처 정보, 상기 포인트들의 반사율 정보 및 상기 포인트들의 투명도 정보 중 적어도 하나를 더 포함하는 영상을 전송하는 방법.
  5. 삭제
  6. 3차원 입체 영상을 복원하는 방법에 있어서,
    색상 ERP 영상과 깊이 ERP 영상을 수신하는 과정;
    상기 색상 ERP 영상 및 상기 깊이 ERP 영상에 대한 점유 지도 정보와 보조 패치 정보를 포함하는 메타 데이터를 수신하는 과정; 및
    상기 색상 ERP 영상과 상기 깊이 ERP 영상에 기초하여 3차원 입체 영상을 복원하는 과정을 포함하고,
    상기 색상 ERP 영상과 깊이 ERP 영상은 상기 3차원 입체 영상으로부터 획득된 장면 영상 정보에 기초하여 생성되며,
    상기 색상 ERP 영상의 픽셀들은 상기 깊이 ERP 영상의 픽셀들에 대응되고, 상기 색상 ERP 영상의 픽셀은 색상 정보를 포함하고, 상기 깊이 ERP 영상의 픽셀은 상기 색상 ERP 영상의 대응되는 픽셀의 깊이 정보를 포함하며,
    상기 점유 지도 정보는 색상 ERP 영상 및 깊이 ERP 영상의 영상 데이터가 없는 위치를 지시하는 정보를 포함하는 영상을 복원하는 방법.
  7. 제6항에 있어서,
    상기 색상 ERP 영상과 상기 깊이 ERP 영상에 기초하여 3차원 입체 영상을 복원하는 과정은,
    상기 깊이 ERP 영상의 픽셀의 깊이 정보와 상기 깊이 ERP 영상의 상기 픽셀의 위치에 기초하여, 상기 픽셀에 대응되는 포인트의 위치 정보를 획득하고, 상기 깊이 ERP 영상의 상기 픽셀에 대응하는 상기 색상 ERP 영상의 픽셀의 색상 정보를 상기 대응되는 포인트의 위치 정보와 결합하여, 상기 3차원 입체 영상의 포인트의 위치 정보 및 색상 정보를 복원하는 과정을 포함하는 영상을 복원하는 방법.
  8. 제6항에 있어서,
    상기 3차원 입체 영상은,
    포인트들의 3차원 위치 정보 및 상기 포인트들의 색상 정보를 포함하는 것인 영상을 복원하는 방법.
  9. 제8항에 있어서,
    상기 3차원 입체 영상은,
    상기 포인트들의 텍스처 정보, 상기 포인트들의 반사율 정보 및 상기 포인트들의 투명도 정보 중 적어도 하나를 더 포함하는 영상을 복원하는 방법.
  10. 삭제
  11. 영상을 전송하는 장치에 있어서,
    송수신기와,
    상기 송수신기와 연결되는 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    3차원 입체 영상을 획득하고, 상기 3차원 입체 영상으로부터 획득된 장면 영상 정보에 기초하여, 색상 등장방형 투영(ERP, equiretangular projection) 영상 및 깊이 ERP 영상을 생성하고, 상기 색상 ERP 영상과 상기 깊이 ERP 영상을 전송하고, 상기 색상 ERP 영상 및 상기 깊이 ERP 영상에 대한 점유 지도 정보와 보조 패치 정보를 포함하는 메타 데이터를 전송하도록 구성되고,
    상기 색상 ERP 영상의 픽셀들은 상기 깊이 ERP 영상의 픽셀들에 대응되고, 상기 색상 ERP 영상의 픽셀은 색상 정보를 포함하고, 상기 깊이 ERP 영상의 픽셀은 상기 색상 ERP 영상의 대응되는 픽셀의 깊이 정보를 포함하며,
    상기 점유 지도 정보는 색상 ERP 영상 및 깊이 ERP 영상의 영상 데이터가 없는 위치를 지시하는 정보를 포함하는 영상을 전송하는 장치.
  12. 제11항에 있어서,
    상기 적어도 하나의 프로세서는,
    제2항 내지 제4항의 방법 중 어느 하나의 방법을 수행하는 영상을 전송하는 장치.
  13. 3차원 입체 영상을 복원하는 장치에 있어서,
    송수신기와,
    상기 송수신기와 연결되는 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    색상 ERP 영상과 깊이 ERP 영상을 수신하고, 상기 색상 ERP 영상 및 상기 깊이 ERP 영상에 대한 점유 지도 정보와 보조 패치 정보를 포함하는 메타 데이터를 수신하고, 상기 색상 ERP 영상과 상기 깊이 ERP 영상에 기초하여 3차원 입체 영상을 복원하도록 구성되고,
    상기 색상 ERP 영상과 깊이 ERP 영상은 상기 3차원 입체 영상으로부터 획득된 장면 영상 정보에 기초하여 생성되며,
    상기 색상 ERP 영상의 픽셀들은 상기 깊이 ERP 영상의 픽셀들에 대응되고, 상기 색상 ERP 영상의 픽셀은 색상 정보를 포함하고, 상기 깊이 ERP 영상의 픽셀은 상기 색상 ERP 영상의 대응되는 픽셀의 깊이 정보를 포함하며,
    상기 점유 지도 정보는 색상 ERP 영상 및 깊이 ERP 영상의 영상 데이터가 없는 위치를 지시하는 정보를 포함하는 영상을 복원하는 장치.
  14. 제13항에 있어서,
    상기 적어도 하나의 프로세서는,
    제7항 내지 제9항의 방법 중 어느 하나의 방법을 수행하는 영상을 복원하는 장치.
KR1020207017271A 2017-11-16 2018-11-16 3차원 영상을 처리하는 방법 및 장치 KR102642418B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020170153346 2017-11-16
KR20170153346 2017-11-16
PCT/KR2018/014059 WO2019098728A1 (ko) 2017-11-16 2018-11-16 3차원 영상을 처리하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200078666A KR20200078666A (ko) 2020-07-01
KR102642418B1 true KR102642418B1 (ko) 2024-03-04

Family

ID=66539823

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207017271A KR102642418B1 (ko) 2017-11-16 2018-11-16 3차원 영상을 처리하는 방법 및 장치

Country Status (3)

Country Link
US (1) US11212507B2 (ko)
KR (1) KR102642418B1 (ko)
WO (1) WO2019098728A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220130075A1 (en) * 2019-03-15 2022-04-28 Lg Electronics Inc. Device and method for processing point cloud data
CN113785590A (zh) * 2019-05-10 2021-12-10 松下电器（美国）知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置及三维数据解码装置
WO2021045536A1 (en) * 2019-09-04 2021-03-11 Wilus Institute Of Standards And Technology Inc. Video encoding and decoding acceleration utilizing imu sensor data for cloud virtual reality
KR102495926B1 (ko) * 2020-11-26 2023-02-06 주식회사 라온솔루션 연산량을 분배할 수 있는 스마트 아이티 레퍼런스 보드 시스템
CN113393572B (zh) * 2021-06-17 2023-07-21 北京千丁互联科技有限公司 点云数据生成方法、装置、移动终端和可读存储介质
US11961184B2 (en) 2021-09-17 2024-04-16 Samsung Electronics Co., Ltd. System and method for scene reconstruction with plane and surface reconstruction
WO2023112105A1 (ja) * 2021-12-13 2023-06-22 日本電信電話株式会社 符号化装置、符号化方法及びプログラム
US20230219578A1 (en) * 2022-01-07 2023-07-13 Ford Global Technologies, Llc Vehicle occupant classification using radar point cloud
WO2024101776A1 (ko) * 2022-11-09 2024-05-16 네이버랩스 주식회사 3차원 빌딩 모델 및 도로 모델을 이용한 3차원 거리뷰 모델 생성 방법 및 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100723421B1 (ko) * 2006-03-13 2007-05-30 삼성전자주식회사 포인트 보간에 의한 렌더링 방법, 포인트 보간에 의한 렌더링 장치 및 기록매체

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101972962B1 (ko) * 2009-02-19 2019-04-26 톰슨 라이센싱 3ｄ 비디오 포맷
US9183631B2 (en) 2012-06-29 2015-11-10 Mitsubishi Electric Research Laboratories, Inc. Method for registering points and planes of 3D data in multiple coordinate systems
US9930315B2 (en) * 2015-04-29 2018-03-27 Lucid VR, Inc. Stereoscopic 3D camera for virtual reality experience
KR102458339B1 (ko) * 2015-08-07 2022-10-25 삼성전자주식회사 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
EP3144898A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing Method and system for determination of intrinsic images from two dimensional images in a video sequence
KR20170043791A (ko) * 2015-10-14 2017-04-24 한국전자통신연구원 360 가상 현실 서비스를 위한 영상 포맷 및 그 장치
EP3493165A4 (en) * 2016-07-29 2020-01-15 Sony Corporation IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
KR101933037B1 (ko) * 2017-03-24 2018-12-27 주식회사 씨오티커넥티드 360도 동영상에서의 가상현실 재생 장치
US10375375B2 (en) * 2017-05-15 2019-08-06 Lg Electronics Inc. Method of providing fixed region information or offset region information for subtitle in virtual reality system and device for controlling the same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100723421B1 (ko) * 2006-03-13 2007-05-30 삼성전자주식회사 포인트 보간에 의한 렌더링 방법, 포인트 보간에 의한 렌더링 장치 및 기록매체

Also Published As

Publication number Publication date
US20200389639A1 (en) 2020-12-10
US11212507B2 (en) 2021-12-28
KR20200078666A (ko) 2020-07-01
WO2019098728A1 (ko) 2019-05-23

Similar Documents

Publication Publication Date Title
KR102642418B1 (ko) 3차원 영상을 처리하는 방법 및 장치
CN108605093B (zh) 用于处理360度图像的方法和设备
KR102609776B1 (ko) 포인트 클라우드 데이터 처리 방법 및 장치
KR102634079B1 (ko) 포인트 클라우드 데이터 처리 장치 및 방법
US20220343548A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20220366610A1 (en) Point cloud data processing method and apparatus
US11902348B2 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20220256190A1 (en) Point cloud data processing apparatus and method
US20220239945A1 (en) Apparatus and method for processing point cloud data
CN115428467B (zh) 点云数据发送设备和方法、点云数据接收设备和方法
KR20190089115A (ko) 포인트 클라우드 압축 방법 및 장치
US20220377327A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20230328285A1 (en) Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
US20230290006A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20210168394A1 (en) Image processing apparatus and method
EP4372420A1 (en) Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
EP4161074A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device and point cloud data reception method
KR20230173094A (ko) 포인트 클라우드 데이터 전송 방법, 포인트 클라우드데이터 전송 장치, 포인트 클라우드 데이터 수신 방법 및 포인트 클라우드 데이터 수신 장치
US20240029311A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20230412837A1 (en) Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
US20220353531A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20230316581A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20240020885A1 (en) Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
US20240179347A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
EP4311239A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant