KR20210047278A - Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체 - Google Patents
Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체 Download PDFInfo
- Publication number
- KR20210047278A KR20210047278A KR1020207037428A KR20207037428A KR20210047278A KR 20210047278 A KR20210047278 A KR 20210047278A KR 1020207037428 A KR1020207037428 A KR 1020207037428A KR 20207037428 A KR20207037428 A KR 20207037428A KR 20210047278 A KR20210047278 A KR 20210047278A
- Authority
- KR
- South Korea
- Prior art keywords
- scene
- real scene
- pose data
- scene image
- virtual object
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G06K9/00624—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
본 발명은 AR 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체를 제공하고, 상기 AR 장면 이미지 처리 방법은, 증강 현실(AR) 기기의 촬영 포즈 데이터를 획득하는 단계; 촬영 포즈 데이터, 추가 가상 대상 정보 및 현실 장면을 나타내기 위한 3 차원 장면 모델에서의 가상 대상의 포즈 데이터에 기반하여, 상기 현재 장면에서 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠테이션 특수 효과 정보를 획득하는 단계; 및 로프리젠테이션 특수 효과 정보를 기반으, AR 기기를 통해 AR 장면 이미지를 표시하는 단계를 포함한다.
Description
관련 출원의 상호 참조
본 발명은 출원 번호가 CN201910979900.8이고, 출원일이 2019년 10월 15일인 중국 특허 출원에 기반하여 제출하였고, 상기 중국특허 출원의 우선권을 주장하고, 상기 중국 특허 출원의 모든 내용은 참조로서 본 출원에 인용된다.
본 발명은 증강 현실 기술분야에 관한 것으로, 특히 AR 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체에 관한 것이다.
증강 현실(Augmented Reality, AR) 기술은, 엔티티 정보(시각 정보, 소리, 촉각 등)를 시뮬레이션시킨 후, 현실 세계에 중첩시킴으로써, 실제 환경과 가상 물체를 동일한 화면 또는 공간에 제시한다. 최근 몇 년 동안, AR 기기는 점점 더 많은 분야에서 널리 상요되어, AR 기기로 하여금 생활, 업무 및 오락에서 중요한 역할을 하도록 하며, AR 기기에서 표현되는 증강 현실 장면의 효과를 최적화하는 것이 점점 더 중요해지고 있다.
본 발명의 실시예는 AR 장면 이미지 처리 방법 및 장치, 전자 기기 및 저장 매체를 제안한다.
본 발명의 실시예의 기술방안은 하기와 같이 구현된다.
본 발명의 실시예는 AR 장면 이미지 처리 방법을 제공하고, 상기 AR 장면 이미지 처리 방법은, AR 기기의 촬영 포즈 데이터를 획득하는 단계; 상기 촬영 포즈 데이터 및 현실 장면을 나타내기 위한 3 차원 장면 모델에서의 가상 대상의 포즈 데이터에 기반하여, 상기 현재 장면에서 상기 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠테이션 특수 효과 정보를 획득하는 단계; 및 상기 프리젠테이션 특수 효과 정보에 기반하여, 상기 AR 기기를 통해 AR 장면 이미지를 표시하는 단계를 포함한다.
본 발명의 실시예는 AR 기기의 촬영 포즈 데이터, 및 현실 장면을 나타내기 위한 3 차원 장면 모델에서 기설정된 가상 대상의 포즈 데이터에 기반하여, 현실 장면에서 가상 대상의 프리젠테이션 특수 효과 정보를 결정하고, 여기서, 3 차원 장면 모델은 현실 장면을 나타낼 수 있으므로, 상기 3 차원 장면 모델에 기반하여 구축된 가상 대상의 포즈 데이터는 현실 장면에 더 잘 융합될 수 있고, 3 차원 장면 모델에서 상기 가상 대상의 포즈 데이터로부터, AR 기기의 포즈 데이터와 매칭되는 프리젠테이션 특수 효과 정보를 결정함으로써, AR 기기에 현실감이 있는 증강 현실 장면의 효과를 표시할 수 있다.
하나의 가능한 실시 형태에서, 획득된 상기 촬영 포즈 데이터 및 현실 장면을 나타내기 위한 3 차원 장면 모델에서의 가상 대상의 포즈 데이터에 기반하여, 상기 현재 장면에서 상기 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠테이션 특수 효과 정보를 획득하는 단계는, 획득된 상기 촬영 포즈 데이터, 상기 3 차원 장면 모델에서 상기 가상 대상의 포즈 데이터 및 상기 3 차원 장면 모델에 기반하여, 상기 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠테이션 특수 효과 정보를 획득하는 단계를 포함한다.
상기 실시예는 AR 기기의 촬영 포즈 데이터, 가상 대상이 3 차원 장면 모델 중의 포즈 데이터 및 3 차원 장면 모델을 결합하여 현실 장면에서 가상 대상의 프리젠테이션 특수 효과 정보를 결정하고, 가상 대상이 3 차원 장면 모델에 대응하는 현실 장면 중의 엔티티 물체에 의해 가려지는 경우, 3 차원 장면 모델을 통해 가상 대상의 차폐 효과를 구현할 수 있어, AR 기기에 현실감이 있는 증강 현실 장면을 표시할 수 있다.
하나의 가능한 실시 형태에서, 상기 3차원 장면 모델은, 상기 현실 장면에 대응하는 복수 개의 현실 장면 이미지를 획득하는 단계; 및 상기 복수 개의 현실 장면 이미지에 기반하여, 상기 3 차원 장면 모델을 생성하는 단계에 따라 생성된다.
하나의 가능한 실시 형태에서, 상기 복수 개의 현실 장면 이미지에 기반하여, 상기 3 차원 장면 모델을 생성하는 단계는, 획득된 복수 개의 현실 장면 이미지에서의 각 현실 장면 이미지로부터 복수 개의 특징점을 추출하는 단계; 및 추출된 복수 개의 특징점 및 상기 현실 장면과 매칭되는 미리 저장된 3차원 샘플 맵에 기반하여, 상기 3 차원 장면 모델을 생성하는 단계 - 상기 3 차원 샘플 맵은 상기 현실 장면 형태 특징을 나타내는 미리 저장된 3 차원 맵임 - 를 포함한다.
본 발명의 실시예는 복수 개의 현실 장면 이미지에서의 각 현실 장면 이미지의 복수 개의 특징점을 통해, 조밀한 포인트 클라우드를 구성하고, 상기 조밀한 포인트 클라우드 및 사이즈 마크를 가진 3 차원 샘플 맵을 통해 현실 장면을 나타내는 3 차원 모델을 생성하고, 동등한 비율의 좌표 변환에 기반하여, 현실 장면을 나타내는 3 차원 장면 모델을 획득하며, 상기 방식을 통해 획득한 3 차원 장면 모델은 현실 장면을 정확하게 나타낼 수 있다.
하나의 가능한 실시 형태에서, 상기 AR 기기의 촬영 포즈 데이터를 획득하는 단계는, 상기 AR 기기에 의해 촬영된 현실 장면 이미지를 획득하는 단계; 및 상기 현실 장면 이미지 및 포지셔닝을 위한 미리 저장된 제1 뉴럴 네트워크 모델에 기반하여, 상기 현실 장면 이미지에 대응하는 촬영 포즈 데이터를 결정하는 단계 - 상기 촬영 포즈 데이터는 촬영 위치 정보 및 촬영 각도 정보 중 적어도 하나를 포함함 - 를 포함한다.
하나의 가능한 실시 형태에서, 상기 현실 장면을 미리 촬영하여 획득한 복수 개의 샘플 사진 및 각 샘플 사진에 대응하는 촬영 포즈 데이터에 기반하여, 상기 제1 뉴럴 네트워크 모델을 훈련시키는 단계에 따라 상기 제1 뉴럴 네트워크 모델을 훈련시킨다.
본 발명의 실시예는 딥 러닝 방식에 기반하여 현실 장면 이미지에 대응하는 촬영 포즈 데이터를 결정하고, 현실 장면을 미지 촬영하여 획득한 샘플 사진이 충분한 경우, 촬영 포즈 데이터의 정확도가 더 높은 제1 뉴럴 네트워크 모델을 인식하여 획득할 수 있고, 상기 제1 뉴럴 네트워크 모델 즉 AR 기기에 의해 촬영된 현실 장면 이미지에 기반하여, 현실 장면 이미지에 대응하는 정확도가 높은 촬영 포즈 데이터를 결정할 수 있다.
하나의 가능한 실시 형태에서, 상기 AR 기기의 촬영 포즈 데이터를 획득하는 단계는, 상기 AR 기기에 의해 촬영된 현실 장면 이미지를 획득하는 단계; 및 상기 현실 장면 이미지 및 정렬된 3 차원 샘플 맵에 기반하여, 상기 현실 장면 이미지에 대응하는 촬영 포즈 데이터를 결정하는 단계 - 상기 촬영 포즈 데이터는 촬영 위치 정보 및 촬영 각도 정보 중 적어도 하나를 포함하고; 상기 정렬된 3 차원 샘플 맵은 상기 현실 장면을 미리 촬영하여 획득한 샘플 맵 라이브러리와 미리 저장된 3 차원 샘플 맵에 기반하여 특징점 정렬을 수행한 후의 3 차원 샘플 맵이며; 상기 미리 저장된 3 차원 샘플 맵은 상기 현실 장면 형태 특징을 나타내는 미리 저장된 3 차원 맵임 - 를 포함한다.
하나의 가능한 실시 형태에서, 상기 현실 장면 이미지 및 정렬된 3 차원 샘플 맵에 기반하여, 상기 현실 장면 이미지에 대응하는 촬영 포즈 데이터를 결정하는 단계는, 상기 정렬된 3 차원 샘플 맵에 기반하여, 상기 현실 장면 이미지에서의 특징점과 매칭되는 3 차원 샘플 맵에서의 특징점을 결정하는 단계; 상기 정렬된 3 차원 샘플 맵에서 상기 매칭되는 3 차원 샘플 맵에서의 특징점의 좌표 정보에 기반하여, 상기 샘플 맵 라이브러리의 상기 현실 장면 이미지와 매칭되는 목표 샘플 맵을 결정하는 단계 - 상기 샘플 맵 라이브러리는 상기 현실 장면을 미리 촬영하여 획득한 샘플 맵 및 각 샘플 사진에 대응하는 촬영 포즈 데이터를 포함함 - ; 및 상기 목표 샘플 맵에 대응하는 촬영 포즈 데이터를, 상기 현실 장면 이미지에 대응하는 촬영 포즈 데이터로 결정하는 단계를 포함한다.
본 발명의 실시예는 현실 장면을 미리 촬영하여 획득한 샘플 맵 라이브러리와 미리 저장된 3 차원 샘플 맵에 기반하여 특징점 정렬을 수행하여 획득한 3 차원 샘플 맵을 미리 구축하여, 현실 장면 이미지를 획득한 후, 상기 현실 장면 이미지에서의 특징점, 및 상기 정렬된 3 차원 샘플 맵에 따라, 샘플 맵 라이브러리에서 상기 현실 장면 이미지와 매칭되는 목표 샘플 맵을 정확하게 결정할 수 있고, 그 다음, 상기 목표 샘플 맵에 대응하는 촬영 포즈 데이터를 현실 장면 이미지에 대응하는 촬영 포즈 데이터로 사용할 수 있다.
하나의 가능한 실시 형태에서, 상기 AR 기기의 촬영 포즈 데이터를 획득한 후, 상기 AR 장면 이미지 처리 방법은, 상기 AR 기기에 의해 촬영된 현실 장면 이미지를 획득하는 단계; 및 상기 현실 장면 이미지 및 현실 장면 이미지 속성 정보를 결정하기 위한 미리 저장된 제2 뉴럴 네트워크 모델에 기반하여, 상기 현실 장면 이미지에 대응하는 속성 정보를 결정하는 단계를 더 포함하며; 상기 촬영 포즈 데이터 및 현실 장면을 나타내기 위한 3 차원 장면 모델에서의 가상 대상의 포즈 데이터에 기반하여, 상기 현재 장면에서 상기 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠테이션 특수 효과 정보를 획득하는 단계는, 상기 촬영 포즈 데이터, 상기 속성 정보 및 현실 장면을 나타내기 위한 3 차원 장면 모델에서의 가상 대상의 포즈 데이터에 기반하여, 상기 현재 장면에서 상기 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠테이션 특수 효과 정보를 획득하는 단계를 포함한다.
본 발명의 실시예는 AR 기기의 촬영 포즈 데이터 및 현실 장면 이미지 속성 정보를 결합하여 현실 장면에서 가상 대상의 프리젠테이션 특수 효과 정보를 결정함으로써, 가상 대상의 프리젠테이션 특수 효과가 현실 장면에 더 잘 융합될 수 있다.
하나의 가능한 실시 형태에서, 상기 현실 장면을 미리 촬영하여 획득한 복수 개의 샘플 사진 및 각 샘플 사진에 대응하는 속성 정보에 기반하여, 상기 제2 뉴럴 네트워크 모델을 훈련시키는 단계에 따라 상기 제2 뉴럴 네트워크 모델을 훈련시킨다.
하나의 가능한 실시 형태에서, 상기 AR 기기의 촬영 포즈 데이터를 획득한 후, 상기 AR 장면 이미지 처리 방법은, 상기 AR 기기에 의해 촬영된 현실 장면의 기설정된 식별자를 획득하는 단계; 및 상기 기설정된 식별자 및 미리 저장된 기설정된 식별자와 추가 가상 대상 정보의 매핑 관계에 기반하여, 상기 현실 장면에 대응하는 추가 가상 대상 정보를 결정하는 단계를 더 포함하며; 상기 촬영 포즈 데이터 및 현실 장면을 나타내기 위한 3 차원 장면 모델에서의 가상 대상의 포즈 데이터에 기반하여, 상기 현재 장면에서 상기 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠테이션 특수 효과 정보를 획득하는 단계는, 상기 촬영 포즈 데이터, 상기 추가 가상 대상 정보 및 현실 장면을 나타내기 위한 3 차원 장면 모델에서의 가상 대상의 포즈 데이터에 기반하여, 상기 현재 장면에서 상기 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠테이션 특수 효과 정보를 획득하는 단계를 포함한다.
본 발명의 실시예는 AR 기기의 촬영 포즈 데이터 및 현실 장면의 기설정된 식별자에 대응하는 추가 가상 대상 정보를 함께 결합하여 AR 장면 이미지의 프리젠테이션 특수 효과 정보를 결정함으로써, AR 장면 이미지로 하여금 더욱 풍부한 표시 방식을 갖도록 한다.
하나의 가능한 실시 형태에서, 상기 프리젠테이션 특수 효과 정보에 기반하여, 상기 AR 기기를 통해 AR 장면 이미지를 표시한 후, 상기 AR 장면 이미지 처리 방법은, 상기 AR 기기에 표시된 상기 가상 대상에 대한 트리거 동작을 획득하여, AR 장면 이미지에 표시된 프리젠테이션 특수 효과 정보를 업데이트하는 단계를 더 포함한다.
하나의 가능한 실시 형태에서, 상기 가상 대상은 목표 악기를 포함하고, 상기 AR 기기에 표시된 상기 가상 대상에 대한 트리거 동작을 획득하여, AR 장면 이미지에 표시된 프리젠테이션 특수 효과 정보를 업데이트하는 단계는, 상기 AR 기기에 표시된 가상 대상에 대한 트리거 동작을 획득하여, 상기 AR 기기에 표시된 상기 가상 대상이 트리거된 후 대응하는 사운드 재생 효과에 따라 업데이트를 수행하는 단계를 포함한다.
하나의 가능한 실시 형태에서, 상기 가상 대상은 목표 악기를 포함하고, 상기 AR 기기는 복수 개를 포함하며, 상기 AR 기기에 표시된 상기 가상 대상에 대한 트리거 동작을 획득하여, AR 장면 이미지에 표시된 프리젠테이션 특수 효과 정보를 업데이트하는 단계는, 상기 복수 개의 AR 기기에 표시된 동일한 가상 대상에 대한 트리거 동작을 획득하여, 상기 복수 개의 AR 기기에 표시된 상기 동일한 가상 대상이 트리거된 후 대응하는 혼합 사운드 재생 효과에 따라 업데이트를 수행하는 단계를 포함한다.
하나의 가능한 실시 형태에서, 상기 가상 대상은 목표 악기를 포함하고, 상기 AR 기기는 복수 개를 포함하며, 상기 AR 기기에 표시된 상기 가상 대상에 대한 트리거 동작을 획득하여, AR 장면 이미지에 표시된 프리젠테이션 특수 효과 정보를 업데이트하는 단계는, 상기 복수 개의 AR 기기 중 적어도 하나의 AR 기기에 표시된 가상 대상에 대한 트리거 동작을 획득하여, 상기 복수 개의 AR 기기에 표시된 상기 적어도 하나의 가상 대상이 트리거된 후 대응하는 혼합 사운드 재생 효과에 대해 업데이트를 수행하는 단계를 포함한다.
본 발명의 실시예에 의해 제공된 AR 기기에 표시된 가상 대상에 대한 트리거 동작을 획득하는 경우, AR 장면 이미지 중의 프리젠테이션 특수 효과 정보를 업데이트할 수 있으므로, 증강 현실 장면의 조작성을 향상시켜, 사용자 경험을 향상시킬 수 있다.
본 발명의 실시예에 의해 제공된 다른 AR 장면 이미지 처리 방법은, 현실 장면에 대응하는 복수 개의 현실 장면 이미지를 획득하는 단계; 상기 복수 개의 현실 장면 이미지에 기반하여, 상기 현실 장면을 나타내기 위한 3 차원 장면 모델을 생성하는 단계; 상기 3 차원 장면 모델 및 상기 현살 장면과 매칭되는 가상 대상에 기반하여, AR 장면에서 상기 가상 대상의 프리젠테이션 특수 효과 정보를 생성하는 단계; 및 상기 프리젠테이션 특수 효과 정보에 기반하여, 상기 AR 기기를 통해 AR 장면 이미지를 표시하는 단계를 포함한다.
본 발명의 실시예는 복수 개의 현실 장면에 대응하는 현실 장면 이미지에 기반하여, 현실 장면을 나타내기 위한 3 차원 장면 모델을 획득할 수 있으며, 예를 들어, 현실 장면과 동일한 좌표계에서 1:1 비율에 따라 표현된 3 차원 장면 모델을 획득하며, 이와 같이, 상기 3 차원 장면 모델과 현실 장면에 매칭되는 가상 대상에 기반하여, 가상 대상이 AR 장면에서의 프리젠테이션 특수 효과 정보를 미리 결정할 수 있어, 상기 프리젠테이션 특수 효과 정보에 따라 가상 대상이 1:1 비율로 현실 장면에 표현될 때, AR 기기에 현실감이 있는 증강 현실 장면의 효과를 표시할 수 있다.
하나의 가능한 실시 형태에서, 상기 복수 개의 현실 장면 이미지에 기반하여, 상기 현실 장면을 나타내기 위한 3 차원 장면 모델을 생성하는 단계는, 획득된 복수 개의 현실 장면 이미지에서의 각 현실 장면 이미지로부터 복수 개의 특징점을 추출하는 단계; 및 추출된 복수 개의 특징점 및 상기 현실 장면과 매칭되는 미리 저장된 3차원 샘플 맵에 기반하여, 상기 3 차원 장면 모델을 생성하는 단계 - 상기 3 차원 샘플 맵은 상기 현실 장면 형태 특징을 나타내는 미리 저장된 3 차원 맵임 - 를 포함한다.
본 발명의 실시예는 복수 개의 현실 장면 이미지에서의 각 현실 장면 이미지 중의 복수 개의 특징점을 통해, 조밀한 포인트 클라우드를 구성할 수 있고, 상기 조밀한 포인트 클라우드 및 사이즈 마크를 가진 3 차원 샘플 맵을 통해 현실 장면을 나타내는 3 차원 모델을 생성한 다음, 동등한 비율의 좌표 변환에 기반하여, 현실 장면을 나타내는 3 차원 장면 모델을 획득하며, 상기 방식을 통해 획득한 3 차원 장면 모델은 3 차원 장면 모델을 정확하게 나타낼 수 있다.
본 발명의 실시예에 의해 제공된 AR 장면 이미지 처리 장치는, AR 기기의 촬영 포즈 데이터를 획득하도록 구성된 제1 획득 모듈; 상기 촬영 포즈 데이터 및 현실 장면을 나타내기 위한 3 차원 장면 모델에서의 가상 대상의 포즈 데이터에 기반하여, 상기 현재 장면에서 상기 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠테이션 특수 효과 정보를 획득하도록 구성된 제2 획득 모듈; 및 상기 프리젠테이션 특수 효과 정보에 기반하여, 상기 AR 기기를 통해 AR 장면 이미지를 표시하도록 구성된 표시 모듈을 포함한다.
본 발명의 실시예에 의해 제공된 다른 AR 장면 이미지 처리 장치는, 현실 장면에 대응하는 복수 개의 현실 장면 이미지를 획득하도록 구성된 획득 모듈; 상기 복수 개의 현실 장면 이미지에 기반하여, 상기 현실 장면을 나타내기 위한 3 차원 장면 모델을 생성하도록 구성된 제1 생성 모듈; 상기 3 차원 장면 모델 및 상기 현살 장면과 매칭되는 가상 대상에 기반하여, AR 장면에서 상기 가상 대상의 프리젠테이션 특수 효과 정보를 생성하도록 구성된 제2 생성 모듈; 및 상기 프리젠테이션 특수 효과 정보에 기반하여, 상기 AR 기기를 통해 AR 장면 이미지를 표시하도록 구성된 표시 모듈을 포함한다.
본 발명의 실시예에 의해 제공된 전자 기기는 프로세서, 메모리 및 버스를 포함하고, 상기 메모리는 상기 프로세서에 의해 실행 가능한 기계 판독 가능 명령어를 저장하고, 전자 기기에서 작동될 때, 상기 프로세서는 버스를 통해 상기 메모리와 통신하고, 상기 기계 판독 가능 명령어가 상기 프로세서에 의해 실행될 경우 상기 AR 장면 이미지 처리 방법의 단계를 실행한다.
본 발명의 실시예는 컴퓨터 프로그램 제품을 제공하고, 컴퓨터 판독 가능 코드를 포함하며, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 작동될 경우, 상기 전자 기기에서의 프로세서는 상기 AR 장면 이미지 처리 방법의 단계를 실행한다.
이해해야 할 것은, 이상의 일반적인 설명 및 하기의 상세한 설명은 다만 예시적이고 해석적인 것이며, 본 발명의 실시예를 한정하려는 것은 아니다.
다음의 도면에 따라 예시적인 실시예를 상세하게 설명하며, 본 발명의 다른 특징 및 측면은 명백해진다.
본 발명의 실시예의 기술 방안을 보다 명확하게 설명하기 위해 실시예에서 사용되는 도면을 간단히 소개하고, 본 명세서에 포함되고 그 일부를 구성하는 도면은 본 명세서와 일치하는 실시예를 예시하고, 명세서와 함께 본 명세서의 기술 방안을 설명하는 역할을 하며, 다음의 도면은 본 발명의 일부 실시예를 예시할 뿐이며, 따라서 범위를 제한하는 것으로 간주되어서는 안된다는 것을 이해해야 하며, 당업자는 창의적인 작업없이 이러한 도면에 따라 다른 관련 도면을 얻을수도 있다.
도 1은 본 발명의 실시예에 의해 제공된 AR 장면 이미지 처리 방법의 흐름도를 도시한다.
도 2는 본 발명의 실시예에 의해 제공된 촬영 포즈 데이터를 결정하는 방법 흐름도를 도시한다.
도 3은 본 발명의 실시예에 의해 제공된 다른 촬영 포즈 데이터를 결정하는 방법 흐름도를 도시한다.
도 4는 본 발명의 실시예에 의해 제공된 또 다른 촬영 포즈 데이터를 결정하는 방법 흐름도를 도시한다.
도 5는 본 발명의 실시예에 의해 제공된 증강 현실의 효과도를 도시한다.
도 6은 본 발명의 실시예에 의해 제공된 다른 AR 장면 이미지 처리 방법의 흐름도를 도시한다.
도 7은 본 발명의 실시예에 의해 제공된 또 다른 AR 장면 이미지 처리 방법의 흐름도를 도시한다.
도 8은 본 발명의 실시예에 의해 제공된 3 차원 장면 모델의 생성 방법 흐름도를 도시한다.
도 9는 본 발명의 실시예에 의해 제공된 AR 장면 이미지 처리 장치의 구조 모식도를 도시한다.
도 10은 본 발명의 실시예에 의해 제공된 다른 AR 장면 이미지 처리 장치의 구조 모식도를 도시한다.
도 11은 본 발명의 실시예에 의해 제공된 전자 기기의 구조 모식도를 도시한다.
도 12는 본 발명의 실시예에 의해 제공된 다른 전자 기기의 구조 모식도를 도시한다.
도 1은 본 발명의 실시예에 의해 제공된 AR 장면 이미지 처리 방법의 흐름도를 도시한다.
도 2는 본 발명의 실시예에 의해 제공된 촬영 포즈 데이터를 결정하는 방법 흐름도를 도시한다.
도 3은 본 발명의 실시예에 의해 제공된 다른 촬영 포즈 데이터를 결정하는 방법 흐름도를 도시한다.
도 4는 본 발명의 실시예에 의해 제공된 또 다른 촬영 포즈 데이터를 결정하는 방법 흐름도를 도시한다.
도 5는 본 발명의 실시예에 의해 제공된 증강 현실의 효과도를 도시한다.
도 6은 본 발명의 실시예에 의해 제공된 다른 AR 장면 이미지 처리 방법의 흐름도를 도시한다.
도 7은 본 발명의 실시예에 의해 제공된 또 다른 AR 장면 이미지 처리 방법의 흐름도를 도시한다.
도 8은 본 발명의 실시예에 의해 제공된 3 차원 장면 모델의 생성 방법 흐름도를 도시한다.
도 9는 본 발명의 실시예에 의해 제공된 AR 장면 이미지 처리 장치의 구조 모식도를 도시한다.
도 10은 본 발명의 실시예에 의해 제공된 다른 AR 장면 이미지 처리 장치의 구조 모식도를 도시한다.
도 11은 본 발명의 실시예에 의해 제공된 전자 기기의 구조 모식도를 도시한다.
도 12는 본 발명의 실시예에 의해 제공된 다른 전자 기기의 구조 모식도를 도시한다.
본 발명의 실시예의 목적,기술 방안 및 장점을 보다 명확하게 하기 위해, 본 발명의 실시예에서의 도면을 결합하여,본 발명의 실시예에서의 기술 방안을 명확하고 완전하게 설명하며, 설명된 실시예는 모든 실시예가 아니라 본 발명의 일부 실시예일 뿐임이 명백하다. 본 발명의 실시 예의 도면에 설명되고 도시된 구성 요소는 일반적으로 다양한 구성으로 배열되고 설계될 수 있다. 따라서, 도면에 제공된 본 발명의 실시예에 대한 다음의 상세한 설명은 본 발명의 청구된 범위를 한정하기 위한 것이 아니라 본 발명의 선택된 실시예들만을 나타낸다. 창의적인 작업 없이 본 발명의 실시예에 기반하여 당업자에 의해 획득된 다른 모든 실시예는 본 발명의 보호 범위 내에 속할 것이다.
증강 현실(Augmented Reality,AR) 기술은 AR 기기에 적용될 수 있고, AR 기기는 AR 안경, 태블릿 컴퓨터, 스마트 폰 등을 포함하지만 여기에 한정되지 않는 AR 기능을 지원할 수 있는 모든 전자 기기를 포함할 수 있다. AR 기기가 현실 장면에서 작업할 경우, 상기 AR 기기는 현실 장면에 중첩된 가상 대상을 볼 수 있으며, 예를 들어 실제 학교 운동장에 중첩된 가상 나무와 하늘에 중첩된 날아다니는 가상 새를 볼 수 있고, 이러한 가상 나무 및 가상 새와 같은 가상 대상이 현실 장면에 어떻게 더 잘 융합하여, 증강 현실 장면에서 가상 대상에 대한 표시 효과를 구현할 것인가는 본 발명의 실시예에 논의될 것이며, 다음의 실시예와 결합하여 설명한다.
본 실시예를 이해하기 쉽게 하기 위해, 먼저 본 발명의 실시예에 개시된 AR 장면 이지미 처리 방법에 대해 상세하게 소개하고, 본 발명의 실시예에 의해 제공된 AR 장면 이미지 처리 방법의 실행 개체는 상기 AR 기기일 수 있고, 로컬 또는 클라우드 서버와 같은 데이터 처리 능력을 갖는 다른 처리 장치일 수 있으며, 본 발명의 실시예는 이에 한정되지 않는다.
도 1을 참조하면, 본 발명의 실시예에 의해 제공된 AR 장면 이미지 처리 방법의 흐름도이며, 다음 단계 S101 내지 단계 S103을 포함한다.
단계 S101에 있어서, AR 기기의 촬영 포즈 데이터를 획득한다.
여기서 AR 기기는 AR 안경, 태블릿 컴퓨터, 스마트 폰, 지능형 웨어러블 기기 등과 같은 디스플레이 기능 및 데이터 처리 능력을 갖는 기기를 포함하지만, 이에 한정되지 않는다.
여기서 AR 기기의 촬영 포즈 데이터는 사용자가 AR 기기를 쥐거나 착용할 때, 가상 대상을 디스플레이하기 위한 디스플레이 컴포넌트의 위치 및/또는 디스플레이 각도를 포함할 수 있으며, 촬영 포즈 데이터를 편리하게 설명하기 위해, 좌표계 개념(예를 들어 세계 좌표계)을 도입하며, 여기서 촬영 포즈 데이터는 세계 좌표계에서 AR 기기의 디스플레이 부재의 좌표 위치를 포함하거나, 또는 AR 기기의 디스플레이 부재와 세계 좌표계에서 각 좌표 축의 협각을 포함하거나, 또는 세계 좌표계에서 AR 기기의 디스플레이 컴포넌트의 좌표 위치 및 세계 좌표계와 각 좌표 축의 협각을 동시에 포함하며, 촬영 포즈 데이터에 포함된 내용은 증강 현실 장면에서의 가상 대상에 대해 설정된 디스플레이 방식에 관한 것으로, 여기서 한정하지 않는다.
단계 S102에 있어서, 촬영 포즈 데이터 및 현실 장면을 나타내기 위한 3 차원 장면 모델에서의 가상 대상의 포즈 데이터에 기반하여, 현재 장면에서 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠테이션 특수 효과 정보를 획득한다.
여기서 현실 장면은 건물의 실내 장면, 거리 장면, 물체 등과 같이 가상 대상을 중첩할 수 있는 현실 장면일 수 있으며, 가상 대상은 현실 장면에 중첩되어, AR 기기에서 증강 현실의 효과를 나타낼 수 있다.
여기서 3 차원 장면 모델은 현실 장면을 나타내기 위한 것이고, 동일한 좌표계에서 동일한 비율로 현실 장면에 표현될 수 있으며, 예를 들어, 현실 장면이 거리 장면이면, 상기 거리에 고층 빌딩이 포함되는 경우, 상기 현실 장면을 나타내는 3 차원 장면 모델은 동일하게 상기 거리의 모델 및 상기 고층 빌딩을 포함하고, 3 차원 장면 모델과 현실 장면은 동일한 좌표계에서 1:1 비율로 표현되며, 즉 3 차원 장면 모델을 상기 현실 장면이 있는 세계 좌표계에 배치하면, 상기 3 차원 장면 모델은 상기 현실 장면과 완전히 중첩된다.
여기서, 가상 대상은 현실 장면에서 제시된 가상 물체이고, 예를 들어, 위에서 언급한 가상 나무 및 가상 새이다.
여기서, 3 차원 장면 모델에서 가상 대상의 포즈 데이터는 가상 대상이 3 차원 장면 모델에서 표현될 때의 위치 터이터, 포즈 데이터 및 외모 데이터 등이며, 예를 들어 상기 언급한 가상 새가 하늘에서 날거나 또는 가상 나무가 운동장에 나타날 때의 위치 데이터, 포즈 데이터 및 외모 데이터 등이다.
3 차원 장면 모델과 현실 장면은 동일한 좌표계에서 1:1 비율로 표현되고, 상이한 좌표계에서 동등한 비율로 표현되며, 여기서 가상 대상이 3 차원 장면 모델에서 표현 될 때의 포즈 데이터를 미리 설정하고, 상기 포즈 데이터에 따라, 현실 장면에서 가상 대상의 프리젠테이션 특수 효과 정보를 나타낼 수 있다.
예를 들어, 3 차원 장면 모델이 학교 운동장이고, 가상 대상이 10 개의 크리스마스 트리이면, 포즈 데이터에 대응하는 프리젠테이션 특수 효과 정보는 상기 학교 운동장의 동북쪽 코너에 10 개의 크리스마스 트리가 표현되는 것이고, 본 발명의 일부 실시예에서, AR 기기의 촬영 포즈 데이터, 및 현실 장면에서 AR 기기와 동일한 좌표계에서의 가상 대상의 좌표 위치에 따라, 현실 장면에서 10 개의 상기 크리스마스 트리의 프리젠테이션 특수 효과 정보를 결정하며, 예를 들어 AR 기기가 상기 학교 운동장의 동북쪽 코너에 가까운 경우, AR 기기의 시야 범위가 제한되여 있기 때문에, 현실 장면에서 촬영 포즈 데이터에 대응하는 10 개의 크리스마스 트리의 프리젠테이션 특수 효과 정보는 10 개의 크리스마스 트리 중의 일부가 될 수 있으며, 예를 들어 중간 5 개의 크리스마스 트리가 학교 운동장 동북쪽 코너에 표현된다.
단계 S103에 있어서, 로프리젠테이션 특수 효과 정보를 기반으로, AR 기기를 통해 AR 장면 이미지를 표시한다.
여기서 AR 기기에 의해 표시된 AR 장면 이미지는 촬영 포즈 데이터에 대응하는 가상 대상이 현실 장면에서의 프리젠테이션 특수 효과 정보가 현실 장면과 중첩된 후의 광경이며, 예를 들어 상기 언급한 촬영 포즈 데이터에 대응하는 가상 대상이 현장 장면에서의 프리젠테이션 특수 효과 정보는 10 개의 크리스마스 트리 중에서 5 개가 학교 운동장 동북쪽 코너에 표현되는 것이며, 현실 장면이 상기 확교 운동장인 경우, AR 장면 이미지는 학교 운동장 동북쪽 코너에 크리스마스 트리 10개 중에서 5 개가 표현된 장면 이미지이다.
상기 내용은 단계 S101 내지 단계 S103에서 언급한 AR 장면 이미지 처리 방법이고, 현실 장면을 나타내기 위한 3 차원 장면 모델에서 기설정된 가상 대상의 포즈 데이터를 통해, 현실 장면에서 가상 대상의 프리젠테이션 특수 효과 정보를 결정하고, 여기서, 3 차원 장면 모델은 현실 장면을 나타낼 수 있기 때문에, 상기 3 차원 장면 모델에 기반하여 구축된 가상 대상의 포즈 데이터는 현실 장면에 더 잘 융합될 수 있고, 3 차원 장면 모델에서 상기 가상 대상의 포즈 데이터로부터, AR 기기의 포즈 데이터와 매칭되는 프리젠테이션 특수 효과 정보를 결정하고, 즉 AR 기기에 현실감이 있는 증강 현실 장면의 효과를 표시할 수 있다.
상기 과정의 실행 주체가 AR 기기에 배치된 프로세서에 의해 실행되는 경우, 상기 방식에 기반하여 현실 장면에서 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠 테이션 특수 효과를 결정하고, AR 기기를 통해 AR 장면 이미지를 직접 표시할 수 있으며; 상기 과정의 실행 주체가 클라우드 플랫폼 서버의 프로세서에 배치되는 경우, 현실 장면에서의 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠 테이션 특수 효과를 결정하고, 또한 상기 프리젠 테이션 특수 효과 정보를 AR 측으로 송신한 다음, AR 기기를 통해 AR 장면 이미지를 표시할 수 있다.
아래에 상기 단계 S101 내지 단계 S103의 프로세스는 실시예와 결합하여 분석한다.
상기 단계 S101에 대해, AR 기기의 촬영 포즈 데이터는 여러 방식을 통해 획득될 수 있으며, 예를 들어, AR 기기에 포즈 센서가 구성된 경우, AR 기기 상의 포즈 센서를 통해 AR 기기의 촬영 포즈 데이터를 결정할 수 있으며; AR 기기에 카메라와 같은 이미지 수집 부재가 구성되고, 카메라에 의해 수집된 현실 장면 이미지를 통해 촬영 포즈 데이터를 결정할 수 있다.
여기서, 포즈 센서는 자이로스코프, 관성 측정 유닛(Inertial measurement unit,IMU)과 같이 AR 기기의 촬영 각도의 각속도를 결정하기 위한 센서를 포함할 수 있으며; AR 기기의 촬영 위치를 결정하기 위한 포지셔닝 부재를 포함할 수 있고,예를 들어, 위성 항법 시스템(Global Positioning System, GPS),글로벌 내비게이션 위성 시스템(Global Navigation Satellite System, GNSS), 무선 충실도(Wireless Fidelity, WiFi) 포지셔닝 기술에 기반한 포지셔닝 부재일 수 있으며; 또는 AR 기기의 촬영 각도를 결정하기 위한 각속도 센서 및 촬영 위치의 포지셔닝 부재를 동시에 포함할 수도 있다.
본 발명의 실시예는 카메라에 의해 수집된 현실 장면 이미지를 통해 촬영 포즈 데이터를 결정하는 방법을 예로 들어, AR 기기의 촬영 포즈 데이터를 회득하는 방법을 설명한다.
하나의 실시 형태에서, 도 2에 도시된 바와 같이, 카메라에 의해 수집된 현실 장면 이미지를 통해 촬영 포즈 데이터를 결정하는 경우, 다음의 단계 S201 또는 단계 S202를 실행할 수 있다. 단계 S201에 있어서, AR 기기에 의해 촬영된 현실 장면 이미지를 획득한다. 단계 S202에 있어서, 현실 장면 이미지 및 미리 저장된 포지셔닝을 위한 제1 뉴럴 네트워크 모델에 기반하여, 현실 장면 이미지에 대응하는 촬영 포즈 데이터를 결정하며; 촬영 포즈 데이터는 촬영 위치 정보 및 촬영 각도 정보 중 적어도 하나를 포함한다.
여기서 AR 기기의 카메라에 의해 수집된 현실 장면 이미지를 획득하는 경우, 상기 현실 장면 이미지를 미리 훈련된 포지셔닝을 위한 제1 뉴럴 네트워크 모델에 입력할 수 있고, 즉 상기 현실 장면 이미지에 대응하는 촬영 포즈 데이터를 획득할 수 있다.
여기서 촬영 포즈 데이터는 카메라의 촬영 위치, 또는 카메라의 촬영 각도 정보를 포함하거나, 또는 카메라의 촬영 위치 및 촬영 각도 정보를 동시에 포함할 수 있다.
상기 현실 장면을 미리 촬영하여 획득한 복수 개의 샘플 사진 및 각 샘플 사진에 대응하는 촬영 포즈 데이터에 기반하여, 상기 제1 뉴럴 네트워크 모델을 훈련시키는 단계에 따라, 제1 뉴럴 네트워크 모델을 훈련시킬 수 있다.
예들 들어 현실 장면에서 복수 개의 상이한 위치를 미리 설정한 다음, 각 위치에서 상이한 촬영 각도에 따라 현실 장면에 대해 촬영을 모두 수행할 수 있으므로, 대량의 샘플 사진, 및 각 샘플 사진에 대응하는 촤영 포즈 데이터를 획득한 다음, 샘플 사진을 모델 입력단으로 사용하고, 샘플 사진에 대응하는 촬영 포즈 데이터를 모델 출력단으로 사용하여, 훈련될 제1 뉴럴 네트워크 모델에 대해 훈련을 수행하여, 기설정된 조건에 도달한 후, 훈련이 완료된 제1 뉴럴 네트워크 모델을 획득한다.
여기서 미리 설정된 조건은 훈련 횟수가 설정된 임계값에 도달할 수 있거나, 촬영 포즈 데이터 인식 정확도가 설정된 정확도 범위에 도달할 수 있는 것이며, 여기서 상세히 설명하지 않는다.
이와 같이 카메라에 의해 수집된 현실 장면 이미지를 통해 촬영 포즈 데이터를 결정하는 것은, 딥 러닝 방식에 기반하여 결정되고, 현실 장면을 미리 촬영하여 충분히 많은 샘플 사진을 획득한 경우, 촬영 포즈 데이터를 인식하기 위한, 정확도가 높은 제1 뉴럴 네트워크 모델을 획득할 수 있으며, 상기 제1 뉴럴 네트워크 모델 즉 AR 기기에 의해 촬영된 현실 장면 이미지에 따라,현실 장면 이미지에 대응하는 정확도가 높은 촬영 포즈 데이터를 결정한다.
다른 실시 형태에서, 도 3에 도시된 바와 같이, 카메라에 의해 수집된 현실 장면 이미지를 통해 촬영 포즈 데이터를 결정하는 경우, 다음의 단계 S301 또는 단계 S302를 실행할 수 있다. 단계 S301에 있어서, AR 기기에 의해 촬영된 현실 장면 이미지를 획득한다. 단계 S302에 있어서, 현실 장면 이미지 및 정렬된 3 차원 샘플 맵에 기반하여, 현실 장면 이미지에 대응하는 촬영 포즈 데이터를 결정하며; 촬영 포즈 데이터는 촬영 위치 정보 및 촬영 각도 정보 중 적어도 하나를 포함한다.
여기서, 상기 정렬된 3 차원 샘플 맵은 상기 현실 장면을 미리 촬영하여 획득한 샘플 맵 라이브러리와 미리 저장된 3 차원 샘플 맵에 기반하여 특징점에 정렬하여 획득한 3 차원 샘플 맵이며;상기 미리 저장된 3 차원 샘플 맵은 현실 장면을 나타내는 미리 저장된 3 차원 이미지이다.
여기서, 미리 저장된 3 차원 샘플 맵은 현실 장면 형태 특징을 나타낼 수 있는 사이즈 마크를 가진 기설정된 3 차원 이미지를 포함할 수 있으며, 예를 들어, 현실 장면 형태 특징을 나타내는 컴퓨터 이용 설계(Computer Aided Design, CAD) 3 차원 맵일 수 있으며, 예를 들어, CAD 소프트웨어에서 다양한 현실 장면 형태 특징을 나타내는 3 차원 이미지를 미리 그린 다음,이러한 3 차원 이미지를 대응하는 현실 장면과 연관하여 저장할 수 있다.
정렬된 3 차원 샘플 맵은 다음의 단계에 따라 얻을 수 있다.
상이한 촬영 포즈 데이터에 따라 복수 개의 샘플 사진을 획득하여, 샘플 맵 라이브러리를 구성하며; 각 샘플 사진에 대해, 복수 개의 특징점을 추출하여, 현실 장면을 나타내는 특징점 클라우드를 구성하며; 상기 특징점 클라우드와 현실 장면 형태 특징을 나타내는 미리 저장된 3 차원 이미지에 대해 정렬을 수행하여, 정렬된 3 차원 샘플 맵을 획득한다.
여기서, 각 샘플 사진에 대해 추출된 특징점은 현실 장면 주요 정보를 나타내는 포인트일 수 있으며, 예를 들어 얼굴 이미지에 대해, 특징점은 눈가, 입가, 눈썹 끝, 콧방울과 같은 오관 정보를 나타내는 일부 특징점일 수 있다.
추출된 특징점이 충분히 있는 경우, 특징점으로 구성된 특징점 클라우드, 즉 현실 장면을 나타내는 3 차원 모델로 구성될 수 있으며, 여기서, 특징점 클라우드 중의 특징점에는 단위가 없고, 특징점 클라우드로 구성된 3 차원 모델은 단위가 없으며, 그 다음 상기 특징점 클라우드와 차원 표시가 있고 현실 장면 형태 특징을 나타낼 수 있는 3 차원 이미지를 획득하는데, 현실 장면 행태 특징을 나타낼 수 있는 3 차원 이미지는 차원 표시를 가진 3 차원 이미지으므로, 예를 들어, 여기서 차원 표시는 픽셀 좌표계에서의 픽셀 좌표일 수 있으므로, 정렬된 3 차원 샘픔 맵에 기반하여 상기 정렬된 3 차원 샘플 맵에서 각 샘플 사진으로부터 추출된 특징점의 대응하는 좌표 정보를 결정한다.
상기 현실 장면을 촬영하여 획득한 샘플 맵 라이브러리는 각 샘플 사진에 대응하는 촬영 포즈 데이터를 포함할 수 있으며, 이와 같이, AR 기기에 의해 촬영된 현실 장면 이미지를 획득한 경우, 상기 현실 장면 이미지에서의 특징점을 먼저 추출한 다음, 정렬된 3 차원 샘플 맵에 기반하여, 상기 현실 장면 이미지와 매칭되는 샘플 맵을 결정할 수 있으며, 다음 샘플 맵 라이브러리에 포함된 샘플 맵에 대응하는 촬영 포즈 데이터에 기반하여, 상기 현실 장면 이미지에 대응하는 촬영 포즈 데이터를 결정한다.
도 4에 도시된 바와 같이, 현실 장면 이미지 및 정렬된 3 차원 샘플 맵에 기반하여, 현실 장면 이미지에 대응하는 촬영 포즈 데이터를 결정하는 경우, 다음의 단계 S401 내지 단계 S403을 실행할 수 있다. 단계 401에 있어서, 정렬된 3 차원 샘플 맵에 기반하여, 현실 장면 이미지에서의 특징점과 매칭되는 3 차원 샘플 맵에서의 특징점을 결정한다. 단계 S402에 있어서, 정렬된 3 차원 샘블 맵에서 매칭되는 3 차원 샘플 맵에서의 특징점의 좌표 정보에 기반하여, 샘플 맵 라이브러리의 현실 장면 이미지와 매칭되는 목표 샘플 맵을 결정하며; 샘플 맵 라이브러리는 현실 장면을 미리 촬영하여 획득한 샘플 맵 및 각 샘플 사진에 대응하는 촬영 포즈 데이터를 포함한다. 단계 S403에 있어서,목표 샘플 맵에 대응하는 촬영 포즈 데이터를, 현실 장면 이미지에 대응하는 촬영 포즈 데이터로 결정한다.
여기서, AR 기기에 의해 촬영된 현실 장면 이미지를 획득한 후, 상기 현실 장면 이미지에서의 특징점을 추출하고, 그 다음 상기 현실 장면 이미지에서의 특징점과 정렬된 3 차원 샘플 맵을 정렬하여, 정렬된 3 차원 샘플 맵에서 상기 현실 장면 이미지에서의 특징점과 매칭되는 3 차원 샘플 맵에서의 특징점을 획득하며, 다음 매칭된 3 차원 샘플 맵에서의 특징점에서 정렬된 3 차원 샘플 맵의 좌표 정보를 상기 현실 장면 이미지에서의 특징점의 좌표 정보로 사용하고, 이러한 방식으로 상기 현실 장면 이미지의 특징점의 좌표 정보 및 샘플 맵 라이브러리에서 각 샘플 사진의 특징점의 특징 정보에 기반하여, 샘플 맵 라이브러리에서 현실 장면 이미지와 매칭되는 목표 샘플 맵을 결정할 수 있으며, 예를 들어, 현실 장면 이미지의 특징점의 좌표 정보 및 각 샘플 사진의 특징점의 특징 정보에 기반하여 상기 현실 장면 이미지 및 각 샘플 사진의 유사도 값을 결정할 수 있고, 유사도 값이 제일 크고 유사도 임계값을 초과하는 샘플 맵을 여기서 목표 샘플 맵으로 사용한다.
목표 샘플 맵을 결정한 후, 상기 목표 샘플 맵에 대응하는 촬영 포즈 데이터를 현실 장면 이미지에 대응하는 촬영 포즈 데이터로 사용한다.
본 발명의 실시예는 현실 장면을 미리 촬영하여 획득한 샘플 맵 라이브러리와 미리 저장된 3 차원 샘플 맵에 기반하여 특징점 정렬을 수행하여 획득한 3 차원 샘플 맵을 미리 구축하여, 현실 장면 이미지를 획득한 후, 상기 현실 장면 이미지에서의 특징점, 및 상기 정렬된 3 차원 샘플 맵에 따라, 샘플 맵 라이브러리에서 상기 현실 장면 이미지와 매칭되는 목표 샘플 맵을 정확하게 결정할 수 있고, 그 다음, 상기 목표 샘플 맵에 대응하는 촬영 포즈 데이터를 현실 장면 이미지에 대응하는 촬영 포즈 데이터로 사용할 수 있다.
상기는 AR 기기의 촬영 포즈 데이터를 획득하는 몇 가지 방법이고, AR 기기의 촬영 포즈 데이터를 획득한 후, 본 발명의 일부 실시예에서, 상기 촬영 포즈 데이터 및 현실 장면을 나타내기 위한 3 차원 장면 모델에서의 가상 대상의 포즈 데이터에 기반하여, 현재 장면에서 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠테이션 특수 효과 정보를 획득할 수 있다.
상기 단계 S102에 대해, 여기서 3 차원 장면 모델은 위에서 소개되었고, 주로 두 가지 측면을 포함하며, 하나는, 상기 3 차원 장면 모델에서 가상 대상의 포즈 데이터를 얻기 위해, 현실 장면에서 상기 가상 대상의 프리젠 테이션 특수 효과 정보를 획득하는 것이고; 다른 하나는, 현실 장면에서 가상 대상을 표현하는 경우, 차폐 효과를 표현하기 위한 것이며, 예를 들어, 가상 대상, AR 기기가 있는 좌표계에서 AR 기기 및 현실 장면의 좌표에 기반하여, 현실 장면에서의 가상 대상의 프리젠테이션 특수 효과 정보가 상기 가상 대상이 현실 장면에서의 엔티티 물체에 의해 가려지는 것을 결정는 것이면, 상기 3 차원 장면 모델을 통해 차폐 효과를 표현할 수 있으며, 차폐 효과는 나중에 소개하고, 여기서 먼저 3 차원 장면 모델의 앞의 생성 과정을 소개한다.
3 차원 장면 모델은 현실 장면에 대응하는 복수 개의 현실 장면 이미지를 획득하는 단계; 및 복수 개의 현실 장면 이미지에 기반하여, 3 차원 장면 모델을 생성하는 단계에 따라 생성된다.
여기서, 현실 장면에 대응하는 다양한 현실 장면 이지미를 획득하는 경우, 상기 현실 장면을 나타내는 3 차원 장면 모델을 정확하게 획득하기 위해, 현실 장면에 대응하는 복수 개의 현실 장면 이미지를 획득하는 경우, 상기 현실 장면에서 기설정된 복수 개의 위치에서, 상이한 촬영 각도에 따라 현실 장면에 대해 촬영을 수행할 수 있으며, 예를 들어, RGB-D(Red Green Blue Depth,빨강-녹색-청색 모드의 깊이맵) 카메라를 통해 상기 현실 장면 이미지를 촬영할 수 있으며, 상기 현실 장면 외모를 나타내는 대량의 현실 장면 이지미를 획득한 다음, 이런한 현실 장면 이미지에 기반하여, 3 차원 장면 모델을 생성할 수 있다.
복수 개의 현실 장면 이미지에 기반하여, 3 차원 장면 모델을 생성하는 경우, 획득된 복수 개의 현실 장면 이미지에서의 각 현실 장면 이미지로부터 복수 개의 특징점을 추출하는 단계; 및 추출된 복수 개의 특징점 및 상기 현실 장면과 매칭되는 미리 저장된 3차원 샘플 맵에 기반하여, 상기 3 차원 장면 모델을 생성하는 단계 - 상기 3 차원 샘플 맵은 상기 현실 장면 형태 특징을 나타내는 미리 저장된 3 차원 이미지임 - 를 포함할 수 있다.
정확도가 높은 3 차원 장면 모델을 획득하기 위해, 획득된 다양한 현실 장면 이미지에서의 각 현실 장면 이미지에서 복수 개의 특징점을 추출하며, 예를 들어, 현실 장면 형태를 나타낼 수 있는 조밀한 포인트 클라우드를 구성한 다음, 상기 조밀한 포인트 클라우드, 및 현실 장면과 매칭되는 미리 저장된 3 차원 샘플 맵에 기반하여, 3 차원 장면 모델을 생성하고, 여기서 현실 장면과 매칭되는 3 차원 샘플 맵은 위에서 설명하였으며, 여기서 더이상 설명하지 않는다.
3 차원 장면 모델을 생성하는 과정에서, 먼저 현실 장면을 나타낼 수 있는 조밀한 포인트 클라우드와 3 차원 샘플 맵과 정렬하여, 상기 현실 장면에 대응하는 정렬된 3 차원 샘프 맵을 획득하고, 즉 현실 장면을 나타내는 3 차원 모델, 및 정렬된 3 차원 샘플 맵에서 상기 3 차원 모델의 제 1 좌표 정보를 획득한 다음, 정렬된 3 차원 샘플 맵에서 상기 3 차원 모델의 제1 좌표 정보, 및 정렬된 3 차원 샘플 맵에서의 픽셀 좌표계와 unity 좌표계의 변환 관계에 따라, unity 좌표계에서 상기 3 차원 모델의 제 2 좌표 정보를 결정하며, 본 발명의 일부 실시예에서, unity 좌표계에서 상기 3 차원 모델의 제2 좌표 정보 및 unity 좌표계와 세계 좌표계의 변환 관계에 따라, 세계 좌표계에서 상기 3 차원 모델의 제3 좌표 정보를 결정하고, 즉 3 차원 장면 모델을 획득하며, 여기서 현실 장면을 나타낼 수 있는 조밀한 포인트 클라우드가 복수 개의 좌표계에서 변환되는 경우, 동일한 비율로 변환하여, 획득된 3 차원 장면 모델과 현실 장면이 동일한 좌표계에서 나타날 때 1:1 비율로 표현되고, 즉 상기 3 차원 장면 모델은 상기 현실 장면과 완전하게 중첩된다.
본 발명의 실시예는 복수 개의 현실 장면 이미지에서의 각 현실 장면 이미지 중의 복수 개의 특징점을 통해, 조밀한 포인트 클라우드를 구성하고, 상기 조밀한 포인트 클라우드 및 사이즈 마크를 가진 3 차원 샘플 맵을 통해 현실 장면을 나타내는 3 차원 모델을 생성한 다음, 동등한 비율의 좌표 변환에 기반하여, 현실 장면을 나타내는 3 차원 장면 모델을 획득하며, 상기 방식을 통해 획득한 3 차원 장면 모델은 3 차원 장면 모델을 정확하게 나타낼 수 있다.
가상 대상이 현실 장면에서의 엔티티 물체에 의해 차폐되는 것을 나타내고, 가상 대상의 프리젠 테이션 특수 효과가 현실 장면에서의 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠 테이션 특수 정보를 획득하는 경우, 3 차원 장면 모델을 도입해야 하며, 즉 획득된 촬영 데이터 및 현실 장면을 나타내기 위한 3 차원 장면 모델에서 가상 대상의 포즈 데이터에 기반하여, 상기 현재 장면에서 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠 테이션 특수 효과 정보를 획득하는 단계는, 획득된 촬영 포즈 데이터, 가상 대상이 상기 3 차원 장면 모델에서 가상 대상의 포즈 데이터 및 3 차원 장면 모델에 기반하여, 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠 테이션 특수 효과 정보를 획득하는 단계를 포함할 수 있다.
3 차원 장면 모델과 AR 기기가 동일한 좌표계에 있는 경우, 상기 3 차원 장면 모델의 위치 좌표, AR 기기의 촬영 포즈 데이터, 및 3 차원 장면 모델에서 가상 대상의 포즈 데이터에 따라, 상기 가상 대상이 3 차원 장면 모델에 대응하는 현실 장면에서의 엔티티 물체에 의해 차폐되는지 여부를 결정하며, 상기 가상 대상의 부분 영역이 3 차원 장면 모델에 대응하는 현실 장면에서의 엔티티 물체에 의해 차페되는 것을 결정하는 경우, 차폐된 상기 부분 영역에 대해 렌더링을 수행하지 않을 수 있으며, 상기 3 차원 장면 모델은 그가 나타내는 현실 장면에서 투명한 상태로 처리될 수 있으며, 즉 사용자가 AR 기기에서 투명한 상태의 3 차원 장면 모델을 볼 수 없지만, 가상 대상이 현실 장면에서의 엔티티 물체에 의해 차폐되는 표현 효과를 볼 수 있다.
도 5에 도시된 바와 같이, 증강 현실 장면이고, 도 5의 가상 대상(S501)은 가상 공룡이고, 현실 장면(S502)은 건물이며, 도 5에서 디스플레이된 건물 이미지는 현실 장면에 대응하는 3 차원 장면 모델이고, 상기 3 차원 장면 모델의 위치 좌표, AR 기기의 촬영 위치 데이터, 및 3 차원 장면 모델에서 가상 공룡의 포즈 데이터에 따라, 상기 가상 공룡이 3 차원 장면 모델에 대응하는 현실 장면에서의 엔티티 물체(건물)에 의해 차폐된 것으로 결정되는 경우, 가상 공룡에 의해 가려진 부분에 대해 랜더링을 수행하지 않고, 렌더링 과정에서 상기 3 차원 장면 모델은 투명한 상태에 있고, AR 사용자는 AR 기기를 통해 현실감이 있는 차폐 효과를 볼 수 있고, 즉 가상 공룡 부분 영역이 건물에 의해 가려진 후, 가상 공룡이 건물의 뒤에서 나오는 프리젠테이션 특수 효과를 제시할 수 있다.
상기 실시예는 AR 기기의 촬영 포즈 데이터, 가상 대상이 3 차원 장면 모델 중의 포즈 데이터 및 3 차원 장면 모델을 결합하여 현실 장면에서 가상 대상의 프리젠테이션 특수 효과 정보를 결정하고, 가상 대상이 3 차원 장면 모델에 대응하는 현실 장면 중의 엔티티 물체에 의해 가려지는 경우, 3 차원 장면 모델을 통해 가상 대상의 차폐 효과를 구현할 수 있어, AR 기기에 현실감이 있는 증강 현실 장면을 표시할 수 있다.
하나의 실시 형태에서, 프리젠테이션 특수 효과 정보를 기반으로, AR 기기를 통해 AR 장면 이미지를 표시한 후, 본 발명의 실시예에 의해 제공된 AR 장면 이미지 처리 방법은, AR 기기에 표시된 가상 대상에 대한 트리거 작업을 획득하여, AR 장면 이미지에 표시된 프리젠테이션 특수 효과 정보를 업데이트하는 단계를 더 포함한다.
여기서, AR 장면 이지지에 표시된 프리젠테이션 특수 효과 정보를 업데이트하는 것은 AR 장면에서 가상 대상 화면의 업데이트를 트리거하는 것을 가리키거나, 또는 가상 대상에 대응하는 사운드 재생 효과의 업데이트를 트리거하는 것을 가리키거나, 또는 가상 대상에 대응하는 냄새 확산의 업데이트를 트리거하는 것을 기리키거나, 또는 AR 장면에서 가상 대상 화면의 업데이트,가상 대상에 대응하는 사운드 재생 효과의 업데이트 및 가상 대상에 대응하는 냄새 확산의 업테이트의 다양한 조합을 트리거하는 것을 가리킨다.
여기서, AR 기기에 표시된 가상 대상의 트리거 작업은 사용자의 제스처 동작을 통해 트리거되며, 예를 들어, 특정 제스처 동작은 AR 기기에 표시된 가상 대상의 트리거 작업을 나타내고, 예를 들어, 손가락으로 좌우로 스와이핑하는 것은 가상 대상의 변환을 나타낼 수 있고, 상기 트리거 작업은 이미지 수집 컴포넌트가 설치된 AR 기기에 적용될 수 있으며; 물론 AR 기기에 표시된 가상 대상의 트리거 작업은 디스플레이에 설정된 가상 버튼에 의해 트리거될 수 있고, 이 트리거 작업은 주로 디스플레이 컴포넌트를 갖는 AR 기기에 적용된다.
본 발명의 실시예의 가상 대상은 가상 피아노, 가상 편종 등과 같은 목표 악기를 포함하고, 상기 AR 기기에 표시된 가상 대상에 대한 트리거 작업을 획득하여, AR 장면 이미지에 표시된 프리젠테이션 특수 효과 정보를 업데이트하는 단계는,
AR 기기에 표시된 가상 대상에 대한 트리거 동작을 획득하고, 상기 AR 기기에 표시된 가상 대상이 트리거된 후 대응하는 사운드 재생 효과에 따라 업데이트를 수행하는 단계를 포함한다.
예를 들어, 목표 악기가 가상 편종이고, AR 기기에 표시된 가상 편종의 트리거 작업을 획득하는 경우, 상기 기기에 표시된 가상 편종이 트리거된 후 대응하는 사운드 재생 효과에 따라 사운드 재생을 수행할 수 있다.
여전히 목표 악기를 포함하는 가상 대상을 예로 들어, AR 기기가 복수 개를 포함하는 경우, 복수 개의 AR 사용자는 AR 기기에 표시된 AR 장면 이미지에서 상기 가상 대상과 상호 작용할 수 있고, 상기 AR 기기에 표시된 가상 대상에 대한 트리거 작업을 획득하여, AR 장면 이미지에 표시된 프리젠테이션 특수 효과 정보를 업데이트하는 단계는,
(1) 복수 개의 AR 기기에 표시된 동일한 가상 대상에 대한 트리거 동작을 획득하여, 복수 개의 AR 기기에 표시된 동일한 가상 대상이 트리거된 후 대응하는 혼합 사운드 재생 효과에 따라 업데이트를 수행하는 단계; 또는,
(2) 복수 개의 AR 기기 중 적어도 하나의 AR 기기에 표시된 가상 대상에 대한 트리거 동작을 획득하여, 복수 개의 AR 기기에 표시된 적어도 하나의 가상 대상이 트리거된 후 대응하는 혼합 사운드 재생 효과에 대해 업데이트를 수행하는 단계를 포함할 수 있다.
예를 들어, 복수의 AR 사용자가 각자의 AR 기기에 표시된 동일한 가상 피아노의 트리거 작업을 획득하는 경우, 복수 개의 AR 기기에 표시된 상기 가상 피아노가 트리거된 후 대응하는 혼합 사운드 재생 효과에 따라 재생을 수행할 수 있으며; 또는, 복수의 AR 사용자는 각각의 AR 기기에 표시된 상이한 가상 편종의 트리거 작업을 획득한 후, 복수 개의 AR 기기에 표시된 상이한 가상 편종이 트리거된 후 대응하는 혼합 사운드 재생 효과에 따라 재생할 수 있다.
본 발명의 실시예에 의해 제공된 AR 기기에 표시된 가상 대상에 대한 트리거 동작을 획득하는 경우, AR 장면 이미지에서 표시된 프리젠테이션 특수 효과 정보를 업데이트할 수 있으므로, 증강 현실 장면의 조작성을 향상시켜, 사용자 경험을 향상시킬 수 있다.
도 6을 참조하면, 본 발명의 실시예는 또한 다른 AR 장면 이미지 처리 방법을 제공하며, 다음의 단계 S601 내지 단계 S603을 포함할 수 있다.
단계 S601에 있어서, AR 기기의 활영 포즈 데이터 및 AR 기기에 의해 촬영된 현실 장면 이미지를 획득한다.
여기서 촬영 포즈 데이터는 위에서 설명한 것과 동일하고, 여기서 더 이상 설명하지 않는다.
단계 S602에 있어서, 현실 장면 이미지 및 현실 장면 이미지 속성 정보를 결정하기 위한 미리 저장된 제2 뉴럴 네트워크 모델에 기반하여, 현실 장면 이미지에 대응하는 속성 정보를 결정한다.
여기서, 속성 정보는 현실 장면 이미지가 나타내는 현실 장면의 구체적인 유형이고, 태그 식별자를 통해 나타낼 수 있으며, 예를 들어, 동일한 실내 공간에 대해, 다양한 장식 유형으로 꾸밀 수 있고, 각 장식 유형은 가상 대상의 프리젠테이션 특수 효과에 대응할 수 있으며, 예를 들어, 가상 대상은 상이한 색상을 방출하는 가상 펜던트일 수 있고, 상기 실내 공간에 대응하는 속성 정보는 유럽식, 중국식 및 미국식을 포함할 수 있으며, 유럽식에 대응하는 가상 대상은 첫 번째 색상의 펜던트로 표시되고, 중국식에 대응하는 가상 대상은 두 번째 색상의 펜던트로 표시되며,미국식에 대응하는 가상 대상은 세 번째 색상의 펜던트로 표시된다.
단계 S603에 있어서, 촬영 포즈 데이터 및 현실 장면을 나타내기 위한 3 차원 장면 모델에서 가상 대상의 포즈 데이터에 기반하여, 현실 장면에서 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠테이션 특수 효과 정보를 획득한다.
단계 S604에 있어서, 프리젠 테이션 특수 효과 정보를 기반으로, AR 기기를 통해 AR 장면 이미지를 표시한다.
단계 S602 또는 단계 S603은 아래에 설명된다.
상기 단계 S602에 대해, 다음 단계에 따라 제2 뉴럴 네트워크 모델을 훈련시킬 수 있다.
현실 장면을 미리 촬영하여 획득한 복수 개의 샘플 사진 및 각 샘플 사진에 대응하는 속성 정보에 기반하여, 상기 제2 뉴럴 네트워크 모델을 훈련한다.
여기서, 상기 현실 장면에 대해 상이한 촬영 포즈를 촬영하여, 대량의 샘플 맵, 및 각 샘플 사진에 대응하는 속성 정보를 획득한 다음, 샘플 사진을 모델 일력단으로 취하고, 샘플 맵에 대응하는 속성 정보를 모델 출력단으로 취하여, 훈련될 제2 뉴럴 네트워크 모델을 입력하여 훈련하며, 미리 설정된 조건에 도달한 후, 훈련이 완료된 제2 뉴럴 네트워크 모델을 획득한다.
여기서, 미리 설정된 조건은 훈련 횟수가 설정된 임계값에 도달할 수 있거나, 촬영 포즈 데이터 인식 정확도는 설정될 정확도 범위에 도달할 수 있는 것이며, 여기서 상세히 설명하지 않는다.
상기 단계 S603에 대해, 여기서 상기 단계 S102의 기초 위에, 현실 장면의 속성 정보를 추가하고, 즉 동시에 촬영 포즈 데이터, 속성 정보 및 현실 장면을 나타내기 위한 3 차원 장면 모델에서 가상 대상의 포즈 데이터에 기반하여, 현실 장면에서 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠테이션 특수 효과 정보를 획득하며, 예를 들어, 상기 예에 대해, 촬영된 실내 공간의 속성 정보가 유럽식인 경우, 가상 대상은 첫 번째 색상의 펜던트로 표시되므로, 유럽식의 실내 공간에 대응하는 프리젠 테이션 특수 효과 정보를 획득할 수 있으며; 촬영된 실내 공간의 속성 정보가 중국식인 경우, 가상 대상은 두 번째 색상의 펜던트로 표시되므로, 중국식의 실내 공간에 대응하는 프리젠 데이션 특수 효과 정보를 획득할 수 있다.
여기서, 촬영 포즈 데이터가 프리젠테이션 특수 효과 정보를 얻는 작용은, 위에서 설명한 것과 유사하며, 여기서 더이상 설명하지 않는다.
현실 장면에서 가상 대상이 엔티티 물체에 의해 가려지는 경우, 위에서 설명한 조건과 유사하므로, 여기서 더이상 설명하지 않는다.
상기 실시 형태는 AR 기기의 촬영 포즈 데이터 및 현실 장면 이미지 속성 정보를 결합하여 현실 장면에서 가상 대상의 프리젠테이션 특수 효과 정보를 결정함으로써, 가상 대상의 프리젠테이션 특수 효과가 현실 장면에 더 잘 융합될 수 있다.
또한, 본 발명의 실시예는 AR 장면 이미지 처리 방법을 더 제공하고, 상기 경우는 현실 장면에서 기설정된 식별자를 추가할 수 있으며, 기설정된 식별자는 추가 가상 대상 정보와 매핑되는 기설정된 식별자 정보를 저장하고, 여기서 추가 가상 대상 정보는 상기 현실 장면과 관련된 애니메이션, 텍스트, 사진 등 정보일 수 있으며, 상기 AR 장면 이미지 처리 방법은, AR 기기의 촬영 포즈 데이터 및 AR 기기에 의해 촬영된 현실 장면의 기설정된 식별자를 획득하는 단계; 상기 기설정된 식별자 및 미리 저장된 기설정된 식별자와 추가 가상 대상 정보의 매핑 관계에 기반하여, 현실 장면에 대응하는 추가 가상 대상 정보를 결정하는 단계; 상기 촬영 포즈 데이터, 상기 추가 가상 대상 정보 및 현실 장면을 나타내기 위한 3 차원 장면 모델에서의 가상 대상의 포즈 데이터에 기반하여, 상기 현재 장면에서 상기 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠테이션 특수 효과 정보를 획득하는 단계; 및 프리젠 테이션 특수 효과 정보에 기반하고, AR 기기를 통해 AR 장면 이미지를 표시하는 단계를 포함한다.
예를 들어, 현실 장면 꽃병에 기설정된 식별자를 부착할 수 있으며, 상기 기설정된 식별자는 QR 코드, 이미지 태그 등일 수 있고, AR 기기에 의해 촬영된 상기 기설정된 식별자를 획득하는 경우, 상기 기설정된 식별자에 저장된 기설정된 식별자 정보를 추출할 수 있고, 상기 기설정된 식별자 정보 및 미리 저장된 기설정된 식별자 정보와 추가 가상 대상 정보의 매핑 관계에 기반하여, 상기 꽃병에서의 기설정된 식별자를 스캔한 것을 결정한 후, AR 기기의 추가 가상 대상 정보를 표현한 다음, AR 기기의 촬영 포즈 데이터, 현실 장면을 나타내기 위한 3 차원 장면 모델에서의 가상 대상의 포즈 데이터 및 기설정된 식별자 정보에 대응하는 추가 가상 대상 정보에 기반하여, 현실 장면에서 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠테이션 특수 효과 정보를 획득할 수 있으므로, 상기 프리젠테이션 특수 효과 정보를 기반으로, AR 기기를 통해 AR 장면 이미지를 디스플레이한다. 여기서 촬영 포즈 데이터가 프리젠 테이션 특수 효과 정보를 얻는 작용은, 위에서 설명한 것과 유사하며, 여기서 더이상 설명하지 않는다.
예를 들어, 추가 가상 대상 정보는 실내 공간의 꽃병에 대한 텍스트 소개이고, 상기 꽃병에 QR 코드가 부착되어 있으며, 상기 QR 코드에 상기 추가 가상 정보에 대응하는 기설정된 식별자 정보가 저장되고, 상기 실내 공간에 진입하는 AR 기기의 촬영 포즈 데이터에 대응하는 가상 대상은 가상 해설원이며, AR 기기에서 상기 꽃병에 부착된 QR 코드를 스캔하여, 기설정된 식별자 정보를 획득한 후, 획득된 프리젠테이션 특수 효과 정보는 상기 가상 해설원이 상기 꽃병 옆에 추가 가상 대상 정보, 즉 상기 꽃병에 대한 텍스트 소개를 설명하는 것일 수 있다.
상기 실시형태는 AR 기기의 촬영 포즈 데이터 및 현실 장면의 기설정된 식별자에 대응하는 추가 가상 대상 정보를 함께 결합하여 AR 장면 이미지의 프리젠테이션 특수 효과 정보를 결정함으로써, AR 장면 이미지로 하여금 더욱 풍부한 표시 방식을 갖도록 한다.
또한, 프리젠테이션 특수 효과 정보에 기반하여, AR 기기를 통해 AR 장면 이미지를 표시하는 경우, 본 발명의 실시예는 AR 기기가 정지된 가상 대상에 접근하는 경우, 실시간으로 가상 대상의 좌표를 조정하여, 가상 대상의 좌표계로 하여금 AR 기기의 좌표계와 일치하도록 하며, 이와 같이 AR 사용자가 가상 대상에 접근할 때 현실 장면에서 일치한 접근 효과를 보여주며, 예를 들어, AR 사용자가 AR 기기를 통해 실제 원탁에 놓인 가상 꽃병을 보고, AR 사용자가 상기 가상 꽃병에 접근하는 경우, 상기 가상 꽃병의 거리가 점차 줄어들어, 실제 접근 효과를 느낄 수 있다.
도 7을 참조하면, 본 발명의 실시예는 AR 장면 이미지 처리 방법을 더 제공하고, 여기서 실행 주체는 클라우드 플랫폼 서버에 배치된 프로세서일 수 있고, 다음의 단계 S701 내지 단계 S703을 포함하며; 단계 S701에 있어서, 현실 장면에 대응하는 복수 개의 현실 장면 이미지를 획득하며; 단계 S702에 있어서, 복수 개의 현실 장면 이미지에 기반하여, 현실 장면을 나타내기 위한 3 차원 장면 모델을 생성하며; 단계 S703에 있어서, 상기 3 차원 장면 모델 및 상기 현살 장면과 매칭되는 가상 대상에 기반하여, AR 장면에서 상기 가상 대상의 프리젠테이션 특수 효과 정보를 생성하며; 단계 S704에 있어서, 상기 프리전 테이션 특수 효과 정보에 기반하여, 상기 AR 기기를 통해 AR 장면 이미지를 표시한다.
여기서, 3 차원 장면 모델을 생성하는 관정은 위에서 언급한 3 차원 장면 모델의 생성 과정과 동일하며, 여기서 더이상 설명하지 않는다.
여기서, 3 차원 장면 모델에서의 가상 대상의 포즈 데이터를 설정할 수 있고, 즉 3 차원 장면 모델에서의 가상 대상의 프리젠 테이션 특수 효과 정보를 획득할 수 있으며, 3 차원 장면 모델은 동일한 좌표계에서 나타나는 현실 장면과 완전히 중첩되므로, 3 차원 장면 모델에서 가상 대상의 포즈 데이터에 따라 AR 장면에서 프리젠 테이션 특수 효과 정보를 획득할 수 있다.
본 발명의 실시예는 복수 개의 현실 장면에 대응하는 현실 장면 이미지에 기반하여, 현실 장면을 나타내기 위한 3 차원 장면 모델을 획득할 수 있으며, 예를 들어, 현실 장면과 동일한 좌표계에서 1:1 비율에 따라 표현된 3 차원 장면 모델을 획득하며, 이와 같이, 상기 3 차원 장면 모델과 현실 장면에 매칭되는 가상 대상에 기반하여, 가상 대상이 AR 장면에서의 프리젠테이션 특수 효과 정보를 미리 결정할 수 있어, 상기 프리젠테이션 특수 효과 정보에 따라 가상 대상이 1:1 비율로 현실 장면에 표현될 때, AR 기기에 현실감이 있는 증강 현실 장면의 효과를 표시할 수 있다.
도 8에 도시된 바와 같이, 복수 개의 현실 장면 이미지에 기반하여, 현실 장면을 나타내기 위한 3 차원 장면 모델을 생성하는 경우, 다음의 단계 S801 또는 단계 S802를 실행할 수 있으며; 단계 S801에 있어서, 획득된 복수 개의 현실 장면 이미지에서의 각 현실 장면 이미지로부터 복수 개의 특징점을 추출하며; 단계 S802에 있어서, 추출된 복수 개의 특징점 및 상기 현실 장면과 매칭되는 미리 저장된 3차원 샘플 맵에 기반하여, 상기 3 차원 장면 모델을 생성하며; 여기서, 상기 3 차원 샘플 맵은 상기 현실 장면 형태 특징을 나타내는 미리 저장된 3 차원 이미지이다.
상기 과정은 복수 개의 현실 장면 이미지에 기반하여 현실 장면을 나타내기 위한 3 차원 장면 모델을 생성하는 과정으로, 위에서 상세하게 소개하였으므로, 여기서 더이상 설명하지 않는다.
본 발명의 실시예는 복수 개의 현실 장면 이미지에서의 각 현실 장면 이미지 중의 복수 개의 특징점을 통해, 조밀한 포인트 클라우드를 구성할 수 있고, 상기 조밀한 포인트 클라우드 및 사이즈 마크를 가진 3 차원 샘플 맵을 통해 현실 장면을 나타내는 3 차원 모델을 생성한 다음, 동등한 비율의 좌표 변환에 기반하여, 현실 장면을 나타내는 3 차원 장면 모델을 획득하며, 상기 방식을 통해 획득한 3 차원 장면 모델은 3 차원 장면 모델을 정확하게 나타낼 수 있다.
본 발명의 실시예는 AR 장면 이미지 처리 방법을 제공하고, 본 발명의 실시예에 제공된 AR 장면 이미지 처리 방법의 실행 개체는 상기 AR 기기일 수 있고, 데이터 처리 능력을 갖는 다른 처리 장치일 수 있으며, 예를 들어, 로컬 또는 클라우드 서버일 수 있고, AR 장면 이미지 처리 방법의 실행 주체가 AR 기기로 하여 예를 들어 설명하며, 상기 AR 장면 이미지 처리 방법은 다음의 단계 S901 내지 단계 S906을 포함할 수 있다.
단계 S901에 있어서, 사용자가 영역에 진입한 후, AR 기기는 촬영된 상기 영역의 현실 장면 이미지를 획득한다.
여기서, 3 차원 재구성을 위한 운동으로부터 구조의 출현(structure-from-motion, SFM) 알고리즘에 기반하여 포니셔닝의 샘플 맵 라이브러리를 결정할 수 있으며, 샘플 맵 라이브러리의 구성은 다음과 같은 단계 S9011 또는 단계 S9012를 포함할 수 있다.
단계 S9011에 있이서, 상기 AR 기기는 상이한 각도에 대응하는 사진을 수집하고, 상기 3 차원 물체에서 각 사진의 특징점을 추출하여, SFM 포인트 클라우드로 구성된 3 차원 모델을 형성한다.
단계 S9012에 있이서, 상기 AR 기기는 SFM 포인트 클라우드와 컴퓨터에 의한 설계(Computer Aided Design, CAD) 샘플 맵을 정렬(수집된 특징점 데이터에 기반하여, 표준 CAD 샘플 맵을 선택함)하여; 샘플 맵 라이브러리를 획득한다.
단계 S902에 있어서, 상기 AR 기기는 상기 현실 장면 이미지의 특징점을 추출한다.
단계 S903에 있어서, 상기 AR 기기는 상기 특징점과 샘플 맵 라이브러리에서의 특징점을 매칭하여, 샘플 이미지 라이브러리에 대응 매칭도가 가장 높은 맵을 샘플 맵으로 취한다.
단계 S904에 있어서, 상기 AR 기기는 상기 목표 샘플 맵에 대응하는 촬영 포즈 데이터를, 상기 현실 장면 이미지에 대응하는 촬영 포즈 데이터로 결정한다.
여기서, 상기 촬영 포즈 데이터는 AR 기기의 현재 포지셔닝 위치 정보일 수 있고, 상기 현재 포지셔닝 위치 정보는 지리적 좌표 및/또는 촬영 각도일 수 있다.
단계 S905에 있어서, 상기 AR 기기는 상기 촬영 포즈 데이터에 기반하여, 현실 장면을 나타내기 위한 3 차원 장면 모델 및 배열된 가상 대상을 결정한다.
여기서, 상기 3 차원 장면 모델의 구성은 조밀한 재구성 방법을 채택할 수 있으며, 단계 S9051 내지 단계 S9052를 포함할 수 있다.
단계 S9051에 있어서, 상기 AR 기기는 대량 사진에서의 특징점을 추출한다.
단계 S9052에 있어서, 상기 AR 기기는 각 특징점을 연결하고, 모델의 평면을 획득하며, 모델의 평면은 3 차원 장면 모델을 구성한다.
또한, 상기 3 차원 장면 모델의 구성은 다른 구성 방법을 채택할 수 있으며, 단계 S9053을 포함할 수 있다.
단계 S9053에 있어서, 상기 AR 기기는 현실 장면 3 차원 이미지 또는 QR 코드에 기반하여, 현실 장면에 대응하는 대량의 3 차원 장면 모델을 구성한다.
구성된 3 차원 장면 모델에 기반하여, 가상 대상은 장면 모델에 대응하는 장면에 배치할 수 있다. 3 차원 장면 모델 + 배열된 가상 대상 + 지리적 위치 정보(VR 기기 위치, 즉 촬영 포즈 데이터)는 후속 사용을 위해 저장된다.
단계 S906에 있어서, 상기 AR 기기는 3 차원 장면 모델에서 가상 대상의 포즈 데이터에 따라, 현실 장면에 디스플레이하여, 증강 현실 효과를 표현한다.
여기서, 상기 포즈 데이터는 3 차원 장면 모델에 배치된 가상 대상의 위치 관계일 수 있다.
본 발명의 실시예는 AR 장면 이미지 처리 방법을 제공하며, 다음의 단계 S1001 내지 단계 S1004를 포함할 수 있다.
단계 S1001에 있어서, 사용자가 영역에 진입한 후, AR 기기는 촬영된 상기 영역의 현실 장면 이미지를 획득한다.
단계 S1002에 있어서, 상기 AR 기기는 상기 현실 장면 이미지 및 위치 결정을 위한 미리 저장된 뉴럴 네트워크 모델에 기반하여, 상기 현실 장면 이미지에 대응하는 촬영 포즈 데이터를 결정하며; 상기 촬영 포즈 데이터는 촬영 위치 및 촬영 각도 정보 중 적어도 하나를 포함한다.
여기서, 상기 뉴럴 네트워크 훈련은 단계 S10021 또는 단계 S10022을 포함할 수 있다.
단계 S10021에 있어서, 대량의 사진 위치 샘플을 미리 구축하여, 사진을 모델 일력단으로 사용하고, 훈련을 위해 위치 모델 출력단을 뉴럴 네트워크 모델에 입력하여, 위치 예측 모델을 획득한다.
단계 S10022에 있어서, 사진을 획득한 후, 사진을 위치 예측 모델에 입력하여, 상기 사진에 대응하는 위치(즉 촬영 포즈 데이터)를 결정한다.
단계 S1003에 있어서, 상기 AR 기기는 상기 촬영 포즈 데이터에 기반하여, 현실 장면을 나타내기 위한 3 차원 장면 모델 및 배열된 가상 대상을 결정한다.
단계 S1004에 있어서, 상기 AR 기기는 3 차원 장면 모델에서 가상 대상의 포즈 데이터에 따라, 현실 장면에 디스플레이하여, 증강 현실 효과를 표현한다.
상기 AR 장면 이미지 처리 방벙의 과정은 또한 영역 인식, 물체 속성 인식, 가상 물체 경로 계획 등과 결합하여 구현될 수 있다.
동일한 기술적 개념에 기반하여,본 발명의 실시예는 AR 장면 이미지 처리 방법에 대응하는 AR 장면 이미지 처리 장치를 더 제공하며, 본 발명의 실시예에서 장치에 의해 문제를 해결하는 원리는 본 발명 실시예에서 상기 AR 장면 이미지 처리 방법의 원리와 동일하기 때문에, 장치의 구현은 전술한 방법의 구현을 참조할 수 있고, 중복되는 부분은 더이상 설명하지 않는다.
도 9에 도시된 바와 같이, 본 발명의 실시예에 의해 제공된 AR 장면 이미지 처리 장치(900)는,
AR 기기의 촬영 포즈 데이터를 획득하도록 구성된 제1 획득 모듈(901); 상기 촬영 포즈 데이터 및 현실 장면을 나타내기 위한 3 차원 장면 모델에서의 가상 대상의 포즈 데이터에 기반하여, 상기 현재 장면에서 상기 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠테이션 특수 효과 정보를 획득하도록 구성된 제2 획득 모듈(902); 및 상기 프리젠테이션 특수 효과 정보에 기반하여, 상기 AR 기기를 통해 AR 장면 이미지를 표시하도록 구성된 표시 모듈(903)을 포함한다.
하나의 가능한 실시 형태에서, 제2 획득 모듈(902)은 획득된 상기 촬영 포즈 데이터, 3 차원 장면 모델에서 가상 대상의 포즈 데이터 및 3 차원 장면 모델에 기반하여, 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠테이션 특수 효과 정보를 획득하는 방식을 사용하여, 획득된 촬영 포즈 데이터 및 현실 장면을 나타내기 위한 3 차원 장면 모델에서의 가상 대상의 포즈 데이터에 기반하여, 현재 장면에서 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠테이션 특수 효과 정보를 획득하도록 구성된다.
하나의 가능한 실시 형태에서, AR 장면 이미지 처리 장치는 생성 모듈(904)을 더 포함하고, 생성 모듈(904)은 현실 장면에 대응하는 복수 개의 현실 장면 이미지를 획득하는 단계; 및 복수 개의 현실 장면 이미지에 기반하여,3 차원 장면 모델을 생성하는 단계를 사용하여 3 차원 장면 모델을 생성하도록 구성된다.
하나의 가능한 실시 형태에서, 생성 모듈(904)은 획득된 복수 개의 현실 장면 이미지에서의 각 현실 장면 이미지로부터 복수 개의 특징점을 추출하는 단계; 및 추출된 복수 개의 특징점 및 현실 장면과 매칭되는 미리 저장된 3차원 샘플 맵에 기반하여, 3 차원 장면 모델을 생성하는 단계 - 3 차원 샘플 맵은 현실 장면 형태 특징을 나타내는 미리 저장된 3 차원 맵임 - 를 사용하여, 복수 개의 현실 장면 이미지에 기반하여, 3 차원 장면 모델을 생성하도록 구성된다.
하나의 가능한 실시 형태에서,제1 획득 모듈(901)은, AR 기기에 의해 촬영된 현실 장면 이미지를 획득하는 단계; 및 현실 장면 이미지 및 위치 결정을 위한 미리 저장된 제1 뉴럴 네트워크 모델에 기반하여, 현실 장면 이미지에 대응하는 촬영 포즈 데이터를 결정하는 단계 - 촬영 포즈 데이터는 촬영 위치 정보 및 촬영 각도 정보 중 적어도 하나를 포함함 - 를 사용하여, AR 기기의 촬영 포즈 데이터를 획득하도록 구성된다.
하나의 가능한 실시 형태에서, AR 장면 이미지 처리 장치는 제1 모델 훈련 모듈(905)을 더 포함하고, 제1 모델 훈련 모듈(905)은, 현실 장면을 미리 촬영하여 획득된 복수 개의 샘플 사진 및 각 샘플 사진에 대응하는 촬영 포즈 데이터에 기반하여, 제1 뉴럴 네트워크 모델을 훈련시키는 단계에 따라 제1 뉴럴 네트워크 모델을 훈련하도록 구성된다.
하나의 가능한 실시 형태에서,제1 획득 모듈(901)은, AR 기기에 의해 촬영된 현실 장면 이미지를 획득하는 단계; 및 현실 장면 이미지 및 정렬된 3 차원 샘플 맵에 기반하여, 현실 장면 이미지에 대응하는 촬영 포즈 데이터를 결정하는 단계 - 촬영 포즈 데이터는 촬영 위치 정보 및 촬영 각도 정보 중 적어도 하나를 포함하고; 정렬된 3 차원 샘플 맵은 현실 장면을 미리 촬영하여 획득한 샘플 맵 라이브러리와 미리 저장된 3 차원 샘플 맵에 기반하여 특징점 정렬을 수행한 후의 3 차원 샘플 맵이며; 미리 저장된 3 차원 샘플 맵은 현실 장면 형태 특징을 나타내는 미리 저장된 3 차원 맵임 - 를 사용하여, AR 기기의 촬영 포즈 데이터를 획득하도록 구성된다.
하나의 가능한 실시 형태에서,제1 획득 모듈(901)은, 정렬된 3 차원 샘플 맵에 기반하여, 현실 장면 이미지에서의 특징점과 매칭되는 3 차원 샘플 맵에서의 특징점을 결정하는 단계; 정렬된 3 차원 샘플 맵에서 매칭되는 3 차원 샘플 맵에서의 특징점의 좌표 정보에 기반하여, 샘플 맵 라이브러리의 현실 장면 이미지와 매칭되는 목표 샘플 맵을 결정하는 단계 - 샘플 맵 라이브러리는 현실 장면을 미리 촬영하여 획득한 샘플 맵 및 각 샘플 사진에 대응하는 촬영 포즈 데이터를 포함함 - 를 사용하여, 현실 장면 이미지에 대응하는 촬영 포즈 데이터를 결정하도록 구성된다.
목표 샘플 맵에 대응하는 촬영 포즈 데이터를, 현실 장면 이미지에 대응하는 촬영 포즈 데이터로 결정한다.
하나의 가능한 실시 형태에서,제1 획득 모듈(901)또한, AR 기기에 의해 촬영된 현실 장면 이미지를 획득하고; 현실 장면 이미지 및 현실 장면 이미지 속성 정보를 결정하기 위한 미리 저장된 제2 뉴럴 네트워크 모델에 기반하여, 현실 장면 이미지에 대응하는 속성 정보를 결정하도록 구성되며; 제2 획득 모듈(902)은 촬영 포즈 데이터, 속성 정보 및 현실 장면을 나타내기 위한 3 차원 장면 모델에서의 가상 대상의 포즈 데이터에 기반하여, 현재 장면에서 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠테이션 특수 효과 정보를 획득하는 단계를 사용하여 촬영 포즈 데이터 및 현실 장면을 나타내기 위한 3 차원 장면 모델에서의 가상 대상의 포즈 데이터에 기반하여, 현재 장면에서 상기 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠테이션 특수 효과 정보를 획득하도록 구성된다.
하나의 가능한 실시 형태에서,AR 장면 이미지 처리 장치는 제2 모델 훈련 모듈(906)을 더 포함하며, 제2 모델 훈련 모듈(906)은, 현실 장면을 미리 촬영하여 획득한 복수 개의 샘플 사진 및 각 샘플 사진에 대응하는 속성 정보에 기반하여, 상기 제2 뉴럴 네트워크 모델을 훈련하는 단계에 따라 제2 뉴럴 네트워크 모델을 훈련하도록 구성된다.
하나의 가능한 실시 형태에서, 제1 획득 모듈(901)가 AR 기기의 활영 포즈 데이터를 획득한 후 또한, AR 기기에 의해 촬영된 현실 장면의 기설정된 식별자를 획득하고; 기설정된 식별자, 및 미리 저장된 기설정된 식별자와 추가 가상 대상 정보의 매핑 관계에 기반하여, 현실 장면에 대응하는 추가 가상 대상 정보를 결정하도록 구성되며; 제2 획득 모듈(902)은 촬영 포즈 데이터, 추가 가상 대상 정보 및 현실 장면을 나타내기 위한 3 차원 장면 모델에서의 가상 대상의 포즈 데이터에 기반하여, 현재 장면에서 상기 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠테이션 특수 효과 정보를 획득하는 단계를 사용하여 촬영 포즈 데이터 및 현실 장면을 나타내기 위한 3 차원 장면 모델에서의 가상 대상의 포즈 데이터에 기반하여, 현재 장면에서 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠테이션 특수 효과 정보를 획득하도록 구성된다.
하나의 가능한 실시 형태에서, 표시 모듈(903)은 프리젠 테이션 특수 효과 정보에 기반하여, AR 기기를 통해 AR 장면 이미지를 표시한 후 또한, AR 기기에 표시된 가상 대상에 대한 트리거 작업을 획득하고, AR 장면 이미지에 표시된 프리젠 테이션 특수 효과 정보를 업데이트하도록 구성된다.
하나의 가능한 실시 형태에서, 가상 대상은 목표 악기를 포함하고, 표시 모듈(903)은 AR 기기에 표시된 가상 대상에 대한 트리거 동작을 획득하고, AR 기기에 표시된 가상 대상이 트리거된 후 대응하는 사운드 재생 효과에 따라 업데이트를 수행하는 단계를 사용하여 AR 기기에 표시된 가상 대상에 대한 트리거 동작을 획득하여, AR 장면 이미지에 표시된 프리젠테이션 특수 효과 정보를 업데이트하도록 구성된다.
하나의 가능한 실시 형태에서,가상 대상은 목표 악기를 포함하고,AR 기기는 복수 개를 포함하며,표시 모듈(903)은, 복수 개의 AR 기기에 표시된 동일한 가상 대상에 대한 트리거 동작을 획득하고, 복수 개의 AR 기기에 표시된 동일한 가상 대상이 트리거된 후 대응하는 혼합 사운드 재생 효과에 따라 업데이트를 수행하는 단계를 사용하여 AR 기기에 표시된 가상 대상에 대한 트리거 작업을 획득하여, AR 장면 이미지에 표시된 프리젠 테이션 특수 효과 정보를 업데이트하도록 구성된다.
하나의 가능한 실시 형태에서, 가상 대상은 목표 악기를 포함하고, AR 기기는 복수 개를 포함하며,표시 모듈(903)은, 복수 개의 AR 기기 중 적어도 하나의 AR 기기에 표시된 가상 대상에 대한 트리거 작업을 획득하고, 복수 개의 AR 기기에 표시된 적어도 하나의 가상 대상이 트리거된 후 대응하는 혼합 사운드 재생 효과에 대해 업데이트를 수행하는 단계를 사용하여 AR 기기에 표시된 가상 대상에 대한 트리거 작업을 획득하여, AR 장면 이미지에 표시된 프리젠 테이션 특수 효과 정보를 업데이트하도록 구성된다.
도 10에 도시된 바와 같이, 본 발명의 실시예에 의해 제공된 AR 장면 이미지 처리 장치(1000)는,
현실 장면에 대응하는 복수 개의 현실 장면 이미지를 획득하도록 구성된 획득 모듈(1001); 복수 개의 현실 장면 이미지에 기반하여, 현실 장면을 나타내기 위한 3 차원 장면 모델을 생성하도록 구성된 제1 생성 모듈(1002); 3 차원 장면 모델 및 상기 현살 장면과 매칭되는 가상 대상에 기반하여, AR 장면에서 가상 대상의 프리젠테이션 특수 효과 정보를 생성하도록 구성된 제2 생성 모듈(1003); 및 상기 프리젠테이션 특수 효과 정보에 기반하여, 상기 AR 기기를 통해 AR 장면 이미지를 표시하도록 구성된 표시 모듈(1004)을 포함한다.
하나의 가능한 실시 형태에서,제1 생성 모듈(1002)은, 획득한 복수 개의 현실 장면 이미지에서의 각 현실 장면 이미지로부터 복수 개의 특징점을 추출하는 단계; 및 추출된 복수 개의 특징점 및 상기 현실 장면과 매칭되는 미리 저장된 3차원 샘플 맵에 기반하여,상기 3 차원 장면 모델을 생성하는 단계 - 상기 3 차원 샘플 맵은 상기 현실 장면 형태 특징을 나타내는 미리 저장된 3 차원 이미지임 - 를 사용하여, 복수 개의 현실 장면 이미지에 기반하여, 현실 장면을 나타내기 위한 3 차원 장면 모델을 생성하도록 구성된다.
일부 실시예에서, 본 발명의 실시예에서 제공한 장치가 갖고 있는 기능 또는 포함하는 모듈은 전술한 방법 실시예에서 설명한 방법을 실행하기 위한 것이고, 그 구현은 전술한 방법 실시예의 설명을 참조할 수 있으며, 간결함을 위해, 여기서 더이상 반복하여 설명하지 않는다.
본 발명의 실시예는 또한 전자 기기(1100)를 제공하며, 도 11에 도시된 바와 같이, 본 발명의 실시예에 의해 제공된 전자 기기 구조 모식도이며,
프로세서(1101), 메모리(1102), 및 버스(1103)를 포함하며; 메모리(1102)는 명령어를 저장하고 실행하도록 구성되며, 내부 메모리(11021) 및 외부 메모리(11022)를 포함하며; 상기 내부 메모리(11021)는 내부 저장소라고도 지칭하며, 프로세서(1101) 중의 처리 데이터, 및 하드 디스크 등 외부 메모리(11022)와 교환되는 데이터를 임시 저장하도록 구성되며, 프로세서(1101)는 내부 메모리(11021)와 외부 메모리(11022)를 통해 데이터 교환을 수행하며, 전자 기기(1100)에서 작동되는 경우, 프로세서(1101)와 메모리(1102) 사이는 버스(1103)를 통해 통신하여, 프로세서(1101)로 하여금, AR 기기의 촬영 포즈 데이터를 획득하는 단계; 촬영 포즈 데이터, 추가 가상 대상 정보 및 현실 장면을 나타내기 위한 3 차원 장면 모델에서의 가상 대상의 포즈 데이터에 기반하여, 상기 현재 장면에서 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠테이션 특수 효과 정보를 획득하는 단계; 및 로프리젠테이션 특수 효과 정보를 기반으, AR 기기를 통해 AR 장면 이미지를 표시하는 단계를 실행하도록 한다.
본 발명의 실시예는 또한 전자 기기(1200)를 제공하며, 도 12에 도시된 바와 같이, 본 발명의 실시예에 의해 제공된 전자 기기 구조 모식도이며,
프로세서(1201), 메모리(1202), 및 버스(1203)를 포함하며; 메모리(1202)는 명령어를 저장하고 실행하도록 구성되며, 내부 메모리(12021) 및 외부 메모리(12022)를 포함하며; 상기 내부 메모리(12021)는 내부 저장소라고도 지칭하며, 프로세서(1201) 중의 처리 데이터, 및 하드 디스크 등 외부 메모리(12022)와 교환되는 데이터를 임시 저장하도록 구성되며, 프로세서(1201)는 내부 메모리(12021)와 외부 메모리(12022)를 통해 데이터 교환을 수행하며, 전자 기기(1200)에서 작동되는 경우, 프로세서(1201)와 메모리(1202) 사이는 버스(1203)를 통해 통신하여, 프로세서(1201)로 하여금, 현실 장면에 대응하는 복수 개의 현실 장면 이미지를 획득하는 단계; 복수 개의 현실 장면 이미지에 기반하여, 현실 장면을 나타내기 위한 3 차원 장면 모델을 생성하는 단계; 3 차원 장면 모델 및 현실 장면과 매칭되는 가상 대상에 기반하여, AR 장면에서의 가상 대상의 프리젠테이션 특수 효과 정보를 생성하는 단계; 및 상기 프리젠테이션 특수 효과 정보에 기반하여, 상기 AR 기기를 통해 AR 장면 이미지를 표시하는 단계를 실행한다.
본 발명의 실시예는 또한 컴퓨터 판독 가능 저장 매체를 제공하고, 상기 컴퓨터 판독 가능 저장 매체에 컴퓨터 프로그램을 저장하며, 상기 컴퓨터 프로그램이 프로세서에 의해 작동될 때 상기 AR 장면 이미지 처리 방법 실시예 중의 AR 장면 이미지 처리 방법의 단계를 실행한다.
본 발명의 실시예에서 제공한 AR 장면 이미지 처리 방법의 컴퓨터 프로그램 제품을 제공하며, 프로그램 코드가 기록된 컴퓨터 판독 가능한 저장 매체를 포함하며, 상기 프로그램 코드에 포함된 명령어는 전술한 방법의 실시예에 따른 AR 장면 이미지 처리 방법의 단계를 실행하기 위해 사용될 수 있으며, 전술한 방법의 실시예를 참조할 수 있으며, 여기서 더이상 설명하지 않는다.
당업자는 설명의 편의성과 간결성을 위해 전술한 시스템 및 장치의 작업 과정이 전술한 방법 실시 예에서 대응하는 과정을 참조 할 수 있음을 명확히 이해할 수 있으며, 여기서 반복하지 않을 것이다. 본 발명에 의해 제공된 몇 개의 실시예에서, 이해할 수 있는 것은, 개시된 시스템, 장치 및 방법은, 다른 방식으로 구현될 수 있으며. 이상에서 설명한 장치 실시예는 다만 예시적인 것이고, 예를 들면 상기 유닛의 분할은 다만 논리적 기능 분할일 뿐이고 실제 구현 시 다른 분할 방식이 있을 수 있으며, 예를 들어, 복수의 유닛 또는 컴포넌트는 다른 하나의 시스템에 결합되거나 통합될 수 있거나, 일부 특징은 무시되거나 실행되지 않을 수 있다. 또한, 표시되거나 논의된 각 구성 부분은 서로 결합되거나, 직접 결합되거나, 통신 연결은 일부 통신 인터페이스, 장치 또는 유닛을 통한 간접 결합 또는 통신 연결일 수 있으며, 전기적, 기계적 또는 다른 형태일 수 있다.
상기 분리된 부재로서 설명된 유닛은 물리적으로 분리될 수도 있고 물리적으로 분리되지 않을 수도 있으며, 유닛으로 디스플레이된 부재는 물리적 유닛일 수도 있고 아닐 수도 있으며, 즉 동일한 장소에 위치할 수도 있고, 또는 복수 개의 네트워크 유닛에 분포될 수도 있으며; 실제 필요에 따라 그 중의 일부 또는 전부를 선택하여 실시예의 방안의 목적을 구현할 수 있다.
또한, 본 발명의 각 실시예에서의 각 기능 유닛은 하나의 처리 유닛에 통합될 수 있고, 각 유닛이 독립적인 물리적 존재일 수도 있고, 두 개 또는 두 개 이상의 유닛이 한 유닛에 통합될 수도 있다.
상기 기능이 소프트웨어 기능 유닛의 형태로 구현되고 독립된 제품으로서 판매 또는 사용될 경우, 하나의 프로세서에 의해 실행될 수 있는 비휘발성 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 이러한 이해에 기반하여, 본 발명의 기술방안은 본질적으로 또는 종래 기술에 기여하는 부분 또는 상기 기술 방안의 부분은 소프트웨어 제품의 형태로 구현될 수 있으며, 상기 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장되고, 하나의 컴퓨터 기기(개인용 컴퓨터, 서버 또는 네트워크 기기 등일 수 있음)가 본 발명의 각 실시예에 따른 포인트 클라우드 데이터 처리 방법의 전부 또는 일부 단계를 실행하도록 하는 일부 명령어를 포함한다. 전술한 저장 매체는, U 디스크, 모바일 하드 디스크, ROM, RAM, 자기 디스크 또는 광 디스크 등 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.
마지막으로 전술한 실시예는 본 발명의 실시예일 뿐이며, 본 발명의 기술방안을 한정하는 것이 아니라 예시하기 위해 사용된 것이며, 본 발명의 보호 범위는 이에 한정되지 않는다는 점에 유의해야 하며, 본 발명은 실시예를 참조하여 상세하게 설명되었지만, 당업자는 본 발명에 개시된 기술적 범위 내에서 당업자라면 전술한 실시예에서 설명된 기술방안에 대한 변경을 여전히 수정하거나 쉽게 생각할 수 있으며, 또는 일부 기술적 특징을 동등하게 대체할 수 있으며, 변경 또는 교체는 해당 기술방안의 본질이 본 발명의 실시예의 기술방안의 정신 및 범위를 벗어나게 하지 않으며, 본 발명의 보호 범위 내에 포함되어야 함을 알아야 하며. 따라서, 본 발명의 보호 범위는 상기 청구범위의 보호범위를 기준으로 한다.
본 발명의 실시예에서, AR 기기의 촬영 포즈 데이터, 및 현실 장면을 나타내기 위한 3 차원 장면 모델에서 기설정된 가상 대상의 포즈 데이터에 기반하여, 현실 장면에서 가상 대상의 프리젠테이션 특수 효과 정보를 결정하고, 여기서, 3 차원 장면 모델은 현실 장면을 나타낼 수 있으므로, 상기 3 차원 장면 모델에 기반하여 구축된 가상 대상의 포즈 데이터는 현실 장면에 더 잘 융합될 수 있고, 3 차원 장면 모델에서 상기 가상 대상의 포즈 데이터로부터, AR 기기의 포즈 데이터와 매칭되는 프리젠테이션 특수 효과 정보를 결정함으로써, AR 기기에 현실감이 있는 증강 현실 장면의 효과를 표시할 수 있다.
Claims (37)
- 증강 현실(AR) 장면 이미지 처리 방법으로서,
AR 기기의 촬영 포즈 데이터를 획득하는 단계;
상기 촬영 포즈 데이터 및 현실 장면을 나타내기 위한 3 차원 장면 모델에서의 가상 대상의 포즈 데이터에 기반하여, 상기 현재 장면에서 상기 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠테이션 특수 효과 정보를 획득하는 단계; 및
상기 프리젠테이션 특수 효과 정보에 기반하여, 상기 AR 기기를 통해 AR 장면 이미지를 표시하는 단계를 포함하는 것을 특징으로 하는 AR 장면 이미지 처리 방법. - 제1항에 있어서,
획득된 상기 촬영 포즈 데이터 및 현실 장면을 나타내기 위한 3 차원 장면 모델에서의 가상 대상의 포즈 데이터에 기반하여, 상기 현재 장면에서 상기 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠테이션 특수 효과 정보를 획득하는 단계는,
획득된 상기 촬영 포즈 데이터, 상기 3 차원 장면 모델에서 상기 가상 대상의 포즈 데이터 및 상기 3 차원 장면 모델에 기반하여, 상기 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠테이션 특수 효과 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 AR 장면 이미지 처리 방법. - 제1항 또는 제2항에 있어서,
상기 3차원 장면 모델은,
상기 현실 장면에 대응하는 복수 개의 현실 장면 이미지를 획득하는 단계; 및
상기 복수 개의 현실 장면 이미지에 기반하여, 상기 3 차원 장면 모델을 생성하는 단계에 따라 생성된 것을 특징으로 하는 특징으로 하는 AR 장면 이미지 처리 방법. - 제3항에 있어서,
상기 복수 개의 현실 장면 이미지에 기반하여, 상기 3 차원 장면 모델을 생성하는 단계는,
획득된 복수 개의 현실 장면 이미지에서의 각 현실 장면 이미지로부터 복수 개의 특징점을 추출하는 단계; 및
추출된 복수 개의 특징점 및 상기 현실 장면과 매칭되는 미리 저장된 3차원 샘플 맵에 기반하여, 상기 3 차원 장면 모델을 생성하는 단계 - 상기 3 차원 샘플 맵은 상기 현실 장면 형태 특징을 나타내는 미리 저장된 3 차원 맵임 - 를 포함하는 것을 특징으로 하는 AR 장면 이미지 처리 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 AR 기기의 촬영 포즈 데이터를 획득하는 단계는,
상기 AR 기기에 의해 촬영된 현실 장면 이미지를 획득하는 단계; 및
상기 현실 장면 이미지 및 포지셔닝을 위한 미리 저장된 제1 뉴럴 네트워크 모델에 기반하여, 상기 현실 장면 이미지에 대응하는 촬영 포즈 데이터를 결정하는 단계 - 상기 촬영 포즈 데이터는 촬영 위치 정보 및 촬영 각도 정보 중 적어도 하나를 포함함 - 를 포함하는 것을 특징으로 하는 AR 장면 이미지 처리 방법. - 제5항에 있어서,
상기 현실 장면을 미리 촬영하여 획득한 복수 개의 샘플 사진 및 각 샘플 사진에 대응하는 촬영 포즈 데이터에 기반하여, 상기 제1 뉴럴 네트워크 모델을 훈련시키는 단계에 따라 상기 제1 뉴럴 네트워크 모델을 훈련시키는 것을 특징으로 하는 AR 장면 이미지 처리 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 AR 기기의 촬영 포즈 데이터를 획득하는 단계는,
상기 AR 기기에 의해 촬영된 현실 장면 이미지를 획득하는 단계; 및
상기 현실 장면 이미지 및 정렬된 3 차원 샘플 맵에 기반하여, 상기 현실 장면 이미지에 대응하는 촬영 포즈 데이터를 결정하는 단계 - 상기 촬영 포즈 데이터는 촬영 위치 정보 및 촬영 각도 정보 중 적어도 하나를 포함하고; 상기 정렬된 3 차원 샘플 맵은 상기 현실 장면을 미리 촬영하여 획득한 샘플 맵 라이브러리와 미리 저장된 3 차원 샘플 맵에 기반하여 특징점 정렬을 수행한 후의 3 차원 샘플 맵이며; 상기 미리 저장된 3 차원 샘플 맵은 상기 현실 장면 형태 특징을 나타내는 미리 저장된 3 차원 맵임 - 를 포함하는 것을 특징으로 하는 AR 장면 이미지 처리 방법. - 제7항에 있어서,
상기 현실 장면 이미지 및 정렬된 3 차원 샘플 맵에 기반하여, 상기 현실 장면 이미지에 대응하는 촬영 포즈 데이터를 결정하는 단계는,
상기 정렬된 3 차원 샘플 맵에 기반하여, 상기 현실 장면 이미지에서의 특징점과 매칭되는 3 차원 샘플 맵에서의 특징점을 결정하는 단계;
상기 정렬된 3 차원 샘플 맵에서 상기 매칭되는 3 차원 샘플 맵에서의 특징점의 좌표 정보에 기반하여, 상기 샘플 맵 라이브러리의 상기 현실 장면 이미지와 매칭되는 목표 샘플 맵을 결정하는 단계 - 상기 샘플 맵 라이브러리는 상기 현실 장면을 미리 촬영하여 획득한 샘플 맵 및 각 샘플 사진에 대응하는 촬영 포즈 데이터를 포함함 - ; 및
상기 목표 샘플 맵에 대응하는 촬영 포즈 데이터를, 상기 현실 장면 이미지에 대응하는 촬영 포즈 데이터로 결정하는 단계를 포함하는 것을 특징으로 하는 AR 장면 이미지 처리 방법. - 제1항 내지 제8항 중 어느 한 항에 있어서,
상기 AR 기기의 촬영 포즈 데이터를 획득한 후, 상기 AR 장면 이미지 처리 방법은,
상기 AR 기기에 의해 촬영된 현실 장면 이미지를 획득하는 단계; 및
상기 현실 장면 이미지 및 현실 장면 이미지 속성 정보를 결정하기 위한 미리 저장된 제2 뉴럴 네트워크 모델에 기반하여, 상기 현실 장면 이미지에 대응하는 속성 정보를 결정하는 단계를 더 포함하며;
상기 촬영 포즈 데이터 및 현실 장면을 나타내기 위한 3 차원 장면 모델에서의 가상 대상의 포즈 데이터에 기반하여, 상기 현재 장면에서 상기 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠테이션 특수 효과 정보를 획득하는 단계는,
상기 촬영 포즈 데이터, 상기 속성 정보 및 현실 장면을 나타내기 위한 3 차원 장면 모델에서의 가상 대상의 포즈 데이터에 기반하여, 상기 현재 장면에서 상기 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠테이션 특수 효과 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 AR 장면 이미지 처리 방법. - 제9항에 있어서,
상기 현실 장면을 미리 촬영하여 획득한 복수 개의 샘플 사진 및 각 샘플 사진에 대응하는 속성 정보에 기반하여, 상기 제2 뉴럴 네트워크 모델을 훈련시키는 단계에 따라 상기 제2 뉴럴 네트워크 모델을 훈련시키는 것을 특징으로 하는 AR 장면 이미지 처리 방법. - 제1항 내지 제8항 중 어느 한 항에 있어서,
상기 AR 기기의 촬영 포즈 데이터를 획득한 후, 상기 AR 장면 이미지 처리 방법은,
상기 AR 기기에 의해 촬영된 현실 장면의 기설정된 식별자를 획득하는 단계; 및
상기 기설정된 식별자 및 미리 저장된 기설정된 식별자와 추가 가상 대상 정보의 매핑 관계에 기반하여, 상기 현실 장면에 대응하는 추가 가상 대상 정보를 결정하는 단계를 더 포함하며;
상기 촬영 포즈 데이터 및 현실 장면을 나타내기 위한 3 차원 장면 모델에서의 가상 대상의 포즈 데이터에 기반하여, 상기 현재 장면에서 상기 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠테이션 특수 효과 정보를 획득하는 단계는,
상기 촬영 포즈 데이터, 상기 추가 가상 대상 정보 및 현실 장면을 나타내기 위한 3 차원 장면 모델에서의 가상 대상의 포즈 데이터에 기반하여, 상기 현재 장면에서 상기 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠테이션 특수 효과 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 AR 장면 이미지 처리 방법. - 제1항 내지 제11항 중 어느 한 항에 있어서,
상기 프리젠테이션 특수 효과 정보에 기반하여, 상기 AR 기기를 통해 AR 장면 이미지를 표시한 후, 상기 AR 장면 이미지 처리 방법은,
상기 AR 기기에 표시된 상기 가상 대상에 대한 트리거 동작을 획득하여, AR 장면 이미지에 표시된 프리젠테이션 특수 효과 정보를 업데이트하는 단계를 더 포함하는 것을 특징으로 하는 AR 장면 이미지 처리 방법. - 제12항에 있어서,
상기 가상 대상은 목표 악기를 포함하고, 상기 AR 기기에 표시된 상기 가상 대상에 대한 트리거 동작을 획득하여, AR 장면 이미지에 표시된 프리젠테이션 특수 효과 정보를 업데이트하는 단계는,
상기 AR 기기에 표시된 가상 대상에 대한 트리거 동작을 획득하여, 상기 AR 기기에 표시된 상기 가상 대상이 트리거된 후 대응하는 사운드 재생 효과에 따라 업데이트를 수행하는 단계를 포함하는 것을 특징으로 하는 AR 장면 이미지 처리 방법. - 제12항에 있어서,
상기 가상 대상은 목표 악기를 포함하고, 상기 AR 기기는 복수 개를 포함하며, 상기 AR 기기에 표시된 상기 가상 대상에 대한 트리거 동작을 획득하여, AR 장면 이미지에 표시된 프리젠테이션 특수 효과 정보를 업데이트하는 단계는,
상기 복수 개의 AR 기기에 표시된 동일한 가상 대상에 대한 트리거 동작을 획득하여, 상기 복수 개의 AR 기기에 표시된 상기 동일한 가상 대상이 트리거된 후 대응하는 혼합 사운드 재생 효과에 따라 업데이트를 수행하는 단계를 포함하는 것을 특징으로 하는 AR 장면 이미지 처리 방법. - 제12항에 있어서,
상기 가상 대상은 목표 악기를 포함하고, 상기 AR 기기는 복수 개를 포함하며, 상기 AR 기기에 표시된 상기 가상 대상에 대한 트리거 동작을 획득하여, AR 장면 이미지에 표시된 프리젠테이션 특수 효과 정보를 업데이트하는 단계는,
상기 복수 개의 AR 기기 중 적어도 하나의 AR 기기에 표시된 가상 대상에 대한 트리거 동작을 획득하여, 상기 복수 개의 AR 기기에 표시된 상기 적어도 하나의 가상 대상이 트리거된 후 대응하는 혼합 사운드 재생 효과에 대해 업데이트를 수행하는 단계를 포함하는 것을 특징으로 하는 AR 장면 이미지 처리 방법. - AR 장면 이미지 처리 방법으로서,
현실 장면에 대응하는 복수 개의 현실 장면 이미지를 획득하는 단계;
상기 복수 개의 현실 장면 이미지에 기반하여, 상기 현실 장면을 나타내기 위한 3 차원 장면 모델을 생성하는 단계; 및
상기 3 차원 장면 모델 및 상기 현살 장면과 매칭되는 가상 대상에 기반하여, AR 장면에서 상기 가상 대상의 프리젠테이션 특수 효과 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 AR 장면 이미지 처리 방법. - 제16항에 있어서,
상기 복수 개의 현실 장면 이미지에 기반하여, 상기 현실 장면을 나타내기 위한 3 차원 장면 모델을 생성하는 단계는,
획득된 복수 개의 현실 장면 이미지에서의 각 현실 장면 이미지로부터 복수 개의 특징점을 추출하는 단계; 및
추출된 복수 개의 특징점 및 상기 현실 장면과 매칭되는 미리 저장된 3차원 샘플 맵에 기반하여, 상기 3 차원 장면 모델을 생성하는 단계 - 상기 3 차원 샘플 맵은 상기 현실 장면 형태 특징을 나타내는 미리 저장된 3 차원 맵임 - 를 포함하는 것을 특징으로 하는 AR 장면 이미지 처리 방법. - AR 장면 이미지 처리 장치로서,
AR 기기의 촬영 포즈 데이터를 획득하도록 구성된 제1 획득 모듈;
상기 촬영 포즈 데이터 및 현실 장면을 나타내기 위한 3 차원 장면 모델에서의 가상 대상의 포즈 데이터에 기반하여, 상기 현재 장면에서 상기 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠테이션 특수 효과 정보를 획득하도록 구성된 제2 획득 모듈; 및
상기 프리젠테이션 특수 효과 정보에 기반하여, 상기 AR 기기를 통해 AR 장면 이미지를 표시하도록 구성된 표시 모듈을 포함하는 것을 특징으로 하는 AR 장면 이미지 처리 장치. - 제18항에 있어서,
상기 제2 획득 모듈은, 획득된 상기 촬영 포즈 데이터, 상기 3 차원 장면 모델에서 상기 가상 대상의 포즈 데이터 및 상기 3 차원 장면 모델에 기반하여, 상기 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠테이션 특수 효과 정보를 획득하는 단계를 사용하여,
획득된 상기 촬영 포즈 데이터 및 현실 장면을 나타내기 위한 3 차원 장면 모델에서의 가상 대상의 포즈 데이터에 기반하여, 상기 현재 장면에서 상기 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠테이션 특수 효과 정보를 획득하도록 구성된 것을 특징으로 하는 AR 장면 이미지 처리 장치. - 제18항 또는 제19항에 있어서,
상기 AR 장면 이미지 처리 장치는 생성 모듈을 더 포함하고, 상기 생성 모듈은,
상기 현실 장면에 대응하는 복수 개의 현실 장면 이미지를 획득하는 단계; 및
상기 복수 개의 현실 장면 이미지에 기반하여, 상기 3 차원 장면 모델을 생성하는 단계를 사용하여 상기 3 차원 장면 모델을 생성하도록 구성된 것을 특징으로 하는 AR 장면 이미지 처리 장치. - 제20항에 있어서,
상기 생성 모듈은,
획득된 복수 개의 현실 장면 이미지에서의 각 현실 장면 이미지로부터 복수 개의 특징점을 추출하는 단계; 및
추출된 복수 개의 특징점 및 상기 현실 장면과 매칭되는 미리 저장된 3차원 샘플 맵에 기반하여, 상기 3 차원 장면 모델을 생성하는 단계 - 상기 3 차원 샘플 맵은 상기 현실 장면 형태 특징을 나타내는 미리 저장된 3 차원 맵임 - 를 사용하여, 상기 복수 개의 현실 장면 이미지에 기반하여, 상기 3 차원 장면 모델을 생성하도록 구성된 것을 특징으로 하는 AR 장면 이미지 처리 장치. - 제18항 내지 제21항 중 어느 한 항에 있어서,
상기 제1 획득 모듈은,
상기 AR 기기에 의해 촬영된 현실 장면 이미지를 획득하는 단계; 및
상기 현실 장면 이미지 및 포지셔닝을 위한 미리 저장된 제1 뉴럴 네트워크 모델에 기반하여, 상기 현실 장면 이미지에 대응하는 촬영 포즈 데이터를 결정하는 단계 - 상기 촬영 포즈 데이터는 촬영 위치 정보 및 촬영 각도 정보 중 적어도 하나를 포함함 - 를 사용하여 AR 기기의 촬영 포즈 데이터를 획득하도록 구성된 것을 특징으로 하는 AR 장면 이미지 처리 장치. - 제22항에 있어서,
상기 AR 장면 이미지 처리 장치는 제1 모델 훈련 모듈을 더 포함하고, 상기 제1 모델 훈련 모듈은,
상기 현실 장면을 미리 촬영하여 획득한 복수 개의 샘플 사진 및 각 샘플 사진에 대응하는 촬영 포즈 데이터에 기반하여, 상기 제1 뉴럴 네트워크 모델을 훈련시키는 단계에 따라 상기 제1 뉴럴 네트워크 모델을 훈련시키는 것을 특징으로 하는 AR 장면 이미지 처리 장치. - 제18항 내지 제21항 중 어느 한 항에 있어서,
상기 제1 획득 모듈은,
상기 AR 기기에 의해 촬영된 현실 장면 이미지를 획득하는 단계; 및
상기 현실 장면 이미지 및 정렬된 3 차원 샘플 맵에 기반하여, 상기 현실 장면 이미지에 대응하는 촬영 포즈 데이터를 결정하는 단계 - 상기 촬영 포즈 데이터는 촬영 위치 정보 및 촬영 각도 정보 중 적어도 하나를 포함하고; 상기 정렬된 3 차원 샘플 맵은 상기 현실 장면을 미리 촬영하여 획득한 샘플 맵 라이브러리와 미리 저장된 3 차원 샘플 맵에 기반하여 특징점 정렬을 수행한 후의 3 차원 샘플 맵이며; 상기 미리 저장된 3 차원 샘플 맵은 상기 현실 장면 형태 특징을 나타내는 미리 저장된 3 차원 맵임 - 를 사용하여 AR 기기의 촬영 포즈 데이터를 획득하도록 구성된 것을 특징으로 하는 AR 장면 이미지 처리 장치. - 제24항에 있어서,
상기 제1 획득 모듈은,
상기 정렬된 3 차원 샘플 맵에 기반하여, 상기 현실 장면 이미지에서의 특징점과 매칭되는 3 차원 샘플 맵에서의 특징점을 결정하는 단계;
상기 정렬된 3 차원 샘플 맵에서 상기 매칭되는 3 차원 샘플 맵에서의 특징점의 좌표 정보에 기반하여, 상기 샘플 맵 라이브러리의 상기 현실 장면 이미지와 매칭되는 목표 샘플 맵을 결정하는 단계 - 상기 샘플 맵 라이브러리는 상기 현실 장면을 미리 촬영하여 획득한 샘플 맵 및 각 샘플 사진에 대응하는 촬영 포즈 데이터를 포함함 - ; 및
상기 목표 샘플 맵에 대응하는 촬영 포즈 데이터를, 상기 현실 장면 이미지에 대응하는 촬영 포즈 데이터로 결정하는 단계를 사용하여 상기 현실 장면 이미지 및 정렬된 3 차원 샘플 맵에 기반하여, 상기 현실 장면 이미지에 대응하는 촬영 포즈 데이터를 결정하도록 구성된 것을 특징으로 하는 AR 장면 이미지 처리 장치. - 제18항 내지 제25항 중 어느 한 항에 있어서,
상기 제1 획득 모듈은 AR 기기의 촬영 포즈 데이터를 획득한 후 또한, AR 기기에 의해 촬영된 현실 장면 이미지를 획득하고; 상기 현실 장면 이미지 및 현실 장면 이미지 속성 정보를 결정하기 위한 미리 저장된 제2 뉴럴 네트워크 모델에 기반하여, 상기 현실 장면 이미지에 대응하는 속성 정보를 결정하도록 구성되며; 상기 제2 획득 모듈은 상기 촬영 포즈 데이터, 상기 속성 정보 및 현실 장면을 나타내기 위한 3 차원 장면 모델에서의 가상 대상의 포즈 데이터에 기반하여, 상기 현재 장면에서 상기 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠테이션 특수 효과 정보를 획득하는 단계를 사용하여 상기 촬영 포즈 데이터 및 현실 장면을 나타내기 위한 3 차원 장면 모델에서의 가상 대상의 포즈 데이터에 기반하여, 상기 현재 장면에서 상기 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠테이션 특수 효과 정보를 획득하도록 구성된 것을 특징으로 하는 AR 장면 이미지 처리 장치. - 제26항에 있어서,
상기 AR 장면 이미지 처리 장치는 제2 모델 훈련 모듈을 더 포함하고, 상기 제2 모델 훈련 모듈은, 상기 현실 장면을 미리 촬영하여 획득한 복수 개의 샘플 사진 및 각 샘플 사진에 대응하는 속성 정보에 기반하여, 상기 제2 뉴럴 네트워크 모델을 훈련시키는 단계에 따라 상기 제2 뉴럴 네트워크 모델을 훈련시키는 것을 특징으로 하는 AR 장면 이미지 처리 장치. - 제18항 내지 제25항 중 어느 한 항에 있어서,
상기 제1 획득 모듈은 AR 기기의 촬영 포즈 데이터를 획득한 후 또한, 상기 AR 기기에 의해 촬영된 현실 장면의 기설정된 식별자를 획득하고; 상기 기설정된 식별자 및 미리 저장된 기설정된 식별자와 추가 가상 대상 정보의 매핑 관계에 기반하여, 상기 현실 장면에 대응하는 추가 가상 대상 정보를 결정하도록 구성되며;
상기 제2 획득 모듈은 상기 촬영 포즈 데이터, 상기 추가 가상 대상 정보 및 현실 장면을 나타내기 위한 3 차원 장면 모델에서의 가상 대상의 포즈 데이터에 기반하여, 상기 현재 장면에서 상기 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠테이션 특수 효과 정보를 획득하는 단계를 사용하여 상기 촬영 포즈 데이터 및 현실 장면을 나타내기 위한 3 차원 장면 모델에서의 가상 대상의 포즈 데이터에 기반하여, 상기 현재 장면에서 상기 촬영 포즈 데이터에 대응하는 가상 대상의 프리젠테이션 특수 효과 정보를 획득하도록 구성된 것을 특징으로 하는 AR 장면 이미지 처리 장치. - 제18항 내지 제28항 중 어느 한 항에 있어서,
상기 표시 모듈은 상기 프리젠테이션 특수 효과 정보에 기반하여, 상기 AR 기기를 통해 AR 장면 이미지를 표시한 후 또한, 상기 AR 기기에 표시된 상기 가상 대상에 대한 트리거 동작을 획득하여, AR 장면 이미지에 표시된 프리젠테이션 특수 효과 정보를 업데이트하도록 구성된 것을 특징으로 하는 AR 장면 이미지 처리 장치. - 제29항에 있어서,
상기 가상 대상은 목표 악기를 포함하고, 상기 표시 모듈은 상기 AR 기기에 표시된 가상 대상에 대한 트리거 동작을 획득하고, 상기 AR 기기에 표시된 상기 가상 대상이 트리거된 후 대응하는 사운드 재생 효과에 따라 업데이트를 수행하는 단계를 사용하여 상기 AR 기기에 표시된 상기 가상 대상에 대한 트리거 동작을 획득하여, AR 장면 이미지에 표시된 프리젠테이션 특수 효과 정보를 업데이트하도록 구성된 것을 특징으로 하는 AR 장면 이미지 처리 장치. - 제29항에 있어서,
상기 가상 대상은 목표 악기를 포함하고, 상기 AR 기기는 복수 개를 포함하며, 상기 표시 모듈은 상기 복수 개의 AR 기기에 표시된 동일한 가상 대상에 대한 트리거 동작을 획득하고, 상기 복수 개의 AR 기기에 표시된 상기 동일한 가상 대상이 트리거된 후 대응하는 혼합 사운드 재생 효과에 따라 업데이트를 수행하는 단계를 사용하여 상기 AR 기기에 표시된 상기 가상 대상에 대한 트리거 동작을 획득하여, AR 장면 이미지에 표시된 프리젠테이션 특수 효과 정보를 업데이트하도록 구성된 것을 특징으로 하는 AR 장면 이미지 처리 장치. - 제29항에 있어서,
상기 가상 대상은 목표 악기를 포함하고, 상기 AR 기기는 복수 개를 포함하며, 상기 표시 모듈은 상기 복수 개의 AR 기기 중 적어도 하나의 AR 기기에 표시된 가상 대상에 대한 트리거 동작을 획득하고, 상기 복수 개의 AR 기기에 표시된 상기 적어도 하나의 가상 대상이 트리거된 후 대응하는 혼합 사운드 재생 효과에 대해 업데이트를 수행하는 단계를 사용하여 상기 AR 기기에 표시된 상기 가상 대상에 대한 트리거 동작을 획득하여, AR 장면 이미지에 표시된 프리젠테이션 특수 효과 정보를 업데이트하도록 구성된 것을 특징으로 하는 AR 장면 이미지 처리 장치. - AR 장면 이미지 처리 장치로서,
현실 장면에 대응하는 복수 개의 현실 장면 이미지를 획득하도록 구성된 획득 모듈; 상기 복수 개의 현실 장면 이미지에 기반하여, 상기 현실 장면을 나타내기 위한 3 차원 장면 모델을 생성하도록 구성된 제1 생성 모듈; 및 상기 3 차원 장면 모델 및 상기 현살 장면과 매칭되는 가상 대상에 기반하여, AR 장면에서 상기 가상 대상의 프리젠테이션 특수 효과 정보를 생성하도록 구성된 제2 생성 모듈을 포함하는 것을 특징으로 하는 AR 장면 이미지 처리 장치. - 제33항에 있어서,
상기 제1 생성 모듈은,
획득된 복수 개의 현실 장면 이미지에서의 각 현실 장면 이미지로부터 복수 개의 특징점을 추출하는 단계; 및
추출된 복수 개의 특징점 및 상기 현실 장면과 매칭되는 미리 저장된 3차원 샘플 맵에 기반하여, 상기 3 차원 장면 모델을 생성하는 단계 - 상기 3 차원 샘플 맵은 상기 현실 장면 형태 특징을 나타내는 미리 저장된 3 차원 맵임 - 를 사용하여 상기 복수 개의 현실 장면 이미지에 기반하여, 상기 현실 장면을 나타내기 위한 3 차원 장면 모델을 생성하도록 구성된 것을 특징으로 하는 AR 장면 이미지 처리 장치. - 전자 기기로서,
프로세서, 메모리 및 버스를 포함하고, 상기 메모리는 상기 프로세서에 의해 실행 가능한 기계 판독 가능 명령어를 저장하고, 전자 기기에서 작동될 때, 상기 프로세서는 버스를 통해 상기 메모리와 통신하고, 상기 기계 판독 가능 명령어는 프로세서로 하여금 제1항 내지 제15항 중 어느 한 항에 따른 AR 장면 이미지 처리 방법을 실행하거나, 제16항 또는 제17항에 따른 AR 장면 이미지 처리 방법을 실행하는 것을 특징으로 하는 전자 기기. - 컴퓨터 판독 가능 저장 매체로서,
상기 컴퓨터 판독 가능 저장 매체에는 컴퓨터 프로그램이 저장하고, 상기 컴퓨터 프로그램이 프로세서에 의해 작동될 때 제1항 내지 제15중 어느 한 항에 따른 AR 장면 이미지 처리 방법을 실행하거나, 제16항 또는 제17항에 따른 AR 장면 이미지 처리 방법을 실행하는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체. - 컴퓨터 프로그램 제품으로서,
컴퓨터 판독 가능 코드를 포함하고, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 작동될 때, 상기 전자 기기에서의 프로세서는 제1항 내지 제15항 중 어느 한 항에 따른 AR 장면 이미지 처리 방법을 실행하거나, 제16항 또는 제17항에 따른 AR 장면 이미지 처리 방법을 실행하는 것을 특징으로 하는 컴퓨터 프로그램 제품.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910979900.8A CN110738737A (zh) | 2019-10-15 | 2019-10-15 | 一种ar场景图像处理方法、装置、电子设备及存储介质 |
| CN201910979900.8 | 2019-10-15 | ||
| PCT/CN2020/112707 WO2021073292A1 (zh) | 2019-10-15 | 2020-08-31 | 一种ar场景图像处理方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210047278A true KR20210047278A (ko) | 2021-04-29 |
| KR102417645B1 KR102417645B1 (ko) | 2022-07-06 |
Family
ID=69269003
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207037428A KR102417645B1 (ko) | 2019-10-15 | 2020-08-31 | Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체 |
Country Status (5)
| Country | Link |
|---|---|
| KR (1) | KR102417645B1 (ko) |
| CN (1) | CN110738737A (ko) |
| SG (1) | SG11202013117XA (ko) |
| TW (1) | TW202117673A (ko) |
| WO (1) | WO2021073292A1 (ko) |
Families Citing this family (64)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7150894B2 (ja) | 2019-10-15 | 2022-10-11 | ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド | Ａｒシーン画像処理方法及び装置、電子機器並びに記憶媒体 |
| CN110738737A (zh) * | 2019-10-15 | 2020-01-31 | 北京市商汤科技开发有限公司 | 一种ar场景图像处理方法、装置、电子设备及存储介质 |
| CN111311758A (zh) * | 2020-02-24 | 2020-06-19 | Oppo广东移动通信有限公司 | 增强现实处理方法及装置、存储介质和电子设备 |
| CN111462213B (zh) * | 2020-03-16 | 2021-07-13 | 天目爱视（北京）科技有限公司 | 一种在运动过程中获取物体3d坐标及尺寸的设备及方法 |
| CN111246118B (zh) * | 2020-04-27 | 2020-08-21 | 成都派沃特科技股份有限公司 | Ar元素的显示方法、装置、设备及存储介质 |
| CN111583348B (zh) * | 2020-05-09 | 2024-03-29 | 维沃移动通信有限公司 | 图像数据编码方法及装置、显示方法及装置、电子设备 |
| CN111610997A (zh) * | 2020-05-26 | 2020-09-01 | 北京市商汤科技开发有限公司 | Ar场景内容的生成方法、展示方法、展示系统及装置 |
| CN111610998A (zh) * | 2020-05-26 | 2020-09-01 | 北京市商汤科技开发有限公司 | Ar场景内容的生成方法、展示方法、装置及存储介质 |
| CN111583421A (zh) * | 2020-06-03 | 2020-08-25 | 浙江商汤科技开发有限公司 | 确定展示动画的方法、装置、电子设备及存储介质 |
| CN111625100A (zh) * | 2020-06-03 | 2020-09-04 | 浙江商汤科技开发有限公司 | 图画内容的呈现方法、装置、计算机设备及存储介质 |
| CN111581547B (zh) * | 2020-06-04 | 2023-12-15 | 浙江商汤科技开发有限公司 | 一种游览信息推送方法、装置、电子设备及存储介质 |
| CN111638793B (zh) * | 2020-06-04 | 2023-09-01 | 浙江商汤科技开发有限公司 | 飞行器的展示方法、装置、电子设备及存储介质 |
| CN111639613B (zh) * | 2020-06-04 | 2024-04-16 | 上海商汤智能科技有限公司 | 一种增强现实ar特效生成方法、装置及电子设备 |
| CN111698646B (zh) * | 2020-06-08 | 2022-10-18 | 浙江商汤科技开发有限公司 | 一种定位方法及装置 |
| CN111651048B (zh) * | 2020-06-08 | 2024-01-05 | 浙江商汤科技开发有限公司 | 多虚拟对象排列展示方法、装置、电子设备及存储介质 |
| CN111569414B (zh) * | 2020-06-08 | 2024-03-29 | 浙江商汤科技开发有限公司 | 虚拟飞行器的飞行展示方法、装置、电子设备及存储介质 |
| CN111665943B (zh) * | 2020-06-08 | 2023-09-19 | 浙江商汤科技开发有限公司 | 一种位姿信息展示方法及装置 |
| CN111650953B (zh) * | 2020-06-09 | 2024-04-16 | 浙江商汤科技开发有限公司 | 飞行器避障处理方法、装置、电子设备及存储介质 |
| CN111665947A (zh) * | 2020-06-10 | 2020-09-15 | 浙江商汤科技开发有限公司 | 一种宝箱展示方法、装置、电子设备及存储介质 |
| CN111651051B (zh) * | 2020-06-10 | 2023-08-22 | 浙江商汤科技开发有限公司 | 一种虚拟沙盘展示方法及装置 |
| CN111652983A (zh) * | 2020-06-10 | 2020-09-11 | 上海商汤智能科技有限公司 | 一种增强现实ar特效生成方法、装置及设备 |
| CN111679806A (zh) * | 2020-06-10 | 2020-09-18 | 浙江商汤科技开发有限公司 | 播放控制方法、装置、电子设备及存储介质 |
| CN111694430A (zh) * | 2020-06-10 | 2020-09-22 | 浙江商汤科技开发有限公司 | 一种ar场景画面呈现方法、装置、电子设备和存储介质 |
| CN111651054A (zh) * | 2020-06-10 | 2020-09-11 | 浙江商汤科技开发有限公司 | 音效控制方法、装置、电子设备及存储介质 |
| CN111623782A (zh) * | 2020-06-10 | 2020-09-04 | 浙江商汤科技开发有限公司 | 导航路线的展示方法、三维场景模型的生成方法及装置 |
| CN111651053A (zh) * | 2020-06-10 | 2020-09-11 | 浙江商汤科技开发有限公司 | 城市沙盘的展示方法、装置、电子设备及存储介质 |
| CN111651052A (zh) * | 2020-06-10 | 2020-09-11 | 浙江商汤科技开发有限公司 | 虚拟沙盘的展示方法、装置、电子设备及存储介质 |
| CN111651056A (zh) * | 2020-06-10 | 2020-09-11 | 浙江商汤科技开发有限公司 | 一种沙盘演示方法、装置、计算机设备及存储介质 |
| CN111857341B (zh) * | 2020-06-10 | 2023-06-13 | 浙江商汤科技开发有限公司 | 一种展示控制方法及装置 |
| CN111651057A (zh) * | 2020-06-11 | 2020-09-11 | 浙江商汤科技开发有限公司 | 一种数据展示方法、装置、电子设备及存储介质 |
| CN111640201A (zh) * | 2020-06-11 | 2020-09-08 | 浙江商汤科技开发有限公司 | 虚拟沙盘展示的控制方法、装置、电子设备及存储介质 |
| CN111696215A (zh) * | 2020-06-12 | 2020-09-22 | 上海商汤智能科技有限公司 | 一种图像处理方法、装置及设备 |
| CN111667590B (zh) * | 2020-06-12 | 2024-03-22 | 上海商汤智能科技有限公司 | 一种互动合影方法、装置、电子设备及存储介质 |
| CN111666550A (zh) * | 2020-06-12 | 2020-09-15 | 上海商汤智能科技有限公司 | 一种互动合影的方法、装置、电子设备及存储介质 |
| CN111815781A (zh) * | 2020-06-30 | 2020-10-23 | 北京市商汤科技开发有限公司 | 增强现实数据呈现方法、装置、设备和计算机存储介质 |
| CN111815785A (zh) * | 2020-06-30 | 2020-10-23 | 北京市商汤科技开发有限公司 | 现实模型的呈现方法、装置、电子设备及存储介质 |
| CN111833458B (zh) * | 2020-06-30 | 2023-06-23 | 北京市商汤科技开发有限公司 | 图像显示方法及装置、设备、计算机可读存储介质 |
| CN111833457A (zh) * | 2020-06-30 | 2020-10-27 | 北京市商汤科技开发有限公司 | 图像处理方法、设备及存储介质 |
| CN111815780A (zh) * | 2020-06-30 | 2020-10-23 | 北京市商汤科技开发有限公司 | 展示方法、显示装置、设备及计算机可读存储介质 |
| CN111860252A (zh) * | 2020-07-09 | 2020-10-30 | 北京市商汤科技开发有限公司 | 图像处理方法、设备及存储介质 |
| CN112070901A (zh) * | 2020-07-21 | 2020-12-11 | 马小淞 | 一种园林的ar场景构建方法、装置、存储介质及终端 |
| CN112001947A (zh) * | 2020-07-30 | 2020-11-27 | 海尔优家智能科技（北京）有限公司 | 拍摄位置的确定方法及装置、存储介质、电子装置 |
| CN111882675A (zh) * | 2020-07-31 | 2020-11-03 | 北京市商汤科技开发有限公司 | 一种模型呈现方法、装置、电子设备及计算机存储介质 |
| CN111899349B (zh) * | 2020-07-31 | 2023-08-04 | 北京市商汤科技开发有限公司 | 一种模型呈现方法、装置、电子设备及计算机存储介质 |
| CN111970557A (zh) * | 2020-09-01 | 2020-11-20 | 深圳市慧鲤科技有限公司 | 图像显示方法、装置、电子设备及存储介质 |
| CN112053450A (zh) | 2020-09-10 | 2020-12-08 | 脸萌有限公司 | 文字的显示方法、装置、电子设备及存储介质 |
| CN112132940A (zh) * | 2020-09-16 | 2020-12-25 | 北京市商汤科技开发有限公司 | 显示方法、装置，显示设备及存储介质 |
| CN113313812A (zh) * | 2020-09-16 | 2021-08-27 | 阿里巴巴集团控股有限公司 | 家具展示、交互方法、装置、电子设备和存储介质 |
| CN112181141B (zh) * | 2020-09-23 | 2023-06-23 | 北京市商汤科技开发有限公司 | Ar定位的方法、装置、电子设备及存储介质 |
| CN114584681A (zh) * | 2020-11-30 | 2022-06-03 | 北京市商汤科技开发有限公司 | 目标对象的运动展示方法、装置、电子设备及存储介质 |
| CN112684894A (zh) * | 2020-12-31 | 2021-04-20 | 北京市商汤科技开发有限公司 | 增强现实场景的交互方法、装置、电子设备及存储介质 |
| CN112954437B (zh) * | 2021-02-02 | 2022-10-28 | 深圳市慧鲤科技有限公司 | 一种视频资源处理方法、装置、计算机设备及存储介质 |
| CN113015018B (zh) * | 2021-02-26 | 2023-12-19 | 上海商汤智能科技有限公司 | 弹幕信息的展示方法、装置、系统、电子设备及存储介质 |
| CN113220123A (zh) * | 2021-05-10 | 2021-08-06 | 深圳市慧鲤科技有限公司 | 一种音效控制的方法、装置、电子设备及存储介质 |
| CN113538703A (zh) * | 2021-06-30 | 2021-10-22 | 北京市商汤科技开发有限公司 | 数据展示方法、装置、计算机设备及存储介质 |
| CN113486205B (zh) * | 2021-07-06 | 2023-07-25 | 北京林业大学 | 基于增强虚拟现实技术的植物科普信息系统 |
| CN115937379A (zh) * | 2021-08-16 | 2023-04-07 | 北京字跳网络技术有限公司 | 一种特效生成方法、装置、电子设备及存储介质 |
| CN114332417B (zh) * | 2021-12-13 | 2023-07-14 | 亮风台（上海）信息科技有限公司 | 一种多人场景交互的方法、设备、存储介质及程序产品 |
| CN114398132A (zh) * | 2022-01-14 | 2022-04-26 | 北京字跳网络技术有限公司 | 一种场景数据展示方法、装置、计算机设备和存储介质 |
| CN114489337A (zh) * | 2022-01-24 | 2022-05-13 | 深圳市慧鲤科技有限公司 | 一种ar互动方法、装置、设备及存储介质 |
| CN114625468B (zh) * | 2022-03-21 | 2023-09-22 | 北京字跳网络技术有限公司 | 增强现实画面的展示方法、装置、计算机设备及存储介质 |
| CN114900545A (zh) * | 2022-05-10 | 2022-08-12 | 中国电信股份有限公司 | 增强现实实现方法和系统、云服务器 |
| CN115223028B (zh) * | 2022-06-02 | 2024-03-29 | 支付宝(杭州)信息技术有限公司 | 场景重建及模型训练方法、装置、设备、介质及程序产品 |
| CN116860113B (zh) * | 2023-08-16 | 2024-03-22 | 深圳职业技术大学 | 一种xr组合场景体验生成方法、系统及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170054638A (ko) * | 2015-11-09 | 2017-05-18 | 현대오트론 주식회사 | 헤드업 디스플레이를 이용한 선행 차량 정보 표시 장치 및 방법 |
| KR20190008941A (ko) * | 2016-05-20 | 2019-01-25 | 매직 립, 인코포레이티드 | 사용자 인터페이스 메뉴의 콘텍추얼 인식 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140240354A1 (en) * | 2013-02-28 | 2014-08-28 | Samsung Electronics Co., Ltd. | Augmented reality apparatus and method |
| CN104143212A (zh) * | 2014-07-02 | 2014-11-12 | 惠州Tcl移动通信有限公司 | 基于穿戴设备的增强现实方法及系统 |
| CN104899920B (zh) * | 2015-05-25 | 2019-03-08 | 联想(北京)有限公司 | 图像处理方法、图像处理装置及电子设备 |
| CN107682688B (zh) * | 2015-12-30 | 2020-02-07 | 视辰信息科技(上海)有限公司 | 基于增强现实的视频实时录制方法及录制设备 |
| CN106355647A (zh) * | 2016-08-25 | 2017-01-25 | 北京暴风魔镜科技有限公司 | 增强现实系统和方法 |
| CN106774937B (zh) * | 2017-01-13 | 2020-01-10 | 宇龙计算机通信科技(深圳)有限公司 | 一种增强现实技术中的图像交互方法及其装置 |
| CN108629248A (zh) * | 2017-03-24 | 2018-10-09 | 成都理想境界科技有限公司 | 一种实现增强现实的方法及设备 |
| CN106980381A (zh) * | 2017-03-31 | 2017-07-25 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN109213728A (zh) * | 2017-06-29 | 2019-01-15 | 深圳市掌网科技股份有限公司 | 基于增强现实的文物展示方法及系统 |
| CN109685906A (zh) * | 2017-10-18 | 2019-04-26 | 深圳市掌网科技股份有限公司 | 基于增强现实的场景融合方法和装置 |
| CN108022306B (zh) * | 2017-12-30 | 2021-09-21 | 华自科技股份有限公司 | 基于增强现实的场景识别方法、装置、存储介质和设备 |
| CN110163903B (zh) * | 2019-05-27 | 2022-02-25 | 百度在线网络技术（北京）有限公司 | 三维图像的获取及图像定位方法、装置、设备和存储介质 |
| CN110738737A (zh) * | 2019-10-15 | 2020-01-31 | 北京市商汤科技开发有限公司 | 一种ar场景图像处理方法、装置、电子设备及存储介质 |
-
2019
- 2019-10-15 CN CN201910979900.8A patent/CN110738737A/zh active Pending
-
2020
- 2020-08-31 KR KR1020207037428A patent/KR102417645B1/ko active IP Right Grant
- 2020-08-31 SG SG11202013117XA patent/SG11202013117XA/en unknown
- 2020-08-31 WO PCT/CN2020/112707 patent/WO2021073292A1/zh active Application Filing
- 2020-09-30 TW TW109134292A patent/TW202117673A/zh unknown
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170054638A (ko) * | 2015-11-09 | 2017-05-18 | 현대오트론 주식회사 | 헤드업 디스플레이를 이용한 선행 차량 정보 표시 장치 및 방법 |
| KR20190008941A (ko) * | 2016-05-20 | 2019-01-25 | 매직 립, 인코포레이티드 | 사용자 인터페이스 메뉴의 콘텍추얼 인식 |
Also Published As
| Publication number | Publication date |
|---|---|
| SG11202013117XA (en) | 2021-05-28 |
| TW202117673A (zh) | 2021-05-01 |
| WO2021073292A1 (zh) | 2021-04-22 |
| CN110738737A (zh) | 2020-01-31 |
| KR102417645B1 (ko) | 2022-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102417645B1 (ko) | Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체 | |
| KR20210046591A (ko) | 증강 현실 데이터 제시 방법, 장치, 전자 기기 및 저장 매체 | |
| EP3798801A1 (en) | Image processing method and apparatus, storage medium, and computer device | |
| CN105981076B (zh) | 合成增强现实环境的构造 | |
| Piekarski | Interactive 3d modelling in outdoor augmented reality worlds | |
| CN106355153A (zh) | 一种基于增强现实的虚拟对象显示方法、装置以及系统 | |
| CN106157359A (zh) | 一种虚拟场景体验系统的设计方法 | |
| CN111610998A (zh) | Ar场景内容的生成方法、展示方法、装置及存储介质 | |
| CN110163942B (zh) | 一种图像数据处理方法和装置 | |
| JP7150894B2 (ja) | Ａｒシーン画像処理方法及び装置、電子機器並びに記憶媒体 | |
| TWI783472B (zh) | Ar場景內容的生成方法、展示方法、電子設備及電腦可讀儲存介質 | |
| JP6656382B2 (ja) | マルチメディア情報を処理する方法及び装置 | |
| US20230073750A1 (en) | Augmented reality (ar) imprinting methods and systems | |
| JP2023504608A (ja) | 拡張現実場面における表示方法、装置、機器、媒体及びプログラム | |
| US11302067B2 (en) | Systems and method for realistic augmented reality (AR) lighting effects | |
| KR101864717B1 (ko) | 오브젝트 조립 형상에 따른 무(無)마커 맞춤공간표출형 증강현실 컨텐츠 형성장치 및 방법 | |
| CN112947756A (zh) | 内容导览方法、装置、系统、计算机设备及存储介质 | |
| JP2023171298A (ja) | 拡張現実及び複合現実のための空間とコンテンツの適合 | |
| CN112070901A (zh) | 一种园林的ar场景构建方法、装置、存储介质及终端 | |
| KR101983233B1 (ko) | 깊이맵을 활용한 증강현실 영상표시 시스템 및 그 방법 | |
| CN115731370A (zh) | 一种大场景元宇宙空间叠加方法和装置 | |
| CN111652986B (zh) | 舞台效果呈现方法、装置、电子设备及存储介质 | |
| Střelák | Augmented reality tourist guide | |
| KR101939530B1 (ko) | 지형정보 인식을 기반으로 증강현실 오브젝트를 표시하는 방법 및 그 장치 | |
| CN111650953A (zh) | 飞行器避障处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |