KR20210056414A

KR20210056414A - 혼합 현실 환경들에서 오디오-가능 접속된 디바이스들을 제어하기 위한 시스템

Info

Publication number: KR20210056414A
Application number: KR1020217010632A
Authority: KR
Inventors: 매튜 프라데트; 빈센트 알레아우메; 빅토르 피닉스
Original assignee: 인터디지털 씨이 페이튼트 홀딩스
Priority date: 2018-09-14
Filing date: 2019-09-13
Publication date: 2021-05-18
Also published as: CN112912822A; BR112021004835A2; EP3850466A1; US20220036075A1; WO2020053412A1; EP3623908A1

Abstract

몰입형 경험을 향상시키기 위한 방법 및 장치가 제공된다. 혼합 현실 환경에서 제공되는 가상 현실 콘텐트의 진행상황이 모니터링된다. 혼합 현실 환경은 가상 현실 콘텐트와 실제 환경으로부터 제공되는 이미지들을 통합한다. 추가로, 가상 현실 콘텐트와 연관된 적어도 하나의 가상 음향 데이터는 실제 환경에서 제공된 상기 이미지들을 통합함으로써 획득되고 수정된다.

Description

혼합 현실 환경들에서 오디오-가능 접속된 디바이스들을 제어하기 위한 시스템

본 개시내용은 대체로 몰입형 경험(immersive experience)을 생성하는 기술, 특히 혼합 현실 환경을 위한 몰입형 경험을 생성하는데 있어서 오디오 컴포넌트를 이용하는 경험에 관한 것이다.

본 절은, 이하에서 설명되고 및/또는 청구되는 본 개시내용의 다양한 양태들에 관련될 수 있는 기술의 다양한 양태들을 독자에게 소개하기 위함이다. 본 논의는, 본 개시내용의 다양한 양태들의 더 나은 이해를 용이화하기 위해 독자에게 배경 정보를 제공하는데 도움이 될 것으로 믿어진다. 따라서, 이들 설명은 이러한 점에 비추어 읽혀져야 하고, 종래 기술로서의 인정으로서 받아들여져서는 안 된다.

최근 몇 년 동안, 몰입형 경험이 증가된 관심의 주제가 되고 있다. 이들 경험은 물리적 영역의 현실을 복제할뿐만 아니라 이들 물리적 경험을 초월하여 물리적 영역을 이용해서는 불가능할 수 있는 환상적인 환경을 생성하는데 이용된다. 가상 디바이스를 이용하여 이들 실제의 또는 환상적인 경험을 생성하기 위해, 물리적 감각을 복제할 수 있는 컴포넌트들이 이용된다. 이들 컴포넌트들은, 시각, 햅틱, 청각이거나, 이러한 감각들의 조합을 포함할 수 있다. 후각과 온도도 이용될 수 있다. 가상 현실(VR) 또는 증강 현실(AR)은 이러한 몰입형 경험을 생성하기 때문에 인기를 얻고 있다.

오디오 큐들은 몰입형 경험을 생성하는데 있어서 매우 중요하지만, 불행하게도, 대부분의 노력은 몰입형 환경을 위한 시각적 컴포넌트들을 생성하는 영역에 집중되어 있다. 결과적으로, 이들 환경의 몰입형 속성을 증가시키기 위해 많은 기술적 진보가 제공되었지만, 종래 기술은 진정한 몰입형 경험을 현실감있게 제공할 수 있는 향상된 오디오 컴포넌트를 갖춘 시스템을 여전히 제공하지 않는다. 결과적으로, 향상된 오디오 컴포넌트를 갖춘 시스템이 요구된다.

추가적인 피처 및 이점은 유사한 기술을 통해 실현되고 다른 실시예 및 양태는 본 명세서에서 상세하게 설명되며 청구된 본 개시내용의 일부로서 간주된다. 이점 및 피처들을 갖는 실시예들의 더 양호한 이해를 위해, 설명과 도면을 참조한다.

몰입형 경험을 향상시키기 위한 방법 및 장치가 제공된다. 혼합 현실 환경에서 제공되는 가상 현실 콘텐트의 진행상황이 모니터링된다. 혼합 현실 환경은 가상 현실 콘텐트와 실제 환경으로부터 제공되는 이미지를 통합한다. 추가로, 가상 현실 콘텐트와 연관된 적어도 하나의 가상 음향 데이터는 실제 환경에서 제공된 상기 이미지를 통합함으로써 획득되고 수정된다.

본 개시내용은, 첨부된 도면을 참조하여, 어떠한 식으로든 제한적이지 않은 이하의 실시예 및 실행 예를 통해 더 양호하게 이해되고 예시될 것이다 :
도 1은 본 개시내용의 하나 이상의 실시예에 따른 인코딩 및 디코딩 시스템의 기능적 개요를 개략적으로 나타낸다;
도 2는 한 실시예에 따른 시스템을 개략적으로 나타낸다;
도 3은 또 다른 실시예에 따른 시스템을 개략적으로 나타낸다;
도 4는 또 다른 실시예에 따른 시스템을 개략적으로 나타낸다;
도 5는 또 다른 실시예에 따른 시스템을 개략적으로 나타낸다;
도 6은 또 다른 실시예에 따른 시스템을 개략적으로 나타낸다;
도 7은 또 다른 실시예에 따른 시스템을 개략적으로 나타낸다;
도 8은 또 다른 실시예에 따른 시스템을 개략적으로 나타낸다;
도 9는 또 다른 실시예에 따른 시스템을 개략적으로 나타낸다;
도 10은 한 실시예에 따른 몰입형 비디오 렌더링 디바이스를 개략적으로 나타낸다;
도 11은 또 다른 실시예에 따른 몰입형 비디오 렌더링 디바이스를 개략적으로 나타낸다;
도 12는 또 다른 실시예에 따른 몰입형 비디오 렌더링 디바이스를 개략적으로 나타낸다;
도 13은 한 실시예에 따른 오디오 디바이스를 이용하는 한 예의 예시이다;
도 14는 한 실시예에 따른 텔레비전 세트를 이용하는 한 예의 예시이다;
도 15는 한 대안적인 실시예에 따른 오디오 디바이스를 이용하는 한 예의 예시이다;
도 16은 역시 또 다른 대안적인 실시예에 따른 오디오 디바이스를 이용하는 한 예의 예시이다;
도 17은 한 실시예에 따른 플로차트의 예시이다;
도 18은 한 실시예에 따른 플로차트의 예시이다; 및
도 19는 한 실시예에 따른 플로차트의 예시이다.
가능한 경우 언제나, 도면들 전체에 걸쳐 동일하거나 유사한 부분을 참조하기 위해 동일한 참조 번호가 이용될 것이다.

본 개시내용의 도면 및 설명은 본 개시내용의 실시예들의 명확한 이해를 위한 적절한 요소들을 나타내도록 간소화되었지만, 명확성을 위해, 전형적인 디지털 멀티미디어 콘텐트 전달 방법 및 시스템에서 발견되는 많은 다른 요소들을 제거함을 이해해야 한다. 그러나, 이러한 요소들은 본 기술분야에 널리 알려져 있기 때문에, 이러한 요소들에 대한 상세한 논의는 여기서는 제공되지 않는다. 본 명세서의 개시내용은 본 기술분야의 통상의 기술자에게 알려진 이러한 모든 변형 및 수정에 관한 것이다.

혼합 현실(MR) 도메인에서는, 사용자의 몰입감을 증가시키기 위해 실제 세계와 가상 세계 사이의 상호작용이 신중하게 고려되어야 한다.

전통적으로, 몰입형 환경의 설계자는 사용자가 몰입감을 느낄 수 있도록 가상 현실(VR), 증강 현실(AR) 또는 MR의 시각적 양태에 집중해 왔다. 많은 이러한 설계자들은 양호한 VR/AR/MR 경험이 시각적으로 그럴듯해야 한다고 생각한다. 사용자의 시야(즉, 이미지 도메인)에서, 폐색, 충돌, 그림자 등의 실제 객체와 가상 객체 사이의 공간적 상호작용은 효율적으로 렌더링되어야 한다. 불행히도, 사운드와 이미지는 실제 세계에서 함께 한다. 따라서, VR/AR/MR 오디오 경험은 우리의 시야로 제한되지 않기 때문에 오디오 큐(audio cue)는 몰입감을 고려할 때 적어도 시각만큼 중요한 것으로 고려되어야 한다(수평 : 사람의 시각에 대해 거의 180°이지만 태블릿이나 스마트폰 등의 카메라가 내장된 핸드헬드 디바이스의 경우 종종 < 130°; 헤드셋에 대해서는, HoloLens의 경우 단지 30°, Meta2의 경우 90°인 반면, 오디오의 경우 수평 및 수직 양쪽 모두 360°). 즉, 이것은, 우리의 시야 밖이라서 보이지 않더라도 가상 객체들은 그들 자신의 공간적 사운드를 방출하거나 및/또는 다른 실제의 또는 가상의 사운드에 대한 우리의 인지를 수정하여 우리가 그들의 존재감을 느낄 수 있게 할 수 있다는 것을 의미한다. 따라서, VR/AR/MR 경험이 진정으로 몰입형이 되기 위해서는, 실제의 및 가상의 3D 객체 양쪽 모두의 지오메트리 및 재료 속성과 일치하는 설득력있는 3D 오디오가 필요하다. 따라서, 이미지 도메인에서 실제 세계와 가상 세계 사이의 널리 알려진 공간 상호작용(폐색, 충돌, 그림자 등)과 병행하여, 오디오 도메인에서 제공되는 실제적인 상호작용도 역시 필요하다.

사운드에 대한 환경적 상호작용은 광과 비슷하지만, 파형이 물론 상이하기 때문에 약간 상이하다. 사운드는 객체에 의해 폐색되고 표면에서 반사되지만, 객체 주변에서도 회절되고(게임 엔진은 이것을 폐색으로 에뮬레이션한다) 비-규칙적인 각도로 산란된다. 직접 사운드와 반사 사운드는, 환경(가상 또는 실제)의 크기, 형상 및 재료를 정의하는데 도움이 된다. 사운드 전파는 공간 오디오에 대한 핵심 양태이다. 불행히도, 현재의 종래 기술은, 방향, 거리 및 환경 시뮬레이션을 이용하여 3D 사운드를 시뮬레이션함으로써 혼합 현실 경험의 청각적 컴포넌트만을 렌더링할 수 있는 3차원(3D) 오디오 엔진을 제공한다. 이들 시스템은 매우 간단하게도 현재 3D 엔진을 이용하여 주어진 가상 3D 객체에 공간 사운드를 첨부하므로, 실제 세계 소스에 의해 재생되는 실제 세계 사운드로 무엇을 해야 하는지 및 당신의 MR 장면 및 그 시나리오와 일치하게 이론적으로 그 인지가 수정되어야 하는지를 아는 것은 그렇게 분명하지 않다. 따라서, 현재의 종래 기술은 실제 세계 사운드를 변경할 수 없다. 일반적으로, 일단 이미지가 변경되고 나면 필요에 따라 AR/MR 디바이스에서 새로운 사운드가 재생된다. 능동 소거 헤드폰 및 주파수 마스킹 등의 위상 반전은 이미 이용되어 왔지만 경험에 있어서 사운드에도 영향을 미친다. 도 13 내지 도 17은 이들 종래 기술의 단점을 해결하는 시스템 및 방법을 제공한다. 그러나, 도 13 내지 도 17에 대한 상세한 내용을 제공하기 전에, 이들 시스템 및 환경에 관한 어떤 다른 정보를 탐색하는 것이 유용할 수 있다.

도 1은 하나 이상의 실시예에 따른 인코딩 및 디코딩 시스템의 전반적인 개요를 개략적으로 나타낸다. 도 1의 시스템은 하나 이상의 기능을 수행하도록 구성된다. 인코딩 디바이스(400)에 의해 인코딩하기 위한 콘텐트를 준비하기 위해 전처리 모듈(300)이 제공될 수 있다. 전처리 모듈(300)은, 복수-이미지 취득, 공통 공간(방향이 인코딩된 경우 전형적으로 3D 구면)에서의 취득된 복수의 이미지의 병합, 및 예를 들어, 이것으로 제한되지 않지만, 등장방형 맵핑 또는 큐브 맵핑을 이용한 3D 구면의 2D 프레임으로의 맵핑을 수행할 수 있다. 전처리 모듈(300)은 또한, 특정한 포멧(예를 들어, 등장방향)의 전방향 비디오를 입력으로서 취득하고, 인코딩에 더 적합한 포멧으로 맵핑을 변경하기 위해 비디오를 전처리할 수 있다. 취득된 비디오 데이터 표현에 따라, 전처리 모듈(300)은 맵핑 공간 변경을 수행할 수 있다. 인코딩된 후, 예를 들어 인코딩된 몰입형 비디오 데이터 또는 3D CGI 인코딩된 데이터일 수 있는 데이터는, 예를 들어 게이트웨이에 존재하는 임의의 네트워크 인터페이스에서 전형적으로 구현될 수 있는 네트워크 인터페이스(500)에 전송된다. 그 다음, 데이터는 인터넷 등의 통신 네트워크를 통해 전송되지만 임의의 다른 네트워크가 예상될 수도 있다. 그 다음, 데이터는 네트워크 인터페이스(600)를 통해 수신된다. 네트워크 인터페이스(600)는, 게이트웨이, 텔레비전, 셋탑 박스, 머리 장착형 디스플레이 디바이스, 몰입형(투사) 벽 또는 임의의 몰입형 비디오 렌더링 디바이스에서 구현될 수 있다. 수신 후, 데이터는 디코딩 디바이스(700)에 전송된다. 디코딩된 데이터는 재생기(800)에 의해 처리된다. 재생기(800)는 렌더링 디바이스(900)를 위한 데이터를 준비하고 센서로부터의 외부 데이터 또는 사용자 입력 데이터를 수신할 수 있다. 더 정확하게는, 재생기(800)는 렌더링 디바이스(900)에 의해 디스플레이될 비디오 콘텐트의 일부를 준비한다. 디코딩 디바이스(700)와 재생기(800)는 단일의 디바이스(예를 들어, 스마트폰, 게임 콘솔, STB, 태블릿, 컴퓨터 등)에 통합될 수 있다. 또 다른 실시예에서, 재생기(800)는 렌더링 디바이스(900)에 통합될 수 있다.

몰입형 비디오를 렌더링하기 위한 몰입형 디스플레이 디바이스의 기능들, 예를 들어 디코딩, 재생 및 렌더링을 수행하기 위해 다양한 유형의 시스템이 이용될 수 있다. 증강 현실(AR) 또는 가상 현실(VR) 콘텐트를 처리하기 위한 시스템의 실시예들이 도 2 내지 도 9에 예시되어 있다. 이러한 시스템은 하나 이상의 처리 기능을 제공받고, 예를 들어 머리 장착형 디스플레이(HMD), 태블릿 또는 스마트폰일 수 있는 몰입형 비디오 렌더링 디바이스를 포함하고, 선택사항으로서 하나 이상의 센서를 포함한다. 몰입형 비디오 렌더링 디바이스는 또한, 디스플레이 디바이스와 처리 기능을 수행하는 하나 이상의 모듈 사이에 인터페이스 모듈을 포함할 수 있다. 처리 기능은 몰입형 비디오 렌더링 디바이스 내에 통합되거나 하나 이상의 처리 디바이스에 의해 수행될 수 있다. 이러한 처리 디바이스는, 하나 이상의 프로세서, 및 무선 또는 유선 통신 인터페이스 등의, 몰입형 비디오 렌더링 디바이스와의 통신 인터페이스를 포함할 수 있다.

처리 디바이스는 또한, 인터넷 등의 광역 액세스 네트워크와의 통신 인터페이스를 포함하고, 클라우드에 위치한 콘텐트에 직접 액세스하거나 가정이나 로컬 게이트웨이 등의 네트워크 디바이스를 통해 액세스할 수 있다. 처리 디바이스는 또한, 로컬 액세스 네트워크 인터페이스, 예를 들어 Ethernet 유형 인터페이스 등의 인터페이스를 통해 로컬 스토리지 디바이스에 액세스할 수 있다. 한 실시예에서, 처리 디바이스는 하나 이상의 처리 유닛을 갖는 컴퓨터 시스템에 제공될 수 있다. 또 다른 실시예에서, 처리 디바이스는 인코딩에 더 적합한 포멧으로 맵핑을 변경하기 위해 유선 링크 또는 무선 링크에 의해 비디오에 접속될 수 있는 스마트폰에 제공될 수 있다. 취득된 비디오 데이터 표현에 따라, 전처리 모듈(300)은 맵핑 공간 변경을 수행할 수 있다. 인코딩된 후, 예를 들어 인코딩된 몰입형 비디오 데이터 또는 3D CGI 인코딩된 데이터일 수 있는 데이터는, 예를 들어 게이트웨이에 존재하는 임의의 네트워크 인터페이스에서 전형적으로 구현될 수 있는 네트워크 인터페이스(500)에 전송된다. 그 다음, 데이터는 인터넷 등의 통신 네트워크를 통해 전송되지만 임의의 다른 네트워크가 예상될 수도 있다. 그 다음, 데이터는 네트워크 인터페이스(600)를 통해 수신된다. 네트워크 인터페이스(600)는, 게이트웨이, 텔레비전, 셋탑 박스, 머리 장착형 디스플레이 디바이스, 몰입형(투사) 벽 또는 임의의 몰입형 비디오 렌더링 디바이스에서 구현될 수 있다. 수신 후, 데이터는 디코딩 디바이스(700)에 전송된다. 디코딩된 데이터는 재생기(800)에 의해 처리된다. 재생기(800)는 렌더링 디바이스(900)를 위한 데이터를 준비하고 센서로부터의 외부 데이터 또는 사용자 입력 데이터를 수신할 수 있다. 더 정확하게는, 재생기(800)는 렌더링 디바이스(900)에 의해 디스플레이될 비디오 콘텐트의 일부를 준비한다. 디코딩 디바이스(700)와 재생기(800)는 단일의 디바이스(예를 들어, 스마트폰, 게임 콘솔, STB, 태블릿, 컴퓨터 등)에 통합될 수 있다. 또 다른 실시예에서, 재생기(800)는 렌더링 디바이스(900)에 통합될 수 있다.

몰입형 콘텐트란 전형적으로, "일반" 비디오 또는 다른 형태의 이미지 콘텐트 등의, 2차원 픽셀 배열(즉, 색상 정보 요소)인 직사각형 프레임 상에서 잠재적으로 인코딩된 비디오 또는 기타의 스트리밍 콘텐트 또는 이미지를 말한다. 많은 구현에서, 다음과 같은 프로세스가 수행될 수 있다. 렌더링되기 위해, 프레임은 먼저 맵핑 표면(예를 들어, 구면, 큐브, 피라미드)이라고도 하는 볼록한 체적의 내측면에 맵핑되고, 두번째로, 이 체적의 일부가 가상 카메라에 의해 캡처된다. 가상 카메라에 의해 캡처된 이미지는 몰입형 디스플레이 디바이스의 스크린 상에 렌더링된다. 입체 비디오는 하나 또는 2개의 직사각형 프레임 상에서 인코딩되고 2개의 맵핑 표면에 투사되어, 디바이스의 특성에 따라 2개의 가상 카메라로 캡처되도록 결합된다.

픽셀들은 프레임의 맵핑 기능에 따라 인코딩될 수 있다. 맵핑 기능은 맵핑 표면에 의존할 수 있다. 동일한 맵핑 표면에 대해, 다양한 맵핑 기능이 가능하다. 예를 들어, 큐브의 면들은 프레임 표면 내의 상이한 레이아웃들에 따라 구조화될 수 있다. 구면은 등장방형 투사 또는 예를 들어 그노몬 투사(gnomonic projection)에 따라 맵핑될 수 있다. 선택된 투사 기능으로부터 발생하는 픽셀의 조직화는, 라인 연속성, 직교 로컬 프레임, 픽셀 밀도를 수정하거나 단절시키고 시간 및 공간에서 주기성을 도입한다. 이들은 비디오를 인코딩 및 디코딩하는데 이용되는 전형적인 피처이다. 인코딩 및 디코딩 방법에서 몰입형 비디오의 특수성이 고려되지 않는다. 사실상, 몰입형 비디오는 360° 비디오이므로, 예를 들어 팬닝(panning)은 장면의 콘텐트가 변하지 않는 동안 많은 양의 데이터가 인코딩될 것을 요구하는 움직임 및 불연속성을 도입한다. 비디오 프레임을 인코딩 및 디코딩하는 동안 몰입형 비디오 특수성을 고려하면 종래의 최신 기술 방법에 귀중한 이점을 가져올 수 있다.

또 다른 실시예에서, 시스템은 몰입형 비디오 렌더링 디바이스 및 처리 디바이스와 통신하는 보조 디바이스를 포함한다. 이러한 실시예에서, 보조 디바이스는 처리 기능들 중 적어도 하나를 수행할 수 있다. 몰입형 비디오 렌더링 디바이스는 하나 이상의 디스플레이를 포함할 수 있다. 디바이스는 각각의 디스플레이 앞에 렌즈 등의 광학소자를 채용할 수 있다. 디스플레이는 또한, 예를 들어 스마트폰 또는 태블릿의 경우 등의, 몰입형 디스플레이 디바이스의 일부일 수 있다. 또 다른 실시예에서, 디스플레이 및 광학소자는, 헬멧, 안경 또는 착용형 바이저(wearable visor)에 내장될 수 있다. 몰입형 비디오 렌더링 디바이스는 또한, 후술되는 바와 같이 하나 이상의 센서를 포함할 수 있다. 몰입형 비디오 렌더링 디바이스는 또한, 인터페이스 또는 커넥터를 포함할 수 있다. 이것은, 센서, 처리 기능, 핸드헬드 또는 다른 신체 부위에 관련된 디바이스나 센서와 통신하기 위해 하나 이상의 무선 모듈을 포함할 수 있다.

처리 기능이 몰입형 비디오 렌더링 디바이스에 의해 수행될 때, 몰입형 비디오 렌더링 디바이스에는 콘텐트를 수신 및/또는 전송하기 위해 네트워크에 대한 인터페이스가 직접 또는 게이트웨이를 통해 제공될 수 있다.

몰입형 비디오 렌더링 디바이스는 또한, 하나 이상의 프로세서에 의해 실행되고 콘텐트를 디코딩하거나 콘텐트를 처리하도록 구성된 처리 기능을 포함할 수 있다. 여기서 콘텐트를 처리한다는 것은, 디스플레이할 콘텐트를 준비하는 기능으로서 이해되어야 한다. 이것은, 예를 들어, 콘텐트를 디코딩하는 것, 콘텐트를 디스플레이하기 전에 병합하는 것, 및 디스플레이 디바이스에 따라 콘텐트를 수정하는 것을 포함할 수 있다.

몰입형 콘텐트 렌더링 디바이스의 한 기능은, 가상 체적으로서 구성된 콘텐트의 적어도 일부를 캡처하는 가상 카메라를 제어하는 것이다. 시스템은, 가상 카메라의 자세를 처리하기 위하여, 사용자의 자세, 예를 들어 사용자의 머리의 자세를 전체적으로 또는 부분적으로 추적하는 하나 이상의 자세 추적 센서를 포함할 수 있다. 사용자의 변위를 추적하기 위해 하나 이상의 위치결정 센서가 제공될 수 있다. 시스템은 또한, 예를 들어 조명, 온도 또는 사운드 조건을 측정하기 위해 환경과 관련된 다른 센서를 포함할 수도 있다. 이러한 센서는 또한, 예를 들어 발한(sweating) 또는 심박수를 검출하거나 측정하기 위해 사용자의 신체와 관련될 수도 있다. 이들 센서를 통해 취득된 정보는 콘텐트를 처리하는데 이용될 수 있다. 시스템은 또한, 사용자 입력 디바이스(예를 들어, 마우스, 키보드, 리모콘, 조이스틱)를 포함할 수 있다. 사용자 입력 디바이스로부터의 정보는, 콘텐트를 처리하거나, 사용자 인터페이스를 관리하거나, 가상 카메라의 자세를 제어하는데 이용될 수 있다. 센서 및 사용자 입력 디바이스는, 유선 또는 무선 통신 인터페이스를 통해 처리 디바이스 및/또는 몰입형 렌더링 디바이스와 통신한다.

몰입형 비디오 렌더링 디바이스(10)의 한 실시예가 도 10을 참조하여 더 상세히 설명될 것이다. 몰입형 비디오 렌더링 디바이스는 디스플레이(101)를 포함한다. 디스플레이는 예를 들어 OLED 또는 LCD 유형 디스플레이다. 몰입형 비디오 렌더링 디바이스(10)는, 예를 들어, HMD, 태블릿 또는 스마트폰이다. 디바이스(10)는 터치 감지 표면(102)(예를 들어, 터치패드 또는 촉각 스크린), 카메라(103), 적어도 하나의 프로세서(104) 및 적어도 하나의 통신 인터페이스(106)와 접속된 메모리(105)를 포함할 수 있다. 적어도 하나의 프로세서(104)는 센서(들)(20)로부터 수신된 신호를 처리한다. 센서들로부터의 측정치들 중 일부는 디바이스의 자세를 계산하고 가상 카메라를 제어하는데 이용된다. 자세 추정에 이용될 수 있는 센서는, 예를 들어, 자이로스코프, 가속도계 또는 나침반을 포함한다. 더 복잡한 시스템에서는, 예를 들어 카메라 장비가 이용될 수도 있다. 적어도 하나의 프로세서(104)는 디바이스(10)의 자세를 추정하기 위해 이미지 처리를 수행한다. 환경 조건 또는 사용자 반응에 따라 콘텐트를 처리하기 위해 어떤 다른 측정이 이용될 수도 있다. 환경 및 사용자 조건을 검출하는데 이용되는 센서는, 예를 들어, 하나 이상의 마이크로폰, 광 센서 또는 접촉 센서를 포함한다. 예를 들어, 사용자의 눈을 추적하는 비디오 카메라 등의 더 복잡한 시스템도 이용될 수 있다. 이러한 경우 적어도 하나의 프로세서는 예상된 측정을 수행하기 위해 이미지 처리를 수행한다. 센서(들)(20) 및 사용자 입력 디바이스(들)(30)로부터의 데이터는 또한, 센서들의 입력에 따라 데이터를 처리할 컴퓨터(40)에 전송될 수 있다.

메모리(105)는 프로세서(104)에 대한 파라미터 및 코드 프로그램 명령어를 포함한다. 메모리(105)는 또한, 센서(들)(20) 및 사용자 입력 디바이스(들)(30)로부터 수신된 파라미터를 포함할 수 있다. 통신 인터페이스(106)는 몰입형 비디오 렌더링 디바이스가 컴퓨터(40)와 통신할 수 있게 한다. 처리 디바이스의 통신 인터페이스(106)는, 유선 인터페이스(예를 들어, 버스 인터페이스, 광역 네트워크 인터페이스, 로컬 영역 네트워크 인터페이스) 또는 (IEEE 802.11 인터페이스 또는 Bluetooth® 인터페이스 등의) 무선 인터페이스를 포함할 수 있다. 컴퓨터(40)는 데이터 및 선택사항으로서 제어 커맨드를 몰입형 비디오 렌더링 디바이스(10)에 전송한다. 컴퓨터(40)는 예를 들어 몰입형 비디오 렌더링 디바이스(10)에 의해 디스플레이될 데이터를 준비하기 위해 데이터를 처리한다. 처리는 전적으로 컴퓨터(40)에 의해 실행될 수 있거나, 처리의 일부가 컴퓨터에 의해 실행되고 일부는 몰입형 비디오 렌더링 디바이스(10)에 의해 실행될 수도 있다. 컴퓨터(40)는, 직접적으로 또는 게이트웨이 또는 네트워크 인터페이스(50)를 통해, 인터넷에 접속된다. 컴퓨터(40)는 인터넷으로부터 몰입형 비디오를 나타내는 데이터를 수신하고, 이들 데이터를 처리하고(예를 들어, 데이터를 디코딩하고, 몰입형 비디오 렌더링 디바이스(10)에 의해 디스플레이될 비디오 콘텐트의 일부를 준비) 처리된 데이터를 디스플레이를 위해 몰입형 비디오 렌더링 디바이스(10)에 전송한다. 또 다른 실시예에서, 시스템은 또한, 몰입형 비디오를 나타내는 데이터가 저장되는 로컬 스토리지(미도시)를 포함할 수 있고, 상기 로컬 스토리지는 컴퓨터(40) 상에 있거나 예를 들어 로컬 영역 네트워크(미도시)를 통해 액세스할 수 있는 로컬 서버 상에 있을 수 있다.

증강 현실, 가상 현실, 증강 가상 또는 증강 현실로부터 가상 현실로의 임의의 콘텐트를 디스플레이하기 위한 제1 유형의 시스템의 실시예들이 도 2 내지 도 6을 참조하여 설명될 것이다. 한 실시예에서, 이들은, 실제의, 허구의 또는 혼합 환경의 360도 보기를 제공할 수 있는 넓은 시야 콘텐트와 결합된다. 이 넓은 시야각 콘텐트는, 다른 것들 중에서도 특히, 3차원 컴퓨터 그래픽 이미지 장면(3D CGI 장면), 포인트 클라우드, 스트리밍 콘텐트 또는 몰입형 비디오 또는 파노라마 사진 또는 이미지일 수 있다. 이러한 콘텐트 또는 비디오를 제공하는 기술을 정의하기 위해, 예를 들어, 가상 현실(VR), 증강 현실(AR) 360, 파노라마, 4p, 스테라디안, 전방향성, 몰입형 및 앞서 나타낸 넓은 시야와 함께, 많은 용어가 사용될 수 있다.

도 2는, 몰입형 비디오를 디코딩, 처리 및 렌더링하도록 구성된 시스템의 한 실시예를 개략적으로 나타낸다. 시스템은, 몰입형 비디오 렌더링 디바이스(10), 하나 이상의 센서(20), 하나 이상의 사용자 입력 디바이스(30), 컴퓨터(40) 및 게이트웨이(50)(선택사항)를 포함한다.

도 3은 몰입형 비디오를 디코딩, 처리 및 렌더링하도록 구성된 시스템의 제2 실시예를 개략적으로 나타낸다. 이 실시예에서, STB(90)는 인터넷 등의 네트워크에 직접(즉, STB(90)는 네트워크 인터페이스를 포함함) 또는 게이트웨이(50)를 통해 접속된다. STB(90)는, 무선 인터페이스를 통해 또는 유선 인터페이스를 통해, 텔레비전 세트(100) 또는 몰입형 비디오 렌더링 디바이스(200) 등의 렌더링 디바이스에 접속된다. STB의 고전적인 기능에 추가하여, STB(90)는, 텔레비전(100) 또는 임의의 몰입형 비디오 렌더링 디바이스(200)에서 렌더링하기 위해 비디오 콘텐트를 처리하는 처리 기능을 포함한다. 이들 처리 기능은 컴퓨터(40)에 대해 설명된 처리 기능과 유사하며 여기서 다시 설명되지 않는다. 센서(들)(20) 및 사용자 입력 디바이스(들)(30)도 역시, 도 2를 참조하여 앞서 설명된 센서(들) 및 입력 디바이스(들)와 동일한 유형이다. STB(90)는 인터넷으로부터 몰입형 비디오를 나타내는 데이터를 획득한다. 또 다른 실시예에서, STB(90)는 몰입형 비디오를 나타내는 데이터가 저장되는 로컬 스토리지(미도시)로부터 몰입형 비디오를 나타내는 데이터를 획득한다.

도 4는 몰입형 비디오를 디코딩, 처리 및 렌더링하도록 구성된 시스템의 제3 실시예를 개략적으로 나타낸다. 제3 실시예에서 게임 콘솔(60)은 콘텐트 데이터를 처리한다. 게임 콘솔(60)은 몰입형 비디오 렌더링 디바이스(10)에 데이터 및 선택사항으로서 제어 커맨드를 전송한다. 게임 콘솔(60)은 몰입형 비디오를 나타내는 데이터를 처리하고 처리된 데이터를 디스플레이를 위해 몰입형 비디오 렌더링 디바이스(10)에 전송하도록 구성된다. 처리는 전적으로 게임 콘솔(60)에 의해 이루어지거나 처리의 일부가 몰입형 비디오 렌더링 디바이스(10)에 의해 이루어질 수도 있다.

게임 콘솔(60)은, 직접적으로 또는 게이트웨이 또는 네트워크 인터페이스(50)를 통해, 인터넷에 접속된다. 게임 콘솔(60)은 인터넷으로부터 몰입형 비디오를 나타내는 데이터를 획득한다. 또 다른 실시예에서, 게임 콘솔(60)은 렌더링 디바이스(10)를 획득한다. 처리는 전적으로 컴퓨터(40)에 의해 실행될 수 있거나, 처리의 일부가 컴퓨터에 의해 실행되고 일부는 몰입형 비디오 렌더링 디바이스(10)에 의해 실행될 수도 있다. 컴퓨터(40)는, 직접적으로 또는 게이트웨이 또는 네트워크 인터페이스(50)를 통해, 인터넷에 접속된다. 컴퓨터(40)는 인터넷으로부터 몰입형 비디오를 나타내는 데이터를 수신하고, 이들 데이터를 처리하고(예를 들어, 데이터를 디코딩하고, 몰입형 비디오 렌더링 디바이스(10)에 의해 디스플레이될 비디오 콘텐트의 일부를 준비) 처리된 데이터를 디스플레이를 위해 몰입형 비디오 렌더링 디바이스(10)에 전송한다. 또 다른 실시예에서, 시스템은 또한, 몰입형 비디오를 나타내는 데이터가 저장되는 로컬 스토리지(미도시)를 포함할 수 있고, 상기 로컬 스토리지는 컴퓨터(40) 상에 있거나 예를 들어 로컬 영역 네트워크(미도시)를 통해 액세스할 수 있는 로컬 서버 상에 있을 수 있다.

도 5는 하우징(705)에 삽입된 스마트폰(701)에 의해 제공되는 몰입형 비디오 렌더링 디바이스(70)가 몰입형 비디오를 디코딩, 처리 및 렌더링하도록 구성된 시스템의 제4 실시예를 개략적으로 나타낸다. 스마트폰(701)은 인터넷에 접속되어 인터넷으로부터 몰입형 비디오를 나타내는 데이터를 획득할 수 있다. 또 다른 실시예에서, 스마트폰(701)은 몰입형 비디오를 나타내는 데이터가 저장된 로컬 스토리지(미도시)로부터 몰입형 비디오를 나타내는 데이터를 획득하고, 상기 로컬 스토리지는 스마트폰(701)에 있거나 또는 예를 들어 로컬 영역 네트워크(미도시)를 통해 액세스가능한 로컬 서버 상에 있다.

몰입형 비디오 렌더링 디바이스(70)의 한 실시예가 도 11을 참조하여 설명된다. 몰입형 비디오 렌더링 디바이스(70)는, 선택사항으로서, 스마트폰(701)을 위한 적어도 하나의 네트워크 인터페이스(702) 및 하우징(705)을 포함한다. 스마트폰(701)은 스마트폰 및 디스플레이의 기능을 포함한다. 스마트폰의 디스플레이는 몰입형 비디오 렌더링 디바이스(70) 디스플레이로서 이용된다. 렌즈 등의 광학소자(704)는 스마트폰 디스플레이 상의 데이터를 보기 위해 포함될 수 있다. 스마트폰(701)은, 예를 들어 센서(20) 및 사용자 입력 디바이스(30)로부터 수신된 데이터에 따라 몰입형 비디오를 나타내는 데이터를 처리(예를 들어, 디코딩, 및 디스플레이를 위해 준비)하도록 구성된다. 센서들로부터의 측정치들 중 일부는 디바이스의 자세를 계산하고 가상 카메라를 제어하는데 이용될 수 있다. 자세 추정에 이용될 수 있는 센서는, 예를 들어, 자이로스코프, 가속도계 또는 나침반을 포함한다. 더 복잡한 시스템, 예를 들어 카메라 장비도 역시 이용될 수 있다. 이 경우, 적어도 하나의 프로세서는 디바이스(10)의 자세를 추정하기 위해 이미지 처리를 수행한다.

예를 들어, 환경 조건 또는 사용자 반응에 따라 콘텐트를 처리하기 위해 다른 측정치가 이용될 수 있다. 환경 및 사용자 조건을 검출하는데 이용되는 센서는, 예를 들어 마이크로폰, 광 센서 또는 접촉 센서를 포함한다. 예를 들어, 사용자의 눈을 추적하는 비디오 카메라 등의 더 복잡한 시스템도 이용될 수 있다. 이러한 경우, 적어도 하나의 프로세서는 측정을 수행하기 위해 이미지 처리를 수행한다.

도 6은 몰입형 비디오 렌더링 디바이스(80)가 데이터 콘텐트를 처리하고 디스플레이하기 위한 기능을 포함하는 제1 유형의 시스템의 제5 실시예를 개략적으로 나타낸다. 시스템은, 몰입형 비디오 렌더링 디바이스(80), 센서(20) 및 사용자 입력 디바이스(30)를 포함한다. 몰입형 비디오 렌더링 디바이스(80)는, 아마도 센서(20) 및 사용자 입력 디바이스(30)로부터 수신된 데이터에 따라, 몰입형 비디오를 나타내는 데이터를 처리(예를 들어, 디코딩, 및 디스플레이 준비)하도록 구성된다. 몰입형 비디오 렌더링 디바이스(80)는 인터넷에 접속될 수 있으며, 그에 따라 인터넷으로부터 몰입형 비디오를 나타내는 데이터를 획득될 수 있다. 또 다른 실시예에서, 몰입형 비디오 렌더링 디바이스(80)는, 몰입형 비디오를 나타내는 데이터가 저장된 로컬 스토리지(미도시)로부터 몰입형 비디오를 나타내는 데이터를 획득하고, 상기 로컬 스토리지는 렌더링 디바이스(80)에 제공되거나 예를 들어 로컬 영역 네트워크(미도시)를 통해 액세스가능한 로컬 서버 상에 제공될 수 있다.

몰입형 비디오 렌더링 디바이스(80)의 실시예는 도 12에 도시되어 있다. 몰입형 비디오 렌더링 디바이스는, 디스플레이(801), 예를 들어 OLED 또는 LCD 유형 디스플레이, 터치패드(선택사항)(802), 카메라(선택사항)(803), 적어도 하나의 프로세서(804) 및 적어도 하나의 통신 인터페이스(806)와 접속된 메모리(805)를 포함한다. 메모리(805)는 프로세서(804)에 대한 파라미터 및 코드 프로그램 명령어를 포함한다. 메모리(805)는 또한, 센서(20) 및 사용자 입력 디바이스(30)로부터 수신된 파라미터를 포함할 수 있다. 메모리(805)는 몰입형 비디오 콘텐트를 나타내는 데이터를 저장하기에 충분한 용량을 가질 수 있다. 상이한 유형의 메모리들이 이러한 스토리지 기능을 제공할 수 있으며, SD 카드, 하드 디스크, 휘발성 또는 비휘발성 메모리 등의 하나 이상의 스토리지 디바이스를 포함할 수 있다. 통신 인터페이스(806)는 몰입형 비디오 렌더링 디바이스가 인터넷 네트워크와 통신할 수 있게 한다. 프로세서(804)는 비디오를 나타내는 데이터를 처리하여 디스플레이(801) 상에 이미지를 디스플레이한다. 카메라(803)는 이미지 처리 단계를 위해 환경의 이미지를 캡처한다. 몰입형 비디오 렌더링 디바이스를 제어하기 위해 이 단계로부터 데이터가 추출된다.

증강 현실, 가상 현실 또는 증강 가상 콘텐트를 처리하기 위한 제2 유형의 시스템의 실시예가 도 7 내지 도 9에 도시되어 있다. 이들 실시예에서 시스템은 몰입형 벽(immersive wall)을 포함한다.

도 7은 컴퓨터(4000)로부터 데이터를 수신하는 몰입형 (투사) 벽인 디스플레이(1000)를 포함하는 제2 유형의 시스템의 한 실시예를 개략적으로 나타낸다. 컴퓨터(4000)는 인터넷으로부터 몰입형 비디오 데이터를 수신할 수 있다. 컴퓨터(4000)는, 직접 또는 게이트웨이(5000) 또는 네트워크 인터페이스를 통해 인터넷에 접속될 수 있다. 또 다른 실시예에서, 몰입형 비디오 데이터는 몰입형 비디오를 나타내는 데이터가 저장되는 로컬 스토리지(미도시)로부터 컴퓨터(4000)에 의해 획득되고, 상기 로컬 스토리지는 컴퓨터(4000)에 있거나 예를 들어 로컬 영역 네트워크(미도시)를 통해 액세스가능한 로컬 서버에 있을 수 있다.

이 시스템은 또한 하나 이상의 센서(2000) 및 하나 이상의 사용자 입력 디바이스(3000)를 포함할 수 있다. 몰입형 벽(1000)은 OLED 또는 LCD 유형일 수 있고 하나 이상의 카메라가 장착될 수 있다. 몰입형 벽(1000)은 하나 이상의 센서(2000)로부터 수신된 데이터를 처리할 수 있다. 센서(들)(2000)로부터 수신된 데이터는, 예를 들어, 조명 조건, 온도, 예를 들어 객체의 위치 등의 사용자의 환경과 관련될 수 있다.

몰입형 벽(1000)은 또한 하나 이상의 사용자 입력 디바이스(3000)로부터 수신된 데이터를 처리할 수 있다. 사용자 입력 디바이스(들)(3000)는 사용자 감정에 관한 피드백을 제공하기 위해 햅틱 신호 등의 데이터를 전송할 수 있다. 사용자 입력 디바이스(3000)의 예는, 예를 들어, 스마트폰, 리모콘 및 자이로스코프 기능을 가진 디바이스 등의 핸드헬드 디바이스를 포함한다.

데이터는 또한 센서(들)(2000) 및 사용자 입력 디바이스(들)(3000) 데이터로부터 컴퓨터(4000)로 전송될 수 있다. 컴퓨터(4000)는 이들 센서/사용자 입력 디바이스로부터 수신된 데이터에 따라 비디오 데이터를 처리할 수 있다(예를 들어, 이들을 디코딩하고 디스플레이를 위해 준비). 센서 신호는 몰입형 벽의 통신 인터페이스를 통해 수신될 수 있다. 이 통신 인터페이스는, Bluetooth 유형, WIFI 유형 또는 기타 임의 유형의 접속일 수 있으며, 우선적으로 무선이지만 유선 접속일 수도 있다.

컴퓨터(4000)는, 처리된 데이터, 및 선택사항으로서, 제어 커맨드를 몰입형 벽(1000)에 전송한다. 컴퓨터(4000)는 데이터를 처리하도록 구성되며, 예를 들어 몰입형 벽(1000)에 의해 디스플레이될 데이터를 준비한다. 처리는 전적으로 컴퓨터(4000)에 의해 이루어지거나 처리의 일부가 컴퓨터(4000)에 의해 이루어지고 또 일부는 몰입형 벽(1000)에 의해 이루어질 수도 있다.

도 8은 제2 유형의 시스템의 또 다른 실시예를 개략적으로 나타낸다. 시스템은 비디오 콘텐트를 처리(예를 들어, 디코딩 및 디스플레이를 위해 데이터를 준비)하고 디스플레이하도록 구성되고 하나 이상의 센서(2000) 및 하나 이상의 사용자 입력 디바이스(3000)를 더 포함하는 몰입형 (투사) 벽(6000)을 포함한다.

몰입형 벽(6000)은, 게이트웨이(5000)를 통해 인터넷으로부터 또는 직접 인터넷으로부터 몰입형 비디오 데이터를 수신한다. 또 다른 실시예에서, 몰입형 비디오 데이터는 몰입형 비디오를 나타내는 데이터가 저장되는 로컬 스토리지(미도시)로부터 몰입형 벽(6000)에 의해 획득되고, 상기 로컬 스토리지는 몰입형 벽(6000)에 있거나 예를 들어 로컬 영역 네트워크(미도시)를 통해 액세스가능한 로컬 서버에 있을 수 있다.

이 시스템은 또한, 하나 이상의 센서(2000) 및 하나 이상의 사용자 입력 디바이스(3000)를 포함할 수 있다. 몰입형 벽(6000)은 OLED 또는 LCD 유형일 수 있으며 하나 이상의 카메라가 장착될 수 있다. 몰입형 벽(6000)은 센서(들)(2000)(또는 복수의 센서(2000))로부터 수신된 데이터를 처리할 수 있다. 센서(들)(2000)로부터 수신된 데이터는, 조명 조건, 온도, 예를 들어 객체의 위치 등의 사용자의 환경과 관련될 수 있다.

몰입형 벽(6000)은 또한, 사용자 입력 디바이스(들)(3000)로부터 수신된 데이터를 처리할 수 있다. 사용자 입력 디바이스(들)(3000)는 사용자 감정에 관한 피드백을 제공하기 위해 햅틱 신호 등의 데이터를 전송한다. 사용자 입력 디바이스(3000)의 예는, 예를 들어, 스마트폰, 리모콘 및 자이로스코프 기능을 가진 디바이스 등의 핸드헬드 디바이스를 포함한다.

몰입형 벽(6000)은 이들 센서(들)/사용자 입력 디바이스(들)로부터 수신된 데이터에 따라 비디오 데이터를 처리할 수 있다(예를 들어, 이들을 디코딩하고 이들을 디스플레이를 위해 준비). 센서 신호는 몰입형 벽의 통신 인터페이스를 통해 수신될 수 있다. 이 통신 인터페이스는, Bluetooth 유형, WIFI 유형 또는 기타 임의 유형의 무선 접속, 또는 임의 유형의 유선 접속을 포함할 수 있다. 몰입형 벽(6000)은 센서(들) 및 인터넷과 통신하기 위한 적어도 하나의 통신 인터페이스를 포함할 수 있다.

도 9는 게임을 위해 몰입형 벽이 이용되는 또 다른 실시예를 도시한다. 하나 이상의 게임 콘솔(7000)이 예를 들어 무선 인터페이스를 통해 몰입형 벽(6000)에 접속된다. 몰입형 벽(6000)은, 게이트웨이(5000)를 통해 인터넷으로부터 또는 직접 인터넷으로부터 몰입형 비디오 데이터를 수신한다. 한 대안적인 실시예에서, 몰입형 비디오 데이터는 몰입형 비디오를 나타내는 데이터가 저장되는 로컬 스토리지(미도시)로부터 몰입형 벽(6000)에 의해 획득되고, 상기 로컬 스토리지는 몰입형 벽(6000)에 있거나 예를 들어 로컬 영역 네트워크(미도시)를 통해 액세스가능한 로컬 서버에 있을 수 있다.

게임 콘솔(7000)은 명령어와 사용자 입력 파라미터를 몰입형 벽(6000)에 전송한다. 몰입형 벽(6000)은 디스플레이를 위한 콘텐트를 준비하기 위하여 예를 들어 센서(들)(2000) 및 사용자 입력 디바이스(들)(3000) 및 게임 콘솔(들)(7000)로부터 수신된 입력 데이터에 따라 몰입형 비디오 콘텐트를 처리한다. 몰입형 벽(6000)은 또한 디스플레이될 콘텐트를 저장하기 위한 내부 메모리를 포함할 수 있다.

스트림 내로의 사용자 데이터로서. 프로세서는, 본 기술분야의 통상의 기술자라면 이해할 수 있는 바와 같이, 셋탑 박스, 컴퓨터, 스마트 텔레비전 세트, 스마트폰 등의 모바일 디바이스의 일부일 수 있다. 도 14의 실시예와 관련하여 언급된 바와 같이, 하나보다 많은 프로세서가 역시 이용될 수 있다. 하나 이상의 프로세서는, 환경에 배치되는 하나 또는 복수의 (그러나 한정된) 스마트 전구 등의 조명 컴포넌트와 통신할 것이며 조명의 색상 및 강도와 그 특성을 선택적으로 또는 자동으로 변경한다.

도 13 및 도 14는, 텔레비전 세트, 홈 씨어터, 하이파이 시스템 및 기타의 것들의 그러나 이것으로 제한되지 않는 다수의 접속된 디바이스를 통해 실제 세계 사운드가 재생되고 제공될 수 있는 시스템을 제공한다. 오디오-가능 접속된 디바이스들과 통신하여 렌더링된 VR/AR/MR 장면의 현재 상태에 따라 그들이 오디오를 방출하는 방식을 실시간으로 수정할 것을 그들에게 요청하는 모바일 디바이스(태블릿, 스마트폰, 헤드셋, 비디오 게임 유닛 등) 등의 VR/AR/MR 환경을 렌더링할 수 있는 디바이스가 또한 이용될 수 있다. 이해의 용이성을 위해, 도 13 및 도 14는 대안적인 실시예에서 다른 구성들이 제공될 수 있다는 이해와 함께 이들 애플리케이션의 간단한 표현을 제공한다.

AR/VR/MR 디바이스의 3D 엔진은 AR/VR/MR 장면과 여기에 포함된 실제 및 가상 객체에 관한 사용자의 위치와 배향을 실시간으로 안다. 이것은 또한, 접속된 디바이스 스피커의 3D 위치를 안다. 이러한 정보에 기초하여, 3D 엔진은 오디오-가능 접속된 디바이스에 메시지를 전송하여 디바이스가 오디오를 방출하는 방식을 수정하게 한다(예를 들어, 음소거 설정, 음량 높이기/낮추기, 모드 변경 -모노/스테레오-, 좌우 및 전후간 밸런스 변경, 필터 추가).

이것은, 실제 오디오 소스가 사운드를 방출하는 방식의 직접 제어를 허용한다. 또한, 실제 소스로부터의 사운드를 다른 새로운 사운드로 보정/복구/상쇄할 필요가 없다. 3D 위치가 처음에 알려지는 것으로 가정되기 때문에 소스들을 분리하거나 소스 위치를 추정할 필요가 없다. 이것은, 결국, 실제 오디오-가능 디바이스를 수반하는 MR 경험의 실제적인 시나리오를 허용함으로써 몰입감을 향상시킨다. 이것은 3D 오디오를 지원하지 않는 디바이스에서도 이용될 수 있다. 이것이 어떻게 달성되는지 이해하기 위해, 몇 가지 예를 이용하는 것이 유용할 수 있다. 이들 예는 도 13 및 도 14의 표현과 연계하여 이용되도록 제공된다.

도 13은 참조번호 1310으로 나타낸 바와 같이 오디오 디바이스(즉, 라디오 세트 등)가 제공되는 제1 예를 제공한다. 제1 예에서, 사용자는 거실에서 표준 오디오 콘텐트를 포함하는 라디오 전송을 청취하고 있다. 록 밴드의 노래가 재생되고 있다. AR/VRMR 디바이스는 오디오 콘텐트를 인식하고(즉, Shazam 등의 다수의 가용 애플리케이션을 이용하여) 사용자에게 밴드가 거실에 나타나는 새로운 AR/VR/MR 시청각 경험을 제공한다. 오디오 수정 요청은, 리모콘으로부터 스마트폰이나 참조번호 1320으로 표시된 기타 임의의 모바일 AR/VRMR 디바이스에 이를 수 있는 사용자 인터페이스 디바이스를 이용하여 다수의 방식으로 이루어질 수 있다. 그러나, 사용자의 하이파이 시스템으로부터 나오는 사운드를 어떻게 처리해야 하는지에 대한 문제는 해결되어야 한다. 다음과 같은 3개의 상이한 시나리오가 있다 :

a- 해당없음. 이것은 유일한 오디오 소스로 남아 있지만 밴드의 가상 애니메이션과 시공간 동기화가 불가능할 가능성이 높으며 사용자 경험이 매우 나쁠 것이다.

b- 하이파이 시스템으로부터 나오는 사운드를 부분적으로 복구하기 위해 오직 새로운 공간 오디오 사운드트랙만이 MR 디바이스에서 재생된다.

c- 하이파이 시스템을 음소거하고 새로운 공간 오디오 사운드트랙을 MR 디바이스에서 재생한다.

대부분의 경우, 최적의 사용자 경험을 위해 옵션 "c"가 최상의 솔루션을 제공한다. 이러한 경우, VR/AR/MR 디바이스는 노래를 인식했고 음악이 자동으로 음소거되도록 설정되었음을 하이파이 시스템(접속된 것으로 가정)에 (무선 통신에 의해) 통보해야 한다.

도 14는 참조번호 1410으로 도시된 바와 같이 텔레비전 세트(원한다면 셋탑 박스 또는 기타의 스마트 텔레비전 컴포넌트를 포함)가 제공되는 제2 예를 제공한다. 이 제2 예에서, 사용자는 거실에서 표준 시청각 콘텐트를 디스플레이하는 TV를 시청하고 있다. 사용자는, TV 콘텐트에 관련된 확장된 AR/VR/MR 장면이 렌더링되는 VR/AR/MR 디바이스를 이용하고 있다. 이 예에서, 재생되는 표준 시청각 콘텐트는 석조 회사(masonry company)에 대한 광고이고 AR/VR/MR 장면은 TV 세트를 가리는 높은 벽돌 벽으로 시작하는 벽돌 깨기 게임이다. 물론, 목표는 벽을 부수는 것이다. 문제는 TV 세트에서 나오는 사운드를 현실감있게 만들도록 조작하는 방법이다. 이 예에서, 오디오 수정 요청은, 리모콘으로부터 스마트폰이나 참조번호 1420으로 표시된 기타 임의의 모바일 AR/VR/MR 디바이스에 이르는 사용자 인터페이스 디바이스를 이용하여 다수의 방식으로 이루어질 수 있다.

a- 해당없음. 그러나, 사용자가 차단 벽을 허물면서 TV에서 나오는 사운드의 차이를 인지할 수 있다면 사용자 경험이 훨씬 더 좋아질 것이라고 확신한다.

b- MR 게임에 관련된 새로운 공간 사운드만이 MR 디바이스에서 재생되며 TV 세트에서 나오는 사운드를 부분적으로 복구한다. 그러나 다시 한번, 사용자가 차단 벽을 허물면서 TV에서 나오는 사운드의 차이를 인지할 수 있다면 사용자 경험이 훨씬 더 좋아질 수 있다.

c- 접속된 TV 세트에 1-벽의 높이/두께, 2-TV 세트와 벽에 관한 사용자의 위치에 따라 음량을 조정할 것을 통보한다 : 벽이 사용자와 TV 세트 사이에 있다면, 벽이 높을수록 사운드가 낮다.

다시 말하지만, 사용자 경험을 최적화하려면, "c"가 최상의 옵션을 제시한다. 이 경우, 디바이스에서 실행되는 AR/VR/MR 애플리케이션은 TV 세트의 사운드가 재생되어야 하는 새로운 속성을 자동으로 계산해야 하며 그에 따라 (유선 또는 무선 통신 등에 의해) TV 세트에 통보해야 한다.

몰입감을 더욱 향상시키기 위해 예1 및 예 2와 기타의 것들의 셋업과 연계하여 다른 개념들이 이용될 수 있다. 예를 들어, 실제 장면 분석은, 전처리 단계에서 또는 기존 컴퓨터 비전 및 장면 이해 알고리즘을 이용하여 실시간으로 실제 환경을 분석하여 3D 지오메트리를 결정하고 접속된 오디오-가능 디바이스들을 3D로 위치파악함으로써 이루어질 수 있다. 이러한 작업을 위해, 하나 또는 수개의 RGB + D 센서 및 3D 포인트 클라우드 분석, 3D 세그먼트화, 객체 인식 등과 유사한 기술들을 이용할 수 있다.

위치 추적도 언제든지 이용될 수 있다. AR/VR/MR 디바이스는 MR 장면에 존재하는 다른 객체들(실제 또는 가상)에 관한 위치 및 배향을 실현한다. 본 기술분야의 통상의 기술자에게 알려진 바와 같이, 마커 기반의 추적, 모델 기반의 추적, SLAM, 센서 융합 등의 기술이 예로서 이용될 수 있다.

예들과 기타의 것들 모두에서, 오디오 수정은 먼저 사운드의 특성과 속성을 결정함으로써 이루어질 수 있다. 오디오-가능 접속된 디바이스로부터의 사운드가, 이용하여, 재생되어야 하는, 새로운 속성의 결정은, MR 경험의 시나리오, 예술적 의도, 및 오디오 설계자와 물리 법칙의 소정 근사화 양쪽 모두에 의해 정의된 어떤 규칙에 기초한다. 따라서, 여기서는 임의의 상황에서 채용될 수 있는 일반적인 방정식 또는 규칙을 제공하지 않는다. 이전 예들을 이용하여 추가 예시를 제공할 수 있다. 제1 예에서, 옵션 c(1-c)가 최적인 것으로 발견된 경우, AR/VR/MR 디바이스는 접속된 디바이스에게 가상 밴드가 재생을 시작할 때 오디오를 음소거로 설정할 것을 요청한다. 제2 예에서는, 옵션 c(2-c)를 이용하여 벽돌 벽의 존재를 시뮬레이션하기 위한 솔루션을 가장 먼저 근사화하므로, TV 세트로부터 인지되는 사운드의 감소는 초기 음량에 적용될 [x, 1] 내의 곱셈 팩터 α를 정의하는 것일 것이며, 여기서, 정의될 0 <= x < 1은 벽과 TV 세트 사이의 거리에 의존한다. 벽이 TV 세트를 터치하면 0, 거리가 사용자와 벽 사이의 거리보다 큰 경우 1이다. α는 (사용자의 현재 위치에 대해) 가상 벽에 의한 TV 세트의 폐색 비율에 의존할 것이다. 이것은 벽이 TV 세트를 전혀 가리지 않으면 1이고 TV 세트가 완전히 가려지면 x일 것이다.

일부 개념을 더 이해하기 위해 다른 예시되지 않은 예가 이용될 수도 있다.

제3 예(즉, 예 3)에서는, AR/VR/MR 경험이 방 전체가 물로 가득 찬 예시를 묘사하는 시나리오가 제시된다. 가상 수위가 실제 접속된 디바이스의 스피커에 도달하면, VR/AR/MR 디바이스는 접속된 디바이스에게 저역 통과 필터와 잔향 필터를 적용하여 물속에서 들리는 사운드를 시뮬레이션할 것을 요청한다.

상이한 예(즉, 예 4)에서는, 실제 접속된 디바이스를 제외하고 AR/VR/MR 경험의 시나리오는 방에 있는 모든 가구가 제거되는 현실("감소된 현실")을 제공하는 것이며, MR 디바이스는 접속된 디바이스에게 잔향 필터를 적용하여 에코를 시뮬레이션할 것을 요청한다. 필터의 파라미터들은 제거된 객체에 의해 소거되는 음량에 따라 튜닝될 수 있다. 방출되는 음량이 클수록 에코 효과는 더 강해진다. 그 다음, 이 효과는 나중에 가상 소파로 방을 새단장할 때 감소된다.

역시 또 다른 예(예 5)에서는, MR 경험의 시나리오에서 가상 좀비가 TV 세트를 파괴하는 것이 계획된다면, MR 디바이스는 TV 세트에게 오디오를 음소거로 설정할 것을 요청하거나, 일단 TV가 파괴되고 나면 노이즈를 추가할 것을 요청한다. 또 다른 예(예 6)에서는, 원격-현존감(tele-presence)을 포함하는 소셜 MR 경험이 제공된다. 이 경우, 그가 물리적으로 존재하는 효과를 가져오기 위해, 원격 사용자의 위치, 움직임뿐만 아니라 음성도 현재 위치에서 감지되고, 전송되고 복제되어야 한다. 가상 인간 또는 아바타에 의해 방출되고 있는 임의의 사운드(VoIP이든 아바타에 의해 국지적으로 트리거되는 임의의 오디오이든 - 예를 들어, 발걸음 소리)는 실제 및 가상 3D 객체 또는 장면 변경(잔향 추가 등)에 의해 수정된다. 여기서 오디오-가능 접속된 디바이스는 MR 디바이스 자체이며 스트리밍되는 오디오는 가상 인간 또는 아바타에 첨부되고, 필요하다면 수정되어 3D 오디오 엔진에 의해 렌더링된다.

도 15는 선택사항적 처리 모듈(1510)을 갖는 디바이스(1510)를 제공하는 대안적인 실시예를 제공한다. 이전과 마찬가지로 사용자 인터페이스(1520)도 역시 이용된다. 오디오-가능 접속된 디바이스로부터의 사운드가, 이용하여, 재생되어야 하는, 새로운 속성의 계산은 MR 디바이스측이 아니라 바로 이 후자 측에서 이루어진다. 이 경우, MR 디바이스는, 계산에 요구되는 모든 정보를 접속된 오디오-가능 디바이스(필요한 경우 추가 처리 모듈이 추가됨)에 전송한다.

유사하게, 도 16에 제공된 또 다른 실시예에서, 오디오 캐스트 및 접속된 하이파이를 갖는 디바이스(1610)가 제공된다. 다시, 사용자 인터페이스(1620)가 제공된다. 이 경우, 실제 소스의 오디오가 MR 디바이스에 스트리밍되지만(예를 들어, 클라우드 기반의 또는 인터넷 제공된 애플리케이션(즉, Google ChromeCast Audio 등)을 이용할 때처럼), 이 경우에는 hifi, tv 등으로부터 MR 디바이스로 캐스트되고, 필요할 경우 3D 오디오 엔진에 의해 수정되고 오디오 소스 실제 객체에 대응하는 완전히 투명한 가상 객체에 첨부된다. 3D 오디오 엔진은, 거리, 방향, 폐색 또는 기타의 특성을 시뮬레이션하는데 이용될 수 있다.

제공되는 일방적 이점은 또한, 현재의 "주" 사용자에 매우 근접해 있는 2차 사용자가 MR 변경에 의해 트리거된 오디오 변경을 역시 경험할 수 있는 능력이다(특히, 그 주 사용자의 AR 경험에 의해 현재 영향을 받고 있는 오디오 소스(들) 중 임의의 것에 가까운 사람들의 경우). 이것은 더 사회적이고 덜 고립된 경험을 허용한다. 동일한 단일 공통 MR 디바이스(태블릿 또는 스마트폰, 헤드셋은 여기서는 제외)에서 공유 현실을 제공하는 능력이 바람직하다. 그러나, 사용자 선호사항에 따라 공유된 또는 개별 경험 양쪽 모두가 달성될 수 있다. 예를 들어, 다른 사용자들이 아직 MR 경험에 참여하지 않는 시나리오에서, 접속된 디바이스의 사용자 인터페이스(TV 스크린, 하이파이 시스템 메뉴 등) 상의 특정한 디스플레이(예를 들어, 텍스트, 비디오)는, 다른 사용자들이 그들 자신의 MR 장비를 셋업하여 MR 헤드셋 등의 개인 장비의 경우에 현재 사용자에 의해 개시된 경험에 참여하거나, 현재/주 사용자의 스마트폰 또는 태블릿 스크린을 시청할 것을 장려하는데 이용될 수 있다.

다른 사용자들이 경험에 참여하고 있는 또 다른 시나리오에서는, 이들 사용자들이 그들 자신의 AR/VR/MR 디바이스를 이용하고 있는 대안적 셋업이 달성되어, 장면에서 그들 자신의 3D 자세와 그들 자신의 개인화된 경험 상태와 AR/VR/MR 장면이 부분적으로만 공유되게 할 수 있다(예를 들어, 모든 플레이어에 대해 동일한 벽돌 깨기 게임이지만 각각의 플레이어는 동일한 속도로 벽을 깨는 것은 아니다). 사용자에 따라 달라지는 변경 효과를 수반하는 이러한 복수 사용자 경험에서는, 변형 2가 이용되어야 한다 : 실제 소스의 오디오는 각각의 고유한 방식으로 수정하는 상이한 MR 디바이스들에 스트리밍된다.

도 17은 한 실시예에 따른 방법론의 플로차트를 제공한다. 단계 1700에서, 프로세서는 혼합 현실 환경에서 제공되는 가상 현실 콘텐트의 진행상황을 모니터링한다. 이 경우, 혼합 현실 환경은 가상 현실 콘텐트와 실제 환경으로부터 제공되는 이미지를 통합한다. 단계 1720에서, 가상 현실 콘텐트와 연관된 적어도 하나의 가상 음향 데이터가 획득되고, 단계 1720에 도시된 바와 같이, 상기 실제 환경에서 제공된 상기 이미지를 증강 현실 환경과 통합함으로써 수정된다.

일부 실시예가 설명되었지만, 본 기술분야의 통상의 기술자라면, 이하의 청구항들의 범위 내에 드는 다양한 개선 및 향상이 현재와 미래에 이루어질 수 있다는 것을 이해할 것이다. 이들 청구항은 처음 설명된 본 개시내용에 대한 적절한 보호를 유지하도록 해석되어야 한다.

Claims

방법으로서,
혼합 현실 환경에서 제공되는 가상 현실 콘텐트의 진행상황을 모니터링하는 단계, ―상기 혼합 현실 환경은 가상 현실 콘텐트를 실제 환경으로부터 제공된 이미지들과 통합함―;
상기 가상 현실 콘텐트와 연관된 적어도 하나의 가상 음향 데이터를 획득하는 단계; 및
상기 실제 환경에서 제공된 상기 이미지들에 기초하여 상기 음향 데이터를 수정하는 단계
를 포함하는, 방법.
장치로서,
적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는,
혼합 현실 환경에서 제공되는 가상 현실 콘텐트의 진행상황을 모니터링하고, ―상기 혼합 현실 환경은 가상 현실 콘텐트를 실제 환경으로부터 제공된 이미지들과 통합함―;
상기 가상 현실 콘텐트와 연관된 적어도 하나의 가상 음향 데이터를 획득하고;
상기 실제 환경에서 제공된 상기 이미지들에 기초하여 상기 음향 데이터를 수정하도록
구성된, 장치.
제1항의 방법에 있어서 또는 제2항의 장치에 있어서, 상기 모니터링은 상기 콘텐트에 제공된 각각의 장면을 분석하는 것을 포함하는, 방법 또는 장치.
제1항 또는 제3항의 방법에 있어서, 또는 제2항 또는 제3항의 장치에 있어서, 상기 모니터링은 실제 또는 가상 현실 양쪽 모두에서 이미지 콘텐트들 내의 객체들의 위치 추적을 포함하는, 방법 또는 장치.
제1항, 제3항 및 제4항 중 어느 한 항의 방법에 있어서, 또는 제2항 내지 제4항 중 어느 한 항의 장치에 있어서, 물리 법칙들의 근사화에 기초하여 효과를 향상시키거나 수정하기 위해 미리선택된 예술적 효과들이 추가될 수 있는, 방법 또는 장치.
제1항, 및 제3항 내지 제5항 중 어느 한 항의 방법에 있어서, 또는 제2항 내지 제5항 중 어느 한 항의 장치에 있어서, 상기 가상 음향 데이터는 사용자 인터페이스 디바이스를 통해 사용자에 의해 추가로 제어되는, 방법 또는 장치.
제6항의 방법에 있어서 또는 제6항의 장치에 있어서, 상기 사용자 인터페이스는 모바일 디바이스인, 방법 또는 장치.
제1항, 및 제3항 내지 제7항 중 어느 한 항의 방법에 있어서, 또는 제2항 내지 제7항 중 어느 한 항의 장치에 있어서, 제1 음향 노이즈를 음소거하거나 감소시키는, 방법 또는 장치.
제8항의 방법에 있어서 또는 제8항의 장치에 있어서, 인지된 사운드의 감소는 초기 음량에 적용될 [x, 1] 내의 곱셈 팩터 α를 정의하는 것이며, 0 <= x < 1은 상기 가상 또는 실제 환경에서 제공되는 객체와 상기 디바이스 사이의 거리에 의존하여 정의되는, 방법 또는 장치.
제9항의 방법에 있어서 또는 제9항의 장치에 있어서, α는 폐색 비율에 의존하는, 방법 또는 장치.
제2항 내지 제10항 중 어느 한 항의 장치에 있어서, 상기 프로세서는 적어도 하나의 오디오 컴포넌트를 갖는 주변 디바이스들과 상호작용하는, 장치.
제2항 내지 제11항 중 어느 한 항의 장치에 있어서, 상기 프로세서는 오디오-가능 접속된 디바이스들과 통신하여 오디오를 방출하는 방식을 상기 렌더링된 콘텐트의 현재 상태에 따라 실시간으로 수정할 것을 그들에게 요청하는, 장치.
제1항, 및 제3항 내지 제10항 중 어느 한 항의 방법에 있어서, 또는 제2항 내지 제12항 중 어느 한 항의 장치에 있어서, 상기 수정은 상기 콘텐트와 연관된 음향 사운드들을 향상, 보상 또는 상쇄하는 것을 포함하는, 방법 또는 장치.
제2항 내지 제13항 중 어느 한 항의 장치에 있어서, 상기 프로세서는 모바일 디바이스에 내장되는, 장치.
컴퓨터 프로그램으로서,
하나 이상의 프로세서에 의해 실행될 때 상기 하나 이상의 프로세서로 하여금 제1항 및 제3항 내지 제10항 및 제13항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 컴퓨터 프로그램.