KR20110005205A - 디스플레이 장치의 화면 사이즈를 이용한 신호 처리 방법 및 장치 - Google Patents

디스플레이 장치의 화면 사이즈를 이용한 신호 처리 방법 및 장치 Download PDF

Info

Publication number
KR20110005205A
KR20110005205A KR1020100055468A KR20100055468A KR20110005205A KR 20110005205 A KR20110005205 A KR 20110005205A KR 1020100055468 A KR1020100055468 A KR 1020100055468A KR 20100055468 A KR20100055468 A KR 20100055468A KR 20110005205 A KR20110005205 A KR 20110005205A
Authority
KR
South Korea
Prior art keywords
signal processing
screen size
stereoscopic
video image
display device
Prior art date
Application number
KR1020100055468A
Other languages
English (en)
Inventor
정현권
박봉길
유성열
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CN2010800403229A priority Critical patent/CN102484737A/zh
Priority to MX2012000476A priority patent/MX2012000476A/es
Priority to BR112012000323-2A priority patent/BR112012000323A2/pt
Priority to EP10797299.4A priority patent/EP2441269A4/en
Priority to JP2012519474A priority patent/JP2012533205A/ja
Priority to RU2012100244/07A priority patent/RU2012100244A/ru
Priority to PCT/KR2010/004416 priority patent/WO2011005025A2/en
Priority to CA2767511A priority patent/CA2767511A1/en
Publication of KR20110005205A publication Critical patent/KR20110005205A/ko
Priority to US13/345,838 priority patent/US20120133748A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereophonic System (AREA)
  • Processing Or Creating Images (AREA)

Abstract

비디오 영상 재생 장치 내의 메모리로부터 입체감 조절 정보를 추출하고, 입체감 조절 정보에 따라 3차원 비디오 영상의 입체감을 조절하여 출력하는 신호 처리 방법이 개시된다.

Description

디스플레이 장치의 화면 사이즈를 이용한 신호 처리 방법 및 장치{Signal processing method and apparatus using display size}
본 발명은 신호 처리 방법 및 장치에 대한 것으로, 보다 구체적으로 디스플레이 장치의 화면 사이즈를 이용하여 비디오 영상 및/또는 오디오 영상의 3차원 입체감을 조절하는 신호 처리 방법 및 장치에 대한 것이다.
디지털 기술의 발달로 비디오 영상을 3차원으로 재생하는 기술이 널리 보급되고 있다.
사람의 눈은 가로 방향으로 소정 거리만큼 떨어져 있으므로 좌안과 우안이 보는 2차원 영상이 서로 다른데 이를 양안시차라고 한다. 뇌는 서로 다른 두 개의 2차원 영상, 즉, 좌안이 보는 좌안용 영상과 우안이 보는 우안용 영상을 융합하여 원근감과 실재감이 있는 3차원 영상을 생성한다.
양안시차를 이용하여 3차원 영상을 구현하는 방법에는 안경을 착용하는 방법과, 안경을 착용하지 않고 렌티큘라 렌즈(lenticular lens), barallax barrier, barallax illumination 등이 구비된 장치를 이용하는 방법이 있다.
안경을 착용하는 방법을 이용할 경우, 사용자가 영상을 시청할 때 느끼는 영상 내 피사체에 대한 입체감의 정도는 디스플레이 장치의 화면 사이즈에 영향을 받는다.
도 1은 사용자가 느끼는 입체감의 정도가 디스플레이 장치의 화면 사이즈에 영향을 받음을 설명하기 위한 도면이다. 도 1은 좌측의 디스플레이 장치보다 우측의 디스플레이 장치의 화면 사이즈가 더 큰 경우를 도시한다.
도 1을 참조하면 동일한 영상을 서로 다른 크기의 디스플레이 장치를 통해 시청하는 경우, 좌측의 사용자와 우측의 사용자가 느끼는 입체감은 각각 Depth 1과 Depth 2로 표현될 수 있다. 사용자가 느끼는 입체감을 수식으로 표현하면 아래와 같다.
[수학식 1]
Depth=deye2TV * dobj2obj/(dobj2obj + deye2eye)
여기서, Depth는 사용자가 영상에 대해 느끼는 입체감을 나타내고, deye2TV는 사용자와 디스플레이 화면 사이의 거리를 나타내고, dobj2obj는 좌안용 영상과 우안용 영상 내에서의 물체 사이의 가로 축 방향으로의 이격 거리를 나타내고, deye2eye는 사용자의 양안 사이의 거리를 나타낸다.
수학식 1에서와 같이, 사용자가 느끼는 영상의 입체감Depth는 TV와 눈 사이의 거리 deye2eye와 디스플레이 장치상에 표현되는 좌안용 영상과 우안용 영상에서의 개체의 x축 방향으로의 이격 거리인 dobj2obj의 곱에 비례하고, 사용자의 좌우 안구 거리deye2eye와 dobj2obj의 합에 반비례한다.
크기가 다른 디스플레이 장치가 동일한 영상을 출력하는 경우, 좌안용 영상과 우안용 영상에서의 개체의 x축 방향으로의 이격 거리 dobj2obj는 디스플레이 장치가 클수록 비례하여 커진다. 이는, 디스플레이 장치가 크기가 다른 경우에도 resolution이 동일한 경우 하나의 pixel간 물리적인 거리가 디스플레이 장치의 가로축 방향 크기에 비례하기 때문이다.
따라서 사용자의 좌우 안구 거리deye2eye가 고정된 값을 갖는다고 가정하고, 사용자와 디스플레이 장치 사이의 거리 deye2TV 를 고정할 경우 사용자가 느끼는 입체감의 정도는 디스플레이 장치의 크기에 정비례하는 dobj2obj에 비례하게 된다.
본 발명은 디스플레이 장치의 화면 사이즈를 내부의 레지스터에 저장하는 신호 처리 장치 및 그 장치에서 수행하는 방법을 제공하기 위한 것이다.
또한 본 발명은 신호 처리 장치 내부에 저장된 디스플레이의 화면 사이즈를 이용하여 비디오 영상 및/또는 오디오 음향의 3차원 입체감을 조절하는 방법 및 장치를 제공하기 위한 것이다.
상기 과제를 해결하기 위해 본 발명의 일 측면에 따르면,　비디오 영상 재생 장치 내의 메모리로부터 입체감 조절 정보를 추출하는 단계; 및 상기 입체감 조절 정보에 따라 3차원 비디오 영상의 입체감을 조절하여 출력하는 단계를 포함하는 신호 처리 방법을 제공할 수 있다.
바람직한 실시 예에서, 상기 메모리는 플레이어 세팅 레지스터(player setting register)일 수 있다.
또한, 상기 입체감 조절 정보는 상기 비디오 영상 재생 장치와 연결되어 비디오 영상을 출력하는 디스플레이 장치의 화면 사이즈를 포함할 수 있다.
또한, 상기 화면 사이즈는 화면의 가로 길이, 세로 길이, 및 대각선 길이 중 하나 이상을 포함할 수 있다.
또한, 상기 방법은 상기 입체감 조절 정보를 추출하기 전에, 상기 디스플레이 장치로부터 상기 화면 사이즈를 수신하는 단계; 및 상기 수신된 화면 사이즈를 상기 플레이어 세팅 레지스터에 저장하는 단계를 더 포함할 수 있다.
또한, 상기 방법은 상기 입체감 조절 정보를 추출하기 전에, 사용자로부터 입체감 조절 정보를 선택 받는 단계; 및 상기 선택된 입체감 조절 정보를 상기 메모리에 저장하는 단계를 더 포함할 수 있다.
또한, 상기 3차원 비디오 영상의 입체감을 조절하여 출력하는 단계는 상기 메모리에 저장된 입체감 조절 정보에 대응하는 옵셋 값을 디스크에 저장된 옵셋 변환 테이블로부터 추출하는 단계; 및 상기 추출된 옵셋 값을 이용하여 상기 3차원 비디오 영상의 입체감을 조절하는 단계를 포함할 수 있다.
또한, 상기 방법은 상기 입체감 조절 정보에 따라 상기 3차원 비디오 영상과 함께 출력되는 오디오 음향의 3차원 입체 효과를 조절하는 단계를 더 포함할 수 있다.
또한, 상기 오디오 음향의 3차원 입체 효과를 조절하는 단계는 상기 디스플레이 장치의 화면 사이즈가 클수록 상기 오디오 음향의 3차원 입체 효과가 커지도록 상기 오디오 음향의 3차원 입체 효과를 조절하는 단계를 포함할 수 있다.
또한, 상기 오디오 음향의 3차원 입체 음향 효과를 조절하는 단계는 상기 디스플레이 장치의 화면 사이즈에 따라 프론트 오디오 채널과 서라운드 오디오 채널의 게인을 조절하는 단계; 및 상기 게인이 조절된 채널을 합성하는 단계를 포함할 수 있다.
본 발명의 다른 측면에 따르면, 입체감 조절 정보를 저장하는 메모리; 및 상기 입체감 조절 정보에 따라 3차원 비디오 영상의 입체감을 조절하는 제어부를 포함하는 신호 처리 장치를 제공할 수 있다.
본 발명의 또 다른 측면에 따르면, 비디오 영상 재생 장치 내의 메모리로부터 입체감 조절 정보를 추출하는 단계; 및 상기 입체감 조절 정보에 따라 3차원 비디오 영상의 입체감을 조절하여 출력하는 단계를 포함하는 신호 처리 방법을 실행하기 위한 프로그램을 저장한 컴퓨터로 판독 가능한 기록 매체를 제공할 수 있다.
본 발명에 따르면 디스플레이의 화면 사이즈를 내부의 레지스터에 저장하는 신호 처리 장치 및 그 장치에서 수행하는 방법을 제공할 수 있다.
또한 본 발명에 따르면 신호 처리 장치 내부에 저장된 디스플레이 장치의 화면 사이즈를 이용하여 비디오 영상 및/또는 오디오 음향의 3차원 입체감을 조절하는 방법 및 장치를 제공할 수 있다.
도 1은 사용자가 느끼는 입체감의 정도가 디스플레이 장치의 화면 사이즈에 영향을 받음을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 신호 처리 시스템(200)을 도시한 도면이다.
도 3은 도 2의 레지스터(213)에 포함된 플레이어 세팅 레지스터를 도시한 도면이다.
도 4는 도 2의 오디오 신호 처리부(219)의 내부 블록도이다.
도 5는 도 4의 오디오 3D 효과 제어부(420)의 내부 블록도이다.
도 6은 본 발명의 실시 예에 따른, 입체감 선택 메뉴를 도시한 도면이다.
도 7은 본 발명의 실시 예에 따른 옵셋 변환 테이블의 개념을 설명하기 위한 도면이다.
도 8은 옵셋 변환 테이블의 신택스를 도시한 도면이다.
도 9는 입체감 조절 정보에 따라 오브젝트의 옵셋 값이 조절되는 것을 설명하기 위한 도면이다.
도 10은 사용자가 선택한 입체감 변환 정보에 따라 비디오 영상의 옵셋 값을 조절하는 것을 허용하는지 여부를 나타내는 정보를 설명하기 위한 도면이다.
도 11은 본 발명의 실시 예에 따라, STN테이블(Stream number table)의 신택스를 도시한다.
도 12는 본 발명의 실시 예에 따라 그래픽 스트림의 입체감을 조절하기 위한 옵셋 변환 테이블을 도시한 도면이다.
도 13은 그래픽 요소를 출력할 때의 폭주각을 설명하기 위한 도면이다.
도 14는 본 발명의 실시 예에 따른 신호 처리 장치의 블록도이다.
도 15는 본 발명의 실시 예에 따른 신호 처리 방법을 도시한 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시 예에 따른 신호 처리 시스템(200)을 도시한 도면이다. 신호 처리 시스템(200)은 신호 처리 장치(210)와 디스플레이 장치(230)를 포함할 수 있다. 도 2에서 신호 처리 장치(210)와 디스플레이 장치(230)는 별개의 장치로 도시되었으나, 이는 발명의 한 실시 예에 불과하며, 신호 처리 장치(210)와 디스플레이 장치(230)가 하나의 장치 내에 유닛(unit)으로 포함될 수도 있음은 물론이다.
신호 처리 장치(210)와 디스플레이 장치(230)는 장치가 지원하는 인터페이스를 통해 정보를 송수신할 수 있다. 한 예로, 신호 처리 장치(210)와 디스플레이 장치(230)가 고선명 멀티미디어 인터페이스(High Definition Multimedia Interface, HDMI)를 지원하는 경우, 신호 처리 장치(210)와 디스플레이 장치(230)는 HDMI를 이용하여 정보를 송수신할 수 있다. HDMI는 비압축 방식의 디지털 비디오/오디오 인터페이스 규격의 하나로, HDMI를 지원하는 장치들 사이의 인터페이스를 제공한다.
신호 처리 장치(210)는 제어부(211), 레지스터(213), 입력부(215), 비디오 신호 처리부(217), 오디오 신호 처리부(219), 및 출력부(221)를 포함한다.
입력부(215)는 신호 처리 장치(210)에 로딩된 디스크(미도시)나 로컬 스토리지(미도시)로부터 데이터를 독출하거나, 또는 방송국 등에서 운영하는 서버(미도시)로부터 통신망을 통해 실시간으로 데이터를 수신할 수 있다. 입력부(215)는 입력된 데이터 중 비디오 데이터는 비디오 신호 처리부(217)로 보내고 오디오 데이터는 오디오 신호 처리부(219)로 보낸다.
비디오 신호 처리부(217)는 입력부(215)로부터 받은 비디오 데이터를 디코딩하여 3차원 비디오 영상 재생을 위한 좌안용 영상과 우안용 영상을 생성한다. 좌안용 영상과 우안용 영상에는 3차원으로 재생될 오브젝트가 소정 거리만큼 좌 및/또는 우로 각각 떨어진 위치에 매핑되어 있다.
오디오 신호 처리부(219)는 입력부(215)로부터 받은 오디오 데이터를 디코딩하여 모노 채널이나 스테레오 채널, 또는 멀티 채널의 오디오 신호를 생성한다.
비디오 신호 처리부(217)와 오디오 신호 처리부(219)는 비디오 영상 및 오디오 신호를 출력부(221)를 통해 디스플레이 장치(230)로 전송한다.
디스플레이 장치(230)는 신호 처리 장치(210)로부터 받은 신호를 출력한다. 디스플레이 장치(230)는 신호 처리 장치(210)의 전반적인 상태를 출력하거나 또는 신호 처리 장치(210)로부터 수신한 신호를 출력한다. 디스플레이 장치(230)는 비디오 신호를 출력하는 화면, 오디오 신호를 출력하는 스피커 등을 포함할 수 있다.
레지스터(213)는 신호 처리 장치(210)에 포함된 내부 메모리이다. 레지스터(213)는 플레이어 세팅 레지스터(Player Setting Register)와 플레이백 스테이터스 레지스터(Playback Status Register) 중 하나 이상을 포함할 수 있다. 플레이어 세팅 레지스터는 디스크 내의 내비게이션 커맨드(navigation command)나 API 커맨드를 통해 레지스터에 저장된 내용을 바꿀 수 없는 레지스터이고, 플레이백 스테이터스 레지스터는 신호 처리 장치(210)의 재생 상태에 따라 저장되는 값이 바뀌는 레지스터이다.
본 발명의 실시 예에서, 플레이어 세팅 레지스터 및/또는 플레이백 스테이터스 레지스터에는 비디오 영상 및/또는 오디오 음향의 3차원 입체감을 조절하기 위한 정보가 저장될 수 있다. 이하, 비디오 영상 및/또는 오디오 음향의 입체감을 조절하기 위한 정보를 ‘입체감 조절 정보’라 부르기로 한다.
입체감 조절 정보는 신호 처리 장치(210)와 연결된 디스플레이 장치(230)의 실제 화면 사이즈가 될 수 있다.
디스플레이 장치(230)와 신호 처리 장치(210)가 연결되면, 디스플레이 장치(230)는 디스플레이 장치(230)의 화면 사이즈를 인터페이스를 통해 신호 처리 장치(210)에 자동으로 전송할 수 있다. 신호 처리 장치(210)는 디스플레이 장치(230)로부터 디스플레이 장치(230)의 화면 사이즈를 수신하고 이를 입체감 조절 정보로 레지스터(213)에 저장할 수 있다. 이 때 디스플레이 장치의 화면 사이즈는 플레이어 세팅 레지스터에 저장될 수 있다.
디스플레이 장치(230)가 화면 사이즈를 신호 처리장치(210)에 자동으로 전송하지 않는 경우, 다른 실시 예로, 사용자가 직접 디스플레이 장치(230)의 실제 화면 사이즈를 유저 인터페이스(미도시)를 통해 신호 처리 장치(210)에 입력할 수도 있다. 신호 처리 장치(210)는 사용자가 입력한 화면 사이즈를 입체감 조절 정보로 레지스터(213)에 저장하게 된다.
비디오 신호 처리부(217)가 비디오 영상을 3차원으로 재생하는 것에 대응하여, 오디오 신호 처리부(219) 또한 오디오 신호를 3차원으로 재생할 수 있다. 이를 위해 오디오 신호 처리부(219)는 레지스터(213)에 저장된 입체감 조절 정보를 이용하여 오디오 음향의 3차원 입체감을 조절할 수 있다. 오디오 신호 처리부(219)가 입체감 조절 정보를 이용하여 오디오 음향의 3차원 입체감을 조절하는 방법에 대해서는 도 4 및 5를 참조하여 살펴보기로 한다.
디스플레이 장치(230)는 좌안용 영상과 우안용 영상을 교대로 출력하여 3차원 비디오 영상을 재생하고, 이와 함께 3차원 입체 음향을 갖는 오디오 신호를 출력할 수 있다.
이와 같이, 본 발명의 실시 예에 따르면, 신호 처리 장치 내부의 메모리에 입체감 조절 정보를 저장하고 이를 이용하여 시각적인 입체감의 정도에 비례해 청각적인 입체감이 조절되도록 할 수 있다.
도 3은 도 2의 레지스터(213)에 포함된 플레이어 세팅 레지스터를 도시한 도면이다. 도 3을 참조하면, 플레이어 세팅 레지스터는 전체 32비트이고, 이 중 소정 비트에 본 발명의 실시를 위한 입체감 설정 정보가 저장될 수 있다. 일 실시 예로, 입체감 설정 정보는 디스플레이 장치의 화면 사이즈를 나타내는 정보(Size in inch)가 될 수 있다. 화면 사이즈는 화면의 가로 축 길이 값, 세로축 길이 값, 대각선 길이 값 중 하나 이상을 포함할 수 있다.
도 4는 도 2의 오디오 신호 처리부(219)의 내부 블록도이다. 오디오 신호 처리부(219)는 멀티 채널 오디오 디코더(410) 및 오디오 3D 효과 제어부(420)를 포함한다.
멀티 채널 오디오 디코더(410)는 입력부(215)를 통해 입력된 오디오 데이터를 디코딩하여 멀티 채널 오디오 신호를 복원한다. 도 4를 참조하면, 멀티 채널 오디오 디코더(410)에 의해 디코딩되어 복원되는 멀티 채널 오디오 신호는N(N은 자연수)개의 서라운드 채널(Surround channel)과 N개의 프론트 채널(Front channel)을 포함할 수 있다.
멀티 채널 오디오 디코더(410)는 복원된 멀티 채널 오디오 신호를 오디오 3D 효과 제어부(420)로 전송한다. 오디오 3D 효과 제어부(420)는 멀티 채널 오디오 디코더(410)로부터 받은 멀티 채널 오디오 신호의 입체감을 조절한다.
오디오 3D 효과 제어부(420)는 비디오 영상의 입체감에 맞게 오디오 음향의 입체감을 변화시킬 수 있다. 예컨대, 3차원 비디오 영상에 포함된 오브젝트가 화면 앞으로 소정 거리만큼 돌출된 위치에 있는 것과 같은 깊이감을 갖는 경우, 비디오 영상과 함께 재생되는 오디오 신호 또한 오브젝트처럼 소정 거리만큼 돌출된 위치에서 들리는 듯한 입체감을 갖도록 오디오 신호의 입체감을 조절할 수 있다. 이를 위해 오디오 3D 효과 제어부(420)는 신호 처리 장치(210) 내부의 레지스터(213)로부터 입체감 조절 정보를 제어 신호로 입력 받는다.
입체감 조절 정보가 디스플레이 장치의 화면 사이즈인 경우, 오디오 3D 효과 제어부(420)는 입력받은 디스플레이 장치 화면 사이즈를 이용하여 N개의 프론트 채널과 N개의 서라운드 채널을 믹스하여 각각 새로운 N개의 프론트 채널과 새로운 N개의 서라운드 채널을 생성한다.
디스플레이 장치의 화면 사이즈가 클 수록 시각적인 3차원 효과가 강하다. 오디오 3D 효과 제어부(420)는 비디오 신호 처리부(217)에 의해 생성되는 비디오 영상의 3차원 입체감에 대응하도록, 오디오 신호의 입체 음향감을 조절할 수 있다.
오디오 3D 효과 제어부(420)는 디스플레이 장치의 화면 사이즈가 큰 경우 프론트 채널과 서라운드 채널 사이의 오디오 신호의 음향 차이 또한 커지도록 제어하고, 반대로 디스플레이 장치의 화면 사이즈가 작은 경우 시각적인 3차원 입체 효과가 약해지는 것에 대응하여 오디오 신호 음향의 3차원 효과 또한 이에 상응하게 약화시키기 위해 프론트 채널과 서라운드 채널 간 음향 차이가 완화되도록 제어한다. 오디오 3D 효과 제어부(420)는 디스플레이 장치의 화면 사이즈에 따라 오디오 신호의 입체 음향감을 조절하여 새로운 프론트 채널과 새로운 서라운드 채널을 생성하고 이를 디스플레이 장치(230)로 전송한다.
디스플레이 장치(230)는 프론트 스피커(Front Speaker)와 서라운드 스피커(Surround Speaker)를 포함할 수 있다. 디스플레이 장치(230)에 포함된 프론트 스피커와 서라운드 스피커는 각각 새로운 N개의 프론트 채널과 새로운 N개의 서라운드 채널을 출력한다.
도 5는 도 4의 오디오 3D 효과 제어부(420)의 내부 블록도이다. 오디오 3D 효과 제어부(420)는 게인 조절부(421) 및 믹싱부(423)를 포함한다.
게인 조절부(421)는 입체감 조절 정보를 이용하여 믹싱부(423)에 포함된 증폭기들의 게인을 조절한다. 입체감 조절 정보가 디스플레이 장치의 화면 사이즈인 경우, 게인 조절부(421)는 플레이어 세팅 레지스터로부터 디스플레이 장치의 화면 사이즈를 추출하고 이를 이용하여 믹싱부(423)에 포함된 증폭기들의 게인을 조절한다.
믹싱부(423)는 게인 조절부(421)로부터 받은 게인을 이용하여 증폭기들의 게인을 조절하고, 게인이 조절된 채널들을 합하여 새로운 채널을 생성한다. 믹싱부(423)는n번째 프론트 채널과 n번째 서라운드 채널을 믹스하여 새로운 채널을 생성한다.
디스플레이 장치의 화면 사이즈가 매우 큰 경우 게인 조절부(421)는 믹싱부(423)에 포함된4개의 증폭기로 들어가는 게인 값들을 조정하여 오디오 3D 효과 제어부(420)로 입력되는 채널이 그대로 출력되도록 제어한다. 즉, 게인 조절부(421)는 게인 값을 조절하여Frontout[n] = Frontin[n]이 되고, Surroundout[n] =Surroundin[n] 이 되도록 제어하여 콘텐츠 제작자가 원본 오디오 데이터를 생성할 당시에 적용했던 3차원 입체 음향 효과가 최대한 적용되도록 한다. Frontout[n] = Frontin[n]이 되고, Surroundout[n] =Surroundin[n] 이 되기 위해서는 게인값들 gff, gss, gsf, gfs는 각각 1, 1, 0, 0 이 된다.
디스플레이 장치의 화면 사이즈가 매우 작아서 시각적인 3차원 효과가 매우 미미할 경우, 오디오 3D 효과 제어부(420)는 비디오 영상의 입체감에 상응하여 3차원 입체 음향 효과 또한 최소화 시킨다. 이를 위해 게인 조절부(421)는 믹싱부(423)에 포함된 4개의 증폭기로 들어가는 게인 값들을 재조정하여 Frontout[n] = 0.5*Frontin[n] + 0.5*Surroundin[n]이 되도록 하고, Surroundout[n] = 0.5*Surroundin[n] + 0.5*Frontin[n] 이 되도록 제어하여 콘텐츠 제작자가 원본오디오 데이터를 생성할 당시 적용한 3차원 입체 음향 효과가 최소화 되도록 제어한다.
발명의 자연스러운 확장으로서 입체감 조절 정보로, 디스플레이 장치의 화면 사이즈가 아닌, 사용자 취향에 따른 설정 값을 이용할 수도 있다. 사용자는 오디오 음향의 3D 입체감 효과를 극대화하기 위한 게인 값들의 조합과 오디오 음향의 3D 입체감 효과를 최소화하기 위한 게인 값들의 조합을 양 극단으로 하여 사용자 설정에 따라 게인 값들을 적절히 조합하여 이들 양 극단 값들 사이의 임의의 값을 취함으로써 음향의 3차원 입체 효과에 대한 강약을 조정할 수도 있다.
이와 같이, 본 발명의 실시 예에 의하면 디스플레이 장치의 화면 사이즈에 따른 시각적인 3차원 입체 효과의 강약에 따라 오디오 신호 또한 3차원 입체 음향 효과를 갖도록 함으로써 시각적, 청각적 3차원 입체 효과의 자연스러운 연동이 가능하게 할 수 있다. 또한 본 발명의 실시 예에 의하면, 사용자의 취향에 따라 오디오 음향의 3차원 입체감 효과를 조절할 수 있다.
도 6은 본 발명의 실시 예에 따른, 입체감 선택 메뉴를 도시한 도면이다. 입체감 선택 메뉴는 사용자가 입체감 조절 정보를 직접 선택하기 위한 메뉴이다.
전술한 바와 같이, 디스플레이 장치를 시청하는 자, 즉, 사용자가 느끼는 비디오 영상에 대한 입체감은 디스플레이 장치(230)의 화면 사이즈에 비례한다. 디스플레이 장치(230)가 지나치게 큰 경우 양안 시차 또한 과도하게 커져 사용자는 시각적인 피로감을 느낄 수 있다. 반대로 디스플레이 장치(230)의 화면 사이즈가 지나치게 작은 경우 사용자는 3차원 비디오 영상의 입체감을 거의 느낄 수 없게 된다. 또한, 사용자가 선호하는 비디오 영상의 깊이감이 디스플레이 장치의 화면 사이즈에 따른 입체감과 다를 수 있다. 따라서, 본 발명에서는 실시 예로, 사용자가 도 6과 같은 입체감 선택 메뉴를 이용하여 원하는 비디오 영상의 입체감을 직접 선택할 수 있도록 할 수 있다.
신호 처리 장치(210)는 입체감 선택 메뉴에서 사용자가 선택한 화면 사이즈를 입체감 조절 정보로 내부 메모리인 레지스터(213)에 저장할 수 있다. 사용자가 선택한 화면 사이즈는 플레이백 스테이터스 레지스터에 저장될 수 있다. 사용자는 입체감 선택 메뉴를 이용하여 선택한 화면 사이즈를 다른 값으로 다시 바꿀 수도 있다.
플레이백 스테이터스 레지스터에 사용자가 선택한 화면 사이즈가 입체감 조절 정보로 저장되어 있는 경우, 비디오 신호 처리부(217)는 사용자가 선택한 화면 사이즈를 이용하여 3차원 비디오 영상의 깊이감을 조절할 수 있다. 즉, 비디오 신호 처리부(217)는 좌안용 영상과 우안용 영상을 생성할 때 사용자가 선택한 화면 사이즈에 대응하여 소정 거리만큼 좌측으로 또는 우측으로 오브젝트의 매핑 위치가 이동되도록 하여 좌안용 영상 및 우안용 영상을 생성한다.
오디오 신호 처리부(219) 또한 사용자가 선택한 화면 사이즈에 대응하여 오디오 신호의 3차원 입체 음향감 효과를 조절할 수 있다.
한 예로, 신호 처리 장치(210)와 연결되어 비디오 영상을 출력하는 디스플레이 장치(230)가 60인치의 화면 사이즈를 가진다고 가정할 때, 사용자가 입체감 선택 메뉴에서 디스플레이 장치(230)의 실제 화면 사이즈와 다른 40인치를 선택한 경우, 신호 처리 장치(210)는 사용자가 선택한 화면 사이즈인 40인치에 맞게 비디오 영상의 입체감을 조절할 수 있다. 또한, 신호 처리 장치(210)는 비디오 영상의 입체감에 대응하여 오디오 신호의 입체감을 조절할 수 있다.
입체감 선택 메뉴는 신호 처리 장치에 로딩된 디스크에 포함되어 있거나, 신호 처리 장치가 입체감 선택 메뉴를 직접 생성하여 사용자에게 화면 등을 통해 제공할 수도 있다.
도 6은 입체감 선택 메뉴로 비디오 영상의 화면 사이즈에 대한 것만 도시하였으나, 본 발명이 이에 한정되는 것은 아니며, 입체감 선택 메뉴는 오디오 음향의 입체감 조절을 위한 것일 수도 있다. 이 경우, 사용자는 입체감 선택 메뉴를 이용하여 선호하는 오디오 음향의 입체감을 조절할 수도 있다.
이와 같이, 본 발명의 실시 예에 의하면, 사용자는 입체감 선택 메뉴를 이용하여 직접 입체감 조절 정보를 선택할 수도 있다.
도 7은 본 발명의 실시 예에 따른 옵셋 변환 테이블의 개념을 설명하기 위한 도면이다. 옵셋 변환 테이블은 입체감 조절 정보에 따른 옵셋 값들이 저장된 테이블로, 신호 처리 장치(210)에 로딩된 디스크에 기록되어 있을 수 있다.
옵셋 값(offset value)은 2차원 영상에서의 오브젝트의 위치와, 2차원 영상을 3차원 영상으로 재생하기 위한 좌안용 영상/우안용 영상에서의 오브젝트의 위치 사이의 거리를 나타낸다. 옵셋 값이 클수록 좌안용/우안용 영상에서의 오브젝트의 위치와 2차원 영상에서의 오브젝트의 원래 위치 사이의 거리가 커지게 되어 3차원 영상의 입체감이 더 커지게 된다.
디스플레이 장치(230)의 실제 화면 사이즈 또는 사용자가 선택한 화면 사이즈가 장치 내부의 메모리(213)에 입체감 조절 정보로 저장되어 있는 경우, 신호 처리 장치(210)는 옵셋 변환 테이블에서 입체감 조절 정보에 대응하는 옵셋 값을 독출하고, 이를 이용하여 3차원 비디오 영상의 입체감을 조절하게 된다.
도 8은 옵셋 변환 테이블의 신택스를 도시한 도면이다. 도 8을 참조하면, 옵셋 변환 테이블 신택스에는 디스플레이 사이즈(display_size)가 8비트 할당되고, 각 디스플레이 사이즈에 따라. 옵셋 방향(converted_offset_direction) 및 옵셋 값(converted_offset_value)이 각각 1비트, 6비트로 주어지게 된다.
도 9는 입체감 조절 정보에 따라 오브젝트의 옵셋 값이 조절되는 것을 설명하기 위한 도면이다. 전술한 바와 같이, 신호 처리 장치(210) 내부의 메모리에는 디스플레이 장치의 실제 화면 사이즈 또는 사용자가 선택한 화면 사이즈가 입체감 조절 정보로 저장되어 있다. 신호 처리 장치(210)는 장치 내부의 레지스터(213)로부터 입체감 조절 정보를 추출하고, 입체감 조절 정보에 대응하는 옵셋 값을 옵셋 변환 테이블에서 추출한다. 신호 처리 장치는 옵셋 변환 테이블에서 추출한 옵셋 값만큼 오브젝트를 좌/우 방향으로 이동시켜 3차원 비디오 영상의 입체감을 조절할 수 있다.
도 9에서, 사용자가 선택한 화면 사이즈가 50인치인 경우, 신호 처리 장치(210)는 도 7의 옵셋 변환 테이블에서 화면 사이즈 50인치에 대응하는 옵셋 값 B1을 추출한다. 신호 처리 장치(210)는 옵셋 값 B1만큼 좌 또는 우로 떨어진 위치에 오브젝트가 각각 매핑된 좌안용 영상과 우안용 영상을 생성한다. 사용자가 선택한 화면 사이즈가 60인치인 경우, 신호 처리 장치(210)는 도 7의 옵셋 변환 테이블에서 화면 사이즈 60인치에 대응하는 옵셋 값 B2를 추출하고, 옵셋 값 B2만큼 좌 또는 우로 떨어진 위치에 오브젝트가 각각 매핑된 좌안용 영상과 우안용 영상을 생성한다.
이와 같이, 본 발명의 실시 예에 의하면, 신호 처리 장치는 옵셋 변환 테이블에서 입체감 조절 정보에 대응하는 옵셋 값을 추출하고, 이를 이용하여 3차원 비디오 영상의 입체감을 조절할 수 있다.
도 10은 사용자가 선택한 입체감 변환 정보에 따라 비디오 영상의 옵셋 값을 조절하는 것을 허용하는지 여부를 나타내는 정보를 설명하기 위한 도면이다.
레지스터(213)에 입체감 조절 정보로 사용자가 선택한 화면 사이즈가 저장되어 있는 경우, 본 발명의 실시 예에 따라, 레지스터(213)에는 사용자가 선택한 입체감 변환 정보에 따라 오브젝트의 옵셋 값을 조절하는 것을 허용할 것인지 여부를 나타내는 정보가 더 저장될 수 있다.
사용자가 선택한 입체감 변환 정보에 따라 오브젝트의 옵셋 값을 조절하는 것을 허용할 것인지 여부를 나타내는 정보는 사용자가 임의로 변경할 수 있으므로, 레지스터(213) 중, 플레이백 스테이터스 레지스터에 저장될 수 있다.
콘텐츠 제공자(author)는 네비게이션 커맨드나 자바 API 함수를 이용하여 사용자 선택에 따라 비디오 영상의 입체감이 조절되도록 하는 것을 허용할 것인지 여부를 사용자가 선택할 수 있도록 프로그래밍할 수 있다. 사용자는 메뉴 화면 등을 이용하여, 사용자 선택에 따른 입체감 조절 정보에 따라 비디오 영상/오디오 음향의 입체감을 조절하도록 하는 것을 허용할 것인지 여부를 신호 처리 장치(210)에 설정할 수 있다.
도 10에서, 사용자가 선택한 화면 사이즈가 50인치라고 가정하고, 레지스터(213)에 사용자가 선택한 화면 사이즈에 따라 옵셋 값이 조절되는 것을 허용하는 정보(offset_conversion_prohibit = false)가 포함되어 있는 경우, 신호 처리 장치(210)는 사용자가 선택한 화면 사이즈 50인치에 대응하는 옵셋 값 B2를 도 7의 옵셋 변환 테이블에서 읽고, 옵셋 값 B2만큼 좌 또는 우로 떨어진 위치에 오브젝트가 각각 매핑된 좌안용 영상과 우안용 영상을 생성한다.
신호 처리 장치(210) 내부의 레지스터(213)에, 사용자가 선택한 화면 사이즈에 따라 옵셋 값이 조절되는 것을 금지하는 정보(offset_conversion_prohibit = true)가 포함되어 있는 경우, 신호 처리 장치(210)는 사용자가 선택한 화면 사이즈에 상관 없이, 이미 정해진 옵셋 값 A을 이용하여 옵셋 값 A만큼 좌 또는 우로 떨어진 위치에 오브젝트가 각각 매핑된 좌안용 영상과 우안용 영상을 생성한다.
또한, 신호 처리 장치(210) 내부의 레지스터(213)에 저장된, 사용자가 선택한 화면 사이즈에 따라 옵셋 값이 조절되는 것을 허용하는 정보 또는 금지하는 정보는, 오디오 음향의 입체감을 사용자가 조절할 수 있는 것을 허용하거나 금지하는데 사용될 수도 있다.
이와 같이, 본 발명의 실시 예에 의하면, 신호 처리 장치의 내부 메모리에는 사용자가 선택한 입체감 변환 정보에 따라 비디오 영상/오디오 음향의 입체감을 조절하는 것을 허용하는지 여부를 나타내는 정보가 더 저장될 수 있다.
도 11은 본 발명의 실시 예에 따라, STN테이블(Stream number table)의 신택스를 도시한다.
STN테이블은 디스크 상에서, 인덱스 파일, 플레이 리스트 파일, 또는 클립 인포메이션과 같은 네비게이션 파일이 저장된 곳에 포함되어 있다.
본 발명의 실시 예에서, STN 테이블은 비디오 영상과 함께 재생되는 그래픽 요소에 대해 입체감 조절 정보에 따른 입체감 변환을 허용할 것인가 여부를 표시하는 정보를 포함할 수 있다. 이를 위해, 콘텐츠 제작자(author)는 디스크에 저장된 메뉴 그래픽 스트림이나 자막 그래픽 스트림에 대해, 입체감 조절 정보에 따라 입체감을 변환하는 것을 허용할 것인지 여부를 나타내는 정보를 생성하고 이를 도 11과 같이 STN 테이블에 저장시킬 수 있다.
3차원 비디오 영상은 비디오 영상에 대해 부가적으로 제공되는 메뉴나 자막과 같은 그래픽 요소와 함께 디스플레이될 수 있다. 비디오 영상이 3차원으로 재생되는 경우, 그래픽 요소는 2차원으로 재생될 수도 있고 3차원으로 재생될 수도 있다. 또한 비디오 영상은 2차원으로 재생되고 비디오 영상과 함께 재생되는 그래픽 요소만 3차원으로 재생될 수도 있다.
비디오 영상은 2차원으로, 비디오 영상과 함께 재생되는 그래픽 요소는 3차원으로 재생되는 경우, 본 발명의 실시 예에 따라, 신호 처리 장치(210)는 그래픽 요소의 3차원 입체감을 디스플레이 장치의 화면 사이즈를 이용하여 조절하거나 또는 사용자가 선택한 화면 사이즈를 이용하여 조절할 수 있다.
도 11을 참조하면, STN 테이블 신택스에는 인터랙티브 그래픽 스트림의 아이디(IG_stream_id)가 표시되어 있다. 또한 인터랙티브 그래픽 스트림 각각에 대해, 입체감 변환 허용 여부를 표시하는 정보(is offset_conversation_active)가 포함되어 있다.
STN 테이블에, 소정의 아이디를 갖는 인터랙티브 그래픽 스트림에 대해 입체감 변환 허용을 표시하는 정보가 포함되어 있는 경우, STN 테이블에는 그 소정의 아이디를 갖는 인터랙티브 그래픽 스트림에 적용할 옵셋 변환 테이블 식별자가, 옵셋 변환 테이블의 아이디(offset_conversation_table_id_ref)로 주어지게 된다. 옵셋 변환 테이블에는 디스플레이 장치의 화면 사이즈에 대응하는 옵셋 값들이 포함되어 있다.
STN 테이블에 표시된 옵셋 변환 테이블은, 도 7이나 도 8에서의 옵셋 변환 테이블과 동일한 테이블일 수도 있고, 비디오 영상이 아닌 인터랙티브 그래픽 스트림에 대한 옵셋 값들을 저장하고 있다는 점에서 비디오 영상에 대한 옵셋 값들을 저장하고 있는 도 7이나 도 8에서의 옵셋 변환 테이블과 동일하지 않을 수도 있다.
신호 처리 장치(210)는 옵셋 변환 테이블의 아이디를 갖는 옵셋 변환 테이블을 디스크에서 추출하고, 옵셋 변환 테이블에 주어진 옵셋 값에 따라 인터랙티브 그래픽 스트림의 입체감을 변환할 수 있다.
신호 처리 장치(210)는 옵셋 변환 테이블에서 디스플레이 장치의 화면 사이즈에 대응하는 옵셋 값을 추출하고 이를 이용하여 인터랙티브 그래픽 스트림의 입체감을 변환할 수 있다. 또는, 신호 처리 장치(210)는 옵셋 변환 테이블에서 사용자가 선택한 화면 사이즈에 대응하는 옵셋 값을 추출하고 이를 이용하여 인터랙티브 그래픽 스트림의 입체감을 변환할 수도 있다.
이와 같이 본 발명의 실시 예에 의하면, 디스플레이 장치의 크기를 이용하여 그래픽 요소의 입체감을 조절할 수 있다.
도 12는 본 발명의 실시 예에 따라 그래픽 스트림의 입체감을 조절하기 위한 옵셋 변환 테이블을 도시한 도면이다. 비디오 영상과 그래픽 요소가 함께 재생되는 경우, 메뉴나 자막 등의 그래픽 요소는 비디오 영상보다 화면 앞으로 돌출되어 출력되는 것이 자연스럽다. 전술한 바와 같이 디스플레이 장치의 화면 사이즈에 따라 비디오 영상의 입체감이 달라지므로, 디스플레이 장치의 화면 사이즈가 매우 큰 경우, 비디오 영상의 입체감 또한 커지고, 비디오 영상보다도 더 앞쪽으로 돌출되어 출력되는 그래픽 요소의 입체감은 더 커지게 된다. 사용자가 입체감이 큰 그래픽 요소를 바라보는 경우, 폭주각이 커지게 되어 시력적인 피로감을 느낄 수 있다. 예컨대, 50인치 디스플레이 장치를 기준으로 만든 자막 그래픽을 사용자가 50인치 디스플레이 장치에서 바라보는 경우와, 동일한 자막 그래픽을 동일한 해상도로 80인치 디스플레이 장치에서의 바라보는 경우, 50인치에 비하여 80인치를 바라볼 때의 폭주각이 더 크므로 눈의 피로 또한 커지게 된다.
따라서, 발명의 실시 예로, 그래픽 요소의 폭주각이 작아지도록 그래픽 요소의 입체감을 조절하는 것이 요구된다.
도 12를 참조하면, 옵셋 변환 테이블의 최 좌측에는, 기준이 되는 옵셋 값들이 표시되어 있다. 도 12의 옵셋 변환 테이블은 30인치 디스플레이 장치를 기준으로 작성된 그래픽 스트림을, 각각의 다른 화면 사이즈를 갖는 디스플레이 장치를 이용하여 출력하는 경우 디스플레이 장치의 화면 사이즈에 따라 변환될 옵셋 값들을 포함한다. 본 발명의 실시 예에서, 옵셋 변환 테이블을 제작하는 콘텐츠 제공자는, 폭주각이 지나치게 커지는 것을 막기 위해, 일정한 값들 이하로 조절된 옵셋 값들이 옵셋 변환 테이블에 포함되도록 제작할 수 있다.
도 12의 옵셋 변환 테이블을 참조하면, 화면 사이즈가 커질수록 변환될 옵셋 값의 절대 값이 작아짐을 알 수 있다. 이는, 화면 사이즈가 커질수록 옵셋 값을 원래의 값보다 작은 값으로 변환시켜 화면 사이즈의 증가에 따른 그래픽 요소의 깊이감 증가를 막기 위함이다.
신호 처리 장치(210)는 도 12의 옵셋 변환 테이블을 이용하여, 그래픽 요소가 출력될 디스플레이 장치의 화면 사이즈에 따른 옵셋 값들을 추출하고, 이를 이용하여 입체감이 조절된 그래픽 요소를 화면에 출력할 수 있다.
도 13은 그래픽 요소를 출력할 때의 폭주각을 설명하기 위한 도면이다. 도 13의 (A)는 50인치 디스플레이 장치를 기준으로 작성된 그래픽 스트림을, 50인치 디스플레이 장치를 이용하여 출력하는 경우의 폭주각을 도시한다. 도 13의 (A)에서 좌안용 영상 및 우안용 영상에서의 그래픽 요소의 좌우 시차는 10 pixel이다.
도 13의 (B)는 동일한 그래픽 스트림을 80인치 화면 사이즈를 갖는 디스플레이 장치를 이용하여 출력하는 경우 폭주각을 도시한다. 50인치 화면 사이즈를 갖는 디스플레이 장치를 기준으로 작성된 그래픽 스트림을 50인치 디스플레이 장치와 동일한 해상도를 갖는80인치 화면 사이즈를 갖는 디스플레이 장치를 이용하여 출력하는 경우, 좌안용 영상 및 우안용 영상에서의 그래픽 요소의 좌우 간의 시차는 도 13의 (A)에서와 같이 10 pixel이 되나 한 픽셀당 길이가 화면 사이즈에 비례하여 커지게 되므로, 도 13의 (B)에서의 폭주각은 도 13의 (A)에서의 폭주각보다 더 커지게 된다. 이 경우, 사용자는 눈의 피로감을 느낄 수 있다.
도 13의 (C)는 본 발명의 실시 예에 따라 옵셋 값들이 일정한 값들 이하로 조절되어 포함된 옵셋 변환 테이블을 이용하여 옵셋 값들을 변환하여 출력하는 경우의 폭주각을 도시한다. 신호 처리 장치(210)는 플레이어 세팅 레지스터로부터 디스플레이 장치의 화면 사이즈를 추출하고, 디스크에 저장된 도 12와 같은 옵셋 변환 테이블에서 디스플레이 장치의 화면 사이즈에 따른 옵셋 값들을 추출한다.
신호 처리 장치(210)는 추출한 옵셋 값들로 그래픽 요소의 옵셋 값을 변환시켜 그래픽 요소의 입체감을 조절한다. 도 13의 (C) 또한 도 13의 (B)와 마찬가지로 동일한 그래픽 스트림을 80인치 화면 사이즈를 갖는 디스플레이 장치를 이용하여 출력하나, 옵셋 변환 테이블을 이용하여 옵셋 값들을 원래의 값보다 더 작은 값으로 변화시킴으로써 도 13의 (B)에서보다 그래픽 요소의 입체감이 더 작아지게 된다. 도 13의 (C)에서는 좌안용 영상 및 우안용 영상에서의 그래픽 요소의 좌우 간의 시차가 5 pixel로 감소했음을 알 수 있다. 이 경우, 그래픽 요소를 시청할 때의 사용자의 폭주가 또한 감소하게 된다.
도 14는 본 발명의 실시 예에 따른 신호 처리 장치의 블록도이다. 도 14를 참조하면, 신호 처리 장치는 비디오 디코더(1401), 좌안용 비디오 플레인(1403), 우안용 비디오 플레인(1405), 그래픽 디코더(1407), 그래픽 이동부(1409, 1411), 좌안용 그래픽 플레인(1413), 우안용 비디오 플레인(1415) 및 신호 합성부(1417, 1419)를 포함한다.
비디오 디코더(1401)는 비디오 스트림을 디코딩하여 좌안용 영상과 우안용 영상을 생성하고, 좌안용 영상은 좌안용 비디오 플레인(1403)에 우안용 영상은 우안용 비디오 플레인(1405)에 각각 그린다.
그래픽 디코더(1407)는 그래픽 스트림을 디코딩하여 좌안용 그래픽과 우안용 그래픽을 생성한다.
그래픽 이동부(1409, 1411)는 그래픽 디코더(1407)로부터 생성된 좌안용 그래픽과 우안용 그래픽이 소정 거리만큼 좌 또는 우로 이동되어 좌안용 그래픽 플레인(1413)과 우안용 그래픽 플레인(1415)에 그려지도록 제어한다. 이 때 그래픽 이동부(1409, 1411)에 의해 좌 또는 우로 이동되어야 하는 소정 거리는 도 12의 옵셋 변환 테이블을 참조하여 결정될 수 있다. 즉, 그래픽 이동부(1409, 1411)는 도 12의 옵셋 변환 테이블을 참조하여, 디스플레이 장치의 화면 사이즈에 따른 옵셋 값을 추출하고, 추출된 옵셋 값만큼 좌 또는 우로 이동된 위치에 그래픽이 그려지도록 제어한다.
이 경우, 좌안용 그래픽 플레인(1413)과 우안용 그래픽 플레인(1415)에 그려지는 그래픽은 디스플레이 장치의 화면 사이즈에 따른 옵셋 값만큼 좌 또는 우로 소정 거리만큼 이동되어 위치하게 된다. 즉, 디스플레이 장치의 화면 사이즈가 클수록 그래픽 플레인에서 그래픽이 좌 또는 우로 이동되는 거리가 작아지게 되어 그래픽 요소의 입체감이 작아지게 되고, 디스플레이 장치의 화면 사이즈가 작을 수록 좌 또는 우로 이동되는 거리가 커지게 되어 그래픽 요소의 입체감이 커지게 된다.
신호 합성부(1417, 1419)는 좌안용 비디오 플레인에 그려진 좌안용 영상과 좌안용 그래픽 플레인에 그려진 좌안용 그래픽 요소를 더하고, 우안용 비디오 플레인에 그려진 우안용 영상과 우안용 그래픽 플레인에 그려진 우안용 그래픽 요소를 각각 더한다.
이와 같이 본 발명의 실시 예에 따르면, 디스플레이 장치의 화면 사이즈를 고려하여, 사용자의 폭주각이 일정 범위 이내가 되도록 그래픽 요소의 깊이감을 조절할 수 있다.
도 15는 본 발명의 실시 예에 따른 신호 처리 방법을 도시한 순서도이다. 도 15를 참조하면, 신호 처리 장치는 디스플레이 장치로부터 디스플레이 장치의 화면 사이즈를 수신한다(단계 1510). 디스플레이 장치로부터 디스플레이 장치의 화면 사이즈를 수신할 수 없는 경우, 사용자로부터 디스플레이 장치의 화면 사이즈를 직접 입력받을 수도 있다.
신호 처리 장치는 내부의 메모리에 디스플레이 장치의 화면 사이즈를 저장한다(단계 1520).
신호 처리 장치는 메모리에 저장된 디스플레이 장치의 화면 사이즈를 이용하여 비디오 영상 및/또는 오디오 신호의 입체감을 조절한다(단계 1530).
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
210 … 신호 처리 장치
211 … 제어부
213 … 레지스터
215 … 입력부
217 … 비디오 신호 처리부
219 … 오디오 신호 처리부
221 … 출력부
230 … 디스플레이 장치

Claims (21)

  1. 비디오 영상 재생 장치 내의 메모리로부터 입체감 조절 정보를 추출하는 단계; 및
    상기 입체감 조절 정보에 따라 3차원 비디오 영상의 입체감을 조절하여 출력하는 단계를 포함하는 것을 특징으로 하는 신호 처리 방법.
  2. 제1 항에 있어서, 상기 메모리는 플레이어 세팅 레지스터(player setting register)인 것을 특징으로 하는 신호 처리 방법.
  3. 제2 항에 있어서, 상기 입체감 조절 정보는 상기 비디오 영상 재생 장치와 연결되어 비디오 영상을 출력하는 디스플레이 장치의 화면 사이즈를 포함하는 것을 특징으로 하는 신호 처리 방법.
  4. 제3 항에 있어서, 상기 화면 사이즈는 화면의 가로 길이, 세로 길이, 및 대각선 길이 중 하나 이상을 포함하는 것을 특징으로 하는 신호 처리 방법.
  5. 제3 항에 있어서, 상기 입체감 조절 정보를 추출하기 전에,
    상기 디스플레이 장치로부터 상기 화면 사이즈를 수신하는 단계; 및
    상기 수신된 화면 사이즈를 상기 플레이어 세팅 레지스터에 저장하는 단계를 더 포함하는 것을 특징으로 하는 신호 처리 방법.
  6. 제1 항에 있어서, 상기 입체감 조절 정보를 추출하기 전에,
    사용자로부터 입체감 조절 정보를 선택 받는 단계; 및
    상기 선택된 입체감 조절 정보를 상기 메모리에 저장하는 단계를 더 포함하는 것을 특징으로 하는 신호 처리 방법.
  7. 제5 항 또는 제6 항에 있어서, 상기 3차원 비디오 영상의 입체감을 조절하여 출력하는 단계는
    상기 메모리에 저장된 입체감 조절 정보에 대응하는 옵셋 값을 디스크에 저장된 옵셋 변환 테이블로부터 추출하는 단계; 및
    상기 추출된 옵셋 값을 이용하여 상기 3차원 비디오 영상의 입체감을 조절하는 단계를 포함하는 것을 특징으로 하는 신호 처리 방법.
  8. 제2 항에 있어서, 상기 입체감 조절 정보에 따라 상기 3차원 비디오 영상과 함께 출력되는 오디오 음향의 3차원 입체 효과를 조절하는 단계를 더 포함하는 것을 특징으로 하는 신호 처리 방법.
  9. 제8 항에 있어서, 상기 오디오 음향의 3차원 입체 효과를 조절하는 단계는 상기 디스플레이 장치의 화면 사이즈가 클수록 상기 오디오 음향의 3차원 입체 효과가 커지도록 상기 오디오 음향의 3차원 입체 효과를 조절하는 단계를 포함하는 것을 특징으로 하는 신호 처리 방법.
  10. 제9 항에 있어서, 상기 오디오 음향의 3차원 입체 음향 효과를 조절하는 단계는
    상기 디스플레이 장치의 화면 사이즈에 따라 프론트 오디오 채널과 서라운드 오디오 채널의 게인을 조절하는 단계; 및
    상기 게인이 조절된 채널을 합성하는 단계를 포함하는 것을 특징으로 하는 신호 처리 방법.
  11. 입체감 조절 정보를 저장하는 메모리; 및
    상기 입체감 조절 정보에 따라 3차원 비디오 영상의 입체감을 조절하는 제어부를 포함하는 것을 특징으로 하는 신호 처리 장치.
  12. 제11 항에 있어서, 상기 메모리는 플레이어 세팅 레지스터(player setting register)인 것을 특징으로 하는 신호 처리 장치.
  13. 제12 항에 있어서, 상기 입체감 조절 정보는 상기 비디오 영상 재생 장치와 연결되어 비디오 영상을 출력하는 디스플레이 장치의 화면 사이즈를 포함하는 것을 특징으로 하는 신호 처리 장치.
  14. 제13 항에 있어서, 상기 화면 사이즈는 화면의 가로 길이, 세로 길이, 및 대각선 길이 중 하나 이상을 포함하는 것을 특징으로 하는 신호 처리 장치.
  15. 제13 항에 있어서, 상기 제어부는 상기 디스플레이 장치로부터 상기 화면 사이즈를 수신하고, 상기 수신된 화면 사이즈를 상기 플레이어 세팅 레지스터에 저장하는 것을 특징으로 하는 신호 처리 장치.
  16. 제11 항에 있어서, 상기 제어부는 사용자로부터 입체감 조절 정보를 선택 받고, 상기 선택된 입체감 조절 정보를 상기 메모리에 저장하는 것을 특징으로 하는 신호 처리 장치.
  17. 제5 항 또는 제6 항에 있어서, 상기 제어부는 상기 메모리에 저장된 입체감 조절 정보에 대응하는 옵셋 값을 디스크에 저장된 옵셋 변환 테이블로부터 추출하고, 상기 추출된 옵셋 값을 이용하여 상기 3차원 비디오 영상의 입체감을 조절하는 것을 특징으로 하는 신호 처리 장치.
  18. 제12 항에 있어서, 상기 제어부는 상기 입체감 조절 정보에 따라 상기 3차원 비디오 영상과 함께 출력되는 오디오 음향의 3차원 입체 효과를 조절하는 것을 특징으로 하는 신호 처리 장치.
  19. 제18 항에 있어서, 상기 제어부는 상기 디스플레이 장치의 화면 사이즈가 클수록 상기 오디오 음향의 3차원 입체 효과가 커지도록 상기 오디오 음향의 3차원 입체 효과를 조절하는 것을 특징으로 하는 신호 처리 장치.
  20. 제19 항에 있어서, 상기 제어부는 상기 디스플레이 장치의 화면 사이즈에 따라 프론트 오디오 채널과 서라운드 오디오 채널의 게인을 조절하고, 상기 게인이 조절된 채널을 합성하는 것을 특징으로 하는 신호 처리 장치.
  21. 비디오 영상 재생 장치 내의 메모리로부터 입체감 조절 정보를 추출하는 단계; 및
    상기 입체감 조절 정보에 따라 3차원 비디오 영상의 입체감을 조절하여 출력하는 단계를 포함하는 것을 특징으로 하는 신호 처리 방법을 실행하기 위한 프로그램을 저장한 컴퓨터로 판독 가능한 기록 매체.
KR1020100055468A 2009-07-09 2010-06-11 디스플레이 장치의 화면 사이즈를 이용한 신호 처리 방법 및 장치 KR20110005205A (ko)

Priority Applications (9)

Application Number Priority Date Filing Date Title
CN2010800403229A CN102484737A (zh) 2009-07-09 2010-07-07 使用显示装置的屏幕大小的信号处理方法及其设备
MX2012000476A MX2012000476A (es) 2009-07-09 2010-07-07 Metodo de procesamiento de señal y aparato para este que utiliza tamaño de pantalla de dispositivo de presentacion.
BR112012000323-2A BR112012000323A2 (pt) 2009-07-09 2010-07-07 método de processamento de sinais, aparelho de processamento de sinais, e mídia de gravação legível por computador
EP10797299.4A EP2441269A4 (en) 2009-07-09 2010-07-07 SIGNAL PROCESSING METHOD AND DEVICE THEREFOR BY USING THE SCREEN SIZE OF THE DISPLAY DEVICE
JP2012519474A JP2012533205A (ja) 2009-07-09 2010-07-07 ディスプレイ装置の画面サイズを利用した信号処理方法及び装置
RU2012100244/07A RU2012100244A (ru) 2009-07-09 2010-07-07 Способ обработки сигналов и устройство для этого, использующее размер экрана дисплейного устройства
PCT/KR2010/004416 WO2011005025A2 (en) 2009-07-09 2010-07-07 Signal processing method and apparatus therefor using screen size of display device
CA2767511A CA2767511A1 (en) 2009-07-09 2010-07-07 Signal processing method and apparatus therefor using screen size of display device
US13/345,838 US20120133748A1 (en) 2009-07-09 2012-01-09 Signal processing method and apparatus therefor using screen size of display device

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US22410609P 2009-07-09 2009-07-09
US61/224,106 2009-07-09
US22820909P 2009-07-24 2009-07-24
US61/228,209 2009-07-24
US27215309P 2009-08-21 2009-08-21
US61/272,153 2009-08-21
US24211709P 2009-09-14 2009-09-14
US61/242,117 2009-09-14

Publications (1)

Publication Number Publication Date
KR20110005205A true KR20110005205A (ko) 2011-01-17

Family

ID=43612481

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100055468A KR20110005205A (ko) 2009-07-09 2010-06-11 디스플레이 장치의 화면 사이즈를 이용한 신호 처리 방법 및 장치

Country Status (10)

Country Link
US (1) US20120133748A1 (ko)
EP (1) EP2441269A4 (ko)
JP (1) JP2012533205A (ko)
KR (1) KR20110005205A (ko)
CN (1) CN102484737A (ko)
BR (1) BR112012000323A2 (ko)
CA (1) CA2767511A1 (ko)
MX (1) MX2012000476A (ko)
RU (1) RU2012100244A (ko)
WO (1) WO2011005025A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102724521A (zh) * 2011-03-29 2012-10-10 青岛海信电器股份有限公司 立体显示方法及装置
WO2023080264A1 (ko) * 2021-11-02 2023-05-11 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201119353A (en) 2009-06-24 2011-06-01 Dolby Lab Licensing Corp Perceptual depth placement for 3D objects
US9426441B2 (en) 2010-03-08 2016-08-23 Dolby Laboratories Licensing Corporation Methods for carrying and transmitting 3D z-norm attributes in digital TV closed captioning
CN102804793A (zh) * 2010-03-17 2012-11-28 松下电器产业株式会社 再生装置
JP5699566B2 (ja) * 2010-11-29 2015-04-15 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9519994B2 (en) 2011-04-15 2016-12-13 Dolby Laboratories Licensing Corporation Systems and methods for rendering 3D image independent of display size and viewing distance
CN102769764B (zh) * 2011-05-03 2015-09-09 晨星软件研发(深圳)有限公司 应用于三维显示器的方法与相关装置
KR101975247B1 (ko) 2011-09-14 2019-08-23 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
US9641826B1 (en) * 2011-10-06 2017-05-02 Evans & Sutherland Computer Corporation System and method for displaying distant 3-D stereo on a dome surface
CN102611906A (zh) * 2012-03-02 2012-07-25 清华大学 具有自适应深度的立体视频图文标签的显示和编辑方法
EP2637427A1 (en) 2012-03-06 2013-09-11 Thomson Licensing Method and apparatus for playback of a higher-order ambisonics audio signal
CN103680550B (zh) * 2012-09-17 2017-02-08 扬智科技股份有限公司 多视窗架构下的音频播放方法、音频播放装置与系统
KR102130123B1 (ko) * 2013-10-31 2020-07-03 삼성전자주식회사 다시점 영상 디스플레이 장치 및 그 제어 방법
KR101579467B1 (ko) * 2014-02-27 2016-01-04 엘지전자 주식회사 디지털 디바이스 및 그의 서비스 처리 방법
CN105323701A (zh) * 2014-06-26 2016-02-10 冠捷投资有限公司 根据三维影像调整音效的方法与应用此方法的影音系统
US10032447B1 (en) * 2014-11-06 2018-07-24 John Mitchell Kochanczyk System and method for manipulating audio data in view of corresponding visual data
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09271043A (ja) * 1996-03-29 1997-10-14 Olympus Optical Co Ltd 立体映像ディスプレイ装置
JPH10150608A (ja) * 1996-11-19 1998-06-02 Sanyo Electric Co Ltd デジタル放送システムのユーザ側端末
JPH1175151A (ja) * 1997-08-12 1999-03-16 Hewlett Packard Co <Hp> 音声処理機能付き画像表示システム
US20050146521A1 (en) * 1998-05-27 2005-07-07 Kaye Michael C. Method for creating and presenting an accurate reproduction of three-dimensional images converted from two-dimensional images
KR20040091110A (ko) * 2002-03-07 2004-10-27 코닌클리케 필립스 일렉트로닉스 엔.브이. 사용자 제어 다중-채널 오디오 변환 시스템
JP4222817B2 (ja) * 2002-09-27 2009-02-12 シャープ株式会社 立体画像表示装置、記録方法、及び伝送方法
JP3978392B2 (ja) * 2002-11-28 2007-09-19 誠次郎 富田 立体映像信号生成回路及び立体映像表示装置
US20060203085A1 (en) * 2002-11-28 2006-09-14 Seijiro Tomita There dimensional image signal producing circuit and three-dimensional image display apparatus
JP4259913B2 (ja) * 2003-05-08 2009-04-30 シャープ株式会社 立体画像処理装置、立体画像処理プログラムおよびそのプログラムを記録した記録媒体
JP4629388B2 (ja) * 2004-08-27 2011-02-09 ソニー株式会社 音響生成方法、音響生成装置、音響再生方法及び音響再生装置
JP2006128818A (ja) * 2004-10-26 2006-05-18 Victor Co Of Japan Ltd 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア
KR20070052642A (ko) * 2005-11-17 2007-05-22 엘지전자 주식회사 데이터 재생방법 및 재생장치와 데이터 전송방법
JP2007060253A (ja) * 2005-08-24 2007-03-08 Sharp Corp スピーカ配置の判定システム
KR100739730B1 (ko) * 2005-09-03 2007-07-13 삼성전자주식회사 3ｄ 입체 영상 처리 장치 및 방법
KR101185870B1 (ko) * 2005-10-12 2012-09-25 삼성전자주식회사 3ｄ 입체 영상 처리 장치 및 방법
KR101311896B1 (ko) * 2006-11-14 2013-10-14 삼성전자주식회사 입체 영상의 변위 조정방법 및 이를 적용한 입체 영상장치
KR20080076628A (ko) * 2007-02-16 2008-08-20 삼성전자주식회사 영상의 입체감 향상을 위한 입체영상 표시장치 및 그 방법
KR101336237B1 (ko) * 2007-03-02 2013-12-03 삼성전자주식회사 멀티 채널 스피커 시스템의 멀티 채널 신호 재생 방법 및장치
KR20080105595A (ko) * 2007-05-31 2008-12-04 삼성전자주식회사 공통전압 설정장치 및 방법
KR20100102153A (ko) * 2007-12-14 2010-09-20 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 재생을 위한 ３ｄ 모드 선택 메커니즘
MY155378A (en) * 2008-07-24 2015-10-15 Koninkl Philips Electronics Nv Versatile 3-d picture format

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102724521A (zh) * 2011-03-29 2012-10-10 青岛海信电器股份有限公司 立体显示方法及装置
WO2023080264A1 (ko) * 2021-11-02 2023-05-11 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법

Also Published As

Publication number Publication date
CN102484737A (zh) 2012-05-30
EP2441269A2 (en) 2012-04-18
JP2012533205A (ja) 2012-12-20
CA2767511A1 (en) 2011-01-13
WO2011005025A3 (en) 2011-04-21
MX2012000476A (es) 2012-01-27
US20120133748A1 (en) 2012-05-31
WO2011005025A2 (en) 2011-01-13
RU2012100244A (ru) 2013-12-20
BR112012000323A2 (pt) 2019-11-19
EP2441269A4 (en) 2013-04-17

Similar Documents

Publication Publication Date Title
KR20110005205A (ko) 디스플레이 장치의 화면 사이즈를 이용한 신호 처리 방법 및 장치
US10158841B2 (en) Method and device for overlaying 3D graphics over 3D video
US9191645B2 (en) Stereoscopic video and audio recording method, stereoscopic video and audio reproducing method, stereoscopic video and audio recording apparatus, stereoscopic video and audio reproducing apparatus, and stereoscopic video and audio recording medium
US9445034B2 (en) Method and apparatus for processing video image
US8497858B2 (en) Graphic image processing method and apparatus
KR20110113186A (ko) 비디오 인터페이스를 통해 송신하고 ３ｄ 비디오 및 ３ｄ 오버레이들을 합성하기 위한 방법 및 시스템
KR20110025123A (ko) 비디오 영상 배속 재생 방법 및 장치
WO2009027923A1 (en) Conveying auxiliary information in a multiplexed stream
JP2011138354A (ja) 情報処理装置および情報処理方法
JP2012049933A (ja) 伝送システム
JP2012049934A (ja) 伝送システム
KR20110114583A (ko) 디스플레이 파라미터 설정들의 제어
KR101742993B1 (ko) 디지털 방송 수신기 및 디지털 방송 수신기에서 3ｄ 효과 제공 방법
KR101674688B1 (ko) 입체영상 재생 장치 및 입체영상 재생 방법
EP2837183A2 (en) Depth signaling data
JP2012160984A (ja) 立体音響再生装置および立体音響再生方法
KR20140128181A (ko) 예외 채널 신호의 렌더링 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid