KR20080066408A - 3차원 영상 처리 장치 및 방법 - Google Patents

3차원 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20080066408A
KR20080066408A KR1020070003833A KR20070003833A KR20080066408A KR 20080066408 A KR20080066408 A KR 20080066408A KR 1020070003833 A KR1020070003833 A KR 1020070003833A KR 20070003833 A KR20070003833 A KR 20070003833A KR 20080066408 A KR20080066408 A KR 20080066408A
Authority
KR
South Korea
Prior art keywords
image
field
storing
file
information
Prior art date
Application number
KR1020070003833A
Other languages
English (en)
Inventor
김현술
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070003833A priority Critical patent/KR20080066408A/ko
Priority to US12/006,850 priority patent/US20080170806A1/en
Publication of KR20080066408A publication Critical patent/KR20080066408A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명의 실시예에 따른 이미지 파일이 2차원 이미지의 시작을 표시하는 필드와, 2차원 이미지의 정보들을 저장하는 필드와, 상기 2차원 이미지를 저장하는 필드와, 상기 2차원 이미지의 종료를 표시하는 필드로 구성되며, 상기 이미지 정보를 저장하는 필드에 상기 2차원 이미지에 관련된 3차원 이미지 및 3차원 이미지임을 표시하는 헤더정보를 삽입하는 것을 특징으로 한다. 여기서 상기 이미지파일은 제이피이지 파일이 될 수 있다.
이미지, jpeg, 3차원 이미지

Description

3차원 영상 처리 장치 및 방법{DEVICE AND METHOD FOR GENERATING THREE-DIMENSION IMAGE AND DISPLAYING THEREOF}
도 1은 본 발명의 실시예에 따른 영상처리장치의 구성을 도시하는 도면
상기 도 2a - 도 2c는 본 발명의 실시예에 따라 3D 이미지를 생성하는 절차를 설명하기 위한 도면
도 3a - 도 3b는 본 발명의 실시예에 따라 상기 메모리110에 저장되는 3D 이미지의 저장 파일 포맷을 설명하기 위한 도면
도 4a 및 도 4b는 본 발명의 실시예에 따른 영상처리부140의 구성 예를 도시하는 도면
도 5는 본 발명의 실시예에 따른 영상처리장치에서 영상을 획득하여 저장하는 절차를 도시하는 흐름도
도 6은 본 발명의 실시예에 따른 영상처리장치에서 저장된 3D JPEG 파일을 재생하는 절차를 도시하는 흐름도
도 7a 및 도 7b는 본 발명의 실시예에 따른 영상처리장치가 휴대단말기에 적용된 예의 구성을 도시하는 도면
본 발명은 3차원 이미지 데이터 처리 장치 및 방법에 관한 것으로, 특히 JPEG 포맷으로 호환되는 3차원 영상데이타의 생성/표시 장치 및 방법에 관한 것이다.
현재 단말기는 다양한 멀티미디어 기능들을 구비하는 복합 단말기로 발전하고 있다. 상기 멀티미디어 기능들 중의 하나가 카메라이다. 사용자는 카메라를 이용하여 이미지를 획득한 후, 이를 표시하거나 또는 전송할 수 있다. 일반적으로 카메라를 구비하는 영상처리장치는 상기 카메라로부터 획득되는 2차원 이미지를 처리한다. 상기 2차원 이미지는 하나의 카메라를 이용하여 획득되는 이미지를 처리한다.
사람의 좌안 및 우안에서 보이는 이미지가 서로 다르다. 이런 경우 상기 좌안에서 획득되는 이미지와 우안에서 획득되는 이미지를 합성하여 표시하면 입체적인 이미지로 표현할 수 있다. 즉, 영상처리장치가 복수개의 카메라들을 구비하고, 상기 카메라들에서 획득되는 영상을 합성하여 표시하면 3차원 이미지로 표현할 수 있다.
그러나 현재 이미지를 처리하는 코덱은 2차원 이미지를 처리할 수 있다. 이런 경우 상기 2차원 영상처리장치로 상기 3차원 이미지를 표시하면 정상적으로 이미지를 표현할 수 없다. 즉, 상기와 같은 3차원 이미지를 2차원 이미지를 표시하는 장치에서 표시하면 이를 표현할 수 없다. 이는 일반 2차원 영상 처리장치의 코덱과 호환되는 3차원 이미지를 표시하기 위한 표준 파일 포맷이 없기 때문이다.l
따라서 본 발명의 목적은 영상처리장치에서 3차원 이미지를 생성할 수 있는 장치 및 방법을 제공함에 있다.
본 발명의 다른 목적은 적어도 두 개의 카메라들을 구비하는 영상처리장치에서 획득되는 이미지들을 합성하여 3차원 이미지로 생성할 수 있는 장치 및 방법을 제공함에 있다.
본 발명의 또 다른 목적은 적어도 두 개의 카메라들을 구비하는 영상처리장치에서 2차원 및 3차원 이미지를 표현할 수 있는 표준 파일 포맷을 제공함에 있다.
이하 본 발명의 바람직한 실시예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다.
하기 설명에서 "2차원 이미지" 또는 "2D 이미지"라는 용어는 하나의 카메라에서 촬영되는 이미지를 의미하는 용어이다. "3차원 이미지" 또는 "3D 이미지"라는 용어는 적어도 두 개의 카메라에서 촬영된 이미지를 합성한 이미지를 의미하는 용어이다. "이미지 정보"는 저장매체에 저장되는 이미지 파일 포맷에서 부호화된 이 미지의 각종 정보들을 의미하는 용어이다. 여기서 상기 이미지정보들은 양자화정보, 부호화정보, 응용정보 등이 될 수 있다.
본 발명의 실시예에서는 상기 3D 이미지(three-dimension image)는 두 개의 이미지들을 하나의 파일에 저장한 이미지인 경우로 가정한다. 여기서 두 개의 이미지들은 사람의 좌안 및 우안에서 획득되는 이미지들이라고 가정한다. 본 발명의 실시예에 따른 영상처리장치는 일반적인 JPEG(joint picture expert`s group) 파일뷰어와 호환을 유지하면서 상기 3D 이미지도 저장할 수 있다. 그리고 본 발명의 실시예에 따른 영상처리장치는 3D 이미지를 표시하는 장치를 구비하며, 3D 이미지를 표시하며 또는 2D 이미지도 표시할 수 있는 파일 구조를 가진다.
본 발명의 실시예에서 상기 3D 이미지의 생성은 적어도 두 개의 카메라를 이용하여 스테레오 이미지를 획득하고, 이들 이미지들 중 하나를 기본 2D 이미지로 저장하고, 또한 상기 두 이미지를 합성하여 3D 이미지로 생성한다. 이때 상기 3D 이미지의 생성은 좌, 우 이미지들을 라인 단위로 삽입(line by line)하여 3D 이미지로 생성할 수 있다. 또한 상기 기본 2D 이미지로 저장된 이미지외의 다른 2D 이미지를 독립적으로 저장한 후, 재생시점에서 상기 두 2D 이미지들을 라인 단위로 삽입하여 합성된 3D 이미지로 재생할 수도 있다.
본 발명의 실시예에서는 3D 이미지의 파일 구성은 일반적인 JPEG 파일 포맷(file format)을 기본으로 한다. 여기서 상기 2D 이미지 데이터는 상기 JPEG 파일의 기본 JPEG 데이터 영역에 저장한다. 그리고 상기 3D 이미지 데이터는 상기 JPEG 파일의 커멘트 영역(comment) 또는 응용 영역(application) 등에 압축 또는 비압축 형태로 저장할 수 있다. 여기서 상기 응용 영역은 교환이미지 파일형식(exchangeable image file format: 이하 exif라 칭한다) 영역이 될 수 있으며, 상기 3D 이미지는 상기 exif의 섬네일(thumbnail) 영역에 저장될 수 있다. 이때 상기 3D 이미지를 상기 exif의 섬네일 영역에 저장하는 경우, 2D 이미지만을 표시하는 장치에서 상기 섬네일 이미지를 비정상적으로 표시할 수 있으므로 상기 3D 이미지의 헤더를 변경하여 저장하거나 또는 상기 3D 이미지의 앞부분에 다른 정보(3D 이미지임을 표시하는 미리 설정된 정보)를 삽입하여 섬네일 영상으로 동작하지 도록 한다.
그리고 상기 이미지의 저장은 메모리에 저장되는 이미지 데이터가 3D 데이터를 포함하는 파일인지를 판단할 수 있도록 exif 영역의 사용자 커멘트 필드(user comment field)에 3D 이미지임을 표시한다. 상기 3D 정보 표기는 exif 영역의 다른 특정 헤더 영역 또는 JPEG 파일의 다른 헤더 영역(3D thumbnail data 앞부분에 표기 가능)에 표시할 수 있다.
그리고 본 발명의 실시예에서 상기와 같이 하나의 JPEG 파일에 저장되는 2D 이미지 및 3D 이미지를 표시하는 경우, 영상처리장치는 먼저 상기 파일이 2D 이미지인지 아니면 3D 이미지인지를 판단한다. 즉, 상기 영상처리장치는 상기 파일의 사용자 커멘트 영역 또는 다른 헤더부분을 분석하여 상기 이미지가 2D 이미지인지 아니면 3D 이미지인지를 판단한다. 이때 2D 이미지이면, 상기 영상처리장치는 일반적인 방식으로 처리하여 표시한다. 그리고 3D 이미지이면 파일의 커멘트 또는 섬네일 영역에 저장된 3D 데이터를 3D 방식으로 표시한다.
본 발명의 실시예에서는 상기 3D 이미지를 생성은 두 개의 카메라로 카메라들로부터 획득된 2D 이미지를 합성하는 것으로 가정되어 설명될 것이다. 그러나 3D 그래픽 어플리케이션을 이용하여 다운로드한 이미지나 애니메이션 이미지들도 상기와 같은 방법으로 3D 이미지로 구현 가능하다. 즉, 그래픽 작업 등을 통해서도 좌/우 3D 데이터 생성이 가능하므로, 3D 파일 생성은 복수개의 카메라로 획득되는 이미지들 이외에 다른 경로로도 획득할 수 있다.
상기와 같은 본 발명의 실시예에 따른 이미지 파일 장치는 2차원 이미지의 시작을 표시하는 필드와, 2차원 이미지의 정보들을 저장하는 필드와, 상기 2차원 이미지를 저장하는 필드와, 상기 2차원 이미지의 종료를 표시하는 필드로 구성되며, 상기 이미지 정보를 저장하는 필드에 상기 2차원 이미지에 관련된 3차원 이미지 및 3차원 이미지임을 표시하는 헤더정보를 삽입하는 것을 특징으로 한다. 여기서 상기 이미지파일은 제이피이지 파일이 될 수 있다.
이때 상기 3차원 이미지 및 헤더를 저장하는 이미지 정보 필드는 이엑스아이에프 필드의 섬네일 필드가 될 수 있다. 이런 경우 상기 섬네일 필드는, 상기 3D 이미지임을 표시하는 필드와, 3차원 이미지의 정보들을 저장하는 필드와, 상기 3차원 이미지를 저장하는 필드와, 상기 3차원 이미지의 종료를 표시하는 필드로 구성할 수 있다.
또한 상기 3차원 이미지 및 헤더를 저장하는 이미지 정보필드는 상기 3차원 이미지를 저장하는 커멘트필드와, 상기 3차원 이미지헤더를 저장하는 이엑스아이에프 필드의 사용자 커멘트필드로 구성할 수 있다. 그리고 상기 3차원 이미지 및 헤 더를 저장하는 이미지 정보필드는 상기 3차원 이미지를 저장하는 커멘트필드와, 상기 3차원 이미지헤더를 저장하는 이엑스아이에프 필드의 섬네일 필드 앞부분인 것으로 구성할 수도 있다.
그리고 상기 3차원 이미지는 상기 2차원 이미지 및 2차원 이미지와 다른 위치에 촬영된 제2이미지를 라인 단위로 합성한 이미지가 될 수 있으며, 상기 3차원 이미지는 상기 2차원 이미지 및 2차원 이미지와 다른 위치에 촬영된 제2이미지가 될 수 있으며, 상기 3차원 이미지는 상기 2차원 이미지 및 2차원 이미지와 다른 위치에 촬영된 제2이미지를 라인 단위로 합성한 비압축 이미지가 될 수 있으며, 상기 3차원 이미지는 상기 2차원 이미지 및 2차원 이미지와 다른 위치에 촬영된 비압축 제2이미지가 될 수 있다.
또한 본 발명의 실시예에 따른 영상처리장치는, 제1 및 제2이미지를 발생하며 서로 일정 거리 이격되어 설치되는 제1 및 제2카메라와, 상기 제1 및 제2이미지를 수신하여 3차원 이미지를 발생하는 영상처리부와, 상기 제1이미지 및 3차원 이미지를 하나의 이미지파일로 생성하는 제어부와, 상기 생성된 이미지파일을 저장하며, 상기 제어부의 제어하에 재생모드시 상기 이미지파일을 상기 영상처리부에 인가하는 메모리와, 3차원 이미지 표시를 위한 시차 방벽을 구비하며 상기 제어부에 의해 상기 시차 방벽이 제어되어 3차원 이미지 처리모드시 상기 3차원 이미지를 표시하고 2차원 이미지를 표시하는 표시부로 구성된 것을 특징으로 한다.
그리고 상기 제어부가 제1이미지의 시작을 표시하는 필드와, 제1이미지의 정보들을 저장하는 필드와, 상기 제1이미지를 저장하는 필드와, 상기 제1이미지의 종 료를 표시하는 필드로 구성되는 이미지파일 포맷을 생성하며, 상기 이미지 정보를 저장하는 필드에 상기 2차원 이미지에 관련된 3차원 이미지 및 3차원 이미지임을 표시하는 헤더정보를 삽입하여 이미지 파일을 생성한 후 상기 메모리에 저장한다.
여기서 상기 이미지파일은 제이피이지 파일이 될 수 있으며, 상기 3차원 이미지 및 헤더를 저장하는 이미지 정보 필드는 이엑스아이에프 필드의 섬네일 필드가 될 수 있고, 상기 섬네일 필드는 상기 3D 이미지임을 표시하는 필드와, 3차원 이미지의 정보들을 저장하는 필드와, 상기 3차원 이미지를 저장하는 필드와, 상기 3차원 이미지의 종료를 표시하는 필드로 구성될 수 있다.
그리고 상기 영상처리부는 상기 제1이미지 및 제2이미지를 라인 단위로 합성하여 3차원 이미지를 발생하는 합성기와, 상기 제1이미지 및 상기 3차원 이미지를 부호화하는 영상코더와, 상기 부호화된 이미지를 복호하는 영상디코더로 구성될 수 있으며, 또한 상기 영상처리부는 상기 제1이미지 및 상기 3차원 이미지로 사용할 제2이미지를 부호화하는 영상코더와, 상기 부호화된 제1이미지 및 제2이미지를 복호하는 영상디코더와, 상기 부호화된 제1 및 제2이미지를 라인단위로 합성하여 3차원 이미지로 발생하는 합성기로 구성될 수 있다. 또한 상기 영상처리부는 상기 제1 및 제2이미지를 상기 표시부의 표시화면 크기로 각각 스케일링하는 스케일러와, 상기 이미지의 컬러를 상기 표시부의 컬러 데이터로 변환하는 색변환기를 더 구비할 수 있다.
또한 본 발명의 실시예에 따라 서로 일정 거리 이격되어 설치되는 제1 및 제2카메라를 구비하는 영상처리장치의 이미지파일 저장방법은 상기 제1 및 제2카메라 를 구동하여 제1 및 제2이미지를 발생하는 과정과, 상기 제1 및 제2이미지를 합성하여 3차원 이미지를 발생하는 과정과, 상기 제1이미지 및 3차원 이미지를 하나의 이미지파일로 생성하여 저장하는 과정으로 이루어짐을 특징으로 한다.
여기서 상기 이미지파일을 생성하는 과정은 이미지파일의 시작표시 영역에 제1이미지의 시작 정보를 삽입하는 과정과, 이미지정보 저장 영역에 제1이미지의 정보들을 저장하는 과정과, 이미지 저장영역에 상기 제1이미지를 저장하는 과정과, 이미지파일의 종료 표시 영역에 상기 제1이미지의 종료를 표시하는 과정으로 상기 이미지파일을 생성하며, 상기 이미지 정보를 저장하는 필드에 상기 2차원 이미지에 관련된 3차원 이미지 및 3차원 이미지임을 표시하는 헤더정보를 삽입하여 상기 메모리에 저장한다.
여기서 상기 이미지파일은 제이피이지 파일이 될 수 있으며, 상기 3차원 이미지 및 헤더를 저장하는 이미지 정보 필드는 이엑스아이에프 필드의 섬네일 필드가 될 수 있고, 상기 섬네일 필드는 상기 3D 이미지임을 표시하는 필드와, 3차원 이미지의 정보들을 저장하는 필드와, 상기 3차원 이미지를 저장하는 필드와, 상기 3차원 이미지의 종료를 표시하는 필드로 구성될 수 있다.
또한 본 발명의 실시예에 따른 서로 일정 거리 이격되어 설치되는 제1 및 제2카메라를 구비하는 영상처리장치의 이미지 표시 방법은 상기 제1 및 제2카메라를 구동하여 제1 및 제2이미지를 발생하는 과정과, 이미지 저장 모드시 상기 제1이미지 및 제2이미지를 부호화하여 하나의 이미지파일로 생성하여 저장하는 과정과, 이미지 재생 모드시 상기 부호화된 이미지파일에서 제1이미지 및 제2이미지를 각각 복호한 후 합성하여 3차원 이미지로 생성하여 표시하는 과정으로 이루어짐을 특징으로 한다.
그리고 상기 이미지파일을 생성하는 과정은 이미지파일의 시작표시 영역에 제1이미지의 시작 정보를 삽입하는 과정과, 이미지정보 저장 영역에 제1이미지의 정보들을 저장하는 과정과, 이미지 저장영역에 상기 제1이미지를 저장하는 과정과, 이미지파일의 종료 표시 영역에 상기 제1이미지의 종료를 표시하는 과정으로 상기 이미지파일을 생성하며, 상기 이미지 정보를 저장하는 필드에 상기 제2이미지 및 제2이미지임을 표시하는 헤더정보를 삽입하여 상기 메모리에 저장한다.
여기서 상기 이미지파일은 제이피이지 파일이 될 수 있으며, 상기 3차원 이미지 및 헤더를 저장하는 이미지 정보 필드는 이엑스아이에프 필드의 섬네일 필드가 될 수 있고, 상기 섬네일 필드는 상기 3D 이미지임을 표시하는 필드와, 3차원 이미지의 정보들을 저장하는 필드와, 상기 3차원 이미지를 저장하는 필드와, 상기 3차원 이미지의 종료를 표시하는 필드로 구성될 수 있다.
또한 본 발명의 실시예에 따른 서로 일정 거리 이격되어 설치되는 제1 및 제2카메라를 구비하는 영상처리장치의 영상처리 방법은, 3차원 영상처리모드시 상기 제1 및 제2카메라를 구동하고, 표시부의 3차원 이미지 표시 기능을 온시키는 과정과, 상기 제1 및 제2카메라에서 획득되는 제1 및 제2이미지를 합성하여 3차원 이미지를 표시하는 과정과, 이미지 저장 모드시 상기 제1이미지 및 3차원 이미지를 부호화하여 하나의 이미지파일로 생성하여 저장하는 과정과, 이미지 재생 모드시 상기 부호화된 이미지파일에서 상기 3차원 이미지를 복호한 후 합성하여 3차원 이미 지로 생성하여 표시하는 과정으로 이루어짐을 특징으로 한다.
도 1은 본 발명의 실시예에 따른 영상처리장치의 구성을 도시하는 도면이다. 이하 설명되는 본 발명의 실시예에서는 상기 3D 이미지를 생성하기 위하여 두 개의 카메라들을 이용하는 것으로 가정되어 설명될 것이다. 그러나 그래픽 작업을 통해 두 개 이상의 좌우 이미지들을 생성한 후, 이를 합성하여 3D 이미지로 만들 수 있으며, 또한 통신이 가능한 단말기인 경우 상기와 같은 좌우의 두 이미지들을 다운로드하여 3D 이미지로 생성할 수도 있다.
상기 도 1을 참조하면, 제1카메라120 및 제2카메라130은 영상처리장치의 서로 다른 위치에 일정 거리 이상 이격되어 설치된다. 상기 제1카메라120 및 제2카메라130은 사람의 양안(좌안 및 우안)에서 바라보는 이미지들을 획득할 수 있다.
영상처리부140은 상기 제1카메라120 및 제2카메라130에서 획득되는 이미지들을 합성하여 스테레오 이미지, 즉 3D 이미지로 생성하는 합성기와, 제1카메라120 또는 제2카메라130에서 획득되는 이미지 및(또는) 상기 생성된 3D 이미지를 부호화하는 영상코더와, 부호화된 이미지를 복호하는 영상디코더를 구비할 수 있다. 또한 상기 영상처리부120은 상기 제1카메라120 및 제2카메라130에서 출력되는 2D 이미지들을 부호화하는 영상코더와, 상기 부호화된 2D 이미지들을 복호하는 영상디코더와, 상기 복호된 2D 이미지들을 합성하여 3D 이미지로 생성하는 합성기로 구성될 수도 있다. 또한 상기 영상처리부140은 상기 카메라120 및 130에서 출력되는 이미지 데이터들 또는 상기 영상디코더에서 출력되는 복호 이미지를 표시부150의 크기로 스케일링하는 스케일러(scaler) 및 상기 카메라120 및 130의 칼러 데이터를 상 기 표시부150의 칼러 데이터로 변환하는 색변환기(color converter)들을 더 구비할 수 있다. 본 발명의 실시예에서 상기 영상코더 및 영상디코더(영상코덱)은 jpeg 코더 및 디코더라고 가정한다.
표시부150은 2D 이미지 및 3D 이미지를 선택적으로 표시할 수 있는 표시소자로 구성된다. 즉, 상기 표시부150은 특수 안경을 쓰지 않아도 양안(좌안 및 우안)의 시각 차이를 이용하여 각각 다른 화면이 보이도록 한 액정 표시 장치가 될 수 있다. 현재 상품화되어 있는 제품의 예로서, 샤프사의 RD3D는 전통적인 2D 능동 매트릭스 디스플레이의 뒷면에 시차 방벽(parallax barrier)이라는 또 다른 제2의 매트릭스를 추가하여, 2D 모드로 동작할 때는 투명하나, 3D 모드일 때는 전환형 LCD가 왼쪽과 오른쪽 눈에 교대로 픽셀을 보내 3D 효과를 일으키는 원리로 되어 있다. 상기 표시부150은 제어부100의 제어하에 표시모드가 설정되어 상기 2D 이미지 또는 3D 이미지를 선택적으로 표시할 수 있다.
키입력부160은 상기 영상처리장치의 동작을 제어하기 위한 키 명령을 발생한다. 상기 키입력부160은 사용자의 키 입력에 따라 2D 또는 3D 모드로 동작할 수 있는 동작 명령(카메라 촬영, 이미지 저장 및 재생 등) 들을 발생한다.
제어부100은 본 발명의 실시예에 따라 상기 영상처리장치의 2D 모드 및 3D 모드의 전반적인 동작을 제어한다. 상기 2D 모드시 상기 제어부100은 설정된 카메라(여기서는 제1카메라120으로 가정함)를 구동하고, 상기 영상처리부140을 제어하여 합성기의 동작을 비활성화시키며, 상기 표시부150의 3D 표시 기능을 오프시킨다. 따라서 상기 표시부150에는 상기 카메라120에서 촬영되는 2D 이미지가 상기 표 시부150에 2D 이미지로 표시된다. 그리고 상기 3D 모드 설정시 상기 제어부100은 상기 제1카메라120 및 제2카메라130을 모두 구동시키고, 상기 영상처리부140의 합성기의 동작을 활성화시키며, 상기 표시부150의 3D 표시 기능을 온시킨다. 그러면 상기 영상처리부140은 상기 제1카메라120 및 제2카메라130에서 촬영되는 2D 이미지들을 합성하여 3D 이미지를 생성하고, 상기 표시부150은 3D 표시 기능을 온시켜 상기 생성되는 3D 이미지를 표시한다.
메모리110은 상기 제어부100의 제어하에 저장모드시 상기 영상처리부140에서 부호화되는 2D 이미지 및 3D 이미지를 저장한다. 본 발명의 실시예에서 상기 메모리110에 저장되는 부호화된 이미지는 jpeg 포맷의 이미지라고 가정한다. 여기서 상기 2D 이미지 데이터인 경우, 상기 제어부100은 상기 메모리110에 jpeg 파일 포맷으로 저장한다. 그리고 상기 3D 이미지 데이터인 경우, 상기 제어부100은 설정된 2D 이미지 데이터(여기서는 상기 제1카메라120에서 촬영된 이미지 데이터)와 함께 3D 데이터 또는 다른 2D 이미지 데이터(여기서는 상기 제2카메라120에서 촬영된 이미지 데이터)를 이미지 정보 영역에 저장한다.
상기 도 1과 같은 구성을 가지는 본 발명의 실시예에 따른 영상처리장치의 동작을 도 2a 및 도 3b를 참조하여 설명한다. 상기 도 2a - 도 2c는 본 발명의 실시예에 따라 3D 이미지를 생성하는 절차를 설명하기 위한 도면이며, 도 3a - 도 3b는 본 발명의 실시예에 따라 상기 메모리110에 저장되는 3D 이미지의 저장 파일 포맷을 설명하기 위한 도면이다.
먼저 상기 3D 이미지의 생성 방법을 살펴본다.
상기 제1카메라120 및 제2카메라130에서 획득되는 2D 이미지들은 각각 도 2a 및 도 2b와 같은 제1이미지 및 제2이미지가 될 수 있다. 여기서 상기 제1카메라120 및 제2카메라130은 영상처리장치에서 일정 거리로 이격된 위치에 설치된다. 그러면 상기 영상처리부140은 상기 제1 및 제2이미지를 도 2c와 같이 라인(여기서는 column line) 단위로 인터레이스(interlace)시켜 합성된 이미지를 생성한다. 여기서 상기 컬럼 라인의 이미지들을 인터레이스시키는 이유는 사람의 좌안 및 우안이 컬럼 라인에서 차이를 발생하기 때문이다. 상기 합성 이미지는 3D 이미지가 된다.
두 번째로 상기 2D 이미지 및 3D 이미지를 저장하는 방법을 살펴본다. 여기서 상기 이미지 파일은 JPEG 파일 포맷으로 부호화되어 저장되는 것으로 가정한다.
상기 JPEG 파일 포맷은 상기 도 3a 및 도 3b와 같은 구조를 가진다.
상기 JPEG 파일 포맷은 상기 도 3a 및 도 3b에 도시된 바와 같이 SOI(start of image marker)를 저장하는 영역211, 이미지 정보를 저장하는 영역213, 이미지 데이터를 저장하는 영역215 및 EOI(end of image marker)를 저장하는 영역217로 구성된다. 여기서 상기 영역215에 저장되는 이미지 데이터는 기본으로 설정된 이미지 데이터(여기서는 상기 제1카메라120에서 획득되는 이미지 데이터)를 저장한다. 그리고 상기 SOI 영역211에 저장되는 데이터는 2D 이미지인 경우 2바이트의 "FFD8"이 될 수 있다. 그리고 상기 이미지정보 영역213에 저장되는 정보들은 상기 영역215에 저장되는 이미지의 양자화, 부호화 정보 및 촬영 정보 등이 될 수 있다. 상기 이미지정보 영역213에 저장되는 정보들은 DQT(define quantization table), DHT(define Huffman table), SOF(start of frame), SOS(start of scan), 응용정보(application), 커멘트(comment) 정보들이 될 수 있다. 상기 JPEG 파일 포맷 형식은 하기 <표 1>과 같이 표시할 수 있다.
SOI
APP1
COM
DQT
DHT
SOF
SOS
image data
EOI
본 발명의 실시예에서는 상기 3D 이미지 또는 상기 3D 이미지를 생성하기 위한 다른 2D 이미지(여기서는 상기 제2카메라130에서 획득된 이미지)를 상기 응용정보를 저장하는 영역220 또는 상기 커멘트 정보들을 저장하는 영역240에 저장한다.
이때 상기 영상처리부140은 상기 제1 및 제2이미지를 합성하여 3D 이미지를 생성한 후 이를 부호화하는 구성을 가진다고 가정한다. 이런 경우, 상기 제1카메라120에서 획득되는 제1이미지는 영상처리부140에서 부호화되며, 상기 제1이미지 및 상기 제2카메라130에서 획득되는 제2이미지는 합성되어 3D 이미지로 생성된 후 부호화된다. 이때 상기 제1이미지는 상기 영역215에 저장되며, 상기 3D 이미지는 상기 이미지정보 영역213의 응용영역222 또는 커멘트영역240에 저장될 수 있다.
먼저 상기 도 3a를 참조하여 상기 3D 이미지를 상기 응용정보를 저장하는 영역220에 저장하는 방법을 살펴본다.
상기 제어부100은 JPEG 파일의 SOI 영역211에 JPEG의 2차원 이미지임을 표시하는 마커 "FFD8"을 마킹하고, 상기 영역215에서 부호화된 상기 제1이미지를 저장한다. 그리고 상기 영역213의 응용정보 APP1을 저장하는 영역220의 섬네일 영역230에 상기 3D 이미지를 저장한다. 여기서 상기 응용정보 APP1을 저장하는 영역220은 exif 정보를 저장할 수 있으며, 상기 exif 정보는 촬영 날짜(Shoot Datetime), 사진의 크기(Image Size), 노출 시간(Exposure Time:셔터 스피드), 촬영 프로그램(Exposure Program), 렌즈 초점 길이(Focal Length), 조리개 개방 수치(F-Number)등의 촬영에 따른 세부적인 부가정보 및 상기 이미지의 섬네일 이미지를 기록할 수 있다. 이때 상기 섬네일 이미지를 저장하는 영역230은 가변 크기를 가진다. 본 발명의 실시예에서는 상기 섬네일 저장 영역230에 상기 영역215에 저장된 이미지의 섬네일 이미지 대신에 상기 3D 이미지 및 이에 관련된 이미지 정보들을 저장한다.
본 발명의 실시예에서는 상기 도 3a에 도시된 바와 같이 상기 섬네일 영역230에 3D 이미지를 저장하는 경우, 섬네일 영역230을 섬네일 영상임을 표시하는 섬네일 태그(thumbnail tag) 정보를 저장하는 영역231 다음에 SOI 저장영역233, 3D 이미지의 정보를 저장하는 영역235, 3D 이미지를 저장하는 영역237 및 EOI 저장 영역239로 구성한다. 이때 상기 SOI는 상기 영역211에 저장되는 SOI와 다른 정보로 저장한다. 즉, 상기 영역211에 저장되는 SOI는 "FFD8"로 2D 이미지임을 표시하는 마커(marker)이다. 그러므로 상기 섬네일 영역230에 저장되는 이미지는 3D 이미지임을 표시할 수 있도록, 상기 SOI 영역233에 저장되는 SOI는 "FFD8"과 다른 3D 이미지임을 표시하는 값으로 저장한다.
상기한 바와 같이 본 발명의 첫 번째 3D 이미지 저장 방법은 하기 <표 2>와 같이 이미지 정보를 저장하는 영역에 2D 이미지인 제1이미지를 저장하고, 이미지정보를 저장하는 영역의 섬네일 정보 저장 영역에 3D 이미지임을 표시하는 마커 및 3D 이미지를 저장한다. 따라서 하나의 JPEG 파일 포맷에 2D 이미지 및 3D 이미지를 저장할 수 있게 된다. 이때 상기 JPEG 파일의 포맷은 하기 <표 2> 및 <표 3>과 같은 구조를 가질 수 있다. 이때 상기 3D 이미지를 저장하는 영역에 저장되는 이미지는 부호화된 3D 이미지, 부호화된 제2이미지, 부호화되지 않은 3D 이미지 또는 부호화되지 않은 제2이미지들 중의 하나가 될 수 있다.
SOI
APP1 exif 영역의 섬네일 영역에 3D 이미지 및 3D 이미지임을 표시하는 헤더정보를 표시
COM
DQT
DHT
SOF
SOS
제1 image data (2D 데이터)
EOI
섬네일 영역
thumbnail tag
SOI (3D 이미지임을 나타내는 정보로 변경)
COM
DQT
DHT
SOF
SOS
부호화된 3D image data (또는 부호화된 제2 이미지(2D 이미지)) (또는 부호화되지 않은 3D 이미지) (또는 상기 부호화되지 않은 제2 이미지)
EOI
두 번째로 상기 도 3b를 참조하여 상기 3D 이미지를 상기 응용정보를 저장하는 영역220에 저장하는 방법을 살펴본다.
상기 제어부100은 JPEG 파일의 SOI 영역211에 JPEG의 2차원 이미지임을 표시하는 마커 "FFD8"을 마킹하고, 상기 영역215에서 부호화된 상기 제1이미지를 저장한다. 그리고 상기 영역213의 응용정보 APP1을 저장하는 영역220에 3D 이미지임을 표시하는 정보를 저장하고, 커멘트 정보 COM을 저장하는 영역240에 상기 3D 이미지를 저장한다. 여기서 상기 응용정보 APP1을 저장하는 영역220은 상기한 바와 같이 exif 정보를 저장할 수 있으며, 상기 exif 사용자 커멘트(user comment) 영역251에 3D 사진임을 표시할 수 있다. 즉, 상기 커멘트 영역240에 3D 이미지를 저장하는 경우, 상기 응용정보 APP1을 저장하는 영역 220의 exif 데이터 영역의 사용자 커멘트 영역 필드251에 3D 이미지임을 표시한다. 그리고 상기 3D 이미지임을 표시하는 정보는 exif의 다른 영역이나 JPEG 파일의 다른 헤더 영역 253(예를들면 커멘트 영역240의 3D 데이터 앞 부분)에 표시할 수도 있다.
상기한 바와 같이 본 발명의 두 번째 3D 이미지 저장 방법은 이미지 정보를 저장하는 영역에 2D 이미지인 제1이미지를 저장하고, 이미지정보를 저장하는 응용정보 영역의 특정 정보를 저장하는 영역(여기서는 exif 데이터의 사용자 커멘트 필드 또는 섬네일 영역의 앞부분)에 3D 이미지임을 표시하는 정보를 저장하고, 커멘트 정보를 저장하는 영역에 3D 이미지를 저장한다. 따라서 하나의 JPEG 파일 포맷에 2D 이미지 및 3D 이미지를 저장할 수 있게 된다. 이때 상기 JPEG 파일의 포맷은 하기 <표 4> 및 <표 5>와 같은 구조를 가질 수 있다. 이때 상기 3D 이미지를 저장하는 영역에 저장되는 이미지는 부호화된 3D 이미지, 부호화된 제2이미지, 부호화되지 않은 3D 이미지 또는 부호화되지 않은 제2이미지들 중의 하나가 될 수 있다.
SOI
APP1 exif user comment 영역에 3D 이미지임을 표시하는 헤더정보를 표시
COM 부호화된 3D image data (또는 부호화된 제2 이미지(2D 이미지)) (또는 부호화되지 않은 3D 이미지) (또는 상기 부호화되지 않은 제2 이미지)
DQT
DHT
SOF
SOS
제1 image data (2D 데이터)
EOI
SOI
3D 표시 정보는 exif의 일부 영역이나 COM 영역의 데이터 앞부분에 표시 가능함
COM 부호화된 3D image data (또는 부호화된 제2 이미지(2D 이미지)) (또는 부호화되지 않은 3D 이미지) (또는 상기 부호화되지 않은 제2 이미지)
DQT
DHT
SOF
SOS
제1 image data (2D 데이터)
EOI
상기한 바와 같이 본 발명의 3D 이미지 저장 방법은 이미지 정보를 저장하는 영역에 2D 이미지인 제1이미지를 저장하고, 이미지정보를 저장하는 특정 영역에 3D 이미지임을 표시하는 마커 및 3D 이미지를 저장한다. 따라서 하나의 JPEG 파일 포맷에 2D 이미지 및 3D 이미지를 저장할 수 있게 된다.
도 4a 및 도 4b는 본 발명의 실시예에 따른 영상처리부140의 구성 예를 도시하고 있다. 상기 도 4a는 본 발명의 실시예에 따른 상기 영상처리부140의 구성을 도시하는 도면으로, 상기 영상처리부140은 제1카메라120 및 제2카메라130에서 촬영되는 영상데이타를 합성하여 3D 이미지를 생성하고, 상기 생성된 3D 이미지를 JPEG 표준 파일에 맞게 부호화하는 구성을 구비한다. 상기 도 4b는 본 발명의 다른 실시예에 따른 영상처리부140의 구성을 도시하는 도면으로, 상기 영상처리부140은 상기 제1카메라120 및 제2카메라130에서 획득되는 제1 및 제2이미지를 각각 부호화하여 하나의 JPEG 파일에 저장하고, 상기 부호화된 제1 및 제2이미지를 각각 복호한 후 합성하여 3D 이미지로 표현하는 구성을 구비한다.
상기 도 4a 및 도 4b의 구성에서 상기 영상코더320 및 영상디코더330은 JPEG 코덱으로 구성할 수 있다.
상기 도 4a를 참조하면, 스케일러340 및 350은 카메라120 및 130에서 획득되는 상기 제1 및 제2이미지를 상기 표시부150에서 표시할 수 있는 이미지의 크기로 각각 스케일링한다. 여기서 상기 제1 및 제2이미지는 2D 이미지로써, 일정 거리 이격되어 촬영된 이미지들이다. 그러면 상기 영상코더320은 상기 스케일러340에서 출력되는 제1이미지를 JPEG 코딩하며, 합성기310은 상기 제1 및 제2이미지를 상기 도 2c와 같은 방법으로 합성하여 3D 이미지로 생성한다. 그러면 상기 영상코더320은 상기 합성기310에서 출력되는 3D 이미지를 JPEG 코딩한다.
그러면 상기 제어부100은 상기 영상코더320에서 코딩되는 상기 제1이미지 및 3D 이미지를 JPEG 파일의 포맷에 따라 3D JPEG 파일을 생성하여 상기 메모리110에 저장한다. 상기 도 4a는 상기 제1이미지 및 3D 이미지를 부호화하여 3D JPEG 파일 포맷으로 저장하는 예를 도시하고 있다. 그러나 상기 3D 이미지는 부호화하지 않은 비압축된 이미지로 저장할 수 있다. 이런 경우 상기 영상코더320은 상기 3D 이미지를 부호화하지 않으며, 상기 제어부100은 상기 3D 이미지(raw 3D image)를 상기 3D JPEG 파일 포맷으로 상기 메모리110에 저장할 수 있다. 이때 상기 3D JPEG 파일 포맷은 상기 <표 2> - <표 5>과 같은 구조를 가질 수 있다.
그리고 상기와 같이 메모리110에 저장된 3D 이미지를 표시하는 동작을 살펴보면, 상기 제어부100은 상기 메모리110에서 선택된 jpeg 파일을 억세스하여 이미지정보213 영역의 응용정보 APP1을 분석한다. 이때 exif 사용자 커멘트 영역 또는 섬네일 영역의 헤더에 3D 이미지임을 표시하는 정보가 존재하면, 상기 제어부100은 상기 JPEG 파일이 3D jpeg 파일임을 감지하고, 부호화된 3D 이미지를 상기 영상디코더330에 인가한다. 그러면 상기 영상디코더330은 상기 부호화된 3d 이미지를 복호하며, 색변환기360은 상기 복호된 3D 이미지를 상기 표시부150의 컬러로 변환하여 출력한다. 이때 상기 제어부100은 상기 표시부150에 3D 이미지를 표시할 수 있도록 제어하고, 이에 따라 상기 표시부150은 상기 색변환기360에서 출력되는 3D 이미지를 표시한다.
상기 도 4b를 참조하면, 스케일러340 및 350은 카메라120 및 130에서 획득되는 상기 제1 및 제2이미지를 상기 표시부150에서 표시할 수 있는 이미지의 크기로 각각 스케일링한다. 그리고 상기 영상코더320은 상기 스케일러340 및 350에서 출력되는 제1이미지 및 제2이미지를 JPEG 코딩한다.
그러면 상기 제어부100은 상기 영상코더320에서 코딩되는 상기 제1이미지 및 3D 이미지로 사용하기 위한 제2이미지를 JPEG 파일의 포맷에 따라 3D JPEG 파일로 생성하여 상기 메모리110에 저장한다. 상기 도 4a는 상기 제1이미지 및 제1 이미지를 부호화하여 3D JPEG 파일 포맷으로 저장하는 예를 도시하고 있다. 그러나 상기 제2 이미지는 부호화하지 않은 비압축된 이미지로 저장할 수 있다. 이런 경우 상기 영상코더320은 상기 제2이미지를 부호화하지 않으며, 상기 제어부100은 부호화한 제1이미지 및 부호화하지 않은 상기 제2이미지를 상기 3D JPEG 파일 포맷으로 상기 메모리110에 저장할 수 있다. 이때 상기 3D JPEG 파일 포맷은 상기 <표 2> - <표 5>과 같은 구조를 가질 수 있다.
그리고 상기와 같이 메모리110에 저장된 3D 이미지를 표시하는 동작을 살펴보면, 상기 제어부100은 상기 메모리110에서 선택된 jpeg 파일을 억세스하여 이미지정보213 영역의 응용정보 APP1을 분석한다. 이때 exif 사용자 커멘트 영역 또는 섬네일 영역의 헤더에 3D 이미지임을 표시하는 정보가 존재하면, 상기 제어부100은 상기 JPEG 파일이 3D jpeg 파일임을 감지하고, 부호화된 제1 및 제2 이미지를 상기 영상디코더330에 인가한다. 그러면 상기 영상디코더330은 상기 부호화된 상기 제1 및 제2이미지를 복호하며, 합성기310은 상기 복호된 제1 및 제2이미지를 상기 도 2c와 같이 합성하여 3D 이미지로 생성한다. 그리고 상기 색변환기360은 상기 생성된 3D 이미지를 상기 표시부150의 컬러로 변환하여 출력한다. 이때 상기 제어부100은 상기 표시부150에 3D 이미지를 표시할 수 있도록 제어하고, 이에 따라 상기 표시부150은 상기 색변환기360에서 출력되는 3D 이미지를 표시한다.
상기 도 4a 및 도 4b는 상기 제1카메라120 및 제2카메라130에서 획득되는 제1 및 제2이미지들을 각각 스케일러340 및 350을 통해 상기 표시부150에서 표시할 수 있는 이미지 크기로 스케일링한 후 3D 데이터를 생성하고, 상기 생성된 3D 데이터를 색변환기360을 통해 상기 표시부150의 컬러로 변환하는 구성을 예로들어 설명하고 있다. 그러나 상기 합성기310 및 영상코더320에 인가되는 상기 이미지는 상기 카메라120 및 130에서 출력되는 스케일링 이전의 이미지가 될 수 있으며, 색변환기360에서 출력되는 이미지가 될 수도 있다.
또한 상기 도 4a 및 도 4b에서 합성기310은 버퍼를 구비할 수 있다. 즉, 상기 합성기310은 제1이미지 및 제2이미지를 합성하여 3D 이미지를 생성한다. 따라서 상기 합성된 3D 이미지를 생성하기 위한 타이밍을 조절하기 위하여 버퍼를 구비하고, 상기 버퍼링된 이미지들을 합성하여 3D 이미지를 생성하는 구조를 가질 수 있다.
도 5는 상기와 같은 구성을 가지는 영상처리장치에서 영상을 획득하여 저장하는 절차를 도시하는 흐름도이다.
상기 도 5를 참조하면, 사용자가 카메라 모드를 설정하면, 상기 제어부100은 411단계에서 이를 감지하고, 413단계에서 사용자가 설정한 카메라모드가 3D 이미지를 처리하기 위한 카메라모드인지 검사한다. 즉, 영상처리장치의 사용자는 상기 카메라 구동시 2D 또는 3D 이미지를 처리하기 위한 모드를 설정한다.
이때 사용자가 3D 이미지 처리모드를 선택하면, 상기 제어부100은 413단계에서 이를 감지하고, 415단계에서 상기 카메라120 및 130을 구동하고 상기 표시부150를 3D 표시 온 모드로 설정한다. 그러면 상기 카메라120 및 130이 구동되어 각각 2D 이미지들을 발생하며, 표시부150은 상기 시차 방벽(parallax barrier)을 온시켜 3D 이미지를 표시할 수 있도록 설정한다. 그리고 상기 카메라120 및 130에서 발생되는 제1 및 제2이미지를 상기 도 2c와 같은 방법으로 합성하여 3D 이미지를 생성하며, 상기 표시부150은 상기 3D 이미지를 표시한다. 이때 상기 표시부150에서 표시되는 3D 이미지는 제1 및 제2이미지가 합성된 이미지이므로, 사용자의 좌안 및 우안으로 보이는 이미지는 입체적인 효과를 가지게 된다. 상기와 같은 상태는 상기 카메라120 및 130에서 획득되는 이미지들을 3D 이미지로 변환하여 표시하는 프리뷰(preview) 상태가 된다.
상기와 같은 상태에서 사용자가 촬영키(저장명령)를 발생하면, 상기 제어부100은 421단계에서 이를 감지하고, 423단계에서 상기 획득되는 제1 및 제2이미지를 처리하여 3D JPEG 파일로 상기 메모리110에 저장한다. 이때 상기 3D JPEG 파일로 저장하는 방법은 상기 도 3a - 도 3b 및 <표 2> -<표 5>와 같은 방법들 중에서 한 가지 방법을 사용할 수 있다. 즉, 상기 3D JPEG 파일은 커멘트 영역 또는 exif의 섬네일 영역 등에 상기 3D 데이터를 압축 또는 비압축 상태로 저장되는 구조를 가진다. 이때 상기 exif의 섬네일 영역에 3D 데이터를 저장하는 방법은 상기 도 3a 및 <표 2> - <표 3>에 나타낸 바와 같이 3D 이미지의 헤더를 변경하여 저장하거나 또는 3D 데이터의 앞부분에 다른 정보(3D 이미지임을 나타내는 정보)를 삽입하여 섬네일로 표시하지 않도록 한다. 이는 상기 3D 이미지가 섬네일 이미지로 인식되면 다른 장치에서 섬네일이 비정상적으로 보일 수 있기 때문이다. 또한 상기 커멘트 영역에 상기 3D 이미지를 저장하는 방법은 상기 도 3b 및 <표 4> - <표 5>에 나타낸 바와 같이 커멘트 영역에 저장된 이미지가 3D 이미지임을 나타내는 정보를 삽입한다. 즉, 상기 커멘트 영역에 저장된 정보가 3D 이미지임을 판단할 수 있도록, 상기 exif 영역의 사용자 커멘트 필드에 3D 영상임을 나타내는 정보를 표시하거나, 또는 jpeg 파일의 다른 헤더 영역(여기서는 섬네일 영역의 앞부분)에 표시할 수 있다.
여기서 상기 3D 이미지는 상기 제1 및 제2이미지를 합성한 이미지가 될 수 있으며, 또한 상기 제1이미지와 합성하기 위한 제2이미지가 될 수 있다. 상기 제어부100은 상기 JPEG 파일 포맷의 설정된 영역에 상기 3D 이미지를 저장한다. 이때 상기 설정된 영역은 exif의 섬네일 영역 또는 커멘트 영역이 될 수 있으며, 어느 한 가지 방법으로 미리 설정된다. 그리고 상기 3D 정보임을 표시하는 헤더 정보는 exif의 사용자 커멘트 영역 등의 exif내의 필드, 섬네일 영역의 앞부분, 또는 상기 섬네일 영역 내에 표시할 수 있으며, 이들 중 어느 한 가지 방법으로 미리 설정된다.
또한 상기 3D 이미지는 영상코더320에서 부호화된 이미지가 될 수 있으며, 부호화되지 않은 비압축 이미지가 될 수도 있다. 이때 상기 부호화된 이미지인 경우에는 상기와 같은 방법으로 3D JPEG 파일을 생성하며, 비압축 이미지인 경우에는 상기 제어부100이 상기 제2카메라130에서 발생되는 제2이미지 또는 상기 합성기310에서 생성되는 합성 이미지를 상기 3D JPEG 파일의 설정된 영역에 저장한다.
상기와 같이 3D 이미지를 생성하여 저장한 후, 상기 제어부100은 상기 417단계로 진행하여 상기 3D 이미지의 프리뷰 동작 및 촬영 동작을 반복 수행한다. 그리고 상기와 같은 상태에서 종료 명령이 발생되면, 상기 제어부100은 425단계에서 이를 감지하고 상기 카메라120 및 130의 구동을 종료시키면서 상기 카메라모드를 종료한다.
또한 상기 413단계에서 3D 이미지처리모드가 아니면, 상기 제어부100은 2D 이미지 처리모드임을 감지하고 431단계에서 상기 표시부150의 3D 표시 기능을 오프시키고 상기 제1카메라120을 구동한다. 이때 상기 표시부150의 3D 표시 기능을 오프시키는 이유는 상기 표시부150이 3D 표시 기능이 온된 상태에서는 상기 2D 이미지를 제대로 표시할 수 없기 때문이다. 그리고 상기 영상처리부140은 제1이미지만 입력하는 상태이므로, 상기 합성기210은 상기 제1이미지를 그대로 바이패스시킨다. 따라서 상기 제어부100은 433단계에서 상기 제1이미지가 표시부150에 2D 이미지로 표시되도록 제어한다. 상기와 같은 프리뷰 표시 상태에서 촬영 명령이 발생되면, 상기 제어부100은 435단계에서 이를 감지하고 437단계에서 상기 제1이미지를 2D JPEG 파일 포맷으로 상기 메모리110에 저장한다. 이때 상기 섬네일 영역은 정상적인 2D 구조를 가지는 제1이미지의 섬네일 이미지를 저장한다. 상기와 같은 동작은 종료시까지 유지되면, 상기 종료 명령이 발생되면, 상기 제어부100은 439단계에서 이를 감지하고 상기 2D 카메라 처리 모드를 종료한다.
도 6은 상기와 같은 구성을 가지는 영상처리장치에서 저장된 3D JPEG 파일을 재생하는 절차를 도시하는 흐름도이다.
상기 도 6을 참조하면, 사용자가 영상처리장치에 저장된 이미지를 선택하면, 상기 제어부100은 511단계에서 이미지 재생임을 감지하고, 513단계에서 저장된 이미지를 분석하여 2D 이미지인지 아니면 3D 이미지인지를 검사한다. 즉, 상기 제어부100은 상기 JPEG 이미지 파일의 헤더 정보를 분석하여 이미지가 2D 이미지인지 아니면 3D 이미지인지를 판단할 수 있다. 상기한 바와 같이 3D JPEG 파일은 섬네일 영역의 SOI 정보, exif의 사용자 커멘트 또는 exif의 특정위치의 헤더 정보에 3D 이미지임을 나타내는 정보를 저장하고 있다. 여기서 상기 3D 이미지임을 확인하면, 상기 제어부100은 515단계에서 상기 표시부150의 3D 표시 기능을 온시키고 517단계에서 상기 메모리110에 저장된 3D JPEG 파일 포맷에서 3D 이미지를 복호한 후, 519단계에서 이를 3D 이미지로 표시한다.
상기 3D 이미지 재생은 상기 섬네일 영역 또는 커멘트 영역에 저장된 이미지에 따라 달라지게 된다. 즉, 상기 저장된 이미지가 합성되어 부호화된 이미지이면, 상기 제어부100은 517단계에서 상기 영상처리부140의 영상디코더330을 제어하여 복호한 후 상기 표시부150을 통해 재생한다. 또한 상기 저장된 3D 이미지가 부호화된 제2이미지이면, 상기 제어부100은 517단계에서 상기 영상처리부140의 영상디코더330을 통해 상기 부호화된 제1 및 제2이미지를 복호하고, 상기 복호된 제1 및 제2이미지를 상기 도 2c와 같이 합성하여 3D 이미지를 생성한 후 표시부150을 통해 표시한다. 또한 상기 저장된 3D 이미지가 비압축된 합성 이미지이면, 상기 제어부100은 상기 비압축된 합성이미지를 상기 표시부150을 통해 표시한다. 또한 상기 저장된 3D이미지가 비압축된 제2이미지면, 상기 제어부100은 상기 영상처리부140의 영상디코더330을 제어하여 상기 제1이미지를 복호한 후, 상기 합성기310을 통해 상기 복호된 제1이미지 및 비압축 상태의 제2이미지를 합성하여 상기 도 2c와 같은 합성된 3D 이미지를 생성하고, 상기 생성된 3D 이미지를 표시부150을 통해 표시한다.
또한 상기 이미지자 2D 이미지이면 상기 제어부100은 513단계에서 이를 감지하고, 523단계에서 상기 표시부150의 3D 표시기능을 오프시킨 후, 525단계 및 527단계를 수행하면서 상기 2D 데이터를 복호한 후 표시한다.
상기 영상처리장치는 디지털 카메라 또는 복수의 카메라들을 구비하는 단말기 등에서 사용될 수 있다. 도 7a 및 도 7b는 본 발명의 실시예에 따른 영상처리장치가 휴대단말기에 적용된 예의 구성을 도시하는 도면이다.
상기 도 7a를 참조하면, 상기 카메라120 및 130은 휴대단말기의 외부에 설치될 수 있다. 이때 상기 카메라120 및 130은 수평에서 일정 거리 이격되어 설치될 수 있다. 이때 상기 거리 간격은 휴대단말기의 설치 위치에 의해 결정될 수 있으며, 2cm 이상 떨어지는 것이 바람직하다. 또한 상기 휴대단말기에 설치할 수 있는 카메라들의 위치의 여유가 있으면, 상기 거리 간격은 사람의 양안(좌안 및 우안) 간격 정도로 이격되는 것이 바람직하다. 이런 경우 하나의 카메라는 사람의 좌안에서 볼 수 있는 이미지를 획득하고 다른 하나의 카메라는 우안에서 볼 수 있는 이미지를 획득할 수 있다. 따라서 상기 카메라120 및 카메라130에서 획득되는 이미지는 사람의 좌안 및 우안에서 볼 수 있는 각각 대응되는 이미지들이 될 수 있다.
도 7b를 참조하면, RF통신부170은 휴대단말기의 RF 통신 기능을 처리한다. 그리고 상기 제어부100은 휴대단말기의 단말 제어부가 될 수 있다. 따라서 상기 제어부100은 상기 RF통신부170을 제어하여 휴대단말기의 무선 통신 기능을 제어하며, 또한 본 발명의 실시예에 따른 2D/3D 이미지 처리 기능을 제어한다. 그리고 상기 메모리110, 키입력부160 및 표시부150은 상기 도 1의 영상처리장치에서 기능을 수행하는 동시에 휴대단말기의 통신 기능을 수행할 수 있다.
상술한 바와 같이 본 발명의 실시예에 따른 영상처리장치는 2D 이미지파일의 포맷을 유지하는 3D 이미지 파일의 포맷을 제공할 수 있다. 또한 본 발명의 실시예에 따른 영상처리장치는 일반적인 2D 이미지 파일 및 3D 이미지 파일을 선택적으로 처리할 수 있다. 즉, 본 발명의 실시예에 따른 영상처리장치는 3D 영상을 생성할 때 일반 영상처리장치와 호환되면서 동시에 3D 영상 처리를 가능하게 할 수 있으며, 따라서 새로운 3D 영상을 위한 제작 및 촬영을 지원하는 장치 개발시 제안된 포맷을 사용하여 저장하면 두 이미지 간의 호환성을 해결할 수 있는 이점이 있다.

Claims (29)

  1. 이미지 파일 장치에 있어서,
    2차원 이미지의 시작을 표시하는 필드와,
    2차원 이미지의 정보들을 저장하는 필드와,
    상기 2차원 이미지를 저장하는 필드와,
    상기 2차원 이미지의 종료를 표시하는 필드로 구성되며,
    상기 이미지 정보를 저장하는 필드에 상기 2차원 이미지에 관련된 3차원 이미지 및 3차원 이미지임을 표시하는 헤더정보를 삽입하는 것을 특징으로 이미지파일 장치.
  2. 제1항에 있어서, 상기 이미지파일은 제이피이지 파일인 것을 특징으로 하는 상기 이미지파일 장치.
  3. 제2항에 있어서, 3차원 이미지 및 헤더를 저장하는 이미지 정보 필드가 이엑스아이에프 필드의 섬네일 필드인 것을 특징으로 하는 상기 이미지파일 장치.
  4. 제3항에 있어서, 상기 섬네일 필드가,
    상기 3D 이미지임을 표시하는 필드와,
    3차원 이미지의 정보들을 저장하는 필드와,
    상기 3차원 이미지를 저장하는 필드와,
    상기 3차원 이미지의 종료를 표시하는 필드로 구성된 것을 특징으로 하는 상기 이미지파일 장치.
  5. 제2항에 있어서, 상기 3차원 이미지 및 헤더를 저장하는 이미지 정보필드가,
    상기 3차원 이미지를 저장하는 커멘트필드와, 상기 3차원 이미지헤더를 저장하는 이엑스아이에프 필드의 사용자 커멘트필드인 것을 특징으로 하는 상기 이미지파일 장치.
  6. 제2항에 있어서, 상기 3차원 이미지 및 헤더를 저장하는 이미지 정보필드가,
    상기 3차원 이미지를 저장하는 커멘트필드와, 상기 3차원 이미지헤더를 저장하는 이엑스아이에프 영역의 특정 필드인 것을 특징으로 하는 상기 이미지파일 장치.
  7. 제2항에 있어서, 상기 3차원 이미지는 상기 2차원 이미지 및 2차원 이미지와 다른 위치에 촬영된 제2이미지를 라인 단위로 합성한 이미지인 것을 특징으로 하는 상기 이미지 파일 장치.
  8. 제2항에 있어서, 상기 3차원 이미지는 상기 2차원 이미지 및 2차원 이미지와 다른 위치에 촬영된 제2이미지인 것을 특징으로 하는 상기 이미지 파일 장치.
  9. 제2항에 있어서, 상기 3차원 이미지는 상기 2차원 이미지 및 2차원 이미지와 다른 위치에 촬영된 제2이미지를 라인 단위로 합성한 비압축 이미지인 것을 특징으로 하는 상기 이미지 파일 장치.
  10. 제2항에 있어서, 상기 3차원 이미지는 상기 2차원 이미지 및 2차원 이미지와 다른 위치에 촬영된 비압축 제2이미지인 것을 특징으로 하는 상기 이미지 파일 장치.
  11. 영상처리장치에 있어서,
    제1 및 제2이미지를 발생하며, 서로 일정 거리 이격되어 설치되는 제1 및 제2카메라와,
    상기 제1 및 제2이미지를 수신하여 3차원 이미지를 발생하는 영상처리부와,
    상기 제1이미지 및 3차원 이미지를 하나의 이미지파일로 생성하는 제어부와,
    상기 생성된 이미지파일을 저장하며, 상기 제어부의 제어하에 재생모드시 상기 이미지파일을 상기 영상처리부에 인가하는 메모리와,
    3차원 이미지 표시를 위한 시차 방벽을 구비하며, 상기 제어부에 의해 상기 시차 방벽이 제어되어 3차원 이미지 처리모드시 상기 3차원 이미지를 표시하고 2차원 이미지를 표시하는 표시부로 구성된 것을 특징으로 하는 상기 영상처리장치.
  12. 제11항에 있어서, 상기 제어부가
    제1이미지의 시작을 표시하는 필드와, 제1이미지의 정보들을 저장하는 필드와, 상기 제1이미지를 저장하는 필드와, 상기 제1이미지의 종료를 표시하는 필드로 구성되는 이미지파일 포맷을 생성하며, 상기 이미지 정보를 저장하는 필드에 상기 2차원 이미지에 관련된 3차원 이미지 및 3차원 이미지임을 표시하는 헤더정보를 삽입하여 상기 메모리에 저장하는 것을 특징으로 하는 상기 영상처리장치.
  13. 제12항에 있어서, 상기 이미지파일은 제이피이지 파일인 것을 특징으로 하는 상기 영상처리 장치.
  14. 제13항에 있어서, 3차원 이미지 및 헤더를 저장하는 이미지 정보 필드가 이엑스아이에프 필드의 섬네일 필드인 것을 특징으로 하는 상기 영상처리 장치.
  15. 제14항에 있어서, 상기 섬네일 필드가,
    상기 3D 이미지임을 표시하는 필드와,
    3차원 이미지의 정보들을 저장하는 필드와,
    상기 3차원 이미지를 저장하는 필드와,
    상기 3차원 이미지의 종료를 표시하는 필드로 구성된 것을 특징으로 하는 상기 영상처리 장치.
  16. 제13항에 있어서, 상기 영상처리부가,
    상기 제1이미지 및 제2이미지를 라인 단위로 합성하여 3차원 이미지를 발생하는 합성기와,
    상기 제1이미지 및 상기 3차원 이미지를 부호화하는 영상코더와,
    상기 부호화된 이미지를 복호하는 영상디코더로 구성된 것을 특징으로 하는 상기 영상처리장치.
  17. 제13항에 있어서, 상기 영상처리부가,
    상기 제1이미지 및 상기 3차원 이미지로 사용할 제2이미지를 부호화하는 영상코더와,
    상기 부호화된 제1이미지 및 제2이미지를 복호하는 영상디코더와,
    상기 부호화된 제1 및 제2이미지를 라인단위로 합성하여 3차원 이미지로 발생하는 합성기로 구성된 것을 특징으로 하는 상기 영상처리장치.
  18. 제16항 또는 제17항에 있어서, 상기 영상처리부가,
    상기 제1 및 제2이미지를 상기 표시부의 표시화면 크기로 각각 스케일링하는 스케일러와,
    상기 이미지의 컬러를 상기 표시부의 컬러 데이터로 변환하는 색변환기를 더 구비함을 특징으로 하는 상기 영상처리장치.
  19. 서로 일정 거리 이격되어 설치되는 제1 및 제2카메라를 구비하는 영상처리장치의 이미지파일 저장방법에 있어서,
    상기 제1 및 제2카메라를 구동하여 제1 및 제2이미지를 발생하는 과정과,
    상기 제1 및 제2이미지를 합성하여 3차원 이미지를 발생하는 과정과,
    상기 제1이미지 및 3차원 이미지를 하나의 이미지파일로 생성하여 저장하는 과정으로 이루어짐을 특징으로 하는 상기 영상처리 방법.
  20. 제19항에 있어서, 상기 이미지파일을 생성하는 과정이,
    이미지파일의 시작표시 영역에 제1이미지의 시작 정보를 삽입하는 과정과,
    이미지정보 저장 영역에 제1이미지의 정보들을 저장하는 과정과,
    이미지 저장영역에 상기 제1이미지를 저장하는 과정과,
    이미지파일의 종료 표시 영역에 상기 제1이미지의 종료를 표시하는 과정으로 상기 이미지파일을 생성하며,
    상기 이미지 정보를 저장하는 필드에 상기 2차원 이미지에 관련된 3차원 이미지 및 3차원 이미지임을 표시하는 헤더정보를 삽입하여 상기 메모리에 저장함을 특징으로 하는 상기 영상처리방법.
  21. 제20항에 있어서, 상기 이미지파일은 제이피이지 파일인 것을 특징으로 하는 상기 영상처리 방법.
  22. 제21항에 있어서, 3차원 이미지 및 헤더를 저장하는 이미지 정보 필드가 이엑스아이에프 필드의 섬네일 필드인 것을 특징으로 하는 상기 영상처리 방법.
  23. 제22항에 있어서, 상기 섬네일 필드가,
    상기 3D 이미지임을 표시하는 필드와,
    3차원 이미지의 정보들을 저장하는 필드와,
    상기 3차원 이미지를 저장하는 필드와,
    상기 3차원 이미지의 종료를 표시하는 필드로 구성된 것을 특징으로 하는 상기 영상처리 방법.
  24. 서로 일정 거리 이격되어 설치되는 제1 및 제2카메라를 구비하는 영상처리장치의 영상처리 방법에 있어서,
    상기 제1 및 제2카메라를 구동하여 제1 및 제2이미지를 발생하는 과정과,
    이미지 저장 모드시 상기 제1이미지 및 제2이미지를 부호화하여 하나의 이미지파일로 생성하여 저장하는 과정과,
    이미지 재생 모드시 상기 부호화된 이미지파일에서 제1이미지 및 제2이미지를 각각 복호한 후 합성하여 3차원 이미지로 생성하여 표시하는 과정으로 이루어짐 을 특징으로 하는 상기 영상처리 방법.
  25. 제24항에 있어서, 상기 이미지파일을 생성하는 과정이,
    이미지파일의 시작표시 영역에 제1이미지의 시작 정보를 삽입하는 과정과,
    이미지정보 저장 영역에 제1이미지의 정보들을 저장하는 과정과,
    이미지 저장영역에 상기 제1이미지를 저장하는 과정과,
    이미지파일의 종료 표시 영역에 상기 제1이미지의 종료를 표시하는 과정으로 상기 이미지파일을 생성하며,
    상기 이미지 정보를 저장하는 필드에 상기 제2이미지 및 제2이미지임을 표시하는 헤더정보를 삽입하여 상기 메모리에 저장함을 특징으로 하는 상기 영상처리방법.
  26. 제25항에 있어서, 상기 이미지파일은 제이피이지 파일인 것을 특징으로 하는 상기 영상처리 방법.
  27. 제26항에 있어서, 3차원 이미지 및 헤더를 저장하는 이미지 정보 필드가 이엑스아이에프 필드의 섬네일 필드인 것을 특징으로 하는 상기 영상처리 방법.
  28. 제27항에 있어서, 상기 섬네일 필드가,
    상기 3D 이미지임을 표시하는 필드와,
    3차원 이미지의 정보들을 저장하는 필드와,
    상기 3차원 이미지를 저장하는 필드와,
    상기 3차원 이미지의 종료를 표시하는 필드로 구성된 것을 특징으로 하는 상기 영상처리 방법.
  29. 서로 일정 거리 이격되어 설치되는 제1 및 제2카메라를 구비하는 영상처리장치의 영상처리 방법에 있어서,
    3차원 영상처리모드시 상기 제1 및 제2카메라를 구동하고, 표시부의 3차원 이미지 표시 기능을 온시키는 과정과,
    상기 제1 및 제2카메라에서 획득되는 제1 및 제2이미지를 합성하여 3차원 이미지를 표시하는 과정과,
    이미지 저장 모드시 상기 제1이미지 및 3차원 이미지를 부호화하여 하나의 이미지파일로 생성하여 저장하는 과정과,
    이미지 재생 모드시 상기 부호화된 이미지파일에서 상기 3차원 이미지를 복호한 후 합성하여 3차원 이미지로 생성하여 표시하는 과정으로 이루어짐을 특징으 로 하는 상기 영상처리 방법.
KR1020070003833A 2007-01-12 2007-01-12 3차원 영상 처리 장치 및 방법 KR20080066408A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070003833A KR20080066408A (ko) 2007-01-12 2007-01-12 3차원 영상 처리 장치 및 방법
US12/006,850 US20080170806A1 (en) 2007-01-12 2008-01-07 3D image processing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070003833A KR20080066408A (ko) 2007-01-12 2007-01-12 3차원 영상 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20080066408A true KR20080066408A (ko) 2008-07-16

Family

ID=39617849

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070003833A KR20080066408A (ko) 2007-01-12 2007-01-12 3차원 영상 처리 장치 및 방법

Country Status (2)

Country Link
US (1) US20080170806A1 (ko)
KR (1) KR20080066408A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100939436B1 (ko) * 2008-01-04 2010-01-28 에스케이 텔레콤주식회사 입체영상 파일 포맷 구성 방법, 입체영상 파일 포맷을 이용한 입체영상 디스플레이 방법 및 시스템

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US7068729B2 (en) 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
US9240810B2 (en) 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
EP1552617A2 (en) 2002-10-05 2005-07-13 Digital Fountain, Inc. Systematic encoding and decoding of chain reaction codes
JP4971144B2 (ja) 2004-05-07 2012-07-11 デジタル ファウンテン， インコーポレイテッド ファイルダウンロードおよびストリーミングのシステム
KR101292851B1 (ko) 2006-02-13 2013-08-02 디지털 파운튼, 인크. 가변적 ｆｅｃ 오버헤드 및 보호 구간을 이용하는 스트리밍및 버퍼링
US9270414B2 (en) 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
US7971129B2 (en) 2006-05-10 2011-06-28 Digital Fountain, Inc. Code generator and decoder for communications systems operating using hybrid codes to allow for multiple efficient users of the communications systems
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9386064B2 (en) 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
JP5027305B2 (ja) 2007-09-12 2012-09-19 デジタル ファウンテン， インコーポレイテッド 信頼できる通信を可能にするためのソース識別情報の生成および伝達
KR101532294B1 (ko) * 2008-12-18 2015-07-01 삼성전자주식회사 자동 태깅 장치 및 방법
US20100186234A1 (en) 2009-01-28 2010-07-29 Yehuda Binder Electric shaver with imaging capability
US20100177162A1 (en) * 2009-01-15 2010-07-15 Charles Macfarlane Method and system for enabling 3d video and image processing using one full resolution video stream and one lower resolution video stream
US20100194860A1 (en) * 2009-02-03 2010-08-05 Bit Cauldron Corporation Method of stereoscopic 3d image capture using a mobile device, cradle or dongle
US9281847B2 (en) 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
DE102009012664A1 (de) * 2009-03-13 2010-09-16 T-Mobile International Ag Vorrichtung zur Aufnahme, Fernübertragung und Wiedergabe dreidemensionaler Bilder
TWI411870B (zh) * 2009-07-21 2013-10-11 Teco Elec & Machinery Co Ltd 立體影像產生方法及系統
US9288010B2 (en) 2009-08-19 2016-03-15 Qualcomm Incorporated Universal file delivery methods for providing unequal error protection and bundled file delivery services
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
US9083956B2 (en) * 2009-09-28 2015-07-14 Samsung Electronics Co., Ltd. System and method for creating 3D video
US8687046B2 (en) * 2009-11-06 2014-04-01 Sony Corporation Three-dimensional (3D) video for two-dimensional (2D) video messenger applications
US8570358B2 (en) * 2009-11-06 2013-10-29 Sony Corporation Automated wireless three-dimensional (3D) video conferencing via a tunerless television device
US20120249751A1 (en) * 2009-12-14 2012-10-04 Thomson Licensing Image pair processing
WO2011105814A2 (ko) * 2010-02-23 2011-09-01 삼성전자 주식회사 다시점 정지 영상 서비스 제공 방법 및 그 장치, 다시점 정지 영상 서비스 수신 방법 및 그 장치
US20110280311A1 (en) 2010-05-13 2011-11-17 Qualcomm Incorporated One-stream coding for asymmetric stereo video
EP2582144A4 (en) * 2010-06-08 2015-06-24 Lg Electronics Inc IMAGE PROCESSING METHOD AND IMAGE DISPLAY DEVICE FOR CARRYING OUT THIS METHOD
US9049497B2 (en) 2010-06-29 2015-06-02 Qualcomm Incorporated Signaling random access points for streaming video data
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
JP2012054922A (ja) * 2010-08-06 2012-03-15 Panasonic Corp 再生装置
US9319448B2 (en) 2010-08-10 2016-04-19 Qualcomm Incorporated Trick modes for network streaming of coded multimedia data
US9930316B2 (en) * 2013-08-16 2018-03-27 University Of New Brunswick Camera imaging systems and methods
US20120113236A1 (en) * 2010-11-10 2012-05-10 Joynes Matthew Portable Auto-Stereoscopic Media Displaying and Recording Device
WO2012082124A1 (en) * 2010-12-16 2012-06-21 Sony Ericsson Mobile Communications Ab 3d camera system in a mobile phone
US8520080B2 (en) 2011-01-31 2013-08-27 Hand Held Products, Inc. Apparatus, system, and method of use of imaging assembly on mobile terminal
US9270299B2 (en) 2011-02-11 2016-02-23 Qualcomm Incorporated Encoding and decoding using elastic codes with flexible source block mapping
US8665304B2 (en) * 2011-03-21 2014-03-04 Sony Corporation Establishing 3D video conference presentation on 2D display
JP5433109B2 (ja) * 2011-03-31 2014-03-05 富士フイルム株式会社 立体撮像装置および立体撮像方法
KR101772458B1 (ko) * 2011-06-28 2017-08-30 엘지전자 주식회사 영상표시 장치 및 그 제어방법
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US9843844B2 (en) 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
US9294226B2 (en) 2012-03-26 2016-03-22 Qualcomm Incorporated Universal object delivery and template-based file delivery
KR20140049834A (ko) * 2012-10-18 2014-04-28 삼성전자주식회사 방송 수신 장치 및 그 제어 방법, 사용자 단말 장치 및 그 화면 제공 방법
US9568985B2 (en) 2012-11-23 2017-02-14 Mediatek Inc. Data processing apparatus with adaptive compression algorithm selection based on visibility of compression artifacts for data communication over camera interface and related data processing method
JP5618032B1 (ja) * 2013-01-25 2014-11-05 パナソニック株式会社 ステレオカメラ
KR102081347B1 (ko) * 2013-03-21 2020-02-26 삼성전자주식회사 라이브 픽쳐 파일 생성 및 재생 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
CN104157007B (zh) * 2014-03-03 2018-02-27 腾讯科技（北京）有限公司 视频处理的方法及装置
US9146942B1 (en) * 2014-11-26 2015-09-29 Visual Supply Company Embedded edit decision list
US20160378137A1 (en) * 2015-06-26 2016-12-29 Intel Corporation Electronic device with combinable image input devices
US10331177B2 (en) 2015-09-25 2019-06-25 Intel Corporation Hinge for an electronic device
CN108881877B (zh) * 2017-05-12 2020-07-24 京东方科技集团股份有限公司 显示处理装置及其显示处理方法以及显示装置
FR3093215B1 (fr) * 2019-02-22 2021-08-27 Fogale Nanotech Procédé et dispositif de surveillance de l’environnement d’un robot
WO2023122820A1 (pt) * 2021-12-27 2023-07-06 Rosan Ismael Smartphone estereoscópico 3d

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6377230B1 (en) * 1995-10-05 2002-04-23 Semiconductor Energy Laboratory Co., Ltd. Three dimensional display unit and display method
US20050248561A1 (en) * 2002-04-25 2005-11-10 Norio Ito Multimedia information generation method and multimedia information reproduction device
JP4677175B2 (ja) * 2003-03-24 2011-04-27 シャープ株式会社 画像処理装置、画像撮像システム、画像表示システム、画像撮像表示システム、画像処理プログラム、及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
US7636088B2 (en) * 2003-04-17 2009-12-22 Sharp Kabushiki Kaisha 3-Dimensional image creation device, 3-dimensional image reproduction device, 3-dimensional image processing device, 3-dimensional image processing program, and recording medium containing the program
US7324594B2 (en) * 2003-11-26 2008-01-29 Mitsubishi Electric Research Laboratories, Inc. Method for encoding and decoding free viewpoint videos
US8121428B2 (en) * 2005-05-31 2012-02-21 Microsoft Corporation Accelerated image rendering
JP5098145B2 (ja) * 2005-10-12 2012-12-12 ソニー株式会社 データ管理装置および記録媒体の管理方法
JP4569561B2 (ja) * 2006-12-01 2010-10-27 富士フイルム株式会社 画像ファイル作成装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100939436B1 (ko) * 2008-01-04 2010-01-28 에스케이 텔레콤주식회사 입체영상 파일 포맷 구성 방법, 입체영상 파일 포맷을 이용한 입체영상 디스플레이 방법 및 시스템

Also Published As

Publication number Publication date
US20080170806A1 (en) 2008-07-17

Similar Documents

Publication Publication Date Title
KR20080066408A (ko) 3차원 영상 처리 장치 및 방법
JP6630891B2 (ja) 明視野画像ファイルを符号化および復号するためのシステムおよび方法
US10528004B2 (en) Methods and apparatus for full parallax light field display systems
JP4490074B2 (ja) 立体視画像処理装置、立体視画像表示装置、立体視画像提供方法、および立体視画像処理システム
KR100716142B1 (ko) 스테레오스코픽 영상 데이터의 전송 방법
US20070247477A1 (en) Method and apparatus for processing, displaying and viewing stereoscopic 3D images
US20080310762A1 (en) System and method for generating and regenerating 3d image files based on 2d image media standards
JPWO2007116549A1 (ja) 画像処理装置
JP2010273333A (ja) 立体映像合成装置
JP2011525075A (ja) 移動機器用立体画像生成チップ及びこれを用いた立体画像表示方法
US8644597B2 (en) System and method for generating and regenerating 3D image files based on 2D image media standards
CN110121065B (zh) 空间排序视频编码应用中的多向图像处理
JP5091143B2 (ja) 多重カメラシステムにおける自由な基本設定ビューの符号化／復号化方法及びその装置
WO2004004363A1 (ja) 画像符号化装置、画像送信装置および画像撮影装置
TW201143443A (en) Method and system for 3D video decoding using a tier system framework
JP2005184377A (ja) 画像変換装置及びそれを用いた画像記録装置
JP2004207773A (ja) 立体画像表示装置、立体画像記録装置および立体画像記録方法
JP4173684B2 (ja) 立体画像作成装置
JP2004165708A (ja) 立体画像表示装置、立体画像符号化装置、立体画像復号装置、立体画像記録方法及び立体画像伝送方法
JP2002218472A (ja) 可変画像レート復号化装置及び可変画像レート復号化方法
JP2004336492A (ja) 画像処理装置および画像処理方法
JP4668602B2 (ja) 立体視画像生成装置および方法並びにプログラム
JP3129784B2 (ja) 立体映像高能率符号化装置
EP2685730A1 (en) Playback device, playback method, and program
JP2010283512A (ja) 画像データ出力装置および画像表示システム

Legal Events

Date Code Title Description
A201 Request for examination
E601 Decision to refuse application