KR101194521B1 - A system for acquiring and displaying three-dimensional information and a method thereof - Google Patents

A system for acquiring and displaying three-dimensional information and a method thereof Download PDF

Info

Publication number
KR101194521B1
KR101194521B1 KR1020067018642A KR20067018642A KR101194521B1 KR 101194521 B1 KR101194521 B1 KR 101194521B1 KR 1020067018642 A KR1020067018642 A KR 1020067018642A KR 20067018642 A KR20067018642 A KR 20067018642A KR 101194521 B1 KR101194521 B1 KR 101194521B1
Authority
KR
South Korea
Prior art keywords
delete delete
dimensional information
display
digital cameras
electronic device
Prior art date
Application number
KR1020067018642A
Other languages
Korean (ko)
Other versions
KR20070005616A (en
Inventor
천-첸 이
알렉산더 버레스토브
Original Assignee
소니 일렉트로닉스 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 일렉트로닉스 인코포레이티드 filed Critical 소니 일렉트로닉스 인코포레이티드
Publication of KR20070005616A publication Critical patent/KR20070005616A/en
Application granted granted Critical
Publication of KR101194521B1 publication Critical patent/KR101194521B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking

Abstract

개인용 전자 디바이스를 위한 3차원(3D) 획득 및 가시화 시스템은 다양한 방식으로 기능하는 2개의 디지털 카메라를 포함한다. 2개의 디지털 카메라는 자동-입체경 디스플레이에 표시되는 3D 데이터를 획득한다. 명백함과 이용의 편이를 위해, 2개의 디지털 카메라는 적절한 이미지를 정확한 각도에서 사용자에게 프로젝팅하는 것을 도와주는 눈-추적 디바이스로서 기능한다. 2개의 디지털 카메라는 또한 정확한 깊이에서 자동 포커싱을 도와주는 기능을 한다. 각 개인용 전자 디바이스는 또한 획득된 3D 데이터를 저장하고, 송신하며 표시할 수 있다.Three-dimensional (3D) acquisition and visualization systems for personal electronic devices include two digital cameras that function in various ways. Two digital cameras acquire 3D data displayed on an auto-stereoscopic display. For clarity and ease of use, the two digital cameras function as eye-tracking devices to help project the proper image to the user at the correct angle. The two digital cameras also function to help autofocus at the correct depth. Each personal electronic device may also store, transmit and display the acquired 3D data.

3차원 장치, 개인용 전자 장치, 2개의 카메라, 자동 포커싱 3D device, personal electronic device, two cameras, automatic focusing

Description

3차원 정보 획득 및 표시 시스템 및 방법{A SYSTEM FOR ACQUIRING AND DISPLAYING THREE-DIMENSIONAL INFORMATION AND A METHOD THEREOF}3D information acquisition and display system and method {A SYSTEM FOR ACQUIRING AND DISPLAYING THREE-DIMENSIONAL INFORMATION AND A METHOD THEREOF}

<관련 출원>
본 출원은 미국 특허법 제119조(e)항 하에서 2004년 3월 18일에 출원된 미국 가출원 제60/554,673호 (발명의 명칭: "Three-Dimensional Acquisition and Visualization System for Personal Electronic Devices")에 대한 우선권을 주장한다. 또한, 2004년 3월 18일에 출원된 미국 가출원 제60/554,673호 (발명의 명칭: "Three-Dimensional Acquisition and Visualization System for Personal Electronic Devices")은 본원에 인용되어 포함된다.
본 발명은 3차원(3D) 촬상 분야에 관한 것이다. 특히, 본 발명은 3D 획득 및 가시화를 위한 개인용 전자 디바이스에 관한 것이다.<Related application>
This application is directed to US Provisional Application No. 60 / 554,673, entitled "Three-Dimensional Acquisition and Visualization System for Personal Electronic Devices," filed March 18, 2004, under Section 119 (e) of the US Patent Act. Insist on priority. In addition, US Provisional Application No. 60 / 554,673, filed March 18, 2004, entitled "Three-Dimensional Acquisition and Visualization System for Personal Electronic Devices", is incorporated herein by reference.
The present invention relates to the field of three-dimensional (3D) imaging. In particular, the present invention relates to personal electronic devices for 3D acquisition and visualization.

3차원 기술은 1세기가 넘는 기간 동안 개발되어 왔지만, 일반적으로 평균 사용자에 대한 복잡성 및 비용으로 인해 주류에서 자리 잡을 수 없었다. 소비자 전자장치 및 컴퓨터 세계 모두에서 기존의 음극선관(CRT) 모니터 및 텔레비전보다 3D 이미지를 렌더링하는데 더 적합한 액정 디스플레이(LCD) 및 플라즈마 스크린의 출현은 기술에 대한 관심을 불러일으켰다. 3D 시스템은 기술적인 호기심으로부터 진척되어 이제는 오락, 상용 및 과학적 어플리케이션을 위한 실제적인 획득 및 표시 시스템이 되고 있다. 관심의 증가와 함께, 다수의 하드웨어 및 소프트웨어 회사들이 3D 제품에 대해 공동연구하고 있다.Three-dimensional technology has been in development for over a century, but in general, due to the complexity and cost of the average user, it could not be established in the mainstream. The advent of liquid crystal displays (LCDs) and plasma screens, which are more suitable for rendering 3D images than conventional cathode ray tube (CRT) monitors and televisions, has aroused interest in both the consumer electronics and computer worlds. 3D systems have evolved from technical curiosity and are now becoming practical acquisition and display systems for entertainment, commercial and scientific applications. With increasing interest, many hardware and software companies are collaborating on 3D products.

최근, NTT 도꼬모는 3D 이미지를 렌더링할 수 있는 컬러 스크린을 특징으로 하는 것으로 처음인 샤프 모바 SH251iS 핸드셋을 발표했다. 하나의 디지털 카메라는 그 사용자가 2차원(2D) 이미지를 취한 후, 편집 시스템을 이용하여 이들을 3D로 변환할 수 있도록 한다. 3D 이미지는 다른 전화기에 송신되어, 수신자들이 유사하게 구비된 핸드셋을 소유하는 경우에 3D 이미지를 볼 수 있게 된다. 자동-입체경 시스템 상에서 3D 이미지를 보는데 어떠한 특별한 안경도 요구되지 않는다. 그러나 이러한 기술에는 다수의 문제들이 있다. 고품질의 3D 이미지를 보기 위해서는, 사용자는 전화기 바로 앞에 그리고 그 스크린으로부터 대략 한발정도 떨어져 위치해야만 한다. 사용자가 조금이라도 움직인다면, 이미지의 포커스를 잃게 된다. 또한, 단지 하나의 카메라만이 활용되므로, 2D 이미지만을 촬영할 수 있고, 3D 편집기를 통해서, 이미지는 인공적으로 3D 이미지로 변환된다. 따라서, 이미지의 품질이 문제이다.Recently, NTT DoCoMo announced the Sharp Moba SH251iS handset, which is the first to feature a color screen capable of rendering 3D images. One digital camera allows the user to take two-dimensional (2D) images and then convert them into 3D using an editing system. The 3D image is transmitted to another phone so that the recipients can see the 3D image if they own a similarly equipped handset. No special spectacles are required to view 3D images on an auto-stereoscopic system. However, there are a number of problems with this technique. To view high quality 3D images, the user must be placed directly in front of the phone and approximately one foot away from the screen. If the user moves any way, the image loses focus. Also, since only one camera is utilized, only 2D images can be taken, and through the 3D editor, the images are artificially converted to 3D images. Therefore, the quality of the image is a problem.

2D 이미지로부터 입체 이미지를 생성하는 하나의 방법은 Richards에 의한 미국특허 제6,477,267호에 특허로 등록되어 있고, 여기에서 적어도 하나의 오브젝트가 원래의 이미지로 식별되고, 오브젝트 또는 오브젝트들이 윤곽처리되며, 각 오브젝트에 대해 깊이 특성이 정의되고, 이미지의 선택된 영역이 이에 따라 변위된다. 그러나 상기 설명된 바와 같이, 2D 이미지를 3D 이미지로 변환하는 것은 다수의 문제들, 가장 중요하게도 결과적인 3D 이미지의 품질에 문제가 있다.One method of generating stereoscopic images from 2D images is registered in US Pat. No. 6,477,267 by Richards, wherein at least one object is identified as the original image, the object or objects are outlined, Depth characteristics are defined for the object, and selected areas of the image are displaced accordingly. However, as described above, converting a 2D image into a 3D image suffers from a number of problems, most importantly the quality of the resulting 3D image.

2D 이미지를 하나의 카메라로 캡쳐링하는 대신에, Gartner 등에 의한 미국특허 제6,664,531호는 오브젝트의 시차를 관찰하는 2개의 카메라를 이용하여 이미지 쌍을 캡쳐하는 가능한 구성을 개시하고 있다. 그리고나서 좌측 눈은 이러한 입체 이미지 쌍의 하나의 이미지를 보게 되고 우측 눈은 나머지를 보게 된다. 인간의 뇌는 이러한 이미지 쌍을 용이하게 융합하여 오브젝트를 3D 이미지로 볼 수 있다.Instead of capturing 2D images with one camera, US Pat. No. 6,664,531 to Gartner et al. Discloses a possible configuration for capturing an image pair using two cameras that observe the parallax of an object. The left eye then sees one image of this stereoscopic pair and the right eye sees the rest. The human brain can easily fuse these pairs of images to view objects in 3D images.

2개의 카메라로 3D 이미지를 획득하는 다른 예는 적어도 2개의 이동가능한 평행 검출기 헤드를 가지는 3D 카메라를 포함하는 Montgomery 등에 의한 미국 특허 제6,512,892호에 개시되어 있다.Another example of obtaining 3D images with two cameras is disclosed in US Pat. No. 6,512,892 to Montgomery et al., Which includes a 3D camera having at least two movable parallel detector heads.

도꼬모 제품에 대해 기재된 바와 같이, 사용자는 3D 이미지를 보는 동안에 실질적으로 정지한 채로 유지해야 하며 그렇지 않으면 포커스를 잃을 것이다. 그러한 이슈에 대한 하나의 이유는 이미지는 멀티-이미지 표시이기 때문이다. 멀티-이미지 표시는 하나의 표시 매체로 인터리빙된 다른 이미지를 포함한다. 멀티-이미지 표시의 가장 간단한 구현은 좌-우 이미지의 시퀀스를 반복하는 것을 포함한다. 각 연속적인 이미지간의 거리는 뷰어의 눈들간의 평균 거리와 동일한 65mm이다. 그러나, 뷰어가 32mm 이상만큼 좌측 또는 우측으로 이동하는 경우, 뷰어는 반대 3D 이미지를 볼 것이다. 반대 3D 이미지는 보기에 불편하고 잠시 후에는 두통 및 고통을 유발할 것이다.As described for the Tokomo product, the user must remain substantially stationary while viewing the 3D image or it will lose focus. One reason for such an issue is that the image is a multi-image display. Multi-image display includes other images interleaved with one display medium. The simplest implementation of multi-image display involves repeating a sequence of left-right images. The distance between each successive image is 65mm, which is equal to the average distance between the viewer's eyes. However, if the viewer moves left or right by more than 32mm, the viewer will see the opposite 3D image. The opposite 3D image is inconvenient to see and will cause headaches and pain after a while.

멀티-이미지 표시는 각각이 65mm만큼 이격된 다수의 이미지를 활용함으로써 개선될 수 있다. 다수의 이미지로, 뷰어는 그의 머리를 좌측 또는 우측으로 움직일 수 있고 여전히 정확한 이미지를 볼 수 있다. 그러나, 이러한 기술에는 추가적인 문제가 있다. 요구되는 카메라의 개수가 증가한다. 예를 들면, 4가지 뷰를 가지기 위해서는, 4개의 카메라가 필요하다. 또한, 숫자 세트들이 반복되고 있으므로, 결과적으로 반대 3D 이미지로 나타나는 위치가, 이전 것보다는 작지만 여전히 존재할 것이다. 반대 이미지는 반복되는 세트 사이에 널 또는 블랙 필드를 삽입함으로써 극복될 수 있다. 블랙 필드는 반대 3D 이슈를 제거하지만, 이미지가 더 이상 3D가 아닌 위치가 있다. 또한, 필요로 하는 블랙 필드의 개수는 카메라가 더 많이 이용될 수록 더 적은 블랙 필드가 요구되도록 이용되는 카메라의 개수와 반비례한다. 그러므로, 멀티-이미지 표시는 뷰어가 3D 경험을 즐기기 위해 극복될 필요가 있는 다수의 이슈를 가지고 있다.Multi-image display can be improved by utilizing multiple images, each 65 mm apart. With multiple images, the viewer can move his head left or right and still see the correct image. However, there are additional problems with this technique. The number of cameras required increases. For example, to have four views, four cameras are needed. Also, because the number sets are being repeated, the resulting position in the opposite 3D image will still exist, although smaller than before. The opposite image can be overcome by inserting a null or black field between repeated sets. Blackfields eliminate the opposite 3D issue, but the image is no longer in 3D. Also, the number of black fields required is inversely proportional to the number of cameras used so that fewer black fields are required as more cameras are used. Therefore, multi-image display has a number of issues that the viewer needs to overcome in order to enjoy the 3D experience.

3D 이미지를 보기 위해 현재 가용한 다양한 종류의 뷰잉 장치가 있다. 하나의 타입은 특별한 안경류(eyeware)를 필요로 하지 않는 대안보다는 일반적으로 덜 편리한, 뷰어의 눈에 근사하여 고정되는 렌즈, 프리즘 또는 거울을 요구하는 뷰잉 장치를 포함한다. 제2 타입은 고해상도 이미지가 요구되는 경우에, 그들의 생산과 연관된 정밀도로 인해 고품질의 이미지 프리젠테이션을 위해 제조하기가 비교적 어렵고 고가인 렌즈 시스템을 포함한다. 더구나, 렌즈 시스템은 렌즈 어레이가 부착되는 표시 디바이스가 고유하게 가능한 해상도보다 더 낮은 해상도를 가지는 이미지를 항상 제공할 것이다. 또한, 렌즈 시스템은 컴퓨터 디스플레이 및 텔레비전과 같은 뷰잉 시스템에 잘 적응되지는 않고, 따라서 넓게 이용되지 않는다.There are various types of viewing devices currently available for viewing 3D images. One type includes a viewing device that requires a lens, prism, or mirror that is fixed in close proximity to the viewer's eye, which is generally less convenient than an alternative that does not require special eyewear. The second type includes a lens system that is relatively difficult and expensive to manufacture for high quality image presentations because of the precision associated with their production when high resolution images are required. Moreover, the lens system will always provide an image having a lower resolution than the resolution inherently possible for the display device to which the lens array is attached. In addition, lens systems are not well adapted to viewing systems such as computer displays and televisions and are therefore not widely used.

제3 타입의 3D 이미지 뷰잉 장치는 3D 뷰잉을 위한 시차 장벽을 포함한다. 시스템은 보여지거나 프로젝트되고 있는 이미지에 대해 다양한 관계로 놓여지는 불투명 섹션으로 산재된 투명 섹션으로 구성된 그리드들이고, 이미지는 좌측 이미지로부터 취해진 영역(결국 뷰어의 좌측 눈에 의해서만 보여짐) 및 우측 이미지로부터 취해진 영역(결국 뷰어의 우측 눈에 의해서만 보여짐)의 산재된 조합이며, 그리드 또는 그리드들은 각 눈이 그 적절한 이미지로부터 발원하는 영역을 보여주고 있는 디스플레이의 섹션을 볼 수 있도록 하면서 좌측 눈으로부터 우측 이미지의 영역을 숨기고 우측 눈으로부터 좌측 이미지의 영역을 숨기는 위치에 배치된다. 그러한 시스템에서, 디스플레이의 대략 절반은 이미지를 포함하지 않는다. Kleinberger 등에 의한 미국 특허 제6,252,707호에 개시된 제4 타입은 안경을 이용하지 않고 뷰잉 및 풀컬러 평면 스크린 쌍안경 입체경 뷰잉의 프로젝션을 위한 시스템을 포함한다. 편광층 및 광 회전 수단 또는 컬러 필터층의 다양한 조합은 좌측 및 우측 이미지를 적절한 좌측 또는 우측 눈에 표시하는데 이용된다. A third type of 3D image viewing device includes a parallax barrier for 3D viewing. The system is grids composed of transparent sections interspersed with opaque sections that are placed in various relationships to the image being viewed or projected, the image being taken from the left image (and eventually only seen by the viewer's left eye) and from the right image. Interspersed combination of (finally shown only by the viewer's right eye), the grid or grids that allow each eye to see a section of the display that shows the area originating from its appropriate image It is placed in a position to hide and hide the area of the left image from the right eye. In such a system, approximately half of the display does not contain an image. The fourth type disclosed in US Pat. No. 6,252,707 to Kleinberger et al. Includes a system for the viewing and projection of full color flat screen binocular stereoscopic viewing without the use of glasses. Various combinations of polarizing layers and light rotating means or color filter layers are used to display the left and right images to the appropriate left or right eye.

멀티-이미지 표시에 관해 설명된 문제들을 풀기 위한 하나의 가능한 옵션은 추적 시스템이다. Richards에 의한 미국 특허 제6,163,336호는 추적 시스템을 구비한 자동-입체경 표시 시스템을 개시한다. Richards는 뷰어의 위치를 알고 있고 표시 유닛이 표시된 이미지의 위치를 이동시키도록 명령하여 이들이 뷰어의 정확한 위치에 대응하도록 할 수 있는 추적 시스템을 설명하고 있다. One possible option for solving the problems described with respect to multi-image display is a tracking system. US Pat. No. 6,163,336 to Richards discloses an auto-stereoscopic marking system with a tracking system. Richards describes a tracking system that knows the position of the viewer and can instruct the display unit to move the position of the displayed image so that they correspond to the exact position of the viewer.

다른 문제는 픽쳐의 고주파 성분을 측정하고 이러한 측정이 최대에 도달될 때까지 포커스 셋팅을 변경하는 것에 기초하여 기능하는 현대의 디지털 카메라에 이용되는 수동형 자동 포커스 시스템이다. 그러한 방법은 느리고 자주 오류가 발생한다. Dougherty에 의한 미국 특허 제6,616,347호는 종래 기술과 같은 자동 포커싱을 위한 다수의 듀얼 카메라 시스템을 개시하고 있지만, 이들 모두는 너무 부피가 크고 고가이며 무겁다는 문제를 가지고 있다. 또한, 2개의 카메라로부터 이미지의 부분들을 정렬하는 어려움도 있었다. Szeliski 등에 의한 미국 특허 제6,611,268호는 2개의 비디오 카메라를 이용하고 카메라들 중 적어도 하나는 장면의 깊이 맵을 측정하는 비디오 카메라인 것을 개시하고 있다.Another problem is the passive autofocus system used in modern digital cameras that functions based on measuring the high frequency components of a picture and changing the focus setting until such a measurement is reached to its maximum. Such methods are slow and frequently error prone. US Pat. No. 6,616,347 to Dougherty discloses a number of dual camera systems for automatic focusing as in the prior art, but all of them have the problem of being too bulky, expensive and heavy. There was also a difficulty in aligning parts of the image from the two cameras. US Pat. No. 6,611,268 to Szeliski et al. Discloses that at least one of the cameras is a video camera that uses two video cameras and measures a depth map of the scene.

또한, 다수의 무선 핸드-헬드 디지털 카메라가 Tullis에 의한 미국 특허 제6,535,243호에 개시된 바와 같이 존재하지만, 그러한 무선 디바이스들은 3D 성능이 부족하다. 그러므로, 그러한 가능성을 추가로 조사하는 것이 필요하다.In addition, although many wireless hand-held digital cameras exist as disclosed in US Pat. No. 6,535,243 by Tullis, such wireless devices lack 3D performance. Therefore, it is necessary to further investigate such possibilities.

3D 이미지의 프로젝션은 과거에 개발되었지만, 진척이 필요하다. Kleinberger 등에 의한 미국특허 제6,252,707호는 특별한 안경이 필요없이 3D 이미지를 스크린에 프로젝팅하는 2개의 프로젝터를 포함하는 3D 프로젝터 시스템을 개시하고 있다. 프로젝터들은 동화상 프로젝터, 텔레비전 프로젝터, 컴퓨터-구동 프로젝션 디바이스, 슬라이드 프로젝터, 또는 그 크기가 유사한 일부 다른 장비이었고, 따라서 이들 프로젝터들의 크기는 꽤 크다.Projection of 3D images has been developed in the past, but progress is needed. US Pat. No. 6,252,707 to Kleinberger et al. Discloses a 3D projector system comprising two projectors for projecting 3D images onto a screen without the need for special glasses. The projectors were moving image projectors, television projectors, computer-driven projection devices, slide projectors, or some other equipment of similar size, so these projectors are quite large in size.

개인용 전자 디바이스를 위한 3차원(3D) 획득 및 가시화 시스템은 다양한 방식으로 기능하는 2개의 디지털 카메라를 포함한다. 2개의 디지털 카메라는 자동-입체경 디스플레이에 표시되는 3D 데이터를 획득한다. 명백함과 이용의 편이를 위해, 2개의 디지털 카메라는 적절한 이미지를 정확한 각도에서 사용자에게 프로젝팅하는 것을 도와주는 눈-추적 디바이스로서 기능한다. 2개의 디지털 카메라는 또한 정확한 깊이에서 자동 포커싱을 도와주는 기능을 한다. 각 개인용 전자 디바이스는 또한 획득된 3D 데이터를 저장하고, 송신하며 표시할 수 있다.Three-dimensional (3D) acquisition and visualization systems for personal electronic devices include two digital cameras that function in various ways. Two digital cameras acquire 3D data displayed on an auto-stereoscopic display. For clarity and ease of use, the two digital cameras function as eye-tracking devices to help project the proper image to the user at the correct angle. The two digital cameras also function to help autofocus at the correct depth. Each personal electronic device may also store, transmit and display the acquired 3D data.

하나의 양태에서, 3차원 정보를 획득하고 표시하기 위한 시스템은 전자 디바이스, 3차원 정보에 자동포커싱하고 획득하기 위해 전자 디바이스에 결합되는 복수의 디지털 카메라, 및 3차원 정보를 표시하기 위해 전자 디바이스에 결합되는 디스플레이를 포함한다. 전자 디바이스는 PDA, 카메라 폰, 랩탑 컴퓨터, 디지털 카메라, 비디오 카메라, 및 전자 시계를 포함하는 그룹에서 선택된다. 3차원 정보는 이미지 세트를 포함한다. 디지털 카메라는 3차원 정보를 획득하기 위한 하나 이상의 전하 결합 소자 센서를 포함한다. 자동포커싱은 계산에 의해 결정되고, 계산은 광학 삼각측량, 거리 측정 및 광 패턴 왜곡을 포함하는 그룹에서 선택된다. 3차원 정보는 압축, 포맷팅, 해상도 향상, 및 컬러 향상을 포함하여 처리된다. 3차원 정보는 로컬 메모리에 스테레오 포맷으로 저장되고 스테레오 포맷은 상하형, 라인-교대형, 나란이형, 사이버스코프, 납작해진 나란이형, 및 JPS 입체경 JPEG 중 하나 이상이다. 복수의 디지털 카메라는 3차원 정보를 표시하면서 뷰어의 머리 및 눈 중 하나 이상을 추적한다. 시스템은 3차원 정보를 표시하면서 뷰어의 머리 및 눈 중 하나 이상을 추적하기 위해 하나 이상의 적외선 레이저를 더 포함한다. 그러나, 시스템은 3차원 정보를 표시하면서 뷰어의 머리와 눈 중 하나 이상을 추적하기 위해 하나 이상의 적외선 레이저를 이용하는 것을 요구하지 않는다. 3차원 정보는 뷰잉 지원없이 뷰잉된다. 다르게는, 3차원 정보는 뷰잉 지원을 가지고 뷰잉된다. 다른 대안으로, 디스플레이는 2차원 정보를 표시한다. 또 다른 대안에서, 디스플레이는 프로젝션 디스플레이이다. 시스템은 3차원 정보를 송신 및 수신하기 위해 하나 이상의 다른 디바이스와 통신하기 위한 통신 인터페이스를 더 포함한다. 구체적으로는, 통신 인터페이스는 무선으로 통신한다. 시스템은 전자 디바이스를 제어하기 위해 전자 디바이스에 결합되는 제어 인터페이스를 더 포함한다.In one aspect, a system for acquiring and displaying three-dimensional information includes an electronic device, a plurality of digital cameras coupled to the electronic device for autofocusing and acquiring and obtaining three-dimensional information, and an electronic device for displaying three-dimensional information. And a display to be combined. Electronic devices are selected from the group comprising PDAs, camera phones, laptop computers, digital cameras, video cameras, and electronic watches. Three-dimensional information includes an image set. The digital camera includes one or more charge coupled device sensors for obtaining three-dimensional information. Autofocusing is determined by calculation and the calculation is selected from the group comprising optical triangulation, distance measurement and light pattern distortion. Three-dimensional information is processed including compression, formatting, resolution enhancement, and color enhancement. Three-dimensional information is stored in a local format in stereo format and the stereo format is one or more of top, bottom, line-shift, side by side, cyberscope, flat side by side, and JPS stereoscopic JPEG. Multiple digital cameras track one or more of the viewer's head and eyes while displaying three-dimensional information. The system further includes one or more infrared lasers to track one or more of the viewer's head and eyes while displaying three-dimensional information. However, the system does not require the use of one or more infrared lasers to track one or more of the viewer's head and eyes while displaying three-dimensional information. Three-dimensional information is viewed without viewing support. Alternatively, three-dimensional information is viewed with viewing support. In another alternative, the display displays two-dimensional information. In another alternative, the display is a projection display. The system further includes a communication interface for communicating with one or more other devices to transmit and receive three-dimensional information. Specifically, the communication interface communicates wirelessly. The system further includes a control interface coupled to the electronic device for controlling the electronic device.

다른 양태에서, 3차원 정보를 획득하고 표시하기 위한 시스템은 전자 디바이스, 3차원 정보를 획득하기 위해 전자 디바이스에 결합되는 복수의 디지털 카메라, 및 3차원 정보를 표시하기 위해 전자 디바이스에 결합되는 디스플레이를 포함하고, 복수의 디지털 카메라는 뷰어의 머리 및 눈 중 하나 이상을 추적하고 뷰어의 머리 및 눈 중 하나 이상의 위치에 기초하여 3차원 정보가 표시될 때 3차원 정보를 조정한다. 전자 디바이스는 PDA, 카메라 폰, 랩탑 컴퓨터, 디지털 카메라, 비디오 카메라, 및 전자 시계를 포함하는 그룹에서 선택된다. 3차원 정보는 이미지 세트를 포함한다. 디지털 카메라는 3차원 정보를 획득하기 위한 하나 이상의 전하 결합 소자 센서를 포함한다. 복수의 카메라는 자동 포커싱에 추가적으로 활용된다. 자동포커싱은 계산에 의해 결정되고, 계산은 광학 삼각측량, 거리 측정 및 광 패턴 왜곡을 포함하는 그룹에서 선택된다. 3차원 정보는 압축, 포맷팅, 해상도 향상, 및 컬러 향상을 포함하여 처리된다. 3차원 정보는 로컬 메모리에 스테레오 포맷으로 저장되고, 스테레오 포맷은 상하형, 라인-교대형, 나란이형, 사이버스코프, 납작해진 나란이형, 및 JPS 입체경 JPEG 중 하나 이상이다. 시스템은 3차원 정보를 표시하면서 뷰어의 머리 및 눈 중 하나 이상을 추적하기 위한 하나 이상의 적외선 레이저를 더 포함한다. 그러나 시스템은 3차원 정보를 표시하면서 뷰어의 머리 및 눈 중 하나 이상을 추적하기 위한 하나 이상의 적외선 레이저를 이용하는 것을 요구하지 않는다. 3차원 정보는 뷰잉 지원없이 뷰잉된다. 다르게는, 3차원 정보는 뷰잉 지원으로 뷰잉된다. 또 다른 대안으로, 디스플레이는 2차원 정보를 표시한다. 또 다른 대안으로, 디스플레이는 프로젝션 디스플레이이다. 시스템은 3차원 정보를 송신 및 수신하기 위해 하나 이상의 다른 디바이스와 통신하기 위한 통신 인터페이스를 더 포함한다. 구체적으로, 통신 인터페이스는 무선으로 통신한다. 시스템은 전자 디바이스를 제어하기 위해 전자 디바이스에 결합되는 제어 인터페이스를 더 포함한다.In another aspect, a system for obtaining and displaying three-dimensional information includes an electronic device, a plurality of digital cameras coupled to the electronic device for obtaining three-dimensional information, and a display coupled to the electronic device for displaying three-dimensional information. And, the plurality of digital cameras tracks one or more of the viewer's head and eyes and adjusts the three-dimensional information when the three-dimensional information is displayed based on the location of one or more of the viewer's head and eyes. Electronic devices are selected from the group comprising PDAs, camera phones, laptop computers, digital cameras, video cameras, and electronic watches. Three-dimensional information includes an image set. The digital camera includes one or more charge coupled device sensors for obtaining three-dimensional information. A plurality of cameras is additionally utilized for auto focusing. Autofocusing is determined by calculation and the calculation is selected from the group comprising optical triangulation, distance measurement and light pattern distortion. Three-dimensional information is processed including compression, formatting, resolution enhancement, and color enhancement. Three-dimensional information is stored in a local format in a stereo format, where the stereo format is one or more of top, bottom, line-shift, side-by-side, cyberscope, flat side-by-side, and JPS stereoscopic JPEG. The system further includes one or more infrared lasers for tracking one or more of the viewer's head and eyes while displaying three-dimensional information. However, the system does not require the use of one or more infrared lasers to track one or more of the viewer's head and eyes while displaying three-dimensional information. Three-dimensional information is viewed without viewing support. Alternatively, three-dimensional information is viewed with viewing support. In another alternative, the display displays two-dimensional information. In another alternative, the display is a projection display. The system further includes a communication interface for communicating with one or more other devices to transmit and receive three-dimensional information. Specifically, the communication interface communicates wirelessly. The system further includes a control interface coupled to the electronic device for controlling the electronic device.

또 다른 양태에서, 3차원 정보를 획득하고 표시하기 위한 시스템은 전자 디바이스, 3차원 정보에 자동포커싱하여 이를 획득하기 위해 전자 디바이스에 결합되는 복수의 디지털 카메라, 3차원 정보를 스테레오 포맷으로 저장하기 위한 로컬 메모리, 3차원 정보를 표시하기 위해 전자 디바이스에 결합되는 자동-입체경 디스플레이 및 뷰어의 머리 및 눈 중 하나 이상을 추적하고 뷰어의 머리 및 눈 중 하나 이상의 위치에 기초하여 3차원 정보가 표시될 때 3차원 정보를 조정하기 위한 복수의 디지털 카메라, 3차원 정보를 송신 및 수신하기 위해 하나 이상의 다른 디바이스와 통신하기 위한 통신 인터페이스, 및 전자 디바이스를 제어하기 위해 전자 디바이스에 결합되는 제어 인터페이스를 포함한다. 전자 디바이스는 PDA, 카메라 폰, 랩탑 컴퓨터, 디지털 카메라, 비디오 카메라, 및 전자 시계를 포함하는 그룹에서 선택된다. 3차원 정보는 이미지 세트를 포함한다. 디지털 카메라는 3차원 정보를 획득하기 위한 하나 이상의 전하 결합 소자 센서를 포함한다. 자동포커싱은 계산에 의해 결정되고, 계산은 광학 삼각측량, 거리 측정 및 광 패턴 왜곡을 포함하는 그룹에서 선택된다. 3차원 정보는 압축, 포맷팅, 해상도 향상, 및 컬러 향상을 포함하여 처리된다. 스테레오 포맷은 상하형, 라인-교대형, 나란이형, 사이버스코프, 납작해진 나란이형, 및 JPS 입체경 JPEG 중 하나 이상이다. 시스템은 3차원 정보를 표시하면서 뷰어의 머리 및 눈 중 하나 이상을 추적하기 위한 하나 이상의 적외선 레이저를 더 포함한다. 그러나, 시스템은 3차원 정보를 표시하면서 뷰어의 머리 및 눈 중 하나 이상을 추적하기 위해 하나 이상의 적외선 레이저를 이용하는 것을 요구하지는 않는다. 다르게는, 디스플레이는 프로젝션 디스플레이다. 구체적으로는, 통신 인터페이스는 무선으로 통신한다.In another aspect, a system for acquiring and displaying three-dimensional information includes an electronic device, a plurality of digital cameras coupled to the electronic device for autofocusing and acquiring the three-dimensional information, for storing three-dimensional information in a stereo format. Local memory, an auto-stereoscopic display that is coupled to an electronic device to display three-dimensional information, and tracks one or more of the viewer's head and eyes, and when three-dimensional information is displayed based on the location of one or more of the viewer's head and eyes. A plurality of digital cameras for adjusting three-dimensional information, a communication interface for communicating with one or more other devices for transmitting and receiving three-dimensional information, and a control interface coupled to the electronic device for controlling the electronic device. Electronic devices are selected from the group comprising PDAs, camera phones, laptop computers, digital cameras, video cameras, and electronic watches. Three-dimensional information includes an image set. The digital camera includes one or more charge coupled device sensors for obtaining three-dimensional information. Autofocusing is determined by calculation and the calculation is selected from the group comprising optical triangulation, distance measurement and light pattern distortion. Three-dimensional information is processed including compression, formatting, resolution enhancement, and color enhancement. Stereo formats are one or more of top, bottom, line-shift, side-by-side, cyberscope, flat side-by-side, and JPS stereoscopic JPEG. The system further includes one or more infrared lasers for tracking one or more of the viewer's head and eyes while displaying three-dimensional information. However, the system does not require the use of one or more infrared lasers to track one or more of the viewer's head and eyes while displaying three-dimensional information. Alternatively, the display is a projection display. Specifically, the communication interface communicates wirelessly.

또 다른 양태에서, 3차원 정보를 획득하고 표시하기 위한 방법은 전자 디바이스에 결합된 복수의 디지털 카메라를 이용하여 3차원 정보에 자동 포커싱하는 단계, 복수의 디지털 카메라를 이용하여 3차원 정보를 획득하는 단계, 및 디스플레이를 이용하여 3차원 정보를 표시하는 단계를 포함한다. 전자 디바이스는 PDA, 카메라 폰, 랩탑 컴퓨터, 디지털 카메라, 비디오 카메라, 및 전자 시계를 포함하는 그룹에서 선택된다. 3차원 정보는 이미지 세트를 포함한다. 디지털 카메라는 3차원 정보를 획득하기 위한 하나 이상의 전하 결합 소자 센서를 포함한다. 자동포커싱은 계산에 의해 결정되고, 계산은 광학 삼각측량, 거리 측정 및 광 패턴 왜곡을 포함하는 그룹에서 선택된다. 방법은 압축, 포맷팅, 해상도 향상, 및 컬러 향상을 포함하여 3차원 정보를 처리하는 단계를 더 포함한다. 방법은 3차원 정보를 로컬 메모리에 스테레오 포맷으로 저장하는 단계를 더 포함하고, 스테레오 포맷은 상하형, 라인-교대형, 나란이형, 사이버스코프, 납작해진 나란이형, 및 JPS 입체경 JPEG 중 하나 이상이다. 방법은 3차원 정보를 표시하면서 구체적으로는 하나 이상의 적외선 레이저를 구비하는 복수의 디지털 카메라를 이용하여, 뷰어의 머리 및 눈 중 하나 이상을 추적하는 단계를 더 포함한다. 그러나, 방법은 3차원 정보를 표시하면서 뷰어의 머리와 눈 중 하나 이상을 추적하기 위해 하나 이상의 적외선 레이저를 이용하는 것을 요구하지 않는다. 다르게는, 디스플레이는 프로젝션 디스플레이이다. 방법은 3차원 정보를 송신 및 수신하기 위해 통신 인터페이스를 이용하여 하나 이상의 다른 디바이스와 통신하는 단계를 더 포함한다. 구체적으로는, 통신 인터페이스는 무선으로 통신한다.In another aspect, a method for acquiring and displaying three-dimensional information includes automatically focusing on three-dimensional information using a plurality of digital cameras coupled to an electronic device, and obtaining three-dimensional information using the plurality of digital cameras. And displaying the three-dimensional information using the display. Electronic devices are selected from the group comprising PDAs, camera phones, laptop computers, digital cameras, video cameras, and electronic watches. Three-dimensional information includes an image set. The digital camera includes one or more charge coupled device sensors for obtaining three-dimensional information. Autofocusing is determined by calculation and the calculation is selected from the group comprising optical triangulation, distance measurement and light pattern distortion. The method further includes processing three-dimensional information including compression, formatting, resolution enhancement, and color enhancement. The method further includes storing three-dimensional information in a stereo format in local memory, wherein the stereo format is one or more of top, bottom, line-shift, side by side, cyberscope, flat side by side, and JPS stereoscopic JPEG. . The method further comprises tracking one or more of the viewer's head and eyes using a plurality of digital cameras, specifically displaying one or more infrared lasers, while displaying three-dimensional information. However, the method does not require the use of one or more infrared lasers to track one or more of the viewer's head and eyes while displaying three-dimensional information. Alternatively, the display is a projection display. The method further includes communicating with one or more other devices using a communication interface to transmit and receive three-dimensional information. Specifically, the communication interface communicates wirelessly.

또 다른 양태에서, 3차원 오브젝트를 획득하고 표시하기 위한 방법은 전자 디바이스에 결합된 복수의 디지털 카메라를 이용하여 3차원 오브젝트에 자동 포커싱하는 단계, 복수의 디지털 카메라를 이용하여 3차원 오브젝트를 획득하는 단계, 복수의 디지털 카메라를 이용하여 뷰어의 머리 및 눈 중 하나 이상을 추적하는 단계, 디스플레이를 이용하여 3차원 오브젝트를 표시하는 단계, 뷰어의 머리 및 눈 중 하나 이상의 위치에 기초하여 3차원 오브젝트가 표시될 때 3차원 오브젝트를 조정하는 단계, 및 3차원 오브젝트를 송신하고 수신하기 위해 통신 인터페이스를 이용하여 하나 이상의 다른 디바이스와 통신하는 단계를 포함한다. 전자 디바이스는 PDA, 카메라 폰, 랩탑 컴퓨터, 디지털 카메라, 비디오 카메라, 및 전자 시계를 포함하는 그룹에서 선택된다. 3차원 오브젝트는 이미지 세트를 포함한다. 디지털 카메라는 3차원 오브젝트를 획득하기 위한 하나 이상의 전하 결합 소자 센서를 포함한다. 방법은 계산에 의해 결정되는 자동 포커싱하는 단계를 더 포함하고, 계산은 광학 삼각측량, 거리 측정 및 광 패턴 왜곡을 포함하는 그룹에서 선택된다. 방법은 압축, 포맷팅, 해상도 향상, 및 컬러 향상을 포함하여 3차원 오브젝트를 처리하는 단계를 더 포함한다. 방법은 3차원 오브젝트를 로컬 메모리에 스테레오 포맷으로 저장하는 단계를 더 포함하고, 스테레오 포맷은 상하형, 라인-교대형, 나란이형, 사이버스코프, 납작해진 나란이형, 및 JPS 입체경 JPEG 중 하나 이상이다. 방법은 3차원 오브젝트를 표시하면서 하나 이상의 적외선 레이저를 구비하는 복수의 디지털 카메라를 이용하여 뷰어의 머리 및 눈 중 하나 이상을 추적하는 단계를 더 포함한다. 그러나, 방법은 3차원 오브젝트를 표시하면서 뷰어의 머리 및 눈 중 하나 이상을 추적하기 위해 하나 이상의 적외선 레이저를 이용하는 것을 요구하지는 않는다. 다르게는 디스플레이는 프로젝션 디스플레이이다. 구체적으로는, 통신 인터페이스는 무선으로 통신한다.In another aspect, a method for acquiring and displaying a three-dimensional object includes automatically focusing on a three-dimensional object using a plurality of digital cameras coupled to an electronic device, and obtaining the three-dimensional object using the plurality of digital cameras. Step, tracking one or more of the viewer's head and eyes using a plurality of digital cameras, displaying a three-dimensional object using a display, and displaying the three-dimensional object based on the position of one or more of the viewer's head and eyes. Adjusting the three-dimensional object when displayed, and communicating with one or more other devices using a communication interface to send and receive the three-dimensional object. Electronic devices are selected from the group comprising PDAs, camera phones, laptop computers, digital cameras, video cameras, and electronic watches. The three-dimensional object contains a set of images. Digital cameras include one or more charge coupled device sensors for obtaining three-dimensional objects. The method further includes the step of auto focusing determined by the calculation, wherein the calculation is selected from the group comprising optical triangulation, distance measurement, and light pattern distortion. The method further includes processing the three-dimensional object, including compression, formatting, resolution enhancement, and color enhancement. The method further includes storing the three-dimensional object in a stereo format in local memory, wherein the stereo format is one or more of top, bottom, line-shift, side by side, cyberscope, flat side by side, and JPS stereoscopic JPEG. . The method further includes tracking one or more of the viewer's head and eyes using a plurality of digital cameras having one or more infrared lasers while displaying the three-dimensional object. However, the method does not require using one or more infrared lasers to track one or more of the viewer's head and eyes while displaying the three-dimensional object. Otherwise the display is a projection display. Specifically, the communication interface communicates wirelessly.

도 1은 3D 획득 및 가시화 시스템의 실시예내에서 컴포넌트의 내부도를 예시하고 있다.1 illustrates an interior view of a component within an embodiment of a 3D acquisition and visualization system.

도 2는 3D 획득 및 가시화 시스템에 의해 구현되는 방법을 도시하는 플로우차트를 예시하고 있다.2 illustrates a flowchart illustrating a method implemented by a 3D acquisition and visualization system.

도 3은 3D 획득 및 가시화 시스템의 자동 포커싱 시스템의 그래픽 표현을 예시하고 있다.3 illustrates a graphical representation of an automatic focusing system of a 3D acquisition and visualization system.

도 4a는 3D 획득 및 가시화 시스템을 이용하여 3D 정보를 전자 디바이스로부터 양립가능한 디바이스에 송신하는 그래픽 표현을 예시하고 있다.4A illustrates a graphical representation of transmitting 3D information from an electronic device to a compatible device using a 3D acquisition and visualization system.

도 4b는 3D 획득 및 가시화 시스템을 이용하여 인터넷을 통해 전자 디바이스로부터 양립가능한 디바이스에 3D 정보를 송신하는 그래픽 표현을 예시하고 있다.4B illustrates a graphical representation of transmitting 3D information from an electronic device to a compatible device over the Internet using a 3D acquisition and visualization system.

3D 획득 및 가시화 시스템의 실시예는 랩탑 컴퓨터, PDA, 카메라 폰, 디지털 카메라, 비디오 카메라, 및 전자 시계를 포함하고 이들로 제한되지 않는 개인용 전자 디바이스에 구현된다.Embodiments of 3D acquisition and visualization systems are implemented in personal electronic devices, including but not limited to laptop computers, PDAs, camera phones, digital cameras, video cameras, and electronic watches.

도 1은 3D 획득 및 가시화 시스템의 실시예의 시스템내의 컴포넌트의 내부도를 예시하고 있다. 전자 디바이스(100)는 시스템의 적절한 기능을 보장하는데 요구되는 다수의 컴포넌트들을 포함한다. 하나의 실시예에서, 전자 디바이스는 랩탑 컴퓨터, PDA, 카메라 폰, 디지털 카메라, 비디오 카메라 또는 전자 시계를 포함하는 다수의 다른 디바이스의 하나 이상이다. 제1 디지털 카메라(102) 및 제2 디지털 카메라(104)는 서로 거의 평행하게 배치되고 자동포커싱, 3D 정보의 동시 획득, 및 3D 표시 목적을 위한 눈-추적의 프로세스에 활용된다. 이미지가 제1 디지털 카메라(102) 및 제2 디지털 카메라(104)에 의해 획득된 후, 프로세서(106)는 하드웨어 또는 소프트웨어를 통해 활용되어 압축, 포맷팅, 및 결국은 로컬 메모리(108)로의 저장을 포함하여 3D 정보를 처리한다. 송신기(110)는 3D 정보를 하나 이상의 다른 전자 디바이스에 송신하는데 가용하다. 다른 전자 디바이스로부터 3D 정보를 수신하는 수신기(112)가 포함된다. 다른 디바이스에 송신될 뿐만 아니라, 전자 디바이스(100)는 저장된 3D 정보를 표시하는 디스플레이(116)를 포함한다. 디스플레이(116)는 3D 정보를 표시할 때 제1 디지털 카메라(102) 및 제2 디지털 카메라(104)를 이용하여 뷰어의 눈을 추적하는 눈-추적을 포함한다. 디스플레이(116)는 또한 3D 정보를 표시하는데 하나 이상의 다양한 적절하고 가용한 3D 표시 기술을 포함한다. 제어 인터페이스(114)는 뷰어가 셋팅 및 다른 특징을 포함하는 전자 디바이스(100)의 다수의 양태를 제어할 수 있도록 활용된다. 전원(118)은 전자 디바이스(100)에 전력을 제공한다. 또한, 전자 디바이스(100)내의 3D 획득 및 가시화 시스템의 컴포넌트들은 사용자가 자동포커싱하고, 3D 정보를 획득하며, 3D 정보를 표시할 때 뷰어의 눈을 추적하고, 3D 정보를 다른 디바이스에 송신하며, 3D 정보를 표시할 수 있게 한다.1 illustrates an interior view of components within a system of an embodiment of a 3D acquisition and visualization system. The electronic device 100 includes a number of components required to ensure proper functioning of the system. In one embodiment, the electronic device is one or more of a number of other devices, including laptop computers, PDAs, camera phones, digital cameras, video cameras, or electronic watches. The first digital camera 102 and the second digital camera 104 are arranged almost parallel to each other and are utilized in the process of eye-tracking for autofocusing, simultaneous acquisition of 3D information, and 3D display purposes. After the image is acquired by the first digital camera 102 and the second digital camera 104, the processor 106 is utilized via hardware or software to compress, format, and eventually store to local memory 108. Including 3D information processing. Transmitter 110 is available to transmit 3D information to one or more other electronic devices. A receiver 112 is included that receives 3D information from another electronic device. In addition to being transmitted to other devices, the electronic device 100 includes a display 116 that displays stored 3D information. The display 116 includes eye-tracking to track the viewer's eyes using the first digital camera 102 and the second digital camera 104 when displaying 3D information. Display 116 also includes one or more of various suitable and available 3D presentation techniques for displaying 3D information. The control interface 114 is utilized to allow the viewer to control many aspects of the electronic device 100 including settings and other features. The power source 118 provides power to the electronic device 100. In addition, components of the 3D acquisition and visualization system in the electronic device 100 may autofocus, acquire 3D information, track the viewer's eyes when displaying 3D information, transmit 3D information to other devices, Enable to display 3D information.

도 2는 3D 획득 및 가시화 시스템에 의해 구현되는 방법을 도시하는 플로우차트를 예시하고 있다. 단계 202에서, 제1 디지털 카메라(102) 및 제2 디지털 카메라(104)는 광학 삼각측량을 통해 원하는 오브젝트에 자동포커싱하는데 활용된다. 그리고나서, 단계 204에서, 제1 디지털 카메라(102) 및 제2 디지털 카메라(104)는 3D 정보인 3D의 오브젝트를 포함하는 비디오 또는 이미지를 획득한다. 일단 획득되면, 프로세서(106)는 단계 206에서 3D 정보를 처리하고 3D 정보를 압축하며 포맷팅한다. 그리고나서, 단계 208에서, 3D 정보는 로컬 메모리(108)에 저장된다. 저장된 후, 단계 209에서 3D 정보는 단계 210의 눈-추적을 가지고 또는 눈-추적없이 뷰어에게 표시될 수 있다. 눈-추적을 위해, 제1 디지털 카메라(104) 및 제2 디지털 카메라(106)는 뷰어의 눈이 있는 곳을 결정한 후, 3D 정보가 적절한 각도로 뷰어에게 보여져서 이들이 3D 정보를 적절하게 보는 것을 보장한다. 3D 정보는 또한 단계 214에서 양립가능한 디바이스에 송신될 수 있다. 이러한 송신은 유선, 무선, 적외선, 무선-주파수, 셀룰러 및 위성 송신을 포함하는 임의의 적절한 수단에 의해서이다. 그리고나서, 그 양립가능한 수신 디바이스의 뷰어는 양립가능한 디바이스의 구성에 따라 3D 정보를 볼 수 있는 능력을 가진다. 단계 216은, 양립 가능한 디바이스가 눈 추적으로 3D 표시를 허용하는 경우에 뷰어가 상기 설명된 바와 같이, 3D 획득 및 가시화 시스템을 포함하는 디바이스 상의 디스플레이와 유사하게 3D 정보를 볼 것이다. 그러나, 단계 218은 눈 추적이 전혀 없지만 안경이 필요하지 않거나, 안경이 요구되는 단계 220과 반대되는 다른 3D 표시 프로세스를 제공한다. 또한, 양립가능한 디바이스가 단지 2D 디스플레이만을 가지고 있는 경우, 뷰어는 단계 222와 같이 단지 2D 이미지만을 볼 것이다. 양립가능한 디바이스는 소프트웨어를 이용하여 3D 정보를 2D 이미지로 변환한다. 전자 디바이스(100)는 또한 단계 212에서 설명된 바와 같이, 다른 양립가능한 디바이스로부터 3D 정보를 수신하는 능력을 가지고 있다. 3D 정보를 송신하는 전자 디바이스(100)의 능력과 유사하게, 표시 목적으로 2D 또는 3D 정보를 수신하는 능력도 가지고 있다. 일단 전자 디바이스(100)가 수신기(112)를 통해 정보를 수신하면, 전자 디바이스(100)는 필요한 대로 정보를 처리한 후, 이를 메모리(108)에 저장하며, 결국은 3D 뷰잉을 위해 눈-추적을 이용하여 정보를 뷰어에게 표시한다.2 illustrates a flowchart illustrating a method implemented by a 3D acquisition and visualization system. In step 202, the first digital camera 102 and the second digital camera 104 are utilized to autofocus on the desired object via optical triangulation. Then, in step 204, the first digital camera 102 and the second digital camera 104 obtain a video or image comprising a 3D object that is 3D information. Once obtained, the processor 106 processes the 3D information, compresses and formats the 3D information in step 206. Then, in step 208, the 3D information is stored in local memory 108. After being stored, the 3D information in step 209 may be displayed to the viewer with or without eye-tracking of step 210. For eye-tracking, the first digital camera 104 and the second digital camera 106 determine where the viewer's eyes are, and then the 3D information is shown to the viewer at an appropriate angle so that they see the 3D information properly. To ensure. The 3D information may also be sent to the compatible device at step 214. Such transmission is by any suitable means including wired, wireless, infrared, radio-frequency, cellular and satellite transmissions. The viewer of the compatible receiving device then has the ability to view 3D information according to the configuration of the compatible device. Step 216 will view the 3D information similar to a display on a device that includes a 3D acquisition and visualization system, as described above, if the compatible device allows 3D display with eye tracking. However, step 218 provides another 3D display process as opposed to step 220 where there is no eye tracking but no glasses or glasses are required. Also, if the compatible device has only a 2D display, the viewer will only see the 2D image as in step 222. Compatible devices use software to convert 3D information into 2D images. The electronic device 100 also has the ability to receive 3D information from another compatible device, as described in step 212. Similar to the ability of the electronic device 100 to transmit 3D information, it also has the ability to receive 2D or 3D information for display purposes. Once the electronic device 100 receives the information via the receiver 112, the electronic device 100 processes the information as needed and then stores it in the memory 108, which in turn is eye-tracked for 3D viewing. Display information to viewer using.

도 3은 3D 획득 및 가시화 시스템의 자동포커싱 시스템의 그래픽 표현을 예시하고 있다. 하나의 실시예에서, 개인용 전자 디바이스를 위한 3D 획득 및 가시화 시스템은 제1 디지털 카메라(102) 및 제2 디지털 카메라(104)를 이용한 자동 포커싱을 허용한다. 시스템은 제1 디지털 카메라(102) 및 제2 디지털 카메라(104)를 이용하여 오브젝트의 3D 기하학적 구조, 컬러, 및 깊이를 측정한다. 제1 디지털 카메라(102)는 제1 렌즈(302) 및 제1 전하 결합 소자(CCD, 308)를 구비하고 있고, 제2 디지털 카메라(104)는 제2 렌즈(304) 및 제2 CCD(310)를 구비하고 있다. 공지된 바와 같이, CCD 센서들은 사용자가 디지털 카메라로 사진을 찍을 수 있게 한다. 일단 디지털 카메라의 기계적 셔터가 개방되면, CCD 센서는 렌즈를 통해 빛에 노출된다. CCD 센서는 빛을 전하로 변환한 후 신호로 변환한다. 그리고나서, 신호는 디지털화되어 메모리에 저장된다. 최종적으로, 얻어진 정보는 예를 들면, 전자 디바이스의 LDC 상에 표시된다. 하나의 실시예에서, 광학 삼각측량은 정확한 깊이에서 제1 디지털 카메라(102) 및 제2 디지털 카메라(104)를 포커싱하는데 이용된다. 광학 삼각측량은 제1 디지털 카메라(102) 및 제2 디지털 카메라(104)로부터 얻어진 픽쳐에서 포인트 P(306)의 이미지를 매칭하는 것을 포함한다. 제1 디지털 카메라(102) 및 제2 디지털 카메라(104)는 전자 디바이스(100)에 평행하게 결합된다. 깊이 맵은 일반적으로 2차원 어레이인 깊이 측정을 저장하는데 활용된다. x 및 y 성분이 인코딩되고, z는 각 포인트에 대응하는 깊이 측정이다. 핀홀 카메라에 대해, 깊이(z)는 이하의 공식을 이용하여 계산된다.3 illustrates a graphical representation of an autofocusing system of a 3D acquisition and visualization system. In one embodiment, the 3D acquisition and visualization system for a personal electronic device allows for automatic focusing using the first digital camera 102 and the second digital camera 104. The system uses the first digital camera 102 and the second digital camera 104 to measure the 3D geometry, color, and depth of the object. The first digital camera 102 includes a first lens 302 and a first charge coupled device (CCD) 308, and the second digital camera 104 includes a second lens 304 and a second CCD 310. ). As is known, CCD sensors allow a user to take a picture with a digital camera. Once the mechanical shutter of the digital camera is open, the CCD sensor is exposed to light through the lens. The CCD sensor converts light into charge and then into a signal. The signal is then digitized and stored in memory. Finally, the obtained information is displayed on the LDC of the electronic device, for example. In one embodiment, optical triangulation is used to focus the first digital camera 102 and the second digital camera 104 at the correct depth. Optical triangulation includes matching an image of point P 306 in a picture obtained from first digital camera 102 and second digital camera 104. The first digital camera 102 and the second digital camera 104 are coupled in parallel to the electronic device 100. Depth maps are typically used to store depth measurements, which are two dimensional arrays. The x and y components are encoded and z is the depth measure corresponding to each point. For the pinhole camera, the depth z is calculated using the following formula.

z = b * f/(xl' - xr')z = b * f / (x l '-x r ')

여기에서, 초점 길이는 f이고, 2개의 디지털 카메라간 거리는 b이며, 제1 이미지 면은 xl'이고, 제2 이미지 면은 xr'이다. 계산은 전자 디바이스(100)의 내부 하드웨어 및 소프트웨어에 의해 자동으로 수행되고, 전자 디바이스(100)는 매우 정확하게 자동 포커싱한다.Here, the focal length is f, the distance between two digital cameras is b, the first image plane is x l 'and the second image plane is x r '. The calculation is performed automatically by the internal hardware and software of the electronic device 100, and the electronic device 100 automatically focuses very accurately.

일단 디지털 카메라가 포커싱되면, 제1 디지털 카메라(102) 및 제2 디지털 카메라(104)가 전자 디바이스(100)에서 함께 결합되므로, 3차원 정보를 획득하는 것이 간단하다. 사용자는 평소대로 사진을 찍고, 제1 디지털 카메라(102) 및 제2 디지털 카메라(104) 각각은 약간 다른 각도로부터 3D 정보를 수집하여, 입체 이미지를 생성한다. 또한, 디지털 카메라는 서로 매우 가깝게 배치되므로, 과거의 입체 카메라를 곤란하게 했던 대부분의 문제들이 회피된다.Once the digital camera is focused, the first digital camera 102 and the second digital camera 104 are coupled together in the electronic device 100, so that it is simple to obtain three-dimensional information. The user takes a picture as usual, and each of the first digital camera 102 and the second digital camera 104 collects 3D information from slightly different angles to generate a stereoscopic image. In addition, since the digital cameras are placed very close to each other, most of the problems that have troubled the stereoscopic cameras of the past are avoided.

3D 정보를 획득하는 다른 실시예는 전자 디바이스(100)에 결합된 적절한 크기의 레이저 거리계(range finder)를 활용하고, 여기에서 레이저가 오브젝트에 바운딩되고 수신기는 반사된 빔이 되돌아오는 시간을 계산한다. 거리계는 정확한 거리에서 자동 포커싱하는데 도움을 주므로, 제1 디지털 카메라(102) 및 제2 디지털 카메라(104)가 정확한 데이터를 획득한다.Another embodiment of obtaining 3D information utilizes an appropriately sized laser range finder coupled to the electronic device 100, where the laser is bound to the object and the receiver calculates the time the reflected beam returns. . Since the rangefinder helps auto focus at the correct distance, the first digital camera 102 and the second digital camera 104 obtain accurate data.

3D 정보를 획득하는 또 하나의 다른 실시예는 광 패턴을 오브젝트 상에 프로젝팅하는 것을 포함한다. 패턴은 그리드, 스트라이프, 또는 타원 패턴을 포함할 수 있다. 그리고나서, 오브젝트의 형태는 광 패턴의 왜곡(warp)으로부터 유추된다. 그리고나서, 제1 디지털 카메라(102) 및 제2 디지털 카메라(104) 위치 및 왜곡을 이용하여 깊이가 계산된다.Another embodiment of obtaining 3D information includes projecting a light pattern onto an object. The pattern may comprise a grid, stripe, or ellipse pattern. The shape of the object is then inferred from the warp of the light pattern. The depth is then calculated using the position and distortion of the first digital camera 102 and the second digital camera 104.

3D 정보가 획득된 후, 전자 디바이스(100)에서 처리되어 로컬 메모리(108)에 저장된다. 데이터의 처리는 압축, 포맷팅, 해상도 향상 및 컬러 향상을 포함한다. 그리고나서, 3D 정보는 상하형(above-below), 라인-교대형(line-alternate), 나란이형(side-by-side), 사이버스코프(cyberscope), 납작해진 나란이형(squashed side-by-side), 및 JPS 입체경 JPEG를 포함하는 다양한 포맷들 중 하나 이상으로 저장된다.After the 3D information is obtained, it is processed in the electronic device 100 and stored in the local memory 108. Processing of the data includes compression, formatting, resolution enhancement, and color enhancement. The 3D information is then topped-below, line-alternate, side-by-side, cyberscope, flattened side-by- side), and one or more of various formats including JPS stereoscopic JPEG.

뷰어가 3D 정보를 보기 위해서는, 3D 정보가 초점에서 3D로 항상 유지되도록 눈-추적 시스템이 구현된다. 제1 디지털 카메라(102) 및 제2 디지털 카메라(104)가 활용되어 눈-추적 시스템을 구현한다. 눈-추적을 위한 실시예는 제1 디지털 카메라(102) 및 제2 디지털 카메라(104)의 렌즈를 둘러싸는 적외선 LED를 활용하여, 뷰어의 눈으로부터 역반사 효과를 최대화시키기 위해 LED 광원이 가능한 한 디지털 카메라 렌즈의 광축에 가깝게 하는 것을 포함한다. 눈과 얼굴간의 반사도의 차이는 결국 눈은 화이트가 되고 얼굴은 블랙이 되게 되며, 눈의 위치를 결정하기에 충분한다. 너무 많은 주위광이 존재하거나 뷰어가 안경을 착용하고 있는 경우에 문제가 발생하지만, 차이 분석 기술이 이용되어 원하지 않는 반사 또는 과잉-조명 문제를 제거한다. 다르게는, 적외선 LED가 없는 시스템에서, 디지털 카메라는 뷰어의 이미지를 대안으로 분석하고 비교하여 뷰어의 눈의 위치를 결정한다. 일단 뷰어의 눈의 위치가 확립되면, 제1 디지털 카메라(102) 및 제2 디지털 카메라(104)는 뷰어가 디스플레이(116)를 보고 있을 때 이들을 계속해서 추적한다. 디스플레이(116) 상의 이미지들이 필요에 따라 회전 및/또는 이동되어 뷰어가 계속하여 3D 이미지를 보게 된다.In order for the viewer to view the 3D information, an eye-tracking system is implemented such that the 3D information is always maintained in focus in 3D. The first digital camera 102 and the second digital camera 104 are utilized to implement an eye-tracking system. An embodiment for eye-tracking utilizes infrared LEDs surrounding the lenses of the first digital camera 102 and the second digital camera 104, so that the LED light source is as much as possible to maximize the retroreflective effect from the viewer's eyes. Close to the optical axis of the digital camera lens. The difference in reflectivity between eyes and face is that the eyes eventually become white and the faces become black, which is enough to determine the position of the eyes. Problems arise when there is too much ambient light or when the viewer is wearing glasses, but differential analysis techniques are used to eliminate unwanted reflection or over-lighting problems. Alternatively, in a system without infrared LEDs, the digital camera alternatively analyzes and compares the viewer's image to determine the viewer's eye position. Once the viewer's eye position is established, the first digital camera 102 and the second digital camera 104 continue to track them when the viewer is looking at the display 116. The images on the display 116 are rotated and / or moved as needed so that the viewer continues to see the 3D image.

뷰어를 추적하는 다른 실시예는 뷰어의 머리를 추적한 후 뷰어의 눈이 위치하는 곳을 추정하는 것을 포함한다. 시스템은 뷰어의 머리의 윤곽을 얻은 후, 뷰어의 눈이 위치하는 곳을 예측한다. 머리-추적을 달성하는 다수의 기술들이 있다. 이미지 분석은 일반적으로 공지된 배경 또는 일관되고 제어된 주위 광을 필요로 한다. 적외선 LED는 제1 디지털 카메라(102) 및 제2 디지털 카메라(104)의 렌즈 주위에 배치되고, 배경 및 뷰어를 향해 발광한다. 여기에서, 복잡한 광 레벨 제어가 필요하지 않으므로, CCD 카메라가 이용가능하다. 배경의 노출된 영역이 완전히 화이트로 보이고 뷰어가 블랙으로 보이도록 카메라의 개구가 조정된다. 그리고나서, 뷰어의 윤곽은 전자 디바이스 내의 소프트웨어를 이용하여 확립되어, 눈 위치를 근사한다. 다르게는, 뷰어의 머리 위치를 계산하기 위해 적외선 스트라이프 및 스트라이프의 왜곡(distortion)을 이용하는 역반사형 스크린이 없이도 이러한 프로세스가 수행된다. 다르게는, 적외선 LED가 없는 시스템에서, 디지털 카메라는 대안으로 뷰어의 이미지를 분석하고 비교하여, 뷰어의 머리 및 눈의 위치를 결정한다.Another embodiment of tracking the viewer includes tracking the head of the viewer and then estimating where the viewer's eyes are located. After the system outlines the viewer's head, it predicts where the viewer's eyes are located. There are a number of techniques for achieving head-tracking. Image analysis generally requires a known background or consistent and controlled ambient light. An infrared LED is disposed around the lenses of the first digital camera 102 and the second digital camera 104 and emits toward the background and the viewer. Here, a CCD camera is available since no complicated light level control is necessary. The aperture of the camera is adjusted so that the exposed area of the background is completely white and the viewer is black. The outline of the viewer is then established using software in the electronic device to approximate the eye position. Alternatively, this process is performed without a retroreflective screen that uses an infrared stripe and the distortion of the stripe to calculate the head position of the viewer. Alternatively, in a system without infrared LEDs, the digital camera alternatively analyzes and compares the viewer's image to determine the viewer's head and eye position.

머리-추적의 다른 실시예는 음향 거리 측정 및 삼각측량을 이용하여 뷰어의 머리의 위치를 구하는 것을 포함한다. 전자 디바이스(100) 상에 위치한 초음파 트랜스듀서는 펄스를 송신하고 펄스로부터 에코를 수신하는데 이용된다. 펄스의 전송과 수신된 때 사이의 시간 지연을 알게 됨으로써, 오브젝트의 거리가 삼각측량된다. 절차는 다수 반복되고, 눈의 위치를 포함하는 뷰어의 머리의 연속적인 근사가 발생한다.Another embodiment of head-tracking includes determining the position of the viewer's head using acoustic distance measurements and triangulation. An ultrasonic transducer located on the electronic device 100 is used to transmit a pulse and receive an echo from the pulse. By knowing the time delay between the transmission and reception of the pulse, the distance of the object is triangulated. The procedure is repeated a number of times, resulting in a continuous approximation of the viewer's head including the eye position.

또 하나의 다른 실시예는 복수의 뷰어의 눈을 추적하는 방법을 포함함으로써, 복수의 프로젝터들이 3D 정보를 뷰어의 눈에 표시하는데 이용되고 3D 정보는 적절한 위치로 지향된다.Yet another embodiment includes a method of tracking the eyes of a plurality of viewers, whereby a plurality of projectors are used to display 3D information in the viewer's eyes and the 3D information is directed to the appropriate location.

디바이스들이 3D 정보를 표시하는 다수의 다른 옵션들이 있다. 디스플레이(116)에 대한 실시예는 3D 자동 입체 디스플레이 또는 2D 디스플레이로서 이용되는 시차 장벽 기술을 활용한다. 시차 장벽은 화소면으로부터 정해진 거리만큼 이격된 슬릿의 어레이를 포함한다. 윈도우에 걸친 세기 분포는 결국은 윈도우 면에서의 세기 변동으로 나타나는 슬릿의 개구를 통한 근계 회절과 상세한 화소 구조의 컨볼루션으로서 모델링된다. 또한, 시차 장벽은 높은 정밀도로 LCD에 정렬될 필요가 있다. 시차 장벽은 2D와 3D간의 변환을 허용하도록 투명하게 될 수 있다.There are a number of other options for devices to display 3D information. Embodiments for the display 116 utilize parallax barrier technology used as 3D autostereoscopic displays or 2D displays. The parallax barrier comprises an array of slits spaced a predetermined distance from the pixel plane. The intensity distribution across the window is modeled as a convolution of the detailed pixel structure and near-field diffraction through the aperture of the slit, which eventually results in intensity variations in the window plane. In addition, the parallax barriers need to be aligned to the LCD with high precision. The parallax barrier can be transparent to allow conversion between 2D and 3D.

다른 실시예는 3D 정보를 표시하는데 렌즈 소자를 활용한다. 렌즈 소자는 통상적으로 LCD와 같은 2D 디스플레이에 대해 수직으로 배열되는 실린더형 렌즈이다. 실린더형 렌즈는 화소로부터의 확산광을 지향하므로, 디스플레이 전방에서 제한된 각도에서만 보여진다. 그러므로, 다른 화소들은 좌측 또는 우측 시야각으로 지향된다. 2D/3D 스위칭 확산기는 렌즈 소자의 전방에 결합되어, 뷰어가 2D와 3D 사이에서 스위칭할 수 있게 한다. 2D/3D 스위칭 확산기가 오프되는 경우, 빛을 산란시키고 빛이 렌즈형 렌즈에 도달하지 않도록 방지하여 통상적인 2D 디스플레이와 유사한 동작이 되게 한다.Another embodiment utilizes a lens element to display 3D information. The lens element is typically a cylindrical lens arranged perpendicular to a 2D display such as an LCD. Cylindrical lenses direct diffused light from the pixels and are therefore only visible at limited angles in front of the display. Therefore, other pixels are directed to the left or right viewing angle. The 2D / 3D switching diffuser is coupled to the front of the lens element, allowing the viewer to switch between 2D and 3D. When the 2D / 3D switching diffuser is turned off, it scatters the light and prevents the light from reaching the lenticular lens, resulting in a behavior similar to that of a conventional 2D display.

또 하나의 다른 실시예는 시차 소자로서 수직으로 오리엔팅된 마이크로-프리즘의 어레이를 이용하는 것을 포함하고, 칼럼으로 수직으로 얽혀 짜진 좌측 및 우측 이미지는 마이크로-프리즘에 의해 2개의 뷰잉 윈도우에 지향된다.Yet another embodiment includes using an array of vertically oriented micro-prisms as parallax elements, wherein the left and right images tangled vertically into columns are directed to the two viewing windows by the micro-prisms.

또 하나의 다른 실시예는 적층된 마이크로-편광기 소자의 시리즈를 이용하여 스위칭가능한 시차 장벽을 생성하는 것을 포함한다. 마이크로-편광기 소자는 LCD 소자 내부에 구성되어 통상의 시차 문제들을 회피한다.Yet another embodiment includes creating a switchable parallax barrier using a series of stacked micro-polarizer elements. The micro-polarizer element is constructed inside the LCD element to avoid conventional parallax problems.

또 하나의 다른 실시예는 3D 정보를 보는데 컬러링되고 편광되거나 스위칭하는 안경과 같은 뷰잉 지원을 포함하고, 여기에서 입체경 디스플레이는 자동 입체경은 아니다.Another alternative embodiment includes viewing support, such as glasses that are colored, polarized or switched to view 3D information, wherein the stereoscopic display is not an automatic stereoscopic mirror.

또 하나의 다른 실시예는 편광을 이용하여 좌측 눈 및 우측 눈 스테레오이미지를 분리하고 적절한 이미지를 적절한 눈에 지향하는 빔 스플리터를 이용하는 것을 포함한다.Yet another embodiment includes separating the left and right eye stereo images using polarization and using a beam splitter that directs the appropriate image to the appropriate eye.

도 4a 및 4b는 3D 획득 및 가시화 시스템을 이용하여 3D 정보를 전자 디바이스(100)로부터 양립가능한 수신 디바이스(400)에 송신하는 그래픽 표현을 예시하고 있다. 3D 정보를 표시할 수 있는 능력뿐만 아니라, 전자 디바이스(100)는 3D 정보를 양립가능한 디바이스(400)에 무선으로 송신하는 능력을 가지고 있다. 또한, 전자 디바이스(100)는 또한 양립가능한 디바이스(400)로부터 3D 정보를 수신하는 능력도 가지고 있다. 무선 송신 타입은 블루투스®(402) 또는 직접적인 디바이스간 송신을 위한 유사한 기술(402)을 포함한다. 다른 무선 전달 타입은 전자 디바이스를 인터넷(410)에 결합하여, 3D 정보가 서버에 전송된 후 양립가능한 디바이스(400)가 3D 정보를 무선으로 다운로딩할 수 있는 것을 포함한다. 상기 설명된 바와 같이, 전자 디바이스(100)는 송신기(110) 및 수신기(112)를 포함한다. 송신기(110) 및 수신기(112)는 전자 디바이스(100)의 프로세서(106), 메모리(108), 및 디스플레이(116)에 및 그로부터 데이터를 전달하는 능력을 가지도록 결합된다. 송신기(110)는 적외선 송신 시스템 또는 무선-주파수 송신 시스템을 포함한다. 양립가능한 디바이스(400)는 양립가능한 디바이스(400)가 자동 입체경 디바이스일 필요는 없지만 유사한 컴포넌트들을 포함해야 한다. 양립가능한 디바이스는 자동 입체경 디바이스, 입체경 디바이스, 또는 단순히 2D 디바이스일 수 있다. 분명하게도, 디바이스에 따라, 이미지의 모든 특징을 보기 위해서는 전용 안경과 같은 추가 하드웨어가 필요하다. 2D 디바이스에 대해서와 같이, 3D 이미지는 단지 2D로 보인다. 다른 실시예에서, 3D 정보는 예를 들면 이더넷 케이블, IEEE 1394 양립가능한 케이블, 또는 USB 케이블과 같은 케이블을 통해 비-무선으로 송신된다.4A and 4B illustrate a graphical representation of transmitting 3D information from an electronic device 100 to a compatible receiving device 400 using a 3D acquisition and visualization system. In addition to the ability to display 3D information, electronic device 100 has the ability to wirelessly transmit 3D information to compatible device 400. In addition, the electronic device 100 also has the ability to receive 3D information from the compatible device 400. Wireless transmission type includes a similar technique (402) for transmission between Bluetooth ® 402 or direct device. Another type of wireless delivery involves coupling an electronic device to the Internet 410 such that compatible device 400 can wirelessly download the 3D information after the 3D information is sent to the server. As described above, the electronic device 100 includes a transmitter 110 and a receiver 112. Transmitter 110 and receiver 112 are coupled to have the ability to transfer data to and from processor 106, memory 108, and display 116 of electronic device 100. Transmitter 110 includes an infrared transmission system or a radio-frequency transmission system. Compatible device 400 need not include compatible components 400, but need to be similar components. Compatible devices may be autostereoscopic devices, stereoscopic devices, or simply 2D devices. Clearly, depending on the device, additional hardware, such as dedicated glasses, is needed to see all the features of the image. As with the 2D device, the 3D image only looks 2D. In another embodiment, the 3D information is transmitted non-wireless via a cable such as, for example, an Ethernet cable, an IEEE 1394 compatible cable, or a USB cable.

본 발명의 다른 실시예는 뷰잉을 위해 3D 정보를 스크린 상에 프로젝팅하는 것을 포함한다. 3D 정보를 디스플레이(116) 상에서 뷰잉하는 것뿐만 아니라, 전자 디바이스(100)는 3D 정보를 스크린 상에 프로젝팅함으로써, 상기 설명된 바와 같이 전용 안경을 이용하여 뷰잉이 달성된다.Another embodiment of the present invention involves projecting 3D information on a screen for viewing. In addition to viewing the 3D information on the display 116, the electronic device 100 projects the 3D information on the screen, so that viewing is accomplished using dedicated glasses as described above.

입체경 획득 및 표시 성능에 대해 상기 설명된 모든 특징들뿐만 아니라, 전자 디바이스(100)는 그에게 본질적인 모든 특징을 유지할 것이다. 예를 들면, 전자 디바이스가 입체경 특징을 가지는 PDA인 경우, 사용자는 정보를 저장하고 스케줄을 세팅하며 이전과 같이 PDA를 계속해서 이용하는 능력을 여전히 가지고 있다. 마찬가지로, 카메라 폰은 입체경 특징뿐만 아니라 전화기로서 기능할 것이다. 3D 획득 및 가시화 시스템은 입체경 특징을 추가함으로써 전자 디바이스(100)를 향상시킨다.In addition to all the features described above for stereoscopic acquisition and display performance, the electronic device 100 will retain all features essential to him. For example, if the electronic device is a PDA with stereoscopic features, the user still has the ability to store information, set a schedule, and continue to use the PDA as before. Likewise, the camera phone will function as a phone as well as a stereoscopic feature. The 3D acquisition and visualization system enhances the electronic device 100 by adding stereoscopic features.

동작시, 전자 디바이스(100)는 랩탑 컴퓨터, PDA, 카메라 폰, 디지털 카메라, 비디오 카메라 및 전자 시계를 포함하고 이들로 제한되지 않는 기저 디바이스의 추가 특징을 가지는 디지털 카메라와 거의 유사하게 이용된다. 3D 사진을 찍고 3D 정보를 얻기 위해서는, 사용자는 전자 디바이스(100)의 전원을 켠다. 그리고나서, 사용자는 전자 디바이스(100)의 제1 디지털 카메라(102) 및 제2 디지털 카메라(104)를 원하는 오브젝트에 향한다. 마지막으로, 사용자는 사진을 찍는 제1 디지털 카메라(102) 및 제2 디지털 카메라(104)에 결합되는 버튼을 누른다. 사진이 찍어지기 이전에, 사용자가 원하는 오브젝트를 향하고 있을 때, 제1 디지털 카메라(102) 및 제2 디지털 카메라(104)의 자동 포커싱 시스템은 자동으로 오브젝트의 적절한 깊이로 포커싱되어 가능한 가장 깨끗한 화면이 취해진다. 2개의 카메라는 오브젝트의 깊이를 삼각측량하고 오브젝트 상에 신속하고 명백하게 포커싱한다. 제1 디지털 카메라(102)는 제1 각도로부터 정보를 획득하고 제2 디지털 카메라(104)는 제1 각도로부터 약간 오프셋된 제2 각도로부터 정보를 획득한다. 프로세서(106)는 내부 소프트웨어를 활용하고 각 카메라로부터의 분리된 정보를 하나의 세트의 3D 정보로 처리한다. 사진을 찍은 후, 사용자는 디스플레이(116) 상에서 3D 정보를 뷰잉하고, 3D 정보를 양립가능한 수신 디바이스(400)에 송신하거나 3D 정보를 스크린에 프로젝팅하는 옵션을 가지고 있다. 전자 디바이스(100) 상에서 3D 정보를 뷰잉하기 위해서는, 제1 카메라(102) 및 제2 카메라(104)는 사용자의 눈, 머리 또는 둘다를 추적하는데 이용된다. 사용자는 3D 정보에 대한 포커스를 잃지 않고서도 자유롭게 이동하면서도 디스플레이(116) 상에서 3D 정보를 단순하게 뷰잉한다. 디스플레이(116)는 적절하고 가용한 3D 기술 중 하나 이상을 추가로 활용하여 3D 정보를 표시한다. 3D 정보를 양립가능한 수신 디바이스(400)에 송신하기 위해, 전자 디바이스(100)는 양립가능한 수신 디바이스(400)와 통신하는데 필요한 기능을 포함한다. 또한, 사용자는 전자 디바이스(100)와 상호작용하여, 누르는 버튼 세트, 터치하는 터치 스크린, 또는 돌리는 놉(nob)을 포함하고 이들로 제한되지 않는 입력 디바이스를 이용하여 3D 정보를 송신한다. 추가적으로, 사용자는 3D 정보를 외부 스크린에 프로젝팅하여, 3D 정보를 뷰잉하는 비주얼 지원이 요구된다. 3D 정보를 프로젝팅하는 셋업은 3D 정보가 외부 스크린 상에 명백하게 표시되도록 적당한 가까운 근접 내의 표면 상에 전자 디바이스(100)를 고정시키는 것을 포함한다. 예를 들면, 전자 디바이스(100)는 풀다운 화이트 캔버스 디스플레이로부터 5피트인 테이블 상에 놓여지고, 뷰어는 편광된 3D 안경을 착용하여 프로젝팅된 3D 정보를 뷰잉한다.In operation, electronic device 100 is used almost similarly to a digital camera having additional features of the underlying device, including but not limited to laptop computers, PDAs, camera phones, digital cameras, video cameras, and electronic watches. To take 3D pictures and obtain 3D information, the user turns on the electronic device 100. The user then points the first digital camera 102 and the second digital camera 104 of the electronic device 100 to the desired object. Finally, the user presses a button that is coupled to the first digital camera 102 and the second digital camera 104 to take a picture. Before the picture is taken, when the user is facing the desired object, the automatic focusing system of the first digital camera 102 and the second digital camera 104 automatically focuses to the appropriate depth of the object to produce the cleanest possible screen. Is taken. Two cameras triangulate the depth of the object and quickly and clearly focus on the object. The first digital camera 102 obtains information from the first angle and the second digital camera 104 obtains information from the second angle slightly offset from the first angle. The processor 106 utilizes internal software and processes the separated information from each camera into a set of 3D information. After taking the picture, the user has the option of viewing the 3D information on the display 116, transmitting the 3D information to the compatible receiving device 400 or projecting the 3D information onto the screen. In order to view 3D information on the electronic device 100, the first camera 102 and the second camera 104 are used to track the user's eyes, head or both. The user simply views the 3D information on the display 116 while moving freely without losing focus on the 3D information. Display 116 further utilizes one or more of the appropriate and available 3D techniques to display 3D information. In order to transmit 3D information to the compatible receiving device 400, the electronic device 100 includes the functionality necessary to communicate with the compatible receiving device 400. In addition, the user interacts with the electronic device 100 to transmit 3D information using an input device including but not limited to a set of pressing buttons, a touching touch screen, or a turning knob. In addition, the user is required to visually project the 3D information to an external screen to view the 3D information. The setup for projecting 3D information includes securing the electronic device 100 on a surface in a suitable close proximity such that the 3D information is clearly displayed on an external screen. For example, the electronic device 100 is placed on a table that is five feet from the pull-down white canvas display and the viewer wears polarized 3D glasses to view the projected 3D information.

본 발명은 그 구성 및 동작의 원리의 이해를 용이하게 하는 세부사항을 포함하는 특정 실시예의 측면에서 설명되었다. 여기에서의 그러한 특정 실시예 및 그 세부사항에 대한 참조는 여기에 첨부된 청구의범위의 범주를 제한하려는 것이 아니다. 본 기술분야의 숙련자라면, 청구의 범위에 의해 정의된 본 발명의 사상과 범주로부터 벗어나지 않고서도 예시를 위해 선택된 실시예에서 다양한 변형이 가해질 수 있다는 것을 잘 알고 있을 것이다.The invention has been described in terms of specific embodiments, including details that facilitate understanding of the principles of construction and operation thereof. Reference to such specific embodiments and details herein is not intended to limit the scope of the claims appended hereto. Those skilled in the art will appreciate that various modifications may be made in the embodiments selected for illustration without departing from the spirit and scope of the invention as defined by the claims.

Claims (68)

a, 전자 디바이스;a, electronic device; b, 광학 삼각측량을 이용하여 3차원 정보에 자동포커싱하기 위해 상기 전자 디바이스에 결합되는 복수의 디지털 카메라; 및b, a plurality of digital cameras coupled to the electronic device for autofocusing on three-dimensional information using optical triangulation; And c, 상기 3차원 정보를 표시하기 위해 상기 전자 디바이스에 결합되는 디스플레이를 포함하고,c, a display coupled to the electronic device for displaying the three-dimensional information, 상기 복수의 디지털 카메라 각각은 디지털 이미지를 획득하고, 상기 3차원 정보는 상기 복수의 디지털 카메라 모두에 의해 획득된 디지털 이미지를 포함하며,Each of the plurality of digital cameras acquires a digital image, and the three-dimensional information includes a digital image obtained by all of the plurality of digital cameras, 상기 복수의 디지털 카메라는 뷰어의 머리 및 눈 중 하나 이상의 위치에 기초하여 상기 3차원 정보의 디스플레이 각도를 조정하는,The plurality of digital cameras adjust the display angle of the three-dimensional information based on the position of one or more of the viewer's head and eyes, 3차원 정보 획득 및 표시 시스템.3D information acquisition and display system. 제1항에 있어서, 상기 전자 디바이스는 PDA, 카메라 폰, 랩탑 컴퓨터, 디지털 카메라, 비디오 카메라, 및 전자 시계를 포함하는 그룹에서 선택되는 3차원 정보 획득 및 표시 시스템.The system of claim 1, wherein the electronic device is selected from the group comprising a PDA, a camera phone, a laptop computer, a digital camera, a video camera, and an electronic watch. 제1항에 있어서, 상기 3차원 정보는 이미지 세트를 포함하는 3차원 정보 획득 및 표시 시스템.The system of claim 1, wherein the three-dimensional information comprises an image set. 제1항에 있어서, 상기 디지털 카메라는 상기 3차원 정보를 획득하기 위한 하나 이상의 전하 결합 소자 센서를 포함하는 3차원 정보 획득 및 표시 시스템.The system of claim 1, wherein the digital camera comprises one or more charge coupled device sensors for acquiring the three-dimensional information. 삭제delete 제1항에 있어서, 상기 3차원 정보는 압축, 포맷팅, 해상도 향상, 및 컬러 향상을 포함하여 처리되는 3차원 정보 획득 및 표시 시스템.The system of claim 1, wherein the three-dimensional information is processed including compression, formatting, resolution enhancement, and color enhancement. 제1항에 있어서, 상기 3차원 정보는 로컬 메모리에 스테레오 포맷으로 저장되는 3차원 정보 획득 및 표시 시스템.The system of claim 1, wherein the three-dimensional information is stored in a stereo format in a local memory. 제7항에 있어서, 상기 스테레오 포맷은 상하형, 라인-교대형, 나란이형, 사이버스코프, 납작해진 나란이형, 및 JPS 입체경 JPEG 중 하나 이상인 3차원 정보 획득 및 표시 시스템.8. The system of claim 7, wherein the stereo format is one or more of top, bottom, line-shift, side by side, cyberscope, flat side by side, and JPS stereoscopic JPEG. 제1항에 있어서, 상기 복수의 디지털 카메라는 상기 3차원 정보를 표시하면서 뷰어의 머리 및 눈 중 하나 이상을 추적하는 3차원 정보 획득 및 표시 시스템.The system of claim 1, wherein the plurality of digital cameras track one or more of a viewer's head and eyes while displaying the three-dimensional information. 제9항에 있어서, 상기 복수의 디지털 카메라는 상기 3차원 정보를 표시하면서 뷰어의 머리 및 눈 중 하나 이상을 추적하기 위해 하나 이상의 적외선 레이저를 이용하는 3차원 정보 획득 및 표시 시스템.The system of claim 9, wherein the plurality of digital cameras uses one or more infrared lasers to track one or more of the viewer's head and eyes while displaying the three-dimensional information. 제1항에 있어서, 상기 디스플레이는 프로젝션 디스플레이인 3차원 정보 획득 및 표시 시스템.The system of claim 1, wherein the display is a projection display. 제1항에 있어서, 상기 디스플레이는 2차원 정보를 표시하는 3차원 정보 획득 및 표시 시스템.The system of claim 1, wherein the display displays two-dimensional information. 제1항에 있어서, 상기 3차원 정보는 뷰잉 지원없이 뷰잉되는 3차원 정보 획득 및 표시 시스템.The system of claim 1, wherein the three-dimensional information is viewed without viewing support. 제1항에 있어서, 뷰잉 지원은 상기 3차원 정보를 뷰잉하는데 필요한 3차원 정보 획득 및 표시 시스템.The system of claim 1, wherein viewing support is required to view the three-dimensional information. 제1항에 있어서, 상기 3차원 정보를 송신 및 수신하기 위해 하나 이상의 다른 디바이스와 통신하기 위한 통신 인터페이스를 더 포함하는 3차원 정보 획득 및 표시 시스템.The system of claim 1, further comprising a communication interface for communicating with one or more other devices to transmit and receive the three-dimensional information. 제15항에 있어서, 상기 통신 인터페이스는 무선으로 통신하는 3차원 정보 획득 및 표시 시스템.The system of claim 15, wherein the communication interface communicates wirelessly. 제1항에 있어서, 상기 전자 디바이스를 제어하기 위해 상기 전자 디바이스에 결합되는 제어 인터페이스를 더 포함하는 3차원 정보 획득 및 표시 시스템.2. The system of claim 1, further comprising a control interface coupled to the electronic device for controlling the electronic device. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete a, 전자 디바이스에 결합된 복수의 디지털 카메라에 의한 광학 삼각측량을 이용하여 3차원 정보에 자동 포커싱하는 단계;a, automatically focusing on three-dimensional information using optical triangulation by a plurality of digital cameras coupled to the electronic device; b, 상기 복수의 디지털 카메라를 이용하여 상기 3차원 정보를 획득하는 단계; 및b, acquiring the three-dimensional information by using the plurality of digital cameras; And c, 디스플레이를 이용하여 상기 3차원 정보를 표시하는 단계를 포함하고,c, displaying the three-dimensional information using a display; 상기 복수의 디지털 카메라 각각은 디지털 이미지를 획득하고, 상기 3차원 정보는 상기 복수의 디지털 카메라 모두에 의해 획득된 디지털 이미지를 포함하며,Each of the plurality of digital cameras acquires a digital image, and the three-dimensional information includes a digital image obtained by all of the plurality of digital cameras, 상기 복수의 디지털 카메라는 뷰어의 머리 및 눈 중 하나 이상의 위치에 기초하여 상기 3차원 정보의 디스플레이 각도를 조정하는,The plurality of digital cameras adjust the display angle of the three-dimensional information based on the position of one or more of the viewer's head and eyes, 3차원 정보 획득 및 표시 방법.3D information acquisition and display method. 제45항에 있어서, 상기 전자 디바이스는 PDA, 카메라 폰, 랩탑 컴퓨터, 디지털 카메라, 비디오 카메라, 및 전자 시계를 포함하는 그룹에서 선택되는 3차원 정보 획득 및 표시 방법.46. The method of claim 45, wherein the electronic device is selected from the group consisting of PDAs, camera phones, laptop computers, digital cameras, video cameras, and electronic watches. 제45항에 있어서, 상기 3차원 정보는 이미지 세트를 포함하는 3차원 정보 획득 및 표시 방법.46. The method of claim 45, wherein said three-dimensional information comprises an image set. 제45항에 있어서, 상기 디지털 카메라는 상기 3차원 정보를 획득하기 위한 하나 이상의 전하 결합 소자 센서를 포함하는 3차원 정보 획득 및 표시 방법.46. The method of claim 45, wherein the digital camera comprises one or more charge coupled device sensors for obtaining the three-dimensional information. 삭제delete 제45항에 있어서, 압축, 포맷팅, 해상도 향상, 및 컬러 향상을 포함하여 상 기 3차원 정보를 처리하는 단계를 더 포함하는 3차원 정보 획득 및 표시 방법.46. The method of claim 45, further comprising processing the three-dimensional information including compression, formatting, resolution enhancement, and color enhancement. 제45항에 있어서, 상기 3차원 정보를 로컬 메모리에 스테레오 포맷으로 저장하는 단계를 더 포함하는 3차원 정보 획득 및 표시 방법.46. The method of claim 45, further comprising storing the three-dimensional information in a stereo format in local memory. 제51항에 있어서, 상기 스테레오 포맷은 상하형, 라인-교대형, 나란이형, 사이버스코프, 납작해진 나란이형, 및 JPS 입체경 JPEG 중 하나 이상인 3차원 정보 획득 및 표시 방법.52. The method of claim 51, wherein the stereo format is one or more of top, bottom, line-shift, side by side, cyberscope, flat side by side, and JPS stereoscopic JPEG. 제45항에 있어서, 상기 3차원 정보를 표시하면서 상기 복수의 디지털 카메라를 이용하여 뷰어의 머리 및 눈 중 하나 이상을 추적하는 단계를 더 포함하는 3차원 정보 획득 및 표시 방법.46. The method of claim 45, further comprising tracking one or more of the head and eyes of the viewer using the plurality of digital cameras while displaying the three-dimensional information. 제53항에 있어서, 상기 3차원 정보를 표시하면서 하나 이상의 적외선 레이저를 구비하는 상기 복수의 디지털 카메라를 이용하여 뷰어의 머리 및 눈 중 하나 이상을 추적하는 단계를 더 포함하는 3차원 정보 획득 및 표시 방법.54. The method of claim 53, further comprising: tracking one or more of a viewer's head and eyes using the plurality of digital cameras having one or more infrared lasers while displaying the three-dimensional information. Way. 제45항에 있어서, 상기 디스플레이는 프로젝션 디스플레이인 3차원 정보 획득 및 표시 방법.46. The method of claim 45, wherein the display is a projection display. 제45항에 있어서, 상기 3차원 정보를 송신 및 수신하기 위해 통신 인터페이스를 이용하여 하나 이상의 다른 디바이스와 통신하는 단계를 더 포함하는 3차원 정보 획득 및 표시 방법.46. The method of claim 45, further comprising communicating with one or more other devices using a communication interface to transmit and receive the three-dimensional information. 제56항에 있어서, 상기 통신 인터페이스는 무선으로 통신하는 3차원 정보 획득 및 표시 방법.59. The method of claim 56, wherein said communication interface communicates wirelessly. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020067018642A 2004-03-18 2005-03-14 A system for acquiring and displaying three-dimensional information and a method thereof KR101194521B1 (en)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US55467304P 2004-03-18 2004-03-18
US60/554,673 2004-03-18
US10/915,648 US20050207486A1 (en) 2004-03-18 2004-08-09 Three dimensional acquisition and visualization system for personal electronic devices
US10/915,648 2004-08-09
PCT/US2005/008588 WO2005091650A2 (en) 2004-03-18 2005-03-14 Three dimensional acquisition and visualization system for personal electronic devices

Publications (2)

Publication Number Publication Date
KR20070005616A KR20070005616A (en) 2007-01-10
KR101194521B1 true KR101194521B1 (en) 2012-10-25

Family

ID=34963237

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067018642A KR101194521B1 (en) 2004-03-18 2005-03-14 A system for acquiring and displaying three-dimensional information and a method thereof

Country Status (6)

Country Link
US (1) US20050207486A1 (en)
EP (1) EP1726166A2 (en)
JP (1) JP5014979B2 (en)
KR (1) KR101194521B1 (en)
CN (1) CN1934874B (en)
WO (1) WO2005091650A2 (en)

Families Citing this family (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070040924A1 (en) * 2005-08-19 2007-02-22 Stereo Display, Inc. Cellular phone camera with three-dimensional imaging function
US20050259148A1 (en) * 2004-05-14 2005-11-24 Takashi Kubara Three-dimensional image communication terminal
EP1800464A1 (en) * 2004-09-27 2007-06-27 Agere System Inc. Mobile communication device having stereoscopic imagemaking capability
US9124877B1 (en) 2004-10-21 2015-09-01 Try Tech Llc Methods for acquiring stereoscopic images of a location
US7619807B2 (en) * 2004-11-08 2009-11-17 Angstrom, Inc. Micromirror array lens with optical surface profiles
US20070139371A1 (en) * 2005-04-04 2007-06-21 Harsham Bret A Control system and method for differentiating multiple users utilizing multi-view display devices
WO2007131414A1 (en) * 2006-04-26 2007-11-22 Chao Hu A portable personal integrative stereoscopic video multimedia device
US20080273081A1 (en) * 2007-03-13 2008-11-06 Lenny Lipton Business system for two and three dimensional snapshots
US8077964B2 (en) * 2007-03-19 2011-12-13 Sony Corporation Two dimensional/three dimensional digital information acquisition and display device
WO2008128393A1 (en) * 2007-04-18 2008-10-30 Chao Hu Apparatus for shooting and viewing stereoscopic video
DE102007019441A1 (en) 2007-04-25 2008-10-30 Knorr-Bremse Systeme für Nutzfahrzeuge GmbH Auxiliary power brake system for a motor vehicle
US9505606B2 (en) * 2007-06-13 2016-11-29 Angstrom, Inc. MEMS actuator with discretely controlled multiple motions
US7605988B2 (en) * 2007-07-23 2009-10-20 Angstrom, Inc. Compact image taking lens system with a lens-surfaced prism
US7589916B2 (en) * 2007-08-10 2009-09-15 Angstrom, Inc. Micromirror array with iris function
US20090066693A1 (en) * 2007-09-06 2009-03-12 Roc Carson Encoding A Depth Map Into An Image Using Analysis Of Two Consecutive Captured Frames
KR101313740B1 (en) * 2007-10-08 2013-10-15 주식회사 스테레오피아 OSMU( One Source Multi Use)-type Stereoscopic Camera and Method of Making Stereoscopic Video Content thereof
US20090185067A1 (en) * 2007-12-21 2009-07-23 Stereo Display, Inc. Compact automatic focusing camera
US8810908B2 (en) * 2008-03-18 2014-08-19 Stereo Display, Inc. Binoculars with micromirror array lenses
US20090282429A1 (en) * 2008-05-07 2009-11-12 Sony Ericsson Mobile Communications Ab Viewer tracking for displaying three dimensional views
US8622557B2 (en) * 2008-05-20 2014-01-07 Stereo Display, Inc. Micromirror array lens with self-tilted micromirrors
USD603445S1 (en) 2009-03-13 2009-11-03 X6D Limited 3D glasses
USD624952S1 (en) 2008-10-20 2010-10-05 X6D Ltd. 3D glasses
USRE45394E1 (en) 2008-10-20 2015-03-03 X6D Limited 3D glasses
USD666663S1 (en) 2008-10-20 2012-09-04 X6D Limited 3D glasses
US8334893B2 (en) * 2008-11-07 2012-12-18 Honeywell International Inc. Method and apparatus for combining range information with an optical image
CA2684513A1 (en) * 2008-11-17 2010-05-17 X6D Limited Improved performance 3d glasses
US8542326B2 (en) 2008-11-17 2013-09-24 X6D Limited 3D shutter glasses for use with LCD displays
US20100194861A1 (en) * 2009-01-30 2010-08-05 Reuben Hoppenstein Advance in Transmission and Display of Multi-Dimensional Images for Digital Monitors and Television Receivers using a virtual lens
US8284236B2 (en) 2009-02-19 2012-10-09 Sony Corporation Preventing interference between primary and secondary content in a stereoscopic display
USD646451S1 (en) 2009-03-30 2011-10-04 X6D Limited Cart for 3D glasses
US8279269B2 (en) * 2009-04-29 2012-10-02 Ke-Ou Peng Mobile information kiosk with a three-dimensional imaging effect
USD650956S1 (en) 2009-05-13 2011-12-20 X6D Limited Cart for 3D glasses
USD672804S1 (en) 2009-05-13 2012-12-18 X6D Limited 3D glasses
GB2470754A (en) * 2009-06-03 2010-12-08 Sony Comp Entertainment Europe Generating and displaying images dependent on detected viewpoint
US20100309391A1 (en) * 2009-06-03 2010-12-09 Honeywood Technologies, Llc Multi-source projection-type display
JP2011029905A (en) * 2009-07-24 2011-02-10 Fujifilm Corp Imaging device, method and program
US8878912B2 (en) 2009-08-06 2014-11-04 Qualcomm Incorporated Encapsulating three-dimensional video data in accordance with transport protocols
EP2489195A1 (en) * 2009-10-14 2012-08-22 Nokia Corp. Autostereoscopic rendering and display apparatus
JP5267421B2 (en) * 2009-10-20 2013-08-21 ソニー株式会社 Imaging apparatus, image processing method, and program
USD692941S1 (en) 2009-11-16 2013-11-05 X6D Limited 3D glasses
USD671590S1 (en) 2010-09-10 2012-11-27 X6D Limited 3D glasses
USD669522S1 (en) 2010-08-27 2012-10-23 X6D Limited 3D glasses
US8988507B2 (en) * 2009-11-19 2015-03-24 Sony Corporation User interface for autofocus
US8968092B2 (en) * 2009-11-20 2015-03-03 Wms Gaming, Inc. Integrating wagering games and environmental conditions
CN102714739A (en) * 2009-12-04 2012-10-03 诺基亚公司 A processor, apparatus and associated methods
KR101248909B1 (en) * 2010-01-05 2013-03-28 삼성전자주식회사 Apparatus for acquiring 3D information and method for driving light source thereof, and system for acquiring 3D information
IT1397295B1 (en) * 2010-01-07 2013-01-04 3Dswitch S R L SYSTEM AND METHOD FOR THE CONTROL OF THE VISUALIZATION OF A STEREOSCOPIC VIDEO FLOW.
USD662965S1 (en) 2010-02-04 2012-07-03 X6D Limited 3D glasses
US8593512B2 (en) * 2010-02-05 2013-11-26 Creative Technology Ltd Device and method for scanning an object on a working surface
KR101645465B1 (en) * 2010-07-23 2016-08-04 삼성전자주식회사 Apparatus and method for generating a three-dimension image data in portable terminal
WO2012026502A1 (en) * 2010-08-24 2012-03-01 日本電気株式会社 Stereography device and stereography method
USD664183S1 (en) 2010-08-27 2012-07-24 X6D Limited 3D glasses
KR101629324B1 (en) * 2010-11-11 2016-06-10 엘지전자 주식회사 Multimedia device, multiple image sensors having different types and the method for controlling the same
US9354718B2 (en) * 2010-12-22 2016-05-31 Zspace, Inc. Tightly coupled interactive stereo display
JP2012133232A (en) * 2010-12-22 2012-07-12 Fujitsu Ltd Imaging device and imaging control method
JP5039201B2 (en) 2010-12-28 2012-10-03 株式会社東芝 Image voice communication system and receiving apparatus
WO2012134487A1 (en) * 2011-03-31 2012-10-04 Hewlett-Packard Development Company, L.P. Adaptive monoscopic and stereoscopic display using an integrated 3d sheet
US8368690B1 (en) 2011-07-05 2013-02-05 3-D Virtual Lens Technologies, Inc. Calibrator for autostereoscopic image display
TWI449408B (en) * 2011-08-31 2014-08-11 Altek Corp Method and apparatus for capturing three-dimensional image and apparatus for displaying three-dimensional image
US20130057655A1 (en) 2011-09-02 2013-03-07 Wen-Yueh Su Image processing system and automatic focusing method
CN102347951A (en) * 2011-09-29 2012-02-08 云南科软信息科技有限公司 System and method of supporting online three-dimensional (3D) representation
US9648310B2 (en) 2011-11-09 2017-05-09 Qualcomm Incorporated Systems and methods for mask adjustment in 3D display
JP5743859B2 (en) * 2011-11-14 2015-07-01 株式会社東芝 Image processing apparatus, method, and image display apparatus
JP5948856B2 (en) * 2011-12-21 2016-07-06 ソニー株式会社 Imaging apparatus, autofocus method, and program
GB2498184A (en) * 2012-01-03 2013-07-10 Liang Kong Interactive autostereoscopic three-dimensional display
KR101892636B1 (en) * 2012-01-13 2018-08-28 엘지전자 주식회사 Mobile terminal and method for forming 3d image thereof
CN102722044B (en) * 2012-06-07 2015-05-20 深圳市华星光电技术有限公司 Stereoscopic display system
USD711959S1 (en) 2012-08-10 2014-08-26 X6D Limited Glasses for amblyopia treatment
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9332234B2 (en) * 2012-12-10 2016-05-03 Duco Technologies, Inc. Trail camera with interchangeable hardware modules
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
CN103248905A (en) * 2013-03-22 2013-08-14 深圳市云立方信息科技有限公司 Display device and visual display method for simulating 3D scene
KR102052553B1 (en) 2013-05-14 2019-12-05 삼성전자주식회사 Imaging system and autofocus methed thereof
CN105353829B (en) * 2014-08-18 2019-06-25 联想(北京)有限公司 A kind of electronic equipment
US9729785B2 (en) * 2015-01-19 2017-08-08 Microsoft Technology Licensing, Llc Profiles identifying camera capabilities that are usable concurrently
CN105975076A (en) * 2016-05-09 2016-09-28 刘瑞 Digital art design lab
US20170351107A1 (en) * 2016-06-03 2017-12-07 GM Global Technology Operations LLC Display system and method of creating an apparent three-dimensional image of an object
CA3086592A1 (en) 2017-08-30 2019-03-07 Innovations Mindtrick Inc. Viewer-adjusted stereoscopic image display
WO2019119065A1 (en) * 2017-12-22 2019-06-27 Maryanne Lynch Camera projection technique system and method
CN108632597B (en) * 2018-05-06 2020-01-10 Oppo广东移动通信有限公司 Three-dimensional video communication method and system, electronic device and readable storage medium
CN113196139B (en) 2018-12-20 2023-08-11 美国斯耐普公司 Flexible eye-wear device with dual cameras for generating stereoscopic images
US10965931B1 (en) 2019-12-06 2021-03-30 Snap Inc. Sensor misalignment compensation

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57186872A (en) * 1981-05-13 1982-11-17 Hitachi Ltd Auto-focusing device of video camera
GB8430980D0 (en) * 1984-12-07 1985-01-16 Robinson M Generation of apparently three-dimensional images
US6177952B1 (en) * 1993-09-17 2001-01-23 Olympic Optical Co., Ltd. Imaging apparatus, image display apparatus and image recording and/or reproducing apparatus
JPH07135623A (en) * 1993-10-27 1995-05-23 Kinseki Ltd Direct display device on retina
US6985168B2 (en) * 1994-11-14 2006-01-10 Reveo, Inc. Intelligent method and system for producing and displaying stereoscopically-multiplexed images of three-dimensional objects for use in realistic stereoscopic viewing thereof in interactive virtual reality display environments
AUPN003894A0 (en) * 1994-12-13 1995-01-12 Xenotech Research Pty Ltd Head tracking system for stereoscopic display apparatus
JPH08201940A (en) * 1995-01-30 1996-08-09 Olympus Optical Co Ltd Stereoscopic image pickup device
US6014259A (en) * 1995-06-07 2000-01-11 Wohlstadter; Jacob N. Three dimensional imaging system
FR2735936B1 (en) * 1995-06-22 1997-08-29 Allio Pierre METHOD FOR ACQUIRING SIMULATED AUTOSTEREOSCOPIC IMAGES
AUPN732395A0 (en) * 1995-12-22 1996-01-25 Xenotech Research Pty Ltd Image conversion and encoding techniques
US6252707B1 (en) 1996-01-22 2001-06-26 3Ality, Inc. Systems for three-dimensional viewing and projection
US5752100A (en) * 1996-01-26 1998-05-12 Eastman Kodak Company Driver circuit for a camera autofocus laser diode with provision for fault protection
JPH09215012A (en) * 1996-02-08 1997-08-15 Sony Corp Stereoscopic video photographing device and stereoscopic video photographing recording and reproducing device using the same
JPH10108152A (en) * 1996-09-27 1998-04-24 Sanyo Electric Co Ltd Portable information terminal
JPH10174127A (en) * 1996-12-13 1998-06-26 Sanyo Electric Co Ltd Method and device for three-dimensional display
HUP9700348A1 (en) * 1997-02-04 1998-12-28 Holografika E.C. Method and device for displaying three-dimensional pictures
DE19836681B4 (en) * 1997-09-19 2008-03-27 Carl Zeiss Ag Stereoscopic recording and playback system
US5974272A (en) * 1997-10-29 1999-10-26 Eastman Kodak Company Parallax corrected image capture system
WO1999030280A1 (en) * 1997-12-05 1999-06-17 Dynamic Digital Depth Research Pty. Ltd. Improved image conversion and encoding techniques
US6535243B1 (en) * 1998-01-06 2003-03-18 Hewlett- Packard Company Wireless hand-held digital camera
JPH11234705A (en) * 1998-02-17 1999-08-27 Matsushita Electric Ind Co Ltd Stereoscopic display device
US6710920B1 (en) * 1998-03-27 2004-03-23 Sanyo Electric Co., Ltd Stereoscopic display
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
US6593957B1 (en) * 1998-09-02 2003-07-15 Massachusetts Institute Of Technology Multiple-viewer auto-stereoscopic display systems
AUPP727598A0 (en) * 1998-11-23 1998-12-17 Dynamic Digital Depth Research Pty Ltd Improved teleconferencing system
JP2000276613A (en) * 1999-03-29 2000-10-06 Sony Corp Device and method for processing information
KR100625029B1 (en) * 1999-05-28 2006-09-20 엘지.필립스 엘시디 주식회사 Apparatus For Display stereoscopic Image
JP2001016615A (en) * 1999-06-30 2001-01-19 Canon Inc Stereoscopic photographing device
JP2001142166A (en) * 1999-09-15 2001-05-25 Sharp Corp 3d camera
US6829383B1 (en) * 2000-04-28 2004-12-07 Canon Kabushiki Kaisha Stochastic adjustment of differently-illuminated images
CA2306515A1 (en) * 2000-04-25 2001-10-25 Inspeck Inc. Internet stereo vision, 3d digitizing, and motion capture camera
US6611268B1 (en) * 2000-05-30 2003-08-26 Microsoft Corporation System and process for generating 3D video textures using video-based rendering techniques
JP3867512B2 (en) * 2000-06-29 2007-01-10 富士ゼロックス株式会社 Image processing apparatus, image processing method, and program
US6616347B1 (en) * 2000-09-29 2003-09-09 Robert Dougherty Camera with rotating optical displacement unit
KR100896725B1 (en) * 2001-02-21 2009-05-11 유나이티드 비디오 프로퍼티즈, 인크. Method and system for recording series programming
US6752498B2 (en) * 2001-05-14 2004-06-22 Eastman Kodak Company Adaptive autostereoscopic display system
WO2003017680A1 (en) * 2001-08-15 2003-02-27 Koninklijke Philips Electronics N.V. 3d video conferencing system
US6583808B2 (en) * 2001-10-04 2003-06-24 National Research Council Of Canada Method and system for stereo videoconferencing
AU2002361572A1 (en) * 2001-10-19 2003-04-28 University Of North Carolina At Chape Hill Methods and systems for dynamic virtual convergence and head mountable display
US20030080937A1 (en) * 2001-10-30 2003-05-01 Light John J. Displaying a virtual three-dimensional (3D) scene
US7197165B2 (en) * 2002-02-04 2007-03-27 Canon Kabushiki Kaisha Eye tracking using image data
KR100461339B1 (en) * 2002-05-14 2004-12-10 주식회사 포디컬쳐 Device and Method for transmitting picture data
JP2004048644A (en) * 2002-05-21 2004-02-12 Sony Corp Information processor, information processing system and interlocutor display method
US7804995B2 (en) * 2002-07-02 2010-09-28 Reald Inc. Stereoscopic format converter
US9161078B2 (en) * 2002-08-14 2015-10-13 Arris Technology, Inc. Methods and apparatus for reducing tune-time delay in a television appliance with personal versatile recorder capabilities
US7751694B2 (en) * 2004-02-13 2010-07-06 Angstrom, Inc. Three-dimensional endoscope imaging and display system
US7115870B2 (en) * 2004-03-22 2006-10-03 Thales Canada Inc. Vertical field of regard mechanism for driver's vision enhancer
US8049776B2 (en) * 2004-04-12 2011-11-01 Angstrom, Inc. Three-dimensional camcorder
US20070040924A1 (en) * 2005-08-19 2007-02-22 Stereo Display, Inc. Cellular phone camera with three-dimensional imaging function
US20050265580A1 (en) * 2004-05-27 2005-12-01 Paul Antonucci System and method for a motion visualizer
US20060285832A1 (en) * 2005-06-16 2006-12-21 River Past Corporation Systems and methods for creating and recording digital three-dimensional video streams
US8164622B2 (en) * 2005-07-01 2012-04-24 Aperio Technologies, Inc. System and method for single optical axis multi-detector microscope slide scanner
US7792423B2 (en) * 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras

Also Published As

Publication number Publication date
JP5014979B2 (en) 2012-08-29
WO2005091650A2 (en) 2005-09-29
EP1726166A2 (en) 2006-11-29
WO2005091650A3 (en) 2006-05-04
JP2007529960A (en) 2007-10-25
KR20070005616A (en) 2007-01-10
US20050207486A1 (en) 2005-09-22
CN1934874B (en) 2010-07-21
CN1934874A (en) 2007-03-21

Similar Documents

Publication Publication Date Title
KR101194521B1 (en) A system for acquiring and displaying three-dimensional information and a method thereof
US8077964B2 (en) Two dimensional/three dimensional digital information acquisition and display device
EP2202991A2 (en) Stereoscopic image display apparatus and control method thereof
CN103348682A (en) Method and apparatus for providing mono-vision in multi-view system
JP2009516447A (en) Method and apparatus for generating, transferring and processing three-dimensional image data
WO2017007526A2 (en) Cloaking systems and methods
JP2009010557A (en) Depth data output device, and depth data receiver
US11778297B1 (en) Portable stereoscopic image capturing camera and system
US20120307016A1 (en) 3d camera
CA2600992A1 (en) 3d image capture camera and non-stereoscopic 3d viewing device that does not require glasses
JP5474530B2 (en) Stereoscopic image display device
TWI438493B (en) Focus-length tunable auto-stereoscopic display device using acousto-optic
JP4208351B2 (en) Imaging apparatus, convergence distance determination method, and storage medium
TW201244457A (en) 3D video camera and associated control method
TWI572899B (en) Augmented reality imaging method and system
JP2001016619A (en) Image pickup device, its convergence distance decision method, storage medium and optical device
KR101121264B1 (en) Stereoscopic image camera apparatus and driving method the same
US9661311B2 (en) Method and apparatus for generating 3D images using a plurality of mobile devices
KR100696656B1 (en) Autostereoscopy device with movable image acquisition apparatus
KR101582131B1 (en) 3 3D real image displayable system
JP2013005061A (en) Image generation device and display control device, method of controlling the same, and imaging device
JP2004126290A (en) Stereoscopic photographing device
WO2013061334A1 (en) 3d stereoscopic imaging device with auto parallax
JP2001016618A (en) Image pickup device and its convergence distance deciding method, storage medium, optical device, camera device and camera system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee