WO2017135514A1 - 가상 현실을 제공하기 위한 이미지를 촬영하는 3차원 카메라 - Google Patents

가상 현실을 제공하기 위한 이미지를 촬영하는 3차원 카메라 Download PDF

Info

Publication number
WO2017135514A1
WO2017135514A1 PCT/KR2016/004365 KR2016004365W WO2017135514A1 WO 2017135514 A1 WO2017135514 A1 WO 2017135514A1 KR 2016004365 W KR2016004365 W KR 2016004365W WO 2017135514 A1 WO2017135514 A1 WO 2017135514A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
cameras
image
unique
polyhedron
Prior art date
Application number
PCT/KR2016/004365
Other languages
English (en)
French (fr)
Inventor
볼로크니우크안드리
모로조프콘스탄틴
김선경
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP16889492.1A priority Critical patent/EP3404915B1/en
Priority to US16/075,089 priority patent/US10750156B2/en
Priority to CN201680080840.0A priority patent/CN108702497B/zh
Publication of WO2017135514A1 publication Critical patent/WO2017135514A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Definitions

  • the present invention relates to a three-dimensional camera for photographing an image for providing virtual reality.
  • the virtual reality device may detect a movement of a user and provide an image changed according to the movement of the user.
  • a three-dimensional camera for photographing the three-dimensional image.
  • the 3D camera captures an image according to the movement in space and stores the captured image.
  • the three-dimensional camera must include a storage space because the user must shoot and store an image each time the user moves.
  • the present invention provides a three-dimensional camera for photographing an image for providing virtual reality.
  • a 3D camera for capturing an image for providing virtual reality includes a plurality of cameras; A position sensor for tracking the position of the three-dimensional camera; The cameras are arranged in each vertex of the polyhedron, and at least three cameras are arranged in each vertex.
  • the 3D camera may be a polyhedron, and may capture an image by using two-dimensional cameras positioned at each vertex of the polyhedron.
  • the 3D camera may store an index distribution map and a captured image in a memory according to the position of the 3D camera.
  • the 3D camera may store an index and an image in a memory only at a unique position of the 3D camera.
  • 1 is a diagram illustrating an example of virtual reality.
  • FIG. 2 is a view for explaining the relationship between the three-dimensional camera and the virtual reality device.
  • FIG. 3 is a diagram illustrating an apparatus and a method for providing a virtual reality, according to an exemplary embodiment.
  • FIG. 4 is a diagram illustrating a positional movement of a 3D camera.
  • FIG. 5 is a diagram for describing a method of generating indexes by a 3D camera.
  • FIG. 6 is a diagram illustrating an area covered by the indices in a circle.
  • FIG. 7 is a view for explaining the form of the three-dimensional camera.
  • FIG. 8 is a diagram for explaining a method of calculating a field of view of a camera located in a vertex.
  • FIG. 9 is a diagram for describing a 3D camera, according to an exemplary embodiment.
  • FIG. 10 is a diagram for describing a 3D camera, according to an exemplary embodiment.
  • FIG. 11 is a flowchart illustrating an image capturing method according to an exemplary embodiment.
  • FIG. 1 is a diagram illustrating an example of virtual reality.
  • a user wears a virtual reality device 200.
  • the VR device 200 provides an image of a space different from the space where the user is present to the user.
  • a user may wear the virtual reality device 200 indoors, and the virtual reality device 200 may display a foreign city.
  • the virtual reality device 200 displays an image according to the movement of the user.
  • the user can move the whole body or only the head.
  • the virtual reality device 200 may adjust the size of the image according to the moving direction of the user.
  • the virtual reality device 200 may display another image according to the moving direction of the user's head.
  • the virtual reality device 200 may be referred to as a head mounted display or a headset.
  • the 3D camera 100 photographs an image and transmits the photographed image to the virtual reality device 200.
  • the 3D camera 100 transmits the position of the 3D camera 100, the positions of the vertices, and the indexes to the virtual reality device 200 when the image is captured.
  • the index represents the virtual polyhedron that the vertices make up.
  • the index may be a combination of symbols, letters or numbers for identifying the virtual polyhedron.
  • the 3D camera 100 may generate an index distribution map including the positions of the indexes and the vertices, and transmit the index distribution map to the virtual reality device 200.
  • the 3D camera 100 may generate an index distribution map and store it in a memory.
  • the index distribution map includes a unique index and the positions of the vertices of the 3D camera 100.
  • the 3D camera 100 stores the changed vertices and the index in the memory.
  • the 3D camera 100 stores only unique indexes in memory, and does not store unique indexes.
  • Unique indexes are indexes that do not belong to another index stored in memory.
  • the indexes represent virtual polyhedrons, which may overlap each other.
  • Indexes representing non-overlapping polyhedra are unique indexes, and only unique indexes can be stored in memory. For example, if the first polyhedron does not overlap with the second polyhedron stored in the memory, the index representing the first polyhedron is a unique index.
  • the 3D camera 100 stores only the image photographed at the position indicated by the unique index in the memory. When the position of the 3D camera 100 changes, the 3D camera 100 updates the index distribution map.
  • the 3D camera 100 determines whether the index position is unique, and updates the index distribution map only when the index is unique.
  • the index distribution map is a map representing the positional relationship of the unique indices.
  • the 3D camera 100 transmits the index distribution map and the images to the virtual reality device 200.
  • the virtual reality device 200 receives images and an index distribution map from the 3D camera 100.
  • the virtual reality device 200 generates a complex view using the images and displays the complex view to the user.
  • the virtual reality device 200 determines the complex view according to the location of the user.
  • the virtual reality device 200 searches for an index that is closest to the user's current location or an index that includes the user's current location.
  • the virtual reality device 200 may generate and display a complex view using the images photographed at the searched index.
  • FIG. 3 is a diagram illustrating an apparatus and a method for providing a virtual reality, according to an exemplary embodiment.
  • a method of providing a virtual reality includes photographing an image and providing an image.
  • the 3D camera 100 includes a camera group 110, a position sensor 120, a memory 130, and a processor 140.
  • the camera group 110 includes a plurality of cameras.
  • the camera group 110 is located at each vertex of the 3D camera 100.
  • the camera group 110 may include at least three cameras. Three cameras are located in one vertex, and the fields of view of each camera overlap each other. Fields of view of cameras located in the same vertex overlap each other, and fields of view of cameras located in different vertices overlap each other. The overlapping parts are used when creating the panorama views.
  • the position sensor 120 detects the position of the 3D camera 100.
  • the position sensor 120 transmits information indicating the position of the 3D camera 100 to the processor 140 as the 3D camera 100 moves.
  • the position sensor 120 may be a global positioning system (GPS) or an inertial measurement unit (IMU).
  • GPS global positioning system
  • IMU inertial measurement unit
  • the memory 130 stores the image photographed by the camera group 110 and the position information detected by the position sensor 120.
  • the processor 140 receives an image from the camera group 110 and receives location information from the position sensor 120.
  • the processor 140 may determine an image, location information, or an index to be stored in the memory 130.
  • the processor 140 may store the unique image and the unique index in the memory 130.
  • the unique image is an image photographed at the position of the unique index. In other words, the unique image is an image photographed by the camera groups 110 at a position where a polyhedron composed of vertices of the 3D camera 100 does not overlap.
  • the processor 140 generates an index distribution map.
  • the index distribution map may indicate a position where the 3D camera 100 is moved.
  • the index distribution map includes the positions and indexes of the vertices of the 3D camera 100.
  • the 3D camera 100 transmits location information and images of the 3D camera 100 to the virtual reality device 200.
  • the 3D camera 100 may transmit the index distribution map and the unique images to the virtual reality device 200.
  • the virtual reality device 200 includes a position sensor 210, a rotation sensor 220, a processor 230, a display device 240, and a memory 250.
  • the position sensor 210 detects the position of the virtual reality device 200.
  • the position sensor 210 transmits information indicating the position of the virtual reality device 200 to the processor 140 as the virtual reality device 200 moves.
  • the position sensor 210 may be a global positioning system (GPS) or an inertial measurement unit (IMU).
  • the rotation sensor 220 detects a rotational movement of the virtual reality device 200.
  • the user may wear the virtual reality device 200 and rotate the head about the x, y, z axis. As the user's head rotates, the virtual reality device 200 also rotates.
  • the rotation sensor 220 detects a rotational movement of the virtual reality device 200 and measures an angle rotated based on the x, y, and z axes.
  • the rotation sensor 220 transmits the measured angle to the processor 230.
  • the processor 230 generates an image to be displayed to the user according to the movement of the user.
  • the processor 230 generates an image based on the data received from the position sensor 210 and the rotation sensor 220.
  • the processor 230 may generate an image based on the moving direction, the moving distance, the rotating direction, and the rotating angle of the user.
  • the processor 230 synthesizes an image received from the 3D camera 100 to generate a complex view.
  • the processor 230 selects some images from the images received from the 3D camera 100 according to the movement of the user, and generates a complex view using the selected images.
  • the display device 240 displays the complex view generated by the processor 230.
  • the memory 250 stores images received from the 3D camera 100, an index distribution map, and the like. In addition, the memory 250 may store a complex view and store information about a user's movement.
  • 4 to 6 are diagrams for describing a method of generating an index distribution map, according to an exemplary embodiment. 4 to 6, the 3D camera 100 may generate an index distribution map composed of only unique indices.
  • FIG. 4 is a diagram illustrating a positional movement of a 3D camera.
  • the 3D camera 100 may move along a line connected from the A point to the B point.
  • the circles shown in FIG. 4 do not overlap with each other.
  • the new circle is changed at the position of the 3D camera 100 and is created at a position not overlapping with the existing circle.
  • the circles represent the boundaries of the images generated by the 3D camera 100.
  • the 3D camera 100 stores the image photographed by the vertices p0 to p6.
  • Vertices p0 to p6 may represent positions of two-dimensional cameras.
  • the 2D cameras may capture an image when the 3D camera 100 moves from the A point to the B point.
  • the 3D camera 100 may store only the images photographed by the vertices p0 to p6.
  • the distance between vertices p0 to p6 may be close to the distance between the eyes of the user. For example, the average distance between two eyes of users and the distance between vertices p0 to p6 may be the same.
  • the 3D camera 100 generates indexes idx1 to idx4.
  • the tetrahedrons indicated by the indices idx1 to idx4 do not overlap each other.
  • the first index idx1 is an index for identifying the leftmost tetrahedron
  • the second index idx2 is an index for identifying the middle tetrahedron
  • the third index idx3 is an index for identifying the lower right tetrahedron
  • the third index idx4 is an index for identifying the tetrahedron in the upper right corner.
  • FIG. 6 is a diagram illustrating an area covered by the indices in a circle. Circles corresponding to the polyhedrons in FIG. 5 are shown. The circles represent areas of the images photographed at the positions indicated by the respective indices idx1 to idx4.
  • the circles do not overlap each other.
  • the distance between the circles can be close to the distance between the eyes of the user.
  • the 3D camera 100 may store only images of areas that do not overlap, and assign unique indexes to areas that do not overlap.
  • the 3D camera 100 may be a tetrahedron, a hexahedron, an octahedron, a dodecahedron, a icosahedron, or the like. Although five examples are described in FIG. 7, the 3D camera 100 may be a polyhedron of various forms. At least three cameras may be located in each vertex of the polyhedron.
  • FIG. 8 is a diagram for explaining a method of calculating a field of view of a camera located in a vertex.
  • the back angle is the angle that occurs when two planes meet each other in a polyhedron
  • the vertex angle is the angle that occurs when two edges meet in one plane.
  • the field of view of the camera located at each vertex of the tetrahedron may be calculated as follows.
  • the field of view of the camera located at each vertex of the tetrahedron may be greater than 130.53 degrees.
  • the angle of the group represents the field of view covered by one vertex.
  • the angle of the group of cameras (at least three cameras) located at each vertex of the tetrahedron can be calculated as follows.
  • the angle of the group of cameras located in each vertex of the tetrahedron can be 190.53 degrees.
  • the angle of view and group of other polyhedra can be calculated in the same way as above.
  • the three-dimensional camera 900 is a tetrahedron and includes four vertices 920. Three cameras 910 are positioned in the vertex 920. The three cameras 910 take images, and the captured images overlap each other. The field of view covered by the three cameras 910 may be 180 degrees or more.
  • the spherical image 930 represents an image generated by synthesizing the images photographed by the three cameras 910. The spherical images 930 captured by the different vertices 920 may overlap each other.
  • the 3D camera 900 includes bars 940 connecting four vertices 920.
  • the length of the bar 940 corresponds to the distance between two eyes of a person. In other words, the length of each bar 940 may be a length close to the distance between two eyes of a person.
  • the field of view of the camera 910 is 130.53 degrees, and the angles of the three cameras 910 positioned in the vertex 920 are 190.53 degrees.
  • the 3D camera 1000 is octahedral and includes eight vertices 1020. Three cameras 1010 are positioned in the vertex 1020. The three cameras 1010 take images, and the captured images overlap each other.
  • the spherical image 1030 represents an image generated by synthesizing the images photographed by the three cameras 1010.
  • the 3D camera 1000 includes bars 1040 connecting eight vertices 1020.
  • the length of the bar 1040 corresponds to the distance between two eyes of a person. In other words, the length of each bar 1040 may be a length close to the distance between two eyes of a person.
  • the 3D camera 1000 is an octahedron
  • the field of view of the camera 1010 is 135 degrees
  • the angles of the three cameras 910 positioned in the vertex 920 are 210 degrees.
  • FIG. 11 is a flowchart illustrating an image capturing method according to an exemplary embodiment.
  • the 3D camera tracks the position of the 3D camera.
  • the 3D camera can move, and the GPS, IMU, etc. track the position of the 3D camera when the 3D camera moves.
  • the 3D camera may generate and store an index distribution map including a unique index representing a unique position.
  • the 3D camera generates an index distribution map based on the position of the 3D camera and the area occupied by the 3D camera. For example, each time a three-dimensional camera moves, the three-dimensional camera determines a position where the area occupied by the polyhedron does not overlap as a unique position and gives an index indicating the unique position.
  • the three-dimensional camera is a polyhedron and the cameras are placed on the vertices of the polyhedron. At least three two-dimensional cameras may be disposed in one vertex.
  • the plurality of cameras included in the 3D camera captures an image.
  • the 3D camera may store only the unique images photographed at the position indicated by the unique index among the photographed images.
  • Cameras located on the same vertex capture images that overlap each other.
  • Camera groups located in adjacent vertices capture images that overlap each other.
  • the distance between adjacent vertices corresponds to the distance between two eyes of the user.
  • the field of view of a group of cameras located in the same vertex may be greater than 180 degrees.
  • a device may include a processor, a memory for storing and executing program data, a permanent storage such as a disk drive, a communication port for communicating with an external device, a touch panel, a key, a button, and the like. Interface devices and the like.
  • Methods implemented by software modules or algorithms may be stored on a computer readable recording medium as computer readable codes or program instructions executable on the processor.
  • the computer-readable recording medium may be a magnetic storage medium (eg, read-only memory (ROM), random-access memory (RAM), floppy disk, hard disk, etc.) and an optical reading medium (eg, CD-ROM). ) And DVD (Digital Versatile Disc).
  • the computer readable recording medium can be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • the medium is readable by the computer, stored in the memory, and can be executed by the processor.
  • This embodiment can be represented by functional block configurations and various processing steps. Such functional blocks may be implemented in various numbers of hardware or / and software configurations that perform particular functions.
  • an embodiment may include an integrated circuit configuration such as memory, processing, logic, look-up table, etc. that may execute various functions by the control of one or more microprocessors or other control devices. You can employ them.
  • the present embodiment includes various algorithms implemented in C, C ++, Java (data structures, processes, routines or other combinations of programming constructs). It may be implemented in a programming or scripting language such as Java), an assembler, or the like.
  • the functional aspects may be implemented with an algorithm running on one or more processors.
  • the present embodiment may employ the prior art for electronic configuration, signal processing, and / or data processing.
  • Terms such as “mechanism”, “element”, “means” and “configuration” can be used widely and are not limited to mechanical and physical configurations. The term may include the meaning of a series of routines of software in conjunction with a processor or the like.
  • connection or connection members of the lines between the components shown in the drawings by way of example shows a functional connection and / or physical or circuit connections, in the actual device replaceable or additional various functional connections, physical It may be represented as a connection, or circuit connections.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

일 실시 예에 따른 3차원 카메라는 복수의 카메라들; 상기 3차원 카메라의 위치를 추적(track)하는 위치 센서; 상기 카메라들은 다면체의 각 버텍스에 배치되고, 각 버텍스에는 적어도 3개 이상의 카메라들이 배치되는 것을 특징으로 한다.

Description

가상 현실을 제공하기 위한 이미지를 촬영하는 3차원 카메라
가상현실을 제공하기 위한 이미지를 촬영하는 3차원 카메라에 관한 것이다.
최근 가상 현실 디바이스(Virtual Reality Device)를 이용하여 사용자에게 3차워 영상을 제공하는 장치들이 개발되고 있다. 가상 현실 디바이스는 사용자의 움직임을 감지하고, 사용자의 움직임에 따라 변경된 이미지를 제공할 수 있다.
사용자에게 3차원 이미지를 제공하기 위해서, 3차원 이미지를 촬영하는 3차원 카메라가 필요하다. 3차원 카메라는 공간에서의 움직임에 따라 이미지를 촬영하고, 촬영된 이미지를 저장한다. 3차원 카메라는 사용자가 움직일 때마다 이미지를 촬영 및 저장해야 하므로 저장 공간을 포함해야 한다.
가상 현실을 제공하기 위한 이미지를 촬영하는 3차원 카메라를 제공하는 데 있다.
일 실시 예에 따른 가상현실을 제공하기 위한 이미지를 촬영하는 3차원 카메라는 복수의 카메라들; 상기 3차원 카메라의 위치를 추적하는 위치 센서; 상기 카메라들은 다면체의 각 버텍스에 배치되고, 각 버텍스에는 적어도 3개 이상의 카메라들이 배치된다.
일 실시 예에 따른 3차원 카메라는 다면체이고, 다면체의 각 버텍스에 위치한 2차원 카메라들을 이용하여 이미지를 촬영할 수 있다.
일 실시 예에 따른 3차원 카메라는 3차원 카메라의 위치에 따라 인덱스 분포 맵 및 촬영된 이미지를 메모리에 저장할 수 있다.
일 실시 예에 따른 3차원 카메라는 3차원 카메라의 유니크 위치에서만 인덱스 및 이미지를 메모리에 저장할 수 있다.
도 1은 가상 현실의 일 예를 설명하는 도면이다.
도 2는 3차원 카메라 및 가상 현실 디바이스의 관계를 설명하기 위한 도면이다.
도 3은 일 실시 예에 따른 가상 현실을 제공하는 장치 및 방법을 설명하기 위한 도면이다.
도 4는 3차원 카메라의 위치 이동을 나타내는 도면이다.
도 5는 3차원 카메라가 인덱스들을 생성하는 방법을 설명하기 위한 도면이다.
도 6은 인덱스들이 커버하는 영역을 원으로 표현한 도면이다.
도 7은 3차원 카메라의 형태를 설명하기 위한 도면이다.
도 8은 버텍스에 위치한 카메라의 시야를 계산하는 방법을 설명하는 도면이다.
도 9는 일 실시 예에 따른 3차원 카메라를 설명하기 위한 도면이다.
도 10은 일 실시 예에 따른 3차원 카메라를 설명하기 위한 도면이다.
도 11은 일 실시 예에 따른 이미지 촬영 방법을 설명하기 위한 순서도이다.
이하에서는 도면을 참조하여 실시 예들을 상세히 설명한다.
도 1은 가상 현실의 일 예를 설명하는 도면이다. 도 1을 참조하면, 사용자는 가상 현실 디바이스(200)를 착용한다. 가상 현실 디바이스(200, VR Device)는 사용자가 있는 공간과 다른 공간의 영상을 사용자에게 제공한다. 예를 들어, 사용자는 실내에서 가상 현실 디바이스(200)를 착용하고, 가상 현실 디바이스(200)는 외국의 도시를 디스플레이 할 수 있다.
가상 현실 디바이스(200)는 사용자의 움직임에 따라 이미지를 디스플레이 한다. 사용자는 몸 전체를 움직이거나, 머리만 움직일 수 있다. 가상 현실 디바이스(200)는 사용자의 몸 전체가 움직이면 사용자의 이동 방향에 따라 이미지의 크기를 조절할 수 있다. 또한, 가상 현실 디바이스(200)는 사용자의 머리가 움직이면 사용자의 머리의 이동 방향에 따라 다른 영상을 디스플레이 할 수 있다.
가상 현실 디바이스(200)는 헤드 마운트 디스플레이(Head Mounted Display) 또는 헤드셋(headset) 등으로 명명될 수 있다.
도 2는 3차원 카메라 및 가상 현실 디바이스의 관계를 설명하기 위한 도면이다. 도 2를 참조하면, 3차원 카메라(100)는 이미지를 촬영하고, 촬영된 이미지를 가상 현실 디바이스(200)로 전송한다. 또한, 3차원 카메라(100)는 이미지를 촬영할 때 3차원 카메라(100)의 위치, 버텍스들의 위치 및 인덱스를 가상 현실 디바이스(200)로 전송한다. 인덱스는 버텍스들이 구성하는 가상의 다면체를 나타낸다. 또한, 인덱스는 가상의 다면체를 식별하기 위한 기호, 문자 또는 숫자 등의 조합일 수 있다. 3차원 카메라(100)는 인덱스들과 버텍스들의 위치를 포함하는 인덱스 분포 맵을 생성하고, 인덱스 분포 맵을 가상 현실 디바이스(200)로 전송할 수 있다.
3차원 카메라(100)는 인덱스 분포 맵(index distribution map)을 생성하고, 메모리에 저장할 수 있다. 인덱스 분포 맵은 유니크 인덱스(unique index) 및 3차원 카메라(100)의 버텍스들의 위치를 포함한다. 3차원 카메라(100)는 3차원 카메라(100)의 위치가 변경되면, 변경된 버텍스들의 위치, 및 인덱스를 메모리에 저장한다.
3차원 카메라(100)는 유니크 인덱스만을 메모리에 저장하고, 유일하지 않은 인덱스는 저장하지 않는다. 유니크 인덱스는 메모리에 저장된 또 다른 인덱스에 속하지(belong) 않는 인덱스이다. 다시 말해서, 인덱스는 가상의 다면체를 나타내고, 다면체들은 서로 오버랩될 수 있다. 오버랩되지 않는 다면체들을 나타내는 인덱스들은 유니크 인덱스이고, 유니크 인덱스들만이 메모리에 저장될 수 있다. 예를 들어, 제1 다면체가 메모리에 저장된 제2 다면체와 오버랩되지 않으면 제1 다면체를 나타내는 인덱스는 유니크 인덱스이다. 3차원 카메라(100)는 유니크 인덱스가 나타내는 위치에서 촬영된 이미지만을 메모리에 저장한다. 3차원 카메라(100)는 3차원 카메라(100)의 위치가 변경되면, 인덱스 분포 맵을 업데이트한다. 3차원 카메라(100)는 인덱스의 위치가 유니크지 판단하고, 유니크 인덱스인 경우에만 인덱스 분포 맵을 업데이트한다. 인덱스 분포 맵은 유니크 인덱스들의 위치 관계를 나타내는 맵이다.
3차원 카메라(100)는 인덱스 분포 맵 및 이미지들을 가상 현실 디바이스(200)로 전송한다.
가상 현실 디바이스(200)는 3차원 카메라(100)로부터 이미지들 및 인덱스 분포 맵을 수신한다. 가상 현실 디바이스(200)는 이미지들을 이용하여 콤플렉스 뷰(complex view)를 생성하고, 사용자에게 콤플렉스 뷰를 디스플레이 한다.
가상 현실 디바이스(200)는 사용자의 위치에 따라 콤플렉스 뷰를 결정한다. 가상 현실 디바이스(200)는 사용자의 현재 위치와 가장 가까운 인덱스 또는 사용자의 현재 위치를 포함하는 인덱스를 검색한다. 가상 현실 디바이스(200)는 검색된 인덱스에서 촬영된 이미지들을 이용하여 콤플렉스 뷰를 생성 및 디스플레이 할 수 있다.
도 3은 일 실시 예에 따른 가상 현실을 제공하는 장치 및 방법을 설명하기 위한 도면이다. 도 3을 참조하면, 가상 현실을 제공 방법은 이미지를 촬영하는 단계 및 이미지를 제공하는 단계를 포함한다.
3차원 카메라(100)는 카메라 그룹(110), 위치 센서(120), 메모리(130) 및 프로세서(140)를 포함한다. 카메라 그룹(110)는 복수의 카메라들을 포함한다. 카메라 그룹(110)는 3차원 카메라(100)의 각 버텍스들에 위치한다. 카메라 그룹(110)는 적어도 3개의 카메라들을 포함할 수 있다. 3개의 카메라들은 하나의 버텍스에 위치하고, 각각의 카메라들의 시야들(fields of view)은 서로 오버랩된다. 동일한 버텍스에 위치한 카메라들의 시야들은 서로 오버랩되고, 서로 다른 버텍스에 위치한 카메라들의 시야들도 서로 오버랩된다. 오버랩되는 부분들은 파노라바 뷰를 생성시 이용된다.
위치 센서(120)는 3차원 카메라(100)의 위치를 감지한다. 위치 센서(120)는 3차원 카메라(100)의 이동에 따라 3차원 카메라(100)의 위치를 나타내는 정보를 프로세서(140)로 전송한다. 예를 들어, 위치 센서(120)는 GPS(Global positioning system) 또는 IMU(inertial measurement unit) 등일 수 있다.
메모리(130)는 카메라 그룹(110)에 의해 촬영된 이미지 및 위치 센서(120)에 의해 감지된 위치 정보를 저장한다.
프로세서(140)는 카메라 그룹(110)로부터 이미지를 수신하고, 위치 센서(120)로부터 위치 정보를 수신한다. 프로세서(140)는 메모리(130)에 저장할 이미지, 위치 정보 또는 인덱스 등을 결정할 수 있다. 예를 들어, 프로세서(140)는 유니크 이미지 및 유니크 인덱스를 메모리(130)에 저장할 수 있다. 유니크 이미지는 유니크 인덱스의 위치에서 촬영된 이미지이다. 다시 말해서, 유니크 이미지는 3차원 카메라(100)의 버텍스들로 구성된 다면체가 오버랩되지 않는 위치에서 카메라 그룹(110)들에 의해 촬영된 이미지이다.
프로세서(140)는 인덱스 분포 맵을 생성한다. 인덱스 분포 맵은 3차원 카메라(100)가 이동한 위치를 나타낼 수 있다. 인덱스 분포 맵은 3차원 카메라(100)의 버텍스들의 위치 및 인덱스를 포함한다.
3차원 카메라(100)는 3차원 카메라(100)의 위치 정보 및 이미지들을 가상 현실 디바이스(200)로 전송한다. 3차원 카메라(100)는 인덱스 분포 맵 및 유니크 이미지들을 가상 현실 디바이스(200)로 전송할 수 있다.
가상 현실 디바이스(200)는 위치 센서(210), 회전 센서(220), 프로세서(230), 디스플레이 장치(240) 및 메모리(250)를 포함한다. 위치 센서(210)는 가상 현실 디바이스(200)의 위치를 감지한다. 위치 센서(210)는 가상 현실 디바이스(200)의 이동에 따라 가상 현실 디바이스(200)의 위치를 나타내는 정보를 프로세서(140)로 전송한다. 예를 들어, 위치 센서(210)는 GPS(Global positioning system) 또는 IMU(inertial measurement unit) 등일 수 있다.
회전 센서(220)는 가상 현실 디바이스(200)의 회전 운동을 감지한다. 사용자는 가상 현실 디바이스(200)를 착용하고 x,y,z 축을 기준으로 머리을 회전할 수 있다. 사용자의 머리가 회전함에 따라 가상 현실 디바이스(200)도 함께 회전한다. 회전 센서(220)는 가상 현실 디바이스(200)의 회전 운동을 감지하고, x,y,z 축을 기준으로 회전한 각도를 측정한다. 회전 센서(220)는 측정된 각도를 프로세서(230)로 전송한다.
프로세서(230)는 사용자의 움직임에 따라 사용자에게 표시할 이미지를 생성한다. 프로세서(230)는 위치 센서(210) 및 회전 센서(220)로부터 수신된 데이터에 기초하여 이미지를 생성한다. 프로세서(230)는 사용자의 이동 방향, 이동 거리, 회전 방향, 회전 각도에 기초하여 이미지를 생성할 수 있다.
프로세서(230)는 3차원 카메라(100)로부터 수신된 이미지를 합성하여 콤플렉스 뷰를 생성한다. 프로세서(230)는 사용자의 움직임에 따라 3차원 카메라(100)로부터 수신된 이미지들 중에서 일부 이미지들을 선택하고, 선택된 이미지들을 이용하여 콤플렉스 뷰를 생성한다.
디스플레이 장치(240)는 프로세서(230)에 의해 생성된 콤플렉스 뷰를 디스플레이 한다.
메모리(250)는 3차원 카메라(100)로부터 수신된 이미지들 및 인덱스 분포 맵 등을 저장한다. 또한, 메모리(250)는 콤플렉스 뷰를 저장하고, 사용자의 움직임에 대한 정보를 저장할 수도 있다.
도 4 내지 도 6은 일 실시 예에 따른 인덱스 분포 맵을 생성하는 방법을 설명하기 위한 도면이다. 도 4 내지 도 6을 참조하면, 3차원 카메라(100)는 유니크 인덱스들만으로 구성된 인덱스 분포 맵을 생성할 수 있다.
도 4는 3차원 카메라의 위치 이동을 나타내는 도면이다. 3차원 카메라(100)는 A 지점에서 B 지점까지 연결된 선을 따라 이동할 수 있다. 도 4에 도시된 원들은 서로 오버랩되지 않는다. 새로운 원은 3차원 카메라(100)의 위치가 변경되고, 기존의 원과 오버랩되지 않는 위치에 생성된다. 원들은 3차원 카메라(100)가 생성하는 이미지들의 경계를 나타낸다.
도 5는 3차원 카메라가 인덱스들을 생성하는 방법을 설명하기 위한 도면이다. 3차원 카메라(100)는 버텍스들(p0 내지 p6)에서 촬영된 이미지를 저장한다. 버텍스들(p0 내지 p6)는 2차원 카메라들의 위치를 나타낼 수 있다. 2차원 카메라들은 3차원 카메라(100)가 A 지점에서 B 지점으로 이동할 때 이미지를 촬영할 수 있다. 다만, 3차원 카메라(100)는 버텍스들(p0 내지 p6)에서 촬영된 이미지들만 저장할 수 있다. 버텍스들(p0 내지 p6) 사이의 거리는 사용자의 두 눈 사이의 거리와 가까울(close) 수 있다. 예를 들어, 사용자들의 두 눈 사이의 평균 거리와 버텍스들(p0 내지 p6) 사이의 거리는 동일할 수 있다.
3차원 카메라(100)는 인덱스들(idx1 내지 idx4)를 생성한다. 인덱스들(idx1 내지 idx4)이 나타내는 사면체들은 서로 오버랩 되지 않는다. 제1 인덱스(idx1)는 가장 왼쪽의 사면체를 식별하기 위한 인덱스이고, 제2 인덱스(idx2)는 가운데 사면체를 식별하기 위한 인덱스이고, 제3 인덱스(idx3)는 오른쪽 아래의 사면체를 식별하기 위한 인덱스이고, 제3 인덱스(idx4)는 오른쪽 위의 사면체를 식별하기 위한 인덱스이다.
도 6은 인덱스들이 커버하는 영역을 원으로 표현한 도면이다. 도 5에서의 다면체들에 대응하는 원들이 도시되어 있다. 원들은 각각의 인덱스들(idx1 내지 idx4)이 나타내는 위치에서 촬영되는 이미지들의 영역을 나타낸다.
원들은 서로 오버랩되지 않는다. 원들 사이의 거리는 사용자의 두 눈 사이의 거리와 가까울(close) 수 있다. 3차원 카메라(100)는 오버랩되지 않는 영역의 이미지들만을 저장할 수 있고, 오버랩되지 않는 영역에 유니크 인덱스를 부여한다.
도 7은 3차원 카메라의 형태를 설명하기 위한 도면이다. 도 7을 참조하면, 3차원 카메라(100)는 사면체, 육면체, 팔면체, 십이면체, 이십면체 등이 될수 있다. 도 7에서는 5가지의 예를 설명하고 있으나, 3차원 카메라(100)은 다양한 형태의 다면체일 수 있다. 다면체의 각 버텍스들에는 적어도 3개의 카메라들이 위치할 수 있다.
도 8은 버텍스에 위치한 카메라의 시야를 계산하는 방법을 설명하는 도면이다.
시야(Field of View, FOV) >= 90 + 이면각(Dihedral angle) -1/2 X 버텍스 각(Vertex angle)
이면각은 다면체에서 두 평면이 서로 만날 때 생기는 각이고, 버텍스 각은 하나의 평면에서 두 모서리가 만날 때 생기는 각이다. 예를 들어, 3차원 카메라(100)가 사면체일 때, 사면체의 각 버텍스에 위치한 카메라의 시야는 다음과 같이 계산될 수 있다.
시야 >= 90 + 70.53 - 1/2 X 60 = 130.53
따라서, 사면체의 각 버텍스에 위치한 카메라의 시야는 130.53 도(dgree) 이상일 수 있다.
그룹의 각(Group's angle) = 180 + 이면각 - 버텍스 각
그룹의 각은 하나의 버텍스가 커버하는 시야를 나타낸다. 예를 들어, 사면체의 각 버텍스에 위치한 카메라의 그룹(적어도 3개의 카메라들)의 그룹의 각은 다음과 같이 계산될 수 있다.
그룹의 각 = 180 + 70.53 - 60 = 190.53
따라서, 사면체의 각 버텍스에 위치한 카메라의 그룹의 각은 190.53 도(dgree)가 될 수 있다.
다른 다면체들의 시야 및 그룹의 각도 상기와 동일한 방법으로 계산될 수 있다.
도 9는 일 실시 예에 따른 3차원 카메라를 설명하기 위한 도면이다. 3차원 카메라(900)는 사면체이고, 4개의 버텍스(920)들을 포함한다. 버텍스(920)에는 3개의 카메라(910)들이 위치한다. 3개의 카메라(910)들은 이미지들을 촬영하고, 촬영된 이미지들은 서로 오버랩된다. 3개의 카메라(910)들이 커버하는 시야는 180도 이상일 수 있다. 구 이미지(spherical image, 930)는 3개의 카메라(910)들에 의해 촬영된 이미지들을 합성하여 생성되는 이미지를 나타낸다. 서로 다른 버텍스(920)에서 촬영된 구 이미지(930)는 서로 오버랩될 수 있다.
3차원 카메라(900)는 4개의 버텍스(920)들을 연결하는 바(bar, 940)들을 포함한다. 바(940)의 길이는 사람의 두 눈 사이의 거리에 대응한다. 다시 말해서, 각각의 바(940)의 길이는 사람의 두 눈 사이의 거리에 가까운 길이일 수 있다.
도 7에서 계산된 바와 같이, 3차원 카메라(900)는 사면체이므로, 카메라(910)의 시야는 130.53 도이고, 버텍스(920)에 위치한 3개의 카메라(910)들에 의 각은 190.53 도이다.
도 10은 일 실시 예에 따른 3차원 카메라를 설명하기 위한 도면이다. 3차원 카메라(1000)는 팔면체이고, 8개의 버텍스(1020)들을 포함한다. 버텍스(1020)에는 3개의 카메라(1010)들이 위치한다. 3개의 카메라(1010)들은 이미지들을 촬영하고, 촬영된 이미지들은 서로 오버랩된다. 구 이미지(spherical image, 1030)은 3개의 카메라(1010)들에 의해 촬영된 이미지들을 합성하여 생성되는 이미지를 나타낸다.
3차원 카메라(1000)는 8개의 버텍스(1020)들을 연결하는 바(bar, 1040)들을 포함한다. 바(1040)의 길이는 사람의 두 눈 사이의 거리에 대응한다. 다시 말해서, 각각의 바(1040)의 길이는 사람의 두 눈 사이의 거리에 가까운 길이일 수 있다.
도 7에서 계산된 바와 같이, 3차원 카메라(1000)는 팔면체이므로, 카메라(1010)의 시야는 135 도이고, 버텍스(920)에 위치한 3개의 카메라(910)들에 의 각은 210 도이다.
시야 >= 90 + 90 - 1/2 X 90 = 135
그룹의 각 = 180 + 90 - 60 = 210
도 11은 일 실시 예에 따른 이미지 촬영 방법을 설명하기 위한 순서도이다.
단계 1110에서, 3차원 카메라는 3차원 카메라의 위치를 추적한다. 3차원 카메라는 이동할 수 있으며, 3차원 카메라의 이동시 GPS, IMU 등은 3차원 카메라의 위치를 추적한다. 3차원 카메라는 유니크 위치를 나타내는 유니크 인덱스를 포함하는 인덱스 분포 맵을 생성 및 저장할 수 있다. 3차원 카메라는 3차원 카메라의 위치 및 3차원 카메라가 차지하는 영역 등에 기초하여 인덱스 분포 맵을 생성한다. 예를 들어, 3차원 카메라는 다면체가 이동할 때마다 다면체가 차지하는 영역이 오버랩 되지 않는 위치를 유니크 위치로 결정하고, 유니크 위치를 나타내는 인덱스를 부여한다.
단계 1120에서, 3차원 카메라는 다면체이고, 다면체의 버텍스들에 카메라들이 배치된다. 하나의 버텍스에는 적어도 3개의 2차원 카메라들이 배치될 수 있다.
단계 1130에서, 3차원 카메라에 포함된 복수의 카메라들은 이미지를 촬영한다. 3차원 카메라는 촬영된 이미지들 중, 유니크 인덱스가 나타내는 위치에서 촬영된 유니크 이미지들만을 저장할 수 있다. 동일한 버텍스에 위치한 카메라들은 서로 오버랩되는 이미지를 촬영한다. 인접한 버텍스들에 위치한 카메라 그룹들은 서로 오버랩 되는 이미지를 촬영한다. 인접한 버텍스들 사이의 거리는 사용자의 두 눈 사이의 거리에 대응한다. 동일한 버텍스에 위치한 카메라 그룹의 시야는 180도 이상일 수 있다.
본 실시 예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
본 실시 예에서 설명하는 특정 실행들은 예시들로서, 어떠한 방법으로도 기술적 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다.
본 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 한정되는 것은 아니다. 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 기술적 사상을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

Claims (15)

  1. 가상 현실을 제공하기 위한 이미지를 촬영하는 3차원 카메라에 있어서,
    복수의 카메라들; 및
    상기 3차원 카메라의 위치를 추적(track)하는 위치 센서;
    상기 카메라들은 다면체의 각 버텍스에 배치되고, 각 버텍스에는 적어도 3개 이상의 카메라들이 배치되는, 3차원 카메라.
  2. 제1항에 있어서,
    상기 카메라들이 커버하는 시야가 180도 이상이 되도록 상기 카메라들이 배치되는 것을 특징으로 하는, 3차원 카메라.
  3. 제1항에 있어서,
    상기 다면체의 각 버텍스 사이의 거리는, 사용자의 두 눈 사이의 거리에 대응하는 것을 특징으로 하는, 3차원 카메라.
  4. 제1항에 있어서,
    상기 다면체의 각 버텍스에 배치된 3개 이상의 카메라들은 구 파노라마 이미지를 촬영하는, 3차원 카메라.
  5. 제1항에 있어서,
    상기 위치 센서로부터 상기 3차원 카메라의 위치 정보를 수신하여 상기 3차원 카메라의 위치를 나타내는 인덱스 분포 맵을 생성하는 프로세서를 더 포함하는, 3차원 카메라.
  6. 제5항에 있어서,
    상기 프로세서는 상기 3차원 카메라의 유니크한 위치를 나타내는 유니크 인덱스만을 포함하는 인덱스 분포 맵을 생성하는 것을 특징으로 하는, 3차원 카메라.
  7. 제6항에 있어서,
    상기 프로세서는 상기 유니크 인덱스가 나타내는 위치에서 촬영된 유니크 이미지를 결정하고,
    상기 유니크 이미지를 저장하는 메모리를 더 포함하는 것을 특징으로 하는, 3차원 카메라.
  8. 제 1 항에 있어서,
    상기 3차원 카메라는 사면체이고, 4개의 버텍들에 가각 3개의 2차원 카메라들이 배치되는 것을 특징으로 하는, 3차원 카메라
  9. 가상 현실을 제공하기 위한 이미지를 촬영하는 방법에 있어서,
    3차원 카메라의 위치를 추적하는 단계;
    3차원 카메라는 다면체이고, 상기 다면체의 버텍스들에 상기 카메라들이 배치하는 단계; 및
    상기 3차원 카메라에 포함된 복수의 카메라들이 이미지를 촬영하는 단계;를 포함하는, 이미지 촬영 방법.
  10. 제9항에 있어서,
    상기 3차원 카메라의 유니크 위치를 나타내는 유니크 인덱스를 포함하는 인덱스 분포 맵을 생성하는 단계;
    상기 촬영된 이미지들 중, 상기 유니크 인덱스가 나타내는 위치에서 촬영된 유니크 이미지들을 저장하는 단계;를 더 포함하는 것을 특징으로 하는, 이미지 촬영 방법.
  11. 제10항에 있어서, 상기 인덱스 분포 맵을 생성하는 단계는,
    상기 다면체가 이동할 때마다 상기 다면체가 차지하는 영역이 오버랩 되지 않는 위치를 상기 유니크 위치로 결정하는 단계를 포함하는 것을 특징으로 하는, 이미지 촬영 방법.
  12. 제9항에 있어서, 상기 이미지를 촬영하는 단계는,
    동일한 버텍스에 위치한 카메라들은 서로 오버랩되는 이미지를 촬영하는 것을 특징으로 하는, 이미지 촬영 방법.
  13. 제9항에 있어서, 상기 이미지를 촬영하는 단계는,
    인접한 버텍스들에 위치한 카메라 그룹들은 서로 오버랩 되는 이미지를 촬영하는 것을 특징으로 하는, 이미지 촬영 방법.
  14. 제13항에 있어서,
    상기 인접한 버텍스들 사이의 거리는 사용자의 두 눈 사이의 거리에 대응하는 것을 특징으로 하는, 이미지 촬영 방법.
  15. 제 9 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 비일시적(non-transitory) 기록매체.
PCT/KR2016/004365 2016-02-02 2016-04-26 가상 현실을 제공하기 위한 이미지를 촬영하는 3차원 카메라 WO2017135514A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP16889492.1A EP3404915B1 (en) 2016-02-02 2016-04-26 Three-dimensional camera for capturing image to provide virtual reality
US16/075,089 US10750156B2 (en) 2016-02-02 2016-04-26 Three-dimensional camera for capturing image to provide virtual reality
CN201680080840.0A CN108702497B (zh) 2016-02-02 2016-04-26 用于拍摄提供虚拟现实的图像的三维相机

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160012894A KR102360179B1 (ko) 2016-02-02 2016-02-02 가상 현실을 제공하기 위한 이미지를 촬영하는 3차원 카메라
KR10-2016-0012894 2016-02-02

Publications (1)

Publication Number Publication Date
WO2017135514A1 true WO2017135514A1 (ko) 2017-08-10

Family

ID=59500447

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/004365 WO2017135514A1 (ko) 2016-02-02 2016-04-26 가상 현실을 제공하기 위한 이미지를 촬영하는 3차원 카메라

Country Status (5)

Country Link
US (1) US10750156B2 (ko)
EP (1) EP3404915B1 (ko)
KR (1) KR102360179B1 (ko)
CN (1) CN108702497B (ko)
WO (1) WO2017135514A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10750156B2 (en) 2016-02-02 2020-08-18 Samsung Electronics Co., Ltd. Three-dimensional camera for capturing image to provide virtual reality

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4176334A1 (en) * 2020-07-03 2023-05-10 Pfetch, Inc. Remote attendance and participation systems and methods
US11947740B2 (en) * 2021-06-02 2024-04-02 Qingdao Pico Technology Co., Ltd. 6DoF positioning tracking device and method, and electronic apparatus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120016896A (ko) * 2010-08-17 2012-02-27 더블유에프지연구소 주식회사 기울기 센서를 이용한 3차원 이미지 조망기능을 갖는 디스플레이장치 및 디스플레이 시스템
KR20130058782A (ko) * 2011-11-27 2013-06-05 공석태 카메라내장 자동차라이트
KR20130092522A (ko) * 2013-07-02 2013-08-20 삼성전자주식회사 카메라들의 협력을 위한 방법 및 장치
KR20140146889A (ko) * 2013-06-18 2014-12-29 엘지전자 주식회사 전자장치 및 전자장치의 동작방법
US20150199849A1 (en) * 2014-01-13 2015-07-16 Lg Electronics Inc. Head mounted display and method of controlling thereof

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6141034A (en) * 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
JP2001285894A (ja) * 2000-03-31 2001-10-12 Olympus Optical Co Ltd ３次元画像データの掲載方法
US20070024701A1 (en) * 2005-04-07 2007-02-01 Prechtl Eric F Stereoscopic wide field of view imaging system
CN101055494B (zh) 2006-04-13 2011-03-16 上海虚拟谷数码科技有限公司 基于空间索引立方体全景视频的虚拟场景漫游方法及其系统
CN101627623A (zh) * 2007-08-24 2010-01-13 索尼株式会社 图像处理设备、运动图像播放设备及其处理方法和程序
JP2009077363A (ja) 2007-08-24 2009-04-09 Sony Corp 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
JP5299054B2 (ja) 2009-04-21 2013-09-25 ソニー株式会社 電子機器、表示制御方法およびプログラム
KR101594048B1 (ko) 2009-11-09 2016-02-15 삼성전자주식회사 카메라들의 협력을 이용하여 3차원 이미지를 생성하는 방법 및 상기 방법을 위한 장치
GB2525170A (en) 2014-04-07 2015-10-21 Nokia Technologies Oy Stereo viewing
US9992502B2 (en) * 2016-01-29 2018-06-05 Gopro, Inc. Apparatus and methods for video compression using multi-resolution scalable coding
KR102360179B1 (ko) 2016-02-02 2022-02-08 삼성전자주식회사 가상 현실을 제공하기 위한 이미지를 촬영하는 3차원 카메라

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120016896A (ko) * 2010-08-17 2012-02-27 더블유에프지연구소 주식회사 기울기 센서를 이용한 3차원 이미지 조망기능을 갖는 디스플레이장치 및 디스플레이 시스템
KR20130058782A (ko) * 2011-11-27 2013-06-05 공석태 카메라내장 자동차라이트
KR20140146889A (ko) * 2013-06-18 2014-12-29 엘지전자 주식회사 전자장치 및 전자장치의 동작방법
KR20130092522A (ko) * 2013-07-02 2013-08-20 삼성전자주식회사 카메라들의 협력을 위한 방법 및 장치
US20150199849A1 (en) * 2014-01-13 2015-07-16 Lg Electronics Inc. Head mounted display and method of controlling thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10750156B2 (en) 2016-02-02 2020-08-18 Samsung Electronics Co., Ltd. Three-dimensional camera for capturing image to provide virtual reality

Also Published As

Publication number Publication date
EP3404915A4 (en) 2019-01-09
CN108702497B (zh) 2020-07-24
KR20170091950A (ko) 2017-08-10
EP3404915B1 (en) 2023-08-23
KR102360179B1 (ko) 2022-02-08
CN108702497A (zh) 2018-10-23
US20190045171A1 (en) 2019-02-07
US10750156B2 (en) 2020-08-18
EP3404915A1 (en) 2018-11-21

Similar Documents

Publication Publication Date Title
CN107431796B (zh) 全景虚拟现实内容的全方位立体式捕捉和渲染
WO2011139070A2 (en) Method and apparatus for recognizing location of user
WO2010027193A2 (en) Spatially correlated rendering of three-dimensional content on display components having arbitrary positions
JP6368142B2 (ja) 情報処理装置、情報処理方法
WO2012176945A1 (ko) 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
WO2017135514A1 (ko) 가상 현실을 제공하기 위한 이미지를 촬영하는 3차원 카메라
EP2685707A1 (en) System for spherical video shooting
WO2017065348A1 (ko) 헤드 마운트 디스플레이를 이용한 협업 방법
CN108154533A (zh) 一种位置姿态确定方法、装置及电子设备
WO2017142130A1 (ko) 가상 현실을 제공하기 위한 이미지 처리 방법 및 가상 현실 디바이스
WO2018062679A2 (ko) 기초 응급 구조 훈련 시뮬레이션 시스템
Caarls et al. Augmented reality for art, design and cultural heritage—system design and evaluation
CN109716396A (zh) 信息处理设备、信息处理方法和程序
US20160381257A1 (en) Sphere panorama image capturing device
WO2018186507A1 (ko) 가정된 캘리브레이션 모델 없이 측정된 데이터를 이용하여 캘리브레이션을 수행하는 방법 및 상기 방법을 수행하는 3차원 스캐너 캘리브레이션 시스템
WO2018016928A1 (ko) 가상 현실 구현 시스템 및 그의 가상 현실 구현 방법
WO2015046669A1 (en) Head mounted display device and method of controlling the same
WO2015178593A1 (ko) 물체 전방위 촬영 3차원 실물화상기
JP3221384B2 (ja) 三次元座標計測装置
JP2014116867A (ja) 立体表示システム、立体像生成装置及び立体像生成プログラム
WO2015182967A1 (ko) 매칭시스템 및 매칭방법
WO2014035204A1 (ko) 뷰 포인트에 따른 입체화 방법
WO2017150847A2 (ko) 광 시야각 영상 처리 시스템, 광 시야각 영상의 전송 및 재생 방법, 및 이를 위한 컴퓨터 프로그램
TWI832459B (zh) 資訊顯示方法及其處理裝置與資訊顯示系統
WO2017200289A1 (ko) 360도 이미지를 형성할 수 있는 렌즈 모듈, 360도 이미지 형성 방법, 이 방법을 실행하는 컴퓨터 프로그램, 및 이 컴퓨터 프로그램을 저장하는 저장 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16889492

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016889492

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016889492

Country of ref document: EP

Effective date: 20180816