CN107836012B - 投影图像生成方法及其装置、图像像素与深度值之间的映射方法 - Google Patents

投影图像生成方法及其装置、图像像素与深度值之间的映射方法 Download PDF

Info

Publication number
CN107836012B
CN107836012B CN201680040327.9A CN201680040327A CN107836012B CN 107836012 B CN107836012 B CN 107836012B CN 201680040327 A CN201680040327 A CN 201680040327A CN 107836012 B CN107836012 B CN 107836012B
Authority
CN
China
Prior art keywords
image
acquired
acquisition
depth
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201680040327.9A
Other languages
English (en)
Other versions
CN107836012A (zh
Inventor
都洛珠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea University Research and Business Foundation
Original Assignee
Korea University Research and Business Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea University Research and Business Foundation filed Critical Korea University Research and Business Foundation
Priority claimed from PCT/KR2016/006961 external-priority patent/WO2017007166A1/ko
Publication of CN107836012A publication Critical patent/CN107836012A/zh
Application granted granted Critical
Publication of CN107836012B publication Critical patent/CN107836012B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/06—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0096—Synchronisation or controlling aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Abstract

本发明公开对于三维空间的投影图像生成方法。本发明一实施例的投影图像生成方法包括：以基准坐标系为基准来推定多个图像取得位姿及多个深度取得位姿的步骤，上述多个图像取得位姿及多个深度取得位姿包含相对于实际三维空间所取得的多个取得图像及多个取得深度值的各个取得位置及取得角度；以基准坐标系为基准来取得用户位姿的步骤，上述用户位姿包含与上述实际三维空间相对应的虚拟的三维空间中的用户的位置及角度；以及基于与上述用户位姿相对应的对应图像取得位姿及至少一个对应深度取得位姿，生成向上述多个取得图像中的至少一个投影上述多个取得深度值而成的投影图像的步骤。

Description

投影图像生成方法及其装置、图像像素与深度值之间的映射 方法
技术领域
本发明涉及图像的生成，尤其涉及对于三维空间的投影图像生成方法及其装置、图像像素与深度值之间的映射方法。
背景技术
从100多年前就已经开始引入了用于以数字信息来表示室内及室外环境的多种方法。为了取得环境的影像信息而引入了摄像机，且为了取得环境的深度信息而引入了各种测距仪。并且，最近上市了一种传感器系统，上述传感器系统通过谷歌的JUMP或三星的Project Beyond等来同时取得图像和深度值，并且在制作三维(3D)图像之后通过头戴式显示器(HMD，Head Mount Display)向用户提供。
但是，上述系统只能在一个场所取得数据，因而存在在特定位姿(二维或三维空间上的位置及角度)只能记录与特定视野(Field of View)有关的信息的局限性。
为了克服上述问题，可通过留有更加紧凑的间隔来取得多张图像及深度值。作为其例，互联网门户的街景(Street View)地图服务中以紧凑的间隔拍摄图像，JUMP或超越计划(Project Beyond)摄像机等中也能够以相同的方式取得图像。
但是，在如上所述的现有技术中，在虚拟用户位于无法取得图像的位姿的情况下，存在无法生成与相应位置相对应的三维图像的局限性。现有技术应用如下方式，即，若虚拟用户位于无法取得图像的虚拟的三维空间上的位姿，则对在与相应位姿的前或后相应的位姿取得的图像进行混合来显示三维图像，随着用户的移动，利用从下一个位姿取得的图像来显示三维图像，因而从用户立场上而言，会感到不自然。
为了克服上述问题，随着用户的移动，可通过在多个连续的位姿取得图像及深度值的方式显示自然的三维图像，但在此情况下，存在仅在用户移动与取得图像及深度值的路径相同的路径的情况下才可显示自然的三维图像的局限性。即，由于用户无法脱离取得图像的路径来进行移动，因而上述方法存在可以主要用于制作体验过山车等游乐设备形态的内容等局限性。
并且，在利用全向摄像机拍摄图像的情况下，在使视野以相应图像的中心点为基准向左右各个方向移动来制作双目图像之后，通过头戴式显示(Head Mount Display)装置来显示上述图像，上述方法在全向摄像机的特性上可通过360度旋转来三维观看拍摄影像，但存在无法脱离拍摄路径来进行观察的局限性。
如上所观察，以往技术存在无法对于室内及室外环境提供与用户的任意移动及任意旋转相对应的具有真实感的三维图像的问题。
发明内容
技术问题
本发明的目的在于，提供用于提供与用户的任意移动及任意旋转相对应的具有真实感的三维图像的投影图像生成方法及其装置。
技术方案
用于实现上述目的的本发明一实施例的投影图像生成方法包括：以基准坐标系为基准来推定多个图像取得位姿及多个深度取得位姿的步骤，上述多个图像取得位姿及多个深度取得位姿包含相对于实际三维空间所取得的多个取得图像及多个取得深度值的各个取得位置及取得角度；以基准坐标系为基准来取得用户位姿的步骤，上述用户位姿包含与上述实际三维空间相对应的虚拟的三维空间中的用户的位置及角度；以及基于与上述用户位姿相对应的对应图像取得位姿及至少一个对应深度取得位姿，生成向上述多个取得图像中的至少一个投影上述多个取得深度值而成的投影图像的步骤。
优选地，作为从上述对应图像取得位姿取得的取得图像，用于生成上述投影图像的上述多个取得图像中的至少一个为被设定为代表取得坐标系的图像的代表图像，上述取得坐标系为以上述对应图像取得位姿作为原点的坐标系，作为从上述对应深度取得位姿取得的多个深度值，用于生成上述投影图像的上述多个取得深度值在以上述基准坐标系的原点为基准的多个深度值或以上述取得坐标系的原点为基准的多个深度值中可包含多个对应深度值，上述多个对应深度值为包含于上述代表图像的视角的深度值。
优选地，在上述生成投影图像的步骤中，可通过向多个对应像素投影上述多个对应深度值来生成投影图像，上述多个对应像素为包含于分别与上述多个对应深度值相对应的上述代表图像的像素。
优选地，在上述用户位姿与上述对应图像取得位姿不同，且在与上述用户位姿中的上述用户的视角相对应的上述虚拟的三维空间上的区域中存在未包含于上述代表图像的丢失视野区域的情况下，上述生成投影图像的步骤可包括在除上述代表图像之外的上述多个取得图像中，利用增强图像及上述代表图像来生成上述投影图像的步骤，上述增强图像为包含作为与上述丢失视野区域相应的像素的多个丢失像素的取得图像。
优选地，利用上述增强图像及上述代表图像来生成上述投影图像的步骤可包括：对是否存在上述丢失视野区域进行判断的步骤；若判断为存在上述丢失视野区域，则基于深度－图像关联信息来在上述多个取得图像中选定上述增强图像的步骤，上述深度－图像关联信息为匹配有与包含在上述多个取得图像的多个像素相对应的上述多个取得深度值的信息；通过以比上述代表图像的加权值低的加权值来组合上述增强图像，从而生成组合图像的步骤；以及生成向上述组合图像投影上述多个取得深度值而成的投影图像的步骤。
优选地，在上述多个取得图像中选定上述增强图像的步骤可包括：以上述用户位姿为中心进行光线投射(raycasting)来检测多个用户视野深度值的步骤，上述多个用户视野深度值为包含于上述用户的视角内的深度值；在上述多个用户视野深度值中检测多个丢失视野深度值的步骤，上述多个丢失视野深度值为与上述丢失视野区域相应的深度值；基于上述深度－图像关联信息来检测与上述多个丢失视野深度值相对应的上述多个丢失像素的步骤；以及基于检测出的上述多个丢失像素，在上述多个取得图像中选定上述增强图像的步骤。
优选地，上述深度－图像关联信息可通过如下步骤来计算：计算多个第一深度值距离的步骤，上述多个第一深度值距离为从在上述深度取得位姿所取得的多个取得深度值至上述深度取得位姿为止的距离；利用上述图像取得位姿及上述深度取得位姿来将上述第一深度值距离转换为多个第二深度值距离的步骤，上述多个第二深度值距离为从在上述深度取得位姿所取得的上述各个取得深度值至上述图像取得位姿为止的距离；以及利用与用于取得上述取得图像的图像传感器相对应的摄像机矩阵及上述多个第二深度值距离，向包含于上述取得图像的多个像素映射上述多个取得深度值的步骤。
优选地，上述对作为从在上述深度取得位姿所取得的多个取得深度值至上述深度取得位姿为止的距离的多个第一深度值距离进行计算的步骤可以仅利用上述多个取得深度值的各个取得时间在规定时间间隔以内的上述多个取得深度值来执行。
优选地，在上述用户位姿与上述对应图像取得位姿相同，且从上述对应图像取得位姿取得的上述取得图像的视角大于由从上述对应深度取得位姿取得的上述多个取得深度值形成的深度地图的视角的情况下，上述生成投影图像的步骤可以利用多个上述深度地图和上述代表图像来进行，上述多个上述深度地图从取得上述代表图像的上述对应图像取得位姿属于规定距离以内的多个上述对应深度取得位姿取得。
优选地，在上述用户位姿与上述对应图像取得位姿相同，且从上述对应图像取得位姿取得的上述取得图像的视角大于由从上述对应深度取得位姿取得的上述多个取得深度值形成的深度地图的视角的情况下，上述生成投影图像的步骤可以利用对多个上述深度地图进行预先分组而生成的分组深度地图和上述代表图像来进行，上述多个上述深度地图从取得上述代表图像的上述对应图像取得位姿中属于规定距离以内的多个上述对应深度取得位姿取得。
优选地，由上述多个取得深度值形成的深度地图可由基于预设参数的网格结构的取得深度值形成。
优选地，上述生成投影图像的步骤可在上述多个取得深度值中仅利用从分别取得所要利用于上述投影图像生成的上述多个取得图像的时间点至规定时间以内所取得的上述取得深度值来进行。
优选地，在利用全向(omni－directional)摄像机来取得分别包含于上述多个图像取得位姿的上述取得图像的情况下，分别包含于上述多个图像取得位姿的上述取得角度可以为全向角度。
并且，用于实现上述目的的本发明另一实施例的投影图像生成方法包括：以基准坐标系为基准来推定多个图像取得位姿，上述多个图像取得位姿包含相对于实际三维空间所取得的多个取得图像的取得位置及取得角度，并以各个上述多个图像取得位姿作为原点的取得坐标系为基准来推定与多个取得深度值相对应的多个深度取得位姿的步骤；以基准坐标系为基准来取得用户位姿的步骤，上述用户位姿包含与上述实际三维空间相对应的虚拟的三维空间中的用户的位置及角度；以及基于与上述用户位姿相对应的对应图像取得位姿及至少一个对应深度取得位姿，生成向上述多个取得图像中的至少一个投影上述多个取得深度值而成的投影图像的步骤。
并且，用于实现上述目的的本发明一实施例的投影图像生成装置可包括：数据位姿推定部，以基准坐标系为基准来推定多个图像取得位姿及多个深度取得位姿，上述多个图像取得位姿及多个深度取得位姿包含相对于实际三维空间所取得的多个取得图像及多个取得深度值的各个取得位置及取得角度；用户位姿取得部，以基准坐标系为基准来取得用户位姿，上述用户位姿包含与上述实际三维空间相对应的虚拟的三维空间中的用户的位置及角度；以及图像生成部，基于与上述用户位姿相对应的对应图像取得位姿及至少一个对应深度取得位姿，生成向上述多个取得图像中的至少一个投影上述多个取得深度值而成的投影图像。
优选地，作为从上述对应图像取得位姿取得的取得图像，用于生成上述投影图像的上述多个取得图像中的至少一个为被设定为代表取得坐标系的图像的代表图像，上述取得坐标系为以上述对应图像取得位姿作为原点的坐标系，作为从上述对应深度取得位姿取得的多个深度值，用于生成上述投影图像的上述多个取得深度值在以上述基准坐标系的原点为基准的多个深度值或以上述取得坐标系的原点为基准的多个深度值中包含多个对应深度值，上述多个对应深度值为包含于上述代表图像的视角的深度值。
优选地，在上述对应图像取得位姿与上述用户位姿不同，且在与上述用户位姿中的上述用户的视角相对应的上述虚拟的三维空间上的区域中存在未包含于上述代表图像的丢失视野区域的情况下，上述图像生成部在除上述代表图像之外的上述多个取得图像中，利用增强图像及上述代表图像来生成上述投影图像，上述增强图像为包含作为与上述丢失视野区域相应的像素的多个丢失像素的取得图像。
优选地，上述图像生成部可包括：用户视野判断部，用于对是否存在上述丢失视野区域进行判断；增强图像选定部，若判断为存在上述丢失视野区域，则基于深度－图像关联信息来在上述多个取得图像中选定上述增强图像，上述深度－图像关联信息为匹配有与包含在上述多个取得图像的多个像素相对应的上述多个取得深度值的信息；组合图像生成部，通过以比上述代表图像的加权值低的加权值来组合上述增强图像，从而生成组合图像；以及投影图像生成部，生成向上述组合图像投影上述多个取得深度值而成的投影图像。
优选地，在上述用户位姿与上述对应图像取得位姿相同，且从上述对应图像取得位姿取得的上述取得图像的视角大于由从上述对应深度取得位姿取得的上述多个取得深度值形成的深度地图的视角的情况下，上述图像生成部利用多个上述深度地图和上述代表图像来生成上述投影图像，上述多个上述深度地图从取得上述代表图像的上述对应图像取得位姿属于规定距离以内的多个上述对应深度取得位姿取得。
并且，用于实现上述目的的本发明另一实施例的投影图像生成装置包括：数据位姿推定部，以基准坐标系为基准来推定多个图像取得位姿，上述多个图像取得位姿包含相对于实际三维空间所取得的多个取得图像的取得位置及取得角度，并以各个上述多个图像取得位姿作为原点的取得坐标系为基准来推定与多个取得深度值相对应的多个深度取得位姿；用户位姿取得部，以基准坐标系为基准来取得用户位姿，上述用户位姿包含与上述实际三维空间相对应的虚拟的三维空间中的用户的位置及角度；以及图像生成部，基于与上述用户位姿相对应的对应图像取得位姿及至少一个对应深度取得位姿，生成向上述多个取得图像中的至少一个投影上述多个取得深度值而成的投影图像。
并且，用于实现上述目的的图像像素与深度值之间的映射方法包括：以基准坐标系为基准来推定图像取得位姿及深度取得位姿的步骤，上述图像取得位姿及深度取得位姿包含相对于实际三维空间所取得的取得图像及取得深度值的各个取得位置及取得角度；计算多个第一深度值距离的步骤，上述多个第一深度值距离为从在上述深度取得位姿所取得的多个取得深度值至上述深度取得位姿为止的距离；利用上述图像取得位姿及上述深度取得位姿来将上述第一深度值距离转换为多个第二深度值距离的步骤，上述多个第二深度值距离为从在上述深度取得位姿所取得的上述各个取得深度值至上述图像取得位姿为止的距离；以及利用与用于取得上述取得图像的图像传感器相对应的摄像机矩阵及上述多个第二深度值距离，向包含于上述取得图像的多个像素映射上述多个取得深度值的步骤。
优选地，上述转换为多个第二深度值距离的步骤可通过对表示上述图像取得位姿的矩阵的逆矩阵、表示上述深度取得位姿的矩阵及上述第一深度值距离相互之间进行乘法运算来进行。
优选地，在本发明一实施例的图像像素与深度值之间的映射方法中，在用于取得上述取得图像的图像传感器的分辨率高于用于取得上述取得深度值的距离传感器的分辨率的情况下，上述向包含于取得图像的多个像素映射上述多个取得深度值的步骤还可包括：在作为映射到上述图像像素的多个取得深度值的初始关联深度值中通过筛选出3个以上的初始关联深度值来形成多边形网格的步骤；基于上述图像传感器的分辨率，在作为不存在对应的取得深度值的图像像素的多个未映射像素中计算出所要包含于上述多边形网格内部的多个未映射像素的数量及位置的步骤；基于上述计算出的多个未映射像素的数量及位置来推定与上述多个未映射像素相对应的多个深度值的步骤；以及向上述多个未映射像素映射上述推定出的多个深度值的步骤。
优选地，上述推定与多个未映射像素相对应的多个深度值的步骤利用内插法(interpolation)来执行。
有益效果
根据本发明的一实施例，以与取得图像的图像取得位姿的取得坐标系相联动的方式显示上述图像，从而可消除在将以取得坐标系为基准来取得的取得图像以基准坐标系为基准来转换的过程中所发生的图像失真。尤其，应用具有大于用户视野的视角的广角图像传感器来取得图像，从而在用户在一个固定的位置环顾周边的情况下，可观察到在相同的条件下拍摄的一个广角图像，从而具有可向用户提供自然且具有真实感的图像的效果。
根据本发明的再一实施例，仅利用按图像取得位姿的取得坐标系来联动的一个代表图像，生成投影图像，因而相对于以往，具有可利用显著少的数据量来生成投影图像的效果。
根据本发明的另一实施例，具有如下效果：利用按图像取得位姿取得坐标系来联动的代表图像，生成投影图像，因而在与实际三维空间相应的图像变更的情况下，如更换牌匾一般仅通过对相应图像取得位姿取得新的图像并设定为代表图像，也可容易将全部图像数据升级(up－grade)为最新图像数据。
根据本发明的还有一实施例，具有如下效果：可通过深度－图像关联信息，以深度值作为介质来确认取得图像的何种像素包含于用户视野内，由此可确认何种取得图像需要进入用户视野内，因而即使在用户位于脱离图像取得路径的用户位姿的情况下，也可在相应用户的位姿取得与用户的任意视野相对应的投影图像。
根据本发明的又一实施例，具有如下效果：利用深度－图像关联信息以及与取得图像的视角相对应的多个深度地图来生成投影图像，从而可利用具有相对于图像传感器的视角具有窄视角的距离传感器来生成具有与图像传感器的宽视角相对应的宽视角的投影图像。
根据本发明的又一实施例，具有如下效果：在利用组合代表图像和增强图像的组合图像来生成投影图像的情况下，通过改变加权值来进行组合的方法等，可使利用多个图像来生成的投影图像的图像失真最小。
根据本发明的又一实施例，具有如下效果：基于分别取得图像及取得深度值的时间，在多个取得深度值中筛选出所要用于生成投影图像的取得深度值，从而可使因环形闭合状况等而发生的图像失真最小化。
附图说明
图1为为了说明本发明一实施例的投影图像生成方法而示出的流程图。
图2为示出以基矢量表示本发明的深度值的例示的图。
图3为示出用于同时取得图像和深度值的集成传感器的例示的图。
图4为为了说明以往的以基准坐标系为基准生成的三维图像而示出的图。
图5为为了说明基于位置推定误差的图像失真而示出的图。
图6为为了说明基于基准坐标系的深度取得位姿而示出的图。
图7为为了说明基于位置推定误差的地形失真及图像失真而示出的图。
图8为为了说明图像传感器的视角而示出的图。
图9为为了说明距离传感器的视角而示出的图。
图10为为了说明通过利用一个图像取得位姿和多个深度取得位姿来生成投影图像的方法而示出的图。
图11为为了说明深度值被分组化的例示而示出的图。
图12为为了说明环形闭合状况而示出的图。
图13为为了说明环形闭合状况下的深度值分组化的失真而示出的图。
图14为为了说明本发明一实施例的深度－图像关联信息生成方法而示出的流程图。
图15a为为了说明本发明一实施例的深度－图像关联状态而示出的图。
图15b为为了说明本发明再一实施例的深度－图像关联状态而示出的图。
图15c为为了说明本发明另一实施例的深度－图像关联状态而示出的图。
图16为为了说明本发明的还有一实施例的投影图像生成方法而示出的流程图。
图17为为了根据本发明的一实施例来说明存在丢失视野区域的情况下的投影图像生成方法而示出的流程图。
图18为为了说明图像传感器的视角包括用户视野的环境而示出的图。
图19为为了说明图像传感器的视角无法包括用户视野的环境而示出的图。
图20为为了说明本发明一实施例的增强图像选定方法而示出的流程图。
图21为为了说明基于用户移动的本发明和现有技术的不同点而示出的图。
图22为为了说明本发明一实施例的基于参数的深度值的网格结构而示出的图。
图23为为了说明本发明一实施例的投影图像生成装置而示出的图。
图24为为了说明本发明一实施例的图像生成部而示出的图。
图25为为了说明本发明一实施例的深度值的多边形网格结构而示出的图。
具体实施方式
本发明可实施多种变更，可具有多种实施例，将在附图中例示特定实施例并进行详细说明。但是，这并非表示所要将本发明限定于特定实施方式，而应当理解为包含本发明的思想及技术范围内的所有变更、等同技术方案及代替技术方案。在说明各个附图的过程中，对于类似的结构要素赋予了类似的附图标记。
第一、第二、A、B等术语可用于说明多种结构要素，但上述结构要素并不局限于上述术语。这种术语仅仅用于从其他结构要素中区分一个结构要素，而相应结构要素的本质或次序或顺序等并不局限于此。例如，在不脱离本发明权利范围的情况下，第一结构要素可命名为第二结构要素，类似地，第二结构要素也可命名为第一结构要素。术语“和/或”包含多个相关记载项的组合或多个相关记载项中的一项。
当提出某种结构要素与其他结构要素“相连接”或“相联接”时，这应当理解为可与其他结构要素直接连接或联接，但也可在两者中间存在其他结构要素。相反，当提出某种结构要素与其他结构要素“直接连接”或“直接联接”时，应当理解为在两者中间不存在其他结构要素。
本申请中所使用的术语仅仅用于说明特定的实施例，而并非所要限定本发明。除非在文脉上明确表示不同的含义，单数的表达包括复数的表达。在本申请中，“包括”或“具有”等术语所要指定说明书中所记载的特征、数字、步骤、结构要素或这些组合的存在，而不得理解为排除一个或一个以上的其他特征或数字、步骤、结构要素或这些组合的存在或附加可能性。
除非下不同的定义，包含使用于本说明书中的技术术语及科学术语在内的所有术语具有与本发明所属技术领域的普通技术人员普遍理解的含义相同的含义。与普遍使用的预先所定义的术语相同的术语应解释为具有与相关技术的文脉中所具有的含义相一致的含义，除非在本申请中下明确定义，不应以理想性或过于形式化的含义来进行解释。
以下，参照附图来对本发明的优选实施例进行详细说明。
图1为为了说明本发明一实施例的投影图像生成方法而示出的流程图。
在步骤110中，以基准坐标系为基准来推定多个图像取得位姿及多个深度取得位姿的步骤，上述多个图像取得位姿及多个深度取得位姿包含相对于实际三维空间所取得的多个取得图像及多个取得深度值的各个取得位置及取得角度。
此时，可以假设在投影图像生成装置存储有如下信息，即，包含分别取得多个取得图像的位置、包含取得相应图像的角度(包含与偏航、俯仰、滚动有关的角度)的多个图像取得位姿及分别取得多个取得深度值的位置及取得相应深度值的角度(包含与偏航、俯仰、滚动有关的角度)的多个深度取得位姿，除此之外，从各个图像取得位姿取得的取得图像及与图像取得时间(绝对取得时间、相对取得时间、取得图像的先后关系等)有关的信息、从各个深度取得位姿取得的取得深度值及与深度值取得时间(绝对取得时间、相对取得时间、取得深度值的先后关系等)有关的信息。但是，在另一实施例中，图像取得位姿可以仅包含取得图像的位置，深度取得位姿也可仅包含取得深度值的位置。并且，在分别包含于多个图像取得位姿的取得图像被全向(omni－directional)摄像机取得的情况下，包含于图像取得位姿的取得角度可以为全向角度。
其中，取得图像作为对于三维空间取得的二维图像，可以呈能够以二维自由度的基矢量(basis vector)来表示的形态，如摄像机，可以呈将三维颜色值以二维来显示的形态或在摄像机安装红外线过滤器来将三维热信息以二维来显示的形态。
并且，取得图像可以为通过使用多个摄像机来生成的全景图像或广角图像，本发明中的图像被定义为具有能够以二维自由度的基矢量显示的形态，因而不仅可具有普通的四角形形态，根据摄像机特性，也可具有四角形之外的几何形态。
并且，取得深度值具有能够以三维自由度的基矢量来显示的点形态，可通过使用距离传感器来取得，也可通过应用从不同位置拍摄的两个以上的图像来推定。前者的例子有通过激光雷达(LIDAR)、声纳(SONAR)、红外(InfraRed)、飞行时间(TOF，Time Of Flight)距离探测器来取得的深度值，后者的例子有通过立体摄像机、多摄像机、全向立体摄像机等取得的深度值。另一方面，若利用Kinect、JUMP、PrimeSense、Project Beyond等设备，则还可同时取得到取得图像及取得深度值。
图2为示出以基矢量表示的本发明的深度值的例示的图，深度值可通过如左侧所示的以α、β、γ表示的极坐标系(Polar Coordinate)或如右侧所示的利用X、Y、Z轴来表示的笛卡尔坐标系(Cartesian Coordinate)来以三维自由度的基矢量表示。其中，深度值可以呈单点形态或多点形态，还可包含基于由点形成的三角形的网格(Mesh)结构的深度值集合以及特定几何形态的深度值集合。
例如，在本发明的一实施例中，不仅可使用通过距离传感器取得的取得深度值，也可通过内插法(interpolation)重新推定深度值来使用。更加具体地，在多个取得深度值中筛选出3个以上的深度值来形成多边形(包含三角形)网格之后，可通过内插法(interpolation)推定出新的深度值并追加于其多边形网格内部。
另一方面，本发明一实施例的取得图像及取得深度值也可利用如图3所示的集成传感器来同时取得。
图3为示出用于同时取得图像和深度值的集成传感器的例示的图，在图3中示出上端的广角图像传感器与下端的距离传感器(激光雷达)相结合的集成传感器。此时，广角图像传感器可朝向垂直/水平方向具有全向视角，但激光雷达等距离传感器普遍具有规定角度的窄视角。另一方面，在另一实施例中，可增加利用惯性传感器、加速传感器、地磁传感器、无线通信信号等来推定三维空间上的位姿。
在本发明中，投影图像生成装置
Figure BDA0001541749060000121
以基准坐标系为基准来推定以往以基准坐标系为基准来存储的多个图像取得位姿及多个深度取得位姿，基准坐标系还被命名为绝对坐标系W，采用以特定的一个原点为基准来表示所有位姿的方式。另一方面，与基准坐标系相反的概念为取得坐标系，其还被命名为局部坐标系，采用存在原点，且以多个原点各自为基准来表示位姿的方式。
例如，在利用多个摄像机来取得图像的情况下，若以基准坐标系为基准来表示取得图像的图像取得位姿，则以一个特定的原点为基准来表示多个摄像机的各个位姿，但若以取得坐标系为基准来表示图像取得位姿，则多个摄像机分别所处的多个位置均成为个别取得坐标系的原点。
但是，原则上，需要在基准坐标系仅设定一个原点，但是在多层建筑物等适用基准坐标系的情况下，可按每个单独的层来设定基准坐标系，因而也可按每个单独的层设定原点。
在步骤120中，投影图像生成装置以基准坐标系为基准来取得用户位姿，上述用户位姿包含与实际三维空间相对应的虚拟的三维空间中的用户的位置及角度。
其中，用户位姿可以为显示在虚拟的三维空间的用户虚拟形象的位置及表示用户的视野所向的方向的角度。
在步骤130中，投影图像生成装置基于与用户位姿相对应的对应图像取得位姿及至少一个对应深度取得位姿，生成向多个取得图像中的至少一个投影多个取得深度值的投影图像。
其中，对应图像取得位姿表示与用户位姿相对应的图像取得位姿，对应深度取得位姿表示与用户位姿相对应的深度取得位姿。例如，存在于从用户位姿至规定距离以内的一个图像取得位姿及至少一个深度取得位姿可被确定为对应图像取得位姿及对应深度取得位姿，或者从用户位姿位于最近距离的一个图像取得位姿及一个深度取得位姿可被确定为对应图像取得位姿及对应深度取得位姿。并且，在对应图像取得位姿中，与用户位姿下的用户的视野的重叠度最高的取得图像可被确定为被取得的图像取得位姿。
另一方面，用户位姿可以被判断为与对应图像取得位姿、深度取得位姿相同，也可被判断为不同。例如，若用户位姿与对应图像取得位姿之间的差异值及用户位姿与深度取得位姿之间的差异值分别在规定临界值以内，则判断为用户位姿与各个对应图像取得位姿及深度取得位姿相同，除此之外的情况下，可以判断为用户位姿与各个对应图像取得位姿及深度取得位姿不同。
另一方面，根据本发明的一实施例，用于生成投影图像的取得图像作为从对应图像取得位姿取得的取得图像，可以为将作为以对应图像取得位姿为原点的坐标系的取得坐标系设定为代表图像的代表图像，用于生成投影图像的多个取得深度值作为从对应深度取得位姿取得的多个深度值，可以为以基准坐标系的原点作为基准的多个深度值，或者作为在以取得坐标系的原点作为基准的多个深度值中包含于代表图像的视角的深度值的多个对应深度值。
即，在本发明的一实施例中，能够以取得坐标系为基准来按对应图像取得位姿来设定代表图像，由此，若用户进入特定取得坐标系，则在相应取得坐标系内仅显示一个代表图像。由此，若后述的图4所示，相对于通过组合规定大小的诸多图像来生成与用户位姿相对应的投影图像的以往的基准坐标系基准的投影图像生成方法，可向用户呈现失真最小化的自然的图像。并且，像这样，通过设定按多个对应图像取得位姿的各个取得坐标系来联动的代表图像，从而在实际三维空间的周边环境发生变化等与实际三维空间相应的图像发生变更的情况下，如更换牌匾等仅通过对于相应的对应图像取得位姿取得新的取得图像来设定代表图像即可，从而具有可容易将全部图像数据升级(up－grade)为最新图像数据的效果。
更加具体地，在本发明的一实施例中，投影图像生成装置向作为包含在分别与多个对应深度值相对应的代表图像中的像素的多个对应像素投影多个对应深度值来生成投影图像，上述多个对应深度值为包含于代表图像的视角的深度值。
此时，可基于深度－图像关联信息来确定与对应深度值相对应的对应像素，对于生成深度－图像关联信息的具体工作，将参展图14及图15来进行后述。
另一方面，根据本发明的另一实施例，也可向从一个对应图像取得位姿取得的一个代表图像投影从多个对应深度取得位姿取得的多个取得深度值来生成投影图像，其因由图像的视角和多个深度值形成的深度地图的视角差异而起。对此将参展图8至图10来进行后述。
在另一实施例中，在用户位姿与对应图像取得位姿不同，且在用户位姿下的与用户的视角相对应的虚拟的三维空间上的区域中存在不包含于代表图像的丢失视野区域的情况下，投影图像生成装置可在除代表图像之外的多个取得图像中，利用包含多个丢失像素的增强图像及代表图像来生成投影图像，上述多个丢失像素为与丢失视野区域相应的像素，对此将参展图17至图20来进行后述。
以下，参照图4至图7来对在以往的三维图像生成方法中可能发生的图像失真进行说明。
图4为为了说明以往的以基准坐标系为基准来生成的三维图像而示出的图。
参照图4，以基准坐标系为基准按多个图像取得位姿存在额外的取得图像，向通过结合与其一同按图像取得位姿存在的多个图像而生成的结合图像投影深度值来生成投影图像，最终利用分别与左眼和右眼相对应的2个投影图像来生成三维图像。像这样，通过结合各个存在照度差异、快门速度差异等的多个取得图像来生成所要呈现给用户的一个图像，因而如图4所示，会向用户呈现不自然的结合图像。
另一方面，在以往，因图像取得位姿和深度取得位姿各自的位置推定误差而可能发生图像失真，对此将参照图5来进行说明。
图5为为了说明基于位置推定误差的图像失真而示出的图。
参照图5，在图5中示出发生柱子的图像与地面相接触的图像失真的图，发生如上所述的失真的原因在于，在通过计算机来实现的虚拟三维环境下，可以明确知晓在数据(图像或深度值)取得位置中的绝对位姿，相反，在实际三维环境中取得数据的情况下，只能推定取得数据的多种位姿的绝对坐标值，在这种推定过程中，必然会产生推定误差。
以下，参照图6及图7来对发生如上所述的失真的原因进行具体说明。
图6为为了说明基于基准坐标系的深度取得位姿而示出的图。
在图6a中，以W为基准来表示无误差的理想的深度取得位姿
Figure BDA0001541749060000141
Figure BDA0001541749060000142
在图6b中，以W为基准来表示存在误差的推定深度取得位姿
Figure BDA0001541749060000151
参照图6b，可知越离W远的位置，则推定深度取得位姿的误差越大。即，在图6b中，可知越靠近
Figure BDA0001541749060000152
则误差越变大。
在图6中，W表示基准坐标系的原点，Li(L1、L2、L3)表示取得深度值的位置，
Figure BDA0001541749060000153
表示以基准坐标系W为基准的Li各个位置中的深度取得位姿，能够以数学式1来定义。
[数学式1]
Figure BDA0001541749060000154
其中，
Figure BDA0001541749060000155
是指以W为基准来表示到位置Li为止的三维角度的旋转矩阵(Rotation Matrix)，
Figure BDA0001541749060000156
以W为基准来表示到位置Li为止的三维移动距离，O1×3表示[0 00]矩阵，深度取得位姿
Figure BDA0001541749060000157
通过合并如上所述的值而生成。
另一方面，对推定深度取得位姿
Figure BDA0001541749060000158
进行推定的过程可通过将作为与理想深度取得位姿
Figure BDA0001541749060000159
的误差之和的
Figure BDA00015417490600001510
作为绝对误差之和的平方的
Figure BDA00015417490600001511
考虑到概率分布的最近估计误差平方(Nearest EstimatedError Square)等指标最小化的方式来进行。
但是，数学式1表示三维环境下的深度取得位姿，因而在二维(2D)环境中可降低一个维度来以相同的方式进行描述，本发明中的深度取得位姿可在三维环境和二维环境中均被定义。另一方面，在数学式1中，利用H矩阵来表示深度取得位姿，但本发明并不局限于此，也可利用位置矢量及角度矢量的组合、对于角度部分的欧拉(Euler)、四元数(Quaternion)、双(Dual)四元数、罗德里格斯表达法来表示。
另一方面，可通过对对于取得图像的位置的Ci表示的
Figure BDA0001541749060000161
以W为基准来表示到位置Ci为止的三维角度的
Figure BDA0001541749060000162
以W为基准来表示到位置Ci为止的三维移动距离的
Figure BDA0001541749060000163
进行合并来形成以基准坐标系为基准的图像取得位姿。但是，本发明并不局限于此，图像取得位姿可利用除H矩阵之外的多种表达法来表示。
并且，一般情况下，图像传感器与距离传感器之间的位姿关系可以假设为已知晓，作为两者之间的位姿关系的
Figure BDA0001541749060000164
可以被视为给定的常数值，据此，若推定深度取得位姿
Figure BDA0001541749060000165
与图像取得位姿
Figure BDA0001541749060000166
中的一个值，则即使不进行额外的测定也可推定另一个值。
如图6b所示，若对于所有深度值取得位置Li，计算出推定深度取得位姿
Figure BDA0001541749060000167
且对于所有图像取得位置Ci计算出推定图像取得位姿
Figure BDA0001541749060000168
则会生成投影图像，但如前所述，由于利用在存在误差的推定深度取得位姿
Figure BDA0001541749060000169
中取得的深度值和在存在误差的推定图像取得位姿
Figure BDA00015417490600001610
中取得的图像来生成投影图像，因而会在投影图像发生失真。对此将参展图7来更加具体地进行说明。
图7为为了说明基于位置推定误差的地形失真及图像失真而示出的图。
图7a中示出在以无误差的基准坐标系为基准的理想的第m个数据(图像或深度值)位姿wHm中取得的取得图像Im及取得深度值Dm，并示出在理想的第n个数据位姿wHn中取得的取得图像In及取得深度值Dn。此时，与O相应的部分表示柱子，与x相应的部分表示地面。
图7b中示出以存在误差的基准坐标系为基准的第m个推定数据位姿
Figure BDA00015417490600001611
和第n个推定数据位姿
Figure BDA00015417490600001612
可知第m个推定数据位姿
Figure BDA00015417490600001613
与图7a的理想的第m个数据位姿wHm几乎不存在误差，但第n个推定数据位姿
Figure BDA00015417490600001614
产生从图7a的理想的第n个数据位姿wHn偏向右侧的误差。
但是，实际上无法探测出如上所述的误差，因而以存在误差的原状在相应的数据位姿中生成投影图像，据此，如图5及图7b所示，因位置误差而发生柱子的影像投影于地面的图像失真。
像这样，以往的以基准坐标系为基准的投影图像生成方法因位置误差而存在发生如图5及图7b所示的图像失真的问题。作为可解决如上所述的问题的方案，存在以取得坐标系为基准的投影图像生成方法，但在此情况下，虽然具有不因位置推定误差而发生图像失真的优点，但因图像传感器的视角与距离传感器的视角之差而存在可以仅对于图像传感器的视角和距离传感器的视角重叠的窄视野生成投影图像的问题。例如，对于图像而言，存在全向摄像机等可一次性取得全向图像的多种设备，但在深度值的情况下，由于不存在可同时探测全向的设备，因而当所要利用从一个取得坐标系中取得和深度值和图像来生成投影图像的情况下，仅可以对重叠的窄视野生成投影图像，因而可能使观看上述图像的用户的视野受限。对此将参照图8及图9来进行说明。
图8为为了说明图像传感器的视角而示出的图。
参照图8，在利用图像传感器来拍摄图像的人员在作为图像取得位置的Ci位置观察以灰色表示的障碍物并拍摄图像的情况下，除了脚底的一部分区域(白色部分)和因灰色障碍物而使拍摄受限的障碍物右侧区域(白色部分)之外的所有区域(以斜线表示的区域)成为图像传感器的视角。
相反，图9为为了说明距离传感器的视角而示出的图，在图9中，在利用距离传感器来取得深度值的人员在作为深度值取得位置的Lj位置观察以灰色表示的障碍物并取得深度值的情况下，仅有以Lj为中心向前后方向以具有窄范围的斜线来表示的一部分区域成为距离传感器的视角。因此，仅可以制作对于图8的图像传感器的视角与图9的距离传感器的视角相重叠的区域的投影图像。
为了解决如上所述的问题，存在如下方法，即，利用一个全向(omni－directional)传感器取得图像，并取得从相应影像的中心点向左右各个方向移动的时间点上的图像，由此制作三维图像，从全向图像的特性上，具有可在图像取得位置自由旋转的优点。但是，由于不存在与取得图像关联的深度值，因而存在无法向上下左右进行移动的局限性。为了克服上述问题，实施过通过两台摄像机拍摄一个位置，并组合通过这种摄像机拍摄的图像来实现全向的超越计划(project beyond)或jump等技术。这种实施应用两台摄像机的组合，因而图像视角和与此相对应的深度地图的视角相同，但是深度值的准确度显著下降，因而以图像取得位姿或深度取得位姿的基准坐标系为基准的位姿推定产生大误差。在此情况下，不仅发生如图4或图7所示的失真，而且如图21所示，若在以A、B、C、D、……、X、Y、Z顺序拍摄的空间内，若用户从发生拍摄时间的跳跃的C向X移动，则因C位置上的位姿推定误差和X位置上的位姿推定误差，在两个位置之间的转换瞬间会发生严重的不自然。并且，在用户按图像拍摄顺序观看的情况下，也因不准确的深度值而感受到三维影像的一部分瞬间突出或凹陷等不自然，上述描述的所有现象内含在图像信息不充分的位置扩大的问题。
本发明在距离传感器的视角窄于图像传感器的视角的情况下利用一个图像取得位姿和多个深度取得位姿来生成投影图像，因而即使用户脱离图像取得路径来进行移动，也可提供与其相对应的投影图像，对此将参照图10来进行说明。
图10为为了说明利用一个图像取得位姿和多个深度取得位姿来生成投影图像的方法而示出的图。
参照图10，上端示出特定图像取得位姿下的广角图像传感器的视角，下端示出不同深度取得位姿下的距离传感器的视角。在图10中，左侧下端表示深度值取得位置Lj－1下的距离传感器的视角，中间下端表示深度值取得位置Lj下的距离传感器的视角，右侧下端表示深度值取得位置Lj+1下的距离传感器的视角，距离传感器的视角与由通过其距离传感器取得的深度值形成的深度地图的视角相同。
在本发明一实施例的投影图像生成装置中，在用户位姿与对应图像取得位姿相同，且在对应图像取得位姿取得的取得图像的视角大于由在对应深度取得位姿取得的多个取得深度值形成的深度地图的视角的情况下(位姿相同－视角不同)，利用从属于取得代表图像的对应图像取得位姿至规定距离以内的多个对应深度取得位姿取得的多个深度地图和一个代表图像来生成投影图像。
若像以往的技术一样利用具有比图像传感器的视角窄的视角的距离传感器来生成投影图像，则仅可生成具有与距离传感器的窄视角相对应的窄视角的投影图像。相反，如图10所示，本发明可利用与取得图像的所有视角相对应的多个深度地图，因而通过具有比图像传感器的视角窄的视角的距离传感器，也可生成具有与图像传感器的宽视角相对应的宽视角的投影图像。
其原因在于，在本发明中，图像取得位姿以基准坐标系为基准来表示，在深度取得位姿取得的深度值也同样以以基准坐标系为基准来表示，因而可利用基准坐标系来辨别在特定图像取得位姿取得的图像像素具有何种深度值。将参照图15b来对此进行更加具体的后述。
并且，在另一实施例中，以将图像取得位姿作为原点的取得坐标系为基准来表示深度值，从而可获得相同的效果，对此将参照图15c来进行后述。
另一方面，在图像传感器的分辨率和距离传感器的分辨率不同的情况下，无法找出与所有图像像素相对应的深度值，因而在此情况下，可应用映射于深度值的图像像素，并通过内插法等来容易推定出未映射深度值的多个图像像素的深度值，因而在实施本发明的过程中不发生问题。
另一方面，在本发明中，在用户脱离图像取得路径的情况下，即使不存在与当前用户位姿相对应的取得图像，也可使用设定在与当前用户的位姿相对应的对应图像取得位姿的代表图像，即使在从与当前用户位姿相对应的一个对应深度取得位姿取得的深度地图的视角窄于代表图像的视角的情况下，也可利用在多个不同深度取得位姿取得的深度地图来提供具有与代表图像相同的视角的深度地图，因而即使在用户脱离图像取得路径的情况下，也可制作出自然且富有真实感的投影图像。
并且，为了利用一个图像取得位姿和多个深度取得位姿来生成投影图像，需要找出包含在与特定图像取得位姿相对应的代表图像的视角的所有深度地图，此时，可利用深度－图像关联信息。即，若确定与当前用户位姿相对应的对应图像取得位姿，则可利用深度－图像关联信息来检测出其包含于在对应图像取得位姿取得的代表图像的视角的多个深度地图，并利用上述检测出的多个深度地图和一个代表图像来生成投影图像。
但是，在另一实施例中，每当确定对应图像取得位姿时，可预先对与上述对应图像取得位姿相对应的深度值进行仅一次的分组，之后利用其分组化的深度值来生成投影图像，由此代替每次检测与对应图像取得位姿相对应的深度地图。对此将参照图11来进行后述。
图11为为了说明深度值被分组化的例示而示出的图。
参照图11，图11中示出对于以基准坐标系的原点W为基准的图像取得位置Ci的图像取得位姿
Figure BDA0001541749060000201
并示出以其图像取得位置为中心来匹配的分组化的深度值。像这样，若与图像取得位姿相对应地映射出分组化的深度值，则无需每次重新计算相对应的深度值，从而提高运算有效性。
但是，在利用如上所述的经过分组化的深度值的过程中，若产生环形闭合状况等严重的位置误差，则可能发生更大的图像失真，对此将参照图12及图13来进行说明。
图12为为了说明环形闭合状况而示出的图。
图12中示出环形闭合状况，用户以留有长时间的时间间隔的方式访问两次(t1和t100)相互之间几乎接近的用户位姿的情况是指，由于长时间的时间间隔，因而即使存在不同的拍摄条件(照明、曝光时间、镜头焦距等)和第二次访问时累积的位姿推定误差，也因距离的接近性而一同使用取得图像及取得深度值的情况。
图13为为了说明环形闭合状况下的深度值分组化的失真而示出的图。
参照图13，对于作为第j+100个深度取得位置的Lj+100的分组化的深度值因基于环形闭合状况的位置误差而显示为倾斜相当于规定角度，在将上述深度值投影于从Ci中取得的取得图像的情况下，会发生严重的图像失真。
图14为为了说明本发明一实施例的深度－图像关联信息生成方法而示出的流程图。
在步骤1410中，投影图像生成装置以基准坐标系为基准来推定相对于实际三维空间所取得的取得图像及包含取得深度值的各个取得位置及取得角度的图像取得位姿及深度取得位姿。
在步骤1420中，投影图像生成装置对作为从在深度取得位姿取得的多个取得深度值至深度取得位姿为止的距离的多个第一深度值距离进行计算。
例如，投影图像生成装置可对于从第j个深度取得位姿
Figure BDA0001541749060000202
中取得的第k个深度值，可计算作为从上述第k个深度值至第j个深度取得位姿
Figure BDA0001541749060000203
为止的距离的第一深度值距离
Figure BDA0001541749060000204
在步骤1430中，投影图像生成装置利用图像取得位姿及深度取得位姿，将多个第一深度值距离转换为作为从在深度取得位姿取得的多个取得深度值中的各个至图像取得位姿为止的距离的多个第二深度值距离。
更加具体地，投影图像生成装置可通过数学式2来计算第二深度值距离。
[数学式2]
Figure BDA0001541749060000211
参照数学式2，第二深度值距离
Figure BDA0001541749060000212
可通过对表示第i个图像取得位姿的矩阵
Figure BDA0001541749060000213
的逆矩阵
Figure BDA0001541749060000214
表示第j个深度取得位姿的矩阵
Figure BDA0001541749060000215
及第一深度值距离
Figure BDA0001541749060000216
相互之间进行乘法运算来计算。
在步骤1440中，投影图像生成装置利用与用于取得图像的取得的图像传感器相对应的摄像机矩阵及多个第二深度值距离，向包含于取得图像的多个像素映射多个取得深度值。
更加具体地，投影图像生成装置可通过数学式3向包含于取得图像的多个图像像素映射多个取得深度值。
[数学式3]
Figure BDA0001541749060000217
其中，p表示特定图像像素的位置，K表示摄像机矩阵，I3表示由1和0形成的3×3矩阵，O3×1表示3×1的0矩阵，通过数学式3向特定的图像像素位置p映射对应的深度值。另一方面，I3如数学式4所示，摄像机矩阵为为了以图像传感器的位置为基准来表示包含在配置于实际三维空间上的图像的像素而用于旋转并移动的矩阵，摄像机矩阵对于本发明所属技术领域的普通技术人员而言属于显而易见的概念，因而将省略详细的说明。
[数学式4]
Figure BDA0001541749060000218
像这样，若对于所有图像取得位姿重复图像像素与深度值之间的映射，则可知特定深度值与何种图像取得位姿的图像视角相对应。
另一方面，在图像传感器的分辨率高于距离传感器的分辨率的情况下，可能在图像像素产生不存在对应的深度值的未映射像素，对于未映射像素，投影图像生成装置可映射利用内插法来推定的深度值。
更加具体地，在图像传感器的分辨率高于距离传感器的分辨率的情况下，投影图像生成装置在图像像素和作为被映射的多个取得深度值的初始关联深度值中，通过筛选出3个以上的初始关联深度值来形成多边形网格(包含三角形网格)，并基于图像传感器的分辨率来在作为不存在对应的取得深度值的图像像素的多个未映射像素中计算所要包含于上述多边形网格内部的多个未映射像素的数量及位置，之后基于上述计算出的多个未映射像素的数量及位置来推定与多个未映射像素相对应的多个深度值，并还可进行向多个未映射像素映射上述推定出的多个深度值的步骤。
例如，图25为为了说明本发明一实施例的深度值的多边形网格结构而示出的图，参照图25，在取得图像上表示出诸多三角形网格，形成三角形网格的3个顶点作为取得深度值，其以红色来显示，包含于三角形网格内部的多个图像像素处于不存在被映射的深度值的状态。在如上所述的情况下，投影图像生成装置计算出包含于三角形网格内部的图像像素数量及位置，并利用内插法等来推定与各个图像像素相对应的深度值之后进行映射。另一方面，可将映射于多个未映射像素的深度值命名为追加关联深度值。
通过如上所述的过程，若对取得图像的所有像素映射深度值，则投影图像生成装置最终生成深度－图像关联信息。
并且，以如上所述的方式生成的深度－图像关联信息可用于推定包含于取得图像的深度值。例如，在步骤1410中，投影图像生成装置通过以各个图像取得位姿为中心来进行光线投射，从而能够以基准坐标系为基准来对作为包含于分别在多个图像取得位姿取得的取得图像的取得深度值的多个关联深度值(初始关联深度值及追加关联深度值)进行检测。
此时，投影图像生成装置也能够分别以多个图像取得位姿为中心进行光线投射来检测多个关联深度值。
更加具体地，在本发明中，分别在第i个图像取得位置Ci和第j个深度值取得位置Lj下的图像取得位姿
Figure BDA0001541749060000221
和深度取得位姿
Figure BDA0001541749060000222
均以基准坐标系为基准来表示，投影图像生成装置从图像取得位姿
Figure BDA0001541749060000231
基于深度－图像关联信息朝向深度取得位姿
Figure BDA0001541749060000232
投射光线，从而可确认到深度取得位姿
Figure BDA0001541749060000233
下的第k个深度值wHjk包含于从图像取得位姿wHc中取得的取得图像的视角。此时，可借助关联深度值来检测出包含于从图像取得位姿wHc取得的取得图像的视角的深度取得位姿
Figure BDA0001541749060000234
下的第k个深度值wHjk。
在另一实施例中，当检测多个关联深度值时，可以仅以多个取得深度值的各个取得时间在规定时间间隔以内的多个取得深度值为对象来检测关联深度值。
例如，在如图12所示的环形闭合状况下，若将在时间t1取得的取得深度值和时间t100取得的取得深度值均利用来检测作为包含于取得图像的取得深度值的关联深度值，则可能发生如图13所示的图像失真，因而投影图像生成装置可以仅利用时间t1～t10为止的取得深度值来检测关联深度值。
在以往，当取得并存储取得深度值时，不额外存储取得时间信息，而是仅表示多个取得深度值各自的先后关系，因而无法确认取得深度值相互之间存在多长的时间间隔，但在本发明中，当分别取得多个取得深度值时，将取得时间也一同存储并应用于筛选取得深度值，因而具有可使因环形闭合状况等而发生的图像失真最小化的优点。
像这样，将以取得坐标系为基准的多个关联深度值与包含于取得图像的多个像素进行匹配的信息为深度－图像关联信息，深度－图像关联信息可分别从多个图像取得位姿生成。
在另一实施例中，深度－图像关联信息可以为将以基准坐标系为基准的多个关联深度值与包含于取得图像的多个像素进行匹配的信息。
另一方面，在图14的实施例中，投影图像生成装置以基准坐标系为基准进行工作，但也能够以将图像取得位姿的原点作为基准的取得坐标系为基准进行工作。
图15a为为了说明本发明一实施例的深度－图像关联状态而示出的图。
参照图15a，推定出的第i个图像取得位置
Figure BDA0001541749060000235
和推定出的第j个深度值取得位置
Figure BDA0001541749060000241
通过箭头与以W表示的坐标轴相连接，这表示图像取得位置
Figure BDA0001541749060000242
下的图像取得位姿
Figure BDA0001541749060000243
和深度值取得位置
Figure BDA0001541749060000244
下的深度取得位姿
Figure BDA0001541749060000245
以基准坐标系为基准来推定。
并且，以
Figure BDA0001541749060000246
来表示的坐标轴通过箭头与表示深度值的点相连接，
Figure BDA0001541749060000247
表示对于从第j个深度取得位姿
Figure BDA0001541749060000248
中取得的第k个深度值，作为从上述第k个深度值至第j个深度取得位姿
Figure BDA0001541749060000249
为止的距离的第一深度值距离
Figure BDA00015417490600002410
并且，在图15a上端的图像取得位置
Figure BDA00015417490600002411
映射有图像平面，以
Figure BDA00015417490600002412
表示的坐标轴的原点表示图像传感器(摄像机)的中心点，图像平面表示当利用安装于图像传感器的互补金属氧化物半导体(CMOS)传感器来观察三维空间时所形成的二维图像平面。
此时，从图像取得位置
Figure BDA00015417490600002413
至深度值为止的距离为第二深度值距离
Figure BDA00015417490600002414
从图像取得位置
Figure BDA00015417490600002415
至深度值为止以一条直线连接的线与图像平面相交叉的位置以图像像素p来表示，这表示上述像素p与第二深度值距离
Figure BDA00015417490600002416
相互映射。
但是，在某些深度值的情况下，从图像取得位置
Figure BDA00015417490600002417
至深度值为止以一条直线来连接的线因脱离图像平面而可能不存在交叉位置，在此情况下，产生作为不存在对应深度值的图像像素的未映射像素。
图15b为为了说明本发明另一实施例的深度－图像关联状态而示出的图。
在图15b中，推定出的第i个图像取得位置
Figure BDA00015417490600002418
和推定出的第j－1、j、j+1个深度值取得位置
Figure BDA00015417490600002419
通过箭头与以W表示的坐标轴相连接，这表示图像取得位置
Figure BDA00015417490600002420
下的图像取得位姿和深度值取得位置
Figure BDA00015417490600002421
Figure BDA0001541749060000251
下的多个深度取得位姿以基准坐标系为基准来推定。
并且，以散置的方式分布在图15b的下端的多个点可表示分别从多个深度取得位姿取得的多个取得深度值，以W表示的坐标轴通过箭头与点相连接，这表示深度值以基准坐标系为基准来表示。但是，在另一实施例中，取得深度值还能够以将图像取得位置
Figure BDA0001541749060000252
作为原点的取得坐标系为基准来表示。
并且，在图15b的上端的图像取得位置
Figure BDA0001541749060000253
映射有代表图像，这表示以将图像取得位置
Figure BDA0001541749060000254
作为原点的取得坐标系设定为代表图像。
即，根据图15b的深度－图像关联，图像取得位姿和深度取得位姿以基准坐标系为基准来推定，在图像取得位姿中，从其图像取得位姿取得的多个取得图像中的一个代表图像被选定为以其图像取得位姿为原点来代表取得坐标系的图像并联动，取得深度值以基准坐标系为基准来推定。
另一方面，在图15b的实施例中，若图像传感器的视角大于距离传感器的视角，且深度值取得位置
Figure BDA0001541749060000255
下的多个深度取得位姿取得的深度地图均包含在与图像取得位置
Figure BDA0001541749060000256
的取得坐标系相联动的代表图像的视角内，则投影图像生成装置可利用与图像取得位置
Figure BDA0001541749060000257
的取得坐标系相联动的一个代表图像和深度值取得位置
Figure BDA0001541749060000258
下的多个深度取得位姿取得的多个深度地图来生成投影图像。
图15c为为了说明本发明再一实施例的深度－图像关联状态而示出的图。
在图15c中，推定出的第i个图像取得位置
Figure BDA0001541749060000259
通过箭头与以W表示的坐标轴相连接，这表示图像取得位置
Figure BDA00015417490600002510
中的图像取得位姿以基准坐标系为基准来推定。
并且，推定出的第j－1、j、j+1个深度值取得位置
Figure BDA00015417490600002511
通过箭头与以图像取得位置
Figure BDA00015417490600002512
表示的坐标轴相连接，这表示推定出的第j－1、j、j+1个深度值取得位置
Figure BDA00015417490600002513
的深度取得位姿以将图像取得位置
Figure BDA00015417490600002514
作为原点的取得坐标系为基准来推定。
并且，在图15c中，以图像取得位置
Figure BDA0001541749060000261
来表示的坐标轴通过箭头与表示下端的深度值的多点中的一个相连接，这表示取得深度值以将图像取得位置
Figure BDA0001541749060000262
作为原点的取得坐标系为基准来表示。但是，在另一实施例中，取得深度值还能够以基准坐标系为基准来表示。
并且，在图15c的上端的图像取得位置
Figure BDA0001541749060000263
映射有代表图像，这表示以将图像取得位置
Figure BDA0001541749060000264
作为原点的取得坐标系设定为代表图像。
即，根据图15c的深度－图像关联，图像取得位姿以基准坐标系为基准来推定，深度取得位姿以将图像取得位姿作为原点的取得坐标系为基准来推定，在图像取得位姿中，从其图像取得位姿取得的多个取得图像中的一个代表图像被选定为以其图像取得位姿为原点来代表取得坐标系的图像并联动，取得深度值以基准坐标系为基准来推定。
参照图16来对图15c的投影图像生成方法进行说明。
图16为为了说明本发明另一实施例的投影图像生成方法而示出的流程图。
在步骤1610中，投影图像生成装置以基准坐标系为基准来推定与相对于实际三维空间所取得的多个取得图像相对应的多个图像取得位姿，并以分别将多个图像取得位姿作为原点的取得坐标系为基准来推定与多个取得深度值相对应的多个深度取得位姿。
在步骤1620中，投影图像生成装置以基准坐标系为基准来取得包含与实际三维空间相对应的虚拟三维空间中的用户的位置及角度的用户位姿。
在步骤1630中，投影图像生成装置基于与用户位姿相对应的对应图像取得位姿及至少一个对应深度取得位姿，生成向多个取得图像中的至少一个投影多个取得深度值的投影图像。
此时，投影图像生成装置在多个取得深度值中，仅利用在从分别取得所要用于生成投影图像的多个取得图像的时间点至规定时间以内取得的取得深度值来投影于代表图像，可由此生成投影图像。其目的在于，使因发生环形闭合状况等而引起的投影图像的失真最小化。
并且，投影图像生成装置利用与对应深度取得位姿相联动的代表图像来生成投影图像，当选定与对应深度取得位姿相联动的代表图像时，还可利用深度－图像关联信息。
例如，投影图像生成装置在通过深度－图像关联信息检测取得图像与用户视野之间的重叠区域之后，可将其重叠区域最宽的取得图像设定为代表图像。如上所述的实施例可通过将与用户位姿最近的图像取得位姿关联的图像选定为代表图像的方法等来容易实现。
图17为为了根据本发明一实施例来说明存在丢失视野区域的情况下的投影图像生成方法而示出的流程图，图18为为了说明图像传感器的视角包含用户视野的环境而示出的图，图19为为了说明图像传感器的视角不包含用户视野的环境而示出的图。
图17的实施例作为限定图1的步骤130或图16的步骤1630的实施例，在图1的实施例的步骤110及步骤120之后进行，并在图16的步骤1610及步骤1620之后进行。
在步骤1710中，投影图像生成装置在与用户的视角相对应的虚拟的三维空间上的区域中，对是否存在未包含于代表图像的丢失视野区域进行判断。
参照图18，第i个图像取得位置Ci中的图像传感器的视角将用户的位置位置u中的用户的视野均包含在内，因而不存在丢失视野区域。
但是，参照图19，在第i个图像取得位置Ci与用户位置u的下端存在灰色的正方形形态的障碍物，因而使位于第i个图像取得位置Ci的图像传感器的视角受限，从而使图像传感器的视野极限窄于用户的视野极限，由此产生以X号表示的丢失视野区域。在虚拟的三维空间上，若用户观察丢失视野区域，则在代表图像中不存在与其丢失视野区域相应的像素，因而能够以黑色或白色来表示。
另一方面，根据以往的以取得坐标系为基准的投影图像生成方法，由于无法确认何种取得图像包含于用户视野，因而生成以使与丢失视野区域相对应的像素具有黑色或白色的方式显示的投影图像。
但是，根据本发明的一实施例，可通过深度－图像关联信息，以深度值为介质来确认取得图像的何种像素包含于用户视野内，由此可确认到何种取得图像需要进入用户视野内，从而可生成以使与丢失视野区域相对应的像素具有与实际三维空间中相同的颜色的方式显示的投影图像。即，根据本发明的一实施例，如图19所示，即使在存在障碍物或者图像取得位姿和用户位姿不同的情况下，具有可生成与相应位置中的用户的任意视野相对应的自然的投影图像的效果。
在步骤1720中，若判断为存在丢失视野区域，投影图像生成装置基于深度－图像关联信息来在多个取得图像中选定增强图像。上述深度－图像关联信息为与多个取得深度值匹配的信息，上述多个取得深度值与包含于多个取得图像的多个像素相对应。
此时，参照图20来对有关选定增强图像的工作进行具体的后述。
在步骤1730中，投影图像生成装置通过组合增强图像和代表图像来生成组合图像。
此时，投影图像生成装置能够以相同的加权值来对增强图像和代表图像进行组合，或以低于代表图像的加权值来对增强图像和代表图像进行组合来生成组合图像。
在步骤1742中，投影图像生成装置生成将多个取得深度值投影于组合图像的投影图像。
若在步骤1742中判断为不存在丢失视野区域，则在步骤1744中，投影图像生成装置生成将多个取得深度值投影于代表图像的投影图像。
图20为为了说明本发明一实施例的增强图像选定方法而示出的流程图。
在步骤2010中，投影图像生成装置以用户位姿为中心对作为包含于用户的视角内的深度值的多个用户视野深度值进行检测。
如前所述，投影图像生成装置还能够以用户位姿中心进行光线投射等来检测多个用户视野深度值。
在步骤2020中，投影图像生成装置在多个用户视野深度值中，对作为与丢失视野区域相应的深度值的多个丢失视野深度值进行检测。
例如，当用户在特定的用户位姿转一圈并观察三维空间时，存在与360度相应的多个用户视野深度值，但是，其中在特定的角度存在丢失视野区域，投影图像生成装置将与上述丢失视野区域相应的深度值作为丢失视野深度值来检测。
在步骤2030中，投影图像生成装置基于深度－图像关联信息来检测与多个丢失视野深度值相对应的多个丢失像素。
例如，投影图像生成装置在利用深度－图像关联信息的情况下可知分别与多个丢失视野深度值相对应的像素为何种像素，并与此同时将分别与多个丢失视野深度值相对应的像素作为丢失像素来检测。
在步骤2040中，投影图像生成装置基于其检测出的多个丢失像素，在多个取得图像中选定作为包含多个丢失像素的取得图像的增强图像。
图21为为了说明基于用户移动的本发明和现有技术的不同点而示出的图。
在图21中，如A－B－C－D……－X－Y－Z示出图像取得路径，但如前所述，在以往，可以仅限于用户沿着如上所述的取得图像的原状路径移动的情况下提供投影图像，但在本发明中，具有即使在用户脱离图像取得路径来从C向X移动的情况下，也可提供自然的投影图像的优点。
图22为为了说明本发明一实施例的基于参数的深度值网格结构而示出的图。
图22示出深度地图由基于预设参数的网格结构的取得深度值形成的情况，左侧的网格具有顶棚以倾斜的盒子定义的由参数化的图案近似化的网格结构，中间具有由内含所有深度值的包围盒近似化的网格结构，右侧呈现出以既减少网格数又包含大量的深度值的方式近似化的几何形态的网格结构。若利用如上所述形态的网格结构的深度值，则具有即使在未对所有图像像素进行深度－图像关联的情况下，也以网格单位生成投影图像的优点。
图23为为了说明本发明一实施例的投影图像生成装置而示出的图。
参照图23，本发明一实施例的投影图像生成装置包括数据位姿推定部2310、用户位姿取得部2320及图像生成部2330。
数据位姿推定部2310以基准坐标系为基准来推定多个图像取得位姿及多个深度取得位姿，上述多个图像取得位姿及多个深度取得位姿包含相对于实际三维空间所取得的多个取得图像及多个取得深度值的各个取得位置及取得角度。
在另一实施例中，数据位姿推定部2310还能够以基准坐标系为基准来推定图像取得位姿，并以将各个图像取得位姿作为原点的取得坐标系为基准来推定深度取得位姿。
优选地，本发明一实施例的投影图像生成装置还可包括存储部(未图示)，上述存储部从多个传感器接收并存储多个取得图像、取得多个取得图像的取得时间信息、多个取得深度值、多个取得深度值被取得的取得时间信息、与多个取得图像相对应的多个图像取得位姿、与上述多个取得深度值相对应的深度取得位姿、惯性变化信息、地标观测信息、光波类信息等环境感测信息。
此时，如图3所示，用于感测环境感测信息的传感器可以为集成了图像传感器和距离传感器的集成传感器，也可以为连其他传感器也均集成的形态的集成传感器。在图3的集成传感器中，图像传感器与距离传感器刚性结合，在如上所述的情况下，两个传感器之间的相对位姿可事先以常数值来提供。并且，环境感测信息可以为由安装于机器人的集成传感器或佩戴于人的肩膀等的集成传感器在室内或室外环境进行移动的过程中在停止的状态或移动的状态下取得的信息。
数据位姿推定部2310通过读取存储于存储部的环境感测信息来以基准坐标系为基准推定所有图像取得位姿及深度取得位姿。但是，在另一实施例中，数据位姿推定部2310在取得坐标系为基准来推定深度取得位姿之后，也可利用深度取得位姿与图像取得位姿之间的相对位姿来以基准坐标系为基准推定深度取得位姿。
并且，数据位姿推定部2310在从图像取得位姿取得的多个取得图像中，设定将其图像取得位姿作为原点的代表取得坐标系的代表图像并使其与上述取得坐标系联动之后存储于存储部。由此，若用户在虚拟的三维空间中进入特定的图像取得位姿的取得坐标系内，则在相应的取得坐标系中规定临界值以内的距离内，即使用户移动，也向用户仅显示代表上述取得坐标系的代表图像。
用户位姿取得部2320以基准坐标系为基准来取得与实际三维空间相对应的虚拟的三维空间中的包含用户的位置及角度的用户位姿。
优选地，本发明一实施例的投影图像生成装置还可包括用户输入部(未图示)，上述用户输入部可在虚拟的三维空间使用户移动，并可设定用户的视角等。
用户输入部可以呈键盘、操纵杆形态，可以为基于设置在头戴式显示器(HeadMount Display)的角速度传感器、加速度传感器、地磁传感器等的输入单元，也可以为通过摄像机影像的光流(optical flow)的输入单元。
图像生成部2330基于与用户位姿相对应的对应图像取得位姿及至少一个对应深度取得位姿，生成向多个取得图像中的至少一个投影多个取得深度值的投影图像。
更加具体地，图像生成部2330通过向一个代表图像(或组合图像)投影从多个对应深度取得位姿取得的多个深度值来生成投影图像。
参照图24来对图像生成部2330的具体结构进行后述。
优选地，本发明一实施例的投影图像生成装置还可包括图像管理部(未图示)，上述图像管理部在多个取得图像中，按照取得图像的距离、移动时间、形状特征的基准来进行图像采样，从而减少用于生成投影图像的取得图像数量。即，图像管理部在存储于存储部的多个取得图像中，对于在取得图像中存在动态部分或与人脸等个人信息相应的部分的取得图像，可进行后加工。并且，若多个取得图像在发生环形闭合状况的位置在其他拍摄条件(照明、曝光时间、镜头焦距等)取得，则图像管理部可对于如上所述的取得图像进行使其差异最小化的校正。
另一方面，图像管理部将完成如上所述的处理的取得图像重新存储于存储部，从而可减少当生成投影图像时所利用的取得图像数量与取得图像之差。并且，在取得图像之间的拍摄条件差异在规定阈值以上的情况下，在发出警报之后，可进行减少相应图像差异的校正或删除相应图像。
优选地，本发明一实施例的投影图像生成装置还可包括深度值管理部(未图示)，上述深度值管理部可进行对包含于通过距离传感器取得的取得深度值的噪声进行消除的工作。此时，对包含于取得深度值的噪声进行消除的工作可参照于2015年05月06日申请的韩国专利申请10－2015－0062890号的“外围空间特征信息提取方法”来进行。
与取得图像不同，取得深度值可包含与玻璃或镜子或反光材质物体有关的诸多噪声。并且，因距离传感器的宽探针距离而使一个物体被多次观察，或在特定区域聚集诸多数量的深度值。由于这种噪声或不均衡的深度值分布等以后可能显著抑制投影图像的真实性，因而深度值管理部可进行预先消除包含在存储于存储部的取得深度值的噪声的工作。
在另一实施例中，图像生成部2330可利用经由图像管理部及深度值管理部的取得图像及取得深度值来生成投影图像。
图24为为了说明本发明一实施例的图像生成部而示出的图。
参照图24，本发明一实施例的图像生成部2330包括用户视野判断部2332、增强图像选定部2334、组合图像生成部2336及投影图像生成部2338。但是，在另一实施例中，可省略增强图像选定部2334及组合图像生成部2336。
用户视野判断部2332在与用户位姿下的用户的视角相对应的虚拟的三维空间上的区域中，对是否存在未包含于代表图像的丢失视野区域进行判断。
在再一实施例中，用户视野判断部2332也可对用户位姿是否与图像取得位姿、深度取得位姿相同进行判断。
在另一实施例中，在从图像取得位姿取得的取得图像的视角内包含规定临界值以上的用户位姿下的用户视野的情况下，可判断为用户位姿与图像取得位姿相同，在除此之外的情况下，可判断为用户位姿与图像取得位姿不同。例如，在从图像取得位姿取得的取得图像的视角和用户位姿下的用户的视野90％以上重叠的情况下，可以判断为用户位姿与图像取得位姿相同。
若判断为存在丢失视野区域，则增强图像选定部2334基于深度－图像关联信息来在多个取得图像中选定增强图像，上述深度－图像关联信息为与包含于多个取得图像的多个像素相对应的多个取得深度值匹配的信息。
组合图像生成部2336可通过组合增强图像和代表图像来生成组合图像。
此时，组合图像生成部2336能够以相同的加权值来对增强图像和代表图像进行组合，或以低于代表图像的加权值来对增强图像和代表图像进行组合来生成组合图像。
例如，组合图像生成部2336能够以图层形态对显著提高透明度的增强图像和代表图像进行组合来生成增强图像的加权值低的组合图像。
投影图像生成部2338生成将多个取得深度值投影于组合图像的投影图像。
像这样，投影图像生成部2338可利用组合图像来生成投影图像，也可以仅利用代表图像来生成投影图像，并根据用户位姿和与其用户位姿相对应的对应图像取得位姿是否相同而进行如下工作。
第一，在用户位姿与对应图像取得位姿相同，且在且对应图像取得位姿取得的取得图像的视角与由在对应深度取得位姿取得的多个取得深度值形成的深度地图的视角相同的情况下(位姿相同－视角相同)，投影图像生成部2338利用上述所取得的取得图像和取得深度值来生成投影图像。此时，投影图像生成部2338在从对应图像取得位姿取得的多个取得图像中选定一个代表图像，并向上述所选定的代表图像投影取得深度值来生成投影图像。
第二，在虽然用户位姿与对应图像取得位姿相同，但从上述对应图像取得位姿取得的取得图像的视角大于在对应深度取得位姿取得的深度地图的视角的情况下(位姿相同－视角不同)，投影图像生成部2338可通过向与一个对应图像取得位姿的取得坐标系联动的一个代表图像投影在多个对应深度取得位姿取得的多个深度地图来生成投影图像。
第三，若用户位姿与对应图像取得位姿不同，则投影图像生成部2338利用在与一个对应图像取得位姿的取得坐标系联动的一个代表图像组合增强图像的组合图像和在多个对应深度取得位姿取得的多个深度地图来生成投影图像。
如前所述，在生成组合图像时的代表图像的加权值与增强图像的加权值相同的情况下，利用多个取得图像来显示实际三维空间上的一点，因而因不可避免地产生的至少数像素以上的位置推定误差而可能使投影图像的真实性显著下降，从而，生成组合图像时的代表图像的加权值应设定为高于增强图像的加权值。但是，在代表图像的加权值为99.9，增强图像的加权值为0.1的情况等增强图像的加权值非常小的情况下，相应增强图像对投影图像的真实性产生的影响甚微，因而当生成组合图像时，可能不利用相应增强图像。
另一方面，与图像取得位姿的取得坐标系联动的代表图像可借助如下方式来设定，即，在通过深度－图像关联信息检测出取得图像与用户视野之间的重叠区域之后，将其重叠区域最宽的取得图像设定为代表图像的方式、将从图像取得位姿最近的距离的取得图像设定为代表图像的方式等。此时，从图像取得位姿至取得图像为止的距离为基于欧几里德度量来计算的值，例如，可利用绝对差异值、矢量的2范数(2－norm)等。
本发明可使用于室内环境的房间、房屋、商场、宾馆、码头、机场等，可使用于室外环境的文化遗产、城市－地形信息的存储等，也可使用于室内外环境的公寓区、校园等，在如上所述的场所可通过适用本发明来制作三维虚拟地图。
如上所述的三维地图信息起到可创造多种服务的平台作用，因而可应用上述三维地图信息来实施不动产关联服务、设施推广服务、游戏内容制作服务、历史景点－观光景点真实感体验服、关联地图内物品信息的O2O服务等。
并且，从预先制作的三维地图信息中提取核心特征来存储于数据库，在用户在相应的实际空间利用摄像机或惯性传感器信息来取得数据的情况下，可对数据库的特征和由用户提供的特征进行比较来立即查找出用户位置，由此，可将用户设备的显示装置作为用户视野来生成投影图像，与用户的设备操作相对应地提供连续的投影图像，从而可使用户通过显示器体验三维地图。
例如，可使用户即使未进入商店也可确认到商店的气氛或对于特定物品的详细信息。并且，本发明还可用于灾难安全管理，在核电站等需要使人员紧急出入的危险地区的情况下，在预先通过机器人等来简单地取得数据并根据本发明建立虚拟空间之后，通过头戴式显示器等来使进入人员充分体验空间，从而可在发生灾难时进行紧急应对。
以上，以优选实施例为中心对本发明进行了观察，本发明所属技术领域的普通技术人员可以理解，在不脱离本发明的本质特性的范围内，能够以变形的形态来实现本发明。因此，所公开的实施例应从说明性观点上考虑而不应从限定性观点上考虑。本发明的范围体现在发明要求保护范围中，而不是上述说明，并且，与其等同范围内的所有不同点应解释为包含于本发明中。

Claims (22)

1.一种投影图像生成方法，其特征在于，包括：
以基准坐标系为基准来推定多个图像取得位姿及多个深度取得位姿的步骤，所述多个图像取得位姿及多个深度取得位姿包含相对于实际三维空间所取得的多个取得图像及多个取得深度值的各个取得位置及取得角度；
以基准坐标系为基准来取得用户位姿的步骤，所述用户位姿包含与所述实际三维空间相对应的虚拟的三维空间中的用户的位置及角度；以及
基于与所述用户位姿相对应的对应图像取得位姿及至少一个对应深度取得位姿，生成向所述多个取得图像中的至少一个投影所述多个取得深度值而成的投影图像的步骤，
作为从所述对应图像取得位姿取得的取得图像，用于生成所述投影图像的所述多个取得图像中的至少一个为被设定为代表取得坐标系的图像的代表图像，所述取得坐标系为以所述对应图像取得位姿作为原点的坐标系，
作为从所述对应深度取得位姿取得的多个深度值，用于生成所述投影图像的所述多个取得深度值在以所述基准坐标系的原点为基准的多个深度值或以所述取得坐标系的原点为基准的多个深度值中包含多个对应深度值，所述多个对应深度值为包含于所述代表图像的视角的深度值。
2.根据权利要求1所述的投影图像生成方法，其特征在于，在所述生成投影图像的步骤中，通过向多个对应像素投影所述多个对应深度值来生成投影图像，所述多个对应像素为包含于分别与所述多个对应深度值相对应的所述代表图像的像素。
3.根据权利要求1所述的投影图像生成方法，其特征在于，在所述用户位姿与所述对应图像取得位姿不同，且在与所述用户位姿中的所述用户的视角相对应的所述虚拟的三维空间上的区域中存在未包含于所述代表图像的丢失视野区域的情况下，所述生成投影图像的步骤包括在除所述代表图像之外的所述多个取得图像中，利用增强图像及所述代表图像来生成所述投影图像的步骤，所述增强图像为包含作为与所述丢失视野区域相应的像素的多个丢失像素的取得图像。
4.根据权利要求3所述的投影图像生成方法，其特征在于，利用所述增强图像及所述代表图像来生成所述投影图像的步骤包括：
对是否存在所述丢失视野区域进行判断的步骤；
若判断为存在所述丢失视野区域，则基于深度－图像关联信息来在所述多个取得图像中选定所述增强图像的步骤，所述深度－图像关联信息为匹配有与包含在所述多个取得图像的多个像素相对应的所述多个取得深度值的信息；
通过以比所述代表图像的加权值低的加权值来组合所述增强图像，从而生成组合图像的步骤；以及
生成向所述组合图像投影所述多个取得深度值而成的投影图像的步骤。
5.根据权利要求4所述的投影图像生成方法，其特征在于，在所述多个取得图像中选定所述增强图像的步骤包括：
以所述用户位姿为中心进行光线投射来检测多个用户视野深度值的步骤，所述多个用户视野深度值为包含于所述用户的视角内的深度值；
在所述多个用户视野深度值中检测多个丢失视野深度值的步骤，所述多个丢失视野深度值为与所述丢失视野区域相应的深度值；
基于所述深度－图像关联信息来检测与所述多个丢失视野深度值相对应的所述多个丢失像素的步骤；以及
基于检测出的所述多个丢失像素，在所述多个取得图像中选定所述增强图像的步骤。
6.根据权利要求4所述的投影图像生成方法，其特征在于，所述深度－图像关联信息通过如下步骤来计算：
计算多个第一深度值距离的步骤，所述多个第一深度值距离为从在所述深度取得位姿所取得的多个取得深度值至所述深度取得位姿为止的距离；
利用所述图像取得位姿及所述深度取得位姿来将所述第一深度值距离转换为多个第二深度值距离的步骤，所述多个第二深度值距离为从在所述深度取得位姿所取得的所述各个取得深度值至所述图像取得位姿为止的距离；以及
利用与用于取得所述取得图像的图像传感器相对应的摄像机矩阵及所述多个第二深度值距离，向包含于所述取得图像的多个像素映射所述多个取得深度值的步骤。
7.根据权利要求6所述的投影图像生成方法，其特征在于，所述对作为从在所述深度取得位姿所取得的多个取得深度值至所述深度取得位姿为止的距离的多个第一深度值距离进行计算的步骤仅利用所述多个取得深度值的各个取得时间在规定时间间隔以内的所述多个取得深度值来执行。
8.根据权利要求1所述的投影图像生成方法，其特征在于，在所述用户位姿与所述对应图像取得位姿相同，且从所述对应图像取得位姿取得的所述取得图像的视角大于由从所述对应深度取得位姿取得的所述多个取得深度值形成的深度地图的视角的情况下，所述生成投影图像的步骤利用多个所述深度地图和所述代表图像来进行，所述多个所述深度地图从取得所述代表图像的所述对应图像取得位姿属于规定距离以内的多个所述对应深度取得位姿取得。
9.根据权利要求8所述的投影图像生成方法，其特征在于，在所述用户位姿与所述对应图像取得位姿相同，且从所述对应图像取得位姿取得的所述取得图像的视角大于由从所述对应深度取得位姿取得的所述多个取得深度值形成的深度地图的视角的情况下，所述生成投影图像的步骤利用对多个所述深度地图进行预先分组而生成的分组深度地图和所述代表图像来进行，所述多个所述深度地图从取得所述代表图像的所述对应图像取得位姿中属于规定距离以内的多个所述对应深度取得位姿取得。
10.根据权利要求1所述的投影图像生成方法，其特征在于，由所述多个取得深度值形成的深度地图由基于预设参数的网格结构的取得深度值形成。
11.根据权利要求1所述的投影图像生成方法，其特征在于，所述生成投影图像的步骤在所述多个取得深度值中仅利用从分别取得所要利用于所述投影图像生成的所述多个取得图像的时间点至规定时间以内所取得的所述取得深度值来进行。
12.根据权利要求1所述的投影图像生成方法，其特征在于，在利用全向摄像机来取得分别包含于所述多个图像取得位姿的所述取得图像的情况下，分别包含于所述多个图像取得位姿的所述取得角度为全向角度。
13.一种投影图像生成方法，其特征在于，包括：
以基准坐标系为基准来推定多个图像取得位姿，所述多个图像取得位姿包含相对于实际三维空间所取得的多个取得图像的取得位置及取得角度，并以各个所述多个图像取得位姿作为原点的取得坐标系为基准来推定与多个取得深度值相对应的多个深度取得位姿的步骤；
以基准坐标系为基准来取得用户位姿的步骤，所述用户位姿包含与所述实际三维空间相对应的虚拟的三维空间中的用户的位置及角度；以及
基于与所述用户位姿相对应的对应图像取得位姿及至少一个对应深度取得位姿，生成向所述多个取得图像中的至少一个投影所述多个取得深度值而成的投影图像的步骤，
作为从所述对应图像取得位姿取得的取得图像，用于生成所述投影图像的所述多个取得图像中的至少一个为被设定为代表取得坐标系的图像的代表图像，所述取得坐标系为以所述对应图像取得位姿作为原点的坐标系，
作为从所述对应深度取得位姿取得的多个深度值，用于生成所述投影图像的所述多个取得深度值在以所述基准坐标系的原点为基准的多个深度值或以所述取得坐标系的原点为基准的多个深度值中包含多个对应深度值，所述多个对应深度值为包含于所述代表图像的视角的深度值。
14.一种投影图像生成装置，其特征在于，包括：
数据位姿推定部，以基准坐标系为基准来推定多个图像取得位姿及多个深度取得位姿，所述多个图像取得位姿及多个深度取得位姿包含相对于实际三维空间所取得的多个取得图像及多个取得深度值的各个取得位置及取得角度；
用户位姿取得部，以基准坐标系为基准来取得用户位姿，所述用户位姿包含与所述实际三维空间相对应的虚拟的三维空间中的用户的位置及角度；以及
图像生成部，基于与所述用户位姿相对应的对应图像取得位姿及至少一个对应深度取得位姿，生成向所述多个取得图像中的至少一个投影所述多个取得深度值而成的投影图像，
作为从所述对应图像取得位姿取得的取得图像，用于生成所述投影图像的所述多个取得图像中的至少一个为被设定为代表取得坐标系的图像的代表图像，所述取得坐标系为以所述对应图像取得位姿作为原点的坐标系，
作为从所述对应深度取得位姿取得的多个深度值，用于生成所述投影图像的所述多个取得深度值在以所述基准坐标系的原点为基准的多个深度值或以所述取得坐标系的原点为基准的多个深度值中包含多个对应深度值，所述多个对应深度值为包含于所述代表图像的视角的深度值。
15.根据权利要求14所述的投影图像生成装置，其特征在于，在所述对应图像取得位姿与所述用户位姿不同，且在与所述用户位姿中的所述用户的视角相对应的所述虚拟的三维空间上的区域中存在未包含于所述代表图像的丢失视野区域的情况下，所述图像生成部在除所述代表图像之外的所述多个取得图像中，利用增强图像及所述代表图像来生成所述投影图像，所述增强图像为包含作为与所述丢失视野区域相应的像素的多个丢失像素的取得图像。
16.根据权利要求15所述的投影图像生成装置，其特征在于，所述图像生成部包括：
用户视野判断部，用于对是否存在所述丢失视野区域进行判断；
增强图像选定部，若判断为存在所述丢失视野区域，则基于深度－图像关联信息来在所述多个取得图像中选定所述增强图像，所述深度－图像关联信息为匹配有与包含在所述多个取得图像的多个像素相对应的所述多个取得深度值的信息；
组合图像生成部，通过以比所述代表图像的加权值低的加权值来组合所述增强图像，从而生成组合图像；以及
投影图像生成部，生成向所述组合图像投影所述多个取得深度值而成的投影图像。
17.根据权利要求14所述的投影图像生成装置，其特征在于，在所述用户位姿与所述对应图像取得位姿相同，且从所述对应图像取得位姿取得的所述取得图像的视角大于由从所述对应深度取得位姿取得的所述多个取得深度值形成的深度地图的视角的情况下，所述图像生成部利用多个所述深度地图和所述代表图像来生成所述投影图像，所述多个所述深度地图从取得所述代表图像的所述对应图像取得位姿属于规定距离以内的多个所述对应深度取得位姿取得。
18.一种投影图像生成装置，其特征在于，包括：
数据位姿推定部，以基准坐标系为基准来推定多个图像取得位姿，所述多个图像取得位姿包含相对于实际三维空间所取得的多个取得图像的取得位置及取得角度，并以各个所述多个图像取得位姿作为原点的取得坐标系为基准来推定与多个取得深度值相对应的多个深度取得位姿；
用户位姿取得部，以基准坐标系为基准来取得用户位姿，所述用户位姿包含与所述实际三维空间相对应的虚拟的三维空间中的用户的位置及角度；以及
图像生成部，基于与所述用户位姿相对应的对应图像取得位姿及至少一个对应深度取得位姿，生成向所述多个取得图像中的至少一个投影所述多个取得深度值而成的投影图像，
作为从所述对应图像取得位姿取得的取得图像，用于生成所述投影图像的所述多个取得图像中的至少一个为被设定为代表取得坐标系的图像的代表图像，所述取得坐标系为以所述对应图像取得位姿作为原点的坐标系，
作为从所述对应深度取得位姿取得的多个深度值，用于生成所述投影图像的所述多个取得深度值在以所述基准坐标系的原点为基准的多个深度值或以所述取得坐标系的原点为基准的多个深度值中包含多个对应深度值，所述多个对应深度值为包含于所述代表图像的视角的深度值。
19.一种图像像素与深度值之间的映射方法，其特征在于，包括：
以基准坐标系为基准来推定图像取得位姿及深度取得位姿的步骤，所述图像取得位姿及深度取得位姿包含相对于实际三维空间所取得的取得图像及取得深度值的各个取得位置及取得角度；
计算多个第一深度值距离的步骤，所述多个第一深度值距离为从在所述深度取得位姿所取得的多个取得深度值至所述深度取得位姿为止的距离；
利用所述图像取得位姿及所述深度取得位姿来将所述第一深度值距离转换为多个第二深度值距离的步骤，所述多个第二深度值距离为从在所述深度取得位姿所取得的所述各个取得深度值至所述图像取得位姿为止的距离；以及
利用与用于取得所述取得图像的图像传感器相对应的摄像机矩阵及所述多个第二深度值距离，向包含于所述取得图像的多个像素映射所述多个取得深度值的步骤，
作为从对应于所述用户位姿的所述对应图像取得位姿取得的取得图像，用于生成所述投影图像的所述多个取得图像中的至少一个为被设定为代表取得坐标系的图像的代表图像，所述取得坐标系为以所述对应图像取得位姿作为原点的坐标系，
作为从对应于所述用户位姿的所述对应深度取得位姿取得的多个深度值，用于生成所述投影图像的所述多个取得深度值在以所述基准坐标系的原点为基准的多个深度值或以所述取得坐标系的原点为基准的多个深度值中包含多个对应深度值，所述多个对应深度值为包含于所述代表图像的视角的深度值。
20.根据权利要求19所述的图像像素与深度值之间的映射方法，其特征在于，所述转换为多个第二深度值距离的步骤通过对表示所述图像取得位姿的矩阵的逆矩阵、表示所述深度取得位姿的矩阵及所述第一深度值距离相互之间进行乘法运算来进行。
21.根据权利要求19所述的图像像素与深度值之间的映射方法，其特征在于，
在用于取得所述取得图像的图像传感器的分辨率高于用于取得所述取得深度值的距离传感器的分辨率的情况下，所述向包含于取得图像的多个像素映射所述多个取得深度值的步骤还包括：
在作为映射到所述图像像素的多个取得深度值的初始关联深度值中通过筛选出3个以上的初始关联深度值来形成多边形网格的步骤；
基于所述图像传感器的分辨率，在作为不存在对应的取得深度值的图像像素的多个未映射像素中计算出所要包含于所述多边形网格内部的多个未映射像素的数量及位置的步骤；
基于所述计算出的多个未映射像素的数量及位置来推定与所述多个未映射像素相对应的多个深度值的步骤；以及
向所述多个未映射像素映射所述推定出的多个深度值的步骤。
22.根据权利要求21所述的图像像素与深度值之间的映射方法，其特征在于，所述推定与多个未映射像素相对应的多个深度值的步骤利用内插法来执行。
CN201680040327.9A 2015-07-08 2016-06-29 投影图像生成方法及其装置、图像像素与深度值之间的映射方法 Expired - Fee Related CN107836012B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20150097442 2015-07-08
KR10-2015-0097442 2015-07-08
KR1020160056447A KR101835434B1 (ko) 2015-07-08 2016-05-09 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
KR10-2016-0056447 2016-05-09
PCT/KR2016/006961 WO2017007166A1 (ko) 2015-07-08 2016-06-29 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법

Publications (2)

Publication Number Publication Date
CN107836012A CN107836012A (zh) 2018-03-23
CN107836012B true CN107836012B (zh) 2021-10-08

Family

ID=57992391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680040327.9A Expired - Fee Related CN107836012B (zh) 2015-07-08 2016-06-29 投影图像生成方法及其装置、图像像素与深度值之间的映射方法

Country Status (5)

Country Link
US (2) US10602115B2 (zh)
EP (2) EP3321888B1 (zh)
JP (1) JP6687204B2 (zh)
KR (2) KR101835434B1 (zh)
CN (1) CN107836012B (zh)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112665556B (zh) * 2015-04-01 2023-09-05 瓦亚视觉传感有限公司 使用被动和主动测量生成场景的三维地图
JP2018504652A (ja) * 2015-10-09 2018-02-15 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 顕著特徴ベースの移動体測位
CN107995477A (zh) 2016-10-26 2018-05-04 中联盛世文化（北京）有限公司 图像展示方法、客户端及系统、图像发送方法及服务器
US10560678B2 (en) * 2016-11-09 2020-02-11 Mediatek Inc. Method and apparatus having video encoding function with syntax element signaling of rotation information of content-oriented rotation applied to 360-degree image content or 360-degree video content represented in projection format and associated method and apparatus having video decoding function
EP3383035A1 (en) * 2017-03-29 2018-10-03 Koninklijke Philips N.V. Image generation from video
JP7033865B2 (ja) * 2017-08-10 2022-03-11 キヤノン株式会社 画像生成装置、画像生成方法、及びプログラム
CN111264058A (zh) * 2017-09-15 2020-06-09 交互数字Vc控股公司 用于对三自由度和体积兼容视频流进行编码和解码的方法、设备
JP6419278B1 (ja) * 2017-09-19 2018-11-07 キヤノン株式会社 制御装置、制御方法、及びプログラム
KR102009400B1 (ko) * 2017-12-20 2019-08-12 김기효 실감형 영상 콘텐츠 제공 방법 및 이를 이용한 서버
KR102105365B1 (ko) * 2018-01-04 2020-05-29 주식회사 팬스컴스 가상공간 내 복수의 디스플레이 화면 매핑 방법
EP3511910A1 (en) * 2018-01-12 2019-07-17 Koninklijke Philips N.V. Apparatus and method for generating view images
KR102323394B1 (ko) 2018-01-22 2021-11-08 삼성전자주식회사 차량의 주행을 보조하는 장치 및 방법
KR101893368B1 (ko) * 2018-01-31 2018-09-04 공간정보기술 주식회사 교통 모니터링 카메라를 이용하는 3차원 시정 측정 방법 및 시스템
GB2571306A (en) * 2018-02-23 2019-08-28 Sony Interactive Entertainment Europe Ltd Video recording and playback systems and methods
KR102197732B1 (ko) * 2018-04-06 2021-01-04 고려대학교 산학협력단 실내공간의 3차원 지도 생성 방법 및 장치
US10957100B2 (en) 2018-04-06 2021-03-23 Korea University Research And Business Foundation Method and apparatus for generating 3D map of indoor space
US10726567B2 (en) * 2018-05-03 2020-07-28 Zoox, Inc. Associating LIDAR data and image data
US10600192B1 (en) * 2018-05-14 2020-03-24 Vulcan Inc. Multi-camera homogeneous object alignment
US10679362B1 (en) 2018-05-14 2020-06-09 Vulcan Inc. Multi-camera homogeneous object trajectory alignment
US10948297B2 (en) * 2018-07-09 2021-03-16 Samsung Electronics Co., Ltd. Simultaneous location and mapping (SLAM) using dual event cameras
KR102607709B1 (ko) * 2018-07-13 2023-11-30 인터디지털 브이씨 홀딩스 인코포레이티드 3 자유도 및 볼류메트릭 호환 가능한 비디오 스트림을 인코딩 및 디코딩하기 위한 방법들 및 디바이스들
CN108876862B (zh) * 2018-07-13 2021-12-07 北京控制工程研究所 一种非合作目标点云位置姿态计算方法
KR102491939B1 (ko) 2018-08-24 2023-01-26 삼성전자주식회사 전방향 이미지를 프로세싱하기 위한 방법 및 장치
US20200286205A1 (en) * 2018-10-04 2020-09-10 Korea University Research And Business Foundation Precise 360-degree image producing method and apparatus using actual depth information
EP3644604A1 (en) * 2018-10-23 2020-04-29 Koninklijke Philips N.V. Image generating apparatus and method therefor
CN109521879B (zh) * 2018-11-19 2022-02-18 杭州易现先进科技有限公司 交互式投影控制方法、装置、存储介质及电子设备
US11493931B2 (en) 2019-05-14 2022-11-08 Lg Electronics Inc. Method of extracting feature from image using laser pattern and device and robot of extracting feature thereof
US11915449B2 (en) 2019-06-14 2024-02-27 Korea University Research And Business Foundation Method and apparatus for estimating user pose using three-dimensional virtual space model
KR102387797B1 (ko) * 2019-06-14 2022-04-19 고려대학교 산학협력단 3차원 가상 공간 모델을 이용한 사용자 포즈 추정 방법 및 장치
CN112097742B (zh) * 2019-06-17 2022-08-30 北京地平线机器人技术研发有限公司 一种位姿确定方法及装置
WO2021120175A1 (zh) * 2019-12-20 2021-06-24 驭势科技(南京)有限公司 三维重建方法、装置、系统和存储介质
KR102316232B1 (ko) * 2020-02-05 2021-10-22 네이버 주식회사 2차원 지도 정보를 기반으로 거리뷰 이미지의 포즈를 정합시키기 위한 전자 장치 및 그의 동작 방법
KR102444879B1 (ko) * 2020-03-05 2022-09-19 고려대학교 산학협력단 라이다(Lidar)를 이용한 실내 공간의 3차원 모델링 방법
CN111563924B (zh) * 2020-04-28 2023-11-10 上海肇观电子科技有限公司 图像深度确定方法及活体识别方法、电路、设备和介质
US11232315B2 (en) 2020-04-28 2022-01-25 NextVPU (Shanghai) Co., Ltd. Image depth determining method and living body identification method, circuit, device, and medium
KR102414307B1 (ko) * 2020-06-29 2022-06-29 (주)뉴빌리티 3d 맵의 변경 구역 업데이트 시스템 및 그 방법
CN111833391B (zh) * 2020-07-16 2024-01-09 北京百度网讯科技有限公司 图像深度信息的估计方法及装置
KR102542363B1 (ko) * 2020-12-15 2023-06-13 (주)심스리얼리티 3차원 공간에서 객체를 인식하는 방법
KR102339472B1 (ko) * 2020-12-23 2021-12-16 고려대학교 산학협력단 3차원 공간 모델 생성 방법 및 장치
CN112764546B (zh) * 2021-01-29 2022-08-09 重庆子元科技有限公司 一种虚拟人物位移控制方法、装置及终端设备
CN113066007A (zh) * 2021-06-03 2021-07-02 潍坊幻视软件科技有限公司 指示3d空间中目标位置的方法
CN113436269B (zh) * 2021-06-15 2023-06-30 影石创新科技股份有限公司 图像稠密立体匹配方法、装置和计算机设备
US20220408019A1 (en) * 2021-06-17 2022-12-22 Fyusion, Inc. Viewpoint path modeling
CN114237537B (zh) * 2021-12-10 2023-08-04 杭州海康威视数字技术股份有限公司 头戴式设备、远程协助方法及系统
KR102600420B1 (ko) * 2021-12-31 2023-11-09 주식회사 쓰리아이 3차원 가상모델 제공 방법 및 그를 위한 3차원 가상모델 제공 시스템
CN115390571B (zh) * 2022-10-27 2023-03-24 杭州蓝芯科技有限公司 一种绕障行驶方法和移动机器人
KR102618951B1 (ko) 2023-06-20 2023-12-29 주식회사 모빌테크 시각적 매핑 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102616435B1 (ko) 2023-07-21 2023-12-21 주식회사 모빌테크 지도 갱신 방법 및 이를 실행하기 위하여 기록매체에기록된 컴퓨터 프로그램

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008219390A (ja) * 2007-03-02 2008-09-18 Victor Co Of Japan Ltd 画像閲覧装置
KR20080085655A (ko) * 2007-03-20 2008-09-24 인천대학교 산학협력단 카메라 자세 추정 장치 및 방법
JP2009157897A (ja) * 2007-12-04 2009-07-16 National Institute Of Information & Communication Technology 写真マッピング方法及びシステム、並びにプログラム及び記憶媒体
EP2030661A3 (en) * 2007-08-30 2010-03-24 Kabushiki Kaisha Square Enix (also trading as Square Enix Co., Ltd.) Image generating apparatus, method of generating image, program, and recording medium
JP2012053896A (ja) * 2009-05-18 2012-03-15 Kodaira Associates Kk 画像情報出力方法
CN102609942A (zh) * 2011-01-31 2012-07-25 微软公司 使用深度图进行移动相机定位
CN102971770A (zh) * 2011-03-31 2013-03-13 松下电器产业株式会社 进行全周围立体图像的描绘的图像描绘装置、图像描绘方法、图像描绘程序
JP2013142956A (ja) * 2012-01-10 2013-07-22 Pasuko:Kk 撮影対象検索システム
KR20130142336A (ko) * 2012-06-19 2013-12-30 한양대학교 산학협력단 3차원 직선을 이용하여 위치를 인식하고 지도를 생성하는 방법 및 그 방법에 따른 이동체
KR20140001167A (ko) * 2012-06-26 2014-01-06 한국과학기술원 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치
KR20140054710A (ko) * 2012-10-29 2014-05-09 경북대학교 산학협력단 3차원 지도 생성 장치 및 3차원 지도 생성 방법
CN103886124A (zh) * 2012-12-21 2014-06-25 达索系统德尔米亚公司 虚拟对象的方位校正
WO2015048906A1 (en) * 2013-10-03 2015-04-09 Sulon Technologies Inc. Augmented reality system and method for positioning and mapping

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0757117A (ja) * 1993-07-09 1995-03-03 Silicon Graphics Inc テクスチャマップへの索引を生成する方法及びコンピュータ制御表示システム
US5841441A (en) * 1996-01-19 1998-11-24 Virtus Corporation High-speed three-dimensional texture mapping systems and methods
US6759979B2 (en) * 2002-01-22 2004-07-06 E-Businesscontrols Corp. GPS-enhanced system and method for automatically capturing and co-registering virtual models of a site
CN100536970C (zh) * 2002-11-20 2009-09-09 世嘉股份有限公司 游戏图像的显示控制方法和游戏装置
US7747067B2 (en) * 2003-10-08 2010-06-29 Purdue Research Foundation System and method for three dimensional modeling
US7728877B2 (en) 2004-12-17 2010-06-01 Mitsubishi Electric Research Laboratories, Inc. Method and system for synthesizing multiview videos
US7756563B2 (en) 2005-05-23 2010-07-13 The Penn State Research Foundation Guidance method based on 3D-2D pose estimation and 3D-CT registration with application to live bronchoscopy
JP2009080578A (ja) * 2007-09-25 2009-04-16 Toshiba Corp 多視点データ生成装置、方法及びプログラム
WO2010122145A1 (en) 2009-04-25 2010-10-28 Siemens Aktiengesellschaft A method and a system for assessing the relative pose of an implant and a bone of a creature
GB0908200D0 (en) * 2009-05-13 2009-06-24 Red Cloud Media Ltd Method of simulation of a real physical environment
US8487871B2 (en) 2009-06-01 2013-07-16 Microsoft Corporation Virtual desktop coordinate transformation
DE102009049849B4 (de) 2009-10-19 2020-09-24 Apple Inc. Verfahren zur Bestimmung der Pose einer Kamera, Verfahren zur Erkennung eines Objekts einer realen Umgebung und Verfahren zur Erstellung eines Datenmodells
US8717360B2 (en) * 2010-01-29 2014-05-06 Zspace, Inc. Presenting a view within a three dimensional scene
JP5624394B2 (ja) * 2010-07-16 2014-11-12 キヤノン株式会社 位置姿勢計測装置、その計測処理方法及びプログラム
US9485497B2 (en) * 2010-09-10 2016-11-01 Reald Inc. Systems and methods for converting two-dimensional images into three-dimensional images
US20120113223A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
AU2011331972B2 (en) * 2010-11-24 2016-07-07 Google Llc Rendering and navigating photographic panoramas with depth information in a geographic information system
EP2643822B1 (en) * 2010-11-24 2017-03-22 Google, Inc. Guided navigation through geo-located panoramas
US8587583B2 (en) * 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
US9407904B2 (en) * 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
JP5776218B2 (ja) * 2011-02-24 2015-09-09 株式会社大林組 画像合成方法
US9055277B2 (en) * 2011-03-31 2015-06-09 Panasonic Intellectual Property Management Co., Ltd. Image rendering device, image rendering method, and image rendering program for rendering stereoscopic images
US9117274B2 (en) 2011-08-01 2015-08-25 Fuji Xerox Co., Ltd. System and method for interactive markerless paper documents in 3D space with mobile cameras and projectors
EP2600316A1 (en) * 2011-11-29 2013-06-05 Inria Institut National de Recherche en Informatique et en Automatique Method, system and software program for shooting and editing a film comprising at least one image of a 3D computer-generated animation
US8630457B2 (en) 2011-12-15 2014-01-14 Microsoft Corporation Problem states for pose tracking pipeline
KR101907077B1 (ko) 2012-03-06 2018-10-11 삼성전자주식회사 자세 인식 방법 및 장치
WO2013173728A1 (en) 2012-05-17 2013-11-21 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for unified scene acquisition and pose tracking in a wearable display
US9846960B2 (en) * 2012-05-31 2017-12-19 Microsoft Technology Licensing, Llc Automated camera array calibration
US20140098100A1 (en) * 2012-10-05 2014-04-10 Qualcomm Incorporated Multiview synthesis and processing systems and methods
US9508146B2 (en) * 2012-10-31 2016-11-29 The Boeing Company Automated frame of reference calibration for augmented reality
US20140267228A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Mapping augmented reality experience to various environments
JP5945255B2 (ja) * 2013-08-27 2016-07-05 日本電信電話株式会社 仮想視点映像生成装置、仮想視点映像生成方法、及び仮想視点映像生成プログラム
US9432636B2 (en) 2013-11-26 2016-08-30 Microsoft Technology Licensing, Llc Large-scale surface reconstruction that is robust against tracking and mapping errors
US20150206337A1 (en) * 2014-01-17 2015-07-23 Nokia Corporation Method and apparatus for visualization of geo-located media contents in 3d rendering applications
US20160019718A1 (en) * 2014-07-16 2016-01-21 Wipro Limited Method and system for providing visual feedback in a virtual reality environment
JP6454851B2 (ja) * 2014-08-07 2019-01-23 フォーブ インコーポレーテッド ３次元上の注視点の位置特定アルゴリズム

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008219390A (ja) * 2007-03-02 2008-09-18 Victor Co Of Japan Ltd 画像閲覧装置
KR20080085655A (ko) * 2007-03-20 2008-09-24 인천대학교 산학협력단 카메라 자세 추정 장치 및 방법
EP2030661A3 (en) * 2007-08-30 2010-03-24 Kabushiki Kaisha Square Enix (also trading as Square Enix Co., Ltd.) Image generating apparatus, method of generating image, program, and recording medium
JP2009157897A (ja) * 2007-12-04 2009-07-16 National Institute Of Information & Communication Technology 写真マッピング方法及びシステム、並びにプログラム及び記憶媒体
JP2012053896A (ja) * 2009-05-18 2012-03-15 Kodaira Associates Kk 画像情報出力方法
CN102609942A (zh) * 2011-01-31 2012-07-25 微软公司 使用深度图进行移动相机定位
CN102971770A (zh) * 2011-03-31 2013-03-13 松下电器产业株式会社 进行全周围立体图像的描绘的图像描绘装置、图像描绘方法、图像描绘程序
JP2013142956A (ja) * 2012-01-10 2013-07-22 Pasuko:Kk 撮影対象検索システム
KR20130142336A (ko) * 2012-06-19 2013-12-30 한양대학교 산학협력단 3차원 직선을 이용하여 위치를 인식하고 지도를 생성하는 방법 및 그 방법에 따른 이동체
KR20140001167A (ko) * 2012-06-26 2014-01-06 한국과학기술원 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치
KR20140054710A (ko) * 2012-10-29 2014-05-09 경북대학교 산학협력단 3차원 지도 생성 장치 및 3차원 지도 생성 방법
CN103886124A (zh) * 2012-12-21 2014-06-25 达索系统德尔米亚公司 虚拟对象的方位校正
WO2015048906A1 (en) * 2013-10-03 2015-04-09 Sulon Technologies Inc. Augmented reality system and method for positioning and mapping

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Dense Omnidirectional RGB-D Mapping of Large-scale Outdoor Environments for Real-time Localization and Autonomous Navigation;Maxime Meilland等;《Journal of Field Robotics》;20140930;第32卷(第4期);第474–503页 *
Maxime Meilland等.Dense Omnidirectional RGB-D Mapping of Large-scale Outdoor Environments for Real-time Localization and Autonomous Navigation.《Journal of Field Robotics》.2014,第32卷(第4期), *
On unifying key-frame and voxel-based dense visual SLAM at large scales;Maxime Meilland等;《2013 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)》;20131130;第3677-3683页 *

Also Published As

Publication number Publication date
KR20170007102A (ko) 2017-01-18
CN107836012A (zh) 2018-03-23
JP2018528509A (ja) 2018-09-27
JP6687204B2 (ja) 2020-04-22
EP3321888A1 (en) 2018-05-16
US20170230633A1 (en) 2017-08-10
US10602115B2 (en) 2020-03-24
EP3321889A1 (en) 2018-05-16
EP3321889A4 (en) 2019-01-09
KR101835434B1 (ko) 2018-03-09
US10349033B2 (en) 2019-07-09
KR20170007098A (ko) 2017-01-18
US20180205925A1 (en) 2018-07-19
EP3321888B1 (en) 2021-12-08
EP3321888A4 (en) 2019-06-05

Similar Documents

Publication Publication Date Title
CN107836012B (zh) 投影图像生成方法及其装置、图像像素与深度值之间的映射方法
CN110383343B (zh) 不一致检测系统、混合现实系统、程序和不一致检测方法
US10244228B2 (en) Multi-dimensional data capture of an environment using plural devices
CN109298629B (zh) 在未绘制地图区域中引导移动平台的系统及方法
US8699005B2 (en) Indoor surveying apparatus
JP5093053B2 (ja) 電子カメラ
US10580205B2 (en) 3D model generating system, 3D model generating method, and program
CN109564690A (zh) 使用多向相机评估封闭空间的尺寸
JP7041551B2 (ja) 施工工程管理システム及び施工工程管理方法
US20130010111A1 (en) Effortless Navigation Across Cameras and Cooperative Control of Cameras
CN106980368A (zh) 一种基于视觉计算及惯性测量单元的虚拟现实交互设备
WO2010130987A2 (en) Image generation method
US10545215B2 (en) 4D camera tracking and optical stabilization
US11668577B1 (en) Methods and systems for response vehicle deployment
CN108885342A (zh) 用于低延迟渲染的宽基线立体
US10893190B2 (en) Tracking image collection for digital capture of environments, and associated systems and methods
JP2023546739A (ja) シーンの３次元モデルを生成するための方法、装置、およびシステム
JP2018106661A (ja) 不整合検出システム、複合現実システム、プログラム及び不整合検出方法
WO2020040277A1 (ja) 複合現実システム、プログラム、携帯端末装置、及び方法
JP2019179015A (ja) 経路表示装置
JP2021197572A (ja) カメラ制御装置及びプログラム
WO2022019128A1 (ja) 情報処理装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体
Xing et al. A 3D dynamic visualization surveillance system
Ahmadabadian Photogrammetric multi-view stereo and imaging network design
CN117456124A (zh) 一种基于背靠背双目鱼眼相机的稠密slam的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211008

CF01 Termination of patent right due to non-payment of annual fee