CN110383819A - 生成全方位图像的方向信息的方法及执行该方法的装置 - Google Patents

生成全方位图像的方向信息的方法及执行该方法的装置 Download PDF

Info

Publication number
CN110383819A
CN110383819A CN201780087074.5A CN201780087074A CN110383819A CN 110383819 A CN110383819 A CN 110383819A CN 201780087074 A CN201780087074 A CN 201780087074A CN 110383819 A CN110383819 A CN 110383819A
Authority
CN
China
Prior art keywords
directional information
omnidirectional images
image
images
omnidirectional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201780087074.5A
Other languages
English (en)
Inventor
金勇局
赵成来
金勇振
金峻世
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Link Logistics Co Ltd
Linkflow Co Ltd
Original Assignee
Link Logistics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Link Logistics Co Ltd filed Critical Link Logistics Co Ltd
Publication of CN110383819A publication Critical patent/CN110383819A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明涉及一种生成全方位图像的方向信息的方法及执行该方法的装置。生成全方位图像的方向信息的方法能够包括：由方向信息处理装置接收全方位图像的方向信息的步骤；以及由方向信息处理装置基于方向信息而设定对于全方位图像的方向指示符的步骤，其中，方向指示符能够在全方位图像的再生画面上指示至少一个方向。

Description

生成全方位图像的方向信息的方法及执行该方法的装置
技术领域
本发明涉及一种生成全方位图像的方向信息的方法及执行该方法的装置。更详细地讲，涉及一种用于在生成全方位图像时生成方向信息而作为属性信息并在再生全方位图像时向收视全方位图像的用户传递方向信息的方法及装置。
背景技术
全方位(omnidirectional)图像系统是指基于特定视点而记录全方位(360度)的图像信息的图像系统。与现有的图像系统相比，因获得非常宽的视角(field-of-view)的图像，由此，近来在计算机视觉、移动机器人等研究领域及监视系统、虚拟现实系统、变焦(PTZ：pan-tilt-zoom)摄像机、视频会议等实用领域等，其应用的幅度逐渐变广。
使用各种方法，以用于获得全方位图像。例如，基于满足单视点(single viewpoint)的光轴(optical-axis)而旋转一个摄像机并接合所获得的图像而生成全方位图像。或者也能够使用将多台摄像机排列为环形结构而组合在各个摄像机中获得的图像的方法。用户使用用于获得各种全方位图像的全方位图像处理装置(或全方位图像处理摄像机)而生成全方位图像。
由目前的全方位图像处理装置所生成的全方位图像是拍摄所有方向而生成的图像内容。因此，由于全方向图像的这种特性，收视全方位图像的用户对于全方位图像左顾右盼不知该看哪里，或者，需改变用户的视点直至找到目标即被摄体为止。例如，若用于追寻罪犯的图像生成为全方位图像内容且为了找出罪犯的位置而频繁发生图像的旋转，则有可能消失方向感且导致用户眩晕。
因此，需要一种用于使用户更容易且更方便地识别基于全方位图像处理装置而生成的全方位图像的方法。
发明内容
所要解决的问题
本发明其目的在于解决上述的所有问题。
另外，本发明的另一目的在于，追加方向信息而作为由全方位图像处理装置所生成的全方位图像信息的属性信息，并在再生全方位图像信息时显示方向信息。
另外，本发明的又一目的在于，基于由全方位图像处理装置所生成的全方位图像信息中所包含的方向信息而将用户的视线引导到特定方向上。
解决问题方案
旨在达到上述目的的本发明的代表性构成如下。
根据本发明的一个方式，生成全方位图像的方向信息的方法能够包括如下步骤：由方向信息处理装置接收全方位图像的方向信息；以及由所述方向信息处理装置基于所述方向信息而设定对于所述全方位图像的方向指示符，其中，所述方向指示符在所述全方位图像的再生画面上指示至少一个方向。
根据本发明的另一个方式，生成全方位图像的方向信息的方向信息处理装置能够包括：通信部，其用于接收全方位图像的方向信息；以及处理器，其可操作地(operatively)连接在所述通信部，且基于所述方向信息而设定对于所述全方位图像的方向指示符，所述方向指示符在所述全方位图像的再生画面上指示至少一个方向。
发明效果
根据本发明，由于追加方向信息而作为由全方位图像处理装置所生成的全方位图像信息的属性信息，并在再生全方位图像信息时显示方向信息，因此，用户在收视全方位图像时能够认知方向，从而能够有助于用户理解全方位图像。
另外，根据本发明，能够在基于方向信息而再生的全方位图像信息中进一步显示方向标识符，且基于方向标识符而能够生成并收视合乎拍摄者的拍摄意图的全方位图像。
另外，根据本发明，能够基于全方位图像信息中所包括的方向信息而将收视全方位图像的用户的视线引导到特定方向上。因此，能够使用户更加身临其境地提供全方位图像。
附图说明
图1为显示本发明实施例的全方位图像处理装置的概念图；
图2为显示位于本发明实施例的全方位图像处理装置的多个图像成像部的特性的概念图；
图3为显示本发明实施例的多个图像成像部的成像线的概念图；
图4为显示本发明实施例的多个图像成像部的成像线的概念图；
图5是示出了本发明实施例的生成/显示全方位图像的方向信息的方法的概念图。
图6是示出了本发明实施例的在再生全方位图像时显示方向信息的方法的概念图。
图7是示出了本发明实施例的再生全方位图像时输出方向转换请求指示符的方法的概念图。
图8是示出了本发明实施例的生成方向信息的方法的概念图。
图9是示出了本发明实施例的生成方向信息的方法的概念图。
图10是示出了本发明实施例的考虑用户的关心而生成标识信息的方法的概念图。
图11是示出了本发明实施例的确定用户的关心对象的方法的概念图。
图12是示出了本发明实施例的用于确定用户的关心对象的方法的概念图。
图13是示出了本发明实施例的用于基于拍摄者的移动而调整方向信息的生成周期的方法的概念图。
具体实施方式
对于如上所述的本发明的具体说明，参照将本发明实施的特定的实施例作为例示而显示的附图。对该实施例进行具体说明，以使本领域技术人员能够充分对本发明进行实施。应当理解，本发明的各种实施例相互不同但不存在相互排它性需求。例如，本说明书中记载的特定形状、结构及特性不脱离本发明的思想与范围，并能够由一实施例变更为其它实施例而实现。并且，各个实施例内的个别结构要素的位置或配置也未脱离本发明的思想与范围的情况，并能够进行变更。因此，下面所述的说明并非通过限定的意义进行，本发明的范围包括权利要求范围的权利要求项所请求的范围及与其同等的所有范围。在附图中类似的参照符号在各个方面显示相同或类似的构成要素。
下面，参照附图对本发明的几个优选的实施例进行具体他说明，以使本发明所属的技术领域中的普通技术人员能够容易实施本发明。
下面，在本发明实施例中，全方位图像处理装置是指包括成像全方位(或360度图像)的摄像机。
图1为显示本发明实施例的全方位图像处理装置的概念图。
图1中公开全方位图像处理装置的结构。
参照图1，全方位图像处理装置100为可穿戴结构，为与戴在用户的颈部的项链类似的形状。全方位图像处理装置100如图1所示，也能够为一面开放的项链的形状，也能够为一面未开放的项链的形状。下面，在本发明实施例中，假设全方位图像处理装置100为一面开放的U字形状。该U字形状的全方位图像处理装置100为以可穿戴设备(wearable device)形状戴在用户的颈部而拍摄全方位图像。
在本发明实施例中，为便于说明，假设全方位图像处理装置100为项链形状(或者一面开放的项链形状、U字形状)，而戴在用户的颈部的情况。但全方位图像处理装置100并非为简单戴在用户的颈部的形状。例如，全方位图像处理装置100以能够挂扣/附着的各种形状，设置于用户的不同身体部位或外部物体(或者个体)/装置/结构等，从而能够获得全方位图像。
用户将作为可穿戴设备实现的全方位图像处理装置100戴在颈部，并在双手自由的状态下，获得用于生成全方位图像的多个图像。
全方位图像处理装置100包括多个图像成像部。多个图像成像部分别以特定间距(或预定的间距)而设置在全方位图像处理装置，由此，分别对视角/成像线的影像进行摄像。多个图像成像部各自的位置也能够固定于全方位图像处理装置100，但多个图像成像部能够分别移动，且多个图像成像部各自的位置也能够进行变更。
例如，全方位图像处理装置100包括三个图像成像部，三个图像成像部按特定的视角(field of view)(例如，120度～180度)对全方位图像进行成像。三个图像成像部为图像成像部一110、图像成像部二120、图像成像部三130。
下面，为了便于说明，以三个图像成像部包含于全方位图像处理装置100的结构进行说明。但，可以不是三个，而多个(例如，2、4、5、6个等)图像成像部包含于全方位图像处理装置100，对全方位图像进行成像，该形状也包含于本发明的权利要求范围。
图像成像部一110、图像成像部二120及图像成像部三130根据视角而对图像进行成像。在相同的时间资源上，通过图像成像部一110而生成图像一，通过图像成像部二120而生成图像二，通过图像成像部三130而生成图像三。图像成像部一110、图像成像部二120、图像成像部三130各自的视角为120度，在图像一、图像二及图像三中存在重叠的成像区域。之后，通过全方位图像处理装置100拼接/补正在相同的时间资源上所成像的图像一及图像二及图像三，从而生成全方位图像。对多个图像的拼接及/或补正顺序也能够在全方位图像处理装置本身执行，也能够基于能够与全方位图像处理装置100通信的用户设备(智能手机)执行。即，对所生成的多个图像的增加的图像处理顺序也能够通过全方位图像处理装置100及/或其它图像处理装置(智能手机、个人电脑等)执行。
下面，具体说明全方位图像处理装置的具体特征及全方位图像生成方法。
图2为显示本发明实施例的位于全方位图像处理装置的多个图像成像部的特性的概念图。
在图2中，公开位于U字型的全方位图像处理装置的多个图像成像部的特征。图2中例示公开的图像成像部的位置。多个图像成像部分别位于全方位图像处理装置上的不同的位置，以用于对生成全方位图像所需的多个图像进行成像。
在图2的上端显示有全方位图像处理装置的后面。
包含在全方位图像处理装置的图像成像部一210及图像成像部二220位于在全方位图像处理装置上存在曲率的弯曲的部分。具体地，对于用户将全方位图像处理装置作为可穿戴设备而挂于颈部的情况，在与颈部的后部位接触并弯曲的区域设置图像成像部一210及图像成像部二220。例如，基于U字型的全方位图像处理装置的最大曲率支点(例如，U字型的中间部分)而将图像成像部一210及图像成像部二220设置在特定距离上。
图像成像部一210基于用户的视线(line of sight)方向而对包含后面左侧死角区域的区域进行成像。图像成像部二220基于用户的视线而对包含后面右侧死角区域的区域进行成像。具体地，图像成像部一210具有第一视角，执行与第一视角相应的区域的成像。图像成像部二220具有第二视角，执行与第二视角相应的区域的成像。例如，第一视角及第二视角为120～180度。
对于执行通过图像成像部一210及图像成像部二220的成像的情况，生成通过第一视角与第二视角而重叠的第一重叠区域215。之后，以基于重叠区域的拼接为基础而生成全方位图像。
图2的下端显示了全方位图像处理装置的前部。
在全方位图像处理装置的前面设置有图像成像部三230。具体地，图像成像部三230设置在全方位图像处理装置的末端部(U字型的端(末端)部分)。对于用户将全方位图像处理装置作为可穿戴设备挂于颈部的情况，U字型的全方位图像处理装置的末端部分位于用户的前面方向(用户的视线注视的方向)。全方位图像处理装置包括：第一末端部与第二末端部，图像成像部三230设置在第一末端部与第二末端部中的一个末端部。
图像成像部三230以与用户的视线的方向相同的方向执行成像而执行对与用户的视线相应的区域的成像。
具体地，图像成像部三230具有第三视角，执行对与第三视角相应的区域的成像。例如，第三视角为120度～180度。对于执行通过图像成像部三230的成像的情况，因图像成像部一210的第一视角与图像成像部三230的第三视角而产生第二重叠区域225。对于执行通过图像成像部三230的成像的情况，因图像成像部二220的第二视角与图像成像部三230的第三视角而产生第三重叠区域235。
根据挂于颈部的可穿戴设备的结构，当全方位图像处理装置挂于颈部时，图像成像部一210、图像成像部二220基于地面而相对地处于高于图像成像部三230的地方。并且，图像成像部三230位于一侧末端部。
在现有的全方位图像处理装置中，位于相同高度的多个图像成像部具有特定的角度，而本发明实施例的全方位图像处理装置的多个图像成像部之间的角度不同，且所处的高度也各不相同。因此，分别通过多个图像成像部生成的多个图像的第一重叠区域215、第二重叠区域225及第三重叠区域235的大小/形状相互不同。
之后，以通过基于第一重叠区域215/第二重叠区域225/第三重叠区域235的图像成像部一210、图像成像部二220及图像成像部三230而分别生成的图像一、图像二及图像三的图像处理次序(拼接/补正等)为基础，生成全方位图像。
第一视角、第二视角、第三视角的大小也能够被相同地设定，但也能够进行相互不同地设定，并包含于该实施例及本发明的权利要求范围内。
图3为显示本发明实施例的多个图像成像部的成像线的概念图。
图3中，显示设置于全方位图像处理装置的多个图像成像部各自的成像线。对于假设将地面与X轴与Z轴构成的XZ平面平行的情况，成像线被定义为，在由X轴/Y轴/Z轴呈现的空间上，垂直贯穿包含于全方位图像处理装置的多个图像成像部各自透镜的中央的线。
现有的全方位图像处理装置在相同的高度上，将多个图像成像部按特定的角度(例如，120度)实现。对于该情况，包含于现有的全方位图像处理装置的多个图像成像部的多个成像线是指与地面(或XZ平面)平行，且在多个成像线之间为具有特定的角度(例如，120度)的多个线。
本发明实施例的全方位图像处理装置如上所述，多个图像成像部的高度(或多个图像成像部的实现的位置)及多个图像成像部之间的角度(或成像线之间构成的角度)在成像时相互不同。因此，本发明实施例的全方位图像处理装置的成像线的特性与现有的全方位图像处理装置的成像线的特性存在差异。
图3中例示的多个图像成像部各自的成像线用于显示因可穿戴设备的特性而造成的多个图像成像部各自的成像线之间的特性(例如，高度，角度)的差异。并且，图3中显现的成像线为不存在因佩戴全方位图像处理装置的用户的移动，或为在全方位图像处理装置特定状态下固定的情况的成像线。
图3的上端公开图像成像部一310及图像成像部二320的成像线。
图像成像部一310及图像成像部二320设置在比图像成像部三330相对高的位置。假设佩戴全方位图像处理装置的用户的所处的方向为Y轴方向时，在挂于颈部的可穿戴设备的结构上，在全方位图像成像装置上，相对地提升具有图像成像部一310及图像成像部二320所处的曲率的部分(U字中的曲线/中央部分)，图像成像部三330所处的腿部分(U字中末端部分)相对下移。
例如，图像成像部一310的成像线一315与XZ平面平行，而在Y轴的坐标a中，与X轴成第1角度、与Y轴成第2角度、与Z轴成第3角度。
图像成像部二320的成像线二325与XZ平面平行，而在Y轴的支点a上，与X轴成第4角度、与Y轴成第5角度、与Z轴成第6角度。
参照图3的下端，图像成像部三330的成像线三335与XZ平面平行，而在Y轴的坐标b上，与X轴成第7角度、与Y轴成第8角度、与Z轴成第9角度。b为小于a的值。图像成像部三330的成像线三335与XZ平面平行，与用户的视线相同地注视前面(例如，与XY平面垂直的方向)。
即，成像线一315及成像线二325以Y轴为基准而具有相同的高度，成像线三335以Y轴为基准而处于相对地比成像线一及成像线二低的位置。在图3中公开的成像线一315、成像线二325及成像线三335为具有相互不同特性的成像线的一个例示，定义各种成像线，并成像全方位图像。
图4为显示本发明实施例的多个图像成像部的成像线的概念图。
在图4中显示与图3不同的多个图像成像部的成像线。同样地，在图4中，假设地面与X轴和Z轴构成的XZ平面平行。
图4的上端显示图像成像部一410及图像成像部二420的成像线。
图像成像部一410及图像成像部二420处于相对地高于图像成像部三430的位置。同样地，假定用户所处的方向为Y轴方向时，挂于颈部的可穿戴设备的结构上的全方位图像成像装置以相对提升具有图像成像部一410及图像成像部二420所处的曲率的部分(U字中曲线部分)，且图像成像部三430所处的腿的部分(U字中末端部分)相对下移的形式而对图像进行成像。
例如，图像成像部一410的成像线一415与XZ平面平行，而Y轴的坐标a上，与X轴成第1角度、与Y轴成第2角度、与Z轴成第3角度。图像成像部二420的成像线二425与XZ平面平行，而在Y轴的坐标a上，与X轴成第4角度、与Y轴成第5角度、与Z轴成第6角度。
图4的下端公开图像成像部三430的成像线。
图像成像部三430的成像线三435未与XZ平面平行，将Y轴的坐标b作为起点，与X轴成第7角度、与Y轴成第8角度、与Z轴成第9角度。
图像成像部三430位于全方位图像处理装置的末端部，由此，成像线未与XZ平面平行，并与XZ平面具有特定角度(例如，0～30度)。
即，成像线一415及成像线二425基于Y轴而具有相同的高度，成像线三435基于Y轴而处于相对地低于成像线一415及成像线二425位置。并且，成像线一415及成像线二425与XZ平面平行，但成像线三435未与XZ平面平行。
作为本发明的另一实施例，例如，图像成像部一的成像线一与XZ平面构成第1’角度，并将Y轴的坐标a作为起点，与X轴成第1角度、与Y轴成第2角度、与Z轴成第3角度。并且，图像成像部二的成像线二与XZ平面构成第1’角度，将Y轴的坐标a作为起点，与X轴成第4角度、与Y轴成第5角度、与Z轴成第6角度。图像成像部三的成像线三与XZ平面构成第2’角度，将Y轴的坐标b作为起点，与X轴成第7角度、与Y轴成第8角度、与Z轴成第9角度。
通过本发明的又一实施例，例如，图像成像部一的成像线一与XZ平面构成第1’角度，将Y轴的坐标a作为起点，与X轴成第1角度、与Y轴成第2角度、与Z轴成第3角度。并且，图像成像部二的成像线二与XZ平面构成第2’角度，将Y轴的坐标a作为起点，与X轴成第4角度、与Y轴成第5角度、与Z轴成第6角度。图像成像部三的成像线三与XZ平面构成第3’角度，将Y轴的坐标b作为起点，与X轴成第7角度、与Y轴成第8角度、与Z轴成第9角度。
即，多个图像成像部各自的成像线与在现有的相同的Y轴支点上，具有与地面相同的角度的图像处理装置不同，本发明实施例的全方位图像处理装置的多个图像成像部各自的成像线处于相互不同的Y轴支点上，并具有与地面(或XZ平面)相互不同的角度。
以下，在本发明实施例中公开一种用于在所生成的全方位图像中显示方向信息的方法。图1至图3是全方位图像处理装置的一个例示。全方位图像和全方位图像的方向信息不仅在前面所述的本发明实施例中所公开的全方位图像处理装置生成，而且在其它各种全方位图像处理装置也能够生成。
图5是示出了本发明实施例的生成/显示全方位图像的方向信息的方法的概念图。
图5公开一种用于在生成全方位图像信息时进一步生成方向信息而作为属性信息，且在再生全方位图像时基于方向信息而显示对于特定方向的指示符的方法。
参照图5，全方位图像处理装置能够包括如地磁传感器、加速角逐传感器等那样的能够感测方位/方向的感测部。
在由包括于全方位图像处理装置的多个图像拍摄部各自所生成多个图像各自时，在多个图像各自能够包括对于图像的拍摄方向的信息即方向信息而作为另外的属性信息。
具体来讲，在由包括于全方位图像处理装置的多个图像拍摄部所执行拍摄的情况下，传感器部能够感测而生成对于多个图像拍摄部各自的拍摄方向的信息。
例如，在全方位图像处理装置中能够包括图像拍摄部一、图像拍摄部二以及图像拍摄部三。另外，在重叠的时间资源上，能够由图像拍摄部一所生成图像一，由图像拍摄部二所生成图像二，且由图像拍摄部三所生成图像三。图像一、图像二以及图像三通过图像处理而能够生成为全方位图像信息。
全方位图像处理装置的传感器部能够在由图像一、图像二以及图像三所生成的正向图像信息中生成以特定轴为基准而确定的方向信息。假设拍摄空间为由X轴/Y轴/Z轴形成的三维空间且地平面550与XZ平面平行，则以与XZ平面垂直的Y轴560为基准的图像的方向信息能够作为属性信息而追加到全方位图像信息中。
以下，为了便于说明和理解起见，假设以与XZ平面垂直的Y轴560为基准的图像的方向信息作为属性信息而追加到全方位图像信息中的情况，但以X轴、Z轴为基准的图像的方向信息也能够作为属性信息而追加到全方位图像信息中，这种实施例也包括于本发明的权利范围。
例如，能够将正北方向设为0度(基准点)500而以将Y轴560作为基准的360度的角度来表示方向。例如，90度地点510可以是正西方向，180度地点520可以是正南方向，270度地点530可以是正东方向。
能够包括在特定时间点由感测部所感测而生成的方向信息和对于特定时间点的时间信息而作为基于在特定时间点拍摄的图像一、图像二以及图像三而生成的全方位图像信息的属性信息。即、全方位图像信息能够包括对于全方位图像所拍摄的时间点的时间信息以及对于全方位图像所拍摄的方向的方向信息而作为属性信息。
这种方向信息能够以各种方式表示。例如，还能够以图像的尺寸为基准而以百分比(0至100之间的值)来表示方向信息。或者，还能够显示自基准点的相对角度而表示方向信息，其中，所述基准点基于将以0至255之间的值来存储的区域的大小而设定。
全方位图像的方向信息的存储间隔有可能与由全方位图像处理装置所生成的帧的帧率(framerate)不一致。例如，方向信息在每次满足不同于帧率地设定的特定时间间隔/或所设定的条件时能够生成为全方位图像信息的属性信息。
图6是示出了本发明实施例的在再生全方位图像时显示方向信息的方法的概念图。
图6显示一种用于在再生全方位图像时追加方向指示符的方法，该方向指示符用于基于方向信息而标识如正北方向/拍摄者视线方向等那样的特定方向。
参照图6，全方位图像再生装置基于作为全方位图像信息的属性信息而包括的方向信息能够在全方位图像的再生画面(或输出画面)上的特定位置进一步显示用于标识方向的方向指示符。
例如，基于方向信息而能够在全方位图像再生装置(例如，VR(virtual reality，虚拟现实)装置)的再生画面中显示指示正北方向的正北方向指示符(例如，第一三角形)600。另外，还能够为了传递对于方向的信息而追加指示非为正北方向指示符600的其它方向(东/南/西等)的方向标识指示符。
另外，输出全方位图像信息的全方位图像再生装置能够输出指示拍摄者的视线方向(line of sight)的拍摄者视线方向指示符(例如，第二三角形)650。
收视这种全方位图像的用户能够认知基于正北方向指示符600/拍摄者视线方向指示符650等而再生的全方位图像的方向。因此，能够有助于用户从全方位图像中认知当前观看的方向并理解全方位图像。另外，用户基于拍摄了全方位图像的拍摄者的视线方向指示符650而快速识别拍摄者的正面方向，从而能够鉴赏根据拍摄者的拍摄意图的全方位图像。
图7是示出了本发明实施例的再生全方位图像时输出方向转换请求指示符的方法的概念图。
图7表示一种用于指示用户观看全方位图像的特定方向的视线引导指示符700。
包括方向信息而作为全方位图像信息的属性信息，对全方位图像信息进行拍摄/生成的拍摄者或对全方位图像信息进行编辑的编辑者能够将特定方向设定为收视全方位图像的用户的主收视方向。基于视线引导指示符700而能够表示主收视方向。主收视方向还能够根据主收视方向的设定意图多次变更而不是特定的方向。
例如，能够假设正北方向或拍摄者视线方向被设定为全方位图像的主收视方向的情况。在这种情况下，全方位图像再生装置能够输出用于将用户的当前视线方向引导到所设定的主收视方向上的视线引导指示符700。
全方位图像再生装置计算用户的当前视线方向与主收视方向之间的误差(或差异)，并在全方位图像上能够进一步显示用于将用户的视线方向引导到主收视方向上的视线引导指示符700。
视线引导指示符700的形态根据用户的当前视线方向与主收视方向之间的误差而会改变。例如，在视线引导指示符700为箭头模样的形象的情况下，箭头模样的形态/长度等会根据当前视线方向与主收视方向之间的误差而改变。或者，视线引导指示符700可以是如闪烁光标那样的形象，其形象能够根据当前视线方向与主收视方向之间的误差而改变。
在用户基于视线引导指示符700而改变视线方向且当前视线方向与主收视方向之间的误差减小的情况下，视线引导指示符700的形状会反映减小的误差而变化。
用户的当前视线方向由于佩戴了VR再生装置的用户的转过头或动弹身体的行为、观看监视器的用户用鼠标拖动全方位图像的行为而会改变。
在用户的当前视线方向包括于以主收视方向为基准而设定的临界范围内的情况下，视线引导指示符700会消失。
或者，在用户的当前视线方向已进入到以主收视方向为基准而设定的临界范围内的情况下，视线方向引导指示符700的形状变成其它模样或在全方位图像上进一步显示指示主收视方向的追加性的标识符，以使用户的当前视线方向与主收视方向更准确地一致，从而能够更准确地引导用户的视线方向。
另外，根据本发明的另一实施例，全方位图像再生装置能够设定即使用户不转过头也使主收视方向与用户的当前视线一致地再生的全方位图像的方向。
例如，假设主收视方向为正北方向，则用户能够在临界时间内以用户转过头或动弹身体或用鼠标拖动的方式改变用户的当前视线方向，但在临界时间已过之后，用户的当前视线方向能够切换为正北方向。作为另一种表示，忽略临界时间内改变了用户的当前视线方向的用户的各种动作，并将用户的当前视线方向周期性地强行改变到设定成主收视方向的正北方向，从而能够周期性地进行设定使得用户的当前视线方向与主收视方向相同。
图8是示出了本发明实施例的生成方向信息的方法的概念图。
图8公开一种用于基于所感测的方向信息而在全方位图像中确定非为所感测的方向的其它方向的方法。
参照图8，通过传感器部仅有特定方向信息(例如，正北方向信息)被感测并作为属性信息而能够记录到全方位图像信息中。
此后，在要在全方位图像中设定对于非为所感测的方向的其它方向的方向指示符的情况下，能够以所感测的方向为基准生成对于未被感测的方向的方向信息。
如上所述，全方位图像装置能够包括3个图像拍摄部(图像拍摄部一、图像拍摄部二、图像拍摄部三)。能够假设基于由3个图像拍摄部所生成的图像一、图像二以及图像三而生成的全方位图像信息包括指示所感测的方向(第一方向)的方向信息作为属性信息的情况。
仅包括对于所感测的方向(第一方向)的信息而作为属性信息，在图像一的视场角中特定方向为第一方向的情况下，在图像一中将第一方向设定为0度850，其余全方位图像中的特定方向的角度通过插值(interpolation)而能够以0～360度来表示。
为了插值而能够利用对于图像的视场角的信息。例如，在假设图像一的视场角为150度(-75度～+75度)的情况下，以设定为0度850的第一方向和视场角为基准而能够执行用于确定对于图像一中的特定方向的方向信息的插值。例如，能够算出图像一的视场角的中心方向与第一方向的差异并以第一方向(0度850)为新的基准点而确定图像一的其余地点的方向信息。例如，在第一方向以视场角为基准为+20度800方向的情况下，以视场角为基准的+20度方向800能够被设定为0度850而作为用于表示方向信息的基准点。即、对于图像一中的以视场角为基准的其余方向(-75～+75度)的方向信息，考虑视场角而能够以将新的基准点即第一方向作为基准的-95度(265度)～+55度来进行插值而表示。
另外，在图像二和图像三的情况下，能够考虑与图像一重叠的区域并考虑与图像一重叠的区域的方向信息和图像二/图像三的视场角而执行插值过程。例如，在位于图像一和图像二重叠的区域的对象A的方向信息通过前面所述的对于图像一的插值过程而确定为45度的情况下，在图像二中相同的对象A的方向被设定为45度，且图像二中的其余方向的方向信息能够考虑图像二的视场角(-75～+75)而确定。
或者，根据本发明的另一实施例，为了进行方向信息的插值，传感器部能够包括与图像一、图像二以及图像三各自的视场角的中心方向对应的方向信息而作为属性信息。在需要对于特定地点的方向信息的情况下，还能够考虑图像一、图像二以及图像三各自的视场角的中心方向的方向信息和对于图像一、图像二以及图像三各自的视场角的信息而以图像一、图像二以及图像三的方向信息进行插值而生成。
图9是示出了本发明实施例的生成方向信息的方法的概念图。
图9公开一种用于在以特定时间间隔生成的方向信息存在的情况下生成特定时间间隔内拍摄的图像(图像帧)的方向信息的方法。
能够假设方向信息以1秒间隔由传感器部所感测。在这种情况下，第一方向信息生成时间点与第二方向信息生成时间点之间的差异可以是1秒。
在第一方向信息生成时间点与第二方向信息生成时间点之间生成的图像帧中有可能不包括方向信息。在这种情况下，能够考虑第一方向信息生成时间点的第一图像帧的第一方向信息和/或第二方向信息生成时间点的第二图像帧的第二方向信息而推断在第一方向信息生成时间点与第二方向信息生成时间点之间生成的图像帧(以下，称为“方向预测目标帧”)的方向信息。
参照图9的上端，能够确定在第一图像帧910和方向预测目标帧900中共同地包括的不动的固定对象915。固定对象915可以是如建筑物、雕塑等那样的对象。在第一方向信息生成时间点和第二方向信息生成时间点为临界时间以下的情况下，还能够使用未被固定的移动的对象(或非固定对象)以确定方向预测目标帧的方向信息。
能够假设在第一图像帧910中固定对象915的方向信息指示第一方向的情况。固定对象915的方向信息和在方向预测目标帧900中也相同地包括的固定对象915的方向信息可以相同。方向预测目标帧900还能够以所确定的固定对象915的方向信息和视场角为基准而确定方向预测目标帧900中的其它方向。
参照图9的下端，在第一图像帧960和方向预测目标帧950中并不存在共同地包括的不动的固定对象的情况下，能够确定第二图像帧970和方向预测帧950中共同地包括的不动的固定对象955。
此后，能够假设在第二图像帧970中固定对象955的方向信息指示第二方向的情况。在这种情况下，在方向预测目标帧950中也相同地包括的固定对象955的方向信息也能够指示第二方向。方向预测目标帧950还能够以所确定的固定对象955的方向信息和视场角为基准而确定方向预测目标帧950中的其它方向。
在第一图像帧和方向预测目标帧中有可能不存在共同地包括的固定对象，同样地、在第二图像帧和方向预测目标帧中有可能不存在共同地包括的固定对象。在这种情况下，能够基于非为固定对象的移动的对象而确定方向预测目标帧的方向信息。
能够以相同的方式确定第一图像帧和方向预测目标帧中共同包括的移动的对象(非固定对象)。
此后，在第一图像帧中由非固定对象的方向信息所指示的第一方向可以是在方向预测目标帧中也相同地包括的非固定对象的方向信息。就方向预测目标帧而言，还能够基于所确定的非固定对象的方向信息和视场角而确定方向预测目标帧中的其它方向。
在并不存在第一图像帧和方向预测帧中共同地包括的非固定对象的情况下，能够确定第二图像帧和方向预测帧中共同地包括的非固定对象。
此后，在第二图像帧中由非固定对象的方向信息所指示的第二方向可以是在方向预测目标帧中也相同地包括的非固定对象的方向信息。方向预测目标帧还能够基于所确定的非固定对象的方向信息和视场角而确定方向预测目标帧中的其它方向。
图10是示出了本发明实施例的考虑用户的关心而生成标识信息的方法的概念图。
图10公开一种用于在所再生的全方位图像中追加对于用户所关心的方向的标识符的方法。
参照图10，在用户收视全方位图像的情况下，用户能够对全方位图像上的特定对象抱着关心一边跟踪对象一边收视全方位图像。
例如，在假设全方位图像为老鹰飞翔的图像时，用户能够在全方位图像中一边跟踪老鹰的移动一边鉴赏图像。作为又一个例子，在为了跟踪罪犯位置而利用全方位图像的情况下，用户能够在全方位图像中跟踪移动的罪犯的移动。从全方位图像的特性上来讲，如老鹰/罪犯那样的特定对象能够在360度方向中向特定方向移动。
根据本发明实施例，全方位图像再生装置能够判断用户带着关心收视的对象，并跟踪对象的移动而引导用户的当前视线方向。
首先，全方位图像再生装置能够确定用户带着关心收视的关心对象1020。
全方位图像再生装置能够以用户的视线方向1000为基准判断在临界范围1050内存在临界时间以上的至少一个对象的存在而确定用户带着关心收视的关心对象1020。用户的视线方向1000可以是输出到当前显示器上的图像的中心方向。确定关心对象的方法将在下面具体叙述。
全方位图像再生装置确定关心对象1020是否脱出以用户的视线方向1000为基准的临界范围1050。
全方位图像再生装置在关心对象1020脱出以用户的视线方向1000为基准的临界范围1050之外的情况下，能够生成对象位置指示符1030而向用户提供对于关心对象1020移动的方向的信息。
对象位置指示符1030可以是如箭头那样的指示符，且用户能够基于对象位置指示符1030而对于对象的移动方向进行跟踪。
图11是示出了本发明实施例的确定用户的关心对象的方法的概念图。
图11公开一种用于确定收视全方位图像的用户的关心对象的方法。
参照图11，在用户的第一时间点1160的第一视线方向1110的临界范围1100内存在对象1150且在第二时间点1170的第二视线方向1120的临界范围1100内存在同一对象1150的情况下，能够将该对象1150设定为关心对象。第一时间点1160和第二时间点1170可以是具有临界时间差异的时间点。
在满足上述条件的对象为多个的情况下，能够将相对更靠近第一视线方向1110和第二视线方向1120的对象设定为关心对象。例如，在第一对象的方向与第一视线方向1110的误差为5度、与第二视线方向1120的误差为10度且第二对象的方向与第一视线方向1110的误差为3度、与第二视线方向1120的误差为5度的情况下，能够将第二对象设定为关心对象。
或者，在满足上述条件的对象为多个的情况下，能够比第一视线方向1110更权重第二视线方向1120而将更靠近第二视线方向的对象设定为关心对象。例如，在第一对象的方向与第一视线方向1110的误差为7度、与第二视线方向1120的误差为5度且第二对象的方向与第一视线方向1110的误差为10度、与第二视线方向1120的误差为2度的情况下，能够将第二对象设定为关心对象。
在设定为关心对象的对象上能够追加特定的指示符。在用户并不想改变关心对象的情况下，使对象与视线方向一致以改变成关心对象，从而能够崭新地设定关心对象。
图12是示出了本发明实施例的用于确定用户的关心对象的方法的概念图。
图12公开一种用于考虑其他用户的全方位图像鉴赏信息而确定收视全方位图像的用户的关心对象的方法。
参照图12，收视了全方位图像的各用户的收视记录能够传输至全方位图像服务服务器1220。多个全方位图像再生装置1200能够将与多个用户的全方位图像再生相关的信息即全方位图像再生信息传输至全方位图像服务服务器1220。
全方位图像再生信息能够包括收视记录信息。收视记录信息能够在全方位图像所再生的特定再生时间包括对于用户的收视方向的信息。例如，收视记录信息能够包括与特定再生时间单位(例如，1秒单位)匹配的用户的视线方向信息。
全方位图像服务服务器1220能够基于收视记录信息而提取对于多个用户抱着关心观看得多的对象的信息(以下，称为“用户关心对象信息”)。用户关心对象可以是特定临界比率以上的用户在特定再生时间点示出了关心的对象。为了在全方位图像再生装置1250生成对象位置指示符而能够使用用户关心对象信息。全方位图像服务服务器1220能够将用户关心对象信息传输至全方位图像再生装置1250。全方位图像再生装置1250能够输出用于在基于用户关心对象信息而再生的图像中指示特定对象的对象位置指示符。
即、考虑其他用户的收视记录信息而对鉴赏全方位图像的用户生成对象位置指示符，从而能够向用户传递对于其他用户示出了关心的特定对象所移动的方向的信息。
图13是示出了本发明实施例的用于基于拍摄者的移动而调整方向信息的生成周期的方法的概念图。
图13显示一种考虑拍摄全方位图像的用户的移动程度而调整方向信息的生成周期的方法。全方位图像处理装置能够具体实现为可穿戴设备而在移动过程中进行拍摄，且能够调节方向信息的生成周期。
参照图13，全方位图像处理装置的传感器部能够感测全方位图像处理装置的方向变化程度，并根据方向变化程度而不同地设定方向信息感测周期。
在临界时间内感测方向变化程度(步骤S1300)，并在方向变化程度为临界值以下的情况下(步骤S1310)，能够拉长方向信息的感测周期(步骤S1320)。相反，在方向变化程度超出临界值的情况下(步骤S1310)，能够缩短方向信息的感测周期(步骤S1330)。就这种感测周期的拉长或缩短而言，能够进行缩短或拉长直至达到最小周期值、最大周期值为止。
即、在拍摄的方向未改变的情况下，能够逐渐拉长方向信息的感测周期而拉长至达到最大周期值为止。在拍摄的方向改变的情况下，能够逐渐缩短方向信息的感测周期而缩短至达到最大周期值为止。
另外，根据本发明实施例，能够假设全方位图像处理装置的方向快速变化的情况。即、在临界时间内的方向变化的程度超出最大临界值的情况下，能够使方向信息的感测周期缩短至最小周期值。
在前面所述的本发明实施例中，为了便于说明起见，假设在全方位图像处理装置生成方向信息并在全方位图像再生装置处理方向信息而输出指示符。然而，这种方向信息的生成/处理/利用操作能够在各种装置上执行，并不限定于上述的全方位图像处理装置/全方位图像再生装置。
能够以称为方向信息处理装置的用语来表示在全方位图像中生成/处理/利用方向信息并基于方向信息而生成另外的标识信息/指示符的装置。即、方向信息处理装置可以是生成和/或接收全方位图像的方向信息并基于方向信息而设定对于全方位图像的方向指示符的装置。另外，如上所述，方向信息处理装置还可以是执行用于基于方向信息而将收视全方位图像的用户的视线引导到特定方向上的功能的装置。即、方向信息处理装置能够执行之前在图5至图13所述的功能，这种功能能够基于方向信息处理装置的处理器而执行。例如，方向信息处理装置能够基于通信部而接收全方位图像的方向信息且使用处理器基于方向信息而设定对于全方位图像的方向指示符。
以上说明的根据本发明实施例能够以通过各种计算机构成要素而能够执行的程序指令的方式具体实现并记录于计算机可读记录介质中。上述计算机可读记录介质能够将程序指令、数据文件、数据结构等单独或组合而包括。记录于上述计算机可读记录介质的程序指令可以是为本发明而专门设计并构成的程序指令，或者可以是计算机软件领域的技术人员所公知而能够使用的程序指令。在计算机可读记录介质的例子中包括如硬盘、软盘以及磁带那样的磁介质、如CD-ROM和DVD那样的光学记录介质、如光磁软盘(floptical disk)那样的磁光介质(magneto-optical medium)以及如ROM、RAM、快闪存储器等那样的存储并执行程序指令地专门构成的硬件设备。在程序指令的例子中不仅包括诸如由编译器生成的机器语言代码还包括使用编译器等而通过计算机能够执行的高级语言代码。硬件设备能够变更为一个以上的软件模块以执行根据本发明的处理，反之亦然。
以上虽然通过诸如具体构成要素等的特定事项和有限的实施例以及附图说明了本发明，但这只是为了有助于更全面地理解本发明而提供而已，本发明并不限定于上述实施例，本领域普通技术人员通过这些记载能够进行各种修改和变更。
因此，本发明的思想不得由上面所说明的实施例所限定，不仅是所附的权利要求书，与该权利要求书等同或由此等价地变更的所有范围均属于本发明的思想的范畴。

Claims (11)

1.一种生成全方位图像的方向信息的方法，其特征在于，包括如下步骤：
由方向信息处理装置接收全方位图像的方向信息；以及
由所述方向信息处理装置基于所述方向信息而设定对于所述全方位图像的方向指示符，
其中，所述方向指示符在所述全方位图像的再生画面上指示至少一个方向。
2.根据权利要求1所述的生成全方位图像的方向信息的方法，其特征在于，
所述方向信息是在生成所述全方位图像时由方向传感器部所生成的，
所述方向指示符指示以特定轴为基准的360度方向中的基于所述方向信息而确定的所述至少一个方向。
3.根据权利要求2所述的生成全方位图像的方向信息的方法，其特征在于，
所述方向指示符包括拍摄者视线方向指示符，
所述拍摄者视线方向指示符指示拍摄所述全方位图像的拍摄者的视线方向。
4.根据权利要求3所述的生成全方位图像的方向信息的方法，其特征在于，
所述全方位图像基于由包含于全方位图像处理装置的多个图像拍摄部分别拍摄的多个图像而生成，
所述方向信息指示所述多个图像中的至少一个图像的拍摄方向。
5.根据权利要求4所述的生成全方位图像的方向信息的方法，其特征在于，
根据基于所述方向信息而指示的方向、关于所述多个图像之间的重叠区域的信息以及所述多个图像各自的视场角信息，来确定所述方向指示符所指示的所述至少一个方向。
6.一种方向信息处理装置，用于生成全方位图像的方向信息，其特征在于，包括：
通信部，用于接收全方位图像的方向信息；以及
处理器，其可操作地连接在所述通信部，且基于所述方向信息而设定对于所述全方位图像的方向指示符，
其中，所述方向指示符在所述全方位图像的再生画面上指示至少一个方向。
7.根据权利要求6所述的方向信息处理装置，其特征在于，
所述方向信息是在生成所述全方位图像时由方向传感器部所生成的，
所述方向指示符指示以特定轴为基准的360度方向中的基于所述方向信息而确定的所述至少一个方向。
8.根据权利要求7所述的方向信息处理装置，其特征在于，
所述方向指示符包括拍摄者视线方向指示符，
所述拍摄者视线方向指示符指示拍摄所述全方位图像的拍摄者的视线方向。
9.根据权利要求8所述的方向信息处理装置，其特征在于，
所述全方位图像基于由包含于全方位图像处理装置的多个图像拍摄部分别所拍摄的多个图像而生成，
所述方向信息指示所述多个图像中的至少一个图像的拍摄方向。
10.根据权利要求9所述的方向信息处理装置，其特征在于，
根据基于所述方向信息而指示的方向、关于所述多个图像之间的重叠区域的信息以及所述多个图像各自的视场角信息，来确定所述方向指示符所指示的所述至少一个方向。
11.一种计算机可读记录介质，其特征在于，
记录有用于执行权利要求1至5中任一项所述的生成全方位图像的方向信息的方法的计算机程序。
CN201780087074.5A 2017-03-07 2017-06-19 生成全方位图像的方向信息的方法及执行该方法的装置 Withdrawn CN110383819A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020170028756A KR101810671B1 (ko) 2017-03-07 2017-03-07 전방향 영상의 방향 정보를 생성하는 방법 및 이러한 방법을 수행하는 장치
KR10-2017-0028756 2017-03-07
PCT/KR2017/006420 WO2018164317A1 (ko) 2017-03-07 2017-06-19 전방향 영상의 방향 정보를 생성하는 방법 및 이러한 방법을 수행하는 장치

Publications (1)

Publication Number Publication Date
CN110383819A true CN110383819A (zh) 2019-10-25

Family

ID=61093996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780087074.5A Withdrawn CN110383819A (zh) 2017-03-07 2017-06-19 生成全方位图像的方向信息的方法及执行该方法的装置

Country Status (6)

Country Link
US (1) US10911658B2 (zh)
EP (1) EP3595290A4 (zh)
JP (1) JP6975476B2 (zh)
KR (1) KR101810671B1 (zh)
CN (1) CN110383819A (zh)
WO (1) WO2018164317A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201710646A (zh) * 2015-09-02 2017-03-16 湯姆生特許公司 描繪大視場內容一部份時，決定導航資訊之方法和裝置，以及大視場內容描繪器
CN114342366A (zh) * 2019-07-22 2022-04-12 交互数字Vc控股公司 用于递送体积视频内容的方法和装置
KR102673704B1 (ko) * 2021-12-17 2024-06-12 이화여자대학교 산학협력단 전방향 위치 정보 제공 장치 및 전방향 위치 정보 제공 방법

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101063804A (zh) * 2006-04-25 2007-10-31 三星电子株式会社 拍摄全景图像的方法
CN101902571A (zh) * 2009-05-27 2010-12-01 索尼公司 图像拍摄装置、电子设备、全景图像记录方法及程序
KR20110075730A (ko) * 2009-12-28 2011-07-06 전자부품연구원 전방향 카메라 장치 및 이의 구동 방법
CN102483859A (zh) * 2009-09-29 2012-05-30 索尼计算机娱乐公司 全景图像显示装置和全景图像显示方法
CN103916582A (zh) * 2013-01-07 2014-07-09 华为技术有限公司 一种图像处理方法及装置
CN104823152A (zh) * 2012-12-19 2015-08-05 高通股份有限公司 使用视线追踪实现扩增实境
CN105378625A (zh) * 2013-06-25 2016-03-02 微软技术许可有限责任公司 指示视野外的增强现实图像
US20160269631A1 (en) * 2015-03-09 2016-09-15 Fujitsu Limited Image generation method, system, and apparatus
US20160309082A1 (en) * 2014-01-09 2016-10-20 Trax Technology Solutions Pte Ltd. Method and Device for Panoramic Image Processing
EP3119077A1 (en) * 2015-07-17 2017-01-18 Amaryllo International B.V. Dynamic tracking device
CN106357976A (zh) * 2016-08-30 2017-01-25 深圳市保千里电子有限公司 一种全方位全景图像生成的方法和装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08307739A (ja) * 1995-05-11 1996-11-22 Canon Inc ビデオカメラ
JP2001154647A (ja) * 1999-11-26 2001-06-08 Canon Inc 表示装置、画像処理装置、画像表示システム、画像表示方法、及び記憶媒体
JP3925057B2 (ja) * 2000-09-12 2007-06-06 カシオ計算機株式会社 カメラ装置、撮影範囲表示システム、及び撮影範囲表示方法
JP2003244511A (ja) * 2002-02-13 2003-08-29 Fuji Photo Film Co Ltd 全方位撮影カメラ
KR100630007B1 (ko) 2004-07-15 2006-09-27 엘지전자 주식회사 파노라마 사진 촬영 방법
KR100944389B1 (ko) 2008-05-14 2010-03-03 (주)파노시스 원샷 파노라마 ｖｒ 촬영장치
JP2012075018A (ja) * 2010-09-29 2012-04-12 Casio Comput Co Ltd 再生装置及び方法、並びにプログラム
JP5917061B2 (ja) * 2011-09-26 2016-05-11 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記憶媒体
US9686466B1 (en) * 2013-06-27 2017-06-20 Google Inc. Systems and methods for environment content sharing
JP2015023512A (ja) * 2013-07-22 2015-02-02 オリンパスイメージング株式会社 撮影装置、撮影方法及び撮影装置の撮影プログラム
KR102021857B1 (ko) 2013-07-23 2019-09-17 엘지전자 주식회사 이동 단말기 및 그의 파노라마 촬영방법
US20170053545A1 (en) * 2015-08-19 2017-02-23 Htc Corporation Electronic system, portable display device and guiding device
US20170316806A1 (en) * 2016-05-02 2017-11-02 Facebook, Inc. Systems and methods for presenting content
US10127632B1 (en) * 2016-09-05 2018-11-13 Google Llc Display and update of panoramic image montages

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101063804A (zh) * 2006-04-25 2007-10-31 三星电子株式会社 拍摄全景图像的方法
CN101902571A (zh) * 2009-05-27 2010-12-01 索尼公司 图像拍摄装置、电子设备、全景图像记录方法及程序
CN102483859A (zh) * 2009-09-29 2012-05-30 索尼计算机娱乐公司 全景图像显示装置和全景图像显示方法
KR20110075730A (ko) * 2009-12-28 2011-07-06 전자부품연구원 전방향 카메라 장치 및 이의 구동 방법
CN104823152A (zh) * 2012-12-19 2015-08-05 高通股份有限公司 使用视线追踪实现扩增实境
CN103916582A (zh) * 2013-01-07 2014-07-09 华为技术有限公司 一种图像处理方法及装置
CN105378625A (zh) * 2013-06-25 2016-03-02 微软技术许可有限责任公司 指示视野外的增强现实图像
US20160309082A1 (en) * 2014-01-09 2016-10-20 Trax Technology Solutions Pte Ltd. Method and Device for Panoramic Image Processing
US20160269631A1 (en) * 2015-03-09 2016-09-15 Fujitsu Limited Image generation method, system, and apparatus
EP3119077A1 (en) * 2015-07-17 2017-01-18 Amaryllo International B.V. Dynamic tracking device
CN106357976A (zh) * 2016-08-30 2017-01-25 深圳市保千里电子有限公司 一种全方位全景图像生成的方法和装置

Also Published As

Publication number Publication date
JP6975476B2 (ja) 2021-12-01
JP2020510336A (ja) 2020-04-02
EP3595290A1 (en) 2020-01-15
KR101810671B1 (ko) 2018-01-25
EP3595290A4 (en) 2020-01-15
US20200007728A1 (en) 2020-01-02
WO2018164317A1 (ko) 2018-09-13
US10911658B2 (en) 2021-02-02

Similar Documents

Publication Publication Date Title
EP3195595B1 (en) Technologies for adjusting a perspective of a captured image for display
US8330793B2 (en) Video conference
US9256986B2 (en) Automated guidance when taking a photograph, using virtual objects overlaid on an image
US20200265633A1 (en) Image processing apparatus, image processing method, and storage medium
CN103649988A (zh) 视点物体选择
EP3349095B1 (en) Method, device, and terminal for displaying panoramic visual content
CN112655202B (zh) 用于头戴式显示器的鱼眼镜头的减小带宽立体失真校正
CN110383819A (zh) 生成全方位图像的方向信息的方法及执行该方法的装置
CN112666705A (zh) 一种眼动追踪设备及眼动追踪方法
KR101467529B1 (ko) 착용형 정보 제공 시스템
EP3528024B1 (en) Information processing device, information processing method, and program
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
EP3779959A1 (en) Information processing device, information processing method, and program
KR102178990B1 (ko) 전방향 영상의 방향 정보를 생성하는 방법 및 이러한 방법을 수행하는 장치
TW201827106A (zh) 移動追蹤方法及移動追蹤系統
JP2018107695A (ja) 推定システム、推定方法及び推定プログラム
CN110892705A (zh) 通过判断最佳状况来进行拍摄的方法及执行该方法的装置
KR101856548B1 (ko) 스트리트 뷰 서비스 방법 및 이러한 방법을 수행하는 장치
CN113283329B (zh) 视线追踪系统、眼动仪、视线追踪方法、设备及介质
US11983306B2 (en) Peripheral tracking system and method
KR102596487B1 (ko) 표시 제어 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체
KR102213308B1 (ko) 전방향 영상 촬상 방법 및 이러한 방법을 수행하는 장치
CN105630170A (zh) 一种信息处理方法及电子设备
KR20240107477A (ko) 가상 환경에서의 객체 그룹화 트래킹 제공 방법 및 그를 위한 컴퓨팅 장치
KR101487490B1 (ko) 웨어러블 단말의 영상 분석 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40015902

Country of ref document: HK

WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20191025