CN107431765A - 信息处理设备、信息处理方法和信息处理程序 - Google Patents

信息处理设备、信息处理方法和信息处理程序 Download PDF

Info

Publication number
CN107431765A
CN107431765A CN201680019781.6A CN201680019781A CN107431765A CN 107431765 A CN107431765 A CN 107431765A CN 201680019781 A CN201680019781 A CN 201680019781A CN 107431765 A CN107431765 A CN 107431765A
Authority
CN
China
Prior art keywords
dimensional
virtual
image
unit
inwall
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680019781.6A
Other languages
English (en)
Other versions
CN107431765B (zh
Inventor
千叶建人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN107431765A publication Critical patent/CN107431765A/zh
Application granted granted Critical
Publication of CN107431765B publication Critical patent/CN107431765B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G06T3/08—
    • G06T3/12—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/80—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/06—Curved planar reformation of 3D line structures

Abstract

贴附单元(58)沿着布置在虚拟三维空间中的虚拟三维球体的内壁来贴附全向全景图像，该全向全景图像通过在包括所有方向的范围内捕获图像而获得。获取单元(60)获取将要嵌入在全向全景图像上的嵌入图像。生成单元(62)生成嵌入图像已经贴附在二维平面上的平面图像。计算单元(64)以使得从虚拟三维球体的中心点朝向内壁的视线方向平行于与平面图像垂直的线的定向计算用于布置平面图像的布置位置，所述布置位置位于内壁的中心点侧。显示控制单元(66)将显示图像显示在显示单元上，该显示图像通过以下方式获得：将已经沿着虚拟三维球体的内壁贴附全向全景图像并且平面图像已经布置在布置位置的状态转变为在视线方向从中心点看到的二维图像。

Description

信息处理设备、信息处理方法和信息处理程序
技术领域
本发明涉及信息处理设备、信息处理方法和信息处理程序。
背景技术
已经公开了在虚拟三维球体的内壁上贴附和显示通过使全方向范围成像而获得的全球面全景图像的技术。
此外，已经公开了在全球面全景图像中嵌入和显示指示日期和时间、创建者、版本等的各种图像。
发明内容
技术问题
然而，通常，当在全球面全景图像中嵌入其他图像时，已经被嵌入的嵌入图像被显示为使得该嵌入图像沿三维球面失真。
问题的方案
为了解决上述问题并实现目的，根据本发明的信息处理装置包括：贴附单元，其用于沿着布置在虚拟三维空间中的虚拟三维球体的内壁，贴附通过使全方向范围成像而获得的全球面全景图像；获取单元，其用于获取将要嵌入在全球面全景图像上的嵌入图像；生成单元，其用于生成通过将嵌入图像贴附在二维平面上而获得的平面图像；计算单元，其用于以从虚拟三维球体的中心点到内壁的视线方向与平面图像的垂直线相互平行的定向，计算用于将平面图像布置为比内壁更靠近虚拟三维球体的中心点的布置位置；以及显示控制单元，用于将显示图像显示在显示单元上，所述显示图像通过以下方式获得：将沿着虚拟三维球体的内壁贴附全球面全景图像并且将平面图像布置在布置位置的状态转变为在视线方向从中心点观看的二维图像。
本发明的有益效果
根据本发明的实施例，可以不失真地显示嵌入在全球面全景图像中的嵌入图像。
附图说明
图1是根据实施例的信息处理系统的示意图。
图2A是成像设备的外观示意图。
图2B是成像设备的外观示意图。
图2C是成像设备的外观示意图。
图3是示出使用成像设备的示例的示意图。
图4A是用于说明成像设备捕获到的图像的示意图。
图4B是用于说明成像设备捕获到的图像的示意图。
图4C是用于说明成像设备捕获到的图像的示意图。
图5是用于说明信息处理装置的硬件配置的示意图。
图6是示出信息处理装置的功能配置的示意图。
图7是用于说明贴附的示意图。
图8是示出全球面全景图像的示例的示意图。
图9是示出嵌入图像和平面图像的示例的示意图。
图10是说明布置位置的计算的示意图。
图11是示出显示图像的示例的示意图。
图12是示出信息处理流程的示例的流程图。
图13是示出布置位置计算处理的流程的示例的流程图。
具体实施方式
下面将描述本发明的各个实施例。
图1是根据实施例的信息处理系统10的示意图。
管理装置10包括输入单元12、显示单元16、以及操作单元18。信息处理装置12、显示单元16和操作单元18经由无线或有线通信单元(诸如，网络)相互可通信地连接。
在通信单元中，使用例如短距离无线技术、利用移动通信网络的无线通信网络、互联网等。短距离无线技术的示例包括蓝牙(注册商标)。利用移动通信网络的无线通信网络包括第三代(3G)移动通信和全球微波接入互操作性(WiMAX)。
显示单元16是用于显示图像的常用显示设备。例如，可以使用液晶显示器、有机电致发光(EL)显示器等。
操作单元18具有接收来自用户的各种操作指令的功能。如图1所示，操作单元18包括键盘18A、鼠标18B和用户界面(UI)单元18C。
UI单元18C是具有接收来自用户的操作输入并且显示各种图像的操作面板功能的设备。也就是说，UI单元18C具有显示单元的功能。
例如，使用诸如智能手机、平板终端、笔记本个人计算机、桌上型个人计算机或个人数据助理(PDA)的计算机作为UI单元18C。图1中将UI单元18C和信息处理装置12示出为通过线路连接，但是可以进行无线连接。具体地，在无线连接的情况下，能够在互联网上提供信息处理装置12，并且使得UI单元18C操作信息处理装置12在网络上执行编辑。
在本实施例中，将描述智能手机或平板终端作为UI单元18C的情况；但是，具有触摸面板功能的任何配置是适用的。
信息处理系统10除了键盘18A、鼠标18B和UI单元18C之外还可以包括其他种类的操作单元，或者还可以包括多个成像设备14。
信息处理装置12是执行材料的显示和编辑的计算机。在本实施例中，信息处理装置12控制图像在显示单元16或UI单元18C上的显示。
如果UI单元18C是诸如智能手机、平板终端的计算机，则可以在UI单元18C上实现信息处理装置12的功能。
在本实施例中，信息处理装置12在显示单元16或UI单元18C上显示全球面全景图像。
全球面全景图像是通过对全球面(360度全向)范围成像而获得的全景图像。换言之，全球面全景图像是通过在4π球面度立体角获得图像并且对全球面范围成像而获得的全景图像。全景图像是视角比图像最终显示在的显示设备的长宽比宽的图像。
下面，为了简化说明，将描述信息处理装置12在显示单元16上显示全球面全景图像的情况。然而，信息处理装置12可以在UI单元18C上显示全球面全景图像。此外，如果UI单元18C具有信息处理装置12的功能，则UI单元18C在UI单元18C所提供的显示单元上显示全球面全景图像。
例如，信息处理装置12可以将全球面全景图像存储在存储单元中，并且从存储单元获取全球面全景图像。再例如，信息处理装置12可以从成像设备获取全球面全景图像。
将描述捕获全球面全景图像的成像设备。图2(图2A至图2C)是成像设备14的外观示意图。图2A是成像设备14的侧视图。图2B是与图2A相对侧的成像设备14的侧视图。图2C是成像设备14的平视图。
如图2A中所示，成像设备14具有允许人单手握住成像设备14的尺寸。成像设备14的尺寸不限于该示例。成像设备14是获取全球面全景图像的成像设备。
如图2(图2A至图2C)中所示，在成像设备14的上部，透镜20A设置在前侧(一个表面侧)，而透镜20B设置在后侧(另一表面侧)。图像通过视角为180度或更大的每个广角透镜传导，并且该图像形成在每个成像元件上。成像元件的示例包括电荷耦合器件和互补金属氧化物半导体(CMOS)。
此外，如图2B中所示，诸如快门按钮的操作单元14设置在成像设备14的前侧。
例如，可以使用日本特开专利申请2014-165764中描述的成像设备作为获取全球面全景图像的成像设备14。
接着，参考图3描述使用成像设备14的示例。图3是示出使用成像设备14的示例的示意图。如图3中所示，成像设备14被保持在用户的手中以拍摄用户周围的物体。在此情况下，成像元件捕获通过透镜20A和透镜20B传导的图像从而将用户周围的物体进行成像，使得获得两个半球面图像并且获得4π球面度的立体角中的图像。
接着，参考图4描述成像设备14捕获的图像。图4(图4A至图2C)是用于说明成像设备14捕获的图像的示意图。图4A示出由透镜20A捕获到的半球面图像42A。图4B示出由透镜20B捕获到的半球面图像42B。图4C示出通过墨卡托(Mercator)投影呈现出的全球面全景图像42。
如图4A所示，广角透镜之一的透镜20A是鱼眼透镜；因此，通过投影20A获得的图像是弯曲半球面图像42A。此外，如图4B所示，广角透镜之一的透镜20B是鱼眼透镜；因此，通过投影20B获得的图像是弯曲半球面图像42B。然后，半球面图像42A和半球面图像42B由成像设备14进行合成，使得生成图4C中所示的全球面全景图像42。
再参考图1，当成像设备14连接到信息处理装置12时，由成像设备14获得的全球面全景图像42被从成像设备14发送到信息处理装置12。在本实施例中，成像设备14向信息处理装置12发送全球面全景图像42。
信息处理装置12从成像设备14获取全球面全景图像42。
然后，信息处理装置12利用开放图形库(OpenGL)在显示单元16、UI单元18C等上显示获取到的全球面全景图像42。
接着，描述信息处理装置12的硬件配置。
图5是用于说明信息处理装置12的硬件配置的示意图。
信息处理装置12包括：中央处理器(CPU)，其控制整个信息处理装置12的操作；只读存储器(ROM)32，在其中存储用于驱动CPU 30的程序，诸如初始程序加载器；随机存取存储器(RAM)34，其用于CPU 30的工作区域；硬盘(HD)38，其中存储各种类型的数据，诸如信息处理装置12使用的程序；以及硬盘驱动器(HDD)36，其在CPU 30的控制下控制各种数据向HD38的写入和从HD 38的读取。
此外，信息处理装置12包括媒体驱动器507，其控制数据向记录介质506(诸如闪速存储器)的写入(存储)和从记录介质506的读取；显示器508，其显示各种图像；接口(I/F)509，其用于与成像设备14和操作单元18(键盘18A、鼠标18B和UI单元18C)进行通信；光盘只读存储器(CD-ROM)驱动器514，其控制各种数据向CD-ROM 513(作为可移除记录介质的一个示例)的写入和从CD-ROM 513的读取；以及总线510，其将上述组件进行电连接。
用于执行通过信息处理装置12所进行的信息处理的信息处理程序被预先包含在ROM 32中或者任何其他非易失性存储介质中来提供。此外，信息处理装置12执行的信息处理程序可以通过计算机可安装或计算机可执行文件的格式记录在计算机可读记录介质(例如，CD-ROM 513)中来提供，诸如CD-ROM、软盘(FD)、可记录光盘(CD-R)、或者多功能光盘(DVD)。
而且，信息处理装置12执行的信息处理程序可以存储在连接到网络(诸如因特网)的计算机中，并且可以经由网络进行下载从而提供或分发。
此外，信息处理装置12执行的信息处理程序可以预先包括在ROM 32等中来提供。
接着，描述信息处理装置12的功能配置。
图6是示出信息处理装置12的功能配置的示意图。信息处理装置12包括控制单元52、操作单元18(诸如UI单元18C)、以及HD 38。控制单元52电连接到成像设备14、显示单元16、操作单元18(诸如UI单元18C)、以及HD 38。
控制单元52是控制整个信息处理装置12并且包括如上所述的CPU 30、ROM 32、RAM34等的计算机。控制单元52可以由电路等组成。
控制单元52包括连接单元54、导入单元56、贴附单元58、获取单元60、生成单元62、计算单元64和显示单元66。
连接单元54、导入单元56、贴附单元58、获取单元60、生成单元62、计算单元64和显示控制单元66的部分或者全部可以通过使得诸如CPU的处理器执行程序来实现，也就是通过例如软件来实现。连接单元54、导入单元56、贴附单元58、获取单元60、生成单元62、计算单元64和显示控制单元66的部分或者全部可以通过硬件(诸如集成电路(IC))来实现，或者通过软件和硬件的组合来实现。
具体地，信息处理装置12执行的信息处理程序具有包括上述单元(连接单元54、导入单元56、贴附单元58、获取单元60、生成单元62、计算单元64和显示控制单元66)的模块结构。作为实际的硬件，CPU 30从存储介质读取并且执行信息处理程序，使得上述单元加载在主存储设备上，并且在主存储设备上生成。
连接单元54建立到成像设备14的连接。例如，当成像设备14以有线或无线方式连接到信息处理装置12时，连接单元54与成像设备14一起根据预先定义的通信协议来执行通信控制以建立连接。利用该操作，连接单元54建立到成像设备14的连接。
导入单元56从成像设备14导入全球面全景图像42。从成像设备14导入的全球面全景图像42可以存储在HD 38中。在此情况下，导入单元56可以从HD 38导入全球面全景图像42。
贴附单元58沿着布置在虚拟三维空间中的虚拟三维球体的内壁，贴附通过对全方向范围进行成像而获得的全球面全景图像42。图7是用于说明贴附的示意图。
贴附单元58将虚拟三维球体CS布置在虚拟三维空间中。虚拟三维球体CS可以是横截面为完美圆形的球体，或者是横截面为椭圆形的椭球。在图7中，作为一个示例，示出球体的横截面是完美圆形的虚拟三维球体CS。
贴附单元58将全球面全景图像42贴附在虚拟三维球体CS的内壁A上。在下面的描述中，贴附的全球面全景图像42被称之为全球面全景图像40。贴附单元58可以利用三维(3D)图形引擎(诸如OpenGL)将全球面全景图像42贴附在虚拟三维球体CS上。
图8是示出全球面全景图像40的示例的示意图。如图8中所示，通过将全球面全景图像42(见图4C)贴附在虚拟三维球体CS上获得全球面全景图像40。图8示出全球面全景图像40，其表示从虚拟三维球体CS的中心点P(见图7)在特定视线方向上观察内壁A的状态。
再参考图6，获取单元60获取待嵌入到全球面全景图像42的嵌入图像。
嵌入图像可以是待嵌入在全球面全景图像42中的任何图像，并且通过用户在操作单元18上执行的操作指令来指定。嵌入图像例如是表示字符的字符图像。
生成单元62以使得嵌入图像贴附在二维平面上的形式生成平面图像。也就是，生成单元62在虚拟二维空间中布置二维平面(例如，板状构件)，然后将嵌入图像贴附在二维平面上以生成平面图像。
图9是示出嵌入图像44和平面图像46的示例的示意图。如图9中所示，嵌入图像44例如是诸如“○○建筑”的字符图像。例如，生成单元62生成通过将嵌入图像44贴附在二维平面上而获得的平面图像46。
获取单元60还可以获得指示嵌入图像44的形状的形状信息。例如，用户操作UI单元18C以输入待嵌入的图像和指示嵌入图像44的形状的形状信息。获取单元60从UI单元18C获取作为待嵌入的目标图像的嵌入图像44和形状信息。获取单元60还可以获得指示嵌入图像44的尺寸的尺寸信息。该尺寸可以通过用户在UI单元18C上执行的操作指令适当地输入。尺寸信息是指示嵌入图像44的显示尺寸的信息。
能够安置嵌入图像44的形状足够作为平面图像46的形状。当获取单元60获取到指示嵌入图像44的形状的形状信息时，生成单元62可以生成通过将嵌入图像44贴附在二维平面上而获得的平面图像46，该平面图像46具有形状信息指示的形状。
因此，例如如果形状信息指示四边形，则生成单元62生成平面图像46，该平面图像46通过将嵌入图像44贴附在四边形二维平面上获得。再例如，例如如果形状信息指示椭圆形，则生成单元62生成平面图像46，该平面图像46通过将嵌入图像44贴附在椭圆形二维平面上获得。
此外，当获得单元60获得尺寸信息时，生成单元62可以生成具有尺寸信息所指示的显示尺寸的平面图像46。
再参考图6，计算单元64计算布置位置，该布置位置用于将平面图像46布置为与虚拟三维球体CS的内壁A相比更靠近中心点P。在此情况下，计算单元64以从虚拟三维球体CS的中心点P到内壁A的视线方向与平面图像46的垂直线相互平行的定向，计算使得平面图像46被布置为与虚拟三维球体CS的内壁A相比更靠近中心点P(从而安置在该虚拟三维球体CS中)的布置位置。
图10是说明布置位置的计算的示意图。
首先，计算单元64布置平面图像46使得从中心点P到内壁A的视线方向L与平面图像46的垂直线相互平行。
然后，计算单元46计算平面图像46应当沿着视线方向L从内壁A到中心点P移动多远，以布置整个平面图像46，使得整个平面图像46被安置在虚拟三维球体CS中同时保持上述定向。
具体地，计算单元64获取平面图像46的尺寸。计算单元64可以获取由获取单元60获取到的尺寸信息所指示的尺寸，或者可以从生成单元62所生成的平面图像46获取该尺寸。
更具体地，计算单元64获取平面图像46的最大长度作为尺寸d。最大长度表示平面图像46的边和对角线之中的最大长度。当平面图像46形状为矩形时，计算单元64获取平面图像46的对角线长度作为尺寸d。此外，当平面图像46形状为圆形(真正的圆形)时，计算单元64获取平面图像46的直径作为尺寸d。
随后，基于虚拟三维球体CS的半径r和获取到的尺寸d，计算单元64根据下面的表达式(1)和(2)计算由对应于半径r的两边和对应于尺寸d的一边形成的三角形中的中心点P周围对应于半径r的两边之间的角度θ。
cosθ＝(2r2-d2)/4r (1)
θ＝arccos((2r2-d2)/4r) (2)
随后，基于虚拟三维球体CS的半径r和计算出的角度θ，计算单元64根据下面的表达式(3)计算平面图像46沿视线方向L从内壁A到中心点P的移动量h。
h＝r×(1-cos(θ/2)) (3)
然后，计算单元64计算出平面图像46沿着视线方向L从内壁A朝向中心点P移动移动量h所在的位置(即，从中心点P距离(r-h)的位置)，作为平面图像46的布置位置，同时保持平面图像46的垂直线平行于视线方向L的定向。
因此，如图10中所示，布置在计算出的布置位置(与内壁A分开移动量h的位置)的平面图像46进入如下状态：平面图像46被安置在虚拟三维球体CS中，并且垂直线与视线方向L平行。此外，平面图像46被布置在比虚拟三维球体CS的内壁A更靠近中心点P的位置。
再参考图6，显示控制单元66生成通过以下方式获得的显示图像：将全球面全景图像40贴附在虚拟三维球体CS的内壁A并且平面图像46被布置在通过计算单元64计算出的布置位置的状态转变为在视线方向L从中心点P观看的二维图像。
从上述状态到二维图像的转换可以利用3D图形引擎(OpenGL等)来执行。
然后，显示控制单元66在显示单元16或UI单元18C上显示生成的显示图像。
图11是示出显示图像48的示例的示意图。如图11中所示，显示控制单元66在显示单元16或UI单元18C上显示显示图像48。
显示图像48是通过将嵌入图像44贴附在二维平面上而获得的平面图像46合成在全球面全景图像40上的图像。
在本示例中，全球面全景图像40是通过将全球面全景图像42贴附在虚拟三维球体CS的内壁A上获得的图像。因此，该图像与实际景观相比是失真的(见图11)。
在此，显示图像48是呈现如下状态的图像：通过将嵌入图像44贴附在二维平面上而获得的平面图像46以从中心点P到内壁A的视线方向L与平面图像46的垂直线相互平行的定向被布置在虚拟三维球体CS中的计算出的布置位置，并且在视线方向L从中心点P进行观看。也就是，嵌入图像44被布置在由全球面全景图像40形成的三维模型(与之相比更靠近中心点P)的前面。
因此，显示图像48中包括的平面图像46呈现出在相对于视线方向L的垂直方向上看平面图像46的状态。也就是说，不失真地显示平面图像46。
接着，将描述信息处理装置12的控制单元52执行的编辑处理。
图12是示出信息处理装置12的控制单元52执行的信息处理的流程的流程图。
首先，导入单元56获取将要显示在显示单元16上的全球面全景图像42(步骤S100)。例如，用户操作UI单元18C指定全球面全景图像42作为显示目标。导入单元56从HD38获取作为显示目标从UI单元18C接收到的全球面全景图像42。导入单元56可以从成像设备14获取全球面全景图像42。
随后，贴附单元58将在步骤S100获取到的全球面全景图像42贴附在布置在虚拟三维空间中的虚拟三维球体CS的内壁A上(步骤S102)(见图7和图8)。
然后，获取单元60获取将要嵌入在全球面全景图像42上的嵌入图像44(步骤S104)。随后，生成单元62生成通过将嵌入图像44贴附在二维平面上而获得的平面图像46(步骤S106)。
然后，计算单元64计算布置位置，用于将平面图像46布置为比虚拟三维球体CS的内壁A更靠近中心点P(步骤S108)(随后将描述细节)。
随后，显示控制单元66将全球面全景图像40贴附在虚拟三维球面CS的内壁A上，并且将平面图像46布置在步骤S108计算出的布置位置(步骤S110)。然后，显示控制单元66生成显示图像48，该显示图像48通过将上述状态转变为在视线方向L从中心点P观看的二维图像来获得。
然后，显示控制单元66在显示单元16或UI单元18C上显示生成的显示图像(步骤S112)。然后，结束该例程。
接着，将描述图12中在步骤S108执行的布置位置计算处理。图13是示出布置位置计算处理的流程图。
首先，计算单元64布置平面图像46使得从中心点P朝向内壁A的视线方向L与平面图像46的垂直线相互平行。然后，计算单元64获取平面图像46的尺寸(步骤S200)。例如，计算单元64获取平面图像46的最大长度作为尺寸d。
随后，计算单元64根据上面所述的表述式(1)和(2)，基于虚拟三维球体CS的半径和获取到的尺寸d，计算出包括对应于半径r的两边和对应于尺寸d的一边的三边所形成的三角形中对应于半径r的两边之间的角度θ。
然后，计算单元64计算出平面图像46沿着视线方向L从内壁A朝向中心点P移动移动量h所在的位置(即，与中心点P距离(r-h)的位置)，作为平面图像46的布置位置(步骤S204)。然后，结束该例程。
如上所述，根据本实施例的信息处理装置12包括贴附单元58、获取单元60、生成单元62、计算单元64和显示控制单元66。贴附单元58沿着布置在虚拟三维空间中的虚拟三维球体CS的内壁，贴附通过对全方向范围进行成像而获得的全球面全景图像42。获取单元60获取将要嵌入在全球面全景图像42上的嵌入图像44。生成单元62生成通过将嵌入图像44贴附在二维平面上而获得的平面图像46。计算单元64计算布置位置，该布置位置用于将平面图像46以从虚拟三维球体CS的中心点P到内壁A的视线方向L与平面图像46的垂直线相互平行的定向布置为比虚拟三维球体CS的内壁A更靠近中心点P。显示控制单元16将显示图像48显示在显示单元16上，其中显示图像48通过以下方式获得：将沿着虚拟三维球体CS的内壁A贴附全球面全景图像42而获得全球面全景图像40并且平面图像46被布置在布置位置的状态转变为在视线方向L从中心点P观看的二维图像。
因此，显示图像48中包括的平面图像46呈现出在相对于视线方向L的垂直方向上看平面图像46的状态。也就是说，不失真地显示了嵌入在全球面全景图像40中的平面图像46。
因此，在根据本实施例的信息处理装置12中，能够不失真地显示嵌入在全球面全景图像42中的嵌入图像。
通常，将嵌入图像44沿着内壁A嵌入在全球面全景图像40上，全球面全景图像40是通过将全球面全景图像42沿着虚拟三维球体CS的内壁A布置而获得的。因此，通常以沿着虚拟三维球体CS的内壁A失真的方式显示嵌入图像44。
相反，在本实施例中，信息处理装置12生成平面图像46，该平面图像46通过将待嵌入在全球面全景图像42中的嵌入图像44贴附在二维平面上而获得，并且将平面图像46布置为比虚拟三维球体CS的内壁A更靠近中心点P。因此，不失真地显示了嵌入在全球面全景图像40中的平面图像46。
此外，优选地是，虚拟三维球体CS是横截面为完美圆形的球体，或者是横截面为椭圆形的椭球。
而且，优选地是，嵌入图像44包括字符图像。
此外，获取单元60可以获取指示嵌入图像44的形状的形状信息，并且生成单元62可以生成通过将嵌入图像44贴附在二维平面上而获得的平面图像46，该平面图像46具有形状信息指示的形状。
虽然上面已经描述用于实现本发明的各个实施例，但是本发明不限于上述实施例。在不脱离本发明的主旨的范围内可以修改本发明。
附图标记列表
10 信息处理系统
12 信息处理装置
16 显示单元
18C UI单元
58 贴附单元
60 获取单元
62 生成单元
64 计算单元
66 显示控制单元
参考文献列表
专利文献
专利文献1：日本特开专利申请号H10-334272

Claims (6)

1.一种信息处理装置，包括:
贴附单元，其用于沿着布置在虚拟三维空间中的虚拟三维球体的内壁，贴附通过在全方向范围进行成像而获得的全球面全景图像；
获取单元，其用于获取将要嵌入在所述全球面全景图像上的嵌入图像；
生成单元，其用于生成通过将所述嵌入图像贴附在二维平面上而获得的平面图像；
计算单元，其用于以从虚拟三维球体的中心点到内壁的视线方向与平面图像的垂直线相互平行的定向，计算用于将所述平面图像布置为比所述内壁更靠近虚拟三维球体的中心点的布置位置；以及
显示控制单元，用于将显示图像显示在显示单元上，所述显示图像通过以下方式获得：将沿着虚拟三维球体的内壁贴附全球面全景图像并且将所述平面图像布置在所述布置位置的状态转变为在视线方向从中心点观看的二维图像。
2.根据权利要求1所述的信息处理装置，其中所述虚拟三维球体是横截面为完美圆形的球体和横截面为椭圆形的椭球中的一个。
3.根据权利要求1所述的信息处理装置，其中所述嵌入图像包括字符图像。
4.根据权利要求1所述的信息处理装置，其中
所述获取单元用于获取指示所述嵌入图像的形状的形状信息，并且
所述生成单元用于生成平面图像，所述平面图像通过将所述嵌入图像贴附在具有所述形状信息所指示的形状的二维平面上而获得。
5.一种信息处理方法，包括:
沿着布置在虚拟三维空间中的虚拟三维球体的内壁，贴附通过使全方向范围进行成像而获得的全球面全景图像；
获取将要嵌入在所述全球面全景图像上的嵌入图像；
生成通过将所述嵌入图像贴附在二维平面上而获得的平面图像；
以从虚拟三维球体的中心点到内壁的视线方向与平面图像的垂直线相互平行的定向，计算用于将所述平面图像布置为比内壁更靠近虚拟三维球体的中心点的布置位置；以及
将显示图像显示在显示单元上，所述显示图像通过以下方式获得：将沿着虚拟三维球体的内壁贴附全球面全景图像并且将所述平面图像布置在所述布置位置的状态转变为在视线方向从中心点观看的二维图像。
6.一种信息处理程序，使得计算机执行：
沿着布置在虚拟三维空间中的虚拟三维球体的内壁，贴附通过在全方向范围进行成像而获得的全球面全景图像；
获取将要嵌入在所述全球面全景图像上的嵌入图像；
生成通过将所述嵌入图像贴附在二维平面上而获得的平面图像；
以从虚拟三维球体的中心点到内壁的视线方向与平面图像的垂直线相互平行的定向，计算用于将所述平面图像布置为比内壁更靠近虚拟三维球体的中心点的布置位置；以及
将显示图像显示在显示单元上，所述显示图像通过以下方式获得：将所述全球面全景图像沿着虚拟三维球体的内壁贴附并且将所述平面图像布置在所述布置位置的状态转变为在视线方向从中心点观看的二维图像。
CN201680019781.6A 2015-04-06 2016-04-05 信息处理设备、信息处理方法 Active CN107431765B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015077766 2015-04-06
JP2015-077766 2015-04-06
PCT/JP2016/061059 WO2016163342A1 (ja) 2015-04-06 2016-04-05 情報処理装置、情報処理方法、および情報処理プログラム

Publications (2)

Publication Number Publication Date
CN107431765A true CN107431765A (zh) 2017-12-01
CN107431765B CN107431765B (zh) 2020-11-27

Family

ID=57072602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680019781.6A Active CN107431765B (zh) 2015-04-06 2016-04-05 信息处理设备、信息处理方法

Country Status (6)

Country Link
US (2) US10692409B2 (zh)
EP (1) EP3282687B1 (zh)
JP (3) JP6394794B2 (zh)
CN (1) CN107431765B (zh)
CA (1) CA2981134A1 (zh)
WO (1) WO2016163342A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111954054A (zh) * 2020-06-05 2020-11-17 筑觉绘(上海)科技有限公司 图像处理方法、系统、存储介质及计算机设备

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11095869B2 (en) * 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
US10339627B2 (en) * 2016-10-10 2019-07-02 Gopro, Inc. Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
CN107169924B (zh) * 2017-06-14 2020-10-09 歌尔科技有限公司 三维全景图像的建立方法和系统
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129717A (zh) * 2011-03-09 2011-07-20 上海诚明融鑫科技有限公司 一种实现三维全景空间中通过热点浏览全景的方法和系统
US20150077416A1 (en) * 2013-03-13 2015-03-19 Jason Villmer Head mounted display for viewing and creating a media file including omnidirectional image data and corresponding audio data

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6317127B1 (en) 1996-10-16 2001-11-13 Hughes Electronics Corporation Multi-user real-time augmented reality system and method
JP3199231B2 (ja) 1997-05-27 2001-08-13 日本アイ・ビー・エム株式会社 ３次元形状モデルへの情報の埋め込み方法及びシステム
JP2004214830A (ja) * 2002-12-27 2004-07-29 Iwane Kenkyusho:Kk 一部リアルタイム画像表示装置
JP4980617B2 (ja) * 2005-08-26 2012-07-18 株式会社岩根研究所 二次元図面と映像の合成表示装置
JP2009187306A (ja) * 2008-02-06 2009-08-20 G1 Systems Inc 映像閲覧システム
JP6003135B2 (ja) 2012-03-22 2016-10-05 株式会社リコー 画像処理装置、画像処理方法及び撮像装置
US9215448B2 (en) * 2013-01-31 2015-12-15 Here Global B.V. Stereo panoramic images
JP6079297B2 (ja) 2013-02-26 2017-02-15 株式会社リコー 編集装置、編集方法、及び編集プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129717A (zh) * 2011-03-09 2011-07-20 上海诚明融鑫科技有限公司 一种实现三维全景空间中通过热点浏览全景的方法和系统
US20150077416A1 (en) * 2013-03-13 2015-03-19 Jason Villmer Head mounted display for viewing and creating a media file including omnidirectional image data and corresponding audio data

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111954054A (zh) * 2020-06-05 2020-11-17 筑觉绘(上海)科技有限公司 图像处理方法、系统、存储介质及计算机设备

Also Published As

Publication number Publication date
JP2020053080A (ja) 2020-04-02
JP6627935B2 (ja) 2020-01-08
US10923004B2 (en) 2021-02-16
EP3282687A4 (en) 2018-03-21
US10692409B2 (en) 2020-06-23
JP6816812B2 (ja) 2021-01-20
JP2019024203A (ja) 2019-02-14
US20200279515A1 (en) 2020-09-03
EP3282687A1 (en) 2018-02-14
JP6394794B2 (ja) 2018-09-26
US20180012529A1 (en) 2018-01-11
WO2016163342A1 (ja) 2016-10-13
EP3282687B1 (en) 2020-11-11
JPWO2016163342A1 (ja) 2017-11-16
CA2981134A1 (en) 2016-10-13
CN107431765B (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
CN107431765A (zh) 信息处理设备、信息处理方法和信息处理程序
KR102332950B1 (ko) 구면 비디오 편집
CN106803884B (zh) 图像处理装置
US8768098B2 (en) Apparatus, method, and medium for generating panoramic image using a series of images captured in various directions
US9437045B2 (en) Real-time mobile capture and application of photographic images as textures in three-dimensional models
US10165182B1 (en) Panoramic imaging systems based on two laterally-offset and vertically-overlap camera modules
JP2022537614A (ja) マルチ仮想キャラクターの制御方法、装置、およびコンピュータプログラム
CN109668545B (zh) 用于头戴式显示装置的定位方法、定位器以及定位系统
KR20180096170A (ko) 전자 장치 및 전자 장치에서 360도 영상 디스플레이 방법
US10147160B2 (en) Image management apparatus and system, and method for controlling display of captured image
Samini et al. A review of current, complete augmented reality solutions
JP2022507714A (ja) 測量用サンプリング点の計画方法、装置、制御端末及び記憶媒体
CN203078415U (zh) 智能车载全景成像系统
JP5172794B2 (ja) ビデオコミュニケーションシステム、方法およびプログラム
WO2021121291A1 (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
KR20240045743A (ko) 영상 합성기능 제공 방법 및 그를 위한 컴퓨팅 장치
CN114782514A (zh) 图像标注、获取图像标注模型的方法、装置及设备
CN117119303A (zh) 一种摄像头模组的控制方法
Rizzo et al. AugNav: a location-based augmented reality system for outdoors navigation with smartphones
JP2017068832A (ja) 画像管理システム、画像通信システム、画像管理方法、及びプログラム
KR20180020838A (ko) 가상현실 이미지 합성 서버 및 이를 포함한 가상현실 이미지 합성 시스템
JP2005222009A (ja) 携帯情報端末に対応した３次元全周動画・静止画提供システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant