CN103141078B - 图像显示装置及图像显示方法 - Google Patents

图像显示装置及图像显示方法 Download PDF

Info

Publication number
CN103141078B
CN103141078B CN201180047976.9A CN201180047976A CN103141078B CN 103141078 B CN103141078 B CN 103141078B CN 201180047976 A CN201180047976 A CN 201180047976A CN 103141078 B CN103141078 B CN 103141078B
Authority
CN
China
Prior art keywords
mentioned
image
panoramic picture
mask
object images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180047976.9A
Other languages
English (en)
Other versions
CN103141078A (zh
Inventor
古村京子
平田真
平田真一
山岸建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN103141078A publication Critical patent/CN103141078A/zh
Application granted granted Critical
Publication of CN103141078B publication Critical patent/CN103141078B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/02—Stereoscopic photography by sequential recording
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G06T3/12—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45455—Input to filtering algorithms, e.g. filtering a region of the image applied to a region of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors

Abstract

掩模区域抽取部（11）抽取全景图像内的应掩模的区域。掩模处理部（12）生成对全景图像内的应掩模的区域进行了掩模的全景图像。对位部（20）使上述天球图像的方向与上述全景图像的拍摄方向一致。映射处理部（14）将掩模处理后的全景图像及天球图像作为纹理而映射于三维全景空间。三维图像生成部（16）生成以全景图像的拍摄地点为视点位置、在被指定的视线方向上观看三维全景空间时的三维全景图像。

Description

图像显示装置及图像显示方法
技术领域
本发明涉及显示图像的装置及方法。
背景技术
数字静物照相机（digital still camera）和数字摄像机已经普及，将所拍摄的静图像和动图像保存在计算机中进行阅览、加工，或将其显示于游戏机或电视（TV）系统的画面上的机会正在增加。此外，将所拍摄的动图像上传到因特网上的投稿网站，与其他用户共享动图像的情况也很流行。
数码照相机中还有能够拍摄全景图像的照相机，其已能够简单地拍摄视场角大的全景图像。此外，通过一边改变拍摄方向，一边粘贴数码照相机所拍摄的多个图像来生成全景图像的软件工具也已经常被利用。
存在接受用户所拍摄的这样的全景图像的投稿，并将其在因特网上公开的称作360cities的网站（http://www.360cities.net），在该网站上，能够阅览全世界的用户所投稿的全景图像。
发明内容
〔发明所要解决的课题〕
因为全景图像是拍摄了从拍摄地点观看全方位的图像时的图像，故若在野外拍摄全景图像，则在全景图像的天顶部分，多数仅是拍到拍摄者头顶上方辽阔的天空。若针对占据全景图像的绝大部分的天空区域施以给与某种视觉效果的图像处理，则能够期待给与全景图像新鲜感、使其具有多样性。此外，若将其它对象（object）插入所拍摄的全景图像中进行描绘，则能够虚拟地生成拍有并不存在的物体的全景图像，还能够期待图像让人意想不到、其乐趣增加。
本发明是鉴于这样的课题而研发的，其目的在于提供一种能够加工图像来显示的技术。
〔用于解决课题的手段〕
为解决前述课题，本发明的一个方案的图像显示装置包括：存储部，保持被关联有与拍摄方向相关的信息的对象图像和被关联有与方向相关的信息的天球图像；掩模区域抽取部，抽取上述对象图像内的应掩模的区域；掩模处理部，生成将上述对象图像内的上述应掩模的区域掩模后的对象图像；对位部，使上述天球图像的方向与上述对象图像的拍摄方向一致；映射处理部，在上述对位部进行对位后，将掩模处理后的对象图像及上述天球图像作为纹理而映射于三维对象空间；三维图像生成部，生成以上述对象图像的拍摄地点为视点位置、在被指定的视线方向上观看上述三维对象空间时的三维对象图像；以及显示控制部，使上述三维对象图像显示于画面。
本发明的另一个方案也是图像显示装置。该装置包括：存储部，保持被关联有与拍摄方向相关的信息的对象图像及被关联有与方向相关的信息的虚拟图像；掩模区域抽取部，抽取上述对象图像内的应掩模的区域；掩模处理部，生成将上述对象图像内的上述应掩模的区域掩模后的对象图像；对位部，使上述虚拟图像的方向与上述对象图像的拍摄方向一致；以及显示控制部，在上述对位部进行对位后，使在掩模处理后的对象图像中重叠了上述虚拟图像的增强现实图像显示于画面。
本发明的另一个方案是图像显示方法。该方法包括：处理器从存储设备中读出显示对象的对象图像和天球图像的步骤，该存储设备中保持有被关联了与拍摄方向相关的信息的对象图像及被关联了与方向相关的信息的天球图像；处理器针对上述对象图像指定应掩模的区域的步骤；处理器使上述天球图像的方向与上述对象图像的拍摄方向一致的步骤；以及在对位后，处理器将上述天球图像重叠地描绘于上述对象图像的应掩模的区域的步骤。
此外，将以上构成要素的任意组合、本发明的表现形式在方法、装置、系统、计算机程序、数据结构、记录介质等间变换后的实施方式，作为本发明的方案也是有效的。
〔发明效果〕
通过本发明，能够有效地加工并显示图像。
附图说明
图1是实施方式的全景图像显示装置的构成图。
图2是作为图1的全景图像显示装置所连接的输入设备的一个例子的控制器的构成图。
图3的（a）～（d）是说明用于拍摄全景图像的全方位拍摄系统的机构和拍摄方向的图。
图4的（a）是说明照相机的方位角θ的图，图4的（b）是说明照相机的仰角φ的图。
图5的（a）～（c）是说明照相机的初始位置在方位角θ的方向上时拍摄的全景图像的图。
图6的（a）～（c）是说明在照相机的仰角φ＝60°时拍摄的全景图像的图。
图7A是说明拼接多个图像来制作全景图像的方法的图。
图7B是说明拼接多个图像来制作全景图像的方法的图。
图8是说明图1的全景图像显示装置的全景图像生成步骤的流程图。
图9A是表示所拍摄的全景图像的例子的图。
图9B是表示通过分割（segmentation）而被区域分割了的全景图像的图。
图9C是表示被滤波处理后的全景图像的图。
图9D是表示指定全景图像内的天空区域的掩模的图。
图9E是表示天空区域被掩模处理后的全景图像的图。
图10是说明被映射全景图像的三维全景空间与天球的关系的图。
图11A是表示在图9E的掩模处理后的全景图像的天空区域中粘贴有天球图像的例子的图。
图11B是表示在图9E的掩模处理后的全景图像的天空区域中粘贴有星空的例子的图。
具体实施方式
说明本发明的实施方式的概要。抽取全景图像内的拍有天空的区域，并对其施以使全景图像的天空区域透明的掩模处理。假设在被映射全景图像的全景球等三维全景空间的外侧有天球，预先将天空的图像等作为天球图像来准备，并将其映射于被映射全景图像的三维全景空间。由此，生成在全景图像的被设为透明的天空区域中粘贴有天球图像的三维全景图像。若在天球内配置全景图像中所没有拍摄到的其它对象，并将对象也一起映射于三维全景空间，则能够将对象插入所生成的三维全景图像。此外，可以设置多个天球，将多个天球图像映射到三维全景空间中。例如，设置云彩天球和天空天球，针对云彩天球准备云彩图像，针对天空天球准备太阳、月亮、星星等天体的图像。
图1是实施方式的全景图像显示装置100的构成图。作为一个例子，图1所示的全景图像显示装置100的功能结构能够通过对个人计算机、游戏机、便携设备、便携终端等安装硬件、软件或其组合来构成。这些功能结构的一部分被组装于服务器，一部分被组装于客户端，全景图像显示装置100可以介由网络而作为服务器客户系统来实现。
全景图像·附加数据存储部24保持将与拍摄地点相关的信息和与拍摄方位相关的信息建立了关联的全景图像。与拍摄地点、拍摄方位相关的信息等附加数据可以直接附加于全景图像的数据文件中，也可以将附加数据作为不同于全景图像的文件来管理。
与拍摄地点相关的信息例如包含由GPS（Global Positioning System）给出的纬度、经度信息。与拍摄方位相关的信息例如包含从方位传感器等得到的全景图像的中心点的方位角的信息，还可以包含拍摄时的照相机的仰角和滚动角的信息。
作为与拍摄方位相关的信息，若给出全景图像的中心点的方位角，则能够基于将照相机的镜头向左右方向摇摆的角度来计算并求出全景图像的任意点的方位。可以将基于全景图像的中心点的方位角和摇摆（pan）角计算出来的处于全景图像的正北、正南、正东、正西方位的像素的坐标值作为与拍摄方位相关的信息，附加于全景图像。
全景图像取得部10从全景图像·附加数据存储部24取得显示对象全景图像。显示对象全景图像例如通过用户在地图等中指定拍摄地点来确定。
掩模区域抽取部11抽取显示对象全景图像内的应掩模的区域。应掩模的区域例如是全景图像中所拍到的天空区域。能够基于全景图像的颜色信息来判断天空区域。由于在全景图像中，拍摄者的头顶上方多数会是天空，故天空区域多数被检测为在照相机的较大仰角时拍摄的连续的宽广区域。
由于全景图像中附有拍摄时的照相机的仰角的信息，故掩模区域抽取部11可以基于照相机的仰角的信息来判断全景图像的地平线的位置，在全景图像的地平线上侧区域内抽取天空区域。或者，由于照相机的仰角比预定阈值大的区域肯定是地平线上侧的区域，故可以在该区域内抽取天空区域。由此，即使地平线下侧的区域中存在与天空颜色相似的区域，也能够避免与天空区域混淆而进行抽取的错误（error）。
掩模处理部12生成将由掩模区域抽取部11抽取出的应掩模的区域掩模了的全景图像。当掩模区域抽取部11抽取了天空区域作为应掩模的区域时，以所抽取出的天空区域作为掩模施以掩模处理，生成掩模了天空区域的全景图像。作为全景图像的掩模处理，例如使原全景图像中被掩模指定的区域透明、或生成对该区域进行了剪切的图像。掩模处理不限定于清除掩模区域的像素值的2值掩模，还可以采用对掩模区域的像素值进行alpha混合（alpha blend）的多值掩模。掩模处理部12将掩模处理后的全景图像保存于全景图像·附加数据存储部24中。
天球图像数据存储部26保持有与掩模处理后的全景图像重叠的天球的图像数据。天球处于被映射全景图像的三维全景空间的外侧，被设定于天球的表面的天空的图像是天球图像。从各种地点观看到的天球图像与视点的纬度、经度建立对应地存储于天球图像数据存储部26。天球图像中例如包括太阳、月亮、星星等天体或云彩等，天体或云彩可以基于天体的运行模式、气象模式来移动。此外，天球图像可以是基于实景拍摄而生成的图像，也可以是使用计算机图形处理而生成的图像。
对位部20使天球图像的方向与掩模处理后的全景图像的拍摄方向一致。具体来讲，对位部20计算天球图像的旋转角，使天球图像旋转，以使得以全景图像的拍摄地点的纬度、经度为中心的天球的中心与被映射全景图像的三维全景空间的中心相一致，例如以北极星的方位为基准，与由全景图像的摇摆角及倾斜角决定的拍摄方向相一致。
对象数据存储部28中保持有应插入全景图像的对象（object）的三维数据。除静止在预定的纬度、经度、高度的静态对象外，还有基于移动模式在三维空间中移动的动态对象。
对象插入部22将应插入全景图像的对象配置于天球内的被指定的空间位置。对象可以被配置于天球与被映射全景图像的三维全景空间之间、即三维全景空间的外侧，也可以被配置于三维全景空间的内部。对象插入部22所进行的对象插入是一种可选项。
在由对位部20进行的全景图像与天球图像的对位后，映射处理部14进行将掩模处理后的全景图像及天球图像作为纹理而映射于三维全景空间的处理。
在全天球全景图像的情况下，假设球作为三维全景空间，通过球面映射，将全景图像纹理映射于球面。或者，可以假设立方体作为三维全景空间，通过立方体映射，将全景图像纹理映射于立方体表面。此外，若全景图像是不含倾斜（tilt）方向的成分、仅在摇摆方向延展的图像，则可以假设圆柱体作为三维全景空间，将全景图像纹理映射于圆柱体面。全景图像是不含摇摆方向的成分、仅在倾斜方向延展的图像的情况也是一样。
映射处理部14在将天球图像映射于三维全景空间后，使掩模处理后的全景图像重叠地映射于三维全景空间。由此，在三维全景空间上，生成在全景图像内的掩模区域粘贴有天球图像的一部分的图像。
在对象被对象插入部22配置于三维全景空间的内侧或外侧的情况下，映射处理部14将所配置的对象也映射于三维全景空间。
映射处理部14在对象被配置于三维全景空间的外侧的情况下，在将对象映射于三维全景空间后，使掩模处理后的全景图像重叠地映射于三维全景空间。由此，对象被粘贴于全景图像的天空区域，当对象与全景图像中所拍到的建筑物等相重叠时，对象被描绘为被建筑物遮挡住。
在对象被配置于三维全景空间的内侧的情况下，映射处理部14在将掩模处理后的全景图像映射于三维全景空间后，将对象与三维全景空间重叠地进行映射。由此，对象被重叠于全景图像，当对象与全景图像所拍到的建筑物等重叠时，对象被描绘在建筑物的前面。
三维图像生成部16生成在被指定的视线方向上观看被映射处理部14映射了全景图像、天球图像及对象的三维全景空间内时的三维全景图像。若三维全景空间是球，则视点被置于球的中心，若三维全景空间是立方体，则视点被置于立方体内部的中心，若三维全景空间是圆柱体，则视点被置于圆柱体的中心轴上。视点是拍摄显示对象全景图像的地点，而视线方向是从该拍摄地点观看周围的方向，以方位角和仰角来确定。三维图像生成部16生成按方位角和仰角所确定的视线方向观看三维全景空间时的三维图像。
显示控制部18使所生成的三维全景图像显示于显示器装置的画面上。
用户接口部40是能够由用户使用输入设备针对显示器的画面所显示的图形进行操作的图形用户接口。用户接口部40从游戏机的控制器、鼠标、键盘等输入设备接受用户针对画面所显示的地图或三维全景图像的指示。图2表示作为输入设备的一个例子的控制器102，对于其详细的构成会在之后叙述。
用户接口部40指示全景图像取得部10从全景图像·附加数据存储部24取得被指定的全景图像。
用户通过操作例如控制器102的模拟摇杆118或方向键群116等，能够输入变更观看三维全景空间的视线方向的指示。用户接口部40的视线方向设定部32将用户所指示的视线方向提供给三维图像生成部16。三维图像生成部16生成从被指定的视线方向观看三维全景空间时的图像。
视场角设定部31设定在用户针对所显示的全景图像进行了变倍操作时的视场角，向全景图像取得部10和三维图像生成部16提供所设定的视场角的信息。当视场角不同的全景图像已被存储于全景图像·附加数据存储部24时，全景图像取得部10读出距所设定的视场角最近的视场角的全景图像，切换显示对象全景图像。三维图像生成部16通过根据所设定的视场角放大或缩小三维全景图像，来实现变倍放大、变倍缩小的视觉效果。
全景图像中被赋予有与拍摄高度相关的信息，全景图像·附加数据存储部24可以保持以不同的高度针对同一拍摄位置拍摄的全景图像。此时，用户通过操作例如处于控制器102的壳体前面左侧的L1/L2按钮161、162，能够输入变更高度的指示。通过按压L1按钮161，能够给与增加高度的指示，通过按压L2按钮162，能够给与降低高度的指示。
显示控制部18例如可以通过在画面的上部、下部显示小箭头来将针对当前正显示的全景图像有以不同的高度在同一拍摄地点拍摄的全景图像这一事情通知给用户。若画面的上部有向上的箭头，则表示有拍摄高度比当前的高的图像，若画面的下部有向下的箭头，则表示有拍摄高度比当前的低的图像。
用户接口部40的高度设定部34接收到用户的变更高度的指示后，指示全景图像取得部10从全景图像·附加数据存储部24取得拍摄位置相同的、与被指定的高度对应的全景图像。全景图像取得部10在L1按钮161被按压的情况下，取得拍摄高度比当前正显示的全景图像高的全景图像，在L2按钮162被按压的情况下，取得拍摄高度更低的全景图像。
显示控制部18在切换到拍摄高度不同的全景图像进行显示时，例如为给与用户仿佛在升降电梯中升降那样的感觉，可以对图像施以特别的效果。例如，当切换到高度更高的全景图像时，将当前正显示的全景图像向下滚动、使高度更高的全景图像从上方降下来地进行显示，由此，用户能够有仿佛上了楼那样的感觉。
全景图像中被赋予有与拍摄日期时间相关的信息，全景图像·附加数据存储部24可以保持拍摄位置相同而拍摄日期时间不同的全景图像。此时，用户例如通过操作处于控制器102的壳体前面右侧的R1/R2按钮151、152，能够输入变更拍摄日期时间的指示。通过按压R1按钮151，能够给与移换到较晚的日期时间的指示，通过按压R2按钮152，能够给与移换到较早的日期时间的指示。
显示控制部18可以将针对当前正显示的全景图像有在不同的日期时间拍摄的全景图像这一情况例如通过在画面的角落显示时钟或日历的图标来通知给用户。当存在早晨、中午、夜晚等时间带不同的全景图像时，显示时钟图标，当存在春季、夏季、秋季、冬季等拍摄季节不同的全景图像时，显示日历图标。
当用户接口部40的日期时间设定部36从用户接收到变更日期时间的指示时，指示全景图像取得部10从全景图像·附加数据存储部24取得拍摄位置相同的、与被指定的日期时间对应的全景图像。全景图像取得部10在R1按钮151被按压了的情况下，取得拍摄日期时间比当前正显示的全景图像晚的全景图像，在R2按钮152被按压了的情况下，取得拍摄日期时间更早的全景图像。
由此，例如即使是同一拍摄地点，也能够从在早晨的时间带拍摄的全景图像切换为在夜晚时间带拍摄的全景图像，或从春季所拍摄的全景图像切换到秋季所拍摄的全景图像等，切换到拍摄时间带、拍摄季节等不同的全景图像。显示控制部18在切换全景图像时，可以对图像施以淡入淡出等效果。
视点位置设定部30将全景图像的拍摄地点设定于视点位置，将视点位置通知给三维图像生成部16。视线方向设定部32将被指定的视线方向提供给三维图像生成部16。
图2是作为图1的全景图像显示装置100所连接的输入设备的一个例子的控制器102的构成图。全景图像显示装置100例如可以是游戏机。
控制器102具有用于进行对全景图像显示装置100的操作输入的多个按钮和键。用户操作控制器102的按钮、键时，该操作输入被通过无线或有线发送给全景图像显示装置100。
控制器102的壳体上面122设有方向键群116、模拟摇杆118、操作按钮群120。方向键群116包含“上”、“下”、“左”、“右”方向指示键。操作按钮群120包含○按钮124、×按钮126、□按钮128、及△按钮130。
用户以左手握持左侧握持部134b，以右手握持右侧握持部134a，来操作壳体上面122上的方向键群116、模拟摇杆118、及操作按钮群120。
此外，控制器102的壳体前面设有右侧操作部150和左侧操作部160。右侧操作部150包含R1按钮151和R2按钮152，左侧操作部160包含L1按钮161和L2按钮162。
用户通过操作方向键群116，能够使画面上所显示的指针向上下左右各方向移动。例如，选择全景图像内所显示的多个标识器的其中一个时，能够操作方向键群116而在画面上的多个标识器之间移动。用户在指针已到达所希望的标识器上时，通过按压○按钮124，能够选择该标识器。
操作按钮群120的各按钮可以被全景图像显示应用程序分派各自不同的功能。例如，△按钮130被分派指定菜单的显示的功能、×按钮126被分派指定取消所选择的项目等的功能，○按钮124被分派指定所选择的项目的决定等的功能，□按钮128被分派指定目录等的显示/非显示的功能。
模拟摇杆118具备在由用户进行了倾倒操作时，输出模拟值的装置。控制器102将与倾倒模拟摇杆118时的方向和量相应的模拟输出信号传送到全景图像显示装置100。例如，用户通过向所希望的方向倾倒模拟摇杆118，能够在显示器所显示的三维全景图像内使视点向所希望的方向移动。
壳体上面122还设有带LED的按钮136、选择按钮140、开始按钮138。带LED的按钮136例如作为用于使菜单画面显示于显示器的按钮被使用。开始按钮138是用于用户指示全景图像显示应用程序的起动、全景图像的再现开始、暂停等的按钮。选择按钮140是用于用户指示选择显示器所显示的菜单显示等的按钮。
图3的（a）～（d）是说明用于拍摄全景图像的全方位拍摄系统230的机构和拍摄方向的图。
如图3的（d）所示那样，在全方位拍摄系统230中，照相机200被固定于操作盘210，通过使操作盘210围绕Z轴转动，能够改变照相机的摇摆角，通过使操作盘210围绕X轴转动，能够改变照相机的倾斜角，通过使操作盘210围绕Y轴方向转动，能够改变照相机的滚动角。在此，Z轴是铅直轴（重力方向轴）。
图3的（a）是设置于操作盘210上的照相机200的俯视图，将操作盘的初始位置（Y轴方向）定为摇摆角0°，能够围绕Z轴在－180°～＋180°的范围内改变摇摆角。
图3的（b）是设置在操作盘210上的照相机200的主视图，将操作盘210被水平放置的状态定为滚动角0°，能够围绕Y轴在－180°～＋180°的范围内改变滚动角。
图3的（c）是设置在操作盘210上的照相机200的侧视图，将操作盘210被水平放置的状态定为倾斜角0°，能够围绕X轴在－90°～＋90°的范围内改变倾斜角。。
为将与拍摄方位相关的信息赋予给由图3的（d）的全方位拍摄系统230拍摄的全景图像，需要预先记录照相机200在拍摄时朝向哪个方位。为此，全方位拍摄系统230具备用于测量方位的方位传感器和用于测量倾斜角的加速度传感器等。此外，为测量拍摄位置和拍摄时间，还具备GPS传感器等。
图4的（a）是说明照相机200的方位角θ的图，图4的（b）是说明照相机200的仰角φ的图。图4的（a）是照相机200的俯视图，照相机200在拍摄的初始位置时朝向从正北向东偏离了方位角θ的角度的方向220，该方向相当于摇摆角0°。即，摇摆角的基准方向220的方位角是θ。拍摄全景图像时，一边相对于该方位角θ的基准方向220在－180°～＋180°的范围内改变摇摆角，一边全景拍摄被摄物体。
图4的（b）是照相机200的侧视图，仰角φ是使照相机200绕X轴转动了时，相对于倾斜0°的方向、即Y轴方向，将上方向定义为正的角度。通常，由于将照相机200设定在水平位置上来拍摄，故仰角φ＝0°，但在拍摄全天球的全景图像时，需要使照相机倾斜，改变仰角φ来拍摄被摄物体。
图5的（a）～（c）是说明照相机200的初始位置处于方位角θ的方向时所拍摄的全景图像的图。
如图5的（a）的俯视图所示那样，在初始位置下，照相机200朝向方位角θ的方向220，如图5的（b）的侧视图所示那样，照相机200的仰角φ＝0°。保持仰角φ＝0°，一边使照相机200的摇摆角相对于基准方向220在－180°至＋180°的范围内变化，一边拍摄仰角φ＝0°时的全方位的全景图像。图5的（c）表示这样拍摄的全景图像300。全景图像300的中心是摇摆角0°，全景图像300的左半部分是将摇摆角从0°改变至－180°所拍摄的图像，右半部分是将摇摆角从0°改变至180°所拍摄的图像。
因全景图像300的摇摆角0°的中心位置从正北向东偏离了方位角θ，故北（N）、南（S）、东（E）、西（W）的位置是虚线所示的地方。只要全景图像300拥有摇摆角0°的中心位置的方位角θ作为与拍摄方位相关的信息，就能够考虑方位角θ的偏离地计算求得北（N）、南（S）、东（E）、西（W）的像素位置。或者，也可以取代方位角θ，而是具有北（N）、南（S）、东（E）、西（W）的像素位置的坐标值来作为与拍摄方位相关的信息。
为得到全天球的全景图像，需要改变照相机200的仰角来拍摄。例如，假设照相机200的视场角是60°时，从原理上来讲，若在使照相机200上下地倾斜±60°的基础上，一边在－180°～180°的范围内改变摇摆角，一边进行同样的拍摄，则能够得到全天球的全景图像。
图6的（a）～（c）是说明在照相机200的仰角φ＝60°的情况下拍摄的全景图像的图。如图6的（a）的俯视图所示那样，在初始位置，照相机200朝向方位角θ的方向220，如图6的（b）的侧视图所示那样，照相机200的仰角φ＝60°。保持仰角φ＝60°，一边使照相机200的摇摆角相对于基准方向220在－180°至＋180°的范围内变化，一边拍摄如图6的（c）所示那样的仰角φ＝60°时的全景图像302。
同样地，保持照相机200的仰角φ＝－60°，一边使摇摆角在－180°至＋180°的范围内变化，一边拍摄仰角φ＝－60°时的全景图像。若组合仰角φ＝0°、60°、－60°的全景图像，则能够得到全天球全景图像。当然，在实际操作上，为修正在视场角的边缘部分粘贴图像时因镜头的畸变产生的失配，多数采取使边缘附近重叠来拍摄的方法。
这样得到的全天球全景图像被赋予有方位角及仰角的信息，能够基于该信息针对全景图像的任意像素确定方位和仰角。此外，全景图像还被赋予由GPS测量出的纬度、经度信息作为拍摄地点的位置信息。作为一个例子，应赋予全景图像的附加信息可以按照被称作Exif（Exchangeable Image File Format：可交换图像文件）的图像文件的规格来记录。能够将拍摄地点的地名记录在文件名的一部分中，并将拍摄日期时间、拍摄地点的纬度、经度、高度、方位角等作为Exif格式的数据来记录。仰角在Exif格式中没有被定义，但作为扩展数据来记录。
图7A及图7B是说明拼接多个图像来制作全景图像的方法的图。
在图7A的例子中，在一边使照相机200倾斜（或摇摆）一边所拍摄的7幅图像341～347映射于圆筒后，拼接而生成圆筒状的图像340。拼接图像时，使图像的边缘附近重叠。
如图7B所示那样，通过使照相机200摇摆（或倾斜）地进行拍摄，能够在摇摆（或倾斜）方向上得到多个图7A所示的圆筒状的图像。通过使这些圆筒状的图像340a～340f在图像的边缘附近重叠地合成，能够最终得到全方位的全景图像360。
图8是说明全景图像显示装置100的全景图像生成步骤的流程图。一边参照图9A～图9E、图10、图11A及图11B，一边说明图8的全景图像生成步骤的各步骤。在图8所示的流程图中，将各部的处理步骤以代表步骤的S（Step的首字母）和数字的组合来表示。
全景图像取得部10从全景图像·附加数据存储部24取得所拍摄的全景图像400和其所被附加的与拍摄地点及拍摄方位相关的信息（S10）。
图9A是表示所拍摄的全景图像400的例子的图。全景图像的中央处拍有建筑物，全景图像的下侧拍有地面。全景图像的上侧拍有天空410，天空410中拍有云彩和太阳430。
掩模区域抽取部11抽取出全景图像400的天空区域作为应掩模的区域（S12）。为从全景图像中抽取天空区域，作为一个例子，掩模区域抽取部11使用被称作分割（segmentation）的方法将全景图像划块，分割为具有意义的区域。所谓分割，是在图像识别中常用的方法之一，是检测出与图像中的对象物对应的区域来分割图像的方法。通过分割，图像被分割为天空、建筑物、地面、人这样的各种对象物的区域。
分割一般采用聚类（clustering）方法。由于与图像中所拍到的对象物对应的像素在颜色、亮度等上具有类似的特征，故通过对像素进行聚类，能够将图像划块为与对象物对应的区域。也可以采用提供像素聚类的正确数据作为训练数据的监督聚类。在本实施方式中，通过用户在全景图像中指定若干个属于天空区域的像素来提供训练数据。
图9B是表示通过分割而被分割区域后的全景图像402的图。通过分割，可知全景图像被划块为天空区域、建筑物区域、地面区域等。
观察图9A的全景图像400的天空区域410，如图9B所示那样，通过分割，主要被分割为以标号411～标号415表示的5个区域。由于原全景图像400中拍有太阳430，故按标号411～标号415的顺序检测为从蓝到白阶段性地变化的5个区域，而没有能够将天空区域检测为一个区域。此外，在标号411所示的区域中，相当于云彩的区域被作为其它划块而抽取，天空的划块并不完全。
但是，即使对于这样的不完全的分割结果，指定天空的颜色，若各区域的像素的颜色与所指定的天空的颜色的绝对差分在预定阈值以下，则判断为是天空区域，由此，能够将5个区域中的例如标号411、412、413这3个区域一并作为一个天空区域而检测出来。此外，通过手动作业，也能够消除标号411所表示的区域内的相当于云彩的区域。
一般地，由于分割是要耗费时间的处理，故能够适用于可利用空闲时间（idletime）来对记录装置所保存的全景图像执行处理的情况，但不太适合于必须实时地对所拍摄的全景图像执行处理的情况。因此，作为代替分割的其它方法，掩模区域抽取部11可以施以被称作双边滤波（bilateral filter）的滤波处理，来检测出天空区域。
图9C是表示被滤波处理后的全景图像404的图。通过对图9A的全景图像400进行将像素值平坦化、并强调边缘的双边滤波，原全景图像400的天空区域410就如图9C所示那样，天空的渐变（gradation）和云彩消失，被作为以标号421表示的一个区域而检测出来。拍到了太阳430的区域如标号422、423那样被作为具有渐变的其它区域而抽取出来。
若滤波处理后的全景图像404的像素的颜色与天空的颜色的绝对差分在预定阈值以下，则掩模区域抽取部11将该像素判断为天空，由此，从全景图像404中抽取天空区域。天空的颜色可以由用户来指定、或可以系统根据拍摄时的天气、季节等自动设定。
但是，在该判断中，有只要是与天空接近的颜色，将天空以外的对象物的像素也作为天空区域而选中的可能。因此，掩模区域抽取部11使用拍摄全景图像时的照相机的仰角的信息检测出全景图像的地平线的位置，使得即使在地平线下侧有与所指定的天空的颜色接近的像素，也不将其作为天空区域而检测出来。换言之，仅在照相机的仰角在某阈值以上的区域内进行天空区域的检测。由此，例如即使全景图像中拍到了海、水池、泳池等，由于它们处于地平线下方，故能够避免将它们误判断为天空的错误。
此外，在全景图像中，拍摄者的头顶上方多数被拍摄到辽阔的天空，天空区域一般是具有一定广度的、连续的区域。因此，若运用全景图像的天空区域是连续的这一知识，则能够减少被误判断为天空的区域。
在图9C的例子中，掩模区域抽取部11从滤波处理后的全景图像404中抽取出包含与太阳430对应的区域422、423在内的、标号421、422、423所表示的区域作为天空区域。
图9D是表示用于指定全景图像404内的天空区域的掩模440的图。掩模区域抽取部11将从滤波处理后的全景图像404中所抽取出来的天空区域设定为掩模440，提供给掩模处理部12。
回到图8的流程图，掩模处理部12使用掩模区域抽取部11所设定的掩模440来对全景图像400施以掩模处理，剪切掉天空区域（S14）。
图9E是表示天空区域被掩模处理后的全景图像408的图。这是从原全景图像400剪切掉天空区域410后的图像。
接着，对位部20使被映射于三维全景空间的全景图像的拍摄方向与同样被映射于三维全景空间的天球图像的方向一致（S16）。对象插入部22根据需要将应插入全景图像的对象配置于三维全景空间的外侧或内侧（S18）。
图10是说明被映射掩模处理后的全景图像408的三维全景空间与天球的关系的图。
通过掩模处理，天空区域512成为透明的全景图像510被映射于作为三维全景空间的一个例子的全景球500。全景球500的中心是全景图像的拍摄地点、即视点位置。以该视点位置为中心，在全景球500的外侧设置天球540。天球540的表面设定有包含云彩532、534及太阳等的天球图像。天球图像能够从天球图像数据存储部26中选择，也可以使用描绘有星星、月亮的星空的天球图像。
使被映射全景图像510的全景球转动地进行调整，使得被映射于全景球500的全景图像510与天球540上的天球图像在北极星的方位550上一致。在并不在意方向的情况下，不需要对位处理，但若不进行对位，则天球中所描绘的太阳、月亮、星星被表现在与全景图像的拍摄方向不同的方向上，会很不自然。
飞艇520和飞机530是要插入全景图像的对象的例子。飞机530被配置在天球540与全景球500之间，换言之，是被配置在全景球500的外部，飞艇520被配置于全景球500内部。当想要将对象插入全景图像的远景中时，将其配置于全景球500的外侧，当想要将对象插入近景时，将其配置于全景球500的内侧。飞艇520和飞机530按照各自的移动模式在天球540内移动。
回到图8的流程图，映射处理部14将掩模处理后的全景图像510和被描绘于天球540的天球图像映射于全景球500。此外，映射处理部14将飞艇520、飞机530等对象也映射于全景球500（S20）。
从全景球500的中心即视点位置观看时，由于全景图像510的天空区域512已被剪切成透明的区域，故在天空区域512能看到被描绘于天球540的表面的天球图像。透过天空区域512，处于全景球500的外侧的飞机530看起来较远，其被全景图像中所拍到的建筑物遮挡时，是看不到的。另一方面，处于全景球500的内侧的飞艇520看起来较近，有时会看起来比建筑物更靠近身前。
映射处理部14为再现从全景球500的中心观看到的图像，按距视点由远到近的顺序将图像映射于全景球500，重叠地描绘它们。首先，将被描绘于天球540的天球图像映射于全景球500，在其上面，将被配置于全景球500的外部的飞机530映射于全景球500。接着，将掩模处理后的全景图像510映射于全景球500，最后，将被配置于全景球500的内部的飞艇520映射于全景球500。由此，能够粘贴成能从全景图像510的透明的天空区域512窥看到天球图像的形式，全景球500的外侧的飞机530被粘贴为远景，全景球500的内侧的飞艇520被粘贴为近景。
图11A是表示在图9E的掩模处理后的全景图像408的天空区域粘贴了天球图像的例子的图。图11A的全景图像450的天空区域中粘贴有包含云彩532、534的天球图像，远景中插入有飞机530，近景中在建筑物前方插入有飞艇520。
图11B是作为其它天球图像的例子，表示出在图9E的掩模处理后的全景图像408的天空区域中粘贴有星空的例子的图。图11B的全景图像452的天空区域中粘贴有包含月亮和星星的天球图像。通过根据显示全景图像的日期来调整被描绘于天球540的月亮的圆缺和能够看到星星的方位，能够使得在全景图像的天空区域中看到真实的夜空。
在本实施方式中，由于在被映射全景图像的全景球500的外侧设置有天球540，故能够与全景图像相独立地变更被描绘于天球540的天球图像而合成为全景图像。
用户例如可以通过操作控制器102的R1/R2按钮151、152，来控制被描绘于天球的星座的运行。例如通过按压R1按钮151，使日期时间前进，通过按压R2按钮152，使日期时间后退，能够使不同季节的星座显示于天空区域。
回到图8的流程图，三维图像生成部16生成三维全景图像，该三维全景图像是在被指定的视线方向上观看被映射了掩模处理后的全景图像510、天球540的图像、飞艇520和飞机530等对象的三维全景球时的三维全景图像，显示控制部18显示所生成的三维全景图像（S22）。
如以上所述的那样，通过本实施方式的全景图像显示装置，能够剪切掉全景图像的天空区域，置换为其它天球图像。例如，即使是在要下雨时拍摄的全景图像，也能够剪切掉天空区域，置换为晴朗的蓝天、或将旭日升起的天空变为夕阳下沉的天空，能够使拍摄后的全景图像具有多样性。此外，通过插入飞艇、人工卫星等虚拟的对象，能够使所拍摄的全景图像具有娱乐性。本实施方式能够在将虚拟世界的信息和现实世界的信息重叠的所谓AR（增强现实；Augmented Reality）的技术领域中使用。即，以作为现实世界的全景图像为基准，自然地重合上虚拟地制作的星空等的全景图像，能够创造出以虚拟信息增强了现实环境的虚拟现实世界。
以上基于实施方式对本发明进行了说明。本领域技术人员当理解实施方式为例示，其各构成要素和各处理过程的组合可以有各种变形例，且该变形例同样包含在本发明的范围内。
在前述的说明中，将被掩模处理了的全景图像和天球图像映射于球面等三维全景空间，使从所指定的视线方向观看三维全景空间时的三维全景图像显示在了画面中，但也可以仅简单地二维显示将虚拟图像重叠于全景图像了的掩模区域中的图像。此时，不需要映射处理部14及三维图像生成部16的构成，能够使全景图像显示装置100简单化。此外，不仅可以离线地对全景图像合成虚拟图像，还可以实时地将以虚拟图像置换全景图像的掩模区域后的增强现实图像显示于能够安装在用户的眼睛前方的透明型显示器等显示设备上。
在前述的实施方式中，将在野外拍摄的全景图像的天空区域作为应掩模的区域来抽取，但例如若是在圆型屋顶的体育场中拍摄了棒球等体育运动的全景图像，则可以将圆型屋顶的区域作为应掩模的区域来抽取。通过剪切掉圆型屋顶的区域而粘贴天球图像，能够使得看起来仿佛是在野外进行的比赛。剪切圆型屋顶的区域时，例如只要将在照相机的预定仰角以上所拍摄的区域或预定高度以上的区域作为应掩模的区域来抽取即可。此外，还可以将颜色变化少、具有预定面积的区域作为应掩模的区域来抽取。例如，可以将大厦的窗户玻璃的区域掩模、剪切掉窗户区域而粘贴其它图像。能够虚拟地使没有人的大厦看起来有人、或改变从窗户看到的外面的景色。此外，也可以将海、水池、沙漠等区域作为应掩模的区域来抽取。能够将东京湾置换为南太平洋的图像、或将沙漠置换为绿地的图像。
全景图像不限于用图3那样的全方位拍摄系统拍摄的图像，也可以是使用鱼眼镜头拍摄的图像，或将一边改变拍摄方向一边用通常的数码照相机拍摄的多个图像合成后的图像。
在前述的实施方式中，在将掩模处理后的全景图像和天球图像重叠地显示时，按从距视点远到距视点近的顺序将图像映射并描绘于三维全景球了。即，在将天球图像映射于三维全景球后，将掩模区域已被切割为透明的全景图像重叠地映射于三维全景球了。作为其它映射方法，可以从天球图像切割出与掩模对应的区域，将与掩模对应的区域的天球图像粘贴于被映射于三维全景球的全景图像的掩模区域上。
一般地，掩模区域的边界部分会因全景图像与天球图像的合成而产生图像的不连续，给与我们不自然的印象。因此，可以针对掩模区域的图像施以高斯滤波（GaussianFilter）来使图像平滑化、或通过在掩模区域的边界附近将全景图像和天球图像进行alpha混合来使边界模糊。
通过将全景图像显示装置100的功能结构中的主要涉及全景图像的掩模处理、使天球图像或虚拟图像重叠于全景图像的掩模区域的处理的结构安装于服务器，将主要涉及阅览被重叠了天球图像或虚拟图像的全景图像的处理的结构安装于客户端，能够将全景图像显示装置100作为介由网络的服务器-客户端系统来实现。可以是服务器抽取全景图像的掩模区域并施以掩模处理、进行将天球图像或虚拟图像重叠于掩模区域的处理，客户端被提供阅览被重叠了天球图像或虚拟图像的全景图像的接口。可以是在客户端的显示画面中，设置用户将全景图像的特定区域指定为应掩模的区域的接口。此外，客户端可以从服务器接收全景图像和天球图像的数据，在客户端侧适当调整天球图像与全景图像的对位，进行使天球图像重叠于全景图像的处理。由此，能够在用户侧自由地使天球图像旋转地重叠于全景图像。
此外，在本说明书中所讲的“全景图像”，并不限定于狭义上的“全景图像”、即横长或纵长的图像、360度的全景图像等，而是单纯地以广范围为对象的图像。此外，在实施方式中，说明了以全景图像为对象图像而重叠于天球图像的例子，但对象图像不需要是所谓的全景图像，以任意尺寸的通常的图像为对象，也能够适用本发明。或者，对象图像也可以是多个分辨率不同的图像被阶层化了的图像。这样的被阶层化了的图像可以构成为在将图像的一部分区域放大时，被放大的区域置换为分辨率更高的图像。此外，所谓“天球图像”，并不一定限定于假设为“球面”的图像，而是单纯的地以天空等为对象的图像。
〔标号说明〕
10全景图像取得部、11掩模区域抽取部、12掩模处理部、14映射处理部、16三维图像生成部、18显示控制部、20对位部、22对象插入部、24全景图像·附加数据存储部、26天球图像数据存储部、28对象数据存储部、30视点位置设定部、32视线方向设定部、34高度设定部、36日期时间设定部、40用户接口部、100全景图像显示装置、200照相机。
〔工业可利用性〕
涉及显示图像的装置及方法。

Claims (11)

1.一种图像显示装置，其特征在于，包括：
存储部，保持将与拍摄地点相关的信息和与拍摄方向相关的信息建立了关联的对象图像和被关联有与方向相关的信息的天球图像；
掩模区域抽取部，抽取上述对象图像内的应掩模的区域；
掩模处理部，生成将上述对象图像内的上述应掩模的区域掩模后的对象图像；
对位部，使上述天球图像的方向与上述对象图像的拍摄方向一致；
映射处理部，在上述对位部进行对位后，将掩模处理后的对象图像及上述天球图像作为纹理而映射于三维对象空间；
三维图像生成部，生成以上述对象图像的拍摄地点为视点位置、在被指定的视线方向上观看上述三维对象空间时的三维对象图像；以及
显示控制部，使上述三维对象图像显示于画面。
2.如权利要求1所述的图像显示装置，其特征在于，
上述掩模区域抽取部将上述对象图像内的相当于天空的区域作为上述应掩模的区域来抽取；
上述掩模处理部生成将上述对象图像内的相当于上述天空的区域掩模后的对象图像。
3.如权利要求2所述的图像显示装置，其特征在于，
上述掩模区域抽取部基于拍摄上述对象图像时的照相机的仰角的信息来判断对象图像的地平线的位置，在地平线的上侧区域内抽取上述相当于天空的区域。
4.如权利要求1至3的任意一项所述的图像显示装置，其特征在于，
上述映射处理部通过使被掩模处理了的上述对象图像重叠地映射于被映射了上述天球图像的上述三维对象空间，来在上述三维对象空间上生成在上述对象图像内的上述应掩模的区域中粘贴有上述天球图像的一部分的图像。
5.如权利要求1至3的任意一项所述的图像显示装置，其特征在于，
还包括对象插入部，将应虚拟地插入上述三维对象图像的对象配置于上述三维对象空间的内侧或外侧；
上述映射处理部将上述对象映射于上述三维对象空间。
6.如权利要求5所述的图像显示装置，其特征在于，
在上述对象被配置于上述三维对象空间的外侧的情况下，上述映射处理部通过使被掩模处理了的上述对象图像重叠地映射于被映射了上述对象的上述三维对象空间，来在上述三维对象空间上生成在上述对象图像中合成了上述对象的图像。
7.如权利要求5所述的图像显示装置，其特征在于，
在上述对象被配置于上述三维对象空间的内侧的情况下，上述映射处理部通过使上述对象重叠地映射于被映射了掩模处理后的上述对象图像的上述三维对象空间，来在上述三维对象空间上生成在上述对象图像中合成了上述对象的图像。
8.如权利要求1至3、以及权利要求6至7的任意一项所述的图像显示装置，其特征在于，
上述对象图像是全景图像，上述三维对象空间是三维全景空间。
9.如权利要求5所述的图像显示装置，其特征在于，
上述对象图像是全景图像，上述三维对象空间是三维全景空间。
10.一种图像显示方法，其特征在于，包括：
处理器从存储设备中读出显示对象的对象图像和天球图像的步骤，该存储设备中保持有将与拍摄地点相关的信息和与拍摄方向相关的信息建立了关联的对象图像及被关联了与方向相关的信息的天球图像；
处理器针对上述对象图像提取应掩模的区域的步骤；
处理器生成将上述对象图像内的上述应掩模的区域掩模后的对象图像的步骤；
处理器进行使上述天球图像的方向与上述对象图像的拍摄方向一致的对位处理的步骤；
对位后，处理器将掩模处理后的对象图像及上述天球图像作为纹理而映射于三维对象空间的步骤；
生成以上述对象图像的拍摄地点为视点位置、在被指定的视线方向上观看上述三维对象空间时的三维对象图像的步骤；以及
使上述三维对象图像显示于画面的步骤。
11.一种计算机可读取的记录介质，其特征在于，该记录介质内存储了程序，该程序被处理器执行时实现以下的步骤：
从存储设备中读出显示对象的对象图像和天球图像的步骤，该存储设备中保持有将与拍摄地点相关的信息和与拍摄方向相关的信息建立了关联的对象图像及被关联了与方向相关的信息的天球图像；
针对上述对象图像提取应掩模的区域的步骤；
生成将上述对象图像内的上述应掩模的区域掩模后的对象图像的步骤；
进行使上述天球图像的方向与上述对象图像的拍摄方向一致的对位处理的步骤；
对位后，将掩模处理后的对象图像及上述天球图像作为纹理而映射于三维对象空间的步骤；
生成以上述对象图像的拍摄地点为视点位置、在被指定的视线方向上观看上述三维对象空间时的三维对象图像的步骤；以及
使上述三维对象图像显示于画面的步骤。
CN201180047976.9A 2010-10-05 2011-07-29 图像显示装置及图像显示方法 Active CN103141078B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-225367 2010-10-05
JP2010225367A JP5250598B2 (ja) 2010-10-05 2010-10-05 画像表示装置および画像表示方法
PCT/JP2011/004327 WO2012046373A1 (ja) 2010-10-05 2011-07-29 画像表示装置および画像表示方法

Publications (2)

Publication Number Publication Date
CN103141078A CN103141078A (zh) 2013-06-05
CN103141078B true CN103141078B (zh) 2018-05-08

Family

ID=45927383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180047976.9A Active CN103141078B (zh) 2010-10-05 2011-07-29 图像显示装置及图像显示方法

Country Status (5)

Country Link
US (1) US9262996B2 (zh)
EP (1) EP2627072B1 (zh)
JP (1) JP5250598B2 (zh)
CN (1) CN103141078B (zh)
WO (1) WO2012046373A1 (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5367034B2 (ja) * 2011-08-24 2013-12-11 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
CN103067661B (zh) * 2013-01-07 2017-12-05 华为终端有限公司 图像处理方法、装置和拍摄终端
JP2015022458A (ja) * 2013-07-18 2015-02-02 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法及び画像処理プログラム
EP3069175A1 (en) * 2013-11-15 2016-09-21 Dow Global Technologies Llc Photovoltaic shade impact prediction
JP2015149600A (ja) * 2014-02-06 2015-08-20 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
WO2015129479A1 (ja) * 2014-02-25 2015-09-03 ソニー株式会社 撮像装置および方法、並びにプログラム
US9615177B2 (en) * 2014-03-06 2017-04-04 Sphere Optics Company, Llc Wireless immersive experience capture and viewing
KR102211592B1 (ko) * 2014-03-19 2021-02-04 삼성전자주식회사 전자 장치 및 이의 영상 처리 방법
US10930038B2 (en) 2014-06-10 2021-02-23 Lab Of Misfits Ar, Inc. Dynamic location based digital element
US10026226B1 (en) 2014-06-10 2018-07-17 Ripple Inc Rendering an augmented reality object
CN105447094A (zh) * 2015-11-09 2016-03-30 上海斐讯数据通信技术有限公司 星座识别方法及装置、移动终端
JP6604831B2 (ja) * 2015-11-30 2019-11-13 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム
US10427038B2 (en) * 2016-01-21 2019-10-01 Toccata Gaming International, Llc Game console incorporating beam-splitter display and real world objects
WO2017159014A1 (ja) * 2016-03-15 2017-09-21 株式会社リコー 画像処理装置、画像処理方法及び画像処理システム
US10539797B2 (en) * 2016-05-06 2020-01-21 Colopl, Inc. Method of providing virtual space, program therefor, and recording medium
WO2017195881A1 (ja) * 2016-05-13 2017-11-16 ソニー株式会社 ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法
JP2017211694A (ja) * 2016-05-23 2017-11-30 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR102508663B1 (ko) 2016-06-02 2023-03-13 삼성전자주식회사 구형 컨텐츠 편집 방법 및 이를 지원하는 전자 장치
CN106162204A (zh) * 2016-07-06 2016-11-23 传线网络科技（上海）有限公司 全景视频生成、播放方法、装置及系统
CN106548446B (zh) * 2016-09-29 2019-08-09 北京奇艺世纪科技有限公司 一种在球面全景图像上贴图的方法及装置
KR20180051288A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10325372B2 (en) * 2016-12-20 2019-06-18 Amazon Technologies, Inc. Intelligent auto-cropping of images
KR20180074070A (ko) * 2016-12-23 2018-07-03 현대자동차주식회사 차량, 및 그 제어방법
US10607329B2 (en) * 2017-03-13 2020-03-31 Adobe Inc. Illumination estimation from a single image
WO2019041276A1 (zh) * 2017-08-31 2019-03-07 深圳市大疆创新科技有限公司 一种图像处理方法、无人机及系统
US10646022B2 (en) * 2017-12-21 2020-05-12 Samsung Electronics Co. Ltd. System and method for object modification using mixed reality
JP6413035B1 (ja) * 2018-01-18 2018-10-24 株式会社ほぼ日 プログラム、情報処理装置及び情報処理方法
CN108492353B (zh) * 2018-02-02 2021-12-31 珠海金山网络游戏科技有限公司 一种全局环境球的绘制方法和系统
JP6837211B2 (ja) * 2018-04-11 2021-03-03 パナソニックＩｐマネジメント株式会社 画像処理装置、及び、画像処理方法
CN108681987A (zh) * 2018-05-10 2018-10-19 广州腾讯科技有限公司 生成全景切片图的方法和装置
CN108876729B (zh) * 2018-05-11 2021-02-09 武汉地大信息工程股份有限公司 一种全景图中补充天空的方法及系统
JP6583486B2 (ja) * 2018-06-07 2019-10-02 株式会社リコー 情報処理方法、情報処理プログラムおよび情報処理装置
JP2020042064A (ja) * 2018-09-06 2020-03-19 キヤノン株式会社 表示制御装置、撮像装置、制御方法、プログラム、及び、記憶媒体
JP2020043387A (ja) * 2018-09-06 2020-03-19 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び、記憶媒体
CN109769110B (zh) * 2019-01-22 2020-07-14 影石创新科技股份有限公司 一种3d小行星动态图的生成方法、装置及便携式终端
CN111667591B (zh) * 2020-06-15 2024-02-27 常州市规划设计院 基于全景摄影的虚拟现实融合方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1706181A (zh) * 2002-10-23 2005-12-07 松下电器产业株式会社 图像组合便携式终瑞及其所用的图像组合方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2827060B1 (fr) * 2001-07-05 2003-09-19 Eastman Kodak Co Procede d'identification du ciel dans une image et image obtenue grace a ce procede
JP4148671B2 (ja) * 2001-11-06 2008-09-10 ソニー株式会社 表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラム
US7391424B2 (en) * 2003-08-15 2008-06-24 Werner Gerhard Lonsing Method and apparatus for producing composite images which contain virtual objects
JP2005175587A (ja) * 2003-12-08 2005-06-30 Canon Inc 画像記録装置および画像再生装置
US20060204232A1 (en) * 2005-02-01 2006-09-14 Harvey Weinberg Camera with acceleration sensor
WO2008078321A2 (en) * 2006-12-22 2008-07-03 Geosim Systems Ltd. Split-scene rendering of a three-dimensional model
US8009178B2 (en) * 2007-06-29 2011-08-30 Microsoft Corporation Augmenting images for panoramic display
JP2009237680A (ja) * 2008-03-26 2009-10-15 Namco Bandai Games Inc プログラム、情報記憶媒体および画像生成システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1706181A (zh) * 2002-10-23 2005-12-07 松下电器产业株式会社 图像组合便携式终瑞及其所用的图像组合方法

Also Published As

Publication number Publication date
JP2012080433A (ja) 2012-04-19
US20130314402A1 (en) 2013-11-28
EP2627072A1 (en) 2013-08-14
EP2627072B1 (en) 2019-05-01
CN103141078A (zh) 2013-06-05
US9262996B2 (en) 2016-02-16
JP5250598B2 (ja) 2013-07-31
EP2627072A4 (en) 2016-03-23
WO2012046373A1 (ja) 2012-04-12

Similar Documents

Publication Publication Date Title
CN103141078B (zh) 图像显示装置及图像显示方法
CN103155538B (zh) 图像显示装置及图像显示方法
CN103141079B (zh) 图像生成装置及图像生成方法
US9251561B2 (en) Apparatus and method for displaying panoramic images
US20150264259A1 (en) Image processing
CN106133629A (zh) 信息处理装置、信息处理方法、程序和成像系统
JP2003264740A (ja) 展望鏡
US20190147631A1 (en) Computer Readable Media, Information Processing Apparatus and Information Processing Method
CN106162204A (zh) 全景视频生成、播放方法、装置及系统
CN106095774A (zh) 一种无人机图像全景展示方法
US20200195860A1 (en) Automated interactive system and method for dynamically modifying a live image of a subject
CN107197135A (zh) 一种视频生成方法、播放方法及视频生成装置、播放装置
JP2022042249A (ja) プログラム、情報処理装置及び情報処理方法
JP5646033B2 (ja) 画像表示装置および画像表示方法
JP6122991B2 (ja) 画像表示装置および画像表示方法
Wang et al. On the status quo and application of online virtual art exhibition technologies
US20230316670A1 (en) Volumetric immersion system & method
DeHart Directing audience attention: cinematic composition in 360 natural history films
CN117278820A (zh) 视频生成方法、装置、设备及存储介质
Nys et al. TOWARDS A NEW PICTURESQUE ERA
Kramer et al. The Challenges and Advances in Mixed Reality Video Technology
Bafghinia et al. TOWARDS A NEW PICTURESQUE ERA

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant