CN110084758A

CN110084758A - 图像生成装置、图像生成方法和程序

Info

Publication number: CN110084758A
Application number: CN201910327488.1A
Authority: CN
Inventors: 中川大辅; 河合纪彦; 佐藤智和; 横矢直和
Original assignee: Nara Institute of Science and Technology NUC; Ricoh Co Ltd
Current assignee: Nara Institute of Science and Technology NUC; Ricoh Co Ltd
Priority date: 2013-12-20
Filing date: 2014-12-11
Publication date: 2019-08-02
Anticipated expiration: 2034-12-11
Also published as: US10186013B2; JP2015121850A; US20190073743A1; CA2932303C; CN105981073B; CA2932303A1; EP3084718A1; WO2015093553A1; CN105981073A; US20160300323A1; US10628916B2; SG11201604187UA; EP3084718B1; EP3084718A4; JP6434209B2

Abstract

一种图像生成装置，用于基于输入全景图像生成输出图像，包括：参数输入单元，配置为输入输出范围参数和校正参数，该输出范围参数指定该全景图像中的输出范围，该校正参数指定在该输出图像中要校正的校正部分；以及图像校正单元，配置为利用具有对应于该校正部分中的像素与该校正部分的周围像素之间的相似性的值的像素，来遮蔽该输出图像中的该校正部分的像素；以及显示单元，配置为在显示设备上显示该输出图像，其中该校正部分的像素的值被该图像校正单元转换为对应于该相似性的值。

Description

图像生成装置、图像生成方法和程序

本申请是申请日为2014年12月11日、申请号为201480068512.X、发明名称为“图像生成装置、图像生成方法和程序”的发明专利申请的分案申请。

技术领域

本发明涉及图像生成装置、图像生成方法和程序。

背景技术

传统上，已知校正图像处理装置中的受损图像的方法(例如见专利文献 1)。

另外，存在在由能够对宽范围成像的成像设备所成像的全方向视频图像中校正与该成像设备的盲角对应的在重力方向上的受损图像的已知方法(例如见专利文献1)。

发明内容

本发明要解决的问题

然而，在常规方法中，例如在图像由具有两个鱼眼镜头光学系统的成像设备形成的情况下，不能任意设置要校正的部分。因此，当在图像中存在除了重力方向之外的有必要校正的部分时，可能难于校正该部分。

根据本发明的一个方面，一个目的是提供能够校正由成像设备形成的图像的任意部分的图像生成装置。

解决问题的手段

根据本发明的一个方面，用于基于输入全景图像生成输出图像的图像生成装置，包括：参数输入单元，输入输出范围参数和校正参数，该输出范围参数指定该全景图像中的输出范围，该校正参数指定在该输出图像中要校正的校正部分；以及图像校正单元，校正所述输出图像中由所述校正参数指定的校正部分。

此外，所述图像校正单元计算所述校正部分和周围像素之间的相似性，并且基于该相似性和所述周围像素来校正所述输出图像中的校正部分，以及根据所述全景图像的输出范围生成所述输出图像，所述输出范围由所述输出范围参数指定，并且所述输出图像是通过校正而校正后的全景图像。

本发明的效果

根据本发明的一个方面，变得能够校正由成像设备形成的图像的任意部分。

附图说明

图1是图示根据本发明的一个实施例的成像系统的示例整体配置的图；

图2A到2C是图示根据本发明的一个实施例的示例成像设备的图；

图3是图示由根据本发明的一个实施例的成像设备的成像的示例的图；

图4A到4C是由根据本发明的一个实施例的成像设备成像的示例图像的图；

图5是根据本发明的一个实施例的成像设备的示例硬件配置的框图；

图6是根据本发明的一个实施例的图像处理装置的示例硬件配置的框图；

图7是根据本发明的一个实施例的成像系统的示例功能配置的功能框图；

图8是图示由根据本发明的一个实施例的成像系统的示例整体处理的流程图；

图9是图示根据本发明的一个实施例的生成球面图像的示例处理的流程图；

图10A到10D是图示根据本发明的一个实施例的生成球面图像的示例处理的图；

图11是图示由根据本发明的一个实施例的图像处理装置的示例处理的流程图；

图12是图示根据本发明的一个实施例的三维坐标系中的球面图像的图；

图13是图示根据本发明的一个实施例的示例投影方向指定数据的图；

图14A和14B是图示根据本发明的一个实施例的计算投影表面的示例处理的图；

图15是图示根据一个实施例将投影表面上的三维坐标转换为球面图像上的极坐标的示例处理的图；

图16A到16D是图示根据本发明的一个实施例的生成输出图像的像素的示例处理的图；

图17A到17C是图示根据本发明的一个实施例的示例遮蔽数据生成处理的图；

图18是图示根据本发明的一个实施例的基于相似性的示例处理的流程图；

图19A到19H是图示根据本发明的一个实施例的基于相似性的示例处理的图；

图20是图示根据本发明的一个实施例的到球面图像上的示例反映处理的流程图；

图21A到21E是图示根据本发明的一个实施例的到球面图像上的示例反映处理的图；

图22是图示根据本发明的一个实施例的示例球面图像的图；

图23是图示根据本发明的一个实施例的到球面图像上的反映处理中的示例效果的图；

图24是图示根据本发明的一个实施例的在基于相似性的处理之前的示例输出图像的图；

图25是图示根据本发明的一个实施例的基于相似性的处理的示例效果的图；

图26是图示根据本发明的第二实施例的由图像处理装置执行的示例处理的流程图；

图27A和27B是图示根据本发明的第二实施例的示例遮蔽区域比率确定处理的图；

图28是图示根据本发明的第二实施例的放大输出范围的处理的图；

图29是图示根据第三实施例的由图像处理装置执行的示例处理的流程图；以及

图30是图示根据第四实施例的由图像处理装置执行的示例处理的流程图。

具体实施方式

下面，描述本发明的实施例。

第一实施例

整体配置

图1是图示根据本发明的实施例的成像系统的示例整体配置的图。

成像系统10包括成像设备1和图像处理装置2。

成像设备1包括多个光学系统，以生成宽范围的、诸如例如成像设备1 的全方向范围的图像(在下文中称为“球面图像”)，并且向图像处理装置2 输出球面图像。下面描述成像设备1和球面图像的细节。全景图像例如指代球面图像。在下文中，全景图像被描述为球面图像的示例。

图像处理装置2对从成像设备1输入的球面图像执行图像处理，并且输出图像处理后的球面图像。下面描述图像处理装置2的细节。

成像设备1和图像处理装置2经由有线或者无线接口连接。例如，图像处理装置2下载诸如从成像设备1输出的球面图像之类的数据，以将该数据输入到图像处理装置2中。

成像设备1和图像处理装置2之间的连接方法不限于有线或者无线接口。例如，成像设备1和图像处理装置2可以具有用以连接诸如快闪存储器(注册商标)之类的记录介质的接口，以使得数据可以经由记录介质输入和输出。另外，成像设备1和图像处理装置2之间的连接方法可以是经由诸如因特网之类的网络(未示出)的连接。

注意，整体配置不限于图1的配置。例如，成像设备1和图像处理装置 2可以被集成为单个装置。另外，整体配置可以不仅包括成像设备1和图像处理装置2，而且包括另一连接的计算机，以在系统中包括三个或者更多装置。

成像设备

图2A到图2C是图示根据本发明的实施例的示例成像设备1的图。

图2A到2C是图示成像设备1的示例外部外观的图。图2A是成像设备 1的示例前视图。图2B是成像设备1的示例左侧视图。图2C是成像设备1 的示例顶视图。

成像设备1包括前表面成像元件1H1、后表面成像元件1H2和开关1H3。

通过使用由表面成像元件1H1形成(成像)的图像和由后表面成像元件 1H2形成的图像，成像设备1生成球面图像。

开关1H3是所谓的“快门按钮”并且是用以向成像设备1发布指令以成像的输入设备。

用户握住成像设备1，如图2A中图示，并且按压开关1H3，以使得成像设备1执行成像。

图3是图示根据本发明的实施例的成像设备1的示例成像的图。

如图3中图示，用户用手握住成像设备1，并且按压图2B的开关1H3 用于成像。成像设备1可以通过使用图2A的前表面成像元件1H1和图2A的后表面成像元件1H2形成成像设备1的全方向图像。

图4A到4C是图示根据本发明的实施例的由成像设备形成的示例图像的图。

图4A图示由图2A的前表面成像元件1H1形成的示例图像。图4B图示由图2A的后表面成像元件1H2形成的示例图像。图4C图示基于由图2A的前表面成像元件1H1形成的图像和由图2A的后表面成像元件1H2形成的图像生成的示例图像。

由图2A的前表面成像元件1H1形成的图像是宽范围图像，成像设备1 的前向上的成像范围是诸如180度范围，作为如图4A中图示的场角。当图 2A的前表面成像元件1H1使用诸如所谓的“鱼眼镜头”之类的光学系统以形成宽范围的图像时，由图2A的前表面成像元件1H1形成的图像包括如图4A 中图示的失真。由图2A的前表面成像元件1H1形成的图4A的图像是具有成像设备1的一侧的宽范围的并且具有失真的半球面图像(在下文中称为半球面图像)。

由图2A的后表面成像元件1H2形成的图像是宽范围图像，成像设备1 的后向上的成像范围是诸如180度范围，作为如图4B中图示的场角。

类似于图4A的图像，由图2A的后表面成像元件1H2形成的图像也是半球面图像。

成像设备1执行诸如下面描述的失真校正处理和组合处理的处理，以基于图4A的前半球面图像和图4B的后半球面图像生成图4C中图示的图像。图4C的图像是例如通过所谓的“墨卡托投影(Mercator projection)”生成的墨卡托图像，也就是球面图像。

成像设备的硬件配置

图5是图示根据实施例的成像设备的示例硬件配置的框图。

成像设备1包括成像单元1H4、成像处理单元1H7、成像控制单元1H8、中央处理单元(CPU)1H9和只读存储器(ROM)1H10。成像设备1还包括静态随机存取存储器(SRAM)1H11、动态随机存取存储器(DRAM)1H12 和操作接口(I/F)1H13。成像设备1还包括网络I/F 1H14、无线电I/F 1H15 和天线1H16。成像设备1的那些元件经由总线1H17(如图5中图示)相互连接，以输入和输出数据或信号。

成像单元1H4包括前表面成像元件1H1和后表面成像元件1H2。成像单元1H4包括与前表面成像元件1H1对应的镜头1H5和与后表面成像元件1H2 对应的镜头1H6。前表面成像元件1H1和后表面成像元件1H2是所谓的“相机单元”。前表面成像元件1H1和后表面成像元件1H2包括光学传感器(未示出)，诸如互补金属氧化物半导体(CMOS)、电荷耦合器件(CCD)等。前表面成像元件1H1转换经过镜头1H5入射的光，并且执行处理以生成图像数据。后表面成像元件1H2转换经过镜头1H6入射的光并且执行处理以生成图像数据。成像单元1H4向图像处理单元1H7输出由前表面成像元件1H1 和后表面成像元件1H2生成的一组图像数据。“图像数据”例如指代图4A的前半球面图像和图4B的后半球面图像。

为了获取高质量图像，前表面成像元件1H1和后表面成像元件1H2除了镜头之外还可以包括其他光学元件(未示出)，诸如光圈、低通滤波器等。另外，为了高质量成像，前表面成像元件1H1和后表面成像元件1H2可以执行诸如所谓的“缺陷像素校正”或者“相机抖动校正(模糊校正)”等的处理。

图像处理单元1H7执行基于从成像单元1H4输入的图像数据生成图4C 的球面图像的处理。下面描述生成球面图像的处理的细节。这里，可以由另一计算机并行地或者冗余地执行图像处理单元1H7的处理的部分或者全部。

成像控制单元1H8是用以控制成像设备1的元件的控制设备。

CPU 1H9执行用于成像设备1的处理的计算和控制。例如，CPU 1H9执行各种程序。为了通过并行处理实现更高速度，CPU 1H9可以包括多个CPU、设备或者多个核。另外，附加硬件资源(未示出)可以提供在成像设备1之内或者之外，以使得可以由附加硬件资源执行成像设备1(CPU 1H9)的处理的部分或者全部。

ROM 1H10、SRAM 1H11和DRAM 1H12是存储设备的示例。ROM 1H10 例如存储要由CPU 1H9执行的程序、数据或者参数。SRAM 1H11和DRAM 1H12例如存储程序、由程序使用的数据、当CPU 1H9执行程序时由程序或者参数生成的数据。本文的“存储设备”指代例如包括磁随机存取存储器 (MRAM)的存储器。成像设备1还可以包括诸如硬盘之类的辅助存储设备(未示出)。

操作I/F 1H13是诸如用户在其上执行对成像设备1的输入操作的开关 1H3的接口。具体地，操作I/F 1H13包括诸如开关、用以连接操作设备的连接器(未示出)、电缆(未示出)、用以对从操作设备输入的信号执行操作的电路(未示出)、驱动器(未示出)、控制设备(未示出)等的操作设备。操作I/F 1H13还可以包括诸如显示器之类的输出设备(未示出)。另外，操作 I/F 1H13还可以是触摸面板，包括集成为单一体的输入设备和输出设备。操作I/F 1H13还可以包括用于诸如通用串行总线(USB)的接口(未示出)，以通过连接诸如快闪存储器(注册商标)之类的记录介质向成像设备1中输入数据以及从成像设备1输出数据。

开关1H3还可以包括电源开关、参数输入开关等，用于除了快门操作之外的操作。

网络I/F 1H14、无线电I/F 1H15和天线1H16是经由网络提供在成像设备1和另一计算机之间的无线或有线连接的设备、外围电路等。例如，成像设备1经由网络I/F 1H14连接到网络，并且向图像处理装置2发送数据。这里，网络I/F 1H14、无线电I/F 1H15和天线1H16可以提供例如使用诸如USB 连接器之类的连接器(未示出)或者电缆(未示出)的连接。

总线1H17用于在成像设备1的元件之间输入和输出数据。总线1H17是所谓的“内部总线”。总线1H17例如可以是外围组件互连总线快速(PCI Express)。总线1H17可以基于PCI或者工业标准架构(ISA)。

注意，成像设备1的成像元件的数目不限于两个。例如，可以包括三个或者更多个成像元件。另外，成像设备1可以通过改变单个成像元件的成像角度生成(成像)多个部分图像。另外，成像设备1的光学系统不限于使用鱼眼镜头的系统。例如，可以替代地使用广角镜头。

另外，要由成像设备1执行的处理不总是由成像设备1执行。即，例如，要由成像设备1执行的处理的部分或者全部可以通过从成像设备1发送数据和参数而由成像处理装置2或者另一计算机(未示出)执行。

图像处理装置

图像生成装置例如可以是图像处理装置2。下面，作为图像生成装置的示例，描述图像处理装置2。

图像处理装置2例如可以是智能电话。另外，图像处理装置2指代计算机，并且例如可以是个人计算机(PC)、个人数字助理(PDA)、平板机、蜂窝电话等。

图像处理装置的硬件配置

图6是根据本发明的实施例的图像处理装置的示例硬件配置的框图。

图像处理装置2包括辅助存储设备2H1、主存储器2H2、输出设备2H3、输入设备2H4、CPU 2H5和网络I/F 2H6。图像处理装置2的那些元件经由总线2H7相互连接，以输入和输出数据或者信号。

辅助存储设备2H1存储诸如各种数据之类的信息，这包括在CPU 2H5 和控制设备(未示出)的控制下由CPU 2H5执行的处理的中间结果、参数、程序、程序等。辅助存储设备2H1例如可以是硬盘、快闪固态驱动器(SSD) 等。在辅助存储设备2H1中存储的信息的一部分或者全部可以替代地例如存储在经由网络I/F 2H6连接的文件服务器(未示出)等中。

主存储器2H2是作为由CPU 2H5执行的程序使用的诸如所谓的“存储器” 之类的存储区域。主存储器2H2存储诸如数据、程序、参数等的信息。主存储器2H2例如可以是静态随机存取存储器(SRAM)、DRAM等。主存储器 2H2可以包括控制设备(未示出)，用于将数据存储和读取到主存储器2H2 的存储器部分并且从主存储器2H2的存储器部分读出数据。

输出设备2H3是用于显示的设备，诸如显示器、外围电路、驱动器等。输出设备2H3显示被执行图像处理的图像。

输入设备2H4是用于操作输入图形用户界面(GUI)的设备，诸如例如与输出设备2H3、外围电路、驱动器等集成的所谓的“触摸面板”。输出设备 2H3和输入设备2H4例如可以以分离的方式分别被提供为显示器和键盘。另外，输出设备2H3和输入设备2H4可以是经由电缆(未示出)等连接到图像处理装置2的连接器(未示出)的外部设备。

CPU 2H5执行用于图像处理装置2的处理的计算和控制。例如，CPU 2H5 执行各种程序。为了通过并行处理实现更快速度，CPU 1H9可以包括多个 CPU、设备或者多个核。另外，附加硬件资源(未示出)可以提供在成像设备1之内或者之外，以使得可以由附加硬件资源执行图像处理装置2的处理的部分或者全部。

网络I/F 2H6是诸如天线、外围电路、驱动器等的设备，用于经由网络与另一计算机无线或有线连接。例如，图像处理装置2通过使用CPU 2H5和网络I/F 2H6执行处理以从成像设备1输入图像数据。另外，图像处理装置2 通过使用CPU 2H5和网络I/F 2H6执行处理以向成像设备1输出预定参数等。

成像系统的功能

图7是根据本发明的实施例的成像系统的示例功能配置的功能框图。

成像系统10包括球面图像生成部分10F1和图像处理部分10F2。

球面图像生成部分10F1执行基于例如由成像设备1形成的图像生成球面图像的处理。

另外，图像处理部分10F2执行显示由例如下面描述的图像处理装置2基于球面图像处理的图像的处理。

球面图像生成部分10F1包括成像部分10F11和生成部分10F12以及输出部分10F13。

成像部分10F11执行通过成像设备1生成半球面图像的处理。成像部分 10F11可以对半球面图像执行下面描述的预处理。

生成部分10F12执行基于由成像部分10F11生成的半球面图像生成下面描述的球面图像的处理。

输出部分10F13执行向图像处理装置2输出例如由成像设备1的生成部分10F12生成的球面图像。

当输出图像时，输出部分10F13可以执行例如转换图像的格式的处理，以使得可以对转换后的格式的输出图像执行后面部分的处理。

图像处理部分10F2包括输入部分10F21、图像校正部分10F22、显示部分10F23和存储部分10F24。

输入部分10F21包括参数输入部分10F211和图像输入部分10F212。

参数输入部分10F211执行通过图像处理装置2从用户输入对于下面描述的图像校正必要的参数的处理。要输入的参数例如包括用以指定输出范围的输出范围参数、用以指定在输出图像中要校正的校正部分的校正参数等。

图像输入部分10F212执行通过图像处理装置2从成像设备1输入诸如球面图像之类的数据的处理。

当输入参数和图像时，输入部分10F21可以执行转换输入数据的格式的处理，以使得可以对转换后的格式的数据执行后面部分的处理。

图像校正部分10F22通过使用被输入到输入部分10F21的数据和参数执行例如下面描述的校正球面图像的处理。

图像校正部分10F22包括遮蔽(mask)部分10F221、相似性计算部分 10F222和校正部分10F223。

遮蔽部分10F221执行与下面描述的遮蔽数据有关的处理，诸如下面描述的遮蔽数据生成处理。

相似性计算部分10F222执行基于相似性的处理，诸如下面描述的计算相似性的处理。

图像校正部分10F223执行基于下面描述的遮蔽数据和相似性来校正输出图像的处理。

显示部分10F23执行例如显示由图像处理装置2的图像校正部分10F22 处理的图像的处理。

存储部分10F24存储由图像处理装置2通过使用下面描述的处理生成的图像数据。

注意，本发明的功能(配置)不限于图7的功能。例如，由球面图像生成部分10F1执行的功能可以被包括在图像处理部分10F2中。另外，在功能上执行的处理不限于由上面描述的硬件提供(处理)的配置。例如，由球面图像生成部分10F1执行的处理的一部分或者全部可以由图像处理装置2或者经由网络连接的另一计算机(未示出)执行。

成像系统的整体处理

图8是图示根据本发明的实施例的成像系统的示例整体处理的流程图。

在步骤S0801中，球面图像生成部分10F1执行下面描述的生成球面图像的处理。

在步骤S0802中，球面图像生成部分10F1执行向图像处理部分10F2输出在步骤S0801生成的球面图像的处理。

在步骤S0803，图像处理部分10F2对在步骤S0802输入的球面图像执行下面描述的图像处理。

在步骤S0804，图像处理部分10F2执行向用户显示在步骤S0803图像处理的图像的处理。

生成球面图像的处理

图9是图示根据本发明的实施例的生成球面图像的示例处理的流程图。球面图像例如可以由球面图像生成部分10F1生成。图9中的生成球面图像的处理与图8中的步骤S0801中的处理对应。

在步骤S0901，球面图像生成部分10F1通过成像生成图4A和4B的图像。

在步骤S0902，球面图像生成部分10F1对在步骤S0901生成的半球面图像执行下面描述的预处理。

在步骤S0903，球面图像生成部分10F1执行下面描述的组合处理，以组合在步骤S0902被执行了预处理的半球面图像。通过执行组合处理，球面图像生成部分10F1生成球面图像。

图10A到10D图示根据本发明的实施例的生成球面图像的示例处理。

图10A是以用线连接相对于光轴在水平方向上具有相同入射角的点和在垂直方向上具有相同入射角的点的方式图示图4A的半球面图像的图。下面，符号“θ”指代相对于光轴在水平方向上的入射角，并且符号指代相对于光轴在垂直方向上的入射角。

类似于图10A，图10B是以用线连接相对于光轴在水平方向上具有相同入射角的点和在垂直方向具有相同入射角的点的方式图示图4B的半球面图像的图。步骤S0902中的“预处理”指代例如通过墨卡托投影将图10A和10B 中的图像转换为图10C中图示的图像的处理。

图10C是图示已经被执行了墨卡托投影的处理的示例图像的图。图10C 是图示例如在图10A的状态中的图像与预先准备的查找表(LUT)相关联之后已经被执行了墨卡托投影的处理的示例图像的图。

图10D图示图9的步骤S0903中执行的示例组合处理。

如图10D中图示，在组合处理中，例如通过使用图10C的状态下的多个图像生成图像。图10D图示通过使用在图9的步骤S0902中被执行了预处理的图像，对图10A和10B的状态下的图像执行组合处理的示例。这里，组合处理不限于仅仅顺序地布置已经被执行了预处理的图像的处理。例如，当水平方向上的球面图像的中心不与θ＝180°的位置对应时，在组合处理中，通过对图4A的图像执行预处理生成的图像被设置在球面图像的中心部分，并且在其左侧和右侧，提供对图4B的图像执行预处理生成的图像被划分和安排。然后，通过组合处理组合那些图像，以生成图4C中图示的球面图像。

注意，“预处理”不限于使用墨卡托投影的处理。例如，图10B的方向上的像素布置从图10A的像素布置垂直反转，并且图10B的“θ”方向上的像素布置从图10A的像素布置水平反转(即，垂直/水平反转图像)。在这种情况下，预处理可以包括180°旋转(rolling)的处理，以使得图10B的 “θ”和方向上的像素布置类似于图10A中的那些。

另外，预处理可以包括校正图10A和10B的状态下的图像的失真的校正处理。另外，预处理可以包括用于改进图像质量的处理，诸如例如阴影校正处理、伽玛校正处理、白平衡处理、相机抖动校正(模糊校正)处理、光学黑校正处理、缺陷像素校正处理、边缘加强处理、线性校正处理等。

另外，例如，在组合处理中，当在一个半球面图像和另一半球面图像之间存在拍摄范围的重叠区域时，可以通过使用重叠区域进行校正，以执行高度准确的组合处理。

基于生成球面图像的处理，可以基于半球面图像生成球面图像。

图像处理装置的处理

图11是图示根据本发明的实施例的图像处理装置的示例处理的流程图。图11中的图像处理装置的处理与图8的步骤S0803中的处理对应。

在步骤S1101，图像处理部分10F2执行输入球面图像的处理。要在步骤 S1101输入的球面图像是在图8的步骤S0802输出的球面图像。球面图像是如图4C中图示的图像。下面，描述球面图像是如图4C中图示的图像的情况。

在步骤S1102，图像处理部分10F2执行输入下面描述的投影方向指定数据的处理。

图12是图示根据实施例的球面图像图示在三维坐标系中的示例。

球面图像是由全方向成像生成的图像，如参考图3中图示。由于这一点，球面图像可以图示为三维空间中的球面图像的三维表达中的球体(球状物)。这里，假设r＝1，其中，符号“r”指代球面图像的三维表达中的球体的半径。球面图像的三维表达中的球体是内切(inscribe)下面描述的投影表面的内切球体(下文中简称为“内切球体”)。这里，假设球面图像的三维表达的坐标系的原点是生成(成像)图像的位置(即，用户的地点、成像设备1的地点)。

投影方向指定数据指代指示作为输出图像的中心的像素的坐标的数据。

图13是图示根据本发明的实施例的投影方向指定数据的示例的图。

投影方向指定数据是用以指示中心坐标4的数据。投影方向指定数据例如使用与球面图像的坐标系相似的坐标系来表达。

输出范围指代指示输出图像的范围的数据。输出范围5基于中心坐标4 而确定。例如，通过将中心坐标4视为中心基于像素的预定数目确定输出范围5的θ方向上的长度和方向上的长度。

例如通过在图像处理装置2的输出设备2H3上显示球面图像生成投影方向指定数据，以使得用户向图像处理装置2的输入设备2H4输入该投影方向指定数据的坐标。

在步骤S1103，图像处理部分10F2执行基于该投影方向指定数据计算投影表面的处理。

图14A和14B是图示根据本发明的实施例的计算投影表面的示例处理的图。

这里，描述输出图像6的一侧的像素的数目是L的情况。

在如图12中图示的坐标系中，输出图像6可以表达为其一侧的长度是 2SR的投影表面7。当输出图像6上的任意像素点P的坐标给定为(Xp,Yp) 时，投影表面7上的对应坐标P1(Xp1,Yp1)表达为下面的公式1。

Xp1＝SR·(L-2·Xp)/L

Yp1＝SR·(L-2·Yp)/L 公式1

当投影表面7与具有半径1(r＝1)的球体接触时，如图14A图示，三维坐标系中的坐标P1是(Xp1,Yp1,-1)。投影表面7由内切球体3内切。

通过围绕X轴和Z轴旋转投影表面7，投影表面7可以设置在任意位置，同时与具有半径1(r＝1)的球体接触。

当投影表面7围绕X轴旋转并且围绕Z轴旋转θ时，通过下面的公式 2的旋转矩阵计算围绕X轴的坐标的转换，并且通过下面公式3的旋转矩阵计算围绕Z轴的坐标的转换。在公式2和3中，假设“(x，y，z)”表示旋转之前的坐标，并且“(X，Y，Z)”表示旋转之后的坐标。

当分别基于公式2和3围绕X轴和Z轴旋转投影表面7时，可以基于下面的公式4的旋转矩阵R计算旋转后的投影表面8的坐标。在公式4中，假设“(xd,yd,zd)”表示旋转之前的坐标，并且“(Xd,Yd,Zd)”表示旋转之后的旋转后的投影表面8的坐标。旋转后的投影表面8由内切球体3内切。

图像处理部分10F2基于公式4旋转投影表面7，以计算旋转后的投影表面8与由投影方向指定数据指示的位置对应。

注意，用于旋转的计算不限于基于公式4的计算。例如，可以替代地使用利用罗德里格旋转公式(Rodorigues’rotation formula)或者欧拉角(Euler’s angle)的计算方法。

在步骤S1104，图像处理部分10F2执行将投影表面上的三维坐标转换为球面图像上的极坐标的处理。

图15图示根据本发明的实施例的将投影表面上的三维坐标转换为球面图像上的极坐标的示例处理。

已经基于步骤S1103的计算而旋转的旋转后的投影表面上的坐标是如公式4和图14B中图示的三维坐标的(Xd,Yd,Zd)。而旋转后的投影表面8上的坐标是基于三维坐标，球面图像上的坐标给定为基于图10A到10D的极坐标的如图15中图示，在步骤S1104，图像处理部分10F2基于下面的公式5计算与旋转后的投影表面8上的坐标(Xd,Yd,Zd)对应的球面图像上的极坐标

或

在步骤S1105，图像处理部分10F2执行计算与球面图像上的极坐标对应的球面图像上的所有坐标的值的处理。图像处理部分10F2基于下面的公式6 计算与在步骤S1104计算出的球面图像上的极坐标对应的球面图像上的坐标Q(Xq,Yq)。

在公式6，符号“QW”表示球面图像的θ方向上的长度，符号“QH” 表示球面图像的方向上的长度，并且“n”表示圆的周长与其直径的比率。本文的角度的单位是弧度(“rad”)

在步骤S1106，图像处理部分10F2执行生成输出图像的像素的处理。

图16A到16D图示根据本发明的实施例的生成输出图像的像素的示例处理。

图16A图示在步骤S1105中计算的坐标Q(Xq,Yq)指示在球面图像上的示例。

图16B是图16A中的坐标Q(Xq,Yq)的附近的区域的放大视图。

生成输出图像的像素的处理指代例如基于坐标Q(Xq,Yq)和靠近由坐标 Q(Xq,Yq)指示的坐标的周围像素计算与坐标Q对应的像素的像素值的处理。生成输出图像的像素的处理例如指代基于由坐标Q(Xq,Yq)指示的坐标的周围四个像素的内插处理(所谓的“双线性内插”)等。

双线性内插是例如基于在坐标Q(Xq,Yq)的小数点以下的值和由坐标Q (Xq,Yq)指示的坐标的周围四个像素的亮度值的计算。

通过假设“Dij”表示与坐标Q(Xq,Yq)对应的像素的像素值，“P00、P10、 P01和P11”表示周围四个像素，并且“D00、D10、D01和D11”分别表示周围四个像素“P00、P10、P01和P11”的亮度值，描述计算。

图16C图示双线性内插的示例。

例如，可以基于下面的公式7计算出像素值“Dij”。

Dij＝(1-α)·(1-β)·D00+α·(1-β)·D10

+(1-α)·β·D01+α·β·D11

公式7

其中，“α”和“β”分别表示在坐标Q(Xq,Yq)的小数点以下的值。

在生成输出图像的像素的处理中，处理的计算基于周围四个像素的亮度值。因此，变得能够自然地恢复并且生成具有高质量的图像。

注意，生成输出图像的像素的处理不限于公式7的双线性内插。例如，为了使处理更容易，可以使用最近邻内插(Nearest neighbor interpolation)的处理。另外，为了获取更高质量的图像，可以使用双三次卷积(Bi-cubic convolution)的处理。

对于输出数据的所有像素重复步骤S1104到S1106的处理，以生成输出图像的像素，如图16D中图示。

在步骤S1107，图像校正部分10F22执行遮蔽数据生成处理。

在遮蔽数据生成处理中，通过用户的指定确定作为输出图像中的图像校正处理的目标的校正区域，并且生成用以标识校正区域的像素的数据。

图17A到17C是图示根据本发明的实施例的示例遮蔽数据生成处理的图。

在遮蔽数据生成处理中，例如，显示部分10F23向用户输出(显示)输出图像6，以使得用户指定用户确定需要校正的区域。

下面，描述输出图像6包括要被成像的第一对象61和要被成像的第二对象62、并且用户确定需要校正要被成像的第一对象61的区域的情况。

图17A图示在用户的指定之前的示例输出图像。用户检查图17A的输出图像6，以使得用户可以确定需要(期望)校正要成像的第一对象61的区域。

例如，用户通过使用图7的输入部分10F21指定区域。指定例如指代输入与要成像的第一对象61的区域对应的像素的处理，如图17B中图示。另外，指定例如可以指代输入包括与要成像的第一对象61的区域对应的像素的区域的处理，如图17C中图示。另外，指定例如可以指代提示用户输入图17A 中的与要成像的第一对象61的区域对应的任何像素的处理。在由用户输入之后，图像处理装置2计算靠近输入像素的并且可以被确定为具有与输入像素具有的相似的特性的像素，诸如具有相同或者相等的亮度值，以使得计算出的多个像素可以被视为指定的区域。

遮蔽数据指代指示在指定的区域中的坐标的数据。

图像处理装置2可以生成其中由遮蔽数据指示的坐标用预定颜色涂色的输出图像，并且向用户输出该输出图像。

在步骤S1108，图像校正部分10F22执行基于相似性的处理。

基于相似性的处理

图18是图示根据本发明的实施例的基于相似性的示例处理的流程图。

图19A到19H是图示根据本发明的实施例的基于相似性的示例处理的图。

图18和19A到19H的处理与图11的步骤S1108的处理对应。

图18图示例如当输出图像的水平方向上的像素的数目是2048并且输出图像的垂直方向上的像素的数目是1024时图像的大小。

在本文中，“1/1图像”指代具有水平方向上的2048像素和垂直方向上的 1024像素的图像。

在本文中，“1/2图像”指代具有水平方向上的1024像素和垂直方向上的 512像素——这分别是“1/1图像”的水平方向和垂直方向上的像素的数目的一半——的图像。

在本文中，“1/4图像”指代具有水平方向上的512像素和垂直方向上的 256像素——这分别是“1/1图像”的水平方向和垂直方向上的像素的数目的四分之一——的图像。

在本文中，“1/8图像”指代具有水平方向上的256像素和垂直方向上的 128像素——这分别是“1/1图像”的水平方向和垂直方向上的像素的数目的八分之一——的图像。

注意，图像不限于具有水平方向上的2048像素和垂直方向上的1024像素的图像。例如，图像可以具有水平方向上的1024像素和垂直方向上的512 像素。

另外，注意，图像的缩放因子(图像大小)不限于“1/8图像”、“1/4图像”、“1/2图像”和“1/1图像”。例如，也可以利用“1/16图像”等。

另外，注意，图像的缩放因子的数目不限于四个。例如，可以增加或者减少缩放因子的数目。

在步骤S1801，图像校正部分10F22获取在图11的步骤S1107生成的遮蔽数据和在图11的步骤S1106生成的输出图像。

在步骤S1802，图像校正部分10F22执行选择图像尺寸的处理。例如基于尺寸计数器进行选择图像尺寸的处理。具体地，例如，图像校正部分10F22 当尺寸计数器的值是零时选择“1/8图像”，并且当尺寸计数器的值是一时选择“1/4图像”。类似地，图像校正部分10F22当尺寸计数器的值是二时选择 “1/2图像”并且当尺寸计数器的值是三时选择“1/1图像”。注意，图像尺寸的选择顺序不限于上面的顺序。例如，可以从“1/1图像”选择图像尺寸。

图像校正部分10F22基于图像尺寸的数目重复从步骤S1802的处理。在图18中，基于图像尺寸的数目的重复的开始和结束分别表达为“LS1”和 “LE1”。例如，当图像尺寸是“1/8图像”、“1/4图像”、“1/2图像”和“1/1 图像”时，图像尺寸的数目是四个。在这种情况下，在从LS1到LE1重复的处理中，尺寸计数器的值例如是0到3。

在步骤S1803，图像校正部分10F22执行初始化处理。初始化处理例如指代生成遮蔽数据中的初始值数据的处理。

下面，描述指定区域91由用户输入的示例，如图19A中图示。

遮蔽数据9是使得指定区域91指定要校正的输出图像6的区域的数据。遮蔽数据9是具有与输出图像相同的像素的数目的数据。

在初始值设置中，生成其中基于遮蔽数据9在不是指定区域91的目标的像素(在下文中称为“非被遮蔽像素”)和不是指定区域91的目标的像素(“被遮蔽像素”)之间设置不同值的数据。在图19A到19H，非被遮蔽像素被图示为白色单元，并且被遮蔽像素被图示为彩色单元(具有阴影线)。

图19A图示例如图像校正部分10F22生成对于遮蔽数据9的非被遮蔽像素的初始值数据“+10000”(未示出)和对于遮蔽数据9的被遮蔽像素的初始值数据“-10000”(未示出)的情况。注意，初始值不限于“+10000”和“-10000”。任何值可以用作初始值，只要可以相互区分被遮蔽像素和非被遮蔽像素。

在步骤S1804，图像校正部分10F22对图像执行旋转处理。例如，基于图像方向计数器的值执行图像的旋转处理。具体地，例如，当图像方向计数器的值是零时，图像校正部分10F22在与输入图像的方向相同的方向上设置图像。当图像方向计数器的值是一时，图像校正部分10F22围绕垂直轴旋转输入图像以设置(生成)垂直反转的图像。当图像方向计数器的值是二时，图像校正部分10F22围绕水平轴旋转输入图像，以设置(生成)水平反转的图像。当图像方向计数器的值是三时，图像校正部分10F22围绕对角线轴旋转输入图像，以设置(生成)对角线反转的图像。

通过由旋转处理改变图像的方向，变得即使当图像包括包含诸如辐射图像之类的直线或者曲线(所谓的“几何图案”)的抽象图案时，也能够适当计算相似性。注意，方向的类型、类型的数目、顺序不限于上面情况中的那些。例如，垂直反转可以按顺序首先执行。

基于下面描述的相似性和值是否已收敛的确定(在步骤S1810中)，重复从步骤S1804的处理。基于确定的重复的开始和结束分别表达为“LS2”和 “LE2”。

在步骤S1805中，图像校正部分10F22执行计算被遮蔽像素的距离值的处理。

计算被遮蔽像素的距离值的处理指代计数与每个被遮蔽像素和对应的非被遮蔽像素之间的距离对应的像素的数目的处理。

计算被遮蔽像素的距离值的处理可以基于所谓的“光栅扫描方法”，其中处理从图像的左上像素开始并且在右下像素处结束。

在步骤S1805，图像校正部分10F22执行通过光栅扫描方法寻找(检测) 被遮蔽像素的处理。因为值“-10000”在初始设置中被输入到被遮蔽像素，所以图像校正部分10F22基于输入值来确定像素是否是被遮蔽像素。

图19B和19C图示计算被遮蔽像素的距离值的示例处理。

在步骤S1805，图像校正部分10F22从左上到右下执行光栅扫描，并且通过计算被遮蔽像素的距离的处理生成第一遮蔽像素计算数据92。被输入到第一遮蔽像素计算数据92的值的绝对值指示与在被遮蔽像素的区域和非被遮蔽像素的区域之间的边界线的距离。

生成第一遮蔽像素计算数据92的处理可以描述为例如在图19B中图示。生成第一遮蔽像素计算数据92的处理是其中当在目标被遮蔽像素的上侧或者左侧的紧挨着该目标被遮蔽像素的像素是非被遮蔽像素时、目标被遮蔽像素的值设置为“-1”的处理。生成第一遮蔽像素计算数据92的处理是其中当在目标被遮蔽像素的上侧和左侧的紧挨着该目标被遮蔽像素的两个像素不是非被遮蔽像素时、目标被遮蔽像素的值被设置为通过从在目标被遮蔽像素的上侧或左侧的紧挨着该目标被遮蔽像素的像素的值(较大者)减去“1”计算出的值的处理。生成第一遮蔽像素计算数据92的处理是图像的外围上的像素的值被保持为初始值的处理。

接着，图像校正部分10F22从右下到右上对第一遮蔽像素计算数据92 执行光栅扫描，并且计算被遮蔽像素的相似性，以生成第二遮蔽像素计算数据93。

生成第二遮蔽像素计算数据93的处理可以描述为例如图19C中图示。生成第一遮蔽像素计算数据92的处理是其中当在目标被遮蔽像素的下侧或右侧的紧挨着该目标被遮蔽像素的像素是非被遮蔽像素时、目标被遮蔽像素的值被设置为“-1”的处理。生成第二遮蔽像素计算数据93的处理其中当在目标被遮蔽像素的下侧和右侧的紧挨着该目标被遮蔽像素的两个像素不是非被遮蔽像素时，目标被遮蔽像素的值被设置为通过从在目标被遮蔽像素的下侧或右侧的紧挨着该目标被遮蔽像素的像素的值(较大者)减去“1”计算出的值的处理。生成第二遮蔽像素计算数据93的处理是其中图像的外围上的像素的值被保持为初始值的处理。

在步骤S1806，图像校正部分10F22执行计算非被遮蔽像素的距离值的处理。

在步骤S1806，图像校正部分10F22执行从右上到左下对遮蔽数据9的光栅扫描和计算非被遮蔽像素的距离值的处理，以生成第三遮蔽像素计算数据94。在生成第三遮蔽像素计算数据94的处理中，重复下面的操作，同时可变步骤(step)计数的值从1递增至10。因为值“+10000”在初始设置中被输入到非被遮蔽像素中，所以图像校正部分10F22基于输入值确定像素是否是非被遮蔽像素。

在生成第三遮蔽像素计算数据94的处理中，当目标非被遮蔽像素的8 个周围像素中的任一个是1到10中的任一个时，目标非被遮蔽像素的值被设置为可变步骤计数的值。在生成第三遮蔽像素计算数据94的处理中，当目标非被遮蔽像素的8个周围像素的所有值是除了在从1到10的范围中的值之外的值时，目标非被遮蔽像素的值被设置为“+1”。

图19D图示当可变步骤计数的值是“1”时执行计算非被遮蔽像素的距离值的处理时的遮蔽数据。

图19E图示当可变步骤计数的值是“2”时执行计算非被遮蔽像素的距离值的处理时的遮蔽数据。

图19F图示当可变步骤计数的值是“3”时执行计算非被遮蔽像素的距离值的处理时的遮蔽数据。

接着，图像校正部分10F22执行处理，直到可变步骤计数的值是“10” 为止。在那之后，图像校正部分10F22对具有值“+10000”的被遮蔽像素执行处理。图像校正部分10F22执行将该被遮蔽像素的值从“+10000”改变至 “+100”的处理。图19G图示对具有值“+10000”的被遮蔽像素执行处理的情况。

在步骤S1807，图像校正部分10F22对图像的外围上的像素执行处理。图19H图示对图像的外围上的像素执行处理的示例。图像校正部分10F22执行将图像的外围上的像素的值改变(设置)为“+10000”的处理。对图像的外围上的像素执行此处理，无论该像素是被遮蔽像素还是非被遮蔽像素。在上面描述的计算距离值和亮度值的处理中，图像的外围不具有(足够的)周围像素并且它们不能在计算中使用。因此，输入作为无效标志值的值。

存在很多情况，在这些情况中，可以通过使用附近像素来改变被参考来校正被遮蔽像素的非被遮蔽像素的图像质量。直至步骤S1807，图像校正部分10F22已经执行生成遮蔽数据的处理，其中基于到非被遮蔽像素的距离的值被输入到被遮蔽像素。

在步骤S1808，图像校正部分10F22执行计算关于被遮蔽像素和在被遮蔽像素附近的非被遮蔽像素的相似点的处理。

例如，当确定任意像素(在下文中“第一像素”)时，相似点指代具有相对于第一像素的最小相似性值的与第一像素不同的像素(在下文中，“第二像素”)。

基于第一像素和第二像素的亮度值以及距离值计算相似性。随着相似性值降低，确定第一像素更相似于第二像素。第一像素和第二像素的亮度值例如可以基于在四个周围像素内的像素的平均亮度值，也就是，其中计算目标的像素位于其中心的9×9像素的平均亮度值。注意，亮度值的平均计算的范围不限于9×9像素的范围。可以考虑计算时间等改变9×9像素的范围。

另外，可以使用基于距离的加权基于方差之和(SSD)方法或者绝对差之和(SAD)方法获得相似性。

在步骤S1809，图像校正部分10F22对于所有像素的在步骤S1808中计算的相似性值求和，以计算图像的和(在下文中，称为“和值”)。每个图像的和值存储在存储部分10F24中。下面，步骤1809中计算出的和值称为“当前和值”。对于与存储在存储部分10F24中的“当前和值”所基于的图像不同的图像而计算的和值被称为“先前和值”或者“在先前之前的和值”。

在步骤S1810中，图像校正部分10F22基于步骤S1809中计算出的和值和存储部分10F24中存储的“在先前之前的和值”确定相似性和值是否收敛。

在本文中，当满足下面公式8和9中描述的两个条件时，确定相似性和值已收敛。当确定和值已收敛时(步骤S1810中的“是”)，对应大小的处理 (即，从LS1到LE1的处理)结束。当确定和值还没有收敛时(步骤S1810 中的“否”)，处理返回到循环的开始“LS2”，以使得执行从步骤1804到步骤 S1819的处理。这里，下面公式8和9中的阈值是可以由用户预先设置的任意值。本文“先前五个和值”指代“当前和值”、“先前和值”、“在先前之前一次的和值”、“在先前之前两次的和值”和“在先前之前三次的和值”的和值。本文“从先前和值起的先前五个和值”指代“先前和值”、“在先前之前一次的和值”、“在先前之前两次的和值”、“在先前之前三次的和值”和“在先前之前四次的和值”的和值。

在步骤S1811，图像校正部分10F22执行基于相似性计算被遮蔽像素的亮度值的处理。图像校正部分10F22计算与在步骤S1808计算出的相似点对应的亮度值。例如，与相似点对应的亮度值的计算是通过对在相似点附近的像素的亮度值求平均来计算值，或者基于双线性方法来计算值。

反映到球面图像的处理

在步骤S1109，图像校正部分10F22执行反映到球面图像的处理。

图20是图示根据本发明的实施例的反映到球面图像的示例处理的流程图。

图21A到21E是图示根据本发明的实施例的反映到球面图像的示例处理的图。

反映到球面图像的处理指代要将处理反映到通过参考图18描述的基于相似性的处理而校正的被遮蔽像素的处理，以相似地反映到球面图像中与被遮蔽像素对应的像素。

对于球面图像的所有像素执行步骤S2001到S2009的处理。例如通过从球面图像的左上像素开始并在右下像素结束来执行步骤S2001到S2009的处理(即，所谓的“光栅扫描方法”)。如图20中图示，通过使用反映处理计数器来循环从步骤S2001到步骤S2009的处理。

在步骤S2001，图像校正部分10F22执行转换为与坐标(Xq,Yq)对应的球面图像上的极坐标的处理，坐标(Xq,Yq)是球面图像上的任意坐标。转换为球面图像上的极坐标的处理是例如基于下面的公式10的转换处理。

其中，在公式10中，符号“QW”表示θ方向上的球面图像的长度，符号“QH”表示球面图像的方向上的长度，并且“π”表示圆的周长与其直径的比率。本文中的角的单位是弧度(“rad”)。

在步骤S2002，图像校正部分10F22执行计算极坐标与投影表面之间的距离的处理。具体地，图像校正部分10F22计算通过步骤S2001中的处理计算出的极坐标与由在步骤S2001输入的投影方向指定数据所指示的投影表面的中心坐标4的坐标值之间的距离“d”。

图21A图示距离“d”的示例。

如图21A图示，距离“d”指代球面图像中的坐标和投影表面的中心坐标4的坐标值之间的在具有半径1(r＝1)的球体上的距离。

在步骤S2003中，基于在步骤S2002中计算出的距离“d”，图像校正部分10F22确定球面图像的坐标是否在投影范围中(即，在投影表面的范围中)。具体地，图像校正部分10F22基于下面的公式11确定球面图像中的坐标是否在投影范围中。

在本文中，符号“2SR”表示投影表面的长度。在下面描述的步骤S2005 中，图像校正部分10F22执行计算与三维坐标(Xd,Yd,Zd)对应的初始位置的投影表面上的坐标(Xp1,Yp1,-1)的处理。在该计算中，计算公式包括三角函数。三角函数是每180度重复的周期函数。

由于三角函数的特性，在下面描述的步骤S2005中，如图21B中图示，相对于原点与投影表面7对称的对称投影表面71上的极坐标满足在投影表面7上的范围内的条件。即，相对于原点与旋转后的投影表面8对称的对称投影表面81可以如图21C图示。存在与旋转后的投影表面8对称的对称投影表面81上的极坐标

当极坐标的坐标被反映时，反映了不必要的像素，使得可能劣化图像质量。因此，基于在具有半径1(r＝1)的球体上的距离计算距离“d”。通过基于在具有半径1(r＝1)的球体上的距离来计算距离“d”，可以以使得排除与旋转后的投影表面对称的对称投影表面81上的极坐标的方式计算距离“d”。

图21D是图21B的示例前视图。距离“d”可以计算为角度“Ang”和半径“r” 的乘积。这里，因为半径是1(r＝1)，距离“d”具有与角度“Ang”的值相同的值。当存在投影表面7上的极坐标时，在图21D的情况下距离“d”变成最大。因此，基于上面的公式11确定距离“d”是否在投影表面上的范围中。

当确定满足公式11的条件时(步骤2003中的“是”)，图像校正部分10F22 的处理去到步骤S2004。当确定不满足公式11的条件(步骤2003中的“否”) 时，坐标(Xq,Yq)不是投影表面上的坐标。即，坐标(Xq,Yq)不是在被指定为输出范围的范围中的坐标。因此，变得能够确定不需要校正。因此，当确定不满足公式11的条件时(步骤2003中的“否”)，图像校正部分10F22的处理去到对下一坐标(Xq,Yq)上的下一计算。

在步骤S2004中，图像校正部分10F22执行计算与球面图像上的极坐标对应的投影表面上的三维坐标(Xd,Yd,Zd)的处理。具体地，在步骤 S2004中，图像校正部分10F22执行基于下面的公式12将极坐标系中的坐标值转换为正交坐标系中的三维坐标值(Xd,Yd,Zd)的处理。

Xd＝cosθ1·sinφ1

Yd＝sinθ1·cosφ1

Zd＝sinθ1 公式12

在步骤S2005，图像校正部分10F22执行计算与三维坐标(Xd,Yd,Zd)对应的初始位置的投影表面上的坐标(Xp1,Yp1,-1)的处理。初始位置的投影表面是图14A中的投影表面7。例如通过使用上面公式4的旋转矩阵“R”的逆矩阵“R^-1”，执行基于三维坐标(Xd,Yd,Zd)计算初始位置的投影表面上的坐标 (Xp1,Yp1,-1)的处理。在图11的步骤S1103中并且在图14B中，图像校正部分10F22通过使用上面的公式4的以上旋转矩阵R，基于初始位置的投影表面上的坐标(Xp1,Yp1,-1)，计算三维坐标(Xd,Yd,Zd)。因此，通过使用逆矩阵 “R^-1”，执行基于三维坐标(Xd,Yd,Zd)计算初始位置的投影表面上的坐标 (Xp1,Yp1,-1)的处理，该处理是上面的处理的反转换。

注意，基于三维坐标(Xd,Yd,Zd)计算初始位置的投影表面上的坐标 (Xp1,Yp1,-1)的处理不限于使用逆矩阵“R^-1”的计算。例如，可以通过使用旋转矩阵“R”、同时从加到减反转要输入的角度的符号或者反之亦然来执行该处理。

在步骤S2006，图像校正部分10F22基于在步骤S2005计算出的值“Xp1” 和“Yp1”，确定坐标(Xp1,Yp1-1)是否位于投影表面7上。具体地，图像校正部分10F22基于是否满足公式13-1和13-2二者确定坐标(Xp1,Yp1-1)是否位于投影表面7上。

-SR<Xp1<SR 公式13-1

-SR<Yp1<SR 公式13-2

当满足公式13-1和13-2二者时(步骤S2006中的“是”)，图像校正部分10F22的处理去到步骤S2007。当不满足公式13-1或13-2中的任一个时(步骤S2006中的“否”)，坐标(Xp1,Yp1,-1)不是投影表面上的坐标。即，坐标 (Xp1,Yp1,-1)不是在被指定为输出范围的范围内的坐标。因此，变得能够确定没有必要校正。因此，当确定不满足公式13-1或13-2中的任一个时(步骤 S2006中的“否”)，图像校正部分10F22的处理去到对下一坐标(Xq,Yq)的下一计算。

在步骤S2007，图像校正部分10F22执行计算与坐标(Xp1,Yp1,-1)对应的具有一侧长度“L”的平面上的坐标(Xp,Yp)的处理。

图像校正部分10F22计算与在具有一侧长度“SR”的投影表面7上的坐标 (Xp1,Yp1,-1)对应的在具有一侧长度“L”的平面上的坐标(Xp,Yp)。具体地，图像校正部分10F22基于下面的公式14计算坐标系(Xp,Yp)。

在步骤S2008，图像校正部分10F22确定在步骤S2007计算出的坐标 (Xp,Yp)是否在要遮蔽的区域中。

图21E图示确定坐标(Xp,Yp)是否在要遮蔽的区域中的示例。图像校正部分10F22生成指示被遮蔽的区域的图像数据95，如图21E中图示。如图21E 中图示，图像数据95是在其上的遮蔽数据9被反映到输出图像6的图像数据。在步骤S2008，如图21E中图示，图像校正部分10F22确定在步骤S2007计算出的坐标(Xp,Yp)是否在图像数据95的被遮蔽区域中。

当确定坐标(Xp,Yp)在被遮蔽区域中时(步骤S2008中的“是”)，图像校正部分10F22的处理去到步骤S2009。当确定坐标(Xp,Yp)不在被遮蔽区域中时(步骤S2008中的“否”)，坐标(Xp,Yp)不是由用户指定为要校正的坐标的坐标。因此，变得能够确定没有必要校正。因此，当确定坐标(Xp,Yp)不在被遮蔽区域中时，图像校正部分10F22的处理去到对下一坐标(Xq,Yq)的下一计算。

在步骤S2008，图像校正部分10F22执行校正球面图像的像素的处理。图像校正部分10F22基于通过参考图18描述的基于相似性的处理而校正的被遮蔽像素的亮度值来校正球面图像的像素。在校正中，例如通过使用在图11 的步骤S1106中和图16中描述的双线性方法生成像素的值。

输出图像不限于已经被执行图像处理的图像。例如，输出图像可以是已经被执行图像处理的图像的一部分。此外，可以执行向用户显示在每个步骤中的图像的处理。

在步骤S1110，图像校正部分10F22执行输出输出图像的处理。输出输出图像的处理例如指代输出在步骤S1109中处理的球面图像作为输出图像的处理或者输出在步骤S1108中处理的输出图像的处理。

另外，在输出图像中，例如，可以执行校正被遮蔽像素和非被遮蔽像素之间的边界上的若干非被遮蔽像素的处理。例如，在被遮蔽像素之中，可以校正离非被遮蔽像素在两个像素内的被遮蔽像素，并且对于其他被遮蔽像素可以使用输入到图像处理装置2的数据。通过执行由两个像素的处理，用户变得能够看到由用户指定的部分被逐渐校正的状态。

图22图示根据本发明的实施例的示例球面图像。

在图22中，例如，假设出现(成像)在图像的下侧的人的手指是要遮蔽的对象63。

当假设图22的图像是输出图像并且要遮蔽的对象63是要遮蔽的区域时，示例性描述球面图像是被执行了图11的步骤S1109中的处理的输出的情况。

图23图示根据本发明的实施例的通过反映到球面图像的处理获得的示例效果。

如图23中图示，通过执行反映到球面图像的处理，变得能够以要遮蔽的对象63可以被删除并且可以在要遮蔽的对象63可见(被成像)的范围中输出自然图像的方式校正图像。

图24是图示根据本发明的实施例的在执行基于相似性的处理之前的输出图像的示例的图。

图24图示当图22的球面图像被输入到图像处理装置2并且用户指定要被遮蔽的对象63可见(被成像)的范围(即，图22的球面图像的近似下一半)作为图11的步骤S1102的输出范围时，在校正之前的示例输出图像。

如图24中图示，在校正之前的输出图像中，要遮蔽的对象63可见(被成像)(被包括)。

图25图示根据本发明的实施例的通过基于相似性的处理获得的示例效果。

如图25中图示，在输出图像中，要遮蔽的对象63被删除(re)，并且在要遮蔽的对象63可见(被成像)的范围中输出自然图像。

相应地，在由成像系统10形成的图像中，变得能够以使得可以在图像中的要被成像的对象的部分中输出自然图像的方式校正图像。

第二实施例

在本发明的第二实施例中，使用根据第一实施例的成像系统10、成像设备1和图像处理装置2。因此，在此省略成像设备1和图像处理装置2的重复描述。

在第二实施例中，执行参考图8描述的第一实施例的整体处理。在第二实施例中，图11的图像处理装置的处理与第一实施例中的不同。

图26是根据本发明的第二实施例的图像处理装置执行的示例处理的流程图。在图26中，使用相似的处理名称和参考标号来描述第一实施例的图 11中的相同处理等，并且在此省略其重复描述。第二实施例的图26中的处理与第一实施例的图11的处理不同在于添加了步骤S2601和S2602中的处理。

在步骤S2601中，图像校正部分10F22执行被遮蔽区域比率确定处理。

图27A和27B图示根据本发明的第二实施例的被遮蔽区域比率确定处理的示例。

在被遮蔽区域比率确定处理中，计算被遮蔽像素94(遮蔽数据9)的数目与在指定输出范围中的像素的数目的比率。然后，如果该比率大于或者等于预定值，则确定被遮蔽区域具有预定比率或者更大。

下面，描述指定输出范围中的像素的数目是100(像素)并且预定比率是50％的示例。

图27A图示被遮蔽区域大于或者等于预定比率的示例。例如，当由遮蔽数据9指定的范围对应于70个像素时，遮蔽数据9与输出范围(100个像素) 的比率计算为70％。在图27A的情况下，因为被遮蔽像素(遮蔽数据9)与输出范围的比率大于或等于预定比率(50％)，所以图像校正部分10F22确定被遮蔽区域具有预定比率或者更大(步骤S2601中的“是”)，以使得处理去到步骤S2602。

图27B图示被遮蔽区域小于预定比率的示例。例如，当由遮蔽数据9指定的范围对应于10个像素时，遮蔽数据9与输出范围(100个像素)的比率计算为10％。在图27B的情况下，因为被遮蔽像素(遮蔽数据9)与输出范围的比率小于预定比率(50％)，所以图像校正部分10F22确定被遮蔽区域不具有预定比率或更大(步骤S2601中的“否”)，以使得处理去到步骤S1108。

注意，该预定比率是可以由用户任意设置的值。

在步骤S2602的处理中，图像校正部分10F22执行放大输出图像的处理。

图28图示根据本发明的第二实施例的放大输出范围的处理的示例。

放大输出范围的处理是放大输出范围以便降低被遮蔽像素(遮蔽数据9) 的比率的处理。

如图28中图示，放大输出范围的处理是设置放大后的输出范围51替代基于由图13的投影方向指定数据指示的中心坐标4确定的输出范围5的处理。例如，在放大输出范围的处理中，计算像素的数目，其中在步骤S2601 中被遮蔽像素(遮蔽数据9)的比率小于预定比率，并且通过将中心坐标4 视为放大的中心来改变输出范围的垂直和水平值而设置放大后的输出范围 51。

注意，设置放大后的输出范围51的方法不限于上面的方法。例如，可以通过在左、右、向上和向下方向中的至少一个上扩展来设置放大后的输出范围51。

另外，放大后的输出范围51的可放大的范围可以限于上限，以减少输出图像的失真。

通过设置被遮蔽像素(遮蔽数据9)的比率小于预定比率，变得能够通过基于相似性的后续处理使得输出图像的图像质量更高并且更快地执行基于相似性的处理。

第三实施例

在本发明的第三实施例中，使用根据第一实施例的成像系统10、成像设备1和图像处理装置2。因此，在此省略成像设备1和图像处理装置2的重复描述。

在第三实施例中，执行参考图8描述的第一实施例的整体处理。在第三实施例中，图11的图像处理装置的处理与第一实施例中的不同。

图29是根据本发明的第三实施例的图像处理装置执行的示例处理的流程图。在图29中，使用相似的处理名称和参考标号来描述第一实施例的图 11中的相同处理等，并且在此省略其重复描述。第三实施例的图29中的处理与第一实施例的图11中的处理不同在于添加了步骤S2901和S2902中的处理。

在步骤S2901中，图像校正部分10F22执行计算输出图像和球面图像的分辨率和确定输出图像的分辨率是否高于球面图像的分辨率的处理。

当确定输出图像的分辨率高于球面图像的分辨率时(步骤S2901中的 “是”)，处理去到步骤S2902。当确定输出图像的分辨率不高于球面图像的分辨率时(步骤S2901中的“否”)，图像校正部分10F22的处理去到步骤 S1103。

分辨率指代像素的密度和例如用以指示预定图像的像素的数目。

在步骤S2902的处理中，图像校正部分10F22执行缩减(reduce)输出范围的处理。缩减输出范围的处理是缩减基于变成输出图像的输出范围指定的像素的数目的处理。这里，步骤S2902的处理不限于缩减输出范围的处理。例如，可以对像素的预定数目的亮度值求平均，以使得生成具有平均的亮度值的一个像素。跨越输出图像应用此处理。通过这样做，可以缩减像素的数目。

通过将输出图像的分辨率设置为小于或者等于球面图像的分辨率，可以变得能够减少图像质量的劣化并且减少处理时间。

第四实施例

在本发明的第四实施例中，使用根据第一实施例的成像系统10、成像设备1和图像处理装置2。因此，在此省略成像设备1和图像处理装置2的重复描述。

在第四实施例中，执行参考图8描述的第一实施例的整体处理。在第四实施例中，图11的图像处理装置的处理与第一实施例中的不同。

图30是根据本发明的第四实施例的图像处理装置执行的示例处理的流程图。在图30中，使用相似的处理名称和参考标号来描述第一实施例的图 11中的相同处理等，并且在此省略其重复描述。第四实施例的图30中的处理与第一实施例的图11中的处理不同在于添加了步骤S3001和S3002中的处理。

在步骤S3001中，图像校正部分10F22执行计算输出图像和球面图像的分辨率的处理，并且确定输出图像的分辨率和球面图像的分辨率之间的差是否大于或者等于预定值。

确定输出图像的分辨率和球面图像的分辨率之间的差是否大于或等于预定值指代确定输出图像的分辨率和球面图像的分辨率是否指示像素的数目的相似等级。该预定值可以由用户任意设置。

当确定输出图像的分辨率和球面图像的分辨率之间的差大于或等于预定值时(步骤S3001中的“是”)，图像校正部分10F22的处理去到步骤S3002。当确定输出图像的分辨率和球面图像的分辨率之间的差不大于或者等于预定值时(步骤S3001中的“是”)，图像校正部分10F22的处理去到步骤S1103。

在步骤S3002的处理中，图像校正部分10F22执行改变输出范围的处理。改变输出范围的处理指代使得将输出图像的分辨率设置为等于或者基本等于球面图像的分辨率的处理。例如，当输出图像的分辨率高于球面图像的分辨率时，图像校正部分10F22执行图29中的步骤S2902的处理。例如，当输出图像的分辨率低于球面图像的分辨率时，图像校正部分10F22执行图26中的步骤S2602的处理。注意，步骤S3002的处理不限于图26中的步骤S2602 的处理或者图29的步骤S2902的处理。例如，图像校正部分10F22可以计算输出范围的一侧的长度，以使得输出图像的分辨率等于或者基本上等于球面图像的分辨率，并且以使得输出范围的一侧的长度等于所计算的长度的方式设置输出范围。

通过设置输出图像的分辨率等于或者基本等于球面图像的分辨率，可以变得能够通过由于分辨率被劣化的输出的缩减而改进图像中的边缘部分的再现来改善图像质量，并且减少处理时间。

第五实施例

在本发明的第五实施例中，使用根据第一实施例的成像系统10、成像设备1和图像处理装置2。因此，在此省略成像设备1和图像处理装置2的重复描述。

在第五实施例中，执行参考图8描述的第一实施例的整体处理。在第五实施例中，图11的步骤S1811中的基于相似性的处理与第一实施例中的不同。

在根据第五实施例的步骤S1810的处理中，基于输出图像的像素的数目改变步骤S1810中的确定条件。

依赖于输出图像的像素的数目的确定条件的改变指代确定条件的改变以便使得在步骤S1810更容易确定相似性和值已经收敛(步骤S1810中的“是”)。具体地，当输出图像的像素的数目大于或者等于预定像素数目时，例如，当满足公式8和9的条件中的至少一个时，改变确定条件。注意，确定条件的改变不限于满足条件的公式的数目。例如，确定条件的改变指代公式8和9 中的阈值的改变。

图像处理装置2可以通过在诸如assembler、C、C++、C#和Java(注册商标)等的遗留程序语言或者面向对象的编程语言等中描述的计算机可执行程序实现。这样的程序可以存储在诸如ROM、电可擦除可编程ROM (EEPROM)等之类的记录介质中以被分发。另外，这样的程序可以存储在诸如快闪存储器、软盘、CD-ROM、CD-RW、DVD-ROM、DVD-RAM、DVD-RW 等的记录介质中以被分发。另外，这样的程序可以存储在诸如蓝光盘、SD(注册商标)卡、MO盘等的设备可读取记录介质中，并且通过使用设备可读取记录介质或者经由电信线而被分发。

另外，功能的一部分或者全部可以实现在诸如现场可编程门阵列(FPGA) 等的可编程设备(PD)上。另外，功能的部分或者全部可以实现为专用集成电路(ASIC)。

功能的一部分或者全部可以在电路配置数据(位流数据)中描述以下载到PD中或者在硬件描述语言(HDL)中描述用于生成电路配置数据等，并且下载到PD以被实现。另外，功能的一部分或者全部可以在极高速集成电路(VHSIC)HDL(VHDL)或者Verilog-HDL中描述，并且下载到PD以被实现。

虽然为了完整和清楚的公开已经关于特定实施例描述了本发明，但是所附权利要求并不由此被限制，而是被理解为包含正当落入本文阐述的基本教导内的对本领域技术人员而言可以发生的所有修改和替代结构。

本申请基于并且要求于2013年12月20日提交的日本专利申请第 2013-264019的优先权的权益，其全部内容通过引用的方式并入本文。

参考标号的描述

1:成像设备

2:图像处理装置

10:成像系统

10F1:球面图像生成部分

10F11:成像部分

10F12:生成部分

10F13:输出部分

10F2:图像处理部分

10F21:输入部分

10F211:参数输入部分

10F212:图像输入部分

10F22:图像校正部分

10F221:遮蔽部分

10F222:相似性计算部分

10F223:校正部分

10F23:显示部分

10F24:存储部分

3:内切球体

4:中心坐标

5:输出范围

51:放大后的输出范围

6:输出图像

61:要成像的第一对象

62:要成像的第二对象

63:要遮蔽的对象

7:投影表面

71:对称投影表面

8:旋转后的投影表面

81:对称投影表面

9:遮蔽数据

91:指定区域

92:第一遮蔽像素计算数据

93:第二遮蔽像素计算数据

94:第三遮蔽像素计算数据

95:图像数据

现有技术文献

[专利文献]

[专利文献1]日本特开专利公开号2011-35567

[专利文献2]日本专利号4242381

[专利文献3]国际公开号WO2009-142333

[非专利文献]

[非专利文献1]Kotaro Machikita等,“Realization of OmnidirectionalTelepresence without Invisible Areas Using an Omnidirectional Camera Based onVideo Inpainting(基于视频图像修复使用全方向相机没有不可见区域而实现全方向遥现)”，图像识别和理解会议，2009年7月

Claims

1.一种图像生成装置，用于基于输入全景图像生成输出图像，包括：

参数输入单元，配置为输入输出范围参数和校正参数，该输出范围参数指定该全景图像中的输出范围，该校正参数指定在该输出图像中要校正的校正部分；

图像校正单元，配置为利用具有对应于该校正部分中的像素与该校正部分的周围像素之间的相似性的值的像素，来遮蔽该输出图像中的该校正部分的像素；以及

显示单元，配置为在显示设备上显示该输出图像，其中该校正部分的像素的值被该图像校正单元转换为对应于该相似性的值。

2.如权利要求1所述的图像生成装置，

其中，所述图像校正单元配置为通过使用所述输出图像的像素的数目或者分辨率或者方向已经被改变的输出图像多于一次地计算相似性。

3.如权利要求1或2所述的图像生成装置，

其中，所述图像校正单元配置为设置

第一投影表面，指示要输出到所述输出图像的范围的表面，

第二投影表面，通过将所述第一投影表面移动到由所述输出范围参数指示的区域而形成，

在所述第一投影表面上的第一坐标，

在所述第二投影表面上的与所述第一坐标对应的第二坐标，以及

在所述第一投影表面和第二投影表面中内切的球体，以及

基于根据所述球体的半径和所述第一投影表面的一侧的长度计算出的弧长，计算在所述第一投影表面上的第一坐标和在所述第二投影表面上的第二坐标之间的距离。

4.如权利要求1或2所述的图像生成装置，

其中，所述图像校正单元配置为基于所述校正部分与所述输出范围的比率改变所述输出范围。

5.如权利要求4所述的图像生成装置，

其中，所述输出范围的改变是放大所述输出范围。

6.如权利要求4所述的图像生成装置，

其中，所述输出范围的改变是减少所述输出范围的像素的数目。

7.如权利要求4所述的图像生成装置，

其中，所述输出范围的改变是将所述输出范围的像素的数目改变为等于或者基本上等于所述全景图像的分辨率。

8.如权利要求1或2所述的图像生成装置，

其中，所述图像校正单元配置为多于一次地校正所述输出图像中的校正部分，同时在每次校正之前基于所述输出图像的像素的数目确定是否进一步校正。

9.一种由计算机执行的、基于输入全景图像生成输出图像的图像生成方法，包括：

参数输入步骤，输入输出范围参数和校正参数，所述输出范围参数指定所述全景图像中的输出范围，所述校正参数指定在所述输出图像中要校正的校正部分；

图像校正步骤，利用具有对应于该校正部分中的像素与该校正部分的周围像素之间的相似性的值的像素，来遮蔽该输出图像中的该校正部分的像素；以及

显示步骤，在显示设备上显示该输出图像，其中该校正部分的像素的值被转换为对应于在该图像校正步骤中的该相似性的值。

10.一种用以使得计算机执行基于输入全景图像生成输出图像的图像生成处理的程序，所述图像生成处理包括：

参数输入处理，输入输出范围参数和校正参数，所述输出范围参数指定所述全景图像中的输出范围，所述校正参数指定在所述输出图像中要校正的校正部分；

图像校正处理，利用具有对应于该校正部分中的像素与该校正部分的周围像素之间的相似性的值的像素，来遮蔽该输出图像中的该校正部分的像素；以及

显示处理，在显示设备上显示该输出图像，其中该校正部分的像素的值被转换为对应于在该图像校正处理中的该相似性的值。