CN103152526B - 图像处理装置以及图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理装置以及图像处理方法，使得用户能容易地拍摄商品的全方位图像组。图像感测部（201）感测从配置有商品的外界投射的光，输出表示该感测的结果的图像。指示受理部（202）受理来自用户的摄影指示。在受理了摄影指示时，保存部（203）保存由图像感测部（201）感测到的图像。取景显示部（204）将由保存部（203）保存的图像和由图像感测部（201）感测到的图像进行合成，并显示在取景画面上。

Description

图像处理装置以及图像处理方法

本申请是原案申请号为No.201080068666.0的发明专利申请(国际申请号：PCT/JP2010/067003，申请日：2010年9月29日，发明名称：商品摄影装置、商品摄影方法、图像变换装置、图像处理装置、图像处理系统、程序及信息记录介质)的分案申请。

技术领域

本发明涉及商品摄影装置、商品摄影方法、图像变换装置、图像处理装置、图像处理系统、程序及信息记录介质，便于用户能够容易拍摄商品的全方位图像组。

背景技术

由从物体的周围依次拍摄该物体得到的多个图像构成的全方位图像组，除了用于生成该物体的三维形状模型之外(例如，参照非专利文献1)，还能够用于使消费者清楚地观察商品的外观等用途。

其中，在以物体为中心的圆周上，以使摄像机的拍摄方向朝向该物体的方式进行移动，同时依次拍摄包括该物体的现实世界的状态，由此得到全方位图像。

因此，为了使摄像机的位置和朝向符合上述的设定，通常全方位图像的摄影需要特殊的器械。

另一方面，近年来低价的数字摄像机得到普及。在数字照相机中，摄影用透镜将包括被摄体的外界的光聚集而在CCD(ChargeCoupledDevice)等图像感测器中成像外界的状态。

当用户按下快门时，在此后的某个短时间的期间内，根据图像感测器感测到的光的强度和波长等，得到电子文件形式的图像。该电子文件相当于过去的光学式摄像机的已感光胶片和已显影印相纸。

另外，被称为实时预览(livepreview)或者实时取景的技术也得到普及。在实时预览中，将图像感测器当前检测到的图像直接实时地显示在液晶显示器等的画面上(例如，参照非专利文献2)。即，在实时预览中采用了液晶显示器等的电子取景器。

通过实时预览而显示于取景画面上的图像，是相当于“在假设用户目前在该瞬间按下快门时得到的图像”的图像。

因此，如果采用实时预览，用户能够在拍摄之前确认对被摄体的构图和曝光等。

现有技术文献

非专利文献

非专利文献1：保田和隆、右田剛史、青山正人、椋木雅之、浅田尚紀，疎な全周囲画像列からの密な3次元形状モデルの生成(GenerationofDenseThree-dimensionalShapeModelfromRoughImageSequenceofEntireSurroundings)，社団法人情報処理学会研究報告，CVIM，コンピュータビジョンとイメージメディア(ComputerVisionandImageMedia)，2003－CIVM－138(11)、73頁－80頁，http://harp.lib.hiroshima-u.ac.jp/bitstream/harp/6507，2003年5月8日

非专利文献2：Wikipedia，TheFreeEncyclopedia，Livepreview，http://en.wikipedia.org/wiki/Live_preview，2010年6月15日

发明内容

发明要解决的问题

但是，在中小商店主或拍卖会的个人展出者想要拍摄用于介绍商品的全方位图像的情况下，几乎都无法准备诸如上述的特殊器械。

因此，寻求能够容易拍摄全方位图像组或者在拍摄后能够容易变换为全方位图像组的图像组的技术。

本发明正是为了解决上述问题而提出的，其目的在于，提供一种适合于用户容易拍摄商品的全方位图像组的商品摄影装置、商品摄影方法、图像变换装置、图像处理装置、图像处理系统、程序及信息记录介质。

用于解决问题的手段

本发明的第一方面的商品摄影装置构成为具有：

图像感测部，其感测从配置有商品的外界投射的光，输出表示该感测的结果的图像；

指示受理部，其受理来自用户的摄影指示；

保存部，其在受理了所述摄影指示时保存由所述图像感测部感测到的图像；以及

取景显示部，其将由所述保存部保存的图像和由所述图像感测部感测到的图像进行合成，并显示在取景画面上。

并且，在上述商品摄影装置中也可以构成为，所述取景显示部在所述取景画面上交替显示由所述保存部保存的图像和由所述图像感测部感测到的图像。

并且，在上述商品摄影装置中也可以构成为，所述取景显示部将对由所述保存部保存的图像实施了预定的图像滤波而得到的结果设为半透明状，并重叠在由所述图像感测部感测到的图像上进行合成。

并且，在上述商品摄影装置中也可以构成为，所述取景显示部在由所述保存部保存的图像有多个时，将第一个保存的图像和由所述图像感测部感测到的图像进行合成。

并且，所述商品摄影装置也可以构成为还具有感测所述商品摄影装置的倾斜度的倾斜度感测部，

所述保存部在受理了所述摄影指示时，将由所述图像感测部感测到的图像与由所述倾斜度感测部感测到的倾斜度相对应地进行保存，

所述显示部在所述取景画面上显示与由所述保存部保存的图像相对应地保存的倾斜度、和由所述倾斜度感测部感测到的倾斜度。

本发明的第二方面的图像变换装置构成为具有：

图像受理部，其受理利用所述商品摄影装置从商品的周围拍摄商品并保存的多个图像、和与该图像对应的倾斜度；以及

变换部，其根据与该图像对应的倾斜度，将所述受理的多个图像变换为所述商品的全方位图像组。

本发明的第三方面的图像处理装置构成为具有：

角度受理部，其受理绕预定的旋转轴的角度；以及

插值部，其根据所述受理的角度，对利用所述图像变换装置得到的商品的全方位图像组进行插值，并得到表示从所述受理的角度观察该商品时的状态的已插值图像。

并且，所述图像处理装置也可以构成为还具有：

角度感测部，其感测所述图像处理装置绕预定的轴的角度；以及

监视显示部，其将所述得到的已插值图像显示在监视画面上，

所述角度受理部受理所述感测到的角度。

本发明的第四方面的图像处理系统具有所述图像处理装置、和与该图像处理装置以可通信的方式连接的终端装置。

其中，所述终端装置具有：

角度感测部，其感测所述终端装置绕预定的轴的角度；以及

角度发送部，其将所述感测到的角度发送给所述图像处理装置。

另一方面，所述图像处理装置具有：

角度接收部，其接收从所述终端装置发送的角度，并使所述角度受理部受理；以及

图像发送部，其将所述得到的已插值图像发送给所述终端装置，

另外，所述终端装置具有：

图像接收部，其接收从所述图像处理装置发送的已插值图像；以及

监视显示部，其将所述接收到的已插值图像显示在监视画面上。

本发明的第五方面的商品摄影方法是由商品摄影装置执行的商品摄影方法，该商品摄影装置具有图像感测部、指示受理部、保存部、显示部，所述商品摄影方法构成为包括：

图像感测步骤，由所述图像感测部感测从配置有商品的外界投射的光，并输出表示该感测的结果的图像；

指示受理步骤，由所述指示受理部受理来自用户的摄影指示；

保存步骤，在受理了所述摄影指示时，由所述保存部保存由所述图像感测部感测到的图像；以及

取景显示步骤，由所述显示部将由所述保存部保存的图像和由所述图像感测部感测到的图像进行合成，并显示在取景画面上。

本发明的第六方面的程序构成为使计算机作为以下单元发挥作用：

图像感测部，其感测从配置有商品的外界投射的光，输出表示该感测的结果的图像；

指示受理部，其受理来自用户的摄影指示；

保存部，其在受理了所述摄影指示时保存由所述图像感测部感测到的图像；以及

取景显示部，其将由所述保存部保存的图像和由所述图像感测部感测到的图像进行合成，并显示在取景画面上。

本发明的第七方面的记录了程序的计算机可读的信息记录介质，其特征在于，该程序使计算机作为以下单元发挥作用：

图像感测部，其感测从配置有商品的外界投射的光，输出表示该感测的结果的图像；

指示受理部，其受理来自用户的摄影指示；

保存部，其在受理了所述摄影指示时保存由所述图像感测部感测到的图像；以及

取景显示部，其将由所述保存部保存的图像和由所述图像感测部感测到的图像进行合成，并显示在取景画面上。

即，本发明的程序可以记录在光盘、软盘、硬盘、光磁盘、数字录像盘、磁带、半导体存储器等计算机可读的信息记录介质中。

上述程序能够相对于执行程序的计算机独立地通过计算机通信网络进行发布及销售。并且，上述信息记录介质能够相对于计算机独立地进行发布及销售。

发明效果

根据本发明，能够提供一种适合于用户容易拍摄商品的全方位图像组的商品摄影装置、商品摄影方法、图像变换装置、图像处理装置、图像处理系统、程序及信息记录介质。

附图说明

图1是示出本发明的一个实施方式的图像处理系统的简要结构的说明图。

图2是说明本发明的一个实施方式的商品摄影装置的简要结构的说明图。

图3是示出已拍摄图像与实时预览图像与显示在取景画面上的图像之间的关系的说明图。

图4是示出已拍摄图像与实时预览图像与显示在取景画面上的图像之间的关系的说明图。

图5是示出由本发明的一个实施方式的商品摄影装置执行的商品摄影处理的控制流程的流程图。

图6是示出本发明的一个实施方式的图像变换装置的简要结构的说明图。

图7是示出由本实施方式的图像变换装置执行的图像变换处理的控制流程的流程图。

图8是示出本实施方式的图像处理装置的各个要素与终端装置的各个要素之间的关系的说明图。

图9是示出由图像处理装置的各个要素和终端装置的各个要素执行的图像处理的控制流程的流程图。

具体实施方式

下面说明本发明的实施方式。本实施方式是用来说明而不是限制本申请发明的范围。因此，本行业人员可以采用将这些各个要素或者全部要素置换为与其同等的要素而得到的实施方式，这些实施方式均包含在本发明的范围中。

(1.图像处理系统)

图1是示出本实施方式的图像处理系统的简要结构的说明图。下面，参照本图进行说明。

本实施方式的图像处理系统101由商品摄影装置121、图像变换装置141、图像处理装置161、终端装置181构成。

商品摄影装置121是想要进行商品介绍的商店主和拍卖品展出者等拍摄该商品时使用的装置。代表性的商品摄影装置121由具有信息处理功能的数字摄像机或移动电话、智能手机等构成，也可以由连接了USB(UniversalSerialBus：通用串行总线)摄像机的个人电脑等构成。

摄影者使用商品摄影装置121，将该商品尽可能配置在视野的中央，使商品与商品摄影装置121之间的距离尽可能固定。并且，摄影者绕该商品移动一周或者使商品自身旋转，同时反复进行拍摄，得到多个商品图像。

图像变换装置141将通过商品摄影装置121的摄影而得到的多个商品图像变换为针对该商品的全方位图像组。其中，全方位图像组是指假设从在以贯穿该商品的旋转轴为中心的圆周上移动的摄像机、沿朝向该商品的光轴方向拍摄该商品时得到的图像的集合体。

因此，假设在如下状态下拍摄到的图像是全方位图像组，即从旋转轴经过商品到达摄像机的角度是固定的，旋转轴与摄像机之间的距离也是固定的，商品与摄像机之间的距离固定。

如上所述，利用商品摄影装置121的摄影者既不熟知这种特殊的摄影方法，也不具有特殊的器械。因此，在本实施方式中，在利用商品摄影装置121时，进行各种辅助以容易得到尽可能全方位的图像组。

即，在拍摄时，在本实施方式中采用实时预览用的液晶显示器等电子取景器。在电子取景器的取景画面上，除了显示从商品摄影装置121观察到的商品的当前状态之外，还重叠显示了过去已拍摄的商品的状态。

因此，关于以何种大小、何种角度来拍摄商品，摄影者能够与过去的履历对比着进行拍摄。因此，能够使从旋转轴经过商品到达商品摄影装置121的角度、商品与商品摄影装置121之间的距离尽可能固定。

图像变换装置141将多个商品图像变换为全方位图像组，在本实施方式中能够得到的变换结果是某种近似，不需要诸如非专利文献1公开的那么复杂的计算，这也是本实施方式的特征所在。

图像变换装置141用于从商品图像得到全方位图像组，图像处理装置161用于管理商品的全方位图像组，代表性的图像变换装置141和图像处理装置161利用进行该商品的网络销售的一个服务器装置构成。

即，商店主等将自己利用数字摄像机等商品摄影装置121拍摄的多个商品图像上传到服务器装置。

然后，服务器装置作为图像变换装置141发挥作用，将商品图像变换为全方位图像组。

另外，服务器装置作为图像处理装置161发挥作用，使正在考虑通过网络通信销售或网络竞拍来购买该商品的用户浏览该全方位图像组。此时，不是将全方位图像组直接提供给用户，而是进行诸如引起用户兴趣的适当的图像处理，这也是本实施方式的特征所在。

相对于作为网络服务器发挥作用的图像处理装置161，终端装置181作为网络终端发挥作用，向图像处理装置161请求提供合适的全方位图像组。即，终端装置181利用能够连接网络等的计算机通信网络的个人电脑或移动电话、智能手机等构成。

全方位图像组是将绕商品巡视一周时看到的状态形成为图像，将该图像顺序排列得到的组。

在本实施方式中，从终端装置181通知图像处理装置161想要观察这一周中的哪个角度时的图像。

然后，图像处理装置161对全方位图像实施适当的插值处理，生成表示与该角度对应的商品的外观的插值图像。

并且，从图像处理装置161向终端装置181发送插值图像，在终端装置181的监视画面上显示该插值图像。

也能够构成为用户利用键盘和触摸屏直接从终端装置181输入角度。其中，有的移动电话和智能手机等具有罗盘功能和GPS(GlobalPositioningSystem：全球定位功能)功能、采用加速度传感器等的倾斜度检测功能。

因此，如果直接采用利用这种功能得到的角度或者采用将该角度乘以常数倍后的角度，不仅能够改变终端装置181的朝向，也能够改变在插值图像中表现出的商品的朝向。这样，用户能够通过简单的操作对商品的外观观察一周，这也是本实施方式的特征所在。

另外，在本实施方式中，利用不同的设备构成图像处理装置161和终端装置181，但也可以利用一台个人电脑或智能手机、移动电话等将两者构成为一体。在这种情况下，终端装置181与图像处理装置161的信息的发送及接收，是通过在一台设备的电子电路中进行电气信号的发送接收而实现的。

例如，从构成图像变换装置141的网络服务器向智能手机下载商品的全方位图像组。并且，智能手机作为图像处理装置161发挥作用，智能手机根据其倾斜度从全方位图像组生成插值图像，并显示在监视画面上。

这样，关于是利用各种服务器/客户端方式分散实现本发明的图像处理的各种功能、还是利用一体化的装置实现本发明的图像处理的各种功能，可以根据实现图像处理的计算机等信息处理装置的用途和性能进行适当变更。

下面，对本实施方式的图像处理系统101的各个部分进行更详细的说明。

(2.商品摄影装置)

图2是说明本实施方式的商品摄影装置121的简要结构的说明图。下面，参照本图进行说明。

商品摄影装置121具有图像感测部201、指示受理部202、保存部203、取景显示部204。并且，也可以构成为具有倾斜度感测部205。

即，图像感测部201感测从配置有商品的外界投射的光，并输出表示该感测的结果的图像。

代表性的图像感测部201由CCD等图像传感器构成。被图像感测部201感测到的光是经过透镜和各种光圈而到达的。

另一方面，指示受理部202受理来自用户的摄影指示。指示受理部202相当于所谓快门按钮。

另外，保存部203在受理了摄影指示时保存由图像感测部201感测到的图像。

保存部203通常是在利用EEPROM(ElectricallyErasableProgrammableReadOnlyMemory：电可擦可编程只读存储器)等构成的闪存存储卡或硬盘等非易失性的信息记录介质中记录所拍摄的图像文件。

另外，取景显示部204将由图像感测部201感测到的图像显示在取景画面上。

摄影者参照在取景画面上显示的图像，进行商品摄影装置121的位置和朝向的调整、对焦和光圈的调整。

截止到此的各个部分的功能与安装有实时预览功能的数字摄像机相同。

本实施方式的特征在于，取景显示部204在将由图像感测部201感测到的图像显示在取景画面上时，与由保存部203保存的图像进行合成。

在该合成中，表示过去已拍摄的视野的图像和表示现在想要拍摄的视野的图像被重叠显示在取景画面上。因此，摄影者能够实时对比两者的图像，同时进行商品摄影装置121的位置和朝向的调整。

关于将两张图像重叠的合成方法，最简单的方法是将由保存部203保存的图像(已拍摄图像)设为半透明状，并重叠在由图像感测部201感测到的图像(实时预览图像,live-previewimage)上进行合成，再显示在取景画面上。

图3、图4是示出已拍摄图像与实时预览图像与显示在取景画面上的图像之间的关系的说明图。下面，参照这些附图进行说明。另外，在这些附图中适当采用了虚线，以便表现半透明状态。

图3示出了商品301被配置于大致中央的已拍摄图像311、商品301同样被配置于大致中央的实时预览图像321。在两张图像中，商品301的角度具有微妙差异。

在将已拍摄图像311设为半透明状并重叠在实时预览图像321上进行合成的结果所得到的取景图像331中，商品301的两张图像以基本相同的大小被重叠显示。因此，如果在当前状态下按下快门，在变换为全方位图像组时能够减小误差。

另一方面，在图4中，在已拍摄图像311中商品301被配置在大致中央，而在实时预览图像321中，商品301的位置和大小与已拍摄图像311大不相同。

然后，在将已拍摄图像311设为半透明状并重叠在实时预览图像321上进行合成的结果所得到的取景图像331中，商品301的两张图像几乎不重合。因此，即使在当前状态下按下快门并得到了表示与实时预览图像321相同状态的新的已拍摄图像311，在变换为全方位图像组时，也认为误差增大。

即，摄影者按照图3所示调整商品摄影装置121的位置，使得过去已拍摄的商品301的图像和现在看到的商品301的图像是尽可能相同的大小，而看到的角度稍微不同，然后进行摄影用的指示输入即可。

另外，即使摄影者将商品摄影装置121移动，已拍摄图像311内的商品301及其背景的位置也不变，但是实时预览图像321内的商品301及其背景的位置与摄影者的移动联动地变化。

因此，摄影者能够容易区分取景图像331中哪张是来源于已拍摄图像311的图像、哪张是来源于实时预览图像321的图像。

并且，为了使两者的区别更加明确，也有对已拍摄图像311实施色彩滤波或轮廓线提取滤波后合成在实时预览图像321上的方法。

作为其它方法，还可以考虑在取景画面上交替地显示已拍摄图像311和实时预览图像321的方式。如上所述，根据取景画面的显示是在追随摄影者的移动还是固定不变的，能够区分在取景画面上显示的图像是实时预览图像321还是已拍摄图像311。

因此，能够任意设定显示两张图像的时间长度。但是，通常将两者的显示切换时间设定为使实时预览图像321的显示时间比已拍摄图像311的显示时间长。

作为合成的对象的已拍摄图像311通常是采用开始该商品301的摄影的时刻的图像，然而摄影者也能够适当进行选择。并且，还能够将此前刚刚拍摄的图像用作已拍摄图像311进行合成。

另外，倾斜度感测部205感测商品摄影装置121的倾斜度，保存部203在受理了摄影指示时，将由图像感测部201感测到的图像与由倾斜度感测部感测到的倾斜度相对应地进行保存。

在绕商品的周围移动一周进行拍摄时，其旋转轴通常设为重力的方向。在这种情况下，倾斜度感测部205可以利用加速度传感器构成。与此相应地，也可以利用GPS或罗盘等的功能来检测倾斜度。

如果利用加速度传感器检测商品摄影装置121相对于重力方向的轴的倾斜度，同时利用GPS或罗盘等检测商品摄影装置121绕重力方向的轴的旋转量，则倾斜度感测部205能够检测商品摄影装置121在3轴方向的全部的倾斜度。由此，能够掌握现实世界中的商品摄影装置121的所有姿势。在后述的图像变换装置141对已拍摄图像311进行标准化来得到全方位图像组时，将参照这些3轴方向的倾斜度的信息。

如上所述，为了得到合适的全方位图像，期望从旋转轴经过商品301到达商品摄影装置121的角度是固定的、即相对于重力的倾斜度是固定的。

因此，如果在取景图像331中显示当前检测到的商品摄影装置121的倾斜度作为辅助信息，即显示实时预览图像321的倾斜度的信息和已拍摄图像311的摄影时的倾斜度的信息，则摄影者能够以尽可能固定的角度拍摄商品301，能够减小向全方位图像组变换时的误差。

在本实施方式中，如图3、图4所示，在取景图像331中显示有表示实时预览图像321的倾斜度的柱状图322、和表示已拍摄图像311的倾斜度的柱状图312。摄影者可以在用心地使两个柱状图312、322的长度一致后进行拍摄。

另外，作为表示倾斜度的方法不限于柱状图312、322，也可以采用可以表现一致和不一致的程度的任意图形。并且，也可以利用文字信息来表示倾斜度的数值。

图5是示出由本实施方式的商品摄影装置121执行的商品摄影处理的控制流程的流程图。下面，参照本图进行说明。

用户在构成商品摄影装置121的数字摄像机等中选择表示开始拍摄作为商品的全方位图像组的素材的图像的信息，由此开始本处理。

首先，在商品摄影装置121中，图像感测部201感测从配置有商品的外界投射的光，并输出表示该感测的结果的图像(步骤S501)。此处输出的图像是实时预览图像321。

然后，倾斜度感测部205取得商品摄影装置121当前的倾斜度(步骤S502)。

然后，在指示受理部202中判定用户是否进行了摄影指示(步骤S503)。

在用户进行了摄影指示的情况下(步骤S503：是)，保存部203将实时预览图像321和在步骤S502检测到的倾斜度相对应地进行保存(步骤S504)。然后，控制返回到步骤S501。

另一方面，在用户没有进行摄影指示的情况下(步骤S503：否)，确认是否有本处理开始以后保存在保存部203中的图像、即已拍摄图像311(步骤S505)。

在存在已拍摄图像311的情况下(步骤S505：有)，选择任意一张已拍摄图像311(步骤S506)。该选择如上所述可以是第一张拍摄的图像、也可以由用户在处理途中进行适当变更，还可以是此前刚刚拍摄的图像。

并且，将所选择的已拍摄图像311设为半透明状，并与实时预览图像321进行合成(步骤S507)。此时，如上所述可以在对已拍摄图像311实施色彩滤波或轮廓提取滤波等后进行合成。并且，如上所述还可以以时分方式选择任意一张图像，将该选择的图像作为合成的结果。

另外，在步骤S506的合成结果中描画出表示与所选择的已拍摄图像311对应的倾斜度和在步骤S502取得的商品摄影装置121当前的倾斜度的柱状图312、322，由此得到取景图像331(步骤S508)。

并且，取景显示部204在利用液晶显示器等构成的取景画面上显示取景图像331(步骤S509)，并返回到步骤S501。

另一方面，在不存在已拍摄图像的情况下(步骤S505：没有)，在实时预览图像321中描画出在步骤S502取得的商品摄影装置121当前的倾斜度的柱状图322，由此得到取景图像331(步骤S510)。

并且，取景显示部204在利用液晶显示器等构成的取景画面上显示取景图像331(步骤S511)，并返回到步骤S501。

另外，在省略了倾斜度感测部205的方式中也适当省略了与倾斜度相关的处理。

在本实施方式中，在取景图像311中将商品摄影装置121相对于重力的倾斜度描画为柱状图312、322。

这样，根据本实施方式的商品摄影装置121，过去已拍摄的商品的图像和当前的商品的实时预览图像被重叠显示在取景画面上，因而能够使商品与商品摄影装置121的距离尽可能保持固定。

并且，在检测倾斜度的方式中，使商品摄影装置121按照相对于预定的旋转轴以尽可能固定的姿势旋转的方式进行移动。

因此，用户能够容易拍摄到能够高质量地变换为商品的全方位图像组的图像。

(3.图像变换装置)

如上所述，如果采用图像摄影装置121，则能够以绕商品301旋转一周的方式、而且使与商品301的距离和相对于重力方向的倾斜度尽可能保持固定，使图像摄影装置121移动，能够依次拍摄商品301。

在利用这种摄影方法得到多个已拍摄图像311后，能够将这些图像标准化并得到商品301的全方位图像组。此时采用本实施方式的图像变换装置141。

其中，所谓商品301的全方位图像组是指这样的图像的组，即假设诸如贯穿商品301的旋转轴，使从该旋转轴经过商品301到达摄像机的角度保持固定，使商品301与摄像机的距离保持固定，同时使摄像机绕旋转轴旋转，并依次拍摄商品301时得到的图像。

因此，由图像摄影装置121拍摄到的多个已拍摄图像311可以被认为是“误差较大的全方位图像组”。因为虽然在图像摄影装置121中进行了尽可能使上述的角度和距离保持固定来拍摄商品301的研究，但是由于是人进行的拍摄，因而无论如何在摄影时都会产生误差。

图像变换装置141用于对多个已拍摄图像311进行变换，得到误差尽可能小的全方位图像组。

在此，在本实施方式中能够通过简单的计算得到全方位图像组，这与构建摄影对象物的三维模型的非专利文献1不同。下面进行详细说明。

图6是示出本实施方式的图像变换装置141的简要结构的说明图。下面参照本图进行说明。

本实施方式的图像变换装置141具有图像受理部601和变换部602。

其中，图像受理部601受理利用商品摄影装置121从商品的周围拍摄商品并保存的多个已拍摄图像311。

在图像变换装置141利用网络服务器等构成的情况下，摄影者将自己拍摄的已拍摄图像311通过因特网等进行上传。图像受理部601受理该上传。

另外，商品摄影装置121也可以采用向图像变换装置141自动发送已拍摄图像311的方式。在该方式中，商品摄影装置121每当保存了预定数量的已拍摄图像311时、或者预定时间不进行拍摄的情况下，自动进行已拍摄图像311的发送。该方式尤其适合于在PDA(PersonalDataAssistant：个人数字助理)或智能手机等便携式计算机中执行预定的程序来实现商品摄影装置121的情况。

并且，在图像摄影装置121利用数字摄像机等构成、图像变换装置141利用个人电脑等构成的情况下，通过在两者之间插拔存储卡，使已拍摄图像311移动。

另一方面，变换部602将所受理的多个已拍摄图像311变换为商品301的全方位图像组。

在此，本实施方式的变换部602还由提取部611、估计部612、近似部613、输出部614构成。

其中，提取部611依次提取两张已拍摄图像311。并且，从所取得的两张已拍摄图像311中提取对应的特征点。此时能够应用各种图像识别算法。

在得到了对应的特征点后，根据两张已拍摄图像311中的特征点的配置，估计在拍摄这两张已拍摄图像311时商品摄影装置121的位置和朝向，求出用于将这两张已拍摄图像311分别进行标准化的仿射变换矩阵。此处采用的仿射变换除了放大缩小、旋转、斜向变换之外，还包括基于单点透视的透视变换。因此，在表现矩阵时适当采用齐次坐标。

另外，下面为了简化表述方式使易于理解，只要不会产生混乱，有时利用相同的记号来表述原来的矩阵和向量、以及增加了用于成为齐次坐标而追加的常数的维数而得到的矩阵和向量。

并且，近似部613将针对两张已拍摄图像311分别得到的基于仿射变换矩阵的仿射变换应用于该已拍摄图像311，进行标准化。已标准化图像是与全方位图像组所包含的图像近似的图像。

输出部614输出这样得到的两张已标准化图像、以及这些已标准化图像是以绕旋转轴的多大差角进行拍摄的。

下面，对由图像变换装置141执行的图像变换处理的控制流程进行更详细的说明。

图7是示出由本实施方式的图像变换装置141执行的图像变换处理的控制流程的流程图。下面，参照本图进行说明。

首先，图像受理部601受理利用商品摄影装置121拍摄并保存的多个已拍摄图像311、和与各张已拍摄图像311对应的倾斜度(步骤S701)。下面，为了容易理解，假设这些已拍摄图像311是N张，将各张已拍摄图像表述为G[0]、G[1]、…、G[N-1]。并且，将拍摄各张图像G[0]、G[1]、…、G[N-1]时的倾斜度表述为R[0]、R[1]、…、R[N-1]。

另外，利用中括号表示的注脚部分在后面视为是利用N的剩余项(coset)表述的部分。即，在注脚部分的整数为负或者是N以上的情况下，将该整数除以N得到的余数用作注脚的值。例如，倾斜度R[N]与倾斜度R[0]表示相同的意思，图像G[-1]与图像R[N-1]表示相同的意思。

倾斜度R[0]、R[1]、…、R[N-1]是用于确定固定在商品摄影装置121中的摄像机坐标系的各个坐标轴的方向的信息。因此，倾斜度R[0]、R[1]、…、R[N-1]各自的自由度为6。

其中，通常是将表示各个坐标轴的方向的单位向量进行排列，利用3行3列的矩阵来表述。

然后，使整数k在0到N之间变化，并反复以下的处理(步骤S702)。

即，提取部611从图像G[k]和图像G[k+1]中提取对应的特征点(步骤S703)。

然后，估计部612选择所提取的特征点的组中的任意3个组(步骤S704)。这3个组的选择方法是任意的，但是在图像G[k]中所选择的对应点彼此的距离较远，如果在图像G[k+1]中也以所选择的对应点彼此间距离较远的方式进行选择，则能够抑制误差。也可以从商品的顶边、底边、左边中央、右边中央附近的特征点中选择任意3个。

下面，将3个特征点分别称为P、Q、W。将在图像G[k]中描画出这些特征点的位置表述为p[k]、q[k]、w[k]，将在图像G[k+1]中描画出这些特征点的位置表述为p[k+1]、q[k+1]、w[k+1]。

并且，估计部612根据(1)特征点P在图像G[k]、G[k+1]中的位置p[k]、p[k+1]、(2)特征点Q在图像G[k]、G[k+1]中的位置q[k]、q[k+1]、(3)特征点W在图像G[k]、G[k+1]中的位置w[k]、w[k+1]、(4)拍摄图像G[k]时的商品摄影装置121的倾斜度R[k]、和(5)拍摄图像G[k+1]时的商品摄影装置121的倾斜度R[k+1]，来估计(x)拍摄图像G[k]时的商品摄影装置121的位置T[k]、和(y)拍摄图像G[k+1]时的商品摄影装置121的位置T[k+1](步骤S705)。

关于这种估计的算法的详细情况，下面进行详细说明。

通常，在利用摄像机拍摄时，采用在现实世界中固定的通用坐标系与在摄像机中固定的摄像机坐标系之间的坐标变换。通用坐标系和摄像机坐标系均具有相互垂直的3个坐标轴。

下面，将摄像机坐标系中的3个坐标轴的方向向量分别设为rx、ry、rz(数式1～数式3)。

[数式1]

$rx=\left[\begin{array}{c}rx1\\ rx2\\ rx3\end{array}\right]$

[数式2]

$ry=\left[\begin{array}{c}ry1\\ ry2\\ ry3\end{array}\right]$

[数式3]

$rz=\left[\begin{array}{c}rz1\\ rz2\\ rz3\end{array}\right]$

另外，这些数值rx1、rx2、…、rz3均是利用通用坐标系的坐标值表述向量rx、ry、rz。

另外，将摄像机坐标系的原点相对于通用坐标系的原点的位置向量设为T(数式4)。

[数式4]

$T=\left[\begin{array}{c}t1\\ t2\\ t3\end{array}\right]$

该数值t1、t2、t3也是位置向量T在通用坐标系中的坐标值。

在这种条件下，将点P在摄像机坐标系中的坐标值进行排列得到的向量pc可以表述如下(数式5)。

[数式5]

$pc=\left[\begin{array}{c}pc1\\ pc2\\ pc3\end{array}\right]$

另外，将点P在通用坐标系中的坐标值进行排列得到的向量pw可以表述如下(数式6)。

[数式6]

$\begin{array}{c}pw=\left[\begin{array}{c}pw1\\ pw2\\ pw3\end{array}\right]\\ =\left[\begin{array}{ccc}rx& ry& rz\end{array}\right]pc+T\\ =Rpc+T\end{array}$

其中，矩阵R是描述摄像机坐标系的坐标轴的方向的矩阵。即，根据利用商品摄影装置121进行拍摄时的倾斜度感测部205的重力传感器和罗盘等的检测结果，能够得到该矩阵。

另外，在该式中利用加法来表述平行移动，但如果采用齐次坐标表述方式，则也可以仅利用矩阵相乘进行表述(数式7)。

[数式7]

$\left[\begin{array}{c}pw\\ 1\end{array}\right]=\left[\begin{array}{cc}R& T\\ 0^t& 1\end{array}\right]\left[\begin{array}{c}pc\\ 1\end{array}\right]=D\left[\begin{array}{c}pc\\ 1\end{array}\right],$

$\left[\begin{array}{c}pc\\ 1\end{array}\right]=D^{-1}\left[\begin{array}{c}pw\\ 1\end{array}\right]=\left[\begin{array}{cc}{R}^t& -R^{t}T\\ 0^t& 1\end{array}\right]\left[\begin{array}{c}pw\\ 1\end{array}\right]$

其中，R^t表示矩阵R的转置矩阵。R是酉矩阵，因而R^－1＝R^t成立。并且，0^t是三维的横向零向量。

另外，分析与摄像机坐标系的z轴垂直、距离原点为焦距f的投影面。在该投影面上投影的结果相当于已拍摄图像311。因此，将固定在该投影面中的二维坐标系的坐标值进行排列得到的向量u可以表述如下(数式8)。

[数式8]

$pu=\left[\begin{array}{c}pu1\\ pu2\end{array}\right]$

并且，点P在投影面上的投影位置可以表述如下(数式9)。

[数式9]

$pu1=f\frac{Pc1}{pc3},$

$pu2=f\frac{pc2}{pc3}$

对其进行改写(数式10)。

[数式10]

$pc3\left[\begin{array}{c}pu1\\ pu2\\ 1\end{array}\right]=\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}pc1\\ pc2\\ pc3\\ 1\end{array}\right],$

$pc3\left[\begin{array}{c}pu\\ 1\end{array}\right]=A\left[\begin{array}{c}pc\\ 1\end{array}\right]$

其中，将两个向量以非零的比例常数形成比例关系表述为≡(数式11)。

[数式11]

$\left[\begin{array}{c}pu\\ 1\end{array}\right]\≡A\left[\begin{array}{c}pc\\ 1\end{array}\right]$

在利用位置T、倾斜度R的商品摄影装置121拍摄在通用坐标系中坐标为pw的点P时，在已拍摄图像311中的投影位置的坐标pu可以表述如下(数式12)。

[数式12]

$\left[\begin{array}{c}pu\\ 1\end{array}\right]\≡A\left[\begin{array}{cc}{R}^t& -R^{t}T\\ 0^t& 1\end{array}\right]\left[\begin{array}{c}pw\\ 1\end{array}\right]=M\left[\begin{array}{c}pw\\ 1\end{array}\right]$

其中，M是3行4列的矩阵。

另外，该投影面是假设了理想的针孔摄像机的投影面，并且假设在摄像机坐标系中固定的二维坐标系的第1轴平行于x轴，二维坐标系的第2轴平行于y轴。

在采用不一定满足该条件的常规投影的情况下，也可以采用符合状况的矩阵A。

例如，在投影面与摄像机坐标系的z轴形成夹角ψ时，矩阵A可以使用合适的常数k1、k2、uc1、uc2表述如下(数式13)。

[数式13]

$A=\left[\begin{array}{cccc}fk1& -fk1\cot \mathrm{\ψ}& uc1& 0\\ 0& fk2/\sin \mathrm{\ψ}& uc2& 0\\ 0& 0& 1& 0\end{array}\right]$

例如在诸如利用了鱼眼镜头这样的情况下等，通过确定合适的矩阵A，能够求出与上述相同的仿射变换矩阵M。

另外，下面对根据这种摄影的关系求出摄影的位置T[k]、T[k+1]的方法进行说明。这些矩阵均具有3个元素，因而未知数合计为6个。

因此，首先将针对摄影位置T[k]、倾斜度R[k]的仿射变换矩阵设为M[k]，将针对摄影位置T[k+1]、倾斜度R[k+1]的仿射变换矩阵设为M[k+1]。于是，如下所示的关系成立(数式14)。

[数式14]

$M{\[k\]}^{-1}\left[\begin{array}{c}p\[k\]\\ 1\end{array}\right]\≡M{\[k+1\]}^{-1}\left[\begin{array}{c}p\[k+1\]\\ 1\end{array}\right],$

$M{\[k\]}^{-1}\left[\begin{array}{c}q\[k\]\\ 1\end{array}\right]\≡M{\[k+1\]}^{-1}\left[\begin{array}{c}q\[k+1\]\\ 1\end{array}\right],$

$M{\[k\]}^{-1}\left[\begin{array}{c}w\[k\]\\ 1\end{array}\right]\≡M{\[k+1\]}^{-1}\left[\begin{array}{c}w\[k+1\]\\ 1\end{array}\right]$

其中，M[k]和M[k+1]是3行4列的矩阵，因而将M[k]^－1和M[k+1]^－1视为M[k]和M[k+1]的广义逆矩阵。广义逆矩阵有时也被称为“Moore-Penrose的伪逆矩阵”。

其中，未知数的个数是摄影位置T[k]、T[k+1]的6个坐标值和各个≡中的左边和右边的3个比例系数，合计9个。

另一方面，矩阵方程式由于三维的方程式有3个，所以合计是9个。因此，通过求解它们的联立方程式，能够得到所有未知数。

另外，在求解联立方程式时，可以通过基于记号处理的数式处理得到解，也可以采用各种近似解法。例如，对T[k]、T[k+1]及比例常数赋予合适的初始值，利用最速下降法求出解。

此外，如果增加特征点的个数，则能够进一步增加联立方程式的个数。在这种情况下，按照将从各个联立方程式的左边减去右边的误差的平方和最小化的方式进行最大似然估计，由此能够得到这些未知数。

这样，通过选择图像内的对应的3个特征点，判明摄影位置T[k]、T[k+1]。相反，如果判明了摄影的位置T[k]、T[k+1]，则能够求出单点透视的透视投影中的仿射变换矩阵M[k]、M[k+1]。

反复这些处理(步骤S707)，通过步骤S705(x)得到T[0]、T[1]、T[2]、…、T[N-1]的各个估计值，通过步骤S705(y)得到T[1]、T[2]、…、T[N-1]、T[0]的各个估计值。

因此，通过选择任意一方或者求出两者的平均，对商品摄影装置121的位置T[0]、T[1]、T[2]、…、T[N-1]进行辨识(步骤S707)。

另外，利用以下方法对现实世界中的商品301的位置H进行辨识(步骤S708)。

即，对于各个整数k＝0、1、2、…、N-1，根据倾斜度R[k]取得摄影的光轴方向。并且，假设通过摄影位置T[k]并沿该光轴方向延伸的直线。这N条直线应该通过商品301的位置H或者其附近。

因此，按照使商品301的位置H与这N条直线之间的距离的平方和最小化的方式，利用最小二乘法能够求出商品301的位置H。

并且，在使用诸如上述的商品摄影装置121进行拍摄的情况下，可以认为被辨识出的摄影位置T[0]、T[1]、T[2]、…、T[N-1]绕贯穿商品301的位置H的中心轴呈圆周状配置。并且，在人进行商品的拍摄的情况下，不一定是从正侧面拍摄，往往是从斜上方拍摄。

即，理想状态应该是所估计出的摄影位置T[0]、T[1]、T[2]、…、T[N-1]被配置在以位置H为顶点的圆锥的底面。并且，在从正侧面拍摄的情况下，所估计出的摄影位置T[0]、T[1]、T[2]、…、T[N-1]应该被配置在以位置H为中心的圆周上。

但是，由于是人在操作拍摄，因而一定会产生误差。因此，通过将摄影位置T[0]、T[1]、T[2]、…、T[N-1]标准化，在以位置H为中心的正圆锥的底面即正圆周上辨识标准化位置S[0]、S[1]、S[2]、…、S[N-1](步骤S709)。另外，通过将该正圆锥的顶角设为180度，也能够应对标准化位置S[0]、S[1]、S[2]、…、S[N-1]排列在以位置H为中心的正圆周上的情况。

为了实现这种辨识，具体进行如下所述的计算。

首先，使各个摄影位置T[0]、T[1]、T[2]、…、T[N-1]距位置H的距离一致。即，对于各个整数k＝0、1、2、…、N-1，以尽可能减小sc[0]、sc[1]、sc[2]、…、sc[N-1]的方式，计算用于使距离一致的比例系数sc[k]和位置U[k]＝T[k]+sc[k](T[k]-H)|T[k]-H|。

即，位置U[k]位于连接商品301的位置H和摄影位置T[k]的直线上，位置U[k]和摄影位置T[k]间隔sc[k]。此时，将使sc[0]、sc[1]、sc[2]、…、sc[N-1]最小化作为约束条件。

最简单的是利用下式求出与各个摄影位置T[0]、T[1]、T[2]、…、T[N-1]的平均距离D，

D＝Σ_k＝0 ^N-1|T[k]-H|/N

如果sc[k]＝D-|T[k]-H|，则各个|U[k]-H|全部等于距离D。

然后，计算作为圆锥的底面的圆周的中心位置J和半径r。圆周的中心位置J如式子J＝Σ_k＝0 ^N-1U[k]|/N所示在取位置U[k]的重心时最简单。然后，圆周的半径r如式子r＝Σ_k＝0 ^N-1|U[k]-J|/N所示在取位置J与各个U[k]的距离的平均值时最简单。

这样，确定了商品301的位置以及拍摄该商品301的全方位图像组时的圆周的轨迹。该圆周以连接位置H和位置J的直线为旋转轴。

因此，然后对各个k＝0、1、2、…、N-1，辨识相对于摄影位置T[k]的圆周上的位置S[k]。此处求出的位置S[k]相当于将摄影位置T[k]标准化得到的虚拟的摄影位置。

将圆周上与摄影位置T[k]最近的位置设为S[k]的方法最简单。

首先，根据向量H-J和向量T[k]-J计算向量OP[k]＝((H-J)×(T[k]-J))×(H-J)。

向量(H-J×T[k]-J)与向量H-J和向量T[k]-J两者垂直。

因此，向量OP[k]＝((H-J)×(T[k]-J))×(H-J)与由向量H-J和向量T[k]-J形成的平面平行，与向量H-J垂直。

即，从位置J向从T[k]相对于该圆周所展开的平面上的垂足延伸的半直线，以与向量OP[k]相同的朝向平行延伸。

因此，与摄影位置T[k]最近的圆周上的点的标准化位置S[k]能够用下式求出。

S[k]＝J+rOP[k]/|OP[k]|。

这样，标准化位置S[0]、S[1]、…、S[N-1]排列在预定的圆周上。因此，也能够求出从S[0]观察各个S[0]、S[1]、…、S[N-1]在该圆周上相对于中心J旋转了多少。

即，将标准化位置S[0]、S[1]、…、S[N-1]的旋转角分别设为θ[0]、θ[1]、…、θ[N-1]。相对于整数k＝0、1、…、N-1，θ[k]是向量S[k]-J相对于向量S[0]-J所形成的夹角。即，能够根据下式求出各个旋转角θ[k]。

cos(θ[k])＝《S[0]-J.S[k]-J》/(|S[0]-J|·|S[k]-J|)，

sin(θ[k])＝|S[0]-J)×(S[k]-J)|/(|S[0]-J|·|S[k]-J|)

其中，《x,y》是向量x与向量y的内积。

另外，在将这样得到的θ[k]按照下面所示进行升序排序时，认为不会丧失通用性。

0＝θ[0]≤θ[1]≤θ[2]≤…≤θ[N-2]<2π

如果对于某个k，为θ[k]>θ[k+1]，在顺序发生变化的情况下，可以按照下面所示一并进行更换：

(a)图像G[k]、倾斜度R[k]、摄影位置T[k]、标准化位置S[k]、旋转角θ[k]，以及

(b)图像G[k+1]、倾斜度R[k+1]、摄影位置T[k+1]、标准化位置S[k+1]、旋转角θ[k+1]。

另外，对于整数k＝0、1、2、…、N-1，计算在虚拟化位置S[k]的虚拟摄影的倾斜度V[k](步骤S710)。具体地讲，代表性示例是将从虚拟化位置S[k]朝向商品301的位置H的向量H-S[k]设为摄影的光轴方向(z轴)，将虚拟化位置S[k]与圆周的切线方向设为摄影的左右方向(x轴)，将从虚拟化位置S[k]朝向圆周的中心位置J的向量J-S[k]的与H-S[k]垂直的成分设为摄影的上下方向(y轴)。通过确定这两个方向，确定摄像机坐标系的6个自由度。虚拟化位置S[k]的摄影的倾斜度V[k]也自动确定。

另外，如上所述在从摄影位置T[k]按照朝向R[k]进行拍摄时，配置于现实空间内的位置pw的点P被投影在满足下述关系的图像G[k]的位置pu(数式15)。

[数式15]

$\left[\begin{array}{c}pu\\ 1\end{array}\right]\&equiv;M\&lsqb;k\&rsqb;\left[\begin{array}{c}pw\\ 1\end{array}\right]$

其中，该式中的比例常数是诸如[数式10]所示的点P在摄像机坐标系中的z轴、即摄影方向的光轴的坐标值pc3。

因此，在利用商品摄影装置121拍摄表面配置有点P的商品301时，能够将商品301与商品摄影装置121之间的距离d[k]＝|T[k]-H|设为pc3的近似值(数式16)。

[数式16]

$d\&lsqb;k\&rsqb;\left[\begin{array}{c}pu\\ 1\end{array}\right]\&ap;M\&lsqb;k\&rsqb;\left[\begin{array}{c}pw\\ 1\end{array}\right]$

相反，通过下述的近似计算，能够求出被投影在图像G[k]的位置pu的点P在现实空间中的位置pw(数式17)。

[数式17]

$\left[\begin{array}{c}pw\\ 1\end{array}\right]\&ap;\frac{1}{d\&lsqb;k\&rsqb;}M{\&lsqb;k\&rsqb;}^{-1}\left[\begin{array}{c}pu\\ 1\end{array}\right]$

同样，假设被配置于现实世界的位置pc的点P被投影在旋转角θ[k]的标准化图像B[k]中的位置pu’。

拍摄了标准化图像B[k]的位置是正圆锥的底面，各个标准化位置S[k]与顶点H的距离d＝|S[k]-H|是固定的，与k无关，因而如下所示的关系成立(数式18)。

[数式18]

$d\left[\begin{array}{c}{\mathrm{pu}}^{\&prime;}\\ 1\end{array}\right]\&ap;L\&lsqb;k\&rsqb;\left[\begin{array}{c}pw\\ 1\end{array}\right],$

$\left[\begin{array}{c}pw\\ 1\end{array}\right]\&ap;dL{\&lsqb;k\&rsqb;}^{-1}\left[\begin{array}{c}{\mathrm{pu}}^{\&prime;}\\ 1\end{array}\right]$

即，标准化图像B[k]中的位置pu’与已拍摄图像G[k]中的位置pu相对应，然而该位置pu可以近似为如下所示(数式19)。

[数式19]

$\left[\begin{array}{c}pu\\ 1\end{array}\right]\&ap;\frac{d}{d\&lsqb;k\&rsqb;}M\&lsqb;k\&rsqb;L{\&lsqb;k\&rsqb;}^{-1}\left[\begin{array}{c}{\mathrm{pu}}^{\&prime;}\\ 1\end{array}\right]$

因此，对于标准化图像B[k]中的各个位置，

(1)根据上述的关系求出已拍摄图像G[k]的像素的位置，

(2)取得所求出的位置在已拍摄图像G[k]中的像素值，

(3)将该取得的像素值描画为标准化图像B[k]的该位置的像素值，

由此能够得到标准化图像B[k]。

利用这种算法，近似部613对于各个整数k＝0、1、2、…、N-1计算仿射变换矩阵L[k]，以便由在按照倾斜度V[k]从虚拟化位置S[k]进行拍摄时的现实位置变换为图像内的位置(步骤S711)。

然后，对于图像G[k]实施基于仿射变换矩阵(d/d[k])M[k]L[k]^－1的变换，得到针对全方位图像组所包含的旋转角θ[k]的标准化图像B[k](步骤S712)。

这样，在得到了将标准化图像B[0]、B[1]、B[2]、…、B[N-1]排列形成的全方位图像组、以及针对各个标准化图像的旋转角θ[0]、θ[1]、θ[2]、…、θ[N-1]后，输出部614将它们作为全方位图像组的信息进行输出(步骤S713)，结束本处理。

另外，在步骤S719，优选将进行从现实世界的位置向标准化图像内的位置的变换的仿射变换矩阵(1/d)L[0]、(1/d)L[1]、(1/d)L[2]、…、(1/d)L[N-1]也作为全方位图像组的信息的一部分进行输出。

所输出的全方位图像组、旋转角以及仿射变换矩阵的信息通常被存储在服务器装置内的硬盘等中，但也可以从该硬盘等下载到智能手机和移动电话、个人电脑等中。

另外，在上述的说明中，商品摄影装置121在以商品301为顶点的大致圆锥的底面的大致圆周上移动并拍摄商品301，由此得到已拍摄图像。

并且，对拍摄结果中所包含的误差进行修正，得到商品摄影装置121在以商品301为顶点的正圆锥的底面的正圆周上移动并拍摄商品301而得到的标准化图像。

在此，为了简化处理，也可以假设商品摄影装置121是在以商品301为中心的大致圆周上移动，标准化图像是从以商品301为中心的正圆周上观察时的图像。该方法的约束条件与上述的说明相比被大大简化，因而能够预计到计算速度的进一步提高。

此外，也可以利用各种最大似然估计的技术，确定商品301的位置和圆锥的形状。

下面，对在采用本实施方式的商品摄影装置121的情况下，通过更简单的近似计算来求出摄影位置T[k]、T[k+1]、倾斜度R[k]、R[k+1]、仿射变换矩阵M[k]、M[k+1]的方法进行说明。

如上所述，在从(数式10)向(数式11)的变形中，消除了比例常数pc3。该比例常数pc3表示摄影方向的光轴上的摄影对象的点的坐标值、即从摄像机向摄影对象的点的进深。

另一方面，在采用本实施方式的商品摄影装置121的情况下，按照使商品301的大小在已拍摄图像中大致固定的方式进行拍摄。因此，关于到商品301的进深，认为无论从哪个摄影位置观察时都大致相等。

于是，(数式14)中的比例关系“≡”能够置换为等号“＝”。因此，不再需要求出作为未知数的比例常数。

因此，视为到商品301的进深相等，根据位置p、q这两个特征点，利用下面的联立方程式，能够求出摄影位置T[k]、T[k+1]、倾斜度R[k]、R[k+1]、仿射变换矩阵M[k]、M[k+1]。

[数式20]

$M{\&lsqb;k\&rsqb;}^{-1}\left[\begin{array}{c}p\&lsqb;k\&rsqb;\\ 1\end{array}\right]=M{\&lsqb;k+1\&rsqb;}^{-1}\left[\begin{array}{c}p\&lsqb;k+1\&rsqb;\\ 1\end{array}\right],$

$M{\&lsqb;k\&rsqb;}^{-1}\left[\begin{array}{c}q\&lsqb;k\&rsqb;\\ 1\end{array}\right]=M{\&lsqb;k+1\&rsqb;}^{-1}\left[\begin{array}{c}q\&lsqb;k+1\&rsqb;\\ 1\end{array}\right]$

即，未知数的个数是摄影位置T[k]、T[k+1]的6个坐标值，矩阵方程式由于是三维的所以是两个，合计是6个，因此能够通过计算求出摄影位置T[k]、T[k+1]。

具体计算可以采用与上述的方式相同的方法。

为了求出摄影位置而参照的特征点的个数越多，计算的负荷越高，但是计算精度提高。并且，如果将特征点的个数设为3个以上，即使商品301相对于各个摄影位置T[k]的位置没有特殊的前提条件，也能够求出摄影位置T[k]、T[k+1]、倾斜度R[k]、R[k+1]、仿射变换矩阵M[k]、M[k+1]。

另一方面，在如本实施方式这样认为相对于各个摄影位置T[k]的商品301的进深大致相等的情况下，如果将特征点的个数设为2个，则能够降低计算的负荷，另一方面，采用近似能够高精度地求出摄影位置T[k]、T[k+1]、倾斜度R[k]、R[k+1]、仿射变换矩阵M[k]、M[k+1]。

(4.图像处理装置)

全方位图像组所包含的标准化图像B[0]、B[1]、B[2]、…、B[N-1]分别对应于商品301的周围的旋转角θ[0]、θ[1]、θ[2]、…、θ[N-1]。另外，如上所述即使是0＝θ[0]≤θ[1]≤θ[2]≤…≤θ[N-1]<2π，也不会丧失通用性。

图像处理装置161发挥以下作用，在由用户赋予了任意的旋转角φ时，根据所述信息对从相当于该旋转角φ的位置观察商品301时的图像进行插值，并提示给用户。进行插值的最简单的方法如下所述。

如上所述，能够根据圆锥底面的旋转角φ唯一地求出圆锥底面的圆周上的位置S(φ)和在该位置摄影的倾斜度V(φ)。因此，根据该位置S(φ)和倾斜度V(φ)和圆锥的斜边的长度d，能够唯一地确定仿射变换矩阵(1/d)L(φ)。

选择旋转角θ[0]、θ[1]、θ[2]、…、θ[N-1]中下一个最接近旋转角φ的旋转角。假设所选择的旋转角是θ[k]。

利用该方法从标准化图像B[k]中得到相对于旋转角φ的插值图像B(φ)。

最简单的方法是将标准化图像B[k]直接作为插值图像B(φ)的方法。在N足够大的情况下(例如20以上)，从抑制计算量的意义上讲，该方法比较有效。

此外，如上所述，针对标准化图像B[k]，对应有用于将现实世界投影于图像中的仿射变换矩阵(1/d)L[k]、以及进行其逆变换的仿射变换矩阵dL[k]^－1。

因此，通过对标准化图像B[k]实施仿射变换(1/d)L(φ)dL[k]^－1＝L(φ)L[k]^－1，能够得到插值图像B(φ)。

在该方法中，为了得到一张插值图像B(φ)，仅利用一张标准化图像B[k]，然而也可以根据多个标准化图像B[k]得到一张插值图像B(φ)。例如，对于旋转角满足θ[k]≤φ≤θ[k+1]的两张标准化图像B[k]、B[k+1]，适用如上所述的仿射变换。

并且，上述方法是提取对B[k]应用仿射变换而得到的图像的左侧(φ-θ[k])/(θ[k+1]-θ[k])，并提取对B[k+1]应用仿射变换而得到的图像的右侧(θ[k+1]-φ)/(θ[k+1]-θ[k])，将它们左右排列来形成插值图像B(φ)的方法。另外，其中φ和θ是按照在接近用户的一侧从左向右旋转时增加的方式来确定朝向，然而即使是相反朝向，通过更换朝向即可采用相同的方法。

并且，在不是排列两张标准化图像而是排列更多个的标准化图像的情况下，与上述相同地，将标准化图像切断为与旋转方向垂直的带状进行提取，并将它们进行排列，由此能够得到插值图像B(φ)。

另外，图8是示出本实施方式的图像处理装置161的各个要素与终端装置181的各个要素之间的关系的说明图。图9是示出由图像处理装置161的各个要素和终端装置181的各个要素执行的图像处理的控制流程的流程图。下面，参照这些附图进行说明。

另外，如上所述，图像处理装置161和终端装置181可以构成为一体，也可以构成为分体的设备。并且，关于将各个部分配置在哪台设备中，也是可以任意变更的。因此，在本图中图示了最具代表性的方式。

如本图所示，本实施方式的图像处理装置161具有角度接收部801、角度受理部802、插值部803、图像发送部804。

另一方面，终端装置181具有角度感测部811、角度发送部812、图像接收部813、监视显示部814。

在图像处理开始后，在图像处理装置161中执行服务器处理，在终端装置181中执行终端处理。

首先，在终端装置181中，角度感测部811感测终端装置181绕预定的轴的角度φ(步骤S901)。

在利用商品摄影装置121拍摄商品时，通常是检测3轴的倾斜度，而在终端装置181中，仅使用一个加速度传感器检测相对于重力方向的倾斜度即足以。当然，也可以检测3轴的倾斜度。

然后，角度发送部812将感测到的角度φ发送给图像处理装置161(步骤S902)。

然后，在图像处理装置161中，角度接收部801接收从终端装置181发送的角度φ，并使角度受理部802受理(步骤S903)。

并且，插值部803根据如上所述的算法，由所受理的角度φ得到插值图像B(φ)(步骤S904)。

另外，图像发送部804将得到的插值图像B(φ)发送给终端装置161(步骤S905)，处理返回到步骤S903。

另外，在终端装置181中，图像接收部813接收从图像处理装置161发送的插值图像B(φ)(步骤S906)。

并且，监视显示部814将接收到的插值图像B(φ)显示在监视画面上(步骤S907)，处理返回到步骤S901。

这样，在本实施方式中，仅通过使终端装置181倾斜，与该倾斜联动地，被显示在终端装置181的监视画面上的商品301也旋转，由此用户能够容易观察商品301的全方位状态。

另外，在将图像处理装置161和终端装置181构成为一体时，由角度感测部811检测到的角度φ被提供给插值部803，由插值部803得到的插值图像B(φ)被提供给监视显示部814，插值图像B(φ)被显示在监视画面上。即，终端装置181由角度感测部811、插值部803、监视显示部814构成。

此外，在利用不具有倾斜度传感器的普通个人电脑实现终端装置181的情况下，不是使用角度感测部811感测角度φ，而是采用通过用户操作键盘和鼠标等输入装置来输入角度φ的方式。例如，可以采用诸如φ通过按下键盘的第1按钮而增加、φ通过按下键盘的第2按钮而减少的操作系统，和/或诸如使φ的值与鼠标的移动量联动的操作系统。

并且，在上述的示例中，假设直接利用所感测到的角度φ来显示插值图像B(φ)。但是，也可以利用大于1的常数k，针对所感测到的角度φ来显示插值图像B(φ)。即，角度受理部802将受理的角度设为k倍。

在显示插值图像B(φ)的方法中，为了观察商品301的全方位状态，用户需要使终端装置181自身旋转一周360度。

另一方面，在显示插值图像B(kφ)的方法中，为了观察商品301的全方位状态所需要的终端装置181的旋转量仅是(360/k)度即可。

例如，如果设k＝4，用户仅使终端装置181的倾斜度变化90度，即可观察商品301的全方位状态。

另外，将角度设为k倍的处理例如可以在终端装置181中执行。例如，角度发送部812将检测到的角度φ设为k倍，并发送角度kφ等。

下面，对根据标准化图像B[0]、B[1]、B[2]、…、B[N-1]和旋转角θ[0]、θ[1]、θ[2]、…、θ[N-1]、和所提供的旋转角φ，得到插值图像B(φ)的其它方法进行说明。

即，假设商品301为球体，根据标准化图像B[0]、B[1]、B[2]、…、B[N-1]制作了基于船型多圆锥图法(interruptednormalpolyconicprojection)的展开图。并且，根据该展开图形成球体，按照位置S(φ)和倾斜度V(φ)来观察该球体，制作了插值图像B(φ)。

在制作地球仪时的船型多圆锥图法中，以经度30度单位来分割地球表面，形成12个船形物。在本实施方式中，船形物为N个。并且，如上所述假设θ[0]＝0。并且，

(0)根据标准化图像B[0]制作了纬度(θ[N-1]+2π)/2～纬度2π、以及纬度0～纬度θ[1]/2的船形物，

(1)根据标准化图像B[1]制作了纬度(θ[0]+θ[1])/2～纬度(θ[1]+θ[2])/2的船形物，

(2)根据标准化图像B[2]制作了纬度(θ[1]+θ[2])/2～纬度(θ[2]+θ[3])/2的船形物，

(k)根据标准化图像B[k]制作了纬度(θ[k-1]+θ[k])/2～纬度(θ[k]+θ[k+1])/2的船形物，……，

(N－1)根据标准化图像B[N-1]制作了纬度(θ[N-2]+θ[N-1])/2～纬度(θ[N-1]+2π)/2的船形物。

关于制作船形物的简单方法，有从各个标准化图像直接切取对应于该船形物的位置的方法。该方法适合于商品301的整体形状类似球体的情况。

将这样得到的N个船形物进行接合，能够形成假想的大致球体。然后按照位置S(φ)和倾斜度V(φ)来观察该大致球体，制作了插值图像B(φ)。

此外，还有与后述的多面体近似相同地，将位置S[k]设为视点位置，将船形物粘贴在球体表面上后得到的物体作为投影面，将标准化图像B[k]投影于船形物的方法。在该方法中，将覆盖商品301的球体的表面分割为多个船形区域，在各个船形区域中投影标准化图像。

也有如上所述用假想的凸多面体来近似商品301的方法。选择该凸多面体中整体与商品形状类似的部分。

并且，针对在该凸多面体的表面上配置的各个多边形进行如下所述的处理，由此形成商品301的凸多面体模型。

首先，选择标准化图像B[0]、B[1]、B[2]、…、B[N-1]中在进行生成时的倾斜度V[0]、V[1]、V[2]、…、V[N-1]与该多边形的法线方向最接近的标准化图像B[k]。

然后，将标准化图像B[k]按照该旋转角θ[k]假想地配置在商品301的位置。并且，将位置S[k]设为视点位置，将该多边形作为投影面，将标准化图像B[k]投影于多面体。

在暂且形成这种大致球体模型或凸多面体模型后，能够从各个方向观察这些模型。

另外，本发明以2010年8月30日提出申请的第2010－192927号日本专利申请为基础并对其主张优先权，将该日本专利申请的说明书、权利要求书、附图的记载全部作为参考合并于本申请说明书中。

产业上的可利用性

根据本发明，能够提供一种适合于用户容易拍摄商品的全方位图像组的商品摄影装置、商品摄影方法、图像变换装置、图像处理装置、图像处理系统、程序及信息记录介质。

标号说明

101图像处理系统；121商品摄影装置；141图像变换装置；161图像处理装置；181终端装置；201图像感测部；202指示受理部；203保存部；204取景显示部；205倾斜度感测部；301商品；311已拍摄图像；312表示已拍摄图像的拍摄时的倾斜度的柱状图；321实时预览图像；322表示当前的倾斜度的柱状图；331取景图像；601图像受理部；602变换部；611提取部；612估计部；613近似部；614输出部；801角度接收部；802角度受理部；803插值部；804图像发送部；811角度感测部；812角度发送部；813图像接收部；814监视显示部。

Claims (2)

1.一种图像处理装置，其特征在于，该图像处理装置具有：

角度受理部，其受理绕贯通商品的旋转轴的角度；以及

插值部，其根据所述受理的角度，对包括与旋转角对应的多个标准化图像的所述商品的全方位图像组进行插值，得到表示从所述受理的角度观察该商品时的状态的已插值图像，

所述插值部从与所述全方位图像组所包含的各个标准化图像B[0]、B[1]、…、B[N-1]对应的旋转角θ[0]、θ[1]、…、θ[N-1](θ[0]≤θ[1]≤…≤θ[N-1])中，选择与夹着所述受理的角度φ的旋转角θ[k]、θ[k+1]对应的标准化图像B[k]、B[k+1]，

所述插值部根据用于将现实世界投影到标准化图像B[k]、B[k+1]上的仿射变换矩阵L[k]、L[k+1]、和用于将该现实世界投影到图像上的与所述受理的角度φ对应的仿射变换矩阵L(φ)，生成第1图像L(φ)L[k]^－1B[k]和第2图像L(φ)L[k+1]^－1B[k+1]，

所述插值部提取所述第1图像L(φ)L[k]^－1B[k]的、绕中心轴的旋转角较小的一侧(φ-θ[k])/(θ[k+1]-θ[k])，作为第3图像，

所述插值部提取所述第2图像L(φ)L[k+1]^－1B[k+1]的、绕所述中心轴的旋转角较大的一侧(θ[k+1]-φ)/(θ[k+1]-θ[k])，作为第4图像，

所述插值部将所述第3图像配置在绕所述中心轴的旋转角较小的一侧进行排列，将所述第4图像配置在绕所述中心轴的旋转角较大的一侧进行排列，由此得到所述已插值图像。

2.一种图像处理方法，其特征在于，该图像处理方法包括：

角度受理步骤，受理绕贯通商品的旋转轴的角度；以及

插值步骤，根据所述受理的角度，对包括与旋转角对应的多个标准化图像的所述商品的全方位图像组进行插值，得到表示从所述受理的角度观察该商品时的状态的已插值图像，

在所述插值步骤中，从与所述全方位图像组所包含的各个标准化图像B[0]、B[1]、…、B[N-1]对应的旋转角θ[0]、θ[1]、…、θ[N-1](θ[0]≤θ[1]≤…≤θ[N-1])中，选择与夹着所述受理的角度φ的旋转角θ[k]、θ[k+1]对应的标准化图像B[k]、B[k+1]，

在所述插值步骤中，根据用于将现实世界投影到标准化图像B[k]、B[k+1]上的仿射变换矩阵L[k]、L[k+1]、和用于将该现实世界投影到图像上的与所述受理的角度φ对应的仿射变换矩阵L[φ]，生成第1图像L(φ)L[k]^－1B[k]和第2图像L(φ)L[k+1]^－1B[k+1]，

在所述插值步骤中，提取所述第1图像L(φ)L[k]^－1B[k]的、绕中心轴的旋转角较小的一侧(φ-θ[k])/(θ[k+1]-θ[k])，作为第3图像，

在所述插值步骤中，提取所述第2图像L(φ)L[k+1]^－1B[k+1]的、绕所述中心轴的旋转角较大的一侧(θ[k+1]-φ)/(θ[k+1]-θ[k])，作为第4图像，

在所述插值步骤中，将所述第3图像配置在绕所述中心轴的旋转角较小的一侧进行排列，将所述第4图像配置在绕所述中心轴的旋转角较大的一侧进行排列，由此得到所述已插值图像。