CN1200246C - 图像处理装置及其辅助装置提供方法 - Google Patents

Abstract

在显示面板21上显示出被摄物体(桌子)的图像。此图像具有被摄物体三维空间位置信息，使用者指定画面上的位置C(b)，以三维空间位置信息为根据，求得指定位置C的被摄物体的实际尺寸，然后生成显示实际尺寸实质的标度图像S，再合成为被摄物体的图像，然后显示出来(c)。使用者能够自由的变换标度图像S的方向和位置(d)，(e)。在具有被摄物体三维空间位置信息的图像处理上，使用者能够获得高便利性和有魅力的功能。

Description

图像处理装置及其辅助装置提供方法

技术领域

本发明涉及图像处理技术，尤其涉及利用被摄物体的三维空间位置信息进行图像处理的技术。

背景技术

图8所示是能够摄取距离图像(纵深图像)的行程测量仪测距装置的基本构造(特愿平11-144097)。在图8中，51是摄像机，52a、52b是两个光源，55是控制这两个光源52a、52b发光动作的光源控制部，56是根据摄像机51摄取的图像生成距离图像的距离计算部。光源控制部55是与摄像机51的垂直同步信号同步，使光源52a、52b依次发光。

图9(a)所示的是光源52a、52b的构成例的图。如图9(a)所示，作为光源52a、52b，例如，纵向配置有氙闪光灯等闪光光源57、58；其后面分别在左、右错位配置有反射板59、60。图9(b)是图9(a)的俯视图。光源52a、52b分别辐射出如图9(b)所示A、B范围的光线。此处用的纵向配置有氙灯发光部很小，俯看时很像点光源，而且光源52a、52b的间隔只有1厘米，因此看上去光大致是从一点投射出来的。

根据图10～图13来说明图8所示行程测量仪测距装置的动作原理。

图10表示的是由图9所示光源52a、52b辐射的光图形示意图。在图10中，实线La、Lb表示从光源52a、52b照射到想象屏幕Y的关于投射光在屏幕面上的明亮度。明亮的程度根据实线La、Lb沿箭头→方向的高度表示出来。从图10可以看出投射光的投射特性，各光源52a、52b的投射光的投射方向沿其中心轴投射最明亮，越到周边越暗。这一特性是因为在闪光光源57、58背后配置有半圆筒状的反射板59、60而引起的。根据反射板59、60的方向，各光源52a、52b的投射光其中的一部分是重叠的。

图11是图10在H方向上投射光的角度Φ与光强度关系的坐标图。H方向是包含有光源中心和透镜中心的任意面S与想象的屏幕Y的交差线方向，角度Φ是照射光在XZ平面的投影相对X轴形成的角度。图11所示的光图形α部分是从光源52a、52b照射到被摄物体空间的光。由光源侧看，从一侧光源看是右侧亮左侧暗，从另一侧光源看左侧亮右侧暗。但是，图11所示光图形的高度方向(Y方向)与含有光源中心和透镜中心的面是不同的。

图12是关于图11的α部分的投射光角度Φ与光强度比的关系的坐标图。α部分的光强度比与角度Φ的关系是1∶1的关系。

在此，为了测定距离，于光源垂直方向在规定距离处有一垂直平面，有两种类型的光图形交替投射到此平面，摄像机51摄取其反射光。因此，可事先获得象图12那样的光强度比与投射光角度关系的Y坐标值(CCD上对应的Y坐标)，然后，将光源52a、52b设置成连接光源52a、52b的线段的CCD摄像面的X轴与摄像机51的透镜中心平行，再根据事先得到的光强度比与投射光角度关系的Y坐标数据，能够进行正确的距离计算。

现在注意看图8的点P，由摄像机51的摄像图像来求得由光源52a、52b投射到点P的投射光的光强度比。利用求得的光强度比和图12所示与点P的Y坐标相对应的关系，可以计算出从光源52a、52b侧看到的点P的角度Φ。另外，从摄像机51侧看点P的角度θ，能够由点P的像点坐标值与焦点距离即透镜系的光学中心位置等的摄像机参数来决定。因此，由这两个角度Φ、θ和基线长度即是由光源52a、52b的位置与摄像机51的光学中心位置间的距离，再根据三角函数测量关系原理可计算出距离。

以摄像机51的光学中心作为原点，摄像机51的光轴方向设定为Z轴，水平方向设定为X轴，垂直方向设定为Y轴。从光源52a、52b处看点P的方向与X轴形成角Φ，从摄像机51处看点P的方向与X轴形成角θ，基线长是D即光源52a、52b的位置即是(0，-D)，点P的纵深值Z由下式求得：

Z＝DtanθtanΦ/(tanθ-tanΦ)

此外，利用图13所示角度ω，根据下式能够算出三维坐标(X，Y，Z)：

X＝Z/tanθ

Y＝Z/tanω

另外，将光源52a、52b发光时摄得的图像进行加权平均，可以得到普通的彩色图像。因此，由图8所示的构造能够摄得含有三维空间位置信息的图像。

然而，象上述单从技术本身能够摄得包含有三维空间位置信息的图像，只是这些的话，未必能是市场上受欢迎的有魅力的制品。以上述技术内容作基础，要开发出使用很便利，另一方面使用户感到有情趣的功能是商品开发中的极重要的一点。

发明内容

本发明鉴于上述问题，其目的是在图像处理中，利用被摄物体的三维空间位置信息，提高用户使用的便利性，并且能够实现一些很有魅力的功能。

另外，本发明又提供一种利用了图像的三维空间位置信息的，图像处理辅助装置的提供方法及接受订货的处理方法。

为了解决上述问题，本发明之1的图像处理装置，具有显示图像的显示部，其还包括图像合成部，其根据在所述各图像中所拍摄的被摄物体的三维空间位置信息，按照对各图像分别指定的定位点在三维空间上成为相同位置那样，并且按照通过让焦点距离成为相同对各图像进行处理而在三维上满足所希望的尺寸关系那样，对多个图像进行合成；所述显示部显示将所述多个图像合成后的图像。

按照上述本发明之1的图像处理装置，多个图像均与满足要求的尺寸关系如实际尺寸实质地吻合，并在显示部被显示出。因此，使用者能够将被摄物体的图像与其它背景的图像进行标度合成，那么，使用者立即能够看到不同背景上的被摄物体的假想的图像。

本发明之2的图像处理装置，是在上述本发明之1的图像处理装置中，所述图像合成部，能够将与背景分离的被摄物体的图像与其它背景图像进行合成。

本发明之3的图像处理装置，是在上述本发明之2的图像处理装置中，所述图像合成部，是从图像上将由规定距离范围内位置的像素形成的图像，作为与背景分离的被摄物体的图像分离出。

本发明之4的图像处理装置，是在上述本发明之1的图像处理装置中，具有能够拍摄含有三维空间位置信息图像的摄像部，和由所述摄像部拍摄的图像，获取所述三维空间位置信息的距离图像生成部；所述图像合成部是利用由所述距离图像生成部得到的三维空间位置信息进行图像合成。

本发明之5的图像处理装置，是在上述本发明之4的图像处理装置中，所述摄像部具有将有规定的辐射图形的投射光照射到被摄物体上的发光设备，根据拍摄来自投射到被摄物体的所述反射光，来得到含有三维空间位置信息的图像。

本发明之6的图像处理装置，是在上述本发明之1的图像处理装置中，包括具有自动聚焦装置或手动聚焦装置的摄像部；所述图像合成部根据所述自动聚焦装置或手动聚焦装置获取的到被摄物体的距离数据，利用作为所述三维空间位置信息来进行图像合成。

本发明之7的图像处理装置，是在上述本发明之1的图像处理装置中，所述图像合成部至少可以将所述多个图像中的一个进行扩大、缩小或旋转。

本发明之8的图像处理装置，是在上述本发明之1的图像处理装置中，在进行图像合成时，各图像的相对位置可从外部设定或修正。

本发明之9的图像处理装置，是在上述本发明之1的图像处理装置中，所述图像合成部是利用透视变换、从各图像的三维坐标获得二维图像的装置；在所述透视变换中，进行让焦点距离成为相同那样的投影变换。

本发明之10的图像处理辅助装置所提供的方法，有以下步骤：

第一步：从辅助装置利用者处取得包含有三维空间位置信息的图像和指定的所希望的图像处理形式；

第二步：从收取的图像得到拍摄有关图像的被摄物体的三维空间位置信息；

第三步：根据得到的三维空间位置信息，对所述收取的图像，按照对各图像分别指定的定位点在三维空间上成为相同位置那样，并且按照通过让焦点距离成为相同对各图像进行处理而在三维上满足所希望的尺寸关系那样，进行图像处理；

第四步：将得到的图像处理结果的图像数据传送给辅助装置利用者。

附图说明

图1表示作为有关本发明的实施例1及实施例2的图像处理装置的形状计测摄像机的构造图。

图2是图1所示形状计测摄像机后视外观图。

图3(a)～(f)是关于实施例1的摄像机动作的示意图。

图4是设置了游标键情况下摄像机的后视图。

图5是设置了图像存储器时，形状计测摄像机的构成图。

图6(a)～(e)是关于实施例2的摄像机动作的示意图。

图7是透视变换示意图。

图8表示能够拍摄距离图像行程测量仪测距装置的基本构造图。

图9(a)是图8中光源构成示意图，(b)是(a)的构成俯视图。

图10是表示图9所示光图形图。

图11表示图10的光图形中光强度与投射光角度关系的曲线图。

图12表示图11的α部分中光强度与投射光角度关系的曲线图。

图13是关于行程测量仪测距装置三维空间坐标的概念图。

图14是关于本发明图像处理辅助装置的概念图。

图15是表示实现本发明的接受订货处理方法的构成概念图。

10-摄像部；14-距离图像生成部；16-发光设备；21-显示面板；22-触摸控制屏(输入设备)；28-游标键(输入设备)；31-图像合成部；S-标度图像。

具体实施方式

实施例

下面，参照附图说明本发明的实施例。

在本说明书中，距离图像是各像素离摄像机的距离，也称为三维立体坐标系中表示纵深值的图像。前者相当于是球坐标系(r，θ，Φ)中r值，后者相当于是直角坐标系(X，Y，Z)的Z方向的值。实施例1是在球坐标系中用r表示，实施例2是在直角坐标系中用Z表示。但是球坐标系(r，θ，Φ)与直角坐标系(X，Y，Z)是可以相互变换的。还有如果再利用CCD上的像素位置(X，Y)，通过立体几何计算就很容易从r求得(r，θ，Φ)，从Z求得(X，Y，Z)。

实施例1

图1表示作为有关本发明的实施例1的图像处理装置的形状计测摄像机的构造图。在图1中，1是摄像机的外壳，11a、11b是第一及第二闪光灯光源，12是控制第一及第二闪光灯11a、11b发光的光源控制部，13是摄像器，14是生成距离图像的距离图像生成部，它由摄像器13拍摄的图像，获取图像上各位置到摄像机的距离数据来生成距离图像，15是由摄像器13拍摄的图像生成普通的彩色图像生成部，由第一及第二闪光灯11a、11b及光源控制部12形成发光设备16，由摄像器13及发光设备16构成摄像部10。发光设备16与摄像部10本体是能够分离的。

21是图像显示部的显示面板，22是设在显示面板21表面的触摸控制屏，23是快门，24是可以将距离图像或彩色图像记录在记录媒体25中，再由记录媒体25进行放像的记录放像部。

控制部30是根据快门23的信号来控制光源控制部12及摄像器13的动作，同时输入的彩色图像被显示在显示面板21上。另外，控制部30还拥有合成彩色图像上显示指定位置实际尺寸的标度图像的图像合成部31。

图1的形状计测摄像机，与以前有的摄像机相同，能够由摄像器13拍摄含有三维空间位置信息的图像。本发明的实施例是利用由距离图像生成部14生成的距离图像作为三维空间位置信息，以此三维空间信息为基础，能够显示出表示其实际尺寸实质的标度图像及彩色图像。

图2是图1所示形状计测摄像机的后视外观概略图。在摄像机的背面重叠配置有显示面板21和触摸控制屏22，使用者能够由触摸控制屏22来指定显示面板21显示的摄像图像上由标度图像显示的实际尺寸位置。

借助图3说明本实施例在表示标度图像时的形状计测摄像机的动作和使用者的操作步骤。

首先，如图3(a)所示那样，使用者要用与本实施例有关的形状计测摄像机拍摄作为被摄物体的房间里的桌子。在此得到的图像包含有桌子各部分的三维空间信息，然后在显示面板21上显示出桌子的彩色图像。

其次，如图3(b)所示，使用者在图像上指定希望在标度图像上表示实际尺寸的位置。例如，将显示面板21的模式设为标度表示模式(摄像机本体设置有模式切换开关更好)，一边看显示画面，一边用触摸控制屏22来确定指定位置C(在图上是桌子的上面部分)。

然后，图像合成部31根据距离图像求得指定位置C的实际尺寸，生成表示其求得的实际尺寸的标度图像再合成彩色图像。据此，如图3(c)所示，就表示出了表示桌子上面部指定位置C的实际尺寸的标度图像S。在此，标度图像S是用刻度尺表示的图像。

实际的尺寸，根据以下计算得出。根据指定位置C的三维坐标和摄像机透镜中心的三维坐标的欧几里德距离，能够求出摄像机与被拍摄物体的距离L。摄像机的焦点距离设为f，摄像机的CCD的大小设为S_x，CCD的横向的有效像素数设为N_X，指定位置C上表示画面的一个像素的实际长度是P_X：

P_X＝L/f-S_X/N_x

因此，实际长度X相对应的画面上的象素数N_p：

N_P＝X/P_X

所以，对于指定位置C，合成出显示长度为N_P象素的标度图像S和实际长度X(图上是20厘米)的表示L。

再其次，如图3(d)、(e)所示，使用者可利用触摸控制屏22来改变显示出的标度图像S的方向和位置。另外，如图3(d)所示，标度图像S表示沿着纵深方向的画面时，因为摄像机与被拍摄物体的距离是渐渐变化的，所以标度图像S的刻度不是等距离的。此外，标度图像S的类型可设为能够选择其刻度的幅宽来表示。

要从画面上清除标度图像S时，使用者用模式切换开关来解除标度表示模式。据此，如图3(f)所示，标度图像S被清除，仅表示出原来的彩色图像。

根据这样的实施例，使用者在看摄像图像时，根据在画面上能够显示实际尺寸的标度图像，很容易确认拍摄到的被摄物体的大小。因此，例如以钓着的鱼、发掘的遗迹等为被摄物体时，为了比较大小，不必找基准物拍摄，通过看摄得的图像就能够很容易地知道其大小。另外，关于摄像机的本实施例用作防范摄像机时，从图像上很容易知道拍摄的犯人身体的高矮和胖瘦。

本实施例是用触摸控制屏22来指示指定位置C的，也可不用触摸控制屏22，而用能够指定显示面板21上坐标的笔形指向器，或用能够移动显示面板21上显示游标的游标键、按钮式开关、刻度盘、或鼠标等来指示指定位置C。图4表示的是装有游标键28摄像机背面示意图。图4中，显示面板21上显示出的游标27的位置能够根据游标键28来移动和设定。此时，触摸控制屏22就没有必要了，可以省略掉。

还有，作为表示标度图像的三维空间位置信息，也可以利用由摄像机的自动聚焦(auto focus)装置和手动聚焦(manual focus)装置结果获取的到被摄物体的距离数据来得到。此种场合没有必要拍摄含有三维空间位置信息的图像，也没有必要设置第一及第二闪光灯11a、11b和光源控制部12的发光设备。即若设置有具有自动聚焦装置和手动聚焦装置来获取到被摄物体距离信息数据的普通摄像部的摄像机，就能够显示出标度图像。

更具体的说明如下，由自动聚焦装置和手动聚焦装置得到的距离数据L(摄像机与被摄物体间距离)，透镜的焦点距离f，CCD的大小(S_X，S_Y)及CCD的有效象素数(N_X，N_Y)，根据这些数据，距离L中CCD一个象素相对应的实际长度(P_X，P_Y)由下式求得。下标X表示横方向，下标Y表示纵方向。

P_X＝L/f·S_X/N_X

P_Y＝L/f·S_Y/N_Y

因此，依据长度(P_x，P_Y)生成标度图像。例如，要生成长度为N象素的标度图像，则画面上表示出符合此标度图像的实际长度N×P_X(X方向)或N×P_Y(Y方向)。另外，求得实际长度R相应的图像上的象素数R/P_X(X方向)或R/P_Y(Y方向)，就生成此象素数范围内的标度图像，同时长度R也可在画面上表示出。

另外，如果被摄物体大小的计算结果由记录放像部24记录在记录媒体25上，使用者没必要记忆计算结果。若有与记录放像部24有同样功能的个人计算机等机器，记录在记录媒体25上的信息能够得到利用，非常便利。当然，距离图像、彩色图像更进一步合成的标度图像也可以保存在记录媒体25上。

此外，CCD的大小，摄影时透镜的焦点距离，从自动聚焦装置和手动聚焦装置获取的到被摄物体的距离数据作为图像数据一并由记录放像部24记录在记录媒体25上，所以不一定是在摄影时，而在其之后，在显示图像时也能够表示成相应的标度图像。

另外，如图5所示，配设有图像存储器35，若将由摄像器13处得到的图像数据一次储存在图像存储器35中，可将图像连续输入，然后由记录放像部24记录在记录媒体25上。然后记录在记录媒体25上的图像再从图像存储器35中读出，也能够进行快速放像显示。

再者，对于标度图像，如果表示的被摄物体的实际尺寸是标准化的，那么无论什么样的图像都没有关系。因此，不仅只局限于有刻度的图像，而且例如表示象打棒球和高尔夫球等的图像、连续的电码组合肖像画的图像都没有关系。此外，使用者也能够选择标度图像的类型，也可以改变与所表示图像相对应的标度图像的类型。

另外，对本实施例利用拍摄到的图像数据，此数据含有被摄物体的实际尺寸信息(三维空间位置信息)，在显示面板21上能够表示出被摄物体的实际尺寸的大小。通过显示面板21上一个象素相应的长度P_X传送给图像合成部31，很容易实现上述情况。即，由于实际的长度X相对应的象素数N_P为：

N_P＝X/P_X

所以，图像合成部31可以将图像进行扩大或缩小，使在显示面板21上表示时的长度X相对应的象素数与上述N_P相等。

此外，显示面板21安装在外壳1上，面板尺寸是比较小的，因此，无法表示比较大的被摄物体的实际尺寸的大小。但是，利用象计算机那样的表示面板，就能够表示被摄物体的实际尺寸的大小。还有，同样也能够利用打印机打印出表示被摄物体实际尺寸大小的图像。

(实施例2)

本发明实施例2关于图像处理装置的形状计测摄像机的构成与图1和图2基本相同。与实施例1不同的是图像合成部31，能够合成与实际尺寸相吻合的多个图像。即本实施例的特征是以距离图像生成部14生成的距离图像作为三维空间位置信息，以此三维空间位置信息为基础，合成与实际尺寸实质相符合的多个图像并表示出来。

利用图6来说明合成多个图像时，关于本实施例的形状计测摄像机的动作和使用者的操作，在此我们以将桌子的图像合成到自己房间图像上为实例加以说明。

首先，如图6(a)所示，比如使用者用关于本实施例的形状计测摄像机拍摄作为被摄物体的桌子。于是从拍摄图像由距离图像生成部14及彩色图像生成部15生成的桌子的彩色图像和距离图像的图像数据，由记录放像部24记录在记录媒体25上。

其次，如图6(b)所示，比如使用者用与本实施例有关的形状计测摄像机拍摄自家房间的照片，就获得了房间的彩色图像和距离图像，图像的数据保存在记录放像部24中的记录媒体25上。

再其次，如图6(c)所示，使用者调出记录的桌子的图像，将其与背景分离，显示在显示面板21上。如果规定拍摄的彩色图像内只将拥有三维空间位置的图像表示出来，就能够将被摄物体的图像与背景分离出来。本实施例是利用距离图像，将距摄像机距离在规定范围内位置的象素所成的图像分离出来。例如，如果在距离图像上，距离图像在2米以上的部分被判断为背景的话，则2米距离以内存在的被摄物体即只是桌子的图像则能被分离出来。

于是，使用者在被分离出来的桌子的图像上为使位置相符合，要利用触摸控制屏22来指定一点α。在此，使用者希望将桌子靠墙壁放置，那么点α作为与墙壁紧靠的基准位置指定在桌子上部。

其次，如图6(d)所示，使用者调出被记录的房间的图像，表示在显示面板21上，为使位置相符合，用触摸控制屏22指定一点β。在此，指定点β为房间墙壁的表面。

再次，如图6(e)所示，将图6(c)桌子的图像和图6(d)房间的图像进行图像合成。图像合成时，要使指定点α与β的三维空间位置相同，也就是说，使点α向点β的位置移动，就生成了将桌子放进房间的合成图像。

在此，桌子的图像与房间的图像在摄影时，被摄物体的距离、图像放大倍率均不同，如果就这样进行图像合成的话，则合成图像与实际尺寸将不相符。即会发生这样的问题，相对于房间的尺寸，桌子的尺寸或许会比实际尺寸大或许会比实际尺寸小。

那么，本实施例，利用距离图像来合成桌子的图像与房间的图像均与实际尺寸相符合。具体的处理如下所述：

首先，将指定点α(X_α，Y_α，Z_α)向指定点β(X_β，Y_β，Z_β)平行移动的移动量(l，m，n)由下式求得，

l＝Xβ-Xα

m＝Yβ-Yα

n＝Zβ-Zα

其次，如图6(c)所示，有关构成桌子图像的全部象素进行平行移动(l，m，n)，三维坐标P1平行移动后就变换为三维坐标P2

P1＝[X1  Y1  Z1  1]

P2＝[X2  Y2  Z2  1]

由[数1]表示出。

其次，根据透视变换，从平行移动来的桌子图像的三维坐标，应该可以得到二维坐标下桌子的二维图像，如图7所示，三维坐标P(X，Y，Z)经透视变换其投影平面Q(x，y)，再利用摄像机的焦点距离f就变为下式：

x＝f·X/Z

y＝f·Y/Z

当然，摄影时图像放大倍率不同的场合，要使桌子图像和房间图像变为具有相同的图像放大倍率才能进行放大、缩小处理(使上式的f值等价的投影变换)。

于是从彩色图像抽出桌子表面的结构，据此得到桌子的变换图像。

根据上述的处理，如图6(e)所示，使桌子图像与房间图像的标度相符来进行图像合成，这样的图像合成处理由图像合成部31来完成。即根据本实施例，分离出的被摄体图像与别的背景图像即使摄影距离或图像放大倍率不同，也能够合成符合实际尺寸的图像，所以能够获得被摄物体(本实施例是桌子)摄影的场所与在不同场所拍摄的图像(本实施例是图6(b)的房间)的合成图像。

另外，为使图像合成的位置相符合的点α、β是由使用者适当指定的。图像合成的结果有可能生成象桌子腿插到地面里或桌子上面嵌入墙壁里等现实中不可能存在的状态的图像。假想有这样的场合，设置有能够在摄像机外部设定或修正合成图像时各图像相对位置的机构是比较理想的。例如，利用设置触摸控制屏22、摄像机背面的开关等，使用者可使各图像移动。

例如，如果桌子腿插入地面时，使用者用手动将桌子设定一定的向上平行移动量，图像合成部31根据使用者的设定，将桌子位置平行移动，然后再次进行图像合成，显示部面板21重新表示合成图像，一边在画面上确认合成图像，一边设定平行移动量，直到将桌子图像配置在使用者满意的位置。

另外，在本实施例中，对桌子图像进行透视变换的各点，点α、点β到摄像机距离由距离图像可分别求得其近似值，它们的比值作为桌子图像的放大倍率进行二维扩大、缩小处理，由此得到的图像也可进行合成。

再则，在本实施例中，使用者可以使各图像的标度均相同进行变换，也可以有意改变被摄物体的大小，这都是很容易的。此时可以将图像进行二维扩大、缩小，也可以以图像的三维数据为基础，将被摄物体的大小进行三维扩大、缩小，然后由透视变换得到表示图像。换句话说，图像合成部31能够将多个图像合成为满意的所希望尺寸的图像。此处所说“合成为满意的所希望尺寸的图像”，即是前面已说明的，合成为与实际尺寸相吻合的图像。

即图像合成部31在合成的多个图像中，至少能够对其中一个进行扩大和缩小。此时，为了进行扩大、缩小的定标处理，由下述三维变换来实现：

P1＝[X1  Y1  Z1  1]

P2＝[X2  Y2  Z2  1]

[数2]

此时，使用者根据特定的被摄物体的大小按意图进行扩大、缩小，例如也能够得到微小的合成图像。

另外，摄像时摄像机倾斜的场合，拍摄出的被摄物体的图像(本实施例是桌子)也可以是倾斜的。比如象这样的场合，将桌子的图像进行旋转变换，再使其与房间图像的水平面相吻合进行合成也是比较理想的，为了完成旋转变换，上式的行列式被置换为如下所示的行列式即可。

[数3]

利用此行列式，图像以通过原点与点(l，m，n)的轴为中心旋转θ角，R是旋转矩阵。在此，定义α是旋转轴与X轴所成角度，β是旋转轴与Y轴所成角度，γ是旋转轴与Z轴所成角度。则指定：

nx＝cosα

ny＝cosβ

nz＝cosγ

作为特殊的情况：以X轴作为中心轴进行旋转时

nx＝1，ny＝nz＝0

以Y轴作为中心轴进行旋转时

nx＝nz＝0，ny＝1

以Z轴作为中心轴进行旋转时

nx＝ny＝0，nz＝1

这样旋转矩阵R就变为很简单的形式了。

另外，作为使多个图像的标度相吻合的三维空间位置信息，也能够利用摄像机的自动聚焦(auto focus)装置或手动聚焦(manual focus)装置结果获取的到被摄物体的距离数据来得到。这种情况下，没有必要拍摄含有三维空间位置信息的图像，也没有必要设置第一和第二闪光灯11a、11b及由光源控制部12形成的发光设备，即设置了拥有自动聚焦装置和手动聚焦装置能够获取到被摄物体距离信息数据的普通摄像部，就能够使图像的标度近似地相吻合。

此外，在本实施例中，利用的图像是由摄像机拍摄的自然图像，也可以利用由计算机图片合成的图像。

再则，在本实施例中，能够进行桌子和房间的两种图像的合成，即使有合成三种以上图像的情况，按照前述各图像的处理方法，也能够进行与实际尺寸相吻合的图像合成。此种情况下，还能够将不同状况下拍摄的多个被摄物体放在同一背景图像上完成标度相吻合的图像合成。

另外，本实施例是利用触摸控制屏22来指定使位置相吻合的点α、β，如果不使用触摸控制屏22，则可以利用显示面板21上笔形指向器来指定坐标定位。也可以利用如图4所示能够使显示面板21上的表示游标移动的游标键、按钮键、拨盘或鼠标等来实现，这种情况下触摸控制屏22就没有必要了，可以略去。

此外，如果将CCD大小、摄影时透镜的焦点距离、由自动聚焦装置和手动聚焦装置结果获取的到被摄物体的距离数据，连同图像数据由记录放像部24记录在记录媒体25上，不必在摄影时而是在其后，能够将表示出的图像进行遂意的图像合成。

另外，发光设备与本体是可以分离的，有必要获得距离图像时，可以安装上发光设备16来使用，拍摄普通图像时，可以卸下发光设备16来使用。当然将发光设备16固定在本体上也是没有关系的。

此外，本发明的实施例1实施例2是以能够获得拍摄由发光设备16投摄到被摄物体反射光所得距离图像(纵深图像)的形状计测摄像机为例来进行说明的。利用另外的纵深计测方法的摄像机也能够实现本发明实施行式。例如，利用配置左右两台摄像机，经三角测量方法进行立体耦合的方法，或利用激光对空间进行时间扫瞄然后测定投射光的空间飞行时间的方法，能够得到纵深图像，本发明也是适用的。其要点是：本发明只要有了能够得到二维图像和距离信息的摄像机，不必过问得到距离信息的方法如何，都是适用的。

另外，本发明不只限于摄像机，即无摄像部的图像处理装置，例如，有一台个人计算机，如果具备有与图像合成部31有相同功能的部件就能够实现本发明。在此情况下，图像处理装置收取彩色图像和象距离图像那样含有三维空间位置信息的图像数据，经与实施例1及实施例2相同的处理，进行标度图像的表示，多个图像标度相吻合的合成等，作为使用者指定的输入设备，鼠标、键盘、跟踪球、开关，电位器等均可以用。

此外，本发明的图像处理装置的全部功能或一部分功能，可以用专用硬件来实现，也可以由计算机程序软件来实现。还有本发明的图像处理装置的全部功能或一部分功能为了能够由计算机来实现，则将程序记录在记录媒体上，并能够从计算机中读取出来，记录在记录媒体的程序由计算机来控制实行。

还有对各实施例，对图1的形状计测摄像机拍摄静止画时进行了说明，形状计测摄像机如果具有能够拍摄动态图像的部件，同样的本发明也是能够实现的。这种场合，如图11所示，必须有向被摄物体投射两种光图形连续的相互交替的投射光的部件。作为这样光源的实现方法，可以利用连续发光的闪光光源以下述方法完成：利用棒状透镜将半导体的激光光源进行线状整形，然后一边用电源反射镜进行扫瞄，一边调节激光的光强度。另外，拍摄的是动态图像的情况下，图像合成和表示以动画来完成。例如，在动画中将一图像进行了静止处理，则结果作为静止图像进行合成表示。

(图像处理服务的应用)

此外，各实施例，摄像、图像生成、图像合成及表示的功能由一个摄像机就能全部实现，摄像机也能单独地分别发挥以上的功能。换句话说，比如将各功能分散开来，根据在各功能间进行数据传送、收取，就能够获得同样的效果。按照这样的实施例，能够实现从来没有过的新式的图像处理辅助装置。

图14是关于本发明图像处理辅助装置的概念图。图14中，摄像部61设置有图1所示光源11a、11b，光源控制部12，摄像器13，快门按钮23及控制部30，辅助装置的利用者利用摄像部61对被摄物体摄像，摄像图像是含有三维空间位置信息和有可能生成三维空间位置信息的图像。利用者要指定摄像图像被处理成为所希望的图像处理形式(三维分离计算、CG数据计算等具体的处理方法)和所希望的图像处理后的形式(三维CG数据、三维立体图像数据等具体的输出数据内容)。同时利用网络连接部62a，依靠处理辅助装置服务器63进行图像处理，以此形式进行传送。

处理辅助装置服务器63的经营者，通过网络由网络连接部62b来受理图像处理申请。因此，利用者用摄像部61b获取的图像输据通过网络连接部62a传送来的摄像图像由距离图像生成部14及彩色图像生成部15生成距离图像和彩色图像。然后，由图像合成部31，考虑被摄物体的大小，实行指定形式的图像处理和能得到指定图像处理后形式的图像处理。从此图像处理结果获得的距离数据，通过网络再送给辅助装置利用者。利用者在显示部64确认送来的图像数据。

在此作为图像处理服务形式，正如上面所述的那样，标度图像的合成、多个图像的合成等必须考虑利用三维空间位置信息的各种各样的部件。此外，不仅从利用者传送来的图像数据与其它的图像数据组合能够合成，而且例如预先存储在处理辅助装置服务器63中的存储部的丰富的被摄物体的图像数据与利用者送来的图像数据也是可以合成的。

此时，作为处理辅助装置的使用费用，利用者应向服务器经营者付款。付款方法可以向服务器经营者的帐户转帐，也可以经由设立在利用者与服务器经营者之间的信用社来付款。

另外在此，可以经由网络来传送图像数据，也可以利用记录图像数据的记录媒体，将其邮送或在店面受理、提交。

(定货的应用)

此外，利用如图1所示形状计测摄像机，象本发明的实施例2说明的那样，利用合成满足所希望的尺寸那样的图像，能够利用商品的实际尺寸信息，实现定货商品的图像合成。

在此，以手表为例参照图15来加以说明。如图15所示，在网络上设置有各商品的三维构造信息、彩色图像信息、付款信息等被收纳的数据库的商品介绍服务器65的部件。

首先，利用者用形状计测摄像机1拍摄自己的手腕，其次借助网络在商品目录服务器65上选取信息，利用自动检索浏览商品目录，选择自己所希望的手表式样。然后，从商品目录服务器65处，将指定类型手表的含有三维空间位置信息的图像送给利用者，形状计测摄像机1的图像合成部31，同实施例2说明的那样，进行与实际尺寸相吻合的图像合成。此结果在显示面板21上表示出正巧是自己的手腕上佩戴着上述表的画面。

利用者可以看着显示面板21上的图像，判断自己手腕上表的式样、大小是否理想，满意的情况下借助网络，向接受定货服务器66进行商品购入申请。

更进一步，如果有此定货的商品，利用者可以由选择开关，挑选显示面板21上显示出的手表的大小，设定为自己喜欢的大小。然后，图像合成部31根据此时图像的扩大或缩小倍率，来决定定购手表的实际尺寸。将此实际尺寸信息一同向接受定货服务器66定货，就能够简单的实现商品定购。另外，此时不仅仅是手表整体的大小，就连文字盘、零件、表把等手表的各部件都能够独立地被扩大或缩小，作成自己喜欢满意的式样。或者，如果目录服务器65内装备有零件的三维构造的数据，利用者能够将多个零件进行组合，作成所希望式样的手表，并显示在显示面板上，指定构成零件和它的颜色、大小等就能够实现定货。对定货的费用能够利用信用卡、商品卷和在银行付款等现行的付讫方法进行付款。

再者，象上述的定货处理方法一样，手表以外的各种各样的商品也都能够进行商品定做。例如，定做桌子等家具时，利用者首先用形状计测摄像机1拍摄自己的房间，然后，经过网络在目录服务器65上选取信息，利用自动检索阅览商品目录选择所希望的家具。然后，图像合成部31如图6(e)所示，合成与实际尺寸相吻合的图像，显示在显示面板21上。利用者一边看显示面板21上的图像，一边操作开关自由地设定家具的位置和大小。于是，定购商品时，就要选择好家具的辨识型号，此时，图像的扩大或缩小倍率和家具的实际尺寸信息一起将传送到定货服务器66。

此外，根据上述说明，利用者可以自由设定商品的大小。另一方面，接受定货的一方可以准备多种类型大小不同的商品，利用者可以在这些类型大小不同的商品中选择自己所希望的。此时，接受定货的一方不是完全定做，而是限定大小、类型进行定货，这样能够降低商品开发的成本。

根据以上所述的发明，合成了表示实际尺寸的标度图像，并被表示出来，使用者看着表示出的图像，就能立即知道拍摄的被摄物体的实际大小。另外，多个图像都满足所希望的尺寸关系，例如也都与其实际尺寸相吻合被合成，并表示出来。所以，使用者能立即看到被摄物体放置在不同背景上的假想图像。

$P_2=P_1\·\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ l& m& n& 1\end{array}\right]$

        数1

$P_2=P_1\·\left[\begin{array}{cccc}\mathrm{kx}& 0& 0& 0\\ 0& \mathrm{ky}& 0& 0\\ 0& 0& \mathrm{kz}& 0\\ 0& 0& 0& 1\end{array}\right].$

        数2

$\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ -l& -m& -n& 1\end{array}\right]\left[\begin{array}{c}R\end{array}\right]\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ l& m& n& 1\end{array}\right]$

$R=\left[\begin{array}{cccc}{n}_x^2+(1-n_x^2)\cos \mathrm{\θ}& n_x{n}_y(1-\cos \mathrm{\θ})+n_z\sin \mathrm{\θ}& n_x{n}_x(1-\cos \mathrm{\θ})-n_y\sin \mathrm{\θ}& 0\\ n_x{n}_y(1-\cos \mathrm{\θ})-n_z\sin \mathrm{\θ}& n_y^2+(1-n_y^2)\cos \mathrm{\θ}& n_y{n}_z(1-\cos \mathrm{\θ})+n_x\sin \mathrm{\θ}& 0\\ n_x{n}_z(1-\cos \mathrm{\θ})+n_y\sin \mathrm{\θ}& n_y{n}_z(1-\cos \mathrm{\θ})-n_x\sin \mathrm{\θ}& n_z^2+(1-n_z^2)\cos \mathrm{\θ}& 0\\ 0& 0& 0& 1\end{array}\right]$

                      数3

Claims (10)

1.一种图像处理装置，具有显示图像的显示部，其特征在于，

包括图像合成部，其根据在所述各图像中所拍摄的被摄物体的三维空间位置信息，按照让对各图像分别指定的对位点在三维空间上成为相同位置那样，并且按照通过让焦点距离成为相同对各图像进行处理而在三维上满足所希望的尺寸关系那样，对多个图像进行合成；

所述显示部显示将所述多个图像合成后的图像。

2.根据权利要求1所述的图像处理装置，其特征在于，所述图像合成部，能够将与背景分离的被摄物体的图像与其它背景图像进行合成。

3.根据权利要求2所述的图像处理装置，其特征在于，所述图像合成部，是从图像上将由规定距离范围内位置的像素形成的图像，作为与背景分离的被摄物体的图像分离出。

4.根据权利要求1所述的图像处理装置，其特征在于，具有能够拍摄含有三维空间位置信息图像的摄像部，和由所述摄像部拍摄的图像，获取所述三维空间位置信息的距离图像生成部；

所述图像合成部是利用由所述距离图像生成部得到的三维空间位置信息进行图像合成。

5.根据权利要求4所述的图像处理装置，其特征在于，所述摄像部具有将有规定的辐射图形的投射光照射到被摄物体上的发光设备，根据拍摄来自投射到被摄物体的所述反射光，来得到含有三维空间位置信息的图像。

6.根据权利要求1所述的图像处理装置，其特征在于，包括具有自动聚焦装置或手动聚焦装置的摄像部；

所述图像合成部根据所述自动聚焦装置或手动聚焦装置获取的到被摄物体的距离数据，利用作为所述三维空间位置信息来进行图像合成。

7.根据权利要求1所述的图像处理装置，其特征在于，所述图像合成部至少可以将所述多个图像中的一个进行扩大、缩小或旋转。

8.根据权利要求1所述的图像处理装置，其特征在于，在进行图像合成时，各图像的相对位置可从外部设定或修正。

9.根据权利要求1所述的图像处理装置，其特征在于，所述图像合成部是利用透视变换、从各图像的三维坐标获得二维图像的装置；在所述透视变换中，进行让焦点距离成为相同那样的投影变换。

10.一种图像处理辅助装置所提供的方法，其特征在于，有以下步骤：第一步：从辅助装置利用者处取得包含有三维空间位置信息的图像和指定的所希望的图像处理形式；

第二步：从收取的图像得到拍摄有关图像的被摄物体的三维空间位置信息；

第三步：根据得到的三维空间位置信息，对所述收取的图像，按照让对各图像分别指定的对位点在三维空间上成为相同位置那样，并且按照通过让焦点距离成为相同对各图像进行处理而在三维上满足所希望的尺寸关系那样，进行图像处理；

第四步：将得到的图像处理结果的图像数据传送给辅助装置利用者。

Images