CN102246201B - 图像处理装置及图像处理方法 - Google Patents

Abstract

公开了能够不使处理量增大而生成用户易于辨认的平面地图的图像处理装置。平面地图生成装置(103)包括：图像获取单元(301)，获取拍摄物体所得的、并且可计算物体的三维坐标的图像；坐标获取单元(302)，从图像中提取存在于基准面上的第1物体的上表面，并获取提取出的上表面的特征点的坐标；以及第1平面地图生成单元(303)，利用获取到的坐标，调整上表面的大小和位置而生成第1平面地图，以使相当于在垂直于基准面方向上的坐标的值成为与基准面相同的值。

Description

图像处理装置及图像处理方法

技术领域

本发明涉及对拍摄了空间的情况所得的图像施加透视变换而生成平面地图（map）的图像处理装置及图像处理方法。

背景技术

以从上方观察了车辆周边的情况时的状态在显示器等画面上显示车辆周边的情况的技术已为人所知。作为这种图像处理技术，有将基于其他车辆的大小合成所得的模拟其他车辆的图像重叠显示在拍摄图像上的技术（例如，参照专利文献1）。

图1是表示专利文献1所公开的车辆用显示装置11的结构的图。在图1中，车辆用显示装置11包括照相机组12、距离传感器组13、图像处理装置14、显示器15、拍摄条件检测装置16以及障碍物位置检测装置17。

照相机组12是用于对本车辆的周围进行拍摄的装置。照相机组12包括安装于本车辆的车身周缘部的一个以上的照相机。距离传感器组13是用于检测存在于周边的障碍物的装置。距离传感器组13包括安装于本车辆的一个以上的传感器。

图像处理装置14通过预先存储于ROM（Read Only Memory：只读存储器）的各种程序而具有作为周围图像合成单元41、车辆检测单元42、模拟车辆扫描单元43以及图像合成单元44的功能。

周围图像合成单元41将通过照相机组12获得的多个周边图像数据分别透视变换为从本车辆上方的视点观察所得的俯视图像，并将这些图像合成为一张图像，从而生成车辆周围图像。车辆检测单元42利用距离传感器组13的障碍物的检测数据及车辆周围图像，检测存在于本车辆的周围的其他车辆。

模拟车辆扫描单元43配合检测出的车轮及车身而扫描从上方观察了由车辆检测单元42检测出的车辆时的模拟的图像（模拟车辆图像）。此外，模拟车辆扫描单元43利用的模拟车辆图像是注册于ROM等的数据库中的图像。图像合成单元44将车辆周围图像和模拟车辆图像进行合成，从而生成包括存在于本车辆的周边的其他车辆的周围图像。

显示器15基于周围图像的信号，显示本车辆周围的图像。

现有技术文献

专利文献

专利文献1：日本专利申请特开2007－134961号公报

发明内容

发明要解决的问题

然而，在上述的专利文献1所公开的技术中，在通过透视变换生成平面地图时，未登记于数据库的车辆（物体）以被透视变换后的变了形的状态显示于平面地图。由此，存在显示出对用户而言难以辨认的图像的问题。另外，还考虑到要逐步更新将物体的模拟图像注册的数据库，该更新作业需要庞大的处理量。

本发明的目的在于，提供不使处理量增大而生成用户易于辨认的平面地图的图像处理装置及图像处理方法。

解决问题的方案

本发明的图像处理装置所采用的结构包括：图像获取单元，获取拍摄物体所得的、可计算所述物体的三维坐标的图像；坐标获取单元，从所述图像中提取存在于所述图像中的三维空间内的基准面（在平面地图上用户希望作为基准的面）上的物体（第1物体）的上表面，并获取提取了的所述上表面的特征点的三维坐标；以及第1平面地图生成单元，利用获取到的所述坐标，调整所述上表面的大小和位置以保存所述上表面的相当于在平行于所述基准面方向上的坐标的值，并使所述上表面的相当于在垂直于所述基准面方向上的坐标的值成为与所述基准面相同的值，从而生成模拟表示从上方观察包含所述基准面和所述物体的空间时的状态的第1平面地图。

本发明的图像处理方法包括：图像获取步骤，获取拍摄物体所得的、可计算所述物体的三维坐标的图像；坐标获取步骤，从所述图像中提取存在于所述图像中的三维空间内的基准面上的第1物体的上表面，并获取所提取的所述上表面的特征点的三维坐标；以及第1平面地图生成步骤，利用获取到的所述坐标，调整所述上表面的大小和位置以保存所述上表面的相当于在平行于所述基准面方向上的坐标的值，并使所述上表面的相当于在垂直于所述基准面方向上的坐标的值成为与所述基准面相同的值，从而生成模拟表示从上方观察包含所述基准面和所述物体的空间时的状态的第1平面地图。

发明的效果

根据本发明，能够不使处理量增大而生成用户易于辨认的平面地图。

附图说明

图1是表示专利文献1公开的车辆用显示装置的结构的图。

图2是表示本发明的实施方式1的监视系统的图。

图3的（A）、（B）是表示本实施方式1的监视对象区域的外观及显示在显示器上时的情况的具体例的图。

图4是表示本实施方式1的图2所示的平面地图生成装置的内部结构的方框图。

图5是表示本实施方式1的图4所示的平面地图生成装置的处理步骤的流程图。

图6的（A）～（I）是表示本实施方式1的图4所示的平面地图生成装置的处理的情况的图。

图7是表示本实施方式1的特征点的提取图像的图。

图8的（A）～（C）是表示本实施方式1的后处理的情况的图。

图9是表示本实施方式1的在办公室中设置了多个照相机的情况的图。

图10的（A）～（C）是表示由本实施方式1的图4所示的平面地图生成装置生成的平面地图的图。

图11是表示本发明的实施方式1的另一平面地图生成装置的内部结构的方框图。

图12是表示在本实施方式1的平面地图上示出了表示人的活动的动作线路的情况的图。

图13是表示本发明的实施方式2的平面地图生成装置的内部结构的方框图。

图14是表示本发明的实施方式2的另一平面地图生成装置的内部结构的方框图。

标号说明

101 照相机组

102 网络

103、500、600、700平面地图生成装置

104 显示器

301 图像获取单元

302 坐标获取单元

303 第1平面地图生成单元

304 图像区域提取单元

305 第2平面地图生成单元

306 重叠处理单元

307 粘接单元

501 人物检测单元

502 动作线路显示单元

601 差分检测单元

602 差分判定单元

具体实施方式

以下，参照附图详细说明本发明的实施方式。但是，在实施方式中，对具有相同功能的部分附加相同的标号，并省略重复的说明。

(实施方式1)

图2是表示本发明的实施方式1的监视系统100的图。图2的监视系统100包括照相机组101、网络102、平面地图（Plane Map）生成装置103和显示器104。

照相机组101被设置用于拍摄车间或办公室等监视对象区域的空间。照相机组101由安装于监视对象区域内的固定的部位的一个以上的照相机构成。以下，对监视对象区域为办公室的情况进行说明。例如，照相机能够采用CCD照相机、CMOS照相机的立体照相机等。各照相机设置在顶棚或墙壁等上，以使整个办公室中的拍摄不到的死角部分变少。

网络102连接照相机组101和平面地图生成装置103。照相机组101拍摄到的图像经由网络102发送至平面地图生成装置103。

平面地图生成装置103根据获取到的图像生成平面地图，并输出到显示器104。平面地图生成装置103能够采用PC（个人计算机）等终端。另外，将在后面论述平面地图生成装置103的细节。

显示器104显示平面地图生成装置103所生成的平面地图。

图4是表示图2所示的平面地图生成装置103的内部结构的方框图。平面地图生成装置103包括：图像获取单元301、坐标获取单元302、第1平面地图生成单元303、图像区域提取单元304、第2平面地图生成单元305、重叠处理单元306以及粘接单元307。

图像获取单元301获取由网络102发送的照相机组101的图像。并且，图像获取单元301将获取到的图像输出到坐标获取单元302、第1平面地图生成单元303及图像区域提取单元304。这里获取到的图像是可计算三维坐标的图像。在本实施方式中，说明该图像为立体图像的情况。

坐标获取单元302进行两个处理。

作为第1个处理，坐标获取单元302首先对于从图像获取单元301输出的图像，施加透视变换（Perspective Transform）和平滑处理。接下来，坐标获取单元302提取成为对象的物体（第1物体）的上表面区域，并计算提取到的上表面区域中的各特征点（Features）的三维坐标。然后，坐标获取单元302将计算结果输出到第1平面地图生成单元303。更具体而言，坐标获取单元302通过利用了来自图像获取单元301的立体图像的三角测量，计算上表面的各特征点的三维坐标。

这里，以图3的（A）为具体例说明三维坐标轴。在以图3的（A）所示的A面为基准面时，在基准面上相交成直角的轴为x轴和y轴，基准面的向上的法线方向为z轴。此外，基准面是在平面地图生成过程中用户定义为基准的面，例如是地面。

作为第2个处理，坐标获取单元302首先从后述的图像区域提取单元304中获取第2物体的图像区域的各特征点。然后，坐标获取单元302计算获取到的各特征点的三维坐标，并将计算结果输出到第2平面地图生成单元305。坐标获取单元302利用与上表面区域的各特征点的计算同样的方法求区域的各特征点的三维坐标。

第1平面地图生成单元303从坐标获取单元302获取上表面区域中的各特征点的三维坐标。然后，第1平面地图生成单元303变换第1物体的图像区域的大小，使得获取到的三维坐标中的z坐标的值成为与基准面的z坐标的值相同的值。之后，第1平面地图生成单元303使变换后的区域移动到基准面上而生成第1平面地图，并将所生成的第1平面地图输出到重叠处理单元306。

图像区域提取单元304以从坐标获取单元302获取到的各第1物体的区域的坐标为基础，提取位于第1物体上的物体（以下称为第2物体）的图像中的区域。图像区域提取单元304将提取出的区域分别输出到第2平面地图生成单元305和坐标获取单元302。

第2平面地图生成单元305获取对从坐标获取单元302输出的第2物体的图像区域的各特征点的三维坐标和从图像区域提取单元304输出的图像区域。第2平面地图生成单元305变换从图像区域提取单元304获取到的图像区域的大小，以使从坐标获取单元302获取到的三维坐标中的z坐标的值成为与基准面的z坐标的值相同的值。之后，第2平面地图生成单元305使变换后的区域移动到基准面上而生成第2平面地图，并将生成了的第2平面地图输出到重叠处理单元306。

重叠处理单元306获取从第1平面地图生成单元303输出的第1平面地图和从第2平面地图生成单元305输出的第2平面地图。然后，重叠处理单元306使获取到的第1平面地图和第2平面地图重合，生成第3平面地图，并将生成了的第3平面地图输出到粘接单元307。

粘接单元307获取以设置于办公室内的不同部位的多个照相机拍摄的图像为基础而生成的多个第3平面地图。然后，粘接单元307将获取到的多个第3平面地图粘接起来，生成表示整个室内的第4平面地图，并将所生成的第4平面地图输出到显示器104。

对于粘接多个平面地图时的重叠区域，粘接单元307优先采用根据距重叠区域最近的照相机拍摄所得的立体图像而生成的平面地图的图像。

接着，详细地说明图4所示的平面地图生成装置103的动作。

平面地图生成装置103例如对图3的（A）所示的办公室空间生成图3的（B）所示的平面地图。平面地图是模拟地显示从上方观察了办公室空间时的状态的图像。本实施方式的平面地图生成装置103以地面为基准面，并且分别用不同的方法对位于基准面上的第1物体和置于第1物体上的第2物体进行处理。第1物体例如是图3的（A）的桌子、侧架、橱柜等的不同高度的物体。另外，第2物体例如是图3的（A）的个人用小型计算机、书、笔记本等。由第1平面地图生成单元303进行对第1物体的处理。由第2平面地图生成单元305进行对第2物体的处理。

利用图5、图6和图7并着眼于存在于如图3的（A）的办公室空间的一个物体，对平面地图生成装置103的主要功能的处理步骤进行说明。

在步骤S401中，坐标获取单元302对于图像获取单元301获取到的图像，施加透视变换。所谓的透视变换，是从任意的视点观察设置于三维空间内的三维物体并投影到二维平面的变换的处理。本实施方式的透视变换将二维平面作为用户任意设定的基准面（例如地面等）进行变换处理。在该变换处理时不考虑物体的高度，因此若对图6的（A）所示的拍摄所得的图像直接施加透视变换，则成为如图6的（B）所示的状态，显示器等有高度的物体的形状变形。

透视变换处理例如利用式（1）所示的透视变换矩阵进行向基准面的变换。透视变换矩阵是三行三列的矩阵P。（x，y）是设定于监视区域的空间坐标的值，（x’，y’）是上述二维平面上的坐标的值，w是表示根据视点而不同的图像的远近感的变量。

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ w^{\′}\end{array}\right]=\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& i\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\end{array}\right]\·\·\·\left(1\right)$

$=P\left[\begin{array}{c}x\\ y\\ z\end{array}\right]$

$w=\left\{\begin{array}{ccc}{w}^{\′}& \mathrm{where}& w^{\′}\≠0\\ \∞& \mathrm{otherwise}& \end{array}\right.$

在步骤S402中，坐标获取单元302进行平滑处理。平滑处理例如是对于图像整体，除去噪点（noise）等小的图像成分而制成平滑的图像的处理。本实施方式的平滑处理是除去在图像中所占的面积小的物体的图像的处理。接下来，坐标获取单元302提取第1物体的区域。本实施方式的区域提取处理是指，如图6的（C）所示那样，求存在于三维空间上的基准面上的例如桌子等第1物体在图像上的区域的处理。以下，将该区域称为“第1物体的图像区域”。例如，坐标获取单元302利用颜色信息进行该区域提取。具体而言，例如，坐标获取单元302基于颜色的浓淡变化剧烈的部分，提取第1物体的图像区域。此外，坐标获取单元302也可以利用HSV色系、RGB色系，基于颜色变化剧烈的部分，提取第1物体的图像区域。此外，所谓的HSV色系，是指由色调（Hue）、饱和度（Saturation）、亮度（Brightness·Value）的三种成分构成的颜色空间。以后的处理被重复执行相当于在步骤S402中获得的第1物体的图像区域的数目的次数。在图10中，重复进行相当于作为第1物体的桌子、侧架、橱柜的数目的次数。

在步骤S403中，判断坐标获取单元302是否进行了相当于在步骤S402中获得的第1物体的数目的次数的、以下作为步骤S404～S410而说明的处理。在未完毕时，转移到步骤S404，在已完毕时，结束处理。

在步骤S404中，坐标获取单元302对于第1物体的图像区域进行物体的上表面部分的提取。施加了本实施方式的上表面提取处理的结果，如图6的（D）所示。

在上表面提取中，首先，在坐标获取单元302中，对于提取到的第1物体的图像区域，利用立体图像求特征点，并计算各特征点的三维坐标。这里，特征点设为在立体图像中、在各个图像中与周边像素的浓淡变化剧烈等具有特定的变化的点。坐标获取单元302利用立体图像中的xy坐标值来保存特征点。

图7表示特征点的提取图像。图中的四边形的标记（mark）表示特征点的例子。

接着，坐标获取单元302从图像中的存在于同一第1物体的图像区域内的特征点中提取多个特征点，该多个特征点具有相同高度且由这些点包围的区域的颜色信息相同。然后，坐标获取单元302将由提取到的多个特征点所包围的区域提取为第1物体的上表面区域。最后，坐标获取单元302将第1物体的图像区域分割为上表面区域和上表面区域以外的区域。图6的（D）的由特征点t1（tx1，ty1）、t2（tx2，ty2）、t3（tx3，ty3）、t4（tx4，ty4）包围的、用斜线表示的区域是上表面区域的例子。

由于上表面区域被定义为由图像中的特征点所包围的区域，因此其形状根据特征点的数目而变化。例如，若特征点为四个点，则上表面区域为四边形，若特征点为五个点，则上表面区域为五边形。

此时，如图6的（D）所示，所提取到的上表面区域（t1-t4）是相对于基准面对于第1物体的上表面的图像进行透视变换的结果。因此，变换后的上表面区域与本来应当有的大小相比，发生了相当于桌面相对基准面的高度的差异。

于是，在步骤S405中，第1平面地图生成单元303使上表面区域移动，以使在步骤S404中求得的三维坐标中的z坐标的值成为与基准面的z坐标的值相同的值。也就是说，第1平面地图生成单元303使上表面区域移动到基准面上。此时，第1平面地图生成单元303将区域的大小缩小或放大，以使区域与实际的大小相等（参照图6的（E））。以下，将施加了步骤S405的处理的第1物体的图像称为“第1物体的变换后区域”。

在步骤S406中，图像区域提取单元304从在步骤S404中提取到的图像中提取存在于第1物体的上表面区域的个人用小型计算机、书、笔记本等第2物体（参照图6的（F））的图像区域。以下，将该区域称为“第2物体的图像区域”。第2物体的图像区域的提取例如通过以下处理来进行：这里也在与第1物体的上表面区域相当的图像中进行利用了浓淡信息的区域提取，并分离相当于第2物体的图像区域（参照图6的（G））。该处理被重复执行相当于图像中的第1物体的图像中的区域的数目的次数。接着，图像区域提取单元304将提取到的各第2物体的图像区域的坐标输出到坐标获取单元302。

在步骤S407中，坐标获取单元302分别计算在步骤S406中提取到的第2物体的图像区域的三维坐标。

这里，图6的（G）所示的图像中的代表点o1（ox1，oy1）、o2（ox2，oy2）等所在的第2物体的图像区域的位置与上表面区域相差相当于第2物体所在的桌子的高度。另外，由于其高度与基准面不同，所以第2物体的图像区域的大小也不同。此外，这与图6的（D）所示的第1平面地图生成单元303是同样的。

因此，在步骤S408中，第2平面地图生成单元305使在步骤S407中获取到的三维坐标中的z坐标的值成为与基准面的z坐标的值相同的值。具体而言，第2平面地图生成单元305调节在图像中的区域的大小，并使第2物体的图像区域保持提取到的图像的原样（也就是说以相同的形状）地移动。例如，区域的代表点o1（ox1，oy1）向O1（Ox1，Oy1）移动，o2（ox2，oy2）向O2（Ox2，Oy2）移动（参照图6（H））。以下，将施加了步骤S408的处理的第2物体的图像称为“第2物体的变换后区域”。

这样，平面地图生成装置103对于第1物体，在对于输入图像施加了透视变换之后，获取物体的上表面区域并变换为三维坐标中的适当的位置和区域大小。另一方面，平面地图生成装置103对于第2物体，保持输入图像的原样地进行位置和区域大小的变换。平面地图生成装置103通过这样因第1物体和第2物体而进行不同的处理，能够生成将显示器那样具有高度的第2物体不发生变形地显示的平面地图。此外，也可以对第2物体进行与对第1物体的处理同样的处理，变换为从上方观察了第2物体时的状态。

在步骤S409中，第1平面地图生成单元303对于第1物体的上表面区域以外的区域等相对于照相机成为死角的区域（以下总称为“死角区域”），进行利用颜色信息填充的处理来作为后处理。死角区域相当于第1物体的侧面区域、由第1物体产生的遮挡（Occlusion）区域、在施加步骤S405的处理之前的上表面区域等。这里，图8的（A）示出了将拍摄所得的图像进行了透视变换的结果。另外，图8的（B）是对于图8的（A）所示的透视变换结果施加了步骤S402至步骤S408的处理所得的结果。也就是说，图8的（B）是将提取到的第1物体的上表面区域变更到三维坐标的适当的位置和大小的结果。图8的（C）是重叠图8的（A）中的死角区域和图8的（B）所得的图。用黑色显示了相当于死角区域的部分。在显示在平面地图上时，为了与其他的区域相区别，第1平面地图生成单元303也可以用办公室内不存在的颜色来填充死角区域（参照图8的（C））。另外，第1平面地图生成单元303也可以利用周围的颜色（例如，作为基准面的地板的浓淡信息）来填充死角区域。

在步骤S410中，重叠处理单元306进行将在步骤S405中获得的第1物体的变换后区域和在步骤S408中获得的第2物体的变换后区域，重叠在平面地图上的处理（参照图6的（I））。另外，重叠处理单元306还进行将在步骤S409中获得的死角区域（进行了填充的死角区域），重叠在平面地图上的处理。重叠处理的步骤如下。首先，重叠处理单元306配置作为第1平面地图的第1物体的区域，并合成作为第2平面地图的第2物体的区域。然后，重叠处理单元306将对在步骤S409中获得的死角区域中的未被第1物体和第2物体的变换后区域覆盖的区域，以规定的颜色填充。此外，重叠处理单元306也可以在步骤S410中对死角区域提取，以从其他照相机获得的信息进行补充，从而将第1物体的侧面部分、遮挡部分等利用周围区域的图像信息填充。

平面地图生成装置103在步骤S410的处理之后，转移到步骤S403。

图9是表示在办公室内配置了多个照相机的情况的图。如该图所示，在办公室中，将多台照相机设置在适当的位置，以减少未被拍摄的死角部分。图10的（A）是从照相机获取的照相机图像（示意图）。图10的（B）是对图10的（A）的图像施加了透视变换后的平面地图，图10的（C）是将图10的（A）的图像通过平面地图生成装置103进行了处理所得的平面地图。

图10的（B）是物体未保持原来的形状而发生严重变形，从而非常难以辨认的平面地图。与此相对，图10的（C）中，显示了易于辨认的平面地图。

这样，实施方式1的监视系统100将存在于基准面的第1物体的图像区域和存在于第1物体的上部的第2物体的图像区域分离。然后，监视系统100将第1物体的上表面区域和第2物体的图像区域分别进行大小和位置的调整后进行合成显示。由此，在实施方式1中，能够生成物体的变形少的平面地图，能够提高用户的可辨认性。因此，通过利用实施方式1的监视系统100，能够容易地掌握车间、办公室等监视对象区域的空间的整体情况。

此外，本实施方式的平面地图生成装置也可以采用上述结构以外的结构。

图11是表示实施方式1的另一平面地图生成装置500的内部结构的方框图。在图11中，人物检测单元501从图像获取单元301获取图像，并从获取到的图像中利用人物的特征来检测人物。检测结果被输出到动作线路显示单元502。另外，动作线路显示单元502基于从人物检测单元501输出的检测结果，分析人物移动的轨迹。然后，动作线路显示单元502将分析出的轨迹作为人物的动作线路填入到平面地图中，并显示在显示器104上。

由此，实施方式1的另一平面地图生成装置500能够在平面地图上显示表示人的活动的动作线路，使对监视对象区域整体的物体的位置关系的掌握变得容易。另外，根据另一平面地图生成装置500，能够容易地在显示器104上确认在室内移动的人物、人物的移动与物体之间的关联性。例如，如图12所示，在办公室等中，在从入口进入的人物经由某特定的位置到达各人的座位时，根据该动作线路能够判断人的行动。也就是说，通过利用另一平面地图生成装置500，能够分析平面地图上的物体与人物的活动之间的关系。由此，通过另一平面地图生成装置500，能够与物体关联对应地观察人的活动，进而，能够确定该物体是什么。例如，当作为与人物关联的物体而分析了在该位置A处存在在岗管理板时，能够将“A处有在岗管理板”等信息显示在平面地图上的端部等上。

此外，平面地图生成装置通过以固定时间间隔执行平面地图生成的处理，即使在监视对象区域中移动了桌子、备品等时，也能够显示接近最新的状态。在监视对象区域内的情况未变化时，平面地图生成装置也可以仅在设置时执行处理（也可以在变化之前不执行处理）。

另外，在本实施方式中，说明了将照相机组作为立体照相机，但也可以是两台以上的多台照相机。

另外，在本实施方式中，在坐标的计算中利用了立体图像的立体匹配，但也可以利用测距传感器等。

另外，生成了的平面地图上的死角区域的填充颜色，也可以以与黑色相对应的值等统一了颜色信息的值进行设定。

另外，作为存在于基准面上的第1物体的上表面提取方法，本实施方式的监视装置100求图像中的特征点，计算该特征点的三维坐标。接着，在这些特征点具有相同高度且由这些特征点包围了的区域内的颜色相同时，监视装置100将这些特征点包围了的区域提取为上表面区域。但是，对于高度的条件而言，也可以是无需特征点的高度完全一致而大体相同。另外，颜色的条件也可以是区域内的颜色相似。另外，获取上表面区域的条件也可以是高度条件和颜色条件中的任一种条件成立。

另外，在粘接多个平面地图时，粘接单元307也可以根据周围区域的图像信息、基准面的图像信息而填补不存在重叠区域的部分。

(实施方式2)

图13是表示本发明的实施方式2的平面地图生成装置600的内部结构的方框图。图13与图4的不同之处在于，追加了差分检测单元601和差分判定单元602。差分检测单元601保持从粘接单元307输出的平面地图，并检测上次输出的平面地图和本次输出的平面地图之间的差分。并且，差分检测单元601在检测到差分时，将表示差分的内容的差分信息输出到差分判定单元602。

差分判定单元602将存在于办公室内的物体预先注册，并判定相当于从差分检测单元601输出的差分信息的物体是否被注册。并且，差分判定单元602在该物体被注册时，判定为存在于办公室内的物体丢失，通过发出警报等将该内容显示在显示器104上。

此外，作为发出警报的方法，平面地图生成装置600可以通过颜色或字符等在平面地图上通知，也可以在显示器104之外配置警告用灯并使灯闪烁。另外，平面地图生成装置600也可以与这些警报一起或取代这些警报，而直接联络办公室管理部门等。

这样，实施方式2的平面地图生成装置600检测上次输出的平面地图和本次输出的平面地图之间的差分，并判定相当于差分信息的物体是否被注册。由此，平面地图生成装置600能够进行存在于办公室内的物体的状况管理。

此外，本实施方式的平面地图生成装置也可以采用上述结构以外的结构。

图14是表示实施方式2的另一平面地图生成装置700的内部结构的方框图。在图14中，人物检测单元501从图像获取单元301获取图像，并根据获取到的图像提取人物的特征来检测人物。检测结果被输出到动作线路显示单元502。动作线路显示单元502基于从人物检测单元501输出的检测结果，分析人物移动了的轨迹。然后，动作线路显示单元502将分析出的轨迹作为人物的动作线路填入到平面地图上，并显示在显示器104上。

由此，实施方式2的另一平面地图生成装置700能够在平面地图上显示表示人的活动的动作线路。进而，当在室内物体丢失了时，另一平面地图生成装置700能够掌握何时、谁使物体丢失了等人和物体之间的关系，能够确定物体丢失的原因。

2008年12月12日提交的日本专利申请第2008-317378号所包含的说明书、说明书附图以及说明书摘要的公开内容，全部引用于本申请。

工业实用性

本发明的图像处理装置及图像处理方法能够适用于保密管理系统、安全管理系统等。

Claims (11)

1.图像处理装置，包括：

图像获取单元，获取拍摄物体所得的、并可计算所述物体的三维坐标的图像；

坐标获取单元，从所述图像中提取存在于基准面上的第1物体的上表面，并获取提取了的所述上表面的特征点的坐标；以及

第1平面地图生成单元，利用获取到的所述坐标，调整所述上表面的大小和位置以保存所述上表面的相当于在平行于所述基准面方向上的坐标的值，并使所述上表面的相当于在垂直于所述基准面方向上的坐标的值成为与所述基准面相同的值，从而生成模拟表示从上方观察包含所述基准面和所述物体的空间时的状态的第1平面地图。

2.如权利要求1所述的图像处理装置，还包括：

图像区域提取单元，从所述图像中提取与存在于所述第1物体上的第2物体的位置相对应的图像区域；

第2平面地图生成单元，获取所述图像区域的代表点的坐标，利用获取到的所述代表点的坐标，调整所述图像区域的大小和位置以使相当于在垂直于所述基准面方向上的坐标的值成为与基准面相同的值，从而生成第2平面地图；以及

重叠单元，将所述第1平面地图和所述第2平面地图重叠而生成第3平面地图。

3.如权利要求2所述的图像处理装置，还包括：

粘接单元，粘接由在多个不同的位置拍摄所得的图像生成了的多个所述第3平面地图。

4.如权利要求2所述的图像处理装置，

所述重叠单元在将所述第1平面地图和所述第2平面地图重叠时，根据周围区域的图像信息来填补不存在重叠区域的部分。

5.如权利要求2所述的图像处理装置，

所述重叠单元在将所述第1平面地图和所述第2平面地图重叠时，根据基准面的图像信息，填补不存在重叠区域的部分。

6.如权利要求3所述的图像处理装置，

所述粘接单元在粘接多个所述第3平面地图时，在存在重叠区域的部分，优选粘接距照相机的距离近的所述第3平面地图。

7.如权利要求3所述的图像处理装置，

所述粘接单元在粘接多个所述第3平面地图时，根据周围区域的图像信息，填补不存在重叠区域的部分。

8.如权利要求3所述的图像处理装置，

所述粘接单元在粘接多个所述第3平面地图时，根据基准面的图像信息，填补不存在重叠区域的部分。

9.如权利要求2所述的图像处理装置，还包括：

差分检测单元，检测上次生成的所述第3平面地图和本次生成的所述第3平面地图之间的差分。

10.如权利要求2所述的图像处理装置，还包括：

人物检测单元，检测人物；以及

动作线路显示单元，在所述第3平面地图上以动作线路显示所检测到的所述人物移动的轨迹。

11.图像处理方法，包括：

图像获取步骤，获取拍摄物体所得的、并可计算所述物体的三维坐标的图像；

坐标获取步骤，从所述图像中提取存在于基准面上的第1物体的上表面，并获取提取出的所述上表面的特征点的坐标；以及

第1平面地图生成步骤，利用获取到的所述坐标，调整所述上表面的大小和位置以保存所述上表面的相当于在平行于所述基准面方向上的坐标的值，并使所述上表面的相当于在垂直于所述基准面方向上的坐标的值成为与所述基准面相同的值，从而生成模拟表示从上方观察包含所述基准面和所述物体的空间时的状态的第1平面地图。

Images