CN109155055B - 关注区域图像生成装置 - Google Patents

Abstract

从俯瞰图像、摄像机参数以及包含俯瞰图像中的物体的高度信息的空间位置信息中将俯瞰图像中的关注区域作为从其他视点观察到的关注区域图像取出的关注区域图像生成装置(13)由如下部分构成：视点位置导出部(131)，导出上述视点的位置；关注区域导出部(132)，导出上述俯瞰图像中的上述关注区域；变换式导出部(133)，根据上述视点位置和关注区域来导出变换视点的位置的变换式；关注图像区域导出部(134)，导出上述俯瞰图像中的与上述关注区域对应的图像区域；以及关注区域图像变换部(135)，基于上述变换式、上述关注图像区域来生成上述关注区域图像。

Description

关注区域图像生成装置

技术领域

本发明的一个方案涉及一种将在俯瞰图像映出的空间中应关注的区域作为从现实或者虚拟的视点观察到的图像取出的关注区域图像生成装置。

背景技术

近年，使用被称为全向摄像机的、装接有广角镜头的摄像机来拍摄并有效利用宽范围的空间作为广角图像的机会正在增加。特别是在天花板等拍摄对象空间的上方设置全向摄像机而拍摄的广角图像也被称为俯瞰图像。存在一种技术，其从俯瞰图像中提取出图像内的人物所关注的区域(关注区域)的图像，并变换为从用户的眼睛观察到的图像。

在专利文献1中，记载有如下技术：根据在用户的正面设置的摄像机的图像估计用户的眼睛的位置，基于放置于摄像机附近的显示器的显示面与用户的眼睛的相对位置来设定投影变换矩阵，对显示图像进行渲染。

此外，在专利文献2中，记载有如下技术：以低分辨率传送全方位图像或圆筒型的全景图像，关于用户所关注的部位，通过从高画质的上述图像剪切出并传送来抑制频带。

此外，为了估计关注区域并变换为从用户的眼睛观察到的图像，需要检测用户的视线，通常利用眼动跟踪装置。例如，存在眼镜型的眼动跟踪装置、面对面设置的摄像机型眼动跟踪装置。

现有技术文献

专利文献

专利文献1：日本公开专利公报“特开2015-8394号公报”

专利文献2：日本公开专利公报“特愿2014-221645号公报”

发明内容

发明要解决的问题

但是，在由眼镜型眼动跟踪装置进行的视线检测中，装置成本和由佩戴眼镜给人带来的负担成为问题。此外，在面对面设置的摄像机型眼动跟踪装置的情况下，同样存在装置成本的问题，除此之外，在眼睛未映出至面对面设置摄像机的情况下无法进行视线检测，因此可视线检测的范围被限定在拍摄装置前方附近成为问题。

本发明的一个方案是鉴于上述情况而完成的，其目的在于，从俯瞰图像中取出从图像中的人物的眼睛观察到的图像，而不必使用眼动跟踪装置。

技术方案

为了解决上述的问题，本发明的一个方案的关注区域图像生成装置是从一个以上俯瞰图像中将在该俯瞰图像中被关注的区域即关注区域作为从其他视点观察到的关注区域图像取出的图像生成装置，所述图像生成装置具备：视点位置导出部，至少基于所述俯瞰图像、与拍摄所述俯瞰图像的光学设备有关的参数以及表示所述俯瞰图像中的物体的空间位置的空间位置信息，来导出视点位置；关注区域导出部，至少基于所述俯瞰图像、所述参数以及所述空间位置信息，来导出所述关注区域；变换式导出部，至少基于所述视点位置以及所述关注区域，来导出将与所述关注区域对应的所述俯瞰图像中的第一图像变换为从所述视点位置观察到的图像的变换式；关注图像区域导出部，至少基于所述俯瞰图像、所述参数以及所述关注区域，来导出与所述关注区域对应的所述俯瞰图像中的区域即关注图像区域；以及关注区域图像变换部，至少基于所述变换式、所述俯瞰图像以及所述关注图像区域，从所述俯瞰图像中取出与所述关注图像区域对应的像素并变换为所述关注区域图像。

此外，其特征在于，所述空间位置信息包含与所述俯瞰图像中的人物有关的高度信息，所述视点位置导出部至少基于与所述人物有关的高度信息和所述俯瞰图像，来导出所述视点位置。

此外，其特征在于，所述空间位置信息包含与所述俯瞰图像中的被关注的对象有关的高度信息，所述关注区域导出部至少基于与所述对象有关的高度信息和所述俯瞰图像，来导出所述关注区域。

此外，其特征在于，所述对象是人物的手。

此外，其特征在于，所述对象是人物所操纵的设备。

有益效果

有关本发明的一个方案的上述或者其他目的、特性以及优点通过结合所附的附图并考虑有关本发明的一个方案的以下详细说明，而更容易理解。

附图说明

图1是表示本发明的实施方式的关注区域图像生成装置所包含的关注区域图像生成部的构成例的框图。

图2是表示该实施方式的拍摄方式的一个示例的图。

图3是表示该关注区域图像生成装置的构成例的框图。

图4是用于对该关注区域图像生成装置所包含的视点位置导出部的动作进行说明的概略图。

图5是用于对该关注区域图像生成装置所包含的视点位置导出部的动作进行说明的影像图。

图6是用于对该关注区域图像生成装置所包含的关注区域导出部的动作进行说明的影像图。

图7是用于对该关注区域图像生成装置所包含的关注图像区域导出部的动作进行说明的影像图。

具体实施方式

在进行各构成要素的说明之前，对本实施方式中假定的拍摄方式的一个示例进行说明。图2是表示本实施方式中假定的拍摄方式的一个示例的图。图2只是一个示例，本实施方式并不限于该拍摄方式。如图2所示，在本实施方式中，假定一种如下拍摄方式：使用固定于进行某些作业的场所的光学设备例如摄像机来俯瞰地拍摄作业情况。以下，将俯瞰地拍摄作业情况的摄像机设为俯瞰摄像机。其中，在俯瞰摄像机的图像，映出有进行作业的人物(对象人物)和该人物所关注的物体(对象物)。此外，能检测俯瞰摄像机的图像中存在的物体的高度信息。关于高度信息在后文进行叙述。例如，如图2所示，能检测对象人物的头部的高度zh和对象物的高度zo1、zo2的高度信息。例如以俯瞰摄像机的位置为基准来检测高度。此外，在图2中由双重虚线包围的区域表示关注区域。关于关注区域在后文进行叙述。

本实施方式中假定的某些作业只要能通过俯瞰摄像机拍摄对象人物和对象物，并能获取各自的高度信息，则可以是任何作业。例如为烹饪、医疗处理、产品的组装作业。

(关注区域图像生成装置1)

图3是表示关注区域图像生成装置1的构成例的框图。如图3所示，关注区域图像生成装置1概略地说是基于俯瞰图像、拍摄俯瞰图像的光学设备的参数以及空间位置信息来生成并输出关注区域图像的装置。需要说明的是，在以下的说明中，作为拍摄俯瞰图像的光学设备以摄像机为例进行说明。此外，将光学设备参数也称为摄像机参数。在此，关注区域图像是指，从现实或者虚拟的视点观察到在俯瞰图像映出的空间(拍摄对象空间)中应关注的区域(关注区域)时的图像。关注区域图像的生成可以与俯瞰图像的拍摄并行地实时进行，也可以在俯瞰图像的拍摄结束后进行。

使用图3对关注区域图像生成装置1的构成进行说明。如图3所示，关注区域图像生成装置1具备图像获取部11、空间位置信息获取部12、关注区域图像生成部13。

图像获取部11访问外部的图像源(例如设置于天花板的全向俯瞰摄像机)，并作为俯瞰图像提供给关注区域图像生成部13。此外，图像获取部11获取拍摄上述俯瞰图像的俯瞰摄像机的摄像机参数并提供给关注区域图像生成部13。需要说明的是，在本实施方式中，为了便于说明，俯瞰图像假定为一个，但也可以使用两个以上俯瞰图像、俯瞰图像与其他图像的组合。

以下，假定在俯瞰图像中至少映出有人物(对象人物)和后述的关注物。需要说明的是，对象人物和关注物不必一定映出在一个俯瞰图像内，也可以跨越多个俯瞰图像映出。例如，在某一俯瞰图像中映出有对象人物、在另一图像中映出有关注物的情况下，也可以通过获取双方图像来满足上述条件。但是，在该情况下，需要知道拍摄各个俯瞰图像的拍摄装置的相对位置。

需要说明的是，俯瞰图像不一定是由俯瞰摄像机拍摄的图像本身，也可以是通过基于镜头特性信息施加校正以便抑制俯瞰图像的失真而得到的校正图像。在此，镜头特性是指，表示装配于拍摄俯瞰图像的摄像机的镜头的镜头失真特性的信息。镜头特性信息可以是对应的镜头的已知的失真特性，也可以是通过校准得到的失真特性，还可以是通过对俯瞰图像进行图像处理等而得到的失真特性。需要说明的是，上述镜头失真特性中不仅可以包含桶形失真、枕形失真，还可以包含由鱼眼镜头等特殊镜头引起的失真。

摄像机参数是指，表示拍摄由图像获取部获取到的俯瞰图像的俯瞰摄像机的特性的信息。摄像机参数例如是指，前述的镜头特性、摄像机位置和朝向、摄像机分辨率、像素间距。此外，摄像机参数包含像素角度信息。在此，像素角度信息是指，表示对于将俯瞰图像分割成适当大小的区域，以拍摄俯瞰图像的摄像机为原点时，该区域位于哪个方向的三维角度的信息。需要说明的是，上述俯瞰图像内的分割成适当大小的区域例如是指，构成上述俯瞰图像的像素的集合。可以将单个像素作为一个区域，也可以将多个像素合在一起作为一个区域。像素角度信息根据所输入的俯瞰图像和镜头特性来计算。如果装配于俯瞰摄像机的镜头不变，则由该摄像机拍摄的图像的每个像素存在对应的方向。虽然根据镜头、摄像机而性质不同，但例如位于拍摄到的图像的中心的像素与俯瞰摄像机的镜头的铅垂方向对应。根据镜头特性信息，对俯瞰图像内的每个像素计算表示对应的方向的三维角度，并设为像素角度信息。在以下的说明中，对使用了上述的俯瞰图像、像素角度信息的处理进行了说明，但俯瞰图像的校正、像素角度信息的导出可以首先执行并提供给关注区域图像生成部13，或者也可以根据需要由关注区域图像生成部13的各构成要素执行。

空间位置检测部12获取一个以上映出于俯瞰图像的物体(对象物)的在拍摄对象空间内的空间位置信息，并提供给关注区域图像生成部13。对象物的空间位置信息中至少包含对象物的高度信息。高度信息是指，表示在拍摄对象空间内的对象物的高度方向的位置的坐标信息。该坐标信息例如可以是以拍摄俯瞰图像的摄像机为基准的相对坐标。

对象物中至少包含对象人物的头部以及对象人物的双手。在此，由于对象人物的双手用于确定关注区域，因此也称为关注物。获取空间位置信息的手段例如可以是在对象物安装发射器，并测定与在地面的垂直方向排列的接收器的距离的方法，也可以是通过装配于对象物的周围的红外线传感器求出对象物的位置的方法。此外，也可以将通过对由多个摄像机拍摄的图像应用立体匹配处理而导出的深度图作为空间位置信息。在该情况下，由上述多个摄像机拍摄的图像中可以包含前述的俯瞰图像。上述空间位置信息在后述的关注区域图像生成部13所包含的视点位置导出部131和关注区域导出部132中，至少用于估计在拍摄对象空间内的对象人物的头部的位置以及关注物的位置。

关注区域图像生成部13基于所输入的俯瞰图像、摄像机参数以及各对象物的空间位置信息，生成并输出所输入的俯瞰图像中的从对象人物的视点观察到的关注区域的图像。以下，对关注区域图像生成部13的详情进行说明。

(关注区域图像生成部13的构成)

对关注区域图像生成装置1所包含的关注区域图像生成部13进行说明。关注区域图像生成部13根据所输入的俯瞰图像、摄像机参数以及空间位置信息，生成并输出关注区域图像。

使用图1，对关注区域图像生成部13的构成进行说明。图1是表示关注区域图像生成部13的构成例的功能框图。如图1所示，关注区域图像生成部13具备视点位置导出部131、关注区域导出部132、变换式导出部133、关注图像区域导出部134、关注区域图像变换部135。

[视点位置导出部131]

视点位置导出部131根据所输入的俯瞰图像和空间位置信息估计视点位置，并提供给变换式导出部133。在此，视点位置例如是指，表示对象人物的眼睛的空间位置的信息。用于表达视点位置的坐标系例如是以拍摄俯瞰图像的俯瞰摄像机为基准的相对坐标。需要说明的是，如果知道对象人物的眼睛与俯瞰摄像机之间的空间位置关系，则也可以是其他坐标系。对于每个对象人物，估计一个以上视点位置。例如，可以将双眼的位置分别作为单独的视点位置，也可以将双眼中间的位置作为视点位置。

对视点位置导出部131中的视点位置的估计过程进行说明。首先，在视点位置导出部131中，根据所输入的俯瞰图像，至少检测相当于对象人物的头部的图像区域。头部的检测例如通过检测人的头部的特征(例如，耳朵、鼻子、嘴、脸的轮廓)来进行。此外，例如在对象人物的头部装配有相对于头部的相对位置已知的标记等的情况下，也可以检测该标记并由此检测头部。由此，检测俯瞰图像内的与头部对应的图像区域。

接着，至少估计头部的空间位置和姿势。具体而言是以下过程。首先，根据俯瞰图像所附带的像素角度信息，对与头部对应的图像区域取出该区域所对应的像素角度信息。接着，根据所输入的空间位置信息所包含的表示头部的高度的信息和上述像素角度信息，计算与头部对应的图像区域的三维位置。

使用图4，对根据俯瞰图像中的与头部对应的图像区域和与该图像区域对应的像素角度信息来得到该图像区域的三维位置的方法进行说明。图4是表示根据俯瞰图像中的像素和该像素的角度信息计算像素所对应的三维位置的手段的概略的图。图4是从水平方向观察使用朝向垂直方向的俯瞰摄像机拍摄俯瞰图像的状况的图。位于俯瞰摄像机的拍摄范围的平面显示俯瞰图像，俯瞰图像由多个俯瞰图像像素构成。在此，为了便于说明，俯瞰图像所包含的俯瞰图像像素的大小设为相同，但实际上俯瞰图像像素的大小根据相对于俯瞰摄像机的位置而不同。在图4的俯瞰图像中，图中的像素p表示俯瞰图像内的与头部对应的图像区域。如图4所示，像素p以俯瞰摄像机的位置为基准，存在于与像素p对应的角度信息的方向。根据空间位置信息所包含的像素p的高度信息zp和像素p的角度信息，计算像素p的三维位置(xp，yp，zp)。由此像素p的三维位置被定为一点。用于表达像素p的三维位置的坐标系例如是以拍摄俯瞰图像的俯瞰摄像机为基准的相对坐标。

换言之，就本实施方式中的像素所对应的三维位置而言，高度方向的位置根据空间位置信息而得到，与高度方向正交的水平方向的位置根据空间位置信息、像素角度信息以及俯瞰图像而得到。

通过对俯瞰图像内的与头部对应的图像区域内的全部或者一部分的像素进行相同的处理，得到头部的三维形状。头部的形状例如由通过以俯瞰摄像机为基准的相对坐标表示的与头部对应的各像素的空间位置来表达。通过以上方式，估计头部的空间位置。

接着，通过同样的过程，例如检测人的头部的特征(例如，耳朵、鼻子、嘴、脸的轮廓)的空间位置，例如根据它们的位置关系估计脸所朝向的方向、即头部的姿势。

最后，根据估计出的头部的空间位置和姿势，导出对象人物的眼睛的空间位置，并作为视点位置提供给变换式导出部133。眼睛的空间位置基于估计出的头部的空间位置、姿势、人的头部的特征以及其空间位置来导出。例如，可以根据头部的空间位置和姿势，估计脸的三维位置，假定眼睛位于从脸的中央靠近头顶部的位置，导出眼睛的位置。此外，例如也可以假定眼睛位于从耳根向脸的方向移动的位置，基于耳朵的三维位置来导出眼睛的位置。此外，例如也可以假定眼睛位于从鼻子、嘴向头顶部的方向移动的位置，基于鼻子、嘴的三维位置来导出眼睛的位置。此外，例如也可以根据头部的三维形状，假定眼睛位于从头部的中心向脸的方向移动的位置，导出眼睛的位置。

将通过以上方式导出的眼睛的位置作为视点位置从视点位置导出部131输出，并提供给变换式导出部133。

需要说明的是，在视点位置导出部131中，不必一定导出对象人物的眼睛的位置。即，可以估计俯瞰图像中的对象人物的眼睛以外的物体的三维位置，假设眼睛存在于该位置，将关注区域图像作为从该位置观察到的图像。例如，也可以在俯瞰图像映出的范围配置标记，将该标记位置作为视点位置。

使用图5对视点位置导出部131的处理过程进行说明。图5是表示与视点位置导出相关的物体的空间位置的对应关系的示例的图。图5是与图2对应的图，图5所示的物体设为与图2所示的物体相同。即，示出了俯瞰摄像机、对象人物、对象物、关注区域。在视点位置导出部131中，首先从俯瞰图像中检测对象人物的头部。接着，根据对象人物的头部的高度信息zh和俯瞰图像中的与对象人物的头部对应的像素的像素角度信息，估计对象人物的头部的空间位置(xh，yh，zh)。上述空间位置由以俯瞰摄像机的位置为基准的相对位置来表示。即，俯瞰摄像机的坐标是(0，0，0)。接着，根据对象人物的头部的坐标，估计对象人物的眼睛的空间位置(xe，ye，ze)。最后，将上述对象人物的眼睛的空间位置作为视点位置从视点位置导出部131输出。

[关注区域导出部132]

关注区域导出部132根据所输入的俯瞰图像和各对象物的空间位置信息导出关注区域，并提供给变换式导出部133以及关注图像区域导出部134。在此，关注区域是指，表示对象人物所关注的区域的在空间内的位置。关注区域例如由以包围关注物的方式设定的拍摄对象空间中存在的规定形状(例如四边形)的区域来表示。关注区域例如表达为四边形的各顶点的空间位置来输出。该空间位置的坐标系例如可以使用与拍摄俯瞰图像的俯瞰摄像机的相对坐标。

需要说明的是，理想的是，表达关注区域的空间位置和视点位置以相同的空间坐标系表示。即，理想的是，在前述的视点位置以相对于俯瞰摄像机的相对位置表示的情况下，关注区域也同样以相对于上述俯瞰摄像机的相对位置表示。

对关注区域导出部132估计关注区域的过程进行说明。首先，从俯瞰图像中检测一个以上关注物，在俯瞰图像上检测与关注物对应的图像区域。在此，关注物是指作为确定关注区域的线索的物体，是映出于俯瞰图像内的物体。例如，可以是如上所述作业中的对象人物的手，也可以是对象人物所持的道具，还可以是对象人物正在处理的物体(作业对象的物体)。在俯瞰图像内存在多个关注物的情况下，对各个俯瞰图像检测对应的图像区域。

接着，根据俯瞰图像内的与关注物对应的图像区域和空间位置信息所包含的关注物的高度信息，估计关注物的空间位置。关注物的空间位置通过与前述的视点位置导出部131中的头部的三维形状的估计相同的手段进行。关注物的空间位置可以与视点位置同样地由相对于俯瞰摄像机的相对坐标来表示。在俯瞰图像内存在多个关注物的情况下，对各个俯瞰图像估计空间位置。

接着，导出关注区域所存在的关注面。关注面基于关注物的空间位置，设定为在拍摄对象空间中包含关注物的面。例如，对象人物所关注的区域的空间内的、存在于与关注物相交的位置的、相对于地面水平的面设定为关注面。

接着，设定关注面上的关注区域。关注区域基于关注面和关注物的空间位置来设定。例如，关注区域设定为：内包位于关注面上的全部或者一部分的关注物，并与全部或者一部分的关注物内接的、存在于关注面上的规定形状(例如四边形)的区域。关注区域例如表达为规定形状(例如四边形)的各顶点的空间位置来输出。

例如，在关注物是对象人物的左右手的情况下，关注面是位于与对象人物的手相交的位置的水平的面。此外，关注区域是以内包位于上述关注面上的对象人物的左右手并与对象人物的左右手内接的方式，置于关注面上的上述规定形状的区域。用于表达关注区域的坐标系例如可以是相对于俯瞰摄像机的相对坐标。此外，理想的是，该坐标系与视点位置的坐标系相同。

最后，关注区域导出部132将上述的关注区域提供给变换式导出部133和关注图像区域导出部134。

使用图6对关注区域导出部132的处理过程进行说明。图6是表示与关注区域的导出相关的坐标的对应关系的示例的图。需要说明的是，在此以存在两个关注物的情况为例进行说明。此外，以四边形表示关注区域。与图5相同，图6是与图2对应的图，图6所示的物体设为与图2所示的物体相同。在关注区域导出部132中，首先从俯瞰图像中检测关注物。接着，根据关注物的高度信息zo1、zo2和俯瞰图像中的与关注物对应的像素的像素角度信息，估计关注物的空间位置(xo1，yo1，zo1)、(xo2，yo2，zo2)。上述空间位置由以俯瞰摄像机的位置为基准的相对位置来表示。即，俯瞰摄像机的坐标是(0，0，0)。接着，根据上述关注物的空间位置，设定关注面。关注面例如是与关注物的空间位置(xo1，yo1，zo1)、(xo2，yo2，zo2)相交的面。接着，根据上述关注物的空间位置和上述关注面，设定关注面内存在的关注区域。即，设定存在于关注面上并包围关注物的空间位置(xo1，yo1，zo1)、(xo2，yo2，zo2)的四边形的关注区域。将该四边形的顶点的坐标(xa1，ya1，za1)、(xa2，ya2，za2)、(xa3，ya3，za3)、(xa4，ya4，za4)作为关注区域，从关注区域导出部132输出。表示关注区域坐标与关注物位置同样地由以俯瞰摄像机的位置为基准的相对坐标来表示。

[变换式导出部133]

变换式导出部133基于所输入的视点位置和关注区域，导出将视点从俯瞰摄像机向虚拟视点移动那样的计算公式，并提供给关注区域图像变换部135。

在变换式导出部133中，根据视点位置和关注区域，计算俯瞰摄像机、关注区域以及视点的相对位置关系，求出将俯瞰图像(从俯瞰摄像机观察到的图像)变换为虚拟视点图像(从所提供的视点位置观察到的图像)的计算公式。换言之，该变换是指，表达将关注区域的观察视点从俯瞰摄像机视点向虚拟视点的位置移动的变换。对于该变换，例如可以利用投影变换、仿射变换或模拟仿射变换。

[关注图像区域导出部134]

关注图像区域导出部134基于所输入的关注区域、俯瞰图像以及摄像机参数来计算关注图像区域，并将关注图像区域提供给关注区域图像变换部135。在此，关注图像区域是表示与拍摄对象空间内的关注区域对应的俯瞰图像上的图像区域的信息。例如，是用二值表示构成俯瞰图像的各像素是否包含于关注图像区域的信息。

以下对关注图像区域导出部134导出关注图像区域的过程进行说明。首先，将所输入的关注区域的表达变换为相对于俯瞰摄像机的相对坐标系上的表达。如上所述，在通过相对于俯瞰摄像机的相对坐标表达表示关注区域的四边形的各顶点的空间位置的情况下，能直接利用该信息。此外，在关注区域由映出于俯瞰图像的拍摄对象空间的绝对坐标表示的情况下，通过计算与俯瞰摄像机的绝对坐标的位置的差分，能导出相对坐标。

接着，根据由上述的相对坐标表达的关注区域和摄像机参数，计算与关注区域对应的俯瞰图像上的图像区域并设为关注图像区域。具体而言，通过计算关注区域上的各点与俯瞰图像内的哪个像素对应，来设为关注图像区域。将通过以上方式计算出的关注图像区域与俯瞰图像一起提供给关注区域图像变换部135。

使用图7对关注图像区域导出部134的处理过程进行说明。图7是表示与关注图像区域的导出有关的坐标的对应关系和关注图像区域的示例的图。图7的左侧与图5相同，是与图2对应的图，图7的左侧所示的物体设为与图2所示的物体相同。图7的右侧的由虚线包围的区域表示由图7中的俯瞰摄像机拍摄的俯瞰图像。此外，俯瞰图像中的由双重虚线包围的区域表示关注区域。需要说明的是，为了对图进行简化，在图7中，将从俯瞰图像中切出一部分的图像作为俯瞰图像。在关注空间像素导出部134中，首先基于通过关注区域导出部132导出的关注区域的坐标(xa1，ya1，za1)、(xa2，ya2，za2)、(xa3，ya3，za3)、(xa4，ya4，za4)与俯瞰摄像机的相对距离、以及装配于拍摄俯瞰图像的摄像机的摄像机参数，计算与关注区域对应的俯瞰图像中的图像区域。将表示上述俯瞰图像中的图像区域的信息、例如与上述区域对应的像素的坐标信息作为关注图像区域，从关注图像区域导出部134输出。

[关注区域图像变换部135]

关注区域图像变换部135基于所输入的俯瞰图像、变换式以及关注图像区域来计算并输出关注区域图像。关注区域图像被用作关注区域图像生成部13的输出。

在关注区域图像变换部135中，根据俯瞰图像、变换式以及关注图像区域来计算关注区域图像。即，通过上述求出的变换式对俯瞰图像中的关注图像区域进行变换，来生成相当于从虚拟视点观察到的关注区域的图像，并作为关注区域图像输出。

(关注区域图像生成部13的处理顺序)

将由关注区域图像生成部13进行的处理总结如下。

首先，根据俯瞰图像和对象人物的高度信息zh，估计对象人物的头部的空间位置(xh，yh，zh)，由此计算视点位置(xe，ye，ze)。接着，根据俯瞰图像和关注物的高度信息zo，估计关注物的空间位置(xo，yo，zo)。接着，基于关注物的空间位置来设定表示关注区域的四边形的四个顶点的空间位置(xa1，ya1，za1)、(xa2，ya2，za2)、(xa3，ya3，za3)、(xa4，ya4，za4)。接着，根据视点位置(xe，ye，ze)、关注区域(xa1，ya1，za1)、(xa2，ya2，za2)、(xa3，ya3，za3)、(xa4，ya4，za4)以及俯瞰摄像机位置(0，0，0)的相对位置关系，设定相当于将相对于关注区域的视点从俯瞰摄像机位置(0，0，0)向对象人物的视点位置(xe，ye，ze)移动的处理的视点移动变换式。接着，根据摄像机参数和关注区域，计算俯瞰图像上的关注图像区域。最后，对关注图像区域应用基于上述视点移动变换式进行的变换而得到关注区域图像，并从关注区域图像生成部13输出。

需要说明的是，从俯瞰图像估计视点位置的处理和从俯瞰图像估计关注区域并计算关注图像区域为止的处理不必一定按上述顺序进行。例如，也可以在视点位置的估计处理、变换式的导出之前，进行关注区域的估计以及关注图像区域的计算。

(关注区域图像生成部13的效果)

以上说明的关注区域图像生成部13具备如下功能：根据所输入的俯瞰图像和摄像机参数，估计图像中的人物的眼睛的位置和关注物的位置，由此设定将视点位置从俯瞰摄像机视点向虚拟视点移动的变换式，并使用该变换式生成关注区域图像。

因此，与以往的使用眼动跟踪设备等特殊器具估计所关注的区域的方法相比，不需要特殊器具等，就能生成相当于从对象人物观察到的关注区域的关注区域图像。

〔附记事项1〕

在前述的关注区域图像生成装置1的说明中，以如下方式进行了说明：在空间位置检测部12中，可以将通过对由多个摄像机拍摄的图像应用立体匹配处理而导出的深度图作为空间位置信息。在将通过使用由多个摄像机拍摄的图像而得到的深度图作为空间位置信息的情况下，可以将上述多个图像作为俯瞰图像输入至视点位置导出部131，用于视点位置的导出。此外，同样可以将上述多个图像作为俯瞰图像输入至关注区域导出部132，用于关注区域的导出。但是，在该情况下，俯瞰摄像机与拍摄上述图像的多个摄像机的相对位置设为已知。

〔附记事项2〕

在前述的关注区域图像生成装置1的说明中，以在视点位置导出部131中从俯瞰图像导出视点位置为例进行了说明，但该俯瞰图像也可以是构成影像的帧。在该情况下，不必一定对每个帧导出视点位置。例如，在当前的帧中不能导出视点位置的情况下，可以将由当前的帧的位于前后的帧导出的视点位置作为当前的帧的视点位置。此外，例如也可以按时间划分俯瞰图像，将由一个区间所包含的一个帧(参考帧)导出的视点位置作为上述区间所包含的所有帧的视点位置。此外，例如也可以导出上述区间内的所有帧的视点位置，例如将其平均值作为在上述区间内利用的视点位置。需要说明的是，上述区间是俯瞰图像内的连续的帧的集合，可以是俯瞰图像内的一个帧，也可以是俯瞰图像的所有的帧。

确定将按时间划分俯瞰图像的一个区间的哪个帧设为参考帧的方法例如可以是在俯瞰图像的拍摄结束后手动任意选择的方法，也可以是在俯瞰图像的拍摄中根据对象人物的手势(gesture)、操作以及发声来确定的方法。此外，例如可以自动识别俯瞰图像内的特征性的帧(有大动作的、关注物增减的帧)，作为参考帧。

需要说明的是，上述对视点位置导出部131的视点位置的导出进行了说明，但对于关注区域导出部132的关注区域也是同样的。即，在俯瞰图像是构成影像的帧的情况下，不必一定对每个帧导出关注区域。例如，在当前的帧中无法导出关注区域的情况下，可以将由前后的帧导出的关注区域作为当前的帧的关注区域。此外，例如也可以按时间划分俯瞰图像，将由一个区间所包含的一个帧(参考帧)导出的关注区域作为上述区间所包含的所有帧的关注区域。同样，也可以导出上述区间内的所有帧的关注区域，例如将其平均值作为在上述区间内利用的关注区域。

〔附记事项3〕

在前述的关注区域图像生成装置1的说明中，以如下方式进行了说明：将关注面设定为对象人物所关注的区域的空间内的、存在于与关注物相交的位置的、相对于地面水平的面。但是，关注面不必一定如上所述进行设定。

例如，关注面可以是从与关注物相交的位置向高度方向移动的面。在该情况下，关注面与关注物可以不一定相交。而且，例如在存在多个关注物的情况下，关注面可以是存在于多个关注物共同存在的高度位置的面，也可以是存在于多个关注物的高度的中间高度(例如高度的平均值)的面。

此外，关注面不必一定设定为相对于地面水平的面。例如，在关注物存在平坦的面的情况下，可以将关注面设定为沿着该面的面。此外，例如也可以将关注面设定为朝向对象人物的方向倾斜任意的角度的面。此外，例如也可以将关注面设定为在从视点位置观察到关注物时具有与该视线的方向正交的角度的面。但是，在该情况下，视点位置导出部131需要将输出的视点位置提供给关注区域导出部132。

〔附记事项4〕

在前述的关注区域图像生成装置1的说明中，以如下方式进行了说明：将关注区域设定为内包位于关注面上的全部或者一部分关注物并与全部或者一部分关注物内接的存在于关注面上的规定形状的区域。但是，关注区域不必一定按该方法设定。

关注区域不必一定与全部或者一部分关注物内接。例如，关注区域可以以与全部或者一部分关注物内接的区域为基础放大，也可以缩小。通过如上所述缩小关注区域，关注物也可以不内包于关注区域内。

此外，关注区域可以设定为以关注物的位置为中心的区域。即，也可以以关注物置于关注区域的中心的方式设定关注区域。在该情况下，关注区域的大小可以任意设定，可以设定为在关注区域中包含其他关注物那样的大小。

此外，关注区域可以基于任意区域来设定。例如，在进行前述的某些作业的场所被分割为适当的区域(分割区域)的情况下，可以将存在关注物的分割区域设定为关注区域。以厨房为例时，分割区域例如是指水槽、炉灶、烹饪台。分割区域由规定形状(例如四边形)表示。但是，分割区域的位置设为已知。即，表示分割区域的规定形状的各顶点的位置设为已知。用于表达分割区域的位置的坐标系例如是以拍摄俯瞰图像的俯瞰摄像机为基准的相对坐标。存在上述的关注物的分割区域(关注分割区域)通过比较关注物与分割区域的水平坐标来进行判断。即，在由表示分割区域的规定形状的顶点的水平坐标包围的空间中包含关注物的水平坐标的情况下，判断为在该分割区域中存在关注物。需要说明的是，除了水平坐标还可以利用垂直坐标。例如，即使在满足上述的条件的情况下，当表示分割区域的规定形状的顶点的垂直坐标与关注物的垂直坐标大不相同时，可以判断为在该分割区域中不存在关注物。

对以分割区域的位置为基础设定关注区域的过程进行说明。首先，与前述的方法相同，根据关注物的位置设定关注面。接着，如上所述，判断存在关注物的分割区域。接着，计算从表示关注分割区域的规定形状的顶点向高度方向引出的直线与关注面的交点。最后，将与上述关注面的交点设定为关注区域。

〔附记事项5〕

在前述的关注区域图像生成装置1的说明中，以四边形为例对表示关注区域的规定形状进行了说明，但上述规定形状不必一定是四边形。例如，也可以是除四边形以外的多边形。在该情况下，将该多边形的所有顶点的坐标设为关注区域。此外，例如上述规定形状也可以是使多边形的边变形那样的形状。在该情况下，假设用点的集合表示该形状，将其各点的坐标设为关注区域。需要说明的是，对在附记事项4的项目中说明过的表示分割区域的规定形状也同样。

〔变形例1〕

在前述的关注区域图像生成装置1的说明中，以如下方式进行了说明：在视点位置导出部131中添加空间位置信息、俯瞰图像、摄像机参数，但也可以输入用户信息。在此，用户信息是指，作为用于导出视点位置的辅助的信息，例如是与用户绑定的、包含表示眼睛相对于头部的形状的位置的信息的信息。在该情况下，在视点位置导出部131中，根据俯瞰图像进行对象人物的识别，根据用户信息接收与识别出的对象人物有关的信息。然后，根据估计出的头部的三维形状和该用户信息，导出对象人物的眼睛的位置，并将眼睛的位置作为视点位置。如上所述，通过将用户信息用于视点位置的导出，能导出更准确的眼睛的三维位置，能导出更准确的视点位置。

〔变形例2〕

在前述的关注区域图像生成装置1的说明中，以如下方式进行了说明：在视点位置导出部131中，根据至少包含高度信息的空间位置信息、俯瞰图像以及摄像机参数，导出视点位置。但是，在仅使用空间位置信息来确定视点位置的情况下，不必一定向视点位置导出部131输入俯瞰图像和摄像机参数。即，在表示对象者的头部的位置的空间位置信息不仅包含高度信息还包含三维坐标信息的情况下，也可以不使用俯瞰图像和摄像机参数，而是根据对象者的头部位置估计眼睛的位置，导出视点位置。

此外，对于关注区域导出部132中的关注区域的导出也同样。在前述的说明中，以如下方式进行了说明：根据至少包含高度信息的空间位置信息、俯瞰图像以及摄像机参数，估计关注物的位置，由此导出关注区域。但是，在仅使用空间位置信息来确定关注物的位置的情况下，不必一定向关注区域导出部132输入俯瞰图像和摄像机参数。即，在表示关注物的位置的空间位置信息中不仅包含高度信息还包含三维坐标信息的情况下，也可以不使用俯瞰图像和摄像机参数，而是将其坐标作为表示关注物的位置的坐标。

〔变形例3〕

在前述的关注区域图像生成装置1的说明中，以如下方式进行了说明：在视点位置导出部131中，根据至少包含高度信息的空间位置信息、俯瞰图像以及摄像机参数，估计对象人物的头部的空间位置，由此估计对象人物的眼睛的位置，并将该位置作为视点位置。但是，不必一定按前述的方法导出视点位置。

例如，也可以对作为视点位置的候选的三维空间坐标(视点候选坐标)进行设定，将位于距对象人物头部最近的位置的视点候选坐标作为视点位置。表示视点候选坐标的坐标例如可以是以拍摄俯瞰图像的摄像机为基准的相对坐标。在通过该方法导出视点位置的情况下，视点候选坐标被输入至关注区域图像生成部13，并被提供给视点位置导出部131。

以下对视点候选坐标的设定方法进行说明。视点候选坐标的水平坐标(与高度信息正交的坐标系)例如可以对前述的每个分割区域，设定于从正面俯视该分割区域那样的位置。此外，也可以是任意设定的位置。视点候选坐标的垂直坐标(高度信息)例如可以设定于基于对象人物的身高估计出的、认为存在对象人物的眼睛的位置，也可以设定于人的平均的眼睛的高度位置。此外，也可以是任意设定的位置。

对于通过以上方式设定的视点候选坐标，将位于距对象人物的头部最近的位置的视点候选坐标作为视点位置。需要说明的是，在利用视点候选坐标来导出视点位置的情况下，不必一定利用视点候选坐标的水平坐标和垂直坐标双方。即，视点位置的水平坐标可以利用视点候选坐标来设定，视点位置的垂直坐标可以如前所述通过估计对象人物的头部的空间位置来设定。同样地，视点位置的垂直坐标可以利用视点候选坐标来设定，视点位置的水平坐标可以如前所述通过估计对象人物的头部的空间位置来设定。

此外，例如可以将相对于关注区域位于固定的位置的点设定为视点位置。即，假设在相对于关注区域位于预先确定的距离以及角度的位置存在视点，可以将该位置设定为视点位置。但是，在该情况下，关注区域导出部132需要将输出的关注区域提供给视点位置导出部131。此外，在该情况下，视点位置导出部131不必一定输入俯瞰图像和摄像机参数。

此外，也可以预先确定视点的位置，并将该位置作为视点位置。在该情况下，关注区域图像生成部13不必一定具备视点位置导出部131。但是，在该情况下，视点位置被提供给关注区域图像生成部13。

〔变形例4〕

在前述的关注区域图像生成装置1的说明中，将视点位置导出部131的输出作为视点位置进行了说明，但除此之外，在无法导出视点位置的情况下，可以具备通知该情况的手段。通知的手段例如可以是基于声音的广播(announce)，也可以是警报声音，还可以是灯的明灭。

上述对于关注区域导出部132也同样。即，在关注区域导出部132中，在无法导出关注区域的情况下，可以具备通知该情况的如上所述的手段。工业上的可利用性

〔基于软件的实现例〕

关注区域图像生成装置1可以通过形成于集成电路(IC芯片)等的逻辑电路(硬件)来实现，也可以使用CPU(Central Processing Unit：中央处理器)通过软件来实现。

在后者的情况下，关注区域图像生成装置1具备：执行实现各功能的软件即程序的命令的CPU、计算机(或CPU)可读取地存储有上述程序以及各种数据的ROM(Read OnlyMemory：只读存储器)或存储装置(将它们称为“存储介质”)、以及扩展上述程序的RAM(Random Access Memory：随机存取存储器)等。然后，通过由计算机(或CPU)从上述存储介质读取并执行上述程序，达成本发明的一个方案的目的。作为上述存储介质，可以使用“非暂时的有形介质”，例如磁带、磁盘、卡、半导体存储器、可编程逻辑电路等。此外，上述程序可以经由能传输该程序的任意传输介质(通信网络、广播波等)提供给上述计算机。需要说明的是，本发明的一个方案以上述程序通过电子传输而具体化的、嵌入至载波的数据信号的形态也能实现。

(相关申请的交叉引用)本申请针对2016年4月28日提出申请的日本特愿2016-090463主张优先权的利益，通过参照该申请而将其全部内容包含在本说明书中。

符号说明

1 关注区域图像生成装置

11 图像获取部

12 空间位置检测部

13 关注区域图像生成部

131 视点位置导出部

132 关注区域导出部

133 变换式导出部

134 关注图像区域导出部

135 关注区域图像变换部

Claims (5)

1.一种图像生成装置，从一个以上俯瞰图像中将在所述俯瞰图像中被关注的区域即关注区域作为从其他视点观察到的关注区域图像取出，所述图像生成装置的特征在于，具备：

视点位置导出部，至少基于所述俯瞰图像、与拍摄所述俯瞰图像的光学设备有关的参数以及表示所述俯瞰图像中的物体的空间位置的空间位置信息，来导出视点位置；

关注区域导出部，至少基于所述俯瞰图像、所述参数以及所述空间位置信息，来导出所述关注区域；

变换式导出部，至少基于所述视点位置以及所述关注区域，来导出将与所述关注区域对应的所述俯瞰图像中的第一图像变换为从所述视点位置观察到的图像的变换式；

关注图像区域导出部，至少基于所述俯瞰图像、所述参数以及所述关注区域，来导出与所述关注区域对应的所述俯瞰图像中的区域即关注图像区域；以及

关注区域图像变换部，至少基于所述变换式、所述俯瞰图像以及所述关注图像区域，从所述俯瞰图像中取出与所述关注图像区域对应的像素并变换为所述关注区域图像，

所述俯瞰图像中映出有人物，

所述关注区域图像是从所述人物的视点观察到的所述关注区域的图像。

2.根据权利要求1所述的图像生成装置，其特征在于，

所述空间位置信息包含与所述人物有关的高度信息，

所述视点位置导出部至少基于与所述人物有关的高度信息和所述俯瞰图像，来导出所述视点位置。

3.根据权利要求1所述的图像生成装置，其特征在于，

所述空间位置信息包含与所述俯瞰图像中的被关注的对象有关的高度信息，

所述关注区域导出部至少基于与所述对象有关的高度信息和所述俯瞰图像，来导出所述关注区域。

4.根据权利要求3所述的图像生成装置，其特征在于，

所述对象是所述人物的手。

5.根据权利要求3所述的图像生成装置，其特征在于，

所述对象是所述人物所操纵的设备。

Images