CN107689027A - 注释赋予方法、注释赋予系统以及存储有程序的记录介质 - Google Patents

Abstract

本公开提供注释赋予方法、注释赋予系统以及存储有程序的记录介质。对鱼眼图像的注释赋予方法包括：取得鱼眼图像，生成将鱼眼图像进行透视投影变换而得到的变换图像，向处理者提示变换图像，从处理者受理与向变换图像赋予的注释有关的注释信息的输入，将所输入的注释信息所含的变换图像中的注释的坐标信息变换为鱼眼图像中的坐标，记录变换后的注释信息来作为鱼眼图像中的注释信息。由此，使得鱼眼图像上的注释赋予变得简便。

Description

注释赋予方法、注释赋予系统以及存储有程序的记录介质

技术领域

本公开涉及针对鱼眼图像的注释赋予方法等。

背景技术

在用于进行机器学习的学习数据的构建等中，为了识别图像数据而向图像数据赋予标签等注释。例如，专利文献1公开了对图像数据进行标记(labeling)的技术。

现有技术文献

专利文献

专利文献1：日本特开2013-161295号公报

发明内容

发明要解决的问题

注释被赋予到图像所含的人物、物等对象物。赋予注释的图像数据，有时使用经由鱼眼透镜拍摄到的图像数据。由鱼眼透镜拍摄到的图像成为同心圆状的图像。由此，对于由鱼眼透镜拍摄到的图像内的对象物，会指向以从同心圆的中心开始的辐射方向为基准的方向，因此，会以各种各样的朝向而存在。因此，在上述图像上，划定应赋予注释的对象物的区域的处理会很费功夫。

于是，本公开提供使由鱼眼透镜拍摄到的图像即鱼眼图像上的注释赋予变得简便的注释赋予方法、注释赋予系统以及程序。

用于解决问题的技术方案

本公开的一个方式的注释赋予方法是对鱼眼图像的注释赋予方法，包括：取得鱼眼图像，生成将鱼眼图像进行透视投影变换而得到的变换图像，向处理者提示变换图像，从处理者受理与向变换图像赋予的注释有关的注释信息的输入，将所输入的注释信息所含的变换图像中的注释的坐标信息变换为鱼眼图像中的坐标，记录变换后的所述注释信息来作为鱼眼图像中的注释信息。

本公开的一个方式的注释赋予系统是对鱼眼图像的注释赋予系统，具备：取得部，其取得第一数据保存部所保存的鱼眼图像；图像变换部，其生成将鱼眼图像进行透视投影变换而得到的变换图像；提示部，其向处理者的装置发送变换图像；接受部，其从处理者的装置接受与在处理者的装置向变换图像赋予的注释有关的注释信息；坐标变换部，其将注释信息所含的变换图像中的注释的坐标信息变换为鱼眼图像中的坐标；以及记录部，其将变换后的注释信息作为鱼眼图像中的注释信息记录于第二数据保存部。

本公开的一个方式的记录介质是记录有程序的计算机能读取的非暂时性记录介质，所述程序在由计算机执行时，使所述计算机执行包含以下的方法：取得鱼眼图像，生成将鱼眼图像进行透视投影变换而得到的变换图像，向处理者的装置提示变换图像，从处理者的装置受理与向变换图像赋予的注释有关的注释信息的输入，将所输入的注释信息所含的变换图像中的注释的坐标信息变换为鱼眼图像中的坐标，记录变换后的注释信息来作为鱼眼图像中的注释信息。

发明的效果

根据本公开的注释赋予方法等，能够使鱼眼图像上的注释的赋予变得简便。

附图说明

图1是示出由安装于室内的顶棚的全方位摄像机拍摄到的室内拍摄图像的一例的图。

图2是示出对图1的拍摄图像进行透视投影变换后的一例的变换图像的图。

图3是示出图1的拍摄图像与图2的变换图像之间的对应关系的图。

图4是示出实施方式的注释赋予系统100的概略结构的框图。

图5是示出实施方式的注释赋予系统100的工作的流程的流程图。

图6是示出向由作为全方位摄像机的车载摄像头拍摄到的停车场的鱼眼图像赋予的注释的图。

图7是示出向对图6的鱼眼图像进行透视投影变换后的全景图像赋予的与图6相同的注释的图。

图8是示出注释赋予系统100的变形例1的工作的流程的流程图。

标号的说明

10注释中继装置；11控制部(取得部、提示部、接受部、记录部、通知部)；14图像变换部；15坐标变换部；20服务器装置；24变换前图像数据存储部(第一数据保存部)；26注释数据存储部(第二数据保存部)；30注释赋予装置(处理者的装置)；100注释赋予系统。

具体实施方式

发明人的见解

本公开的发明人们、也即是本发明人们，为了提高图像中以人物为代表的对象物的识别以及检测的精度，对使用深度学习(Deep Learning)等神经网络的技术进行了研究。深度学习中的对象物的识别会需要大量的学习用图像数据。并且，在学习用图像数据中，要针对对象物赋予也即是注释包含对象物的内容、位置、区域等的信息作为注释信息。此外，通常在注释中，对于在图像上包围对象物等的对象物的区域的设定，通过人向图像输入来实施该设定。

本发明人们研究了采用从数字动态图像截取的数字图像数据作为进行注释的大量的图像数据。尤其是，本发明人们为了获得大量的图像数据而研究了采用监视摄像头、车载摄像头等长时间拍摄动态图像的拍摄装置的动态图像。对于监视摄像头以及车载摄像头，存在为了使得能够进行大范围的区域的拍摄而使用全方位摄像头的情况。全方位摄像头是具备如鱼眼透镜、圆锥反射镜、多棱锥反射镜、球面反射镜或双曲面反射镜那样的光学系统并且能够使用它们同时进行360°的全方位拍摄的摄像头。

例如，图1示出具备鱼眼透镜的全方位摄像机的拍摄图像的一例。此外，图1示出安装于室内的顶棚的全方位摄像机的室内的拍摄图像的一例。另外，鱼眼透镜是指采用非中心投影方式的投影方式的透镜。图1的圆形状的拍摄图像A形成同心圆状的图像，拍摄对象物失以沿着以拍摄图像A的中心Ac为中心的圆周的方式发生真成。全方位摄像机将鱼眼透镜朝向下方配置，从上方朝向下方对室内进行拍摄，但是，例如在拍摄图像A内，站立于相同地板上的人分别映现为从中心Ac朝向半径向外侧呈放射状横倾。

注释的处理这在向拍摄图像A赋予其中的人C1的注释的情况下，在显示拍摄图像A的未图示的计算机的显示装置等画面上，设定人C1的区域。此时，一般地，为了使得区域的设定容易并且使得区域的位置以及范围的确定容易，使用包围人C1整体并且各边沿着水平方向或铅垂方向的矩形框D1，设定人C1的区域。此外，上述水平方向是沿着画面向侧方穿过计算机的显示装置等的画面的方向，是图1的X轴方向。上述铅垂方向是沿着计算机的显示装置等的画面并且与上述水平方向垂直的方向，是图1的Y轴。另外，人C1、矩形框D1等的位置，既可以通过将图1的X轴以及Y轴作为坐标轴的正交坐标系表示，也可以通过使用以中心Ac为原点的矢径的长度以及角度的极坐标系来表示。

由于矩形框D1的各边的方向与人C1的直立方向也即是身高方向倾斜地交叉，因此，矩形框D1也包含较多的人C1以外的区域。因此，若将矩形框D1内的区域用于基于计算机的图像数据的识别，则有可能发生图像数据内的人未被识别为人、以及图像数据内的人以外的要素被识别为人的情形。

因此，本发明人们研究了在使用矩形框设定人等对象物的区域的情况下，也能够减少对象物以外的要素被包含于矩形框的情形的技术。于是，本发明人们发现了通过对拍摄图像A进行透视投影变换，能够大致使拍摄图像A内的要素的朝向一致，例如，能够使站立在相同地板上的人以及物的竖立方向大致与铅垂方向也即是大致与Y轴方向一致。

作为对拍摄图像A进行透视投影变换的结果的变换图像B示于图2。图2是示出将图1的拍摄图像A进行透视投影变换后的一例的变换图像B的图。参照图2，在全景图像状的变换图像B中，包含人C1在内的多个人、架子E的纵支柱、门F的纵框等，在大致铅垂方向上竖立。因此，能够设定成包围人C1的矩形框D2沿着人C1延伸，减少在其内侧包含的人C1以外的要素。另外，针对图2的变换图像B，在变换图像B的长方向侧方设定X1轴，在沿着变换图像B且与X1轴垂直的方向上设定Y1轴，从而设定将X1轴以及Y1轴作为坐标轴的正交坐标系。并且，使矩形框D2的各边沿着X1轴或Y1轴，矩形框D2能够容易地形成。

在此，对从拍摄图像A向变换图像B的透视投影变换进行说明。在从拍摄图像A向变换图像B的透视投影变换中，通过变换成拍摄图像A被投影在包围其周围的圆筒面上而形成全景图像，该全景图像相当于变换图像B。对于将拍摄图像A投影在圆筒面上，也被称为全景展开。在全景展开中，使用极坐标-正交坐标变换，各种极坐标-正交坐标变换都是已知的，可以使用任何一种极坐标-正交坐标变换。

例如，如图3所示，在单纯的极坐标-正交坐标变换中，在作为极坐标表示(r，θ)的拍摄图像A的极坐标上，针对半径r方向和圆周θ方向，分别以等间隔对像素采样。进而，对于所采样的像素，将θ作为X1轴方向而依照其值并且将r作为Y1轴方向而依照其值，呈格子状地进行再配置，由此，形成全景展开后的变换图像B。因此，以通过中心Ac的半径部分R1将拍摄图像A展开，将以虚线的圆表示的中心Ac侧的部位扩展，而形成变换图像B。

另外，在上述的极坐标-正交坐标变换中，也可以应用对数极坐标(Lоg-Pоlar)变换。具体而言，对于从拍摄图像A采样的像素，将θ作为X1轴方向而依照其值并将r作为Y1轴方向而依照r的对数的值，呈格子状地进行再配置，由此，形成变换图像B。由此，变换图像B中的针对纵横比的实物的精度提高。

另外，本发明人们得到了如下见解：在如上述那样将拍摄图像A变换为变换图像B的情况下，在拍摄图像A的中心Ac附近的区域中，变换图像B中的放大率变大、图像的失真变大，因此，优选展开比向径向外侧离开中心Ac的圆Aa靠径向外侧的部分。

另外，本发明人们发现存在如下情况：拍摄图像A的外边缘附近的区域的图像的失真大而无法判别拍摄对象物。此外，拍摄图像A的外边缘附近的区域的图像在透视投影变换时还受到拍摄图像A的外侧的影响。因此，还得到了如下见解：在如上述那样将拍摄图像A变换为变换图像B的情况下，优选展开比向径向内侧远离拍摄图像A的外边缘的圆Ab靠径向内侧的部分。

以下，参照附图对基于上述各种见解本发明人们所公开的实施方式进行具体地说明。

此外，以下要说明的实施方式都表示概括性或具体的例子。以下的实施方式所示出的数值、形状、材料、构成要素、构成要素的配置位置以及连接方式、步骤、步骤的顺序等仅是一例，其主旨不在于限定本公开。另外，以下的实施方式中的构成要素中未记载于表示最上位概念的独立权利要求的构成要素，作为任意的构成要素被说明。另外，也可以针对构成要素等在表达上适当添加第1、第2以及第3等序数。

另外，在以下的实施方式的说明中，存在使用大致平行、大致正交那样的带有“大致”的表达的情况。例如，所谓大致平行，不仅意味着完全平行的情形，还意味着实质上平行、即包含例如几％的程度的差异的情形。其他的带有“大致”的表达也是同样的。另外，各图是示意图，不一定是严格地图示的图。进而，存在如下情况：在各图中，对实质上相同的构成要素标注相同的标号，重复的说明被省略或简略化。

[实施方式]

[注释赋予系统的结构]

参照图4，对实施方式的注释赋予系统100的结构进行说明。此外，图4是示出实施方式的注释赋予系统100的概略结构的框图。注释赋予系统100具备：注释中继装置10、服务器装置20、注释赋予装置30。服务器装置20是存储各种数据的要素。注释赋予装置30是向图像赋予注释的装置。注释中继装置10是实施如下等工作的要素：从服务器装置20取得应赋予注释的图像而进行变换并向注释赋予装置30发送；从注释赋予装置30接受与所赋予的注释有关的信息并与图像相关联地向服务器装置20发送。也即是，注释中继装置10在服务器装置20和注释赋予装置30之间，一边对信息加以变更，一边对信息流进行中继。

服务器装置20构成为与注释中继装置10进行通信。服务器装置20可以是计算机等信息处理装置。服务器装置20既可以包含1个以上的服务器装置，又可以构成云系统。服务器装置20具备：控制服务器装置20整体的控制部21、与注释中继装置10通信的通信部22、存储各种数据的数据存储部23。通信部22经由因特网等通信网与注释中继装置10通信。通信部22也可以是包含通信接口的通信电路。例如，关于通信部22与注释中继装置10之间的通信，既可以应用Wi-Fi(注册商标)(Wireless Fidelity)等无线LAN(Local Area Network)，又可以应用使用了线缆的有线通信，还可以应用其他的无线通信或有线通信。

数据存储部23例如由硬盘构成，具备：变换前图像数据存储部24、全景变换数据存储部25、注释数据存储部26。变换前图像数据存储部24中保存有由各种拍摄装置拍摄到的图像，具体而言，保存有由具备鱼眼透镜的拍摄装置拍摄到的鱼眼图像。鱼眼图像既可以是通过全周鱼眼透镜拍摄到的图像，又可以是通过对角线鱼眼透镜拍摄到的图像。在对角线鱼眼透镜中，通过透镜后的光所成像的圆形范围即图像圈(image circle)的直径比矩形形状的拍摄图像的对角线大。在全周鱼眼透镜中，图像圈的直径比拍摄图像的水平方向以及铅垂方向的尺寸大。

全景变换数据存储部25将针对变换前图像数据存储部24的鱼眼图像实施的透视投影变换的内容、例如用于透视投影变换的参数、表、数据等作为全景变换数据而保存。或者，全景变换数据存储部25既可以保存针对鱼眼图像进行透视投影变换而得到的变换图像，又可以保存全景变换数据以及变换图像这双方。在本实施方式中，变换图像是通过对鱼眼图像进行全景展开而得到的全景图像。另外，全景变换数据存储部25也可以保存针对鱼眼图像实施的透视投影变换的逆变换、也即是从全景图像向鱼眼图像的变换的内容。注释数据存储部26中保存有与针对鱼眼图像等实施的注释有关的信息。

控制部21控制通信部22以及数据存储部23。控制部21经由通信部22实施从注释中继装置10向数据存储部23的变换前图像数据存储部24、全景变换数据存储部25以及注释数据存储部26的对应的数据的保存。另外，控制部21经由通信部22，根据来自注释中继装置10的请求，实施从变换前图像数据存储部24、全景变换数据存储部25以及注释数据存储部26的数据的取出以及发送。

注释中继装置10可以以其单独地构成一个装置，也可以被组装于计算机等信息处理装置或其他的装置。注释中继装置10具备：控制部11、第一通信部12、第二通信部13、图像变换部14、坐标变换部15以及输入部16。控制部11控制注释中继装置10的整体。输入部16是受理指令等的各种输入的要素。

第一通信部12经由因特网等通信网与服务器装置20的通信部22进行通信。第一通信部12可以是包含通信接口的通信电路。例如，关于第一通信部12与服务器装置20之间的通信，既可以应用Wi-Fi(注册商标)等无线LAN，又可以应用使用了线缆的有线通信，还可以应用其他的无线通信或有线通信。在第一通信部12与通信部22之间，也可以设置对它们之间的通信进行中继的通信装置即路由器。路由器也可以对第一通信部12与通信网之间的通信进行中继。

第二通信部13与注释赋予装置30通信。第二通信部13也可以是包含通信接口的通信电路。第二通信部13与注释赋予装置30的通信，既可以是与第一通信部12同样地经由因特网等通信网的通信，又可以应用在第3代移动通信系统(3G)、第4代移动通信系统(4G)、或LTE(注册商标)等那样的移动通信系统中利用的移动通信标准。

图像变换部14受控制部11的控制，对鱼眼图像进行透视投影变换，由此生成全景图像。坐标变换部15受控制部11的控制，将与注释有关的信息以与鱼眼图像对应的方式进行坐标变换或以与全景图像对应的方式进行坐标变换。例如，坐标变换部15将与设定于全景图像的注释有关的信息进行坐标变换以使得与作为该全景图像的变换前的原图像的鱼眼图像的坐标系对应，并使之与该鱼眼图像相关联。在该情况下，坐标变换部15在控制部11的控制下，实施如下工作：从服务器装置20的变换前图像数据存储部24取得鱼眼图像数据、以及将全景图像和/或透视投影变换的内容向服务器装置20的全景变换数据存储部25发送。

注释赋予装置30是能够与注释中继装置10进行信息的发送接收的要素。注释赋予装置30既可以是计算机等信息处理装置，又可以是便携式电话，还可以是智能手机、智能手表、平板电脑、小型个人计算机等便携终端。注释赋予装置30具备：控制部31、通信部32、显示部33以及输入部34。控制部31控制注释赋予装置30的整体。通信部32也可以是包含通信接口的通信电路。通信部32与注释中继装置10的第二通信部13进行通信，它们之间的通信如上所述。

显示部33例如可以由液晶面板、或者有机或无机EL(Electro-Luminescence)面板构成。输入部34是受理指令等各种输入的要素。输入部34既可以具有与显示部33独立地设置的结构，也可以具有如触摸面板那样能够通过触摸显示部33而输入的与显示部33为一体的结构。

另外，服务器装置20的控制部21、注释中继装置10的控制部11、图像变换部14以及坐标变换部15、以及注释赋予装置30的控制部31的各构成要素，既可以由专用硬件构成，也可以通过执行适合各构成要素的软件程序来实现。在该情况下，各构成要素例如也可以具备运算处理部(未图示)和存储控制程序的存储部(未图示)。作为运算处理部，可例示出MPU(Micro Processing Unit)、CPU(Central Processing Unit)等。作为存储部，可例示出存储器等。此外，各构成要素既可以由进行集中控制的单独的要素构成，也可以由相互协作而进行分散控制的多个要素构成。作为软件程序、应用程序，也可以通过经由因特网等通信网的通信、基于移动通信标准的通信等来提供。

另外，各构成要素也可以是LSI(Large Scale Integration：大规模集成电路)、系统LSI等电路。多个构成要素既可以作为整体构成1个电路，也可以分别构成独立的电路。另外，电路各自既可以是通用的电路，也可以是专用电路。

系统LSI是将多个构成部集成在1个芯片上而制造出的超多功能LSI，具体而言，是包含微处理器、ROM(Read Only Memory)、RAM(Random Access Memory)等而构成的计算机系统。RAM中存储有计算机程序。微处理器根据计算机程序而工作，由此，系统LSI达成其功能。系统LSI以及LSI既可以包含在LSI制造后可进行编程的FPGA(Field ProgrammableGate Array)，也可以包含能够重构LSI内部的电路单元的连接以及设定的可重构处理器。

另外，上述构成要素的一部分或全部，也可以由可装卸IC卡或单体的模块构成。IC卡或模块是由微处理器、ROM、RAM等构成的计算机系统。IC卡或模块也可以包含上述的LSI或系统LSI。微处理器根据计算机程序而工作，由此，IC卡或模块达成其功能。这些IC卡以及模块也可以具有抗篡改性。

[注释赋予系统的工作]

参照图4以及图5，对注释赋予系统100的工作进行说明。图5是示出实施方式的注释赋予系统100的工作的流程的流程图。

在本实施方式中，注释中继装置10由用于以深度学习为代表的神经网络等机器学习的大量的学习用图像数据的构建者运用。服务器装置20既可以由上述构建者运用，也可以由上述构建者以外的人运用。在由上述构建者以外的人运用的情况下，服务器装置20也可以构成云系统。

服务器装置20的变换前图像数据存储部24通过与注释中继装置10独立的装置保存鱼眼图像。例如，在注释赋予系统100中，由与上述构建者签订合同的图像提供者，将基于监视摄像头、车载摄像头等的动态图像等的鱼眼图像发送至变换前图像数据存储部24。在该情况下，服务器装置20构成云系统，由此，鱼眼图像的保存会变得容易。

注释赋予装置30被上述构建者以外的人运用。注释赋予装置30的操作者预先与上述构建者签订注释的赋予处理的合同，向由上述构建者提供的图像赋予注释。也即是，注释赋予装置30的操作者是注释的处理者。

关于注释赋予系统100的工作，注释赋予装置30根据由操作者向输入部34输入的指令，向注释中继装置10请求应赋予注释的图像(步骤S101)。

接受了请求的注释中继装置10的控制部11向服务器装置20的变换前图像数据存储部24，请求鱼眼图像和设定于该鱼眼图像的图像ID(identification)，并且向全景变换数据存储部25请求与上述图像ID对应的全景变换数据，并取得它们(步骤S102)。

注释中继装置10的控制部11使图像变换部14基于全景变换数据将鱼眼图像进行透视投影变换而生成全景图像(步骤S103)。例如，图像变换部14将图1所示的鱼眼图像变换为图2所示的全景图像。进而，图像变换部14将变换后的全景图像与设定于变换前的鱼眼图像的图像ID相关联。然后，控制部11将与图像ID相关联的全景图像向注释赋予装置30发送(步骤S104)。

注释赋予装置30使从注释中继装置10接受的全景图像显示在显示部33(步骤S105)。处理者操作输入部34而在显示部33所显示的全景图像上，对该图像所包含的对象物赋予注释(步骤S106)。对象物例如可以是人物。并且，例如如图2所示，处理者用矩形形状的框包围人物的周围，设定赋予注释的对象物的区域。输入部34无论是触摸面板、还是使用鼠标或键盘的结构，都能够使矩形形状的框的设定容易地实施。此外，优选在矩形形状的框内，不包含作为对象的人物以外的物体。

处理者每当分别用矩形形状框包围全景图像内的人物时，将与该矩形形状框有关的信息、也即是注释信息与赋予了注释的全景图像的图像ID一起向注释中继装置10发送(步骤S107)。被设定为赋予注释的对象物的区域，不限于矩形形状，可以是任意的形状。另外，区域的设定工作也不限定于包围区域的工作，可以是任意的工作。例如，也可以是，处理者通过设定4个角的位置来设定四边形的区域。

在图2的全景图像的情况下，被发送的注释信息是使用了基于设定于该全景图像的X1轴以及Y1轴的坐标系的信息。例如，注释信息可以包含：矩形框所含的人物的属性、矩形形状框的左上部角的点P的坐标、X1轴方向上的从点P开始的矩形形状框的宽度、Y1方向上的从点P开始的矩形形状框的高度。人物的属性可以包含人物的性别、体格、年龄层等。例如，注释信息可以将(属性、点P的坐标、宽度、高度)的各要素符号化或数值化后将其包含在内。

接受了注释信息以及对应的图像ID的注释中继装置10的控制部11，使坐标变换部15将与全景图像对应的注释信息坐标变换成与鱼眼图像对应。此时，坐标变换部15从服务器装置20的全景变换数据存储部25取得与所接受的图像ID对应的全景变换数据(步骤S108)。

然后，坐标变换部15基于所取得的全景变换数据，将与注释信息内的全景图像的坐标系、例如基于X1轴以及Y1轴的坐标系相关联的信息变换为基于鱼眼图像的坐标系的信息(步骤S109)。鱼眼图像的坐标系，既可以是如图3所示那样以中心Ac为原点的极坐标，又可以是基于正交的2个直线轴的正交坐标。此时，坐标变换部15将坐标变换后的注释信息与图像ID相关联。此外，在步骤S108中取得的全景变换数据，既可以是与从鱼眼图像向全景图像的变换有关的数据，又可以是与从全景图像向鱼眼图像的变换有关的数据。如果全景变换数据是与从鱼眼图像向全景图像的变换有关的数据，则坐标变换部15也可以通过使用全景变换数据进行逆变换，而从全景图像的坐标系向鱼眼图像的坐标系变换。

控制部11将坐标变换部15的坐标变换后的注释信息，与图像ID一起，向服务器装置20的注释数据存储部26发送并将其保存、也即是将其记录(步骤S110)。由此，在注释数据存储部26中存储与鱼眼图像对应的注释信息。因此，能够将鱼眼图像及其注释信息直接作为用于神经网络的学习用图像数据来使用。

此外，在全景变换数据存储部25保存全景图像的情况下，在步骤S102以及S103中，注释中继装置10的控制部11也可以从全景变换数据存储部25取得全景图像。另外，也可以是，注释中继装置10的坐标变换部15在步骤S108中取得全景图像以及与其对应的鱼眼图像，在步骤S109中，基于全景图像以及鱼眼图像的关系，实施坐标变换。

[注释赋予系统的工作的变形例1]

以下，对注释赋予系统100的工作的变形例1进行说明。当注释赋予装置30请求了应赋予注释的图像时，在实施方式中，注释中继装置10提供了全景图像，但是在本变形例中，注释赋予装置30能够从鱼眼图像以及全景图像中选择接受提供的图像。以下，对本变形例，以不同于实施方式的点为中心进行说明。

参照图6以及图7，示出在鱼眼图像及其全景图像中，对同一对象物使用包围对象物的区域的框赋予的注释的例子。此外，在图6以及图7中，对象物是汽车的停车位。图6是示出向由作为全方位摄像机的车载摄像头拍摄到的停车场的鱼眼图像赋予的注释的图。图7是示出向将图6的鱼眼图像进行透视投影变换后的全景图像赋予的与图6相同的注释的图。

在图6的鱼眼图像中，赋予注释的停车位的区域S1具有梯形形状。在图7的全景图像中，赋予注释的停车位的区域S2具有比区域S1大幅地减小的宽度窄的梯形形状。因此，对于注释的处理者为了赋予注释而通过在图像上包围停车位的区域等来确定该区域，与使用全景图像相比，使用鱼眼图像更容易。因此，在本变形例中，注释的处理者在实施注释的赋予处理时，能够将注释赋予装置30的显示部33所显示的图像一边在鱼眼图像以及全景图像之间切换、一边进行选择。具体而言，如图8所示，注释赋予系统100实施注释赋予工作。此外，图8是示出注释赋予系统100的变形例1的工作的流程的流程图。

首先，注释中继装置10以及注释赋予装置30与实施方式同样地实施步骤S101～S105的处理。由此，在注释赋予装置30的显示部33，显示全景图像。在接着步骤S105的步骤S201中，对于注释赋予装置30，如果注释赋予装置30的输入部34中存在从全景图像向鱼眼图像的显示图像的变更请求(步骤S201中“是”)，则移向步骤S202的处理，如果没有变更请求(步骤S201中“否”)，则移向步骤S106的处理。注释中继装置10以及注释赋予装置30在步骤S106以后，与实施方式同样地实施步骤S107～S110的处理。

在步骤S202中，注释赋予装置30向注释中继装置10请求与在先接受的全景图像对应的鱼眼图像。然后，注释中继装置10的控制部11向服务器装置20的变换前图像数据存储部24请求并取得该鱼眼图像，并向注释赋予装置30发送(步骤S203)。此外，注释中继装置10的控制部11也可以将在步骤S102中取得的鱼眼图像暂时存储于自身未图示的存储器等，也可以在步骤S203中使用该存储的鱼眼图像。并且，注释赋予装置30使从注释中继装置10接受的鱼眼图像显示在显示部33(步骤S204)。

在接着步骤S204的步骤S205中，对于注释赋予装置30，如果注释赋予装置30的输入部34中存在从鱼眼图像向全景图像的显示图像的变更请求(步骤S205中“是”)，则移向步骤S206的处理，如果没有变更请求(步骤S205中“否”)，则移向步骤S207的处理。

在步骤S206中，注释赋予装置30向注释中继装置10请求全景图像。在接着步骤S206的步骤S104中，注释中继装置10将暂时存储于自身未图示的存储器等中的全景图像向注释赋予装置30发送。但是，注释中继装置10也可以在未暂时地存储全景图像的情况下，再次实施步骤S102以及S103的处理而生成全景图像。

在步骤S207中，处理者操作注释赋予装置30的输入部34，在显示部33所显示的鱼眼图像上，向该图像所含的对象物赋予注释。然后，处理者每当向鱼眼图像内的对象物赋予注释时，将注释信息与赋予了注释的鱼眼图像的图像ID一起向注释中继装置10发送(步骤S208)。进而，注释中继装置10将所接受的注释信息与图像ID一起，向服务器装置20的注释数据存储部26发送并使之加以保存也即是使之加以记录(步骤S209)。

此外，在上述变形例1的注释赋予系统100的工作中，注释中继装置10在步骤S104中将全景图像作为最初的发送图像向注释赋予装置30发送，但是不限于此。注释中继装置10既可以最初发送鱼眼图像，并使注释赋予装置30显示鱼眼图像，又可以最初发送鱼眼图像以及全景图像，使注释赋予装置30将鱼眼图像以及全景图像一起显示。

另外，在上述变形例1的注释赋予系统100的工作中，也可以是，在步骤S106以及步骤S207的各步骤的注释的赋予处理结束之前的期间，经由注释赋予装置30的输入部34，插入与步骤S201或S205同样的处理。进而，也可以是，在注释赋予装置30的显示部33所显示的图像从全景图像切换为鱼眼图像或相反地切换时，在切换后的图像显示在该切换之前对对象物设定的注释的区域，例如显示图6以及图7的区域S1或S2。由此，处理者能够根据对象物选择要实施注释的赋予处理的图像，不重复注释的赋予地进行实施。

[注释赋予系统的工作的变形例2]

以下，对注释赋予系统100的工作的变形例2进行说明。在变形例2的注释赋予系统100的工作中，针对变形例1中的步骤S106以及步骤S207各步骤中的注释的赋予处理，注释赋予装置30判定在赋予注释时设定的对象物的区域是否合适。以下，对本变形例，以不同于实施方式以及变形例1的点为中心进行说明。

参照图6，该图示出的鱼眼图像具有矩形形状的外形，是用对角线鱼眼透镜拍摄到的图像。在将这样的鱼眼图像变换为全景图像的情况下，得到图7所示的全景图像。在该全景图像中，例如，在两个区域Nb1以及Nb2中不存在像素，也即是不映现出图像。区域Nb1是与图6的鱼眼图像的顶部中央的区域Na1对应的区域。在从鱼眼图像向全景图像进行透视投影变换时，区域Nb1包含鱼眼图像内的区域Na1和区域Na1的周边的鱼眼图像外的区域而形成，为了使其信息量大幅度地降低，在全景图像中显示为不存在像素。同样地，区域Nb2是对应于图6的鱼眼图像中映现出拍摄图像的部分和其周围的不映现出拍摄图像的部分的边界附近的区域Na2的区域。因此，在从鱼眼图像向全景图像进行透视投影变换时，区域Nb2包含区域Na2和其周围的不映现的区域Na3而形成，为了使其信息量大幅度地降低，在全景图像中显示为不存在像素。因此，存在全景图像的区域Nb1以及Nb2在鱼眼图像中才会被映现出来的可能性。

由此，注释赋予装置30的控制部31在图8的步骤S106中，当处理者在全景图像上向图7的区域Nb1或Nb2那样的区域实施注释的赋予处理时，实施使该全景图像的鱼眼图像显示于显示部33的处理。从全景图像向鱼眼图像的显示变更处理，与变形例1所记载的处理是同样的。

另外，注释赋予装置30的控制部31，在图8的步骤S207中，当处理者在鱼眼图像上向图7的区域Na3那样的区域实施注释的赋予处理时，经由显示部33和/或未图示的声音发生装置发出警告。如上所述，存在在全景图像中不映现的区域会在鱼眼图像中映现的可能性，但是，在鱼眼图像不映现的区域在全景图像中也不会被映现。另外，注释赋予装置30的控制部31也可以将区域Na3附近的映现出拍摄图像的区域即区域Na2指示为近似值候选。此外，区域Na2是以鱼眼图像的中心C为中心、在半径方向内侧与区域Na3相邻的区域，是区域Na3的近似区域。

[效果等]

如上所述，实施方式的注释赋予系统100是针对鱼眼图像的注释赋予系统。注释赋予系统100具备：作为取得部的控制部11，该取得部取得作为第一数据保存部的变换前图像数据存储部24所保存的鱼眼图像；图像变换部14，其生成将鱼眼图像进行透视投影变换而得到的变换图像；作为提示部的控制部11，该提示部将变换图像向作为处理者的装置的注释赋予装置30发送；作为接受部的控制部11，该接受部从注释赋予装置30接受与在注释赋予装置30向变换图像赋予的注释有关的注释信息；坐标变换部15，其将注释信息所含的变换图像中的注释的坐标信息变换为鱼眼图像中的坐标；以及作为记录部的控制部11，该记录部将变换后的注释信息作为鱼眼图像中的注释信息记录于作为第二数据保存部的注释数据存储部26。此外，变换图像也可以是通过对鱼眼图像进行全景展开的变换得到的全景图像。

在上述的结构中，鱼眼图像暂时被变换为变换图像，在该变换图像上赋予注释。进而，被赋予的注释信息被变换成与鱼眼图像的坐标对应。由此，由于注释的赋予是在变换图像上完成的，因此，能够变得容易进行。被变换成与鱼眼图像的坐标对应的注释信息，作为将鱼眼图像设为对象的用于对象物的识别以及检测的学习用图像数据等信息，能够直接加以使用。因此，鱼眼图像上的注释的赋予会变得简易，并且，赋予的注释的利用变得容易。

实施方式的注释赋予系统100包括变换前图像数据存储部24以及注释数据存储部26，并且还具备与作为取得部以及记录部的控制部11进行通信的服务器装置20。进而，实施方式的注释赋予系统100还具备在变换前图像数据存储部24、注释数据存储部26以及注释赋予装置30之间，对信息流进行中继的注释中继装置10。注释中继装置10包括作为取得部、提示部、接受部以及记录部的控制部11、图像变换部14、坐标变换部15。

在上述的结构中，将存储大量的数据的变换前图像数据存储部24以及注释数据存储部26设为与控制部11相独立，由此，作为包含控制部11的装置的注释中继装置10的小型化成为可能。进而，使用注释赋予系统100的图像数据的构建者能够使注释赋予装置30以及服务器装置20成为自身以外的人的装置。例如，能够使注释赋予装置30为与构建者订立注释处理合同的合同人的装置，能够使服务器装置20为云服务器。由此，能够将注释赋予系统100的结构简略化。

在实施方式的变形例的注释赋予系统100中，作为提示部的控制部11从注释赋予装置30接受选择鱼眼图像以及变换图像中要提示的图像的指令，向注释赋予装置30发送所选择的图像，作为接受部的控制部11从注释赋予装置30接受与通过注释赋予装置30向所选择出的图像赋予的注释有关的注释信息。坐标变换部15在所选择的图像是变换图像的情况下，将注释信息所含的变换图像中的注释的坐标信息变换为鱼眼图像中的坐标，作为记录部的控制部11将变换后的注释信息作为鱼眼图像中的注释信息而记录于注释数据存储部26。坐标变换部15在所选择的图像是鱼眼图像的情况下，将注释信息作为鱼眼图像中的注释信息，作为记录部的控制部11将注释信息记录于注释数据存储部26。

在上述的结构中，使用注释赋予装置30进行注释的赋予的处理者，能够从鱼眼图像以及变换图像中选择容易进行注释的赋予的图像。因此，注释的赋予处理的简易化成为可能。

实施方式的变形例的注释赋予系统100具备作为通知部的控制部11。控制部11在与向作为选择的图像的变换图像赋予的注释有关的注释信息包含变换图像的第一区域的情况下，取代变换图像而将鱼眼图像向注释赋予装置30发送。控制部11在与向作为选择的图像的鱼眼图像赋予的注释有关的注释信息包含鱼眼图像的第二区域的情况下，向注释赋予装置30通知警告或注释的近似区域。此外，第一区域是在鱼眼图像映现而在变换图像不映现的区域，第二区域是鱼眼图像中不映现的区域。

在上述的结构中，在从鱼眼图像向变换图像进行透视投影变换的情况下，变换图像中包含伴随从鱼眼图像显著的失真而形成的部分。有时这样的部分在鱼眼图像中是被映现的，但在变换图像中不会被映现。也即是，存在如下可能性：与鱼眼图像相比，变换图像具有窄的映现区域。因此，有时在与向变换图像赋予的注释有关的注释信息包含变换图像的第一区域的情况下，将注释赋予装置30所显示的图像从变换图像设为鱼眼图像，由此，即便第一区域未被映现，但在鱼眼图像中是被映现出来的，能够赋予注释。另外，在与向鱼眼图像赋予的注释有关的注释信息包含鱼眼图像的第二区域的情况下，如果第二区域未被映现，则在变换图像中也不会映现出来。因此，在鱼眼图像中，在用注释设定的区域内包含不映现的部分的情况下，通过通知警告或注释的近似区域，能够使得在由注释设定的区域内不包含不映现的部分。此外，若在用注释设定的区域内包含不映现的部分，则有可能导致对象物在图像上不会被准确地识别出来。

另外，实施方式的注释赋予方法是对鱼眼图像的注释赋予方法。在该方法中，取得鱼眼图像，生成将鱼眼图像进行透视投影变换而得到的变换图像，向处理者提示变换图像，从处理者受理与向变换图像赋予的注释有关的注释信息的输入，将所输入的注释信息所含的变换图像上的注释的坐标信息变换为鱼眼图像上的坐标，记录变换后的注释信息来作为鱼眼图像中的注释信息。进而，变换图像也可以是通过将鱼眼图像进行全景展开的变换而得到的全景图像。

另外，在实施方式的变形例的注释赋予方法中，从处理者受理选择鱼眼图像以及变换图像中要提示的图像的输入，向处理者提示所选择的图像，从处理者受理与向所选择的图像赋予的注释有关的注释信息的输入，在所选择的图像是变换图像的情况下，将所输入的注释信息所含的变换图像中的注释的坐标信息变换为鱼眼图像中的坐标，记录变换后的注释信息来作为鱼眼图像中的注释信息，在所选择的图像是鱼眼图像的情况下，记录所输入的注释信息来作为鱼眼图像中的注释信息。

另外，在实施方式的变形例的注释赋予方法中，在从处理者受理了与向变换图像赋予的注释有关的注释信息的输入时，在所输入的注释信息包含变换图像的第一区域的情况下，取代变换图像而向处理者提示鱼眼图像，在从处理者受理了与向鱼眼图像赋予的注释有关的注释信息的输入时，在所输入的注释信息包含鱼眼图像的第二区域的情况下，向处理者提示警告或注释的近似区域。进而，第一区域是在鱼眼图像映现而在变换图像不映现的区域，第二区域是鱼眼图像中不映现的区域。

通过上述方法，能够获得与实施方式以及变形例的注释赋予系统100的效果同样的效果。此外，上述方法，也可以通过MPU、CPU、处理器、LSI等电路、IC卡或单体的模块等来实现。

另外，实施方式以及变形例中的处理，可以通过软件程序或包括软件程序的数字信号实现。例如，实施方式中的处理可通过如下那样的程序实现。

即，该程序取得鱼眼图像，生成将鱼眼图像进行透视投影变换而得到的变换图像，向处理者的装置提示变换图像，从处理者的装置受理与向变换图像赋予的注释有关的注释信息的输入，将所输入的注释信息所含的变换图像中的注释的坐标信息变换为鱼眼图像中的坐标，记录变换后的注释信息来作为鱼眼图像中的注释信息。

此外，上述程序以及包括上述程序的数字信号也可以记录于计算机可读的记录介质，例如软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray(注册商标)Disc)、半导体存储器等。

另外，上述程序以及包括上述程序的数字信号也可以是经由电通信线路、无线或有线通信线路、以因特网为代表的网络、数据广播等进行传送的信号。

另外，上述程序以及包括上述程序的数字信号也可以通过记录于记录介质并被移送或经由网络等被移送，由此，能通过独立的其他的计算机系统来实施。

[其他的变形例]

如上所述，在本申请中作为公开的技术的例示，对于实施方式以及变形例进行了说明。但是，本公开中的技术不限于此，也可以应用于进行了适当变更、置换、附加、省略等的实施方式的变形例或其他的实施方式。另外，将在实施方式以及变形例中说明的各构成要素组合，也可以形成为新的实施方式或变形例。

实施方式以及变形例的鱼眼透镜可以是自由曲面透镜。另外，实施方式以及变形例的透视投影变换可以是通过对透镜参数进行变换而进行的失真修正。

在实施方式以及变形例的注释赋予系统100中，服务器装置20、注释中继装置10、注释赋予装置30是独立的要素，相互分离地配置，但是不限定于此。例如，既可以是服务器装置20和注释中继装置10构成1个装置，还可以是注释中继装置10和注释赋予装置30构成1个装置。

实施方式以及变形例的注释赋予系统100用于构建深度学习等神经网络中的大量的学习用图像数据，但是不限于此，也可以应用于构建图像数据的任何的构成。

在实施方式以及变形例的注释赋予系统100中，作为变换前的图像数据，使用了鱼眼图像，但是不限于此，例如，也可以是由全方位摄像头拍摄到的图像。

此外，本公开的概括性或具体的方式，也可以通过系统、方法、集成电路、计算机程序或计算机可读的CD-ROM等记录介质实现。另外，本公开的概括性或具体的方式，也可以通过系统、方法、集成电路、计算机程序以及记录介质的任意的组合来实现。

如上所述，作为本公开中的技术的例示，说明了实施方式以及变形例。为此，提供了附图以及详细的说明。因此，在附图以及详细的说明中记载的构造要素中，不仅包含用于解决问题的必需的构成要素，还可以包括为了例示上述技术但不是用于解决问题的必需的构成要素。因此，不应凭借这些非必须的构造要素记载于附图和/或详细的说明而直接地认定为这些非必须的构成要素是必须的。另外，上述的实施方式以及变形例是用于例示本公开中的技术的内容，因此，在权利要求书或其等同的范围内能够进行各种变更、置换、附加、省略等。

产业上的可利用性

本公开能够利用于对鱼眼图像赋予注释的技术。

Claims (13)

1.一种注释赋予方法，是对鱼眼图像的注释赋予方法，包括：

取得鱼眼图像，

生成将所述鱼眼图像进行透视投影变换而得到的变换图像，

向处理者提示所述变换图像，

从所述处理者受理与向所述变换图像赋予的注释有关的注释信息的输入，

将所输入的所述注释信息所含的所述变换图像中的注释的坐标信息变换为所述鱼眼图像中的坐标，

记录变换后的所述注释信息来作为所述鱼眼图像中的注释信息。

2.根据权利要求1所述的注释赋予方法，

从所述处理者受理选择所述鱼眼图像以及所述变换图像中要提示的图像的输入，

向所述处理者提示所选择的图像，

从所述处理者受理与向所述所选择的图像赋予的注释有关的注释信息的输入，

在所述所选择的图像是所述变换图像的情况下，将所输入的所述注释信息所含的所述变换图像中的注释的坐标信息变换为所述鱼眼图像中的坐标，

记录变换后的所述注释信息来作为所述鱼眼图像中的注释信息，

在所述所选择的图像是所述鱼眼图像的情况下，记录所输入的所述注释信息来作为所述鱼眼图像中的注释信息。

3.根据权利要求2所述的注释赋予方法，

在从所述处理者受理了与向所述变换图像赋予的注释有关的注释信息的输入时，在所输入的所述注释信息包含所述变换图像的第一区域的情况下，取代所述变换图像而将所述鱼眼图像提示给所述处理者，

在从所述处理者受理了与向所述鱼眼图像赋予的注释有关的注释信息的输入时，在所输入的所述注释信息包含所述鱼眼图像的第二区域的情况下，向所述处理者提示警告或所述注释的近似区域。

4.根据权利要求3所述的注释赋予方法，

所述第一区域是在所述鱼眼图像映现、但在所述变换图像不映现的区域，

所述第二区域是所述鱼眼图像中不映现的区域。

5.根据权利要求1～4中任一项所述的注释赋予方法，

所述变换图像是通过将所述鱼眼图像进行全景展开的变换而得到的全景图像。

6.一种注释赋予系统，是对鱼眼图像的注释赋予系统，具备：

取得部，其取得第一数据保存部所保存的鱼眼图像；

图像变换部，其生成将所述鱼眼图像进行透视投影变换而得到的变换图像；

提示部，其向处理者的装置发送所述变换图像；

接受部，其从所述处理者的装置接受与在所述处理者的装置向所述变换图像赋予的注释有关的注释信息；

坐标变换部，其将所述注释信息所含的所述变换图像中的注释的坐标信息变换为所述鱼眼图像中的坐标；以及

记录部，其将变换后的所述注释信息作为所述鱼眼图像中的注释信息记录于第二数据保存部。

7.根据权利要求6所述的注释赋予系统，

还具备服务器装置，所述服务器装置具备所述第一数据保存部以及所述第二数据保存部，并且与所述取得部以及所述记录部进行通信。

8.根据权利要求6或7所述的注释赋予系统，

还具备注释中继装置，所述注释中继装置在所述第一数据保存部、所述第二数据保存部以及所述处理者的装置之间，对信息流进行中继，

所述注释中继装置包括所述取得部、所述图像变换部、所述提示部、所述接受部、所述坐标变换部以及所述记录部。

9.根据权利要求6～8中任一项所述的注释赋予系统，

所述提示部从所述处理者的装置接受选择所述鱼眼图像以及所述变换图像中要提示的图像的指令，并向所述处理者的装置发送所选择的图像，

所述接受部，从所述处理者的装置接受与在所述处理者的装置向所述所选择的图像赋予的注释有关的注释信息，

所述坐标变换部在所述所选择的图像是所述变换图像的情况下，将所述注释信息所含的所述变换图像中的注释的坐标信息变换为所述鱼眼图像中的坐标，

所述记录部将变换后的所述注释信息作为所述鱼眼图像中的注释信息而记录于所述第二数据保存部，

所述坐标变换部在所述所选择的图像是所述鱼眼图像的情况下，将所述注释信息作为所述鱼眼图像中的注释信息，

所述记录部将所述注释信息记录于所述第二数据保存部。

10.根据权利要求9所述的注释赋予系统，

还具备通知部，

所述通知部，

在与向作为所述所选择的图像的所述变换图像赋予的注释有关的注释信息包含所述变换图像的第一区域的情况下，取代所述变换图像而将所述鱼眼图像发送给所述处理者的装置，

在与向作为所述所选择的图像的所述鱼眼图像赋予的注释有关的注释信息包含所述鱼眼图像的第二区域的情况下，向所述处理者的装置通知警告或所述注释的近似区域。

11.根据权利要求10所述的注释赋予系统，

所述第一区域是在所述鱼眼图像映现、但在所述变换图像不映现的区域，

所述第二区域是所述鱼眼图像中不映现的区域。

12.根据权利要求6～11中任一项所述的注释赋予系统，

所述变换图像是通过将所述鱼眼图像进行全景展开的变换而得到的全景图像。

13.一种记录介质，是记录有程序的计算机能读取的非暂时性记录介质，

所述程序在由计算机执行时，使所述计算机执行包含以下的方法：

取得鱼眼图像，

生成将所述鱼眼图像进行透视投影变换而得到的变换图像，

向处理者的装置提示所述变换图像，

从所述处理者的装置受理与向所述变换图像赋予的注释有关的注释信息的输入，

将所输入的所述注释信息所含的所述变换图像中的注释的坐标信息变换为所述鱼眼图像中的坐标，

记录变换后的所述注释信息来作为所述鱼眼图像中的注释信息。