CN117099367A - 控制装置、控制方法及程序 - Google Patents

Abstract

控制装置是具备控制对监视区域进行监视的监视摄像机的处理器的控制装置。处理器进行如下处理：能够将监视摄像机的动作模式在第1监视模式与第2监视模式之间切换，所述第1监视模式检测并追踪在监视区域内存在的对象物，所述第2监视模式根据对监视摄像机进行的手动操作来拍摄对象物；将监视区域区分为第1区域和第2区域；及根据在第1区域内在第1监视模式下追踪的对象物进入到第2区域的情况，将动作模式从第1监视模式切换为第2监视模式。

Description

控制装置、控制方法及程序

技术领域

本发明的技术涉及一种控制装置、控制方法及程序。

背景技术

日本特表2006-523043号公报中记载有如下内容：检测移动物体并控制监视系统的方法包括适于接收来自至少一个像形成传感器的像信息的处理模块。监视系统对所捕获的像执行运动检测分析，并且在检测到移动物体时，以特定方法控制摄像机。

日本特开平11-250369号公报中记载有移动型火灾监视装置，其具有：监视摄像机，拍摄规定区域；监视侧控制设备，与监视摄像机相关地设置并处理监视相关信息；及操作侧控制设备，与监视侧控制设备通信来处理监视相关信息。

日本特开2004-056473号公报中记载有如下内容：在监视控制装置上设置根据学习结果输出与由摄像机摄影的图像对应的识别信息的神经网络(NW)、根据该识别信息实施控制的控制机构、暂时保存图像数据的短期存储机构、及记录该图像数据的存储机构，NW学习图像与由其图像表示的事件的紧急程度的关系，识别与摄像机的图像对应的紧急程度，控制机构控制通过NW的识别信息记录到存储机构的图像数据的帧速率。

发明内容

本发明的技术所涉及的一实施方式提供一种能够减轻用户在对象物监视方面的负担的控制装置、控制方法及程序。

用于解决技术课题的手段

本发明的控制装置是具备控制对监视区域进行监视的监视摄像机的处理器的控制装置，处理器进行如下处理：能够将监视摄像机的动作模式在第1监视模式与第2监视模式之间切换，所述第1监视模式检测并追踪在监视区域内存在的对象物，所述第2监视模式根据对监视摄像机进行的手动操作来拍摄对象物；将监视区域区分为第1区域和第2区域；及根据在第1区域内在第1监视模式下追踪的对象物进入第2区域的情况，将动作模式从第1监视模式切换为第2监视模式。

处理器优选进行如下处理：在第1监视模式下，通过使监视摄像机进行横摇及俯仰变更摄像范围来拍摄监视区域。

处理器优选进行如下处理：根据在第1区域内在第1监视模式下追踪的对象物进入第2区域的情况，使监视摄像机进行变更包括对象物的区域的变焦。

处理器优选进行如下处理：在第2监视模式下，根据手动操作，使监视摄像机进行横摇、俯仰及变焦中的至少任一个。

处理器优选进行如下处理：在第2监视模式下，将在手动操作后由监视摄像机拍摄的图像作为基于机器学习的教师数据输出。

处理器优选进行如下处理：在第2监视模式下，将手动操作的履历作为基于机器学习的教师数据输出。

第2监视模式优选是在第1监视模式的基础上根据对监视摄像机进行的手动操作来拍摄对象物的模式。

处理器优选进行如下处理：在第2监视模式下，检测映入到在手动操作后由监视摄像机拍摄的图像中的物体，并使监视摄像机进行横摇、俯仰及变焦中的至少任一个，由此追踪所检测的物体。

处理器优选进行如下处理：根据对象物离开所述第2区域的情况，将动作模式从第2监视模式切换为第1监视模式。

处理器优选进行如下处理：在第1监视模式下，使用基于机器学习的学习完成模型来检测对象物。

本发明的控制方法是控制对监视区域进行监视的监视摄像机的控制方法，所述控制方法包括：能够将监视摄像机的动作模式在第1监视模式与第2监视模式之间切换的步骤，所述第1监视模式检测并追踪在监视区域内存在的对象物，所述第2监视模式根据对监视摄像机进行的手动操作来拍摄对象物；将监视区域区分为第1区域和第2区域的步骤；及根据在第1区域内在第1监视模式下追踪的对象物进入第2区域的情况，将动作模式从第1监视模式切换为第2监视模式的步骤。

本发明的程序用于使计算机执行包括如下步骤的处理：

能够将监视摄像机的动作模式在第1监视模式与第2监视模式之间切换的步骤，所述第1监视模式检测并追踪在监视区域内存在的对象物，所述第2监视模式根据对监视摄像机进行的手动操作来拍摄对象物；将监视区域区分为第1区域和第2区域的步骤；及根据在第1区域内在第1监视模式下追踪的所述对象物进入第2区域的情况，将动作模式从第1监视模式切换为第2监视模式的步骤。

附图说明

图1是表示监视系统的整体结构的一例的概略结构图。

图2是对监视区域的区分进行说明的概念图。

图3是表示监视摄像机及管理装置的硬件结构的一例的框图。

图4是表示管理装置中所包括的CPU的功能的一例的框图。

图5是表示物体检测处理的一例的概念图。

图6是表示自动监视模式下的危险物的自动追踪的一例的概念图。

图7是表示从自动监视模式向手动监视模式的动作模式的切换的一例的概念图。

图8是表示手动监视模式下的手动PTZ的一例的概念图。

图9是表示监视处理的流程的一例的流程图。

图10是表示第1变形例所涉及的教师数据输出处理的概念图。

图11是表示第2变形例所涉及的教师数据输出处理的概念图。

图12是表示第3变形例所涉及的监视处理的流程的一例的流程图。

图13表示第3变形例所涉及的手动监视模式下的自动追踪的一例。

图14是表示存储于存储介质的摄像处理程序安装于计算机中的方式的一例的框图。

具体实施方式

以下，根据附图对本发明的技术所涉及的控制装置、控制方法及程序的一例进行说明。

首先，对以下说明中所使用的词语进行说明。

CPU是指“Central Processing Unit(中央处理器)”的简称。NVM是指“Non-volatile memory(非易失性存储器)”的简称。RAM是指“Random Acce ss Memory(随机存取存储器)”的简称。IC是指“Integrated Circuit(集成电路)”的简称。ASIC是指“Application Specific Integrated Circuit(专用集成电路)”的简称。PLD是指“Programmable Logic Device(可编程逻辑器件)”的简称。FPGA是指“Field-ProgrammableGate Array(现场可编程门阵列)”的简称。SoC是指“System-on-a-chip(系统单芯片)”的简称。SSD是指“Solid State Drive(固态驱动器)”的简称。USB是指“Univ ersal Serial Bus(通用串行总线)”的简称。HDD是指“Hard Disk Drive(硬盘驱动器)”的简称。EEPROM是指“Electrically Erasable and Programmable Read Only Memory(电可擦可编程只读存储器)”的简称。EL是指“El ectro-Luminescence(电致发光)”的简称。I/F是指“Interface(接口)”的简称。CMOS是指“Complementary Metal Oxide Semiconductor(互补金属氧化物半导体)”的简称。CCD是指“Charge Coupled Device(电荷耦合器件)”的简称。

SWIR是指“Short Wave Infra-Red(短波红外线)”的简称。LAN是指“Local AreaNetwork(局域网)”的简称。

作为一例，如图1所示，监视系统10具备监视摄像机12及管理装置16。监视系统10例如是监视建设现场的系统。监视摄像机12例如设置于建设现场附近的建筑物的屋顶上等高处。

管理装置16例如由监督建设现场的工作人员的现场监督员等用户使用。用户例如使用管理装置16监视建设现场在工作期间是否出现危险。尤其，用户使用管理装置16监视重型设备等危险物的移动。监视系统10是用于减轻用户的监视负担的系统。另外，危险物是本发明的技术所涉及的“对象物”的一例。

监视摄像机12具备摄像装置18及旋转装置20。摄像装置18例如通过接收由被摄体反射的可见波长带的光来拍摄被摄体。另外，摄像装置18可以通过接收作为由被摄体反射的短波红外波长带的光的近红外光来拍摄被摄体。短波红外波长带例如是指约900nm～2500nm的波长带。短波红外波长带的光一般也称为SWIR光。

摄像装置18安装于旋转装置20。旋转装置20使摄像装置18旋转。例如，旋转装置20将摄像装置18的摄像方向变更为横摇方向及俯仰方向。横摇方向例如是指水平方向。俯仰方向例如是指垂直方向。

旋转装置20具备基体22、横摇用旋转部件24及俯仰用旋转部件26。横摇用旋转部件24形成为圆柱状，安装于基体22的上表面。俯仰用旋转部件26形成为臂状，安装于横摇用旋转部件24的外周面。在俯仰用旋转部件26安装有摄像装置18。俯仰用旋转部件26通过围绕与水平方向平行的俯仰轴TA旋转，将摄像装置18的摄像方向变更为俯仰方向。

基体22从下方支承横摇用旋转部件24。横摇用旋转部件24通过围绕与垂直方向平行的横摇轴PA旋转，将摄像装置18的摄像方向变更为横摇方向。

在基体22内置有驱动源(例如，图3所示的横摇用马达24A及俯仰用马达26A)。基体22的驱动源机械连接于横摇用马达24A及俯仰用马达26A。例如，基体22的驱动源经由动力传递机构(省略图示)连结于横摇用旋转部件24及俯仰用旋转部件26。横摇用旋转部件24通过从基体22的驱动源接收动力而围绕横摇轴PA旋转，俯仰用旋转部件26通过从基体22的驱动源接收动力而围绕俯仰轴TA旋转。

如图1所示，监视系统10通过由摄像装置18拍摄设定在监视区域30内的摄像范围31而生成摄像图像。监视系统10进行横摇及俯仰，通过变更摄像范围31拍摄整个监视区域30。作为监视区域30的建设现场存在重型设备、工作人员等各种被摄体。重型设备包括吊车、铲车、滚轮车、推土机、自卸车等。

摄像装置18例如是具有未图示的图像传感器的数码摄像机。图像传感器接收表示被摄体的被摄体光，对所接收的被摄体光进行光电转换，并将与光接收量对应的信号电平的电信号作为图像数据输出。图像传感器所输出的图像数据与上述摄像图像对应。图像传感器是CMOS型图像传感器或CCD型图像传感器等。摄像装置18可以拍摄彩色图像，或者也可以拍摄单色图像。并且，摄像图像可以是静止图像，也可以是动态图像。

并且，摄像装置18具备变焦功能。变焦功能是指缩小或放大(即，zoom in或zoomout)摄像范围31的功能。摄像装置18所具备的变焦功能是通过移动变焦透镜进行的光学变焦功能或通过对图像数据实施图像处理进行的电子变焦功能。另外，摄像装置18所具备的变焦功能可以是组合光学变焦功能与电子变焦功能的方式。

管理装置16具备管理装置主体13、接收器件14及显示器15。管理装置主体13内置计算机40(参考图3)，控制整个监视系统10。管理装置主体13上连接有接收器件14及显示器15。

接收器件14从使用监视系统10的用户接收各种指示。作为接收器件14，例如可以举出键盘、鼠标和/或触摸面板等。通过管理装置主体13掌握利用接收器件14接收的各种指示。显示器15在管理装置主体13的控制下显示各种信息(例如，图像及文本等)。作为显示器15，例如可以举出液晶显示器或EL显示器等。

监视摄像机12经由管理装置16和通信网NT(互联网或LAN等)可通信地连接，并在管理装置主体13的控制下进行操作。监视摄像机12与管理装置16的连接方式可以是有线连接方式，也可以是无线连接方式。

管理装置16获取从监视摄像机12的摄像装置18输出的摄像图像，并使用基于机器学习的学习完成模型来检测映入到摄像图像中的危险物(重型设备、吊货等)。当检测到特定物体时，管理装置16使监视摄像机12进行横摇、俯仰及变焦以追踪所检测到的物体。以下，将通过横摇、俯仰及变焦改变摄像范围31的动作称为“PTZ”。另外，将根据映入到摄像图像中的物体的检测结果改变摄像范围31的动作称为“自动PTZ”。

并且，管理装置16能够进行根据用户对接收器件14的操作改变摄像范围31的动作。以下，将根据提供给接收器件14的指示改变摄像范围31的动作称为“手动PTZ”。在手动PTZ中，用户通过操作接收器件14，能够在监视区域30内将摄像范围31设定为任意位置及大小。

并且，以下，将通过自动PTZ检测并追踪在监视区域30中存在的对象物的动作模式称为“自动监视模式”。并且，将在自动监视模式的基础上使根据对监视摄像机12进行的手动操作来拍摄对象物的情况有效的摄像模式称为“手动监视模式”。即，作为一例，“手动监视模式”是使在“自动监视模式”下检测并追踪的对象物的追踪继续(继续执行“自动监视模式”)，并且根据手动操作拍摄对象物的摄像模式。

用户能够对于监视系统10的监视模式，进行在自动监视模式与手动监视模式之间切换的切换操作。另外，自动监视模式是本发明的技术所涉及的“第1监视模式”的一例。手动监视模式是本发明的技术所涉及的“第2监视模式”的一例。另外，作为“第2监视模式”的一例即“手动监视模式”也可以通过经由接收器件14的用户指示使“自动监视模式”的功能、即对在自动监视模式下检测出的对象物进行追踪的功能无效(即，不执行自动监视模式)。

管理装置16将监视区域30区分为多个区，并监视危险物等的移动。作为一例，如图2所示，管理装置16将监视区域30分割为6个区，将6个区中的1个区设为关注区R2，并且将剩余5个区设为一般区R1。关注区R2是进行建设工程且风险高的区。在图2所示的例子中，关注区R2是多个危险物(重型设备等)聚集进行作业的区域。另外，一般区R1是本发明的技术所涉及的“第1区域的一例。关注区R2是本发明的技术所涉及的“第2区域”的一例。

预先设定表示监视区域30内的一般区R1及关注区R2的区信息RI(参考图3及图4)。例如，管理装置16在监视区域30内将决定进行使用重型设备的作业的区设定为关注区R2。管理装置16将一般区R1及关注区R2的位置坐标与监视摄像机12的横摇及俯仰的量建立关联来管理。由此，管理装置16能够掌握通过监视摄像机12拍摄的摄像范围31与一般区R1和关注区R2中的哪一个对应。

另外，区信息RI可以是动态变化的信息，而不是预先设定的信息。例如，在监视区域30内，可以将重型设备或作业人员的移动大的区设定为关注区R2。例如，监视区域30对从监视摄像机12的摄像装置18输出的摄像图像内的各位置求出移动矢量，并将移动量大的区设定为关注区R2。该情况下，若移动量大的区发生变化，则监视区域30变更关注区R2。

另外，一般区R1及关注区R2的各形状并不限定于矩形。当根据移动矢量设定关注区R2的情况下，可以配合移动量大的区的形状而动态地改变关注区R2的形状。

管理装置16在监视区域30内使监视摄像机12进行横摇及俯仰，例如，沿图2所示的路径32变更摄像范围31的位置，由此监视整个监视区域30。在图2所示的例子中，监视整个监视区域30的情况下的摄像范围31的大小大于关注区R2，但摄像范围31的大小也可以小于关注区R2。

作为一例，如图3所示，监视摄像机12的旋转装置20具备控制器34。控制器34在管理装置16的控制下控制横摇用马达24A、俯仰用马达26A及摄像装置18的动作。

管理装置16的管理装置主体13具备计算机40。计算机40具有CPU42、NVM44、RAM46及通信I/F48。管理装置16是本发明的技术所涉及的“控制装置”的一例。计算机40为本发明的技术所涉及的“计算机”的一例。CPU42为本发明的技术所涉及的“处理器”的一例。

CPU42、NVM44、RAM46及通信I/F48连接于总线49。在图3所示的例子中，为了方便图示，作为总线49，图示出一条总线，但也可以为多条总线。总线49可以为串行总线，也可以为包括数据总线、地址总线及控制总线等的并行总线。

NVM44存储各种数据。在此，作为NVM44的一例，可以举出EEPROM、SS D、和/或HDD等各种非易失性存储装置。RAM46暂时存储各种信息，且用作工作存储器。作为RAM46的一例，可以举出DRAM或SRAM等。

NVM44存储程序PG。CPU42从NVM44读出所需的程序，并在RAM46上执行所读出的程序PG。CPU42通过按照程序PG执行处理，控制包括管理装置16的整个监视系统10。

通信I/F48是通过FPGA等硬件资源实现的接口。通信I/F48经由通信网NT与监视摄像机12的控制器34可通信地连接，在CPU42与控制器34之间进行各种信息的收发。

总线49还连接有接收器件14及显示器15，CPU42按照通过接收器件14接收的指示进行动作，且对显示器15显示各种信息。

并且，NVM44存储有用于进行上述物体检测的学习完成模型LM。学习完成模型LM是通过使用多个教师数据进行机器学习而生成的物体检测用学习完成模型。另外，NVM44存储教师数据TD。教师数据TD是用于对学习完成模型LM进行追加学习的追加学习用教师数据。教师数据TD是在手动监视模式时获取的基于用户操作的数据。

并且，NVM44中存储有上述区信息RI。

作为一例，如图4所示，CPU42根据程序PG执行动作，由此实现多个功能部。程序PG使CPU42作为摄像机控制部50、图像获取部52、显示控制部53、物体检测部54、教师数据输出部55发挥作用。

摄像机控制部50通过控制监视摄像机12的控制器34，使摄像装置18进行摄像动作及变焦，并且使旋转装置20进行横摇及俯仰。即，摄像机控制部50使监视摄像机12进行摄像动作，并且改变摄像范围31。

并且，摄像机控制部50进行将监视摄像机12的动作模式在自动监视模式与手动监视模式之间切换的切换控制。当为自动监视模式的情况下，摄像机控制部50执行根据由物体检测部54进行的物体检测结果改变摄像范围31的自动PTZ。当为手动监视模式的情况下，摄像机控制部50使在自动PTZ的基础上根据提供给接收器件14的指示改变摄像范围31的手动PTZ有效。

图像获取部52通过由摄像机控制部50使监视摄像机12进行拍摄，获取从监视摄像机12输出的摄像图像P。图像获取部52将从监视摄像机12获取的摄像图像P供给到显示控制部53。显示控制部53使从图像获取部52供给的摄像图像P显示在显示器15上。

并且，当为自动监视模式的情况下，图像取得部52将从监视摄像机12获取的摄像图像P供给到物体检测部54。并且，当为手动监视模式的情况下，图像取得部52将从监视摄像机12获取的摄像图像P供给到物体检测部54及教师数据输出部55。

物体检测部54使用存储于NVM44的学习完成模型LM，进行检测映入到摄像图像P的危险物的危险物检测处理。物体检测部54检测到危险物时，将危险物的检测结果供给到表示控制部53及摄像机控制部50。显示控制部53根据从物体检测部54供给的检测结果，将所检测到的危险物可识别地显示在显示器15上。摄像机控制部50根据从物体检测部54供给的检测结果改变摄像范围31的位置，以使所检测到的危险物位于摄像范围31的中央。即，摄像机控制部50改变摄像范围31的位置，以追踪危险物。

并且，摄像机控制部50追踪在一般区R1中检测到的危险物，根据该危险物进入关注区R2的情况，进行变更包括危险物的区域的变焦，且将监视摄像机12的动作模式从自动监视模式切换为手动监视模式。用户在手动监视模式下，通过手动PTZ变更摄像范围31，由此能够进行危险物的详细确认。

教师数据输出部55在手动监视模式下，根据用户使用接收器件14对监视摄像机12进行的手动操作，生成教师数据TD并输出。教师数据输出部55所输出的教师数据TD由NVM44存储。教师数据TD例如是手动操作的履历(即，手动PTZ所涉及的操作量)。即，在手动监视模式下，用户进行危险物的详细确认时，其手动操作的履历作为教师数据TD输出。

学习完成模型LM使用神经网络而构成。学习完成模型LM例如使用成为深度学习(Deep Learning)的对象的多层神经网络即深度神经网络(DNN：Deep Neural Network)而构成。作为DNN，例如使用将图像作为对象的卷积神经网络(CNN：Convolutional NeuralNetwork)。

图5表示由使用了学习完成模型LM的物体检测部54进行的物体检测处理的一例。在本实施方式中，学习完成模型LM由CNN构成。物体检测部54将摄像图像P作为输入图像输入到学习完成模型LM。学习完成模型LM通过卷积层生成表示摄像图像P的特征量的特征图FM。

物体检测部54使各种尺寸的窗口W在特征图FM滑动，判定在窗口W内是否存在物体候选。物体检测部54判定出窗口W内存在物体候选的情况下，从特征图FM剪切包括物体候选的窗口W内的图像60，将剪切的图像60输入到分类器。分类器输出图像60中所包括的物体候选的标签及分数。标签表示物体的种类。分数表示物体候选是由标签表示的种类的物体的概率。物体检测部54根据标签及分数，判定物体候选是否为危险物(重型设备等)，当为危险物的情况下，输出危险物的检测信息。在图5所示的例子中，映入到摄像图像P的吊车被检测为危险物K。

另外，图5所示的例子中，从摄像图像P检测到1个危险物K，但有时也检测到2个以上的危险物K。

图6表示自动监视模式下的危险物K的自动追踪的一例。如上述，在自动监视模式下，沿设定在监视区域30内的路径32(参考图2)变更摄像范围31的位置的同时，每次变更摄像范围31的位置时，通过物体检测部54进行危险物检测处理。作为一例，如图6所示，在一般区R1中从摄像范围31内检测到危险物K时，摄像机控制部50变更摄像范围31的位置，以追踪危险物K。图6所示的例子中，配合危险物K的移动，使监视摄像机12进行横摇及俯仰，由此变更摄像范围31的位置，以使危险物K位于中央。

另外，通过危险物检测处理检测到2个以上的危险物的情况下，摄像机控制部50例如根据标签及分数，将1个危险物作为追踪对象。

图7表示从自动监视模式向手动监视模式的动作模式的切换的一例。作为一例，如图7所示，摄像机控制部50检测到所追踪的危险物K进入关注区R2的情况下，使监视摄像机12进行变焦，以放大包括危险物K的区域。由此，危险物K在摄像图像P内放大显示。并且，摄像机控制部50检测到所追踪的危险物K进入关注区R2的情况下，将动作模式从自动监视模式切换为手动监视模式。用户通过放大显示危险物K，能够确认危险物K。用户若想进一步详细确认危险物K的一部分等情况下，能够通过手动PTZ变更摄像范围31。

图8表示手动监视模式下的手动PTZ的一例。作为一例，如图8所示，摄像机控制部50根据用户对接收器件14的操作改变摄像范围31。在图8所示的例子中，用户关注作为危险物K的吊车的吊钩H的下方区域部分，并进行手动PTZ，以放大吊钩H的下方区域。其原因在于，当为吊车的情况下，吊钩H的下方(当吊钩H上悬挂有吊货的情况下，为吊货的下方)风险高，对于是否存在作业人员等，优选进行详细确认。这样，在危险物K中用户为了进行详细确认而关注的关注区域根据危险物K的种类而不同。例如，当危险物K为滚轮车的情况下，用户将滚轮前方部分作为关注区域，并详细确认作业人员等是否存在。

用户进行手动PTZ之后，教师数据输出部55将手动PTZ所涉及的操作量(横摇操作量、俯仰操作量及变焦操作量)作为教师数据TD输出。通过物体检测检测危险物K中用户为了进行详细确认而关注的关注区域并不容易，但通过进行使用了表示为了进行详细确认的手动操作的履历的教师数据TD的机器学习，除了危险物K的检测之外，还能够进行关注区域的推定。

接着，参考图9对监视系统10的作用进行说明。

图9表示通过CPU42执行的监视处理的流程的一例的流程图。另外，图9所示的监视处理的流程是本发明的技术所涉及的“控制方法”的一例。并且，在此，为了便于说明，以由摄像装置18进行的摄像以规定的帧速率执行为前提进行说明。

图9所示的监视处理中，首先，在步骤S10中，摄像机控制部50开始自动监视模式。开始自动监视模式时，通过监视摄像机12，将设定在监视区域30内的摄像范围31(参考图2)作为对象进行摄像动作。步骤S10之后，监视处理转移到步骤S11。

在步骤S11中，图像获取部52获取从监视摄像机12输出的摄像图像P，将所获取的摄像图像P供给到物体检测部54。此时，摄像图像P经由显示控制部53显示在显示器15上。步骤S11之后，监视处理转移到步骤S12。

在步骤S12中，物体检测部54使用学习完成模型LM，进行从摄像图像P检测危险物K的危险物检测处理(参考图5)。步骤S12之后，监视处理转移到步骤S13。

在步骤S13中，摄像机控制部50判定通过物体检测部54是否检测到危险物K。在步骤S13中，当未检测到物体的情况下，判定为否定，监视处理转移到步骤S14。在步骤S13中，当检测到物体的情况下，判定为肯定，监视处理转移到步骤S15。

在步骤S14中，摄像机控制部50通过使监视摄像机12进行横摇或俯仰，沿着路径32(参考图2)将摄像范围31变更为横摇方向或俯仰方向。步骤S14之后，监视处理返回步骤S11。在步骤S11中，再次通过图像获取部52进行摄像图像获取处理。

在步骤S15中，摄像机控制部50进行根据通过物体检测部54检测到的危险物K的检测结果改变摄像范围31的自动PTZ(参考图6)。即，摄像机控制部50自动追踪危险物K。步骤S15之后，监视处理转移到步骤S16。

在步骤S16中，摄像机控制部50判定追踪中的危险物K是否从一般区R1进入了关注区R2。危险物K是否进入了关注区R2的判定例如根据有关监视摄像机12的横摇及俯仰的坐标与关注区R2的坐标之间的关系来判定。在步骤S16中，追踪中的危险物K未进入关注区R2的情况下，判定为否定，监视处理返回步骤S15。在步骤S16中，当追踪中的危险物K进入到关注区R2的情况下，判定为肯定，监视处理转移到步骤S17。

在步骤S17中，摄像机控制部50使监视摄像机12进行变焦，以放大包括危险物K的区域(参考图7)。步骤S17之后，监视处理转移到步骤S18。

在步骤S18中，摄像机控制部50将监视摄像机12的动作模式从自动监视模式转换为手动监视模式。步骤S18之后，监视处理转移到步骤S19。

在步骤S19中，摄像机控制部50根据用户提供给接收器件14的指示，进行改变摄像范围31的手动PTZ(参考图8)。另外，在用户未进行手动PTZ的情况下，摄像机控制部50通过自动PTZ自动追踪危险物K。步骤S19之后，监视处理转移到步骤S20。

在步骤S20中，教师数据输出部55将手动PTZ所涉及的操作量(横摇操作量、俯仰操作量及变焦操作量)作为教师数据TD输出(参考图8)。步骤S20之后，监视处理转移到步骤S21。

在步骤S21中，摄像机控制部50根据用户提供给接收器件14的指示，进行改变摄像范围31的手动PTZ。即，用户继续通过手动PTZ进行手动监视。另外，在用户未进行手动PTZ的情况下，摄像机控制部50通过自动PTZ自动追踪危险物K。步骤S21之后，监视处理转移到步骤S22。

在步骤S22中，摄像机控制部50判定追踪中的危险物K是否离开了关注区R2。追踪中的危险物K是否离开了关注区R2的判定例如根据有关监视摄像机12的横摇及俯仰的坐标与关注区R2的坐标之间的关系来判定。在步骤S22中，追踪中的危险物K离开了关注区R2的情况下，监视处理返回步骤S10。在步骤S22中，追踪中的危险物K未离开关注区R2的情况下，监视处理转移到步骤S23。

在步骤S23中，摄像机控制部50判定是否满足结束监视处理的条件(以下，称为“结束条件”)。作为结束条件的一例，可以举出由接收器件14接收到结束监视处理的指示的条件。在步骤S23中，当不满足结束条件的情况下，判定为否定，监视处理返回步骤S21。在步骤S23中，当满足结束条件的情况下，判定为肯定，结束监视处理。

如以上说明，作为控制装置的管理装置16能够在第1监视模式(自动监视模式)与第2监视模式(手动监视模式)之间切换，所述第2监视模式在第1监视模式的基础上使根据对监视摄像机12进行的手动操作来拍摄对象物的情况有效。管理装置16将监视区域30区分为第1区域(一般区R1)和第2区域(关注区R2)，并且根据在第1区域内在第1监视模式下追踪的对象物(危险物K)进入到第2区域的情况，将动作模式从第1监视模式切换为第2监视模式。由此，能够减轻用户在对象物监视方面的负担。

并且，管理装置16在第1监视模式下使监视摄像机12进行横摇及俯仰来变更摄像范围31，由此拍摄监视区域30，因此能够使监视区域30比摄像范围31更扩展。

并且，管理装置16根据在第1区域内在自动监视模式下追踪的对象物进入第2区域的情况，使监视摄像机12进行变更包括对象物的区域的变焦，因此能够减轻用户在变焦操作方面的负担的用户的负担。

并且，管理装置16在第2监视模式下根据手动操作使监视摄像机进行横摇、俯仰及变焦中的至少任一个，因此用户能够以自己的意图确认对象物的详细情况。

并且，管理装置16在第2监视模式下将手动操作的履历作为基于机器学习的教师数据输出，因此能够有效地收集用于实现监视精度的提高的教师数据TD。

并且，管理装置16根据对象物离开第2区域的情况，将动作模式从第2监视模式切换为第1监视模式，因此能够减轻用户在对象物监视方面的负担。并且，管理装置16在第1监视模式下使用基于机器学习的学习完成模型检测对象物，因此能够减轻用户在对象物监视方面的负担。

以下，对上述实施方式的各种变形例进行说明。

[第1变形例]

在上述实施方式中，教师数据输出部55将手动操作(手动PTZ)所涉及的操作量(横摇操作量、俯仰操作量及变焦操作量)作为教师数据TD输出。取而代之，在第1变形例中，如作为一例的图10所示，教师数据输出部55将手动操作前后的摄像范围31的坐标作为教师数据TD输出。在图10所示的例子中，(xa1，ya1)及(xb1，yb1)分别表示手动操作前的摄像范围31的左上坐标及右下坐标。(xa2，ya2)及(xb2，yb2)分别表示手动操作后的摄像范围31的左上坐标及右下坐标。

[第2变形例]

在第2变形例中，如作为一例的图11所示，教师数据输出部55将在手动操作(手动PTZ)后由监视摄像机12拍摄的摄像图像P作为教师数据TD输出。手动操作后的摄像图像P表示用户所关注的关注区域，因此对映入到手动操作后的摄像图像P内的重型设备等结构物(例如，重型设备的轮胎、三角锥等)的特征进行机器学习，由此能够自动推定在包括危险物K的图像内用户所关注的区域。

[第3变形例]

在上述实施方式中，危险物K进入关注区R2，在手动监视模式下进行手动操作，由此教师数据输出部55输出教师数据TD之后，直到危险物K离开关注区R2之前的期间，继续进行手动监视。相对于此，在第3变形例中，在手动监视模式下进行手动操作，由此教师数据输出部55输出教师数据TD之后，通过手动操作将用户所关注的关注区域内的物体设定为追踪对象，直到危险物体K离开关注区域R2之前的期间，进行自动追踪。

图12表示本变形例所涉及的监视处理的流程的一例。在本变形例中，在步骤S20与步骤S22之间，代替图9所示的步骤S21，执行步骤S30及步骤S31。在本变形例中，在步骤S20中，教师数据输出部55输出教师数据TD之后，监视处理转移到步骤S30。

在步骤S30中，摄像机控制部50将映入到在手动操作后由监视摄像机12拍摄的摄像图像P内的物体设定为追踪对象。例如，摄像机控制部50根据通过物体检测部54检测的物体检测的结果设定为追踪对象。步骤S30之后，监视处理转移到步骤S31。

在步骤S31中，摄像机控制部50通过执行自动PTZ来变更摄像范围31，以追踪追踪对象。摄像机控制部50使监视摄像机12进行横摇、俯仰及变焦中的至少任一个。步骤S31之后，监视处理转移到步骤S22。

另外，在本变形例中，在步骤S23中判定为否定的情况下，监视处理返回步骤S31。

图13表示基于上述步骤S30及S31的自动追踪的一例。作为一例，如图13所示，例如，作为映入到手动操作后的摄像图像P内的物体，摄像机控制部50将吊车的吊钩H设定为追踪对象，执行自动PTZ，以追踪吊钩H。

这样，根据本变形例，能够自动追踪用户在手动监视模式下详细确认的部分，能够减轻用户在对象物监视方面的负担。

另外，在上述实施方式及上述各变形例中，在自动监视模式下使监视摄像机12进行横摇及俯仰，在监视区域30内沿路径32(参考图2)移动摄像范围31，由此对监视区域30进行监视。取而代之，也可以构成为使监视摄像机12不进行横摇及俯仰，而将视角设为“广角”，以使监视摄像机12的摄像范围31包括整个监视区域30，进行俯视监视区域30的拍摄。

该情况下，摄像机控制部50根据俯视图像追踪危险物K，追踪中的危险物K进入关注区R2的情况下，将动作模式切换为手动监视模式，并且将监视摄像机12的视角切换为“标准”。之后，通过用户的手动操作，监视摄像机12的视角切换为“长焦”，进行详细确认。另外，“广角”、“标准”及“长焦”表示相对的关系，并非表示变焦透镜的焦点距离的两端及中央等限定位置。

并且，在上述各实施方式中，在NVM44(参考图3)存储有监视处理用程序PG，但本发明的技术并不限定于此，作为一例，如图14所示，也可以在作为SSD或USB存储器等非暂时存储介质的任意便携型存储介质100中存储程序PG。该情况下，存储在存储介质100中的程序PG安装在计算机40中，CPU42根据程序PG执行上述监视处理。

并且，也可以在经由通信网(省略图示)连接于计算机40的其他计算机或服务器装置等的存储装置预先存储程序PG，根据管理装置16的请求，将程序PG下载到计算机40中并进行安装。该情况下，根据所安装的程序PG，通过计算机40执行监视处理。

作为执行上述监视处理的硬件资源，能够使用以下所示的各种处理器。作为处理器，例如，如上所述，可以举出通过执行软件即程序PG而作为执行监视处理的硬件资源发挥作用的通用的处理器即CPU。并且，作为处理器，例如可以举出FPGA、PLD或ASIC等具有为了执行特定处理而专门设计的电路结构的处理器即专用电路。在任何处理器中都内置或连接有存储器，任何处理器都通过使用存储器来执行监视处理。

执行监视处理的硬件资源可以由这些各种处理器中的一个构成，也可以由相同种类或不同种类的两个以上的处理器的组合(例如，多个FPGA的组合或CPU与FPGA的组合)构成。并且，执行监视处理的硬件资源也可以为一个处理器。

作为由一个处理器构成的例子，第一，有如下方式：以用户端及服务器等计算机为代表那样地，以一个以上的CPU与软件的组合构成一个处理器，且该处理器作为执行监视处理的硬件资源发挥作用。第二，有如下方式：使用以So C等为代表那样地，由一个IC芯片实现包括执行监视处理的多个硬件资源的整个系统的功能的处理器的方式。这样，使用上述各种处理器中的一个以上作为硬件资源来实现监视处理。

另外，作为这些各种处理器的硬件结构，更具体而言，能够使用将半导体元件等电路元件组合而成的电路。

并且，上述的监视处理仅仅是一例。因此，在不脱离宗旨的范围内，当然可以删除不必要的步骤，或者追加新的步骤，或者调换处理顺序。

以上所示的记载内容及图示内容为针对本发明的技术所涉及的部分的详细情况的说明，只不过是本发明的技术的一例。例如，与上述结构、功能、作用及效果有关的说明为与本发明的技术所涉及的部分的结构、功能、作用及效果的一例有关的说明。因此，在不脱离本发明的技术宗旨的范围内，当然可以对以上所示的记载内容及图示内容删除不必要的部分，或者追加或替换新的要件。并且，为了避免错综复杂的情况，并且容易理解本发明的技术所涉及的部分，在以上所示的记载内容及图示内容中省略了关于在能够实施本发明的技术的方面不需要特别说明的技术常识等的说明。

在本说明书中，“A和/或B”的含义与“A及B中的至少一个”相同。即，“A和/或B”的含义是可以仅为A，也可以仅为B，也可以为A与B的组合。并且，在本说明书中，将3个以上的事项用“和/或”连结而表现的情况也适用与“A和/或B”相同的思路。

本说明书中所记载的所有文献、专利申请及技术标准与具体地且分别地记载通过参考而被并入的各个文献、专利申请及技术标准的情况相同程度地，通过参考而被并入本说明书中。

Claims (12)

1.一种控制装置，具备控制对监视区域进行监视的监视摄像机的处理器，

所述处理器进行如下处理：

能够将所述监视摄像机的动作模式在第1监视模式与第2监视模式之间切换，所述第1监视模式检测并追踪在所述监视区域内存在的对象物，所述第2监视模式根据对所述监视摄像机进行的手动操作来拍摄所述对象物；

将所述监视区域区分为第1区域和第2区域；及

响应在所述第1区域内在所述第1监视模式下追踪的所述对象物进入所述第2区域这一情况，将所述动作模式从所述第1监视模式切换为所述第2监视模式。

2.根据权利要求1所述的控制装置，其中，

所述处理器进行如下处理：

在所述第1监视模式下，通过使所述监视摄像机进行横摇及俯仰而变更摄像范围，从而拍摄所述监视区域。

3.根据权利要求1或2所述的控制装置，其中，

所述处理器进行如下处理：

响应在所述第1区域内在所述第1监视模式下追踪的所述对象物进入所述第2区域这一情况，使所述监视摄像机进行变更包括所述对象物的区域的变焦。

4.根据权利要求3所述的控制装置，其中，

所述处理器进行如下处理：

在所述第2监视模式下，根据所述手动操作，使所述监视摄像机进行横摇、俯仰及变焦中的至少任一个。

5.根据权利要求4所述的控制装置，其中，

所述处理器进行如下处理：

在所述第2监视模式下，将在所述手动操作后由所述监视摄像机拍摄的图像作为基于机器学习的教师数据输出。

6.根据权利要求4所述的控制装置，其中，

所述处理器进行如下处理：

在所述第2监视模式下，将所述手动操作的履历作为基于机器学习的教师数据输出。

7.根据权利要求1至6中任一项所述的控制装置，其中，

所述第2监视模式是在所述第1监视模式的基础上根据对所述监视摄像机进行的手动操作来拍摄所述对象物的模式。

8.根据权利要求7所述的控制装置，其中，

所述处理器进行如下处理：

在所述第2监视模式下，检测在所述手动操作后由所述监视摄像机拍摄的图像中显现的物体，并使所述监视摄像机进行横摇、俯仰及变焦中的至少任一个，由此追踪所检测的物体。

9.根据权利要求1至8中任一项所述的控制装置，其中，

所述处理器进行如下处理：

响应所述对象物离开所述第2区域这一情况，将所述动作模式从所述第2监视模式切换为所述第1监视模式。

10.根据权利要求1至9中任一项所述的控制装置，其中，

所述处理器进行如下处理：

在所述第1监视模式下，使用基于机器学习的学习完成模型来检测所述对象物。

11.一种控制方法，控制对监视区域进行监视的监视摄像机，所述控制方法包括以下处理：

能够将所述监视摄像机的动作模式在第1监视模式与第2监视模式之间切换，所述第1监视模式检测并追踪在所述监视区域内存在的对象物，所述第2监视模式根据对所述监视摄像机进行的手动操作来拍摄所述对象物；

将所述监视区域区分为第1区域和第2区域；及

响应在所述第1区域内在所述第1监视模式下追踪的所述对象物进入所述第2区域这一情况，将所述动作模式从所述第1监视模式切换为所述第2监视模式。

12.一种程序，其用于使计算机执行处理，该处理包含：

能够将监视摄像机的动作模式在第1监视模式与第2监视模式之间切换，所述第1监视模式检测并追踪在监视区域内存在的对象物，所述第2监视模式根据对所述监视摄像机进行的手动操作来拍摄所述对象物；

将所述监视区域区分为第1区域和第2区域；及

响应在所述第1区域内在所述第1监视模式下追踪的所述对象物进入所述第2区域这一情况，将所述动作模式从所述第1监视模式切换为所述第2监视模式。