CN115004269B - 监视装置、监视方法及程序 - Google Patents

监视装置、监视方法及程序 Download PDF

Info

Publication number
CN115004269B
CN115004269B CN202080092771.1A CN202080092771A CN115004269B CN 115004269 B CN115004269 B CN 115004269B CN 202080092771 A CN202080092771 A CN 202080092771A CN 115004269 B CN115004269 B CN 115004269B
Authority
CN
China
Prior art keywords
monitoring
abnormality
captured image
model
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080092771.1A
Other languages
English (en)
Other versions
CN115004269A (zh
Inventor
伊达尚范
早石直广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keisuugiken Corp
Original Assignee
Keisuugiken Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keisuugiken Corp filed Critical Keisuugiken Corp
Publication of CN115004269A publication Critical patent/CN115004269A/zh
Application granted granted Critical
Publication of CN115004269B publication Critical patent/CN115004269B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种监视装置，其能够适当地检测与监视对象的多个种类中的在拍摄图像中包含的监视对象的种类相对应的异常。监视装置(1)具备：拍摄图像取得部(11)，拍摄监视对象的拍摄图像；判定部(13)，判定拍摄图像中包含的监视对象的种类；异常检测部(16)，通过将拍摄图像应用于监视用模型来检测异常，所述监视用模型是与由判定部(13)判定的监视对象的种类相对应的监视用模型，并且用于检测与拍摄图像中包含的监视对象相关的异常；以及输出部(17)，在由异常检测部(16)检测到异常的情况下，进行与异常的检测相关的输出。根据这种结构，能够使用与拍摄图像中包含的监视对象的种类相对应的监视用模型来检测异常，能够进行与实际拍摄到的监视对象相对应的异常检测。

Description

监视装置、监视方法及程序
技术领域
本发明涉及一种使用用于检测异常的模型来检测与拍摄图像中包含的监视对象相关的异常的监视装置等。
背景技术
以往，使用拍摄图像，进行自动地检测交通事故或者检测烟(例如，参照日本特开2016-110263号公报)。因此，例如，在监视对象确定的情况下，能够通过使用这种以往技术，来从拍摄图像中检测交通事故，或者检测烟，能够迅速地应对交通事故和火灾。
发明内容
本发明所要解决的技术问题
然而，在上述以往技术中，像是为了检测交通事故，使用用于检测交通事故的装置，为了检测火灾，使用用于检测烟的装置等那样，按照检测对象的每个异常，使用的装置不同，因此需要准备与监视目的相应的装置，因此是繁琐的。
本发明是为了解决上述技术问题而提出的，其目的在于提供能够适当地检测与多种监视对象中的包含在拍摄图像中的监视对象的种类相应的异常的装置等。
用于解决技术问题的技术方案
为了实现上述目的，根据本发明的监视装置具备：拍摄图像取得部，拍摄监视对象的拍摄图像；判定部，通过将拍摄图像应用于图像分类用的学习器，来判定由拍摄图像取得部拍摄到的拍摄图像中包含的监视对象的种类；异常检测部，通过将由拍摄图像取得部拍摄到的拍摄图像应用于监视用模型来检测异常，所述监视用模型是与由判定部判定的监视对象的种类相对应的监视用模型，并且用于检测与拍摄图像中包含的监视对象相关的异常；以及输出部，在由异常检测部检测到异常的情况下，进行与异常的检测相关的输出。
根据这种结构，能够使用与拍摄图像中包含的监视对象的种类相对应的监视用模型自动地检测异常。因此，例如，即使在直至对装置进行设置为止监视对象未定的情况下，也能够进行与实际上拍摄到的监视对象相对应的异常检测。
另外，在根据本发明的监视装置中，进一步具备模型取得部，所述模型取得部从保持有多个监视用模型的服务器中取得与由判定部判定的监视对象的种类相对应的监视用模型，异常检测部也可以使用由模型取得部取得的监视用模型进行异常的检测。
根据这种结构，可以不预先在装置中保持与监视对象的多个种类分别相对应的多个监视用模型，也可以是用于保持监视用模型的存储器等的容量很小。
另外，在根据本发明的监视装置中，异常检测部可以在由判定部判定为包含在拍摄图像中的监视对象的种类为多个的情况下，使用与作为判定结果的监视对象的多个种类分别相对应的多个监视用模型进行异常的检测。
根据这种结构，能够进行与拍摄图像中包含的监视对象的多个种类分别相对应的异常的检测。
另外，在根据本发明的监视装置中，异常检测部可以在由判定部判定为包含在拍摄图像中的监视对象的种类为多个的情况下，按照与作为判定结果的监视对象的各种类相对应的拍摄图像的每个部分，使用与监视对象的种类相对应的监视用模型进行异常的检测。
根据这种结构，按照与监视对象的种类相对应的拍摄图像的每个部分，使用与该种类相对应的监视用模型进行异常的检测，因此能够进行精度更高的异常的检测。
另外，在根据本发明的监视装置中，监视用模型是与检测对象的异常相对应的监视用模型，所述监视装置进一步具备对应信息存储部，所述对应信息存储部存储将监视对象的种类与一个以上的检测对象的异常相对应关联的多个对应信息，异常检测部也可以使用通过对应信息而与由判定部判定的监视对象的种类相对应关联的一个以上的监视用模型进行异常的检测。
根据这种结构，能够通过准备按照检测对象的每个异常的监视用模型，来检测各种监视对象的异常。因此，存在监视用模型的准备变得更加简单这样的优点。
另外，在根据本发明的监视装置中，监视用模型是使用多个训练用输入信息与训练用输出信息的组进行学习的学习器，所述训练用输入信息是拍摄图像，所述训练用输出信息表示与该训练用输入信息的拍摄图像中包含的监视对象相关的异常的有无。
根据这种结构，能够通过使用作为学习结果的学习器，来进行异常的检测。
另外，在根据本发明的监视装置中，输出部可以根据与由异常检测部检测到的异常相对应的置信度，进行不同的输出。
根据这种结构，例如，能够在置信度低的情况下，仅向特定的管理者等进行输出，在置信度高的情况下，能够还向警察和消防等的公共机关进行输出，能够对异常的发生进行更加适当的应对。
另外，在根据本发明的监视装置中，拍摄图像中还包含有声音，异常检测部可以还使用拍摄图像中包含的声音来检测异常。
根据这种结构，能够通过还使用声音，来对范围更大的异常进行检测。
另外，根据本发明的监视方法具备以下步骤：拍摄监视对象的拍摄图像；通过将拍摄图像应用于图像分类用的学习器，来判定在拍摄所述拍摄图像的步骤中拍摄到的拍摄图像中包含的监视对象的种类；通过将在拍摄拍摄图像的步骤中拍摄到的拍摄图像应用于监视用模型来检测异常，所述监视用模型是与在判定监视对象的种类的步骤中判定的监视对象的种类相对应的监视用模型，并且用于检测与拍摄图像中包含的监视对象相关的异常；以及当在检测异常的步骤中检测到异常的情况下，进行与异常的检测相关的输出。
发明效果
根据本发明的监视装置等，能够使用与多种监视对象中的在拍摄图像中包含的监视对象的种类相对应的监视用模型来检测异常。
附图说明
图1是示出根据本发明的实施方式的监视装置的结构的框图。
图2是示出根据该实施方式的监视装置的动作的流程图。
图3A是示出该实施方式中的训练用输入信息的一例的图。
图3B是示出该实施方式中的训练用输入信息的一例的图。
图4是示出该实施方式中的监视装置的一例的外观图。
图5A是示出该实施方式中的拍摄图像的一例的图。
图5B是示出与该实施方式中的拍摄图像中的监视对象的种类相应的部分的一例的图。
图6A是示出该实施方式中的监视对象的种类与模型标识符之间的对应的一例的图。
图6B是示出该实施方式中的监视对象的种类与模型标识符之间的对应的一例的图。
图7是示出根据该实施方式的监视装置的其他结构的框图。
图8A是示出该实施方式中的对应信息的一例的图。
图8B是示出该实施方式中的检测对象的异常与模型标识符之间的对应的一例的图。
图9是示出该实施方式中的置信度与输出目的地之间的对应的一例的图。
图10是示出该实施方式中的计算机系统的结构的一例的图。
具体实施方式
以下，使用实施方式，对根据本发明的监视装置进行说明。此外，在以下的实施方式中，赋予相同附图标记的构成要素以及步骤相同或者相当，有时省略再次说明。根据本实施方式的监视装置判定拍摄图像中包含的监视对象的种类，并使用与该判定结果相对应的模型来检测异常。
图1是示出根据本实施方式的监视装置1的结构的框图。根据本实施方式的监视装置1具备拍摄图像取得部11、拍摄图像存储部12、判定部13、模型取得部14、模型存储部15、异常检测部16以及输出部17。例如，如图4所示，监视装置1可以是与监视相机一体地构成的装置，或者，也可以是从监视相机中取得拍摄图像并进行与异常的检测相关的处理的装置。在本实施方式中，主要对前者的情况进行说明。
拍摄图像取得部11取得监视对象的拍摄图像。从进行连续的监视的观点来看，优选地反复取得拍摄图像。拍摄图像也可以是在视频中包含的帧。监视对象是成为进行异常的检测的对象，例如，也可以是道路、建筑物的外侧、建筑物的内侧、购物街、河川、海、山等。拍摄图像例如可以是彩色图像，也可以是灰度图像，但是从实现精度更高的异常的检测的观点来看，优选为彩色图像。另外，拍摄图像例如可以包含声音，也可以不包含声音。在拍摄图像包含声音的情况下，例如，拍摄图像中包含的图像与声音也可以同步。
拍摄图像取得部11例如可以通过相机等的光学设备来取得拍摄图像，也可以受理通过相机等的光学设备取得的拍摄图像。在拍摄图像取得部11通过光学设备取得拍摄图像的情况下，在拍摄图像中还包含声音的情况下，拍摄图像取得部11也可以通过麦克风等来取得该声音。该声音优选为在拍摄对象的附近产生的声音。在拍摄图像取得部11受理拍摄图像的情况下，该受理可以是通过通信线路发送的拍摄图像的接收。在本实施方式中，主要对拍摄图像取得部11通过相机等的光学设备来取得拍摄图像的情况进行说明。通过拍摄图像取得部11取得的拍摄图像被储存在拍摄图像存储部12中。
在拍摄图像存储部12中，存储拍摄图像。此外，如上述那样，拍摄图像是沿着时间序列的拍摄图像，因此优选地以能够确定最新的拍摄图像的方式被存储在拍摄图像存储部12中。拍摄图像存储部12优选地通过非易失性的记录介质实现，但是也可以通过易失性的记录介质来实现。记录介质例如也可以是半导体存储器和磁盘等。
判定部13判定由拍摄图像取得部11取得的拍摄图像中包含的监视对象的种类。监视对象的种类例如可以是道路、建筑物的外侧、建筑物的内侧、购物街、河川、海、山等。具体而言，在拍摄图像中包含道路的情况下，判定部13可以判定为拍摄图像中包含的监视对象的种类是道路。另外，在拍摄图像中包含有多种监视对象的情况下，判定部13可以判定为拍摄图像中包含有多种监视对象。具体而言，在拍摄图像中包含道路与家的情况下，判定部13也可以判定为拍摄图像中包含的监视对象的种类为道路与家。基于判定部13的判定结果例如也可以是表示拍摄图像中包含的监视对象的种类的信息。
判定部13例如也可以通过将拍摄图像应用于图像分类用的学习器，来进行拍摄图像中包含的监视对象的种类的判定。在这种情况下，例如，判定部13可以判定为拍摄图像是道路的图像，或者判定为拍摄图像是建筑物的图像。这样，将判定为拍摄图像中包含的监视对象的种类为道路或建筑物。该学习器例如可以是卷积神经网络(Neural Network)的学习结果，也可以是除此之外的机器学习的学习结果。另外，在这种判定中，在与多个分类结果相对应的置信度(似然度)分别大于规定的阈值的情况下，判定部13可以判定为拍摄图像中包含的监视对象的种类为多个。具体而言，在设拍摄图像为道路的图像的分类结果的置信度大于阈值，并且设拍摄图像为建筑物的图像的分类结果的置信度也大于阈值的情况下，判定部13可以判定为拍摄图像中包含的监视对象的种类为道路以及建筑物。进行这种图像分类的学习器已是公知的，省略其详细的说明。另外，在使用学习器进行判定的情况下，判定部13也可以使用在未图示的存储部中存储的学习器进行判定。
另外，判定部13也可以通过对拍摄图像进行图像分割，来进行拍摄图像中包含的监视对象的种类的判定。图像分割是对拍摄图像的各像素赋予预先确定的标签(例如，道路、建筑物、树等)的处理。因此，能够通过图像分割，在拍摄图像中确定被赋予了标签的区域。其结果是，例如，在某个监视对象的标签被赋予给拍摄图像的情况下，能够判定为在拍摄图像中包含该监视对象的种类。此外，判定部13可以在对于拍摄图像的图像分割的结果中，判定为与对超过规定数的像素赋予的标签相对应的监视对象的种类被包含在该拍摄图像中。具体而言，在对于拍摄图像的图像分割的结果中，在对超过规定数的像素赋予的标签为道路与建筑物的情况下，判定部13可以判定为拍摄图像中包含的监视对象的种类为道路以及建筑物。进行这种图像分割的学习器已是公知的，省略其详细的说明。此外，进行图像分割的学习器例如可以是在前段具有多个卷积层，后段具有将图像放大的一个以上的放大层的神经网络的学习结果，也可以是除此之外的结构的机器学习的学习结果。放大层例如也可以是上池化层(unpooling layer)和反卷积层(deconvolution layer)等。
此外，进行基于判定部13的判定的时机不限。例如，在通过被固定的相机来进行拍摄的情况下，由于判定结果不会变化，因此也可以在进行异常的检测之前仅进行一次基于判定部13的判定。另一方面，例如，在通过能够移动的相机(例如，安装于汽车和无人机等的飞行物、监视机器人等的移动体上的相机等)来进行拍摄的情况下，判定结果有可能变化，因此也可以反复进行基于判定部13的判定。
模型取得部14从保持有多个监视用模型的服务器(未图示)中取得与由判定部13判定的监视对象的种类相对应的监视用模型。监视用模型是用于检测与拍摄图像中包含的监视对象相关的异常的模型。对于该监视用模型的细节将在后面进行说明。如将在后面进行说明那样，在将监视对象的种类、与识别监视用模型的模型标识符相对应关联的情况下，模型取得部14可以确定与作为基于判定部13的判定结果的监视对象的种类相对应的模型标识符，并将发送由该所确定的模型标识符识别的监视用模型的旨意的发送指示发送至服务器，根据该发送，从服务器中接收监视用模型。取得的监视用模型被储存在模型存储部15中。此外，根据发送指示，发送所指示的信息的服务器是公知的，省略其详细的说明。
此外，例如，可以是一个监视用模型与监视对象的一种相对应，也可以是两个以上的监视用模型与监视对象的一种相对应。在后者的情况下，模型取得部14可以取得与由判定部13判定的监视对象的一种相对应的两个以上的监视用模型。另外，在由判定部13判定为拍摄图像中包含多种监视对象的情况下，模型取得部14可以取得与该多种监视对象分别相对应的监视用模型。
另外，在只进行一次判定的情况或者判定结果不变化的情况下，模型取得部14将仅进行一次监视用模型的取得即可。另一方面，在判定结果变化的情况下，模型取得部14也可以根据该变化的判定结果，反复进行监视用模型的取得。
在模型存储部15中，存储由模型取得部14取得的监视用模型。模型存储部15优选地通过非易失性的记录介质来实现，但是也可以通过易失性的记录介质来实现。记录介质例如也可以是半导体存储器和磁盘等。
异常检测部16通过将由拍摄图像取得部11取得的拍摄图像应用于与由判定部13判定的监视对象的种类相对应的监视用模型来检测异常。另外，在由判定部13判定为被包含在拍摄图像中的监视对象的种类为多个的情况下，异常检测部16使用与作为判定结果的监视对象的多个种类分别相对应的多个监视用模型进行异常的检测。即，异常检测部16可以通过将拍摄图像应用于多个监视模型中的每一个，来进行异常的检测。应用于监视用模型的拍摄图像可以是一个拍摄图像，也可以是多个拍摄图像。在后者的情况下，优选地将在时间上连续的多个拍摄图像、即视频应用于监视用模型。此外，在本实施方式中，由模型取得部14取得与由判定部13判定的监视对象的种类相对应的监视用模型，该监视用模型被存储在模型存储部15中，因此，异常检测部16使用在模型存储部15中存储的监视用模型进行异常的检测即可。另外，应用于监视用模型的拍摄图像优选为由拍摄图像取得部11取得的最新的拍摄图像。异常检测部16能够通过将拍摄图像应用于监视用模型，来取得与拍摄图像中包含的监视对象相关的异常的有无。另外，异常检测部16可以还确定检测到的异常的种类(例如，火灾、和人的摔倒、交通事故等)。此外，对于使用监视用模型的异常的检测将在后面进行说明。
在此，对于与监视对象的各种类相对应的检测对象的异常进行简单说明。在监视对象为道路的情况下成为检测对象的异常例如也可以是交通事故、和人的摔倒、火灾、暴动、汽车的逆行等。在监视对象为建筑物的外侧的情况下，成为检测对象的异常例如也可以是火灾、非法侵入、暴动、人的摔倒等。在监视对象为建筑物的内侧的情况下，成为检测对象的异常例如也可以是火灾、暴力行为、人的摔倒等。在监视对象为购物街的情况下，成为检测对象的异常例如可以是火灾、暴动、人的摔倒、行窃、抢劫、涂鸦等。在监视对象为河川的情况下成为检测对象的异常例如可以是涨水，溺水者等。在监视对象为海的情况下，成为检测对象的异常例如可以是海啸、龙卷风等的异常气象、溺水者、沉船等。在监视对象为山的情况下，成为检测对象的异常例如可以是火灾、龙卷风等的异常气象等。
在由异常检测部16检测到异常的情况下，输出部17进行与异常的检测相关的输出。与异常的检测相关的输出例如可以是检测出异常的旨意的输出，或者，也可以是用于进行与异常的检测相对应的规定的处理的输出。作为后者的例子，在检测到火灾时，能够列举出使洒水器等的灭火设备自动地动作等。检测到异常的旨意的输出例如也可以是向预先注册的发送目的地进行检测到异常的旨意的发送。例如，也可以向监视装置1的管理者、警察和消防等的公共机关发送检测到异常的旨意。另外，例如，在输出对象中可以包含异常的种类(例如，火灾和交通事故、摔倒、暴动、龙卷风等的异常气象、河川的泛滥、海的海啸等)，也可以包含表示异常的发生场所的信息(例如，设置有监视装置1的位置的地址和纬度/经度等)。表示异常的发生场所的信息例如可以通过监视装置1所具有的未图示的位置取得部(例如，使用GPS的位置取得部等)来取得，也可以预先存储在监视装置1所具有的记录介质中。
另外，输出部17也可以进行用于将与检测到的异常相应的标签赋予拍摄图像的输出。例如，在对某个时间点的拍摄图像检测到暴动的异常的情况下，输出部17也可以在拍摄图像的该时间点赋予暴动标签。通过赋予这种标签，之后，将能够容易地确认检测到异常的时间点的拍摄图像和声音等。
在此，该输出例如可以通过通信线路来发送，也可以是基于扬声器的声音输出，也可以是向记录介质的储存，也可以是向显示装置的显示，还可以是向其他构成要素的交付。此外，输出部17可以包含进行输出的装置(例如，通信装置等)，或者不包含进行输出的装置。另外，输出部17可以通过硬件来实现，或者，也可以通过驱动这些装置的驱动程序等的软件来实现。
此外，拍摄图像存储部12和模型存储部15例如可以通过相同的记录介质来实现，或者，也可以通过不同的记录介质来实现。在前者的情况下，存储有拍摄图像的区域成为拍摄图像存储部12，存储有监视用模型的区域成为模型存储部15。
接下来，对监视用模型、以及使用监视用模型的异常的检测进行说明。
监视用模型例如可以是作为有教师的机器学习的结果的学习器，或者，也可以是除此以外的模型。在本实施方式中，主要对是监视用模型为学习器的情况进行说明，对于学习器以外的监视用模型将在后面进行说明。作为学习器的监视用模型也可以是使用作为拍摄图像的训练用输入信息、与表示与该训练用输入信息的拍摄图像中包含的监视对象相关的异常的有无的训练用输出信息的多个组进行学习的学习器。该学习器例如可以是神经网络的学习结果，也可以是除此之外的机器学习的学习结果。在本实施方式中，主要对学习器为神经网络的学习结果的情况进行说明。另外，也可以将训练用输入信息与训练用输出信息的组称为训练信息。
神经网络例如可以是具有卷积层的神经网络，也可以是由全结合层构成的神经网络，还可以是除此之外的神经网络。另外，在神经网络至少具有一个中间层(隐藏层)的情况下，该神经网络的学习也可以认为是深层学习(深度学习、Deep Learning)。另外，在将神经网络用于机器学习的情况下，对于该神经网络的层数、各层中的节点数、各层的种类(例如，卷积层、全结合层等)等，也可以使用适当地进行了选择的项目。另外，在各层中，可以使用偏差，或者，也可以不使用偏差。是否使用偏差也可以按照每个层独立地确定。另外，也可以在输出层的前段设置Softmax层。此外，输入层与输出层的节点数通常通过训练信息中包含的训练用输入信息的信息数与训练用输出信息的信息数来确定。
另外，神经网络例如也可以是与用于物体识别的神经网络同样结构的神经网络。该神经网络例如也可以在输入层的后段具有多个卷积层。此外，神经网络可以具有一个以上的池化层，或者，也可以不具有一个以上的池化层。另外，神经网络所具有的连续的卷积层的层数不限。例如，神经网络可以具有连续的三层以上的卷积层，也可以具有连续的五层以上的卷积层。
另外，也可以在神经网络的各层中，适当地进行填充(padding)。该填充例如可以是零填充，也可以是外插图像的最外周的像素值的填充，还可以是设为在图像的各边折回的像素值的填充。
另外，各层中的步幅不限，但是，例如，卷积层中的步幅优选为1或者2等的小值，在神经网络具有池化层的情况下，该池化层的步幅优选为2以上。
另外，神经网络中的各设定也可以如以下所述。活性化函数例如可以是ReLU(归一化线性函数)，也可以是sigmoid函数，还可以是其他活性化函数。另外，在学习中，例如，可以使用误差逆传播法，也可以使用小批量法。另外，损失函数(误差函数)也可以是平均平方误差。另外，不特别限制epoch数(参数的更新次数)，但是优选选择不构成过拟合的epoch数。另外，为了预防过拟合，也可以在规定的层间进行推出(dropout)。此外，作为机器学习中的学习方法，能够使用公知的方法，省略其详细的说明。
在模型存储部15中存储学习器例如可以是指存储有学习器本身(例如，向输入输出值的函数和学习结果的模型等)，也可以是指存储有构成学习器所需的参数等的信息。这是因为，在后者的情况下，由于能够使用该参数等的信息构成学习器，因此可认为实质上在模型存储部15中存储有学习器。在本实施方式中，主要对在模型存储部15中存储有学习器本身的情况进行说明。
在此，对学习器的生成进行说明。如上述那样，训练用输入信息是拍摄图像。拍摄图像的尺寸(例如，纵横的像素数)也可以是确定的。在实际的拍摄图像与预先确定的尺寸不同的情况下，也可以适当地进行基于图像的放大/缩小、和追加不具有信息的像素对纵横比的调整等。训练用输出信息也可以是表示和与该训练用输出信息成组的训练用输入信息即拍摄图像中包含的监视对象相关的异常的有无的信息。具体而言，训练用输出信息也可以是在成对的训练用输入信息中包含异常的情况下为“1”，在不包含异常的情况下为“0”的信息。另外，训练用输出信息也可以是还表示异常的种类的信息。具体而言，在成对的训练用输入信息中包含种类A的异常的情况下，训练用输出信息也可以是与种类A相对应的节点的值为“1”，除此之外的节点的值为“0”的信息。另外，在成对的训练用输入信息中包含种类B的异常的情况下，训练用输出信息也可以是与种类B相对应的节点的值为“1”，除此之外的节点的值为“0”的信息。
例如，准备作为发生了异常的监视对象的拍摄图像的训练用输入信息、与表示存在异常的训练用输出信息或者表示异常的种类的训练用输出信息的组、和作为未发生异常的监视对象的拍摄图像的训练用输入信息、与表示不存在异常的训练用输出信息的组，通过学习准备的训练用输入信息与训练用输出信息的多个组，来制造学习器。作为训练用输入信息的拍摄图像例如也可以是发生了火灾的建筑物的拍摄图像、和交通事故现场的拍摄图像等。此外，可以认为难以大量准备发生了异常的训练用输入信息，因此，该训练用输入信息例如也可以通过计算机图形等来人工创建。例如，也可以通过合成未发生火灾的建筑物的拍摄图像、与火炎和烟等的拍摄图像，来创建发生了火灾的建筑物的拍摄图像。另外，在难以准备发生了异常的训练用输入信息的情况下，例如，也可以使用未发生异常的状况的训练信息进行学习。而且，也可以在向作为这种学习结果的学习器(监视用模型)输入了拍摄图像时的来自学习器的输出大大偏离训练用输出信息的情况下，检测异常。另外，作为学习器，例如，也可以使用公知的学习器。
如上述那样，当将由拍摄图像取得部11取得的拍摄图像应用于作为学习多个训练信息而生成的学习器的监视用模型时，能够取得表示与该拍摄图像中包含的监视对象相关的异常的有无的信息。具体而言，当向学习器输入拍摄图像时，从输出层的节点输出0～1的值。该值是所谓的置信度(似然度)。例如，当该值接近1时，监视对象中产生异常的可能性高。因此，也可以在从学习器输出接近1的值(例如，超出规定阈值的值)的情况下，判断为检测到异常。此外，在输出层具有与异常的种类相应的个数的节点的情况下，根据从哪个节点输出接近1的值，也能够获知异常的种类。
此外，在上述说明中，假设向学习器的输入信息为一个拍摄图像，但是也可以不是。例如，在时间上连续的多个拍摄图像、即构成视频的多个拍摄图像也可以成为向学习器的输入信息。在这种情况下，作为学习器，例如，也可以使用将卷积神经网络、与递归型神经网络(RNN：Recurrent Neural Network)组合的三维卷积RNN的学习结果。已知能够通过使用这种三维卷积RNN，来进行视频的识别。此外，也可以使用三维卷积RNN以外的模型，进行视频的识别。对于三维卷积RNN的详细，例如，请参照以下的文献。
文献：浅谷学嗣、田川圣一、新冈宏彦、三宅淳、“用于视频识别的三维卷积RNN的提案”、信息处理学会研究报告、Vol.2016-CVIM-201,No.6,1-4、2016年2月25日
另外，一个监视用模型例如可以具有一个学习器，也可以具有多个学习器。例如，用于检测与建筑物的外侧相关的异常的监视用模型可以具有用于检测火灾的学习器、以及用于检测非法侵入的学习器。
此外，在本实施方式中，主要对监视用模型为学习器的情况进行了说明，但是也可以不是。监视用模型例如可以包括学习器、以及除此之外的模型，也可以仅包括学习器以外的模型。作为包括学习器、以及除此之外的模型的监视用模型，例如，存在一种监视用模型，其在视频中，进行人的检测，进行与检测到的人相关的骨格推定，基于该骨格推定的结果，检测暴力行为的有无和行窃的有无等。在这种监视用模型中，例如，也可以在人的检测、和骨格推定中使用学习器。另外，也可以在基于骨格推定的结果的暴力行为的有无、和行窃的有无等的检测中使用学习器。另外，作为仅包括学习器以外的模型的监视用模型，例如，如上述专利文献1所述，存在在不使用学习器的情况下检测烟的模型等。在监视用模型还包含学习器以外的模型的情况下，将拍摄图像应用于监视用模型例如也可以是指，对拍摄图像执行使用了监视用模型的异常检测的处理。
接下来，使用图2的流程图对监视装置1的动作进行说明。
(步骤S101)拍摄图像取得部11判断是否进行拍摄图像的取得。然后，在进行拍摄图像的取得的情况下，进入步骤S102，否则，进入步骤S103。此外，拍摄图像取得部11例如也可以定期地判断为取得拍摄图像。
(步骤S102)拍摄图像取得部11取得拍摄图像并储存在拍摄图像存储部12。然后，返回到步骤S101。
(步骤S103)判定部13判断是否进行与监视对象的种类相关的判定。然后，在进行判定的情况下，进入到步骤S104，否则，进入到步骤S106。此外，在拍摄拍摄图像的相机被固定的情况下，判定部13也可以在开始拍摄图像的取得时，判断为进行判定。另一方面，在拍摄拍摄图像的相机能够移动的情况下，判定部13例如可以定期地判断为进行判定，也可以在进行了预先确定的以上的移动时判断为进行判定。
(步骤S104)判定部13对最新的拍摄图像中包含的监视对象的种类进行判定。其判定结果也可以存储在未图示的记录介质中。
(步骤S105)模型取得部14从服务器中取得与步骤S104的判定结果相对应的监视用模型，并储存在模型存储部15中。之后，返回到步骤S101。此外，在重复基于判定部13的判定的情况下，取得对象的监视用模型也有可能已存储在模型存储部15中。在这种情况下，模型取得部14也可以不进行监视用模型的取得，而对于存储在模型存储部15中的监视用模型，使表示使用对象的模型的信息(例如，标记等)变更为与判定结果相对应的信息。
(步骤S106)异常检测部16判断是否进行异常的检测。然后，在进行异常的检测的情况下，进入到步骤S107，否则，返回到步骤S101。此外，异常检测部16例如可以定期地判断为进行异常的检测，也可以判断为每次取得新的拍摄信息进行异常的检测。
(步骤S107)异常检测部16通过将最新的拍摄图像应用于存储在模型存储部15中的监视用模型，来取得与拍摄图像中包含的监视对象相关的异常的有无。此外，在模型存储部15中存储有多个监视用模型的情况下，例如，可以将最新取得的监视用模型用于异常的检测，或者，也可以将表示是使用对象的监视用模型用于异常的检测。
(步骤S108)输出部17在步骤S107中判断是否检测到异常。之后，在检测到异常的情况下，进入到步骤S109，否则，返回到步骤S101。
(步骤S109)输出部17进行与异常的检测相关的输出。之后，返回到步骤S101。
此外，图2的流程图中的处理的顺序为一例，只要能够获得同样的结果，也可以变更各步骤的顺序。另外，在图2的流程图中，通过电源切断和处理结束的插入，使处理结束。
接下来，使用具体例，对基于本实施方式的监视装置1的动作进行说明。
首先，对作为学习器的监视用模型的创建进行简单的说明。为了进行用于创建学习器的机器学习，准备多个训练信息。例如，准备：训练信息，所述训练信息是在图3A中示出的家的外观的拍摄图像即训练用输入信息、与表示无异常的旨意的训练用输出信息的组；以及训练信息，所述训练信息是在图3B中示出的家的外观的拍摄图像即训练用输入信息、与表示有异常的训练用输出信息的组，等。此外，在图3B所示的拍摄图像中，发生了火灾。因此，作为与图3B的训练用输入信息成组的训练用输出信息也可以是表示发生了火灾的信息。通过进行使用了这种多个训练信息的学习，能够生成用于检测与家的外侧相关的异常的监视用模型。对于作为除此之外的监视对象的家的内侧、和道路、购物街、河川等，同样地，也能够生成监视用模型。这样生成的多个监视用模型将在服务器中保持。
然后，假设图4所示的监视装置1朝向监视对象的家设置，并且接通了监视装置1的电源。此外，假设在图4所示的监视装置1中，在框体的内部配置有图1所示的各结构，并且拍摄图像取得部11为对拍摄图像进行拍摄的相机。假设当接通电源时，监视装置1的拍摄图像取得部11开始拍摄，取得图5A所示的拍摄图像，并储存在拍摄图像存储部12(步骤S101，S102)。于是，判定部13进行与该拍摄图像中包含的监视对象的种类相关的判定(步骤S103，S104)。假设使用学习器进行该判定。之后，假设该判定的结果，监视对象的种类“家(外侧)”、“道路”的置信度超过了预先确定的阈值。于是，判定部13向模型取得部14交付作为监视对象的判定结果的监视对象的种类“家(外侧)”、“道路”。当接收判定结果时，模型取得部14参照存储在未图示的记录介质中的、将监视对象的种类与模型标识符相对应关联的图6A的信息，确定与作为判定结果的监视对象的种类“家(外侧)”、“道路”分别相对应的模型标识符“M003”、“M001”。然后，模型取得部14以预先保持的服务器的地址作为发送目的地发送与模型标识符“M003”、“M001”相对应的监视用模型的发送指示。根据该发送，模型取得部14接收从服务器发送的、与模型标识符“M003”、“M001”相对应的、家的外侧用的监视用模型以及道路用的监视用模型，并储存在模型存储部15(步骤S105)。
然后，异常检测部16通过将存储在拍摄图像存储部12中的最新的拍摄图像定期地应用于家的外侧用的监视用模型以及道路用的监视用模型，来取得与家的外侧以及道路相关的异常的有无(步骤S106，S107)。之后，在存在异常的情况下，通过输出部17，向预先确定的机器(例如，监视装置1的设置者等)发送发生了异常的旨意(步骤S108，S109)。
如以上那样，根据本实施方式的监视装置1，能够使用与拍摄图像中包含的监视对象的种类相对应的监视用模型进行异常的检测。因此，即使不准备与监视的目的相应的装置，也能够通过使用监视装置1，来进行与各种监视对象相关的异常的检测。另外，即使人不确认拍摄图像，也能够自动地进行异常的检测。另外，由于使用与拍摄图像中包含的监视对象的种类相对应的监视用模型，因此能够通过更轻的负荷来实现精度比通用的异常检测高的异常的检测。另外，能够通过模型取得部14，来取得与判定结果相应的监视用模型，因此，当前，还能够仅将使用中的监视用模型存储在模型存储部15中。这样，模型存储部15的存储容量也可以更小。
接下来，对基于本实施方式的监视装置1的变形例进行说明。
[按照拍摄图像的每个部分进行的异常的检测]
在由判定部13判定为包含在拍摄图像中的监视对象的种类为多个的情况下，异常检测部16也可以按照与作为判定结果的监视对象的各种类相对应的拍摄图像的每个部分，使用与该监视对象的种类相对应的监视用模型进行异常的检测。更加具体而言，在拍摄图像中，也可以分别确定与作为判定结果的监视对象的各种类相对应的部分。而且，异常检测部16也可以对于该所确定的部分，进行使用了与对应于所确定的部分的监视对象的种类相应的监视用模型的异常的检测。例如，也可以如在图5A中示出的拍摄图像那样，在包含两种监视对象“家(外侧)”、“道路”的情况下，如在图5B中示出那样，也可以对于与监视对象的种类“家(外侧)”相对应的部分R101，进行使用了与监视对象的种类“家(外侧)”相对应的监视用模型的异常的检测，对于与监视对象的种类“道路”相对应的部分R102，进行使用了与监视对象的种类“道路”相对应的监视用模型的异常的检测。
例如，也可以通过图像分割来进行与监视对象的种类相对应的拍摄图像的部分的确定。在这种情况下，例如，也可以将包含通过图像分割确定的建筑物的区域的矩形的区域设为与监视对象的种类“家(外侧)”相对应的部分R101。另外，例如，也可以将包含通过图像分割确定的道路与汽车的区域的矩形的区域设为与监视对象的种类“道路”相对应的部分R102。此外，也可以在由判定部13进行了图像分割的情况下，使用该图像分割的结果，进行与监视对象的种类相对应的拍摄图像的部分的确定。另外，与监视对象的种类相对应的拍摄图像的部分的确定例如可以通过异常检测部16来进行，也可以通过判定部13来进行。另外，也可以对拍摄图像中包含的各种区域(例如，将拍摄图像四等分得到的各区域等)进行基于判定部13的判定，将与某个监视对象的种类相关的置信度最高的区域确定为该监视对象的种类的部分。
这样，能够通过按照与作为判定结果的监视对象的各种类相对应的拍摄图像的每个部分，进行使用了与该监视对象的种类相对应的监视用模型的异常的检测，从而进行精度更高的异常的检测。
[更加精细的监视用模型]
用于异常的检测的监视用模型也可以是与监视对象的种类中的各属性相对应的模型。在这种情况下，例如，如图6B所示，在监视对象的种类中包含有多个属性，也可以使监视对象的种类以及属性与监视用模型相对应关联。具体而言，监视对象的种类“道路”具有与车道相关的属性“1车道”、“2车道”、“4车道”等，按照该每个属性设定监视用模型。在这种情况下，判定部13优选地进行包含属性在内与监视对象的种类相关的判定。然后，异常检测部16使用与监视对象的种类以及属性相对应的监视用模型，进行异常的检测。例如，在通过判定部13判定为拍摄图像中包含的监视对象的种类以及属性为4车道的道路的情况下，异常检测部16进行使用了通过与4车道的道路相对应的模型标识符“M103”识别的监视用模型的异常的检测。这样，能够进行与监视对象的种类以及属性相对应的更高精度的异常的检测。此外，属性可以是任意的。例如，监视对象的种类“家(外侧)”也可以具有家的构造的属性“木造”、“钢骨”、“钢筋混凝土”等。
另外，与两个以上的监视对象的种类相对应的监视用模型也可以用于异常的检测。例如，也可以使用与建筑物的外侧及道路相对应的监视用模型、和与建筑物的外侧及河川相对应的监视用模型等。在这种情况下，例如，当通过判定部13判定为在拍摄图像中包含建筑物的外侧和道路时，异常检测部16也可以使用与建筑物的外侧及道路相对应的监视用模型进行异常的检测。这样，能够进行精度更高的异常的检测。此外，关于与两个以上的监视对象的种类相对应的监视用模型，也可以准备与两个以上的种类的监视对象的距离和位置关系(例如，在上方存在建筑物，在下方存在道路这样的位置关系、和在左侧存在建筑物，在右侧存在道路这样的位置关系等)相对应的多个监视用模型。而且，与拍摄图像中包含的两个以上的种类的监视对象的距离和位置关系等相对应的监视用模型也可以用于异常的检测。
另外，也可以将与拍摄图像中的监视对象的属性、例如、位置关系和尺寸相对应的监视用模型也用于异常的检测。例如，如上述那样，也可以在拍摄图像中与监视对象的种类相对应的部分被确定的情况下，在与监视对象的种类相对应的所确定的部分(区域)位于近前侧(即，靠近相机侧)时，使用与近前侧相对应的监视用模型，在位于内侧(即，远离相机侧)时，使用与内侧相对应的监视用模型。在这种情况下，也可以根据拍摄图像中的部分的位置，判定是近前侧还是内侧。例如，可认为在内侧的部分中存在的监视对象被在近前侧的部分中存在的物体隐藏至少一部分的情况居多。因此，用于在内侧的部分中存在的监视对象的监视用模型优选地即使一部分被在近前侧的部分中存在的物品隐藏一部分也能够适当地进行异常的检测。另外，例如，如上述那样，也可以在拍摄图像中与监视对象的种类相对应的部分被确定的情况下，在与监视对象的种类相对应的所确定的部分的尺寸比阈值大时以及并非如此时，使用不同的监视用模型。例如，可以认为在尺寸比阈值小的部分中存在的监视对象通常成为低分辨率的情况居多。因此，在尺寸比阈值小的部分中存在的监视对象中使用的监视用模型优选地即使是分辨率低的图像也能够适当地进行异常的检测。
[使用了与检测对象的异常相对应的监视用模型的异常的检测]
在本实施方式中，主要对按照监视对象的每个种类存在监视用模型的情况进行了说明，但是也可以不是这样。监视用模型也可以与检测对象的异常相对应。与检测对象的异常相对应的监视用模型例如也可以是用于检测火灾和烟的监视用模型、和用于检测交通事故的监视用模型、用于检测行窃的监视用模型、用于检测暴动的监视用模型、用于检测摔倒的监视用模型、用于检测龙卷风等的异常气象的监视用模型等。
在这种情况下，如图7所示，监视装置1也可以进一步具备存储多个对应信息的对应信息存储部18。对应信息是将监视对象的种类与一个以上的检测对象的异常相对应关联的信息。例如，如图8A所示，对应信息也可以是将监视对象的种类“道路”与检测对象的异常“摔倒”、“交通事故”、“暴动”、“火灾”等相对应关联的信息。
此外，在对应信息存储部18中存储多个对应信息的过程不限。例如，可以通过记录介质将多个对应信息存储在对应信息存储部18中，也可以将通过通信线路等来发送的多个对应信息存储在对应信息存储部18中，或者，还可以将通过输入装置输入的多个对应信息存储在对应信息存储部18中。另外，对应信息存储部18优选通过非易失性的记录介质来实现，但是也可以通过易失性的记录介质来实现。记录介质例如也可以是半导体存储器和磁盘、光盘等。
另外，“将监视对象的种类与一个以上的检测对象的异常相对应关联”是指，能够根据监视对象的种类确定一个以上的检测对象的异常这样的意思。因此，对应信息例如可以是包含监视对象的种类与检测对象的异常作为组的信息，也可以是将监视对象的种类与检测对象的异常链接相关联的信息。
在这种情况下，也可以按照检测对象的异常“摔倒”、“交通事故”等准备监视用模型。另外，在这种情况下，例如，如图8B中示出那样，也可以能够通过将检测对象的异常与模型标识符相对应关联的信息，确定与检测对象的异常的种类相对应的监视用模型。
而且，异常检测部16也可以使用通过存储在对应信息存储部18中的对应信息来与由判定部13判定的监视对象的种类相对应关联的一个以上的监视用模型进行异常的检测。例如，在判定为拍摄图像中包含的监视对象的种类为“道路”的情况下，模型取得部14也可以使用图8A所示的对应信息，确定与监视对象的种类“道路”相对应的检测对象的异常“摔倒”、“交通事故”等，并使用图8B所示的信息，确定与该所确定的检测对象的异常相对应的模型标识符“M301”、“M302”等，并从服务器中取得通过该所确定的模型标识符识别的监视用模型。而且，异常检测部16也可以使用这样取得的监视用模型，进行异常的检测。
这样，监视用模型与检测对象的异常相对应，从而也可以不按照监视对象准备监视用模型。例如，能够将用于检测火灾的监视用模型用于道路的监视、和建筑物的监视、购物街的监视等，与按照监视对象准备监视用模型的情况相比，能够减轻用于准备监视用模型的负担。
在此，对按照检测对象的每个异常的监视用模型简单地进行说明。
对于用于检测暴动和暴力行为的监视用模型，例如，请参照以下文献。
文献：Amarjot Singh,Devendra Patil,SN Omkar、“Eye in the Sky:Real-timeDrone Surveillance System(DSS)for Violent Individuals Identification usingScatterNet Hybrid Deep Learning Network”、IEEE Conference on Computer Visionand Pattern Recognition(CVPR)2018
此外，可认为也能够通过使用与用于检测暴动和暴力行为的模型同样的模型，来对伴随动作的性骚扰和道德骚扰进行检测。
对于用于检测行窃等可疑行为的监视用模型，例如，请参照以下的文献。
文献：日本专利第6534499号公报
对于用于检测烟的监视用模型，例如，请参照专利文献1。
对于用于检测摔倒的监视用模型，例如，请参照以下文献。
文献：小林吉之、柳泽孝文、坂无英德、野里博和、高桥荣一、持丸正明、“与以公共空间中的摔倒的实际状态查明为目标的异常检测技术的评价相关的研究”、日本摔倒予防学术期刊、1(1)、p.55-63、2014年6月
对于用于检测交通事故的监视用模型，例如，请参照以下的网站和文献。网站：
URL<https://www.fujitsu.com/jp/solutions/business-technology/mobility-solution/spatiowl2/traffic-video-analysis/>
文献：日本特开2017-091530号公报
[还使用声音的异常的检测]
在拍摄图像中还包含声音的情况下，异常检测部16也可以还使用声音检测异常。在这种情况下，例如，也可以还使用声音进行性骚扰、和道德骚扰、贿赂的授予和接受等的异常的检测。另外，在这种情况下，例如，检测对象的异常“性骚扰”、“道德骚扰”、“贿赂的授予和接受”等也可以与监视对象的种类“家的内侧”和“建筑物的内侧”相对应关联。
也可以在异常的检测中还使用声音的情况下，例如，声音输入到用于声音识别的模型(可以是RNN等的神经网络，或者，也可以是其他模型。)，在作为其输出的声音识别结果中包含有预先确定的语句，并且发出该声音的人员以及听见该声音的人员中的至少一者进行预先确定的动作的情况下，检测异常。在这种情况下，例如，也可以在声音识别和动作的识别中使用模型。而且，也可以在作为声音识别结果的字符串中包含预先确定的多个语句中的与任一个一致的语句或者与任一个相似阈值以上的语句，并且，讲话者以及不是讲话者的人员中的至少一者进行预先确定的多个动作中的与任一个一致的动作或者与任一个相似阈值以上的动作的情况下，检测异常。是否进行预先确定的动作，例如，也可以在视频中进行人的检测，进行与检测到的人相关的骨格推定，并使用该骨格推定的结果进行判断。
更加具体而言，也可以如以下那样进行异常的检测。例如，也可以在作为男性的讲话者一边敲打作为女性的另一个人的肩膀，一边说出“三维是？”的情况下，检测出是性骚扰的异常。另外，例如，也可以在讲话者一边指着另一个人一边说明出“死去吧！”的情况下，检测出是道德骚扰的异常。另外，例如，也可以在讲话者一边进行表示金钱的手势(搓拇指、食指和中指的手势等)一边说出“放过”，另一个人向讲话者交付金钱的情况下，检测出是贿赂的授予和接受的异常。这样，能够通过还使用声音，对更宽范围的异常进行检测。例如，即使是仅通过动作无法检测的异常，也能够通过还使用声音来进行检测。
[无人店铺中的异常的检测]
异常检测部16也可以进行无人店铺中的异常的检测。无人店铺中的异常例如也可以是行窃、和无钱饮食、向销售对象的饮食品进行异物的混入、将食用至少一部分的饮食品放回陈列架，将随便吃和随便喝的饮食品带走等。例如，也可以在视频中进行人和饮食品的检测，进行与检测出的人相关的骨格推定，使用该骨格推定的结果和饮食品的检测的结果来检测这种异常。
[与对应于检测到的异常的置信度相应的输出]
输出部17也可以根据与由异常检测部16检测到的异常相对应的置信度，进行不同的输出。具体而言，也可以在与检测到的异常相对应的置信度比规定的阈值高的情况下，输出部17向监视装置1的管理者和公共机关(例如，警察和消防等)输出检测到异常的旨意，在与检测到的异常相对应的置信度比规定的阈值低的情况下，输出部17仅向监视装置1的管理者输出检测到异常的旨意。此外，在置信度小于预先确定的阈值的情况下，视作未检测到异常，可以不进行输出。这样，能够进行与检测到的异常的合理性相应的输出。例如，在置信度高的情况下，可认为确实发生了异常的可能性高，因此能够通过与公共机关等自动地进行联络，来最小限度地抑制受害。另一方面，例如，在置信度不高的情况下，也有可能不发生异常，因此能够通过在管理者等进行了确认的基础上与公共机关联络，来回避向公共机关的错误报告。具体而言，如图9所示，在未图示的记录介质中存储将置信度的范围与输出目的地相对应关联的信息，输出部17也可以参照该信息，确定与检测到的异常的置信度相对应的输出目的地。在图9中，设定为在置信度为90％异常的情况下，用自动语音的电话向输出目的地的电话号码“06-1234-****”、“090-9876-****”通知发生了异常的旨意，在置信度为大于等于60％且小于90％的情况下，用自动语音的电话仅向输出目的地的电话号码“090-9876-****”通知发生了异常的旨意。
此外，在这种情况下，由于进行使用了置信度的处理，因此监视用模型优选是输出置信度的模型。作为输出置信度的监视用模型，例如，可以列举出作为神经网络等的学习结果的学习器。
另外，输出部17也可以根据时间带进行不同的输出。例如，输出部17也可以在夜间检测到异常的情况下，向保安公司发送异常的发生情况，在夜间以外检测到异常的情况下，向监视装置1的管理者发送发生了异常的旨意。另外，输出部17也可以根据异常的内容，进行不同的输出。例如，输出部17也可以在检测到非法侵入的情况下，向警察发送发生了异常的旨意，在检测到火灾的情况下，向消防发送发生了异常的旨意。
[不具备模型取得部的监视装置]
在上述实施方式中，主要对模型取得部14从服务器中取得监视用模型的情况进行了说明，但是也可以不是这样。当在模型存储部15中存储有在服务器中保持的多个监视用模型的情况下，也可以不进行监视用模型的取得。在这种情况下，监视装置1也可以不具备模型取得部14。另外，异常检测部16也可以在模型存储部15中确定与由判定部13判定的监视对象的种类相对应的监视用模型，并使用该所确定的监视用模型进行异常的检测。
此外，在上述实施方式中，主要对由拍摄图像取得部11进行监视对象的拍摄的情况进行了说明，但是也可以不是这样。不进行拍摄的拍摄图像取得部11也可以通过通信线路接收拍摄图像。在这种情况下，监视装置1也可以对通过两个以上的监视相机拍摄的拍摄图像进行异常的检测。在对于通过两个以上的监视相机拍摄的拍摄图像进行异常的检测的情况下，判定部13和模型取得部14、异常检测部16优选按照每个监视相机，分别进行判定和监视用模型的取得、异常的检测等的处理。
另外，在上述实施方式中，各处理或者各功能可以通过由单个装置或者单个系统进行集中处理来实现，或者，也可以通过由多个装置或者多个系统进行分散处理来实现。
另外，在上述实施方式中，在各构成要素之间进行的信息的交接例如可以在进行该信息的交接的两个构成要素在物理上不同的情况下，通过基于其中一个构成要素的信息的输出、与基于另一个构成要素的信息的受理来进行，或者，也可以在进行该信息的交接的两个构成要素在物理上相同的情况下，通过从与其中一个构成要素相对应的处理的阶段向与另一个构成要素相对应的处理的阶段转移来进行。
另外，在上述实施方式中，即使未在上述说明中明确记述，也能够在未图示的记录介质中临时或者长期保持与由各构成要素执行的处理相关的信息，例如，由各构成要素受理、或者取得、或者选择、或者生成、或者发送、或者接收的信息、和由各构成要素在处理中使用的阈值和公式、地址等的信息等。另外，也可以由各构成要素或者未图示的储存部进行向该未图示的记录介质的信息储存。另外，也可以由各构成要素或者未图示的读取部进行从该未图示的记录介质对信息的读取。
另外，在上述实施方式中，在也可以由用户变更用于各构成要素等的信息、例如、各构成要素在处理中使用的阈值和地址、各种设定值等的信息的情况下，即使在上述说明中没有明确记载，但是用户也能够适当地变更这些信息，或者，也可以并非如此。在用户能够变更这些信息的情况下，该变更例如可以通过受理来自用户的变更指示的未图示的受理部、与根据该变更指示变更信息的未图示的变更部来实现。该未图示的受理部对变更指示的受理例如可以是来自输入装置的受理，也可以是通过通信线路发送的信息的接收，还可以是从规定的记录介质读取的信息的受理。
另外，在上述实施方式中，在包含在监视装置1中的两个以上的构成要素具有通信装置和输入装置等的情况下，两个以上的构成要素可以在物理上具有单一的装置，或者也可以具有分别的装置。
另外，在上述实施方式中，各构成要素可以通过专用的硬件来构成，或者，对于能够通过软件来实现的构成要素，也可以通过执行程序来实现。例如，可以通过由CPU等的程序执行部读取并执行记录在硬盘和半导体存储器等的记录介质中的软件/程序，来实现各构成要素。在该执行时，程序执行部也可以一边访问存储部和记录介质一边执行程序。此外，实现上述实施方式中的监视装置1的软件是如以下的程序。也就是说，该程序是用于使计算机执行以下步骤的程序：通过将拍摄图像应用于图像分类用的学习器，来判定拍摄到的监视对象的拍摄图像中包含的监视对象的种类；通过将拍摄到的监视对象的拍摄图像应用于监视用模型来检测异常，所述监视用模型与在判定监视对象的种类的步骤中判定的监视对象的种类相对应的监视用模型，并且用于检测与拍摄图像中包含的监视对象相关的异常；以及当在检测异常的步骤中检测到异常的情况下，进行与异常的检测相关的输出。
此外，在上述程序中，在由上述程序实现的功能中不包含仅能够通过硬件实现的功能。例如，在由上述程序实现的功能中至少不包含仅能够通过取得信息的取得部、和输出信息的输出部等中的调制解调器和接口卡等硬件来实现的功能。
另外，可以通过从服务器等下载来执行该程序，也可以通过由记录在规定的记录介质(例如，CD-ROM等的光盘和磁盘、半导体存储器等)中的程序读取来执行该程序。另外，也可以使用该程序作为构成程序产品的程序。
另外，执行该程序的计算机可以是单个，也可以是多个。即，可以进行集中处理，或者也可以进行分散处理。
图10是示出执行上述程序，并实现基于上述实施方式的监视装置1的计算机系统900的一例的图。上述实施方式也可以通过计算机硬件以及在其上执行的计算机程序来实现。
在图10中，计算机系统900具备：计算机901，包含MPU(Micro Processing Unit：微型处理单元)911、存储启动程序等程序、和应用程序、系统程序及数据的闪存等ROM912、与MPU911连接并临时存储应用程序的命令并且提供临时存储空间的RAM913、无线通信模块915、以及将MPU911、ROM912等相互连接的总线916；以及拍摄图像取得部11。此外，计算机901也可以具备有线通信模块取代无线通信模块915。另外，计算机901也可以具备鼠标和键盘、触摸面板等输入装置、和显示器、触摸面板等的显示装置等。
使计算机系统900执行基于上述实施方式的监视装置1的功能的程序也可以通过无线通信模块915存储在ROM912中。程序在执行时被加载至RAM913。此外，也可以直接从网络加载程序。
程序也可以不包含使计算机系统900执行基于上述实施方式的监视装置1的功能的操作系统(OS)、或者第三方程序等。程序也可以仅包含以被控制的方式调用适当的功能和模块，使得获得期望结果的命令的部分。对于计算机系统900如何动作是公知的，省略详细的说明。
另外，本发明不局限于以上的实施方式，能够进行各种变更，理所当然地，它们也被包含在本发明的范围内。
产业上的可应用性
通过以上，根据本发明的监视装置等，能够获得以下效果：即，能够进行使用了与拍摄图像中包含的监视对象的种类相对应的监视用模型的异常的检测，例如，作为使用拍摄图像检测火灾等异常的监视装置等是有用的。

Claims (10)

1.一种监视装置，具备：
拍摄图像取得部，拍摄监视对象的拍摄图像；
判定部，通过将拍摄图像应用于图像分类用的学习器，来判定由所述拍摄图像取得部拍摄到的拍摄图像中包含的监视对象的种类；
异常检测部，通过将由所述拍摄图像取得部拍摄到的拍摄图像应用于监视用模型来检测异常，所述监视用模型是与由所述判定部判定的监视对象的种类相对应的监视用模型，并且用于检测与拍摄图像中包含的监视对象相关的异常；以及
输出部，在由所述异常检测部检测到异常的情况下，进行与该异常的检测相关的输出。
2.根据权利要求1所述的监视装置，其中，
进一步具备模型取得部，所述模型取得部从保持有多个监视用模型的服务器中取得与由所述判定部判定的监视对象的种类相对应的监视用模型，
所述异常检测部使用由所述模型取得部取得的监视用模型进行异常的检测。
3.根据权利要求1或2所述的监视装置，其中，
所述异常检测部在由所述判定部判定为包含在拍摄图像中的监视对象的种类为多个的情况下，使用与作为判定结果的监视对象的多个种类分别相对应的多个监视用模型进行异常的检测。
4.根据权利要求3所述的监视装置，其中，
所述异常检测部在由所述判定部判定为包含在拍摄图像中的监视对象的种类为多个的情况下，按照与作为判定结果的监视对象的各种类相对应的拍摄图像的每个部分，使用与该监视对象的种类相对应的监视用模型进行异常的检测。
5.根据权利要求1、2、4中任一项所述的监视装置，其中，
监视用模型是与检测对象的异常相对应的监视用模型，
所述监视装置进一步具备对应信息存储部，所述对应信息存储部存储将监视对象的种类与一个以上的检测对象的异常相对应关联的多个对应信息，
所述异常检测部使用通过所述对应信息而与由所述判定部判定的监视对象的种类相对应关联的一个以上的监视用模型进行异常的检测。
6.根据权利要求1、2、4中任一项所述的监视装置，其中，
所述监视用模型是使用多个训练用输入信息与训练用输出信息的组进行学习的学习器，所述训练用输入信息是拍摄图像，所述训练用输出信息表示与该训练用输入信息的拍摄图像中包含的监视对象相关的异常的有无。
7.根据权利要求6所述的监视装置，其中，
所述输出部根据与由所述异常检测部检测到的异常相对应的置信度，进行不同的输出。
8.根据权利要求1、2、4、7中任一项所述的监视装置，其中，
拍摄图像中还包含有声音，
所述异常检测部还使用拍摄图像中包含的声音来检测异常。
9.一种监视方法，具备以下步骤：
拍摄监视对象的拍摄图像；
通过将拍摄图像应用于图像分类用的学习器，来判定在拍摄所述拍摄图像的步骤中拍摄到的拍摄图像中包含的监视对象的种类；
通过将在拍摄所述拍摄图像的步骤中拍摄到的拍摄图像应用于监视用模型来检测异常，所述监视用模型是与在判定所述监视对象的种类的步骤中判定的监视对象的种类相对应的监视用模型，并且用于检测与拍摄图像中包含的监视对象相关的异常；以及
当在检测所述异常的步骤中检测到异常的情况下，进行与该异常的检测相关的输出。
10.一种存储有程序的存储介质，所述程序用于使计算机执行以下步骤：
通过将拍摄图像应用于图像分类用的学习器，来判定拍摄到的监视对象的拍摄图像中包含的监视对象的种类；
通过将所述拍摄到的监视对象的拍摄图像应用于监视用模型来检测异常，所述监视用模型是与在判定所述监视对象的种类的步骤中判定的监视对象的种类相对应的监视用模型，并且用于检测与拍摄图像中包含的监视对象相关的异常；以及
当在检测所述异常的步骤中检测到异常的情况下，进行与该异常的检测相关的输出。
CN202080092771.1A 2019-11-13 2020-09-15 监视装置、监视方法及程序 Active CN115004269B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019205766A JP6742623B1 (ja) 2019-11-13 2019-11-13 監視装置、監視方法、及びプログラム
JP2019-205766 2019-11-13
PCT/JP2020/034939 WO2021095351A1 (ja) 2019-11-13 2020-09-15 監視装置、監視方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN115004269A CN115004269A (zh) 2022-09-02
CN115004269B true CN115004269B (zh) 2024-04-16

Family

ID=72048008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080092771.1A Active CN115004269B (zh) 2019-11-13 2020-09-15 监视装置、监视方法及程序

Country Status (4)

Country Link
US (1) US20230061044A1 (zh)
JP (1) JP6742623B1 (zh)
CN (1) CN115004269B (zh)
WO (1) WO2021095351A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7467300B2 (ja) 2020-09-17 2024-04-15 京セラ株式会社 システム、電子機器、電子機器の制御方法、及びプログラム
CN113288190A (zh) * 2021-05-27 2021-08-24 上海联影医疗科技股份有限公司 一种监控系统及医学系统
WO2023026437A1 (ja) * 2021-08-26 2023-03-02 日本電気株式会社 監視装置、監視システム、監視方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
CN116189068A (zh) * 2021-11-29 2023-05-30 英业达科技有限公司 电子看板自动监看与生产异常即时反应系统及其方法
WO2023105666A1 (ja) * 2021-12-08 2023-06-15 日本電気株式会社 画像処理システム、画像処理方法、および非一時的なコンピュータ可読媒体
CN115797842A (zh) * 2022-12-13 2023-03-14 深圳云天励飞技术股份有限公司 车辆占道经营检测方法、装置、电子设备及存储介质
CN116597387A (zh) * 2023-07-17 2023-08-15 建信金融科技有限责任公司 一种异常处理方法、装置、电子设备及计算机可读介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012003549A (ja) * 2010-06-17 2012-01-05 Toshiba Teli Corp 異常走行車両検出システムおよび道路監視プログラム
DE102013219218A1 (de) * 2013-09-25 2015-03-26 Robert Bosch Gmbh Überwachungsanlage, Verfahren zur Überwachung eines Überwachungsbereichs sowie Computerprogramm
CN107045623A (zh) * 2016-12-30 2017-08-15 厦门瑞为信息技术有限公司 一种基于人体姿态跟踪分析的室内危险情况告警的方法
CN107483887A (zh) * 2017-08-11 2017-12-15 中国地质大学（武汉） 一种智慧城市视频监控中突发情况的预警检测方法
JP2018073024A (ja) * 2016-10-27 2018-05-10 ホーチキ株式会社 監視システム
JP2018173914A (ja) * 2017-03-31 2018-11-08 綜合警備保障株式会社 画像処理システム、撮像装置、学習モデル作成方法、情報処理装置
CN109684916A (zh) * 2018-11-13 2019-04-26 恒睿(重庆)人工智能技术研究院有限公司 基于路径轨迹数据异常检测方法、系统、设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000293685A (ja) * 1999-04-06 2000-10-20 Toyota Motor Corp シーン認識装置
US7433493B1 (en) * 2000-09-06 2008-10-07 Hitachi, Ltd. Abnormal behavior detector
JP5356094B2 (ja) * 2009-03-31 2013-12-04 能美防災株式会社 火災検出システム
TWI430212B (zh) * 2010-06-08 2014-03-11 Gorilla Technology Inc 利用多特徵自動集群法之異常行為偵測系統與方法
CN102752574B (zh) * 2011-04-18 2015-01-28 中兴通讯股份有限公司 一种视频监控系统及方法
WO2014208575A1 (ja) * 2013-06-28 2014-12-31 日本電気株式会社 映像監視システム、映像処理装置、映像処理方法および映像処理プログラム
US20170011529A1 (en) * 2014-02-14 2017-01-12 Nec Corporation Video analysis system
CN106557765A (zh) * 2015-09-29 2017-04-05 欧姆龙株式会社 注意检测装置以及注意检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012003549A (ja) * 2010-06-17 2012-01-05 Toshiba Teli Corp 異常走行車両検出システムおよび道路監視プログラム
DE102013219218A1 (de) * 2013-09-25 2015-03-26 Robert Bosch Gmbh Überwachungsanlage, Verfahren zur Überwachung eines Überwachungsbereichs sowie Computerprogramm
JP2018073024A (ja) * 2016-10-27 2018-05-10 ホーチキ株式会社 監視システム
CN107045623A (zh) * 2016-12-30 2017-08-15 厦门瑞为信息技术有限公司 一种基于人体姿态跟踪分析的室内危险情况告警的方法
JP2018173914A (ja) * 2017-03-31 2018-11-08 綜合警備保障株式会社 画像処理システム、撮像装置、学習モデル作成方法、情報処理装置
CN107483887A (zh) * 2017-08-11 2017-12-15 中国地质大学（武汉） 一种智慧城市视频监控中突发情况的预警检测方法
CN109684916A (zh) * 2018-11-13 2019-04-26 恒睿(重庆)人工智能技术研究院有限公司 基于路径轨迹数据异常检测方法、系统、设备及存储介质

Also Published As

Publication number Publication date
WO2021095351A1 (ja) 2021-05-20
JP6742623B1 (ja) 2020-08-19
CN115004269A (zh) 2022-09-02
US20230061044A1 (en) 2023-03-02
JP2021077295A (ja) 2021-05-20

Similar Documents

Publication Publication Date Title
CN115004269B (zh) 监视装置、监视方法及程序
CN111507888B (zh) 利用生成性对抗神经网络生成合成图像的方法及装置
US11080434B2 (en) Protecting content on a display device from a field-of-view of a person or device
CN110837856B (zh) 神经网络训练及目标检测方法、装置、设备和存储介质
US8995714B2 (en) Information creation device for estimating object position and information creation method and program for estimating object position
CN112166438A (zh) 确定性标记数据生成和人工智能训练途径
CN107636685B (zh) 图像中的自动元标记
CN111354024B (zh) 关键目标的行为预测方法、ai服务器及存储介质
CN111368615B (zh) 一种违章建筑预警方法、装置及电子设备
US8780195B1 (en) Fusion of multi-sensor information with operator-learned behavior for automatic and efficient recognition of objects and control of remote vehicles
KR102053906B1 (ko) 지리공간정보를 이용하는 실시간 감독 학습 방법 및 시스템
CN107592498A (zh) 一种基于智能摄像头的小区管理方法及相关设备
US11928864B2 (en) Systems and methods for 2D to 3D conversion
CN113505643B (zh) 违章目标物检测方法及相关装置
EP3765995A1 (en) Systems and methods for inter-camera recognition of individuals and their properties
CN115880765A (zh) 区域入侵异常行为检测方法、装置及计算机设备
KR101646733B1 (ko) 미디어 데이터 분류 방법 및 그 장치
US11184476B2 (en) Preventing photo image related risks
Rahman et al. Computer Vision‐Based Wildfire Smoke Detection Using UAVs
CN113505653B (zh) 目标检测方法、装置、设备、介质及程序产品
CN114220063A (zh) 目标检测方法及装置
CN113298122A (zh) 目标检测方法、装置和电子设备
CN116823884A (zh) 多目标跟踪方法、系统、计算机设备及存储介质
JP2021164008A (ja) 情報処理方法、情報処理装置、プログラム及び情報処理システム
Rasheed et al. Rapidly Deployable Video Analysis Sensor units for wide area surveillance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant