CN110073405A - 图像识别系统以及图像识别方法 - Google Patents

图像识别系统以及图像识别方法 Download PDF

Info

Publication number
CN110073405A
CN110073405A CN201780074797.1A CN201780074797A CN110073405A CN 110073405 A CN110073405 A CN 110073405A CN 201780074797 A CN201780074797 A CN 201780074797A CN 110073405 A CN110073405 A CN 110073405A
Authority
CN
China
Prior art keywords
image
timing
reference object
phenomenon
occurred
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780074797.1A
Other languages
English (en)
Other versions
CN110073405B (zh
Inventor
早田启介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Opto Inc
Original Assignee
Konica Minolta Opto Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Opto Inc filed Critical Konica Minolta Opto Inc
Publication of CN110073405A publication Critical patent/CN110073405A/zh
Application granted granted Critical
Publication of CN110073405B publication Critical patent/CN110073405B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Abstract

图像识别系统具备多个传感器装置和服务器装置。所述多个传感器装置分别具备第一图像识别部和发送数据生成部。所述第一图像识别部对按时间顺序拍摄的时序图像进行图像识别处理，推定所述时序图像所拍到的拍摄对象是否发生了规定的现象。所述发送数据生成部以所述第一图像识别部推定出在所述拍摄对象中发生了所述规定的现象作为前提条件，生成从构成所述时序图像的每个图像剪裁了包括所述拍摄对象的像的局部图像所得的第一时序图像，作为发送给所述服务器装置的发送数据。所述服务器装置具备第二图像识别部。所述第二图像识别部对所述发送数据进行图像识别的精度比所述第一图像识别部更高的图像识别处理，推定在所述拍摄对象中是否发生了所述规定的现象。

Description

图像识别系统以及图像识别方法
技术领域
本发明例如涉及能够应用于监视被监视者的系统的图像识别技术。
背景技术
例如，专利文献1～3中公开了使用了人工智能的图像识别技术。它们都是使用了神经网络的图像识别技术。以专利文献1为例进行说明。专利文献1公开如下技术：将每隔一定时间拍摄了被观察者的床上的动作的图像转换为轮廓图像(silhouette image)或者马赛克图像(mosaic image)，使用该图像数据来识别被观察者是起床状态还是就寝状态，并使用神经网络来判定被观察者是否要离床，在感测到被观察者要离床时，预先自动地通报给特定的护士等。
作为人工智能的一种，有深层学习(deep learning：深度学习)。若使用深层学习进行图像识别，则实现高精度的图像识别。在使用深层学习进行图像识别的情况下，虽然图像识别的精度提高，但是进行图像识别的装置的负荷提高。
现有技术文献
专利文献
专利文献1：特开2007-72964号公报
专利文献2：特开2008-21034号公报
专利文献3：特开2016-157170号公报
发明内容
本发明的目的在于，提供一种在具有服务器装置的图像识别系统中，能够减轻服务器装置的负荷的图像识别系统以及图像识别方法。
为了实现上述的目的，反映了本发明的一方面的图像识别系统是具备多个传感器装置以及与所述多个传感器装置中的每个进行网络连接的服务器装置的图像识别系统。所述多个传感器装置分别具备取得部、第一图像识别部、发送数据生成部和第一通信部。所述取得部取得按时间顺序拍摄的时序图像。所述第一图像识别部对所述时序图像进行图像识别处理，推定在所述时序图像所拍到的拍摄对象中是否发生了规定的现象。所述发送数据生成部以所述第一图像识别部推定出在所述拍摄对象中发生了所述规定的现象作为前提条件，生成从构成所述时序图像的每个图像剪裁了包括所述拍摄对象的像的局部图像所得的第一时序图像或者构成所述第一时序图像的每个所述局部图像的特征图，作为发送给所述服务器装置的发送数据。所述第一通信部经由所述网络而发送所述发送数据。所述服务器装置具备第二通信部和第二图像识别部。所述第二通信部接收所述发送数据。所述第二图像识别部对所述第二通信部接收到的所述发送数据进行图像识别的精度比所述第一图像识别部更高的图像识别处理，推定在所述拍摄对象中是否发生了所述规定的现象。
通过发明的一个或者多个实施方式而提供的优点以及特征应根据以下提供的详细说明以及附图而充分理解。这些详细说明以及附图只作为例子来提供，并不意图作为本发明的限定的定义。
附图说明
图1是说明实施方式的被监视者监视系统的结构的说明图。
图2是说明实施方式的图像识别系统的结构的说明图。
图3是表示传感器装置的结构的框图。
图4是说明第一时序图像的说明图。
图5是表示管理服务器装置的结构的框图。
图6是说明实施方式的图像识别系统的动作的流程图。
图7是说明特征图的生成步骤的说明图。
图8是说明由特征图构成的发送数据的说明图。
图9是说明第一变形例的动作的流程图。
图10是表示第二变形例中具备的传感器装置的结构的框图。
图11是表示第二变形例中具备的管理服务器装置的结构的框图。
图12是说明第二变形例的动作的流程图。
图13是表示第三变形例中具备的传感器装置的结构的框图。
图14是表示第三变形例中具备的管理服务器装置的结构的框图。
图15是说明第三变形例的动作的流程图。
具体实施方式
作为监视被监视者的系统，有具备多个传感器装置和与这些传感器装置进行网络连接的服务器装置的系统(例如，日本特愿2016-097088)。被监视者例如是需要看护的人或需要护理的人。该系统例如导入到护理设施中。在多个房间中的每个房间中配置有传感器装置。传感器装置拍摄房间内的被监视者，并将拍摄到的被监视者的图像发送给服务器装置。服务器装置使用图像识别技术，对被监视者判定是否发生了规定的现象(例如，跌倒)。
服务器装置对从多个传感器装置中的每个发来的图像(即，多个被监视者的图像)进行图像识别处理，并对多个被监视者中的每个判定是否发生了规定的现象。在使用深层学习进行图像识别的情况下，虽然图像识别的精度提高，但服务器装置的负荷提高。若使用深层学习对从多个传感器装置发来的图像进行图像识别，则服务器装置的负荷变得相当高。由此，为了服务器装置实时进行图像识别，每个传感器装都需要高性能的服务器装置。
因此，本发明人创建了在具备多个传感器装置和与这些传感器装置中的每个进行网络连接的服务器装置的图像识别系统中，能够减轻服务器装置的负荷的图像识别系统以及图像识别方法。
以下，参照附图说明本发明的一个或者多个实施方式。但是，发明的范围并不限定于公开的实施方式。
在各图中，附加相同附图标记的结构表示相同的结构，关于该结构，对已经说明的内容省略其说明。在本说明书中，在统称的情况下使用省略了后缀的附图标记来表示(例如，传感器装置SU)，在指个别的结构的情况下使用附加了后缀的附图标记来表示(例如，传感器装置SU-1)。
实施方式的被监视者监视系统是使用多个装置对作为监视对象的被监视者(换言之，作为看管对象的看管对象者)进行监视的系统。该系统具备终端装置和被监视者监视装置。所述被监视者监视装置与所述终端装置以能够进行通信的方式进行连接，检测有关所述被监视者的规定的事件(现象)，并将所述事件通知给所述终端装置。
在本说明书中，所述被监视者监视装置具备传感器装置和与所述传感器装置以及所述终端装置的每个以能够进行通信的方式进行连接的管理服务器装置。所述被监视者监视装置可以是所述传感器装置和所述管理服务器装置在物理上分离，它们能够设置于不同的地点的方式，也可以是所述传感器装置和所述管理服务器装置在物理上不分离，它们不能设置于不同的地点的方式。本说明书以前者的方式来进行说明。
所述传感器装置检测有关所述被监视者的所述规定的事件，并将其通知(报告、发送)给所述管理服务器装置。若从所述传感器装置接受到所述通知，则所述管理服务器装置对接受到所述通知的所述事件进行管理，且将所述事件再通知(再报告、再发送)给与所述传感器装置相关联的所述终端装置。
作为所述终端装置，有两种装置。一种是固定终端装置，另一种是便携终端装置。固定终端装置和便携终端装置的主要的不同点在于，固定终端装置以固定的方式应用，便携终端装置由监视者(用户)携带而被应用。监视者例如是护士或看护人。固定终端装置和便携终端装置大致相同，所以以下以便携终端装置为主进行说明。另外，所述终端装置可以是一种装置。
图1是说明实施方式的被监视者监视系统MS的结构的说明图。被监视者监视系统MS例如具备多个传感器装置SU(SU-1～SU-4)、管理服务器装置SV、固定终端装置SP、一个或者多个便携终端装置TA(TA-1、TA-2)以及专用小交换机(private branch exchange)CX，它们以能够经由网络(网、通信线路)NW进行通信的方式进行连接。在图1所示的例中，LAN(局域网(Local Area Network))成为网络NW。该LAN包括L2开关的集线装置(集线器)LS以及接入点AP，是混合了有线以及无线的LAN。更详细而言，多个传感器装置SU-1～SU-4、管理服务器装置SV、固定终端装置SP以及专用小交换机CX连接到集线装置LS，多个便携终端装置TA-1、TA-2经由接入点AP连接到集线装置LS。并且，网络NW通过使用TCP(传输控制协议(Transmission Control Protocol))以及IP(互联网协议(Internet Protocol))等互联网协议组而构成所谓的内联网。专用小交换机CX通过公共电话网PN与电话TL连接。
被监视者监视系统MS根据被监视者Ob的种类，适当地配设于医院、老年人福利设施以及住宅等建筑物中。在图1所示的例子中，被监视者监视系统MS配设于具有多个被监视者Ob居住的多个房间RM和护士站等多个房间的护理设施的建筑物。
传感器装置SU是如下装置：具有经由网络NW而与其他装置SV、SP、TA进行通信的通信功能等，检测有关被监视者Ob的所述规定的事件，并将该检测出的所述规定的事件通知给管理服务器装置SV，在与终端装置SP、TA之间进行语音通话，然后，生成包括运动图像的图像并将运动图像分发给终端装置SP、TA。优选所述规定的事件包括需要应对的事件。
图1中，作为一例，示出了4个传感器装置SU-1～SU-4。传感器装置SU-1配设于作为被监视者Ob的一人的A先生Ob-1的房间RM-1(未图示)，传感器装置SU-2配设于作为被监视者Ob的一人的B先生Ob-2的房间RM-2(未图示)，传感器装置SU-3配设于作为被监视者Ob的一人的C先生Ob-3的房间RM-3(未图示)，传感器装置SU-4配设于作为被监视者Ob的一人的D先生Ob-4的房间RM-4(未图示)。
管理服务器装置SV具有经由网络NW而与其他装置SU、SP、TA进行通信的通信功能等。管理服务器装置SV若从传感器装置SU接收到通知所述规定的事件的通信信号(以下，第一事件通知通信信号)，则基于在第一事件通知通信信号中容纳的各信息，存储(记录)与对于被监视者Ob的监视有关的监视信息，并且，生成容纳了所述监视信息的通信信号(以下，第二事件通知通信信号)，并将第二事件通知通信信号发送给与传感器装置SU预先相关联的终端装置SP、TA。为此，管理服务器装置SV存储作为第一事件通知通信信号的发送源的传感器装置SU的ID和作为第二事件通知通信信号的发送目的地的终端的ID的对应关系、以及其通信地址。终端的ID是用于识别终端装置SP、TA的识别符。并且，管理服务器装置SV将与客户端(在实施方式中，固定终端装置SP以及便携终端装置TA等)的请求相应的数据提供给客户端。这样的管理服务器装置SV例如能够由带通信功能的计算机构成。
固定终端装置SP是作为被监视者监视系统MS的用户接口(UI)来发挥作用的装置。为了实现该功能，固定终端装置SP具有经由网络NW而与其他装置SU、SV、TA进行通信的通信功能、显示规定的信息的显示功能、以及输入规定的指示以及数据的输入功能等，被输入提供给管理服务器装置SV以及便携终端装置TA的规定的指示以及数据，或者显示在传感器装置SU中获得的监视信息。这样的固定终端装置SP例如能够由带通信功能的计算机构成。
便携终端装置TA由监视者NS携带。便携终端装置TA具有经由网络NW而与其他装置SV、SP、SU进行通信的通信功能、显示规定的信息的显示功能、输入规定的指示或数据的输入功能、以及进行语音通话的通话功能等，是用于输入提供给管理服务器装置SV以及传感器装置SU的规定的指示以及数据，或者根据来自管理服务器装置SV的通知而显示在传感器装置SU中获得的监视信息(包括运动图像)，或者与传感器装置SU之间通过语音通话而响应护士呼叫或发出声音等的设备。
实施方式的图像识别系统例如应用于图1所示的被监视者监视系统MS。图2是说明实施方式的图像识别系统1的结构的说明图。图像识别系统1具备多个传感器装置SU和通过网络NW而与这些传感器装置SU连接的管理服务器装置SV(服务器装置的一例)。图2示出了传感器装置SU的数目为4个的情况，但传感器装置SU的数目并不限定于4个，只要是多个即可。
图3是表示传感器装置SU的结构的框图。传感器装置SU具备传感器侧控制处理部(SU控制处理部)10、传感器侧通信接口部(SU通信IF部)11、拍摄部12、图像记录部13、第一图像识别部14以及发送数据生成部15。
SU控制处理部10统一控制传感器装置SU整体，根据SU控制处理部10的控制，传感器装置SU的各部(SU通信IF部11、拍摄部12、图像记录部13、第一图像识别部14、发送数据生成部15)分别执行功能。
SU控制处理部10例如通过CPU(中央处理器(Central Processing Unit))、RAM(随机存取存储器(Random Access Memory))、ROM(只读存储器(Read Only Memory))以及HDD(硬盘驱动器(Hard Disk Drive))等硬件以及用于执行SU控制处理部10的功能的程序及数据等来实现。关于SU控制处理部10的功能，各功能的一部分或者全部可以代替CPU的处理或者与CPU的处理一起通过DSP(数字信号处理器(Digital Signal Processor))的处理来实现。或者，同样地，SU控制处理部10的功能的一部分或者全部可以代替软件的处理或者与软件的处理一起通过专用的硬件电路的处理来实现。以上说明的内容关于后述的图像记录部13、第一图像识别部14、发送数据生成部15、SV控制处理部20(图5)、第二图像识别部22(图5)、询问部16(图10)、判定部23(图11)、请求部24(图11)、第二时序图像生成部17(图13)以及第三图像识别部25(图14)也是同样的。
SU通信IF部11是用于根据SU控制处理部10的控制，经由网络NW，与图1所示的管理服务器装置SV、固定终端装置SP、便携终端装置TA进行通信的通信接口。
拍摄部12是对拍摄对象进行拍摄，生成拍摄对象的图像的装置。图像包括静止图像以及运动图像。拍摄部12例如是数字式的可见光相机、数字式的红外线相机。
拍摄部12作为取得部来发挥作用。取得部取得按时间顺序拍摄的时序图像Im-0。时序图像Im-0是按照进行拍摄的时间的顺序排列的图像，例如，是运动图像或以一定的时间间隔拍摄到的图像。构成时序图像Im-0的每个图像是高分辨率的图像(例如，分辨率是横1280像素×纵960像素)。
另外，也可以是传感器装置SU不具备拍摄部12的方式。在该方式中，传感器装置SU具备被输入从拍摄部12发来的时序图像Im-0的输入输出端口。该输入输出端口作为取得部来发挥作用。
图像记录部13记录时序图像Im-0。图像记录部13具备环形缓冲器131以及存储处理部132。
环形缓冲器131具有如下功能：能够存储规定量的信息(数据)，在存储新的信息(数据)时，从旧的信息(数据)开始依次丢弃，从而无限地存储规定量的信息(数据)。
存储处理部132使拍摄部12生成的时序图像Im-0存储在环形缓冲器131中。由此，环形缓冲器131无限地存储由从最新的图像到规定时间前的图像为止的图像组构成的时序图像Im-0。
第一图像识别部14对拍摄部12生成的时序图像Im-0实时进行图像识别处理，推定在时序图像Im-0所拍到的拍摄对象中是否发生了规定的现象。传感器装置SU的信息处理能力比管理服务器装置SV低。因此，第一图像识别部14例如不能实时执行使用了深层学习的图像识别处理。因此，第一图像识别部14实时执行的图像识别处理的图像识别的精度不高。
规定的现象的发生伴随着拍摄对象的姿势变化。在拍摄对象为需要看护的人或需要护理的人的情况下(例如，图1所示的被监视者Ob)，拍摄对象中发生了规定的现象例如是跌倒、起床、离床。在拍摄对象为店内的人的情况下，拍摄对象中发生了规定的现象例如是盗窃。拍摄对象并不限定于人，只要是移动体即可(例如，动物)。
以被监视者Ob(拍摄对象的一例)的跌倒为例，说明第一图像识别部14的图像识别处理。第一图像识别部14对构成时序图像Im-0的各图像，例如，通过背景差分法而生成各图像所拍到的被监视者Ob的轮廓图像。也可以代替背景差分法而使用帧差分法。第一图像识别部14从轮廓图像例如通过圆形或者椭圆形的霍夫变换而提取被监视者Ob的头部区域，并根据头部区域的位置以及大小来推定被监视者Ob的跌倒。在被监视者Ob跌倒了的情况下，头部区域位于与床区域不同的位置，头部区域的面积从比较大的值变化为比较小的值。另外，也可以代替霍夫变换，通过使用了预先准备的头部的模型的模式匹配来提取被监视者Ob的头部区域。
如以上所说明，第一图像识别部14基于轮廓图像的面积以及位置来推定规定的现象的发生，但也可以基于轮廓图像的形状来推定规定的现象的发生。这基于拍摄对象的姿势变化(例如，人跌倒时的人的姿势变化、人盗窃时的人的姿势变化)。以被监视者Ob的跌倒为例进行说明的话，第一图像识别部14预先准备被监视者Ob站立的姿势的模型以及摔倒的姿势的模型，并将使用了这些模型的模式匹配应用于轮廓图像。在轮廓图像从与被监视者Ob站立的姿势的模型一致的状态变化为与被监视者Ob跌倒的姿势的模型一致的状态时，第一图像识别部14推定被监视者Ob跌倒了。
由于传感器装置SU的信息处理能力不高，所以第一图像识别部14执行的推定的精度较低。精度较高的推定在管理服务器装置SV中执行。为了防止即使发生了规定的现象，第一图像识别部14也进行没有发生规定的现象的推定的情形，第一图像识别部14进行发生了规定的现象的推定的阈值被设定得低。由此，发生即使没有发生规定的现象，第一图像识别部14也进行发生了规定的现象的推定的情形。
在第一图像识别部14进行了在拍摄对象中发生了规定的现象的推定时(即，以第一图像识别部14进行了在拍摄对象中发生了规定的现象的推定为前提条件)，发送数据生成部15使用时序图像Im-0来生成第一时序图像Im-1。对此详细说明。图4是说明第一时序图像Im-1的说明图。设构成时序图像Im-0的图像101的数目为N个。时序图像Im-0具有第一个图像101、第二个图像101、……、第N个图像101按时序排列的结构。顺序越大，则拍摄到图像101的时刻越远离当前的时刻(拍摄到第一个图像101的时刻最靠近当前，拍摄到第N个图像101的时刻最远离当前)。在时序图像Im-0为运动图像的情况下，构成时序图像Im-0的每个图像101为帧。
第一时序图像Im-1是从构成时序图像Im-0的每个图像101剪裁了包括拍摄对象(例如，被监视者Ob-1)的像的局部图像102的图像。换言之，剪裁是剪辑。构成第一时序图像Im-1的局部图像102的数目为N个。第一时序图像Im-1具有第一个局部图像102、第二个局部图像102、……、第N个局部图像102按时序排列的结构。第一时序图像Im-1是发送给管理服务器装置SV的发送数据的一例。
参照图3，在第一图像识别部14进行了在拍摄对象中发生了规定的现象的推定时，发送数据生成部15从环形缓冲器131读出包括此时在内的规定期间(例如，数秒间)的时序图像Im-0，并使用该时序图像Im-0来生成第一时序图像Im-1。SU通信IF部11(第一通信部的一例)将管理服务器装置SV作为目的地，经由网络NW发送发送数据(在此，第一时序图像Im-1)。
图5是表示管理服务器装置SV的结构的框图。管理服务器装置SV具备管理服务器侧控制处理部(SV控制处理部)20、管理服务器侧通信接口部(SV通信IF部)21以及第二图像识别部22。
SV控制处理部20统一控制管理服务器装置SV整体，根据SV控制处理部20的控制，管理服务器装置SV的各部(SV通信IF部21、第二图像识别部22)分别执行功能。
SV通信IF部21(第二通信部的一例)是用于根据SV控制处理部20的控制，经由网络NW，与图1所示的传感器装置SU、固定终端装置SP、便携终端装置TA进行通信的通信接口。SV通信IF部21(第二通信部的一例)接收从图3所示的SU通信IF部11发送的发送数据(在此，第一时序图像Im-1)。
第二图像识别部22对SV通信IF部21接收到的第一时序图像Im-1(发送数据)进行图像识别的精度比第一图像识别部14更高的图像识别处理，推定在拍摄对象中是否发生了规定的现象。由于第二图像识别部22进行图像识别的精度比第一图像识别部14更高的图像处理，所以处理量比第一图像识别部14更多。第二图像识别部22执行的图像识别处理例如是使用了深层学习的图像识别处理。
简单说明使用了深层学习的图像识别处理。设拍摄对象为被监视者Ob，规定的现象的发生为跌倒。第二图像识别部22使用被监视者Ob跌倒的状态的图像和被监视者Ob没有跌倒的状态的图像，学习被监视者Ob跌倒的状态。第二图像识别部22基于该学习，推定第一时序图像Im-1所拍到的被监视者Ob的跌倒。在该深层学习中，作为多层神经网络，例如，使用CNN(卷积神经网络(Convolutional Neural Network))或RNN(循环神经网络(RecurrentNeural Network))。
说明实施方式的图像识别系统1(图2)的动作。图6是说明该动作的流程图。设拍摄对象为图1所示的被监视者Ob-1，规定的现象的发生为跌倒。拍摄被监视者Ob-1的是在传感器装置SU-1中具备的拍摄部12。因此，以下说明的SU控制处理部10、SU通信IF部、拍摄部12、图像记录部13、第一图像识别部14以及发送数据生成部15是在传感器装置SU-1中具备的要素。关于这些，在之后说明的变形例的动作中也是相同的。
参照图1、图3以及图6，拍摄部12拍摄被监视者Ob-1所在的房间RM，生成时序图像Im-0。即，拍摄部12取得时序图像Im-0(步骤S1)。存储处理部132将在步骤S1中取得的时序图像Im-0存储在环形缓冲器131中。
第一图像识别部14对在步骤S1中取得的时序图像Im-0实时进行图像识别处理，推定时序图像Im-0所拍到的被监视者Ob-1是否跌倒了(步骤S2)。
在第一图像识别部14进行了被监视者Ob-1没有跌倒的推定时(步骤S2中“否”)，第一图像识别部14反复进行步骤S2的处理。
在第一图像识别部14进行了被监视者Ob-1跌倒的推定时(步骤S2中“是”)，发送数据生成部15从环形缓冲器131读出包括此时在内的规定期间(例如，数秒间)的时序图像Im-0，并使用该时序图像Im-0来生成图4所示的第一时序图像Im-1(步骤S3)。
SU通信IF部11将在步骤S3中生成的第一时序图像Im-1作为发送数据，经由网络NW发送发送数据(步骤S4)。该发送的目的地为管理服务器装置SV。
参照图1、图5以及图6，SV控制处理部20判断SV通信IF部21是否接收到发送数据(步骤T1)。在SV控制处理部20判断为SV通信IF部21没有接收到发送数据时(步骤T1中“否”)，SV控制处理部20反复进行步骤T1的处理。
在SV通信IF部21接收到在步骤S4中发送的发送数据时，SV控制处理部20判断为SV通信IF部21接收到发送数据(步骤T1中“是”)。由此，第二图像识别部22对在SV通信IF部21中接收到的发送数据(第一时序图像Im-1)实时执行使用了深层学习的图像识别处理，推定被监视者Ob-1是否跌倒了(步骤T2)。在深层学习中的多层神经网络为例如CNN的情况下，在使用了深层学习的图像识别处理中，包括使用了第一时序图像Im-1的特征图的生成和对于特征图的池化(Pooling)处理。
在第二图像识别部22进行了被监视者Ob-1没有跌倒的推定时(步骤T2中“否”)，SV控制处理部20反复进行步骤T1的处理。
在第二图像识别部22进行了被监视者Ob-1跌倒的推定时(步骤T2中“是”)，SV控制处理部20使SV通信IF部21以便携终端装置TA以及固定终端装置SP作为目的地，发送表示发生(规定的现象的发生)了被监视者Ob-1的跌倒的信号(步骤T3)。便携终端装置TA以及固定终端装置SP经由网络NW接收该信号，并发出警报。发出警报例如是指便携终端装置TA以及固定终端装置SP发出警告音。这样，便携终端装置TA以及固定终端装置SP作为警报部来发挥作用。
说明实施方式的图像识别系统1(图2)的主要效果。
(1)参照图6，在传感器装置SU进行了在被监视者Ob(拍摄对象的一例)中发生了规定的现象的推定时(步骤S2中“是”)，管理服务器装置SV通过使用了深层学习的图像识别处理，推定在被监视者Ob中是否发生了规定的现象(步骤T2)。这样，管理服务器装置SV不会始终进行使用了深层学习的图像识别处理，而是根据需要进行该处理。因此，能够实现使用了深层学习的图像识别处理的高效化。
(2)在步骤T2中，第一时序图像Im-1用于在被监视者Ob中是否发生了规定的现象的推定。如图4所示，因为第一时序图像Im-1由构成时序图像Im-0的图像101的局部图像102构成，所以数据量比较少。
通过(1)以及(2)，根据实施方式的图像识别系统1，能够减轻管理服务器装置SV的负荷。由此，一个管理服务器装置SV能够将多个传感器装置SU作为客户端，实时进行使用了深层学习的图像识别处理。
说明实施方式的图像识别系统1的变形例。在第一变形例中，代替时序图像Im-1而生成特征图作为发送数据。即，在第一变形例中，图3所示的发送数据生成部15在生成了第一时序图像Im-1之后，对构成第一时序图像Im-1的多个局部图像102(图4)的每个生成特征图。图7是说明特征图的生成步骤的说明图。以图4所示的局部图像102a为例，说明特征图的生成。
在第一变形例中，图3所示的第一图像识别部14具备CNN。CNN是在中间层中多次反复进行卷积处理和池化处理，自动取得特征量的神经网络。中间层具有多个层。虽然在图7中示出了2个层(Layer1、Layer2)，但也可以是3个以上的层。多个层的每个具有卷积层和池化层。
局部图像102a是输入到中间层的输入图像。局部图像102a的像素数例如为28×28。Layer1的卷积层对局部图像102a进行卷积处理而生成多个特征图103-1。特征图103-1的数目例如为20个。特征图103-1的像素数例如为24×24。
Layer1的池化层对多个特征图103-1的每个进行池化处理。由此，各特征图103-1的像素数例如成为12×12。
Layer2的卷积层对池化处理后的特征图103-1的每个进行卷积处理，生成多个特征图103-2。特征图103-2的数目例如为50个。特征图103-2的像素数例如为8×8。
Layer2的池化层对50个特征图103-2的每个进行池化处理。由此，各特征图103-2的像素数例如成为4×4。
对一个局部图像102生成多个特征图103。由于第一时序图像Im-1由多个局部图像102构成，所以对多个局部图像102的每个生成多个特征图103。
如以上所说明，发送数据生成部15生成构成第一时序图像Im-1的每个局部图像102的特征图103作为发送数据。成为发送数据的特征图103可以是在Layer1中生成的特征图103-1、在Layer2中生成的特征图103-2、在Layer2以后的Layer中生成的特征图(未图示)中的任一个。成为越深的Layer，则发送数据的数据量变得越少。例如，在特征图103-2为发送数据的情况下，与特征图103-1为发送数据时相比，数据量少。
图8是说明由特征图103构成的发送数据的说明图。特征图103以特征图103-2为例。发送数据由图4所示的与第一个局部图像102(102a)有关的50个特征图103-2、与第二个局部图像102有关的50个特征图103-2、……、与第N个局部图像102有关的50个特征图103-2构成。
说明第一变形例的动作。图9是说明该动作的流程图。步骤S1以及步骤S2与图6所示的步骤S1以及步骤S2相同。
参照图3以及图9，在第一图像识别部14推定出被监视者Ob-1的跌倒时(步骤S2中“是”)，发送数据生成部15生成第一时序图像Im-1。这与图6所示的步骤S3相同。发送数据生成部15生成构成该第一时序图像Im-1的每个局部图像102的特征图103(步骤S11)。所生成的特征图103成为图8所示的发送数据。
SU通信IF部11将在步骤S11中生成的特征图103作为发送数据，经由网络NW发送发送数据(步骤S12)。该发送的目的地为管理服务器装置SV。
步骤T1与图6所示的步骤T1相同。
参照图5以及图9，在SV控制处理部20判断为SV通信IF部21接收到发送数据时(步骤T1中“是”)，第二图像识别部22对在SV通信IF部21中接收到的发送数据(特征图103)实时执行使用了深层学习的图像识别处理，推定被监视者Ob-1是否跌倒了(步骤T11)。这与图6所示的步骤T2相同，但发送数据由特征图103-2构成。因此，在步骤T11中，能够省略图7所示的Layer1中的卷积处理以及池化处理。
步骤T3与图6所示的步骤T3相同。
说明第一变形例的主要效果。在使用了深层学习的图像识别处理中，包括特征图103的生成。参照图9，传感器装置SU生成由特征图103-2构成的发送数据(步骤S11)，管理服务器装置SV对该发送数据进行使用了深层学习的图像识别处理(步骤T11)。这样，根据第一变形例，由传感器装置SU和管理服务器装置SV分担使用了深层学习的图像识别处理。因此，能够减轻管理服务器装置SV的负荷。
说明第二变形例。如图9所示，在变形例1中，由传感器装置SU和管理服务器装置SV分担使用了深层学习的图像识别处理。将其设为分担处理。相对于此，如图6所示，在实施方式的图像识别系统1中，管理服务器装置SV单独进行使用了深层学习的图像识别处理。将其设为单独处理。
管理服务器装置SV的性能比传感器装置SU更高。因此，在管理服务器装置SV的负荷低时，与分担处理相比，单独处理能够使使用了深层学习的图像识别处理更加高速化。相对于此，在管理服务器装置SV的负荷高时，与单独处理相比，分担处理能够使使用了深层学习的图像识别处理更加高速化。在变形例2中，在管理服务器装置SV的负荷低时选择单独处理，在管理服务器装置SV的负荷高时选择分担处理。
图10是表示第二变形例中具备的传感器装置SU的结构的框图。该传感器装置SU具有在图3所示的传感器装置SU中加上询问部16的结构。询问部16对管理服务器装置SV询问发送数据的形式。作为发送数据的形式，有第一时序图像Im-1和特征图103。
图11是表示第二变形例中具备的管理服务器装置SV的结构的框图。该管理服务器装置SV具有在图5所示的管理服务器装置SV中加上判定部23以及请求部24的结构。
判定部23判定是否满足表示管理服务器装置SV的负荷高的预先确定的条件。预先确定的条件的第一例为，管理服务器装置SV中具备的CPU的使用率。在CPU的使用率超过规定的阈值时，判定部23判定为满足预先确定的条件，在CPU的使用率为规定的阈值以下时，判定为不满足预先确定的条件。
预先确定的条件的第二例为，管理服务器装置SV中具备的存储器(RAM)的空余容量。在空余容量超过规定的阈值时，判定部23判定为不满足预先确定的条件，在空余容量为规定的阈值以下时，判定为满足预先确定的条件。
预先确定的条件的第三例为，管理服务器装置SV使用的网络的线路负荷。在线路负荷超过规定的阈值时，判定部23判定为满足预先确定的条件，在线路负荷为规定的阈值以下时，判定为不满足预先确定的条件。
预先确定的条件的第四例为，管理服务器装置SV中具备的GPU(图形处理单元(Graphics Processing Unit))的负荷。在GPU的负荷超过规定的阈值时，判定部23判定为满足预先确定的条件，在GPU的负荷为规定的阈值以下时，判定为不满足预先确定的条件。
预先确定的条件的第五例为，将在被监视者Ob中是否发生了规定的现象的推定委托给管理服务器装置SV的传感器装置SU的数目。在传感器装置SU中具备的第一图像识别部14进行了在被监视者Ob中发生了规定的现象的推定时，该传感器装置SU中具备的SU通信IF部11将发送数据发送给管理服务器装置SV(图6的步骤S4、图9的步骤S12)。由此，传感器装置SU将在被监视者Ob中是否发生了规定的现象的推定委托给管理服务器装置SV(以下，推定委托)。在进行推定委托的传感器装置SU的数目超过规定的阈值时，判定部23判定为满足预先确定的条件，在进行推定委托的传感器装置SU的数目为规定的阈值以下时，判定为不满足预先确定的条件。
在不满足预先确定的条件的情况下(即，管理服务器装置SV的负荷低的状态)，请求部24对多个传感器装置SU中的、委托在被监视者Ob中是否发生了规定的现象的推定的传感器装置SU请求第一时序图像Im-1作为发送数据。这是上述的单独处理。相对于此，在满足预先确定的条件的情况下(即，管理服务器装置SV的负荷高的状态)，请求部24对上述委托的传感器装置SU请求特征图103作为发送数据。这是上述的分担处理。
说明第二变形例的动作。图12是说明该动作的流程图。步骤S1以及步骤S2与图6所示的步骤S1以及步骤S2相同。
参照图10、图11以及图12，在第一图像识别部14推定出被监视者Ob-1的跌倒时(步骤S2中“是”)，询问部16使SU通信IF部11发送询问发送数据的形式的信号(步骤S21)。询问信号的目的地为管理服务器装置SV。
SV控制处理部20判断SV通信IF部21是否接收到上述询问信号(步骤T21)。在SV控制处理部20判断为SV通信IF部21没有接收到上述询问信号时(步骤T21中“否”)，SV控制处理部20反复进行步骤T21的处理。
在SV通信IF部21接收到在步骤S21中发送的询问信号时(步骤T21中“是”)，判定部23判定是否满足表示管理服务器装置SV的负荷高的预先确定的条件(步骤T22)。
设判定部23判定为不满足表示管理服务器装置SV的负荷高的预先确定的条件(步骤T22中“否”)。即，设管理服务器装置SV的负荷低的状态。此时，请求部24使SV通信IF部21发送请求第一时序图像Im-1作为发送数据的信号(步骤T23)。该请求信号的目的地为传感器装置SU-1。
设判定部23进行了满足表示管理服务器装置SV的负荷高的预先确定的条件的判定(步骤T22中“是”)。即，设管理服务器装置SV的负荷高的状态。此时，请求部24使SV通信IF部21发送请求特征图103的信号作为发送数据(步骤T24)。该请求信号的目的地为传感器装置SU-1。
在SU通信IF部11接收到步骤T23所示的请求第一时序图像Im-1的信号时，发送数据生成部15生成第一时序图像Im-1作为发送数据(步骤S22)。这与图6所示的步骤S3相同。SU通信IF部11将在步骤S22中生成的第一时序图像Im-1作为发送数据，经由网络NW发送发送数据(步骤S23)。这与图6所示的步骤S4相同。
在SU通信IF部11接收到步骤T24所示的请求特征图103的信号时，发送数据生成部15生成特征图103作为发送数据(步骤S22)。这与图9所示的步骤S11相同。SU通信IF部11将在步骤S22中生成的特征图103作为发送数据，经由网络NW发送发送数据(步骤S23)。这与图9所示的步骤S12相同。
SV控制处理部20判断SV通信IF部21是否接收到发送数据(第一时序图像Im-1或者特征图103)(步骤T1)。在SV控制处理部20判断为SV通信IF部21没有接收到发送数据时(步骤T1中“否”)，SV控制处理部20反复进行步骤T1的处理。
在SV通信IF部21接收到步骤S23中发送的发送数据时，SV控制处理部20判断为SV通信IF部21接收到发送数据(步骤T1中“是”)。由此，第二图像识别部22推定被监视者Ob-1是否跌倒了(步骤T25)。在SV通信IF部21接收到的发送数据为第一时序图像Im-1时，步骤T25与图6所示的步骤T2相同。即，第二图像识别部22生成构成第一时序图像Im-1的每个局部图像102的特征图103，并使用特征图103来推定在被监视者Ob-1中是否发生了规定的现象。
相对于此，在SV通信IF部21接收到的发送数据为特征图103时，步骤T25与图9所示的步骤T11相同。即，第二图像识别部22使用特征图103来推定在被监视者Ob-1中是否发生了规定的现象。
在步骤T25之后，管理服务器装置SV进行步骤T3的处理。这与图6所示的步骤T3相同。
说明第二变形例的主要效果。如步骤T25所说明，第二图像识别部22使用特征图103(例如，图8所示的由特征图103-2构成的发送数据)，推定在被监视者Ob中是否发生了规定的现象。特征图103使用第一时序图像Im-1来生成。因此，在第二图像识别部22从特征图103开始图像识别处理的情况下，与从第一时序图像Im-1开始图像识别处理的情况相比，能够减轻管理服务器装置SV的负荷。
因此，在满足表示管理服务器装置SV的负荷高的预先确定的条件时(即，管理服务器装置SV的负荷高的状态)，通过传感器装置SU生成特征图103(步骤S22)，减少第二图像识别部22中的处理量。由此，即使在管理服务器装置SV的负荷高的状态下，第二图像识别部22也能够使在被监视者Ob中是否发生了规定的现象的推定高速化。
管理服务器装置SV的性能比传感器装置SU更高。因此，在不满足表示管理服务器装置SV的负荷高的预先确定的条件时(即，管理服务器装置SV的负荷低的状态)，特征图103的生成步骤也由第二图像识别部22执行(步骤T25)。由此，第二图像识别部22能够使在被监视者Ob中是否发生了规定的现象的推定高速化。
如以上所说明，在第二变形例中，根据管理服务器装置SV的负荷(步骤T22)，传感器装置SU选择第一时序图像Im-1或者特征图103作为发送数据。由此，第二图像识别部22能够使在被监视者Ob中是否发生了规定的现象的推定高速化。
在实施方式的图像识别系统1(图2)、第一变形例以及第二变形例中，第一图像识别部14对时序图像Im-0进行图像识别处理(图6、图9以及图12所示的步骤S2)。因此，第一图像识别部14也可以对降低了时序图像Im-0的分辨率的第二时序图像进行图像识别处理。在该方式中，第二时序图像生成部设置在传感器装置SU中。第二时序图像生成部生成降低了拍摄部12生成的时序图像Im-0的分辨率的第二时序图像。第一图像识别部14代替时序图像Im-0而对第二时序图像进行图像识别处理，推定在第二时序图像所拍到的被监视者Ob中是否发生了规定的现象。由于第二时序图像的分辨率低，所以在第一图像识别部14中能够减少图像识别的处理量。因此，根据该方式，即使传感器装置SU的信息处理能力低，也能够实时执行图像识别。
说明第三变形例。由于第二图像识别部22(图5、图11)进行使用了深层学习的图像识别处理，所以处理量多，管理服务器装置SV的负荷提高。优选尽量减少第二图像识别部22进行的图像识别处理。在第三变形例中，通过在管理服务器装置SV中具备第三图像识别部25，能够减少第二图像识别部22进行的图像识别处理。
图13是表示第三变形例中具备的传感器装置SU的结构的框图。该传感器装置SU具有在图3所示的传感器装置SU中加上第二时序图像生成部17的结构。第二时序图像生成部17生成降低了拍摄部12(取得部的一例)生成的时序图像Im-0的分辨率的第二时序图像Im-2。例如，在时序图像Im-0的分辨率为横1280像素×纵960像素的情况下，第二时序图像Im-2的分辨率为横320像素×纵240像素。
图14是表示第三变形例中具备的管理服务器装置SV的结构的框图。该管理服务器装置SV具有在图5所示的管理服务器装置SV中加上第三图像识别部25的结构。第三图像识别部25对第二时序图像Im-2进行图像识别的精度比第一图像识别部14更高的图像识别处理，推定在被监视者Ob中是否发生了规定的现象。第三图像识别部25执行的图像识别处理是使用了深层学习的图像识别处理。由于第三图像识别部25进行使用了深层学习的图像识别处理，所以图像识别的精度比第一图像识别部14更高。由于第三图像识别部25对分辨率低的第二时序图像Im-2进行图像识别处理，所以图像识别的精度比第二图像识别部22更低。
说明第三变形例的动作。图15是说明该动作的流程图。步骤S1与图6所示的步骤S1相同。
参照图13、图14以及图15，第二时序图像生成部17生成降低了在步骤S1中取得的时序图像Im-0的分辨率的第二时序图像Im-2(步骤S31)。存储处理部132将在步骤S31中生成的第二时序图像Im-2存储在环形缓冲器131中。此外，存储处理部132将用于生成第二时序图像Im-2的时序图像Im-0(换言之，在步骤S1中取得的时序图像Im-0)存储在环形缓冲器131中。
第一图像识别部14对在步骤S31中生成的第二时序图像Im-2进行图像识别处理，推定被监视者Ob-1是否跌倒了(步骤S32)。在该步骤中，图像识别处理的对象不是时序图像Im-0而是第二时序图像Im-2，除此以外与图6所示的步骤S2相同。
在第一图像识别部14推定出被监视者Ob-1的跌倒时(步骤S32中“是”)，发送数据生成部15从环形缓冲器131读出包括此时在内的规定期间(例如，数秒间)的第二时序图像Im-2。
SU通信IF部11将该读出的第二时序图像Im-2经由网络NW发送(步骤S33)。该发送的目的地为管理服务器装置SV。
SV控制处理部20判断SV通信IF部21是否接收到第二时序图像Im-2(步骤T31)。在SV控制处理部20判断为SV通信IF部21没有接收到第二时序图像Im-2时(步骤T31中“否”)，SV控制处理部20反复进行步骤T31的处理。
在SV通信IF部21接收到在步骤S33中发送的第二时序图像Im-2时，SV控制处理部20判断为SV通信IF部21接收到第二时序图像Im-2(步骤T31中“是”)。由此，第三图像识别部25对在SV通信IF部21中接收到的第二时序图像Im-2实时执行使用了深层学习的图像识别处理，推定被监视者Ob-1是否跌倒了(步骤T32)。
在第三图像识别部25进行了被监视者Ob-1没有跌倒的推定时(步骤T32中“否”)，SV控制处理部20反复进行步骤T31的处理。
在第三图像识别部25进行了被监视者Ob-1跌倒的推定时(步骤T32中“是”)，SV控制处理部20使SV通信IF部21以传感器装置SU-1作为目的地，发送请求发送数据的信号(步骤T33)。
在SU通信IF部11接收到步骤T33所示的请求发送数据的信号时，发送数据生成部15生成第一时序图像Im-1作为发送数据(步骤S3)。这与图6所示的步骤S3相同。在步骤S31中，发送数据生成部15使用用于生成第二时序图像Im-2的时序图像Im-0来生成第一时序图像Im-1。SU通信IF部11将在步骤S3中生成的第一时序图像Im-1作为发送数据，经由网络NW发送发送数据(步骤S4)。这与图6所示的步骤S4相同。作为发送数据，虽然以第一时序图像Im-1为例，但也可以将特征图103作为发送数据。
这样，以第一图像识别部14进行的被监视者Ob-1的跌倒的推定为前提条件(步骤S32中“是”)，进一步，在第三图像识别部25推定出被监视者Ob-1的跌倒时(步骤T32中“是”)，SU通信IF部11发送发送数据(步骤S4)。
步骤T1～步骤T3与图6所示的步骤T1～步骤T3相同。
说明第三变形例的主要效果。参照图14以及图15，由于第三图像识别部25将作为分辨率降低的时序图像的第二时序图像Im-2作为对象进行图像识别处理(步骤T32)，所以能够比第二图像识别部22减少处理量。因此，对于管理服务器装置SV而言，第三图像识别部25的负荷变得低于第二图像识别部22。在第三图像识别部25进行了在被监视者Ob(拍摄对象的一例)中发生了规定的现象的推定时(步骤T32中“是”)，第二图像识别部22推定在被监视者Ob中是否发生了规定的现象(步骤T2)。因此，根据第三变形例，由于能够尽量减少第二图像识别部22进行的图像识别处理，所以能够降低管理服务器装置SV的负荷。
(实施方式的总结)
实施方式的第一方面的图像识别系统是具备多个传感器装置以及与所述多个传感器装置中的每个进行网络连接的服务器装置的图像识别系统，所述多个传感器装置分别具备：取得部，取得按时间顺序拍摄的时序图像；第一图像识别部，对所述时序图像进行图像识别处理，推定在所述时序图像所拍到的拍摄对象中是否发生了规定的现象；发送数据生成部，以所述第一图像识别部推定出在所述拍摄对象中发生了所述规定的现象作为前提条件，生成从构成所述时序图像的每个图像剪裁了包括所述拍摄对象的像的局部图像所得的第一时序图像或者构成所述第一时序图像的每个所述局部图像的特征图，作为发送给所述服务器装置的发送数据；以及第一通信部，经由所述网络而发送所述发送数据，所述服务器装置具备：第二通信部，接收所述发送数据；以及第二图像识别部，对所述第二通信部接收到的所述发送数据进行图像识别的精度比所述第一图像识别部更高的图像识别处理，推定在所述拍摄对象中是否发生了所述规定的现象。
以传感器装置中具备的第一图像识别部推定出在拍摄对象中发生了规定的现象作为前提条件，在服务器装置中具备的第二图像识别部进行图像识别的精度比第一图像识别部更高的图像识别处理，推定在拍摄对象中是否发生了规定的现象。这样，第二图像识别部不会始终进行图像识别的精度比第一图像识别部更高的图像识别处理，而是根据需要进行该处理。因此，根据实施方式的第一方面的图像识别系统，由于能够实现第二图像识别部执行的图像识别处理的高效化，所以能够减轻服务器装置的负担。
在拍摄对象为需要看护的人或需要护理的人的情况下，拍摄对象中发生规定的现象例如是跌倒、起床、离床。在拍摄对象为店内的人的情况下，拍摄对象中发生规定的现象例如是盗窃。规定的现象的发生例如根据姿势来判断(例如，人跌倒的姿势、人盗窃的姿势)。
第一图像识别部例如生成时序图像所拍到的拍摄对象的轮廓图像，并使用轮廓图像来推定在拍摄对象中是否发生了规定的现象。第二图像识别部通过对发送数据进行例如使用了深层学习的图像识别处理，推定在拍摄对象中是否发生了规定的现象。
在上述结构中，所述服务器装置还具备：判定部，判定是否满足表示所述服务器装置的负荷高的预先确定的条件；以及请求部，在不满足所述预先确定的条件的情况下，对所述多个传感器装置中的、向所述服务器装置委托在所述拍摄对象中是否发生了所述规定的现象的推定的传感器装置请求所述第一时序图像作为所述发送数据，在满足所述预先确定的条件的情况下，对进行委托的所述传感器装置请求所述特征图作为所述发送数据，在所述第二通信部接收到的所述发送数据为所述第一时序图像时，所述第二图像识别部生成构成所述第一时序图像的每个所述局部图像的所述特征图，并使用所述特征图来推定在所述拍摄对象中是否发生了所述规定的现象，在所述第二通信部接收到的所述发送数据为所述特征图时，所述第二图像识别部使用所述特征图来推定在所述拍摄对象中是否发生了所述规定的现象。
服务器装置的负荷是否高，根据以下要点来确定。第二图像识别部使用特征图来进行推定在拍摄对象中是否发生了规定的现象的处理。由于服务器装置的性能比传感器装置更高，所以图像处理能力高。在服务器装置的负荷不高的情况下，与传感器装置生成特征图相比，服务器装置生成特征图能够使第二图像识别部的上述处理更加高速化。相对于此，在服务器装置的负荷高的情况下，与服务器装置生成特征图相比，传感器装置生成特征图能够使第二图像识别部的上述处理更加高速化。因此，在与传感器装置生成特征图相比，服务器装置生成特征图能够使第二图像识别部的上述处理更加高速化的情况下，服务器装置的负荷变得不高。在与服务器装置生成特征图相比，传感器装置生成特征图能够使第二图像识别部的上述处理更加高速化的情况下，服务器装置的负荷变高。
预先确定的条件的一例是服务器装置中具备的CPU的使用率。在CPU的使用率超过规定的阈值时，判定部判定为满足预先确定的条件(服务器装置的负荷高)，在CPU的使用率为规定的阈值以下时，判定为不满足预先确定的条件(服务器装置的负荷低)。
第二图像识别部使用特征图来推定在拍摄对象中是否发生了规定的现象。特征图使用第一时序图像来生成。因此，在第二图像识别部从特征图开始图像识别处理的情况下，与从第一时序图像开始图像识别处理的情况相比，能够减轻服务器装置的负荷。因此，在满足表示服务器装置的负荷高的预先确定的条件时(即，服务器装置的负荷高的状态)，通过传感器装置生成特征图，减少第二图像识别部中的处理量。由此，即使在服务器装置的负荷高的状态下，第二图像识别部也能够使在拍摄对象中是否发生了规定的现象的推定高速化。
服务器装置的性能比传感器装置更高。因此，在不满足表示服务器装置的负荷高的预先确定的条件时(即，服务器装置的负荷低的状态)，特征图的生成步骤也由第二图像识别部执行。由此，第二图像识别部能够使在拍摄对象中是否发生了规定的现象的推定高速化。
如以上所说明，该结构根据服务器装置的负荷，传感器装置选择第一时序图像或者特征图作为发送数据。由此，第二图像识别部能够使在拍摄对象中是否发生了规定的现象的推定高速化。
在上述结构中，所述多个传感器装置分别还具备：第二时序图像生成部，生成降低了所述取得部取得的所述时序图像的分辨率的第二时序图像，所述第一图像识别部代替所述时序图像而对所述第二时序图像进行所述图像识别处理，推定在所述第二时序图像所拍到的所述拍摄对象中是否发生了所述规定的现象。
由于第二时序图像的分辨率低，所以在第一图像识别部中，能够减少图像识别的处理量。因此，根据该结构，即使传感器装置的信息处理能力低，也能够高速地执行图像识别。
在上述结构中，在所述第一图像识别部推定出在所述拍摄对象中发生了所述规定的现象时，所述第一通信部经由所述网络而发送所述第二时序图像，所述第二通信部接收所述第二时序图像，所述服务器装置还具备：第三图像识别部，对所述第二通信部接收到的所述第二时序图像进行图像识别的精度比所述第一图像识别部更高的图像识别处理，推定在所述拍摄对象中是否发生了所述规定的现象，在所述第三图像识别部推定出在所述拍摄对象中发生了所述规定的现象时，所述第一通信部发送所述发送数据。
根据该结构，以第一图像识别部推定出在拍摄对象中发生了规定的现象作为前提条件，进一步，在第三图像识别部推定出在拍摄对象中发生了规定的现象时，第一通信部发送发送数据。
由于第三图像识别部将作为分辨率降低的时序图像的第二时序图像作为对象进行图像识别处理，所以能够比第二图像识别部减少处理量。因此，对于服务器装置而言，第三图像识别部的负荷变得低于第二图像识别部。在第三图像识别部进行了在拍摄对象中发生了规定的现象的推定时，第二图像识别部推定在拍摄对象中是否发生了规定的现象。因此，根据该结构，由于能够尽量减少第二图像识别部进行的图像识别处理，所以能够降低服务器装置的负荷。
第三图像识别部通过对第二时序图像进行例如使用了深层学习的图像识别处理，推定在拍摄对象中是否发生了规定的现象。
在上述结构中，所述图像识别系统还具备：警报部，在所述第二图像识别部推定出在所述拍摄对象中发生了所述规定的现象时，发出警报。
根据该结构，在推定出在拍摄对象中发生了规定的现象时，能够通知该情况。
实施方式的第二方面的图像识别方法是使用多个传感器装置以及与所述多个传感器装置中的每个进行网络连接的服务器装置的图像识别方法，包括：第一步骤，由所述多个传感器装置中的每个执行，取得按时间顺序拍摄的时序图像；第二步骤，由所述多个传感器装置中的每个执行，对所述时序图像进行图像识别处理，推定在所述时序图像所拍到的拍摄对象中是否发生了规定的现象；第三步骤，由所述多个传感器装置中的每个执行，以在所述第二步骤中推定出在所述拍摄对象中发生了所述规定的现象作为前提条件，生成从构成所述时序图像的每个图像剪裁了包括所述拍摄对象的像的局部图像所得的第一时序图像或者构成所述第一时序图像的每个所述局部图像的特征图，作为发送给所述服务器装置的发送数据；第四步骤，由所述多个传感器装置中的每个执行，经由所述网络而发送所述发送数据；第五步骤，由所述服务器装置执行，接收所述发送数据；以及第六步骤，由所述服务器装置执行，对在所述第五步骤中接收到的所述发送数据进行图像识别的精度比所述第二步骤更高的图像识别处理，推定在所述拍摄对象中是否发生了所述规定的现象。
实施方式的第二方面的图像识别方法从方法的观点规定实施方式的第一方面的图像识别系统，具有与实施方式的第一方面的图像识别系统同样的作用效果。
虽然详细图示且说明了本发明的实施方式，但其仅仅是图例和示例而不是限定。本发明的范围应通过所附的权利要求书来解释。
包括说明书、权利要求书、附图以及摘要的于2016年12月6日提出的日本专利申请特愿2016-236669的公开整体通过参照而引用到这里。
工业实用性
根据本发明，能够提供图像识别系统以及图像识别方法。

Claims (8)

1.一种图像识别系统，具备多个传感器装置以及与所述多个传感器装置中的每个进行网络连接的服务器装置，
所述多个传感器装置分别具备：
取得部，取得按时间顺序拍摄的时序图像；
第一图像识别部，对所述时序图像进行图像识别处理，推定在所述时序图像所拍到的拍摄对象中是否发生了规定的现象；
发送数据生成部，以所述第一图像识别部推定出在所述拍摄对象中发生了所述规定的现象作为前提条件，生成从构成所述时序图像的每个图像剪裁了包括所述拍摄对象的像的局部图像所得的第一时序图像或者构成所述第一时序图像的每个所述局部图像的特征图，作为发送给所述服务器装置的发送数据；以及
第一通信部，经由所述网络而发送所述发送数据，
所述服务器装置具备：
第二通信部，接收所述发送数据；以及
第二图像识别部，对所述第二通信部接收到的所述发送数据进行图像识别的精度比所述第一图像识别部更高的图像识别处理，推定在所述拍摄对象中是否发生了所述规定的现象。
2.如权利要求1所述的图像识别系统，
所述服务器装置还具备：
判定部，判定是否满足表示所述服务器装置的负荷高的预先确定的条件；以及
请求部，在不满足所述预先确定的条件的情况下，对所述多个传感器装置中的、向所述服务器装置委托在所述拍摄对象中是否发生了所述规定的现象的推定的传感器装置请求所述第一时序图像作为所述发送数据，在满足所述预先确定的条件的情况下，对进行委托的所述传感器装置请求所述特征图作为所述发送数据，
在所述第二通信部接收到的所述发送数据为所述第一时序图像时，所述第二图像识别部生成构成所述第一时序图像的每个所述局部图像的所述特征图，并使用所述特征图来推定在所述拍摄对象中是否发生了所述规定的现象，
在所述第二通信部接收到的所述发送数据为所述特征图时，所述第二图像识别部使用所述特征图来推定在所述拍摄对象中是否发生了所述规定的现象。
3.如权利要求1或2所述的图像识别系统，
所述多个传感器装置分别还具备：
第二时序图像生成部，生成降低了所述取得部取得的所述时序图像的分辨率的第二时序图像，
所述第一图像识别部代替所述时序图像而对所述第二时序图像进行所述图像识别处理，推定在所述第二时序图像所拍到的所述拍摄对象中是否发生了所述规定的现象。
4.如权利要求3所述的图像识别系统，
在所述第一图像识别部推定出在所述拍摄对象中发生了所述规定的现象时，所述第一通信部经由所述网络而发送所述第二时序图像，
所述第二通信部接收所述第二时序图像，
所述服务器装置还具备：
第三图像识别部，对所述第二通信部接收到的所述第二时序图像进行图像识别的精度比所述第一图像识别部更高的图像识别处理，推定在所述拍摄对象中是否发生了所述规定的现象，
在所述第三图像识别部推定出在所述拍摄对象中发生了所述规定的现象时，所述第一通信部发送所述发送数据。
5.如权利要求4所述的图像识别系统，
所述第三图像识别部通过对所述第二时序图像进行使用了深层学习的图像识别处理，推定在所述拍摄对象中是否发生了所述规定的现象。
6.如权利要求1至5的任一项所述的图像识别系统，
所述第二图像识别部通过对所述发送数据进行使用了深层学习的图像识别处理，推定在所述拍摄对象中是否发生了所述规定的现象。
7.如权利要求1至6的任一项所述的图像识别系统，还具备：
警报部，在所述第二图像识别部推定出在所述拍摄对象中发生了所述规定的现象时，发出警报。
8.一种图像识别方法，使用多个传感器装置以及与所述多个传感器装置中的每个进行网络连接的服务器装置，所述图像识别方法包括：
第一步骤，由所述多个传感器装置中的每个执行，取得按时间顺序拍摄的时序图像；
第二步骤，由所述多个传感器装置中的每个执行，对所述时序图像进行图像识别处理，推定在所述时序图像所拍到的拍摄对象中是否发生了规定的现象；
第三步骤，由所述多个传感器装置中的每个执行，以在所述第二步骤中推定出在所述拍摄对象中发生了所述规定的现象作为前提条件，生成从构成所述时序图像的每个图像剪裁了包括所述拍摄对象的像的局部图像所得的第一时序图像或者构成所述第一时序图像的每个所述局部图像的特征图，作为发送给所述服务器装置的发送数据；
第四步骤，由所述多个传感器装置中的每个执行，经由所述网络而发送所述发送数据；
第五步骤，由所述服务器装置执行，接收所述发送数据；以及
第六步骤，由所述服务器装置执行，对在所述第五步骤中接收到的所述发送数据进行图像识别的精度比所述第二步骤更高的图像识别处理，推定在所述拍摄对象中是否发生了所述规定的现象。
CN201780074797.1A 2016-12-06 2017-08-17 图像识别系统以及图像识别方法 Active CN110073405B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016236669 2016-12-06
JP2016-236669 2016-12-06
PCT/JP2017/029533 WO2018105171A1 (ja) 2016-12-06 2017-08-17 画像認識システム及び画像認識方法

Publications (2)

Publication Number Publication Date
CN110073405A true CN110073405A (zh) 2019-07-30
CN110073405B CN110073405B (zh) 2023-06-27

Family

ID=62490850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780074797.1A Active CN110073405B (zh) 2016-12-06 2017-08-17 图像识别系统以及图像识别方法

Country Status (5)

Country Link
US (1) US10846538B2 (zh)
EP (1) EP3553739B1 (zh)
JP (1) JP6947187B2 (zh)
CN (1) CN110073405B (zh)
WO (1) WO2018105171A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560955A (zh) * 2020-12-16 2021-03-26 安徽唯嵩光电科技有限公司 一种红枣分选用图像识别系统

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6611871B1 (ja) * 2018-07-12 2019-11-27 医療法人社団皓有会 監視装置
JPWO2020044683A1 (ja) * 2018-08-27 2020-09-10 日本精工株式会社 マニピュレーションシステム及びマニピュレーションシステムの駆動方法
JP7012631B2 (ja) * 2018-11-14 2022-02-14 Kddi株式会社 オブジェクト識別装置、識別システムおよび識別方法
US11256907B2 (en) * 2019-10-25 2022-02-22 Adobe Inc. Classification of subjects within a digital image
US11636744B2 (en) * 2020-02-06 2023-04-25 Shenzhen Malong Technologies Co., Ltd. Retail inventory shrinkage reduction via action recognition
US20230114160A1 (en) * 2020-03-31 2023-04-13 Nec Corporation Monitoring device, monitoring method, and recording medium
WO2023095196A1 (ja) * 2021-11-24 2023-06-01 日本電気株式会社 乗客監視装置、乗客監視方法、及び非一時的なコンピュータ可読媒体

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002158992A (ja) * 2000-11-22 2002-05-31 Fujitsu Ltd 画像配信装置、画像処理装置およびカメラ
US20030058111A1 (en) * 2001-09-27 2003-03-27 Koninklijke Philips Electronics N.V. Computer vision based elderly care monitoring system
US20050280711A1 (en) * 2004-06-03 2005-12-22 Mie Ishii Camera system, camera, and camera control method
US20070085690A1 (en) * 2005-10-16 2007-04-19 Bao Tran Patient monitoring apparatus
CN102313981A (zh) * 2010-07-01 2012-01-11 索尼公司 显微镜控制装置、图像管理服务器及系统、图像处理方法
JP2013009050A (ja) * 2011-06-22 2013-01-10 Canon Inc 画像処理装置、画像処理方法
CN104041016A (zh) * 2012-02-06 2014-09-10 松下电器产业株式会社 摄像机装置、服务器装置、图像监视系统、图像监视系统控制方法及图像监视系统控制程序
JP2015070401A (ja) * 2013-09-27 2015-04-13 日本電気株式会社 映像処理装置、映像処理方法および映像処理プログラム
US20150288877A1 (en) * 2014-04-08 2015-10-08 Assaf Glazer Systems and methods for configuring baby monitor cameras to provide uniform data sets for analysis and to provide an advantageous view point of babies
JP2016115248A (ja) * 2014-12-17 2016-06-23 株式会社デンソー 演算処理装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007072964A (ja) 2005-09-09 2007-03-22 Ishihara Sangyo:Kk 離床予測自動感知通報方法と同自動感知通報システム
JP2008021034A (ja) 2006-07-11 2008-01-31 Fujitsu Ten Ltd 画像認識装置、画像認識方法、歩行者認識装置および車両制御装置
KR101443031B1 (ko) * 2013-04-04 2014-09-23 주식회사 슈프리마 얼굴 인식 서비스 제공 방법
JP2016023669A (ja) 2014-07-17 2016-02-08 日本精工株式会社 密封転がり軸受
JP2016097088A (ja) 2014-11-21 2016-05-30 キヤノン株式会社 Ｘ線撮影システム及び情報処理方法
JP6557853B2 (ja) 2015-02-23 2019-08-14 株式会社国際電気通信基礎技術研究所 異常状態通知システム、異常状態通知プログラム、異常状態通知方法および異常状態通知装置
WO2016181731A1 (ja) * 2015-05-11 2016-11-17 コニカミノルタ株式会社 転倒検知装置および転倒検知方法ならびに被監視者監視装置
EP3380859A4 (en) * 2015-11-29 2019-07-31 Arterys Inc. AUTOMATED SEGMENTATION OF CARDIAC VOLUME
US20170154269A1 (en) * 2015-11-30 2017-06-01 Seematics Systems Ltd System and method for generating and using inference models
CN108292531A (zh) * 2015-12-09 2018-07-17 柯尼卡美能达株式会社 被监视者监视系统的中央处理装置和中央处理方法以及被监视者监视系统
US10002307B2 (en) * 2015-12-18 2018-06-19 Ricoh Co., Ltd. Suggestion generation based on data extraction
CN105868772A (zh) * 2016-03-23 2016-08-17 百度在线网络技术（北京）有限公司 图像识别方法及装置
US20170300742A1 (en) * 2016-04-14 2017-10-19 Qualcomm Incorporated Systems and methods for recognizing an object in an image

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002158992A (ja) * 2000-11-22 2002-05-31 Fujitsu Ltd 画像配信装置、画像処理装置およびカメラ
US20030058111A1 (en) * 2001-09-27 2003-03-27 Koninklijke Philips Electronics N.V. Computer vision based elderly care monitoring system
US20050280711A1 (en) * 2004-06-03 2005-12-22 Mie Ishii Camera system, camera, and camera control method
US20070085690A1 (en) * 2005-10-16 2007-04-19 Bao Tran Patient monitoring apparatus
CN102313981A (zh) * 2010-07-01 2012-01-11 索尼公司 显微镜控制装置、图像管理服务器及系统、图像处理方法
JP2013009050A (ja) * 2011-06-22 2013-01-10 Canon Inc 画像処理装置、画像処理方法
CN104041016A (zh) * 2012-02-06 2014-09-10 松下电器产业株式会社 摄像机装置、服务器装置、图像监视系统、图像监视系统控制方法及图像监视系统控制程序
JP2015070401A (ja) * 2013-09-27 2015-04-13 日本電気株式会社 映像処理装置、映像処理方法および映像処理プログラム
US20150288877A1 (en) * 2014-04-08 2015-10-08 Assaf Glazer Systems and methods for configuring baby monitor cameras to provide uniform data sets for analysis and to provide an advantageous view point of babies
JP2016115248A (ja) * 2014-12-17 2016-06-23 株式会社デンソー 演算処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560955A (zh) * 2020-12-16 2021-03-26 安徽唯嵩光电科技有限公司 一种红枣分选用图像识别系统

Also Published As

Publication number Publication date
CN110073405B (zh) 2023-06-27
JPWO2018105171A1 (ja) 2019-10-24
JP6947187B2 (ja) 2021-10-13
US10846538B2 (en) 2020-11-24
WO2018105171A1 (ja) 2018-06-14
EP3553739A1 (en) 2019-10-16
EP3553739B1 (en) 2023-12-06
EP3553739A4 (en) 2019-12-04
US20200057891A1 (en) 2020-02-20

Similar Documents

Publication Publication Date Title
CN110073405A (zh) 图像识别系统以及图像识别方法
CN108234918B (zh) 具有隐私意识的室内无人机的勘探和通讯架构方法和系统
Taleb et al. Angelah: a framework for assisting elders at home
JP6720909B2 (ja) 行動検知装置、該方法および該プログラム、ならびに、被監視者監視装置
CN110390705A (zh) 一种生成虚拟形象的方法及装置
CN106235931A (zh) 控制洁面仪工作的方法及装置
EP3616095A1 (en) Computer vision based monitoring system and method
WO2018000258A1 (zh) 一种机器人交互内容的生成方法、系统及机器人
JP7183788B2 (ja) 行動判定装置及び行動判定方法
CN111553243A (zh) 闹铃控制方法、装置、终端设备及计算机可读存储介质
JP4320900B2 (ja) 自律型のロボット装置を用いた監視システム及び自律型のロボット装置を用いた監視方法
EP3992987A1 (en) System and method for continously sharing behavioral states of a creature
WO2018230104A1 (ja) 被監視者監視支援システムの中央処理装置および中央処理方法ならびに被監視者監視支援システム
WO2018110294A1 (ja) ケア計画出力装置、該方法および該システムならびに被監視者監視システム
JP2020134971A (ja) 現場学習評価プログラム、現場学習評価方法、および現場学習評価装置
JPWO2020100461A1 (ja) 被監視者監視支援システムのセンサ装置、監視画像保存方法および被監視者監視支援システム
JP6829348B1 (ja) 撮影制御方法、情報処理装置、プログラム、及び撮影システム
Tang et al. Informationally Structured Space for Life Log Monitoring in Elderly Care
JP7465644B2 (ja) 監視システム、及び監視方法
JPWO2019031010A1 (ja) 睡眠状態検出装置および該方法ならびに被監視者監視支援システム
JPWO2018110295A1 (ja) ケア計画出力装置、該方法および該システムならびに被監視者監視システム
JP7044215B1 (ja) 解析システム、解析システムの制御プログラム、制御プログラム、および解析システムの制御方法
WO2023089892A1 (ja) 推定方法、推定システムおよびプログラム
JP7268604B2 (ja) 被監視者監視支援装置、被監視者監視支援システム、被監視者監視支援方法、および、被監視者監視支援プログラム
CN111602410B (zh) 适合性判定装置、适合性判定方法和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant