CN111294554B - 行为监视装置、行为监视系统和非暂时性可读存储介质 - Google Patents

Abstract

行为监视装置包括控制器，该控制器配置为检测包括在车载摄像头图像中的人的行为。控制器从车载摄像头图像中检测多个人。控制器检测所检测到的多个人中的每个人的属性信息和指示所检测到的多个人之间的相关性的相关性信息。控制器基于属性信息和相关性信息评估所检测到的多个人中的每个的行为，并输出评估的结果。

Description

行为监视装置、行为监视系统和非暂时性可读存储介质

技术领域

本发明涉及行为监视装置、行为监视系统和非暂时性可读存储介质。

背景技术

在相关技术中，已知使用摄像头的监视装置。例如，第2014-67383号日本未审查的专利申请公开(JP 2014-67383 A)公开了一种系统，在该系统中，通过定点摄像头监视对象的行为，并且快速地且有效地报告异常行为的发生。

发明内容

当仅执行单一对象的行为的分析时，可能存在不会变得明显的风险。期望通过行为监视来提高风险检测的准确性。

本发明提供了一种行为监视装置、行为监视系统和行为监视程序，利用其能够提高通过行为监视执行的风险检测的准确性。

本公开的第一方面涉及行为监视装置，该行为监视装置包括控制器。所述控制器配置为检测包括在车载摄像头图像中的人的行为。所述控制器从所述车载摄像头图像中检测多个人。所述控制器检测所检测到的多个人中的每个人的属性信息和指示所检测到的多个人之间的相关性的相关性信息。所述控制器基于所述属性信息和所述相关性信息评估所检测到的多个人中的每个的行为。所述控制器输出所述评估的结果。

本公开的第二方面涉及行为监视系统，该行为监视系统包括车辆和行为监视装置。所述行为监视装置包括控制器，所述控制为配置为检测包括在所述车辆的车载摄像头图像中的人的行为。所述控制器从所述车载摄像头图像中检测多个人。所述控制器检测所检测到的多个人中的每个人的属性信息和指示所检测到的多个人之间的相关性的相关性信息。所述控制器基于所述属性信息和所述相关性信息评估所检测到的多个人中的每个的行为。所述控制器输出所述评估的结果。

本公开的第三方面涉及非暂时性可读存储介质，其用于存储行为监视程序，该行为监视程序使得处理器执行：从车载摄像头图像中检测多个人的步骤，检测所检测到的多个人中的每个人的属性信息和指示所检测到的多个人之间的相关性的相关性信息的步骤，基于所述属性信息和所述相关性信息评估所检测到的多个人中的每个的行为的步骤，以及输出所述评估的结果的步骤。

通过根据本公开的方面的行为监视装置、行为监视系统和非暂时性可读存储介质，能够提高通过行为监视执行的风险检测的准确性。

附图说明

本发明的示例实施例的特征、优点和技术及工业意义，将在下文中参考附图而加以描述，其中相似标号表示相似要素，且其中：

图1是示出根据实施例的行为监视系统的配置的示例的示意图；

图2是示出根据实施例的行为监视系统的配置的示意性示例的框图；

图3是示出车载摄像头和图像分析单元的配置的示例的框图；

图4是示出行为监视方法中的处理的示例的流程图；

图5是示出包括设置有行为监视装置的车辆的行为监视系统的配置的示例的框图；和

图6是示出行为监视方法中的处理的另一示例的流程图。

具体实施方式

根据实施例的行为监视系统的配置示例

如图1和图2所示，根据实施例的行为监视系统100设置有车辆1。车辆1例如是汽车。然而，车辆1不限于汽车，车辆1可以是任何车辆。行为监视系统100可以设置有多个车辆1。将在行为监视系统100设置有多个车辆1的情况下多个车辆1彼此通信的假设下做出以下描述。每个车辆1可以经由网络60与另一车辆1通信，并且可以不经由网络60直接与另一车辆1通信。行为监视系统100还可以设置有服务器50。将在车辆1可以与服务器50通信的假设下做出以下描述。车辆1可以经过网络60与服务器50通信。

服务器50设置有服务器控制器51、服务器通信单元52和服务器存储单元53。服务器控制器51可以包括一个或多个处理器。服务器通信单元52可以包括通信模块，并且可以与车辆1的通信装置30通信。服务器存储单元53可以包括一个或多个存储器。在本实施例中，“存储器”是半导体存储器、磁性存储器、光学存储器等。然而，这些存储器不仅限于此。包括在服务器存储单元53中的每个存储器例如可以用作主存储装置、辅助存储装置或缓存存储器。服务器存储单元53可以包括电磁存储介质，例如磁盘。服务器存储单元53存储用于操作服务器50的随机信息。例如，服务器存储单元53可以存储系统程序、应用程序等。

行为监视系统100设置有行为监视装置10。行为监视装置10可以由一个或多个处理器实现。本实施例中的“处理器”是通用处理器，专用于特定处理的专用处理器等。然而，处理器并不限于此。行为监视装置10可以实现为服务器50的一部分。也就是说，服务器控制器51可以用作行为监视装置10的控制器。行为监视装置10可以安装在车辆1中。将在图2 所示的实施例中的行为监视装置10实现为服务器50的功能的一部分的假设下进行下面的描述。

行为监视系统100还可以设置有终端70。终端70经由网络60或不经由网络60与行为监视装置10通信。终端70的示例可以包括便携式终端，例如智能手机。终端70的示例可以包括例如收发器的机器。将在终端70由图1所示的示例中的人5所携带的假设下做出以下描述。携带终端70的人5的示例可以包括当地政府工作人员、当地巡逻志愿者、警官和警卫。携带终端70的人5可称为终端携带者。终端70包括通知单元，该通知单元通知终端携带者从行为监视装置10获取的信息。

通知单元可包括显示装置。显示装置可以显示指示要通知给终端携带者的信息的字符、图形、图像等。显示装置可以包括发光器件，例如发光二极管(Light EmissionDiode，LED)。例如，显示装置可以是液晶显示器(Liquid Crystal Display，LCD)。显示装置可以是有机电致发光(Electro-Luminescence，EL)显示器或无机EL显示器。显示装置可以是等离子体显示面板(Plasma Display Panel，PDP)。显示装置不限于这些显示器，并且可采用其他各种类型的显示器。通知单元可以包括扬声器。扬声器可以输出指示要通知给终端携带者的信息的语音。通知单元可以包括振动装置。振动装置可以输出指示要通知给终端携带者的信息的振动模式。本公开不限于这些实例，并且通知单元可以包括其他各种装置。

在车辆1中，安装了车载摄像头20、通信装置30和图像分析单元40。车载摄像头20、通信装置30和图像分析单元40彼此连接，使得车载摄像头20、通信装置30和图像分析单元40可以经由车载网络(例如控制器区域网络(Controller Area Network，CAN))或专用线路彼此通信。

通信装置30与安装在另一辆车1上的通信装置30通信。通信装置30可以经由网络60 与安装在另一车辆1中的通信装置30通信。通信装置30可以直接与安装在另一车辆1中的通信装置30通信，而不经由网络60通信。在本实施例中，将在车辆1经由网络60彼此通信的假设下做出以下描述。通信装置30可以经由网络60与服务器50通信。通信装置30可以是车载通信机器，例如数据通信模块(Data Communication Module，DCM)。通信装置30可以包括连接至网络60的通信模块。通信模块可以包括符合移动通信标准(例如第四代(4thGeneration，4G)和第五代(5th Generation，5G))的通信模块。然而，本公开不限于此。

车载摄像头20对存在于车辆1的附近的人2进行成像作为行为监视系统100的监视目标。车载摄像头20可以对单独行走的人2a进行成像作为行为监视系统100的监视目标。车载摄像头20可以对聚集在一起的多个人2b或包括多个人2b的组3成像作为行为监视系统100的监视目标。车辆1可以在多个车辆1之间共享由车载摄像头20捕获的人2的图像，并且车辆 1可以将图像发送至服务器50。

车载摄像头20对位于车辆1的附近或位于车辆车厢内的目标成像。由车载摄像头20捕获的图像可以称为车载摄像头图像。将在车载摄像头图像与捕获车载摄像头图像的位置有关的信息或捕获车载摄像头图像的时间有关的信息相关联的假设下做出以下描述。车载摄像头图像可以包括静止图像，并且可以包括运动图像。

车辆1中还可以进一步安装位置信息获取装置25。位置信息获取装置25与安装在车辆1 中的其他部件连接，使得位置信息获取装置25可以经由车载网络(例如CAN)或专用线路与其他部件通信。位置信息获取装置25获取关于车辆1的位置的信息。位置信息获取装置 25可以包括用于卫星导航系统的接收器。卫星导航系统接收器的示例可以包括全球定位系统 (Global Positioning System，GPS)接收器。将在本实施例中的车辆1可以通过使用位置信息获取装置25获取关于车辆1的位置的信息的假设下做出以下描述。车辆1可将车载摄像头图像与通过位置信息获取装置25获取的车辆1的位置信息相关联，作为与捕获车载摄像头图像的位置有关的信息。

车载摄像头20可设置有如图3所示的前方摄像头21、侧方摄像头22、后方摄像头23和车内摄像头24中的至少一者。前方摄像头21对位于车辆1前方的目标成像。由前方摄像头21捕获的图像可以称为前方图像。侧方摄像头22对位于车辆1旁边的目标成像。侧方摄像头22捕获的图像可以称为侧方图像。后方摄像头23对位于车辆1后方的目标成像。后方摄像头23捕获的图像可以称为后方图像。车内摄像头24对位于车辆1的车辆车厢内的目标和位于车辆1后方的目标成像。由车内摄像头24捕获的图像可以称为车内图像。

图像分析单元40对车载摄像头图像进行分析，并将分析结果输出至通信装置30。图像分析单元40可以由一个或多个处理器实现。图像分析单元40可以包括在车载摄像头20中。图像分析单元40可包括前方图像分析单元41，其从前方摄像头21获取前方图像并分析前方图像。图像分析单元40可以包括侧方图像分析单元42，其从侧方摄像头22获取侧方图像并分析侧方图像。图像分析单元40可包括后方图像分析单元43，其从后方摄像头23获取后方图像，从车内摄像头24获取车内图像，并分析后方图像和包括在车内图像中的在车辆1后方的目标的图像。

图像分析单元40从车载摄像头图像中检测人2或包括多个人2的组3的图像，并将图像输出至行为监视装置10。人2或组3的图像可以称为监视目标图像。

车辆1可以不设置有图像分析单元40。在车辆1没有设置图像分析单元40的情况下，车载摄像头20可以经由通信装置30将车载摄像头图像输出至实现行为监视装置10的功能的服务器50。行为监视装置10从车载摄像头图像中检测监视目标图像。

包括车载摄像头图像和监视目标图像中至少一者的信息可以称为摄像头输出信息。可以说，无论车辆1是否设置有图像分析单元40，行为监视装置10都获取摄像头输出信息。行为监视装置10基于监视目标图像监视人2或组3的行为。在摄像头输出信息包括监视目标图像的情况下，行为监视装置10从摄像头输出信息中提取监视目标图像，并基于提取的监视目标图像监视人2或组3的行为。在摄像头输出信息包括车载摄像头图像的情况下，行为监视装置10从车载摄像头图像中提取监视目标图像，并基于提取的监视目标图像监视人2或组3 的行为。

图1所示行为监视系统100的监视目标是包括人2a和人2b的组3。行为监视装置10从车载摄像头图像中检测包括人2a、2b的图像作为监视目标图像。

行为监视装置10基于监视目标图像检测人2的属性信息。人2的属性信息可以包括基于与捕获监视目标图像的地点有关的信息的位置信息。人2的属性信息可以包括与捕获监视目标图像的时间有关的信息。

例如，人2的属性信息可包括指示人2的年龄组、性别等的信息。例如，年龄组类别可包括儿童类别和成人类别。例如，婴儿、小学生、初中学生、高中学生等可以被包括在被分类为儿童的年龄组。在图1所示的示例中，行为监视装置10可检测人2a被分类为小学生的属性信息，并检测人2b被分类为成人的属性信息。

人2的属性信息可以包括与人2的外表(如人2的衣服或物品)有关的信息。与人2的衣服有关的信息可以包括关于人2是穿制服还是穿便衣的信息。例如，与人2的物品有关的信息可以包括关于人2是否有包的信息。在图1所示的示例中，行为监视装置10可以检测到人2a正佩戴学童的书包作为属性信息。

人2的属性信息可以包括与人2的脸有关的信息。例如，与人2的脸有关的信息可以包括与眼睛有关的信息，例如人2的视线或人2的眼神，或与人2的脸上的表情有关的信息。与人2的脸有关的信息可以包括指示基于人2的脸上的表情估计的情感的信息。在图1所示的示例中，行为监视装置10可以检测到人2b正看向人2a，作为人2b的属性信息。

人2的属性信息可包括指示人2的行为的信息。在监视目标图像包括运动图像的情况下，行为监视装置10可以基于运动图像检测指示人2的行为的信息。行为监视装置10可以从在不同时刻捕获的多个监视目标图像中的每个监视目标图像中检测人2，以检测指示人2的行为的信息。指示人2的行为的信息可以包括指示人2是停留在一个地点还是人2正在移动的信息、指示人2正在摇晃的信息等。在图1所示的示例中，行为监视装置10可检测到人2a和人2b正以预定方向行走，作为人2a和人2b的属性信息。

本公开不限于这些实例，并且人2的属性信息可以包括各种信息。

行为监视装置10基于监视目标图像，检测指示多个人2之间的相关性的相关性信息。行为监视装置10可以假设包括两个或更多人2的组3，并检测指示包括在组3中的多个人2之间的相关性的信息，作为相关性信息。组3可以包括存在于预定区域内的两个或更多人2。组3可以包括包括在一个监视目标图像中的两个或更多人2。组3可以仅包括包括在一个监视目标图像中的多个人2的一部分。组3可以包括包括在某一监视目标图像中的人2和包括在另一监视目标图像中的人2。

在图1所示的示例中，行为监视装置10假设包括人2a和人2b的组3。行为监视装置10 检测指示人2a与人2b之间的相关性的相关性信息。

相关性信息可包括指示人2a和人2b之间的距离的信息。行为监视装置10可以检测出人 2a和人2b彼此分开第一距离，作为组3的相关性信息。行为监视装置10可以基于与人2a 或人2b的行为有关的信息，检测人2a和人2b彼此分开第一距离的状态已持续预定时间，作为组3的相关性信息。

行为监视装置10可以检测指示人2a和人2b是家人、朋友或熟人的信息，作为组3的相关性信息。行为监视装置10可以检测指示人2a与人2b彼此不认识的信息，作为组3的相关性信息。

行为监视装置10基于人2的属性信息和组3的相关性信息监视人2或包括在组3中的人 2。在图1所示的示例中，行为监视装置10基于指示人2b正看向人2a的属性信息，检测人 2b对人2a感兴趣的可能性。行为监视装置10可以基于指示人2a和人2b彼此分开第一距离的状态已持续预定时间的相关性信息，检测到人2b跟随人2a的可能性。

行为监视装置10可以基于与人2b有关的检测结果，检测到人2b执行异常行为的可能性。也就是说，行为监视装置10可以基于人2b的属性信息和包括人2b的组3的相关性信息来评估人2b的行为。行为监视装置10可以输出是否存在人2b执行异常行为的可能性，作为对人 2b行为的评估的结果。

行为监视装置10可以检测到存在人2a可能涉及异常行为的可能性。也就是说，行为监视装置10可以基于包括人2a的组3的相关性信息来评估是否存在人2a被暴露到风险的可能性。行为监视装置10可以输出是否存在人2a被暴露到风险的可能性，作为对人2a的行为的评估的结果。

行为监视装置10可以基于人2的属性信息和包括人2的组3的相关性信息计算对人2的行为的评估的评分。对人2的行为的评估的评分将被称为人2的行为评估值。行为监视装置 10可以计算指示人2执行异常行为的可能性的评分，作为行为评估值。指示人2执行异常行为的可能性的评分将被称为人2的行为风险度。将在行为风险度是行为评估值的一种类型的假设下做出以下描述。该计算可以执行为使得人2执行异常行为的可能性越高，人2的行为风险度的值越高。该计算可以执行为使得人2执行异常行为的可能性越高，人2的行为风险度的值越低。该计算可以执行为使得人2执行异常行为的可能性越高，人2的行为风险度的绝对值越高。

在本实施例中，将在人2执行异常行为的可能性越高、人2的行为风险度的值越高的假设下做出以下描述。在图1所示的示例中，行为监视装置10可以检测人2b看向人2a的频率作为属性信息，并且该计算可以执行为使得人2b看向人2a的频率越高，人2b的行为风险度越高。行为监视装置10可以执行该计算，使得人2b在与人2a的预定距离内存在的时间越长，人2b的行为风险度越高。本公开不限于这些示例，并且行为监视装置10可以基于人2的属性信息和包括人2的组3的相关性信息中包含的各种信息来计算人2的行为评估值或行为风险度。行为监视装置10可以输出行为评估值作为评估的结果。

在图1所示的行为监视系统100中，行为监视装置10可以输出在人2b的行为风险度满足预定条件的情况下可能出现人2b执行异常行为的事实，作为对人2b的行为的评估的结果。行为监视装置10可以输出在人2b的行为风险度满足预定条件的情况下可能出现存在于人2b 周围的预定区域内的人2a涉及异常行为的事实，作为对人2a的行为的评估的结果。换句话说，行为监视装置10可以输出人2a被暴露到的风险的等级，作为对人2a的行为的评估的结果。例如，预定条件可以包括行为风险度等于或大于预定值的条件。

人2的异常行为不限于影响另一人2的行为，如对另一人2造成伤害的行为，并且可以包括不影响另一人2的行为，如由于人2的自己的动作而跌倒的行为。可以说，不影响另一个人2的异常行为不太可能影响另一人2被暴露到的风险的等级。

行为监视装置10可将对人2的行为的评估的结果输出至终端70。输出至终端70的评估的结果可以包括关于人2的位置的信息。终端70可以基于对人2的行为的评估的结果，通过指示可能发生人2执行异常行为的警告来执行通知。由于终端70通过警告执行通知，终端携带者可以认识到可能出现人2执行异常行为。当终端携带者基于人2的位置信息走向人2时，可以防止异常行为的发生。在图1所示的示例中，携带终端70的人5可以走向人2b。结果，提高了区域的安全。

行为监视装置10可以将对人2的行为的评估的结果输出至车辆1。在可能出现人2执行异常行为的情况下，行为监视装置10可向位于人2周围预定区域内的车辆1输出跟踪人2的指令。在车辆1基于跟踪人2的指令而行驶的情况下，车辆1可以行驶使得车载摄像头20可以对人2进行成像。在车辆1受到自动驾驶控制的情况下，行为监视装置10可以输出自动驾驶控制信息，使得车辆1跟踪人2行驶。在车辆1由驾驶员驾驶的情况下，行为监视装置10可以针对驾驶员输出指定行驶路线的信息，并使安装在车辆1中的汽车导航系统等显示该信息。当车辆1跟踪可能执行异常行为的人2时，可以防止异常行为的发生。在图1所示的示例中，设置有对人2b进行成像的车载摄像头20的车辆1可以连续地跟踪人2b。另一车辆1 可以获取关于人2b的位置的信息，并开始跟踪人2b以使人2b被成像。结果，提高了区域的安全性。

如上所述，根据实施例的行为监视装置10可以评估人2的行为。当人2的行为被评估时，可以预计由人2的行为所引起的风险。行为监视装置10可以检测当人2的行为被评估为个体行为时可能不被注意的异常行为的征兆，因为人2的行为是基于相关性信息来评估的。也就是说，风险预计值的准确性可以有所提高。结果，提高了区域的安全性。

行为监视装置10可以通过使用车载摄像头图像来评估人2的行为。当使用车载摄像头图像时，与使用固定点摄像头捕获的图像的情况相比，可以扩大检测人2的范围。换句话说，可以减少监视的盲点。因此，风险预计准确性可以有所提高。

行为监视方法的示例

行为监视装置10可以执行包括如图4所示流程图中的处理的行为监视方法。行为监视方法可以实现为由处理器执行的行为监视程序。

行为监视装置10获取监视目标图像(步骤S1)。行为监视装置10从车载摄像头20或图像分析单元40获取摄像头输出信息。在摄像头输出信息包括监视目标图像的情况下，行为监视装置10从摄像头输出信息中提取监视目标图像。在摄像头输出信息包括车载摄像头图像的情况下，行为监视装置10从车载摄像头图像中检测监视目标图像。

行为监视装置10从监视目标图像中监视人2(步骤S2)。

行为监视装置10基于监视目标图像检测人2的属性信息(步骤S3)。

行为监视装置10假设包括人2的组3，并检测包括在组3中的人2的相关性信息(步骤 S4)。

行为监视装置10基于人2的属性信息和包括人2的组3的相关性信息评估人2的行为(步骤S5)。

行为监视装置10输出对人2的行为的评估的结果(步骤S6)。行为监视装置10可以将评估的结果输出至终端70，并且可以将评估的结果输出至车辆1。行为监视装置10在执行步骤S6中的处理之后，终止图4中的流程图中所示的处理。

行为监视装置10可在步骤S5的评估人2的行为的处理中计算人2的行为评估值。行为监视装置10可以计算人2的行为风险度作为人2的行为评估值。

如上所述，在根据实施例的行为监视方法的情况下，人2的行为被评估。当人2的行为被评估时，可以预计由人2的行为所引起的风险。在根据本实施例的行为监视方法的情况下，由于人2的行为是基于相关性信息来评估的，因此可以检测到当人2的行为被评估为个体行为时可能不被注意的异常行为的征兆。也就是说，风险预计值的准确性可以有所提高。结果，提高了区域的安全性。

在根据本实施例的行为监视方法的情况下，通过车载摄像头图像评估人2的行为。当使用车载摄像头图像时，与使用固定点摄像头捕获的图像的情况相比，可以扩大检测人2的范围。换句话说，可以减少监视的盲点。因此，风险预计准确性可以有所提高。

在行为监视装置安装在车辆中的情况下的配置的示例

如图5所示，行为监视装置10可以安装在车辆1中。在行为监视装置10安装在车辆1中的情况下，行为监视装置10可以实现为车辆1的电子控制单元(ECU)的一部分。安装有行为监视装置10的车辆1将被称为车辆1a。将在行为监视装置10、车载摄像头20、位置信息获取装置25、通信装置30和图像分析单元40安装在车辆1a中的假设下做出以下描述。行为监视装置10可以设置有控制器11。控制器11可以由一个或多个处理器实现。没有安装行为监视装置10的车辆1将被称为车辆1b。将在车载摄像头20、位置信息获取装置25、通信装置30和图像分析单元40安装在车辆1b中的假设下做出以下描述。

车载摄像头20或车辆1a的图像分析单元40可以将摄像头输出信息输出至车辆1a的行为监视装置10。在行为监视系统100设置有多个车辆1a的情况下，车辆1a的车载摄像头20 或图像分析单元40可以将摄像头输出信息输出至向安装在另一车辆1a中的行为监视装置10。在行为监视系统100设置有实现行为监视装置10的功能的服务器50的情况下，车辆1a的车载摄像头20或图像分析单元40可以将摄像头输出信息输出至服务器50。

即使在行为监视装置10安装在车辆1a中的情况下，行为监视装置10也可以执行与在行为监视装置10被实现为服务器50的多个功能中的一部分功能的情况下相同的操作。安装在车辆1a中的行为监视装置10可将人2的行为的评估的结果输出至车辆1a。车辆1a可以基于评估的结果跟踪人2。也就是说，车辆1a可以基于安装在车辆1a中的行为监视装置10对人 2的行为所执行的评估的结果来行驶。

检测风险降低行为的配置的示例

在图1中，行为监视系统100的监视目标是包括人2a和人2b的组3。例如，将在与人2a和人2b不同的人2也包括在组3中的假设下做出以下描述。在本配置示例中，与人2a和人2b不同的人2将被称为第三人。将在行为监视装置10在第三人不包括在组3中的情况下基于包括人2a和人2b的组3的相关性信息将人2b的行为风险度计算为高值的假设下，做出以下描述。

在组3包括除2a、2b人以外的第三人的情况下，则行为监视装置10检测第三人的属性信息，并检测包括第三人的组3的相关性信息。在第三人是可能有助于区域的安全性的提高的人2(如当地巡逻志愿者或警卫等)的情况下，行为监视装置10可以确定由于第三人的存在而降低了人2b执行异常行为的可能性，并将人2b的行为风险度设定为降低。同时，行为监视装置10可以计算指示第三人防止人2执行异常行为的可能性的评分作为第三人的行为评估值。指示人2防止另一人2执行异常行为的可能性的评分将被称为人2的行为安全度。将在行为安全度是行为评估值的一种类型的假设下做出以下描述。该计算可以被执行为使得人 2防止另一人2执行异常行为的可能性越高，人2的行为安全度越高，并且该计算可以被执行为使得人2防止另一人2执行异常行为的可能性越高，人2的行为安全度越低。该计算可以被执行为使得人2防止另一人2执行异常行为的可能性越高，人2的行为安全度的绝对值越高。行为安全度和行为风险度可以彼此独立地计算。

在本实施例中，将在人2防止另一人2执行异常行为的可能性越高、人2的行为安全度越高的假设下做出以下描述。行为监视装置10可以计算组3中的每个人2的行为风险度和行为安全度，并基于另一人2的行为安全度来降低某个人2的行为风险度。

行为安全度可以用与行为风险度不同的符号的值来表示。例如，在行为风险度以正值表示的情况下，行为安全度可以以负值表示。在这种情况下，行为监视装置10可以通过计算人 2b的行为风险度与第三人的行为安全度的总和来更新人2b的行为风险度。因此，行为监视装置10可以很容易地管理行为评估值。

行为监视装置10可将行为安全度较高的人2的行为确定为安全行为，该安全行为降低邻近的人2(例如包括在组3中的人2)被暴露到的风险。行为监视装置10可以将行为风险度高的人2的行为确定为异常行为，该异常行为增加了邻近的人2(例如包括在组3中的人2) 被暴露到的风险。

如果行为监视装置10检测到包括在组3中的人2正看向便携式终端(例如智能手机)或杂志、报纸等，则行为监视装置10可以将人2的行为安全度和行为风险度计算为低值。行为安全度和行为风险度均低的人2不太可能增加和降低包括在组3中的另一人2的行为风险度或另一人2被暴露到的风险。行为监视装置10可以确定行为安全度和行为风险度均低人2的行为是既不是安全行为也不是异常行为的正常行为。

在组3包括其中每个人具有行为安全度的多个人2的情况下，则行为监视装置10可以考虑人2的行为的乘数效应，将行为安全度更新至更高值。在组3包括其中每个人具有行为风险度的多个人2的情况下，则行为监视装置10可以考虑人2的行为的乘数效应，将行为风险度更新至更高值。

按时间顺序的行为检测的示例

行为监视装置10可获取在多个时刻捕获的监视目标图像。例如，将在行为监视装置10 获取在第一时刻捕获的第一时刻图像和在第二时刻捕获的第二时刻图像的假设下做出以下描述。行为监视装置10可以检测分别包括在第一时刻图像和第二时刻图像中的人2，并指定同时包括在第一时刻图像中且包括在第二时刻图像中的人2。在这种情况下，行为监视装置10 可以按时间顺序监视包括在第一时刻图像中且包括在第二时刻图像中的人2的行为。

行为监视装置10检测第一时刻的人2的属性信息和包括人2的组3的相关性信息和第二时刻的人2的属性信息和包括人2的组3的相关性信息，并相互比较第一时刻的人2的属性信息和包括人2的组3的相关性信息和第二时刻的人2的属性信息和包括人2的组3的相关性信息。行为监视装置10可基于在第一时刻人2的属性信息与第二时刻人2的属性信息之间的差异来检测人2被暴露到的风险的等级。行为监视装置10可以基于第一时刻的包括人2的组3的相关性信息与第二时刻的包括人2的组3的相关性信息之间的差异来检测人2被暴露到的风险的等级。

例如，在第二时刻包括在组3中的人2的数量小于在第一时刻包括在组3中的人2数量的情况下，行为监视装置10可以检测到在第二时刻包括在组3中的人2被暴露到的风险已增加。

将在行为监视装置10已检测到图1所示人2a、2b在第一时刻的位置关系与第二时刻的位置关系不存在差异的假设下做出以下描述。在行为监视装置10还检测到在第二时刻包括人 2a、2b的组3中包括的人2的数量小于在第一时刻包括在组3中的人2的数量的情况下，行为监视装置10可以检测到人2a被暴露到的风险已增加。

在第一时刻包括在组3中的每个人2的属性信息与第二时刻包括在组3中的每个人2的属性信息之间存在差异的情况下，则行为监视装置10可基于该差异计算组3中的每个人2被暴露到的风险的等级。

包括在相关性信息中的信息的示例

行为监视装置10可以将各种信息检测为包括人2的组3的相关性信息，并评估人2的行为。

在行为监视装置10由于包括在组3中的人2穿着制服等而检测到这些人2穿着类似的衣服的情况下，行为监视装置10可检测指示人2属于组织(例如学校或公司)的相关性信息。行为监视装置10可将包括在组3中的每个人2的行为安全度(从其检测如上所述的相关性信息)计算为高值，并且将其行为风险度计算为低值。

行为监视装置10可以检测相关性信息，该相关性信息指示存在于预定区域内由人2聚集在一起形成的组，并且其中一些人2被大量其他人2所包围，人2包括在组3中。行为监视装置10可以基于每个人2的视线，检测指示该组中的哪个人2正被关注的相关性信息。例如，行为监视装置10可以检测包括儿童的组3的相关性信息，以监视是否存在可能导致组3中的欺凌的行为。行为监视装置10将包括在组3中的人2的行为风险度(从其检测出如上所述的相关性信息)计算为高值。

例如，在老年人包括在组3在的情况下，行为监视装置10可以将老年人的行为风险度计算为高值。同时，在帮助老年人的行为被检测为包括在组3中的另一人2的行为的情况下，行为监视装置10可以将老年人的行为风险度更新为低值。行为监视装置10可以将帮助老年人的人2的行为安全度计算为高值。

例如，在行为监视装置10检测到人2是放松的，作为与组3中的人2的情感有关的信息的情况下，行为监视装置10可以检测指示组3中的人2是家人、朋友或熟人的相关性信息。行为监视装置10可以将包括在组3中的每个人2的行为安全度(从其检测上述相关性信息)计算为高值，并且可以将其行为风险度计算为低值。

例如，在行为监视装置10检测到包括在组3中的人2是紧张的，作为与包括在组3中的人2的情感有关的信息的情况下，行为监视装置10可以检测到指示包括在组3中的人2彼此不熟悉的相关性信息。行为监视装置10可以将包括在组3中的人2的行为风险度(从其检测上述相关性信息)计算为高值，并且可以将其行为安全度计算为低值。

在行为监视装置10检测到人2在预定时间持续地看向另一人2，作为与人2的脸有关的信息的情况下，则该行为监视装置10可以检测到指示该人2对另一人2感兴趣的相关性信息。行为监视装置10可以将包括在组3中的人2的行为风险度(从其检测上述相关性信息)计算为高值，并可以将其行为安全度计算为低值。

在距人2的预定区域内没有其他人2存在的情况下，行为监视装置10可以检测到人2未包括在组3中。在这种情况下，行为监视装置10不能检测包括人2的组3的相关性信息。行为监视装置10可以基于不能检测到包括人2的组3的相关性信息的事实来检测人2正独立地行动。在人2独立地行动的情况下，行为监视装置10可以将人2的行为风险度计算为高值。因此，可以说，即使人2没有包括在组3中的情况下，行为监视装置10可以除了基于人2的属性信息还基于相关性信息来监视人2的行为。

例如，在行为监视装置10检测到人2是老年人、人2的视线不固定且人2独立地行动作为人2的属性信息的情况下，行为监视装置10可以检测到存在人2是老年人流浪者的高可能性。行为监视装置10可以将上述人2的行为风险度计算为高值。

目标为各种行为的行为监视方法示例

用作行为监视装置10的设置有车辆1和服务器50的行为监视系统100可以执行包括如图6所示流程图中的处理的行为监视方法。车载摄像头20、位置信息获取装置25、通信装置 30和安装在车辆1中的图像分析单元40将统称为车载机器。

车辆1通过使用车载机器检测包括在车载摄像头图像中的人2(步骤S11)。

车辆1通过使用车载机器向服务器50输出包括人2的运动图像作为监视目标图像(步骤 S12)。车辆1在执行步骤S12中的处理之后，终止图6中的流程图中所示的处理。

服务器50从车载机器获取监视目标图像(步骤S21)。服务器50可以从车辆1的车载机器获取监视目标图像。

服务器50基于与所获取的监视目标图像被捕获地点有关的信息以及与监视目标图像中的人2有关的信息中的至少一个信息对所获取的监视目标图像进行分类，并针对每个类别按时间顺序将监视目标图像彼此连接(步骤S22)。

服务器50从在步骤22中针对每个分类彼此连接的监视目标图像中检测人2的行为(步骤S23)。服务器50可以从监视目标图像中检测人2的属性信息。服务器50可以从监视目标图像中检测包括人2的组3的相关性信息。

服务器50确定人2的行为是否对应于异常行为(例如老年人的摇晃的行为)(步骤S24)。也就是说，服务器50可以确定所检测到的人2的行为是否异常作为单独行为。服务器50可以确定人2的各种行为是否对应于不限于老年人的行为的异常行为。异常行为不限于老年人的摇晃的行为，并且可以包括坐着的行为和躺着的行为。在所检测人2的行为对应于异常行为的情况下(步骤S24中的“是”)，服务器50进入步骤S27中的处理。在所检测到的人2的行为不对应于异常行为的情况下(步骤S24中的“否”)，服务器50进入步骤S25中的处理。

服务器50确定所检测到的人2的行为是否对应于儿童在黑暗地点聚集在一起的行为(步骤S25)。服务器50可以基于人2的属性信息来确定人2是否是儿童(例如小学生)。服务器 50可以确定人2所存在的地点是否是黑暗的地点。服务器50可以计算预定区域内存在的人2 的数量。在所检测到的人2的行为对应于儿童在黑暗地点聚集在一起的行为的情况下(步骤 S25中的“是”)，服务器50进入步骤S27中的处理。在所检测到的人2的行为不对应于儿童在黑暗地点聚集在一起的行为的情况下(步骤S25中的“否”)，服务器50进入步骤S26中的处理。

服务器50确定所检测到的人2的行为是否对应于跟踪儿童或女性的行为(步骤S26)。服务器50可以基于包括人2的组3的相关性信息确定人2是否正在跟踪另一人2。被跟踪的人2不限于儿童或女性，可能是各种类型的人2。在所检测到的人2的行为对应于跟踪儿童或女性的行为的情况下(步骤S26中的“是”)，服务器50进入步骤S27中的处理。在所检测到的人2的行为不对应于跟踪儿童或女性的行为的情况下(步骤S26中的“否”)，服务器50终止图6中流程图中所示的处理。

服务器50确定在步骤S24至步骤S26中检测到的人2的行为是否已持续预定时间(步骤 S27)。

在被检测人2的行为持续预定时间的情况下(步骤S27中的“是”)，服务器50执行关于已从其中检测到该行为的监视目标图像和所检测到的行为的内容的通知(步骤S28)。服务器 50可以对终端70或车辆1执行通知。

在所检测到的人2的行为没有持续预定时间的情况下(步骤S27中的“否”)，服务器50 终止图6中流程图中所示的处理。

在图6所示的示例中，服务器50依次执行步骤S24至步骤S26的处理。然而，服务器50可以并行地执行步骤S24至步骤S26中的处理，并且可以在改变处理的顺序的同时执行步骤S24至步骤S26中的处理。

尽管上文已经描述图6所示的流程图中的处理是由实现行为监视装置10的功能的服务器 50执行的，但是这些处理可以由安装在车辆1中的行为监视装置10执行。

行为监视装置10可以通过执行图6所示流程图中的处理来监视人2的各种行为。结果，可以提高区域的安全性。

注册人员观看操作实例

行为监视系统100的监视目标可以是预先注册的人2。例如，保护可能四处徘徊的老年人的该老年人的家人或机构人员可以将老年人注册在行为监视系统100中作为要监视的人2。例如，保护者(例如儿童(例如无法预计其下一行为的婴儿或小学生)的父母可以将儿童注册在行为监视系统100中作为要监视的人2。例如，注册在行为监视系统100中的人2将被称为注册人员。将注册人员注册在行为监视系统100中的老年人的家人、机构人员、儿童保护者等将被称为监视请求者。

行为监视系统100可以包括获取关于注册人员的位置的信息的机器。将在监视请求者使注册人员携带该机器的假设下做出以下描述。将在监视请求者携带终端70的假设下做出以下描述。

在监视请求者丢失了注册人员的位置的情况下，监视请求者使终端70向行为监视系统 100输出请求监视注册人员的行为的信息。行为监视装置10基于监视请求者的请求信息获取关于注册人员的位置的信息。行为监视装置10向位于注册人员的当前位置周围预定区域内的车辆1发送控制信息，该控制信息请求由车载摄像头对注册人员的当前位置的附近进行成像。

车辆1基于控制信息获取包括注册人员的当前位置附近的图像的摄像头输出信息，并将摄像头输出信息发送至行为监视装置10。

行为监视装置10从车辆1获取的摄像头输出信息中检测包括人2的监视目标图像。行为监视装置10检测包括在监视目标图像中的人2的属性信息，并将该属性信息与注册人员的属性信息进行比较。行为监视装置10将其属性信息与注册人员的属性信息重合的人2检测为注册人员。在存在多个人2被检测为注册人员的情况下，行为监视装置10将请求终端70确认哪个人是注册人员的信息发送至监视请求者的终端70。监视请求者使终端70发送从要请求确认的人中指定注册人员的信息。

行为监视装置10按时间顺序存储包括注册人员的监视目标图像。在行为监视装置10检测到包括注册人员的组3的相关性信息的情况下，行为监视装置10基于该相关性信息监视注册人员的行为。行为监视装置10可以计算注册人员的行为风险度。行为监视装置10检测注册人员的行为，并对监视请求者的终端70执行关于所检测到的信息的通知。例如，在行为监视装置10检测到要在没有交通信号和人行横道的地点穿过道路的注册人员的行为的情况下，行为监视装置10对监视请求者的终端70执行关于所检测到的信息的通知。行为监视装置10 可将包括注册人员的监视目标图像发送至监视请求者的终端70。监视请求者可以通过使用终端70查看与注册人员的行为有关的信息。

根据本配置示例，监视请求者容易掌握注册人员的意外行为。结果，提高了区域的安全性。

根据附图和实例描述了本公开的实施例。然而，应当指出的是，本领域技术人员可以根据本发明而容易地做出各种改变或修改。因此，这些改变或修改应理解为包括在本公开的范围内。例如，每个手段或步骤中包含的功能等可以在没有逻辑不一致的情况下被重新排列，并且多个手段或步骤可以相互组合或被划分。

Claims (8)

1.行为监视装置，包括控制器，所述控制器配置为检测包括在车载摄像头图像中的人的行为，所述行为监视装置的特征在于：

所述控制器从所述车载摄像头图像中检测多个人；

所述控制器检测所检测到的多个人中的每个人的属性信息和指示所检测到的多个人之间的相关性的相关性信息；

所述控制器基于所述属性信息和所述相关性信息分别评估所检测到的多个人中的每个人的行为，以确定是否存在所检测到的人执行异常行为的可能性或是否存在所检测到的人被暴露到风险的可能性，并且基于所述属性信息和所述相关性信息分别计算与所检测到的多个人中的每个人的行为有关的行为评估值，其中所述行为评估值包括所检测到的人的行为风险度和所检测到的人的行为安全度，所述行为风险度为指示所检测到的人执行异常行为的可能性的评分，所述行为安全度指示所检测到的人防止他人执行异常行为的可能性的评分，所述控制器基于所述多个人中的一个人的行为安全度来降低所述多个人中的另一个人的行为风险度；和

所述控制器输出所述评估的结果和所述行为评估值，并且向车辆输出以跟踪行为风险度等于或大于预定值的人的方式行驶的指令。

2.根据权利要求1所述的行为监视装置，其特征在于：

所述控制器还指定所述多个人被检测自的所述车载摄像头图像被捕获的时刻和所述车载摄像头图像被捕获的地点中的至少一者；并且

控制器还基于所述车载摄像头图像被捕获的所述时刻和所述车载摄像头图像被捕获的所述地点中的至少一者，评估所检测到的多个人中的每个人的所述行为。

3.根据权利要求1所述的行为监视装置，其特征在于：

所述控制器从所述车载摄像头图像获取在第一时刻捕获的第一时刻图像和在第二时刻捕获的第二时刻图像；并且

所述控制器指定从所述第一时刻图像和所述第二时刻图像二者中检测到的第一人。

4.根据权利要求3所述的行为监视装置，其特征在于，所述控制器基于在所述第一时刻的所述第一人的属性信息与在所述第二时刻的所述第一人的属性信息之间的差异，检测所述第一人被暴露到的风险的等级。

5.根据权利要求3或4所述的行为监视装置，其特征在于，所述控制器基于在所述第一时刻包括所述第一人的多个人的相关性信息与在所述第二时刻包括所述第一人的所述多个人的相关性信息之间的差异，检测所述第一人被暴露到的风险的等级。

6.根据权利要求1至4中任一项所述的行为监视装置，其特征在于：

所述控制器基于所述评估值确定所检测到的多个人中的每个人的所述行为是任意以下行为：增加对附近的人的风险的异常行为、降低对附近的人的风险的安全行为，以及不增加或降低对附近的人的风险的等级的正常行为。

7.行为监视系统，其特征在于，包括：

车辆；和

行为监视装置，其中：

所述行为监视装置包括控制器，所述控制器配置为检测包括在所述车辆的车载摄像头图像中的人的行为；

所述控制器从所述车载摄像头图像中检测多个人；

所述控制器检测所检测到的多个人中的每个人的属性信息和指示所检测到的多个人之间的相关性的相关性信息；

所述控制器基于所述属性信息和所述相关性信息分别评估所检测到的多个人中的每个人的行为，以确定是否存在所检测到的人执行异常行为的可能性或是否存在所检测到的人被暴露到风险的可能性，并且基于所述属性信息和所述相关性信息分别计算与所检测到的多个人中的每个人的行为有关的行为评估值，其中所述行为评估值包括所检测到的人的行为风险度和所检测到的人的行为安全度，所述行为风险度为指示所检测到的人执行异常行为的可能性的评分，所述行为安全度指示所检测到的人防止他人执行异常行为的可能性的评分，所述控制器基于所述多个人中的一个人的行为安全度来降低所述多个人中的另一个人的行为风险度；和

所述控制器输出所述评估的结果和所述行为评估值，并且向所述车辆输出以跟踪行为风险度等于或大于预定值的人的方式行驶的指令。

8.非暂时性可读存储介质，其用于存储行为监视程序，所述行为监视程序使得处理器执行：

从车载摄像头图像中检测多个人的步骤；

检测所检测到的多个人中的每个人的属性信息和指示所检测到的多个人之间的相关性的相关性信息的步骤；

基于所述属性信息和所述相关性信息分别评估所检测到的多个人中的每个人的行为，以确定是否存在所检测到的人执行异常行为的可能性或是否存在所检测到的人被暴露到风险的可能性，并且基于所述属性信息和所述相关性信息分别计算与所检测到的多个人中的每个人的行为有关的行为评估值的步骤，其中所述行为评估值包括所检测到的人的行为风险度和所检测到的人的行为安全度，所述行为风险度为指示所检测到的人执行异常行为的可能性的评分，所述行为安全度指示所检测到的人防止他人执行异常行为的可能性的评分，控制器基于所述多个人中的一个人的行为安全度来降低所述多个人中的另一个人的行为风险度；以及

输出所述评估的结果和所述行为评估值，并且向车辆输出以跟踪行为风险度等于或大于预定值的人的方式行驶的指令的步骤。

Images