CN111325088A - 信息处理系统、程序以及信息处理方法 - Google Patents

信息处理系统、程序以及信息处理方法 Download PDF

Info

Publication number
CN111325088A
CN111325088A CN201911224241.3A CN201911224241A CN111325088A CN 111325088 A CN111325088 A CN 111325088A CN 201911224241 A CN201911224241 A CN 201911224241A CN 111325088 A CN111325088 A CN 111325088A
Authority
CN
China
Prior art keywords
person
server
moving images
vehicles
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911224241.3A
Other languages
English (en)
Other versions
CN111325088B (zh
Inventor
草间荣一
林雅敏
光本尚训
阵内邦明
赤羽真
山口友理子
加藤大介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN111325088A publication Critical patent/CN111325088A/zh
Application granted granted Critical
Publication of CN111325088B publication Critical patent/CN111325088B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/48—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for in-vehicle communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Social Psychology (AREA)
  • General Engineering & Computer Science (AREA)
  • Alarm Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本发明涉及信息处理系统、程序以及信息处理方法。信息处理系统具备多个车辆以及能够与多个车辆通信的服务器。多个车辆的每一个生成拍摄到车外的人物的动态图像，并将动态图像及动态图像的拍摄时刻和拍摄位置向服务器进行发送。服务器确定分别从多个车辆接收到的多个动态图像中的、拍摄到同一人物的两个以上的对象动态图像，从两个以上的对象动态图像检测人物的行为举动，基于检测出的行为举动来推定人物的属性信息，并将人物的属性信息及至少一个对象动态图像的拍摄时刻和拍摄位置向客户端进行发送。

Description

信息处理系统、程序以及信息处理方法
技术领域
本发明涉及信息处理系统、程序以及信息处理方法。
背景技术
以往，已知从车载摄像头(camera)的图像中检测与人物有关的信息的技术。例如，日本特开2017-211888中公开了如下的图像信息认证系统：从相关人员处取得由于痴呆症而有走失(徘徊)危险的人物的数码照片数据等比对(对照)用数据并进行登记，通过车载摄像头拍摄车外状况，将从车载摄像头得到的图像信息作为认证用数据来与比对用数据进行比对，并将比对结果通报给相关人员。
发明内容
然而，在现有技术中，需要预先登记从车载摄像头的动态图像中检测出的人物的比对用数据，因而无法检测没有作为比对用数据登记的人物。如此，现有技术的便利性不一定高。因此，从车载摄像头的图像检测与人物有关的信息的技术的便利性尚有改善的余地。
鉴于这种情况而做出的本发明的目的在于，使从车载摄像头的图像检测与人物有关的信息的技术的便利性提高。
本发明的一个实施方式涉及的信息处理系统，是具备多个车辆以及能够与所述多个车辆通信的服务器的信息处理系统，所述多个车辆的每一个生成拍摄到车外的人物的动态图像，将所述动态图像及所述动态图像的拍摄时刻和拍摄位置向所述服务器进行发送，所述服务器确定分别从所述多个车辆接收到的多个所述动态图像中的、拍摄到同一人物的两个以上的对象动态图像，从所述两个以上的对象动态图像检测所述人物的行为举动，基于检测出的所述行为举动来推定所述人物的属性信息，将所述人物的属性信息及至少一个所述对象动态图像的拍摄时刻和拍摄位置向客户端进行发送。
本发明的一个实施方式涉及的程序，使能够与多个车辆通信的信息处理装置执行如下步骤：接收分别由所述多个车辆生成的拍摄到车外的人物的多个动态图像、及所述多个动态图像的拍摄时刻和拍摄位置的步骤；确定所述多个动态图像中的、拍摄到同一人物的两个以上的对象动态图像的步骤；从所述两个以上的对象动态图像检测所述人物的行为举动的步骤；基于检测出的所述行为举动来推定所述人物的属性信息的步骤；以及将所述人物的属性信息及至少一个所述对象动态图像的拍摄时刻和拍摄位置向客户端进行发送的步骤。
本发明的一个实施方式涉及的信息处理方法，是具备多个车辆以及能够与所述多个车辆通信的服务器的信息处理系统所执行的信息处理方法，包括如下步骤：所述多个车辆的每一个生成拍摄到车外的人物的动态图像的步骤；所述多个车辆的每一个将所述动态图像及所述动态图像的拍摄时刻和拍摄位置向所述服务器进行发送的步骤；所述服务器确定分别从所述多个车辆接收到的多个所述动态图像中的、拍摄到同一人物的两个以上的对象动态图像的步骤；所述服务器从所述两个以上的对象动态图像检测所述人物的行为举动的步骤；所述服务器基于检测出的所述行为举动来推定所述人物的属性信息的步骤；以及所述服务器将所述人物的属性信息及至少一个所述对象动态图像的拍摄时刻和拍摄位置向客户端进行发送的步骤。
根据本发明的一个实施方式涉及的信息处理系统、程序以及信息处理方法，从车载摄像头的图像检测与人物有关的信息的技术的便利性提高。
附图说明
以下，参照附图对本发明的示例性实施方式的特征、优点以及技术和产业意义进行说明，在附图中相同的附图标记表示相同的要素，并且其中：
图1是表示本发明的一个实施方式涉及的信息处理系统的概略构成的图。
图2是表示车辆的概略构成的框图。
图3是表示服务器的概略构成的框图。
图4是表示服务器所存储的信息的例子的图。
图5是表示车辆的工作(动作)的流程图。
图6是表示服务器的工作的流程图。
具体实施方式
以下，对本发明的实施方式进行说明。
(信息处理系统的构成)
参照图1，对本发明的一个实施方式涉及的信息处理系统1的概要进行说明。信息处理系统1具备多个车辆10和服务器20。车辆10例如是汽车，但不限于此，也可以是任意的车辆。在图1中，为了说明的简便，仅图示了两个车辆10，但信息处理系统1也可以具备任意数量的车辆10。服务器20包括一个或者能够相互通信的多个信息处理装置(例如，服务器装置)。车辆10和服务器20例如能够经由包括移动体通信网以及互联网等的网络30进行通信。另外，服务器20能够经由网络30与客户端40通信。客户端40例如是PC(Personal Computer，个人计算机)、服务器装置以及智能手机等，但也可以是任意的信息处理装置。
首先，对本实施方式的概要进行说明，关于详情，会在后面说明。信息处理系统1例如在徘徊者或者可疑人员等的检测中使用。多个车辆10的每一个例如具备车载摄像头，生成拍摄到车外风景的动态图像。该动态图像中例如可能会映现存在于车辆10周边的行人等人物。各车辆10在生成了拍摄到车外的人物的动态图像时，将该动态图像及动态图像的拍摄时刻和拍摄位置向服务器20进行发送。
服务器20将由多个车辆10分别生成的多个动态图像中的、拍摄到同一人物的两个以上的动态图像的每一个确定为对象动态图像。以下，也将映现于各对象动态图像的该同一人物称为对象人物。在此，例如已知徘徊者或者可疑人员等人物会表现与其他人物不同的特征性的行为举动。因此，能够基于人物的行为举动来判定是否与徘徊者或者可疑人员等相符。服务器20从所确定的两个以上的对象动态图像检测对象人物的行为举动，并基于检测出的该行为举动来推定对象人物的属性信息(例如，对象人物是否与徘徊者或者可疑人员相符等)。而且，服务器20将对象人物的属性信息以及对象动态图像的拍摄时刻和拍摄位置向客户端40进行发送。
一般而言，为了从人物的动态图像检测该人物的行为举动，需要人物的一系列动作映现于动态图像。然而，例如在各车辆10行驶着对人物进行拍摄的情况下，各对象动态图像的长度比较短，一个对象动态图像中仅能映现人物的一系列动作中的一部分。因此，例如根据一个对象动态图像，人物的行为举动的检测精度不一定足够，或者存在无法检测出行为举动的情况。对此，根据本实施方式，如上所述确定由多个车辆10分别生成的多个动态图像中的、拍摄到同一人物的两个以上的对象动态图像。即使在如上述那样各对象动态图像中仅映现有人物的一系列动作中的一部分的情况下，也能够从两个以上的对象动态图像检测人物的一系列动作。即，通过使用两个以上的对象动态图像，对象人物的行为举动的检测精度提高。对象人物的行为举动的检测精度的提高使对象人物的属性信息的推定精度提高。因此，从车载摄像头的图像检测与人物有关的信息的技术的便利性提高。
接着，对信息处理系统1的各构成进行详细说明。
(车辆的构成)
如图2所示，车辆10具备通信部11、测位部12、拍摄部13、存储部14以及控制部15。通信部11、测位部12、拍摄部13、存储部14以及控制部15的每一个既可以内置于车辆10，或者也可以可拆装地设置于车辆10。通信部11、测位部12、拍摄部13、存储部14以及控制部15例如经由CAN(Controller Area Network，控制器局域网)等车载网络或者专用线以能够相互通信的方式连接。
通信部11包含与网络30连接的通信模块。该通信模块例如对应于4G(4thGeneration)以及5G(5th Generation)等移动体通信标准，但不限于这些，也可以对应于任意的通信标准。例如也可以为，DCM(Data Communication Module，数据通信模块)等车载收发模块(通信机)作为通信部11而发挥功能。在本实施方式中，车辆10经由通信部11与网络30连接。
测位部12包含与卫星测位系统对应的接收机。该接收机例如对应于GPS(GlobalPositioning System，全球定位系统)，但不限于此，也可以对应于任意的卫星测位系统。例如也可以为，导航装置作为测位部12而发挥功能。在本实施方式中，车辆10使用测位部12取得本车辆的位置信息。
拍摄部13包含生成拍摄到视野内的被摄体(拍摄对象)的动态图像的车载摄像头。该车载摄像头既可以是单眼摄像头，或者也可以是立体摄像头。拍摄部13以能够拍摄车外风景的方式设置于车辆10。例如也可以为，行车记录仪(drive recorder)或者乘员所使用的智能手机等具有摄像头功能的电子设备作为拍摄部13而发挥功能。在本实施方式中，车辆10使用拍摄部13，生成拍摄到车外风景的动态图像。
存储部14包含一个以上的存储器(memory)。在本实施方式中，“存储器”例如是半导体存储器、磁存储器或者光存储器等，但不限于这些。存储部14所包含的各存储器例如也可以作为主存储装置、辅助存储装置或者高速缓存内存而发挥功能。存储部14存储车辆10的工作中所使用的任意信息。例如，存储部14也可以存储系统程序、应用程序以及嵌入式软件等。存储于存储部14的信息例如也可以能够利用经由通信部11从网络30取得的信息来更新。
控制部15具备一个以上的处理器。在本实施方式中，“处理器”是通用的处理器、针对特定处理的专用的处理器等，但不限于这些。例如也可以为，搭载于车辆10的ECU(Electronic Control Unit，电子控制单元)作为控制部15而发挥功能。控制部15具有掌握当前时刻的计时功能。控制部15控制车辆10整体的工作。
例如，控制部15使用拍摄部13，生成拍摄到车外风景的动态图像。如上所述，该动态图像中例如可能会映现存在于车辆10周边的行人等人物。控制部15也可以当在动态图像的拍摄期间通过图像识别检测出映现有车外的人物的场景时，截取该场景，由此生成拍摄到车外的人物的动态图像。映现有车外的人物的场景的检测例如可以采用模式匹配、特征点提取、或机器学习等任意的图像识别方法。控制部15在生成了拍摄到车外的人物的动态图像时，将该动态图像及动态图像的拍摄时刻和拍摄位置经由通信部11向服务器20进行发送。拍摄时刻例如是开始进行动态图像的拍摄的时刻，但也可以是从开始进行动态图像的拍摄的时刻到结束拍摄的时刻的期间内的任意时刻。拍摄位置是车辆10在拍摄时刻的位置，由测位部12取得。
(服务器的构成)
如图3所示，服务器20具备服务器通信部21、服务器存储部22以及服务器控制部23。
服务器通信部21包含与网络30连接的通信模块。该通信模块例如对应于有线LAN(Local Area Network，局域网)标准，但不限于此，也可以对应于任意的通信标准。在本实施方式中，服务器20经由服务器通信部21与网络30连接。
服务器存储部22包含一个以上的存储器。服务器存储部22所包含的各存储器例如也可以作为主存储装置、辅助存储装置或者高速缓存内存而发挥功能。服务器存储部22存储服务器20的工作中所使用的任意信息。例如，服务器存储部22也可以存储系统程序、应用程序以及数据库等。存储于服务器存储部22的信息例如也可以能够利用经由服务器通信部21从网络30取得的信息来更新。
服务器控制部23包含一个以上的处理器。服务器控制部23控制服务器20整体的工作。
例如，服务器控制部23在从车辆10接收到动态图像、拍摄时刻以及拍摄位置时，将这些信息保存于服务器存储部22的数据库。例如如图4所示，服务器控制部23也可以将动态图像、拍摄时刻以及拍摄位置与动态图像ID相关联地保存于数据库。动态图像ID是服务器控制部23能够唯一识别动态图像的信息，例如在动态图像的接收时自动生成。在图4所示的例子中，保存有在拍摄时刻t1及拍摄位置p1拍摄到的动态图像、和在拍摄时刻t2及拍摄位置p2拍摄到的动态图像这两个动态图像。然而，该数据库中能保存分别从多个车辆10接收到的多个动态图像。
另外，服务器控制部23挑选服务器存储部22的数据库所保存的多个动态图像中的、拍摄到同一人物的两个以上的动态图像，将挑选出的各动态图像确定为对象动态图像。具体而言，服务器控制部23通过图像识别来检测保存于数据库的各动态图像中映现的人物，判定检测出的人物彼此间的同一性，由此，挑选拍摄到同一人物的两个以上的动态图像。动态图像中映现的人物的检测以及同一性的判定例如可以采用模式匹配、特征点提取、或机器学习等任意的图像识别方法。
在挑选动态图像时，服务器控制部23也可以从保存于数据库的多个动态图像中的、拍摄时刻和拍摄位置在预定的范围内一致的多个动态图像之中，挑选拍摄到同一人物的两个以上的动态图像。具体而言，服务器控制部23基于保存于数据库的各动态图像的拍摄时刻和拍摄位置，确定拍摄时刻和拍摄位置在预定的范围内一致的多个动态图像，通过图像识别来检测所确定的各动态图像中映现的人物，判定检测出的人物彼此间的同一性，由此，挑选拍摄到同一人物的两个以上的动态图像。在此，“拍摄时刻和拍摄位置在预定的范围内一致的多个动态图像”是在各动态图像与至少一个其他动态图像的关系中，拍摄时刻之差在基准值(例如1分钟)以下、且拍摄位置之差在基准值(例如60米)以下的多个动态图像。
根据这种构成，无需对保存于数据库的所有动态图像实施人物的检测以及同一性的判定，减轻了处理负担。此外，上述的“预定的范围”例如也可以基于实验结果或者经验法则来确定。例如，“预定的范围”越窄则处理负担的减轻效果越大，但是越难以确定两个以上的对象动态图像。相反，“预定的范围”越宽则越易于确定两个以上的对象动态图像，但是处理负担的减轻效果越小。
另外，服务器控制部23从所确定的两个以上的对象动态图像检测对象人物的行为举动。从任意观点观察到的对象人物的一系列动作能够被检测为行为举动。例如也可以为，将对象人物的视线、表情、面部朝向的变化、身体朝向的变化或手脚的动作、或者它们的组合等、身体的各部分的一系列动作检测为行为举动。另外，例如也可以为，将跑、站住或弯腰、或者它们的组合等、整个身体的合成的一系列动作检测为行为举动。人物的行为举动的检测例如可以采用模式匹配、特征点提取、或机器学习等任意的图像识别方法。
另外，服务器控制部23基于检测出的行为举动来推定对象人物的属性信息。在本实施方式中，属性信息包含表示徘徊者或者可疑人员的符合与否判定结果的信息。表示符合与否判定结果的信息例如既可以是表示对象人物是否与徘徊者或者可疑人员相符的信息，或者也可以是表示对象人物与徘徊者或者可疑人员相符的可能性的信息。
基于行为举动的属性信息的推定可以采用任意的方法。如上所述，例如已知徘徊者或者可疑人员等人物会表现与其他人物不同的特征性的行为举动，能够基于人物的行为举动来进行徘徊者或者可疑人员等的符合与否判定。
在一例中，采用使用对应信息的方法，该对应信息表示人的行为举动与属性信息的对应关系。该对应关系例如也可以基于实验结果或者经验法则来确定。具体而言，服务器控制部23将表示人的行为举动与属性信息的对应关系的对应信息预先存储于服务器存储部22。服务器控制部23参照该对应信息，将与从两个以上的对象动态图像检测出的行为举动对应的属性信息推定为对象人物的属性信息。
在另一例中，可以采用使用对人的行为举动与属性信息的对应关系进行机器学习得到的结果的方法。具体而言，服务器控制部23将以人的行为举动作为输入数据、以此人的属性信息作为输出数据的预训练模型预先存储于服务器存储部22。服务器控制部23将从两个以上的对象动态图像检测出的行为举动输入到该模型，并将被输出的属性信息推定为对象人物的属性信息。
另外，服务器控制部23取得与至少一个对象动态图像的拍摄位置对应的地点的信息。与拍摄位置对应的地点的信息例如包含存在于与拍摄位置对应的地点的设施的名称、所在地或者图像等，但不限于这些，也可以包含关于该地点的任意信息。与拍摄位置对应的地点的信息例如既可以经由服务器通信部21从网络30取得，或者也可以根据预先存储于服务器存储部22的地图信息取得。
另外，服务器控制部23从任一个对象动态图像截取对象人物的图像(动态图像或者静态图像)。在此，服务器控制部23也可以优先截取两个以上的对象动态图像中的、映现了对象人物的面部的场景的图像。
另外，服务器控制部23将对象人物的属性信息、至少一个对象动态图像的拍摄时刻和拍摄位置、与该拍摄位置对应的地点的信息、以及对象人物的图像向客户端40进行发送。对象人物的属性信息等的发送例如既可以根据来自客户端40的请求来实施(例如，拉取式传送)，或者也可以由服务器控制部23自动实施(例如，推送式传送)。
在此，关于包括上述的与拍摄位置对应的地点的信息的取得、对象人物的图像的截取以及对象人物的属性信息等的发送在内的工作，也可以仅在推定出的属性信息满足预定的条件的情况下才实施。例如也可以为，仅在推定出的属性信息表示对象人物与徘徊者或可疑人员相符或者符合的可能性比预定基准高的情况下，才实施该工作。
(车辆的工作流程)
参照图5，对车辆10的工作的流程进行说明。
步骤S100：控制部15使用拍摄部13，生成拍摄到车外的人物的动态图像。
步骤S101：控制部15将在步骤S100中生成的动态图像、及该动态图像的拍摄时刻和拍摄位置，经由通信部11向服务器20进行发送。
(服务器的工作流程)
参照图6，对服务器20的工作的流程进行说明。
步骤S200：服务器控制部23将表示人的行为举动与属性信息的对应关系的对应信息存储于服务器存储部22。
步骤S201：服务器控制部23从车辆10接收动态图像、拍摄时刻以及拍摄位置，并保存于服务器存储部22的数据库。
步骤S202：服务器控制部23挑选服务器存储部22的数据库所保存的多个动态图像中的、拍摄到同一人物的两个以上的动态图像，将挑选出的各动态图像确定为对象动态图像。在挑选动态图像时，服务器控制部23也可以从保存于数据库的多个动态图像中的、拍摄时刻和拍摄位置在预定的范围内一致的多个动态图像之中，挑选拍摄到同一人物的两个以上的动态图像。
步骤S203：服务器控制部23从所确定的两个以上的对象动态图像，检测对象人物的行为举动。
步骤S204：服务器控制部23基于检测出的行为举动来推定对象人物的属性信息。在本例中，服务器控制部23参照步骤S200的对应信息，将与从两个以上的对象动态图像检测出的行为举动对应的属性信息，推定为对象人物的属性信息。
步骤S205：服务器控制部23取得与至少一个对象动态图像的拍摄位置对应的地点的信息。
步骤S206：服务器控制部23从任一个对象动态图像截取对象人物的图像(动态图像或者静态图像)。
步骤S207：服务器控制部23将对象人物的属性信息、至少一个对象动态图像的拍摄时刻和拍摄位置、与该拍摄位置对应的地点的信息、以及对象人物的图像向客户端40进行发送。
如上所述，根据本实施方式涉及的信息处理系统1，多个车辆10的每一个生成拍摄到车外的人物的动态图像，并将该动态图像及该动态图像的拍摄时刻和拍摄位置向服务器20进行发送。服务器20确定分别从多个车辆10接收到的多个动态图像中的、拍摄到同一人物(对象人物)的两个以上的对象动态图像。服务器20从该两个以上的对象动态图像检测对象人物的行为举动，基于检测出的行为举动来推定对象人物的属性信息。而且，服务器20将对象人物的属性信息及至少一个对象动态图像的拍摄时刻和拍摄位置向客户端40进行发送。
根据这种构成，由于使用拍摄到同一人物的两个以上的对象动态图像来检测对象人物的行为举动，因此例如与使用一个对象动态图像来检测对象人物的行为举动的构成相比，行为举动的检测精度提高。对象人物的行为举动的检测精度的提高使对象人物的属性信息的推定精度提高。因此，从车载摄像头的图像检测与人物有关的信息的技术的便利性提高。
虽然基于各附图及实施例对本发明进行了说明，但要注意，本领域技术人员可以容易地基于本公开进行各种变形及修正。因此，要留意这些变形及修正也包含在本发明的范围内。例如，可以将各单元或者各步骤等所包含的功能等以逻辑上不矛盾的方式重新配置，可以将多个单元或步骤等组合为一个、或者进行分割。
例如，在上述的实施方式中，说明了使用以人的行为举动作为输入数据、以此人的属性信息作为输出数据的预训练模型，推定对象人物的属性信息的构成。然而，用于推定对象人物的属性信息的预训练模型不限于该例子。例如，也可以为使用以两个以上的对象动态图像作为输入数据、以对象人物的属性信息作为输出数据的预训练模型，推定对象人物的属性信息的构成。
另外，例如也可以为使智能手机或计算机等通用的信息处理装置作为上述的实施方式涉及的车辆10的各构成部分或服务器20而发挥功能的构成。具体而言是，将记述了实现实施方式涉及的车辆10或服务器20的各功能的处理内容的程序保存于信息处理装置的存储器，并由信息处理装置的处理器读取并执行该程序。因此，本实施方式涉及的发明也可以实现为处理器能够执行的程序。

Claims (8)

1.一种信息处理系统，是具备多个车辆以及能够与所述多个车辆通信的服务器的信息处理系统，
所述多个车辆的每一个，
生成拍摄到车外的人物的动态图像，
将所述动态图像及所述动态图像的拍摄时刻和拍摄位置向所述服务器进行发送，
所述服务器，
确定分别从所述多个车辆接收到的多个所述动态图像中的、拍摄到同一人物的两个以上的对象动态图像，
从所述两个以上的对象动态图像检测所述人物的行为举动，
基于检测出的所述行为举动来推定所述人物的属性信息，
将所述人物的属性信息及至少一个所述对象动态图像的拍摄时刻和拍摄位置向客户端进行发送。
2.根据权利要求1所述的信息处理系统，
所述服务器，
预先存储表示人的行为举动与属性信息的对应关系的对应信息，
将与检测出的所述行为举动对应的属性信息推定为所述人物的属性信息。
3.根据权利要求1或2所述的信息处理系统，
所述属性信息包含表示徘徊者或可疑人员的符合与否判定结果的信息。
4.根据权利要求1至3中任一项所述的信息处理系统，
所述服务器，
从所述两个以上的对象动态图像中截取所述人物的动态图像或静态图像，
将截取到的所述动态图像或所述静态图像向所述客户端进行发送。
5.根据权利要求1至4中任一项所述的信息处理系统，
所述服务器取得与所述至少一个对象动态图像的拍摄位置对应的地点的信息，将所取得的所述信息向所述客户端进行发送。
6.根据权利要求1至5中任一项所述的信息处理系统，
所述服务器从分别从所述多个车辆接收到的所述多个动态图像中的、拍摄时刻和拍摄位置在预定的范围内一致的多个所述动态图像之中，确定拍摄到同一人物的所述两个以上的对象动态图像。
7.一种程序，使能够与多个车辆通信的信息处理装置执行如下步骤：
接收分别由所述多个车辆生成的拍摄到车外的人物的多个动态图像、及所述多个动态图像的拍摄时刻和拍摄位置的步骤；
确定所述多个动态图像中的、拍摄到同一人物的两个以上的对象动态图像的步骤；
从所述两个以上的对象动态图像检测所述人物的行为举动的步骤；
基于检测出的所述行为举动来推定所述人物的属性信息的步骤；以及
将所述人物的属性信息及至少一个所述对象动态图像的拍摄时刻和拍摄位置向客户端进行发送的步骤。
8.一种信息处理方法，是具备多个车辆以及能够与所述多个车辆通信的服务器的信息处理系统所执行的信息处理方法，包括如下步骤：
所述多个车辆的每一个生成拍摄到车外的人物的动态图像的步骤；
所述多个车辆的每一个将所述动态图像及所述动态图像的拍摄时刻和拍摄位置向所述服务器进行发送的步骤；
所述服务器确定分别从所述多个车辆接收到的多个所述动态图像中的、拍摄到同一人物的两个以上的对象动态图像的步骤；
所述服务器从所述两个以上的对象动态图像检测所述人物的行为举动的步骤；
所述服务器基于检测出的所述行为举动来推定所述人物的属性信息的步骤；以及
所述服务器将所述人物的属性信息及至少一个所述对象动态图像的拍摄时刻和拍摄位置向客户端进行发送的步骤。
CN201911224241.3A 2018-12-14 2019-12-04 信息处理系统、记录介质以及信息处理方法 Active CN111325088B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-234145 2018-12-14
JP2018234145A JP7151449B2 (ja) 2018-12-14 2018-12-14 情報処理システム、プログラム、及び情報処理方法

Publications (2)

Publication Number Publication Date
CN111325088A true CN111325088A (zh) 2020-06-23
CN111325088B CN111325088B (zh) 2023-06-16

Family

ID=71072644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911224241.3A Active CN111325088B (zh) 2018-12-14 2019-12-04 信息处理系统、记录介质以及信息处理方法

Country Status (3)

Country Link
US (3) US11170207B2 (zh)
JP (1) JP7151449B2 (zh)
CN (1) CN111325088B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114999222A (zh) * 2021-03-02 2022-09-02 丰田自动车株式会社 异常举动通知装置、通知系统、通知方法以及记录介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7151449B2 (ja) 2018-12-14 2022-10-12 トヨタ自動車株式会社 情報処理システム、プログラム、及び情報処理方法
US20240034332A1 (en) * 2022-07-29 2024-02-01 Motorola Mobility Llc Driving condition detection and indication to a remote device during a communication session

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000128031A (ja) * 1998-08-21 2000-05-09 Sumitomo Electric Ind Ltd ドライブレコ―ダ、安全運転支援システムおよび盗難防止システム
US6690294B1 (en) * 2001-07-10 2004-02-10 William E. Zierden System and method for detecting and identifying traffic law violators and issuing citations
CN101071447A (zh) * 2006-03-06 2007-11-14 索尼株式会社 检索系统、摄像装置、数据保存装置及信息处理装置
EP1892149A1 (en) * 2006-08-24 2008-02-27 Harman Becker Automotive Systems GmbH Method for imaging the surrounding of a vehicle and system therefor
US20110063443A1 (en) * 2009-09-16 2011-03-17 National Kaohsiung University Of Applied Sciences Cruising surveillance system for auto detecting and tracing suspected invaders
CN102724482A (zh) * 2012-06-18 2012-10-10 西安电子科技大学 基于gps和gis的智能视觉传感网络运动目标接力跟踪系统
CN102968873A (zh) * 2012-11-29 2013-03-13 深圳市捷顺科技实业股份有限公司 一种停车场预警系统
US20140085477A1 (en) * 2011-05-24 2014-03-27 Nissan Motor Co., Ltd. Vehicle monitoring device and method of monitoring vehicle
CN105291984A (zh) * 2015-11-13 2016-02-03 中国石油大学(华东) 一种基于多车协作的行人及车辆检测的方法及系统
CN105893931A (zh) * 2015-02-16 2016-08-24 松下知识产权经营株式会社 物体检测装置和物体检测方法
CN106415694A (zh) * 2014-06-26 2017-02-15 Jvc 建伍株式会社 车载影像系统、影像传送系统、影像传送方法以及影像传送程序
CN106650603A (zh) * 2016-10-18 2017-05-10 北京小米移动软件有限公司 车辆周边监控方法、装置和车辆
CN107195018A (zh) * 2017-05-17 2017-09-22 金碧凡 一种前端大数据车载智能系统
CN107729562A (zh) * 2017-11-09 2018-02-23 成都钰月科技有限责任公司 人像自动识别的视频数据挖掘系统和方法
US20180137372A1 (en) * 2016-11-11 2018-05-17 NextEv USA, Inc. Using Vehicle Sensor Data to Monitor Pedestrian Health
US20180232904A1 (en) * 2017-02-10 2018-08-16 Seecure Systems, Inc. Detection of Risky Objects in Image Frames
US20180316901A1 (en) * 2017-04-26 2018-11-01 Ford Global Technologies, Llc Event reconstruct through image reporting
WO2018204726A1 (en) * 2017-05-04 2018-11-08 Carnegie Mellon University State estimation and localization for rov-based structural inspection

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9984300B2 (en) * 2012-09-19 2018-05-29 Nec Corporation Image processing system, image processing method, and program
JP6406241B2 (ja) * 2013-02-15 2018-10-17 日本電気株式会社 情報処理システム、情報処理方法及びプログラム
JP6554280B2 (ja) * 2014-11-28 2019-07-31 株式会社デンソーテン データ処理装置、画像処理方法、及び、プログラム
JP6737290B2 (ja) * 2016-01-29 2020-08-05 日本電気株式会社 情報処理装置、情報処理方法、及びプログラム
US10997422B2 (en) * 2016-01-29 2021-05-04 Nec Corporation Information processing apparatus, information processing method, and program
US10033780B2 (en) * 2016-02-26 2018-07-24 Ring Inc. Sharing video footage from audio/video recording and communication devices
WO2017159680A1 (ja) * 2016-03-17 2017-09-21 日本電気株式会社 捜索支援装置、捜索支援システム、捜索支援方法及びプログラム記録媒体
JP6583688B2 (ja) 2016-05-27 2019-10-02 三井金属アクト株式会社 画像情報認証システム
US10477343B2 (en) * 2016-12-22 2019-11-12 Motorola Solutions, Inc. Device, method, and system for maintaining geofences associated with criminal organizations
US10410086B2 (en) * 2017-05-30 2019-09-10 Google Llc Systems and methods of person recognition in video streams
JP7151449B2 (ja) 2018-12-14 2022-10-12 トヨタ自動車株式会社 情報処理システム、プログラム、及び情報処理方法

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000128031A (ja) * 1998-08-21 2000-05-09 Sumitomo Electric Ind Ltd ドライブレコ―ダ、安全運転支援システムおよび盗難防止システム
US6690294B1 (en) * 2001-07-10 2004-02-10 William E. Zierden System and method for detecting and identifying traffic law violators and issuing citations
CN101071447A (zh) * 2006-03-06 2007-11-14 索尼株式会社 检索系统、摄像装置、数据保存装置及信息处理装置
EP1892149A1 (en) * 2006-08-24 2008-02-27 Harman Becker Automotive Systems GmbH Method for imaging the surrounding of a vehicle and system therefor
US20110063443A1 (en) * 2009-09-16 2011-03-17 National Kaohsiung University Of Applied Sciences Cruising surveillance system for auto detecting and tracing suspected invaders
US20140085477A1 (en) * 2011-05-24 2014-03-27 Nissan Motor Co., Ltd. Vehicle monitoring device and method of monitoring vehicle
CN102724482A (zh) * 2012-06-18 2012-10-10 西安电子科技大学 基于gps和gis的智能视觉传感网络运动目标接力跟踪系统
CN102968873A (zh) * 2012-11-29 2013-03-13 深圳市捷顺科技实业股份有限公司 一种停车场预警系统
CN106415694A (zh) * 2014-06-26 2017-02-15 Jvc 建伍株式会社 车载影像系统、影像传送系统、影像传送方法以及影像传送程序
CN105893931A (zh) * 2015-02-16 2016-08-24 松下知识产权经营株式会社 物体检测装置和物体检测方法
CN105291984A (zh) * 2015-11-13 2016-02-03 中国石油大学(华东) 一种基于多车协作的行人及车辆检测的方法及系统
CN106650603A (zh) * 2016-10-18 2017-05-10 北京小米移动软件有限公司 车辆周边监控方法、装置和车辆
US20180137372A1 (en) * 2016-11-11 2018-05-17 NextEv USA, Inc. Using Vehicle Sensor Data to Monitor Pedestrian Health
US20180232904A1 (en) * 2017-02-10 2018-08-16 Seecure Systems, Inc. Detection of Risky Objects in Image Frames
US20180316901A1 (en) * 2017-04-26 2018-11-01 Ford Global Technologies, Llc Event reconstruct through image reporting
WO2018204726A1 (en) * 2017-05-04 2018-11-08 Carnegie Mellon University State estimation and localization for rov-based structural inspection
CN107195018A (zh) * 2017-05-17 2017-09-22 金碧凡 一种前端大数据车载智能系统
CN107729562A (zh) * 2017-11-09 2018-02-23 成都钰月科技有限责任公司 人像自动识别的视频数据挖掘系统和方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
叶锋;廖茜;汪敏;林贵增;陈超意;林晖;: "基于视频分析和多传感器融合的移动式监控系统", 计算机系统应用 *
岳森等: "车辆多功能安全系统", 《硅谷》 *
薛宇城等: "基于EmguCV的网络摄像智能搜索系统的设计", 《常州工学院学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114999222A (zh) * 2021-03-02 2022-09-02 丰田自动车株式会社 异常举动通知装置、通知系统、通知方法以及记录介质
CN114999222B (zh) * 2021-03-02 2023-11-10 丰田自动车株式会社 异常举动通知装置、通知系统、通知方法以及记录介质

Also Published As

Publication number Publication date
JP7151449B2 (ja) 2022-10-12
JP2020095564A (ja) 2020-06-18
CN111325088B (zh) 2023-06-16
US20220067355A1 (en) 2022-03-03
US11170207B2 (en) 2021-11-09
US20240040352A1 (en) 2024-02-01
US20200193147A1 (en) 2020-06-18
US11818635B2 (en) 2023-11-14

Similar Documents

Publication Publication Date Title
US11587442B2 (en) System, program, and method for detecting information on a person from a video of an on-vehicle camera
US11818635B2 (en) Information processing system, program, and information processing method
JP6052062B2 (ja) 人物探索システム
JP6509361B2 (ja) 駐車支援装置及び駐車支援方法
US11453367B2 (en) Information processing system, program, and information processing method
US10643466B2 (en) Vehicle search system, vehicle search method, and vehicle used therefor
CN109383519B (zh) 信息处理方法、信息处理系统和记录介质
JP2017151148A (ja) 位置推定装置、位置検出方法及びプログラム
CN110795985A (zh) 信息处理方法及信息处理系统
JP2023060081A (ja) 処理装置
US11080536B2 (en) Image processing device, non-transitory readable recording medium storing program, information processing system, and control method of image processing device
JP2006085270A (ja) 画像分析システム及び画像分析方法
WO2020045092A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
CN111414790A (zh) 信息处理设备、信息处理系统、程序和信息处理方法
KR102084756B1 (ko) Slam 공간 지도의 완성도 판단 방법
US20230386165A1 (en) Information processing device, recording medium, and information processing method
JP7360854B2 (ja) プログラム、情報処理方法、及び情報処理装置
JP2020119305A (ja) 画像解析装置
JP2022066295A (ja) 撮像制御装置及び撮像システム
JP2019148555A (ja) 位置推定装置、位置推定方法及びプログラム
JP2019144919A (ja) 出力装置、出力方法及びプログラム
JPWO2020115888A1 (ja) 情報処理装置および情報処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant