CN110473406A - 搜索支援系统、搜索支援装置以及搜索支援方法 - Google Patents

搜索支援系统、搜索支援装置以及搜索支援方法 Download PDF

Info

Publication number
CN110473406A
CN110473406A CN201910381952.5A CN201910381952A CN110473406A CN 110473406 A CN110473406 A CN 110473406A CN 201910381952 A CN201910381952 A CN 201910381952A CN 110473406 A CN110473406 A CN 110473406A
Authority
CN
China
Prior art keywords
search
vehicle
region
information
characteristic information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910381952.5A
Other languages
English (en)
Other versions
CN110473406B (zh
Inventor
佐藤一马
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN110473406A publication Critical patent/CN110473406A/zh
Application granted granted Critical
Publication of CN110473406B publication Critical patent/CN110473406B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/787Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268Signal distribution or switching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Traffic Control Systems (AREA)
  • Alarm Systems (AREA)

Abstract

本发明公开搜索支援系统、搜索支援装置以及搜索支援方法。从车载摄影机的摄像图像进行搜索对象的搜索的搜索支援系统,具备:检测部,从多个固定摄影机摄像的摄像图像检测识别对象的特征信息;第1存储部,将检测到的识别对象的特征信息和与检测出的固定摄影机有关的信息对应地存储;第2存储部,存储搭载车载摄影机的车辆的位置信息;受理部,受理搜索对象的特征信息;决定部,根据对与搜索对象的特征信息一致的识别信息的特征信息进行了摄像的固定摄影机的设置位置决定搜索对象区域;发送部,向存在于搜索对象区域内的车辆发送利用车载摄影机的搜索对象的搜索指示;输出部,输出从摄像图像检测出搜索对象的特征信息的车载摄影机的摄像图像。

Description

搜索支援系统、搜索支援装置以及搜索支援方法
技术领域
本发明涉及从摄影机的摄像图像或者影像搜索搜索对象的搜索支援系统、搜索支援装置、以及搜索支援方法。
背景技术
近年来,公开了根据设置于预定的位置的固定摄影机、车载摄影机所摄像的摄像图像搜索搜索对象的系统。
现有技术文献
专利文献1:日本特开2010-039825号公报
专利文献2:日本特开2017-004527号公报
专利文献3:日本特开2015-114851号公报
发明内容
在所在地找不到搜索对象的情况下,例如,日本全国成为搜索对象范围。然而,搜索对象范围越广,调查的数据量越膨大,与其相伴地,与系统整体相关的处理负荷也膨大。另外,直至找到搜索对象的时间也变长的可能性高。
本发明的目的在于提供一种能够将宽范围作为搜索对象范围,提高基于车载摄影机所摄像的摄像图像或者影像的搜索效率的搜索支援系统、搜索支援装置、以及搜索支援方法。
本发明的一个方式是从多个车载摄影机的各个车载摄影机所摄像的摄像图像或者影像进行搜索对象的搜索的搜索支援系统。搜索支援系统具备:检测部,从分别设置于预定的位置的多个固定摄影机所摄像的摄像图像或者影像,检测识别对象的特征信息;第1存储部,将检测出的识别对象的特征信息和与对检测到识别对象的特征信息的摄像图像或者影像进行了摄像的固定摄影机有关的信息对应起来存储;第2存储部,存储搭载多个车载摄影机的各个车载摄影机的多个车辆的位置信息;受理部,受理搜索对象的特征信息;决定部,根据存储于第1存储部的、与对检测到与搜索对象的特征信息的至少一部分一致的识别对象的特征信息的摄像图像或者影像进行了摄像的固定摄影机有关的信息,决定搜索对象区域;发送部,向存在于搜索对象区域内的车辆,发送利用车载摄影机搜索搜索对象的搜索指示;以及输出部,输出从摄像图像或者影像检测出与搜索对象的特征信息的至少一部分一致的特征信息的车载摄影机的摄像图像或者影像。
根据本发明的一个方式,在搜索中使用的车载摄影机的摄像图像或者影像被限定于由在搜索对象区域内存在的车载摄影机摄像的摄像图像或者影像。由此,例如,即使在得不到搜索对象的特征信息以外的信息,搜索范围成为宽范围这样的情况下,也能够抑制成为搜索对象的摄像图像或者影像的量,能够降低系统整体中的处理负荷、或者缩短直至捕捉到搜索对象的时间,能够提高搜索效率。
另外,搜索对象区域是根据与对检测到与搜索对象的特征信息的至少一部分一致的识别对象的特征信息的摄像图像或者影像进行了摄像的固定摄影机有关的信息决定的。固定摄影机的画质相比于车载摄影机更好的情况较多,所以从固定摄影机检测的识别对象的特征信息的精度更高的情形较多。由此,能够提高在搜索对象区域内存在搜索对象的可能性,能够提高搜索精度。
另外,根据本发明的一个方式,即使在搜索对象的特征信息的信息量相比于从固定摄影机的摄像图像或者影像检测的识别对象的特征信息少的情况下,即使在一部分与从固定摄影机的摄像图像或者影像检测的识别对象的特征信息一致的情况下,也能够决定搜索对象区域。由此,即使在搜索对象的特征信息不可靠的情况下,也能够提高找出搜索对象的可能性。
另外,在本发明的一个方式中,也可以是,搜索对象以及识别对象是移动体或者人,多个固定摄影机的各个固定摄影机设置于多个区域各自的边界,检测部从设置于第1区域的第1固定摄影机所摄像的摄像图像或者影像,检测到识别对象向第1区域进入,第1存储部存储检测出的改识别对象的特征信息、作为与第1固定摄影机有关的信息的第1区域的识别信息、以及表示向第1区域进入的信息的对应,决定部在第1存储部中存储有搜索对象的特征信息的至少一部分一致的第1特征信息,并且,第1特征信息与表示向第1区域进入的信息对应的情况下,将对应有第1特征信息的第1区域决定为搜索对象区域。
多个固定摄影机的各个固定摄影机设置于多个区域各自的边界,从而能够降低被检测识别对象的特征信息的摄像图像或者影像的数据量。另外,通过在第1存储部中保持表示向第1区域进入的信息,在第1存储部中,搜索对象的特征信息的至少一部分一致的第1特征信息与表示向第1区域进入的信息对应的情况下,能够将有存在搜索对象的可能性的第1区域决定为搜索对象区域。由此,能够提高从搜索对象区域检测到搜索对象的可能性。
另外,在本发明的一个方式中,也可以是,第1存储部存储检测出的识别对象的特征信息、作为与第1固定摄影机有关的信息的第1区域的识别信息、表示检测出的识别对象向第1区域进入的信息、以及该识别对象向第1区域进入的进入时刻的对应,决定部在第1存储部中存储有搜索对象的特征信息的至少一部分一致的第1特征信息,并且,第1特征信息与表示向第1区域进入的信息对应,并且,从向第1区域进入的进入时刻起的经过时间小于预定的阈值的情况下,将对应有第1特征信息的第1区域决定为搜索对象区域,在第1存储部中存储有第1特征信息,并且,第1特征信息与表示向第1区域进入的信息对应,并且,从向第1区域进入的进入时刻起的经过时间是预定的阈值以上的情况下,将对应有第1特征信息的第1区域的周边的区域决定为搜索对象区域。
在从向第1区域进入的进入时刻起的经过时间小于预定的阈值的情况下,认为在该第1区域内存在搜索对象的可能性高。另一方面,在从向第1区域进入的进入时刻起的经过时间是预定的阈值以上的情况下,认为搜索对象从该第1区域退出的可能性变高。因此,在从向第1区域进入的进入时刻起的经过时间小于预定的阈值的情况下,将该第1区域决定为搜索对象区域,在从向第1区域进入的进入时刻起的经过时间是预定的阈值以上的情况下,将该第1区域的周边的区域作为搜索对象区域,从而能够提高从搜索对象区域内检测到搜索对象的可能性。
另外,例如,即使搜索对象移动到未设置固定摄影机的区域内,在从至少一部分的特征信息与搜索对象的特征信息一致的识别对象向与该区域邻接的第1区域进入的进入时刻起的经过时间是预定的阈值以上的情况下,该区域被决定为搜索对象区域。由此,即使在搜索对象移动到未设置固定摄影机的区域内的情况下,也能够提高能够检测到搜索对象的可能性。
另外,在本发明的一个方式中,也可以是,检测部从设置于第2区域的第2固定摄影机所摄像的摄像图像或者影像,检测出识别对象从第2区域退出,第1存储部存储检测出的识别对象的特征信息、作为与第2固定摄影机有关的信息的第2区域的识别信息、以及表示检测出的识别对象从第2区域退出的信息的对应,决定部在第1存储部中存储有搜索对象的特征信息的至少一部分一致的第1特征信息,并且,该第1特征信息与表示从第2区域退出的信息对应的情况下,将对应有该第1特征信息的第2区域的周边的区域决定为搜索对象区域。
另外,在该情况下,也可以是,第1存储部存储检测出的识别对象的特征信息、作为与第2固定摄影机有关的信息的第2区域的识别信息、第2固定摄影机的识别信息、以及表示检测出的识别对象从第2区域退出的信息的对应,决定部在第1存储部中存储有该第1特征信息,并且,第1特征信息与表示从第2区域退出的信息对应的情况下,将作为第2区域的周边的区域的、在该检测出的识别对象从第2固定摄影机的设置位置退出的方向上存在的区域,决定为搜索对象区域。
在表示至少一部分的特征信息与搜索对象的特征信息一致的第1识别对象从第2区域退出的信息存储于第1存储部的情况下,搜索对象在该第2区域的周边或在退出的方向上存在的区域内存在的可能性高。因此,在表示至少一部分的特征信息与搜索对象的特征信息一致的第1识别对象从第2区域退出的信息存储于第1存储部的情况下,关于搜索对象,将在该第2区域的周边或在退出的方向上存在的区域决定为搜索对象区域,从而能够提高从搜索对象区域内检测到搜索对象的可能性。
另外,在本发明的一个方式中,接收到来自发送部的搜索指示的车辆通过车车间通信发送搜索指示。由此,通过接收到搜索指示的车辆,进而向其他车辆展开搜索指示,搜索指示的展开速度提高。
本发明的另一方式提供一种搜索支援装置,具备:第1存储部,存储从分别设置于预定的位置的多个固定摄影机所摄像的摄像图像或者影像检测出的识别对象的特征信息和与对检测到识别对象的特征信息的摄像图像或者影像进行了摄像的固定摄影机有关的信息;第2存储部,存储搭载车载摄影机的多个车辆的位置信息;接收部,接收搜索对象的特征信息;决定部,根据存储于第1存储部的、与对检测到与搜索对象的特征信息的至少一部分一致的识别对象的特征信息的摄像图像或者影像进行了摄像的固定摄影机有关的信息,决定搜索对象区域;以及发送部,向存在于搜索对象区域内的车辆,发送车载摄影机所摄像的摄像图像或者影像的发送指示。
本发明的另一方式是从多个车载摄影机的各个车载摄影机所摄像的摄像图像或者影像进行搜索对象的搜索的搜索支援方法。在搜索支援方法中,从分别设置于预定的位置的多个固定摄影机所摄像的摄像图像或者影像,检测识别对象的特征信息,将检测出的识别对象的特征信息和与对检测到识别对象的特征信息的摄像图像或者影像进行了摄像的固定摄影机有关的信息对应起来存储到第1存储部,将搭载多个车载摄影机的各个车载摄影机的多个车辆的位置信息存储到第2存储部,受理搜索对象的特征信息,根据存储于第1存储部的、与对检测到与搜索对象的特征信息的至少一部分一致的识别对象的特征信息的摄像图像或者影像进行了摄像的固定摄影机有关的信息,决定搜索对象区域,向存在于搜索对象区域内的车辆,发送利用车载摄影机搜索搜索对象的搜索指示,输出从摄像图像或者影像检测出与搜索对象的特征信息的至少一部分一致的特征信息的车载摄影机的摄像图像或者影像。此外,以上的关于搜索支援系统公开的技术上的思想在不产生技术上的矛盾的范围内还能够应用于上述搜索支援装置以及搜索支援方法。
根据本发明,在将宽范围作为搜索对象范围的搜索中,能够将宽范围作为搜索对象范围,提高基于车载摄影机所摄像的摄像图像或者影像进行搜索的效率。
附图说明
图1是示出第1实施方式所涉及的搜索支援系统的系统结构的一个例子的图。
图2是示出边缘服务器的硬件结构的一个例子的图。
图3是示出边缘服务器的功能结构的一个例子的图。
图4是区域进入退出信息表格的一个例子。
图5是固定摄影机管理信息表格的一个例子。
图6是车辆管理信息表格的一个例子。
图7是示出中心服务器的功能结构的一个例子的图。
图8是车辆检测信息表格的一个例子。
图9是示出固定摄影机的硬件结构的一个例子的图。
图10是示出固定摄影机的功能结构的一个例子的图。
图11是示出专用车载器搭载车辆的硬件结构的一个例子的图。
图12是示出专用车载器搭载车辆的功能结构的一个例子的图。
图13是边缘服务器中的进入和退出监视处理的流程图的一个例子。
图14是中心服务器中的车辆检测管理处理的流程图的一个例子。
图15是中心服务器中的搜索委托展开处理的流程图的一个例子。
图16是边缘服务器中的搜索对象区域决定处理的流程图的一个例子。
图17是边缘服务器中的搜索指令展开处理的流程图的一个例子。
图18是中心服务器中的搜索结束展开处理的流程图的一个例子。
图19是边缘服务器中的搜索结束展开处理的流程图的一个例子。
图20是专用车载器搭载车辆中的搜索处理的流程图的一个例子。
(符号说明)
1:搜索支援系统;10:中心服务器;15:通信部;20:边缘服务器;22:存储器;23:接口;24:外部存储装置;25:基站;26:通信部;30:固定摄影机;32:存储器;33:接口;34:外部存储装置;35:通信部;36:摄影机;40:专用车载器搭载车辆;42:存储器;43:接口;44:外部存储装置;45:通信部;46:车载摄影机;47:位置信息传感器;50:专用车载器非搭载车辆;100:中心服务器;101:固定摄影机信息取得部;102:车辆检测信息存储部;103:搜索委托输入部;104:搜索委托展开部;105:搜索结果接收部;106:搜索结果输出部;201:固定摄影机通信部;202:中心服务器发送部;203:固定摄影机监视信息存储部;204:地图信息存储部;205:搜索委托接收部;206:搜索对象区域决定部;207:搜索指令展开部;208:位置信息取得部;209:车辆信息存储部;301:摄像图像取得部;302:特征检测部;303:进入退出判定部;304:发送部;401:搜索指令接收部;402:摄像图像取得部;403:特征检测部;404:搜索控制部;405:位置信息取得部。
具体实施方式
以下,根据附图,说明本发明的实施方式。以下的实施方式的结构是例示,本发明不限定于实施方式的结构。
<第1实施方式>
图1是示出第1实施方式所涉及的搜索支援系统的系统结构的一个例子的图。搜索支援系统1是支援从搭载于车辆的车载摄影机所摄像的摄像图像或者影像搜索搜索对象车辆的系统。搜索支援系统1是“搜索支援系统”的一个例子。
搜索支援系统1包括中心服务器10、多个边缘服务器20、多个固定摄影机30、多个车辆40。在图1中,还示出车辆50。中心服务器10管理多个边缘服务器20。
边缘服务器20分别与基站25建立关联,管理所关联的基站25下属的车辆40。边缘服务器20所关联的基站25既可以是1台也可以是多台。但是,在第1实施方式中,设想边缘服务器20与多台基站25建立关联。基站25下属的车辆40是指,位于基站25的通信范围内并经由该基站25与网络连接并进行通信的车辆40。
基站25例如是便携电话基站。但是,不限于此,基站25也可以是无线LAN(LocalArea Network,局域网)的接入点、WiMAX(Worldwide Interoperability for MicrowaveAccess,全球微波接入互操作性)的基站。基站25与车辆40依照预定的无线通信方式进行通信。
固定摄影机30是以能够对能够向边缘服务器20管理的管理区域进入和退出的道路进行摄像的方式设置的摄影机。即,固定摄影机30是设置于管理区域的边界附近的摄影机。在第1实施方式中,设置于能够向边缘服务器20管理的管理区域进入和退出的全部道路的路侧的摄影机被用作固定摄影机30。但是,不限于此,也可以是设置于能够向边缘服务器20管理的管理区域进入和退出的道路中的一部分的道路的路侧的摄影机被用作固定摄影机30。固定摄影机30是“固定摄影机”的一个例子。
边缘服务器20管理的管理区域和基站25的可通信范围既可以相同也可以不同。在第1实施方式中,设为管理区域和基站25的可通信范围是相同的区域,以后,将管理区域简称为区域。即,在第1实施方式中,边缘服务器20与多个基站25建立关联,所以边缘服务器20管理多个管理区域。
关于固定摄影机30的视角,在第1实施方式中,设想被固定为一个方向。但是,不限于此,固定摄影机30的视角也可以自动或者手动地变更。固定摄影机30也可以是搜索支援系统1固有的摄影机,例如,也可以是设置于店铺的监视摄影机、公共的车牌号码自动读取装置(所谓N系统的摄影机)。固定摄影机30具备与边缘服务器20的通信功能。固定摄影机30既可以通过无线通信与边缘服务器20进行通信,也可以通过有线通信与边缘服务器20进行通信。
固定摄影机30通过图像处理解析摄像图像或者影像,检测作为与车辆的外观上的特征有关的信息的车辆特征信息。车辆特征信息例如是记载于车牌的车辆识别编号、车型、车辆的颜色等信息中的一部分或者全部。在第1实施方式中,作为车辆特征信息,使用记载于车牌的车辆识别编号。固定摄影机30根据检测到的车辆特征信息,检测向设置有自身的管理区域的车辆的进入和退出。固定摄影机30将向管理区域的车辆的进入和退出的检测结果发送到边缘服务器20。以下,将记载于车辆的车牌的车辆识别编号简称为号码。将管理区域简称为区域。固定摄影机30是“搜索支援系统”的“检测部”的一个例子。车辆是“搜索对象”、“识别对象”的一个例子。车辆特征信息是“特征信息”的一个例子。
车辆40是能够与边缘服务器20经由与该边缘服务器20对应的基站25进行无线通信并且搭载有能够执行后述功能的车载器和摄影机的车辆。以下,将搭载于车辆的摄影机称为车载摄影机。车辆40接受来自边缘服务器20的指示,开始通过图像处理从车载摄影机所摄像的摄像图像或者影像检测车辆特征信息的处理。车辆40在辨识到与搜索对象车辆的车辆特征信息一致的车辆特征信息的情况下,将摄像图像或者影像发送到中心服务器10。以下,将搭载于车辆40的车载器称为专用车载器。另外,还有时将车辆40称为专用车载器搭载车辆。
车辆50是搭载有不具有与边缘服务器20的通信功能的车载器和车载摄影机的车辆。车辆50搭载有不具有与边缘服务器20的通信功能但具有与车辆40的车车间通信的功能的车载器。车载器是否具有与边缘服务器20的通信功能例如依赖于车载器的种类、车载器或者车辆的制造公司、车辆的所有用户的服务加入状况等。
车辆50从车辆40通过车车间通信接受指示,进行与车辆40同样的处理。以下,将车辆50还称为专用车载器非搭载车辆。此外,车辆40以及车辆50既可以是由驾驶员驾驶的车辆,也可以是无驾驶员而可自主行驶的车辆。
在第1实施方式中,在搜索支援系统1中,大致上进行车辆检测状态的监视处理和车辆搜索处理。具体而言,在车辆检测状态的监视处理中,如以下所述进行。
边缘服务器20关于下属的各管理区域,监视车辆的进入和退出。更具体而言,边缘服务器20从下属的固定摄影机30接收向下属的各管理区域的车辆的进入和退出的检测结果,保持下属的各管理区域的车辆的进入和退出记录。另外,边缘服务器20在检测到向下属的各管理区域的车辆的进入和退出时,对中心服务器10通知进入或者退出的车辆的车辆特征信息。中心服务器10接受来自各边缘服务器20的通知,将车辆特征信息和边缘服务器20对应起来保持。即,中心服务器10监视有存在于边缘服务器20的下属的管理区域的可能性的车辆的车辆特征信息。
接下来,在搜索支援系统1中,如以下所述进行车辆搜索处理。中心服务器10从搜索者受理车辆的搜索委托的输入。与搜索委托一起,还受理搜索对象车辆的车辆特征信息的输入。搜索委托从中心服务器10向边缘服务器20、从边缘服务器20向车辆40、从车辆40向车辆50展开。首先,中心服务器10用搜索对象车辆的车辆特征信息,检索保持的车辆特征信息和边缘服务器20的对应,向与和搜索对象车辆的车辆特征信息一致的车辆特征信息对应的边缘服务器20发送搜索委托。接收到搜索委托的边缘服务器20根据搜索对象车辆的进入和退出记录,决定搜索对象区域,向搜索对象区域内的车辆40发送搜索委托。车辆40在接受到搜索委托时,用车车间通信向在周围存在的车辆50发送搜索委托。
车辆40以及车辆50在接受到搜索委托时,开始根据车载摄影机的摄像图像或者影像辨识车辆特征信息的辨识处理。车辆40以及车辆50例如在检测到搜索对象车辆的车辆特征信息时,将车载摄影机的摄像图像或者影像发送到中心服务器10。中心服务器10将来自车辆40或者车辆50的车载摄影机的摄像图像或者影像例如输出到显示器、被输入搜索委托的信息终端。
在第1实施方式中,监视边缘服务器20的管理区域的车辆的进入和退出,在发生车辆的搜索委托时,根据各管理区域的车辆的进入和退出的记录,缩减搜索对象区域,从而成为搜索对象的图像数据的数据量被抑制,搜索效率提高。另外,固定摄影机所摄像的图像的画质相比于车载摄影机更好的情形较多,因此,通过使用固定摄影机的摄像图像,搜索对象区域的缩减的精度提高,与其相伴地,搜索精度提高。边缘服务器20是“搜索支援装置”的一个例子。
<装置结构>
图2是示出边缘服务器20的硬件结构的一个例子的图。在边缘服务器20中,作为硬件构成要素,具有CPU 21、存储器22、接口23、外部存储装置24、以及通信部26。对接口23连接外部存储装置24、通信部26。
CPU 21执行在存储器22中可执行地展开的计算机程序,执行作为边缘服务器20的处理。存储器22保存CPU 21执行的计算机程序、CPU 21处理的数据等。存储器22例如是动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)等。外部存储装置24是非易失性的存储装置,例如是硬盘驱动器、固态硬盘(SSD)等。
通信部26例如经由LAN与公共通信线路网连接,经由公共通信线路网,与网络上的中心服务器10、车辆40等进行通信。在图2中,例示了接口23,但CPU 21与外部存储装置24以及通信部26之间的信号的交换并不限定于接口23。即,CPU 21也可以具有接口23以外的多个信号交换路径。另外,在图2中,边缘服务器20具有单一的CPU 21。但是,CPU并不限定于单一的处理器,也可以是多处理器结构。另外,也可以用单一的插座连接的单一的CPU具有多芯结构。上述各部的至少一部分的处理也可以由CPU以外的处理器、例如数字信号处理器(DSP)、图形处理单元(GPU)等专用处理器进行。另外,上述各部的至少一部分的处理也可以是集成电路(IC)、其他数字电路。另外,也可以在上述各部的至少一部分中包括模拟电路。
图3是示出边缘服务器20的功能结构的一个例子的图。边缘服务器20通过存储器22上的计算机程序,作为图3例示的各部动作。即,在边缘服务器20中,作为功能构成要素,具备固定摄影机通信部201、中心服务器发送部202、固定摄影机监视信息存储部203、地图信息存储部204、搜索委托接收部205、搜索对象区域决定部206、搜索指令展开部207、位置信息取得部208、车辆信息存储部209。
固定摄影机通信部201是与下属的固定摄影机30的接口。固定摄影机通信部201例如从固定摄影机30接收区域进入退出信息。区域进入退出信息是固定摄影机30检测出的、与车辆向区域的进入和退出有关的信息。具体而言,在区域进入退出信息中,例如包括检测出的车辆特征信息、检测到的车辆进入或者退出的区域的识别信息、表示进入或者退出的信息、时间戳。固定摄影机通信部201将区域进入退出信息保存到固定摄影机监视信息存储部203。
另外,固定摄影机通信部201例如制作包括区域进入退出信息中包含的车辆特征信息和边缘服务器20自身的识别信息的车辆检测信息,并输出到中心服务器发送部202。
中心服务器发送部202是与中心服务器10的接口。中心服务器发送部202从固定摄影机通信部201接受车辆检测信息的输入,将该车辆检测信息发送到中心服务器10。
固定摄影机监视信息存储部203例如在边缘服务器20的外部存储装置24内制作。在固定摄影机监视信息存储部203中,例如保存有区域进入退出信息表格。区域进入退出信息表格的详细内容后述。固定摄影机监视信息存储部203是“搜索支援系统”或者“搜索支援装置”的“第1存储部”的一个例子。
地图信息存储部204例如在边缘服务器20的外部存储装置24内制作。在地图信息存储部204中,例如包括与搜索支援系统1内的各区域有关的区域管理信息和与边缘服务器20下属的固定摄影机30有关的固定摄影机管理信息。
在区域管理信息中,例如包括表示各区域的配置的地图信息和与管理该区域的边缘服务器20有关的信息。在与管理区域的边缘服务器20有关的信息中,例如包括在与该边缘服务器20的通信中使用的该边缘服务器20的识别信息等。此外,区域管理信息不限定于关于搜索支援系统1内的全部区域保持,例如,也可以关于在本边缘服务器20的周边存在的一部分区域保持。
在固定摄影机管理信息中,例如包括设置有固定摄影机30的区域的识别信息、固定摄影机30的识别信息、以及固定摄影机的所在地。
搜索委托接收部205从中心服务器10或者其他边缘服务器20接收搜索委托、搜索结束通知。与搜索委托一起,还接收表示搜索对象车辆的外观的特征的车辆特征信息。另外,从其他边缘服务器20,与搜索委托一起还接收搜索对象区域信息。在从其他边缘服务器20接收的搜索对象区域信息中,例如包括由该其他边缘服务器20决定的搜索对象区域中的、本边缘服务器20下属的区域的识别信息。搜索委托接收部205例如将从中心服务器10接收到的搜索委托等、搜索结束通知输出到搜索对象区域决定部206。搜索委托接收部205例如将从其他边缘服务器20接收到的搜索委托等输出到搜索指令展开部207。搜索委托接收部205是“搜索支援装置”的“接收部”的一个例子。
搜索对象区域决定部206从搜索委托接收部205接受搜索委托的输入,根据存储于固定摄影机监视信息存储部203以及地图信息存储部204的信息,决定搜索对象区域。关于搜索对象区域的决定处理的详细内容后述。搜索对象区域决定部206制作与决定的搜索对象区域有关的搜索对象区域信息,并输出到搜索指令展开部207。在由搜索对象区域决定部206制作的搜索对象区域信息中,例如包括由搜索对象区域决定部206决定为搜索区域的区域的识别信息。搜索对象区域决定部206是“搜索支援系统”或者“搜索支援装置”的“决定部”的一个例子。
搜索指令展开部207从搜索对象区域决定部206和搜索委托接收部205接受搜索对象区域信息的输入。搜索指令展开部207参照后述车辆信息存储部209,抽出在搜索对象区域内存在的车辆40,向抽出的车辆40发送搜索指令。与搜索指令一起还发送搜索对象车辆的车辆特征信息。另外,搜索指令展开部207在从搜索对象区域决定部206输入的搜索对象区域信息中包括其他边缘服务器20下属的区域的情况下,针对该其他边缘服务器20发送搜索委托。该其他边缘服务器20与搜索委托一起还发送包括搜索对象车辆的车辆特征信息和由搜索对象区域决定部206决定的搜索对象区域中的该其他边缘服务器20下属的区域的识别信息的搜索对象区域信息。
另外,搜索指令展开部207从搜索委托接收部205接受搜索结束通知的输入。搜索指令展开部207将输入的搜索结束通知发送到作为搜索委托的发送目的地的其他边缘服务器20、在搜索对象区域内存在的车辆40。搜索指令展开部207是“搜索支援系统”或者“搜索支援装置”的“发送部”的一个例子。
位置信息取得部208从在下属的区域内存在的各车辆40以预定的周期接收位置信息。位置信息取得部208将接收到的车辆40的位置信息保存到车辆信息存储部209。
车辆信息存储部209例如在边缘服务器20的外部存储装置24内制作。车辆信息存储部209存储与位于边缘服务器20下属的车辆40有关的车辆管理信息。在车辆管理信息中,例如包括车辆40的识别信息和车辆40的位置信息。车辆信息存储部209是“第2存储部”的一个例子。
图4是区域进入退出信息表格的一个例子。区域进入退出信息表格保持于边缘服务器20的固定摄影机监视信息存储部203。在区域进入退出信息表格中,保存有从下属的固定摄影机30接收的区域进入退出信息。具体而言,在区域进入退出信息表格中,包括区域ID、时间戳、车辆特征信息、固定摄影机ID、进入退出的字段。
在区域ID字段中,输入由固定摄影机30检测出车辆的进入和退出的区域的识别信息。在时间戳字段中,输入检测到车辆针对区域的进入和退出的时刻。具体而言,输入到时间戳字段的时刻是对固定摄影机30的摄像图像或者影像赋予的时间戳,包含于区域进入退出信息。在车辆特征信息字段中,输入检测到的车辆特征信息。此外,在第1实施方式中,设为由固定摄影机30从摄像图像或者影像检测并采用的车辆特征信息是被用作车辆特征信息的信息的完整的信息。例如,在车辆特征信息是记载于车牌的号码的情况下,由固定摄影机30从摄像图像或者影像检测并采用的车辆特征信息是记载于车牌的全部信息。但是,不限于此,根据实施方式,由固定摄影机30从摄像图像或者影像检测的车辆特征信息也可以是不完整的信息。
对固定摄影机ID字段输入对检测到车辆向区域的进入和退出的摄像图像或者影像进行了摄像的固定摄影机30的识别信息。在进入退出字段中,包括表示车辆向区域进入或者从区域退出的信息。例如,在进入退出字段中,既可以输入“进入”或者“退出”中的某一个,也可以输入标志。
例如,在从固定摄影机30接收到区域进入退出信息时,新制作区域进入退出信息表格的条目。关于区域进入退出信息表格,例如也可以以预定的周期将刷新或者保存的信息移交到其他装置。或者,例如,在有从固定摄影机30接收到的区域进入退出信息中包含的车辆特征信息与车辆特征信息字段的值一致的条目的情况下,该条目被删除或者被接收到的区域进入退出信息覆盖。此外,例如,由边缘服务器20的固定摄影机通信部201进行如上述的区域进入退出信息表格的管理。此外,区域进入退出信息表格的数据构造不限定于图4所示的数据构造。
图5是固定摄影机管理信息表格的一个例子。固定摄影机管理信息表格保持于边缘服务器20的地图信息存储部204。固定摄影机管理信息表格保存设置于边缘服务器20下属的各区域的固定摄影机30的固定摄影机管理信息。在固定摄影机管理信息表格中,例如包括区域ID、固定摄影机ID、所在地的字段。
在区域ID字段中,输入边缘服务器20下属的区域的识别信息。在固定摄影机ID字段中,输入设置于该区域的固定摄影机30的识别信息。在所在地字段中,输入该固定摄影机30的设置位置的位置信息。
例如,由搜索支援系统1的管理者预先设定固定摄影机管理信息表格。另外,在发生固定摄影机30追加、删除、变更等时,例如由搜索支援系统1的管理者预先更新固定摄影机管理信息表格。
图6是车辆管理信息表格的一个例子。车辆管理信息表格例如保持于边缘服务器20的车辆信息存储部209。车辆管理信息表格例如保存在边缘服务器20下属的区域内存在的车辆40的车辆管理信息。在车辆管理信息表格中,例如包括车辆ID、位置信息、时间戳的字段。
在车辆ID字段中,输入车辆40的识别信息。也可以使用车辆40的号码作为车辆40的识别信息。在位置信息字段中,输入从车辆40接收的车辆40的位置信息。车辆40的位置信息例如也可以是纬度以及经度、住址等中的任意。
在时间戳字段中,例如输入边缘服务器20从车辆40接收到位置信息的时刻。但是,不限于此,在时间戳字段中,例如在从车辆40与位置信息一起发送了车辆40取得位置信息的时刻的情况下,也可以输入车辆40取得位置信息的时刻。
车辆40例如以预定的周期将位置信息发送到边缘服务器20。关于车辆管理信息表格,每当从车辆40接收到位置信息时,车辆ID字段的值一致的条目被更新。另外,例如,在车辆40从边缘服务器20下属的区域向其他边缘服务器20下属的区域移动的情况下,来自该车辆40的位置信息不到达原来的边缘服务器20。因此,在即使从车辆管理信息表格的时间戳字段表示的时刻经过预定时间,位置信息也不被更新的情况下,该条目被删除。
图7是示出中心服务器10的功能结构的一个例子的图。此外,中心服务器10的硬件结构与边缘服务器20相同,具备CPU、存储器、外部存储装置、通信部,所以图示被省略。中心服务器10通过存储器上的计算机程序,作为图7例示的各部动作。即,在中心服务器10中,作为功能构成要素,具备固定摄影机信息取得部101、车辆检测信息存储部102、搜索委托输入部103、搜索委托展开部104、搜索结果接收部105、搜索结果输出部106。
固定摄影机信息取得部101从各边缘服务器20接收车辆检测信息。在车辆检测信息中,例如包括从固定摄影机30所摄像的摄像图像或者影像检测出的车辆特征信息和在下属具有该固定摄影机30的边缘服务器20的识别信息。固定摄影机信息取得部101将接收到的车辆检测信息登记到车辆检测信息存储部102。此时,例如,固定摄影机信息取得部101删除车辆特征信息与包含于接收到的车辆检测信息的车辆特征信息一致的车辆检测信息存储部102中保存的记录。
车辆检测信息存储部102例如在中心服务器10的外部存储装置内制作。在车辆检测信息存储部102中,保存有从各边缘服务器20接收到的车辆检测信息。车辆检测信息例如包括从固定摄影机30的摄像图像或者影像检测出的车辆特征信息和在下属具有检测到的区域的边缘服务器20的对应。详细内容后述。
搜索委托输入部103接受来自搜索者的搜索委托的输入。来自搜索者的搜索委托例如既可以从与中心服务器10连接的输入装置(键盘等)直接输入,也可以经由网络输入。与搜索委托一起还输入搜索对象车辆的车辆特征信息。从搜索者输入的搜索对象车辆的车辆特征信息也可以不是完整的信息。例如,在使用记载于车牌的号码作为车辆特征信息的情况下,也可以输入搜索对象车辆的号码的一部分。搜索委托输入部103将输入的搜索委托和搜索对象车辆的车辆特征信息输出到搜索委托展开部104。搜索委托输入部103是“搜索支援系统”的“受理部”的一个例子。
搜索委托展开部104从搜索委托输入部103接受搜索委托和搜索对象车辆的车辆特征信息的输入。搜索委托展开部104判定搜索对象车辆的车辆特征信息是否记录于车辆检测信息存储部102。在与搜索对象车辆的车辆特征信息一致的车辆特征信息记录于车辆检测信息存储部102的情况下,搜索委托展开部104向在车辆检测信息存储部102中与搜索对象车辆的车辆特征信息对应的边缘服务器20发送搜索委托。与搜索委托一起还发送搜索对象车辆的车辆特征信息。
搜索结果接收部105从由车载摄影机的摄像图像或者影像检测到搜索对象车辆的车辆特征信息的车辆40或者车辆50,接收车载摄影机的摄像图像或者影像作为搜索结果。由搜索结果接收部105接收到的车载摄影机的摄像图像或者影像例如从搜索结果输出部106被输出给搜索者。对搜索者,例如输出到与中心服务器10连接的显示器等输出装置、经由网络的终端。搜索结果输出部106是“搜索支援系统”的“输出部”的一个例子。
图8是车辆检测信息表格的一个例子。车辆检测信息表格保持于中心服务器10的车辆检测信息存储部102。车辆检测信息表格保存从边缘服务器20接收到的车辆检测信息。车辆检测信息表格包括车辆特征信息、边缘服务器ID、时间戳的字段。
在车辆特征信息字段中,输入从固定摄影机30的摄像图像或者影像检测出的车辆特征信息。在边缘服务器ID字段中,输入包含于车辆检测信息的边缘服务器20,即在下属具有检测到车辆特征信息的区域的边缘服务器20的识别信息。
在时间戳字段中,例如输入中心服务器10从边缘服务器20接收到车辆检测信息的时刻。但是,不限于此,在时间戳字段中,例如,在来自边缘服务器20的车辆检测信息中包括在来自固定摄影机30的区域进入退出信息中包含的时间戳(检测到车辆特征信息的摄像图像或者影像被摄影的时刻)的情况下,也可以输入该时间戳。
在第1实施方式中,作为从固定摄影机30检测的车辆特征信息,设想记载于车牌的全部信息。记载于车牌信息的信息是对各车辆唯一地分配的信息。因此,在第1实施方式中,在车辆检测信息表格中,在新接收到车辆检测信息时,与包含于接收到的车辆检测信息的车辆特征信息重复的条目无论车辆向区域进入或者退出都被删除。另外,将新接收到的车辆检测信息作为新的条目追加到车辆检测信息表格。即,在第1实施方式中,中心服务器10关于从固定摄影机30的摄像图像或者影像检测出向区域进入或者退出的各车辆,保持与向区域进入以及退出有关的信息中的最新的信息。由此,中心服务器10具有成为用于确定搜索对象车辆存在的区域的线索的信息。
图9是示出固定摄影机30的硬件结构的一个例子的图。固定摄影机30具有CPU 31、存储器32、接口33、外部存储装置34、通信部35、以及摄影机36。CPU 31、存储器32、接口33、外部存储装置34、以及通信部35的结构以及作用与图2的CPU 21、存储器22、接口23、外部存储装置24、通信部26相同。通信部35例如既可以经由LAN与公共通信线路网连接,也可以用无线LAN等无线通信经由基站25与公共通信线路网连接。
摄影机36例如以预定的周期进行摄像,向帧缓冲器(未图示)写入图像。摄影机36的摄像速率例如是15fps~60fps。摄影机36的视角既可以固定,也可以在预定的范围内可动。此外,图9所示的固定摄影机30的硬件结构是一个例子,不限定于此。
图10是示出固定摄影机30的功能结构的一个例子的图。固定摄影机30通过存储器上的计算机程序,作为图10例示的各部动作。即,在固定摄影机30中,作为功能构成要素,具备摄像图像取得部301、特征检测部302、进入退出判定部303、发送部304。
摄像图像取得部301读出并取得由摄影机36摄像并写入到帧缓冲器等的图像。由摄像图像取得部301取得的摄像图像被输出到特征检测部302。另外,摄像图像取得部301将取得图像的时刻取得为时间戳。
特征检测部302从摄像图像取得部301接受摄影机36的摄像图像的输入。特征检测部302用预定的图像处理方法解析输入的图像,从图像检测车辆特征信息。在第1实施方式中,特征检测部302抽出记载于车牌的全部信息作为车辆特征信息。特征检测部302执行的图像解析方法不限定于特定的方法,可以使用任意的方法。特征检测部302在从图像检测到车辆特征信息的情况下,将该图像输出到进入退出判定部303。特征检测部302是“搜索支援系统”的“检测部”的一个例子。
进入退出判定部303从特征检测部302接受检测到车辆特征信息的图像的输入。进入退出判定部303解析输入的图像,判定与检测到的车辆特征信息对应的车辆是进入还是退出。关于该判定,例如,由于固定摄影机30的摄像范围被固定于能够向区域进入和退出的道路,所以通过该车辆所处的行车道、该车辆被摄像的面(例如表面还是背面等)等来判定。
例如,在固定摄影机30从设置区域朝向外侧设置的情况下,在从摄像图像检测出的车辆位于右行车道(日本的情况)或者是表(前)面的情况下,判定为该车辆向该设置区域进入。例如,在固定摄影机30从设置区域朝向外侧设置的情况下,在从摄像图像检测出的车辆位于左行车道(日本的情况)或者是背面的情况下,判定为该车辆从该设置区域退出。
进入退出判定部303将从摄影机36的摄像图像检测出的车辆特征信息和表示进入或者退出的信息输出到发送部304。发送部304制作包括从由进入退出判定部303输入的摄影机36的摄像图像检测出的车辆特征信息及表示进入或者退出的信息、固定摄影机30的识别信息、以及时间戳的区域进入退出信息,并发送到边缘服务器20。进入退出判定部303是“搜索支援系统”的“检测部”的一个例子。
摄像图像取得部301、特征检测部302例如以摄影机36的摄像速率进行处理。此外,摄影机36对图像进行摄像还是对影像进行摄像在第1实施方式中取决于摄像速率的差异,摄像图像取得部301、特征检测部302、进入退出判定部303进行的处理没有差异,所以在图9以及图10中,设为摄像图像而进行说明。
图11是示出专用车载器搭载车辆40的硬件结构的一个例子的图。在图11中,抽出并显示车辆40的硬件结构中的与搜索支援有关的结构。在车辆40中,作为硬件构成要素,具备车载器40A和车载摄影机46、位置信息传感器47。
车载器40A具备CPU 41、存储器42、接口43、外部存储装置44、通信部45。对接口43连接外部存储装置44和通信部45。CPU 41、存储器42、接口43、外部存储装置44的结构以及作用与图2的CPU 21、存储器22、接口23、外部存储装置24相同。
通信部45例如是用于经由基站25与边缘服务器20、中心服务器10进行通信的通信部。通信部15用依照预定的无线通信标准的无线信号以及无线通信方式进行无线通信。
车载摄影机46以预定的摄像速率进行摄像,将摄像图像写出到帧缓冲器。车载摄影机46例如将车辆40的行进方向设置为摄像方向。另外,例如,车载摄影机46也可以在水平方向上以预定的角度改变镜头。
位置信息传感器47以预定的周期取得车辆40的位置信息。位置信息传感器47例如是全球定位系统(GPS)接收部。此外,车辆50的硬件结构也与图11所示的车辆40的硬件结构大致相同。
图12是示出专用车载器搭载车辆40的功能结构的一个例子的图。车辆40通过存储器上的计算机程序,作为图12例示的各部动作。即,在车辆40中,作为功能构成要素,具备搜索指令接收部401、摄像图像取得部402、特征检测部403、搜索控制部404、位置信息取得部405。
搜索指令接收部401从边缘服务器20接收搜索指令。与搜索指令一起还接收搜索对象车辆的车辆特征信息。搜索指令接收部401在接收到搜索指令时,启动摄像图像取得部402、特征检测部403、搜索控制部404。
另外,搜索指令接收部401从边缘服务器20接收搜索结束通知。搜索指令接收部401在接收到搜索结束通知时,针对摄像图像取得部402、特征检测部403、搜索控制部404输出停止指示。
摄像图像取得部402读出并取得由车载摄影机46摄像并写入到帧缓冲器等的图像。由摄像图像取得部402取得的摄像图像被输出到特征检测部403。
特征检测部403从摄像图像取得部402接受车载摄影机46的摄像图像的输入。特征检测部403解析输入的图像,检测车辆特征信息。在第1实施方式中,特征检测部403从图像检测车辆的号码。特征检测部403执行的图像解析方法不限定于特定的方法,可以使用任意的方法。特征检测部403在从图像检测到车辆特征信息的情况下,将检测到的车辆特征信息输出到搜索控制部404。
搜索控制部404从特征检测部403接受从车载摄影机46的摄像图像检测出的车辆特征信息的输入。搜索控制部404判定输入的车辆特征信息是否与搜索对象车辆的车辆特征信息一致。搜索控制部404在输入的车辆特征信息与搜索对象车辆的车辆特征信息一致的情况下,将车载摄影机46的摄像图像与由后述位置信息取得部405取得的位置信息一起发送到中心服务器10。
位置信息取得部405例如以预定的周期取得由位置信息传感器47取得的车辆40的位置信息,并发送到中心服务器10。车辆40的位置信息例如可以是纬度以及经度、住址等中的任意。另外,位置信息取得部405将取得的车辆40的位置信息保存到存储器,例如,搜索控制部404等其他处理部也能够利用车辆40的位置信息。
摄像图像取得部402、特征检测部403、搜索控制部404例如以车载摄影机46的摄像速率进行处理。此外,车载摄影机46对图像进行摄像还是对影像进行摄像在第1实施方式中取决于摄像速率的差异,摄像图像取得部402、特征检测部403、搜索控制部404进行的处理没有差异,所以在图11以及图12中,设为摄像图像而进行说明。
<处理的流程>
图13是边缘服务器20中的进入和退出监视处理的流程图的一个例子。进入和退出监视处理是监视下属的区域的车辆的进入和退出的处理,是搜索支援系统1中的车辆检测状态的监视处理之一。图13所示的处理例如以预定的周期反复执行。此外,图13所示的处理的执行主体是边缘服务器20的CPU 21,但为方便起见,以功能构成要素为主体进行说明。关于以下的流程图也同样地,CPU是执行主体,但以功能构成要素为主体进行说明。
在OP101中,固定摄影机通信部201判定是否从固定摄影机30接收到区域进入退出信息。在从固定摄影机30接收到区域进入退出信息的情况下(OP101:“是”),处理进入到OP102。在从固定摄影机30未接收到区域进入退出信息的情况下(OP101:“否”),图13所示的处理结束。
在OP102中,固定摄影机通信部201将接收到的区域进入退出信息登记到区域进入退出信息表格。在OP103中,固定摄影机通信部201制作包括包含于接收到的区域进入退出信息的车辆特征信息、边缘服务器20自身的识别信息、时间戳的车辆检测信息。在OP104中,固定摄影机通信部201将制作出的车辆检测信息经由中心服务器发送部202发送到中心服务器10。之后,图13所示的处理结束。
图14是中心服务器10中的车辆检测管理处理的流程图的一个例子。车辆检测管理处理是监视有存在于各边缘服务器20下属的区域的可能性的车辆的处理。车辆检测管理处理是搜索支援系统1中的车辆检测状态的监视处理之一。图14所示的处理例如以预定的周期反复执行。
在OP201中,固定摄影机信息取得部101判定是否从边缘服务器20中的某一个接收到车辆检测信息。在车辆检测信息中,包括车辆特征信息、边缘服务器20自身的识别信息、时间戳。在接收到车辆检测信息的情况下(OP201:“是”),处理进入到OP202。在未接收到车辆检测信息的情况下(OP201:“否”),图14所示的处理结束。
在OP202中,固定摄影机信息取得部101判定车辆特征信息字段的值与包含于接收到的车辆检测信息的车辆特征信息一致的条目是否存在于车辆检测信息表格。在车辆特征信息字段的值与包含于接收到的车辆检测信息的车辆特征信息一致的条目存在于车辆检测信息表格的情况下(OP202:“是”),处理进入到OP203。在车辆特征信息字段的值与包含于接收到的车辆检测信息的车辆特征信息一致的条目未存在于车辆检测信息表格的情况下(OP202:“否”),处理进入到OP204。
在OP203中,固定摄影机信息取得部101从车辆检测信息表格删除相应的条目。在OP204中,固定摄影机信息取得部101将接收到的车辆检测信息登记到车辆检测信息表格。之后,图14所示的处理结束。
图15是中心服务器10中的搜索委托展开处理的流程图的一个例子。中心服务器10中的搜索委托展开处理是在从搜索者输入搜索委托的情况下向边缘服务器20发送搜索委托的处理。中心服务器10中的搜索委托展开处理是搜索支援系统1中的搜索处理中包含的处理之一。图15所示的处理例如以预定的周期执行。
在OP301中,搜索委托展开部104判定是否从搜索委托输入部103输入了搜索委托。在输入了搜索委托的情况下(OP301:“是”),处理进入到OP302。在未输入搜索委托的情况下(OP301:“否”),图15所示的处理结束。
在OP302中,搜索委托展开部104用与搜索委托一起输入的搜索对象车辆的车辆特征信息,检索车辆特征信息表格。在OP303中,搜索委托展开部104判定车辆特征信息字段的值与搜索车辆的车辆特征信息一致的条目是否存在于车辆检测信息表格。在车辆特征信息字段的值与搜索车辆的车辆特征信息一致的条目存在于车辆检测信息表格的情况下(OP303:“是”),处理进入到OP304。在车辆特征信息字段的值与搜索车辆的车辆特征信息一致的条目未存在于车辆检测信息表格的情况下(OP303:“否”),图15所示的处理结束。
在OP304中,搜索委托展开部104在车辆检测信息表格的、车辆特征信息字段的值与搜索车辆的车辆特征信息一致的条目中,向与该车辆特征信息对应的边缘服务器20发送搜索委托。与搜索委托一起还发送搜索对象车辆的车辆特征信息。此外,例如,在搜索对象车辆的车辆特征信息是记载于车牌的号码的全部的情况下,在车辆检测信息表格中,车辆特征信息字段的值与搜索车辆的车辆特征信息一致的条目是1个,搜索委托的发送目的地的边缘服务器20也是1台。
另一方面,例如,在搜索对象车辆的车辆特征信息是记载于车牌的号码的一部分的情况下,在车辆检测信息表格中,车辆特征信息字段的值与搜索车辆的车辆特征信息一致的条目有可能存在多个。在该情况下,搜索委托的发送目的地的边缘服务器20也为多台,搜索委托展开部104向该多台边缘服务器20发送搜索委托。
另外,在车辆检测信息表格中,保存有检测到向某一个区域进入或者退出的各车辆的最新的信息。因此,成为搜索委托的发送目的地的边缘服务器20是有在下属具有有可能存在搜索对象车辆的区域的可能性的边缘服务器20。
图16是边缘服务器20中的搜索对象区域决定处理的流程图的一个例子。搜索对象区域决定处理是决定搜索对象车辆的搜索对象区域的处理。边缘服务器20中的搜索对象区域决定处理是在搜索支援系统1中的搜索处理中包含的处理之一。图16所示的处理例如以预定的周期执行。
在OP401中,搜索对象区域决定部206判定搜索委托接收部205是否从中心服务器10接收到搜索委托。在从中心服务器10接收到搜索委托的情况下(OP401:“是”),处理进入到OP402。在未从中心服务器10接收到搜索委托的情况下(OP401:“否”),图16所示的处理结束。
在OP402中,搜索对象区域决定部206对照搜索对象车辆的车辆特征信息和区域进入退出信息表格。在OP403中,搜索对象区域决定部206判定在区域进入退出信息表格中是否有车辆特征信息字段的值与搜索对象车辆的车辆特征信息一致的条目。在区域进入退出信息表格中有相应的条目的情况下(OP403:“是”),处理进入到OP404。以下,将车辆特征信息字段的值与搜索对象车辆的车辆特征信息一致的区域进入退出信息表格的条目简称为搜索对象车辆的条目。
在区域进入退出信息表格中没有搜索对象车辆的条目的情况下(OP403:“否”),处理进入到OP410。在OP410中,搜索对象区域决定部206经由中心服务器发送部202,向中心服务器10返回错误。之后,图16所示的处理结束。
在OP404中,搜索对象区域决定部206判定搜索对象车辆的条目中的、最新的条目的进入退出字段的值是否表示进入。在搜索对象车辆的最新的条目表示进入的情况下(OP404:“是”),处理进入到OP405。在搜索对象车辆的最新的条目表示退出的情况下(OP404:“否”),处理进入到OP408。
OP405至OP407是搜索对象车辆的最新的条目表示进入的情况的处理。在OP405中,搜索对象区域决定部206判定搜索对象车辆的最新的条目的时间戳字段表示的时刻,即从搜索对象车辆向最新的条目表示的区域进入起的经过时间是否比阈值1短。阈值1例如以1小时单位、1日单位、1周单位设定。
在从搜索对象车辆向最新的条目中示出的区域进入起的经过时间比阈值1短的情况下(OP405:“是”),处理进入到OP406。在OP406中,搜索对象区域决定部206将最新的条目中示出的区域设定为搜索对象区域。即,在图16所示的处理中,搜索对象车辆的最新的条目表示进入,从向该区域进入起的经过时间比阈值1短的情况下,判定为搜索对象车辆存在于该区域的可能性高,该区域被设定为搜索对象区域。之后,图16所示的处理结束。
在从搜索对象车辆向最新的条目中示出的区域进入起的经过时间是阈值1以上的情况下(OP405:“否”),处理进入到OP407。在OP407中,搜索对象区域决定部206将最新的条目中示出的区域和其邻接的区域设定为搜索对象区域。例如,从存储于地图信息存储部204的区域管理信息,取得最新的条目中示出的区域的邻接区域。即,在图16所示的处理中,搜索对象车辆的最新的条目表示进入,从向该区域进入起的经过时间是阈值1以上的情况下,判定为搜索对象车辆存在于该区域、或者、经由无固定摄影机30的设置的道路从该区域退出的可能性高。因此,该区域以及邻接区域被设定为搜索对象区域。之后,图16所示的处理结束。
OP408至OP410是通过搜索对象车辆的最新的条目表示退出的情况的处理。在OP408中,搜索对象区域决定部206判定通过搜索对象车辆的最新的条目的时间戳字段表示的时刻,即从搜索对象车辆从通过最新的条目表示的区域退出起的经过时间是否比阈值2短。阈值2例如以1小时单位、1日单位、1周单位设定。阈值2既可以是与阈值1相同的值,也可以是不同的值。
在从搜索对象车辆从最新的条目中示出的区域退出起的经过时间比阈值2短的情况下(OP408:“是”),处理进入到OP409。在OP409中,搜索对象区域决定部206将在从通过最新的条目表示的区域退出的退出方向上存在的多个区域设定为搜索对象区域。即,在图16所示的处理中,搜索对象车辆的最新的条目表示退出,从由该区域退出起的经过时间比阈值2短的情况下,判定为搜索对象车辆存在于该区域的周边的区域中的、在从该区域退出的退出方向上存在的区域的可能性高,在从该区域退出的退出方向上存在的区域被设定为搜索对象区域。周边的区域是指,例如,关于以该区域为中心的全部方向,包含至从该区域的邻接区域离开预定的数量的区域为止的区域。
例如,从通过搜索对象车辆的最新条目表示的固定摄影机30的设置位置,取得车辆的退出方向。例如,从保持于地图信息存储部204的固定摄影机管理信息取得固定摄影机30的设置位置。例如,从存储于地图信息存储部204的区域管理信息取得在车辆的退出方向上存在的区域。之后,图16所示的处理结束。
在从搜索对象车辆从最新的条目中示出的区域退出起的经过时间是阈值2以上的情况下(OP408:“否”),处理进入到OP410。在OP410中,搜索对象区域决定部206经由中心服务器发送部202,向中心服务器10返回错误。这是因为,在搜索对象车辆的最新的条目表示退出,从由该区域退出起的经过时间是阈值2以上的情况下,判定为搜索对象车辆的去向不明。但是,在该情况下,搜索对象区域决定部206也可以将搜索对象车辆的最新的条目的信息与错误一起发送到中心服务器10。之后,图16所示的处理结束。
在图16所示的搜索对象区域决定处理中,例如,搜索对象车辆的最新的条目中示出的区域的周边的、未设置固定摄影机30的区域也能够作为搜索对象区域(例如OP407、OP409)。由此,搜索支援系统1的可搜索范围宽,能够提高捕捉搜索对象车辆的概率。
此外,图16所示的处理是一个例子,搜索对象区域的决定方法不限定于图16所示的方法。例如,搜索对象区域也可以不以管理区域单位决定。例如,也可以以从通过搜索对象车辆的最新的条目表示的时刻起的经过时间越长,使以通过该条目表示的固定摄影机30的设置位置为中心的范围越宽的方式,决定搜索对象区域。
图17是边缘服务器20中的搜索指令展开处理的流程图的一个例子。搜索指令展开处理是向在搜索对象区域决定处理中决定的搜索对象区域内的车辆40发送搜索指令的处理,是接着搜索对象区域决定处理执行的处理。边缘服务器20中的搜索指令展开处理是搜索支援系统1中的搜索处理中包含的处理之一。图17所示的处理例如以预定的周期执行。
在OP501中,搜索指令展开部207判定是否由搜索对象区域决定部206新设定了搜索对象区域。在新设定了搜索对象区域的情况下(OP501:“是”),处理进入到OP502。在未新设定搜索对象区域的情况下(OP501:“否”),处理进入到OP506。
OP502至OP505的处理是新设定了搜索对象区域的情况的处理。在OP502中,搜索指令展开部207判定在搜索对象区域中是否包括其他边缘服务器20下属的区域。在搜索对象区域中包括其他边缘服务器20下属的区域的情况下(OP502:“是”),处理进入到OP503。在搜索对象区域中未包括其他边缘服务器20下属的区域的情况下(OP502:“否”),处理进入到OP504。
在OP503中,搜索指令展开部207向在包含于搜索对象区域的区域下属具有的其他边缘服务器20,发送搜索委托。与搜索委托一起,还发送在其他边缘服务器20下属的搜索对象区域中包含的区域的识别信息和搜索对象车辆的车辆特征信息。
在OP504中,搜索指令展开部207根据存储于地图信息存储部204的车辆管理信息表格,抽出在包含于搜索对象区域的、边缘服务器20自身下属的区域内存在的专用车载器搭载车辆40。在OP505中,搜索指令展开部207向在OP504中抽出的专用车载器搭载车辆40发送搜索指令。与搜索指令一起,还发送搜索对象车辆的车辆特征信息。之后,图17所示的处理结束。
在OP506中,搜索指令展开部207判定是否通过搜索委托接收部205从其他边缘服务器20接收到搜索委托。在从其他边缘服务器20接收到搜索委托的情况下(OP506:“是”),处理进入到OP504,向包含于搜索对象区域的下属的区域内的车辆40发送搜索指令(OP504、OP505)。在未从其他边缘服务器20接收到搜索委托的情况下(OP506:“否”),图17所示的处理结束。
图18是中心服务器10中的搜索结束展开处理的流程图的一个例子。中心服务器10中的搜索结束展开处理是检测车辆的搜索的结束并发送到边缘服务器20的处理。中心服务器10中的搜索结束展开处理是包含于搜索支援系统1中的搜索处理的处理之一。图18所示的处理例如在图15所示的搜索委托展开处理结束时开始。
在OP601中,搜索结果接收部105判定是否从车辆40或者车辆50接收到搜索对象车辆的检测结果。在第1实施方式中,作为搜索对象车辆的检测结果,从车辆40或者车辆50接收车载摄影机的实时图像或者影像和位置信息。在从车辆40或者车辆50接收到搜索对象车辆的检测结果的情况下(OP601:“是”),处理进入到OP602。在未从车辆40或者车辆50接收到搜索对象车辆的检测结果的情况下(OP601:“否”),处理进入到OP603。
在OP602中,搜索结果接收部105将从车辆40或者车辆50接收到的车载摄影机的实时图像或者影像和位置信息,经由搜索结果输出部106输出到搜索者。
在OP603中,搜索结果接收部105判定是否经由搜索委托输入部103从搜索者输入了搜索结束。在输入了搜索结束的情况下(OP603:“是”),处理进入到OP604。在未输入搜索结束的情况下(OP603:“否”),处理进入到OP601,再次从OP601反复处理。
在OP604中,搜索结果接收部105经由搜索委托展开部104向发送了搜索委托的边缘服务器20发送搜索结束通知。也可以与搜索结束通知一起,还发送搜索对象车辆的车辆特征信息。之后,图18所示的处理结束。
图19是边缘服务器20中的搜索结束展开处理的流程图的一个例子。边缘服务器20中的搜索结束展开处理是接收来自中心服务器10的车辆的搜索的结束并向搜索对象区域内的车辆40以及边缘服务器20发送搜索结束通知的处理。边缘服务器20中的搜索结束展开处理是包含于搜索支援系统1中的搜索处理的处理之一。图19所示的处理例如以预定的周期反复执行。
在OP701中,搜索指令展开部207判定是否从中心服务器10经由搜索委托接收部205接收到搜索结束通知。在从中心服务器10接收到搜索结束通知的情况下(OP701:“是”),处理进入到OP702。在未从中心服务器10接收到搜索结束通知的情况下(OP701:“否”),处理进入到OP705。
OP702至OP704的处理是从中心服务器10接收到搜索结束通知的情况的处理。在OP702中,搜索指令展开部207判定在搜索对象区域中是否包括其他边缘服务器20下属的区域。在搜索对象区域中包括其他边缘服务器20下属的区域的情况下(OP702:“是”),处理进入到OP703。在搜索对象区域中未包括其他边缘服务器20下属的区域的情况下(OP702:“否”),处理进入到OP704。
在OP703中,搜索指令展开部207向在包含于搜索对象区域的区域下属具有的其他边缘服务器20,即发送了搜索委托的其他边缘服务器20发送搜索结束通知。也可以与搜索结束通知一起,还发送搜索对象车辆的车辆特征信息。
在OP704中,搜索指令展开部207根据存储于地图信息存储部204的车辆管理信息表格,向在包含于搜索对象区域的、边缘服务器20自身下属的区域内存在的专用车载器搭载车辆40发送搜索结束通知。也可以与搜索结束通知一起,还发送搜索对象车辆的车辆特征信息。之后,图19所示的处理结束。
在OP705中,搜索指令展开部207判定是否通过搜索委托接收部205从其他边缘服务器20接收到搜索结束通知。在从其他边缘服务器20接收到搜索结束通知的情况下(OP705:“是”),处理进入到OP704,向包含于搜索对象区域的下属的区域内的车辆40发送搜索结束通知(OP704)。在未从其他边缘服务器20接收到搜索结束通知的情况下(OP705:“否”),处理进入到OP706。
在OP706中,搜索指令展开部207判定是否有从边缘服务器20自身下属的搜索对象区域退出的车辆40。例如,根据来自下属的固定摄影机30的区域进入退出信息以及区域进入退出信息表格,进行该判定。
在有从边缘服务器20自身下属的搜索对象区域退出的车辆40的情况下(OP706:“是”),处理进入到OP707。在OP707中,搜索指令展开部207向相应的车辆40发送搜索结束通知。之后,图19所示的处理结束。
在没有从边缘服务器20自身下属的搜索对象区域退出的车辆40的情况下(OP706:“否”),图19所示的处理结束。
在图19所示的搜索结束展开处理中,边缘服务器20除了从中心服务器10、其他边缘服务器20接收到搜索结束通知的情况以外,在车辆40从下属的搜索对象区域退出的情况下,向该车辆40发送搜索结束通知。由此,从搜索对象区域退出的车辆40能够结束搜索对象车辆的搜索。但是,不限于此,也可以与搜索指令一起将搜索对象区域的信息也向车辆40通知,车辆40自身根据自身的位置信息检测到从搜索对象区域退出而结束车辆搜索。
图20是专用车载器搭载车辆40中的搜索处理的流程图的一个例子。车辆40中的搜索处理是包含于搜索支援系统1中的搜索处理的处理之一。图20所示的处理例如以预定的周期反复执行。
在OP801中,搜索控制部404判定是否通过搜索指令接收部401接收到搜索指令。在接收到搜索指令的情况下(OP801:“是”),处理进入到OP802。在未接收到搜索指令的情况下(OP801:“否”),图20所示的处理结束。
在OP802中,搜索控制部404开始搜索对象车辆的搜索。具体而言,在OP802中,搜索控制部404例如启动车载摄影机46,摄像图像取得部402和特征检测部403开始处理。
在OP803中,搜索控制部404向在周边存在的专用车载器非搭载车辆50发送搜索指令。在OP803中,例如,用车车间通信发送搜索指令。
在OP804中,搜索控制部404判定是否从车载摄影机46的摄像图像检测出搜索对象车辆。在检测到搜索对象车辆的情况下(OP804:“是”),处理进入到OP805。在未检测到搜索对象车辆的情况下(OP804:“否”),处理进入到OP806。
在OP805中,搜索控制部404向中心服务器10发送车载摄影机46的摄像图像和位置信息。
在OP806中,搜索控制部404判定是否通过搜索指令接收部401接收到搜索结束通知。在接收到搜索结束通知的情况下(OP806:“是”),处理进入到OP807。在未接收到搜索结束通知的情况下(OP806:“否”),处理进入到OP804。
在OP807中,搜索控制部404向在周边存在的专用车载器非搭载车辆50,例如用车车间通信发送搜索结束通知。例如,搜索控制部404通过车车间通信将搜索结束通知持续发送预定时间,之后,图20所示的处理结束。
<第1实施方式的作用效果>
在第1实施方式中,搜索对象区域被缩减为有搜索对象车辆的进入和退出记录的区域或者该区域的周边的区域。由此,在搜索支援系统1中,成为用于检测搜索对象车辆的图像解析处理的对象的图像被限定为搜索对象区域内的车载摄影机所摄像的摄像图像,能够削减成为搜索对象的数据量。通过成为搜索对象的数据量被削减,搜索支援系统1整体中的处理负荷也被削减,并且有可能缩短直至找到搜索对象车辆的时间。
另外,通常,车载摄影机的画质比固定摄影机30的画质低的情形较多。在第1实施方式中,关于固定摄影机30的摄像图像,进行各区域的车辆的进入和退出的检测,所以能够更可靠地取得向各区域进入和退出的车辆的车辆特征信息,能够精度更良好地缩减搜索对象区域。
另外,即便是基于画质比较低的车载摄影机的摄像图像得到的可靠性比较低的车辆特征信息,通过搜索对象区域被缩减,搜索对象车辆的车辆特征信息和从车载摄影机的摄像图像检测的车辆特征信息一致的可能性变高。因此,能够将从车载摄影机的摄像图像检测的车辆推测为搜索对象车辆。
另外,例如,即使在作为搜索对象车辆的车辆特征信息而仅输入记载于车牌的号码的后4位等一部分的信息的情况下,如果是第1实施方式所涉及的搜索支援系统1,则也能够根据检测到与该一部分的信息一致的车辆特征信息的固定摄影机30的设置位置缩减搜索对象区域。由此,第1实施方式的搜索支援系统1即使搜索对象车辆的车辆特征信息是可靠性低的信息,也有可能能够确定搜索对象车辆的所在地。
另外,在第1实施方式中,成为车辆特征信息的检测对象的固定摄影机30是设置于能够向各区域进入和退出的道路的路侧的固定摄影机30。由此,能够抑制作为搜索支援系统1整体处理的固定摄影机30的图像数据量或者影像数据量。但是,成为车辆特征信息的检测对象的固定摄影机30不限定于设置于能够向各区域进入和退出的道路的路侧。例如,也可以将设置于各区域内的全部固定摄影机30作为车辆特征信息的检测对象。
另外,在第1实施方式中,通过记录从固定摄影机30的摄像图像检测出的车辆向区域的进入或者退出,能够得到关于搜索对象车辆的移动方向的信息,能够更正确地设定搜索对象区域。更正确地设定搜索对象区域是指,在搜索对象区域中设定的区域内存在搜索对象车辆的可能性高。
另外,在第1实施方式中,在关于搜索对象车辆的车辆特征信息记录有表示向预定的区域的进入或者退出的信息的情况下,有该区域的周边的区域也包含于搜索对象区域的情形。由此,关于不存在设置于能够向区域进入和退出的道路的路侧的固定摄影机30的区域,也能够作为搜索对象区域。另外,例如,即使在搜索对象车辆经由未设置固定摄影机30的道路从该预定的区域退出的情况下,也有能够捕捉搜索对象车辆的可能性。
<其他>
在第1实施方式中,边缘服务器20决定搜索对象区域,但不限于此,搜索对象区域的决定处理例如既可以由中心服务器10进行,也可以由固定摄影机30进行。在中心服务器10进行搜索对象区域的决定处理的情况下,例如,中心服务器10将在第1实施方式中边缘服务器20具备的区域进入退出信息表格保持与下属的全部边缘服务器20相应的量。中心服务器10在被输入搜索委托的情况下,例如执行图16所示的处理,决定搜索对象区域,将搜索委托与搜索对象区域的信息一起向在下属具有搜索对象区域的边缘服务器20发送。边缘服务器20在从中心服务器10接收到搜索委托时,向搜索对象区域下属的车辆40发送搜索指令。在中心服务器10进行搜索对象区域的决定处理的情况下,中心服务器10是“搜索支援系统”的“第1存储部”、“决定部”的一个例子。
另外,在固定摄影机30进行搜索对象区域的决定处理的情况下,例如,固定摄影机30保持本装置检测出的、针对设置有本装置的区域的车辆的区域进入退出信息。例如,中心服务器10与第1实施方式同样地,向边缘服务器20发送搜索委托,边缘服务器20向下属的全部固定摄影机30发送搜索委托。固定摄影机30在接收到搜索委托时,例如,关于自身保持的针对区域的车辆的进入退出信息,执行图16所示的处理,决定搜索对象区域,向在搜索对象区域的下属存在的车辆40,发送搜索指令。但是,该情况的检索对象区域并非以管理区域单位决定,而用以固定摄影机30的设置位置为中心的范围决定。在固定摄影机30进行搜索对象区域的决定处理的情况下,固定摄影机30是“搜索支援系统”的“第1存储部”、“决定部”、“发送部”的一个例子。
另外,在第1实施方式中,固定摄影机30或者车载摄影机自身从摄像图像检测车辆特征信息。但是,不限于此,例如,也可以是边缘服务器20从摄像图像检测车辆特征信息。在边缘服务器20从摄像图像检测车辆特征信息的情况下,边缘服务器20是“搜索支援系统”的“检测部”的一个例子。
另外,在第1实施方式中,作为从搜索对象以及摄像图像的识别对象以车辆为例子进行了说明,但从搜索对象以及摄像图像的识别对象不限定于车辆。例如,在从搜索对象以及摄像图像的识别对象是人的情况下,代替车辆特征信息,而从摄像图像通过图像处理使用与人物的外观上的特征有关的特征信息。与人物的外观上的特征有关的特征信息例如是性别、身高、年龄段、服装、发型等信息。
另外,在车辆40以及车辆50是可自主行驶的车辆的情况下,中心服务器10在从车辆40或者车辆50作为搜索结果接收到检测到搜索对象车辆的车辆特征信息的摄像图像的情况下,也可以对该车辆40或者车辆50指示搜索对象车辆的追踪。
<记录介质>
能够将使计算机以及其他机器、装置(以下计算机等)实现上述RSU 1A、RSA 1B、OBU 2A、OBU 2B的处理的程序记录到计算机等可读取的记录介质。通过使计算机等读入并执行该记录介质的程序,该计算机作为上述RSU1A、RSA1B、OBU2A、OBU2B发挥功能。
在此,计算机等可读取的记录介质是指,能够通过电、磁、光学、机械、或者化学性的作用积蓄数据、程序等信息并从计算机等读取的非临时性的记录介质。作为这样的记录介质中的可从计算机等拆下的记录介质,例如有软盘、光磁盘、CD-ROM、CD-R/W、DVD、蓝光光盘、DAT、8mm磁带、闪存存储器等存储卡等。另外,作为固定于计算机等的记录介质,有硬盘、ROM(只读存储器)等。进而,SSD(Solid State Drive,固态硬盘)既能够用作可从计算机等拆下的记录介质,也能够用作固定于计算机等的记录介质。

Claims (8)

1.一种搜索支援系统,从多个车载摄影机的各个车载摄像机所摄像的摄像图像或者影像进行搜索对象的搜索,所述搜索支援系统具备:
检测部,从分别设置于预定的位置的多个固定摄影机所摄像的摄像图像或者影像,检测识别对象的特征信息;
第1存储部,将检测出的所述识别对象的特征信息和与对检测到所述识别对象的特征信息的摄像图像或者影像进行了摄像的固定摄影机有关的信息对应起来存储;
第2存储部,存储搭载所述多个车载摄影机的各个车载摄影机的多个车辆的位置信息;
受理部,受理所述搜索对象的特征信息;
决定部,根据存储于所述第1存储部的、与对检测到与所述搜索对象的特征信息的至少一部分一致的识别对象的特征信息的摄像图像或者影像进行了摄像的固定摄影机有关的信息,决定搜索对象区域;
发送部,向存在于所述搜索对象区域内的车辆,发送利用所述车载摄影机搜索所述搜索对象的搜索指示;以及
输出部,输出从摄像图像或者影像检测出与所述搜索对象的特征信息的至少一部分一致的特征信息的车载摄影机的摄像图像或者影像。
2.根据权利要求1所述的搜索支援系统,其中,
所述搜索对象以及所述识别对象是移动体或者人,
所述多个固定摄影机的各个固定摄影机设置于多个区域各自的边界,
所述检测部从设置于第1区域的第1固定摄影机所摄像的摄像图像或者影像,检测到所述识别对象向所述第1区域进入,
所述第1存储部存储检测出的所述识别对象的特征信息、作为与所述第1固定摄影机有关的信息的所述第1区域的识别信息、以及表示向所述第1区域进入的信息的对应,
所述决定部在所述第1存储部中存储有所述搜索对象的特征信息的至少一部分一致的第1特征信息,并且,所述第1特征信息与表示向所述第1区域进入的信息对应的情况下,将对应有所述第1特征信息的第1区域决定为所述搜索对象区域。
3.根据权利要求2所述的搜索支援系统,其中,
所述第1存储部存储检测出的所述识别对象的特征信息、作为与所述第1固定摄影机有关的信息的所述第1区域的识别信息、表示检测出的所述识别对象向所述第1区域进入的信息、以及所述识别对象向所述第1区域进入的进入时刻的对应,
所述决定部在所述第1存储部中存储有所述第1特征信息,并且,所述第1特征信息与表示向所述第1区域进入的信息对应,并且,从向所述第1区域进入的进入时刻起的经过时间小于预定的阈值的情况下,将对应有所述第1特征信息的第1区域决定为所述搜索对象区域,
所述决定部在所述第1存储部中存储有所述第1特征信息,并且,所述第1特征信息与表示向所述第1区域进入的信息对应,并且,从向所述第1区域进入的进入时刻起的经过时间是所述预定的阈值以上的情况下,将对应有所述第1特征信息的第1区域的周边的区域决定为所述搜索对象区域。
4.根据权利要求2或者3所述的搜索支援系统,其中,
所述检测部从设置于第2区域的第2固定摄影机所摄像的摄像图像或者影像,检测到所述识别对象从所述第2区域退出,
所述第1存储部存储检测出的所述识别对象的特征信息、作为与所述第2固定摄影机有关的信息的所述第2区域的识别信息、以及表示检测出的所述识别对象从所述第2区域退出的信息的对应,
所述决定部在所述第1存储部中存储有所述第1特征信息,并且,所述第1特征信息与表示从所述第2区域退出的信息对应的情况下,将对应有所述第1特征信息的第2区域的周边的区域决定为所述搜索对象区域。
5.根据权利要求4所述的搜索支援系统,其中,
所述第1存储部存储检测出的所述识别对象的特征信息、作为与所述第2固定摄影机有关的信息的所述第2区域的识别信息、所述第2固定摄影机的识别信息、以及表示检测出的所述识别对象从所述第2区域退出的信息的对应,
所述决定部在所述第1存储部中存储有所述第1特征信息,并且,所述第1特征信息与表示从所述第2区域退出的信息对应的情况下,将作为所述第2区域的周边的区域的、在检测出的所述识别对象从所述第2固定摄影机的设置位置退出的方向上存在的区域,决定为所述搜索对象区域。
6.根据权利要求1至5中的任意一项所述的搜索支援系统,其中,
接收到来自所述发送部的所述搜索指示的车辆通过车车间通信发送所述搜索指示。
7.一种搜索支援装置,具备:
第1存储部,存储从分别设置于预定的位置的多个固定摄影机所摄像的摄像图像或者影像检测出的识别对象的特征信息和与对检测到所述识别对象的特征信息的摄像图像或者影像进行了摄像的固定摄影机有关的信息;
第2存储部,存储搭载车载摄影机的多个车辆的位置信息;
接收部,接收搜索对象的特征信息;
决定部,根据存储于所述第1存储部的、与对检测到与所述搜索对象的特征信息的至少一部分一致的识别对象的特征信息的摄像图像或者影像进行了摄像的固定摄影机有关的信息,决定搜索对象区域;以及
发送部,向存在于所述搜索对象区域内的车辆,发送所述车载摄影机所摄像的摄像图像或者影像的发送指示。
8.一种搜索支援方法,从多个车载摄影机的各个车载摄影机所摄像的摄像图像或者影像进行搜索对象的搜索,其中,
从分别设置于预定的位置的多个固定摄影机所摄像的摄像图像或者影像,检测识别对象的特征信息,
将检测出的所述识别对象的特征信息和与对检测到所述识别对象的特征信息的摄像图像或者影像进行了摄像的固定摄影机有关的信息对应起来存储到第1存储部,
将搭载所述多个车载摄影机的各个车载摄影机的多个车辆的位置信息存储到第2存储部,
受理所述搜索对象的特征信息,
根据存储于所述第1存储部的、与对检测到与所述搜索对象的特征信息的至少一部分一致的识别对象的特征信息的摄像图像或者影像进行了摄像的固定摄影机有关的信息,决定搜索对象区域,
向存在于所述搜索对象区域内的车辆,发送利用所述车载摄影机搜索所述搜索对象的搜索指示,
输出从摄像图像或者影像检测出与所述搜索对象的特征信息的至少一部分一致的特征信息的车载摄影机的摄像图像或者影像。
CN201910381952.5A 2018-05-11 2019-05-09 搜索支援系统、搜索支援装置以及搜索支援方法 Active CN110473406B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018092442A JP6791200B2 (ja) 2018-05-11 2018-05-11 捜索支援システム、捜索支援装置、及び、捜索支援方法
JP2018-092442 2018-05-11

Publications (2)

Publication Number Publication Date
CN110473406A true CN110473406A (zh) 2019-11-19
CN110473406B CN110473406B (zh) 2022-02-08

Family

ID=68464815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910381952.5A Active CN110473406B (zh) 2018-05-11 2019-05-09 搜索支援系统、搜索支援装置以及搜索支援方法

Country Status (3)

Country Link
US (2) US10657660B2 (zh)
JP (1) JP6791200B2 (zh)
CN (1) CN110473406B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113468358A (zh) * 2020-03-30 2021-10-01 本田技研工业株式会社 搜索辅助系统、搜索辅助方法、车载装置以及存储介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10783792B1 (en) 2019-10-22 2020-09-22 Capital One Services, Llc Systems and methods for automated vehicle tracking for readiness with limited human interaction
US10762540B1 (en) 2019-10-22 2020-09-01 Capital One Services, Llc Systems and methods for automated trade-in with limited human interaction
US11417205B1 (en) * 2020-03-19 2022-08-16 United Services Automobile Association (Usaa) Method and system for rapid graduated motor vehicle detection
US11184734B1 (en) * 2020-08-19 2021-11-23 T-Mobile Usa, Inc. Using geofencing areas to improve road safety use cases in a V2X communication environment
CN112801032B (zh) * 2021-02-22 2022-01-28 西南科技大学 一种用于运动目标检测的动态背景匹配方法
CN114734992A (zh) * 2021-08-20 2022-07-12 北京百度网讯科技有限公司 用于自主泊车的方法、装置、设备、存储介质和程序产品
US11600166B1 (en) * 2021-10-27 2023-03-07 Genetec Inc. Occurrence-record driven monitoring system and method of use thereof
JP7271638B1 (ja) * 2021-11-09 2023-05-11 三菱電機株式会社 通信装置及び通信方法
US12046134B2 (en) 2022-06-30 2024-07-23 Kodiak Robotics, Inc. System and method for identifying a vehicle subject to an emergency alert and dispatching of signals

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005165616A (ja) * 2003-12-02 2005-06-23 Sekisui House Ltd 特定地域防犯システム
JP2007305155A (ja) * 2007-07-10 2007-11-22 Sumitomo Electric Ind Ltd 車両探索システム
CN102456226A (zh) * 2010-10-22 2012-05-16 财团法人工业技术研究院 兴趣区域的追踪系统、方法及计算机程序产品
US20140132758A1 (en) * 2012-11-15 2014-05-15 Videoiq, Inc. Multi-dimensional virtual beam detection for video analytics
US20160097849A1 (en) * 2014-10-02 2016-04-07 Trimble Navigation Limited System and methods for intersection positioning
JP2016076142A (ja) * 2014-10-08 2016-05-12 三菱電機株式会社 車載装置
JP2016119627A (ja) * 2014-12-22 2016-06-30 セコム株式会社 追跡処理装置
JP2016126602A (ja) * 2015-01-06 2016-07-11 三洋テクノソリューションズ鳥取株式会社 車載通信機
CN106250846A (zh) * 2016-07-29 2016-12-21 昆明理工大学 一种基于视频监控的公安图像侦测方法
CN107436941A (zh) * 2017-07-28 2017-12-05 盯盯拍(深圳)技术股份有限公司 车辆运动轨迹分析方法以及车辆运动轨迹分析装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4119106B2 (ja) * 2001-08-10 2008-07-16 松下電器産業株式会社 車載機
GB2395595B (en) * 2002-11-14 2005-01-05 Nathan Mendel Rau Automated license plate recognition system for use in law enforcement vehicles
JP2008140128A (ja) * 2006-12-01 2008-06-19 Denso Corp 車両検出装置
JP2009206617A (ja) * 2008-02-26 2009-09-10 Nec Corp 顔認証を用いた防犯システム
JP2009245385A (ja) * 2008-03-31 2009-10-22 Nec Corp 車両照合装置、車両照合方法およびプログラム
US8379989B2 (en) * 2008-04-01 2013-02-19 Toyota Jidosha Kabushiki Kaisha Image search apparatus and image processing apparatus
JP2010039825A (ja) 2008-08-06 2010-02-18 Fujitsu Ltd 駐車監視方法及びその監視装置
US20140376778A1 (en) * 2013-06-25 2014-12-25 Zf Friedrichshafen Ag License plate recognition system and location forecasting
JP6058526B2 (ja) 2013-12-11 2017-01-11 株式会社キクテック 交通安全支援装置及び交通安全支援システム
JP2017004527A (ja) 2015-06-09 2017-01-05 アイテック株式会社 車両番号情報認識・対応システム並びに同方法
US20190114494A1 (en) * 2016-03-29 2019-04-18 Panasonic Intellectual Property Management Co., Ltd. Vehicle model identification device, vehicle model identification system, and vehicle model identification method
WO2018111297A1 (en) * 2016-12-16 2018-06-21 Hitachi Automotive Systems, Ltd. Road detection using traffic sign information
US10647332B2 (en) * 2017-09-12 2020-05-12 Harman International Industries, Incorporated System and method for natural-language vehicle control

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005165616A (ja) * 2003-12-02 2005-06-23 Sekisui House Ltd 特定地域防犯システム
JP2007305155A (ja) * 2007-07-10 2007-11-22 Sumitomo Electric Ind Ltd 車両探索システム
CN102456226A (zh) * 2010-10-22 2012-05-16 财团法人工业技术研究院 兴趣区域的追踪系统、方法及计算机程序产品
US20140132758A1 (en) * 2012-11-15 2014-05-15 Videoiq, Inc. Multi-dimensional virtual beam detection for video analytics
US20160097849A1 (en) * 2014-10-02 2016-04-07 Trimble Navigation Limited System and methods for intersection positioning
JP2016076142A (ja) * 2014-10-08 2016-05-12 三菱電機株式会社 車載装置
JP2016119627A (ja) * 2014-12-22 2016-06-30 セコム株式会社 追跡処理装置
JP2016126602A (ja) * 2015-01-06 2016-07-11 三洋テクノソリューションズ鳥取株式会社 車載通信機
CN106250846A (zh) * 2016-07-29 2016-12-21 昆明理工大学 一种基于视频监控的公安图像侦测方法
CN107436941A (zh) * 2017-07-28 2017-12-05 盯盯拍(深圳)技术股份有限公司 车辆运动轨迹分析方法以及车辆运动轨迹分析装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113468358A (zh) * 2020-03-30 2021-10-01 本田技研工业株式会社 搜索辅助系统、搜索辅助方法、车载装置以及存储介质

Also Published As

Publication number Publication date
JP6791200B2 (ja) 2020-11-25
US11080869B2 (en) 2021-08-03
US20190347809A1 (en) 2019-11-14
CN110473406B (zh) 2022-02-08
JP2019197496A (ja) 2019-11-14
US20200242785A1 (en) 2020-07-30
US10657660B2 (en) 2020-05-19

Similar Documents

Publication Publication Date Title
CN110473406A (zh) 搜索支援系统、搜索支援装置以及搜索支援方法
JP4379493B2 (ja) 撮像装置、情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
CN109686049B (zh) 公共场所内儿童落单提醒方法、装置、介质及电子设备
US10582105B2 (en) Changing camera parameters based on wireless signal information
US20070228159A1 (en) Inquiry system, imaging device, inquiry device, information processing method, and program thereof
US7992181B2 (en) Information presentation system, information presentation terminal and server
US8488021B2 (en) Image positioning method, POI tagging method and the apparatus
JP2017508197A (ja) オブジェクト認識システムにおける動的な特徴データベース管理のためのインクリメンタル学習
CN109275090B (zh) 信息处理方法、装置、终端及存储介质
CN101373138A (zh) 图像再现设备及其图像再现方法和记录介质
CN109547748B (zh) 对象落脚点确定方法、装置及存储介质
US8290957B2 (en) Information processing apparatus, information processing method and program therefor
WO2021027215A1 (zh) 定位信息的创建方法、车载终端、服务器设备和定位系统
KR100489890B1 (ko) 스테레오 비디오 또는/및 지리객체의 상세정보 제공 장치및 그방법
CN111121797B (zh) 道路筛选方法、装置、服务器及存储介质
CN108694381A (zh) 对象定位方法和对象轨迹追踪方法
KR20160087284A (ko) 영상 처리 장치, 영상 처리 장치가 수행하는 영상 저장 방법 및 영상 검색 방법
CN111832579B (zh) 地图兴趣点数据处理方法、装置、电子设备以及可读介质
JP2020034528A (ja) 画像処理装置、画像処理システム及び車両
KR101804471B1 (ko) 영상 분석 방법 및 장치
KR101762514B1 (ko) 지도 기반 촬상 위치 정보 제공 방법 및 장치
JP2000194854A (ja) 個体識別装置
CN111598053B (zh) 图像数据的处理方法及其装置、介质和系统
JP6019680B2 (ja) 表示装置、表示方法、及び、表示プログラム
Vo et al. WhereAmI: Energy efficient positioning using partial textual signatures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant