CN117083850A - 信息收集装置、服务器及信息收集方法 - Google Patents

信息收集装置、服务器及信息收集方法 Download PDF

Info

Publication number
CN117083850A
CN117083850A CN202180096462.6A CN202180096462A CN117083850A CN 117083850 A CN117083850 A CN 117083850A CN 202180096462 A CN202180096462 A CN 202180096462A CN 117083850 A CN117083850 A CN 117083850A
Authority
CN
China
Prior art keywords
image
information
unit
resource
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180096462.6A
Other languages
English (en)
Inventor
河野卓矢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN117083850A publication Critical patent/CN117083850A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明的信息收集装置是收集用于从车辆经由通信网络向外部服务器发送的图像及位置信息的信息收集装置,包括:获取通过搭载在车辆上的拍摄装置对车辆外部进行拍摄而得到的图像的图像获取部;获取表示由图像获取部获取的图像的拍摄位置的位置信息的位置信息获取部;获取表示与对图像的加工处理的负荷相关的资源的状态的资源信息的资源状态获取部;根据资源状态获取部获取的资源信息所示的资源的状态来决定对图像的加工方法的加工方法决定部;根据加工方法决定部决定的加工方法,对图像进行加工的图像加工部;以及对图像加工部加工后的图像进行分析,并根据分析结果输出图像的图像分析部。

Description

信息收集装置、服务器及信息收集方法
技术领域
本公开涉及一种信息收集装置,该信息收集装置收集从车辆拍摄车辆外部得到的图像,用于检测拍摄对象的异常。
背景技术
在收集异常检测用的图像的现有技术中,有将从车辆拍摄车辆外部得到的图像经由通信网络向外部的服务器等发送的技术。这样的图像一般由于数据尺寸较大,因此为了发送不会失败而在压缩后再发送。
然而,在专利文献1中,公开了一种图像处理装置,该图像处理装置基于驾驶车辆的驾驶员应该注意的区域的观点,分割图像,并且对每个分割后的区域进行不同的压缩处理。
具体而言,图像处理装置越是本车的驾驶员容易看漏、或者存在对驾驶员而言应该注意的对象的可能性较高的区域,越将重要度设定得高,越是重要度较低的区域的拍摄图像,压缩的处理越简单。
现有技术文献
专利文献
专利文献1
日本专利特开2019-47401号公报
发明内容
发明所要解决的技术问题
现有技术的问题在于,在图像被压缩时,有时会丢失表示图像内的对象物的异常的信息。
专利文献1的图像处理装置基于驾驶车辆的驾驶员应该注意的区域这一观点,对分割图像后的每个区域进行不同的压缩处理,并不能解决上述问题。
本公开解决了上述问题,其目的在于提供一种信息收集装置,在收集图像时,表示图像内的对象物的异常的信息不易丢失。
用于解决技术问题的技术手段
本公开的信息收集装置是收集用于从车辆经由通信网络向外部服务器发送的图像及位置信息的信息收集装置,包括:获取通过搭载在车辆上的拍摄装置对车辆外部进行拍摄而得到的图像的图像获取部;获取表示由图像获取部获取的图像的拍摄位置的位置信息的位置信息获取部;获取表示与对图像的加工处理的负荷相关的资源的状态的资源信息的资源状态获取部;根据资源状态获取部获取的资源信息所示的资源的状态来决定对图像的加工方法的加工方法决定部;根据加工方法决定部决定的加工方法,对图像进行加工的图像加工部;以及对图像加工部加工后的图像进行分析,并根据分析结果输出图像的图像分析部。
发明效果
根据本公开,由于如上所述那样构成,因此能够提供一种信息收集装置,该信息收集装置在收集图像时,表示图像内的对象物的异常的信息不易丢失。
附图说明
图1是表示包含实施方式1所涉及的信息收集装置的异常检测系统的结构的图。
图2是表示决定实施方式1所涉及的信息收集装置中的加工方法的基准的示例的图。
图3是表示实施方式1所涉及的信息收集装置的处理的流程图。
图4是表示信息收集装置的处理的图像的图。
图5是表示包含信息收集装置的异常检测系统的硬件结构的第一示例的图。
图6是表示包含信息收集装置的异常检测系统的硬件结构的第二示例的图。
图7是表示包含实施方式2所涉及的信息收集装置和服务器的异常检测系统的结构的图。
图8是表示实施方式2所涉及的服务器的结构的图。
图9是表示决定实施方式2所涉及的服务器中的加工方法的基准的示例的图。
图10是表示从服务器向信息收集装置的指令内容的第一图像例的图。
图11是表示从服务器向信息收集装置的指令内容的第二图像例的图。
图12是表示实施方式2所涉及的信息收集装置的处理的示例的流程图。
图13是表示图12中的步骤ST220的处理的示例的流程图。
图14是表示图12中的步骤ST230的处理的示例的流程图。
图15是表示实施方式2所涉及的服务器中的处理的示例的流程图。
具体实施方式
下面,为了更详细地说明本公开,根据附图对用于实施本公开的方式进行说明。
实施方式1
图1是表示包含实施方式1所涉及的信息收集装置10的异常检测系统1的结构的图。
图1所示的异常检测系统1是检测从车辆拍摄车辆外部得到的图像内的对象物是否为异常状态的系统。
异常检测系统1由搭载在每个车辆上的信息收集装置10、摄像头20及位置传感器30、以及设置在车辆外部的服务器100构成。
信息收集装置和服务器100经由未图示的通信网络以可通信的方式连接。
图1所示的异常检测系统1在信息收集装置10通过简单的分析处理对由摄像头20拍摄的图像检测到图像内的对象物的异常的情况下,将图像发送给服务器100,服务器100使用收集到的图像,针对对象物的异常进行更详细的分析处理。
异常检测的对象物例如是道路。
此时,例如检测铺装的凹凸等道路状态的异常。更具体而言,存在道路上的白线缺损的状态、道路上的坑洼、以及井盖的破裂或偏移等异常。
另外,异常检测的对象物例如是信号机、以及设置在隧道的壁面这样的道路周边的结构物。
在这种情况下,例如检测信号机的损伤、以及隧道的壁面上的裂缝等道路周边的异常。
摄像头20是异常检测系统1中的拍摄装置的一个示例,搭载于多个不同的车辆。
摄像头20在时间上连续地从车辆拍摄车辆外部,输出所拍摄的图像。
图像由所拍摄的时刻不同的多个帧构成。
位置传感器30搭载于多个不同的车辆。
位置传感器30例如使用GPS技术每隔规定的时间测量车辆的位置,输出表示车辆的位置的位置信息。
信息收集装置10搭载于多个不同的车辆上,并与安装在车辆上的摄像头20和位置传感器30以可通信的方式连接。
另外,信息收集装置10通过通信网络与外部的服务器100以可通信的方式连接。
信息收集装置10收集用于经由通信网络向外部的服务器100发送的图像、以及表示拍摄到图像的位置的位置信息。
具体而言,信息收集装置10从摄像头20获取图像,并且从位置传感器30获取位置信息。获取到的位置信息表示拍摄了图像的地点的位置。
信息收集装置10使用图像和位置信息进行分析,当在图像内的对象物中检测到异常时,向服务器100发送图像和位置信息。
在图1中,分别示出了信息收集装置10-1、信息收集装置10-2、信息收集装置10-3、…、信息收集装置10-N(N为1以上的整数)。但是,在说明中,在不需要特别分开表示的情况下,仅记载为信息收集装置10。
信息收集装置10的详细结构将在后面叙述。
服务器100经由通信网络与多个信息收集装置10以可通信的方式连接。
服务器100分别从信息收集装置10收集用于分析图像内的对象物的异常的图像。
另外,服务器100对收集到的图像进行分析,检测图像内的对象物中的异常的详细情况。
具体而言,服务器100从多个不同的信息收集装置10分别接收图像和位置信息,存储图像和位置信息。
然后,例如,从位置信息所示的位置相同的多个图像中,使用图像和位置信息对图像进行分析,通过分析处理,检测在图像中拍摄的对象物中的异常的详细情况。
服务器100例如可以由云服务器实现,由此,也可以不具备物理的服务器。另外,能够构筑与作为分析对象的范围对应的适当规模的异常检测系统1。
对信息收集装置10的详细结构进行说明。
信息收集装置10包括图像获取部11、位置信息获取部12、资源状态获取部13、加工方法决定部14、图像加工部15、图像分析部16、通信控制部17和发送部18。
另外,信息收集装置10包括未图示的存储部102和控制部。
图像获取部11获取通过搭载在车辆上的拍摄装置对车辆的外部进行拍摄而得到的图像。
位置信息获取部12获取表示由图像获取部11获取的图像的拍摄位置(拍摄地点)的位置信息。
具体而言,位置信息获取部12在图像获取部11从拍摄装置获取图像时,从位置传感器30获取位置信息。
资源状态获取部13获取表示与对图像的加工处理的负荷相关的资源的状态的资源信息。
资源信息所示的资源的状态与进行加工处理的计算资源的状态、以及图像的分辨率等对图像的加工处理的负荷相关。例如,信息收集装置10所涉及的CPU使用率(以下也称为“CPU使用率”)、信息收集装置10所涉及的存储器使用率(以下也称为“存储器使用率”)、以及摄像头20的分辨率(以下简称为“分辨率”)中的至少一个。
资源状态获取部13向加工方法决定部14发送资源信息。
加工方法决定部14根据资源信息所示的资源的状态决定对图像的加工方法。
加工方法是对每个图像进行分割的分割数以及对每个被分割后的区域进行压缩的方式。
压缩方式是压缩率不同的多个压缩方式,例如可以仅为非压缩或压缩。
在说明中,将决定为非压缩的区域记载为“非压缩区域”,将决定为压缩的区域记载为“压缩区域”。
具体而言,加工方法决定部14按照CPU使用率、存储器使用率及分辨率中的每一个或组合,预先存储分割数及压缩方式。
加工方法决定部14根据CPU使用率、存储器使用率及分辨率中的至少一个来决定分割数。
另外,加工方法决定部14通过对每个被分割后的区域决定压缩方式,来决定非压缩区域和压缩区域。
针对非压缩区域的压缩方式是指,不进行压缩处理,而是按照由摄像头20拍摄到的图像所包含的信息量,以没有信息损耗的方式进行处理的方式。
但是,针对非压缩区域的压缩方式与针对压缩区域的压缩方式相比,只要是信息损耗变少、且数据尺寸变大的压缩方式即可。
针对压缩区域的压缩方式与针对非压缩区域的压缩方式相比,是信息损耗变多、且数据尺寸变小的压缩方式。
图2是表示决定实施方式1所涉及的信息收集装置10中的加工方法的基准的示例的图。
图2中示出了CPU使用率和存储器使用率的组合以及决定一个分割数和非压缩区域时的基准的示例。
图2中的Mod(rand,(分割数))表示将随机抽取出的自然数(rand)的值除以分割数时的余数。
加工方法决定部14参照图2所示的基准,根据资源信息决定分割数和非压缩区域。
加工方法决定部14例如在判定为CPU使用率小于40%且存储器使用率小于50%的情况下,将分割数决定为4,计算并决定表示分割后的4个区域中的任意一个区域的识别编号。
加工方法决定部14例如在判定为CPU使用率小于40%且存储器使用率在50%以上的情况下,将分割数决定为9,计算并决定表示分割后的9个区域中的任意一个区域的识别编号。
加工方法决定部14例如在判定为CPU使用率在40%以上80%以下且存储器使用率小于50%的情况下,将分割数决定为9,计算并决定表示分割后的9个区域中的任意一个区域的识别编号。
加工方法决定部14例如在判定为CPU使用率在40%以上80%以下且存储器使用率在50%以上的情况下,将分割数决定为16,计算并决定表示分割后的16个区域中的任意一个区域的识别编号。
加工方法决定部14例如在判定为CPU使用率超过80%且存储器使用率在小于50%的情况下,将分割数决定为16,计算并决定表示分割后的16个区域中的任意一个区域的识别编号。
加工方法决定部14例如在判定为CPU使用率超过80%且存储器使用率在在50%以上的情况下,将分割数决定为25,计算并决定表示分割后的25个区域中的任意一个区域的识别编号。
图像加工部15按照加工方法决定部14所决定的加工方法对图像进行加工。
具体而言,图像加工部15接收表示加工方法决定部14所决定的分割数以及分割后的每个区域的压缩方式的信息。
图像加工部15根据分割数对图像进行分割,根据表示每个区域的压缩方式的信息(非压缩区域或压缩区域),对非压缩区域进行处理,以使其没有信息损失,并对压缩区域进行压缩处理,以使数据尺寸变小。
图像加工部15在分割图像时,对分割后的各个区域标注识别编号。例如,对图像中的左上区域标注识别编号(0),对该右相邻的区域标注识别编号(1),以下同样地对右上区域标注识别编号。接着,对左上区域的正下方的区域标注识别编号,以下同样地对右上区域的正下方的区域标注识别编号。重复该操作,对到右下区域为止的所有区域标注识别编号。在分割数为9的情况下,识别编号为(0)至(8),在分割数为16的情况下(参照后述的图4),识别编号为(0)至(15)。以下,在说明中,将附加了识别编号(n)的区域也记载为区域(n)。
图像分析部16是异常检测系统1中的第一图像分析部。
图像分析部16分析由图像加工部15加工后的图像,并根据分析结果输出图像。
具体而言,图像分析部16从图像加工部15接收加工后的图像,对图像进行用于检测图像内的对象物的异常的分析处理。
用于从图像中检测出异常的分析处理本身是已知的技术,省略其详细说明。
作为分析处理的结果,图像分析部16生成表示每个区域是否包含异常的状态信息,输出包含异常的区域的图像和状态信息。
通信控制部17将由图像分析部16输出的图像以及由位置信息获取部12获取的位置信息经由发送部18以及通信网络发送到外部的服务器100。
具体而言,通信控制部17在图像及位置信息中附加指定外部的服务器100的信息,并向发送部18输出。
发送部18接收来自通信控制部17的指令,经由通信网络向服务器100发送图像及状态信息。
发送部18例如是通信调制解调器。
未图示的控制部进行信息收集装置10内的控制。
未图示的存储部例如暂时存储图像和位置信息。
对信息收集装置10的处理进行说明。在说明中,在使用了图2所示的基准的情况下,CPU使用率为60%,并且存储器使用率为60%。
图3是表示实施方式1所涉及的信息收集装置10的处理的流程图。
图4是表示信息收集装置10的处理的图像的图。
信息收集装置10基于起动或来自用户的开始操作,开始处理。
信息收集装置10获取图像并获取位置信息(步骤ST101)。
具体而言,当信息收集装置10中的图像获取部11从摄像头20获取图像,图像获取部11获取图像时,位置信息获取部12从位置传感器30获取位置信息。
图像获取部11输出所获取的图像。输出的图像被送到图像加工部15。
位置信息获取部12输出获取到的位置信息。输出的位置信息被送到通信控制部17。
资源状态获取部确认信息收集装置10内的CPU和存储器,获取包含CPU使用率和存储器使用率在内的资源信息(步骤ST102)。
资源状态获取部输出资源信息。
输出的资源信息被送到加工方法决定部14。
加工方法决定部14使用资源信息来决定加工方法(步骤ST103)。
具体而言,加工方法决定部14根据资源信息,识别为CPU使用率为60%,并且存储器使用率为60%。接着,加工方法决定部14参照图2所示的基准,将分割数决定为16。接着,加工方法决定部14从16个区域中选择1个区域,决定为非压缩区域。这里,假设决定了图4所示的区域(7)。
加工方法决定部14输出表示分割数“16”和非压缩区域“(7)”的加工方法信息。
输出的加工方法信息被送到图像加工部15。
图像加工部15通过加工方法决定部14所决定的加工方法对图像进行加工(步骤ST104)。
具体而言,图像加工部15接收加工方法信息,根据加工方法信息,获取分割数“16”和非压缩区域“(7)”。接着,如图4所示,图像加工部15对从图像获取部11接收到的图像1000分割成分割数“16”等分。接着,图像加工部15对分割后的区域从左上的区域到右下的区域依次标注(0)到(15)的识别编号。各区域的识别编号例如被附加到以区域为单位的数据的头部。接着,如图4所示,图像加工部15基于非压缩区域“(7)”,对区域(7)作为非压缩区域1001进行处理,并且,对区域(0)、区域(1)、区域(2)、区域(3)、区域(4)、区域(5)、区域(6)、区域(8)、区域(9)、区域(10)、区域(11)、区域(12)、区域(13)、区域(14)以及区域(15)作为压缩区域1002进行压缩处理。
图像加工部15输出加工后的图像1000。
输出的图像1000被发送到图像分析部16。
图像分析部16分析加工后的图像(步骤ST105)。
图像分析部16分析图像内的对象物是否存在异常,判定图像内的对象物是否存在异常(步骤ST106)。
图像分析部16在判定为存在异常的情况下(步骤ST106为“是”),将图像送到通信控制部17。
通信控制部17经由发送部18向服务器100发送图像以及位置信息(步骤ST107)。
图像分析部16在判定为没有异常的情况下(步骤ST106为“否”),将图像存储到未图示的存储部中(步骤ST108)。
存储在存储部中的图像也可以在规定时间后被废弃。
当步骤ST107或ST108的处理结束时,信息收集装置10中的未图示的控制部判定车辆是否行驶了规定距离(步骤ST109)。
未图示的控制部反复进行步骤ST109,直到车辆行驶了规定距离为止,若判定为车辆行驶了规定距离(步骤ST109为“是”),则控制为重复从步骤ST101起的处理。
对信息收集装置10的硬件结构进行说明。
假设信息收集装置10具备用于实现信息收集装置10中的上述结构部的功能的处理电路。处理电路可以是作为专用硬件的处理电路,也可以是执行存储于存储器的程序的处理器。
图5是表示包含信息收集装置10的信息收集系统的硬件结构的第一示例的图。
如图5所示,在处理电路是处理器2001的情况下,信息收集装置10中的上述结构部的各功能通过软件、固件或软件与固件的组合来实现。软件或固件以程序的形式来表述,并储存于存储器2002。处理器2001读取存储于存储器2002的程序并执行,从而实现各部的功能。即,信息收集装置10包括存储器2002,该存储器2002用于存储在由处理器2001来执行时最终执行图3等的流程图中所示的步骤的程序。另外,该程序也可以说是使计算机执行信息收集装置10中的上述结构部的步骤或方法的程序。
这里,处理器2001指CPU(Central Processing Unit:中央处理部)、处理装置、运算装置或微处理器等。
存储器2002例如可以是RAM(Random Access Memory:随机存取存储器)、ROM(ReadOnly Memory:只读存储器)、EPROM(Erasable Programmable ROM:可擦可编程只读存储器)、或闪存等非易失性或易失性的半导体存储器,也可以是硬盘、软盘等磁盘,也可以是CD(Compact Disc:压缩盘)或DVD(Digital Versatile Disc:数字通用盘)等光盘。
对于信息收集装置10中的上述结构部的各功能,也可以用专用的硬件实现一部分,用软件或固件实现一部分。由此,信息收集装置10中的上述结构部可以利用硬件、软件、固件或它们的组合来实现上述功能。
图6是表示包含信息收集装置10的信息收集系统的硬件结构的第二示例的图。
如图6所示,在处理电路为专用的硬件的情况下,处理电路2003例如相当于单一电路、复合电路、程序化处理器、并联程序化处理器、ASIC(Application SpecificIntegrated Circuit:专用集成电路)、FPGA(Field-Programmable Gate Array:现场可编程门阵列)或它们的组合。信息收集装置1010中的上述结构部的各功能可以由多个处理电路2003实现,也可以将各部的功能汇总在一个处理电路2003中实现。
如上所述,实施方式1所涉及的信息收集装置是收集用于从车辆经由通信网络向外部服务器发送的图像及位置信息的信息收集装置,构成为包括:获取通过搭载在车辆上的拍摄装置对车辆外部进行拍摄而得到的图像的图像获取部;获取表示由图像获取部获取的图像的拍摄位置的位置信息的位置信息获取部;获取表示与对图像的加工处理的负荷相关的资源的状态的资源信息的资源状态获取部;根据资源状态获取部获取的资源信息所表示的资源的状态来决定对图像的加工方法的加工方法决定部;根据加工方法决定部决定的加工方法,对图像进行加工的图像加工部;以及对图像加工部加工后的图像进行分析,并根据分析结果输出图像的图像分析部。
由此,起到如下效果:在收集图像时,能提供表示图像内的对象物的异常的信息不易丢失的信息收集装置。
另外,在信息收集装置中,构成为还包括通信控制部,该通信控制部通过通信网络将由图像分析部输出的图像以及由位置信息获取部获取的位置信息发送给外部服务器。
由此,起到如下效果:能够提供有效地实现从信息收集装置向服务器的信息收集的信息收集装置。
另外,在信息收集装置中,资源信息构成为至少包含一个表示CPU的性能、存储器容量以及拍摄装置的分辨率的信息。
由此,起到如下效果:根据信息收集装置的处理能力,能够提供不易丢失表示图像内的对象物的异常的信息的信息收集装置。
另外,在信息收集装置中,加工方法决定部构成为根据资源信息,决定图像的分割数以及每个被分割后的区域的压缩方式。
由此,起到如下效果:能够提供一种信息收集装置,其能够有效地抑制图像的数据尺寸,并且根据信息收集装置的处理能力,不容易丢失表示图像内的对象物的异常的信息。
实施方式1所涉及的信息收集方法是收集用于从车辆经由通信网络向外部服务器发送的图像及位置信息的信息收集方法,构成为:图像获取部获取通过搭载在车辆上的拍摄装置对车辆外部进行拍摄而得到的图像;位置信息获取部获取表示拍摄了图像的位置的位置信息;资源状态获取部获取表示与对图像的加工处理的负荷相关的资源的状态的资源信息;加工方法决定部根据资源信息所表示的资源的状态来决定对图像的加工方法;图像加工部根据加工方法决定部所决定的加工方法,对图像进行加工;以及图像分析部对图像加工部加工后的图像进行分析,并根据分析结果输出图像。
由此,起到如下效果:在收集图像时,能提供表示图像内的对象物的异常的信息不易丢失的信息收集方法、以及使用该方法的信息收集装置。
实施方式2
在实施方式1中,说明了信息收集装置10分别单独决定图像的加工方法的方式。
在实施方式2中,说明信息收集装置10’和服务器100’协作的方式。
在实施方式2所涉及的结构中,对于与实施方式1相同的结构,标注与实施方式1中使用的附图相同的符号,适当省略其说明。
图7是表示包含实施方式2所涉及的信息收集装置10’和服务器100’的异常检测系统1’的结构的图。
图7所示的异常检测系统1’由每个车辆搭载的信息收集装置10’、摄像头及位置传感器30、以及设置在车辆的外部的服务器100’构成。
在异常检测系统1’中,摄像头和位置传感器30与实施方式1的异常检测系统1中的摄像头和位置传感器30相同,省略其说明。
信息收集装置10’包括图像获取部11、位置信息获取部12、资源状态获取部13’、加工方法决定部14’、图像加工部15、图像分析部16、通信控制部17’和发送部18’。
图像获取部11、位置信息获取部12、图像加工部15、图像分析部16以及发送部18分别与实施方式1的信息收集装置10中的图像获取部11、位置信息获取部12、图像加工部15、图像分析部16以及发送部18相同,因此省略其说明。
资源状态获取部13’除了具有与实施方式1的资源状态获取部13的功能相同的功能之外,还具有向通信控制部17’发送资源信息的功能。
加工方法决定部14’具有与实施方式1的加工方法决定部14的功能相同的功能。
另外,加工方法决定部14’具有根据来自外部的服务器100’的指令信息决定加工方法的功能。
具体而言,加工方法决定部14’从通知控制部’接收指令信息,根据指令信息的内容决定不同的加工方法。
通信控制部17’具有与实施方式1的通信控制部17的功能相同的功能。
另外,通信控制部17’具有从资源状态获取部13’接收资源信息,经由发送部18和通信网络发送到服务器100’的功能。
另外,通信控制部17’具有从服务器100’经由通信网络及发送部18接收指令信息,并将接收到的指令信息向加工方法决定部14发送的功能。
服务器100’具有与实施方式1的服务器100的功能相同的功能。
除此以外,服务器100’具有当从信息收集装置10’通知了资源信息时,使用资源信息对信息收集装置10’中的图像的加工方法进行指令的功能。
对服务器100’的结构进行说明。
图8是表示实施方式2所涉及的服务器100’的结构的图。
图9是表示决定实施方式2所涉及的服务器100’中的加工方法的基准的示例的图。
如图8所示,服务器100’包括通信部101、存储部102、指令决定部103和图像分析部106。
通信部101从信息收集装置10’接收图像和位置信息。
另外,通信部101从信息收集装置10’按每个信息收集装置10’接收资源信息。
另外,通信部101将表示在服务器100’内决定的指令的指令信息发送给信息收集装置10’。
存储部102存储从信息收集装置10’接收到的图像和位置信息。
另外,存储部102存储决定加工方法的基准和收集履历。
图9是表示决定实施方式2所涉及的服务器100’中的加工方法的基准和收集履历的示例的图。
如图9所示,例如,对于地点A、地点B和地点C这样的每个位置信息,在存储部102中预先存储有第一分割数、第二分割数、第三分割数和收集履历信息。第一分割数是判定为信息收集装置10’的处理性能较低时的分割数,第二分割数是判定为信息收集装置10’的处理性能为标准时的分割数,第三分割数是判定为信息收集装置10’的处理性能较高时的分割数。
指令决定部103按照预先设定的指令的形式,决定“指令”、“全部指定加工方法”、“不指令”等内容的指令。
指令决定部103使用表示与信息收集装置10’中的对图像的加工处理的负荷相关的资源的状态的资源信息,将图像的分割数以及被分割后的多个区域中的一部分区域决定为压缩区域或非压缩区域。
具体而言,指令决定部103包括分割方法判断部104和指定区域选择部105。
分割方法判断部104在从信息收集装置10’接收到位置信息和资源信息后,使用位置信息和资源信息,参照存储在存储部102中的基准,决定图像的分割数。
具体而言,分割方法判断部104使用位置信息来确定拍摄地点。分割方法判断部104使用资源信息来判定信息收集装置10’的处理性能。分割方法判断部104使用位置信息和处理性能,根据图9所示的基准,决定分割数。
当分割方法判断部104决定图像的分割数时,指定区域选择部105使用收集履历来选择压缩区域或非压缩区域。
具体而言,指定区域选择部105在收集履历中,将在相同位置的图像中已收集的区域选择为压缩区域。
另外,指定区域选择部105也可以将预先决定的区域添加作为压缩区域。
图像分析部106是异常检测系统1中的第二图像分析部。
图像分析部106使用从多个信息收集装置10’分别收集到的图像,进行检测图像内的对象物的异常的分析处理。
图像分析部106进行比信息收集装置10’中的图像分析部16更详细的分析。
这里,对服务器100’针对信息收集装置10’的指令内容的示例进行说明。
服务器100’例如进行从如下的(1)到(5)的5种指令。
(1)根据在服务器100收集到的过去的信息,仅指定压缩区域
图10是表示从服务器100’向信息收集装置10’的指令内容的第一图像例的图。
在服务器100’中,指令决定部103在同一地点针对区域(7)及区域(1)收集非压缩的图像的情况下,决定指令以将区域(1)及区域(7)指定为压缩区域。
(2)仅指定静态压缩区域
图11是表示从服务器100’向信息收集装置10’的指令内容的第二图像例的图。
在图11中,区域(1)、区域(2)、区域(5)、区域(6)、区域(9)、区域(10)、区域(13)、区域(14)是预先固定在压缩区域中的区域。
在服务器100’中,指令决定部103在规定的地点固定有压缩区域的情况下,决定指令以将固定的区域指定为压缩区域。
接收到该指令的信息收集装置10’能够将指定的压缩区域以外的区域决定为非压缩区域。
(3)上述(1)和(2)的组合。
服务器100’除了静态指定的压缩区域之外,还追加根据从信息收集装置10’收集的信息所决定的压缩区域,进行指令。
(4)不指定分割数及压缩区域
不从服务器100’进行指定。
由此,在信息收集装置10’中,用根据资源信息所决定的加工方法加工图像。
(5)指定分割数及非压缩区域
从服务器100’发出指定分割数及非压缩区域的指令。
由此,在信息收集装置10’中,不进行决定分割数和非压缩区域的处理。
说明信息收集装置10’中的处理。
图12是表示实施方式2所涉及的信息收集装置10’的处理的示例的流程图。
信息收集装置10’基于起动或来自用户的开始操作,开始处理。
信息收集装置10’获取图像并获取位置信息(步骤ST101)。
具体而言,当信息收集装置10’中的图像获取部11从摄像头20获取图像,图像获取部11获取图像时,位置信息获取部12从位置传感器30获取位置信息。
图像获取部11输出所获取的图像。输出的图像被送到图像加工部15。
位置信息获取部12输出获取到的位置信息。输出的位置信息被送到通信控制部17。
资源状态获取部确认信息收集装置10’内的CPU和存储器,获取包含CPU使用率和存储器使用率在内的资源信息(步骤ST102)。
资源状态获取部输出资源信息。
通信控制部17’判定是否能够经由通信网络与外部的服务器100’进行通信(步骤ST201)。
在不能通信的情况下(步骤ST201为“否”),通信控制部17’等待来自服务器100’的指令信息的接收。
在能够通信的情况下(步骤ST201为“是”),通信控制部17’从位置信息获取部12获取位置信息,并且从资源状态获取部获取资源信息。
通信控制部17’经由发送部18和通信网络向服务器100’发送位置信息以及资源信息(步骤ST202)。
当执行步骤ST202的处理时,通信控制部17’等待来自服务器100’的指令信息的接收。
通信控制部17’从服务器100’接收指令信息(步骤ST203)时,向加工方法决定部14’发送指令信息。
加工方法决定部14’分析指令信息并判定指令内容(步骤ST204)。
加工方法决定部14’在判定为指令内容为“无指令”或“无指定区域”的情况下,前进至第一加工方法决定处理(步骤ST210)。
对第一加工方法决定处理的示例将在后面阐述。
加工方法决定部14’在指令内容为“仅指定压缩区域”的情况下,前进至第二加工方法决定处理(步骤ST220)。
对第二加工方法决定处理的示例将在后面阐述。
加工方法决定部14’在指令内容为“有分割数及压缩区域指定”的情况下,前进至第三加工方法决定处理(步骤ST230)。
对第三加工方法决定处理的示例将在后面阐述。
在加工方法决定部14’中,经过步骤ST210、步骤ST220或步骤ST230的处理,转移至步骤ST104的处理。
由于从步骤ST104到步骤ST109的各处理与实施方式1相同,因此省略其详细说明。
说明第一加工方法决定处理(步骤ST210)的示例。
在步骤ST210中,加工方法决定部14’与实施方式1中说明的步骤ST103同样,使用资源信息来决定加工方法。
加工方法决定部14’输出表示加工方法的加工方法信息。
接着,在信息收集装置10’中,转移至步骤ST104的处理。
说明第二加工方法决定处理(步骤ST220)的示例。
图13是表示图12中的步骤ST220的处理的示例的流程图。
加工方法决定部14’首先使用资源信息来决定加工方法(步骤ST221)。
具体而言,根据资源信息来决定分割数,从被分割的区域中所指定的压缩区域以外的区域中,决定非压缩区域。
判定所选择的非压缩区域是否与所指定的压缩区域重复(步骤ST222)。
加工方法决定部14’在步骤ST222中判定为重复的情况下(步骤ST222为“否”),
使重复次数递增(步骤ST223)。
加工方法决定部14’判定重复次数是否与决定的加工方法中的分割数相同(重复次数=分割数?)(步骤ST224)。
重复次数不是与在步骤ST221中决定的加工方法中的分割数相同的数的情况下(步骤ST224为“否”),返回步骤ST221。
重复次数是与在步骤ST221中所决定的加工方法中的分割数相同的数的情况下(步骤ST224为“是”),变更分割数(步骤ST225)。
接着,复位重复次数(步骤ST226),返回步骤ST221。
在信息收集装置10’中,在判定为步骤ST222不重复的情况下(步骤ST222为“否”),转移至步骤ST104的处理。
说明第三加工方法决定处理(步骤ST230)的示例。
图14是表示图12中的步骤ST230的处理的示例的流程图。
加工方法决定部14’根据指定内容来决定加工方法(步骤ST231)。
当决定了加工方法时,信息收集装置10’转移至步骤ST104的处理。
说明服务器100’中的处理。这里,说明使用图9所示的基准及收集履历的处理。
图15是表示实施方式2所涉及的服务器100’中的处理的流程图。
服务器100’等待来自信息收集装置10’的通知(步骤ST301)。
当从信息收集装置10’接收到位置信息和资源信息(步骤ST302)时,指令决定部103判定当前的设定内容(步骤ST303)。
在当前的设定内容为“不指令”的情况下,返回步骤ST301。
在当前的设定内容为“指令”的情况下,指定区域选择部使用收集履历和预先确定的区域信息来决定压缩指定区域(步骤ST304)。接着,转移至步骤ST310的处理。
在当前的设定内容为“全部指定加工方法”的情况下,分割方法判断部基于资源信息来判定信息收集装置10’中的处理性能(步骤ST305)。
当在步骤ST305中判定处理性能为“较高”时,分割方法判断部决定为第三分割数(步骤ST306)。
当在步骤ST305中判定处理性能为“标准”时,分割方法判断部决定为第二分割数(步骤ST307)。
当在步骤ST305中判定处理性能为“较低”时,分割方法判断部决定为第一分割数(步骤ST308)。
接着,指定区域选择部使用收集履历,根据分割数,从还未收集的区域中决定未收集区域(步骤ST309)。
接着,转移至步骤ST310的处理。
在步骤ST310中,通信部101从指令决定部103接收指令信息,向信息收集装置10’发送指令信息。
与此同时,在信息收集装置10’中,进行基于指令信息的处理,发送图像。
然后,服务器100’从信息收集装置10’接收位置信息和图像(步骤ST311)。
接着,确认当前的设定(步骤ST312)。
在当前的设定为“反映在履历中”的情况下,指令决定部103反映在收集履历中(步骤ST313)。
在当前的设定为“不反映在履历中”的情况下,不变更收集履历而返回步骤ST301的处理。
实施方式2所涉及的信息收集设备10’和服务器100’的硬件结构与实施方式1的硬件结构相同,因此省略其描述。
以上的实施方式2所涉及的信息收集装置在实施方式1的基础上,通信控制部还将资源状态获取部所获取的资源信息向外部服务器发送,发送后,从外部服务器接收信息收集方法的指令,加工方法决定部按照通信控制部所接收到的信息收集方法的指令,决定加工方法。
由此,能够提供在与服务器之间有效地收集信息的信息收集装置。
以上的实施方式2所涉及服务器是从搭载在车辆上的信息收集装置经由通信网络收集图像及位置信息的服务器,构成为包括:指令决定部,该指令决定部从信息收集装置接收到表示与对图像的加工处理的负荷相关的资源的状态的资源信息时,使用资源信息,将图像的分割数及图像被分割后的多个区域中的一部分区域决定为压缩区域或非压缩区域;以及通信部,该通信部向信息收集装置通知由指令决定部决定的分割数及区域。
由此,起到如下效果:在收集图像时,能提供表示图像内的对象物的异常的信息不易丢失的服务器。
本公开在其公开的范围内,能够自由组合各实施方式,或者将各实施方式的任意构成要素进行变形,或者也可以在各实施方式中省略任意的构成要素。
工业上的实用性
本公开所涉及的信息收集装置适用于收集从车辆拍摄车辆外部得到的图像的异常检测系统等。
标号说明
1、1’异常检测系统,10、10-1、10-2、10-3、10-N、10’、10’-1、10’-2、10’-3、10’-N信息收集装置,11图像获取部,12位置信息获取部,13、13’资源状态获取部,14、14’加工方法决定部,15图像加工部,16图像分析部,17、17’通信控制部,18发送部,20摄像头(拍摄装置),30位置传感器,100、100’服务器,101通信部,102存储部,103指令决定部,104分割方法判断部,105指定区域选择部,106图像分析部,1000图像,1001非压缩区域,1002压缩区域,2001处理器,2002存储器,2003处理电路。

Claims (7)

1.一种信息收集装置,收集用于从车辆经由通信网络向外部服务器发送的图像及位置信息,所述信息收集装置的特征在于,包括:
获取通过搭载在车辆上的拍摄装置对车辆外部进行拍摄而得到的图像的图像获取部;
获取表示由所述图像获取部获取的图像的拍摄位置的位置信息的位置信息获取部;
获取表示与对图像的加工处理的负荷相关的资源的状态的资源信息的资源状态获取部;
根据所述资源状态获取部获取的资源信息所表示的资源的状态来决定对图像的加工方法的加工方法决定部;
根据所述加工方法决定部所决定的加工方法,对图像进行加工的图像加工部;以及
对所述图像加工部加工后的图像进行分析,并根据分析结果输出图像的图像分析部。
2.如权利要求1所述的信息收集装置,其特征在于,
还包括通信控制部,该通信控制部通过通信网络将由所述图像分析部输出的图像以及由所述位置信息获取部获取的位置信息发送给外部服务器。
3.如权利要求1所述的信息收集装置,其特征在于,
所述资源信息包含至少一个表示CPU性能、存储器容量及拍摄装置的分辨率的信息。
4.如权利要求1所述的信息收集装置,其特征在于,
所述加工方法决定部根据所述资源信息,决定图像的分割数及每个被分割后的区域的压缩方式。
5.如权利要求1所述的信息收集装置,其特征在于,
所述通信控制部将所述资源状态获取部获取到的资源信息向外部服务器发送,发送后,从外部服务器接收信息收集方法的指令,
所述加工方法决定部根据所述通信控制部所接收到的信息收集方法的指令,决定加工方法。
6.一种服务器,
经由通信网络从搭载于车辆的信息收集装置收集图像及位置信息,所述服务器的特征在于,包括:
指令决定部,该指令决定部从所述信息收集装置接收到表示与对图像的加工处理的负荷相关的资源的状态的资源信息时,使用所述资源信息,将图像的分割数及图像被分割后的多个区域中的一部分区域决定为压缩区域或非压缩区域;以及
通信部,该通信部向所述信息收集装置通知由所述指令决定部所决定的分割数及区域。
7.一种信息收集方法,
通过收集用于从车辆经由通信网络向外部服务器发送的图像及位置信息的信息收集装置的信息收集方法,所述信息收集方法的特征在于,
图像获取部获取通过搭载在车辆上的拍摄装置对车辆外部进行拍摄而得到的图像;
位置信息获取部获取表示拍摄了图像的位置的位置信息;
资源状态获取部获取表示与对图像的加工处理的负荷相关的资源的状态的资源信息;
加工方法决定部根据所述资源信息所表示的资源的状态来决定对图像的加工方法;
图像加工部通过所述加工方法决定部所决定的加工方法对图像进行加工;以及
图像分析部分析由所述图像加工部加工后的图像,根据分析结果输出图像。
CN202180096462.6A 2021-04-09 2021-04-09 信息收集装置、服务器及信息收集方法 Pending CN117083850A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/015003 WO2022215245A1 (ja) 2021-04-09 2021-04-09 情報収集装置、サーバ、および、情報収集方法

Publications (1)

Publication Number Publication Date
CN117083850A true CN117083850A (zh) 2023-11-17

Family

ID=83545780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180096462.6A Pending CN117083850A (zh) 2021-04-09 2021-04-09 信息收集装置、服务器及信息收集方法

Country Status (5)

Country Link
US (1) US20240144693A1 (zh)
JP (1) JPWO2022215245A1 (zh)
CN (1) CN117083850A (zh)
DE (1) DE112021007480T5 (zh)
WO (1) WO2022215245A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011029868A (ja) * 2009-07-24 2011-02-10 Ricoh Co Ltd 端末装置、遠隔会議システム、端末装置の制御方法、端末装置の制御プログラム、及び端末装置の制御プログラムを記録したコンピュータ読み取り可能な記録媒体
JP5460239B2 (ja) * 2009-10-29 2014-04-02 三菱電機株式会社 スクリーン記録装置
WO2013099489A1 (ja) * 2011-12-28 2013-07-04 日産自動車株式会社 監視システム
JP6073075B2 (ja) * 2012-05-17 2017-02-01 クラリオン株式会社 車載カメラシステム及びこれに用いる映像受信装置
JP2015061108A (ja) * 2013-09-17 2015-03-30 株式会社リコー 通信システム、通信装置および方法
JP2019028368A (ja) * 2017-08-02 2019-02-21 株式会社ソニー・インタラクティブエンタテインメント レンダリング装置、ヘッドマウントディスプレイ、画像伝送方法、および画像補正方法
JP6737253B2 (ja) 2017-09-05 2020-08-05 株式会社デンソー 画像処理装置
JP6683280B1 (ja) * 2018-10-19 2020-04-15 ソニー株式会社 センサ装置、信号処理方法

Also Published As

Publication number Publication date
DE112021007480T5 (de) 2024-02-01
US20240144693A1 (en) 2024-05-02
JPWO2022215245A1 (zh) 2022-10-13
WO2022215245A1 (ja) 2022-10-13

Similar Documents

Publication Publication Date Title
KR101703931B1 (ko) 감시 시스템
EP1984892B1 (en) Foreground/background segmentation in digital images
JP4961965B2 (ja) 被写体追跡プログラム、被写体追跡装置、およびカメラ
JP4876065B2 (ja) 動きベクトル検出装置及び動きベクトル検出方法及び撮像装置及びプログラム
JP5620990B2 (ja) 形状抽出方法及び装置、並びに寸法測定装置及び距離測定装置
KR20150032630A (ko) 촬상 시스템에 있어서의 제어방법, 제어장치 및 컴퓨터 판독 가능한 기억매체
CN109509274B (zh) 使驾驶员辅助系统的环境信息数据减少的方法和设备
JP5530484B2 (ja) 運行状況記憶装置
US20190230269A1 (en) Monitoring camera, method of controlling monitoring camera, and non-transitory computer-readable storage medium
JP5255182B2 (ja) 運行状況記憶装置
CN117083850A (zh) 信息收集装置、服务器及信息收集方法
US20210182593A1 (en) Image Evaluation Device, Image Evaluation Method, And Image Evaluation Program
CN109643437B (zh) 图像处理装置、立体照相机装置以及图像处理方法
CN111985438A (zh) 一种静态人脸处理方法、装置及设备
JP2012527801A (ja) デジタル画像を撮像する方法及び撮像装置
CN111201785B (zh) 图像共享辅助装置、图像共享系统及图像共享辅助方法
CN110770806A (zh) 终端装置及收集方法
WO2020174834A1 (ja) 変位・重量対応付け装置
US8004569B2 (en) Method and apparatus for obtaining still image frame with anti-vibration clearness for image processing device
CN116168045B (zh) 扫变镜头的分割方法和系统、存储介质及电子设备
WO2024029382A1 (ja) 信号処理装置、信号処理方法
JP6091079B2 (ja) 制御装置、制御方法及びプログラム
JP6705486B2 (ja) 被写体検知装置、システム、方法およびプログラム
CN115690726A (zh) 数据处理方法、装置、设备、介质及车辆
CN117546461A (zh) 图像处理系统和摄像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination