CN103650485A - 车辆用监视装置、车辆用监视系统、终端装置以及车辆的监视方法 - Google Patents

车辆用监视装置、车辆用监视系统、终端装置以及车辆的监视方法 Download PDF

Info

Publication number
CN103650485A
CN103650485A CN201280034489.3A CN201280034489A CN103650485A CN 103650485 A CN103650485 A CN 103650485A CN 201280034489 A CN201280034489 A CN 201280034489A CN 103650485 A CN103650485 A CN 103650485A
Authority
CN
China
Prior art keywords
mentioned
vehicle
monitoring picture
monitoring
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280034489.3A
Other languages
English (en)
Inventor
高野照久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of CN103650485A publication Critical patent/CN103650485A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19663—Surveillance related processing done local to the camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/305—Detection related to theft or to other events relevant to anti-theft systems using a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654—Details concerning communication with a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19647—Systems specially adapted for intrusion detection in or around a vehicle

Abstract

提供一种车辆监视系统(1000)，其具备控制装置(10)、通信装置(400)以及外部的终端装置(800)，其中，该控制装置(10)实现以下功能：监视图像生成功能，生成一张监视图像，该监视图像是将沿着右旋转或者左旋转的方向设置于车辆(V)的车身的外周的摄像头(1)的摄像图像按照该摄像头(1)的设置顺序配置而得到的；映射信息附加功能，对监视图像附加映射信息，该映射信息用于将所生成的监视图像(K)投影到被设定于以车辆(V)的载置面为底面的柱体的投影模型(M)的侧面的投影面(S)；以及发送功能，将包含附加有映射信息的监视图像(K)的信息发送到外部的终端装置(800)。

Description

车辆用监视装置、车辆用监视系统、终端装置以及车辆的监视方法
技术领域
本发明涉及利用设置于车辆的摄像头来监视车辆的周围的车辆用监视装置、车辆用监视系统、终端装置以及车辆的监视方法。
本申请主张2011年7月12日申请的日本专利申请的特愿2011-153725和2011年7月12日申请的日本专利申请的特愿2011-153735的优先权，针对文献参照中记载的指定国，通过参照而将上述申请中记载的内容编入本申请，来作为本申请的记载的一部分。
背景技术
关于这种装置，已知如下一种防盗装置：在检测到由车门的接触传感器等检测出的来自外部的刺激的情况下，使摄像头对周围进行拍摄，将其图像信息传送到外部的便携式电话等(专利文献1)。
专利文献1：日本特开2006-107279号公报
发明内容
发明要解决的问题
然而，在将设置于车辆的多个摄像头的摄像图像作为运动图像进行发送的情况下，存在以下问题：由于接收侧的装置的功能而无法同时再现多个运动图像，所获取到的摄像图像的一部分不能被有效地利用。
本发明要解决的问题是生成如下的监视图像：虽然基于多个摄像图像生成，但能够与进行接收的终端装置侧所具备的功能无关地在终端装置侧同时再现为运动图像。
用于解决问题的方案
本发明通过向外部的终端装置发送如下的一张监视图像和映射信息来解决上述问题，该监视图像是将由多个摄像头拍摄到的摄像图像按照摄像头的设置的顺序进行配置而得到的，该映射信息用于将该监视图像投影到被设定于柱体的投影模型的侧面的投影面上。
发明的效果
根据本发明，接收到所发送来的监视图像的外部的终端装置能够基于映射信息，将以摄像头的设置顺序配置多个摄像图像而得到的一张监视图像一连串(连在一起)地投影到被设定于柱体的侧面的投影面上，因此能够与各终端装置所具备的功能无关地将根据摄像方向不同的多个摄像图像生成的监视图像再现为运动图像。其结果是，不会浪费由多个摄像头得到的各摄像图像的信息，能够作为用户的监视用的图像而有效地利用。
附图说明
图1是包括本发明所涉及的第一实施方式的监视装置的车辆监视系统的结构图。
图2是表示摄像头的设置例的图。
图3是表示摄像头的配置例的另一个图。
图4是表示前摄像头的摄像图像的一例的图。
图5是表示右侧摄像头的摄像图像的一例的图。
图6是表示后摄像头的摄像图像的一例的图。
图7是表示左侧摄像头的摄像图像的一例的图。
图8是表示基于多个摄像图像生成的监视图像的一例的图。
图9是用于说明监视图像的失真校正处理的图。
图10是表示本实施方式的投影模型的一例的示意图。
图11是沿着图10所示的投影模型的xy面的剖面示意图。
图12是表示终端装置的显示器中示出的显示图像的一例的第一图。
图13是表示终端装置的显示器中示出的显示图像的一例的第二图。
图14是表示终端装置的显示器中示出的显示图像的一例的第三图。
图15是表示终端装置的显示器中示出的显示图像的一例的第四图。
图16是表示终端装置的显示器中示出的显示图像的一例的第五图。
图17是表示终端装置的显示器中示出的显示图像的一例的第六图。
图18是表示终端装置的显示器中示出的显示图像的一例的第七图。
图19是表示终端装置的显示器中示出的显示图像的一例的第八图。
图20是表示车辆用监视装置的控制过程的流程图。
图21是包括本发明所涉及的第二实施方式的监视装置的车辆监视系统的结构图。
图22是表示摄像头和传感器的设置例的图。
图23是与图8对应的图，是表示基于各摄像头的摄像图像生成的其它监视图像的例子的图。
图24是表示正视监视对象物体时的显示图像的一例的图。
图25是用于说明图21所示的显示图像的旋转处理的图。
图26是表示本发明所涉及的第二实施方式的车辆用监视装置的控制过程的流程图。
具体实施方式
<第一实施方式>
下面，基于附图来说明本发明的第一实施方式。在本实施方式中，以将本发明所涉及的车辆用监视装置适用于监视车辆的监视装置100、具备该监视装置的车辆监视系统1000的情况为例进行说明。此外，本发明所涉及的车辆用监视装置的监视对象并不限定于车辆，还能够监视二轮车、船、重型设备、叉式升降机等移动体。
图1是包括本实施方式所涉及的监视装置100的车辆监视系统1000的块状结构图。如图1所示，本实施方式的车辆监视系统1000具备设置于车辆的四个摄像头1a～1d(以下，有时也统称为摄像头1)。
图2是表示将摄像头1a～1d安装于车辆V时的配置例的图。使用CCD(Charge Coupled Devices：光电耦合器件)等摄像元件来构成摄像头1a～1d，该摄像头1a～1d被分别设置在车辆V的外部的不同的位置处，来分别拍摄车辆周围的四个方向的图像。例如，如图2所示，设置在前格栅部分等车辆V的前方的规定位置处的摄像头1a对车辆V的前方的区域SP1内及其前方的空间内存在的物体或者路面的图像(前视图(front view)图像)。设置在左后视镜部分等车辆V的左侧方的规定位置处的摄像头1d对车辆V的左侧方的区域SP2内及其周围的空间内存在的物体或者路面的图像(左侧视图图像)进行拍摄。设置在后围(Rear finisher)部分、车顶扰流器部分等车辆V的后部(后方)的规定位置处的摄像头1c对车辆V的后方的区域SP3内及其后方的空间内存在的物体或者路面的图像(后视图图像)进行拍摄。设置在右后视镜部分等车辆V的右侧方的规定位置处的摄像头1b对车辆V的右侧方的区域SP4内及其周围的空间内存在的物体或者路面的图像(右侧视图图像)进行拍摄。控制装置10分别获取由摄像头1a～1d拍摄到的摄像图像。
图3是从车辆V的上空看各摄像头1a～1d的配置而得到的图。如图3所示，拍摄区域SP1的摄像头1a、拍摄区域SP4的摄像头1b、拍摄区域SP3的摄像头1c以及拍摄区域SP2的摄像头1d沿着车辆V的车身的外周VE按右旋转(顺时针)或者左旋转(逆时针)进行设置。也就是说，当按图3中用箭头C表示的右旋转(顺时针)沿着车辆V的车身的外周VE看时，在摄像头1a的右侧设置有摄像头1b，在摄像头1b的右侧设置有摄像头1c，在摄像头1c的右侧设置有摄像头1d，在摄像头1d的右侧设置有摄像头1a。当按与图3所示的箭头C的方向相反(逆时针)的方向沿着车辆V的车身的外周VE看时，在摄像头1a的左侧设置有摄像头1d，在摄像头1d的左侧设置有摄像头1c，在摄像头1c的左侧设置有摄像头1b，在摄像头1b的左侧设置有摄像头1a。
图4是表示前摄像头1a拍摄区域SP1而得到的摄像图像GSP1的一例的图，图5是表示右侧摄像头1b拍摄区域SP4而得到的摄像图像GSP4的一例的图，图6是表示后摄像头1c拍摄区域SP3而得到的摄像图像GSP3的一例的图，图7是表示左侧摄像头1d拍摄区域SP2而得到的摄像图像GSP2的一例的图。顺便提一下，各摄像图像的图像尺寸是480像素(宽)×640像素(长)。对摄像图像的尺寸不作特别地限定，但能够设为普通的终端装置能够进行运动图像再现的尺寸。
此外，能够与车辆V的大小、形状、检测区域的设定方法等相应地适当决定摄像头1的配置数以及配置位置。上述多个摄像头1被附加与各自的地址(配置)相应的标识符，控制装置10能够基于各标识符来识别各摄像头1。另外，通过附加标识符，控制装置10能够对特定的摄像头1发送启动命令及其它命令。
另外，本实施方式的车辆监视系统1000还具有监视装置100、车辆控制器200、通信装置400以及外部的终端装置800。该车辆监视系统1000能够具备点火开关300，该点火开关300能够与车辆控制器200进行信息的交换。这些各装置能够通过CAN(Controller Area Network：控域网)及其它车载LAN(局域网)进行连接，来互相进行信息的交换。
在本实施方式的车辆监视系统1000中，监视装置100能够经由通信装置400与具备便携式电话、智能手机及其它通信装置810的外部的终端装置800(计算机)互相通信。本实施方式的外部的终端装置800具备通信装置810、图像处理装置820以及显示器830，通信装置810从车载的监视装置100侧获取监视图像，图像处理装置820执行显示所需的图像处理，显示器830显示监视图像。携带外部的终端装置800的用户能够使用外部的终端装置800确认从监视装置100发送来的车辆的监视图像。
另外，如图1所示，本实施方式所涉及的监视装置100的控制装置10具备：ROM(Read Only Memory：只读存储器)12，其存储有以下程序：生成基于多个监视图像生成的监视图像，并且将用于使该监视图像投影到被设定于柱体的投影模型的侧面的投影面的映射信息与监视图像对应关联，将监视图像和映射信息发送到外部的终端装置800；作为动作电路的CPU(CentralProcessing Unit：中央处理单元)11，其通过执行存储于该ROM12的程序，来作为监视装置100发挥功能；以及RAM(Random Access Memory：随机存储器)13，其作为可访问的存储装置而发挥功能。
本实施方式所涉及的监视装置100的控制装置10通过用于实现监视图像生成功能、映射信息附加功能以及发送功能的软件与上述硬件的协作，能够执行各功能。在本实施方式中，以控制装置10发送各控制命令的方式为例进行说明，但本实施方式的控制装置10还能够经由车辆控制器200控制摄像头1、通信装置400。
下面，对由本发明的本实施方式所涉及的监视装置100实现的监视图像生成功能、映射信息附加功能以及发送功能各功能进行说明。
首先，说明监视图像生成功能。本实施方式的监视装置100的控制装置10分别获取各摄像头1的摄像图像，将沿着车辆V的车身的外周按右旋转或者左旋转的方向设置的摄像头1的摄像图像按照该摄像头1的设置的顺序进行配置，来生成一张监视图像。
如上所述，在本实施方式中，沿着车辆V的车身的外周VE按右旋转(顺时针)以摄像头1a、1b、1c、1d的顺序设置摄像头1，因此控制装置10按照该摄像头1的设置的顺序(摄像头1a、1b、1c、1d)将由各摄像头1拍摄到的多个摄像图像横向地连接以使各图像成为一体，从而生成一张监视图像。在本实施方式的监视图像中，各摄像图像被配置为使车辆V的载置面(路面)成为下边，利用相对于路面的高度方向(垂直方向)的边将各摄像图像相连接。
图8是表示监视图像K的一例的图。如图8所示，本实施方式的监视图像K是以如下方式生成：沿着从附图左侧向附图右侧的方向P，将前摄像头1a拍摄区域SP1而得到的摄像图像GSP1、右侧摄像头1b拍摄区域SP4而得到的摄像图像GSP4、后摄像头1c拍摄区域SP3而得到的摄像图像GSP3以及左侧摄像头1d拍摄区域SP2而得到的摄像图像GSP2以GSP1、GSP4、GSP3、GSP2的顺序从左向右横向地并排配置，并将这四个摄像图像连成一串(连在一起)。也就是说，监视图像K包含横向地排成一列的摄像图像GSP1、摄像图像GSP4、摄像图像GSP3、摄像图像GSP2。
使与路面(车辆的载置面)对应的图像在下方并且从左端向右侧依次表示以这种方式生成的监视图像K，由此能够向用户呈现顺时针环视车辆V的周围时观察到的影像。
当生成一个监视图像K时，本实施方式的监视装置100的控制装置10能够使用各摄像头1的摄像时刻大致相同的各摄像图像。由此，能够使监视图像K中包含的信息同步，因此能够准确地表现规定时刻的车辆周围的状况。顺便提一下，在同一个监视图像K中包含的车辆前方的摄像图像GSP1与车辆右侧方的摄像图像GSP4的摄像时刻不同的情况下再现监视图像K时，同时再现不同摄像时刻的图像，因此给看该监视图像的用户带来不适感，但本实施方式的监视装置100使用大致同时拍摄到的摄像图像来生成监视图像K，因此不会造成这样的不适感。
本实施方式的控制装置10能够随时间存储根据摄像头的摄像时刻大致相同的各摄像图像生成的监视图像K，每隔规定的单位时间生成包含多个监视图像K的运动图像的监视图像K。通过基于摄像时刻相同的摄像图像来生成运动图像的监视图像K，能够准确地表现车辆周围的状况的变化。
另外，在分别随时间存储各摄像区域的摄像图像，将按各摄像区域生成的运动图像的监视图像K发送到终端装置的情况下，由于终端装置的功能而有时无法同时再现多个运动图像。在这种以往的终端装置中，不能同时再现显示多个运动图像，因此当再现各运动图像时必须切换画面并一个接一个地再现运动图像。也就是说，在以往的终端装置中存在以下不便：不能同时看多个方向的影像(运动图像)，不能用一个画面来监视车辆周围的整体。
与此相对地，本实施方式的控制装置10根据多个摄像图像生成一个监视图像K，因此能够与终端装置800的功能无关地同时对不同摄像方向的摄像图像进行运动图像再现。也就是说，通过连续地再现(运动图像再现)监视图像K，能够同时连续地再现(运动图像再现)监视图像K中包含的四个摄像图像，从而能够用一个画面来监视方向不同的区域的状态变化。
另外，本实施方式的监视装置100的控制装置10能够以使监视图像K的像素数与各摄像头1的摄像图像的像素数大致相同的方式压缩图像的数据量，来生成监视图像K。图4～图7所示的各摄像图像的尺寸是480×640像素。在本实施方式中，如图8所示，本实施方式的控制装置10进行压缩处理以使监视图像K的尺寸为1280×240像素。由此，监视图像K的尺寸(1280×240像素)与各摄像图像的尺寸(480×640像素)相等，因此能够与接收到监视图像K的终端装置800侧的功能无关地执行图像处理以及图像再现。
并且，本实施方式的监视装置100的控制装置10能够对监视图像K附加表示所配置的各摄像图像的边界的线图形。如果以图8所示的监视图像K为例，则作为表示所配置的各摄像图像的边界的线图形，控制装置10能够在各摄像图像之间对监视图像K附加矩形的分隔图像Bb、Bc、Bd、Ba。
这样，通过在摄像图像的边界配置分隔图像，能够对构成一体的监视图像K的、摄像方向不同的各监视图像K分别独立地进行识别。也就是说，分隔图像作为各摄像图像的边框而发挥功能。另外，在各摄像图像的边界附近图像的失真大，因此通过在摄像图像的边界配置分隔图像，能够隐藏失真大的区域的图像、暗示失真大。
本实施方式的监视装置100的控制装置10能够在对使摄像图像投影到被设定于后述的投影模型的侧面的投影面时的失真进行校正之后，生成监视图像K。在摄像图像的周边区域容易产生图像的失真，特别是在摄像头1为广角摄像头的情况下存在摄像图像的失真变大的趋势。因此，在本实施方式中，使用为了校正图像的失真而预先定义的图像转换算法和校正量来校正摄像图像的失真。
虽然不作特别地限定，如图9所示，控制装置10能够从ROM12读出与在终端装置800中使监视图像K投影的投影模型相同的投影模型的信息，将摄像图像投影到该投影模型的投影面，预先对在投影面上产生的失真进行校正。此外，能够与摄像头1的特性、投影模型的形状相应地适当定义图像转换算法和校正量，能够利用申请时已知的方法。
这样，通过预先对图像K投影到投影模型的投影面时的失真进行校正，能够提供失真少的容易看清的监视图像K。另外，通过预先校正失真，能够使并排配置的各摄像图像之间的位置偏差减小。
接着，对本实施方式的监视装置100的映射信息附加功能进行说明。在本实施方式的监视装置100中，控制装置10能够将映射信息与监视图像K对应关联，该映射信息用于将所生成的监视图像K投影到被设定于以车辆V的载置面作为底面的柱体的投影模型M的侧面的投影面上。
图10是表示本实施方式的投影模型M的一例的图，图11是沿着图10所示的投影模型M的xy面的剖面示意图。
如该图所示，本实施方式的投影模型M是底面为八边形、沿着铅垂方向(图中z轴方向)具有高度的立体的八棱柱体。只要是沿着底面的、边界具有相邻的侧面的柱体，就不对投影模型M的形状作特别地限定，还能够设为圆柱体、三棱柱体、四棱柱体、六棱柱体等棱柱体、圆柱体、或者底面为多边形而侧面为三角形的反棱柱体。
另外，如该图所示，本实施方式的投影模型M的底面与车辆V的载置面平行。另外，在投影模型M的侧面的内侧面设定了载置于投影模型M的底面上用于映出车辆V的周围的影像的投影面Sa、Sb、Sc、Sd(以下，有时也统称为投影面S)。投影面S还能够由投影面Sa的一部分与投影面Sb的一部、投影面Sb的一部分与投影面Sc的一部分、投影面Sc的一部分与投影面Sd的一部分、投影面Sd的一部分与投影面Sa的一部分构成。监视图像K作为从包围车辆V的投影模型M的上方的视点R(R1～R8，以下，有时也统称为视点R)向下看车辆V而得到的影像而被投影到投影面S上。
本实施方式的监视装置100的控制装置10能够将配置于右端或者左端的摄像图像的基准坐标作为映射信息来与监视图像K对应关联。如果以图8所示的监视图像K为例，则作为表示投影到投影模型M时的监视图像K的起点位置或者终点位置的映射信息(基准坐标)，控制装置10能够对监视图像K附加配置在右端的摄像图像GSP1的左上顶点的坐标A(x、y)。同样地，作为表示监视图像K的起点位置或者终点位置的映射信息，监视装置10能够对监视图像K附加配置在左端的摄像图像GSP2的右上顶点的坐标B(x、y)。对表示起点位置或者终点位置的摄像图像的基准坐标不作特别地限定，还能够设为配置在左端的监视图像K的左下顶点或者配置在右端的监视图像K的右下顶点。此外，关于映射信息，既可以附加于监视图像K的图像数据的各像素，还能够作为与监视图像K不同的文件进行管理。
这样，将表示监视图像K的起点位置或者终点位置的信息、即在投影处理中作为基准的基准坐标作为映射信息与监视图像K对应关联，由此接收到监视图像K的终端装置800能够使用户识别最初和/或者投影处理时的基准位置，因此能够将按摄像头1的配置顺序排列的监视图像K依次投影到投影模型M的侧面的投影面S上。能够将车辆前方的摄像图像GSP1投影到位于摄像头1a的摄像方向的投影面Sa，将车辆右侧方的摄像图像GSP4投影到位于摄像头1b的摄像方向的投影面Sb，将车辆后方的摄像图像GSP3投影到位于摄像头1c的摄像方向的投影面Sc，将车辆左侧方的摄像图像GSP2投影到位于摄像头1d的摄像方向的投影面Sd。
由此，投影到投影模型M的监视图像K正好能够表示环视车辆V的周围时观察到的影像。也就是说，包含与摄像头1的设置顺序相应地横向地配置成一列的摄像图像的监视图像K在投影模型M的柱体中同样被投影到横向地排列的侧面，因此能够在投影到柱体的投影模型M的投影面S上的监视图像K中以维持其位置关系的状态再现车辆V的周围的影像。
另外，本实施方式的控制装置10能够存储监视图像K的各坐标值与投影模型M的各投影面S的坐标值的对应关系，来作为映射信息，并附加于监视图像K，但也能够预先存储在终端装置800侧。
此外，该图所示的视点R、投影面S的位置是示例，能够任意地设定。特别是能够通过用户的操作来变更视点R。视点R与监视图像K的投影位置的关系被预先定义，通过在变更视点R的位置的情况下进行规定的坐标转换，能够将从重新设定的视点R观察到的监视图像K投影到投影面S(Sa～Sd)。在该视点转换处理中能够使用申请时已知的方法。
本实施方式的控制装置10基于在规定时刻拍摄到的摄像图像来生成监视图像K，将映射信息、基准坐标、表示边界的线图形(分隔图像)的信息与该监视图像K对应关联并按照摄像时刻随时间进行存储。不作特别地限定，控制装置10既可以每隔规定的单位时间将监视图像K存储为包含多个监视图像K的一个运动图像文件，也可以是在能够以流媒体方式进行传送和再现的状态下来存储监视图像K。
对本实施方式的控制装置10的通信功能进行说明。控制装置10使用能够用作公共通信网的通信线路900将包含所生成的监视图像K的信息发送到外部的终端装置800。
下面，对接收监视图像K并显示监视图像K的终端装置800进行说明。
终端装置800配置在上述监视装置100的外部，具备：通信装置810，其与监视装置100进行通信；图像处理装置820，其将所获取到的图像转换为显示用的图像；以及显示器830，其显示所转换得到的显示用的监视图像K。
通信装置810接收由监视装置100发送来的监视图像K和与该监视图像K对应关联的映射信息。该监视图像K是按照沿着车辆V的车身的外周按右旋转或者左旋转的方向设置的摄像头1的设置顺序(沿着车辆V的车身的外周的右旋转或者左旋转的顺序)来配置被设置于车辆V的车身的不同的位置的多个摄像头1的摄像图像而得到的。另外，用于使监视图像K投影到柱体的投影模型M的投影面S的映射信息与该监视图像K对应关联。通信装置810将所获取到的监视图像K和映射信息发送到图像处理装置820。
图像处理装置820读出预先存储的投影模型M，基于映射信息使监视图像K投影到被设定于以图10和图11所示的车辆V的载置面为底面的柱体的投影模型M的侧面的投影面Sa～Sd，来生成显示图像。具体地说，按照映射信息，将接收到的监视图像K的各像素投影(映射)到投影面Sa～Sd的各像素。
当将监视图像K投影到投影模型M时，图像处理装置820基于与监视图像K一同接收到的基准坐标来识别监视图像K的起点(监视图像K的右端或者左端)，以使该起点与在投影模型M上预先定义的起点(投影面S的右端或者左端)一致的方式进行投影处理。
另外，当将监视图像K投影到投影模型M时，图像处理装置820在投影模型M上配置表示各摄像图像的边界的线图形(分隔图像)。分隔图像既能够预先附加于投影模型M，也能够在投影处理后附加于监视图像K。
显示器830显示投影到投影模型M的投影面S的监视图像K。图12～图19表示监视图像K的显示图像的例子。
图12表示从图10、11所示的视点R1观察到的投影到投影面Sd、Sa、Sb的监视图像K。对投影模型M的底面粘贴从各视点R观察到的车辆V的图像。另外，没有显示位于投影面Sd、Sa、Sb之间的图像的部分是“表示边界的线图形(分隔图像)”。
同样地，图13表示从视点R2观察到的监视图像K，图14表示从视点R3观察到的监视图像K，图15表示从视点R4观察到的监视图像K，图16表示从视点R5观察到的监视图像K，图17表示从视点R6观察到的监视图像K，图18表示从视点R7观察到的监视图像K，图19表示从视点R8观察到的监视图像K。
这样，本实施方式的终端装置800使监视图像K按照其配置顺序沿着柱体的投影模型M的侧面(横向地)映射，因此投影模型M中示出的监视图像K能够表示顺时针环视车辆V的周围时观察到的影像，该监视图像K是根据设置于车辆V的车身的摄像头1的设置顺序，沿着x轴方向或者y轴方向(横向地)配置各摄像头1的摄像图像而得到的。
特别是如图12～图19所示，通过在投影模型M的底面表示车辆V的图像，能够容易分清车辆V的方向与各摄像图像的位置关系。也就是说，能够将设置于车辆V的前格栅的摄像头1a的摄像图像GSP1投影到与车辆V的前格栅相向的投影面S，将设置于车辆V的右后视镜的摄像头1d的摄像图像GSP4投影到与车辆V的右后视镜相向的投影面S，将设置于车辆V的后部的摄像头1c的摄像图像GSP3投影到与车辆V的后部相向的投影面S，将设置于车辆V的左后视镜的摄像头1b的摄像图像GSP2投影到与车辆V的左后视镜相向的投影面S。这样，如图12～图19所示，根据本实施方式，能够呈现将车辆V的周围的影像在保持其位置关系的状态下进行投影而得到的监视图像K，因此用户能够容易地掌握车辆的哪里发生了什么情况。
顺便提一下，图12～图19是静止图像，因此不能表示实际的显示图像的再现状态，但在本实施方式的终端装置800中，在显示器830的显示画面中的各投影面S上示出的图像分别是运动图像。也就是说，在与车辆V的前格栅相向的投影面S上映出车辆前方的摄像区域SP1的运动图像影像，在与车辆V的右后视镜相向的投影面S上映出车辆右侧方的摄像区域SP4的运动图像影像，在与车辆V的后部相向的投影面S上映出车辆后方的摄像区域SP3的运动图像影像，在与车辆V的左后视镜相向的投影面S上映出车辆左侧方的摄像区域SP2的运动图像影像。也就是说，能够在图12～图19所示的各投影面S上同时再现基于由不同的摄像头1拍摄到的摄像图像的多个运动图像的监视图像K。
此外，显示器830是能够接收触摸面板式的输入信息的装置，用户能够自如地设定、变更视点。在上述图像处理装置820或者显示器830中预先定义视点位置与投影面S的对应关系，因此能够基于该对应关系在显示器830中显示与变更后的视点相应的监视图像K。
下面，说明本发明的本实施方式的车辆监视系统1000的处理过程。图20是表示本实施方式所涉及的车辆监视系统1000的控制过程的流程图。
在步骤10中，本实施方式的监视装置100的控制装置10判断是否为监视开始时刻。不作特别地限定，在输入了对点火开关300输入的发动机的关闭信号、在车辆V的附近不存在具有通信功能的车辆V的电子钥匙的情况下(携带电子钥匙的用户远离车辆V的情况下)、从用户的外部的终端装置800接收到监视图像K的请求指令的情况下，本实施方式的监视装置100能够开始监视处理。
在步骤20中，本实施方式的监视装置100使设置于车辆V的多个摄像头1开始摄像。然后，在步骤30中，监视装置100分别获取由各摄像头拍摄到的摄像图像。
在步骤40中，本实施方式的监视装置100将沿着车辆V的车身的外周按右旋转或者左旋转的方向设置的摄像头1的多个摄像图像进行合成，使得成为按照该摄像头1的设置的顺序的配置，从而生成一张监视图像K。
在步骤50中，本实施方式的监视装置100选择所要使用的投影模型M。关于投影模型M的选择，既可以由用户预先确定，也可以按车型预先确定。
在步骤60中，本实施方式的监视装置100对各摄像图像的失真进行校正。在本实施方式的摄像头1为广角摄像头的情况下，随着远离摄像图像的中心(在外缘附近)图像的失真变大，因此监视装置100通过进行规定的图像转换处理能够对各摄像图像的失真进行校正。在本实施方式中，对将监视图像K投影到投影模型M的状态下的失真进行校正，因此能够在进行一次投影处理之后进行失真校正处理。关于失真校正的方法，能够适当地利用申请时已知的方法。
在步骤70中，本实施方式的监视装置100以使监视图像K的像素数与各摄像头1的摄像图像的像素数大致相同的方式压缩图像的数据量。
在步骤80中，本实施方式的监视装置100将配置在监视图像K的右端或者左端的摄像图像的基准坐标作为映射信息并附加于监视图像K。由此，能够与监视图像K与投影模型M的位置关系对应关联。
在接下来的步骤90中，本实施方式的监视装置100对监视图像K附加配置于监视图像K的表示各摄像图像的边界的线图形(分隔图像)。
在接下来的步骤100中，监视装置100将通过上述处理得到的、包含与映射信息对应关联的监视图像K的信息发送到外部的终端装置800。然后，在步骤110中反复进行步骤20之后的处理，直到判断为监视处理结束为止。
外部的终端装置800的通信装置810在步骤31中将从监视装置100发送来的监视图像K与映射信息一起接收。
接着，在步骤32中，图像处理装置820按照映射信息，将监视图像K投影到投影模型M的投影面S。能够对投影模型M的底面预先附加车辆V的影像。
然后，在步骤33中，显示器830显示包含投影到投影模型M的监视图像K的信息。
此外，在本实施方式中，以在车辆V中配置有监视装置100的情况为例进行了说明，但能够在各装置中执行本发明的本实施方式所涉及的车辆V的监视方法。另外，关于本发明的本实施方式所涉及的车辆V的监视方法，还能够在能够与客户端(计算机和控制装置)进行信息的交换的服务器(计算机、控制装置)中执行处理的一部分或者全部，该客户端能够控制摄像头1、通信装置400。服务器能够配置在远离客户端的位置。
服务器通过执行以下指令，能够执行本发明所涉及的本实施方式的车辆的监视方法。该指令的内容包括以下步骤：分别获取设置在车辆V的车身的不同的位置来对车辆V的周围进行拍摄的多个摄像头1的摄像图像；生成一张监视图像K，该监视图像K是将沿着车辆V的车身的外周按右旋转或者左旋转的方向设置的摄像头1的摄像图像按照该摄像头1的设置的顺序配置而得到的；对监视图像K附加使所生成的监视图像K投影到被设定于以车辆V的载置面为底面的柱体的投影模型M的侧面的投影面S的映射信息；以及将监视图像K和映射信息发送到外部的终端装置800。处理的具体内容与本实施方式的监视装置100、车辆监视系统1000相同，因此引用这些说明。
另外，执行上述监视方法的服务器能够进行监视图像K的投影处理，生成将监视图像K投影到投影模型M而得到的显示用的图像。
在该情况下，服务器通过执行以下指令能够执行本发明所涉及的本实施方式的车辆的监视方法。指令的内容包括以下步骤：分别获取设置于车辆V的车身的不同位置来对车辆V的周围进行拍摄的多个摄像头1的摄像图像；生成一张监视图像K，该监视图像K是将沿着右旋转或者左旋转的方向设置于车辆V的车身的外周的摄像头1的摄像图像按照该摄像头1的设置的顺序配置而得到的；对监视图像K附加使所生成的监视图像K投影到以车辆V的载置面为底面的柱体的投影模型M的投影面S的映射信息；以及生成显示图像，该显示图像是基于映射信息使监视图像K投影到被设定于以车辆V的载置面为底面的柱体的投影模型M的侧面的投影面S而得到的。服务器以能够浏览方式存储所生成的显示图像，在存在来自终端装置800的访问的情况下，能够允许浏览显示图像，使终端装置800的显示器830显示显示图像。另外，服务器也可以根据来自终端装置800的请求允许下载显示图像，或者将显示图像发送到终端装置800并使终端装置800的显示器830进行显示。此外，处理的具体内容与本实施方式的监视装置100、车辆监视系统1000相同，因此引用这些说明。
并且，通过使终端装置800执行以下指令，能够控制终端装置800的动作，执行本发明所涉及的本实施方式的车辆的监视方法。指令的内容包括以下步骤：经由通信线路接收监视图像K和映射信息，该监视图像K是按照沿右旋转或者左旋转的方向设置于车辆V的车身的外周的摄像头1的设置顺序连续地配置被设置于车辆V的车身的不同位置的多个摄像头1的摄像图像而得到的，该映射信息用于使该监视图像K投影到以车辆V的载置面为底面的柱体的投影模型M的投影面S；以及生成显示图像，该显示图像是关于所获取到的监视图像K基于映射信息将该监视图像K投影到以车辆V的载置面为底面的柱体的投影模型M的投影面S而得到的。此外，处理的具体内容与本实施方式的终端装置800相同，因此引用这些说明。
如上述那样构成并进行动作的本发明的实施方式所涉及的监视装置100、车辆监视系统1000以及终端装置800发挥以下效果。
根据本实施方式所涉及的监视装置100，将按照摄像头1a～1d的设置顺序配置由多个摄像头1a～1d拍摄到的摄像图像而得到的一张监视图像K和用于将该监视图像K投影到被设定于柱体的投影模型M的侧面的投影面S的映射信息发送到外部的终端装置800，因此能够将由以摄像头的设置顺序配置多个摄像图像而得到的一连串(连在一起)的监视图像K投影到被设定于柱体的侧面的投影面S，因此，能够与各终端装置所具备的功能无关地将根据摄像方向不同的多个摄像图像生成的监视图像K再现为运动图像。其结果是，不会浪费由多个摄像头得到的各摄像图像的信息，能够作为用户的监视用的图像有效地利用。
根据本实施方式所涉及的监视装置100，根据各摄像头1的摄像时刻大致相同的各摄像图像生成运动图像方式的监视图像K，因此能够使监视图像K中包含的各摄像图像的信息同步。因此，能够根据基于多个摄像图像的运动图像准确地表现规定时刻的车辆周围的状况。
根据本实施方式所涉及的监视装置100，以使监视图像K的像素数与各摄像头1的摄像图像的像素数大致相同的方式对图像的数据量进行压缩来生成监视图像K，因此能够与接收到监视图像K的终端装置800侧的功能无关地执行图像处理以及图像再现。
根据本实施方式所涉及的监视装置100，对监视图像K附加被配置在监视图像K的右端或者左端的摄像图像的基准坐标，因此接收到监视图像K的终端装置800能够识别监视图像K与投影模型M的对应位置关系。
根据本实施方式所涉及的监视装置100，对监视图像K附加表示所配置的各摄像图像的边界的线图形的分隔图像Bb、Bc、Bd、Ba，因此能够构成一体的监视图像K并分别独立地识别摄像方向不同的各监视图像K。另外，在各摄像图像的边界附近图像的失真大，因此通过在摄像图像的边界配置分隔图像，能够隐藏失真大的区域的图像、暗示失真大。
根据本实施方式所涉及的监视装置100，在对使摄像图像投影到被设定于投影模型M的侧面的投影面S时的失真进行校正之后生成监视图像K，因此能够提供失真少的、容易看清的监视图像K。另外，通过预先校正失真，能够使被并排配置的各摄像图像之间的位置偏差减小。其结果是，能够使用户将连续的多个各摄像图像识别为一个监视图像K。
即使在使用了本实施方式中的车辆V的监视方法的情况下，也能够发挥与监视装置100、监视系统1000以及终端装置800相同的作用，获得相同的效果。
此外，以上所说明的所有实施方式是为了易于理解本发明而记载的，并非为了限定本发明而记载的。因而，宗旨是上述实施方式所公开的各要素还包含从属于本发明的技术范围的所有设计变更、等价物。
在本说明书中，作为本发明所涉及的车辆用监视装置的一个方式，以监视装置100和车辆监视系统1000为例进行说明，但本发明并非限定于此。
另外，在本说明书中，作为本发明所涉及的车辆用监视装置的一个方式，将具备包括CPU11、ROM12、RAM13的控制装置10的监视装置100作为一例来进行说明，但并不限定于此。
另外，在本说明书中，作为具有摄像头、监视图像生成单元、映射信息附加单元、发送单元的本发明所涉及的车辆用监视装置的一个方式，对具备摄像头1、实现监视图像生成功能、映射信息附加功能、发送功能的控制装置10的监视装置100进行说明，但并不限定于此。
在本说明书中，作为具备通信单元、图像处理单元、显示单元的终端装置的一个方式，对具备通信装置810、图像处理装置820、显示器830的终端装置800进行说明，但并不限定于此。
在本说明书中，作为本发明所涉及的车辆监视系统的一个方式，以具备本申请发明所涉及的监视装置100、车辆控制器200、通信装置400、外部的终端装置800的车辆监视系统1000为例进行说明，但本发明并不限定于此。
<第二实施方式>
以下，对本发明的第二实施方式所涉及的车辆监视系统1000进行说明。
如上所述，关于这种装置，已知如下一种防盗装置：在检测到由车门的接触传感器等检测出的来自外部的刺激的情况下，使摄像头对周围进行拍摄，将其图像信息传送到外部的便携式电话等，但存在以下问题：在将设置于车辆的多个摄像头的摄像图像发送到外部的终端装置的情况下利用接收侧的终端装置同时再现多个摄像图像时，不知道关注哪一个摄像图像才好，确认监视对象物体需要时间。
在本发明的第二实施方式中，以生成如下的监视图像为课题：虽然基于多个摄像图像生成，但清楚应该关注哪个摄像图像。
本发明的第二实施方式所涉及的车辆监视系统1000通过将监视图像和映射信息发送到外部的终端装置来解决上述课题，该监视图像是将由多个摄像头拍摄到的摄像图像按照摄像头的设置顺序进行配置，并附加了在车辆的周围检测到的监视对象物体的存在位置的信息而得到的，该映射信息用于将该监视图像投影到被设定于柱体的投影模型的侧面的投影面。
本发明的第二实施方式所涉及的车辆监视系统1000中，接收到所发送来的监视图像的外部的终端装置能够基于映射信息将以摄像头的设置顺序配置多个摄像图像而得到的一张监视图像一连串(连在一起)地投影到被设定于柱体的侧面的投影面，并且能够基于对监视图像附加的监视对象物体的存在位置的信息来将监视对象物体的像投影到投影面的任意的位置，因此能够显示易于了解应该关注的监视对象物体的监视图像。其结果是，能够使用户关注于监视对象物体的像，因此能够缩短确认监视对象物体的时间，能够提高车辆的远程监视的便利性。
第二实施方式的车辆监视系统1000的特征在于以下各点：具备检测车辆的周围的监视对象物体的存在位置的接近传感器；生成与由该接近传感器在车辆的周围检测到的监视对象物体的存在位置的信息对应关联的监视图像；将与监视对象物体的存在位置和映射信息对应关联的监视图像发送到终端装置800。第二实施方式的车辆监视系统1000的基本结构和动作与第一实施方式的车辆监视系统1000的结构和动作相同。在本实施方式中，为了避免重复的说明，引用第一实施方式所涉及的说明，省略重复的说明。
图21是包括本实施方式所涉及的监视装置100的车辆监视系统1000的块状结构图。如图21所示，本实施方式的车辆监视系统1000具备设置于车辆的四个摄像头1a～1d(以下，有时也统称为摄像头1)、接近传感器2a～2d以及异常检测传感器3。
如图22所例示那样，摄像头1a～1d安装于车辆V。摄像头1a～1d配置在与图2所示的第一实施方式的摄像头1a～1d相同的位置处，与第一实施方式同样地拍摄图3所示的各区域。前摄像头1a拍摄区域SP1来获得摄像图像GSP1(例如图4)。右侧摄像头1b拍摄区域SP4来获得摄像图像GSP4(例如图5)。后摄像头1c拍摄区域SP3来获得摄像图像GSP3(例如图6)。左侧摄像头1d拍摄区域SP2来获得摄像图像GSP2(例如图7)。各摄像图像的图像尺寸为480像素(宽)×640像素(长)。对摄像图像的尺寸不作特别地限定，能够设为普通的终端装置能够进行运动图像再现的尺寸。
此外，能够与车辆V的大小、形状、检测区域的设定方法等相应地适当决定摄像头1的配置数以及配置位置。上述多个摄像头1被附加了与各自的地址(配置)相应的标识符，控制装置10能够基于各标识符分别识别各摄像头1。另外，通过附加标识符，控制装置10向特定的摄像头1发送启动命令及其它命令。
另外，如图22所示，在摄像头1a～1d的附近设置有检测监视对象物体的接近传感器2a～2d。接近传感器2a～2d是超音波传感器、红外线传感器、静电传感器等。接近传感器2a～2d能够检测在车辆V周围的规定区域是否存在物体、或者检测车辆周围的物体是接近还是远离车辆V、以及基于接近传感器2a～2d的设置位置检测到的物体的存在方向。这些接近传感器2a～2d将与物体有关的检测结果发送到监视装置100。
并且，如图21所示，本实施方式的车辆监视系统1000具备检测监视对象物体的车辆的异常检测传感器3，该异常检测传感器3包括车辆的车门的接触传感器、倾斜传感器、侵入传感器及其它传感器。车门的接触传感器能够根据移动物体接触到车门而检测出存在监视对象物体，倾斜传感器能够根据车辆产生了规定值以上的倾斜而检测出存在监视对象物体，侵入传感器能够根据车门被撬开、车窗破碎等产生了对车辆的侵入触发而检测出存在监视对象物体。顺便提一下，接触传感器能够通过确定人接触到的车门而检测出监视对象物体的存在位置(存在方向)，倾斜传感器能够根据车辆的倾斜方向而检测出监视对象物体的存在位置(存在方向)，侵入传感器能够根据产生异常的窗玻璃、车门的位置而检测出监视对象物体的存在位置(存在方向)。异常检测传感器3并不限定于上述接触传感器、倾斜传感器、侵入传感器，只要是具有检测可能对车辆施加外力的监视对象物体的存在以及存在位置的功能的传感器就能够应用。异常检测传感器3也可以取代接近传感器2a～2d或者与接近传感器2a～2d一起设置在车辆中。
如图21所示，本实施方式的车辆监视系统1000还具有监视装置100、车辆控制器200、通信装置400以及外部的终端装置800。该车辆监视系统1000具备能够与车辆控制器200进行信息的交换的点火开关300。这些各装置能够通过CAN(Controller Area Network)及其它车载LAN进行连接，来互相进行信息的交换。
在本实施方式的车辆监视系统1000中，监视装置100能够经由通信装置400与具备便携式电话、智能手机及其它通信装置810的外部的终端装置800(计算机)互相通信。本实施方式的外部的终端装置800具备通信装置810、图像处理装置820以及显示器830，通信装置810从车载的监视装置100侧获取监视图像，图像处理装置820执行监视图像的显示所需的图像处理，显示器830显示监视图像。携带外部的终端装置800的用户能够使用外部的终端装置800来确认从监视装置100发送来的车辆的监视图像。
另外，如图21所示，本实施方式所涉及的监视装置100的控制装置10具备：ROM(Read Only Memory：只读存储器)12，其存储有如下程序：生成基于多个监视图像生成的、与监视对象物体的存在位置对应关联的监视图像，并且将用于使该监视图像投影到被设定于柱体的投影模型的侧面的投影面的映射信息与监视图像对应关联，将监视图像和映射信息发送到外部的终端装置800；作为动作电路的CPU(Central Processing Unit)11，其通过执行存储在该ROM12中的程序来作为监视装置100发挥功能；以及RAM(RandomAccess Memory)13，其作为能够访问的存储装置发挥功能。
本实施方式所涉及的监视装置100的控制装置10通过实现监视物体检测功能、监视图像生成功能、映射信息附加功能以及发送功能的软件与上述硬件的协作来执行各功能。在本实施方式中，以控制装置10发送各控制命令的方式为例进行说明，但本实施方式的控制装置10也能够经由车辆控制器200来控制摄像头1、通信装置400。
下面，对本发明的本实施方式所涉及的监视装置100所实现的监视物体检测功能、监视图像生成功能、映射信息附加功能以及发送功能各功能进行说明。
首先，说明监视物体检测功能。本实施方式所涉及的监视装置100的控制装置10在车辆V的周围检测监视对象物体的存在位置。所谓本实施方式的监视对象物体，不作特别地限定，例如是人那样的具有高度且能够移动的物体。
不作特别地限定，本实施方式所涉及的监视装置100的控制装置10能够基于由摄像头1得到的摄像图像来检测监视对象物体的存在位置(包括距离)，能够基于接近传感器2的检测结果来检测监视对象物体的存在位置(包括距离)，能够基于异常检测传感器3的检测结果来检测监视对象物体的存在位置(包括距离)。
具体地说，本实施方式所涉及的监视装置100的控制装置10具备图像处理控制单元(Image Processing Control Unit：IPCU)。控制装置10能够使用图像处理控制单元分析各摄像头1的摄像图像，根据摄像图像的数据提取与物体对应的图像，判断物体是否为立体物，并且判断基于所提取出的图像的移动量检测出的物体是否为移动物体。例如，在使用上述图像处理控制单元根据摄像头1的摄像图像检测出与规定的高度以上的物体对应的图像且该图像的位置随时间变化的情况下，控制装置10判断为检测出移动立体物即监视对象物体。关于用于检测移动立体物即监视对象物体的图像处理的方法，能够适当地使用申请时已知的方法。
另外，能够基于从接近传感器2a～2d获取到的检测结果来检测移动立体物的存在，根据该移动立体物的位置的变化来检测接近车辆的监视对象物体。
并且，能够基于从异常检测传感器3获取到的检测结果来检测对车辆施加外力的监视对象物体的存在及其存在位置。
控制装置10在车辆V的周围检测到多个监视对象物体的情况下，能够将最接近车辆V的监视对象物体的存在位置作为检测结果。在接下来要说明的监视图像的生成处理中使用监视对象物体的存在位置的信息。
接着，说明监视图像生成功能。本实施方式的监视装置100的控制装置10分别获取各摄像头1的摄像图像，来生成一张监视图像，该监视图像是将沿着车辆V的车身的外周按右旋转或者左旋转的方向设置的摄像头1的摄像图像按照该摄像头1的设置的顺序配置而成的，与所检测出的监视对象物体的存在位置的信息对应关联。
如上所述，在本实施方式中，摄像头1沿着车辆V的车身的外周VE按右旋转(顺时针)以摄像头1a、1b、1c、1d的顺序进行设置，因此控制装置10按照该摄像头1的设置顺序(摄像头1a、1b、1c、1d)将由各摄像头1拍摄到的多个摄像图像横向地连接成为一体，来生成一张监视图像。在本实施方式的监视图像中，各摄像图像被配置为使车辆V的载置面(路面)在下边，各摄像图像以相对于路面的高度方向(垂直方向)的边相连接。
在本实施方式中也能够生成第一实施方式中的图8所示的监视图像K。监视图像K以如下方式生成：沿着从附图左侧向附图右侧的方向P，将前摄像头1a拍摄区域SP1而得到的摄像图像GSP1、右侧摄像头1b拍摄区域SP4而得到的摄像图像GSP4、后摄像头1c拍摄区域SP3而得到的摄像图像GSP3以及左侧摄像头1d拍摄区域SP2而得到的摄像图像GSP2以GSP1、GSP4、GSP3、GSP2的顺序从左向右横向地并排配置，并将这四个摄像图像连成一串(连在一起)。监视图像K包含横向地排成一列的摄像图像GSP1、摄像图像GSP4、摄像图像GSP3、摄像图像GSP2。
使与路面(车辆的载置面)对应的图像在下方并从左端向右侧依次示出以这种方式生成的监视图像K，由此能够向用户呈现顺时针环视车辆V的周围时观察到的影像。
当生成一个监视图像K时，本实施方式的监视装置100的控制装置10能够使用各摄像头1的摄像时刻大致相同的各摄像图像。由此，能够使监视图像K中包含的信息同步，因此能够准确地表现规定时刻的车辆周围的状况。顺便提一下，在相同的监视图像K中包含的车辆前方的摄像图像GSP1与车辆右侧方的摄像图像GSP4的摄像时刻不同的情况下再现监视图像K时，能够同时再现不同摄像时刻的图像，因此给看监视图像的用户带来不适感，但本实施方式的监视装置100使用大致同时拍摄到的摄像图像来生成监视图像K，因此不会带来这种不适感。
本实施方式的控制装置10能够随时间存储根据摄像头的摄像时刻大致相同的各摄像图像生成的监视图像K，每隔规定的单位时间生成包含多个监视图像K的运动图像的监视图像K。通过基于摄像时刻相同的摄像图像生成运动图像的监视图像K，能够准确地表现车辆周围的状况的变化。
另外，在随时间存储各摄像区域的摄像图像并将按各摄像区域生成的运动图像的监视图像K发送到终端装置的情况下，由于终端装置的功能有时无法同时再现多个运动图像。在这种以往的终端装置中，不能同时再现显示多个运动图像，因此当再现各运动图像时必须切换画面并一个接一个地再现运动图像。也就是说，在以往的终端装置中存在以下问题：不能同时再现多个方向的影像(运动图像)，不能利用一个画面监视车辆周围的整体。
与此相对地，本实施方式的控制装置10根据多个摄像图像生成一个监视图像K，因此能够与终端装置800的功能无关地对不同摄像方向的摄像图像同时进行运动图像再现。也就是说，通过连续地再现(运动图像再现)监视图像K，能够同时连续地再现(运动图像再现)监视图像K中包含的四个摄像图像，利用一个画面监视方向不同的区域的状态变化。
另外，本实施方式的监视装置100的控制装置10能够以使监视图像K的像素数与各摄像头1的摄像图像的像素数大致相同的方式对图像的数据量进行压缩并生成监视图像K。图4～图7所示的各摄像图像的尺寸是480×640像素。如图8所示，本实施方式的控制装置10进行压缩处理使得监视图像K的尺寸为1280×240像素。由此，监视图像K的尺寸(1280×240像素)与各摄像图像的尺寸(480×640像素)相等，因此能够与接收到监视图像K的终端装置800侧的功能无关地执行图像处理以及图像再现。
并且，本实施方式的监视装置100的控制装置10能够对监视图像K附加表示监视对象物体的存在位置的信息(坐标值、或者坐标上的区域值)。此外，在车辆V的周围检测到多个监视对象物体的情况下，能够对监视图像K附加最接近车辆V的监视对象物体的存在位置。
这样，对监视图像K附加监视对象物体的存在位置，由此当利用外部的终端装置800进行显示时，基于监视对象物体的存在位置的信息使从正视监视对象物体的视点观察到的监视图像K投影，因此能够显示易于了解应该关注监视图像K所包含的多个摄像图像中的哪个摄像图像的监视图像K。其结果是，能够使用户关注包含监视对象物体的像的摄像图像，因此能够缩短确认监视对象物体的时间，能够提高车辆的远程监视的便利性。
除此以外，本实施方式的监视装置100的控制装置10在检测到监视对象物体的情况下，能够生成仅将以监视对象物体的像为中心的规定区域的摄像图像进行配置得到的监视图像K。
具体地说，如图23所示，在得到设置于左后视镜部分的摄像头1d的摄像图像GSP2、设置于前格栅部分的摄像头1a的摄像图像GSP1、设置于右后视镜部的摄像头1b的摄像图像GSP4以及设置于后部(后方)的摄像头1c的摄像图像GSP3的情况下，本实施方式的控制装置10能够将以与监视对象物体对应的图像上的位置P的存在位置为基准点P0、以该基准点P0为中心并与左右成90度(整体为180度)的视野对应的监视区域的图像作为监视图像K4，来生成仅将该监视图像K4进行配置得到的监视图像K。顺便提一下，图23是与第一实施方式中已说明的图8对应的图。
这样，通过将监视对象物体配置在中心并删除没有检测到监视对象物体的无需监视的图像，能够生成易于掌握监视对象物体的动态的监视图像K4。而且，能够使作为监视图像K发送的数据量减少。其结果是，能够使向外部终端装置800发送监视图像K时的通信数据量的总量减少，从而能够降低监视系统工作时的通信成本。
另外，与图8所示的第一实施方式的监视图像K同样地，本实施方式的监视装置100的控制装置10能够对监视图像K附加表示所配置的各摄像图像的边界的线图形。如果以图8所示的监视图像K为例，则作为表示所配置的各摄像图像的边界的线图形，控制装置10能够在各摄像图像之间对监视图像K附加矩形的分隔图像Bb、Bc、Bd、Ba。这样，通过在摄像图像的边界配置分隔图像，能够构成一体的监视图像K并分别独立地识别摄像方向不同的各监视图像K。也就是说，分隔图像作为各摄像图像的边框发挥功能。另外，在各摄像图像的边界附近图像的失真大，因此通过在摄像图像的边界配置分隔图像，能够隐藏失真大的区域的图像、暗示失真大。
本实施方式的监视装置100的控制装置10能够在对使摄像图像投影到后述的被设定于投影模型的侧面的投影面时的失真进行校正之后生成监视图像K。在摄像图像的周边区域易于产生图像的失真，特别是在摄像头1为广角摄像头的情况下存在摄像图像的失真变大的趋势。因此，在本实施方式中，使用为了校正图像的失真而预先定义的图像转换算法和校正量来校正摄像图像的失真。
不作特别地限定，与图9所示的第一实施方式同样地，控制装置10能够从ROM12读出与在终端装置800中使监视图像K投影的投影模型相同的投影模型的信息，将摄像图像投影到该投影模型的投影面，并预先校正投影面中产生的失真。此外，能够与摄像头1的特性、投影模型的形状相应地适当定义图像转换算法和校正量，能够利用申请时已知的方法。
这样，通过预先校正将图像K投影到投影模型的投影面时的失真，能够提供失真少的易于观察的监视图像K。另外，通过预先校正失真，能够使并排配置的各摄像图像之间的位置偏差减小。
接着，对本实施方式的监视装置100的映射信息附加功能进行说明。在本实施方式的监视装置100中，控制装置10能够对监视图像K附加映射信息，该映射信息用于将所生成的监视图像K投影到被设定于以车辆V的载置面为底面的柱体的投影模型M的侧面的投影面。
在本实施方式中，也能够使用在第一实施方式中的图10、图11所示的投影模型M。图10是投影模型M的立体图，图11是沿着投影模型M的xy面的剖面示意图。在本实施方式中使用的投影模型M与第一实施方式中的投影模型M相同，因此引用其说明。
由此，投影到投影模型M的监视图像K能够表示环视车辆V的周围时观察到的影像。也就是说，包含与摄像头1的设置顺序相应地横向地配置为一列的摄像图像的监视图像K在投影模型M的柱体中也同样投影到横向排列的侧面，因此在投影到柱体的投影模型M的投影面S的监视图像K中能够在维持其位置关系的状态下再现车辆V的周围的影像。
另外，本实施方式的控制装置10能够存储监视图像K的各坐标值与投影模型M的各投影面S的坐标值的对应关系来作为映射信息，并附加于监视图像K。本实施方式的控制装置10能够将由接近传感器2a～2d检测出的监视对象物体的存在位置的信息与映射信息(监视图像K的各坐标值与投影模型M的各投影面S的坐标值的对应关系)对应关联地附加于监视图像K。作为监视图像K的各坐标值与投影模型M的各投影面S的坐标值的对应关系的映射信息也能够预先存储到终端装置800侧。
此外，该图所示的视点R、投影面S的位置是示例，能够任意地设定。特别是能够通过用户的操作来变更视点R。视点R与监视图像K的投影位置的关系被预先定义，在变更了视点R的位置的情况下进行规定的坐标转换，由此能够将从重新设定的视点R观察到的监视图像K投影到投影面S(Sa～Sd)。在该视点转换处理中能够使用申请时已知的方法。
并且，本实施方式的监视装置100的控制装置10使所检测出的监视对象物体的存在位置的信息与映射信息对应关联，由此能够在被设定于以车辆V的载置面为底面的柱体的投影模型M的侧面的投影面S上设定正视所检测出的监视对象物体的像的监视视点，并将用于使从该监视视点观察到的监视图像K投影到投影面S的映射信息附加于监视图像K。
在此，所谓本实施方式中的正视所检测出的监视对象物体的像的监视视点，是能够从正面看监视对象物体的视点。如果以图11所示的投影模型M为例，则在车辆前方的区域SP1存在监视对象物体的情况下监视视点是R1，在车辆右侧方的区域SP4存在监视对象物体的情况下监视视点是R3，在车辆后方的区域SP3存在监视对象物体的情况下监视视点是R5，在车辆左侧方的区域SP2存在监视对象物体的情况下监视视点是R7。同样地，在车辆右斜前方的区域SP1与SP4的重叠区域存在监视对象物体的情况下监视视点是R2，在车辆右斜后方的区域SP4与SP3的重叠区域存在监视对象物体的情况下监视视点是R4，在车辆左斜后方的区域SP3与SP2的重叠区域存在监视对象物体的情况下监视视点是R6，在车辆左斜前方的区域SP2与SP1的重叠区域存在监视对象物体的情况下监视视点是R8。
特别是在对与所检测出的监视对象物体的存在位置的信息对应关联的监视图像K附加了用于将从正视监视对象物体的像的监视视点观察到的监视图像K投影到投影面S的映射信息的情况下，终端装置800能够将从正视监视对象物体的像的监视视点观察到的监视图像K投影到投影面S。
具体地说，能够使本实施方式的映射信息包含正视监视对象物体的像的监视视点的坐标、表示包含监视对象物体的摄像图像(监视图像K)的起点位置或者终点位置的信息、即在投影处理中作为基准的基准坐标。由此，接收到监视图像K的终端装置800能够对将从监视视点正视的摄像图像投影到投影模型M时的基准位置进行识别，因此能够将正视监视对象物体的监视图像K显示在显示器830上。
另外，映射信息与监视对象物体的像的位置对应关联，因此能够以使监视对象物体的像显示在投影面S或者显示器830的任意的位置、例如显示画面的中央的方式将监视图像K投影到投影模型M。对投影位置的移动方法不作特别地限定，只要根据摄像图像的中心等的基准点计算出监视对象物体的像的偏位量，与根据基于监视图像K的基准坐标的投影位置计算出的偏位量相应地移动投影位置即可。由此，能够使监视对象物体的像显示在投影模型M的中央或者显示器830的中央。显示在投影模型M的中央或者显示器830的中央的监视对象物体的像引起用户的注意，因此能够清楚地表示监视对象物体的位置。
另外，如果以图11所示的投影模型M为例，则进行按照本实施方式的映射信息的投影处理，由此在车辆V的右斜前方存在监视对象物体的情况下，从视点R2正视的投影到正视投影面Sa和Sb的监视图像K显示在终端装置800的显示器830的大致中央，在车辆V的右斜后方存在监视对象物体的情况下，从视点R4正视的投影到正视投影面Sb和Sc的监视图像K显示在终端装置800的显示器830的大致中央，在车辆V的左斜后方存在监视对象物体的情况下，从视点R6正视的投影到正视投影面Sc和Sd的监视图像K显示在终端装置800的显示器830的大致中央，在车辆V的左斜前方存在监视对象物体的情况下，从视点R8正视的投影到正视投影面Sd和Sa的监视图像K显示在终端装置800的显示器830的大致中央。同样地，在各上述正视投影面S中包含监视对象物体的像。
本实施方式的控制装置10基于在规定时刻拍摄到的摄像图像生成监视图像K，将映射信息、基准坐标、表示边界的线图形(分隔图像)的信息与该监视图像K对应关联并按照摄像时刻随时间进行存储。不作特别地限定，控制装置10既可以每隔规定的单位时间将监视图像K存储为包含多个监视图像K的一个运动图像文件，也可以是在能够以流媒体方式进行传送和再现的状态下来存储监视图像K。
接着，对本实施方式的控制装置10的通信功能进行说明。控制装置10使用能够用作公共通信网的通信线路900将包含所生成的监视图像K的信息发送到外部的终端装置800。
下面，对接收监视图像K并显示监视图像K的终端装置800进行说明。
终端装置800配置在上述监视装置100的外部，具备：通信装置810，其与监视装置100进行通信；图像处理装置820，其将所获取到的图像转换为显示用的图像；以及显示器830，其显示所转换得到的显示用的监视图像K。
通信装置810接收由监视装置100发送来的与监视对象物体的存在位置对应关联的监视图像K和与该监视图像K对应关联的映射信息。该监视图像K是按照沿着车辆V的车身的外周按右旋转或者左旋转的方向设置的摄像头1的设置顺序(沿着车辆V的车身的外周的右旋转或者左旋转的顺序)来配置被设置在车辆V的车身的不同位置的多个摄像头1的摄像图像而得到的。对该监视图像K附加了监视对象物体的存在位置的信息。另外，用于使监视图像K投影到柱体的投影模型M的投影面S的映射信息与该监视图像K对应关联。通信装置810将所获取到的监视图像K和映射信息发送到图像处理装置820。
图像处理装置820读出预先存储的投影模型M，基于映射信息使监视图像K投影到被设定于以图10和图11所示的车辆V的载置面为底面的柱体的投影模型M的侧面的投影面Sa～Sd，来生成显示图像。具体地说，基于与监视图像K一起接收到的基准坐标来识别监视图像K的起始点(监视图像K的右端或者左端)，使该起视点与在投影模型M上预先定义的起始点(投影面S的右端或者左端)一致，按照映射信息将监视图像K的各像素投影(映射)到投影面Sa～Sd的各像素。
而且，在将监视图像K投影到投影模型M时，图像处理装置820生成显示图像，该显示图像是使从正视所检测出的监视对象物体的像的监视视点观察到的监视图像K投影到在柱体的投影模型的侧面上设定的投影面S而成的。具体地说，在将监视图像K投影到投影模型M时，图像处理装置820基于与监视图像K一起接收到的监视对象物体的存在位置的信息(坐标)，来选择正视监视对象物体的像的视点，生成正视监视对象物体时的显示图像。
并不限定于上述方法，在进行基于映射信息的映射处理之后监视对象物体的像偏向显示器830的左右地进行显示的情况下，图像处理装置820使投影到柱体的投影模型M的监视图像K进行旋转，以使监视对象物体的像显示在显示器830的大致中央。由此，能够显示包含正视时得到的监视对象物体的像的显示图像。
此外，使投影模型M进行旋转以使正视监视对象物体时的图像所要投影的投影面S位于初期画面的中央的处理既可以在使监视图像K投影到投影模型M之前进行，也可以在使监视图像K投影到投影模型M之后进行。
另外，图像处理装置820在将监视图像K投影到投影模型M时，将表示各摄像图像的边界的线图形(分隔图像)配置在投影模型M上。分隔图像既能够预先附加于投影模型M，也能够在投影处理后附加于监视图像K。
本实施例中的监视图像K的显示图像的例子与第一实施方式相同，因此引用在第一实施方式中已说明的图12～图19。
图12表示从图10、11所示的视点R1观察到的投影到投影面Sd、Sa、Sb的监视图像K。对投影模型M的底面粘贴从各视点R观察到的车辆V的图像。另外，没有显示位于投影面Sd、Sa、Sb之间的图像的部分是“表示边界的线图形(分隔图像)”。同样地，图13表示从视点R2观察到的监视图像K，图14表示从视点R3观察到的监视图像K，图15表示从视点R4观察到的监视图像K，图16表示从视点R5观察到的监视图像K，图17表示从视点R6观察到的监视图像K，图18表示从视点R7观察到的监视图像K，图19表示从视点R8观察到的监视图像K。
如图12～19所示，监视对象物体存在于车辆V的左前方(图3所示的区域SP1与SP2的重叠区域)，监视对象物体的像包含于摄像头1a的摄像图像GSP1(参照图4)和摄像头1d的摄像图像GSP2(参照图7)。
因此，本实施方式的图像处理装置820生成从正视监视对象物体的像的监视视点观察到的监视图像K的显示图像。具体地说，图24表示一种显示图像，该显示图像是本实施方式的终端装置800基于映射信息使从正视所检测出的监视对象物体的像的监视视点R8观察到的监视图像K投影到被设定于以车辆V的载置面为底面的柱体的投影模型M的侧面的投影面S而得到的。在图24中用虚线包围监视对象物体的像来示出。该图所示的显示图像包含从视点R8观察到的投影到正视投影面Sa和Sb的监视对象物体的像。在图24所示的显示图像中，从正面看监视对象物体的像，并且显示在显示器830的中央。此外，作为将监视对象物体的像正视投影的例子，存在图12所示的显示图像，但在将监视对象物体的像显示在显示器830的中央的情况下，图24所示的显示图像适用。
本实施方式的终端装置800将与设置于车辆V的车身的摄像头1的设置顺序相应地按x轴方向或者y轴方向(横向地)配置各摄像头1的摄像图像而得到的监视图像K按照其配置顺序，沿着柱体的投影模型M的侧面(横向地)映射，因此投影模型M中示出的监视图像K能够示出顺时针环视车辆V的周围时观察到的影像。
特别是如图12～图19所示，通过在投影模型M的底面示出车辆V的图像，能够分清车辆V的方向与各摄像图像的位置关系。也就是说能够将设置于车辆V的前格栅的摄像头1a的摄像图像GSP1投影到与车辆V的前格栅相向的投影面S，将设置于车辆V的右后视镜的摄像头1d的摄像图像GSP4投影到与车辆V的右后视镜相向的投影面S，将设置于车辆V的后部的摄像头1c的摄像图像GSP3投影到与车辆V的后部相向的投影面S，将设置于车辆V的左后视镜的摄像头1b的摄像图像GSP2投影到与车辆V的左后视镜相向的投影面S。这样，根据本实施方式，能够呈现将车辆V的周围的影像在保持其位置关系的状态下进行投影而得到的监视图像K，因此用户能够容易地掌握车辆在哪里发生了什么情况。
并且，本实施方式的图像处理装置820能够在对从正视监视对象物体的像的监视视点观察到的监视图像K的显示图像进行显示之后，使监视视点沿着投影模型M的侧面移动规定范围，来生成从各监视视点观察到的显示图像。具体地说，图像处理装置820在生成图25所示的显示图像之后，能够使视点以该图中的Z轴为旋转轴从图11的R8起按顺时针转变为R1、R2、R3、R4…R7，来生成从各视点观察到的各监视图像K的显示图像。
这样，在显示监视对象物体的正视图像之后，通过改变视点地巡视车辆的周围而得到的显示图像能够准确地掌握车辆V的状态。
最后，对终端装置800的显示器830进行说明。本实施方式的显示器830显示由图像处理装置820生成的显示图像。
本实施方式的显示器830是能够接收触摸面板式的输入信息的装置，用户能够自如地设定、变更视点。在上述图像处理装置820或者显示器830中预先定义了视点位置与投影面S的对应关系，基于该对应关系能够在显示器830中显示与变更后的视点相应的监视图像K。
顺便提一下，图12～图19、24、25是静止图像，因此不能示出实际的显示图像的再现状态，但在本实施方式的终端装置800中，在显示器830的显示画面中的各投影面S中示出的图像分别是运动图像。也就是说，在与车辆V的前格栅相向的投影面S上映出车辆前方的摄像区域SP1的运动图像影像，在与车辆V的右后视镜相向的投影面S上映出车辆右侧方的摄像区域SP4的运动图像影像，在与车辆V的后部相向的投影面S上映出车辆后方的摄像区域SP3的运动图像影像，在与车辆V的左后视镜相向的投影面S上映出车辆左侧方的摄像区域SP2的运动图像影像。也就是说，能够在图12～图19、24、25所示的各投影面S中同时再现基于由不同的摄像头1拍摄到的摄像图像的多个运动图像的监视图像K。
下面，说明本发明的本实施方式的车辆监视系统1000的处理过程。图26是表示本实施方式所涉及的车辆监视系统1000的控制过程的流程图。
图26所示的步骤10～步骤90的处理与图20所示的第一实施方式的步骤10～步骤90的处理相同，因此引用其说明。
接着，进入步骤110，在监视装置100检测到监视对象物体的情况下进入步骤130，在没有检测到监视对象物体的情况下进入步骤120。在步骤120中，控制装置10将起点等的基准坐标附加于监视图像K并进入步骤160或者步骤170。
另一方面，在检测到监视对象物体的情况下，进一步在步骤130中判断是否检测到多个监视对象物体。在检测到多个监视对象物体的情况下，在步骤140中计算出最接近车辆V的监视对象物体的位置，进入步骤150。另外，在步骤130中检测到一个监视对象物体的情况下也进入步骤150。在步骤150中，监视装置100对监视图像K附加最接近车辆V的监视对象物体的位置或者一个监视对象物体的位置。然后进入步骤160。
在步骤160中，监视装置100仅提取以监视对象物体的像为中心的规定区域的摄像图像。能够仅在以该监视对象物体的像为中心的规定区域生成监视图像K(参照图23)。还能够不进行该处理就进入步骤170。
在步骤160中，监视装置100将附加有映射信息的监视图像K、监视对象物体的存在位置发送到外部的终端装置800。
在接下来的步骤170中，监视装置100将包含通过上述处理得到的与映射信息对应关联的监视图像K的信息发送到外部的终端装置800。然后，在步骤180中反复进行步骤20之后的处理，直到判断为监视处理的结束为止。
外部的终端装置800的通信装置810在步骤31中，与映射信息和监视对象物体的存在位置一起接收从监视装置100发送来的监视图像K。
接着，在步骤32中，图像处理装置820按照映射信息，将监视图像K投影到投影模型M的投影面S。能够对投影模型M的底面预先附加车辆V的影像。
图像处理装置820能够基于映射信息使从正视所检测出的监视对象物体的像的监视视点R观察到的监视图像K投影到被设定于以车辆V的载置面为底面的柱体的投影模型M的侧面的投影面S，来生成显示图像。并且，图像处理装置820使监视视点R沿着投影模型M的侧面移动规定范围(R1～R8)，从而生成从各监视视点R观察到的显示图像。
然后，在步骤33中，显示器830显示投影到投影模型M、从正视监视对象物体的像的监视视点R观察到的监视图像K的显示图像，之后，使监视视点R进行移动并显示从各监视视点R观察到的监视图像K的显示图像。
此外，在本实施方式中，以在车辆V中配置有监视装置100的情况为例进行了说明，但能够在各装置中执行本发明的本实施方式所涉及的车辆V的监视方法。另外，关于本发明的本实施方式所涉及的车辆V的监视方法，还能够在服务器(计算机、控制装置)中执行处理的一部分或者全部，该服务器能够与能够控制摄像头1、通信装置400的客户端(计算机和控制装置)进行信息的交换。服务器能够配置在远离客户端的位置。
服务器通过执行以下指令能够执行本发明所涉及的本实施方式的车辆的监视方法。该指令的内容包括以下步骤：分别获取设置于车辆V的车身的不同位置来对车辆V的周围进行拍摄的多个摄像头1的摄像图像和在车辆V的周围检测到的监视对象物体的存在位置；生成一张监视图像K，该监视图像K是将沿着车辆V的车身的外周按右旋转或者左旋转的方向设置的摄像头1的摄像图像按照该摄像头1的设置顺序配置而得到的，附加有所检测出的监视对象物体的存在位置的信息；对监视图像K附加映射信息，该映射信息用于使所生成的监视图像K投影到被设定于以车辆V的载置面为底面的柱体的投影模型M的侧面的投影面S；以及将与监视对象物体的存在位置和映射信息对应关联的监视图像K发送到外部的终端装置800。处理的具体内容与本实施方式的监视装置100、车辆监视系统1000相同，因此引用这些说明。
另外，执行监视方法的服务器能够进行监视图像K的投影处理，生成将监视图像K投影到投影模型M而得到的显示用的图像。
在这种情况下，服务器通过执行以下指令能够执行本发明所涉及的本实施方式的车辆的监视方法。指令的内容包括以下步骤：分别获取设置于车辆V的车身的不同位置来对车辆V的周围进行拍摄的多个摄像头1的摄像图像和在车辆V的周围检测到的监视对象物体的存在位置；生成一张监视图像K，该监视图像K是将沿着右旋转或者左旋转的方向设置于车辆V的车身的外周的摄像头1的摄像图像按照该摄像头1的设置顺序配置而得到的，附加有所检测到的监视对象物体的存在位置的信息；对监视图像K附加映射信息，该映射信息用于将从正视所检测到的监视对象物体的像的监视视点观察到的监视图像K投影到被设定于以车辆V的载置面为底面的柱体的投影模型M的侧面的投影面S；以及生成显示图像，该显示图像是基于映射信息使从正视监视对象物体的像的监视视点观察到的监视图像K投影到被设定于以车辆V的载置面为底面的柱体的投影模型M的侧面的投影面S而得到的。服务器以能够浏览的方式存储所生成的显示图像，在存在来自终端装置800的访问的情况下，能够允许浏览显示图像，使终端装置800的显示器830显示显示图像。另外，服务器也可以根据来自终端装置800的请求允许下载显示图像，或者将显示图像发送到终端装置800并显示在终端装置800的显示器830中。此外，处理的具体内容与本实施方式的监视装置100、车辆监视系统1000相同，因此引用这些说明。
并且，通过使终端装置800执行以下指令，能够控制终端装置800的动作，并执行本发明所涉及的本实施方式的车辆的监视方法。指令的内容包括以下步骤：经由通信线路接收一张监视图像K和映射信息，该监视图像K是按照沿右旋转或者左旋转的方向设置在车辆V的车身的外周的摄像头1的设置顺序连续地配置被设置于车辆V的车身的不同位置的多个摄像头1的摄像图像，并附加所检测到的监视对象物体的存在位置的信息而得到的，该映射信息用于使该监视图像K投影到被设定于以车辆V的载置面为底面的柱体的投影模型M的侧面的投影面S；生成显示图像，该显示图像是关于所获取到的监视图像K基于所获取到的映射信息使从正视监视对象物体的像的监视视点观察到的监视图像K投影到被设定于以车辆V的载置面为底面的柱体的投影模型M的侧面的投影面S而得到的；以及将所生成的显示图像显示在显示器830中。此外，处理的具体内容与本实施方式的终端装置800相同，因此引用这些说明。
如上述那样构成并进行动作的本发明的实施方式所涉及的监视装置100、车辆监视系统1000以及终端装置800发挥以下效果。
本实施方式所涉及的监视装置100将监视图像K和映射信息发送到外部的终端装置800，该监视图像K是将由多个摄像头1拍摄到的摄像图像按照摄像头1的设置顺序进行配置，并附加在车辆V的周围检测到的监视对象物体的存在位置而得到的，该映射信息用于将该监视图像K投影到被设定于柱体的投影模型M的侧面的投影面S。由此，接收到所发送来的监视图像K的外部的终端装置800能够基于映射信息，使以摄像头的设置顺序配置多个摄像图像而得到的一张监视图像K连成一串(连在一起)地投影到被设定于柱体的侧面的投影面S，并且基于被附加于监视图像的监视对象物体的存在位置的信息将监视对象物体的像投影到投影面的任意的位置，因此能够显示易于了解应该关注的监视对象物体的监视图像。其结果是，能够使用户关注监视对象物体的像，因此能够缩短确认监视对象物体的时间，能够提高车辆的远程监视的便利性。
特别是关于与所检测到的监视对象物体的存在位置的信息对应关联的监视图像K，在对监视图像K附加了用于将从正视监视对象物体的像的监视视点观察到的监视图像K投影到投影面S的映射信息的情况下，终端装置800能够将从正视监视对象物体的像的监视视点观察到的监视图像K投影到投影面S。
这样，根据本实施方式，能够显示易于了解应该关注多个摄像图像中的哪个摄像图像的监视图像K。
其结果是，能够使用户关注监视对象物体的像，因此能够缩短确认监视对象物体的时间，能够提高车辆的远程监视的便利性。
在车辆V的周围检测到多个监视对象物体的情况下，本实施方式所涉及的监视装置100对监视图像K附加最接近车辆V的监视对象物体的存在位置，因此能够使用户关注多个监视对象物体中的最应该关注的监视对象物体的像。因此，能够缩短确认监视对象物体的时间，能够提高车辆的远程监视的便利性。
本实施方式所涉及的监视装置100生成仅将以所检测到的监视对象物体的像为中心的规定区域的摄像图像进行配置得到的监视图像K，因此仅将包含监视对象物体的像的、应该唤起用户的注意的摄像图像发送到终端装置800，因此能够使发送数据量减少。其结果是，能够降低监视系统运转时的通信成本。
本实施方式所涉及的监视装置100能够在对使摄像图像投影到被设定于投影模型M的侧面的投影面S时的失真进行校正之后生成监视图像K，因此能够提供失真少的、容易看清的监视图像K。另外，通过预先校正失真能够使并排配置的各摄像图像之间的位置偏差减小。
本实施方式所涉及的监视装置100对监视图像K附加用于使从正视所检测到的监视对象物体的像的监视视点观察到的监视图像K投影到投影模型M的投影面S的映射信息，因此终端装置800只要按照映射信息，就能够显示正视监视对象物体时的监视图像K，因此能够降低终端装置800侧的处理负担。
在使用了本实施方式中的车辆V的监视方法的情况下，也能够发挥与监视装置100、监视系统1000以及终端装置800相同的作用，获得相同的效果。
此外，以上说明的所有实施方式是为了易于理解本发明而记载的，并非为了限定本发明而记载的。因而，宗旨是上述实施方式所公开的各要素还包含从属于本发明的技术范围的所有设计变更、等价物。
在本说明书中，作为本发明所涉及的车辆用监视装置的一个方式，以监视装置100和车辆监视系统1000为例进行说明，但本发明并不限定于此。
另外，在本说明书中，作为本发明所涉及的车辆用监视装置的一个方式，以具备包括CPU11、ROM12、RAM13的控制装置10的监视装置100作为一例来进行说明，但并不限定于此。
另外，在本说明书中，作为具备摄像头、监视物体检测单元、监视图像生成单元、映射信息附加单元以及发送单元的本发明所涉及的车辆用监视装置的一个方式，对具备摄像头1和实现监视物体检测功能、监视图像生成功能、映射信息附加功能、发送功能的控制装置10的监视装置100进行说明，但并不限定于此。
在本说明书中，作为具备通信单元、图像处理单元、显示单元的终端装置的一个方式，对具备通信装置810、图像处理装置820、显示器830的终端装置800进行说明，但并不限定于此。
在本说明书中，作为本发明所涉及的车辆监视系统的一个方式，以具备本申请发明所涉及的监视装置100、车辆控制器200、通信装置400、外部的终端装置800的车辆监视系统1000为例进行说明，但本发明并不限定于此。
附图标记说明
1000：车辆监视系统；1a～1d：摄像头；2a～2d：接近传感器；3：异常检测传感器；100：监视装置；V：车辆；10：控制装置；11：CPU；12：ROM；13：RAM；M：投影模型；S、Sa、Sb、Sc、Sd：投影面；R1～R8：视点；200：车辆控制器；300：点火开关；400：通信装置；800：终端装置；810：通信装置；820：图像处理装置；830：显示器；900：通信线路。

Claims (21)

1.一种车辆用监视装置，其特征在于，具备：
多个摄像头，这些摄像头设置于车辆的车身的不同的位置，拍摄上述车辆的周围；
监视图像生成单元，其获取各上述摄像头的摄像图像，生成一张监视图像，该监视图像是将沿着顺时针或者逆时针的方向设置于上述车辆的车身的外周的上述摄像头的摄像图像按照该摄像头的设置顺序配置而成的；
映射信息附加单元，其将映射信息与上述监视图像对应关联，该映射信息用于将上述监视图像投影到被设定于以上述车辆的载置面为底面的柱体的投影模型的侧面的投影面上；以及
发送单元，其将上述监视图像和上述映射信息发送到外部的终端装置。
2.根据权利要求1所述的车辆用监视装置，其特征在于，
上述映射信息附加单元将配置在上述监视图像的右端或者左端的上述摄像图像的基准坐标作为映射信息附加于上述监视图像。
3.根据权利要求1所述的车辆用监视装置，其特征在于，
还具备监视物体检测单元，该监视物体检测单元检测在上述车辆的周围的监视对象物体的存在位置，
上述监视图像生成单元获取各上述摄像头的摄像图像，生成一张监视图像，该监视图像是将沿着顺时针或者逆时针的方向设置在上述车辆的车身的外周的上述摄像头的摄像图像按照该摄像头的设置顺序配置而成的，并与所检测出的上述监视对象物体的存在位置的信息对应关联，
映射信息附加单元将映射信息与上述监视图像对应关联，该映射信息用于将上述监视图像投影到被设定于以上述车辆的载置面为底面的柱体的投影模型的侧面的投影面上，
上述发送单元将与上述监视对象物体的存在位置和上述映射信息对应关联的监视图像发送到外部的终端装置。
4.根据权利要求3所述的车辆用监视装置，其特征在于，
上述映射信息附加单元对监视图像附加映射信息，该映射信息用于将从正视所检测出的上述监视对象物体的像的监视视点观察到的上述监视图像投影到被设定于以上述车辆的载置面为底面的柱体的投影模型的侧面的投影面上。
5.根据权利要求3或4所述的车辆用监视装置，其特征在于，
在上述监视物体检测单元检测到在上述车辆的周围存在多个监视对象物体的情况下，上述监视图像生成单元将最接近上述车辆的监视对象物体的存在位置对应关联于上述监视图像。
6.根据权利要求3～5中的任一项所述的车辆用监视装置，其特征在于，
在由上述监视物体检测单元检测到上述监视对象物体的情况下，上述监视图像生成单元生成仅将以上述监视对象物体的像为中心的规定区域的摄像图像配置得到的监视图像。
7.根据权利要求1～6中的任一项所述的车辆用监视装置，其特征在于，
上述监视图像生成单元随时间存储根据各上述摄像头的摄像时刻大致相同的各摄像图像而生成的监视图像，每隔规定的单位时间生成包含多个上述监视图像的运动图像的监视图像。
8.根据权利要求1～7中的任一项所述的车辆用监视装置，其特征在于，
上述监视图像生成单元以使上述监视图像的像素数与各上述摄像头的摄像图像的像素数大致相同的方式压缩图像的数据量来生成上述监视图像。
9.根据权利要求1～8中的任一项所述的车辆用监视装置，其特征在于，
上述监视图像生成单元对上述监视图像附加表示所配置的各上述摄像图像的边界的线图形。
10.根据权利要求1～9中的任一项所述的车辆用监视装置，其特征在于，
上述监视图像生成单元在对使摄像图像投影到被设定于上述投影模型的侧面的投影面时的失真进行校正之后，生成上述监视图像。
11.一种车辆用监视系统，其特征在于，具备：
根据权利要求1～10中的任一项所述的车辆用监视装置；以及
能够与上述车辆用监视装置互相交换信息的终端装置，
其中，外部的上述终端装置具有：
通信单元，其与上述车辆用监视装置进行通信，来获取上述监视图像和映射信息；
图像处理单元，其生成显示图像，该显示图像是基于上述映射信息使上述监视图像投影到被设定于以上述车辆的载置面为底面的柱体的投影模型的侧面的投影面上而得到的；以及
显示单元，其显示所生成的上述显示图像。
12.一种车辆用监视系统，其特征在于，具备：
根据权利要求3或者引用权利要求3的权利要求4～10中的任一项所述的车辆用监视装置；以及
能够与上述车辆用监视装置互相交换信息的终端装置，
其中，外部的上述终端装置具有：
通信单元，其与上述车辆用监视装置进行通信，来获得附加有上述监视对象物体的存在位置的信息的监视图像和上述映射信息；
图像处理单元，其生成显示图像，该显示图像是基于上述映射信息使从正视所检测出的上述监视对象物体的像的监视视点观察到的上述监视图像投影到被设定于以上述车辆的载置面为底面的柱体的投影模型的侧面的投影面上而得到的；以及
显示单元，其显示所生成的上述显示图像。
13.一种车辆监视用的终端装置，其特征在于，具有：
通信单元，其获取监视图像和映射信息，该监视图像是将设置于车辆的车身的不同位置的多个摄像头的摄像图像按照设置于上述车辆的车身的外周的上述摄像头的沿着顺时针或者逆时针的方向的设置顺序配置而得到的，该映射信息用于投影到被设定于以上述车辆的载置面为底面的柱体的投影模型的侧面的投影面上；
图像处理单元，其生成显示图像，该显示图像是基于所获取到的上述映射信息使所获取到的上述监视图像投影到被设定于以上述车辆的载置面为底面的柱体的投影模型的侧面的投影面上而得到的；以及
显示单元，其显示所生成的上述显示图像。
14.一种车辆监视用的终端装置，其特征在于，具有：
通信单元，其获取监视图像和映射信息，该监视图像是将设置于车辆的车身的不同位置的多个摄像头的摄像图像按照设置于上述车辆的车身的外周的上述摄像头的沿着顺时针或者逆时针的方向的设置顺序配置而得到的，附加有在上述车辆侧检测到的监视对象物体的存在位置的信息，该映射信息用于投影到被设定于以上述车辆的载置面为底面的柱体的投影模型的侧面的投影面上；
图像处理单元，其生成显示图像，该显示图像是基于上述映射信息使从正视所检测出的上述监视对象物体的像的监视视点观察到的上述监视图像投影到被设定于以上述车辆的载置面为底面的柱体的投影模型的侧面的投影面上而得到的；以及
显示单元，其显示所生成的上述显示图像。
15.根据权利要求14所述的车辆监视用的终端装置，其特征在于，
上述图像处理单元使上述监视视点沿着上述投影模型的侧面移动规定范围，来生成从各上述监视视点观察到的显示图像，
上述显示单元使所生成的上述显示图像依次显示。
16.一种车辆的监视方法，其特征在于，包括以下步骤：
分别获取设置于车辆的车身的不同位置来对上述车辆的周围进行拍摄的多个摄像头的摄像图像；
基于沿着顺时针或者逆时针的方向设置于上述车辆的车身的外周的上述摄像头的摄像图像，生成按照该摄像头的设置顺序配置上述摄像图像而得到的一张监视图像；
对监视图像附加映射信息，该映射信息用于使所生成的上述监视图像投影到被设定于以上述车辆的载置面为底面的柱体的投影模型的侧面的投影面上；以及
将上述监视图像和与该监视图像对应关联的上述映射信息发送到外部的终端装置。
17.一种车辆的监视方法，其特征在于，包括以下步骤：
分别获取设置于车辆的车身的不同位置来对上述车辆的周围进行拍摄的多个摄像头的摄像图像和在上述车辆的周围检测到的监视对象物体的存在位置；
生成一张监视图像，该监视图像是将沿着顺时针或者逆时针的方向设置于上述车辆的车身的外周的上述摄像头的摄像图像按照该摄像头的设置顺序配置而得到的，附加有所检测到的上述监视对象物体的存在位置的信息；
对上述监视图像附加映射信息，该映射信息用于将所生成的上述监视图像投影到被设定于以上述车辆的载置面为底面的柱体的投影模型的侧面的投影面上；以及
将与上述监视对象物体的存在位置和上述映射信息对应关联的监视图像发送到外部的终端装置。
18.一种车辆的监视方法，其特征在于，包括以下步骤：
分别获取设置于车辆的车身的不同位置来对上述车辆的周围进行拍摄的多个摄像头的摄像图像；
基于沿着顺时针或者逆时针的方向设置于上述车辆的车身的外周的上述摄像头的摄像图像，生成按照该摄像头的设置顺序配置而得到的一张监视图像；
对监视图像附加映射信息，该映射信息用于使所生成的上述监视图像投影到被设定于以上述车辆的载置面为底面的柱体的投影模型的侧面的投影面上；以及
生成显示图像，该显示图像是基于上述映射信息使上述监视图像投影到被设定于以上述车辆的载置面为底面的柱体的投影模型的侧面的投影面上而得到的。
19.一种车辆的监视方法，其特征在于，包括以下步骤：
分别获取设置于车辆的车身的不同位置来对上述车辆的周围进行拍摄的多个摄像头的摄像图像和在上述车辆的周围检测到的监视对象物体的存在位置；
生成一张监视图像，该监视图像是将沿着顺时针或者逆时针的方向设置于上述车辆的车身的外周的上述摄像头的摄像图像按照该摄像头的设置顺序配置而得到的，附加有所检测到的上述监视对象物体的存在位置的信息；
对监视图像附加映射信息，该映射信息用于将从正视所检测到的上述监视对象物体的像的监视视点观察到的上述监视图像投影到被设定于以上述车辆的载置面为底面的柱体的投影模型的侧面的投影面上；以及
生成显示图像，该显示图像是基于上述映射信息使从正视上述监视对象物体的像的监视视点观察到的上述监视图像投影到被设定于以上述车辆的载置面为底面的柱体的投影模型的侧面的投影面而得到的。
20.一种车辆的监视方法，其特征在于，包括以下步骤：
经由通信线路接收监视图像和映射信息，该监视图像是将设置于车辆的车身的不同位置的多个摄像头的摄像图像按照沿着顺时针或者逆时针的方向设置于上述车辆的车身的外周的上述摄像头的设置顺序连续地配置而得到的，该映射信息用于使该监视图像投影到被设定于以上述车辆的载置面为底面的柱体的投影模型的侧面的投影面上；
生成显示图像，该显示图像是基于所接收到的该映射信息使所接收到的上述监视图像投影到被设定于以上述车辆的载置面为底面的柱体的投影模型的侧面的投影面上而得到的；以及
将所生成的上述显示图像显示在显示器上。
21.一种车辆的监视方法，其特征在于，包括以下步骤：
经由通信线路接收一张监视图像和映射信息，该监视图像是将设置于车辆的车身的不同的位置的多个摄像头的摄像图像按照沿着顺时针或者逆时针的方向设置于上述车辆的车身的外周的上述摄像头的设置顺序连续地配置而得到的，附加有所检测到的监视对象物体的存在位置的信息，该映射信息用于使该监视图像投影到被设定于以上述车辆的载置面为底面的柱体的投影模型的侧面的投影面上；
生成显示图像，该显示图像是基于所获取到的上述该映射信息使所获取到的从正视上述监视对象物体的像的监视视点观察到的上述监视图像投影到被设定于以上述车辆的载置面为底面的柱体的投影模型的侧面的投影面上而得到的；以及
将生成的上述显示图像显示在显示器上。
CN201280034489.3A 2011-07-12 2012-06-27 车辆用监视装置、车辆用监视系统、终端装置以及车辆的监视方法 Pending CN103650485A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2011153735 2011-07-12
JP2011-153725 2011-07-12
JP2011-153735 2011-07-12
JP2011153725 2011-07-12
PCT/JP2012/066367 WO2013008623A1 (ja) 2011-07-12 2012-06-27 車両用監視装置、車両用監視システム、端末装置及び車両の監視方法

Publications (1)

Publication Number Publication Date
CN103650485A true CN103650485A (zh) 2014-03-19

Family

ID=47505920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280034489.3A Pending CN103650485A (zh) 2011-07-12 2012-06-27 车辆用监视装置、车辆用监视系统、终端装置以及车辆的监视方法

Country Status (5)

Country Link
US (1) US20150109446A1 (zh)
EP (1) EP2733937A4 (zh)
JP (1) JP5648746B2 (zh)
CN (1) CN103650485A (zh)
WO (1) WO2013008623A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105141927A (zh) * 2015-09-22 2015-12-09 浙江吉利汽车研究院有限公司 一种车载图像监控装置
CN106464847A (zh) * 2014-06-20 2017-02-22 歌乐株式会社 影像合成系统和用于其的影像合成装置与影像合成方法
CN111038385A (zh) * 2018-10-11 2020-04-21 通用汽车环球科技运作有限责任公司 在行人碰撞事故发生后呈现信息的系统和方法
CN112788330A (zh) * 2020-12-25 2021-05-11 深圳市元征科技股份有限公司 诊断视频生成方法、装置、终端设备及存储介质
CN113099170A (zh) * 2020-01-09 2021-07-09 上海博泰悦臻电子设备制造有限公司 用于信息处理的方法、设备和计算机存储介质

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5828039B2 (ja) * 2012-06-11 2015-12-02 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
US10168871B2 (en) * 2013-09-16 2019-01-01 Rovi Guides, Inc. Methods and systems for presenting direction-specific media assets
WO2015104860A1 (ja) * 2014-01-10 2015-07-16 アイシン精機株式会社 画像表示制御装置および画像表示システム
ES2615164B1 (es) * 2015-11-05 2018-03-28 Ontech Security Sl Sistema y método de seguridad para vehículos
KR102597435B1 (ko) * 2016-04-20 2023-11-03 엘지이노텍 주식회사 영상 취득 장치 및 그 방법
EP3549116B1 (en) * 2016-11-29 2021-05-05 Lumileds LLC Vehicle surveillance
CN110114244B (zh) * 2017-02-17 2023-07-04 住友重机械工业株式会社 工作机械用周边监视系统
JP7039879B2 (ja) 2017-08-03 2022-03-23 株式会社アイシン 表示制御装置
JP6819514B2 (ja) * 2017-08-28 2021-01-27 トヨタ自動車株式会社 画像処理装置及び撮像装置
FR3078224B1 (fr) * 2018-02-16 2020-02-07 Renault S.A.S Methode de surveillance d’un environnement de vehicule automobile en stationnement comprenant une camera asynchrone
DE102019110871A1 (de) * 2019-04-26 2020-10-29 Mekra Lang Gmbh & Co. Kg Sichtsystem für ein Fahrzeug
KR20210030523A (ko) * 2019-09-09 2021-03-18 현대자동차주식회사 차량 및 그 제어 방법
CN113002531B (zh) * 2021-02-08 2022-09-30 深圳市海沃德科技有限公司 车辆全景环视方法、系统、设备和计算机可读存储介质
JP2022172709A (ja) * 2021-05-06 2022-11-17 トヨタ自動車株式会社 車載ドライブレコーダシステム
JP7434476B2 (ja) 2021-09-24 2024-02-20 キヤノン株式会社 画像処理システム、画像処理方法、撮像装置、光学系、およびコンピュータプログラム
JP7476151B2 (ja) 2021-09-24 2024-04-30 キヤノン株式会社 画像処理システム、画像処理方法、およびコンピュータプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2309453A3 (en) * 1998-07-31 2012-09-26 Panasonic Corporation Image displaying apparatus and image displaying method
EP1303140A4 (en) * 2000-07-19 2007-01-17 Matsushita Electric Ind Co Ltd MONITORING SYSTEM
JP4860835B2 (ja) * 2001-06-11 2012-01-25 クラリオン株式会社 パノラマ画像表示方法及びパノラマ画像表示装置
JP2003085695A (ja) * 2001-09-13 2003-03-20 Radias:Kk 車両管理システム
JP2003317177A (ja) * 2002-04-25 2003-11-07 Aisin Aw Co Ltd 車両監視装置、車両監視システム及び車両監視方法
JP2006107279A (ja) 2004-10-07 2006-04-20 Matsushita Electric Ind Co Ltd 防犯装置および遠隔監視システム
US8094182B2 (en) * 2006-11-16 2012-01-10 Imove, Inc. Distributed video sensor panoramic imaging system
WO2009144994A1 (ja) * 2008-05-29 2009-12-03 富士通株式会社 車両用画像処理装置、車両用画像処理方法
JP5182042B2 (ja) * 2008-11-28 2013-04-10 富士通株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
US8502860B2 (en) * 2009-09-29 2013-08-06 Toyota Motor Engineering & Manufacturing North America (Tema) Electronic control system, electronic control unit and associated methodology of adapting 3D panoramic views of vehicle surroundings by predicting driver intent
JP5640433B2 (ja) * 2010-04-07 2014-12-17 日産自動車株式会社 画像情報提供装置および画像情報提供方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106464847A (zh) * 2014-06-20 2017-02-22 歌乐株式会社 影像合成系统和用于其的影像合成装置与影像合成方法
CN106464847B (zh) * 2014-06-20 2019-06-25 歌乐株式会社 影像合成系统和用于其的影像合成装置与影像合成方法
CN105141927A (zh) * 2015-09-22 2015-12-09 浙江吉利汽车研究院有限公司 一种车载图像监控装置
CN111038385A (zh) * 2018-10-11 2020-04-21 通用汽车环球科技运作有限责任公司 在行人碰撞事故发生后呈现信息的系统和方法
CN113099170A (zh) * 2020-01-09 2021-07-09 上海博泰悦臻电子设备制造有限公司 用于信息处理的方法、设备和计算机存储介质
CN113099170B (zh) * 2020-01-09 2023-05-12 博泰车联网科技(上海)股份有限公司 用于信息处理的方法、设备和计算机存储介质
CN112788330A (zh) * 2020-12-25 2021-05-11 深圳市元征科技股份有限公司 诊断视频生成方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
JPWO2013008623A1 (ja) 2015-02-23
EP2733937A1 (en) 2014-05-21
US20150109446A1 (en) 2015-04-23
JP5648746B2 (ja) 2015-01-07
WO2013008623A1 (ja) 2013-01-17
EP2733937A4 (en) 2015-05-20

Similar Documents

Publication Publication Date Title
CN103650485A (zh) 车辆用监视装置、车辆用监视系统、终端装置以及车辆的监视方法
JP7322940B2 (ja) 画像通信システム、画像通信端末、画像通信方法、プログラム、及び記録媒体
US11558431B2 (en) Communication terminal, communication system, communication method, and display method
US10778865B2 (en) Image processing apparatus, image processing system, and image processing method
US10764513B2 (en) Communication terminal, image data communication system, and communication method
US10944619B2 (en) Communication terminal, image communication system, and display control method
US11323621B2 (en) Image communication system, image capturing device, communication terminal, and mode switching method
US20220086346A1 (en) Omnidirectional camera system with improved point of interest selection
CN103548340A (zh) 车辆用监视装置以及车辆的监视方法
US20080036790A1 (en) Image Display System, Image Display Method and Image Display Program
US20210037214A1 (en) Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium
CN111757057B (zh) 一种全景环视显示方法、装置、设备及存储介质
US20220070412A1 (en) Communication terminal, image communication system, method of displaying image, and recording medium
US11743590B2 (en) Communication terminal, image communication system, and method for displaying image
JP6450583B2 (ja) ドライブレコーダーおよびドライブレコーダーシステム
US11818492B2 (en) Communication management apparatus, image communication system, communication management method, and recording medium
US20220078344A1 (en) Communication terminal, display method, and non-transitory computer-readable medium
TWI668988B (zh) 對講機系統、對講機母機、對講機子機、及程式
JP6729680B2 (ja) サービス提供システム、サービス授受システム、サービス提供方法、及びプログラム
JP2015070350A (ja) 監視画像提示システム
KR101026631B1 (ko) 무선 보안 관제 시스템 및 방법
CN104754192A (zh) 摄像设备及其控制方法
CN203520470U (zh) 影像记录装置、挂载于交通工具的支撑装置及服务系统
WO2013161345A1 (ja) 監視システム及び監視方法
US20210168285A1 (en) Image capturing device, image communication system, and method for display control, and recording medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140319

WD01 Invention patent application deemed withdrawn after publication