CN112272841B - 车载电子控制装置 - Google Patents

车载电子控制装置 Download PDF

Info

Publication number
CN112272841B
CN112272841B CN201980031706.5A CN201980031706A CN112272841B CN 112272841 B CN112272841 B CN 112272841B CN 201980031706 A CN201980031706 A CN 201980031706A CN 112272841 B CN112272841 B CN 112272841B
Authority
CN
China
Prior art keywords
dimensional object
camera
image
control unit
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980031706.5A
Other languages
English (en)
Other versions
CN112272841A (zh
Inventor
山田哲也
广津铁平
蛯名朋仁
芹泽一
村松彰二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Publication of CN112272841A publication Critical patent/CN112272841A/zh
Application granted granted Critical
Publication of CN112272841B publication Critical patent/CN112272841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/295—Means for transforming co-ordinates or for evaluating data, e.g. using computers
    • G01S7/2955—Means for determining the position of the radar coordinate system for evaluating the position data of the target in another coordinate system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

未考虑从行驶的车辆拍摄到的图像数据，无法削减图像数据的传送频带。设为搭载于正在行驶的车辆(10)的雷达(4)在时刻(T)、距离(d1)[m]、角度(θ1)的方向检测到某个远方立体物。车辆(10)以本车速(Y)[km/h]前进，所以，预测摄像机(3)在时刻(T+ΔT)、角度(φ1)、距离(d2)[m]的位置处捕捉到远方立体物。因而，如果从控制部(2)对摄像机(3)预先发出请求，以使摄像机(3)事先在(T+ΔT)的时刻下剪切角度(φ1)、距离(d2)[m]的图像，则摄像机(3)在达到(T+ΔT)的时刻时，将整体图像以及仅剪切出该部分图像的与整体图像相比高分辨率的图像转送给控制部(2)。

Description

车载电子控制装置
技术领域
本发明涉及一种车载电子控制装置。
背景技术
在汽车等车辆中设置摄像机、并基于由摄像机拍摄而得到的图像数据而进行自动驾驶辅助等的车载电子控制装置正得到普及。
在这样的车载电子控制装置中，将由摄像机拍摄到的图像数据作为变更成JPEG等图像格式之前的、即保持为原始数据的图像数据引入到控制部。由此，控制部将多个传感器的识别处理整合，实现识别精度的提高、实时性能的提高。另一方面，在将原始数据输入到控制部的情况下，在摄像机与控制部之间转送原始数据，所以，例如在是4K摄像机且30fps的非压缩原始数据的情况下，需要几百MB/sec的传送频带。因此，将昂贵的缆线、昂贵的通信收发器LSI、通信控制器LSI用作摄像机与控制部的接口。进一步地，关于摄像机，正在推进比8K等更高分辨率化的开发。
在专利文献1中，记载了通过在发送低分辨率的整体图像之后发送部分图像来减小传送容量的装置。
现有技术文献
专利文献
专利文献1：日本特开2006－33793号公报
发明内容
发明要解决的技术问题
在专利文献1中，没有考虑从行驶的车辆拍摄到的图像数据，无法削减图像数据的传送频带。
解决技术问题的技术手段
本发明的车载电子控制装置具备：传感器，其检测立体物；控制部，其在车辆行驶的情况下，求出从由所述传感器检测到立体物的时刻起经过的规定时刻下的所述立体物的位置；以及拍摄装置，其在所述位置的所述规定时刻，将拍摄所述立体物而得到的图像数据向所述控制部输出。
本发明的车载电子控制装置具备：拍摄装置，其拍摄立体物；以及控制部，其基于由所述拍摄装置拍摄到的立体物的图像数据而进行识别处理，其中，所述拍摄装置伴随着车辆的行驶而识别立体物，通过对应的辨识编号来管理所识别到的立体物的图像数据，在由所述控制部通知了所述辨识编号的情况下，生成与所述辨识编号对应的所述立体物的高分辨率的部分图像，将所生成的图像数据和所述辨识编号向所述控制部输出，所述控制部将所述识别处理所需的所述图像数据的所述辨识编号通知给所述拍摄装置。
发明效果
根据本发明，在从行驶的车辆拍摄到的图像数据的传送中，能够削减传送频带，不需要昂贵的缆线、昂贵的通信部件，能够削减系统成本。
附图说明
图1是示出搭载有第1实施方式中的车载电子控制装置的车辆的结构的框图。
图2是示出从行驶的车辆识别标识的例子的图。
图3是示出雷达和摄像机的数据流的图。
图4是第1实施方式中的识别处理的流程图。
图5是示出第1实施方式中的标识识别的相对坐标计算以及针对单眼摄像机的坐标转换的例子的图。
图6是示出第1实施方式的标识识别的相对坐标计算以及针对单眼摄像机的坐标转换处理的流程图。
图7是示出针对第1实施方式的单眼摄像机的图像宽度的指定的例子的图。
图8是示出第1实施方式的摄像机图像的距离与像素宽度的表格的例子的图。
图9是说明第1实施方式的单眼摄像机的图像剪切的图。
图10是示出第1实施方式的单眼摄像机的图像剪切的处理的流程图。
图11是说明立体摄像机的原理的图。
图12是示出第1实施方式的标识识别的相对坐标计算以及针对立体摄像机的坐标转换的例子的图。
图13是示出针对第1实施方式的立体摄像机的图像宽度的指定的例子的图。
图14是说明第1实施方式的立体摄像机的图像剪切的图。
图15是示出第1实施方式的立体摄像机的图像剪切的处理的流程图。
图16是示出搭载有第2实施方式中的车载电子控制装置的车辆的结构的框图。
图17是示出第2实施方式中的相对坐标计算以及坐标转换的例子的图。
图18是示出第2实施方式中的坐标转换的处理的流程图。
图19是示出由第3实施方式中的摄像机来识别的例子的图。
图20是示出搭载有第3实施方式中的车载电子控制装置的车辆的结构的框图。
图21是示出第3实施方式中的识别管理表格的例子的图。
图22是示出第3实施方式中的摄像机的剪切图像生成的处理的流程图。
具体实施方式
[第1实施方式]
下面，参照附图，说明第1实施方式。
在第1实施方式中，对于如何削减摄像机3与控制部2之间的原始数据的传送频带这样的技术问题，说明一种使用摄像机3以外的传感器的信息、例如雷达4来确定所需的数据并削减传送频带的车载电子控制装置。
图1是示出搭载有第1实施方式中的车载电子控制装置1的车辆的结构的框图。车载电子控制装置1具备控制部2、摄像机3和雷达4。摄像机3是高分辨率的拍摄装置，既可以是立体摄像机，也可以是单眼摄像机。雷达4可以是前置雷达、侧置雷达中的某一方或者双方。另外，雷达只要是作为例子而列举的摄像机3以外的传感器即可，不限定于毫米波雷达，也可以是激光雷达。
控制部2由传感器接口部11、综合识别部12、解析部13、路径规划部14构成。将车速、舵角、横摆率等车辆信息输入到控制部2。
传感器接口部11与摄像机3、雷达4进行输入输出。从摄像机3输出原始数据，由摄像机坐标转换部32计算剪切得到的部分图像相当于控制部2的全局坐标系的何处。例如，如果在部分图像中从立体摄像机输出距离与角度，则能够根据摄像机坐标的角度的方向与距离来计算全局坐标系中的位置。在单眼摄像机中没有距离信息的情况下，从摄像机3输出方向，但不输出距离，所以无法在全局坐标系上唯一地确定位置。雷达4输出检测后的目标数据，由雷达坐标转换部33将目标数据从雷达4的坐标系转换成控制部2的全局坐标系。摄像机时刻坐标计算部31如后面所述，将车辆坐标系转换成摄像机3的坐标系。
综合识别部12由识别部41进行识别处理。识别部41由识别整体图像的整体识别部42与识别部分图像的部分识别部43构成。进行利用机器学习的识别。部分识别部43使用高分辨率的部分图像来进行文字识别等，也可以使用DNN(Deep Neural Network，深度神经网络)来构成。整体识别部42进行整体图像的识别处理，但通过使摄像机3的整体图像的识别结果与雷达4的识别结果的坐标系都在全局坐标系中共同化，从而使用雷达4的目标信息来提高摄像机3的识别精度。
解析部13由本地动态地图(LDM)44和立体物计算部45构成，本地动态地图(LDM)44绘制地图信息与雷达4的识别结果、识别部41的识别结果的坐标信息，立体物计算部45计算由摄像机3作为高分辨率数据而剪切的数据的选择的车辆坐标系的坐标与时刻。
路径规划部14由路径计算部46基于LDM44来进行安全区域计算与路径计算，所计算出的这些信息用于自动驾驶辅助。
图2是示出从行驶的车辆10识别标识的例子的图。标识由表示速度限制、解除的主标识55、57以及表示主标识55、57的条件的辅助标识54、56构成。辅助标识54、56包括文字、箭头等记号，如果不准确地进行文字识别则无法判断。例如，在辅助标识54与56处，为了判定普通车属于哪一种，必须能够准确地识别“大货车等、三轮牵引车辆除外”。因此，远距离地准确进行文字识别成为需要高分辨率的4K摄像机、8K摄像机的理由之一。
在辅助标识54、56的文字识别的判定中，需要高分辨率的图像，但山、护栏等背景部分并非需要高分辨率。因此，设为针对详细识别的高分辨率的限定区域的图像以及作为画面整体的信息而使分辨率降低而得到的低分辨率的整体图像、或者降低了帧率的高分辨率的整体图像中的某一方。由此，与始终是通常帧率的高分辨率的整体图像的数据传送量相比，能够削减数据传送量。
如图2所示，设为搭载于正在行驶的车辆10的雷达4在时刻T在距离d1[m]、角度θ1的方向上检测到某种远方立体物。车辆10以本车速Y[km/h]前进，所以，预测摄像机3在时刻T+ΔT在角度φ1或者距离d2[m]的位置处捕捉到远方立体物。因此，如果预先从控制部2对摄像机3发出请求，以使摄像机3事先在T+ΔT的时刻剪切角度φ1或者距离d2[m]的图像，则在达到T+ΔT的时刻时，摄像机3将整体图像与仅剪切了相符合的部分图像的高分辨率图像转送到控制部2。在这里，在图2中，记载为角度φ1，但在摄像机3与附图上的坐标系不同的情况下，需要以与摄像机3的坐标系一致的角度来通知给摄像机3。在控制部2内，例如有包括DNN(Deep Neural Network，深度神经网络)的识别部41，向其中输入高分辨率的部分图像，进行文字识别。
这样，使用输入到控制部2的雷达4等其他传感器的信息来指定摄像机3的图像的剪切位置，所以，例如通过由检测距离比摄像机3长的雷达4利用由摄像机3无法检测的距离、时刻的信息并从控制部2预先通知给摄像机3，从而在能够由摄像机3获取有效的图像的时刻下立即进行高分辨率的部分图像的剪切。
图3是示出雷达4和摄像机3的数据流的图。基于该图来说明图2所示的标识识别的处理。
首先，由雷达4在雷达4的坐标系(时刻T、角度θ1、距离d1)61中检测远方的立体物并输出。该检测结果被输入到控制部2，由雷达坐标转换部33转换成全局坐标系(也称为坐标系1)，作为(时刻T、坐标系1(x1，y1，z1))62而被输出，并被输入到解析部13的立体物计算部45。
如果将摄像机3能够以足够的分辨率判别立体物的区域称为摄像机3的有效区域，则由立体物计算部45计算立体物出现在摄像机3的有效区域中的时刻与位置。使用经由CAN输入到控制部2的车速、舵角、横摆率等表示本车的举动的车辆信息60以及雷达4的车辆坐标系的信息的时刻T、坐标系1(x1，y1，z1)62，与摄像机3的帧率的间隔相匹配地计算多个时刻与坐标系1的坐标。在这里，将(时刻T+ΔT，标识符ID＝1，坐标系1(x2，y2，z2))63设为多个点中的最先的点的坐标。
由摄像机时刻坐标计算部31从车辆坐标系转换成摄像机3的坐标系(时刻T+ΔT，角度φ1，距离d2)64。角度表示极坐标系的角度，距离表示距摄像机3的距离。针对立体摄像机等能够处理距离的摄像机3，还一并输出距离信息。关于时间信息，既可以按时刻通知，也可以按帧编号通知。
如果摄像机3是立体摄像机那样的利用视差来处理距离的摄像机3，则根据时间、角度、距离，由图像转换剪切部21制作高分辨率的剪切图像65和小容量的整体图像。小容量的整体图像既可以是对图像进行向下转换而得到的低分辨率的整体图像，也可以是对特定的帧进行间隔剔除而得到的低帧率的高分辨率的整体图像的数据中的任一方。
从摄像机3输出的原始数据的图像由摄像机坐标转换部32转换成车辆坐标系。将剪切图像65转换成车辆坐标系，作为(时刻T+ΔT，坐标系1(x2，y2，z2))66来处置。然后，剪切图像部通过识别部41的部分识别部43进行识别处理，进行主标识或者辅助标识的识别和辨识。
图4是第1实施方式中的识别处理的流程图。
在图4中，处理S1、S3～S6、S9～S10是控制部2的处理，处理S2是雷达4的处理，处理S7～S8是摄像机3的处理。
在处理S1中，判别是否经过了一定时间，如果经过一定时间，则前进到处理S2、处理S8。在处理S2中，从雷达4向控制部2输出在时刻T的包括远方的标识候选的一个或者多个立体物的检测坐标。另外，在处理S8中，从摄像机3向控制部2输出原始数据的小容量整体图像的图像数据和高分辨率剪切图像的图像数据。
如果在处理S2中输出来自雷达4的检测坐标，则在处理S3中，由控制部2内的雷达坐标转换部33将雷达4中的检测坐标坐标转换成全局坐标系的坐标。其后，前进到处理S4。
在处理S4中，由于雷达4与摄像机3相比更能够进行远距离的检测，所以，在能够由摄像机3将立体物作为有效图像来处置的时刻、例如该立体物的图像的宽度变成确定的像素数量的时候，与雷达4中的检测时刻(T)相比，时间向前推进。在立体物计算部45中，根据车速、舵角、横摆率来计算车辆举动，并且基于在处理S3中坐标转换成全局坐标系后的雷达4中的立体物的检测坐标，在全局坐标系上计算该立体物进入预先在系统中确定的摄像机3能够作为有效图像来处置的区域的时刻(T+ΔT)以及此时的坐标(x2，y2，z2)。
接下来，在处理S5中，由摄像机时刻坐标计算部31将在处理S4中计算出的时刻(T+ΔT)下的立体物的坐标(x2，y2，z2)从全局坐标系坐标转换成摄像机坐标系。例如，如果摄像机3是极坐标，则进行向极坐标的转换。在像立体摄像机那样能够处理距离的情况下，还计算距摄像机3的距离。
在接下来的处理S6中，还依赖于由摄像机3处理的信息，但从控制部2向摄像机3输出在处理S4中计算出的时刻(T+ΔT)的时刻信息以及在处理S5中从全局坐标系坐标转换成摄像机坐标系的时刻(T+ΔT)下的立体物的坐标信息(角度、距离)。时刻既可以按绝对时刻确定，也可以按帧编号确定。
在摄像机3中，在处理S7中，由摄像机3的图像转换剪切部21使用从控制部2接收到的时刻信息与坐标信息来拍摄立体物，并进行坐标附近部分的高分辨率图像的剪切。进一步地，进行整体图像的低分辨率化，使帧率降低，生成削减了数据容量的整体图像。
接下来，在处理S8中，将附加有时刻信息的小容量整体图像以及附加有时刻信息和坐标信息的高分辨率剪切图像从摄像机3输出到控制部2。此外，摄像机3也可以不一定将拍摄区域的全部图像作为整体图像来输出。只要是拍摄了至少比剪切立体物的附近部分得到的高分辨率的剪切图像宽的范围而得到的图像，就能够作为整体图像来输出。
在处理S9中，控制部2通过摄像机坐标转换部32将接收到的剪切图像坐标转换成全局坐标系。
然后，在接下来的处理S10中，控制部2的识别部41通过整体识别部42进行整体图像的识别，通过部分识别部43进行剪切图像的识别。通过部分识别部43，例如也可以进行辅助标识的文字识别等立体物的矩形识别或与车道不同的种类的识别。
(单眼摄像机的情况下的坐标转换)
在第1实施方式中，关于雷达4的雷达坐标系、控制部2的全局坐标系、摄像机3的摄像机坐标系的坐标转换，以单眼摄像机的情况为例，参照图5～图10进行说明。
图5示出使用由雷达4得到的标识的检测信息，在时刻(T+ΔT)计算标识与摄像机3的相对坐标并转换成单眼摄像机的摄像机坐标系的例子。
首先，假定在雷达4的雷达坐标系中，以时刻T、距离(d1)、角度(θ1)从本车辆检测到标识。由雷达坐标转换部33从雷达坐标系转换成全局坐标系。控制部2由于掌握本车辆的时刻T的全局坐标，所以，能够使用转换得到的相对坐标(x1，y1，z1)来标绘标识的坐标(x，y，z)。本车辆能够使用作为车辆信息的例如车速V、加速度α来计算时刻T+ΔT的坐标。根据标识的坐标(x，y，z)与时刻T+ΔT的本车辆的坐标来计算相对坐标(x2，y2，z2)。此时，在时刻T+ΔT，设为根据本车辆与标识的相对坐标下的距离摄像机3处于能够检测的区域。
然后，如果将全局坐标系的相对坐标(x2，y2，z2)转换成摄像机坐标系，则在时刻T+ΔT下由角度φ1的方向来表示。
图6是示出图5所示的单眼摄像机的摄像机坐标系的坐标转换处理的流程图。详细示出了图4所示的流程图的立体物计算部45的处理S4。
在处理S3中，如在图4中所述，由控制部2内的雷达坐标转换部33从雷达4中的检测坐标(时刻T，距离d1，角度θ1)坐标转换成全局坐标系的坐标(时刻T，相对于本车辆的相对坐标(x1，y1，z1))。
在图6所示的接下来的处理S4－1中，在时刻T，对本车辆的位置加上相对于本车辆的相对坐标(x1，y1，z1)，计算标识坐标(x，y，z)。
然后，在处理S4－2中，根据本车辆的车辆信息(车速、加速度、转向角等)，预测某个时刻下的本车辆的位置。由于标识坐标(x，y，z)是固定的，所以如果将摄像机3的检测距离设为例如100m，则能够根据标识的坐标来计算进入到半径100m的地点的预计时刻。将该时刻设为T+ΔT。还能够将时刻标准化为摄像机3的帧周期。
在接下来的处理S4－3中，如果时刻T+ΔT确定，则能够根据车辆信息来预测本车辆的位置，所以，取本车辆的预测坐标与固定的标识坐标的差分，计算时刻T+ΔT下的相对坐标(x2，y2，z2)。
在处理S5中，由于求出了时刻T+ΔT下的相对于车辆的相对坐标(x2，y2，z2)，所以，通过进行向摄像机坐标系的坐标转换，从而计算时刻T+ΔT、角度φ1。
(单眼摄像机的情况下的剪切图像的宽度)
接下来，在第1实施方式中，说明如何确定由摄像机3剪切的图像的宽度w’。
图7是示出针对第1实施方式的单眼摄像机的图像宽度的指定的例子的图。如图7所示，假定雷达4在时刻T以距离d、角度θ1检测到的标识(立体物)的宽度是w。在摄像机3在时刻T+ΔT检测标识(立体物)的情况下，由于雷达4与摄像机3检测的时刻不同，所以，不仅相对于标识(立体物)的角度、距离不同，宽度w’也不同。
在立体物的宽度确定的情况下，能够将摄像机图像的距离与宽度(像素数量)的关系表示为表格。图8是示出摄像机图像的距离与像素宽度的表格的例子的图。如图8所示，在确定了某个固定的标识的宽度的情况下，示出与距离相应的图像宽度的像素数量。根据该表格，基于距离进行参照，如果在表格中没有适当的距离，则进行线性插值来计算。作为其他手段，也可以根据雷达4的宽度与雷达距离、摄像机距离的关系，基于下式(1)来计算。
Wc＝Wr×(Dr/Dc)×K…式(1)
在这里，Wc：摄像机宽度，Wr：雷达宽度，Dr：雷达距离，Dc：摄像机距离，K：系数。
由摄像机时刻坐标计算部31参照图8所示的表格或者通过式(1)来计算摄像机的图像中的宽度w’。
(单眼摄像机的情况下的图像的剪切)
说明在第1实施方式中如何由单眼摄像机剪切图像。
图9是说明由单眼摄像机实施的图像剪切的图。作为剪切图像的信息，从控制部2接收时刻T+ΔT、角度φ1、距离d2、宽度w’、标识符ID＝1的信息。由图像获取处理部20逐帧生成整体图像。通过图像转换剪切部21，除了低分辨率的整体图像或者仅使用一部分帧的间隔剔除帧的整体图像之外，还生成剪切图像。由于单眼摄像机不具有距离信息，所以，不使用距离信息。依照来自控制部2的指示，针对时刻T+ΔT的整体图像，按角度φ1、宽度w’生成剪切图像。
图10是示出由单眼摄像机实施的图像剪切的处理的流程图。该流程图示出图4的处理S7的详细内容。
在处理S6中，与图4所述同样地，作为剪切图像的信息，控制部2输出时刻T+ΔT、标识符ID＝1、角度φ1、距离d2、宽度w’的信息。
接下来，在处理S7－1中，由图像获取处理部20生成逐帧整体图像，并将其输出。在接下来的处理S7－2中，通过图像转换剪切部21，针对时刻T+ΔT的整体图像，按角度φ1、宽度w’生成剪切图像。然后，在处理S7－3中，作为小容量的整体图像，逐帧生成对图像进行向下转换而得到的整体图像，或者生成仅使用一部分帧的间隔剔除帧的整体图像。在接下来的处理S8中，从摄像机3输出在处理S7－2中生成的高分辨率的剪切图像以及在处理S7－3中生成的小容量整体图像。
(立体摄像机的情况下的坐标转换)
在第1实施方式中，关于雷达4的雷达坐标系、控制部2的全局坐标系、摄像机3的摄像机坐标系的坐标转换，以立体摄像机的情况为例，参照图11～图18进行说明。
图11是说明立体摄像机的原理的图。基于左右的摄像机3的拍摄面的位置偏移(视差)，在画面整体上生成距离分布图像。距离D由式(2)计算。
D＝B×f/Z…式(2)
在这里，D：距离，B：摄像机的基线长度，f：摄像机焦距，Z：拍摄面的位置偏移。
图12示出使用标识的雷达4的检测信息来计算时刻(T+ΔT)下的标识和摄像机3的相对坐标并转换成立体摄像机的摄像机坐标系的例子。与图5所示的单眼摄像机相比，在由摄像机3处理标识的距离这一点上不同。
首先，假定在雷达4的雷达坐标系中，以时刻T、距离(d1)、角度(θ1)检测到标识。由雷达坐标转换部33从雷达坐标系转换成全局坐标系。控制部2由于掌握本车辆的时刻T的全局坐标，所以，能够使用转换得到的相对坐标(x1，y1，z1)来标绘标识的坐标(x，y，z)。本车辆能够使用作为车辆信息的例如车速V、加速度α来计算时刻T+ΔT的坐标。根据标识的坐标(x，y，z)与时刻T+ΔT的本车辆的坐标来计算相对坐标(x2，y2，z2)。此时，在时刻T+ΔT，设为根据本车辆与标识的相对坐标下的距离摄像机3处于能够检测的区域。
然后，如果将全局坐标系的相对坐标(x2，y2，z2)转换成摄像机坐标系，则在时刻T+ΔT下由角度φ1的方向来表示。立体摄像机具有表示以像素为单位的距离的视差图像，以像素为单位可知距离。因此，通过使图像的角度φ1的部分与视差图像重叠，从而能够导出距离(d2)的部分图像。
(立体摄像机的情况下的剪切的图像的宽度)
在第1实施方式的系统中，说明如何确定由立体摄像机剪切的图像的宽度w’。
图13是示出针对第1实施方式的立体摄像机的图像宽度的指定的例子的图。如图13所示，假定雷达4在时刻T下以距离d、角度θ1检测到的标识(立体物)的宽度是w。在摄像机3在时刻T+ΔT下检测标识(立体物)的情况下，由于由雷达4与摄像机3检测到的时刻不同，所以，不仅相对于标识(立体物)的角度、距离不同，宽度w’也不同。
在立体物的宽度确定的情况下，如图8所示，也可以将摄像机图像的距离与宽度(像素数量)的关系表示为表格，或者如式(1)所示，根据雷达4的宽度与雷达距离、摄像机距离的关系来计算。由摄像机时刻坐标计算部31参照图8所示的表格或者通过式(1)来计算摄像机的图像中的宽度w’。
(立体摄像机的情况下的图像的剪切)
在第1实施方式中，说明如何由立体摄像机考虑距离而剪切图像。
图14是说明第1实施方式的立体摄像机的图像剪切的图。作为剪切图像的信息，从控制部2接收时刻T+ΔT、角度φ1、距离d2、宽度w’、标识符ID＝1的信息。由图像获取处理部20逐帧生成整体图像。由视差图像生成部200逐帧生成视差图像。
通过图像转换剪切部21，除了低分辨率的整体图像或者仅使用一部分帧的间隔剔除帧的整体图像之外，还生成剪切图像。使用时刻T+ΔT的整体图像与视差图像。由距离探索部210探索角度φ1的区域中的距离为d2的部分，设为以一致的点为中心的宽度w’的区域。由距离探索部从整体图像剪切距离d2、宽度w’的区域，从而生成剪切图像。
图15是示出立体摄像机的图像剪切的处理的流程图。该流程图示出图4的处理S7的详细内容。
在处理S6中，与图4所述同样地，作为剪切图像的信息，控制部2输出时刻T+ΔT、标识符ID＝1、角度φ1、距离d2、宽度w’的信息。
接下来，在处理S7－10中，由图像获取处理部20逐帧生成并输出整体图像，由视差图像生成部200逐帧生成并输出视差图像。在接下来的处理S7－11中，在图像转换剪切部21中，由距离探索部210针对时刻T+ΔT的视差图像，按角度φ1探索距离为d2的范围，找到区域。然后，在处理S7－12中，针对该区域，将宽度设为w’，从整体图像生成剪切图像。在接下来的处理S7－13中，作为小容量的整体图像，逐帧生成对图像进行向下转换而得到的整体图像，或者生成仅使用一部分帧的间隔剔除帧的整体图像。然后，在处理S8中，从摄像机3输出在处理S7－12中生成的高分辨率的剪切图像和在处理S7－13中生成的小容量整体图像。
如上所述，在单眼摄像机的情况下，在确定的时刻T+ΔT下，生成角度φ1与宽度w’的剪切图像，在立体摄像机的情况下，生成还包括距离d2的剪切图像。
根据第1实施方式，在从行驶的车辆拍摄到的图像数据的传送中，能够削减传送频带，不需要昂贵的缆线、昂贵的通信部件，能够削减系统成本。
[第2实施方式]
在第2实施方式中，相对于第1实施方式，说明判定由雷达4检测到的立体物是移动体还是静止物体、并且改变由移动体与静止物体从摄像机3剪切的图像的大小、发送间隔的例子。
在恒定的时间内追踪雷达4的初始识别的立体物，与本车的车速、舵角、横摆率等车辆信息进行比较，从而如果该立体物与本车的移动量相应地进行坐标移动，则能够判定为静止物体，在进行与本车的移动量不同的移动的情况下，能够判定为移动体。
在移动体的情况下，在由摄像机3得到的剪切图像中，依据该立体物的移动量而生成剪切图像。也可以使图像尺寸增大等而包括余量。关于静止物体，由于仅有本车的移动，所以，相对于图像尺寸的余量也可以少。关于从摄像机3向控制部2的剪切图像的发送间隔，也可以是移动体的发送间隔短，静止物体的剪切图像的发送间隔长。例如，可以是移动体是逐帧剪切，而静止物体是几帧1次。
图16是示出搭载有第2实施方式中的车载电子控制装置1的车辆的结构的框图。对与第1实施方式相同的部位附加相同的符号，省略其说明。
与第1实施方式不同，在识别部41内设置移动体静止物体判定部71。通过移动体静止物体判定部71，跟踪雷达4的检测结果，根据与本车的移动信息的差分而进行移动体、静止物体的判定，计算移动体相对于本车的相对速度与方向。
立体物计算部45针对移动体、静止物体分别确定剪切图像的发送间隔，在移动体的情况下，根据移动的相对速度与方向而计算剪切的角度与距离。
摄像机时刻坐标计算部31进行从车辆坐标系到摄像机坐标系的坐标转换，并输出到摄像机3。将时刻、标识符、角度、距离、宽度作为指示信息76发送到摄像机3。
摄像机3发送小容量的整体图像和根据来自控制部2的指示信息76而剪切得到的高分辨率图像。与第1实施方式同样地，在单眼摄像机中利用角度来生成剪切图像，在立体摄像机中利用角度、距离信息来生成剪切图像。
图17是示出第2实施方式中的相对坐标计算以及坐标转换的例子的图。参照图17，说明判定立体物是移动体还是静止物体、并且计算相对于本车辆的相对坐标的动作。在图17中，示出利用雷达4的立体物的检测信息来判断是否为移动体、计算时刻(T+ΔT)下的立体物与摄像机3的相对坐标并转换成摄像机坐标系的例子。
首先，在雷达4的雷达坐标系中，按雷达4的采样周期预先多次获取立体物信息。例如，在时刻T之前，在时刻T’、T”下预先获取立体物的相对坐标。然后，利用时刻T’、T”、T的信息来判定是否为移动体，预测时刻T+ΔT的相对位置。
由雷达坐标转换部33将由雷达4检测到的时刻T’、T”、T的立体物的坐标从雷达坐标系转换成全局坐标系。控制部2由于掌握各时刻的本车辆的全局坐标，所以，能够利用相对坐标、例如时刻T的相对坐标(x1，y1，z1)来将本车辆的坐标与立体物的坐标标绘到全局坐标系中。同样地，能够将时刻T’、T”的立体物的坐标标绘到全局坐标系中。能够根据时刻T’、T”或者时刻T”、T来计算矢量v或者每单位时间的矢量，由此，求出时刻T+ΔT的立体物的全局坐标系的坐标。
利用车辆信息(车速V、加速度α)来计算本车辆的时刻T+ΔT的全局坐标系的坐标，所以，能够根据时刻T+ΔT的立体物与本车辆的坐标来计算相对坐标(x3，y3，z3)。如果知道时刻T+ΔT的立体物相对于本车辆的相对坐标，则当由摄像机时刻坐标计算部31向摄像机坐标系进行坐标转换后，得到角度φ2。
图18是示出第2实施方式中的坐标转换的处理的流程图。示出判定图17的立体物是移动体还是静止物体、并计算相对于本车辆的相对坐标的动作。在第1实施方式所示的图4的流程图中，在由立体物计算部45实施的处理S4中追加了移动体用的处理。此外，关于其他处理，进行与图4所示的流程图相同的处理。
在图18的处理S3中，雷达坐标转换部33为了判定由雷达4检测到的立体物是移动体还是静止物体，针对雷达4检测到的每时每刻的结果而进行全局坐标系的坐标计算。因此，进行重复处理。作为例子，利用时刻T’、T”、T的信息。由控制部2内的雷达坐标转换部33，从时刻T’、T”、T的雷达坐标系的从本车辆向立体物的相对坐标被坐标转换成全局坐标系的相对坐标。
关于本车辆的位置，具有各时刻T’、T”、T的全局坐标系的坐标信息。因此，在接下来的处理S4－10中，如果根据从本车辆向立体物的相对坐标而获取本车辆的坐标的差分，则计算立体物的全局坐标系的坐标。计算时刻T’的坐标(Xa、Ya、Za)、时刻T”的坐标(Xb、Yb、Zb)、时刻T的坐标(Xc、Yc、Zc)。
接下来，在处理S4－11中，由立体物计算部45利用举例的3个时刻点T’、T”、T的坐标中的2个时刻点的坐标，根据坐标的差分与时间差分来求出每单位时间的移动矢量v→。
在移动矢量v→为零时是静止物体，在不为零时是移动体。在处理S4－12中，以按照在移动体时逐帧、在静止物体时几帧1次那样使对摄像机3的指示的发送间隔变长的方式，进行发送间隔计算。
能够根据本车辆的车辆信息(车速、加速度、转向角等)和立体物的单位时间的移动矢量，预测车辆与立体物的坐标。在处理S4－13中，如果将摄像机3的检测距离设为例如100m，则计算从预测出的立体物的坐标进入到半径100m的地点的车辆的预计时刻。将该时刻设为T+ΔT。还能够将时刻标准化为摄像机3的帧周期。
接下来，在处理S4－14中，如果确定时刻T+ΔT，则本车辆的位置能够根据车辆信息来预测，能够根据本车辆的预测坐标和单位时间的移动矢量v→来预测立体物的坐标，所以，从这些坐标获取差分，计算本车辆与立体物的相对坐标(x3，y3，z3)。
然后，在处理S5中，由摄像机时刻坐标计算部31将时刻T+ΔT的相对坐标(x3，y3，z3)坐标转换成摄像机坐标系，得到角度φ2、距离d2。
在图18的流程图中虽然省略，但在时刻T+ΔT之后，依照发送间隔，由立体物计算部45计算本车辆与立体物的相对坐标，由摄像机时刻坐标计算部31进行摄像机坐标系的坐标转换。
根据第2实施方式，在从行驶的车辆拍摄而得到的图像数据的传送中，改变移动体与静止物体从摄像机3剪切的图像的大小、发送间隔，所以，能够削减与控制部2之间的传送频带，不需要昂贵的缆线、昂贵的通信部件，能够削减系统成本。
[第3实施方式]
在第1实施方式、第2实施方式中，针对摄像机3的剪切图像，利用摄像机3以外的雷达4等传感器的信息来确定所需的数据。在第3实施方式中，不利用摄像机3以外的传感器的信息，由摄像机3选择剪切图像。
图19示出由摄像机3识别的例子。如果将由摄像机3识别出的全部立体物发送到控制部2，则数量多，所以进行选择。例如，在摄像机3侧挑选无法辨识内容但类似标识的立体物81、进入到车道的车辆82、新检测到的行人87，将辨识ID与时刻、极坐标的角度φ、由立体摄像机3进一步得到的立体物的距离的信息附加到剪切图像，并发送到控制部2。关于以从控制部2发送的方式对摄像机3进行了指示的立体物，例如，关于类似标识的立体物81、进入到车道的车辆82，继续从摄像机3发送剪切图像。这样，剪切由摄像机3选择出的图像、从控制部2进行了请求的图像，从摄像机3向控制部2发送剪切图像。
图20是示出搭载有第3实施方式中的车载电子控制装置1的车辆的结构的框图。对与第1实施方式相同的部位附加相同的符号，省略其说明。
与第1实施方式、第2实施方式的不同点在于，摄像机3自身也进行识别处理，所以设置有摄像机识别部22和识别管理表格23，并且摄像机3与控制部2均基于从摄像机3输出的识别ID来进行管理。通过从控制部2对摄像机3指定ID，即使车辆行驶而使立体物移动，摄像机3也能够通过摄像机识别部22对立体物的追踪(跟踪)，掌握准确的立体物的位置，发送与所指定的ID对应的立体物的图像数据。
图21是示出识别管理表格23的例子的图。识别管理表格23保存帧编号231、识别ID232、角度233、距离234、画面坐标235、画面尺寸236。然后，逐帧地更新识别管理表格23内的数据。在图21中，为了知道变化，记为A→B，但实际上，帧编号100的帧仅记载“A”的数据，帧编号101的帧仅记载“B”的数据。识别ID＝87表示由帧编号101的帧初次登记到识别管理表格23的情况。另外，在车辆正在行驶的情况下，识别管理表格23的信息的内容逐帧地变化。
图22是示出由摄像机3实施的剪切图像生成的处理的流程图。
在处理S20中，作为剪切图像的请求，从控制部2将时刻T、识别ID＝81、82通知给摄像机3。在接下来的处理S21中，由摄像机3内的图像获取处理部20逐帧生成从控制部2请求的整体图像与视差图像，并输出给摄像机识别部22。然后，在处理S22中，由摄像机识别部22进行跟踪等立体物的识别处理。在处理S23中，基于识别处理的结果，逐帧更新识别管理表格23的内容。摄像机识别部22对立体物进行识别处理，并更新识别管理表格23，所以，能够从行驶中的车辆确定立体物81、车辆82的位置。
在处理S24中，从控制部2存在对时刻T、识别ID的指定，如果时刻达到所指定的时刻T，则前进到处理S25，由图像转换剪切部基于识别管理表格23的信息，按画面坐标、画面尺寸生成立体物的剪切图像。
在处理S26中，作为小容量的整体图像，逐帧生成对图像进行向下转换而得到的整体图像，或者生成仅使用一部分帧的间隔剔除帧的整体图像。下面，每当从控制部2存在对时刻T、识别ID的指定时，重复进行处理S24以下的处理。然后，在处理S27中，将在处理S25中生成的高分辨率的剪切图像以及在处理S26中生成的小容量整体图像附加识别ID并从摄像机3输出。控制部2判断是否需要在高分辨率的部分图像中继续进行识别部41的部分识别部43的识别处理。下面，如在处理S20中叙述的那样，控制部2在判断为需要继续进行识别处理的情况下，作为剪切图像的请求，将部分图像数据的识别ID通知给摄像机。
根据第3实施方式，在从行驶的车辆拍摄到的图像数据的传送中，不再需要将由摄像机3识别到的全部立体物逐次发送给控制部2，所以，能够削减与控制部2之间的传送频带，不需要昂贵的缆线、昂贵的通信部件，能够削减系统成本。
根据以上说明的实施方式，能够得到接下来的作用效果。
(1)车载电子控制装置1具备：检测立体物的传感器(雷达4)；在车辆行驶的情况下求出从由传感器检测到立体物的时刻起经过的规定时刻下的立体物的位置的控制部2；以及在上述位置的规定时刻下，将拍摄立体物而得到的图像数据输出给控制部2的拍摄装置(摄像机3)。由此，在从行驶的车辆拍摄而得到的图像数据的传送中，能够削减传送频带，不需要昂贵的缆线、昂贵的通信部件，能够削减系统成本。
(2)在具备拍摄立体物的拍摄装置(摄像机3)以及基于由拍摄装置(摄像机3)拍摄到的立体物的图像数据而进行识别处理的控制部2的车载电子控制装置1中，拍摄装置(摄像机3)伴随着车辆的行驶而识别立体物，通过对应的辨识编号来管理所识别到的立体物的图像数据，在由控制部2通知了辨识编号的情况下，生成与辨识编号对应的立体物的高分辨率的部分图像，将所生成的图像数据和辨识编号输出给控制部2，控制部2将识别处理所需的图像数据的辨识编号通知给拍摄装置(摄像机3)。由此，在从行驶的车辆拍摄而得到的图像数据的传送中，能够削减传送频带，不需要昂贵的缆线、昂贵的通信部件，能够削减系统成本。
本发明不限定于上述实施方式，只要不损害本发明的特征，则关于在本发明的技术思想的范围内考虑的其他方式，也包括在本发明的范围内。另外，也可以做成将上述实施方式组合而成的结构。
符号说明
1…车载电子控制装置
2…控制部
3…摄像机
4…雷达
10…车辆
11…传感器接口部
12…综合识别部
13…解析部
14…路径规划部
20…图像获取处理部
21…图像转换剪切部
23…识别管理表格
31…摄像机时刻坐标计算部
32…摄像机坐标转换部
33…雷达坐标转换部
41…识别部
42…整体识别部
43…部分识别部
44…本地动态地图(LDM)
45…立体物计算部
46…路径计算部
71…移动体静止物体判定部。

Claims (7)

1.一种车载电子控制装置，其特征在于，具备：
传感器，其检测立体物；
控制部，其在车辆行驶的情况下，求出从由所述传感器检测到立体物的时刻起经过的规定时刻下的所述立体物的位置；以及
拍摄装置，其在所述位置的所述规定时刻，将拍摄所述立体物而得到的图像数据向所述控制部输出，
所述传感器是雷达，将检测到所述立体物的时刻和表示所述立体物的所述位置的坐标向所述控制部输出，
所述控制部基于从所述雷达输入的所述时刻和所述坐标，求出所述车辆行驶并经过所述规定时刻之后的所述立体物的坐标，
所述拍摄装置利用经过所述规定时刻之后的所述立体物的坐标来拍摄所述立体物。
2.根据权利要求1所述的车载电子控制装置，其特征在于，
所述拍摄装置向所述控制部输出的所述图像数据是原始数据。
3.根据权利要求1所述的车载电子控制装置，其特征在于，
所述拍摄装置在所述位置的所述规定时刻，生成拍摄所述立体物而得到的部分图像以及拍摄比所述部分图像宽的范围而得到的与所述部分图像相比低分辨率或者低帧率的整体图像，将分别基于所生成的所述部分图像和所述整体图像的所述图像数据向所述控制部输出。
4.根据权利要求1至3中的任一项所述的车载电子控制装置，其特征在于，
所述控制部基于从所述拍摄装置输出的所述图像数据而识别所述立体物。
5.根据权利要求1至3中的任一项所述的车载电子控制装置，其特征在于，
所述控制部通过与所述车辆的移动量进行比较来判定由所述传感器检测到的所述立体物是否为移动体，
所述拍摄装置根据所述立体物是否为移动体，设定将拍摄所述立体物而得到的所述图像数据向所述控制部输出的发送间隔。
6.根据权利要求5所述的车载电子控制装置，其特征在于，
所述控制部通过与所述车辆的移动量进行比较来判定由所述传感器检测到的所述立体物是移动体还是静止物体，
所述拍摄装置在所述立体物是移动体的情况下，使将拍摄所述立体物而得到的所述图像数据向所述控制部输出的发送间隔变短，在所述立体物是静止物体的情况下，使将所述图像数据向所述控制部输出的发送间隔变长。
7.根据权利要求1至3中的任一项所述的车载电子控制装置，其特征在于，
所述拍摄装置伴随着车辆的行驶而识别立体物，通过对应的辨识编号来管理所识别到的立体物的图像数据，在由所述控制部通知了所述辨识编号的情况下，生成与所述辨识编号对应的所述立体物的高分辨率的部分图像，将所生成的图像数据和所述辨识编号向所述控制部输出，
所述控制部将所述识别处理所需的所述图像数据的所述辨识编号通知给所述拍摄装置。
CN201980031706.5A 2018-06-29 2019-06-03 车载电子控制装置 Active CN112272841B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018125507A JP7195787B2 (ja) 2018-06-29 2018-06-29 車載電子制御装置
JP2018-125507 2018-06-29
PCT/JP2019/021907 WO2020003903A1 (ja) 2018-06-29 2019-06-03 車載電子制御装置

Publications (2)

Publication Number Publication Date
CN112272841A CN112272841A (zh) 2021-01-26
CN112272841B true CN112272841B (zh) 2023-02-03

Family

ID=68987048

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980031706.5A Active CN112272841B (zh) 2018-06-29 2019-06-03 车载电子控制装置

Country Status (5)

Country Link
US (1) US11908199B2 (zh)
JP (1) JP7195787B2 (zh)
CN (1) CN112272841B (zh)
DE (1) DE112019002388T5 (zh)
WO (1) WO2020003903A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7354905B2 (ja) * 2020-04-01 2023-10-03 株式会社デンソー 走行支援要求装置
US20210362749A1 (en) * 2020-05-20 2021-11-25 Gm Cruise Holdings Llc Hardware accelerated network interface for an autonomous vehicle switched-network
WO2023242903A1 (ja) * 2022-06-13 2023-12-21 三菱電機株式会社 物体検出装置
JP2024089824A (ja) * 2022-12-22 2024-07-04 日立Astemo株式会社 走行支援装置、及び走行支援方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004122805A (ja) * 2002-09-30 2004-04-22 Sanyo Electric Co Ltd 車両用前方表示装置
CN103403779A (zh) * 2011-03-04 2013-11-20 日立汽车系统株式会社 车载摄像机和车载摄像机系统
WO2016038949A1 (ja) * 2014-09-09 2016-03-17 株式会社東海理化電機製作所 情報処理システム、プログラムおよび車載器
CN107316488A (zh) * 2017-08-23 2017-11-03 苏州豪米波技术有限公司 信号灯的识别方法、装置和系统
CN107333097A (zh) * 2016-04-29 2017-11-07 宜昌星鑫电子股份有限公司 一种雷达视频监控装置
CN107680012A (zh) * 2016-08-01 2018-02-09 奥迪股份公司 车辆辅助驾驶系统及方法
CN108021862A (zh) * 2016-11-03 2018-05-11 福特全球技术公司 道路标志识别

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0850696A (ja) * 1994-08-05 1996-02-20 Nippondenso Co Ltd 走行車両のナンバー認識装置
JP2006033793A (ja) * 2004-06-14 2006-02-02 Victor Co Of Japan Ltd 追尾映像再生装置
WO2006121088A1 (ja) * 2005-05-10 2006-11-16 Olympus Corporation 画像処理装置、画像処理方法および画像処理プログラム
JP2015041820A (ja) * 2013-08-20 2015-03-02 キヤノン株式会社 撮像装置及びその制御方法、撮像システム、プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004122805A (ja) * 2002-09-30 2004-04-22 Sanyo Electric Co Ltd 車両用前方表示装置
CN103403779A (zh) * 2011-03-04 2013-11-20 日立汽车系统株式会社 车载摄像机和车载摄像机系统
WO2016038949A1 (ja) * 2014-09-09 2016-03-17 株式会社東海理化電機製作所 情報処理システム、プログラムおよび車載器
CN107333097A (zh) * 2016-04-29 2017-11-07 宜昌星鑫电子股份有限公司 一种雷达视频监控装置
CN107680012A (zh) * 2016-08-01 2018-02-09 奥迪股份公司 车辆辅助驾驶系统及方法
CN108021862A (zh) * 2016-11-03 2018-05-11 福特全球技术公司 道路标志识别
CN107316488A (zh) * 2017-08-23 2017-11-03 苏州豪米波技术有限公司 信号灯的识别方法、装置和系统

Also Published As

Publication number Publication date
WO2020003903A1 (ja) 2020-01-02
US11908199B2 (en) 2024-02-20
JP2020004293A (ja) 2020-01-09
CN112272841A (zh) 2021-01-26
US20210248395A1 (en) 2021-08-12
JP7195787B2 (ja) 2022-12-26
DE112019002388T5 (de) 2021-04-08

Similar Documents

Publication Publication Date Title
CN112272841B (zh) 车载电子控制装置
US10328934B2 (en) Temporal data associations for operating autonomous vehicles
KR100885738B1 (ko) 차량간 통신 시스템
JP5074365B2 (ja) カメラ装置
KR20190082712A (ko) 차량의 예상 주행 의도에 관한 정보를 제공하는 방법
CN111524378B (zh) 交通管理系统、控制方法、以及车辆
JP2009251953A (ja) 移動体進路推定装置
US20180224296A1 (en) Image processing system and image processing method
KR20220020804A (ko) 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램
CN112106003A (zh) 控制器、控制方法和程序
KR102587085B1 (ko) 자율주행차량의 호출자 탐색 방법
CN111746550B (zh) 车辆控制装置、车辆控制方法、及存储介质
CN111731304B (zh) 车辆控制装置、车辆控制方法及存储介质
JP4686235B2 (ja) 車両間通信システム
CN110816524B (zh) 车辆控制装置、车辆控制方法及存储介质
JP2006285695A (ja) 車両間通信システム
CN111311919A (zh) 服务器、车载装置、程序、信息提供系统、提供信息的方法，以及车辆
CN116513194A (zh) 移动体控制装置、移动体控制方法及存储介质
JP2006285692A (ja) 車両間通信システム
CN116238515A (zh) 移动体控制装置、移动体控制方法及存储介质
JP4585356B2 (ja) 車両間通信システム
CN116238510A (zh) 车辆控制装置、车辆控制方法及存储介质
CN111746529B (zh) 车辆控制装置、车辆控制方法、及存储介质
US11080536B2 (en) Image processing device, non-transitory readable recording medium storing program, information processing system, and control method of image processing device
US20220094435A1 (en) Visible light communication apparatus, visible light communication method, and visible light communication program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Ibaraki

Applicant after: Hitachi astemo Co.,Ltd.

Address before: Ibaraki

Applicant before: HITACHI AUTOMOTIVE SYSTEMS, Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant