CN102685382A - 图像处理装置和方法、及移动体防碰撞装置 - Google Patents

图像处理装置和方法、及移动体防碰撞装置 Download PDF

Info

Publication number
CN102685382A
CN102685382A CN2011100658879A CN201110065887A CN102685382A CN 102685382 A CN102685382 A CN 102685382A CN 2011100658879 A CN2011100658879 A CN 2011100658879A CN 201110065887 A CN201110065887 A CN 201110065887A CN 102685382 A CN102685382 A CN 102685382A
Authority
CN
China
Prior art keywords
image
image processing
focusing
module
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011100658879A
Other languages
English (en)
Other versions
CN102685382B (zh
Inventor
府川泰朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Any Co Ltd
Original Assignee
Any Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Any Co Ltd filed Critical Any Co Ltd
Priority to CN201110065887.9A priority Critical patent/CN102685382B/zh
Priority to EP12001674.6A priority patent/EP2500890B1/en
Priority to ES12001674T priority patent/ES2886522T3/es
Priority to JP2012060124A priority patent/JP5536125B2/ja
Priority to US13/422,803 priority patent/US9858488B2/en
Publication of CN102685382A publication Critical patent/CN102685382A/zh
Application granted granted Critical
Publication of CN102685382B publication Critical patent/CN102685382B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

本发明涉及图像处理装置和方法、及利用该图像处理装置的移动体防碰撞装置。该移动体防碰撞装置具有：对移动体周围进行摄像的摄像模块，对由摄像模块拍摄的图像进行处理的图像处理模块和碰撞判断模块，摄像模块包括镜头、驱动镜头以改变对焦距离的对焦元件；和摄像元件，对焦元件驱动镜头依次改变对焦距离而进行对焦扫描，且摄像模块在一次对焦扫描中依次拍摄多个图像；图像处理模块接收由摄像模块在对焦扫描中拍摄的多个图像，在各图像中识别形成了清晰的像的物体，根据拍摄每个图像时的对焦距离生成表示该物体与移动体的相对位置的平面图像；碰撞判断模块根据平面图像判断移动体是否会与被识别的物体发生碰撞。从而能够有效避免碰撞事故的发生。

Description

图像处理装置和方法、及移动体防碰撞装置
技术领域
本发明涉及图像处理装置和方法，以及利用该图像处理装置的移动体防碰撞装置。通过该图像处理装置使用于移动体防碰撞装置中，能够避免汽车等快速移动的交通工具发生碰撞。
背景技术
专利文献1、2公开了利用GPS(Global Positioning System)或雷达实现搭载在飞机或船舶上的防碰撞装置。专利文献3公开了使用GPS作为地面交通工具，如车辆等的导航仪。在专利文献4中公开了利用GPS防止无人驾驶车辆进入到特定区域的技术，专利文献5公开了使用无线监视设备防止无人驾驶车辆之间发生相互碰撞的技术。
近年来，还提出了如下技术，即在具有GPS接收器、速度检测部、方向检测部的移动体防碰撞装置中，将由上述各部分所取得的GPS位置信息、速度信息、以及方向信息发送给其他移动体，从而使接收到上述信息的移动体能够判断是否会发生碰撞。
但是，在上述利用GPS定位的现有技术中，因GPS本身定位精度以及GPS接收设备的精确性的影响，判断移动体与其他移动体之间距离时会产生较大的误差，通常是几米到十几米，因而在有可能发生碰撞事故的近距离范围内可能错误地检测其他移动体的位置。
[专利文献1]日本专利特开2000-304856号公报
[专利文献2]日本专利特开平11-120499号公报
[专利文献3]日本专利第3260645号公报
[专利文献4]日本专利特开2001-337724号公报
[专利文献5]日本专利特开平5-143158号公报
发明内容
本发明有鉴于上述现有技术，提供一种图像处理装置及使用了该图像处理装置的移动体防碰撞装置。
本发明的图像处理装置，其特征在于，具有：进行摄像的摄像模块；和对由所述摄像模块拍摄的图像进行处理的图像处理模块，其中，所述摄像模块包括：镜头；驱动所述镜头以改变对焦距离的对焦元件；和摄像元件，所述对焦元件驱动所述镜头依次改变对焦距离而进行对焦扫描，以使在镜头光轴方向上不同距离的物体依次在所述摄像元件上形成清晰的像，且所述摄像模块在一次对焦扫描中在不同的对焦距离下依次拍摄多个图像；所述图像处理模块接收由所述摄像模块在对焦扫描中拍摄的所述多个图像，在各图像中识别形成了清晰的像的物体，根据拍摄每个所述图像时的对焦距离生成表示被识别物体的位置的物体分布图像。
根据本发明的图像处理装置，生成拍摄范围内的物体分布状况的图像，能够应用于生产车间内的各设备位置识别及监控、体育比赛转播中的视角切换、互动娱乐、以及后述的本发明的移动体防碰撞装置等多种领域。
根据本发明的图像处理装置，优选所述摄像模块在一次对焦扫描中所拍摄的相邻两个所述图像的对焦距离之差为1米以下。由此，能够提高在平面图像上生成各物体的精细度。
另外，本发明的图像处理装置，优选所述摄像模块以每秒500帧以上的速度进行高速摄像，提高使摄像模块进行高速摄像，能够提高生成平面图像的实时性，并使对焦扫描中拍摄的相邻两个图像的对焦距离之差进一步减小，缩短对焦扫描的时间。
根据本发明的图像处理装置，优选所述摄像模块重复进行多次所述对焦扫描，所述图像处理模块对应于所述多次对焦扫描生成多个所述物体分布图像。通过反复进行对焦扫描，能够随时更新平面图像，提高图像处理装置的实时性。
根据本发明的图像处理装置，优选当所述摄像模块在前一次对焦扫描中以最近或最远对焦距离结束对焦扫描后，以该最近或最远对焦距离开始下一次对焦扫描，并优选所述摄像模块每秒进行5次以上的对焦扫描。由此，能够使相邻两次对焦扫描之间没有间隔，提高更新平面图像的实时性。
本发明的图像处理装置，优选在所述摄像模块中，所述摄像元件可以是CCD传感器或CMOS传感器中的任何一种，并且所述摄像元件可以是红外线摄像元件。摄像元件的种类能够根据使用条件灵活选用。
本发明的图像处理装置，还优选所述镜头为变焦镜头，所述摄像模块具有驱动所述镜头改变焦距的变焦元件，在对焦距离大时，所述变焦元件驱动所述透镜使焦距变大；在对焦距离小时，所述变焦元件驱动所述透镜使焦距变小。
根据本发明的利用上述图像处理装置的图像处理方法，特征在于：在所述摄像模块中，使所述对焦元件驱动所述镜头依次改变所述对焦距离而进行对焦扫描，以使在镜头光轴方向上不同距离的物体依次在所述摄像元件上形成清晰的像，所述摄像模块在一次对焦扫描中依次拍摄多个图像；所述图像处理模块接收所述摄像模块在一次对焦扫描中拍摄的所述多个图像，并对各图像逐个进行如下处理：识别形成了清晰的像的物体；并根据拍摄该图像时的对焦距离，在表示被识别物体的位置的平面图像中描绘该被识别的物体。
根据图像处理方法，优选使所述摄像模块重复进行所述对焦扫描，并使所述图像处理模块对应于每次的所述对焦扫描生成连续的多个平面图像。
本发明的移动体防碰撞装置，其特征在于，具有：对所述移动体周围进行摄像的摄像模块，对由所述摄像模块拍摄的图像进行处理的图像处理模块和碰撞判断模块，所述摄像模块包括镜头、驱动所述镜头以改变对焦距离的对焦元件；和摄像元件，所述对焦元件驱动所述镜头依次改变对焦距离而进行对焦扫描，以使距所述移动体不同距离的物体在所述摄像元件上依次形成清晰的像，且所述摄像模块在一次所述对焦扫描中依次拍摄多个图像；所述图像处理模块接收由所述摄像模块在对焦扫描中拍摄的所述多个图像，在各图像中识别形成了清晰的像的物体，根据拍摄每个所述图像时的对焦距离生成表示该物体与所述移动体的相对位置的平面图像；所述碰撞判断模块根据所述平面图像判断所述移动体是否会与所述被识别的物体发生碰撞。
根据本发明的移动体防碰撞装置，通过利用碰撞判断模块根据由上述图像处理装置生成的平面图像来判断是否会发生碰撞，能够有效地预防碰撞事故的发生。
另外，本发明的移动体防碰撞装置，优选具有显示模块，其显示由所述图像处理部生成的平面图像，在所述碰撞判断模块判断为所述移动体会与所述被识别的物体发生碰撞时，在所述显示模块上利用不同的颜色显示该物体。并优选，具有向移动体的操作者进行提示的提示部，在所述碰撞判断模块判断为所述移动体会与所述被识别的物体发生碰撞时，所述提示部向移动体的操作者发出警告消息。进一步，优选所述提示部包括发声部和振动部中的至少一者。还有选所述图像处理模块，在生成的平面图像中附加表示相隔距离的网格线，所述显示模块显示所述附加网格线后的平面图像。
通过显示模块或提示部的提示，能够在由碰撞判断部判断会发生碰撞时，及时提醒移动体的操作者或车辆的驾驶员等，采取必要的措施，避免碰撞事故的发生。
另外，本发明的移动体防碰撞装置，优选具有控制移动体移动的移动体控制模块，当所述碰撞判断模块判断所述移动体会与所述被识别的物体发生碰撞时，所述移动体控制模块控制移动体进行制动、加速或转向的动作。由此，能够利用移动体控制模块实现移动体的操作，避免碰撞事故，并能够实现自动驾驶等。
本发明的移动体防碰撞装置，进一步优选具有检测所述移动体的速度的速度检测部，所述碰撞判断模块根据所述速度检测部检测的所述移动体的速度，判断所述移动体是否会与所述被识别的物体发生碰撞。通过具有速度检测部，能够避免因移动体速度慢造成的错误的通知，以及因移动体速度过快造成的通知过迟，使碰撞判断模块更准确的判断是否会发生碰撞。
本发明的移动体防碰撞装置，优选所述镜头为变焦镜头，所述摄像模块还具有驱动所述镜头改变焦距的变焦元件，在对焦距离大时，所述变焦元件驱动所述透镜使焦距变大；在对焦距离小时，所述变焦元件驱动所述透镜使焦距变小。从而提高了图像处理模块所生成的平面图像中个物体的位置的精度，并能够识别更远距离的物体
另外，本发明还提供一种移动体防碰撞装置，其设置于移动体，其特征在于，具有：对所述移动体周围进行摄像的摄像模块，对由所述摄像模块拍摄的图像进行处理的图像处理模块和和显示模块，所述摄像模块包括镜头、驱动所述镜头以改变对焦距离的对焦元件；和摄像元件，所述对焦元件驱动所述镜头依次改变对焦距离而进行对焦扫描，以使距所述移动体不同距离的物体在所述摄像元件上依次形成清晰的像，且所述摄像模块在一次所述对焦扫描中依次拍摄多个图像；所述图像处理模块接收由所述摄像模块在对焦扫描中拍摄的所述多个图像，在各图像中识别形成了清晰的像的物体，根据拍摄每个所述图像时的对焦距离生成表示该物体与所述移动体的相对位置的平面图像；所述显示模块显示由所述图像处理部生成的平面图像。并且所述图像处理部可以生成以三维模式表示被识别的物体与所述移动体的相对位置的物体分布图像。通过利用显示模块显示由图像处理模块生成的物体分布图像，能够使移动体的操作者或车辆的驾驶员观看到移动体周围的其他物体的位置，提高安全性。
附图说明
图1为本发明最佳实施方式的移动体防碰撞装置的方框图。
图2为摄像部的构成示意图。
图3为摄像部的拍摄范围的示意图。
图4a～4e为在一次对焦扫描中摄像部拍摄的多个图像的示意图。
图5为本实施方式的防碰撞装置的图像处理流程图。
图6为图像处理部生成的平面图像的一部分的图。
图7为图像处理部140生成三维的物体分布图的说明图。
具体实施方式
下面，结合附图说明使用了本发明的图像处理装置的移动体防碰撞装置的最佳实施方式。本实施方式的移动体防碰撞装置中，利用图像处理装置生成的平面图像来判断车辆等移动体是否会与其他障碍物或物体发生碰撞。
图1为本发明最佳实施方式的移动体防碰撞装置10的方框图。
在本实施方式中，将移动体防碰撞装置(以下，简称为“防碰撞装置”)10设置于车辆20上，能够利用本发明的移动体防碰撞装置10预防车辆20的碰撞事故的发生。
如图1所示，本实施方式的防碰撞装置10，包括摄像部120、图像处理部140、速度检测部150、显示部200、发声部210、振动部220、ROM230、碰撞判断部300、车辆控制部400，以及对防碰撞装置10的各部分进行控制的控制部100。
在本实施方式中，摄像部120设置在车辆20的前部，对车辆20前方景物进行拍摄，其在进行对焦扫描的同时拍摄多个图像FRAME，并通过控制部100将所拍摄的各图像FRAME发送至图像处理部140。
图像处理部140，其接收由摄像部120拍摄的图像FRAME，从各图像FRAME中识别形成了清晰的像的物体，根据该形成了清晰的像的物体的距离生成表示该物体与车辆20的相对位置的平面图像。
在本实施方式中，摄像部120和图像处理部140构成图像处理装置100，利用该图像处理装置100，拍摄车辆20前方的景物，识别车辆20前方的各种物体，生成表示车辆20前方各物体相对于车辆20的位置的平面图像，对此将后后面详细说明。另外，在本实施方式中，显示部200显示由图像处理部140生成的该平面图像，以使车辆20的驾驶员掌握车辆20前方是否有障碍物等物体。
另外，碰撞判断部300根据图像处理部140生成的平面图像判断车辆20是否会与被识别的物体发生碰撞。
速度检测部150用于检测车辆20的速度。而且，碰撞判断部300能够根据由速度检测部150检测的速度信息，判断车辆20是否会与障碍物等物体发生碰撞。
当碰撞判断部300判断会发生碰撞时，使发声部210和振动部220发出警告，以使促使车辆20的驾驶员采取相应措施，避免碰撞事故的发生。
在碰撞判断部300判断车辆20会与其他物体发生碰撞时，能够通过车辆控制部400控制车辆20的制动、加速或转向等，以避免碰撞事故的发生。
另外，控制部100用于对上述各部分进行控制。
下面，详细说明本实施方式的防碰撞装置10各部分的构成。
图2为摄像部构成的示意图。
如图2所示，防碰撞装置10的摄像部120包括镜头121、CCD传感器122和驱动马达123，其中镜头121由多个透镜构成，从镜头121射入的景物在CCD传感器122上成像，并由CCD传感器122进行拍摄该景物的图像FRAME。驱动马达123驱动镜头121内的透镜沿光轴移动，从而能够使距车辆20不同距离的物体依次在CCD传感器122上形成清晰的像。
图3为摄像部的拍摄范围的示意图。
如图3所示，在本实施方式中，镜头121以固定的拍摄角度α拍摄车辆20前方的景物。在镜头121的拍摄角度α内的景物，经镜头121在CCD传感器122上成像，但仅有距离镜头121某一距离的平面上的景物才能形成清晰的像。随着驱动马达123驱动镜头121，在镜头121的拍摄范围α内的物体由远到近(或由近到远)依次在CCD传感器122上形成清晰的像，从而使镜头121对由远到近(或由近到远)的不同距离的物体进行一次对焦扫描。
另外，在本实施方式中，驱动马达123可以是任何设置在光学镜头中的步进马达或压电元件等。控制部100根据预先设定的对焦距离来控制驱动马达123转过的角度或达到预定的位置，使车辆20前方该对焦距离上的物体在CCD传感器122上形成清晰的像。
并且，在本实施方式中，在驱动马达123驱动镜头121进行一次对焦扫描的期间，使CCD传感器122拍摄多个图像。在本实施方式中，如图3所示以在一次对焦扫描期间拍摄5个图像的情形为例进行说明，所拍摄的图像FRAME1～FRAME5的对焦距离分别为50米、40米、30米、20米、10米。
图4a～4e为在一次对焦扫描中摄像部拍摄的多个图像的示意图。其中，图4a为对焦距离50米时拍摄的图像FRAME1的示意图；图4b为对焦距离40米时拍摄的图像FRAME2的示意图；图4c为对焦距离30米时拍摄的图像FRAME3的示意图；图4d为对焦距离20米时拍摄的图像FRAME4的示意图；图4e为对焦距离10米时拍摄的图像FRAME5的示意图。
在图4a～4e中，粗线条表示能够在CCD传感器122上形成清晰的像的物体，细线条表示未形成清晰的像的物体。
如图4a所示，镜头121能够拍摄的角度α范围内，使车辆20前方50米远处的物体能够形成清晰的像。在CCD传感器122上形成清晰的像的物体为50米远处的道路标线30a、道路边界30b及路边的建筑物30c等物体，从而得到图4a的图像FRAME1。
如图4b所示，随着驱动马达123驱动镜头121，使车辆20前方40米远处的物体能够形成清晰的像。在CCD传感器122上形成清晰的像的物体为40米远处的道路标线30a、道路边界30b及其他车辆30d等物体，从而得到图4b的图像FRAME2。
如图4c所示，随着驱动马达123驱动镜头121，使车辆20前方30米远处的物体能够形成清晰的像。在CCD传感器122上形成清晰的像的物体为30米远处的道路标线30a、道路边界30b及道边树木30e等物体，从而得到图4c的图像FRAME3。
如图4d所示，随着驱动马达123驱动镜头121，使车辆20前方20米远处的物体能够形成清晰的像。在CCD传感器122上形成清晰的像的物体为20米远处的道路标线30a、道路边界30b及非机动车30f等物体，从而得到图4d的图像FRAME4。
如图4e所示，随着驱动马达123驱动镜头121，使车辆20前方10米远处的物体能够形成清晰的像。在CCD传感器122上形成清晰的像的物体为10米远处的道路标线30a及道路边界30b等物体，从而得到图4e的图像FRAME5。
由摄像部120拍摄的车辆20前方景物的各图像FRAME1～5被输入至图像处理部140，在图像处理部140中，分别对各图像FRAME1～5进行处理。下面详细说明防碰撞装置10进行的动作。
在本实施方式中，令在摄像部120中进行一次对焦扫描时，驱动马达123驱动镜头121在CCD传感器122上形成清晰的像的最远对焦距离为50米，最近对焦距离为10米，并且在一次对焦扫描中如上所述分别在50米、40米、30米、20米和10米的对焦距离上拍摄5个图像FRAME1～FRAME5。
图5为防碰撞装置10的处理流程图。
如图5所示，首先在步骤S501中开始对焦扫描，摄像部120的驱动马达123驱动镜头121使对焦距离50米远处物体在CCD传感器122上形成清晰的像。
在步骤S502中，CCD传感器122取得图像FRAME1，并将图像FRAME1发送至图像处理部140。
接着，在步骤S503中，图像处理部140在从摄像部120发送来的图像FRAME1中识别形成了清晰的像的物体。
图像处理部140识别出图像FRAME1中的前方50米远处的道路标线30a、道路边界30b和道边的建筑物30c。虽然在图像FRAME1的景物中还包括了车辆20前方的其他车辆30d、树木30e以及非机动车30f等，但由于这些物体未能形成清晰的像，因而不能被图像处理部140识别。进入步骤S504。
在步骤S504中，图像处理部140根据拍摄该图像FRAME1时的对焦距离，能够识别这些形成了清晰的像的道路标线30a、道路边界30b、和道边的建筑物30c等物体的位置，生成表示所识别的物体的位置的分布图像。下面进行详细说明。
图6为由图像处理部140生成的平面图像的示意图。
此时的图像FRAME1的对焦距离为50米，由于在图像FRAME1中，仅前方50米处物体形成了清晰的像，并且，这些形成了清晰的像的物体在图像FRAME1中的位置是由拍摄该图像FARME1时的拍摄角度α决定的，因而图像处理部140能够确定在距离车辆20前方50米远处的这些物体的在水平方向上的位置。因此，图像处理部140在图6的平面图像中表示距本车辆20前方50米的虚线位置处，生成上述被识别的、形成了清晰的像的道路标线30a、道路边界30b、和道边的建筑物30c等物体的图形。
然后，在步骤505中，判断是否对一次对焦扫描中由摄像部120所拍摄的全部图像FRAME进行了图像处理，在未完成全部图像FRAME的图像处理时，进入步骤S506。
在步骤S506中，驱动马达120驱动镜头121调整在CCD传感器122上形成清晰的像的下一个对焦距离，即，使车辆20前方40米远处的物体在CCD传感器122上形成清晰的像。
接着重复进行步骤S502。此时摄像部120利用CCD传感器122取得图像FRAME2(参照图4b)，并将图像FRAME2发送至图像处理部140。
接着，在步骤S503中，与上述对图像FRAME1进行的处理同样地，图像处理部140从图像FRAME2中识别形成了清晰的像的物体有，车辆20前方40米远处的道路标线30a、道路边界30b和其他车辆30d。
同样地，在步骤S504中，图像处理部140根据拍摄图像FRAME2时的对焦距离(即前方40米)，在平面图像上如图6所示，在与本车辆20为40米的点划线所示的位置上生成从图像FRAME2中识别出来的道路标线30a、道路边界30b和其他车辆30d。
接着在步骤S505中，判断是否对一次对焦扫描中由摄像部120拍摄全部图像FRAME进行了图像处理。下面简要说明对图像FRAME3～5进行的处理。
对于图像FRAME3，图像处理部140能够识别形成了清晰的像的车辆20前方30米远处的道路标线30a、道路边界30b和树木30e，并在图6所示的平面图像中与前方30米相应的位置上生成这些物体。
对于图像FRAME4，图像处理部140能够识别形成了清晰的像的车辆20前方20米远处的道路标线30a、道路边界30b和非机动车30f，并在图6所示的平面图像中与前方20米相应的位置上生成这些物体。
对于图像FRAME5，图像处理部140能够识别形成了清晰的像的车辆20前方10米远处的道路标线30a、道路边界30b，并在图6所示的平面图像中与前方10米相应的位置上生成这些物体。
当图像处理部140完成对一次对焦中由摄像部120拍摄的全部图像进行的上述步骤S503和S504的处理时，生成了完整的表示车辆20前方的物体相对于车辆20的分布位置的平面图像。在该生成的图6所示的平面图像中
在本实施方式中，由图像处理部140生成的如图6所示的平面图像中，包含了由摄像部120所拍摄的车辆20前方50米到10米的范围内全部物体。
当在步骤S505中判断完成对一次对焦扫描中拍摄的全部图像FRAME进行的图像处理时，返回步骤S501，摄像部120能够接着从最近的对焦距离(本实施方式中为10米)到最远的对焦距离(本实施方式中为50米)再次开始对焦扫描，拍摄多个图像FRAME，并由图像处理部140生成下一个平面图像，以实现平面图像的刷新。在本实施方式中，利用显示部200显示由图像处理部140生成的该平面图像，由此，能够使车辆20的驾驶员观看到车辆20前方的建筑物、树木、车辆、非机动车、行人等障碍物，从而有效防止碰撞事故的发生。而且，车辆20的驾驶员还能够观看到道路标线、道路边界等标志物，有助于驾驶员控制车辆20沿道路标线行驶。
另外，在本实施方式中，碰撞判断部300能够根据由图像处理部140生成的平面图像判断车辆20是否会与障碍物等发生碰撞。
在车辆20与前方的障碍物距离小于规定的安全距离时，碰撞判断部300判断有发生碰撞的危险，并通过显示部200以醒目的颜色，例如红色来提示车辆20的驾驶员可能与前方的某一物体发生碰撞。另外，还能够通过发声部210发出警告音，提示可能会发生碰撞的危险，或通过振动部220的振动加以提示。
此外，如上所述由于图像处理部140所生成的平面图像中，除了建筑物、车辆、树木、非机动车、行人等障碍物，还包括道路标线和边界等物体。碰撞判断部300也会判断车辆20与这些道路标线和道路边界之间是否会发生“碰撞”。当碰撞判断部300判断会与道路标线或道路边界发生碰撞时，则表明车辆20即将驶离规定的行车道，并能够通过显示部200、发声部210或振动部220提示车辆20的驾驶员纠正行车方向沿着当前的行车道行驶，能够避免例如，在高速公路上行驶时因驾驶员疲劳不注意地偏离车道行驶而发生危险，大大提高车辆20行驶的安全性，
进一步，在本实施方式中还设置有检测车辆20速度的速度检测部150。碰撞判断部300根据由速度检测部150检测的车辆20的速度更准确地判断是否会发生碰撞。在车辆20移动速度快时，碰撞判断部300采用更大的安全距离来进行判断。由此，当车辆20高速行驶时，能够更早的判断是否会发生碰撞并提示车辆20的驾驶员，给与车辆20的驾驶员更多的反应时间，提高行驶的安全性；另一方面，当车辆20的速度慢时，碰撞判断部300采用较小的安全距离来进行判断，提高碰撞判断的准确性。在本实施方式的防碰撞装置10中，不同车速下与安全距离的对应关系等信息可以存储在ROM230等存储器中，碰撞判断部300也能够利用预先设定的计算安全距离的公式，根据车辆20的速度随时计算安全距离。
另外，在本实施方式的防碰撞装置10中，当碰撞判断部300判断为会发生碰撞时，控制部100还能够通过车辆控制部400进行车辆的制动、加速以及转向等控制。如上所述，在碰撞判断部300利用图像处理部140生成的平面图像判断车辆20会与前方物体发生碰撞时，能够提前通过车辆控制部400对车辆20采取制动操作，以保证车辆20与前方物体具有规定的安全距离。
另一方面，在车辆20将要偏离行车道行驶时，也能够提前通过车辆控制部400对车辆20采取转向操作，避免车辆20偏离行驶方向。当然，也存在车辆20的驾驶员有意图地改变行车道的情况，因此优选只要驾驶员稍用力抵抗车辆控制部400的操作，即解除车辆控制部400的控制的方式，恢复驾驶员对车辆20的控制，从而能够提高使用的便利性。
进一步，在本实施方式中，优选车辆20的摄像部120进行高速摄像。通过使摄像部120进行高速摄像，能够减小拍摄每个图像FRAME所需要的曝光时间，由此，能够避免在因车辆20高速运动等产生抖动时使摄像部120拍摄的图像FRAME产生模糊，进而能够使图像处理部140准确地识别物体。并且，通过使摄像部120进行高速摄像，还能够起到在车辆20前方大的距离范围内精细地识别物体，并快速刷新平面图像，提高显示部200显示平面图像时刷新的实时性。下面详细说明。
在对本实施方式的说明中，为了能够简单地说明原理，以摄像部120在一次对焦扫描中拍摄5个图像FRAME，且最远对焦距离为50米、最近对焦距离为10米的情况为例进行的说明。但是为了得到车辆20前方景物中全部物体的图像，取得相邻两个图像FRAME的对焦距离差越小，则由图像处理部140生成的平面图像中车辆20前方各物体的显示的精细度越高，即能够显示更小的物体。但会增加图像处理部140处理各图像FRAME的负荷，本领域技术人员可以根据实际情况来选取该对焦距离差，使其既能满足检测物体的精细度又能尽量减小图像处理图部140的负荷。优选取得相邻两个图像FRAME的对焦距离差为2米以内，更优选为1米以内。
另一方面，最远对焦距离和最近对焦距离可以是50米和10米以外的值。为了提高车辆20行驶的安全性，优选最远对焦距离为50米以上、最近对焦距离为5米以下。
另外，在本实施方式中，在摄像部120中，在驱动马达123驱动镜头121完成一次对焦扫描的过程中，CCD传感器122拍摄多个图像FRAME，并且图像处理部140对多个图像FRAME的全部进行图像处理后，生成完整的显示了车辆20前方的物体的平面图像，因此摄像部120每进行一次对焦扫描，图像处理部140对平面图像进行一次更新，为了提高防碰撞装置10的实时性，优选对平面图像每秒更新一次，即摄像部120中每秒进行一次对焦扫描，进一步，当车辆20高速行驶时，为了提高防碰撞装置10的实时性，优选对平面图像每秒更新5次以上，即摄像部120中每秒进行5次以上对焦扫描。对此，优选摄像部120以500幅/秒以上的速度进行高速拍摄，从而能够在例如从车辆前方100到1米的大的对焦距离的范围内识别物体，并以5幅/秒以上的速度更新平面图像，确保识别物体的范围、识别物体的精细度以及平面图像更新的实时性。
另外，在本实施方式中，以在车辆20前部设置一个摄像部120的情况为例进行了说明，但是本发明并不局限于此。例如可以在车辆20的后部也设置摄像部，从而能够使车辆20的驾驶员掌握车辆后方的物体，尤其是车辆的行驶情况，并能够在后方其他车辆的距离为规定的安全距离以下时，向通过显示部200、发声部210或振动部220提示车辆20的驾驶员，以便采取必要的措施，避免被后方其他车辆追尾。并且，在此情况下还可以通过车辆控制部400控制车辆20加速，以避免被后方其他车辆追尾。
另外，还能够在车辆20的侧部或/和后部等多个位置上设置多个摄像部，用以识别车辆20侧方或/和后方的物体，能够在车辆路旁停车或停车入库时，使车辆20的驾驶员准确地掌握车辆20侧方的道路边界、墙壁等障碍物，以及车位标线的位置，避免驾驶员在停车入位时发生碰撞事故。并且，还能够利用车辆控制部400对车辆进行向前、向后、转向及制动的控制，能够不需要驾驶员操作来停车入位。
如上所述，通过在车辆20上设置多个摄像部，并使该多个摄像部分别拍摄不同的方向，并利用图像处理部140生成车辆20周围更大范围内物体的分布图像，能够提高使用的便利性。
而且，还能够利用图像处理部140，在所生成的平面图像中附加表示距离的网格线，从而在由显示部200显示平面图像时，可使车辆20的驾驶员确认车辆20与所识别的物体之间的距离，确保行驶的安全性。
进一步，在本实施方式中，以摄像部120具有CCD传感器122为例进行了说明，但本发明不局限于此。摄像元件除了可以使用上述CCD传感器外也可以用CMOS传感器或其他光电传感器。当在由显示部200显示由图像处理部140生成的平面图像时，若仅表示车辆周围各物体的位置，则无需表示出物体的颜色，因此该摄像元件可以采用单色光传感器，从而大大降低了防碰撞装置120的生产成本并能够提高图像处理部140的处理速度。
另外，为了适应昼夜环境下识别车辆20周围的物体，可以使用红外线传感器等作为摄像部120的摄像元件，由此，即使在夜晚摄像部120也能拍摄清晰的图像FRAME，并由图像处理部140识别车辆20周围的物体，提高防碰撞装置10的实用性。
在上述实施方式中，对于图像处理部140生成的物体分布图，以生成图6所示的平面图像为例进行了说明。
图7为图像处理部140生成三维的物体分布图的说明图。
在上述步骤S504中，图像处理部140可以如图7所示，在镜头121对焦的平面上(即，镜头121的对焦距离上垂直于镜头121光轴的平面上)，直接确定形成了清晰的像的各物体的位置，从而生成表示车辆20前方各距离处的物体在三维空间中分布位置的立体图像。
当在显示部200上，以3D方式显示该物体分布图像时，能够由车辆的驾驶员操作以改变观看该物体分布图时的视角位置，实现鸟瞰视角，从而使车辆20的驾驶员更直观的查看车辆前方各物体的确切位置，并且，通过改变观看该物体分布图的视角位置，同样可以实现如上述实施方式中以平面图像方式显示物体分布图。
在上述实施方式中，以摄像部120使用固定的拍摄角度α的情形为例进行了说明。对于摄像部120的镜头，对焦距离越远景深越大，因此所拍摄的图像FRAME中形成清晰的像的物体的距离范围越大，造成图像处理部所识别的形成了清晰的像的物体的距离范围变大。另一方面，对焦距离越远，使得摄像部120拍摄的图像中，该对焦距离的平面上景物范围越大，相对地，物体在图像中所占的面积变小，从而使图像处理部120所生成的平面图像中各物体的位置的精度下降；然而在对焦距离近时，由于摄像部120拍摄角度α的限制，使得近处的拍摄范围受到限制。
对此，能够利用变焦镜头(拍摄角度α可变)来替代上述实施方式中定焦镜头(拍摄角度α不可变)的镜头121。在对焦扫描中，当对焦距离近时，采用更短的焦距，拍摄角度α变大，以确保在近处的拍摄角度α；另一方面，当对焦距离远时，通过采用长的焦距，可以减小景深范围，使形成清晰的像的物体的距离范围变小，并由于此时拍摄角度5变小，从而提高了图像处理部140所生成的平面图像中个物体的位置的精度，能够识别更远距离的物体。
以上仅对本发明最佳实施方式进行了说明，但本发明并不局限于具体实施方式的描述。可以仅使用防碰撞装置10中的一个或多个部分，从而仅实现各部分所具有的各自的功能和效果。
另外，上述具体实施方式中，对于移动体以车辆为例进行了说明。但作为移动体可以是任何可移动的装置或用于生产的搬运设备等。
另外，在上述实施方式中，对将本发明的图像处理装置应用于车辆等移动体本身的移动体防碰撞装置的例子进行了说明。但本发明的图像处理装置，通过具有摄像部120和图像处理部140，能够将由像部120的镜头121拍摄的物体，变换成表示在与镜头121的光轴平行的平面上各物体位置的平面图像，因此，还能够应用于生产车间内的各设备位置识别及监控、体育比赛转播中的视角切换、互动娱乐等多种领域。

Claims (27)

1.一种图像处理装置，其特征在于，具有：
进行摄像的摄像模块；和
对由所述摄像模块拍摄的图像进行处理的图像处理模块，
其中，
所述摄像模块包括：镜头；驱动所述镜头以改变对焦距离的对焦元件；和摄像元件，
所述对焦元件驱动所述镜头依次改变对焦距离而进行对焦扫描，以使在镜头光轴方向上不同距离的物体依次在所述摄像元件上形成清晰的像，且所述摄像模块在一次对焦扫描中在不同的对焦距离下依次拍摄多个图像；
所述图像处理模块接收由所述摄像模块在对焦扫描中拍摄的所述多个图像，在各图像中识别形成了清晰的像的物体，根据拍摄每个所述图像时的对焦距离生成表示被识别物体的位置的物体分布图像。
2.如权利要求1所述的图像处理装置，其特征在于：
所述摄像模块在一次对焦扫描中所拍摄的相邻两个所述图像的对焦距离之差为1米以下。
3.如权利要求1所述的图像处理装置，其特征在于：
所述摄像模块以每秒500帧以上的速度进行高速摄像。
4.如权利要求1～3中任一项所述的图像处理装置，其特征在于：
所述摄像模块重复进行多次所述对焦扫描，所述图像处理模块对应于所述多次对焦扫描生成多个所述物体分布图像。
5.如权利要求4所述的图像处理装置，其特征在于：
所述摄像模块每秒进行5次以上的对焦扫描。
6.如权利要求1所述的图像处理装置，其特征在于：
在所述摄像模块中，所述摄像元件为CCD传感器或CMOS传感器中的任何一种。
7.如权利要求1所述的图像处理装置，其特征在于：
在所述摄像模块中，所述摄像元件为红外线摄像元件。
8.如权利要求1所述的图像处理装置，其特征在于：
所述镜头为变焦镜头，所述摄像模块具有驱动所述镜头改变焦距的变焦元件，
在对焦距离大时，所述变焦元件驱动所述透镜使焦距变大；
在对焦距离小时，所述变焦元件驱动所述透镜使焦距变小。
9.一种图像处理装置的图像处理方法，其中所述图像处理装置具有进行摄像的摄像模块和对由所述摄像模块拍摄的图像进行处理的图像处理模块，其中，所述摄像模块包括：镜头；驱动所述镜头以改变对焦距离的对焦元件；和摄像元件，
所述图像处理方法的特征在于：
在所述摄像模块中，使所述对焦元件驱动所述镜头依次改变所述对焦距离而进行对焦扫描，以使在镜头光轴方向上不同距离的物体依次在所述摄像元件上形成清晰的像，所述摄像模块在一次对焦扫描中在不同的对焦距离下依次拍摄多个图像；
所述图像处理模块接收所述摄像模块在一次对焦扫描中拍摄的所述多个图像，并对各图像逐个进行如下处理：
识别形成了清晰的像的物体；
根据拍摄该图像时的对焦距离，在表示被识别物体的位置的物体分布图像中描绘该被识别的物体。
10.如权利要求9所述的图像处理方法，其特征在于：
使所述摄像模块重复进行多次所述对焦扫描，并使所述图像处理模块对应于所述多次对焦扫描生成多个所述物体分布图像。
11.一种设置在移动体上的移动体防碰撞装置，其特征在于，具有：
对所述移动体周围进行摄像的摄像模块；
对由所述摄像模块拍摄的图像进行处理的图像处理模块；和
碰撞判断模块，
其中，
所述摄像模块包括：镜头、驱动所述镜头以改变对焦距离的对焦元件；和摄像元件，
所述对焦元件驱动所述镜头依次改变对焦距离而进行对焦扫描，以使距所述移动体不同距离的物体在所述摄像元件上依次形成清晰的像，且所述摄像模块在一次所述对焦扫描中在不同的对焦距离下依次拍摄多个图像；
所述图像处理模块接收由所述摄像模块在对焦扫描中拍摄的所述多个图像，在各图像中识别形成了清晰的像的物体，根据拍摄每个所述图像时的对焦距离生成表示被识别物体与所述移动体的相对位置的物体分布图像；
所述碰撞判断模块根据所述物体分布图像判断所述移动体是否会与所述被识别的物体发生碰撞。
12.如权利要求11所述的移动体防碰撞装置，其特征在于：
具有显示模块，其显示由所述图像处理部生成的物体分布图像，
在所述碰撞判断模块判断为所述移动体会与所述被识别的物体发生碰撞时，在所述显示模块上利用不同的颜色显示该物体。
13.如权利要求11所述的移动体防碰撞装置，其特征在于：
具有向移动体的操作者进行提示的提示部，
在所述碰撞判断模块判断为所述移动体会与所述被识别的物体发生碰撞时，所述提示部向移动体的操作者发出警告消息。
14.如权利要求13所述的移动体防碰撞装置，其特征在于：
所述提示部包括发声部和振动部中的至少一者。
15.如权利要求11所述的移动体防碰撞装置，其特征在于：
具有显示模块，其显示由所述图像处理部生成的所述物体分布图像，
所述图像处理模块，在生成的物体分布图像中附加表示相隔距离的网格线，
所述显示模块显示所述附加网格线后的物体分布图像。
16.如权利要求11所述的移动体防碰撞装置，其特征在于：
具有控制移动体移动的移动体控制模块，
当所述碰撞判断模块判断所述移动体会与所述被识别的物体发生碰撞时，所述移动体控制模块控制移动体进行制动、加速或转向的动作。
17.如权利要求11所述的移动体防碰撞装置，其特征在于：
具有检测所述移动体的速度的速度检测部，
所述碰撞判断模块根据所述速度检测部检测的所述移动体的速度，判断所述移动体是否会与所述被识别的物体发生碰撞。
18.如权利要求11所述的移动体防碰撞装置，其特征在于：
具有朝向所述移动体周围不同方向而进行摄像的多个所述摄像模块。
19.如权利要求11所述的移动体防碰撞装置，其特征在于：
所述摄像模块在一次对焦扫描中所拍摄的相邻两个所述图像的对焦距离之差为1米以下。
20.如权利要求11所述的移动体防碰撞装置，其特征在于：
所述摄像模块以每秒500帧以上的速度进行高速摄像。
21.如权利要求11～20中任一项所述的移动体防碰撞装置，其特征在于：
所述摄像模块重复进行多次所述对焦扫描，所述图像处理模块对应于所述多次对焦扫描生成多个所述物体分布图像。
22.如权利要求21所述的移动体防碰撞装置，其特征在于：
所述摄像模块每秒进行5次以上的对焦扫描。
23.如权利要求11所述的移动体防碰撞装置，其特征在于：
在所述摄像模块中，所述摄像元件为CCD传感器或CMOS传感器中的任何一种。
24.如权利要求11所述的移动体防碰撞装置，其特征在于：
在所述摄像模块中，所述摄像元件为红外线摄像元件。
25.如权利要求11所述的图像处理装置，其特征在于：
所述镜头为变焦镜头，所述摄像模块还具有驱动所述镜头改变焦距的变焦元件，
在对焦距离大时，所述变焦元件驱动所述透镜使焦距变大；
在对焦距离小时，所述变焦元件驱动所述透镜使焦距变小。
26.一种移动体防碰撞装置，其设置于移动体，其特征在于，具有：
对所述移动体周围进行摄像的摄像模块；
对由所述摄像模块拍摄的图像进行处理的图像处理模块；和
显示模块，
其中，
所述摄像模块包括：镜头、驱动所述镜头以改变对焦距离的对焦元件；和摄像元件，
所述对焦元件驱动所述镜头依次改变对焦距离而进行对焦扫描，以使距所述移动体不同距离的物体在所述摄像元件上依次形成清晰的像，且所述摄像模块在一次所述对焦扫描中在不同的对焦距离下依次拍摄多个图像；
所述图像处理模块接收由所述摄像模块在对焦扫描中拍摄的所述多个图像，在各图像中识别形成了清晰的像的物体，根据拍摄每个所述图像时的对焦距离生成表示被识别物体与所述移动体的相对位置的物体分布图像；
所述显示模块显示由所述图像处理部生成的物体分布图像。
27.如权利要求26所述的移动体防碰撞装置，其特征在于：
所述图像处理部生成以三维模式表示被识别的物体与所述移动体的相对位置的物体分布图像。
CN201110065887.9A 2011-03-18 2011-03-18 图像处理装置和方法、及移动体防碰撞装置 Active CN102685382B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201110065887.9A CN102685382B (zh) 2011-03-18 2011-03-18 图像处理装置和方法、及移动体防碰撞装置
EP12001674.6A EP2500890B1 (en) 2011-03-18 2012-03-12 Image processing device, method thereof, and moving body anti-collision device
ES12001674T ES2886522T3 (es) 2011-03-18 2012-03-12 Dispositivo de procesamiento de imágenes, su método y dispositivo de anticolisión de cuerpo en movimiento
JP2012060124A JP5536125B2 (ja) 2011-03-18 2012-03-16 画像処理装置および方法、ならびに移動体衝突防止装置
US13/422,803 US9858488B2 (en) 2011-03-18 2012-03-16 Image processing device, method thereof, and moving body anti-collision device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110065887.9A CN102685382B (zh) 2011-03-18 2011-03-18 图像处理装置和方法、及移动体防碰撞装置

Publications (2)

Publication Number Publication Date
CN102685382A true CN102685382A (zh) 2012-09-19
CN102685382B CN102685382B (zh) 2016-01-20

Family

ID=45977084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110065887.9A Active CN102685382B (zh) 2011-03-18 2011-03-18 图像处理装置和方法、及移动体防碰撞装置

Country Status (5)

Country Link
US (1) US9858488B2 (zh)
EP (1) EP2500890B1 (zh)
JP (1) JP5536125B2 (zh)
CN (1) CN102685382B (zh)
ES (1) ES2886522T3 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103072537A (zh) * 2013-02-05 2013-05-01 湖南大学 基于红外图像处理的汽车防撞安全保护装置及保护方法
CN104076920A (zh) * 2013-03-28 2014-10-01 索尼公司 信息处理设备、信息处理方法及存储介质
CN104349197A (zh) * 2013-08-09 2015-02-11 联想(北京)有限公司 一种数据处理方法及装置
CN105270258A (zh) * 2014-06-12 2016-01-27 陕西重型汽车有限公司 一种汽车转向安全辅助系统
CN106558247A (zh) * 2015-09-25 2017-04-05 福特全球技术公司 驾驶历史停车障碍警报
CN106571046A (zh) * 2016-11-11 2017-04-19 上海市政工程设计研究总院（集团）有限公司 基于路面网格体系的车路协同辅助驾驶方法
CN107672551A (zh) * 2017-09-20 2018-02-09 杭州奥腾电子股份有限公司 一种前车防撞预警系统及其控制方法
CN107767697A (zh) * 2016-08-19 2018-03-06 索尼公司 用于处理交通声音数据以提供驾驶员辅助的系统和方法
CN109691088A (zh) * 2016-08-22 2019-04-26 索尼公司 图像处理设备、图像处理方法、以及程序
TWI665647B (zh) * 2017-08-01 2019-07-11 鴻海精密工業股份有限公司 汽車警示方法及電子裝置
CN110419210A (zh) * 2017-03-15 2019-11-05 富士胶片株式会社 摄像装置、摄像方法及摄像程序
CN110660271A (zh) * 2018-06-13 2020-01-07 罗伯特·博世有限公司 在更大距离上识别对于行驶重要相关的情况
CN112995507A (zh) * 2021-02-08 2021-06-18 北京蜂巢世纪科技有限公司 提示对象位置的方法及装置
CN114071020A (zh) * 2021-12-28 2022-02-18 厦门四信通信科技有限公司 一种无人驾驶车辆的自动变焦方法及装置
CN114911219A (zh) * 2021-02-07 2022-08-16 华为技术有限公司 一种用于视觉传感器的控制指令生成方法及装置、控制方法及装置

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102923082A (zh) * 2012-10-31 2013-02-13 东莞康特尔电子有限公司 一种车辆行车智能防护预警系统及其控制方法
CN103101497A (zh) * 2013-01-25 2013-05-15 深圳市保千里电子有限公司 汽车摄像系统及其视角与车速同步变化的数据处理方法
JP6349640B2 (ja) * 2013-07-31 2018-07-04 日産自動車株式会社 情報提供装置及び方法
DE102013222304A1 (de) * 2013-11-04 2015-05-07 Conti Temic Microelectronic Gmbh Verfahren zur Bestimmung von Objektentfernungen mit einer in einem Kraftfahrzeug verbauten Kamera
EP2943860B1 (en) 2014-03-21 2022-03-02 Samsung Electronics Co., Ltd. Method and apparatus for preventing a collision between subjects
KR20150110283A (ko) * 2014-03-21 2015-10-02 삼성전자주식회사 객체들 사이의 충돌을 방지하는 방법 및 장치.
CN105025219A (zh) * 2014-04-30 2015-11-04 齐发光电股份有限公司 图像获取方法
US9576185B1 (en) * 2015-09-14 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Classifying objects detected by 3D sensors for autonomous vehicle operation
CN105185160B (zh) * 2015-10-09 2017-11-24 卢庆港 虚拟网格内畸变区域移动趋势识别的路面检测方法
KR101822895B1 (ko) * 2016-04-07 2018-01-29 엘지전자 주식회사 차량 운전 보조 장치 및 차량
JP6739242B2 (ja) * 2016-06-01 2020-08-12 キヤノン株式会社 撮像装置及びその制御方法、プログラム並びに記憶媒体
CN106080481A (zh) * 2016-07-22 2016-11-09 池州学院 一种汽车全方位防撞预警系统
CN106683408A (zh) * 2017-02-14 2017-05-17 北京小米移动软件有限公司 车辆监控方法和装置
JP6579144B2 (ja) * 2017-03-28 2019-09-25 株式会社Ｓｏｋｅｎ 障害物検知装置
US10678257B2 (en) * 2017-09-28 2020-06-09 Nec Corporation Generating occlusion-aware bird eye view representations of complex road scenes
JP2019114902A (ja) * 2017-12-22 2019-07-11 ルネサスエレクトロニクス株式会社 半導体装置、撮像システム、及びプログラム
CN109532670B (zh) * 2018-11-28 2022-02-22 广州市网拓信息技术有限公司 一种车载安全距离判断装置及其软件使用原理
DE102018221241A1 (de) 2018-12-07 2020-06-10 Volkswagen Aktiengesellschaft Fahrassistenzsystem für einen Kraftwagen, Kraftwagen und Verfahren zum Betreiben eines Kraftwagens
CN112380935B (zh) * 2020-11-03 2023-05-26 深圳技术大学 面向自动驾驶的人机协同感知方法及系统
JP2022114764A (ja) * 2021-01-27 2022-08-08 キヤノン株式会社 光学系、撮像装置、車載システムおよび移動装置
US12030512B2 (en) * 2022-04-06 2024-07-09 GM Global Technology Operations LLC Collision warning system for a motor vehicle having an augmented reality head up display
DE102022129697A1 (de) 2022-11-10 2024-05-16 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bestimmen einer Distanz eines Objektes in einer Fahrzeugumgebung zu einem Fahrzeug auf Basis von Bildern mit unterschiedlichen Schärfen

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1099342A (zh) * 1993-08-25 1995-03-01 徐顺庆 行车防撞方法及其装置
EP1956457A1 (en) * 2007-02-06 2008-08-13 Honeywell International Inc. Method and system for three-dimensional obstacle mapping for navigation of autonomous vehicles
CN101311672A (zh) * 2007-05-25 2008-11-26 财团法人车辆研究测试中心 一种防车侧碰撞警示装置的检测方法
CN101458078A (zh) * 2007-12-10 2009-06-17 鸿富锦精密工业（深圳）有限公司 一种汽车防撞系统及方法
US20110043655A1 (en) * 2009-08-24 2011-02-24 Samsung Electronics Co., Ltd. Digital photographing apparatus, method of controlling the same and computer program product having recorded thereon a program for executing the method

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0580143A (ja) * 1991-09-19 1993-04-02 Fujitsu Ltd レーダ信号表示装置
JP2715202B2 (ja) 1991-10-09 1998-02-18 新キャタピラー三菱株式会社 無人自走体の無線監視通信方法及びその装置
JPH10143245A (ja) 1996-11-07 1998-05-29 Komatsu Ltd 移動体の障害物衝突防止装置
JP3260645B2 (ja) 1997-01-31 2002-02-25 エニー株式会社 ナビゲーションシステム
JPH11120499A (ja) 1997-10-09 1999-04-30 Toyo Commun Equip Co Ltd 航法用位置表示装置
JP2000304856A (ja) 1999-04-20 2000-11-02 Mitsubishi Electric Engineering Co Ltd 近接警報装置
JP3642717B2 (ja) 2000-05-30 2005-04-27 櫻護謨株式会社 自動走行機械の走行制限システム
JP2003016429A (ja) * 2001-06-28 2003-01-17 Honda Motor Co Ltd 車両周辺監視装置
US7084910B2 (en) * 2002-02-08 2006-08-01 Hewlett-Packard Development Company, L.P. System and method for using multiple images in a digital image capture device
US7319487B2 (en) * 2002-04-10 2008-01-15 Olympus Optical Co., Ltd. Focusing apparatus, camera and focus position detecting method
JP2004094825A (ja) * 2002-09-03 2004-03-25 Toyota Motor Corp 三次元物体認識装置
JP3844750B2 (ja) * 2003-05-26 2006-11-15 本田技研工業株式会社 赤外線画像認識装置、及び赤外線画像認識装置を用いた警報装置
WO2006121088A1 (ja) * 2005-05-10 2006-11-16 Olympus Corporation 画像処理装置、画像処理方法および画像処理プログラム
JP2007004020A (ja) * 2005-06-27 2007-01-11 Sony Corp ズームレンズ及び撮像装置
US20070035628A1 (en) * 2005-08-12 2007-02-15 Kunihiko Kanai Image-capturing device having multiple optical systems
JP2007172541A (ja) * 2005-12-26 2007-07-05 Toyota Motor Corp 運転支援装置
JP2007192730A (ja) * 2006-01-20 2007-08-02 Nsk Ltd 多点測距センサおよび多点測距方法
WO2007102367A1 (ja) * 2006-02-28 2007-09-13 Toyota Jidosha Kabushiki Kaisha 物体進路予測方法、装置、プログラム、および自動運転システム
JP5094070B2 (ja) * 2006-07-25 2012-12-12 キヤノン株式会社 撮像装置、撮像方法、プログラム、及び記憶媒体
US20100134631A1 (en) * 2006-10-30 2010-06-03 Wesleyan University Apparatus and method for real time image compression for particle tracking
JP2008225140A (ja) * 2007-03-14 2008-09-25 Fujifilm Corp レンズ移動装置及びデジタルカメラ
US20100259631A1 (en) * 2007-10-26 2010-10-14 Fujifilm Corporation Data compression apparatus, data compression program and image-taking apparatus
JP2009151124A (ja) * 2007-12-20 2009-07-09 Sharp Corp センサモジュール、電子情報機器、オートフォーカス制御方法、制御プログラムおよび可読記憶媒体
WO2009099022A1 (ja) * 2008-02-04 2009-08-13 Konica Minolta Holdings, Inc. 周辺監視装置及び周辺監視方法
US8050468B2 (en) * 2008-03-05 2011-11-01 Honeywell International Inc. Fingerprint acquisition system
US8054201B2 (en) * 2008-03-19 2011-11-08 Mazda Motor Corporation Surroundings monitoring device for vehicle
JP5369564B2 (ja) 2008-09-11 2013-12-18 株式会社ニコン 形状測定装置
JP2010191793A (ja) * 2009-02-19 2010-09-02 Denso It Laboratory Inc 警告表示装置及び警告表示方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1099342A (zh) * 1993-08-25 1995-03-01 徐顺庆 行车防撞方法及其装置
EP1956457A1 (en) * 2007-02-06 2008-08-13 Honeywell International Inc. Method and system for three-dimensional obstacle mapping for navigation of autonomous vehicles
CN101311672A (zh) * 2007-05-25 2008-11-26 财团法人车辆研究测试中心 一种防车侧碰撞警示装置的检测方法
CN101458078A (zh) * 2007-12-10 2009-06-17 鸿富锦精密工业（深圳）有限公司 一种汽车防撞系统及方法
US20110043655A1 (en) * 2009-08-24 2011-02-24 Samsung Electronics Co., Ltd. Digital photographing apparatus, method of controlling the same and computer program product having recorded thereon a program for executing the method

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103072537B (zh) * 2013-02-05 2014-03-26 湖南大学 一种基于红外图像处理的汽车防撞安全保护方法
CN103072537A (zh) * 2013-02-05 2013-05-01 湖南大学 基于红外图像处理的汽车防撞安全保护装置及保护方法
CN104076920A (zh) * 2013-03-28 2014-10-01 索尼公司 信息处理设备、信息处理方法及存储介质
CN104076920B (zh) * 2013-03-28 2018-01-26 索尼公司 信息处理设备、信息处理方法及存储介质
CN104349197A (zh) * 2013-08-09 2015-02-11 联想(北京)有限公司 一种数据处理方法及装置
CN105270258A (zh) * 2014-06-12 2016-01-27 陕西重型汽车有限公司 一种汽车转向安全辅助系统
CN106558247A (zh) * 2015-09-25 2017-04-05 福特全球技术公司 驾驶历史停车障碍警报
CN107767697A (zh) * 2016-08-19 2018-03-06 索尼公司 用于处理交通声音数据以提供驾驶员辅助的系统和方法
CN109691088A (zh) * 2016-08-22 2019-04-26 索尼公司 图像处理设备、图像处理方法、以及程序
US11528413B2 (en) 2016-08-22 2022-12-13 Sony Corporation Image processing apparatus and image processing method to generate and display an image based on a vehicle movement
CN106571046A (zh) * 2016-11-11 2017-04-19 上海市政工程设计研究总院（集团）有限公司 基于路面网格体系的车路协同辅助驾驶方法
CN106571046B (zh) * 2016-11-11 2021-07-16 上海市政工程设计研究总院（集团）有限公司 基于路面网格体系的车路协同辅助驾驶方法
CN110419210A (zh) * 2017-03-15 2019-11-05 富士胶片株式会社 摄像装置、摄像方法及摄像程序
CN110419210B (zh) * 2017-03-15 2021-01-12 富士胶片株式会社 摄像装置、摄像方法及记录介质
TWI665647B (zh) * 2017-08-01 2019-07-11 鴻海精密工業股份有限公司 汽車警示方法及電子裝置
CN107672551A (zh) * 2017-09-20 2018-02-09 杭州奥腾电子股份有限公司 一种前车防撞预警系统及其控制方法
CN110660271A (zh) * 2018-06-13 2020-01-07 罗伯特·博世有限公司 在更大距离上识别对于行驶重要相关的情况
CN110660271B (zh) * 2018-06-13 2023-01-10 罗伯特·博世有限公司 在更大距离上识别对于行驶重要相关的情况
CN114911219A (zh) * 2021-02-07 2022-08-16 华为技术有限公司 一种用于视觉传感器的控制指令生成方法及装置、控制方法及装置
CN112995507A (zh) * 2021-02-08 2021-06-18 北京蜂巢世纪科技有限公司 提示对象位置的方法及装置
CN114071020A (zh) * 2021-12-28 2022-02-18 厦门四信通信科技有限公司 一种无人驾驶车辆的自动变焦方法及装置

Also Published As

Publication number Publication date
US9858488B2 (en) 2018-01-02
EP2500890B1 (en) 2021-08-04
EP2500890A2 (en) 2012-09-19
US20120236122A1 (en) 2012-09-20
CN102685382B (zh) 2016-01-20
ES2886522T3 (es) 2021-12-20
EP2500890A3 (en) 2016-12-07
JP5536125B2 (ja) 2014-07-02
JP2012198207A (ja) 2012-10-18

Similar Documents

Publication Publication Date Title
CN102685382B (zh) 图像处理装置和方法、及移动体防碰撞装置
EP3842304B1 (en) Systems and methods for navigating with safe distances
US11610410B2 (en) Vehicular vision system with object detection
KR102493878B1 (ko) 검출된 주차 차량의 특징에 기반을 둔 호스트 차량의 제어
KR102534353B1 (ko) 검출된 배리어에 기반한 차량의 항법
US11463610B2 (en) Cross field of view for autonomous vehicle systems
CN108604292B (zh) 对切入车道的车辆的自动预测和利他响应
US8305431B2 (en) Device intended to support the driving of a motor vehicle comprising a system capable of capturing stereoscopic images
JP2020507829A (ja) 整合画像及びｌｉｄａｒ情報に基づいた車両ナビゲーション
JP2015139128A (ja) 車両用周辺監視装置
JP2009231938A (ja) 車両用周囲監視装置
JP2020187474A (ja) 走行車線認識装置、走行車線認識方法およびプログラム
JP2001195698A (ja) 歩行者検知装置
US20190391592A1 (en) Positioning system
JP2020109559A (ja) 信号機認識方法及び信号機認識装置
JP6627135B2 (ja) 車両位置判定装置
US10204276B2 (en) Imaging device, method and recording medium for capturing a three-dimensional field of view
JP2005284797A (ja) 走行安全装置
JP2016024573A (ja) 車両用表示装置
US20240123976A1 (en) Vehicle controller, method, and computer program for vehicle control
JP7511992B2 (ja) 車両支援装置
US20230154196A1 (en) Vehicle control system and vehicle driving method using the vehicle control system
JP2014104840A (ja) 車載画像処理装置
CN111043977B (zh) 用于确定第一车辆相对于第二车辆的相对参数的方法
KR20240070592A (ko) 광 신호 송신기의 거리를 결정하기 위한 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant