CN102265599A - 障碍物检测显示装置 - Google Patents

障碍物检测显示装置 Download PDF

Info

Publication number
CN102265599A
CN102265599A CN2010800036963A CN201080003696A CN102265599A CN 102265599 A CN102265599 A CN 102265599A CN 2010800036963 A CN2010800036963 A CN 2010800036963A CN 201080003696 A CN201080003696 A CN 201080003696A CN 102265599 A CN102265599 A CN 102265599A
Authority
CN
China
Prior art keywords
image
unit
display
video signal
display message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800036963A
Other languages
English (en)
Inventor
广冈慎一郎
千叶浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Publication of CN102265599A publication Critical patent/CN102265599A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供的对于用广角摄影机拍摄的影像也能够将高精度的图像识别结果的信息高速并且无位置偏离地显示的障碍物检测显示装置，由物体识别装置构成，该物体识别装置具有：拍摄单元，对拍摄单元输出的影像信号通过图像处理进行几何校正并输出的图像校正单元，对图像校正单元输出的影像信号进行图像处理检测出被摄体信息的图像识别单元，基于图像识别单元检测出的被摄体信息决定并输出通过与拍摄单元输出的影像信号叠加而对用户提示的显示信息和在影像信号中的显示位置的显示信息生成部，将显示信息生成部输出的显示信息基于显示信息生成部输出的显示位置与拍摄单元输出的影像信号叠加并输出的显示信息叠加部。显示信息生成部在决定与拍摄单元输出的影像信号叠加的显示信息的显示位置时，考虑被摄体在图像校正单元输出的影像信号与拍摄单元输出的影像信号中的位置偏离而对显示位置进行校正运算。

Description

障碍物检测显示装置
技术领域
本发明涉及使用摄影机的影像进行图像识别检测出障碍物等，将该识别检测出的障碍物，通过显示信息叠加在影像上进行显示的障碍物检测显示装置。
背景技术
作为本发明的背景领域，例如，已知有以下的专利文献1，根据该公开内容，其目的在于“提供在交叉点的死角或者视野较差的弯道等可视性较低的道路上，与现有技术相比能够更容易并且可靠地判定接近的移动体的移动体判定系统、移动体判定方法、用于将该移动体判定方法用计算机实现的计算机程序”，作为其解决方式，公开了以下技术：“CPU28算出连接区格内的像素的运动矢量方向的平均值，将算出的平均值确定为连接区格的移动方向。CPU28算出确定的移动方向与预先确定的接近方向的角度差，在所算出的角度差为第二阈值以下时，生成显示图像，合成为拍摄图像。由此，在判定为作为拍摄图像上的移动体、向接近方向移动的移动体存在的情况下，附加强调显示该移动体的显示信息。”
现有技术文献
专利文献
专利文献1：日本特开2007-172540号公报
发明内容
发明要解决的课题
但是，近年来，在车载用的后视摄影机中，为了减少其死角，例如，使用搭载了鱼眼透镜等广角透镜的广角摄影机的后视摄影机得以广泛普及。在该广角透镜中，因光学的透镜畸变的影响，获得的影像特别在其周边部分较大地畸变，但是，用图像处理对该畸变进行校正时，图像的中心部分相对缩小，另一方面，图像周边部分的投影畸变增大，反而，看到该影像时的外观变得不自然。因此，用监视器观看时，优选没有对畸变进行校正的影像，或者，校正为残留有一定畸变的程度的影像。
另一方面，对从摄影机获得的影像施加图像处理进行特定的被摄体的检测和追踪的图像识别技术逐步得以实用化，而通过这样的图像处理进行物体识别的情况下，为了进行高精度的识别，要求对透镜畸变进行校正。例如，在基于来自2个以上的摄影机的影像计算到被摄体的距离的、即所谓立体摄影机中，由于使用被摄体的图像中的几何位置，需要将该透镜畸变校正至能够近似于不存在畸变的状态的精度。因此，将基于对畸变校正后(已校正畸变)的影像获得的被摄体位置等识别结果，以文字、图形叠加在存在畸变的影像上对于用户显示时，会因畸变的有无而产生位置偏离。特别是，在上述广角透镜中透镜畸变的影响较大，因此该位置偏离容易成为问题。
在上述专利文献1中，对于用摄影机拍摄到的影像，通过图像处理进行运动矢量的计算来检测出移动体，将包围检测到的移动体的矩形框与该影像叠加显示。但是，因为没有对于影像进行透镜畸变校正，所以透镜畸变较大的情况下，其检测精度可能降低。此外，在该专利文献1中，作为其他方法，记载了使用应用了鱼眼(超广角)透镜的摄影机的影像的情况下，通过将该影像转换为俯视影像，实现透镜畸变的影响不存在(较少)、高精度的检测。但是，该情况下，由于原有的影像、视点和视角较大地改变，无法看到原本想观看的拍摄影像。或者存在矩形框无法叠加到拍摄影像的问题。
对此，本发明是鉴于上述现有技术的问题而达成的，其目的在于提供对于用广角的摄影机拍摄的外观自然的存在透镜畸变的影像，也能够通过生成基于高精度的图像识别结果的障碍物的显示信息，高速并且无位置偏离地将该显示信息叠加在检测到的障碍物上，不会令用户有不协调感地进行强调显示的障碍物检测显示装置。
用于解决课题的技术手段
为了达成上述目的，根据本发明，首先，提供障碍物检测显示装置，其包括：具备透镜的拍摄单元；图像校正单元，对该拍摄单元输出的存在畸变的影像信号进行几何校正而输出；图像识别单元，对该图像校正单元输出的已校正畸变的影像信号进行图像处理，检测出障碍物及其被摄体信息；显示信息生成部，基于该图像识别单元检测出的被摄体信息，决定并输出包括框的显示信息和该显示信息在存在畸变的影像信号中的显示位置，其中该框与上述拍摄单元输出的存在畸变的影像信号叠加而用于对用户提示的强调显示；和显示信息叠加部，其将该显示信息生成部输出的显示信息，基于上述显示信息生成部输出的显示位置，与上述拍摄单元输出的存在畸变的影像信号叠加而输出，其中上述显示信息生成部，在决定包括与上述拍摄单元输出的存在畸变的影像信号叠加的上述用于强调显示的框的显示信息的显示位置时，考虑上述障碍物在上述图像校正单元输出的已校正畸变的影像信号与上述拍摄单元输出的存在畸变的影像信号之间的位置偏离，对包括上述用于强调显示的框的显示信息的显示位置进行校正运算。
此外，本发明中，在上述记载的障碍物检测显示装置中，还可以设置有多个上述具备透镜的拍摄单元，或者，上述图像校正单元包括：对该拍摄单元输出的存在畸变的影像信号进行几何校正而作为显示用图像输出的显示用图像校正单元；和对该拍摄单元输出的存在畸变的影像信号，以比上述显示用图像校正单元更高的程度进行几何校正而作为识别用图像输出的识别用图像校正单元，上述图像识别单元对来自该识别用图像校正单元的识别用图像进行图像处理，检测出障碍物及其被摄体信息，上述显示信息叠加部，将上述显示信息生成部输出的包括用于强调显示的框的显示信息，叠加在来自该显示用图像校正单元的显示用图像上而输出。
进而，本发明中，在上述记载的障碍物检测显示装置中，可以使在上述图像校正单元中对上述拍摄单元输出的存在畸变的影像信号进行几何校正时使用的校正信息，与在上述显示信息生成部中对上述显示信息的显示位置进行校正运算时使用的校正信息，是相同的校正信息，或者，可以使在上述图像校正单元中对上述拍摄单元输出的存在畸变的影像信号通过图像处理进行几何校正时使用的校正信息，与在上述显示信息生成部中对显示信息的显示位置进行校正运算时使用的校正信息，是不同的校正信息。
此外，本发明中，在上述记载的障碍物检测显示装置中，优选上述显示信息生成部对于包括上述用于强调显示的框的显示信息的显示位置进行校正运算时，对叠加的所有像素的显示位置，基于上述校正信息进行校正运算，进而，优选上述显示信息生成部对包括用于强调显示的框的显示信息的显示位置进行校正运算时，对于叠加的像素中代表性的像素的显示位置，基于上述校正信息进行校正运算，对于其他像素用插值(补充运算)决定显示位置。
此外，根据本发明，为了达成上述目的，提供障碍物检测显示装置，其包括：具备透镜的第一拍摄单元；具备透镜的第二拍摄单元；图像校正单元，对该第一拍摄单元输出的存在畸变的影像信号，和该第二拍摄单元输出的存在畸变的影像信号分别进行几何校正，作为立体影像信号输出；立体图像识别单元，对该图像校正单元输出的已校正畸变的立体影像信号进行图像处理，检测出障碍物和该障碍物的三维被摄体信息；显示信息生成部，基于该立体图像识别单元检测出的三维被摄体信息，决定并输出包括与上述第一拍摄单元输出的存在畸变的影像信号或者上述第二拍摄单元输出的存在畸变的影像信号叠加而用于对用户提示的强调显示的框的显示信息，和该显示信息在存在畸变的影像信号中的显示位置；和显示信息叠加部，将该显示信息生成部输出的显示信息，基于上述显示信息生成部输出的显示位置，与上述第一拍摄单元输出的存在畸变的影像信号，或者上述第二拍摄单元输出的存在畸变的影像信号叠加而输出，其中上述显示信息生成部，在决定包括与上述第一拍摄单元输出的存在畸变的影像信号或者上述第二拍摄单元输出的存在畸变的影像信号叠加的上述用于强调显示的框的显示信息的显示位置时，考虑上述障碍物在上述图像校正单元输出的已校正畸变的影像信号与上述第一拍摄单元输出的存在畸变的影像信号或上述第二拍摄单元输出的存在畸变的影像信号之间的位置偏离，对显示位置进行校正运算。
此外，根据本发明，为了达成上述目的，提供障碍物检测显示装置，其包括：具备透镜的拍摄单元；显示用图像校正单元，对该拍摄单元输出的存在畸变的影像信号进行几何校正而输出显示用图像；识别用图像校正单元，对该拍摄单元输出的存在畸变的影像信号，以比上述显示用图像校正单元更高的程度进行几何校正而输出识别用图像；图像识别单元，对该识别用图像校正单元输出的已校正畸变的影像信号进行图像处理，检测出障碍物及其被摄体信息；显示信息生成部，基于该图像识别单元检测出的被摄体信息，决定并输出包括与上述显示用图像校正单元输出的已校正畸变的影像信号叠加而用于对用户提示的强调显示的框的显示信息，和包括用于该强调显示的框的显示信息在显示用图像中的显示位置；和显示信息叠加部，将包括该显示信息生成部输出的用于强调显示的框的显示信息，基于上述显示信息生成部输出的显示位置，与上述显示用图像校正单元输出的已校正畸变的显示图像叠加而输出，其中上述显示信息生成部，在决定包括与上述显示用图像校正单元输出的已校正畸变的影像信号叠加的上述用于强调显示的框的显示信息的显示位置时，考虑上述障碍物在上述识别用图像校正单元输出的已校正畸变的识别用图像与上述显示用图像校正单元输出的已校正畸变的显示画面之间的位置偏离，对上述显示信息的显示位置进行校正运算。
发明的效果
根据上述本发明的障碍物检测显示装置，能够将基于通过使用该已校正透镜畸变的影像而获得的高精度的图像识别结果的识别信息，对于用广角的摄影机拍摄的外观自然的存在透镜畸变的影像，高速并且无位置偏离地叠加显示，由此，能够实现用户能够无不协调感地进行该识别结果的确认的良好效果。
附图说明
图1是表示本发明的第一实施例的障碍物检测显示装置的概要结构的框图。
图2是用于表示上述障碍物检测显示装置中显示信息的显示位置运算处理的一例的图。
图3也是用于表示上述障碍物检测显示装置中显示信息的显示位置运算处理的一例的图。
图4是表示本发明的第二实施例的障碍物检测显示装置的概要结构的框图。
图5是表示本发明的第三实施例的障碍物检测显示装置的概要结构的框图。
图6是用于表示上述第三实施例的障碍物检测显示装置中显示信息的显示位置运算处理的一例的图。
具体实施方式
以下，对于本发明的实施方式，使用附图详细地说明。
[实施例1]
首先，附图中的图1是表示本发明的第一实施例的障碍物检测显示装置的整体结构的附图，图中的符号101表示拍摄部，102表示图像校正部，103表示图像识别部，104表示显示信息生成部，105表示显示信息叠加部。
在上述结构的障碍物检测显示装置中，拍摄部101例如由透镜、光圈、快门、CCD(charged coupled device，电荷耦合器件)或者CMOS(complementary metal oxide semiconductor，互补金属氧化物半导体)等拍摄元件、CDS(central dynamic store，中央动态存储器)或AGC(automatic gauge controller，自动测量调整控制)、AD转换器、摄影机信号处理DSP(digital signal processor，数字信号处理器)、时序发生器等构成，将通过该拍摄元件受光的光学像用光电转换转换为电信号，作为影像信号输出。此处，作为上述透镜，例如可以使用鱼眼透镜等所谓的广角透镜。
图像校正部102，取得拍摄部101输出的影像信号作为图像，基于存储器中存储的图像校正信息进行图像处理，进行透镜畸变的校正、视角的校正和图像倾斜的校正等所谓的几何校正。其中，该几何校正，能够通过使用以Zhengyou Zhang使用的方法为代表的现有技术中的摄影机校正方法而实现。此外，此时，作为图像校正信息，能够使用将摄影机的光学系统的几何模型化的函数的系数，或者直接记录上述几何校正前后的图像的坐标的对应的查找表(look up table)。该图像校正信息，可以预先使用校正模式等算出并存储在存储器内，或者，还可以基于装置运转中取得的影像而算出，从而适当地更新存储器的数据。
图像识别部103，取得上述图像校正部102输出的几何校正后的图像，进行基于图像处理的识别处理，检测出包括障碍物的被摄体信息。此处，被摄体信息指的是人物、车辆、行车线等被摄体的属性，或者被摄体的形状、位置，或移动、静止等被摄体的状态，或者能够将其组合而推定出的危险度、拥堵度等判定结果等，用各种现有技术中的图像识别技术能够得到的信息，该图像识别部103与该应用程序相应地进行适当的图像处理，能够取得需要的信息。这些信息(显示信息)，在本障碍物检测显示装置中，用于通过与影像叠加显示而对用户提示。或者，例如，在进行行驶中的障碍物检测的车载摄影机中，在存在障碍物的情况下，为了使车辆减速，可以将该障碍物信息输出到此处未图示的车速控制部，进而还可以用于其他目的。
显示信息生成部104，基于上述图像识别部103输出的识别结果的信息，决定通过与影像叠加来对用户进行提示的显示信息，及其在该影像上的显示位置。作为该显示信息，例如为“人”或“车辆”等表示被摄体属性的文字信息、用于对移动体等特定的被摄体进行强调显示的包围框等，与应用程序相应地预先确定。其中，此时，将该显示信息，在影像上以用户容易看清楚的配置显示的情况下，需要考虑被摄体在用于图像识别的进行了几何校正的影像与实际用于显示的没有进行几何校正的影像之间的位置偏离。因此，该显示信息生成部104，考虑该被摄体的位置偏离而决定显示位置。此外，该显示位置的决定方法(显示位置运算处理)在之后用附图详细叙述。
显示信息叠加部105，将上述显示信息生成部104输出的显示信息，基于显示信息生成部104输出的显示位置，与拍摄部101输出的影像信号叠加，生成显示影像。生成的显示影像，输出到此处未图示的监视器部等，由此，对于用户，同时提示影像和识别结果。由此，能够将使用已校正透镜畸变的影像高精度的检测出的图像识别结果，无位置偏离地与摄影机拍摄的存在透镜畸变的外观自然的影像叠加显示，由此用户不会有不协调感，能够在影像上确认该识别结果。
此外，上述图像校正部102中的图像校正处理、图像识别部103中的图像识别处理、显示信息生成部104中的显示信息生成处理、显示信息叠加部105中的显示信息叠加处理，也可以通过摄影机内的微型计算机和摄影机信号处理DSP以及专用的LSI(large-scaleintegration，大规模集成电路)，或者ECU(electronic control unit，电子控制单元)和PC等外部机器上搭载的微型计算机与专用的LSI等而进行。
接着，附图的图2是表示在上述说明了其结构的本发明的实施例1的障碍物检测显示装置中，特别是在显示信息生成部104中执行的显示信息的显示位置运算处理的一例的图。此处，用示例说明使用图像识别检测出拍摄部(摄影机)101拍摄的影像中拍到的作为被摄体的人物，用框包围该被摄体，由此进行强调显示的应用程序。
首先，图2(a)表示拍摄部101拍摄到的影像，图2(b)表示用图像校正部102对拍摄部101拍摄到的影像的进行透镜畸变校正后的影像，图2(c)表示通过图像识别部103在已校正透镜畸变的影像上，叠加包围根据该已校正透镜畸变的影像检测出的作为被摄体的人物的框作为其识别结果的影像，图2(d)表示通过上述图像识别部103，将包围根据已校正透镜畸变的影像检测出的被摄体人物的框，叠加到拍摄部101拍摄的影像上的显示影像。此外，在上述图2(a)～(d)表示的4个影像中，虚线是为了表现透镜畸变的程度而记录的辅助线，此外，符号“×”以及右上的字符串是为了明示影像中代表性的坐标而记录的辅助信息，并不表示实际的影像中的被摄体。
上述图2(a)和图2(b)表示的图像校正部102进行的透镜畸变校正处理，能够通过将拍摄部101拍摄的影像中的坐标(x，y)的像素数据，复制到透镜畸变校正影像(参照图2(b))中的对应的坐标(x’，y’)而执行。其对应关系，如上所述，例如，通过使用预先存储在图像校正部102内的存储器的将透镜畸变模型化的函数式的系数，或者记载其对应关系的查找表，能够容易地获得。此外，还可以通过将拍摄影像中的坐标(x，y)以小数点以下的精度保持，复制像素数据时，基于整数精度的周边像素插值(补充运算)，这样获得像素数据，可以实现校正的高精度化。
此外，在图2(c)中，用图像识别部103检测出根据已校正透镜畸变的影像中使用图像识别处理检测到的作为被摄体的人物，将包围该作为被摄体的人物的框(显示信息)生成为矩形的实线，决定其显示颜色和显示像素(显示位置)，从而，表示将该框(显示信息)叠加显示的画面。进而，在图2(d)中，通过显示信息叠加部104，表示在与显示上述图2(c)表示的包围被摄体人物的框的像素对应的拍摄部101拍摄的影像的各像素上，与上述同样地叠加框而生成的显示影像。即，该图2(d)表示的显示影像中，叠加显示的框也与拍摄部101拍摄到的影像同样地畸变。
其中，在上述显示影像中，将框叠加显示的像素，与图2(a)和图2(b)所示的透镜畸变校正处理不同，可以通过取得与透镜畸变校正影像(参照图2(b))中的坐标(x’，y’)对应的拍摄部101拍摄到的影像中的坐标(x，y)而决定。因此，显示信息生成部103，在已校正透镜的畸变的影像中，决定表示被摄体信息的像素的位置后，基于其对应关系，在拍摄部101拍摄到的影像中的坐标中，转换为叠加显示信息的像素的位置，将该信息作为显示位置信息，输出到显示信息叠加部104即可。其中，此时，与对图像整体的透镜畸变进行校正的情况相比，因为仅对表示被摄体信息的像素进行其坐标的转换处理就足够了，能够以更少的处理量，对因有无畸变而导致的被摄体信息的显示位置中的位置偏离进行校正。此外，上述图2(c)所示的影像，不是实际上在本障碍物检测显示装置中生成的影像，是为了说明而虚拟生成的影像，不一定需要生成该影像。
此处，为了取得与透镜畸变校正影像中的坐标(x’，y’)对应的拍摄部101拍摄到的影像中的坐标(x，y)，通过使用(共用)在图像校正部102为了校正透镜畸变而存储的图像转换信息，能够使存储器共用化。减少存储器的量。或者，作为与图像转换信息不同的其他图像转换信息，例如，可以预先存储用于对被摄体信息的显示位置进行校正的查找表。这样，例如在叠加显示信息时，将原有影像，和叠加的显示信息的影像保持为不同分辨率的图像数据的情况下是有效的。
此外，附图的图3是表示上述显示信息的显示位置运算处理的其他例子的图，此处，使用示例说明通过图像识别检测出摄影机拍摄到的影像中拍到的2个被摄体人物，将这些人物用框(显示信息)包围强调显示的应用程序。
首先，图3(a)表示通过图像识别部103，在已校正透镜畸变的影像上，叠加包围从该影像检测出的作为被摄体的人物的框作为其识别结果的影像的例子，图3(b)表示通过图像识别部103，将包围根据已校正透镜畸变的影像检测出的被摄体人物的框，不进行上述图2说明的显示位置运算处理，直接叠加到拍摄部101拍摄的影像上的显示影像的例子。此外，图3(c)表示通过图像识别部103，将包围根据已校正透镜畸变的影像检测出的作为被摄体的人物的框，对于其所有的显示像素，基于上述图2说明的显示位置运算处理对显示位置进行校正之后，直接叠加在拍摄部101拍摄的影像上的显示影像的例子，进而，图3(d)表示通过图像识别部103，将包围根据已校正透镜畸变的影像中检测出的作为被摄体的人物的框，仅对于该框的顶点的像素，基于上述图2说明的显示位置运算处理，对其显示位置进行校正并且对于其他像素在对显示位置插值(补充运算)之后，直接叠加到拍摄部101拍摄的影像上的显示影像的例子。其中，上述图所示的4个影像中，同样地，虚线是为了表现透镜畸变的程度而记录的辅助线，并不表示实际的影像中的被摄体。
其中，上述4个影像中，在图3(b)所示的影像中，将包围作为被摄体的人物的框不校正其显示位置地直接叠加，因此特别是图像的周边部分拍到的作为被摄体的人物，因畸变的影响，在其间发生位置偏离。因此，可能发生即使用户观看影像，也不能立刻找到作为被摄体的人物，或者，在该框内拍到了其他被摄体的情况下，将其他被摄体误认为是检测被摄体等问题。
另一方面，可知在图3(c)或者图3(d)所示的影像中，包围作为被摄体的人物的框，对其显示位置进行校正并叠加，因此图像的周边部分拍到的作为被摄体的人物，也能够通过包围其周边的框，正确地强调显示。
特别是，在图3(c)中，对于构成叠加到显示影像上的包围框的所有像素，通过上述图2说明的显示位置运算处理进行显示位置的校正之后，进行叠加包围框的处理。因此，原本应由直线构成的包围框的各边以沿着透镜畸变的形式畸变地显示。因此，像这样显示包围作为被摄体的人物的框时，反而存在看起来不自然的可能性，但是，例如，为了进行停车辅助将车辆的行进方向表示为引导线的情况、和检测出白线并强调显示的情况下，优选上述显示信息也沿着透镜畸变弯曲，因此，本显示方法更有效。
另一方面，在图3(d)中，仅对于与显示影像叠加的包围框的顶点的像素，通过使用上述图2说明的显示位置运算处理进行显示位置的校正，对于其他构成包围框的边的各像素，通过基于校正后的顶点的位置进行插值(补充)而运算后叠加。因此，即使在显示影像中，该包围框的各边也维持直线，看起来更加自然。其中，此时，也可以通过对包围框的顶点的像素的转换后的位置，进一步校正使其成为4点成为长方形，使包围框在显示影像中也形成长方形。像这样，通过与应用程序相应地切换显示信息的显示位置的校正方法，能够以适合其用途的、用户看起来自然的方式，对用户提示该被摄体信息。
如上所述，在使用摄影机的影像进行图像识别，将识别结果与影像叠加显示的障碍物检测显示装置中，能够将使用已校正透镜畸变的影像获得的高精度的图像识别结果的信息高速并且无位置偏离地叠加到用广角摄影机拍摄的没有校正透镜畸变的影像上。
[实施例2]
接着，附图的图4是表示本发明的第二实施例的障碍物检测显示装置的整体结构的图。其中，在该图4中，符号201表示第一拍摄部，202表示第二拍摄部，符号203表示立体(stereo)图像识别部，此外，与上述相同的符号，表示与上述实施例1的结构要点相同的结构，此处，省略其说明。即，该第二实施例的障碍物检测显示装置为，对于上述图1所示的第一实施例，将拍摄部替换为两个拍摄部201和202，此外，将图像识别部替换为立体图像识别部203的结构。
在该图4所示的障碍物检测显示装置中，第一拍摄部201和第二拍摄部202，分别与上述相同，由透镜、光圈、快门、CCD或者CMOS等拍摄元件、CDS和AGC、AD转换器、摄影机信号处理DSP、时序发生器等构成，将通过该拍摄元件受光的光学像用光电转换转换为电信号，作为影像信号输出。此处同样，作为上述透镜，例如可以使用鱼眼透镜等所谓的广角透镜。此外，此时，第一拍摄部201输出的影像信号和第二拍摄部202输出的影像信号，此处未图示，但优选其例如使用同步电路，实现曝光时的同步。
其中，在上述叙述了其结构的障碍物检测显示装置中，图像校正部102分别取得第一拍摄部201输出的影像信号和第二拍摄部201输出的影像信号作为图像，基于存储器中存储的图像校正信息，使用图像处理，进行透镜畸变的校正、视角的校正和图像的倾斜的校正等几何校正，并且在此之外，为了进一步高精度地进行立体图像处理，进行摄影机间的视角偏移和光轴偏移的几何校正，这样，将2张校正后的图像作为成对的立体图像输出。
立体图像识别部203，取得图像校正部102输出的几何校正后的立体图像，进行用于噪声除去的低通滤波处理等前处理，使用边缘检测等特征量运算处理、标准化交叉相关与绝对差值(差分绝对值)和等的块匹配、空间扫描(space-sweep)法等各种相关运算处理进行立体图像间的对应点检索取得视差信息的立体匹配处理，进而进行通过排序滤波处理和标定等进行奇点(特异点)除去的后处理，以及使用视差信息计算距离信息的距离计算处理等，这样，将视差信息、距离信息、三维位置信息和表示三维计算测量的可靠性的评价值等三维信息以及基于三维信息检测出的被摄体信息，作为三维识别结果输出。其中，此时，还能够进而通过与单镜头反光式(单眼透镜)的图像处理的识别结果组合，进行例如判定前方车辆是否接近本车的更高维度的识别处理。
显示信息生成部104，基于立体图像识别部0203输出的识别结果的信息，决定通过与影像叠加而对用户提示的显示信息，及其在影像上的显示位置。显示信息叠加部105，将上述显示信息生成部104输出的显示信息，也基于上述显示信息生成部104输出的该显示位置，与第一拍摄部201或者第二拍摄部202输出的影像信号叠加，从而生成显示影像。其中，该生成的显示影像，能够通过输出到此处未图示的监视器上，对于用户，将影像和识别结果一同提示。此外，此时，作为用于显示的影像，例如，在上述2个拍摄部的灵敏度、画质和视角存在不同的情况下，可以选择优先度较高的拍摄部的影像，此外，除此之外的情况下，例如，也可以选择其设置位置距离用户的视点更近的拍摄部，即，优选优先使用适合用户的用途的影像。此外，还可以将来自这2个拍摄部的影像合成来生成影像并使用。
由此，在使用立体摄影机的情况下，对于2台摄影机拍摄的存在透镜畸变且外观自然的影像，也能够将使用已校正透镜畸变后的影像高精度地检测出的图像识别结果，无位置偏离地叠加显示，从而，用户能够没有不协调感地确认识别结果。此外，立体图像识别部203中的图像识别处理，也可以由各摄影机内的微型计算机和摄影机信号处理DSP以及专用的LSI，或者ECU和PC等外部机器上搭载的微型计算机和专用的LSI等进行。此外，此处，说明了使用具有2个拍摄部的立体摄影机的情况，但不限于此，例如，通过具有3个以上的拍摄部的多角摄影机，和将1个拍摄部与反光镜等组合起来模拟地生成2个视点以上的影像的模拟立体摄影机，在移动单镜头反光式(单眼透镜)的摄影机的同时拍摄来生成2个视点以上的影像的动态立体，也能够用与上述相同的结构达成同样的效果。
此外，在上述说明了结构的本发明的实施例2的障碍物检测显示装置中，在上述显示信息生成部104执行的显示信息的显示位置运算处理，与上述图2和图3相同，此处省略其说明。
[实施例3]
接着，附图的图5是表示本发明的第三实施例(实施例3)的障碍物检测显示装置的概要结构的图，在该图5中，符号502表示显示用图像校正部，503表示识别用图像校正部，此外，与上述相同的符号，表示与上述实施例1的结构要点相同的结构，此处省略其说明。
其中，在该图5所示的障碍物检测显示装置中，显示用图像校正部502和识别用图像校正部503，分别取得拍摄部101输出的影像信号作为图像，基于存储器中存储的图像校正信息，进行图像处理，进行透镜畸变的校正、视角的校正和图像的倾斜的校正等几何校正。其中，该几何校正使用上述Zhengyou Zhang使用的方法为代表的现有技术中的摄影机校正方法即可。此外，此时也与上述相同，作为图像校正信息，能够使用使摄影机的光学系统的几何模型化的函数的系数，和直接记录几何校正前后的图像的坐标的对应的查找表。此外，该图像校正信息可以预先使用校正模式等算出并存储在存储器内，或者，还可以基于装置运转中取得的影像而算出，从而适当地更新存储器的数据。
此处，显示用图像校正部502，与上述实施例1不同，不直接使用拍摄部101输出的影像信号，而是为了生成外观自然的影像，以残留一定程度的畸变的方式进行透镜畸变校正。另一方面，识别用图像校正部503，为了在图像识别部102中进行足够高精度的图像识别，进行透镜畸变校正等。该显示用图像校正部502进行的图像校正处理的程度，例如，基于用户的喜好的倾向等，在该产品在工厂出厂前的调整工序等设定即可。与此相对，上述图像识别部103进行的图像校正处理的程度，根据图像识别的要求精度而决定。其中，该图像识别部103，取得识别用图像校正部503输出的几何校正后的图像，通过图像处理进行识别处理，从而，检测出被摄体信息。即，显示用图像校正部502进行的透镜畸变校正的程度，设定为比识别用图像校正部503进行的透镜畸变校正的程度低。
此外，显示信息生成部104，如上所述，基于图像识别部103输出的识别结果的信息，决定通过与影像叠加而对用户提示的显示信息，及其在影像上的显示位置。然后，显示信息叠加部105，通过将显示信息生成部104输出的显示信息，基于其显示位置，叠加到上述显示用图像校正部502输出的影像信号上，生成显示影像。其中，生成的显示影像通过输出到此处未图示的监视器部等，对于用户同时提示影像和识别结果，这一点与上述相同。由此，通过将使用高精度地已校正透镜畸变的影像高精度地检测出的图像识别结果无位置偏离地与将透镜畸变校正为外观看起来自然的程度的影像上并显示，用户能够没有不协调感地确认识别结果。此外，显示用图像校正部502以及识别用图像校正部503的图像校正处理，如上所述，也与图像识别部103的图像识别处理、显示信息生成部104的显示信息生成处理、显示信息叠加部105的显示信息叠加处理等相同，通过摄影机内的微型计算机、摄影机信号处理DSP和专用的LSI，或者ECU和PC等外部机器上搭载的微型计算机和专用的LSI等进行。
接着，附图的图6是对上述说明了该结构的实施例3的障碍物检测显示装置中显示信息的显示位置运算处理的一例进行说明的图，其中，该显示位置运算处理，在显示信息生成部104中执行。
首先，图6的左部，表示拍摄部101拍摄到的影像(“拍摄影像”)，图的右上部表示将上述拍摄部101拍摄到的影像的透镜畸变，用上述识别用图像校正部502校正后的影像(“识别用畸变校正影像”)，此外，图的右下部表示将上述拍摄部101拍摄的影像的透镜畸变，用上述显示用图像校正部503校正后的影像(“显示用畸变校正影像”)。其中，在该图6所示的3个影像中，该虚线也是为了表现透镜畸变的程度而记录的辅助线，此外，符号“×”以及右上的字符串是为了明示影像中代表性的坐标而记录的辅助信息，并不是实际的影像中的被摄体。
在该图6中，从“拍摄影像”(图左)到“识别用畸变校正影像”(图的右上)的上述识别用图像校正部503进行的透镜畸变校正处理，能够通过将拍摄部101拍摄到的影像中的坐标(x，y)的像素数据，复制到识别用透镜畸变校正影像中的对应的坐标(x’，y’)的像素而执行。此外，从“拍摄影像”(图左)到“显示用畸变校正影像”(图的右下)的上述显示用图像校正部502进行的透镜畸变校正处理，同样也能够通过将拍摄部101拍摄到的影像中的坐标(x，y)的像素数据，复制到显示用透镜畸变校正影像中的对应的坐标(x”，y”)的像素而执行。其中，上述对应关系，如上所述，作为使透镜畸变模型化的函数式的系数、或者记载其对应关系的查找表，分别存储在显示用图像校正部502和识别用图像校正部503内的存储器中即可。此外，也可以通过将拍摄影像中的坐标(x，y)以小数点以下的精度保持，复制像素数据时基于整数精度的周边像素进行插值(补充运算)并获得像素数据，实现校正的高精度化。
此时，在“显示用透镜畸变校正影像”(图的右下)中，叠加被摄体信息的像素，能够通过取得与该“显示用透镜畸变校正影像”中的坐标(x”，y”)对应的“识别用透镜畸变校正影像”(图的右上)中的坐标(x’，y’)而决定。因此，显示信息生成部104，在识别用图像校正部503中已校正透镜畸变的影像上，决定显示被摄体信息的像素的位置之后，基于该对应关系，在显示用图像校正部502中已校正透镜畸变的影像的坐标上，转换为叠加显示信息的像素的位置，将该位置信息作为显示位置信息，输出到上述显示信息叠加部105即可。此时，与对图像整体的透镜畸变进行校正的情况相比，仅对于显示被摄体信息的像素进行该坐标转换处理即可，因此能够以更少的处理量进行因有无畸变而导致被摄体信息的显示位置的位置偏离校正。
此处，为了取得与“识别用透镜畸变校正影像”(图的右上)中的坐标(x’，y’)对应的“显示用透镜畸变校正影像”(图的右下)中的坐标(x”，y”)，通过组合使用识别用图像校正部503中为了校正透镜畸变而存储的图像转换信息，和显示用图像校正部0502中为了校正透镜畸变而存储的图像转换信息，能够实现存储器的共用化，减少存储器的量。此外，作为与上述不同的图像转换信息，例如可以预先存储用于从被摄体信息的显示位置(x”，y”)校正为(x’，y’)的查找表。由此，仅参照一组坐标的对应即可，能够实现处理的高速化。
这样，根据本实施例，在使用摄影机的影像进行图像识别，将该识别结果与影像叠加显示的物体识别装置中，能够将使用高精度地已校正透镜畸变的影像获得的高精度的图像识别结果的信息，高速并且无位置偏离地叠加在用广角的摄影机拍摄、将透镜畸变校正为外观上自然的程度的影像上。
此外，本发明不限于上述实施例，还包括各种畸变例。例如，上述实施例是为了便于理解地说明本发明而详细说明的，并不限定于具备说明的所有结构。此外，能够将某个实施例的结构的一部分替换为其他实施例的结构，此外，还能够在某个实施例的结构中添加其他实施例的结构。
产业上的利用可能性
本发明例如能够广泛应用于民用、监视用、车载用或者业务用的数码视频摄影机(digital video camera)、静态相机(still camera)或者上述结构的立体摄影机(立体照相机)等。
符号说明
101……拍摄部
102……图像校正部
103……图像识别部
104……显示信息生成部
105……显示信息叠加部
201……第一拍摄部
202……第二拍摄部
203……立体图像识别部
502……显示用图像校正部
503……识别用图像校正部

Claims (9)

1.一种障碍物检测显示装置，其特征在于，包括：
具备透镜的拍摄单元；
图像校正单元，对该拍摄单元输出的存在畸变的影像信号进行几何校正而输出；
图像识别单元，对该图像校正单元输出的已校正畸变的影像信号进行图像处理，检测出障碍物及其被摄体信息；
显示信息生成部，基于该图像识别单元检测出的被摄体信息，决定并输出包括框的显示信息和该显示信息在存在畸变的影像信号中的显示位置，其中该框与所述拍摄单元输出的存在畸变的影像信号叠加而用于对用户提示的强调显示；和
显示信息叠加部，其将该显示信息生成部输出的显示信息，基于所述显示信息生成部输出的显示位置，与所述拍摄单元输出的存在畸变的影像信号叠加而输出，其中
所述显示信息生成部，在决定包括与所述拍摄单元输出的存在畸变的影像信号叠加的所述用于强调显示的框的显示信息的显示位置时，考虑所述障碍物在所述图像校正单元输出的已校正畸变的影像信号与所述拍摄单元输出的存在畸变的影像信号之间的位置偏离，对包括所述用于强调显示的框的显示信息的显示位置进行校正运算。
2.如权利要求1所述的障碍物检测显示装置，其特征在于：
设置有多个所述具备透镜的拍摄单元。
3.如权利要求1所述的障碍物检测显示装置，其特征在于：
所述图像校正单元包括：对该拍摄单元输出的存在畸变的影像信号进行几何校正而作为显示用图像输出的显示用图像校正单元；和对该拍摄单元输出的存在畸变的影像信号，以比所述显示用图像校正单元更高的程度进行几何校正而作为识别用图像输出的识别用图像校正单元，
所述图像识别单元对来自该识别用图像校正单元的识别用图像进行图像处理，检测出障碍物及其被摄体信息，
所述显示信息叠加部，将所述显示信息生成部输出的包括用于强调显示的框的显示信息，叠加在来自该显示用图像校正单元的显示用图像上而输出。
4.如权利要求1所述的障碍物检测显示装置，其特征在于：
在所述图像校正单元中对所述拍摄单元输出的存在畸变的影像信号进行几何校正时使用的校正信息，与在所述显示信息生成部中对所述显示信息的显示位置进行校正运算时使用的校正信息，是相同的校正信息。
5.如权利要求1所述的障碍物检测显示装置，其特征在于：
在所述图像校正单元中对所述拍摄单元输出的存在畸变的影像信号通过图像处理进行几何校正时使用的校正信息，与在所述显示信息生成部中对显示信息的显示位置进行校正运算时使用的校正信息，是不同的校正信息。
6.如权利要求4所述的障碍物检测显示装置，其特征在于：
所述显示信息生成部对于包括所述用于强调显示的框的显示信息的显示位置进行校正运算时，对叠加的所有像素的显示位置，基于所述校正信息进行校正运算。
7.如权利要求5所述的障碍物检测显示装置，其特征在于：
所述显示信息生成部对包括用于强调显示的框的显示信息的显示位置进行校正运算时，对于叠加的像素中代表性的像素的显示位置，基于所述校正信息进行校正运算，对于其他像素用插值决定显示位置。
8.一种障碍物检测显示装置，其特征在于，包括：
具备透镜的第一拍摄单元；
具备透镜的第二拍摄单元；
图像校正单元，对该第一拍摄单元输出的存在畸变的影像信号，和该第二拍摄单元输出的存在畸变的影像信号分别进行几何校正，作为立体影像信号输出；
立体图像识别单元，对该图像校正单元输出的已校正畸变的立体影像信号进行图像处理，检测出障碍物和该障碍物的三维被摄体信息；
显示信息生成部，基于该立体图像识别单元检测出的三维被摄体信息，决定并输出包括与所述第一拍摄单元输出的存在畸变的影像信号或者所述第二拍摄单元输出的存在畸变的影像信号叠加而用于对用户提示的强调显示的框的显示信息，和该显示信息在存在畸变的影像信号中的显示位置；和
显示信息叠加部，将该显示信息生成部输出的显示信息，基于所述显示信息生成部输出的显示位置，与所述第一拍摄单元输出的存在畸变的影像信号，或者所述第二拍摄单元输出的存在畸变的影像信号叠加而输出，其中
所述显示信息生成部，在决定包括与所述第一拍摄单元输出的存在畸变的影像信号或者所述第二拍摄单元输出的存在畸变的影像信号叠加的所述用于强调显示的框的显示信息的显示位置时，考虑所述障碍物在所述图像校正单元输出的已校正畸变的影像信号与所述第一拍摄单元输出的存在畸变的影像信号或所述第二拍摄单元输出的存在畸变的影像信号之间的位置偏离，对显示位置进行校正运算。
9.一种障碍物检测显示装置，其特征在于，包括：
具备透镜的拍摄单元；
显示用图像校正单元，对该拍摄单元输出的存在畸变的影像信号进行几何校正而输出显示用图像；
识别用图像校正单元，对该拍摄单元输出的存在畸变的影像信号，以比所述显示用图像校正单元更高的程度进行几何校正而输出识别用图像；
图像识别单元，对该识别用图像校正单元输出的已校正畸变的影像信号进行图像处理，检测出障碍物及其被摄体信息；
显示信息生成部，基于该图像识别单元检测出的被摄体信息，决定并输出包括与所述显示用图像校正单元输出的已校正畸变的影像信号叠加而用于对用户提示的强调显示的框的显示信息，和包括用于该强调显示的框的显示信息在显示用图像中的显示位置；和
显示信息叠加部，将包括该显示信息生成部输出的用于强调显示的框的显示信息，基于所述显示信息生成部输出的显示位置，与所述显示用图像校正单元输出的已校正畸变的显示图像叠加而输出，其中
所述显示信息生成部，在决定包括与所述显示用图像校正单元输出的已校正畸变的影像信号叠加的所述用于强调显示的框的显示信息的显示位置时，考虑所述障碍物在所述识别用图像校正单元输出的已校正畸变的识别用图像与所述显示用图像校正单元输出的已校正畸变的显示画面之间的位置偏离，对所述显示信息的显示位置进行校正运算。
CN2010800036963A 2009-01-20 2010-01-19 障碍物检测显示装置 Pending CN102265599A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009009806A JP5049300B2 (ja) 2009-01-20 2009-01-20 障害物検出表示装置
JP2009-009806 2009-01-20
PCT/JP2010/000263 WO2010084731A1 (ja) 2009-01-20 2010-01-19 障害物検出表示装置

Publications (1)

Publication Number Publication Date
CN102265599A true CN102265599A (zh) 2011-11-30

Family

ID=42355789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800036963A Pending CN102265599A (zh) 2009-01-20 2010-01-19 障碍物检测显示装置

Country Status (5)

Country Link
US (1) US8792039B2 (zh)
EP (1) EP2381673A4 (zh)
JP (1) JP5049300B2 (zh)
CN (1) CN102265599A (zh)
WO (1) WO2010084731A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105049673A (zh) * 2014-04-28 2015-11-11 佳能株式会社 图像处理装置及图像处理方法
CN109819675A (zh) * 2017-09-12 2019-05-28 松下知识产权经营株式会社 图像生成装置以及图像生成方法
CN110603572A (zh) * 2017-05-10 2019-12-20 三菱电机株式会社 电梯的外观设计提示装置及外观设计提示程序
CN111345036A (zh) * 2017-10-26 2020-06-26 京瓷株式会社 图像处理装置、成像装置、驾驶辅助装置、移动体和图像处理方法
CN115280767A (zh) * 2020-03-23 2022-11-01 株式会社理光 信息处理装置和信息处理方法

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8081214B2 (en) 2004-10-12 2011-12-20 Enforcement Video, Llc Method of and system for mobile surveillance and event recording
CA2714362A1 (en) 2008-01-29 2009-08-06 Enforcement Video, Llc Omnidirectional camera for use in police car event recording
WO2009102480A2 (en) 2008-02-15 2009-08-20 Enforcement Video, Llc System and method for multi-resolution storage of images
JP4788798B2 (ja) * 2009-04-23 2011-10-05 トヨタ自動車株式会社 物体検出装置
JP2011060116A (ja) * 2009-09-11 2011-03-24 Fujifilm Corp 画像処理装置
KR101599885B1 (ko) * 2009-09-29 2016-03-04 삼성전자주식회사 디지털 촬영 장치 및 촬영 방법
US8736680B1 (en) * 2010-05-18 2014-05-27 Enforcement Video, Llc Method and system for split-screen video display
JP2012057996A (ja) * 2010-09-07 2012-03-22 Mitsutoyo Corp 画像測定装置及び画像測定方法
US20120098977A1 (en) * 2010-10-20 2012-04-26 Grant Edward Striemer Article Utilization
JP5914813B2 (ja) 2011-01-06 2016-05-11 パナソニックＩｐマネジメント株式会社 カメラ、歪み補正装置、及び歪み補正方法
US9105090B2 (en) * 2011-07-13 2015-08-11 Analog Devices, Inc. Wide-angle lens image correction
WO2013024540A1 (ja) * 2011-08-18 2013-02-21 Ｎｅｃディスプレイソリューションズ株式会社 画像処理装置および画像処理方法
FR2982396B1 (fr) * 2011-11-03 2014-05-30 Imra Europe Sas Procede et dispositif pour optimiser la quantite d'information contenue dans une image traitee
JP5924020B2 (ja) * 2012-02-16 2016-05-25 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
JP6149379B2 (ja) * 2012-10-25 2017-06-21 アイシン精機株式会社 画像表示制御装置
JP6136248B2 (ja) * 2012-12-25 2017-05-31 株式会社リコー 画像処理装置、画像処理方法、及びプログラム
US9886636B2 (en) * 2013-05-23 2018-02-06 GM Global Technology Operations LLC Enhanced top-down view generation in a front curb viewing system
JP5786900B2 (ja) 2013-06-13 2015-09-30 横河電機株式会社 情報表示装置及び情報表示方法
CN103661106B (zh) * 2013-11-21 2017-05-24 惠州市德赛西威汽车电子股份有限公司 泊车辅助装置
US9807372B2 (en) * 2014-02-12 2017-10-31 Htc Corporation Focused image generation single depth information from multiple images from multiple sensors
US10318824B2 (en) * 2014-07-23 2019-06-11 GM Global Technology Operations LLC Algorithm to extend detecting range for AVM stop line detection
JP6552255B2 (ja) * 2015-04-23 2019-07-31 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、及び、コンピュータプログラム
WO2016187235A1 (en) 2015-05-20 2016-11-24 Gopro, Inc. Virtual lens simulation for video and photo cropping
JP6477246B2 (ja) * 2015-05-22 2019-03-06 日産自動車株式会社 路面標示検出装置及び路面標示検出方法
CN105025209B (zh) * 2015-06-30 2018-03-02 广东欧珀移动通信有限公司 一种图像预览方法和装置
CN105007409B (zh) * 2015-06-30 2018-03-27 广东欧珀移动通信有限公司 一种预览图像显示方法和装置
US10341605B1 (en) 2016-04-07 2019-07-02 WatchGuard, Inc. Systems and methods for multiple-resolution storage of media streams
US10368067B2 (en) * 2016-06-15 2019-07-30 Mediatek Inc. Method and apparatus for selective filtering of cubic-face frames
US10277886B2 (en) 2016-07-19 2019-04-30 Gopro, Inc. Mapping of spherical image data into rectangular faces for transport and decoding across networks
WO2018025333A1 (ja) * 2016-08-02 2018-02-08 富士機械製造株式会社 ヘッド分離型カメラ及び作業機
US10558881B2 (en) * 2016-08-24 2020-02-11 Electronics And Telecommunications Research Institute Parallax minimization stitching method and apparatus using control points in overlapping region
JP2018036444A (ja) * 2016-08-31 2018-03-08 アイシン精機株式会社 表示制御装置
US10839523B2 (en) * 2018-05-16 2020-11-17 Otis Elevator Company Position-based adjustment to display content
JP6937722B2 (ja) * 2018-05-18 2021-09-22 株式会社 日立産業制御ソリューションズ 画像処理装置および画像処理方法
US10956782B2 (en) * 2018-11-16 2021-03-23 Qualcomm Incorporated Training for camera lens distortion
JP7279526B2 (ja) * 2019-05-31 2023-05-23 富士通株式会社 解析プログラム、解析装置及び解析方法
US11699216B2 (en) * 2020-03-09 2023-07-11 Nec Corporation Automatic fisheye camera calibration for video analytics
CN113470038B (zh) * 2020-03-31 2024-07-16 京东方科技集团股份有限公司 视频切割方法、装置、电子设备及计算机可读存储介质
JP2022155102A (ja) * 2021-03-30 2022-10-13 本田技研工業株式会社 移動体の制御装置、制御方法及びプログラム
US20230007182A1 (en) * 2021-07-02 2023-01-05 Genesys Logic, Inc. Image controller, image processing system and image correcting method
JP7467402B2 (ja) * 2021-09-24 2024-04-15 キヤノン株式会社 画像処理システム、移動装置、画像処理方法、およびコンピュータプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007172540A (ja) * 2005-12-26 2007-07-05 Sumitomo Electric Ind Ltd 移動体判定システム、移動体判定方法、及びコンピュータプログラム
JP2008116663A (ja) * 2006-11-02 2008-05-22 Canon Inc 撮像装置
CN101305596A (zh) * 2005-11-11 2008-11-12 索尼株式会社 图像处理设备、图像处理方法及其程序以及包括该程序的记录介质、成像设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101329470B1 (ko) * 2005-11-11 2013-11-13 소니 주식회사 화상 처리 장치, 화상 처리 방법 및 그 프로그램을 기록한 기록 매체
JP5020894B2 (ja) * 2008-06-10 2012-09-05 キヤノン株式会社 画像処理装置、制御方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101305596A (zh) * 2005-11-11 2008-11-12 索尼株式会社 图像处理设备、图像处理方法及其程序以及包括该程序的记录介质、成像设备
JP2007172540A (ja) * 2005-12-26 2007-07-05 Sumitomo Electric Ind Ltd 移動体判定システム、移動体判定方法、及びコンピュータプログラム
JP2008116663A (ja) * 2006-11-02 2008-05-22 Canon Inc 撮像装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105049673A (zh) * 2014-04-28 2015-11-11 佳能株式会社 图像处理装置及图像处理方法
CN105049673B (zh) * 2014-04-28 2019-01-18 佳能株式会社 图像处理装置及图像处理方法
CN110603572A (zh) * 2017-05-10 2019-12-20 三菱电机株式会社 电梯的外观设计提示装置及外观设计提示程序
CN109819675A (zh) * 2017-09-12 2019-05-28 松下知识产权经营株式会社 图像生成装置以及图像生成方法
CN109819675B (zh) * 2017-09-12 2023-08-25 松下知识产权经营株式会社 图像生成装置以及图像生成方法
CN111345036A (zh) * 2017-10-26 2020-06-26 京瓷株式会社 图像处理装置、成像装置、驾驶辅助装置、移动体和图像处理方法
US11377027B2 (en) 2017-10-26 2022-07-05 Kyocera Corporation Image processing apparatus, imaging apparatus, driving assistance apparatus, mobile body, and image processing method
CN115280767A (zh) * 2020-03-23 2022-11-01 株式会社理光 信息处理装置和信息处理方法
US12118259B2 (en) 2020-03-23 2024-10-15 Ricoh Company, Ltd. Information processing apparatus and information processing method for adjusting display based on presence or absence of an object in a space

Also Published As

Publication number Publication date
US8792039B2 (en) 2014-07-29
JP5049300B2 (ja) 2012-10-17
WO2010084731A1 (ja) 2010-07-29
JP2010171503A (ja) 2010-08-05
US20110249153A1 (en) 2011-10-13
EP2381673A1 (en) 2011-10-26
EP2381673A4 (en) 2013-01-16

Similar Documents

Publication Publication Date Title
CN102265599A (zh) 障碍物检测显示装置
JP6663040B2 (ja) 奥行き情報取得方法および装置、ならびに画像取得デバイス
US9094672B2 (en) Stereo picture generating device, and stereo picture generating method
JP5179398B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
CN109712192B (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
KR102452564B1 (ko) 광학식 이미지 안정화 움직임을 추정하기 위한 장치 및 방법
CN113196007B (zh) 一种应用于车辆的相机系统
WO2019171984A1 (ja) 信号処理装置、信号処理方法、及び、プログラム
KR102452575B1 (ko) 광학식 이미지 안정화 움직임에 의한 이미지의 변화를 보상하기 위한 장치 및 방법
JP4974765B2 (ja) 画像処理方法及び装置
JP2002071309A (ja) ３次元画像検出装置
WO2020183312A1 (en) System and method for dynamic stereoscopic calibration
CN108260360B (zh) 场景深度计算方法、装置及终端
EP4235574A1 (en) Measuring device, moving device, measuring method, and storage medium
CN111260538B (zh) 基于长基线双目鱼眼相机的定位及车载终端
JP6257260B2 (ja) 撮像装置及びその制御方法
CN115409707A (zh) 一种基于全景视频拼接的图像融合方法及系统
CN110068308B (zh) 一种基于多目相机的测距方法及测距系统
US20080252746A1 (en) Method and apparatus for a hybrid wide area tracking system
JP7207889B2 (ja) 測距装置および車載カメラシステム
JP2020165968A (ja) 校正方法、校正装置及びプログラム
JP7492599B2 (ja) 車載カメラ装置
JP2018205008A (ja) カメラキャリブレーション装置およびカメラキャリブレーション方法
JP2006349554A (ja) 測距機能付き車載カメラシステム
CN116437207A (zh) 光学防抖方法和装置、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20111130