JP2010183294A - Image processing apparatus, method of processing image, and program - Google Patents

Image processing apparatus, method of processing image, and program Download PDF

Info

Publication number
JP2010183294A
JP2010183294A JP2009024232A JP2009024232A JP2010183294A JP 2010183294 A JP2010183294 A JP 2010183294A JP 2009024232 A JP2009024232 A JP 2009024232A JP 2009024232 A JP2009024232 A JP 2009024232A JP 2010183294 A JP2010183294 A JP 2010183294A
Authority
JP
Japan
Prior art keywords
image
vehicle
captured image
predetermined
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009024232A
Other languages
Japanese (ja)
Other versions
JP5208790B2 (en
Inventor
Yoshihiro Nakamura
吉宏 中村
Nobukazu Nobutoki
宜和 信時
Hideki Kobaba
英樹 小馬場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Mazda Motor Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2009024232A priority Critical patent/JP5208790B2/en
Publication of JP2010183294A publication Critical patent/JP2010183294A/en
Application granted granted Critical
Publication of JP5208790B2 publication Critical patent/JP5208790B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processing apparatus that generates an image signal for properly displaying an image around an vehicle. <P>SOLUTION: An image processing apparatus 30 has: a storage 110 that stores predetermined spacial position definition information that defines a region of a predetermined space on an imaged image with a reference of a position of a part of a vehicle in the imaged image obtained by imaging an imaging space including the predetermined space that includes the part of the vehicle; a specifying part 120 that specifies the position of the part of the vehicle on the imaged image; an extracting part 130 that extracts an image part indicating the predetermined space from the imaged image based on the predetermined spacial position definition information stored in the storage 110 and the position of the part of the vehicle on the imaged image predetermined by the specifying part 120; and a generating part 140 that generates an image signal for displaying the image part extracted by the extracting part 130 on a display apparatus 50. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、車両の周囲の画像を適切に表示させるための画像信号を生成する画像処理装置、画像処理方法ならびに当該画像処理装置をコンピュータ上で実現するためのプログラムに関する。   The present invention relates to an image processing apparatus, an image processing method, and a program for realizing the image processing apparatus on a computer, which generate an image signal for appropriately displaying an image around a vehicle.

近年、車載カメラで撮像された車両の周囲の画像を車室内に設置されたモニターに表示することにより、運転者の適切な運転操作を促す技術が知られている。このような用途で用いられる車載カメラは、車両の周囲の所望の領域（空間）を適切に表示できるように、一般的には、車体の正確な位置に正確な角度で取り付けられる。   2. Description of the Related Art In recent years, a technique for prompting a driver to perform an appropriate driving operation by displaying an image around a vehicle captured by an in-vehicle camera on a monitor installed in a vehicle interior is known. In-vehicle cameras used in such applications are generally attached to an accurate position of the vehicle body at an accurate angle so that a desired region (space) around the vehicle can be appropriately displayed.

しかしながら、車載カメラを車体に取り付ける際の取り付けミスや経年劣化により、取り付け位置や取り付け角度がずれてしまう場合がある。このような問題を解決するための技術は、例えば、特許文献１乃至４に開示されている。   However, the attachment position and the attachment angle may be shifted due to an attachment mistake or aging deterioration when attaching the in-vehicle camera to the vehicle body. Technologies for solving such problems are disclosed in, for example, Patent Documents 1 to 4.

特許文献１には、第１行列演算部と、校正点特定部と、第２行列演算部と、第３行列演算部と、成否判定部と、を備え、回転行列を求めることによって、車両に取り付けられた車載カメラを校正し、その成否を判定する車載カメラの校正装置が開示されている。ここで、第１行列演算部は、少なくとも異なる２箇所に配置された校正指標の校正点の基準座標系における座標に基づいて第１行列を演算する。また、校正点特定部は、車載カメラの撮影画像から校正点を特定する。そして、第２行列演算部は、車載カメラの撮影画像上の校正点の座標に基づいて第２行列を演算する。また、第３行列演算部は、第１行列と第２行列とに基づいて車載カメラの回転状態を示す回転行列を演算する。そして、成否判定部は、車載カメラの撮影画像に基づいて車載カメラの校正の成否を判定する。   Patent Document 1 includes a first matrix calculation unit, a calibration point specifying unit, a second matrix calculation unit, a third matrix calculation unit, and a success / failure determination unit. An in-vehicle camera calibration device that calibrates an attached in-vehicle camera and determines success or failure is disclosed. Here, the first matrix calculation unit calculates the first matrix based on the coordinates in the reference coordinate system of the calibration points of the calibration indices arranged at least at two different locations. Further, the calibration point specifying unit specifies the calibration point from the captured image of the in-vehicle camera. And a 2nd matrix calculating part calculates a 2nd matrix based on the coordinate of the calibration point on the picked-up image of a vehicle-mounted camera. The third matrix calculation unit calculates a rotation matrix indicating the rotation state of the in-vehicle camera based on the first matrix and the second matrix. And a success / failure determination part determines the success or failure of the calibration of a vehicle-mounted camera based on the picked-up image of a vehicle-mounted camera.

また、特許文献２には、画像処理装置を構成するメモリのメモリ容量を削減すると共に、ビデオカメラに対する光軸ズレ補正を行うことができる画像処理装置が開示されている。特許文献２に開示された画像処理装置は、ビデオカメラと、その撮像信号を格納するメモリと、読み出した撮像信号に対して所定の処理を行うＣＰＵとを備える。特許文献２に開示された画像処理装置は、ＣＰＵからの選択指令に応じて、撮像信号のうち所定の部分のみを選択し、選択撮像信号のみをメモリに書き込む選択書き込み手段をさらに備えている。   Patent Document 2 discloses an image processing apparatus capable of reducing the memory capacity of a memory constituting the image processing apparatus and correcting optical axis deviation with respect to the video camera. The image processing apparatus disclosed in Patent Literature 2 includes a video camera, a memory that stores the image pickup signal, and a CPU that performs predetermined processing on the read image pickup signal. The image processing apparatus disclosed in Patent Document 2 further includes a selection writing unit that selects only a predetermined portion of the imaging signal in response to a selection command from the CPU and writes only the selected imaging signal in the memory.

さらに、特許文献３には、車載カメラの光軸ずれを検出できる車載カメラの光軸ずれ検出装置が開示されている。特許文献３に開示された車載カメラの光軸ずれ検出装置は、以下に示す手法により車載カメラの光軸のずれを検出する。すなわち、車載カメラは、リヤバンパー等の車体の一部が視野に入るように車両に取り付けられる。ここで、この車載カメラにより撮像される画像内においてリヤバンパー等が本来観測されるべき位置は、テンプレート画像としてデータＲＯＭに予め格納されている。車載カメラの光軸ずれを検出する際は、車載カメラにより撮像された実画像内におけるリヤバンパー等の位置が、テンプレート画像内におけるリヤバンパー等の位置と比較される。そして、所定値以上の位置ずれが生じている場合には、車載カメラに光軸ずれが生じているものと判定される。   Further, Patent Literature 3 discloses an optical axis deviation detection device for an in-vehicle camera that can detect an optical axis deviation of the in-vehicle camera. The on-vehicle camera optical axis deviation detection device disclosed in Patent Literature 3 detects the optical axis deviation of the on-vehicle camera by the following method. That is, the in-vehicle camera is attached to the vehicle so that a part of the vehicle body such as a rear bumper enters the field of view. Here, the position where the rear bumper or the like should be observed in the image captured by the in-vehicle camera is stored in advance in the data ROM as a template image. When detecting the optical axis deviation of the vehicle-mounted camera, the position of the rear bumper or the like in the actual image captured by the vehicle-mounted camera is compared with the position of the rear bumper or the like in the template image. And when the position shift more than a predetermined value has arisen, it determines with the optical axis shift having arisen in the vehicle-mounted camera.

また、特許文献４には、車両に搭載された車載カメラのピントが合わない場合に乗員に速やかに警告を発し得る車載カメラ点検装置、ならびに、車載カメラのずれや汚れを乗員に確実に判別せしめる車載カメラ点検装置が開示されている。特許文献４に開示された車載カメラ点検装置は、以下に示すように構成されている。すなわち、撮像部により撮像された撮像画像について、ピント判定部がピント判定を行う。ピント判定は、エッジ抽出により行う。ここで、記憶部には基準映像が記憶されている。そして、基準映像と撮像映像とが照合されることによって撮像部の設置姿勢のずれが判別される。また、車両が移動しているにも拘わらず無変化領域が検出された場合には、撮像部のレンズ表面に付着した汚れがあると判別される。ピントが合っていない場合、または設置姿勢がずれている場合、またはレンズ表面に汚れが付着されていると判別された場合には、警告部から乗員に対して警告を発する。   Further, Patent Document 4 discloses an in-vehicle camera inspection device that can promptly give a warning to an occupant when the in-vehicle camera mounted on the vehicle is out of focus, and allows the occupant to reliably discriminate the displacement and dirt of the in-vehicle camera. An in-vehicle camera inspection device is disclosed. The in-vehicle camera inspection device disclosed in Patent Document 4 is configured as follows. That is, the focus determination unit performs focus determination on the captured image captured by the imaging unit. Focus determination is performed by edge extraction. Here, the reference image is stored in the storage unit. Then, the reference image and the captured image are collated to determine the deviation of the installation posture of the imaging unit. In addition, when a non-change area is detected even though the vehicle is moving, it is determined that there is dirt attached to the lens surface of the imaging unit. When it is out of focus, when the installation posture is deviated, or when it is determined that dirt is attached to the lens surface, the warning unit issues a warning to the occupant.

特開２００８−１３１２５０号公報JP 2008-131250 A 特開２００２−９４９７７号公報JP 2002-94977 A 特開２００４−１６５８号公報JP 2004-1658 A 特開２００７−３８７７３号公報JP 2007-38773 A

しかしながら、特許文献１に開示された車載カメラの校正装置は、車載カメラを校正する装置である。このため、車載カメラ自身が車載カメラを校正するための特別な機構等を備えている必要があった。また、特許文献２に開示された画像処理装置は、光軸ズレ補正を行うことができる画像処理装置であり、画像処理装置自身が光軸ズレ補正を行うための機構等を備えている必要があった。また、特許文献３に開示された車載カメラの光軸ずれ検出装置は、車載カメラの光軸ずれを検出するだけの装置である。さらに、特許文献４に開示された車載カメラ点検装置は、車載カメラのピントのずれや車載カメラの設置姿勢のずれやレンズの汚れなどがあるか否かを判別し、これらがあった場合には乗員に警告を発するだけの装置である。このように、特許文献１乃至４に開示された装置はいずれも、装置自体に車載カメラを校正するための特別な機構等を設けずに、車両の周囲の画像を適切に表示できる装置ではなかった。従って、簡単な構成で、車両の周囲の画像を適切に表示する技術が強く望まれていた。   However, the in-vehicle camera calibration device disclosed in Patent Document 1 is a device for calibrating the in-vehicle camera. For this reason, the vehicle-mounted camera itself needs to have a special mechanism for calibrating the vehicle-mounted camera. The image processing apparatus disclosed in Patent Document 2 is an image processing apparatus that can perform optical axis misalignment correction, and the image processing apparatus itself needs to include a mechanism for performing optical axis misalignment correction. there were. The on-vehicle camera optical axis deviation detection device disclosed in Patent Document 3 is a device that only detects the optical axis deviation of the on-vehicle camera. Furthermore, the in-vehicle camera inspection device disclosed in Patent Document 4 determines whether or not there is a deviation in the focus of the in-vehicle camera, a deviation in the installation posture of the in-vehicle camera, dirt on the lens, and the like. It is a device that only issues warnings to passengers. As described above, none of the apparatuses disclosed in Patent Documents 1 to 4 is an apparatus that can appropriately display an image around the vehicle without providing a special mechanism for calibrating the in-vehicle camera in the apparatus itself. It was. Therefore, there has been a strong demand for a technique for appropriately displaying an image around the vehicle with a simple configuration.

本発明は、上記問題に鑑みてなされたものであり、車両の周囲の画像を適切に表示させるための画像信号を生成する画像処理装置、画像処理方法ならびに当該画像処理装置をコンピュータ上で実現するためのプログラムを提供することを目的とする。   The present invention has been made in view of the above problems, and realizes an image processing apparatus, an image processing method, and the image processing apparatus for generating an image signal for appropriately displaying an image around a vehicle on a computer. It aims at providing the program for.

上記目的を達成するために、本発明の第１の観点に係る画像処理装置は、
車両の一部を含んだ所定の空間を含む撮像空間を撮像して得られる撮像画像上における前記車両の一部の位置を基準とした前記撮像画像上における前記所定の空間の領域を定義する所定空間位置定義情報を記憶する記憶手段と、
前記撮像画像上における前記車両の一部の位置を特定する特定手段と、
前記記憶手段に記憶されている前記所定空間位置定義情報と前記特定手段により特定された前記撮像画像上における前記車両の一部の位置とに基づいて、前記撮像画像から前記所定の空間を示す画像部分を抽出する抽出手段と、
前記抽出手段により抽出された画像部分を表示装置に表示させるための画像信号を生成する生成手段と、を備える、
ことを特徴とする。 In order to achieve the above object, an image processing apparatus according to the first aspect of the present invention provides:
A predetermined that defines an area of the predetermined space on the captured image based on a position of the part of the vehicle on a captured image obtained by capturing an imaging space including a predetermined space including a part of the vehicle Storage means for storing spatial position definition information;
A specifying means for specifying a position of a part of the vehicle on the captured image;
An image indicating the predetermined space from the captured image based on the predetermined space position definition information stored in the storage unit and a position of a part of the vehicle on the captured image specified by the specifying unit. Extraction means for extracting the part;
Generating means for generating an image signal for causing the display device to display the image portion extracted by the extracting means,
It is characterized by that.

前記撮像画像は、前記車両に設置された撮像装置が前記車両の移動中に前記撮像空間を撮像して得られた動画像であり、
前記特定手段は、前記動画像上における画素の輝度の変化が小さい画像部分の位置を前記車両の一部の位置として特定してもよい。 The captured image is a moving image obtained by imaging the imaging space while an imaging device installed in the vehicle moves the vehicle,
The specifying unit may specify a position of an image portion where a change in luminance of a pixel on the moving image is small as a position of a part of the vehicle.

前記生成手段は、前記抽出手段により抽出された画像部分を前記表示装置の画面上の一定の位置に表示させるとともに当該画面上の一定の位置にガイド線を重畳表示させるための画像信号を生成してもよい。   The generating unit generates an image signal for displaying the image portion extracted by the extracting unit at a certain position on the screen of the display device and displaying a guide line superimposed on the certain position on the screen. May be.

前記所定の空間は、前記車両の後方の空間を含み、
前記車両の一部は、前記車両のリヤバンパーであってもよい。 The predetermined space includes a space behind the vehicle,
A part of the vehicle may be a rear bumper of the vehicle.

上記目的を達成するために、本発明の第２の観点に係る画像処理方法は、
記憶手段、特定手段、抽出手段、生成手段を備える画像処理装置が実行する画像処理方法であって、
前記記憶手段は、
車両の一部を含んだ所定の空間を含む撮像空間を撮像して得られる撮像画像上における前記車両の一部の位置を基準とした前記撮像画像上における前記所定の空間の領域を定義する所定空間位置定義情報を記憶し、
前記画像処理方法は、
前記特定手段が、前記撮像画像上における前記車両の一部の位置を特定する特定ステップと、
前記抽出手段が、前記記憶手段に記憶されている前記所定空間位置定義情報と前記特定手段により特定された前記撮像画像上における前記車両の一部の位置とに基づいて、前記撮像画像から前記所定の空間を示す画像部分を抽出する抽出ステップと、
前記生成手段が、前記抽出手段により抽出された画像部分を表示装置に表示させるための画像信号を生成する生成ステップと、を備える、
ことを特徴とする。 In order to achieve the above object, an image processing method according to a second aspect of the present invention includes:
An image processing method executed by an image processing apparatus including a storage unit, an identification unit, an extraction unit, and a generation unit,
The storage means
A predetermined that defines an area of the predetermined space on the captured image based on a position of the part of the vehicle on a captured image obtained by capturing an imaging space including a predetermined space including a part of the vehicle Store spatial location definition information,
The image processing method includes:
A specifying step in which the specifying unit specifies a position of a part of the vehicle on the captured image;
The extraction unit is configured to extract the predetermined space from the captured image based on the predetermined spatial position definition information stored in the storage unit and a position of a part of the vehicle on the captured image specified by the specifying unit. An extraction step of extracting an image portion indicating the space of
The generating unit includes a generating step of generating an image signal for causing the display device to display the image portion extracted by the extracting unit;
It is characterized by that.

上記目的を達成するために、本発明の第３の観点に係るプログラムは、
コンピュータを、
車両の一部を含んだ所定の空間を含む撮像空間を撮像して得られる撮像画像上における前記車両の一部の位置を基準とした前記撮像画像上における前記所定の空間の領域を定義する所定空間位置定義情報を記憶する記憶手段、
前記撮像画像上における前記車両の一部の位置を特定する特定手段、
前記記憶手段に記憶されている前記所定空間位置定義情報と前記特定手段により特定された前記撮像画像上における前記車両の一部の位置とに基づいて、前記撮像画像から前記所定の空間を示す画像部分を抽出する抽出手段、
前記抽出手段により抽出された画像部分を表示装置に表示させるための画像信号を生成する生成手段、
として機能させることを特徴とする。 In order to achieve the above object, a program according to the third aspect of the present invention provides:
Computer
A predetermined that defines an area of the predetermined space on the captured image based on a position of the part of the vehicle on a captured image obtained by capturing an imaging space including a predetermined space including a part of the vehicle Storage means for storing spatial position definition information;
A specifying means for specifying a position of a part of the vehicle on the captured image;
An image indicating the predetermined space from the captured image based on the predetermined space position definition information stored in the storage unit and a position of a part of the vehicle on the captured image specified by the specifying unit. Extraction means for extracting the part,
Generating means for generating an image signal for causing the display device to display the image portion extracted by the extracting means;
It is made to function as.

本発明にかかる画像処理装置、画像処理方法ならびにプログラムによれば、車両の周囲の画像を適切に表示させるための画像信号を生成することができる。   According to the image processing device, the image processing method, and the program according to the present invention, it is possible to generate an image signal for appropriately displaying an image around the vehicle.

本発明の実施形態に係る画像処理装置を備える画像処理システムの構成図である。1 is a configuration diagram of an image processing system including an image processing apparatus according to an embodiment of the present invention. 画像処理システムが備える各モジュールの配置例を示す図である。It is a figure which shows the example of arrangement | positioning of each module with which an image processing system is provided. 画像処理装置の機能を説明するためのブロック図である。It is a block diagram for demonstrating the function of an image processing apparatus. カメラが画像を撮像する様子を模式的に示す第１の図である。It is the 1st figure showing typically signs that a camera picturizes an image. 表示装置に表示される画像を模式的に示す第１の図である。It is a 1st figure which shows typically the image displayed on a display apparatus. カメラが画像を撮像する様子を模式的に示す第２の図である。It is a 2nd figure which shows a mode that a camera captures an image typically. 表示装置に表示される画像を模式的に示す第２の図である。It is a 2nd figure which shows typically the image displayed on a display apparatus. 画像処理システムが実行する車両後方空間表示処理を示すフローチャートである。It is a flowchart which shows the vehicle rear space display process which an image processing system performs. 図６のフローチャートに示すリヤバンパー位置特定処理の詳細を示すフローチャートである。It is a flowchart which shows the detail of the rear bumper position specific process shown in the flowchart of FIG. リヤバンパーの上端部の位置の特定方法を説明するための図である。It is a figure for demonstrating the identification method of the position of the upper end part of a rear bumper. 画像処理装置が撮像画像から撮像対象画像を抽出する方法を説明するための図である。It is a figure for demonstrating the method for an image processing apparatus to extract an imaging target image from a captured image. 表示装置に表示される合成画像を示す図である。It is a figure which shows the synthesized image displayed on a display apparatus. 特徴点を説明するための図である。It is a figure for demonstrating a feature point. 変形例に係る画像処理装置が撮像画像から撮像対象画像を抽出する方法を説明するための図である。It is a figure for demonstrating the method for the image processing apparatus which concerns on a modification to extract an imaging target image from a captured image. 距離の目安をラフに示す合成画像を示す第１の図である。It is a 1st figure which shows the synthesized image which shows the rough standard of distance. 距離の目安をラフに示す合成画像を示す第２の図である。It is a 2nd figure which shows the synthesized image which shows the rough standard of distance.

以下、本発明の実施形態に係る画像処理装置について図面を参照して説明する。   Hereinafter, an image processing apparatus according to an embodiment of the present invention will be described with reference to the drawings.

まず、図１を参照して本発明の実施形態に係る画像処理装置を備える画像処理システムの構成について説明する。   First, the configuration of an image processing system including an image processing apparatus according to an embodiment of the present invention will be described with reference to FIG.

図１に示すように、画像処理システム１００は、カメラ１０と、照明光源２０と、画像処理装置３０と、表示装置５０と、車速センサ６０と、から構成される。   As shown in FIG. 1, the image processing system 100 includes a camera 10, an illumination light source 20, an image processing device 30, a display device 50, and a vehicle speed sensor 60.

カメラ１０は、一定周期（例えば、１／３０秒）毎に、車両の一部を含んだ所定の空間（以下、「撮像対象」とする。）を含む撮像空間を撮像して、撮像により得られた階調画像（以下、「撮像画像」とする。）を順次出力する。カメラ１０は、撮像画像を、例えば、アナログ画像信号として出力する。カメラ１０は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ等から構成される。照明光源２０は、撮像対象を照明する。   The camera 10 captures an imaging space including a predetermined space including a part of the vehicle (hereinafter referred to as “imaging target”) at regular intervals (for example, 1/30 seconds), and is obtained by imaging. The obtained gradation images (hereinafter referred to as “captured images”) are sequentially output. The camera 10 outputs the captured image as an analog image signal, for example. The camera 10 is composed of, for example, a CCD (Charge Coupled Device) camera or the like. The illumination light source 20 illuminates the imaging target.

表示装置５０は、画像処理装置３０から供給された画像信号に従って画像を表示する。表示装置５０は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）又はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などから構成される。   The display device 50 displays an image according to the image signal supplied from the image processing device 30. The display device 50 includes, for example, an LCD (Liquid Crystal Display) or a CRT (Cathode Ray Tube).

車速センサ６０は、車両の速度を電気信号に変換して出力する。車速センサ６０は、例えば、ロータリエンコーダなどから構成される。   The vehicle speed sensor 60 converts the speed of the vehicle into an electrical signal and outputs it. The vehicle speed sensor 60 is composed of, for example, a rotary encoder.

画像処理装置３０は、カメラ１０から供給された撮像画像から撮像対象に相当する画像部分を抽出して、当該抽出された画像部分（以下「撮像対象画像」とする。）に目安線などを合成して得られる合成画像を表示装置５０に表示させるための画像信号を生成する。画像処理装置３０は、例えば、図１に示すように、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換器３１と、画像メモリ３２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３３と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３４と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３５と、表示制御部３６と、光源制御部３７と、設定メモリ３８と、操作装置３９と、センサ入力部４０と、から構成される。   The image processing apparatus 30 extracts an image portion corresponding to the imaging target from the captured image supplied from the camera 10 and synthesizes a reference line or the like with the extracted image portion (hereinafter referred to as “imaging target image”). An image signal for causing the display device 50 to display the composite image obtained in this manner is generated. For example, as shown in FIG. 1, the image processing apparatus 30 includes an A / D (Analog / Digital) converter 31, an image memory 32, a ROM (Read Only Memory) 33, and a CPU (Central Processing Unit) 34. , A RAM (Random Access Memory) 35, a display control unit 36, a light source control unit 37, a setting memory 38, an operation device 39, and a sensor input unit 40.

Ａ／Ｄ変換器３１は、カメラ１０から供給されたアナログ画像信号をディジタル画像信号に変換して、出力する。   The A / D converter 31 converts the analog image signal supplied from the camera 10 into a digital image signal and outputs it.

画像メモリ３２は、Ａ／Ｄ変換器３１が出力したディジタル画像信号により表現された撮像画像を記憶する。また、画像メモリ３２は、撮像対象画像や合成画像も記憶する。画像メモリ３２は、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などから構成される。   The image memory 32 stores a captured image expressed by the digital image signal output from the A / D converter 31. The image memory 32 also stores an imaging target image and a composite image. The image memory 32 is composed of, for example, an SRAM (Static Random Access Memory).

ＲＯＭ３３は、ＣＰＵ３４の動作を制御するためのプログラムを記憶する。ＣＰＵ３４は、画像処理装置３０全体の動作を制御する。ＣＰＵ３４は、ＲＯＭ３３に記憶されたプログラムを実行することにより、カメラ１０から供給された撮像画像を処理する。ＲＡＭ３５は、ＣＰＵ３４のワークエリアとして機能する。   The ROM 33 stores a program for controlling the operation of the CPU 34. The CPU 34 controls the overall operation of the image processing apparatus 30. The CPU 34 processes the captured image supplied from the camera 10 by executing a program stored in the ROM 33. The RAM 35 functions as a work area for the CPU 34.

表示制御部３６は、ＣＰＵ３４の制御のもと、画像メモリ３２に記憶されている合成画像から画像信号を生成し、表示装置５０に供給する。光源制御部３７は、照明光源２０の点灯・消灯を制御する。   The display control unit 36 generates an image signal from the composite image stored in the image memory 32 under the control of the CPU 34 and supplies the image signal to the display device 50. The light source control unit 37 controls turning on / off of the illumination light source 20.

設定メモリ３８は、ＣＰＵ３４が後述する車両後方空間表示処理を実行するために必要な設定データなどを格納する。   The setting memory 38 stores setting data necessary for the CPU 34 to execute a vehicle rear space display process to be described later.

操作装置３９は、ドライバーからの操作入力を受け付け、受け付けた操作入力に応じた操作信号をＣＰＵ３４に供給する。操作装置３９は、各種のボタンなどにより構成される。ドライバーは、これらのボタンを操作することにより、車両の後方の様子を表示装置５０に表示させたり、当該表示を終了させたりする。   The operation device 39 receives an operation input from the driver and supplies an operation signal corresponding to the received operation input to the CPU 34. The operation device 39 includes various buttons. By operating these buttons, the driver displays the state behind the vehicle on the display device 50 or ends the display.

センサ入力部４０は、車速センサ６０から供給された電気信号の入力を受け付け、当該電気信号により示される車速データをＲＡＭ３５などに記憶する。   The sensor input unit 40 receives an input of an electrical signal supplied from the vehicle speed sensor 60 and stores vehicle speed data indicated by the electrical signal in the RAM 35 or the like.

次に、図２を参照して、画像処理システム１００が備える各モジュールが車両のどの部分にどのように設置されるかを説明する。なお、ここで説明する各モジュールの設置場所は例示である。   Next, with reference to FIG. 2, how each module included in the image processing system 100 is installed in which part of the vehicle will be described. In addition, the installation location of each module demonstrated here is an illustration.

カメラ１０は、例えば、車両１０００の後方のナンバープレートの上端部近傍の車体部分に設置される。カメラ１０は、車両１０００の後方斜め下方の空間を、リヤバンパー２００の上部とともに撮像できるような位置ならびに角度に設置される。照明光源２０は、カメラ１０の近傍の車体部分に設置される。照明光源２０は、カメラ１０が撮像する空間を照明可能な位置ならびに角度に設置される。   For example, the camera 10 is installed in a vehicle body portion near the upper end portion of the license plate behind the vehicle 1000. The camera 10 is installed at a position and an angle at which a space obliquely below the rear of the vehicle 1000 can be imaged together with the upper part of the rear bumper 200. The illumination light source 20 is installed in a vehicle body part near the camera 10. The illumination light source 20 is installed at a position and an angle at which the space captured by the camera 10 can be illuminated.

画像処理装置３０は、例えば、運転席に座っているドライバーが操作装置３９を操作可能なように、ギアボックスの前方に設置される。表示装置５０は、例えば、運転席に座っているドライバーが合成画像を見ることができるように、ギアボックスの前方に設置される。車速センサ６０は、例えば、前輪のシャフト部分近傍に設置される。   For example, the image processing device 30 is installed in front of the gear box so that a driver sitting in a driver's seat can operate the operation device 39. The display device 50 is installed in front of the gear box so that, for example, a driver sitting in the driver's seat can see the composite image. The vehicle speed sensor 60 is installed in the vicinity of the shaft portion of the front wheel, for example.

次に、図３を参照して、本発明の実施形態に係る画像処理装置３０の機能を説明する。   Next, functions of the image processing apparatus 30 according to the embodiment of the present invention will be described with reference to FIG.

図３に示すように、画像処理装置３０は、記憶部１１０と、特定部１２０と、抽出部１３０と、生成部１４０と、を備える。なお、画像処理装置３０は、カメラ１０から供給された撮像画像を処理して画像信号を生成し、生成した画像信号を表示装置５０に供給する。   As illustrated in FIG. 3, the image processing apparatus 30 includes a storage unit 110, a specification unit 120, an extraction unit 130, and a generation unit 140. The image processing device 30 processes the captured image supplied from the camera 10 to generate an image signal, and supplies the generated image signal to the display device 50.

カメラ１０は、車両の一部を含んだ所定の空間を含む撮像空間を撮像して撮像画像を取得し、取得した撮像画像を特定部１２０ならびに抽出部１３０に供給する。車両の一部は、例えば、リヤバンパー２００の上端部であり、所定の空間は、例えば、車両１０００の後方斜め下方の空間を含む空間である。   The camera 10 captures an imaging space including a predetermined space including a part of the vehicle to acquire a captured image, and supplies the acquired captured image to the specifying unit 120 and the extraction unit 130. A part of the vehicle is, for example, an upper end portion of the rear bumper 200, and the predetermined space is a space including, for example, a space obliquely below the rear of the vehicle 1000.

記憶部１１０は、所定空間位置定義情報を記憶する。ここで、所定空間位置定義情報は、撮像画像上における車両の一部の位置を基準とした撮像画像上における所定の空間を示す領域を定義する情報である。また、撮像画像は、車両の一部を含んだ所定の空間を含む撮像空間を撮像して得られる画像である。所定空間位置定義情報は、例えば、撮像画像上における車両１０００の後方斜め下方の空間ならびにリヤバンパー２００の上端部を示す領域を、撮像画像上におけるリヤバンパー２００の上端部の位置を基準として定義する情報である。記憶部１１０は、例えば、設定メモリ３８により構成される。   The storage unit 110 stores predetermined space position definition information. Here, the predetermined space position definition information is information that defines an area indicating a predetermined space on the captured image on the basis of the position of a part of the vehicle on the captured image. The captured image is an image obtained by capturing an imaging space including a predetermined space including a part of the vehicle. For example, the predetermined space position definition information defines a space obliquely below the vehicle 1000 on the captured image and an area indicating the upper end portion of the rear bumper 200 on the basis of the position of the upper end portion of the rear bumper 200 on the captured image. Information. The storage unit 110 is configured by the setting memory 38, for example.

特定部１２０は、カメラ１０により生成された撮像画像上における車両の一部の位置を特定する。特定部１２０は、例えば、撮像画像上におけるリヤバンパー２００の上端部の位置を特定する。特定部１２０は、例えば、ＣＰＵ３４により構成される。   The specifying unit 120 specifies the position of a part of the vehicle on the captured image generated by the camera 10. For example, the specifying unit 120 specifies the position of the upper end portion of the rear bumper 200 on the captured image. The specifying unit 120 is configured by the CPU 34, for example.

抽出部１３０は、記憶部１１０に記憶されている所定空間位置定義情報と特定部１２０により特定された撮像画像上における車両の一部の位置とに基づいて、撮像画像から所定の空間を示す画像部分を抽出する。抽出部１３０は、例えば、撮像画像から車両１０００の後方斜め下方の空間ならびにリヤバンパー２００の上端部を示す画像部分を抽出する。抽出部１３０は、例えば、ＣＰＵ３４により構成される。   The extraction unit 130 is an image indicating a predetermined space from the captured image based on the predetermined space position definition information stored in the storage unit 110 and the position of a part of the vehicle on the captured image specified by the specifying unit 120. Extract the part. The extraction unit 130 extracts, for example, an image portion showing a space obliquely below the rear of the vehicle 1000 and an upper end portion of the rear bumper 200 from the captured image. The extraction unit 130 is configured by the CPU 34, for example.

生成部１４０は、抽出部１３０により抽出された画像部分を所定の表示装置に表示させるための画像信号を生成する。生成部１４０は、例えば、車両１０００の後方斜め下方の空間を示す画像部分を表示装置５０に表示させるための画像信号を生成する。   The generation unit 140 generates an image signal for displaying the image portion extracted by the extraction unit 130 on a predetermined display device. The generation unit 140 generates, for example, an image signal for causing the display device 50 to display an image portion indicating a space obliquely below the rear of the vehicle 1000.

表示装置５０は、生成部１４０から供給された画像信号により示される画像を表示する。表示装置５０は、例えば、生成部１４０から供給された画像信号により示される、車両１０００の後方斜め下方の空間の画像を表示する。   The display device 50 displays an image indicated by the image signal supplied from the generation unit 140. For example, the display device 50 displays an image of a space obliquely below the rear of the vehicle 1000 indicated by the image signal supplied from the generation unit 140.

ここで、図４Ａ、図４Ｂ、図５Ａならびに図５Ｂを参照して、画像処理装置３０の機能を簡単に説明する。   Here, the function of the image processing apparatus 30 will be briefly described with reference to FIGS. 4A, 4B, 5A, and 5B.

図４Ａは、カメラ１０が撮像対象を撮像する様子を模式的に示す図である。図４Ａに示すように、カメラ１０の垂直方向の画角（以下「カメラフル画角」という。）をＤｅｇＡとすると、カメラ１０によって撮像される垂直方向の範囲は、ＤｅｇＡを挟む２つの破線の線分に挟まれた範囲となる。また、表示装置５０の垂直方向の画角（以下「画面表示角」という。）をＤｅｇＢとすると、カメラ１０によって撮像される垂直方向の範囲のうち表示装置５０に表示される垂直方向の範囲は、ＤｅｇＢを挟む２つの実線の線分に挟まれた範囲となる。なお、図４Ａにおいて、カメラ１０は、一点鎖線で示される方向を中心とした空間（撮像領域）を撮像する。また、カメラ１０によって撮像される水平方向の範囲も所定の範囲に限定される。ここで、カメラ１０によって撮像される範囲には、撮像画像のうちどの範囲を表示装置５０に表示するかを決定するための基準物であるリヤバンパー２００の上端部が含まれる。また、図４Ａに示す例では、路面上の車両１０００の後方５０ｃｍの位置に目印４０１、路面上の車両１０００の後方１００ｃｍの位置に目印４０２、路面上の車両１０００の後方２００ｃｍの位置に目印４０３、がそれぞれ配置され、撮像範囲には目印４０１〜４０３が含まれている。   FIG. 4A is a diagram schematically illustrating how the camera 10 captures an imaging target. As shown in FIG. 4A, assuming that the vertical angle of view of the camera 10 (hereinafter referred to as “camera full angle of view”) is DegA, the vertical range captured by the camera 10 is two broken lines sandwiching DegA. It is the range between the line segments. When the vertical field angle of the display device 50 (hereinafter referred to as “screen display angle”) is DegB, the vertical range displayed on the display device 50 in the vertical range captured by the camera 10 is as follows. , The range is sandwiched between two solid line segments sandwiching DegB. In FIG. 4A, the camera 10 captures an image of a space (imaging region) centered on the direction indicated by the alternate long and short dash line. Further, the horizontal range imaged by the camera 10 is also limited to a predetermined range. Here, the range captured by the camera 10 includes the upper end portion of the rear bumper 200 that is a reference object for determining which range of the captured image is displayed on the display device 50. In the example shown in FIG. 4A, a mark 401 is located at a position 50 cm behind the vehicle 1000 on the road surface, a mark 402 is located 100 cm behind the vehicle 1000 on the road surface, and a mark 403 is located 200 cm behind the vehicle 1000 on the road surface. Are arranged, and marks 401 to 403 are included in the imaging range.

図４Ｂは、表示装置５０に表示される画像を模式的に示す図である。図４Ｂにおいて、カメラ１０により生成された撮像画像は、破線の枠４１０で囲まれた部分に示す画像である。一方、図４Ｂにおいて、表示装置５０に表示される合成画像は、太線の枠４２０で囲まれた部分に示す画像である。なお、合成画像は、撮像画像の一部を抽出して得られる撮像対象画像に、所定の目安線などを合成して得られる画像である。撮像画像のどの部分を撮像対象画像として抽出するかは、撮像画像に含まれる基準物の位置に基づく。本実施形態においては、リヤバンパー２００の上端部の垂直方向の位置が撮像画像のどの位置にあるか、ならびに、表示装置５０に表示すべき車両１０００の後方斜め下の空間をリヤバンパー２００の上端部の垂直方向の位置を基準として定義した所定空間位置定義情報に基づいて、撮像画像からどの部分を抽出して撮像対象画像とするかが定められる。   FIG. 4B is a diagram schematically illustrating an image displayed on the display device 50. In FIG. 4B, the captured image generated by the camera 10 is an image shown in a portion surrounded by a dashed frame 410. On the other hand, in FIG. 4B, the composite image displayed on the display device 50 is an image shown in a portion surrounded by a thick frame 420. The synthesized image is an image obtained by synthesizing a predetermined reference line or the like with an imaging target image obtained by extracting a part of the captured image. Which part of the captured image is extracted as the captured image is based on the position of the reference object included in the captured image. In the present embodiment, the vertical position of the upper end of the rear bumper 200 is located in the captured image, and the space below the vehicle 1000 to be displayed on the display device 50 is defined as the upper end of the rear bumper 200. Based on the predetermined spatial position definition information defined with reference to the vertical position of the part, it is determined which part is to be extracted from the captured image as the captured image.

図４Ｂに示す例では、ＤｅｇＡにより示される範囲の画像が撮像画像であり、ＤｅｇＢにより示される範囲の画像が合成画像である。なお、合成画像には、車両１０００の後方５０ｃｍの路面位置を示す目安線４４１、車両１０００の後方１００ｃｍの路面位置を示す目安線４４２、ならびに、車両１０００の後方２００ｃｍの路面位置を示す目安線４４３が含まれる。なお、上述したように、路面上の車両１０００の後方５０ｃｍの位置に目印４０１、路面上の車両１０００の後方１００ｃｍの位置に目印４０２、路面上の車両１０００の後方２００ｃｍの位置に目印４０３、がそれぞれ配置されている。このため、合成画像は、目安線４４１上に目印４０１、目安線４４２上に目印４０２、目安線４４３上に目印４０３、がそれぞれ配置されているように表示される画像となる。また、合成画像の下方には、リヤバンパー２００が示される。なお、図４Ｂにおいて、リヤバンパー２００に相当する画像部分をハッチングにより明示している。   In the example shown in FIG. 4B, the image in the range indicated by DegA is a captured image, and the image in the range indicated by DegB is a composite image. In the composite image, a reference line 441 indicating the road surface position 50 cm behind the vehicle 1000, a reference line 442 indicating the road surface position 100 cm behind the vehicle 1000, and a reference line 443 indicating the road surface position 200 cm behind the vehicle 1000 are shown. Is included. As described above, the mark 401 is located at a position 50 cm behind the vehicle 1000 on the road surface, the mark 402 is located 100 cm behind the vehicle 1000 on the road surface, and the mark 403 is located 200 cm behind the vehicle 1000 on the road surface. Each is arranged. For this reason, the composite image is an image displayed such that the mark 401 is arranged on the guide line 441, the mark 402 is placed on the guide line 442, and the mark 403 is placed on the guide line 443. A rear bumper 200 is shown below the composite image. In FIG. 4B, an image portion corresponding to the rear bumper 200 is clearly shown by hatching.

図５Ａは、カメラ１０が撮像対象を撮像する様子を模式的に示す図である。図５Ａに示す例では、図４Ａに示す例と比較すると、カメラ１０はより下方の空間が撮像範囲となるような角度で車両１０００に設置されている。カメラ１０の設置角度以外は、図４Ａと同様であるため説明を省略する。   FIG. 5A is a diagram schematically illustrating how the camera 10 captures an imaging target. In the example illustrated in FIG. 5A, the camera 10 is installed in the vehicle 1000 at an angle such that the lower space is the imaging range as compared to the example illustrated in FIG. 4A. Other than the installation angle of the camera 10 is the same as FIG.

図５Ｂは、表示装置５０に表示される画像を模式的に示す図である。カメラ１０により撮像される垂直方向の範囲は、図４Ａに示す例と図５Ａに示す例とでは異なるため、図５Ｂに示す撮像画像は図４Ｂに示す撮像画像と異なる画像となる。図５Ｂに示すように、合成画像は図４Ｂに示す合成画像と同じ画像となる。これは、図４Ｂに示す例と図５Ｂに示す例とで、異なる撮像画像から同じ撮像対象画像が撮像画像から抽出されるように構成されているためである。   FIG. 5B is a diagram schematically illustrating an image displayed on the display device 50. Since the range in the vertical direction captured by the camera 10 is different between the example illustrated in FIG. 4A and the example illustrated in FIG. 5A, the captured image illustrated in FIG. 5B is different from the captured image illustrated in FIG. 4B. As shown in FIG. 5B, the composite image is the same as the composite image shown in FIG. 4B. This is because the example illustrated in FIG. 4B and the example illustrated in FIG. 5B are configured such that the same image to be captured is extracted from the captured image from different captured images.

すなわち、従来の撮像装置では、撮像対象を表示装置に表示しようとした場合、当該撮像対象を撮像可能な正確な位置ならびに正確な角度でカメラを車両に設置する必要がある。しかしながら、カメラの設置時の設置ミスあるいは経年劣化により、カメラの設置位置あるいは設置角度にずれが生じてしまう場合がある。この場合、撮像対象を表示装置に正確に表示することができなくなってしまう。これに対し、画像処理システム１００では、撮像対象を含む広い領域をカメラ１０で撮像して撮像画像を生成し、表示装置５０は撮像画像のうちの撮像対象に相当する部分のみを表示する。これにより、画像処理システム１００によれば、カメラ１０の設置位置あるいは設置角度に多少のずれが生じた場合であっても、撮像対象を表示装置５０に正確に表示できる。なお、カメラ１０は、撮像範囲に基準物が含まれるような位置ならびに角度に設置される。   That is, in a conventional imaging device, when an imaging target is to be displayed on a display device, it is necessary to install a camera on the vehicle at an accurate position and an accurate angle at which the imaging target can be imaged. However, there may be a case in which the installation position or the installation angle of the camera is shifted due to an installation error or aged deterioration during installation of the camera. In this case, the imaging target cannot be accurately displayed on the display device. In contrast, in the image processing system 100, a wide area including the imaging target is captured by the camera 10 to generate a captured image, and the display device 50 displays only a portion corresponding to the imaging target in the captured image. Thereby, according to the image processing system 100, the imaging target can be accurately displayed on the display device 50 even if the installation position or the installation angle of the camera 10 slightly deviates. The camera 10 is installed at a position and an angle at which the reference object is included in the imaging range.

次に、図６に示すフローチャートを用いて、画像処理システム１００が実行する車両後方空間表示処理について説明する。   Next, the vehicle rear space display process executed by the image processing system 100 will be described using the flowchart shown in FIG.

画像処理システム１００は、車両の後方の空間の表示を開始する要求を受け付けた後、当該表示を終了する要求を受け付けるまでの間、定期的（例えば、１／３０秒毎）に図６に示す車両後方空間表示処理を実行する。   The image processing system 100 shown in FIG. 6 periodically (for example, every 1/30 second) after receiving a request to start display of the space behind the vehicle until receiving a request to end the display. Car rear space display processing is executed.

まず、カメラ１０は、車両の後方の空間を撮像する（ステップＳ１０１）。そして、ＣＰＵ３４は、カメラ１０から供給された信号に基づいて撮像画像を生成する（ステップＳ１０２）。具体的には、ＣＰＵ３４は、カメラ１０が出力する１フレーム分のアナログ画像信号により表現される撮像画像をＡ／Ｄ変換器３１に供給し、当該Ａ／Ｄ変換器３１が出力する１フレーム分のディジタル画像信号により表現される撮像画像を画像メモリ３２に記憶する。   First, the camera 10 images the space behind the vehicle (step S101). And CPU34 produces | generates a captured image based on the signal supplied from the camera 10 (step S102). Specifically, the CPU 34 supplies a captured image expressed by an analog image signal for one frame output from the camera 10 to the A / D converter 31, and outputs one frame for output from the A / D converter 31. The captured image represented by the digital image signal is stored in the image memory 32.

次に、ＣＰＵ３４は、リヤバンパー位置特定処理を実行する（ステップＳ１０３）。リヤバンパー位置特定処理については、図７に示すフローチャートを参照して詳細に説明する。なお、リヤバンパー位置特定処理は、撮像画像におけるリヤバンパー２００の上端部の垂直方向の位置を特定する処理である。   Next, the CPU 34 executes a rear bumper position specifying process (step S103). The rear bumper position specifying process will be described in detail with reference to the flowchart shown in FIG. The rear bumper position specifying process is a process of specifying the vertical position of the upper end portion of the rear bumper 200 in the captured image.

まず、車速センサから車両１０００の車速を取得する（ステップＳ２０１）。次に、ＣＰＵ３４は、車両１０００が移動中であるか否を判別する（ステップＳ２０２）。具体的には、ＣＰＵ３４は、ステップＳ２０１において取得した車速の絶対値が所定の値以上である場合に車両１０００が移動中であると判別し、ステップＳ２０１において取得した車速の絶対値が所定の値未満である場合に車両１０００が移動中ではないと判別する。   First, the vehicle speed of the vehicle 1000 is acquired from the vehicle speed sensor (step S201). Next, the CPU 34 determines whether or not the vehicle 1000 is moving (step S202). Specifically, the CPU 34 determines that the vehicle 1000 is moving when the absolute value of the vehicle speed acquired in step S201 is equal to or greater than a predetermined value, and the absolute value of the vehicle speed acquired in step S201 is a predetermined value. If it is less than that, it is determined that the vehicle 1000 is not moving.

ＣＰＵ３４は、車両１０００が移動中ではない判別すると（ステップＳ２０２：ＮＯ）、エッジ検出によりリヤバンパー２００の上端部の位置を検出して（ステップＳ２０３）、リヤバンパー位置特定処理を終了する。なお、エッジ検出によりリヤバンパー２００の上端部の位置を検出する方法については、従来のエッジ検出技術を採用することができる。従来のエッジ検出技術は、例えば、特許文献３（特開２００４−１６５８号公報）の図４等に、リヤバンパーの境界線を検出する技術として開示されている。なお、リヤバンパー２００の上端部の位置とは、厳密には、撮像画像におけるリヤバンパー２００の上端の境界線の位置である。   When determining that the vehicle 1000 is not moving (step S202: NO), the CPU 34 detects the position of the upper end portion of the rear bumper 200 by edge detection (step S203), and ends the rear bumper position specifying process. As a method of detecting the position of the upper end portion of the rear bumper 200 by edge detection, a conventional edge detection technique can be employed. A conventional edge detection technique is disclosed, for example, in FIG. 4 of Patent Document 3 (Japanese Patent Application Laid-Open No. 2004-1658) as a technique for detecting a boundary line of a rear bumper. Note that the position of the upper end portion of the rear bumper 200 is strictly the position of the boundary line of the upper end of the rear bumper 200 in the captured image.

一方、車両１０００が移動中であると判別すると（ステップＳ２０２：ＹＥＳ）、チェック対象の画素を下から１行目の左端の画素に設定する（ステップＳ２０４）。ここで、チェック対象の画素は、撮像画像を構成する画素のうち、１フレーム前のフレームにおける輝度と現在のフレームにおける輝度との差分をチェックする対象の画素である。なお、本実施形態においては、チェック対象の画素は、水平方向には左から右に走査され、垂直方向には下から上に走査される。   On the other hand, if it is determined that the vehicle 1000 is moving (step S202: YES), the pixel to be checked is set to the leftmost pixel in the first row from the bottom (step S204). Here, the pixel to be checked is a pixel to be checked for a difference between the luminance in the previous frame and the luminance in the current frame among the pixels constituting the captured image. In the present embodiment, the pixel to be checked is scanned from left to right in the horizontal direction and from bottom to top in the vertical direction.

次に、ＣＰＵ３４は、現在のフレームにおけるチェック対象の画素の輝度を取得する（ステップＳ２０５）。具体的には、ＣＰＵ３４は、画像メモリ３２に記憶されている撮像画像のうち現在のフレームの撮像画像を読み出し、当該撮像画像を構成する画素のうちチェック対象の画素の輝度を取得する。同様に、ＣＰＵ３４は、１フレーム前のフレームにおけるチェック対象の画素の輝度を取得する（ステップＳ２０６）。具体的には、ＣＰＵ３４は、画像メモリ３２に記憶されている撮像画像のうち１フレーム前のフレームの撮像画像を読み出し、当該撮像画像を構成する画素のうちチェック対象の画素の輝度を取得する。なお、各画素がＲｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの３色から構成される場合、ＣＰＵ３４は、３色の輝度をそれぞれ取得する。   Next, the CPU 34 acquires the luminance of the pixel to be checked in the current frame (step S205). Specifically, the CPU 34 reads out the captured image of the current frame among the captured images stored in the image memory 32, and acquires the luminance of the check target pixel among the pixels constituting the captured image. Similarly, the CPU 34 acquires the luminance of the pixel to be checked in the previous frame (step S206). Specifically, the CPU 34 reads a captured image of a frame one frame before the captured image stored in the image memory 32, and acquires the luminance of the pixel to be checked among the pixels constituting the captured image. In addition, when each pixel is comprised from 3 colors of Red, Green, and Blue, CPU34 acquires the brightness | luminance of 3 colors, respectively.

そして、ＣＰＵ３４は、輝度の差分の絶対値が所定値以上であるか否かを判別する（ステップＳ２０７）。具体的には、ＣＰＵ３４は、ステップＳ２０５で取得した輝度とステップＳ２０６で取得した輝度との差分の絶対値が所定値以上であるか否かを判別し、判別結果をＲＡＭ３５に記憶する。所定値は、例えば、各画素の輝度が０〜２５５の値で示される場合に、５〜５０程度の値に設定する。なお、各画素がＲｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの３色から構成される場合、ＣＰＵ３４は、色毎に輝度の差分の絶対値をとり、色毎の輝度の差分の絶対値の和が所定値以上であるか否かを判別する。   Then, the CPU 34 determines whether or not the absolute value of the luminance difference is greater than or equal to a predetermined value (step S207). Specifically, the CPU 34 determines whether or not the absolute value of the difference between the luminance acquired in step S205 and the luminance acquired in step S206 is a predetermined value or more, and stores the determination result in the RAM 35. For example, when the luminance of each pixel is indicated by a value of 0 to 255, the predetermined value is set to a value of about 5 to 50. When each pixel is composed of three colors of Red, Green, and Blue, the CPU 34 takes the absolute value of the luminance difference for each color, and the sum of the absolute values of the luminance differences for each color is greater than or equal to a predetermined value. It is determined whether or not there is.

ＣＰＵ３４は、輝度の差分の絶対値が所定値以上であるか否かを判別する処理（ステップＳ２０７）を終了すると、チェック対象の画素が右端の画素であるか否かを判別する（ステップＳ２０８）。ＣＰＵ３４は、チェック対象の画素が右端の画素ではないと判別すると（ステップＳ２０８：ＮＯ）、チェック対象の画素を１つ右の画素に設定して（ステップＳ２０９）、現在のフレームにおけるチェック対象の画素の輝度を取得する処理（ステップＳ２０５）に処理を戻す。   When the CPU 34 finishes the process of determining whether or not the absolute value of the luminance difference is greater than or equal to a predetermined value (step S207), it determines whether or not the pixel to be checked is the rightmost pixel (step S208). . When the CPU 34 determines that the pixel to be checked is not the rightmost pixel (step S208: NO), the CPU 34 sets the pixel to be checked one right pixel (step S209), and the pixel to be checked in the current frame. The process returns to the process of acquiring the brightness (step S205).

一方、ＣＰＵ３４は、チェック対象の画素が右端の画素であると判別すると（ステップＳ２０８：ＹＥＳ）、輝度の差分の絶対値が所定値以上の画素の割合が所定の割合未満か否かを判別する（ステップＳ２１０）。具体的には、ＣＰＵ３４は、チェック対象の画素を含む行から２つ下の行までの行に含まれる画素のうち、輝度の差分の絶対値が所定値以上の画素の個数が所定の割合（例えば、８０％）未満であるか否かを判別する。ＣＰＵ３４は、輝度の差分の絶対値が所定値以上の画素の割合が所定の割合未満ではないと判別すると（ステップＳ２１０：ＮＯ）、チェック対象の画素を１行上の左端の画素に設定して（ステップＳ２１１）、現在のフレームにおけるチェック対象の画素の輝度を取得する処理（ステップＳ２０５）に処理を戻す。これに対し、ＣＰＵ３４は、輝度の差分の絶対値が所定値以上の画素の割合が所定の割合未満であると判別すると（ステップＳ２１０：ＹＥＳ）、チェック対象の画素を含む行を示す情報をＲＡＭ３５に記憶して（ステップＳ２１２）、リヤバンパー位置特定処理を終了する。なお、チェック対象の画素を含む行は、リヤバンパー２００の上端部の位置を示す行として扱われる。   On the other hand, if the CPU 34 determines that the pixel to be checked is the rightmost pixel (step S208: YES), the CPU 34 determines whether or not the proportion of pixels whose absolute value of luminance difference is equal to or greater than a predetermined value is less than the predetermined proportion. (Step S210). Specifically, the CPU 34 has a predetermined ratio (the number of pixels in which the absolute value of the luminance difference is equal to or larger than a predetermined value among the pixels included in the row from the row including the pixel to be checked to the second lower row). For example, it is determined whether it is less than 80%. If the CPU 34 determines that the ratio of the pixels whose luminance difference absolute value is equal to or larger than the predetermined value is not less than the predetermined ratio (step S210: NO), the CPU 34 sets the pixel to be checked to the leftmost pixel on one line. (Step S211), the process returns to the process of acquiring the luminance of the pixel to be checked in the current frame (Step S205). On the other hand, when the CPU 34 determines that the ratio of the pixels whose luminance difference absolute value is equal to or larger than the predetermined value is less than the predetermined ratio (step S210: YES), the RAM 35 stores information indicating the row including the pixel to be checked. (Step S212), and the rear bumper position specifying process is terminated. Note that the row including the pixel to be checked is treated as a row indicating the position of the upper end portion of the rear bumper 200.

ここで、図８を参照して、リヤバンパー位置特定処理において、撮像画像上におけるリヤバンパー２００の上端部の位置がどのように特定されるかを説明する。   Here, how the position of the upper end portion of the rear bumper 200 on the captured image is specified in the rear bumper position specifying process will be described with reference to FIG.

図８において、撮像画像は、破線の枠４１０で囲まれた部分に示す画像である。一方、図８において、撮像対象画像は、太線の枠４２０で囲まれた部分である。図８において、リヤバンパー２００に相当する部分をハッチング表示している。ここで、カメラ１０とリヤバンパー２００とは共に車両１０００に固定されており、車両１０００が移動中でも撮像画像上におけるリヤバンパー２００の位置は変化しない。このため、リヤバンパー２００に相当する部分は、現在のフレームと１フレーム前のフレームとで輝度の変化が小さい。これに対し、撮像画像上のリヤバンパー２００に相当する部分以外の部分は、現在のフレームと１フレーム前のフレームとで輝度の変化が大きくなるのが一般的である。   In FIG. 8, the captured image is an image shown in a portion surrounded by a broken line frame 410. On the other hand, in FIG. 8, the imaging target image is a portion surrounded by a thick frame 420. In FIG. 8, a portion corresponding to the rear bumper 200 is hatched. Here, both the camera 10 and the rear bumper 200 are fixed to the vehicle 1000, and the position of the rear bumper 200 on the captured image does not change even when the vehicle 1000 is moving. For this reason, the portion corresponding to the rear bumper 200 has a small change in luminance between the current frame and the previous frame. On the other hand, in a portion other than the portion corresponding to the rear bumper 200 on the captured image, a change in luminance is generally large between the current frame and the previous frame.

ここで、図８において、太線の枠４５０で囲まれた部分は、チェック対象の画素を示す部分であり、１画素分に相当する。まず、チェック対象の画素は、ステップＳ２０４において、１番下の行（ｋ１）の左端の画素に設定される。そして、チェック対象の画素は、ステップＳ２０９において、１つずつ右の画素にシフトされる。なお、チェック対象の画素が右端の画素である場合、チェック対象の画素は、ステップＳ２１１において、１つ上の行の左端の画素に設定される。なお、チェック対象の画素が１つ上の行の左端の画素に設定される前に、ステップＳ２１０において、チェック対象の画素が含まれる行から２行下までの行に含まれる画素について、輝度の差分の絶対値が所定値以上の画素の割合が所定の割合未満であるか否かがチェックされる。   Here, in FIG. 8, a portion surrounded by a thick frame 450 is a portion indicating a pixel to be checked, and corresponds to one pixel. First, the pixel to be checked is set to the leftmost pixel of the bottom row (k1) in step S204. Then, the pixels to be checked are shifted to the right pixel one by one in step S209. When the pixel to be checked is the rightmost pixel, the pixel to be checked is set to the leftmost pixel in the next row in step S211. In addition, before the pixel to be checked is set as the leftmost pixel in the upper row, in step S210, the luminance of pixels included in the row from the row including the pixel to be checked to the second lower row is determined. It is checked whether or not the ratio of pixels whose absolute value of the difference is greater than or equal to a predetermined value is less than the predetermined ratio.

本実施形態においては、輝度の差分の絶対値が所定値未満の画素を静止画素として、１行中における静止画素の割合をチェックするのではなく、１行中における静止画素の割合の３行分の移動平均をとった割合をチェックするのは、ノイズ除去のためである。図８において、ｋ１〜ｋ６までの行は静止画素の割合が１００％であり、ｋ７の行の静止画素の割合が９０％であり、ｋ８の行の静止画素の割合が８０％であり、ｋ９の行の静止画素の割合が７５％であり、ｋ１０の行の静止画素の割合が７０％であり、ｋ１１の行の静止画素の割合が６０％であり、ｋ１２の行の静止画素の割合が２５％であり、ｋ１３の行の静止画素の割合が５％であり、ｋ１４以降の行の静止画素の割合が０％である。従って、例えば、ｋ７の右端のチェック対象の画素をチェックした後には、ｋ５〜ｋ７の行のそれぞれについての静止画素の割合の平均値である９６．７％が８０％未満であるか否かが判別される。同様に、ｋ８の右端のチェック対象の画素をチェックした後には、ｋ６〜ｋ８の行のそれぞれについての静止画素の割合の平均値である９０％が８０％未満であるか否かが判別され、ｋ９の右端のチェック対象の画素をチェックした後には、ｋ７〜ｋ９の行のそれぞれについての静止画素の割合の平均値である８１．７％が８０％未満であるか否かが判別され、ｋ１０の右端のチェック対象の画素をチェックした後には、ｋ８〜ｋ１０の行のそれぞれについての静止画素の割合の平均値である７５％が８０％未満であるか否かが判別される。そして、静止画素の割合の平均値が８０％未満であると初めて判別された行であるｋ９が、ステップＳ２１２において、リヤバンパー２００の上端部に相当する行として記憶される。   In the present embodiment, pixels whose absolute value of luminance difference is less than a predetermined value are set as still pixels, and the ratio of still pixels in one row is not checked, but the ratio of still pixels in one row is equal to three rows. The reason for checking the ratio of the moving average of is to remove noise. In FIG. 8, in the rows from k1 to k6, the ratio of still pixels is 100%, the ratio of still pixels in the k7 row is 90%, the ratio of still pixels in the k8 row is 80%, and k9 The ratio of still pixels in row k is 75%, the ratio of still pixels in row k10 is 70%, the ratio of still pixels in row k11 is 60%, and the ratio of still pixels in row k12 is 25%, the proportion of still pixels in the row k13 is 5%, and the proportion of still pixels in the rows after k14 is 0%. Therefore, for example, after checking the pixel to be checked at the right end of k7, whether or not 96.7%, which is the average value of the ratio of still pixels for each of the rows k5 to k7, is less than 80%. Determined. Similarly, after checking the pixel to be checked at the right end of k8, it is determined whether 90%, which is the average value of the ratio of still pixels for each of the rows k6 to k8, is less than 80%. After checking the pixel to be checked at the right end of k9, it is determined whether or not 81.7% that is the average value of the ratio of still pixels for each of the rows k7 to k9 is less than 80%. After checking the rightmost pixel to be checked, it is determined whether or not 75%, which is the average value of the ratio of still pixels for each of the rows k8 to k10, is less than 80%. Then, k9, which is a row determined for the first time that the average value of the ratio of still pixels is less than 80%, is stored as a row corresponding to the upper end portion of the rear bumper 200 in step S212.

なお、行毎の静止画素の割合を求めずに、３行分の静止画素の割合を直接求めるようにしてもよい。また、１行目と２行目については、静止画素の割合が所定の割合未満であるか否かを判別する処理を実行しなくてもよいし、存在する行のみの静止画素の割合を平均して所定の割合未満であるか否かを判別するようにしてもよい。   Note that the ratio of still pixels for three rows may be directly determined without determining the ratio of still pixels for each row. In addition, for the first and second lines, it is not necessary to execute processing for determining whether or not the ratio of still pixels is less than a predetermined ratio, and the ratio of still pixels in only existing rows is averaged. Then, it may be determined whether the ratio is less than a predetermined ratio.

以下、フローチャートの説明に戻る。ＣＰＵ３４は、リヤバンパー位置特定処理（ステップＳ１０３）を終了すると、設定メモリ３８にあらかじめ記憶されている所定空間位置定義情報を取得する（ステップＳ１０４）。上述したように、所定空間位置定義情報は、例えば、撮像画像内における車両１０００の後方斜め下方の空間の位置を、撮像画像内におけるリヤバンパー２００の上端部の位置を基準として定義する情報である。例えば、リヤバンパー２００の上端部が撮像対象画像の下方から２０％の位置になるように撮像画像から撮像対象画像を切り出す場合に、２０％を示す情報を所定空間位置定義情報とすることができる。   Hereinafter, the description returns to the flowchart. When completing the rear bumper position specifying process (step S103), the CPU 34 acquires predetermined space position definition information stored in advance in the setting memory 38 (step S104). As described above, the predetermined space position definition information is information that defines, for example, the position of the space obliquely below the rear of the vehicle 1000 in the captured image with reference to the position of the upper end portion of the rear bumper 200 in the captured image. . For example, when the captured image is cut out from the captured image so that the upper end of the rear bumper 200 is positioned at 20% from below the captured image, information indicating 20% can be used as the predetermined spatial position definition information. .

ＣＰＵ３４は、所定空間位置定義情報の取得（ステップＳ１０４）を終了すると、ステップＳ１０３で特定したリヤバンパー２００の上端部の位置と、ステップＳ１０４で取得した所定空間位置定義情報とに基づいて、撮像画像から撮像対象画像を抽出する（ステップＳ１０５）。上述したように、所定空間位置定義情報が２０％である場合、図９Ａに示すように、リヤバンパー２００の上端部の位置が撮像対象画像の下方から２０％の位置になるように、撮像画像から撮像対象画像を切り出す。   When the CPU 34 completes the acquisition of the predetermined space position definition information (step S104), the captured image is obtained based on the position of the upper end portion of the rear bumper 200 specified in step S103 and the predetermined space position definition information acquired in step S104. An image to be captured is extracted from (step S105). As described above, when the predetermined space position definition information is 20%, as shown in FIG. 9A, the captured image is such that the position of the upper end of the rear bumper 200 is 20% from the lower side of the image to be captured. The image to be captured is cut out from.

次に、ＣＰＵ３４は、ステップＳ１０５において抽出した撮像対象画像に目安線４４１〜４４３を合成して合成画像を生成する（ステップＳ１０６）。そして、ＣＰＵ３４は、ステップＳ１０６において生成した合成画像を示す画像信号を表示装置５０に供給して、表示装置５０に合成画像を表示させる（ステップＳ１０７）。図９Ｂに、合成画像の例を示す。ＣＰＵ３４は、合成画像を表示する処理（ステップＳ１０７）を終了すると、車両後方空間表示処理を終了する。   Next, the CPU 34 combines the reference lines 441 to 443 with the imaging target image extracted in step S105 to generate a combined image (step S106). And CPU34 supplies the image signal which shows the synthesized image produced | generated in step S106 to the display apparatus 50, and displays a synthesized image on the display apparatus 50 (step S107). FIG. 9B shows an example of a composite image. CPU34 complete | finishes a vehicle back space display process, after complete | finishing the process (step S107) which displays a synthesized image.

本実施形態にかかる画像処理装置３０によれば、カメラ１０の設置位置ならびに設置角度に垂直方向にずれがある場合においても、所望の領域の画像を適切に表示することができる。また、カメラ１０の固定位置ならびに固定角度のずれに拘わらず、目安線を表示する画面上の位置を一定の位置にする。このため、ずれの量に合わせて目安線を表示する画面上の位置を再計算するなどの処理をしなくてもよい。   According to the image processing apparatus 30 according to the present embodiment, an image of a desired region can be appropriately displayed even when the installation position and the installation angle of the camera 10 are shifted in the vertical direction. In addition, the position on the screen where the reference line is displayed is set to a fixed position regardless of the fixed position and fixed angle of the camera 10. For this reason, it is not necessary to perform processing such as recalculating the position on the screen where the reference line is displayed in accordance with the amount of deviation.

（変形例）
上記実施形態においては、カメラ１０により撮像される撮像画像の垂直方向の範囲を表示装置５０に表示される合成画像（または、撮像対象画像）の垂直方向の範囲よりも広い範囲に設定し、撮像画像内におけるリヤバンパー２００の上端部の位置に基づいて垂直方向の表示範囲を定め、撮像画像のうち当該定めた垂直方向の範囲のみを表示装置５０に表示する例を示した。しかし、本発明によれば、撮像画像の水平方向の範囲を合成画像の水平方向の範囲よりも広い範囲に設定し、撮像画像内における所定の基準物の位置に基づいて水平方向の表示範囲を定め、撮像画像のうち当該定めた水平方向の範囲のみを表示装置５０に表示するようにしてもよい。また、撮像画像の垂直方向の範囲を合成画像の垂直方向の範囲よりも広い範囲に設定するとともに、撮像画像の水平方向の範囲を合成画像の水平方向の範囲よりも広い範囲に設定してもよい。このように、撮像画像の範囲を合成画像の範囲よりも広くとることにより、カメラ１０の設置位置ならびに設置角度にずれがある場合においても、所望の領域の画像を適切に表示することができる。 (Modification)
In the above embodiment, the vertical range of the captured image captured by the camera 10 is set to a range wider than the vertical range of the composite image (or the image to be captured) displayed on the display device 50, and the image is captured. In the example, the vertical display range is determined based on the position of the upper end of the rear bumper 200 in the image, and only the determined vertical range of the captured image is displayed on the display device 50. However, according to the present invention, the horizontal range of the captured image is set to be wider than the horizontal range of the composite image, and the horizontal display range is set based on the position of the predetermined reference object in the captured image. It is also possible to display only the determined horizontal range in the captured image on the display device 50. Also, the vertical range of the captured image may be set to a range wider than the vertical range of the composite image, and the horizontal range of the captured image may be set to a range wider than the horizontal range of the composite image. Good. Thus, by setting the range of the captured image wider than the range of the composite image, an image of a desired region can be appropriately displayed even when the installation position and the installation angle of the camera 10 are deviated.

例えば、撮像画像に基づいてエッジ検出により検出した特徴点が、撮像対象画像上において、所望の垂直方向の位置ならびに所望の水平方向の位置に表示されるように、撮像画像から撮像対象画像を抽出するように構成することができる。図１０Ａに示すように、撮像画像に基づいてエッジ検出によりリヤバンパー２００の上端部の境界線４５１が検出されたとする。このとき、境界線４５１上の点のうち垂直方向の位置が最も下方である点が特徴点４５２であるものとする。   For example, the imaging target image is extracted from the captured image so that the feature points detected by edge detection based on the captured image are displayed at the desired vertical position and the desired horizontal position on the imaging target image. Can be configured to. As shown in FIG. 10A, it is assumed that a boundary line 451 at the upper end of the rear bumper 200 is detected by edge detection based on the captured image. At this time, it is assumed that the point having the lowest vertical position among the points on the boundary line 451 is the feature point 452.

ここで、設定メモリ３８に、撮像対象画像上における特徴点４５２の位置が、垂直方向については下方から２０％、水平方向については左方から５０％の位置となるように定義する所定空間位置定義情報が格納されているとする。このとき、ＣＰＵ３４は、撮像対象画像における特徴点４５２の位置が、垂直方向については下方から２０％、水平方向については左方から５０％の位置となるように撮像画像から撮像対象画像を抽出する。   Here, a predetermined spatial position definition is defined in the setting memory 38 so that the position of the feature point 452 on the image to be captured is 20% from below in the vertical direction and 50% from the left in the horizontal direction. Assume that information is stored. At this time, the CPU 34 extracts the imaging target image from the captured image so that the position of the feature point 452 in the imaging target image is 20% from below in the vertical direction and 50% from the left in the horizontal direction. .

図１０Ｂに、撮像画像と撮像対象画像との関係を示す。図１０Ｂにおいて、撮像画像は破線の枠４１０で囲まれた部分に示す画像であり、撮像対象画像は太線の枠４２０で囲まれた部分に示す画像である。撮像対象画像における特徴点４５２の位置は、下方から２０％、左方から５０％の位置である。このように、撮像対象画像における特徴点４５２の位置が所定空間位置定義情報で定義された位置になるように、撮像画像から撮像対象画像が抽出される。なお、撮像画像と撮像対象画像の大きさは適宜調整が可能である。例えば、予測されるカメラ１０の車両１０００への設置位置若しくは設置角度のずれが大きいほど、撮像対象画像の大きさに対する撮像画像の大きさの割合を大きくする。   FIG. 10B shows the relationship between the captured image and the captured image. In FIG. 10B, the captured image is an image shown in a part surrounded by a broken line frame 410, and the imaging target image is an image shown in a part surrounded by a thick line frame 420. The position of the feature point 452 in the captured image is 20% from below and 50% from the left. In this manner, the imaging target image is extracted from the captured image so that the position of the feature point 452 in the imaging target image becomes a position defined by the predetermined spatial position definition information. Note that the sizes of the captured image and the captured image can be adjusted as appropriate. For example, the ratio of the size of the captured image to the size of the image to be captured is increased as the predicted displacement of the installation position or the installation angle of the camera 10 on the vehicle 1000 is larger.

本実施形態においては、撮像対象画像に幅の狭い目安線を合成することにより、車両１０００からの距離（カメラ１０からの距離）の目安を示す合成画像を生成した。しかし、図１１に示すように、幅の広い目安線を用いて車両１０００からの距離の目安を示してもよい。図１１に示す例では、車両１０００から５０ｃｍの位置を示す目安線４６１、車両１０００から１００ｃｍの位置を示す目安線４６２、車両１０００から２００ｃｍの位置を示す目安線４６３を示している。バンパーの取り付け精度などが良くない場合、目安線が厳密に表示されない場合がある。しかしながら、このように目安線の幅をある程度広くすることにより、ドライバーに余裕もった運転操作をさせることができる。なお、これらの各目安線の色彩や模様などを、適宜調整して表示することが可能である。典型的には、目安線により示される車両１０００からの距離が近いほど、ドライバーの注意を惹くように、目立つ色彩や模様などにすることができる。例えば、目安線４６１を赤色、目安線４６２を黄色、目安線４６３を青色、とすることができる。また、目安線の幅を広くする場合は、背景の画像を完全に隠してしまわないように、目安線を半透明に表示するようにしてもよい。   In the present embodiment, a composite image indicating a distance from the vehicle 1000 (a distance from the camera 10) is generated by combining a narrow reference line with the image to be captured. However, as shown in FIG. 11, the standard of distance from the vehicle 1000 may be indicated using a wide standard line. In the example shown in FIG. 11, a reference line 461 indicating a position 50 cm from the vehicle 1000, a reference line 462 indicating a position 100 cm from the vehicle 1000, and a reference line 463 indicating a position 200 cm from the vehicle 1000 are shown. If the mounting accuracy of the bumper is not good, the reference line may not be displayed accurately. However, by widening the width of the reference line to some extent in this way, it is possible to allow the driver to perform a driving operation with a margin. Note that the color and pattern of each guide line can be appropriately adjusted and displayed. Typically, the closer the distance from the vehicle 1000 indicated by the reference line, the more noticeable colors and patterns can be drawn to attract the driver's attention. For example, the guide line 461 can be red, the guide line 462 can be yellow, and the guide line 463 can be blue. When the width of the reference line is increased, the reference line may be displayed semi-transparently so that the background image is not completely hidden.

本実施形態においては、撮像対象画像に目安線を合成することにより、車両１０００からの距離（カメラ１０からの距離）の目安を示す合成画像を生成した。しかし、車両１０００からの距離の目安を示すものとして、目安線ではなく、目安となる領域を示すものを表示するようにしてもよい。図１２に示す例では、車両１０００から５０ｃｍ付近の領域を示す領域４７１、車両１０００から１００ｃｍ付近の領域を示す領域４７２、車両１０００から２００ｃｍ付近の領域を示す領域４７３、が示されている。このように、車両１０００からの大まかな距離の目安を示すことにより、ドライバーに余裕もった運転操作をさせることができる。なお、目安線と同様に、各領域の色彩や模様などを適宜調整して表示することができる。例えば、領域４７１は危険領域として赤色表示、領域４７２は注意領域として黄色表示、領域４７３は安全領域として青色表示とすることができる。   In the present embodiment, a combined image indicating a distance from the vehicle 1000 (a distance from the camera 10) is generated by combining a reference line with the image to be captured. However, as an indication of the distance from the vehicle 1000, a reference area may be displayed instead of the reference line. In the example shown in FIG. 12, a region 471 indicating a region near 50 cm from the vehicle 1000, a region 472 indicating a region near 100 cm from the vehicle 1000, and a region 473 indicating a region near 200 cm from the vehicle 1000 are shown. In this way, by indicating the rough distance from the vehicle 1000, it is possible to allow the driver to perform a driving operation with a margin. Note that, similarly to the reference line, the color and pattern of each region can be appropriately adjusted and displayed. For example, the area 471 can be displayed in red as a dangerous area, the area 472 can be displayed in yellow as a caution area, and the area 473 can be displayed in blue as a safety area.

上記実施形態では、輝度の変化が大きい画素の割合を求める際には、３行分の画素について割合を求めたが、１行分若しくは２行分の画素について割合を求めても良いし、４行以上分の画素について割合を求めても良い。また、上記実施形態では、画素毎に輝度の差分を求める例を示したが、複数の画素から構成されるブロック毎に輝度の総和を求め、ブロック毎の輝度の差分を求めることにより、基準物（静止物）を特定しても良い。また、行毎に輝度の総和を求め、行毎の輝度の差分を求めることにより、基準物を特定しても良い。   In the above embodiment, when the ratio of pixels with a large change in luminance is obtained, the ratio is obtained for pixels for three rows, but the ratio may be obtained for pixels for one row or two rows. You may obtain | require a ratio about the pixels for a line or more. Moreover, although the example which calculates | requires the difference of a brightness | luminance for every pixel was shown in the said embodiment, the reference | standard thing is calculated | required by calculating | requiring the sum total of the brightness | luminance for every block comprised from several pixels, and calculating | requiring the brightness | luminance difference for every block. (Stationary object) may be specified. Further, the reference object may be specified by obtaining the sum of luminance for each row and obtaining the difference in luminance for each row.

上記実施形態では、現在のフレームと１フレーム前のフレームとで輝度の差分を求めたが、比較するフレームは適宜変更可能である。例えば、現在のフレームと１０フレーム前とで輝度の差分を求めても良い。また、数フレームにわたって継続して輝度が変化しない部分を、基準物を示す部分として特定しても良い。   In the above embodiment, the difference in luminance between the current frame and the previous frame is obtained, but the frame to be compared can be changed as appropriate. For example, a luminance difference may be obtained between the current frame and 10 frames before. In addition, a portion where the luminance does not change continuously over several frames may be specified as a portion indicating the reference object.

上記実施形態では、撮像画像から抽出された撮像対象画像に目安線などを合成した合成画像を表示する例を示した。しかし、撮像対象画像そのものを表示するようにしてもよい。   In the above-described embodiment, an example in which a composite image in which a reference line or the like is combined with an imaging target image extracted from the captured image is displayed. However, the captured image itself may be displayed.

上記実施形態ならびに変形例では、所定空間位置定義情報は、合成画像上における基準物の位置を％表示で示すものであった。しかし、所定空間位置定義情報は、例えば、合成画像上における基準物の所定の部分の位置を、下あるいは上から何行目もしくは左あるいは右から何列目であるかにより撮像対象の撮像対象画像上における位置を定義する情報であってもよい。なお、何行目もしくは何列目であるかとは、何画素目であるかと同義である。基準物は、実施形態のように基準となる線を示すものであってもよいし、変形例のように基準となる点を示すものであってもよい。   In the above embodiment and the modification, the predetermined space position definition information indicates the position of the reference object on the composite image in% display. However, the predetermined spatial position definition information is, for example, an imaging target image of an imaging target depending on the position of the predetermined portion of the reference object on the composite image, the number of rows from the bottom or top, or the number of columns from the left or right It may be information defining a position on the top. Note that the number of rows or columns is synonymous with the number of pixels. The reference object may indicate a reference line as in the embodiment, or may indicate a reference point as in the modification.

上記実施形態においては、撮像画像において輝度の差分が小さい部分をリヤバンパーに相当する部分として特定した。また、変形例においては、エッジ検出によりリヤバンパーの上端部を検出して、撮像画像中のリヤバンパーに相当する部分を特定する方法を示した。しかし、撮像画像中の基準物（リヤバンパー）に相当する部分を特定する方法は、これらの方法に限られない。例えば、リヤバンパーの色を示す情報をあらかじめ設定メモリ３８などに記憶しておき、撮像画像中の当該色を示す画素部分をリヤバンパーに相当する部分として特定しても良い。   In the above-described embodiment, a portion having a small luminance difference in the captured image is specified as a portion corresponding to the rear bumper. In the modification, a method of detecting the upper end portion of the rear bumper by edge detection and specifying a portion corresponding to the rear bumper in the captured image is shown. However, the method for specifying the portion corresponding to the reference object (rear bumper) in the captured image is not limited to these methods. For example, information indicating the color of the rear bumper may be stored in advance in the setting memory 38 or the like, and a pixel portion indicating the color in the captured image may be specified as a portion corresponding to the rear bumper.

なお、本発明に係る画像処理装置は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、画像を入力可能なコンピュータに、上記動作を実行するためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ Ｄｉｓｋ）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これをコンピュータシステムにインストールすることにより、上述の処理を実行する画像処理装置を構成しても良い。   Note that the image processing apparatus according to the present invention can be realized using a normal computer system, not a dedicated system. For example, a program for performing the above operation on a computer capable of inputting an image is a flexible disk, a CD-ROM (Compact Disk Read-Only Memory), a DVD (Digital Versatile Disk), an MO (Magneto Optical Disk), or the like. An image processing apparatus that performs the above-described processing may be configured by storing and distributing in a computer-readable recording medium and installing the recording medium in a computer system.

さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。   Furthermore, the program may be stored in a disk device or the like included in a server device on the Internet, and may be downloaded onto a computer by being superimposed on a carrier wave, for example.

本発明は、例えば、車載用の撮像装置に利用することができる。   The present invention can be used for, for example, an in-vehicle imaging device.

１０ カメラ
２０ 照明光源
３０ 画像処理装置
３１ Ａ／Ｄ変換器
３２ 画像メモリ
３３ ＲＯＭ
３４ ＣＰＵ（特定手段、抽出手段、生成手段）
３５ ＲＡＭ
３６ 表示制御部
３７ 光源制御部
３８ 設定メモリ（記憶手段）
３９ 操作装置
４０ センサ入力部
５０ 表示装置
６０ 車速センサ
１００ 画像処理システム
１１０ 記憶部
１２０ 特定部
１３０ 抽出部
１４０ 生成部
２００ リヤバンパー
１０００ 車両 DESCRIPTION OF SYMBOLS 10 Camera 20 Illumination light source 30 Image processing apparatus 31 A / D converter 32 Image memory 33 ROM
34 CPU (identifying means, extracting means, generating means)
35 RAM
36 Display Control Unit 37 Light Source Control Unit 38 Setting Memory (Storage Unit)
39 Operating device 40 Sensor input unit 50 Display device 60 Vehicle speed sensor 100 Image processing system 110 Storage unit 120 Identification unit 130 Extraction unit 140 Generation unit 200 Rear bumper 1000 Vehicle

Claims (6)

車両の一部を含んだ所定の空間を含む撮像空間を撮像して得られる撮像画像上における前記車両の一部の位置を基準とした前記撮像画像上における前記所定の空間の領域を定義する所定空間位置定義情報を記憶する記憶手段と、
前記撮像画像上における前記車両の一部の位置を特定する特定手段と、
前記記憶手段に記憶されている前記所定空間位置定義情報と前記特定手段により特定された前記撮像画像上における前記車両の一部の位置とに基づいて、前記撮像画像から前記所定の空間を示す画像部分を抽出する抽出手段と、
前記抽出手段により抽出された画像部分を表示装置に表示させるための画像信号を生成する生成手段と、を備える、
ことを特徴とする画像処理装置。 A predetermined that defines an area of the predetermined space on the captured image based on a position of the part of the vehicle on a captured image obtained by capturing an imaging space including a predetermined space including a part of the vehicle Storage means for storing spatial position definition information;
A specifying means for specifying a position of a part of the vehicle on the captured image;
An image indicating the predetermined space from the captured image based on the predetermined space position definition information stored in the storage unit and a position of a part of the vehicle on the captured image specified by the specifying unit. Extraction means for extracting the part;
Generating means for generating an image signal for causing the display device to display the image portion extracted by the extracting means,
An image processing apparatus. 前記撮像画像は、前記車両に設置された撮像装置が前記車両の移動中に前記撮像空間を撮像して得られた動画像であり、
前記特定手段は、前記動画像上における画素の輝度の変化が小さい画像部分の位置を前記車両の一部の位置として特定する、
ことを特徴とする請求項１に記載の画像処理装置。 The captured image is a moving image obtained by imaging the imaging space while an imaging device installed in the vehicle moves the vehicle,
The specifying means specifies a position of an image portion where a change in luminance of a pixel on the moving image is small as a position of a part of the vehicle;
The image processing apparatus according to claim 1. 前記生成手段は、前記抽出手段により抽出された画像部分を前記表示装置の画面上の一定の位置に表示させるとともに当該画面上の一定の位置にガイド線を重畳表示させるための画像信号を生成する、
ことを特徴とする請求項１または２に記載の画像処理装置。 The generation unit generates an image signal for displaying the image portion extracted by the extraction unit at a certain position on the screen of the display device and displaying a guide line superimposed on the certain position on the screen. ,
The image processing apparatus according to claim 1, wherein the image processing apparatus is an image processing apparatus. 前記所定の空間は、前記車両の後方の空間を含み、
前記車両の一部は、前記車両のリヤバンパーである、
ことを特徴とする請求項１に記載の画像処理装置。 The predetermined space includes a space behind the vehicle,
A part of the vehicle is a rear bumper of the vehicle;
The image processing apparatus according to claim 1. 記憶手段、特定手段、抽出手段、生成手段を備える画像処理装置が実行する画像処理方法であって、
前記記憶手段は、
車両の一部を含んだ所定の空間を含む撮像空間を撮像して得られる撮像画像上における前記車両の一部の位置を基準とした前記撮像画像上における前記所定の空間の領域を定義する所定空間位置定義情報を記憶し、
前記画像処理方法は、
前記特定手段が、前記撮像画像上における前記車両の一部の位置を特定する特定ステップと、
前記抽出手段が、前記記憶手段に記憶されている前記所定空間位置定義情報と前記特定手段により特定された前記撮像画像上における前記車両の一部の位置とに基づいて、前記撮像画像から前記所定の空間を示す画像部分を抽出する抽出ステップと、
前記生成手段が、前記抽出手段により抽出された画像部分を表示装置に表示させるための画像信号を生成する生成ステップと、を備える、
ことを特徴とする画像処理方法。 An image processing method executed by an image processing apparatus including a storage unit, an identification unit, an extraction unit, and a generation unit,
The storage means
A predetermined that defines an area of the predetermined space on the captured image based on a position of the part of the vehicle on a captured image obtained by capturing an imaging space including a predetermined space including a part of the vehicle Store spatial location definition information,
The image processing method includes:
A specifying step in which the specifying unit specifies a position of a part of the vehicle on the captured image;
The extraction unit is configured to extract the predetermined space from the captured image based on the predetermined spatial position definition information stored in the storage unit and a position of a part of the vehicle on the captured image specified by the specifying unit. An extraction step of extracting an image portion indicating the space of
The generating unit includes a generating step of generating an image signal for causing the display device to display the image portion extracted by the extracting unit;
An image processing method. コンピュータを、
車両の一部を含んだ所定の空間を含む撮像空間を撮像して得られる撮像画像上における前記車両の一部の位置を基準とした前記撮像画像上における前記所定の空間の領域を定義する所定空間位置定義情報を記憶する記憶手段、
前記撮像画像上における前記車両の一部の位置を特定する特定手段、
前記記憶手段に記憶されている前記所定空間位置定義情報と前記特定手段により特定された前記撮像画像上における前記車両の一部の位置とに基づいて、前記撮像画像から前記所定の空間を示す画像部分を抽出する抽出手段、
前記抽出手段により抽出された画像部分を表示装置に表示させるための画像信号を生成する生成手段、
として機能させることを特徴とするプログラム。 Computer
A predetermined that defines an area of the predetermined space on the captured image based on a position of the part of the vehicle on a captured image obtained by capturing an imaging space including a predetermined space including a part of the vehicle Storage means for storing spatial position definition information;
A specifying means for specifying a position of a part of the vehicle on the captured image;
An image indicating the predetermined space from the captured image based on the predetermined space position definition information stored in the storage unit and a position of a part of the vehicle on the captured image specified by the specifying unit. Extraction means for extracting the part,
Generating means for generating an image signal for causing the display device to display the image portion extracted by the extracting means;
A program characterized by functioning as
JP2009024232A 2009-02-04 2009-02-04 Image processing apparatus, image processing method, and program Expired - Fee Related JP5208790B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009024232A JP5208790B2 (en) 2009-02-04 2009-02-04 Image processing apparatus, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009024232A JP5208790B2 (en) 2009-02-04 2009-02-04 Image processing apparatus, image processing method, and program

Publications (2)

Publication Number Publication Date
JP2010183294A true JP2010183294A (en) 2010-08-19
JP5208790B2 JP5208790B2 (en) 2013-06-12

Family

ID=42764490

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009024232A Expired - Fee Related JP5208790B2 (en) 2009-02-04 2009-02-04 Image processing apparatus, image processing method, and program

Country Status (1)

Country Link
JP (1) JP5208790B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015207879A (en) * 2014-04-18 2015-11-19 富士通株式会社 Imaging-direction normality determination method, imaging device attachment state evaluation program, and imaging device attachment state evaluation device
JPWO2014073571A1 (en) * 2012-11-08 2016-09-08 日立建機株式会社 Image processing apparatus for self-propelled industrial machine and image processing method for self-propelled industrial machine
US10027953B2 (en) 2014-04-18 2018-07-17 Fujitsu Limited Determination method and determination apparatus
WO2018164273A1 (en) * 2017-03-10 2018-09-13 株式会社タダノ Human detection system for work vehicle, and work vehicle equipped with same
US10230946B2 (en) 2014-04-18 2019-03-12 Fujitsu Limited Method of detecting tilt of image capturing direction and apparatus of detecting tilt of image capturing direction

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000272445A (en) * 1999-01-19 2000-10-03 Toyota Autom Loom Works Ltd Steering support device in reversing vehicle
JP2002074339A (en) * 2000-08-31 2002-03-15 Hitachi Ltd On-vehicle image pickup unit
JP2003095028A (en) * 2001-09-20 2003-04-03 Nippon Seiki Co Ltd Monitoring device for vehicle
JP2004001658A (en) * 2002-06-03 2004-01-08 Nissan Motor Co Ltd Optical axis deviation detector for in-vehicle camera
JP2004200819A (en) * 2002-12-17 2004-07-15 Clarion Co Ltd Method of calibrating mounted camera and calibrator
JP2009038558A (en) * 2007-08-01 2009-02-19 Fuji Heavy Ind Ltd Correction apparatus for monitor camera

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000272445A (en) * 1999-01-19 2000-10-03 Toyota Autom Loom Works Ltd Steering support device in reversing vehicle
JP2002074339A (en) * 2000-08-31 2002-03-15 Hitachi Ltd On-vehicle image pickup unit
JP2003095028A (en) * 2001-09-20 2003-04-03 Nippon Seiki Co Ltd Monitoring device for vehicle
JP2004001658A (en) * 2002-06-03 2004-01-08 Nissan Motor Co Ltd Optical axis deviation detector for in-vehicle camera
JP2004200819A (en) * 2002-12-17 2004-07-15 Clarion Co Ltd Method of calibrating mounted camera and calibrator
JP2009038558A (en) * 2007-08-01 2009-02-19 Fuji Heavy Ind Ltd Correction apparatus for monitor camera

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2014073571A1 (en) * 2012-11-08 2016-09-08 日立建機株式会社 Image processing apparatus for self-propelled industrial machine and image processing method for self-propelled industrial machine
JP2015207879A (en) * 2014-04-18 2015-11-19 富士通株式会社 Imaging-direction normality determination method, imaging device attachment state evaluation program, and imaging device attachment state evaluation device
US10027953B2 (en) 2014-04-18 2018-07-17 Fujitsu Limited Determination method and determination apparatus
US10026178B2 (en) 2014-04-18 2018-07-17 Fujitsu Limited Method of determining normality of imaging direction, and evaluation device of evaluating attachment state of imaging device
US10230946B2 (en) 2014-04-18 2019-03-12 Fujitsu Limited Method of detecting tilt of image capturing direction and apparatus of detecting tilt of image capturing direction
US10616570B2 (en) 2014-04-18 2020-04-07 Fujitsu Limited Determination method and determination apparatus
WO2018164273A1 (en) * 2017-03-10 2018-09-13 株式会社タダノ Human detection system for work vehicle, and work vehicle equipped with same
JP2018152685A (en) * 2017-03-10 2018-09-27 株式会社タダノ Person detection system for work vehicle and work vehicle including the same
CN110383831A (en) * 2017-03-10 2019-10-25 株式会社多田野 Personnel's detection system of working truck and the working truck for having the system
CN110383831B (en) * 2017-03-10 2021-01-22 株式会社多田野 Person detection system for work vehicle and work vehicle provided with same

Also Published As

Publication number Publication date
JP5208790B2 (en) 2013-06-12

Similar Documents

Publication Publication Date Title
JP4861034B2 (en) Car camera calibration system
JP5689872B2 (en) Vehicle periphery monitoring device
JP4611899B2 (en) Camera lens dirt detection device and image display system
JP2008182652A (en) Camera posture estimation device, vehicle, and camera posture estimating method
JP2010085186A (en) Calibration device for on-vehicle camera
JP2009230235A (en) Image processor and method, driving support system, and vehicle
JP2011151666A (en) Device, system and method for acquiring parameter, and program
JP5208790B2 (en) Image processing apparatus, image processing method, and program
JP2010136289A (en) Device and method for supporting drive
JP2006157739A (en) Abnormality detecting device of image pickup apparatus
JP2008085710A (en) Driving support system
JP5505764B2 (en) On-vehicle camera device calibration support method, calibration support device, and on-vehicle camera device
US10861192B2 (en) Vehicle device, calibration result determination method, and non-transitory storage medium
JP2007181129A (en) Vehicle-mounted movable body detection instrument
JP5240517B2 (en) Car camera calibration system
JP2002087160A (en) Vehicular surrounding image processing device and recording medium
JP2006295346A (en) Image processing apparatus and driving supporting device for vehicle using this
JP6617734B2 (en) Vehicle display device
US20110298913A1 (en) Pupil hidden state detecting apparatus and vehicle-mounted camera employing the same
JP6617733B2 (en) Vehicle display device
JP2005339152A (en) Moving body detector
JP4814752B2 (en) Display control device
JP2008042759A (en) Image processing apparatus
JP6855254B2 (en) Image processing device, image processing system, and image processing method
JP2011180962A (en) Drive assist device, drive assist method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130220

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160301

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5208790

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees