JP2018115996A - Distance calculation device and distance calculation method - Google Patents

Distance calculation device and distance calculation method Download PDF

Info

Publication number
JP2018115996A
JP2018115996A JP2017007901A JP2017007901A JP2018115996A JP 2018115996 A JP2018115996 A JP 2018115996A JP 2017007901 A JP2017007901 A JP 2017007901A JP 2017007901 A JP2017007901 A JP 2017007901A JP 2018115996 A JP2018115996 A JP 2018115996A
Authority
JP
Japan
Prior art keywords
vehicle
stationary object
specific stationary
unit
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017007901A
Other languages
Japanese (ja)
Other versions
JP6770903B2 (en
Inventor
大輔 塩田
Daisuke Shioda
大輔 塩田
山本 修
Osamu Yamamoto
修 山本
俊光 遠部
Toshimitsu Ombe
俊光 遠部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2017007901A priority Critical patent/JP6770903B2/en
Publication of JP2018115996A publication Critical patent/JP2018115996A/en
Application granted granted Critical
Publication of JP6770903B2 publication Critical patent/JP6770903B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measurement Of Optical Distance (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a distance calculation technology that can calculate a distance from a tire to a specific stationary object even when the specific stationary object enters into an area being not able to be imaged.SOLUTION: A distance calculation device comprises a detection unit, a measurement unit, an estimation unit, a storage unit, and a calculation unit. The detection unit detects a specific stationary object for a photographic image obtained by a camera imaging a periphery of a vehicle. The measurement unit measures a horizontal distance L1 from a tip part of the vehicle to a detection object at a detection time point on the basis of the photographic image. The estimation unit estimates a movement amount Δ in a predetermined direction of the vehicle by means of a movement stereo method. The storage unit preliminarily stores a horizontal distance L2 from the tip part of the vehicle to a predetermined position of a tire which the vehicle comprises. The calculation unit calculates the distance in the predetermined direction from the predetermined position of the tire to the detection object using Δ, L1, and L2. The predetermined direction is a horizontal direction from the tip part of the vehicle toward the detection object at the detection time point.SELECTED DRAWING: Figure 1

Description

本発明は、特定の静止物に関する距離を算出する距離算出技術に関する。   The present invention relates to a distance calculation technique for calculating a distance related to a specific stationary object.

静止物を検出する手法として、1つのカメラで異なる位置で撮影された2つの撮影画像を用いて、画像中の静止物を検出する移動ステレオ方式が知られている(例えば特許文献1参照)。車両に搭載されたカメラを用いた移動ステレオ方式は、車両の移動に伴ってカメラが移動すると、路面上に展開された高さのある静止物の移動量(動きベクトルの大きさ)が路面の移動量よりも大きくなるという特徴を用いて静止物を検出する。   As a method for detecting a stationary object, a moving stereo system that detects a stationary object in an image using two captured images captured at different positions by a single camera is known (for example, see Patent Document 1). In the moving stereo system using a camera mounted on a vehicle, when the camera moves as the vehicle moves, the amount of movement of a stationary object with a height developed on the road surface (the magnitude of the motion vector) A stationary object is detected by using the feature that it becomes larger than the moving amount.

特開2009−180536号公報JP 2009-180536 A

移動ステレオ方式は、1つのカメラで異なる位置で撮影された2つの撮影画像を用いて静止物を検出するため、カメラを搭載している車両の停止時には静止物を検出することができないという問題点を有している。   The moving stereo method detects a stationary object using two captured images taken at different positions with a single camera, and therefore cannot detect a stationary object when the vehicle equipped with the camera is stopped. have.

また、移動ステレオ方式は、カメラを搭載している車両が移動しているときでも、高さの低い静止物は路面上に展開された静止物の移動量と路面の移動量との差分が小さいために検出が困難であるという問題点も有している。   In addition, the moving stereo system has a small difference between the moving amount of the stationary object developed on the road surface and the moving amount of the road surface even when the vehicle equipped with the camera is moving. Therefore, there is a problem that detection is difficult.

さらに、車両の最低地上高よりも高さの低い静止物(例えばタイヤ止め、縁石等)に車両が衝突する場合、静止物がカメラで撮影できない領域に入ってから車両のタイヤが静止物に衝突することになるので、衝突直前での静止物と車両のタイヤとの距離を撮影画像で認識することができない。このため、車両のドライバーが回避したい衝突が発生するおそれがあった。なお、車両のドライバーが回避したい衝突としては、例えば、車両のタイヤとタイヤ止めとの勢いのよい衝突、車両のタイヤと縁石との衝突等を挙げることができる。   In addition, when a vehicle collides with a stationary object (for example, a tire stop, curbstone, etc.) that is lower than the minimum ground clearance of the vehicle, the vehicle tire collides with the stationary object after entering the area where the stationary object cannot be captured by the camera. Therefore, the distance between the stationary object and the vehicle tire immediately before the collision cannot be recognized from the captured image. For this reason, there is a risk of a collision that the vehicle driver wants to avoid. Examples of the collision that the driver of the vehicle wants to avoid include a high-impact collision between the vehicle tire and the tire stop, and a collision between the vehicle tire and the curb.

本発明は、上記の課題に鑑み、特定の静止物が撮影できない領域に入ってもタイヤから特定の静止物までの距離を算出することができる距離算出技術を提供することを目的とする。   In view of the above-described problems, an object of the present invention is to provide a distance calculation technique capable of calculating the distance from a tire to a specific stationary object even in a region where a specific stationary object cannot be photographed.

本発明に係る距離算出装置は、車両の周辺を撮影するカメラで得られた撮影画像について特定の静止物を検出する検出部と、前記検出部によって前記特定の静止物が検出された時点で前記車両の先端部から前記特定の静止物までの水平距離を前記撮影画像に基づいて測定する測定部と、異なる位置で撮像された2つの前記撮影画像を用いて移動ステレオ方式により前記車両の所定方向における移動量を推定する推定部と、前記車両の先端部から前記車両が備えるタイヤの所定位置までの水平距離を予め記憶する記憶部と、前記測定部の測定結果、前記推定部の推定結果、及び前記記憶部の記憶内容を用いて、前記タイヤの前記所定位置から前記特定の静止物までの前記所定方向における距離を算出する算出部と、を備え、前記所定方向は、前記検出部によって前記特定の静止物が検出された時点での前記車両の先端部から前記特定の静止物に向かう水平方向である構成(第1の構成)である。   The distance calculation device according to the present invention includes a detection unit that detects a specific stationary object in a captured image obtained by a camera that captures the periphery of a vehicle, and the specific stationary object is detected when the detection unit detects the specific stationary object. A measuring unit that measures a horizontal distance from the front end of the vehicle to the specific stationary object based on the captured image, and a predetermined direction of the vehicle by a moving stereo method using the two captured images captured at different positions An estimation unit that estimates the amount of movement in the vehicle, a storage unit that stores in advance a horizontal distance from a tip of the vehicle to a predetermined position of a tire included in the vehicle, a measurement result of the measurement unit, an estimation result of the estimation unit, And a calculation unit that calculates a distance in the predetermined direction from the predetermined position of the tire to the specific stationary object using the storage content of the storage unit, and the predetermined direction is the front Is constituted by a detection unit is a horizontal direction toward the specific stationary object from a distal end portion of the vehicle at the time the specific stationary object is detected (first configuration).

また、上記第1の構成の距離算出装置において、前記推定部は、前記特定の静止物よりも前記車両から離れている前記撮影画像中の特徴点を用いて、移動ステレオ方式により前記車両の前記所定方向における移動量を推定する構成(第2の構成)であってもよい。   Further, in the distance calculation device of the first configuration, the estimation unit uses the feature point in the captured image that is farther from the vehicle than the specific stationary object, and uses the feature point in the captured image of the vehicle. A configuration (second configuration) for estimating a movement amount in a predetermined direction may be used.

また、上記第2の構成の距離算出装置において、前記推定部は、前記特定の静止物よりも、前記車両の先端部から前記タイヤの前記所定位置までの水平距離以上、前記車両から離れている前記撮影画像中の特徴点を用いて、移動ステレオ方式により前記車両の前記所定方向における移動量を推定する構成(第3の構成)であってもよい。   Further, in the distance calculation device according to the second configuration, the estimation unit is separated from the vehicle by a horizontal distance from the tip of the vehicle to the predetermined position of the tire, rather than the specific stationary object. A configuration (third configuration) in which the amount of movement of the vehicle in the predetermined direction is estimated by a moving stereo method using feature points in the captured image may be used.

また、上記第1〜第3いずれかの構成の距離算出装置において、前記算出部によって算出された前記タイヤの前記所定位置から前記特定の静止物までの距離を通知する通知信号を生成する通知信号生成部を備える構成(第4の構成)であってもよい。   Further, in the distance calculation device having any one of the first to third configurations, a notification signal for generating a notification signal for notifying a distance from the predetermined position of the tire calculated by the calculation unit to the specific stationary object A configuration (fourth configuration) including a generation unit may be used.

また、上記第4の構成の距離算出装置において、前記通知信号は、前記タイヤ及び前記特定の静止物を含む画像を表示させる表示信号である構成(第5の構成)であってもよい。   In the distance calculation device having the fourth configuration, the notification signal may be a display signal (fifth configuration) that displays an image including the tire and the specific stationary object.

また、上記第1〜第5いずれかの構成の距離算出装置において、前記検出部が前記特定の静止物を複数検出した場合、前記測定部は、前記検出部によって前記特定の静止物が検出された時点で前記車両の先端部から前記車両の先端部に最も近い前記特定の静止物までの水平距離を前記撮影画像に基づいて測定する構成(第6の構成)であってもよい。   In the distance calculation device having any one of the first to fifth configurations, when the detection unit detects a plurality of the specific stationary objects, the measurement unit detects the specific stationary object by the detection unit. A configuration (sixth configuration) may be employed in which a horizontal distance from the front end of the vehicle to the specific stationary object closest to the front end of the vehicle is measured based on the captured image.

また、上記第1〜第6いずれかの構成の距離算出装置において、前記タイヤの予想進路線が前記特定の静止物に当たるか否かを判定する判定部と、前記タイヤと前記特定の静止物とが接触しないおそれ又は前記タイヤと前記特定の静止物とが接触するおそれのいずれか一方を知らせる警告信号を前記判定部の判定結果に基づいて生成する警告信号生成部と、を備える構成(第7の構成)であってもよい。   In the distance calculation device having any one of the first to sixth configurations, a determination unit that determines whether an expected course of the tire hits the specific stationary object, the tire, the specific stationary object, A warning signal generation unit that generates a warning signal notifying that either the tire does not contact or the tire and the specific stationary object may contact based on the determination result of the determination unit (seventh) Configuration).

また、上記第1〜第7いずれかの構成の距離算出装置において、前記車両の最低地上高の低下を前記撮影画像中の駐車枠の形状に基づいて検出する低下検出部と、前記車両の底部と前記特定の静止物とが接触するおそれを知らせる接触警告信号を前記低下検出部の検出結果に基づいて生成する接触警告信号生成部と、を備える構成(第8の構成)であってもよい。   In the distance calculation device having any one of the first to seventh configurations, a decrease detection unit that detects a decrease in the minimum ground clearance of the vehicle based on a shape of a parking frame in the captured image, and a bottom portion of the vehicle And a contact warning signal generation unit that generates a contact warning signal informing that there is a risk of contact with the specific stationary object based on the detection result of the lowering detection unit (eighth configuration). .

本発明に係る距離算出方法は、車両の周辺を撮影するカメラで得られた撮影画像について特定の静止物を検出する検出工程と、前記検出工程によって前記特定の静止物が検出された時点で前記車両の先端部から前記特定の静止物までの水平距離を前記撮影画像に基づいて測定する測定工程と、異なる位置で撮像された2つの前記撮影画像を用いて移動ステレオ方式により前記車両の所定方向における移動量を推定する推定工程と、前記車両の先端部から前記車両が備えるタイヤの所定位置までの水平距離を読み出す読み出し工程と、前記測定工程の測定結果、前記推定工程の推定結果、及び前記読み出し工程の読み出し内容を用いて、前記タイヤの前記所定位置から前記特定の静止物までの前記所定方向における距離を算出する算出工程と、を備え、前記所定方向は、前記検出部によって前記特定の静止物が検出された時点での前記車両の先端部から前記特定の静止物に向かう水平方向である構成(第9の構成)である。   The distance calculation method according to the present invention includes a detection step of detecting a specific stationary object with respect to a captured image obtained by a camera that captures the periphery of the vehicle, and when the specific stationary object is detected by the detection step, A measuring step of measuring a horizontal distance from the front end of the vehicle to the specific stationary object based on the captured image, and a predetermined direction of the vehicle by a moving stereo method using the two captured images captured at different positions An estimation step of estimating the amount of movement in the vehicle, a readout step of reading a horizontal distance from a tip of the vehicle to a predetermined position of a tire provided in the vehicle, a measurement result of the measurement step, an estimation result of the estimation step, and the A calculation step of calculating a distance in the predetermined direction from the predetermined position of the tire to the specific stationary object using the read content of the read step; Wherein the predetermined direction, said specific stationary object by the detection unit is configured in the horizontal direction toward the specific stationary object from a distal end portion of the vehicle at the time it was detected (ninth configuration).

本発明の距離算出技術によれば、特定の静止物が撮影できない領域に入ってもタイヤから特定の静止物までの距離を算出することができる。この算出された距離は、例えば車両のドライバーが回避したい衝突の発生を防止するために役立てることができる。   According to the distance calculation technique of the present invention, it is possible to calculate the distance from a tire to a specific stationary object even in a region where a specific stationary object cannot be photographed. This calculated distance can be used, for example, to prevent the occurrence of a collision that the driver of the vehicle wants to avoid.

第1実施形態に係る距離算出装置の構成を示す図The figure which shows the structure of the distance calculation apparatus which concerns on 1st Embodiment. 移動物及び静止物の検出可否を示す図A diagram showing whether or not moving and stationary objects can be detected 特定の静止物が検出された時点での車両と特定の静止物との位置関係を示す模式図Schematic diagram showing the positional relationship between the vehicle and the specific stationary object at the time when the specific stationary object is detected 後輪タイヤ及び特定の静止物を含むアニメーション画像を示す図The figure which shows the animation image containing a rear-wheel tire and a specific stationary object 第1実施形態に係る距離算出装置の動作例を示すフローチャートThe flowchart which shows the operation example of the distance calculation apparatus which concerns on 1st Embodiment. 複数の特定の静止物が検出された時点での車両と特定の静止物との位置関係を示す模式図Schematic diagram showing the positional relationship between the vehicle and the specific stationary object when a plurality of specific stationary objects are detected 仮想視点画像の生成手法について説明するための図The figure for explaining the generation method of the virtual viewpoint image 車両の車体を透過させた画像を示す図The figure which shows the image which permeate | transmitted the vehicle body of a vehicle 第2実施形態に係る距離算出装置の構成を示す図The figure which shows the structure of the distance calculation apparatus which concerns on 2nd Embodiment. タイヤの進路予想線を含む画像を示す図The figure which shows the image which includes the track line of the tire 第3実施形態に係る距離算出装置の構成を示す図The figure which shows the structure of the distance calculation apparatus which concerns on 3rd Embodiment. 駐車枠を含む画像を示す図The figure which shows the image which includes the parking frame

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。以下の説明では、車両の直進進行方向であって、運転席からステアリングに向かう方向を「前方向」と呼ぶ。また、車両の直進進行方向であって、ステアリングから運転席に向かう方向を「後方向」と呼ぶ。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転手の右側から左側に向かう方向を「左方向」と呼ぶ。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転手の左側から右側に向かう方向を「右方向」と呼ぶ。   Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings. In the following description, the direction in which the vehicle travels straight and is directed from the driver's seat to the steering is referred to as “front direction”. Further, the direction in which the vehicle travels straight and is directed from the steering to the driver's seat is referred to as “rearward direction”. Also, the direction from the right side to the left side of the driver who faces the forward direction and is the direction perpendicular to the straight traveling direction of the vehicle and the vertical line is referred to as “left direction”. Further, the direction from the left side to the right side of the driver who faces the forward direction and is the direction perpendicular to the straight traveling direction of the vehicle and the vertical line is referred to as “right direction”.

<<1.第1実施形態>>
<1−1.画像処理装置及び距離算出装置の構成>
図1は、第1実施形態に係る距離算出装置の構成を示す図である。図1に示すバックカメラ100、画像処理装置200、及び表示装置300は車両に搭載される。画像処理装置200の一部が距離算出装置212(第1実施形態に係る距離算出装置)を構成している。
<< 1. First embodiment >>
<1-1. Configuration of Image Processing Device and Distance Calculation Device>
FIG. 1 is a diagram illustrating a configuration of a distance calculation apparatus according to the first embodiment. The back camera 100, the image processing device 200, and the display device 300 shown in FIG. 1 are mounted on a vehicle. A part of the image processing apparatus 200 constitutes a distance calculation apparatus 212 (distance calculation apparatus according to the first embodiment).

バックカメラ100は、車両の後端部に設けられ、車両の後方向を撮影する。バックカメラ100の取付位置は、車両の左右中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。バックカメラ100は、撮影画像を画像処理装置200に出力する。   The back camera 100 is provided at the rear end portion of the vehicle and photographs the rear direction of the vehicle. The mounting position of the back camera 100 is preferably the left and right center of the vehicle, but may be a position slightly deviated from the left and right center in the left and right direction. The back camera 100 outputs the captured image to the image processing apparatus 200.

表示装置300は、車両のドライバーが表示装置300の表示画面を視認できる位置に設けられ、画像処理装置200から出力される画像を表示する。   The display device 300 is provided at a position where the driver of the vehicle can visually recognize the display screen of the display device 300 and displays an image output from the image processing device 200.

画像処理装置200は、バックカメラ100から出力される撮影画像を処理し、処理後の画像を表示装置300に出力する。   The image processing device 200 processes the captured image output from the back camera 100 and outputs the processed image to the display device 300.

画像処理装置200は、ASIC(application specific integrated circuit)やFPGA(field-programmable gate array)等のハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて画像処理装置200を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、当該プログラムをプログラム実行装置上で実行することによって、その機能を実現するようにしてもよい。プログラム実行装置としては、例えばCPU(Central Processing Unit)、RAM(Random Access Memory)、及びROM(Read Only Memory)を備えるコンピュータを挙げることができる。   The image processing apparatus 200 can be configured by hardware such as an application specific integrated circuit (ASIC) or a field-programmable gate array (FPGA), or a combination of hardware and software. When the image processing apparatus 200 is configured using software, a block diagram of a part realized by software represents a functional block diagram of the part. A function realized using software may be described as a program, and the function may be realized by executing the program on a program execution device. Examples of the program execution device include a computer including a CPU (Central Processing Unit), a RAM (Random Access Memory), and a ROM (Read Only Memory).

画像処理装置200は、画像取得部201と、背景差分方式処理回路202と、移動ステレオ方式処理回路203と、パターンマッチング処理回路204と、特定パターン記憶用メモリ205と、画像出力部206と、を備える。   The image processing apparatus 200 includes an image acquisition unit 201, a background difference method processing circuit 202, a moving stereo method processing circuit 203, a pattern matching processing circuit 204, a specific pattern storage memory 205, and an image output unit 206. Prepare.

画像取得部201は、バックカメラ100からアナログ又はデジタルの撮影画像を所定の周期(例えば、1/30秒周期)で時間的に連続して取得する。そして、取得した撮影画像がアナログの場合には、画像取得部201は、そのアナログの撮影画像をデジタルの撮影画像に変換(A/D変換)する。画像取得部201は、取得した撮影画像、或いは、取得及び変換した撮影画像を、背景差分方式処理回路202、移動ステレオ方式処理回路203、パターンマッチング処理回路204、及び画像出力部206に出力する。画像取得部201から出力される1つの撮影画像が1つのフレーム画像となる。   The image acquisition unit 201 acquires analog or digital captured images from the back camera 100 continuously in a predetermined cycle (for example, 1/30 second cycle). If the acquired captured image is analog, the image acquisition unit 201 converts the analog captured image into a digital captured image (A / D conversion). The image acquisition unit 201 outputs the acquired captured image or the acquired and converted captured image to the background difference method processing circuit 202, the moving stereo method processing circuit 203, the pattern matching processing circuit 204, and the image output unit 206. One captured image output from the image acquisition unit 201 becomes one frame image.

背景差分方式処理回路202は、2つのフレーム画像間の差分を画素毎に算出し、差分が大きい領域を移動物として検出する。   The background difference method processing circuit 202 calculates a difference between two frame images for each pixel, and detects a region having a large difference as a moving object.

移動ステレオ方式処理回路203は、車両の移動に伴ってバックカメラ100が移動すると、路面上に展開された高さのある静止物の移動量(動きベクトルの大きさ)が路面の移動量よりも大きくなるという特徴を用いて静止物を検出する。   When the back camera 100 moves with the movement of the vehicle, the moving stereo system processing circuit 203 is such that the moving amount (the magnitude of the motion vector) of a stationary object with a height developed on the road surface is larger than the moving amount of the road surface. A stationary object is detected using the feature that it becomes larger.

パターンマッチング処理回路204は、特定の静止物に関する特定パターンを用いて、パターンマッチング処理によって特定の静止物を検出する。特定の静止物は、移動ステレオ方式処理回路203では検出が困難又は不可能な高さの低い静止物であって、例えばタイヤ止めや縁石等を挙げることができる。特定の静止物に関する特定パターンは、特定パターン記憶用メモリ205に予め記憶されている。例えばタイヤ止めをパターンマッチング処理回路204が検出できるようにする場合、タイヤ止めそれぞれに関する特定パターンを1つのみ特定パターン記憶用メモリ205に予め記憶させてもよいが、タイヤ止めには種々の形状のものが存在するので、代表的な複数種類の形状のタイヤ止めそれぞれに関する特定パターンを特定パターン記憶用メモリ205に予め記憶させることが望ましい。   The pattern matching processing circuit 204 detects a specific stationary object by a pattern matching process using a specific pattern related to the specific stationary object. The specific stationary object is a stationary object having a low height that is difficult or impossible to detect by the moving stereo system processing circuit 203, and examples thereof include a tire stopper and a curb. The specific pattern related to the specific stationary object is stored in advance in the specific pattern storage memory 205. For example, when the pattern matching processing circuit 204 can detect the tire stop, only one specific pattern for each tire stop may be stored in the specific pattern storage memory 205 in advance. Therefore, it is desirable to previously store a specific pattern relating to each of a plurality of typical types of tire stops in the specific pattern storage memory 205.

画像出力部206は、画像取得部201の出力、背景差分方式処理回路202の出力、移動ステレオ方式処理回路203の出力、パターンマッチング処理回路204の出力、及び後述する通知信号生成部211の出力の少なくとも1つに基づくフレーム画像を表示装置300に出力する。例えば、画像取得部201の出力、背景差分方式処理回路202の出力、移動ステレオ方式処理回路203の出力、及びパターンマッチング処理回路204の出力に基づくフレーム画像としては、画像取得部201から出力されたフレーム画像に、背景差分方式処理回路202によって検出された移動物を囲む検出枠、移動ステレオ方式処理回路203によって検出された静止物を囲む検出枠、及びパターンマッチング処理回路204によって検出された静止物を囲む検出枠を重畳した画像を挙げることができる。   The image output unit 206 outputs the output of the image acquisition unit 201, the output of the background difference method processing circuit 202, the output of the moving stereo method processing circuit 203, the output of the pattern matching processing circuit 204, and the output of the notification signal generation unit 211 described later. A frame image based on at least one is output to the display device 300. For example, a frame image based on the output of the image acquisition unit 201, the output of the background difference method processing circuit 202, the output of the moving stereo method processing circuit 203, and the output of the pattern matching processing circuit 204 is output from the image acquisition unit 201. In the frame image, a detection frame surrounding the moving object detected by the background difference processing circuit 202, a detection frame surrounding the stationary object detected by the moving stereo processing circuit 203, and a stationary object detected by the pattern matching processing circuit 204 An image in which a detection frame surrounding the image is superimposed can be given.

本実施形態のようにパターンマッチング処理回路204を設けることで、車両移動時及び車両停止時のいずれにおいても、高さの低い静止物の検出が可能となる(図2参照)。これに対して、パターンマッチング処理回路204を設けなければ、車両移動時及び車両停止時のいずれにおいても、高さの低い静止物の検出が困難又は不可能となる(図2参照)。なお、高さの高い静止物に関する特定パターンを特定パターン記憶用メモリ205に予め記憶させれば、車両停止時であっても高さの高い静止物をパターンマッチング処理回路204によって検出することが可能となる。   By providing the pattern matching processing circuit 204 as in this embodiment, a stationary object with a low height can be detected both when the vehicle is moving and when the vehicle is stopped (see FIG. 2). On the other hand, if the pattern matching processing circuit 204 is not provided, it is difficult or impossible to detect a stationary object having a low height both when the vehicle is moving and when the vehicle is stopped (see FIG. 2). If a specific pattern related to a high-height stationary object is stored in advance in the specific pattern storage memory 205, a high-height stationary object can be detected by the pattern matching processing circuit 204 even when the vehicle is stopped. It becomes.

画像処理装置200は、推定部207と、測定部208と、距離記憶用メモリ209と、算出部210と、通知信号生成部211と、をさらに備える。推定部207、測定部208、距離記憶用メモリ209、算出部210、及び通知信号生成部211は、上述した移動ステレオ方式処理回路203、パターンマッチング処理回路204、及び特定パターン記憶用メモリ205とともに、距離算出装置212を構成する。   The image processing apparatus 200 further includes an estimation unit 207, a measurement unit 208, a distance storage memory 209, a calculation unit 210, and a notification signal generation unit 211. The estimation unit 207, the measurement unit 208, the distance storage memory 209, the calculation unit 210, and the notification signal generation unit 211 together with the moving stereo system processing circuit 203, the pattern matching processing circuit 204, and the specific pattern storage memory 205 described above. The distance calculation device 212 is configured.

推定部207は、異なる位置で撮像された2つの撮像画像を用いて移動ステレオ方式により車両の所定方向における移動量を推定する。なお、所定方向は、図3に示すように、パターンマッチング処理回路204によって特定の静止物が検出された時点での車両の後端部E1から特定の静止物O1に向かう水平方向DIR1である。具体的には、推定部207は、移動ステレオ方式処理回路203によって検出される2つのフレーム画像内の路面上に位置する特徴点(例えば、路面に描かれた白線のエッジ、路面上のヒビ、路面上のシミ、路面上の砂利等)の移動量(動きベクトルの大きさ)を車両の移動量として、車両の所定方向における移動量を推定する。   The estimation unit 207 estimates the amount of movement of the vehicle in a predetermined direction by the moving stereo method using two captured images captured at different positions. Note that the predetermined direction is a horizontal direction DIR1 from the rear end E1 of the vehicle toward the specific stationary object O1 when the specific stationary object is detected by the pattern matching processing circuit 204, as shown in FIG. Specifically, the estimation unit 207 includes feature points located on the road surface in the two frame images detected by the moving stereo system processing circuit 203 (for example, the edge of a white line drawn on the road surface, a crack on the road surface, The amount of movement of the vehicle in a predetermined direction is estimated using the amount of movement (the magnitude of the motion vector) of a spot on the road surface, gravel on the road surface, etc.).

なお、推定部207が、特定の静止物よりも車両から離れている特徴点を用いて、車両の所定方向における移動量を推定することが望ましい。特定の静止物と車両と特徴点との位置関係にもよるが、特徴点が特定の静止物よりも車両から離れていると、特定の静止物がバックカメラ100で撮影できない領域に入っても特徴点はバックカメラ100で撮影できる領域に残っている可能性が高くなるからである。   Note that it is desirable that the estimation unit 207 estimates the amount of movement of the vehicle in a predetermined direction using feature points that are further away from the vehicle than a specific stationary object. Depending on the positional relationship between the specific stationary object, the vehicle, and the feature point, if the feature point is farther from the vehicle than the specific stationary object, even if the specific stationary object enters an area that cannot be captured by the back camera 100 This is because there is a high possibility that the feature point remains in an area that can be captured by the back camera 100.

また、推定部207が、特定の静止物よりも、車両の後端部から後輪タイヤの所定位置までの水平距離以上、車両から離れている特徴点を用いて、車両の所定方向における移動量を推定することがより望ましい。特定の静止物と車両と特徴点との位置関係にもよるが、特徴点が特定の静止物よりも、車両の後端部から後輪タイヤの所定位置までの水平距離以上、車両から離れていると、特定の静止物と後輪タイヤの所定位置が接触した状態においても特徴点はバックカメラ100で撮影できる領域に残っている可能性が高くなるからである。   In addition, the estimation unit 207 uses a feature point that is more than the horizontal distance from the rear end of the vehicle to the predetermined position of the rear tire than the specific stationary object to move the vehicle in the predetermined direction. It is more desirable to estimate Depending on the positional relationship between the specific stationary object, the vehicle, and the feature point, the feature point is farther from the vehicle than the specific stationary object by more than the horizontal distance from the rear end of the vehicle to the predetermined position of the rear tire. This is because there is a high possibility that the feature point remains in an area that can be photographed by the back camera 100 even in a state where a specific stationary object and a predetermined position of the rear wheel tire are in contact with each other.

上述したように、推定部207が特定の静止物よりも車両から離れている特徴点を用いる場合、特定の静止物よりも車両から離れている特徴点のみを用いて車両の所定方向における移動量を推定してもよく、特定の静止物より車両から離れていない特徴点も合わせて用いて車両の所定方向における移動量を推定してもよい。   As described above, when the estimation unit 207 uses a feature point that is farther from the vehicle than the specific stationary object, only the feature point that is farther from the vehicle than the specific stationary object is used to move the vehicle in a predetermined direction. Or a feature point that is not further away from the vehicle than a specific stationary object may be used together to estimate the amount of movement of the vehicle in a predetermined direction.

測定部208は、パターンマッチング処理回路204によって特定の静止物が検出された時点で車両の後端部から特定の静止物までの水平距離を、画像取得部201からパターンマッチング処理回路204に出力されたフレーム画像に基づいて測定する。具体的には、測定部208は、当該フレーム画像における特定の静止物の位置に基づいて、図3に示す車両の後端部E1から特定の静止物O1までの水平距離L1を測定する。   The measurement unit 208 outputs the horizontal distance from the rear end of the vehicle to the specific stationary object at the time when the specific stationary object is detected by the pattern matching processing circuit 204 from the image acquisition unit 201 to the pattern matching processing circuit 204. Measure based on the frame image. Specifically, the measurement unit 208 measures the horizontal distance L1 from the rear end E1 of the vehicle shown in FIG. 3 to the specific stationary object O1 based on the position of the specific stationary object in the frame image.

距離記憶用メモリ209は、図3に示す車両の後端部E1から後輪タイヤの所定位置P1までの水平距離L2を予め記憶する。なお、図3に示す所定位置P1は、車両が特定の静止物O1に向かって後進した場合に特定の静止物O1に最初に接触することが想定される後輪タイヤの部分位置である。特定の静止物の高さは1つに定まらないので、例えば想定される全ての種類における平均高さを求めて、その平均高さに基づいて所定位置を定めてもよく、また例えば最も出現頻度が高いと考えられる特定の静止物の高さに基づいて所定位置を定めてもよい。   The distance storage memory 209 stores in advance a horizontal distance L2 from the rear end E1 of the vehicle shown in FIG. 3 to a predetermined position P1 of the rear wheel tire. Note that the predetermined position P1 shown in FIG. 3 is a partial position of the rear wheel tire that is assumed to contact the specific stationary object O1 first when the vehicle moves backward toward the specific stationary object O1. Since the height of a specific stationary object is not fixed to one, for example, the average height of all possible types may be obtained, and the predetermined position may be determined based on the average height. The predetermined position may be determined based on the height of a specific stationary object that is considered to be high.

算出部210は、推定部207の推定結果、測定部208の測定結果、及び距離記憶用メモリ209の記憶内容を用いて、後輪タイヤの所定位置から特定の静止物までの所定方向における距離を算出する。具体的には、算出部210によって算出される距離は、図3に示す水平距離L1と水平距離L2とを加算した距離から推定部207によって推定された移動量を引いた値となる。上記の算出手法によると、推定部207の推定結果、測定部208の測定結果、及び距離記憶用メモリ209の記憶内容を用いているため、特定の静止物がバックカメラ100で撮影できない領域に入っても後輪タイヤの所定位置から特定の静止物までの距離を算出することができる。また、上記の算出手法によると、車両の移動量を把握するために距離算出装置212が車速情報やステアリングの舵角情報等を取得する必要がなく、画像処理のみで後輪タイヤの所定位置から特定の静止物までの距離を算出することができる。   The calculation unit 210 uses the estimation result of the estimation unit 207, the measurement result of the measurement unit 208, and the stored content of the distance storage memory 209 to calculate the distance in a predetermined direction from the predetermined position of the rear tire to a specific stationary object. calculate. Specifically, the distance calculated by the calculation unit 210 is a value obtained by subtracting the movement amount estimated by the estimation unit 207 from the distance obtained by adding the horizontal distance L1 and the horizontal distance L2 shown in FIG. According to the above calculation method, since the estimation result of the estimation unit 207, the measurement result of the measurement unit 208, and the storage content of the distance storage memory 209 are used, a specific stationary object enters an area where the back camera 100 cannot capture. Even the distance from the predetermined position of the rear wheel tire to the specific stationary object can be calculated. Further, according to the above calculation method, it is not necessary for the distance calculation device 212 to acquire vehicle speed information, steering angle information, and the like in order to grasp the amount of movement of the vehicle, and from a predetermined position of the rear wheel tire only by image processing. The distance to a specific stationary object can be calculated.

通知信号生成部211は、算出部210によって算出された距離を通知する通知信号を生成する。これにより、車両のドライバーが後輪タイヤと特定の静止物との距離を把握できるようになる。これにより、後輪タイヤとタイヤ止め(特定の静止物の一例)との勢いのよい衝突や後輪タイヤと縁石(特定の静止物の一例)との衝突等を回避する運転が車両のドライバーにとって可能となる。なお、距離の通知は、定性的な通知でもよく、定量的な通知でもよく、両者を合わせた通知であってもよい。   The notification signal generation unit 211 generates a notification signal that notifies the distance calculated by the calculation unit 210. As a result, the driver of the vehicle can grasp the distance between the rear wheel tire and the specific stationary object. As a result, it is possible for the vehicle driver to avoid a strong collision between the rear wheel tire and the tire stop (an example of a specific stationary object) or a collision between the rear wheel tire and the curb (an example of a specific stationary object). It becomes possible. The distance notification may be a qualitative notification, a quantitative notification, or a combined notification.

本実施形態では、通知信号生成部211によって生成される通知信号は、後輪タイヤ及び特定の静止物を含む画像を表示させる表示信号である。後輪タイヤ及び特定の静止物を含む画像(例えば図4に示すようなアニメーション画像)を表示装置300に表示させることで、車両のドライバーが後輪タイヤと特定の静止物との距離を直感的に把握できるようになる。これにより、後輪タイヤとタイヤ止め(特定の静止物の一例)との勢いのよい衝突や後輪タイヤと縁石(特定の静止物の一例)との衝突等を回避する運転が車両のドライバーにとって容易になる。   In the present embodiment, the notification signal generated by the notification signal generation unit 211 is a display signal for displaying an image including a rear wheel tire and a specific stationary object. By displaying an image including a rear wheel tire and a specific stationary object (for example, an animation image as shown in FIG. 4) on the display device 300, the vehicle driver can intuitively determine the distance between the rear wheel tire and the specific stationary object. You will be able to grasp. As a result, it is possible for the vehicle driver to avoid a strong collision between the rear wheel tire and the tire stop (an example of a specific stationary object) or a collision between the rear wheel tire and the curb (an example of a specific stationary object). It becomes easy.

なお、後輪タイヤ及び特定の静止物を含む画像の表示に代えて又は加えて、算出部210によって算出された距離の値を表示するようにしてもよく、また、表示に代えて又は加えて音声によって算出部210によって算出された距離に関する情報を通知してもよい。例えば、算出部210によって算出された距離に応じて音声のリズムや音量を変えることによって、算出部210によって算出された距離に関する情報を音声通知することができる。   The distance value calculated by the calculation unit 210 may be displayed instead of or in addition to the display of the image including the rear wheel tire and the specific stationary object, and instead of or in addition to the display. You may notify the information regarding the distance calculated by the calculation part 210 with an audio | voice. For example, by changing the rhythm and volume of the sound in accordance with the distance calculated by the calculation unit 210, information regarding the distance calculated by the calculation unit 210 can be notified by voice.

<1−2.距離算出装置の動作>
図5は、距離算出装置212の動作例を示すフローチャートである。距離算出装置212の動作開始イベントが発生すると、距離算出装置212は図5に示すフローチャートの動作を開始する。距離算出装置212の動作開始イベントとしては、例えば、車両のシフトレバーの位置がリバースレンジに切り替わったこと等を挙げることができる。
<1-2. Operation of distance calculation device>
FIG. 5 is a flowchart illustrating an operation example of the distance calculation device 212. When the operation start event of the distance calculation device 212 occurs, the distance calculation device 212 starts the operation of the flowchart shown in FIG. As an operation start event of the distance calculation device 212, for example, the position of the shift lever of the vehicle is switched to the reverse range.

まず、パターンマッチング処理回路204が特定の静止物の検出を試みる(ステップS1)。パターンマッチング処理回路204によって特定の静止物が検出された時点で測定部208が車両の後端部から特定の静止物までの水平距離を測定する(ステップS2)。   First, the pattern matching processing circuit 204 tries to detect a specific stationary object (step S1). When the specific stationary object is detected by the pattern matching processing circuit 204, the measurement unit 208 measures the horizontal distance from the rear end of the vehicle to the specific stationary object (step S2).

なお、パターンマッチング処理回路204が特定の静止物を複数検出した場合、測定部208は、パターンマッチング処理回路204によって特定の静止物が検出された時点で車両の後端部から車両の後端部に最も近い特定の静止物までの水平距離を測定する。これにより、例えば図6に示す状態のように駐車枠F1に対して車両V1が斜めに進入している場合でも、車両V1の後輪タイヤが特定の静止物であるタイヤ止めに勢いよく衝突することを防止することができる。図6に示す状態においてパターンマッチング処理回路204が特定の静止物O1及びO1’を検出した場合、測定部208は、車両V1の後端部E1から車両V1の後端部E1に最も近い特定の静止物O1までの水平距離L1を測定する。車両V1の後端部E1から車両V1の後端部E1に最も近い特定の静止物O1までの水平距離L1は、例えば図6に示すように車両V1の後端部E1から特定の静止物O1の幅方向の略中央までの水平距離とすることができる。これ以外に、例えば車両V1の後端部E1から特定の静止物O1の幅方向の最も車両中央寄りの位置P2(図6参照)までの水平距離を水平距離L1としてもよく、また例えば車両V1の後端部E1から特定の静止物O1の幅方向の最も車両中央から離れた位置P3(図6参照)までの水平距離を水平距離L1としてもよい。   Note that when the pattern matching processing circuit 204 detects a plurality of specific stationary objects, the measurement unit 208 detects the vehicle rear end from the rear end of the vehicle when the pattern matching processing circuit 204 detects the specific stationary object. Measure the horizontal distance to the specific stationary object closest to. Thereby, for example, even when the vehicle V1 is obliquely entering the parking frame F1 as in the state shown in FIG. 6, the rear wheel tire of the vehicle V1 collides with a tire stop that is a specific stationary object. This can be prevented. When the pattern matching processing circuit 204 detects specific stationary objects O1 and O1 ′ in the state shown in FIG. 6, the measurement unit 208 determines the specific unit closest to the rear end E1 of the vehicle V1 from the rear end E1 of the vehicle V1. The horizontal distance L1 to the stationary object O1 is measured. The horizontal distance L1 from the rear end E1 of the vehicle V1 to the specific stationary object O1 closest to the rear end E1 of the vehicle V1 is, for example, as shown in FIG. 6, from the rear end E1 of the vehicle V1 to the specific stationary object O1. The horizontal distance to the approximate center in the width direction can be set. In addition, for example, the horizontal distance from the rear end E1 of the vehicle V1 to the position P2 (see FIG. 6) closest to the center of the vehicle in the width direction of the specific stationary object O1 may be set as the horizontal distance L1, and for example, the vehicle V1 The horizontal distance from the rear end E1 to the position P3 (see FIG. 6) farthest from the vehicle center in the width direction of the specific stationary object O1 may be set as the horizontal distance L1.

次に、算出部210が車両の後端部から後輪タイヤの所定位置までの水平距離を距離記憶用メモリ209から読み出す(ステップS3)。   Next, the calculation unit 210 reads the horizontal distance from the rear end of the vehicle to a predetermined position of the rear wheel tire from the distance storage memory 209 (step S3).

次に、推定部207が車両の所定方向における移動量を推定する(ステップS4)。それから、算出部210が後輪タイヤの所定位置から特定の静止物までの所定方向における距離を算出する(ステップS5)。そして、距離算出装置212は、距離算出装置212の動作終了イベントが発生しているか否かを確認する(ステップS6)。距離算出装置212の動作終了イベントとしては、例えば、車両のシフトレバーの位置がリバースレンジから他のレンジに切り替わったこと等を挙げることができる。   Next, the estimation unit 207 estimates the amount of movement of the vehicle in a predetermined direction (step S4). Then, the calculation unit 210 calculates a distance in a predetermined direction from a predetermined position of the rear wheel tire to a specific stationary object (step S5). Then, the distance calculation device 212 confirms whether an operation end event of the distance calculation device 212 has occurred (step S6). As an operation end event of the distance calculation device 212, for example, the position of the shift lever of the vehicle is switched from the reverse range to another range.

距離算出装置212の動作終了イベントが発生していなければ、ステップS4に戻る。これにより、推定部207によって推定される移動量及び算出部210によって算出される距離が車両の移動に伴って更新される。一方、距離算出装置212の動作終了イベントが発生していれば、距離算出装置212は図5に示すフローチャートの動作を終了する。   If the operation end event of the distance calculation device 212 has not occurred, the process returns to step S4. Thereby, the movement amount estimated by the estimation unit 207 and the distance calculated by the calculation unit 210 are updated as the vehicle moves. On the other hand, if the operation end event of the distance calculation device 212 has occurred, the distance calculation device 212 ends the operation of the flowchart shown in FIG.

なお、ステップS6を実施する代わりに、距離算出装置212の動作終了イベントが発生しているか否かを距離算出装置212がフローチャートの動作中常時監視し、距離算出装置212の動作終了イベントが発生すれば直ちにフローチャートの動作を終了するようにしてもよい。この場合、ステップS5の処理が終わるとステップS4に戻るようにすればよい。   Instead of performing step S6, the distance calculation device 212 constantly monitors whether or not an operation end event of the distance calculation device 212 has occurred, and an operation end event of the distance calculation device 212 is generated. For example, the operation of the flowchart may be immediately terminated. In this case, when the process of step S5 is completed, the process returns to step S4.

<1−3.変形例>
上述した実施形態とは異なり、算出部210によって算出された距離の通知を行わないようにし、算出部210によって算出された距離に基づく車両の自動介入制御(例えば自動ブレーキ等)を行って、後輪タイヤとタイヤ止め(特定の静止物の一例)との勢いのよい衝突や後輪タイヤと縁石(特定の静止物の一例)との衝突等を車両の自動介入制御によって回避してもよい。
<1-3. Modification>
Unlike the embodiment described above, notification of the distance calculated by the calculation unit 210 is not performed, and automatic intervention control (for example, automatic braking) of the vehicle based on the distance calculated by the calculation unit 210 is performed. A vigorous collision between a wheel tire and a tire stop (an example of a specific stationary object), a collision between a rear wheel tire and a curb (an example of a specific stationary object), or the like may be avoided by automatic vehicle intervention control.

上述した実施形態では、距離算出装置212は、バックカメラ100から出力される撮影画像を用いて後輪タイヤの所定位置から特定の静止物までの所定方向における距離を算出したが、その算出に代えて又は加えて、車両の前端部に設けられるフロントカメラから出力される撮影画像を用いて前輪タイヤの所定位置から特定の静止物までの所定方向における距離を算出してもよい。   In the above-described embodiment, the distance calculation device 212 calculates the distance in the predetermined direction from the predetermined position of the rear tire to the specific stationary object using the captured image output from the back camera 100. Alternatively or additionally, a distance in a predetermined direction from a predetermined position of the front wheel tire to a specific stationary object may be calculated using a captured image output from a front camera provided at the front end of the vehicle.

また、俯瞰画像を生成する仮想視点画像生成部を画像処理装置200に追加して、通知信号生成部211が俯瞰画像に基づく通知信号を生成するようにしてもよい。   In addition, a virtual viewpoint image generation unit that generates a bird's-eye view image may be added to the image processing apparatus 200 so that the notification signal generation unit 211 generates a notification signal based on the bird's-eye view image.

ここで、俯瞰画像を含む仮想視点画像の生成手法について説明する。図7は、仮想視点画像の生成手法について説明するための図である。なお、以下の説明では4つのカメラから取得される4つの撮影画像に基づいて仮想視点画像を生成する手法について説明するが、カメラと撮影画像の数は4つに限られることはない。一例として、各カメラの水平方向の画角が比較的広い場合は、4つよりも少ない3つのカメラから取得される3つの撮影画像に基づき、仮想視点画像を生成してもよい。さらに、別の例として、各カメラの水平方向の画角が比較的狭い場合は、4つよりも多い5つのカメラから得られる5つの撮影画像に基づき、仮想視点画像を生成してもよい。   Here, a method for generating a virtual viewpoint image including an overhead image will be described. FIG. 7 is a diagram for explaining a virtual viewpoint image generation method. In the following description, a method for generating a virtual viewpoint image based on four captured images acquired from four cameras will be described, but the number of cameras and captured images is not limited to four. As an example, when the horizontal angle of view of each camera is relatively wide, a virtual viewpoint image may be generated based on three captured images acquired from three cameras fewer than four. As another example, when the horizontal angle of view of each camera is relatively narrow, a virtual viewpoint image may be generated based on five captured images obtained from more than five cameras.

上記の仮想視点画像生成部は、仮想的な三次元空間における仮想投影面1の第1領域R1に撮影画像PT1を投影して、撮影画像PT1を第1の投影画像に変換する。同様に、上記の仮想視点画像生成部は、仮想投影面1の第2〜第4領域R2〜R4それぞれに撮影画像PT2〜PT4を投影して、撮影画像PT2〜PT4それぞれを第2〜第4の投影画像に変換する。なお、撮影画像PT1は、フロントカメラの撮影画像であり、撮影画像PT4は、バックカメラの撮影画像である。また、撮影画像PT2は車両の左サイドミラーに設けられ車両の左サイドを撮影する左サイドカメラの撮影画像であり、撮影画像PT3は車両の右サイドミラーに設けられ車両の右サイドを撮影する右サイドカメラの撮影画像である。   The virtual viewpoint image generation unit projects the captured image PT1 onto the first region R1 of the virtual projection plane 1 in the virtual three-dimensional space, and converts the captured image PT1 into the first projection image. Similarly, the virtual viewpoint image generation unit projects the captured images PT2 to PT4 on the second to fourth regions R2 to R4 of the virtual projection plane 1, and each of the captured images PT2 to PT4 is second to fourth. Convert to the projected image. The captured image PT1 is a captured image of the front camera, and the captured image PT4 is a captured image of the back camera. The photographed image PT2 is a photographed image of a left side camera that is provided on the left side mirror of the vehicle and photographs the left side of the vehicle, and the photographed image PT3 is a right image that is disposed on the right side mirror of the vehicle and photographs the right side of the vehicle. It is a photographed image of the side camera.

仮想投影面1は、例えば略半球状(お椀形状)をしている。仮想投影面1の中心部分(お椀の底部分)は、車両2が存在する位置として定められている。このように仮想投影面1が曲面を含むようにすることで、車両2から離れた位置に存在する物体の像の歪みを少なくすることができる。また、第1〜第4領域R1〜R4それぞれは、隣接する他の領域と重複する部分を有している。このような重複部分を設けることで、領域の境界部分に投影される物体の像が投影画像から消失することを防止することができる。   The virtual projection plane 1 has, for example, a substantially hemispherical shape (a bowl shape). A central portion (bottom portion of the bowl) of the virtual projection plane 1 is defined as a position where the vehicle 2 exists. Thus, by making the virtual projection plane 1 include a curved surface, it is possible to reduce the distortion of the image of the object existing at a position away from the vehicle 2. Each of the first to fourth regions R1 to R4 has a portion that overlaps with another adjacent region. By providing such an overlapping portion, it is possible to prevent the image of the object projected on the boundary portion of the region from disappearing from the projected image.

上記の仮想視点画像生成部は、第1〜第4の投影画像を仮想投影面1の第1〜第4領域R1〜R4に仮想的に貼り付ける。   The virtual viewpoint image generation unit virtually pastes the first to fourth projection images on the first to fourth regions R1 to R4 of the virtual projection plane 1.

また、上記の仮想視点画像生成部は、車両2の三次元形状を示すポリゴンのモデルを仮想的に構成する。この車両2のモデルは、仮想投影面1が設定される仮想的な三次元空間において、車両2が存在する位置として定められた位置(仮想投影面1の中心部分)に配置される。   Further, the virtual viewpoint image generation unit virtually configures a polygon model indicating the three-dimensional shape of the vehicle 2. The model of the vehicle 2 is arranged at a position (a central portion of the virtual projection plane 1) determined as a position where the vehicle 2 exists in a virtual three-dimensional space where the virtual projection plane 1 is set.

さらに、上記の仮想視点画像生成部は、仮想投影面1が設定される仮想的な三次元空間において、仮想視点VPを設定する。仮想視点VPは、視点位置及び視野方向によって規定される。仮想投影面1の少なくとも一部が視野に入る限り、仮想視点VPの視点位置及び視野方向は、任意の視点位置及び任意の視野方向に設定することができる。   Further, the virtual viewpoint image generation unit sets the virtual viewpoint VP in the virtual three-dimensional space where the virtual projection plane 1 is set. The virtual viewpoint VP is defined by the viewpoint position and the viewing direction. As long as at least a part of the virtual projection plane 1 enters the field of view, the viewpoint position and field direction of the virtual viewpoint VP can be set to any viewpoint position and any field direction.

上記の仮想視点画像生成部は、設定した仮想視点VPに応じて、仮想投影面1における必要な領域(仮想視点VPからみえる領域)の画像を仮想的に切り出す。また、上記の仮想視点画像生成部は、設定した仮想視点VPに応じて、ポリゴンのモデルに関してレンダリングを行い、車両2のレンダリング像を生成する。そして、上記の仮想視点画像生成部は、切り出した画像に対して車両2のレンダリング像を重畳して仮想視点VPからみた仮想視点画像CPを生成する。   The virtual viewpoint image generation unit virtually cuts out an image of a necessary area (area seen from the virtual viewpoint VP) on the virtual projection plane 1 according to the set virtual viewpoint VP. In addition, the virtual viewpoint image generation unit performs rendering on a polygon model according to the set virtual viewpoint VP and generates a rendered image of the vehicle 2. Then, the virtual viewpoint image generation unit generates a virtual viewpoint image CP viewed from the virtual viewpoint VP by superimposing a rendered image of the vehicle 2 on the cut image.

例えば、視点位置が車両2の位置の略中央の直上で、視野方向が直下方向とした仮想視点VPaを設定した場合は、上記の仮想視点画像生成部は、車両2の略直上から車両2を見下ろすように車両2及び車両2の周辺の領域を示す仮想視点画像CPaを生成する。この仮想視点画像CPaが俯瞰画像である。また例えば、視点位置が車両2の位置の左後方で、視野方向が車両2における略前方向とした仮想視点VPbを設定した場合は、上記の仮想視点画像生成部は、車両2の左後方からその周辺全体を見渡すように車両2及び車両2の周辺の領域を示す仮想視点画像CPbを生成する。   For example, when the virtual viewpoint VPa is set in which the viewpoint position is just above the center of the position of the vehicle 2 and the visual field direction is directly below, the virtual viewpoint image generation unit moves the vehicle 2 from approximately right above the vehicle 2. A virtual viewpoint image CPa indicating the vehicle 2 and the area around the vehicle 2 is generated so as to look down. This virtual viewpoint image CPa is an overhead image. For example, when the virtual viewpoint VPb is set in which the viewpoint position is the left rear of the position of the vehicle 2 and the visual field direction is the substantially forward direction in the vehicle 2, the virtual viewpoint image generation unit described above is from the left rear of the vehicle 2. A virtual viewpoint image CPb indicating the vehicle 2 and a region around the vehicle 2 is generated so as to overlook the entire periphery.

通知信号生成部211は、上述した車両2のレンダリング像の代わりに、図8に示す車両2の車体を透過させた画像を用いる。この場合も図4に示すようなアニメーション画像と同様に、車両のドライバーが車両2のタイヤと特定の静止物との距離を直感的に把握できるようになる。特定の静止物がカメラで撮影できない領域に入っていない場合は図8(a)に示すような車両2の車体内にタイヤT1〜T4を含む画像になり、特定の静止物がカメラで撮影できる領域に残っていない場合は図8(b)に示すような車両2の車体内にタイヤT1〜T4並びに特定の静止物O1及びO1’を含む画像になる。   The notification signal generation unit 211 uses an image transmitted through the vehicle body of the vehicle 2 shown in FIG. 8 instead of the rendering image of the vehicle 2 described above. Also in this case, similarly to the animation image shown in FIG. 4, the vehicle driver can intuitively grasp the distance between the tire of the vehicle 2 and the specific stationary object. When the specific stationary object is not in the area that cannot be captured by the camera, an image including the tires T1 to T4 in the vehicle body of the vehicle 2 as shown in FIG. 8A is obtained, and the specific stationary object can be captured by the camera. When it does not remain in the area, an image including tires T1 to T4 and specific stationary objects O1 and O1 ′ in the vehicle body of the vehicle 2 as shown in FIG.

<<2.第2実施形態>>
図9は、第2実施形態に係る距離算出装置の構成を示す図である。画像処理装置200’の一部が距離算出装置212’(第2実施形態に係る距離算出装置)を構成している。画像処理装置200’及び距離算出装置212’は、判定部213及び警告信号生成部214を距離算出装置内に設けている点で、第1実施形態において説明した画像処理装置200及び距離算出装置212と異なっており、それ以外の点では画像処理装置200及び距離算出装置212と同一である。以下、第1実施形態との相違点について説明する。
<< 2. Second Embodiment >>
FIG. 9 is a diagram illustrating a configuration of a distance calculation apparatus according to the second embodiment. Part of the image processing device 200 ′ constitutes a distance calculation device 212 ′ (distance calculation device according to the second embodiment). The image processing device 200 ′ and the distance calculation device 212 ′ are provided with the determination unit 213 and the warning signal generation unit 214 in the distance calculation device, and thus the image processing device 200 and the distance calculation device 212 described in the first embodiment. In other respects, the image processing apparatus 200 and the distance calculation apparatus 212 are the same. Hereinafter, differences from the first embodiment will be described.

判定部213は、タイヤの予想進路線が特定の静止物に当たるか否かを判定する。タイヤの予想進路線は、移動ステレオ方式処理回路203によって検出される2つのフレーム画像内の路面上に位置する特徴点(例えば、路面に描かれた白線のエッジ、路面上のヒビ、路面上のシミ、路面上の砂利等)の移動方向(動きベクトルの方向)を車両の移動方向を求め、その移動方向に基づいて生成されることが望ましい。これにより、車両の移動方向を把握するために距離算出装置212’が車速情報やステアリングの舵角情報等を取得する必要がなく、画像処理のみでタイヤの予想進路線を生成することができる。なお、車速情報やステアリングの舵角情報等を取得してタイヤの予想進路線を生成する構成であってもよい。   The determination unit 213 determines whether or not the expected course of the tire hits a specific stationary object. The expected course line of the tire is a feature point located on the road surface in the two frame images detected by the moving stereo system processing circuit 203 (for example, an edge of a white line drawn on the road surface, cracks on the road surface, It is desirable that the movement direction (direction of motion vector) of a vehicle such as a stain or gravel on the road surface is determined based on the movement direction. This eliminates the need for the distance calculation device 212 ′ to acquire vehicle speed information, steering angle information, and the like in order to grasp the moving direction of the vehicle, and it is possible to generate the expected course of the tire only by image processing. Note that a configuration may be used in which vehicle speed information, steering angle information, and the like are acquired to generate the expected course of the tire.

警告信号生成部214は、判定部213の判定結果に基づいて警告信号を生成する。例えば特定の静止物がタイヤ止めである場合には、警告信号生成部214は、タイヤと特定の静止物とが接触しないおそれがあるときにその旨を知らせる警告信号を生成する。例えば図10(a)及び図10(b)に示すようにタイヤの予想進路線LN1及びLN1’が特定の静止物O1及びO1’が接触しない場合に、タイヤと特定の静止物とが接触しないおそれがあると判断すればよい。また例えば特定の静止物が縁石である場合には、警告信号生成部214は、タイヤと特定の静止物とが接触するおそれがあるときにその旨を知らせる警告信号を生成する。   The warning signal generation unit 214 generates a warning signal based on the determination result of the determination unit 213. For example, when a specific stationary object is a tire stop, the warning signal generation unit 214 generates a warning signal to notify that when there is a possibility that the tire and the specific stationary object do not come into contact with each other. For example, as shown in FIGS. 10 (a) and 10 (b), when the expected course lines LN1 and LN1 ′ of the tire do not contact the specific stationary object O1 and O1 ′, the tire does not contact the specific stationary object. What is necessary is just to judge that there is a fear. Further, for example, when the specific stationary object is a curb, the warning signal generation unit 214 generates a warning signal to notify that when there is a possibility that the tire and the specific stationary object come into contact with each other.

警告信号生成部214が生成する警告信号によって、タイヤと特定の静止物(例えばタイヤ止め)とが接触しないことやタイヤと特定の静止物(例えば縁石)とが接触することを回避しやすくなる。なお、警告信号は、例えば画像によって警告する信号であってもよく、また例えば音声によって警告する信号であってもよい。   The warning signal generated by the warning signal generation unit 214 makes it easier to avoid contact between the tire and a specific stationary object (for example, a tire stop) or contact between the tire and a specific stationary object (for example, a curb). Note that the warning signal may be, for example, a signal warning by an image, or may be a signal warning by voice, for example.

上述した第1実施形態において説明した変形例は本実施形態についても適用可能である。   The modification described in the first embodiment described above can also be applied to this embodiment.

<<3.第3実施形態>>
図11は、第3実施形態に係る距離算出装置の構成を示す図である。画像処理装置200”の一部が距離算出装置212”(第3実施形態に係る距離算出装置)を構成している。画像処理装置200”及び距離算出装置212”は、低下検出部215及び接触警告信号生成部216を距離算出装置内に設けている点で、第1実施形態において説明した画像処理装置200及び距離算出装置212と異なっており、それ以外の点では画像処理装置200及び距離算出装置212と同一である。以下、第1実施形態との相違点について説明する。
<< 3. Third Embodiment >>
FIG. 11 is a diagram illustrating a configuration of a distance calculation apparatus according to the third embodiment. A part of the image processing apparatus 200 ″ constitutes a distance calculation apparatus 212 ″ (distance calculation apparatus according to the third embodiment). The image processing device 200 ″ and the distance calculation device 212 ″ are provided with the drop detection unit 215 and the contact warning signal generation unit 216 in the distance calculation device, and thus the image processing device 200 and the distance calculation described in the first embodiment. This is different from the apparatus 212, and is otherwise the same as the image processing apparatus 200 and the distance calculation apparatus 212. Hereinafter, differences from the first embodiment will be described.

低下検出部215は、車両の最低地上高の低下を前記撮影画像中の駐車枠の形状に基づいて検出する。車両の搭乗人数や積載荷物が多い場合、車両の最低地上高が低くなり、車両に搭載しているバックカメラ100の高さが低くなる。車両の最低地上高及びバックカメラ100の高さが高い場合、バックカメラ100によって撮影される駐車枠F1は撮影画像の水平方向において狭くなる(図12(a)参照)。すなわち、撮影画像の上部における駐車枠F1の長辺と短辺とが成す角度θが狭くなる。一方、車両の最低地上高及びバックカメラ100の高さが低い場合、バックカメラ100によって撮影される駐車枠F1は撮影画像の水平方向において広くなる(図12(b)参照)。すなわち、撮影画像の上部における駐車枠F1の長辺と短辺とが成す角度θが広くなる。したがって、低下検出部215は、例えば撮影画像の上部における駐車枠F1の長辺と短辺とが成す角度θが所定値より大きくなった場合に、車両の最低地上高の低下を検出するようにすればよい。   The drop detection unit 215 detects a drop in the minimum ground clearance of the vehicle based on the shape of the parking frame in the captured image. When there are a large number of passengers and loads, the minimum ground clearance of the vehicle is low, and the height of the back camera 100 mounted on the vehicle is low. When the minimum ground height of the vehicle and the height of the back camera 100 are high, the parking frame F1 photographed by the back camera 100 becomes narrow in the horizontal direction of the photographed image (see FIG. 12A). That is, the angle θ formed by the long side and the short side of the parking frame F1 in the upper part of the captured image is narrowed. On the other hand, when the minimum ground height of the vehicle and the height of the back camera 100 are low, the parking frame F1 photographed by the back camera 100 becomes wide in the horizontal direction of the photographed image (see FIG. 12B). That is, the angle θ formed by the long side and the short side of the parking frame F1 in the upper part of the captured image becomes wide. Therefore, for example, when the angle θ formed by the long side and the short side of the parking frame F1 in the upper part of the captured image is larger than a predetermined value, the decrease detection unit 215 detects a decrease in the minimum ground clearance of the vehicle. do it.

接触警告信号生成部216は、低下検出部215の検出結果に基づいて接触警告信号を生成する。具体的には、接触警告信号生成部216は、車両の底部と特定の静止物とが接触するおそれがあるときにその旨を知らせる接触警告信号を生成する。   The contact warning signal generation unit 216 generates a contact warning signal based on the detection result of the drop detection unit 215. Specifically, the contact warning signal generation unit 216 generates a contact warning signal that notifies that when there is a possibility that the bottom of the vehicle and a specific stationary object come into contact with each other.

接触警告信号生成部216が生成する接触警告信号によって、車両の底部と特定の静止物とが接触することを回避しやすくなる。なお、接触警告信号は、例えば画像によって警告する信号であってもよく、また例えば音声によって警告する信号であってもよい。   The contact warning signal generated by the contact warning signal generation unit 216 makes it easier to avoid contact between the bottom of the vehicle and a specific stationary object. Note that the contact warning signal may be a signal warning by an image, for example, or may be a signal warning by a voice, for example.

上述した第1実施形態において説明した変形例は本実施形態についても適用可能である。また、本実施形態は上述した第2実施形態と組み合わせて実施することも可能である。   The modification described in the first embodiment described above can also be applied to this embodiment. Moreover, this embodiment can also be implemented in combination with the second embodiment described above.

<<4.留意事項>>
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は、全ての点で例示であって、制限的なものではないと考えられるべきであり、本発明の技術的範囲は、上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。
<< 4. Notes >>
Various technical features disclosed in the present specification can be variously modified within the scope of the technical creation in addition to the above-described embodiment. That is, the above-described embodiment is an example in all respects and should not be considered as limiting, and the technical scope of the present invention is not the description of the above-described embodiment, but the claims. It should be understood that all modifications that come within the meaning and range of equivalents of the claims are included.

203 移動ステレオ方式処理回路
204 パターンマッチング処理回路
205 特定パターン記憶用メモリ
207 推定部
208 測定部
209 距離記憶用メモリ
210 算出部
211 通知信号生成部
212、212’、212” 距離算出装置
213 判定部
214 警告信号生成部
215 低下検出部
216 接触警告信号生成部
203 moving stereo system processing circuit 204 pattern matching processing circuit 205 specific pattern storage memory 207 estimation unit 208 measurement unit 209 distance storage memory 210 calculation unit 211 notification signal generation unit 212, 212 ′, 212 ″ distance calculation device 213 determination unit 214 Warning signal generation unit 215 Decrease detection unit 216 Contact warning signal generation unit

Claims (9)

車両の周辺を撮影するカメラで得られた撮影画像について特定の静止物を検出する検出部と、
前記検出部によって前記特定の静止物が検出された時点で前記車両の先端部から前記特定の静止物までの水平距離を前記撮影画像に基づいて測定する測定部と、
異なる位置で撮像された2つの前記撮影画像を用いて移動ステレオ方式により前記車両の所定方向における移動量を推定する推定部と、
前記車両の先端部から前記車両が備えるタイヤの所定位置までの水平距離を予め記憶する記憶部と、
前記測定部の測定結果、前記推定部の推定結果、及び前記記憶部の記憶内容を用いて、前記タイヤの前記所定位置から前記特定の静止物までの前記所定方向における距離を算出する算出部と、を備え、
前記所定方向は、前記検出部によって前記特定の静止物が検出された時点での前記車両の先端部から前記特定の静止物に向かう水平方向であることを特徴とする距離算出装置。
A detection unit for detecting a specific stationary object with respect to a captured image obtained by a camera that captures the periphery of the vehicle;
A measurement unit that measures a horizontal distance from the front end of the vehicle to the specific stationary object when the specific stationary object is detected by the detection unit;
An estimation unit that estimates the amount of movement of the vehicle in a predetermined direction by a moving stereo method using the two captured images captured at different positions;
A storage unit that stores in advance a horizontal distance from a front end of the vehicle to a predetermined position of a tire included in the vehicle;
A calculation unit that calculates a distance in the predetermined direction from the predetermined position of the tire to the specific stationary object, using the measurement result of the measurement unit, the estimation result of the estimation unit, and the stored content of the storage unit; With
The distance calculating apparatus according to claim 1, wherein the predetermined direction is a horizontal direction from the front end of the vehicle toward the specific stationary object at the time when the specific stationary object is detected by the detection unit.
前記推定部は、前記特定の静止物よりも前記車両から離れている前記撮影画像中の特徴点を用いて、移動ステレオ方式により前記車両の前記所定方向における移動量を推定することを特徴とする請求項1に記載の距離算出装置。   The estimation unit estimates a movement amount of the vehicle in the predetermined direction by a moving stereo method using a feature point in the captured image that is farther from the vehicle than the specific stationary object. The distance calculation apparatus according to claim 1. 前記推定部は、前記特定の静止物よりも、前記車両の先端部から前記タイヤの前記所定位置までの水平距離以上、前記車両から離れている前記撮影画像中の特徴点を用いて、移動ステレオ方式により前記車両の前記所定方向における移動量を推定することを特徴とする請求項2に記載の距離算出装置。   The estimation unit uses a feature point in the captured image that is separated from the vehicle by a horizontal distance from the front end of the vehicle to the predetermined position of the tire more than the specific stationary object. The distance calculation apparatus according to claim 2, wherein a movement amount of the vehicle in the predetermined direction is estimated by a method. 前記算出部によって算出された前記タイヤの前記所定位置から前記特定の静止物までの距離を通知する通知信号を生成する通知信号生成部を備えることを特徴とする請求項1〜3のいずれか一項に記載の距離算出装置。   4. The apparatus according to claim 1, further comprising a notification signal generation unit that generates a notification signal that notifies a distance from the predetermined position of the tire calculated by the calculation unit to the specific stationary object. 5. The distance calculation device according to item. 前記通知信号は、前記タイヤ及び前記特定の静止物を含む画像を表示させる表示信号であることを特徴とする請求項4に記載の距離算出装置。   The distance calculation device according to claim 4, wherein the notification signal is a display signal for displaying an image including the tire and the specific stationary object. 前記検出部が前記特定の静止物を複数検出した場合、前記測定部は、前記検出部によって前記特定の静止物が検出された時点で前記車両の先端部から前記車両の先端部に最も近い前記特定の静止物までの水平距離を前記撮影画像に基づいて測定することを特徴とする請求項1〜5のいずれか一項に記載の距離算出装置。   When the detection unit detects a plurality of the specific stationary objects, the measurement unit is closest to the front end of the vehicle from the front end of the vehicle when the specific stationary object is detected by the detection unit. The distance calculation apparatus according to claim 1, wherein a horizontal distance to a specific stationary object is measured based on the captured image. 前記タイヤの予想進路線が前記特定の静止物に当たるか否かを判定する判定部と、
前記タイヤと前記特定の静止物とが接触しないおそれ又は前記タイヤと前記特定の静止物とが接触するおそれのいずれか一方を知らせる警告信号を前記判定部の判定結果に基づいて生成する警告信号生成部と、を備えることを特徴とする請求項1〜6のいずれか一項に記載の距離算出装置。
A determination unit for determining whether an expected course of the tire hits the specific stationary object; and
Warning signal generation for generating a warning signal that notifies either the fear that the tire and the specific stationary object do not contact or the possibility that the tire and the specific stationary object contact based on the determination result of the determination unit The distance calculation apparatus according to claim 1, further comprising: a unit.
前記車両の最低地上高の低下を前記撮影画像中の駐車枠の形状に基づいて検出する低下検出部と、
前記車両の底部と前記特定の静止物とが接触するおそれを知らせる接触警告信号を前記低下検出部の検出結果に基づいて生成する接触警告信号生成部と、を備えることを特徴とする請求項1〜7のいずれか一項に記載の距離算出装置。
A drop detecting unit for detecting a drop in the minimum ground clearance of the vehicle based on a shape of a parking frame in the captured image;
The contact warning signal generation part which produces | generates the contact warning signal which notifies the possibility that the bottom part of the said vehicle and the said specific stationary object may contact based on the detection result of the said fall detection part is provided. The distance calculation apparatus as described in any one of -7.
車両の周辺を撮影するカメラで得られた撮影画像について特定の静止物を検出する検出工程と、
前記検出工程によって前記特定の静止物が検出された時点で前記車両の先端部から前記特定の静止物までの水平距離を前記撮影画像に基づいて測定する測定工程と、
異なる位置で撮像された2つの前記撮影画像を用いて移動ステレオ方式により前記車両の所定方向における移動量を推定する推定工程と、
前記車両の先端部から前記車両が備えるタイヤの所定位置までの水平距離を読み出す読み出し工程と、
前記測定工程の測定結果、前記推定工程の推定結果、及び前記読み出し工程の読み出し内容を用いて、前記タイヤの前記所定位置から前記特定の静止物までの前記所定方向における距離を算出する算出工程と、を備え、
前記所定方向は、前記検出部によって前記特定の静止物が検出された時点での前記車両の先端部から前記特定の静止物に向かう水平方向であることを特徴とする距離算出方法。
A detection step of detecting a specific stationary object in a captured image obtained by a camera that captures the periphery of the vehicle;
A measurement step of measuring a horizontal distance from the tip of the vehicle to the specific stationary object at the time when the specific stationary object is detected by the detection step;
An estimation step of estimating the amount of movement of the vehicle in a predetermined direction by a moving stereo method using the two captured images captured at different positions;
A reading step of reading a horizontal distance from a front end portion of the vehicle to a predetermined position of a tire included in the vehicle;
A calculation step of calculating a distance in the predetermined direction from the predetermined position of the tire to the specific stationary object using the measurement result of the measurement step, the estimation result of the estimation step, and the read content of the read step; With
The distance calculation method according to claim 1, wherein the predetermined direction is a horizontal direction from the front end of the vehicle toward the specific stationary object at the time when the specific stationary object is detected by the detection unit.
JP2017007901A 2017-01-19 2017-01-19 Distance calculation device and distance calculation method Active JP6770903B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017007901A JP6770903B2 (en) 2017-01-19 2017-01-19 Distance calculation device and distance calculation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017007901A JP6770903B2 (en) 2017-01-19 2017-01-19 Distance calculation device and distance calculation method

Publications (2)

Publication Number Publication Date
JP2018115996A true JP2018115996A (en) 2018-07-26
JP6770903B2 JP6770903B2 (en) 2020-10-21

Family

ID=62985409

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017007901A Active JP6770903B2 (en) 2017-01-19 2017-01-19 Distance calculation device and distance calculation method

Country Status (1)

Country Link
JP (1) JP6770903B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110371139A (en) * 2019-04-01 2019-10-25 泰州三凯工程技术有限公司 Highlighted data display methods
CN111383268A (en) * 2020-03-10 2020-07-07 上海眼控科技股份有限公司 Vehicle distance state acquisition method and device, computer equipment and storage medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11105686A (en) * 1997-10-07 1999-04-20 Nissan Motor Co Ltd Automatic parking device
JP2007116377A (en) * 2005-10-19 2007-05-10 Aisin Aw Co Ltd Parking assist method and parking assist apparatus
US20090243889A1 (en) * 2008-03-27 2009-10-01 Mando Corporation Monocular motion stereo-based free parking space detection apparatus and method
JP2010123012A (en) * 2008-11-21 2010-06-03 Suzuki Motor Corp Wheel stop detection device and rearward image display apparatus
JP2015105070A (en) * 2013-12-02 2015-06-08 株式会社デンソー Parking assist system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11105686A (en) * 1997-10-07 1999-04-20 Nissan Motor Co Ltd Automatic parking device
JP2007116377A (en) * 2005-10-19 2007-05-10 Aisin Aw Co Ltd Parking assist method and parking assist apparatus
US20090243889A1 (en) * 2008-03-27 2009-10-01 Mando Corporation Monocular motion stereo-based free parking space detection apparatus and method
JP2010123012A (en) * 2008-11-21 2010-06-03 Suzuki Motor Corp Wheel stop detection device and rearward image display apparatus
JP2015105070A (en) * 2013-12-02 2015-06-08 株式会社デンソー Parking assist system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110371139A (en) * 2019-04-01 2019-10-25 泰州三凯工程技术有限公司 Highlighted data display methods
CN111383268A (en) * 2020-03-10 2020-07-07 上海眼控科技股份有限公司 Vehicle distance state acquisition method and device, computer equipment and storage medium

Also Published As

Publication number Publication date
JP6770903B2 (en) 2020-10-21

Similar Documents

Publication Publication Date Title
JP4687411B2 (en) Vehicle peripheral image processing apparatus and program
EP1748654A1 (en) Circumference display of vehicle
EP1005234A2 (en) Three-dimensional scope system for vehicles with a single camera
JP2016120892A (en) Three-dimensional object detector, three-dimensional object detection method, and three-dimensional object detection program
CN104608692A (en) Parking auxiliary system and the method
JPH06293236A (en) Travel environment monitoring device
JP2012071635A5 (en)
WO2019202628A1 (en) Road surface detector, image display device using road surface detector, obstacle detector using road surface detector, image display method using road surface detection method, and obstacle detection method using road surface detection method
JP6778620B2 (en) Road marking device, road marking system, and road marking method
JP2010141836A (en) Obstacle detecting apparatus
JP2019046069A (en) Driving support device and driving support method
JP6384802B2 (en) MOBILE BODY DETECTING DEVICE, IMAGE PROCESSING DEVICE, MOBILE BODY DETECTING METHOD, AND INTEGRATED CIRCUIT
JP6770903B2 (en) Distance calculation device and distance calculation method
WO2020105499A1 (en) Image processing device, image processing method, and program
JP2002036987A (en) Vehicle surrounding monitoring device
JP6407596B2 (en) Image processing apparatus and driving support system
JP4762774B2 (en) Ranging device and vehicle periphery monitoring device
JP5984714B2 (en) Three-dimensional object detection device, driving support device, and three-dimensional object detection method
JP2018116579A (en) Division line detection device, division line detection system, and division line detection method
JP2007286873A (en) On-vehicle surrounding vehicle detector
JP6072508B2 (en) Road surface step detection method, road surface step detection device, and vehicle equipped with road surface step detection device
JP2018097535A (en) Driving support device and driving support method
JP2004272694A (en) Apparatus and method for object recognition
JP5580062B2 (en) Obstacle detection alarm device
JP2010286985A (en) Apparatus and method for detecting object

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200903

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200915

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200928

R150 Certificate of patent or registration of utility model

Ref document number: 6770903

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250