JP6855254B2

JP6855254B2 - Image processing device, image processing system, and image processing method

Info

Publication number: JP6855254B2
Application number: JP2017003584A
Authority: JP
Inventors: 宏海老原
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 2017-01-12
Filing date: 2017-01-12
Publication date: 2021-04-07
Anticipated expiration: 2037-01-12
Also published as: JP2018113622A

Description

本発明は、画像処理装置、画像処理システム、及び、画像処理方法に関する。 The present invention relates to an image processing apparatus, an image processing system, and an image processing method.

従来、撮影された画像データから移動物体を検出するシステムが知られる。このようなシステムでは、移動物体の検出が行われない領域が、マスク領域として予め指定される。そして、当該マスク領域を除く領域に対して、移動物体の検出処理が行われる（例えば特許文献１参照）。 Conventionally, a system for detecting a moving object from captured image data is known. In such a system, a region in which a moving object is not detected is designated in advance as a mask region. Then, a moving object detection process is performed on the region other than the mask region (see, for example, Patent Document 1).

特開２００９−１２２９９０号公報Japanese Unexamined Patent Publication No. 2009-12290

ところで、車載カメラを用いて、車両周辺の移動物体の検出や駐車枠の検出を行う画像処理システムが知られている。このような画像処理システムにおいて、カメラによる撮影画像内に映り込む車両のボディは、移動物体や駐車枠等の検出に不要な領域である。また、車両のボディに映り込んだ背景等によって、誤検出が生じるおそれがある。このために、撮影画像内における車両のボディが映り込む領域は、マスク領域とされ、検出処理に使用されないことが好ましい。 By the way, there is known an image processing system that detects a moving object around a vehicle and a parking frame by using an in-vehicle camera. In such an image processing system, the body of the vehicle reflected in the image captured by the camera is an area unnecessary for detecting a moving object, a parking frame, or the like. In addition, erroneous detection may occur due to the background reflected on the body of the vehicle. For this reason, the region in which the vehicle body is reflected in the captured image is preferably a mask region and is not used for the detection process.

車両の形状は、車両の種類やグレードによって異なる。また、車両に対するカメラの取付けには、ばらつきがある。このために、撮影画像への車両のボディの映り込みは、車両ごとに異なる。したがって、撮影画像内のどの領域がマスク領域として設定されるべきかについては、車両ごとに決められることが好ましい。しかしながら、車両ごとにマスク領域を設定することは、作業負担が大きく、現実的ではない。 The shape of the vehicle depends on the type and grade of the vehicle. In addition, there are variations in the mounting of cameras on vehicles. For this reason, the reflection of the vehicle body on the captured image differs from vehicle to vehicle. Therefore, it is preferable to determine which area in the captured image should be set as the mask area for each vehicle. However, setting the mask area for each vehicle is not realistic because the work load is heavy.

本発明は、上記の課題に鑑み、車載カメラによる撮影画像に対するマスク領域の設定を容易に行うことができる技術を提供することを目的とする。 In view of the above problems, it is an object of the present invention to provide a technique capable of easily setting a mask area for an image captured by an in-vehicle camera.

本発明に係る画像処理装置は、車両において用いられる画像処理装置であって、前記車両に搭載されるカメラによる撮影画像に基づいて、仮想視点から見た前記車両の周辺を示す仮想視点画像を生成する画像生成部と、前記仮想視点画像に基づいて、前記カメラの撮影画像中において所定の処理に使用しない領域であるマスク領域を設定する設定部と、を備える構成（第１の構成）である。 The image processing device according to the present invention is an image processing device used in a vehicle, and generates a virtual viewpoint image showing the periphery of the vehicle as seen from a virtual viewpoint based on an image taken by a camera mounted on the vehicle. This is a configuration (first configuration) including an image generation unit to be used and a setting unit for setting a mask area which is an area not used for a predetermined process in the captured image of the camera based on the virtual viewpoint image. ..

また、上記第１の構成の画像処理装置において、前記仮想視点画像中には、前記車両の周辺を表示しない死角領域が設定され、前記設定部は、前記死角領域に基づいて前記マスク領域を設定する構成（第２の構成）であることが好ましい。 Further, in the image processing device having the first configuration, a blind spot area that does not display the periphery of the vehicle is set in the virtual viewpoint image, and the setting unit sets the mask area based on the blind spot area. It is preferable that the configuration is (second configuration).

また、上記第２の構成の画像処理装置において、前記設定部は、前記死角領域の境界上の複数点のそれぞれについて、前記カメラの撮影画像における対応座標位置を抽出し、複数の前記対応座標位置から導出される近似曲線に基づいて前記マスク領域を設定する構成（第３の構成）であることが好ましい。 Further, in the image processing apparatus having the second configuration, the setting unit extracts the corresponding coordinate positions in the image captured by the camera for each of the plurality of points on the boundary of the blind spot region, and the plurality of the corresponding coordinate positions. It is preferable that the mask region is set based on the approximate curve derived from (third configuration).

また、上記第３の構成の画像処理装置において、前記設定部は、前記死角領域の境界上の点に加えて、前記境界の延長線上の点についても前記対応座標位置を抽出して前記マスク領域を設定する構成（第４の構成）であってよい。 Further, in the image processing apparatus having the third configuration, the setting unit extracts the corresponding coordinate positions of the points on the extension line of the boundary in addition to the points on the boundary of the blind spot region, and the mask area. It may be a configuration (fourth configuration) for setting.

また、上記第１から第４のいずれかの構成の画像処理装置において、前記設定部は、前記仮想視点の視点位置が前記車両の真上、かつ、視線方向が真下である場合の前記仮想視点画像に基づいて前記マスク領域を設定する構成（第５の構成）であることが好ましい。 Further, in the image processing device having any of the first to fourth configurations, the setting unit uses the virtual viewpoint when the viewpoint position of the virtual viewpoint is directly above the vehicle and the line-of-sight direction is directly below. It is preferable that the mask region is set based on the image (fifth configuration).

また、上記第１から第５のいずれかの構成の画像処理装置において、前記所定の処理は、前記カメラによる撮影画像に基づいて検出対象を検出する処理であり、前記カメラの撮影画像に前記マスク領域によるマスクを行って前記検出対象を検出する検出部を更に備える構成（第６の構成）であってよい。 Further, in the image processing apparatus having any of the first to fifth configurations, the predetermined process is a process of detecting a detection target based on an image captured by the camera, and the mask is added to the image captured by the camera. The configuration may be a configuration (sixth configuration) further including a detection unit that detects the detection target by masking with a region.

本発明に係る画像処理システムは、上記第１から第６のいずれかの構成の画像処理装置と、前記カメラと、を備える構成（第７の構成）である。 The image processing system according to the present invention has a configuration (seventh configuration) including the image processing device having any of the first to sixth configurations and the camera.

本発明に係る画像処理方法は、処理装置による画像処理方法であって、車両に搭載されるカメラによる撮影画像に基づいて、仮想視点から見た前記車両の周辺を示す仮想視点画像を生成する画像生成工程と、前記仮想視点画像に基づいて、前記カメラの撮影画像中において所定の処理に使用しない領域であるマスク領域を設定するマスク領域設定工程と、を備える構成（第８の構成）である。 The image processing method according to the present invention is an image processing method using a processing device, and is an image that generates a virtual viewpoint image showing the periphery of the vehicle as seen from a virtual viewpoint based on an image taken by a camera mounted on the vehicle. It is a configuration (eighth configuration) including a generation step and a mask area setting step of setting a mask area which is an area not used for a predetermined process in the captured image of the camera based on the virtual viewpoint image. ..

本発明によれば、車載カメラによる撮影画像に対するマスク領域の設定を容易に行える技術を提供することができる。 According to the present invention, it is possible to provide a technique that can easily set a mask area for an image captured by an in-vehicle camera.

車両周辺監視システムの構成を示すブロック図Block diagram showing the configuration of the vehicle peripheral monitoring system ４つのカメラが配置された車両を示す模式図Schematic diagram showing a vehicle in which four cameras are arranged 画像生成部が仮想視点画像を生成する手法を説明するための図Diagram for explaining the method by which the image generator generates a virtual viewpoint image 仮想視点画像における車両の像が配置される部分を拡大して示した図Enlarged view of the part where the image of the vehicle is placed in the virtual viewpoint image マスク領域の設定手順を示すフローチャートFlowchart showing the procedure for setting the mask area 図５のステップＳ１を説明するための図The figure for demonstrating step S1 of FIG. 図５のステップＳ２を説明するための図The figure for demonstrating step S2 of FIG. 図５のステップＳ３を説明するための図The figure for demonstrating step S3 of FIG. 図５のステップＳ４を説明するための図The figure for demonstrating step S4 of FIG.

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向」とする。また、車両の直進進行方向であって、ハンドルから運転席に向かう方向を「後方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転手の右側から左側に向かう方向を「左方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転手の左側から右側に向かう方向を「右方向」とする。 Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings. In the following description, the direction in which the vehicle travels straight from the driver's seat to the steering wheel is referred to as the "forward direction". Further, the direction in which the vehicle travels straight from the steering wheel to the driver's seat is defined as the "rear direction". Further, the direction from the right side to the left side of the driver facing forward, which is the direction perpendicular to the straight traveling direction and the vertical straight line of the vehicle, is defined as the "left direction". Further, the direction from the left side to the right side of the driver facing forward, which is the direction perpendicular to the straight traveling direction and the vertical straight line of the vehicle, is defined as the "right direction".

＜１．システムの構成＞
図１は、本発明の実施の形態に係る車両周辺監視システムＳＹＳ１の構成を示すブロック図である。車両周辺監視システムＳＹＳ１は、車両ごとに搭載される。車両周辺監視システムＳＹＳ１は、当該システムを搭載する車両の周辺状況を監視する機能を有する。図１に示すように、車両監視システムＳＹＳ１は、画像処理システムＳＹＳ２と、表示装置３と、を備える。 <1. System configuration>
FIG. 1 is a block diagram showing a configuration of a vehicle peripheral monitoring system SYS1 according to an embodiment of the present invention. The vehicle peripheral monitoring system SYS1 is installed in each vehicle. The vehicle peripheral monitoring system SYS1 has a function of monitoring the peripheral condition of the vehicle equipped with the system. As shown in FIG. 1, the vehicle monitoring system SYS1 includes an image processing system SYS2 and a display device 3.

画像処理システムＳＹＳ２は、車両の周辺を撮影して画像を生成し、生成した画像を表示装置３に出力する機能を有する。また、画像処理システムＳＹＳ２は、車両の周辺を撮影して得られた画像に基づいて、検出対象を検出する機能も有する。本実施の形態では、検出対象には駐車枠が含まれる。なお、これは例示であり、検出対象には、移動体等が含まれてよい。検出した駐車枠情報は、例えば駐車支援等を行う運転支援装置（不図示）によって使用される。画像処理システムＳＹＳ２は、車両の周囲を撮影する撮影部１と、画像処理装置２とを備える。 The image processing system SYS2 has a function of photographing the surroundings of the vehicle, generating an image, and outputting the generated image to the display device 3. The image processing system SYS2 also has a function of detecting a detection target based on an image obtained by photographing the periphery of the vehicle. In the present embodiment, the detection target includes a parking frame. It should be noted that this is an example, and the detection target may include a moving body or the like. The detected parking frame information is used, for example, by a driving support device (not shown) that provides parking support or the like. The image processing system SYS2 includes a photographing unit 1 for photographing the surroundings of the vehicle and an image processing device 2.

撮影部１は、車両に搭載される４つのカメラ１１〜１４を備える。すなわち、画像処理システムＳＹＳ２は、車両に搭載されるカメラ１１〜１４を備える。図２は、４つのカメラ１１〜１４が配置された車両４を示す模式図である。本実施の形態において、車両４は自動車である。撮影部１が備えるカメラの数は例示であり、カメラの数は適宜変更されてよい。各カメラ１１〜１４は、有線又は無線で画像処理装置２に接続されており、撮影画像を画像処理装置２に送信する。 The photographing unit 1 includes four cameras 11 to 14 mounted on the vehicle. That is, the image processing system SYS2 includes cameras 11 to 14 mounted on the vehicle. FIG. 2 is a schematic view showing a vehicle 4 in which four cameras 11 to 14 are arranged. In this embodiment, the vehicle 4 is an automobile. The number of cameras included in the photographing unit 1 is an example, and the number of cameras may be changed as appropriate. Each of the cameras 11 to 14 is connected to the image processing device 2 by wire or wirelessly, and transmits the captured image to the image processing device 2.

図２に示すように、カメラ１１は車両４の前端に設けられる。このため、カメラ１１をフロントカメラ１１とも呼ぶ。フロントカメラ１１の光軸１１ａは平面視で車両４の前後方向に沿っている。フロントカメラ１１は車両４の前方向を撮影する。カメラ１４は車両４の後端に設けられる。このため、カメラ１４をバックカメラ１４とも呼ぶ。バックカメラ１４の光軸１４ａは平面視で車両４の前後方向に沿っている。バックカメラ１４は車両４の後方向を撮影する。フロントカメラ１１及びバックカメラ１４の取付け位置は、車両４の左右中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。 As shown in FIG. 2, the camera 11 is provided at the front end of the vehicle 4. Therefore, the camera 11 is also referred to as a front camera 11. The optical axis 11a of the front camera 11 is along the front-rear direction of the vehicle 4 in a plan view. The front camera 11 photographs the front direction of the vehicle 4. The camera 14 is provided at the rear end of the vehicle 4. Therefore, the camera 14 is also referred to as a back camera 14. The optical axis 14a of the back camera 14 is along the front-rear direction of the vehicle 4 in a plan view. The back camera 14 captures the rear direction of the vehicle 4. The front camera 11 and the back camera 14 are preferably mounted at the center of the left and right of the vehicle 4, but may be slightly deviated from the center of the left and right in the left and right direction.

カメラ１２は車両４の左側ドアミラー４１に設けられる。このため、カメラ１２を左サイドカメラ１２とも呼ぶ。左サイドカメラ１２の光軸１２ａは平面視で車両４の左右方向に沿っている。左サイドカメラ１２は車両４の左方向を撮影する。カメラ１３は車両４の右側ドアミラー４２に設けられる。このため、カメラ１３を右サイドカメラ１３とも呼ぶ。右サイドカメラ１３の光軸１３ａは平面視で車両４の左右方向に沿っている。右サイドカメラ１３は車両４の右方向を撮影する。 The camera 12 is provided on the left door mirror 41 of the vehicle 4. Therefore, the camera 12 is also referred to as a left side camera 12. The optical axis 12a of the left side camera 12 is along the left-right direction of the vehicle 4 in a plan view. The left side camera 12 captures the left direction of the vehicle 4. The camera 13 is provided on the right door mirror 42 of the vehicle 4. Therefore, the camera 13 is also referred to as a right side camera 13. The optical axis 13a of the right side camera 13 is along the left-right direction of the vehicle 4 in a plan view. The right side camera 13 photographs the vehicle 4 in the right direction.

各カメラ１１〜１４のレンズとしては、例えば魚眼レンズが使用される。各カメラ１１〜１４の水平方向の画角θは１８０度以上である。このため、４つのカメラ１１〜１４を利用することで、車両４の水平方向における全周囲を撮影することが可能になっている。 As the lens of each camera 11-14, for example, a fisheye lens is used. The horizontal angle of view θ of each of the cameras 11 to 14 is 180 degrees or more. Therefore, by using the four cameras 11 to 14, it is possible to take a picture of the entire circumference of the vehicle 4 in the horizontal direction.

画像処理装置２は、撮影部１によって撮影された撮影画像を取得して、当該撮影画像の処理を行う。また、画像処理装置２は、撮影画像を処理して得られた処理画像を表示装置３に出力する。また、画像処理装置２は、撮影画像を処理して、撮影画像中から検出対象（例えば駐車枠）を検出する。画像処理装置２は、車両４の所定の位置に配置される。すなわち、画像処理装置２は、車両において用いられる。画像処理装置２の詳細については後述する。 The image processing device 2 acquires a photographed image photographed by the photographing unit 1 and processes the photographed image. Further, the image processing device 2 outputs the processed image obtained by processing the captured image to the display device 3. Further, the image processing device 2 processes the captured image and detects a detection target (for example, a parking frame) from the captured image. The image processing device 2 is arranged at a predetermined position of the vehicle 4. That is, the image processing device 2 is used in a vehicle. The details of the image processing device 2 will be described later.

表示装置３は、例えばタッチパネル等の操作機能を有する液晶等のディスプレイを備え、画像処理システムによる処理で得られた表示画像を表示する。表示装置３は、車両４の乗員（代表的には運転手）がディスプレイの表示画面を視認できる位置に設けられる。例えば、表示装置３は、車両４のインストルメントパネルに設置される。 The display device 3 includes a display such as a liquid crystal having an operation function such as a touch panel, and displays a display image obtained by processing by an image processing system. The display device 3 is provided at a position where the occupant (typically, the driver) of the vehicle 4 can visually recognize the display screen of the display. For example, the display device 3 is installed on the instrument panel of the vehicle 4.

＜２．画像処理装置の構成＞
画像処理装置２は、ＥＣＵ（Electronic Control Unit）として構成される。図１に示すように、画像処理装置２は、画像生成部２１と、制御部２２と、通信部２３と、記憶部２４と、を備える。 <2. Image processing device configuration>
The image processing device 2 is configured as an ECU (Electronic Control Unit). As shown in FIG. 1, the image processing device 2 includes an image generation unit 21, a control unit 22, a communication unit 23, and a storage unit 24.

画像生成部２１は、撮影部１で取得された撮影画像を処理して表示用画像を生成する。本実施の形態では、画像生成部２１は、各種の画像処理が可能なハードウェア回路として構成されている。本実施の形態では、画像生成部２１は、車両４に搭載されるカメラ１１〜１４による撮影画像に基づいて、仮想視点から見た車両４の周辺を示す仮想視点画像を生成する。仮想視点画像を生成する手法の詳細については後述する。 The image generation unit 21 processes the captured image acquired by the photographing unit 1 to generate a display image. In the present embodiment, the image generation unit 21 is configured as a hardware circuit capable of performing various image processing. In the present embodiment, the image generation unit 21 generates a virtual viewpoint image showing the periphery of the vehicle 4 as seen from the virtual viewpoint, based on the images taken by the cameras 11 to 14 mounted on the vehicle 4. The details of the method for generating the virtual viewpoint image will be described later.

画像生成部２１は、カメラ１１〜１４による撮影画像を表示用に調整する。詳細には、画像生成部２１は、撮影画像の明るさやコントラスト等の画質調整や、表示の際に自然となるように画像の歪み補正を行う。また、画像生成部２１は、表示用に調整された撮影画像、及び、上述の仮想視点画像に基づいて、運転者等に提供する表示用画像を生成する。生成された表示用画像は、通信部２３によって表示装置３に出力され、表示装置３の表示画面に表示される。 The image generation unit 21 adjusts the images captured by the cameras 11 to 14 for display. Specifically, the image generation unit 21 adjusts the image quality such as the brightness and contrast of the captured image, and corrects the distortion of the image so that it becomes natural at the time of display. Further, the image generation unit 21 generates a display image to be provided to the driver or the like based on the captured image adjusted for display and the above-mentioned virtual viewpoint image. The generated display image is output to the display device 3 by the communication unit 23 and displayed on the display screen of the display device 3.

制御部２２は、画像処理装置２の全体を制御する。制御部２２は、図示しないＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を備えるコンピュータである。本実施の形態では、制御部２２は、画像制御部２２１と、表示制御部２２２と、設定部２２３と、検出部２２４と、を備える。制御部２２が備えるこれらの各部は、例えばＲＯＭに格納されるプログラムに従ってＣＰＵが演算処理を行うことによって実現される機能である。 The control unit 22 controls the entire image processing device 2. The control unit 22 is a computer including a CPU (Central Processing Unit), a RAM (Random Access Memory), and a ROM (Read Only Memory) (not shown). In the present embodiment, the control unit 22 includes an image control unit 221, a display control unit 222, a setting unit 223, and a detection unit 224. Each of these units included in the control unit 22 is a function realized by, for example, the CPU performing arithmetic processing according to a program stored in the ROM.

画像制御部２２１は、画像生成部２１によって実行される画像処理を制御する。例えば、画像制御部２２１は、画像生成部２１に対して、仮想視点画像を生成するために必要となる各種のパラメータ等の指示を行う。 The image control unit 221 controls the image processing executed by the image generation unit 21. For example, the image control unit 221 instructs the image generation unit 21 various parameters and the like necessary for generating a virtual viewpoint image.

表示制御部２２２は、主に画像処理装置２の処理によって得られた画像情報を表示装置３で表示させるための制御を行う。例えば、表示制御部２２２は、画像生成部２１で生成された仮想視点画像を表示装置３に出力する際の制御を行う。 The display control unit 222 mainly controls the display device 3 to display the image information obtained by the processing of the image processing device 2. For example, the display control unit 222 controls when the virtual viewpoint image generated by the image generation unit 21 is output to the display device 3.

設定部２２３は、仮想視点画像に基づいて、カメラ１１〜１４の撮影画像中において所定の処理に使用しない領域であるマスク領域を設定する。本実施の形態では、所定の処理は、カメラ１１〜１４による撮影画像に基づいて検出対象を検出する処理である。上述のように、本実施の形態では、検出対象には、駐車枠が含まれる。 The setting unit 223 sets a mask area which is an area not used for a predetermined process in the captured images of the cameras 11 to 14 based on the virtual viewpoint image. In the present embodiment, the predetermined process is a process of detecting the detection target based on the images captured by the cameras 11 to 14. As described above, in the present embodiment, the detection target includes a parking frame.

また、詳細には、マスク領域は、カメラ１１〜１４による撮影画像中において、車両４のボディが映り込むことが想定される領域である。車両４のボディが映り込む領域は、駐車枠や移動体等の検出には不要な領域であるためにマスク領域とされる。本実施の形態によれば、仮想視点画像に関する既存の技術を利用して、単一のカメラの撮影画像に対するマスク領域を設定することができる。このために、単一のカメラの撮影画像に対してマスク領域を設定する手法について新たなロジックの開発を行う必要がなく、開発コストの削減を図ることができる。 Further, in detail, the mask area is an area where the body of the vehicle 4 is expected to be reflected in the images taken by the cameras 11 to 14. The area where the body of the vehicle 4 is reflected is a mask area because it is an area unnecessary for detecting a parking frame, a moving body, or the like. According to the present embodiment, it is possible to set a mask area for an image captured by a single camera by using an existing technique for a virtual viewpoint image. Therefore, it is not necessary to develop a new logic for the method of setting the mask area for the image captured by a single camera, and the development cost can be reduced.

なお、本実施の形態では、４つのカメラ１１〜１４の全てに対してマスク領域の設定が行われるが、これは例示であり、一部のカメラに対してのみマスク領域の設定が行われてもよい。例えば、カメラで撮影した撮影画像から駐車枠を検出することのみが目的である場合、左右のサイドカメラ１２、１３及びバックカメラ１４に対してマスク領域が設定される構成としてよい。マスク領域の設定手法の詳細については後述する。 In the present embodiment, the mask area is set for all four cameras 11 to 14, but this is an example, and the mask area is set only for some cameras. May be good. For example, when the purpose is only to detect the parking frame from the captured image taken by the camera, the mask area may be set for the left and right side cameras 12, 13 and the back camera 14. The details of the mask area setting method will be described later.

検出部２２４は、カメラ１１〜１４の撮影画像にマスク領域によるマスクを行って検出対象を検出する。本実施の形態では、設定部２２３によって、各カメラ１１〜１４の撮影画像に対するマスク領域が設定される。このために、検出部２２４は、不要な領域を除外して検出対象の検出処理を行うことができる。また、撮影画像を用いて検出対象を検出する際に不要な部分が予め除外されているために、検出部２２４による誤検出の発生確率を低減することができる。 The detection unit 224 detects the detection target by masking the captured images of the cameras 11 to 14 with a mask area. In the present embodiment, the setting unit 223 sets a mask area for the captured images of the cameras 11 to 14. Therefore, the detection unit 224 can perform the detection process of the detection target by excluding an unnecessary area. Further, since unnecessary parts are excluded in advance when detecting the detection target using the captured image, the probability of erroneous detection by the detection unit 224 can be reduced.

検出部２２４は、特に限定する趣旨ではないが、例えばサイドカメラ１２、１３で撮影される撮影画像に基づいて駐車枠の検出を行う。例えば、サイドカメラ１２、１３の代わりにバックカメラ１４が用いられてもよいし、サイドカメラ１２、１３とバックカメラ１４との両方が用いられてもよい。駐車枠の検出処理は、適宜実施される。 Although not particularly limited, the detection unit 224 detects the parking frame based on the captured images taken by the side cameras 12 and 13, for example. For example, the back camera 14 may be used instead of the side cameras 12 and 13, or both the side cameras 12 and 13 and the back camera 14 may be used. The parking frame detection process is carried out as appropriate.

検出部２２４は、カメラ１２、１３等による撮影画像中の輝度変化に基づいて、車両の駐車領域を区画する駐車枠線の検出を行う。駐車枠線は、一般的に白色又は黄色等の明るい色彩が施されるために、画像中における輝度が高い。このために、駐車枠線の輝度と駐車場の路面表面の輝度との間に輝度差が発生する。当該輝度差に基づく輝度変化は一定範囲になるために、輝度変化が一定範囲となるエッジを検出することにより、駐車枠線の検出を行うことができる。なお、「エッジ」は、画像中において、画素間の輝度が所定以上の大きさで変化する部分を指す。 The detection unit 224 detects the parking border that divides the parking area of the vehicle based on the change in brightness in the captured image by the cameras 12, 13, and the like. The parking border has a high brightness in the image because it is generally given a bright color such as white or yellow. For this reason, a brightness difference occurs between the brightness of the parking frame line and the brightness of the road surface surface of the parking lot. Since the brightness change based on the brightness difference is within a certain range, the parking border can be detected by detecting the edge where the brightness change is within a certain range. The “edge” refers to a portion of the image in which the brightness between pixels changes with a magnitude equal to or greater than a predetermined value.

検出部２２４は、検出された２つの駐車枠線のエッジ間の距離が所定の距離であると判断される場合に、検出された２つの駐車枠線間の領域を駐車枠として認識する。所定の距離とは、例えば、駐車場に関する法令等で規定される一般公共用の標準的な駐車枠の幅であり、２．５ｍである。本実施の形態では、車両４のボディが映り込む可能性がある部分がマスクされた状態で駐車枠線の検出を行い、駐車枠の検出が行われる。このために、効率良く駐車枠の検出を行うことができる。また、車両４のボディに映り込んだ背景等によって駐車枠の誤検出を行う可能性を低減することができる。 When it is determined that the distance between the edges of the two detected parking frame lines is a predetermined distance, the detection unit 224 recognizes the area between the detected two parking frame lines as a parking frame. The predetermined distance is, for example, the width of a standard parking frame for general public stipulated by laws and regulations regarding parking lots, and is 2.5 m. In the present embodiment, the parking frame line is detected in a state where the portion where the body of the vehicle 4 may be reflected is masked, and the parking frame is detected. Therefore, the parking frame can be detected efficiently. Further, it is possible to reduce the possibility of erroneous detection of the parking frame due to the background reflected on the body of the vehicle 4.

通信部２３は、表示装置３との間で通信を行う。通信部２３は、例えば、画像生成部２１で生成された仮想視点画像を表示装置３に出力する。また、通信部２３は、運転者等が表示装置３の操作を行った場合に操作部（タッチパネル等）から送信される信号を受信する。 The communication unit 23 communicates with the display device 3. The communication unit 23 outputs, for example, the virtual viewpoint image generated by the image generation unit 21 to the display device 3. Further, the communication unit 23 receives a signal transmitted from the operation unit (touch panel or the like) when the driver or the like operates the display device 3.

記憶部２４は、例えば、フラッシュメモリ等の不揮発性のメモリであり、各種の情報を記憶する。記憶部２４は、例えば、ファームウェアとしてのプログラム、画像生成部２１が仮想視点画像を生成するための各種のデータを記憶する。また、記憶部２４は、設定部２２３及び検出部２２４が処理を実行するために必要となる各種のデータを記憶する。 The storage unit 24 is, for example, a non-volatile memory such as a flash memory, and stores various types of information. The storage unit 24 stores, for example, a program as firmware and various data for the image generation unit 21 to generate a virtual viewpoint image. In addition, the storage unit 24 stores various data required for the setting unit 223 and the detection unit 224 to execute the process.

＜３．仮想視点画像の生成処理＞
画像生成部２１が、仮想視点から見た車両４の周辺の様子を示す仮想視点画像を生成する手法について説明する。図３は、画像生成部２１が仮想視点画像を生成する手法を説明するための図である。画像生成部２１は、仮想視点画像の生成に仮想の立体的な投影面ＴＳを用いることで、現実に近い臨場感のある仮想視点画像を生成する。 <3. Virtual viewpoint image generation process>
A method in which the image generation unit 21 generates a virtual viewpoint image showing the surroundings of the vehicle 4 as seen from the virtual viewpoint will be described. FIG. 3 is a diagram for explaining a method in which the image generation unit 21 generates a virtual viewpoint image. The image generation unit 21 uses a virtual three-dimensional projection surface TS to generate a virtual viewpoint image, thereby generating a virtual viewpoint image having a sense of reality close to reality.

フロントカメラ１１、左サイドカメラ１２、右サイドカメラ１３、及び、バックカメラ１４によって、車両４の前方、左側方、右側方、及び、後方をそれぞれ示す４つの撮影画像Ｐ１１〜Ｐ１４が同時に取得される。これら４つの撮影画像Ｐ１１〜Ｐ１４には、車両４の全周囲のデータが含まれている。画像生成部２１は、これら４つの撮影画像Ｐ１１〜Ｐ１４を取得する。 The front camera 11, the left side camera 12, the right side camera 13, and the back camera 14 simultaneously acquire four captured images P11 to P14 indicating the front, left, right, and rear of the vehicle 4. .. These four captured images P11 to P14 include data on the entire circumference of the vehicle 4. The image generation unit 21 acquires these four captured images P11 to P14.

画像生成部２１は、これら４つの撮影画像Ｐ１１〜Ｐ１４に含まれるデータ（画素の値）を、仮想的な三次元空間における立体的な曲面である投影面ＴＳに投影する。投影面ＴＳは、例えば、略半球状（お椀形状）をしており、その中心部（お椀の底部分）が車両４の位置として定められている。撮影画像Ｐ１１〜Ｐ１４に含まれる各画素の位置と、投影面ＴＳの各画素の位置とは予め対応関係が定められている。この対応関係を示すテーブルデータは、記憶部２４に記憶されている。投影面ＴＳの各画素の値は、この対応関係と、撮影画像Ｐ１１〜Ｐ１４に含まれる各画素の値とに基づいて決定できる。 The image generation unit 21 projects the data (pixel values) contained in these four captured images P11 to P14 onto the projection surface TS which is a three-dimensional curved surface in a virtual three-dimensional space. The projection surface TS has, for example, a substantially hemispherical shape (bowl shape), and its central portion (bottom portion of the bowl) is defined as the position of the vehicle 4. The correspondence between the position of each pixel included in the captured images P11 to P14 and the position of each pixel on the projection surface TS is determined in advance. The table data showing this correspondence is stored in the storage unit 24. The value of each pixel of the projection surface TS can be determined based on this correspondence and the value of each pixel included in the captured images P11 to P14.

次に、画像生成部２１は、画像制御部２２１の制御により、三次元空間に対して仮想視点ＶＰを設定する。仮想視点ＶＰは、視点位置と視線方向とで規定される。画像生成部２１は、任意の視点位置、かつ、任意の視線方向の仮想視点ＶＰを三次元空間に設定できる。画像生成部２１は、設定された仮想視点ＶＰに応じて投影面ＴＳにおける必要な領域を切り出す。これにより、任意の仮想視点ＶＰから見た仮想視点画像が生成される。 Next, the image generation unit 21 sets the virtual viewpoint VP for the three-dimensional space under the control of the image control unit 221. The virtual viewpoint VP is defined by the viewpoint position and the line-of-sight direction. The image generation unit 21 can set a virtual viewpoint VP at an arbitrary viewpoint position and an arbitrary line-of-sight direction in a three-dimensional space. The image generation unit 21 cuts out a necessary area on the projection surface TS according to the set virtual viewpoint VP. As a result, a virtual viewpoint image viewed from an arbitrary virtual viewpoint VP is generated.

例えば、図３に示すように、視点位置を車両４の真上、視線方向を直下とした仮想視点ＶＰａを想定した場合、車両４及び車両４の周辺を俯瞰する仮想視点画像（俯瞰画像）ＣＰａを生成できる。また、視点位置を車両４の左後方、視線方向を車両４の前方とした仮想視点ＶＰｂを想定した場合、車両４の左後方から見た車両４及び車両４の周辺を示す仮想視点画像ＣＰｂを生成できる。 For example, as shown in FIG. 3, assuming a virtual viewpoint VPa with the viewpoint position directly above the vehicle 4 and the line-of-sight direction directly below, the virtual viewpoint image (overhead image) CPa that gives a bird's-eye view of the vehicle 4 and the surroundings of the vehicle 4 Can be generated. Further, assuming a virtual viewpoint VPb in which the viewpoint position is the left rear of the vehicle 4 and the line-of-sight direction is the front of the vehicle 4, a virtual viewpoint image CPb showing the vehicle 4 and the periphery of the vehicle 4 as seen from the left rear of the vehicle 4 is displayed. Can be generated.

なお、仮想視点画像ＣＰ中に示す車両４の像は、予めビットマップなどのデータとして用意され、記憶部２４に記憶されている。仮想視点画像の生成の際には、当該仮想視点画像の仮想視点ＶＰの視点位置と視線方向とに応じた形状の車両４の像のデータが読み出されて、仮想視点画像中に重畳される。 The image of the vehicle 4 shown in the virtual viewpoint image CP is prepared in advance as data such as a bitmap and stored in the storage unit 24. When the virtual viewpoint image is generated, the data of the image of the vehicle 4 having a shape corresponding to the viewpoint position and the line-of-sight direction of the virtual viewpoint VP of the virtual viewpoint image is read out and superimposed on the virtual viewpoint image. ..

図４は、仮想視点画像における車両４の像が配置される部分を拡大して示した図である。なお、図４では、上述の仮想視点ＶＰａによる仮想視点画像を想定している。図４に示すように、仮想視点画像中には、車両４の周辺を表示しない死角領域５が設定されている。図４において、死角領域５は斜線を施した部分である。本実施の形態において、死角領域５は、車両４のボディが映り込む可能性がある領域である。詳細には、死角領域５の外縁（境界）は、図４に示すように矩形状である。死角領域５は、表示装置３においては、例えば黒色等で表示される。 FIG. 4 is an enlarged view showing a portion of the virtual viewpoint image in which the image of the vehicle 4 is arranged. In FIG. 4, a virtual viewpoint image by the above-mentioned virtual viewpoint VPa is assumed. As shown in FIG. 4, a blind spot area 5 that does not display the periphery of the vehicle 4 is set in the virtual viewpoint image. In FIG. 4, the blind spot region 5 is a shaded portion. In the present embodiment, the blind spot area 5 is an area where the body of the vehicle 4 may be reflected. Specifically, the outer edge (boundary) of the blind spot region 5 is rectangular as shown in FIG. The blind spot region 5 is displayed in black or the like on the display device 3.

死角領域５は、車両４のボディ形状及びカメラ１１〜１４の搭載位置によって決まる。このために、死角領域５は、例えば車種ごと、又は、グレードごとに設定することができる。本実施の形態では、死角領域５は、カメラ１１〜１４の取付誤差及びキャリブレーション誤差を考慮して設定されている。詳細には、死角領域５は、誤差によって車両４のボディが映り込む範囲が最大となる場合でも、車両４のボディ画像が仮想視点画像中に表示されないように設定されている。死角領域５に関するデータは、記憶部２４に記憶されている。死角領域５は、仮想視点画像の生成の際に、当該仮想視点画像の仮想視点ＶＰの視点位置と視線方向とに応じて仮想視点画像中に重畳される。 The blind spot region 5 is determined by the body shape of the vehicle 4 and the mounting positions of the cameras 11 to 14. Therefore, the blind spot region 5 can be set for each vehicle type or each grade, for example. In the present embodiment, the blind spot region 5 is set in consideration of the mounting error and the calibration error of the cameras 11 to 14. Specifically, the blind spot region 5 is set so that the body image of the vehicle 4 is not displayed in the virtual viewpoint image even when the range in which the body of the vehicle 4 is reflected is maximized due to an error. The data regarding the blind spot region 5 is stored in the storage unit 24. The blind spot region 5 is superimposed on the virtual viewpoint image according to the viewpoint position and the line-of-sight direction of the virtual viewpoint VP of the virtual viewpoint image when the virtual viewpoint image is generated.

＜４．マスク領域の設定処理＞
本実施の形態においては、設定部２２３は、仮想視点画像中に設定される死角領域５に基づいてマスク領域を設定する。マスク領域は、各カメラ１１〜１４に対して設定される。マスク領域の設定は、車両４にカメラ１１〜１４を取り付けた後に行われる。マスク領域の設定は、例えば、車両の組み立て工場や、車両を販売するディーラ等で行われる。図５は、本実施の形態におけるマスク領域の設定手順を示すフローチャートである。図５を参照しながら、マスク領域の設定処理について説明する。 <4. Mask area setting process>
In the present embodiment, the setting unit 223 sets the mask area based on the blind spot area 5 set in the virtual viewpoint image. The mask area is set for each camera 11-14. The mask area is set after the cameras 11 to 14 are attached to the vehicle 4. The mask area is set, for example, at a vehicle assembly factory, a dealer that sells vehicles, and the like. FIG. 5 is a flowchart showing a procedure for setting a mask area in the present embodiment. The mask area setting process will be described with reference to FIG.

設定部２２３は、仮想視点画像中の死角領域５の境界上の複数点を抽出する（ステップＳ１）。本実施の形態において、死角領域５の境界上とは、死角領域５の外縁（外周）上のことである。本実施の形態では、設定部２２３は、仮想視点の視点位置が車両４の真上、かつ、視線方向が真下である場合の仮想視点画像に基づいてマスク領域を設定する。マスク領域を設定するために用いる仮想視点画像は、別の仮想視点を想定したものであってもよい。ただし、本実施の形態の構成の仮想視点画像を利用することにより、いずれのカメラ１１〜１４に対しても同じ仮想視点画像を利用することができる。このために、処理効率を向上することができる。 The setting unit 223 extracts a plurality of points on the boundary of the blind spot region 5 in the virtual viewpoint image (step S1). In the present embodiment, the boundary of the blind spot region 5 is on the outer edge (outer circumference) of the blind spot region 5. In the present embodiment, the setting unit 223 sets the mask area based on the virtual viewpoint image when the viewpoint position of the virtual viewpoint is directly above the vehicle 4 and the line-of-sight direction is directly below. The virtual viewpoint image used to set the mask area may assume another virtual viewpoint. However, by using the virtual viewpoint image having the configuration of the present embodiment, the same virtual viewpoint image can be used for any of the cameras 11-14. Therefore, the processing efficiency can be improved.

図６は、図５のステップＳ１を説明するための図である。図６は、バックカメラ１４用のマスク領域を設定する場合を想定した図である。バックカメラ１４用のマスク領域の設定を行うにあたって、設定部２２３は、死角領域５における車両後方側の短辺５Ｂ上の複数点ｇを抽出する。例えば、設定部２２３は、一定の間隔で短辺５Ｂ上の点ｇを抽出する。一定の間隔は、適宜設定すればよい。例えば１００ｍｍ間隔等であってよいが、間隔を細かく設定することによって、後述の近似曲線をより正確に取得することができる。本実施の形態では、死角領域５の境界上に加えて、境界の延長線上の点も抽出する。詳細には、図６に示すように、設定部２２３は、短辺５Ｂを左右方向に延長した延長線５Ｅ上の点ｇについても抽出する。ただし、これは例示であり、短辺５Ｂ上の点ｇだけでもよい。また、本実施の形態では、短辺５Ｂから左右に延びる延長線５Ｅ上の点が抽出されているが、左右いずれか一方に延びる延長線上の点だけが抽出されてもよい。 FIG. 6 is a diagram for explaining step S1 of FIG. FIG. 6 is a diagram assuming a case where a mask area for the back camera 14 is set. In setting the mask area for the back camera 14, the setting unit 223 extracts a plurality of points g on the short side 5B on the rear side of the vehicle in the blind spot area 5. For example, the setting unit 223 extracts points g on the short side 5B at regular intervals. The fixed interval may be set as appropriate. For example, the interval may be 100 mm, but by setting the interval finely, the approximate curve described later can be obtained more accurately. In the present embodiment, in addition to the boundary of the blind spot region 5, points on the extension line of the boundary are also extracted. Specifically, as shown in FIG. 6, the setting unit 223 also extracts the point g on the extension line 5E extending the short side 5B in the left-right direction. However, this is an example, and only the point g on the short side 5B may be used. Further, in the present embodiment, points on the extension line 5E extending to the left and right from the short side 5B are extracted, but only points on the extension line extending to either the left or right may be extracted.

なお、フロントカメラ１１用のマスク領域を設定する場合には、設定部２２３は、死角領域５における車両前方側の短辺５Ｆ上の複数点を抽出する。短辺５Ｆの延長線上の点も抽出されてよい。左サイドカメラ１２用のマスク領域を設定する場合には、設定部２２３は、死角領域５における車両左方側の長辺５Ｌ上の複数点を抽出する。長辺５Ｌの延長線上の点も抽出されてよい。右サイドカメラ１３用のマスク領域を設定する場合には、設定部２２３は、死角領域５における車両右方側の長辺５Ｒ上の複数点を抽出する。長辺５Ｒの延長線上の点も抽出されてよい。 When setting the mask area for the front camera 11, the setting unit 223 extracts a plurality of points on the short side 5F on the front side of the vehicle in the blind spot area 5. Points on the extension of the short side 5F may also be extracted. When setting the mask area for the left side camera 12, the setting unit 223 extracts a plurality of points on the long side 5L on the left side of the vehicle in the blind spot area 5. Points on the extension of the long side 5L may also be extracted. When setting the mask area for the right side camera 13, the setting unit 223 extracts a plurality of points on the long side 5R on the right side of the vehicle in the blind spot area 5. Points on the extension of the long side 5R may also be extracted.

次に、設定部２２３は、死角領域５の境界上の複数点のそれぞれについて、カメラ１１〜１４の撮影画像における対応座標位置を抽出する（ステップＳ２）。本実施の形態では、死角領域５の境界上の点に加えて、境界の延長線上の点についても対応座標位置を抽出する。 Next, the setting unit 223 extracts the corresponding coordinate positions in the captured images of the cameras 11 to 14 for each of the plurality of points on the boundary of the blind spot region 5 (step S2). In the present embodiment, in addition to the points on the boundary of the blind spot region 5, the corresponding coordinate positions are extracted for the points on the extension line of the boundary.

図７は、図５のステップＳ２を説明するための図である。図７は、バックカメラ１４用のマスク領域を設定する場合を想定した図である。設定部２２３は、バックカメラ１４用のマスク領域を設定する場合には、短辺５Ｂ上の複数点ｇのそれぞれについて、バックカメラ１４の撮影画像における対応座標位置Ｇを抽出する。また、設定部２２３は、短辺５Ｂの延長線上の点ｇについても、バックカメラ１４の撮影画像における対応座標位置Ｇを抽出する。これにより、図７に示すように、複数の対応座標位置Ｇが得られる。なお、図６と図７は、いずれも模式図であり、抽出点の数は特に対応させていない。 FIG. 7 is a diagram for explaining step S2 of FIG. FIG. 7 is a diagram assuming a case where a mask area for the back camera 14 is set. When setting the mask area for the back camera 14, the setting unit 223 extracts the corresponding coordinate position G in the captured image of the back camera 14 for each of the plurality of points g on the short side 5B. Further, the setting unit 223 also extracts the corresponding coordinate position G in the captured image of the back camera 14 for the point g on the extension line of the short side 5B. As a result, as shown in FIG. 7, a plurality of corresponding coordinate positions G can be obtained. Note that FIGS. 6 and 7 are schematic views, and the number of extraction points does not correspond to each other.

詳細には、設定部２２３は、仮想視点ＶＰの視点位置及び視線方向に基づいて、仮想視点画像から抽出した複数点ｇの投影面ＴＳおける座標位置を求める。そして、設定部２２３は、投影面ＴＳの座標位置と、バックカメラ１４の撮影画像の座標位置との対応関係が示されたデータ（記憶部２４に記憶される）に基づいて、仮想視点画像から抽出した複数点ｇのそれぞれについて、バックカメラ１４の撮影画像における対応座標位置Ｇを求める。 Specifically, the setting unit 223 obtains the coordinate positions on the projection surface TS of the plurality of points g extracted from the virtual viewpoint image based on the viewpoint position and the line-of-sight direction of the virtual viewpoint VP. Then, the setting unit 223 uses the virtual viewpoint image based on the data (stored in the storage unit 24) showing the correspondence between the coordinate position of the projection surface TS and the coordinate position of the captured image of the back camera 14. For each of the extracted plurality of points g, the corresponding coordinate position G in the captured image of the back camera 14 is obtained.

なお、仮想視点画像から抽出した複数点のそれぞれに対して、上述の対応座標位置を求める処理は、フロントカメラ１１、左サイドカメラ１２、及び、右サイドカメラ１３の場合についても、バックカメラ１４の場合と同様である。このため、詳細な説明は省略する。 The process of obtaining the corresponding coordinate positions for each of the plurality of points extracted from the virtual viewpoint image is performed by the back camera 14 even in the case of the front camera 11, the left side camera 12, and the right side camera 13. Same as the case. Therefore, detailed description thereof will be omitted.

設定部２２３は、カメラ１１〜１４の撮影画像上において、複数の対応座標位置から近似曲線を導出する（ステップＳ３）。図８は、図５のステップＳ３を説明するための図である。図８は、バックカメラ１４用のマスク領域を設定する場合を想定した図である。図８に示すように、設定部２２３は、複数の対応座標位置Ｇに基づいて曲線近似を行って近似曲線Ｌを取得する。曲線近似の手法としては、特に限定する趣旨ではないが、例えば最小二乗法が用いられる。 The setting unit 223 derives an approximate curve from a plurality of corresponding coordinate positions on the captured images of the cameras 11 to 14 (step S3). FIG. 8 is a diagram for explaining step S3 of FIG. FIG. 8 is a diagram assuming a case where a mask area for the back camera 14 is set. As shown in FIG. 8, the setting unit 223 performs a curve approximation based on a plurality of corresponding coordinate positions G and acquires an approximate curve L. The curve approximation method is not particularly limited, but for example, the least squares method is used.

本実施の形態では、死角領域５の境界上の点だけでなく、前述の境界の延長線上の点についても利用して、カメラ１１〜１４の撮影画像における対応座標位置が抽出される。このために、広い範囲に亘って存在する複数の座標位置を利用して曲線近似を行えるために、より正確な近似曲線を得ることができる。 In the present embodiment, not only the points on the boundary of the blind spot region 5 but also the points on the extension line of the above-mentioned boundary are used to extract the corresponding coordinate positions in the captured images of the cameras 11 to 14. Therefore, since the curve can be approximated by using a plurality of coordinate positions existing over a wide range, a more accurate approximate curve can be obtained.

なお、近似曲線を求める処理は、フロントカメラ１１、左サイドカメラ１２、及び、右サイドカメラ１３の場合についても、バックカメラ１４の場合と同様である。このため、詳細な説明は省略する。 The process of obtaining the approximate curve is the same for the front camera 11, the left side camera 12, and the right side camera 13 as in the case of the back camera 14. Therefore, detailed description thereof will be omitted.

設定部２２３は、近似曲線に基づいてマスク領域を設定する（ステップＳ４）。図９は、図５のステップＳ４を説明するための図である。図９は、バックカメラ１４用のマスク領域を設定する場合を想定した図である。バックカメラ１４の撮影画像において、車両４のボディが映り込む大体の位置は予め把握できている。本実施の形態では、撮影画像の下側に車両４が映り込む。このため、設定部２２３は、近似曲線Ｌの下側の領域をマスク領域Ｒとして設定する。 The setting unit 223 sets the mask area based on the approximate curve (step S4). FIG. 9 is a diagram for explaining step S4 of FIG. FIG. 9 is a diagram assuming a case where a mask area for the back camera 14 is set. In the captured image of the back camera 14, the approximate position where the body of the vehicle 4 is reflected can be grasped in advance. In the present embodiment, the vehicle 4 is reflected on the lower side of the captured image. Therefore, the setting unit 223 sets the region below the approximate curve L as the mask region R.

なお、設定部２２３は、マスク領域Ｒを設定すると、設定したマスク領域を記憶部２４に記憶する。すなわち、マスク領域Ｒを一度生成すれば、その後は、再度マスク領域Ｒの設定を行わずに、記憶部２４からマスク領域Ｒに関する情報を読み出して使用することができる。 When the mask area R is set, the setting unit 223 stores the set mask area in the storage unit 24. That is, once the mask area R is generated, the information about the mask area R can be read out from the storage unit 24 and used without setting the mask area R again.

なお、マスク領域を設定する処理は、フロントカメラ１１、左サイドカメラ１２、及び、右サイドカメラ１３の場合についても、バックカメラ１４の場合と同様である。このため、詳細な説明は省略する。これらのカメラ１１〜１３用のマスク領域についても記憶部２４に記憶される。 The process of setting the mask area is the same for the front camera 11, the left side camera 12, and the right side camera 13 as in the case of the back camera 14. Therefore, detailed description thereof will be omitted. The mask areas for these cameras 11 to 13 are also stored in the storage unit 24.

本実施の形態によれば、仮想視点画像において設定される死角領域５から、各カメラ１１〜１４の撮影画像において車両４のボディが映り込む領域を推定してマスク領域を設定することができる。車両４のボディが映り込む可能性がある領域として設定される死角領域５は、取付誤差及びキャリブレーション誤差を考慮して設定されている。このために、本実施の形態によれば、起り得るばらつきに適切に対応したマスク領域の設定を行うことができる。すなわち、本実施の形態によれば、マスク領域によってマスクした撮影画像に車両４のボディが映り込んだ領域が残ることを避けられる。また、本実施の形態によれば、車両一台、一台に対して、個別にカメラの取付誤差等を考慮しながらマスク領域の算出を行う必要がなく、作業負担を低減することができる。本実施の形態によれば、同一形状のボディを有する車両４に対しては、同じ処理でマスク領域の設定を行うことができる。 According to the present embodiment, the mask area can be set by estimating the area in which the body of the vehicle 4 is reflected in the captured images of the cameras 11 to 14 from the blind spot area 5 set in the virtual viewpoint image. The blind spot area 5 set as the area where the body of the vehicle 4 may be reflected is set in consideration of the mounting error and the calibration error. Therefore, according to the present embodiment, it is possible to set the mask area appropriately corresponding to the variation that may occur. That is, according to the present embodiment, it is possible to avoid leaving a region in which the body of the vehicle 4 is reflected in the captured image masked by the mask region. Further, according to the present embodiment, it is not necessary to calculate the mask area for each vehicle individually while considering the camera mounting error and the like, and the work load can be reduced. According to the present embodiment, the mask area can be set by the same process for the vehicle 4 having the same body shape.

また、本実施の形態によれば、仮想視点画像における死角領域５に関する情報を単一のカメラ１１〜１４の画像上に落とし込み、曲線近似を利用してマスク領域を設定する。既存の技術を流用してマスク領域を設定することができるために、単一のカメラごとにマスク領域を設定するための新たなロジックを開発する必要がなく、開発コストの削減を図ることができる。 Further, according to the present embodiment, the information about the blind spot region 5 in the virtual viewpoint image is dropped on the images of the single cameras 11 to 14, and the mask region is set by using the curve approximation. Since the mask area can be set by diverting the existing technology, it is not necessary to develop new logic for setting the mask area for each single camera, and the development cost can be reduced. ..

また、本実施の形態の画像処理システムでは、各カメラ１１〜１４用のマスク領域を設定した後は、その後、一々マスク領域の設定処理を行うことなく、先に設定したマスク領域情報を記憶部２４から読み出すことによって、検出部２２４による検出処理を行うことができる。検出部２２４は、記憶部２４に記憶されるマスク領域情報によってカメラ１１〜１４の撮影画像にマスク処理を行って、当該マスク処理が施された画像に基づいて検出対象（本実施の形態では駐車枠）の検出処理を行うことができる。なお、マスク処理では、例えば、マスク領域と設定された部分の画素値が０とされる。 Further, in the image processing system of the present embodiment, after the mask areas for each cameras 11 to 14 are set, the previously set mask area information is stored in the storage unit without performing the mask area setting process one by one. By reading from 24, the detection process by the detection unit 224 can be performed. The detection unit 224 performs mask processing on the captured images of the cameras 11 to 14 based on the mask area information stored in the storage unit 24, and detects the detection target based on the masked image (parking in the present embodiment). Frame) detection processing can be performed. In the mask processing, for example, the pixel value of the portion set as the mask area is set to 0.

＜＜３．留意点＞＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。また、本明細書中に示される複数の実施形態及び変形例は可能な範囲で組み合わせて実施されてよい。 << 3. Points to keep in mind >>
The various technical features disclosed herein can be modified in addition to the above embodiments without departing from the gist of the technical creation. In addition, a plurality of embodiments and modifications shown in the present specification may be combined and implemented to the extent possible.

例えば、以上に示した実施形態では、画像処理装置２が検出部２２４を備える構成としたが、これは例示である。画像処理部装置は、検出部を備えなくてもよい。この場合には、画像処理装置とは別に、検出対象を検出する検出装置を設け、両装置が有線又は無線でつながれて情報のやり取りを行うシステムが採用されてよい。 For example, in the embodiment shown above, the image processing device 2 is configured to include the detection unit 224, which is an example. The image processing unit device does not have to include a detection unit. In this case, a system may be adopted in which a detection device for detecting a detection target is provided separately from the image processing device, and both devices are connected by wire or wirelessly to exchange information.

また、以上に示した実施形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されていると説明したが、これらの機能のうちの少なくとも一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの少なくとも一部は、ソフトウェア的に実現されてもよい。 Further, in the above-described embodiment, it has been described that various functions are realized by software by the arithmetic processing of the CPU according to the program, but at least a part of these functions is electrical hardware. It may be realized by a circuit. On the contrary, at least a part of the functions realized by the hardware circuit may be realized by software.

２・・・画像処理装置
４・・・車両
５・・・死角領域
１１・・・フロントカメラ
１２・・・左サイドカメラ
１３・・・右サイドカメラ
１４・・・バックカメラ
２１・・・画像生成部
２２３・・・設定部
２２４・・・検出部
Ｇ・・・対応座標位置
Ｌ・・・近似曲線
Ｒ・・・マスク領域
ＳＹＳ２・・・画像処理システム 2 ... Image processing device 4 ... Vehicle 5 ... Blind spot area 11 ... Front camera 12 ... Left side camera 13 ... Right side camera 14 ... Back camera 21 ... Image generation Part 223 ・・・ Setting part 224 ・・・ Detection part G ・・・ Corresponding coordinate position L ・・・ Approximate curve R ・・・ Mask area SYS2 ・・・ Image processing system

Claims

An image processing device used in a vehicle
An image generation unit that generates a virtual viewpoint image showing the periphery of the vehicle as seen from a virtual viewpoint based on an image taken by a camera mounted on the vehicle.
Based on the virtual viewpoint image, a setting unit for setting a mask area, which is an area not used for a predetermined process in the captured image of the camera, and a setting unit.
With
The predetermined process is a process of detecting a detection target based on an image captured by the camera.
In the virtual viewpoint image, a blind spot area that does not display the periphery of the vehicle is set.
The setting unit extracts the corresponding coordinate positions in the image captured by the camera for each of the plurality of points on the boundary of the blind spot region, and sets the mask region based on the approximate curves derived from the plurality of the corresponding coordinate positions. Image processing device to set.

The image processing apparatus according to claim 1, wherein the blind spot region is an region where the body of the vehicle may be reflected.

The image processing apparatus according to claim 1 or 2, wherein the blind spot region is a region preset based on the body shape of the vehicle and the mounting position of the camera on the vehicle.

The boundary of the blind spot region is rectangular and has a rectangular shape.
The third aspect of the present invention, wherein the setting unit extracts the corresponding coordinate position for a point on an extension line of the one side in addition to a point on one side constituting the boundary of the blind spot area and sets the mask area. Image processing equipment.

Any one of claims 1 to 4, wherein the setting unit sets the mask area based on the virtual viewpoint image when the viewpoint position of the virtual viewpoint is directly above the vehicle and the line-of-sight direction is directly below. The image processing apparatus according to item 1.

Further comprising, an image processing apparatus according to any one of claims 1 to 5 a detection unit for detecting a pre-Symbol camera the detection target by performing a mask according to the mask area in the photographed image of.

The image processing apparatus according to any one of claims 1 to 6.
With the camera
An image processing system.

It is an image processing method using a processing device.
An image generation process that generates a virtual viewpoint image showing the surroundings of the vehicle as seen from a virtual viewpoint based on an image taken by a camera mounted on the vehicle.
Based on the virtual viewpoint image, a mask area setting step of setting a mask area which is an area not used for a predetermined process in the captured image of the camera, and a mask area setting step.
With
The predetermined process is a process of detecting a detection target based on an image captured by the camera.
In the virtual viewpoint image, a blind spot area that does not display the periphery of the vehicle is set.
In the mask area setting step, the corresponding coordinate positions in the image captured by the camera are extracted for each of the plurality of points on the boundary of the blind spot area, and the approximation curves derived from the plurality of corresponding coordinate positions are used. An image processing method in which a mask area is set.