JP2021118435A - Image processing device and image processing method - Google Patents
Image processing device and image processing method Download PDFInfo
- Publication number
- JP2021118435A JP2021118435A JP2020010330A JP2020010330A JP2021118435A JP 2021118435 A JP2021118435 A JP 2021118435A JP 2020010330 A JP2020010330 A JP 2020010330A JP 2020010330 A JP2020010330 A JP 2020010330A JP 2021118435 A JP2021118435 A JP 2021118435A
- Authority
- JP
- Japan
- Prior art keywords
- image
- mask
- vehicle
- virtual viewpoint
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 62
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000000034 method Methods 0.000 claims abstract description 36
- 230000008569 process Effects 0.000 claims description 22
- 230000008859 change Effects 0.000 claims description 9
- 230000005856 abnormality Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 2
- 239000002131 composite material Substances 0.000 description 15
- 238000001514 detection method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006854 communication Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 101000786631 Homo sapiens Protein SYS1 homolog Proteins 0.000 description 4
- 102100025575 Protein SYS1 homolog Human genes 0.000 description 4
- 230000032683 aging Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 230000037237 body shape Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000013256 coordination polymer Substances 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、移動体に搭載されるカメラによって撮影された撮影画像に基づいて、仮想視点から見た移動体の周辺を示す仮想視点画像を生成する画像処理技術に関する。 The present invention relates to an image processing technique for generating a virtual viewpoint image showing the periphery of a moving body as seen from a virtual viewpoint, based on a captured image taken by a camera mounted on the moving body.
従来、移動体に搭載されるカメラによって撮影された撮影画像に基づいて、仮想視点から見た移動体の周辺を示す仮想視点画像を生成する画像処理技術が種々に開発されている(例えば特許文献1参照)。上述した仮想視点画像は、例えば移動体の運転を支援するため等に用いられる。 Conventionally, various image processing techniques have been developed to generate a virtual viewpoint image showing the periphery of a moving body viewed from a virtual viewpoint based on an image taken by a camera mounted on the moving body (for example, patent documents). 1). The virtual viewpoint image described above is used, for example, to support the driving of a moving body.
特許文献1で開示されている画像処理装置では、車両に搭載されるカメラによって撮影された撮影画像における車両が映り込んでいる領域を黒色で塗りつぶすことで、画像内に映り込んでいる車両を隠している。画像内に映り込んでいる車両のボディが車両の近くに存在する障害物と誤認されることを防止するためである。 In the image processing device disclosed in Patent Document 1, the area in which the vehicle is reflected in the captured image taken by the camera mounted on the vehicle is painted in black to hide the vehicle reflected in the image. ing. This is to prevent the body of the vehicle reflected in the image from being mistaken for an obstacle existing near the vehicle.
特許文献1には、車両のボディの映り込み領域は、カメラの仕様と向き及びカメラを搭載する車両の形状が定まれば、予め一意に決定することができると記載されている。 Patent Document 1 describes that the reflection area of the body of a vehicle can be uniquely determined in advance if the specifications and orientation of the camera and the shape of the vehicle on which the camera is mounted are determined.
しかしながら、車両のボディの映り込み領域を予め一意に決定してしまうと、例えば、ユーザーが車両の納車後にエアロパーツ等を取り付けた場合、経年変化や事故等によりバンパー等の形状が変化した場合、経年変化や事故等により車両を基準としたカメラの向き(姿勢)が変化した場合等に、画像内に映り込んでいる車両のボディを隠しきれないおそれがある。 However, if the reflection area of the vehicle body is uniquely determined in advance, for example, when the user attaches aero parts or the like after the vehicle is delivered, or when the shape of the bumper or the like changes due to aging or an accident. When the orientation (posture) of the camera with respect to the vehicle changes due to aging or an accident, the body of the vehicle reflected in the image may not be completely hidden.
本発明は、上記課題に鑑みて、仮想視点画像の見栄えを向上させることができる画像処理技術を提供することを目的とする。 In view of the above problems, an object of the present invention is to provide an image processing technique capable of improving the appearance of a virtual viewpoint image.
本発明に係る画像処理装置は、移動体に搭載されるカメラによって撮影された撮影画像に基づいて、仮想視点から見た移動体の周辺を示す仮想視点画像を生成する画像生成部と、前記仮想視点画像内に映り込んでいる前記移動体を隠すマスクの領域を前記撮影画像に基づいて調整する調整部と、前記仮想視点画像に前記マスクをスーパーインポーズする合成部と、を備える構成(第1の構成)である。 The image processing apparatus according to the present invention includes an image generation unit that generates a virtual viewpoint image showing the periphery of the moving body as seen from a virtual viewpoint based on a captured image taken by a camera mounted on the moving body, and the virtual image generating unit. A configuration including an adjusting unit that adjusts the area of the mask that hides the moving object reflected in the viewpoint image based on the captured image, and a compositing unit that superimposes the mask on the virtual viewpoint image (No. 1). 1 configuration).
上記第1の構成の画像処理装置において、前記調整部は、前記移動体が移動中に異なる時刻に撮影された複数の前記撮影画像に基づいて前記マスクの領域を調整する構成(第2の構成)であってもよい。 In the image processing apparatus having the first configuration, the adjusting unit adjusts the mask area based on a plurality of captured images taken at different times while the moving body is moving (second configuration). ) May be.
上記第1又は第2の構成の画像処理装置において、前記調整部は、前記撮影画像内に映り込んでいる白線の端部位置に基づいて前記マスクの領域を調整する構成(第3の構成)であってもよい。 In the image processing apparatus having the first or second configuration, the adjusting unit adjusts the mask area based on the position of the end of the white line reflected in the captured image (third configuration). It may be.
上記第1〜第3いずれかの構成の画像処理装置において、前記調整部は、前記マスクの領域を変更する際に、ユーザー操作による承認を得てから前記マスクの領域の変更を実行する構成(第4の構成)であってもよい。 In the image processing apparatus having any of the first to third configurations, when changing the mask area, the adjusting unit executes the change of the mask area after obtaining approval by a user operation (a configuration in which the mask area is changed. 4th configuration) may be used.
上記第1〜第4いずれかの構成の画像処理装置において、前記調整部は、ユーザー操作によるリセット要求に応じて、前記マスクの領域を初期設定に戻す構成(第5の構成)であってもよい。 In the image processing apparatus having any of the first to fourth configurations, the adjusting unit may be configured to return the mask area to the initial setting in response to a reset request by a user operation (fifth configuration). good.
上記第1〜第5いずれかの構成の画像処理装置において、前記マスクの領域の少なくとも一部が所定範囲を超えたら異常を報知する報知部を備える構成(第6の構成)であってもよい。 The image processing apparatus having any of the first to fifth configurations may be configured to include a notification unit for notifying an abnormality when at least a part of the mask region exceeds a predetermined range (sixth configuration). ..
本発明に係る画像処理方法は、移動体に搭載されるカメラによって撮影された撮影画像に基づいて、仮想視点から見た移動体の周辺を示す仮想視点画像を生成する画像生成工程と、前記仮想視点画像内に映り込んでいる前記移動体を隠すマスクの領域を前記撮影画像に基づいて調整する調整工程と、前記仮想視点画像に前記マスクをスーパーインポーズする合成工程と、を備える構成(第7の構成)である。 The image processing method according to the present invention includes an image generation step of generating a virtual viewpoint image showing the periphery of the moving body viewed from a virtual viewpoint based on a captured image taken by a camera mounted on the moving body, and the virtual image generation step. A configuration including an adjustment step of adjusting the area of the mask that hides the moving object reflected in the viewpoint image based on the captured image, and a composition step of superimposing the mask on the virtual viewpoint image (the first). 7 configuration).
本発明に係る画像処理技術によると、仮想視点画像の見栄えを向上させることができる。 According to the image processing technique according to the present invention, the appearance of the virtual viewpoint image can be improved.
以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。以下の説明では、移動体として車両を例にとり説明するが、移動体は車両に限定される趣旨ではない。車両には、例えば自動車、電車、無人搬送車等の車輪を有する乗り物が広く含まれる。車両以外の移動体として、例えば船舶や航空機等が挙げられる。 Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings. In the following description, a vehicle will be described as an example of a moving body, but the moving body is not limited to a vehicle. Vehicles include a wide range of vehicles having wheels, such as automobiles, trains, and automatic guided vehicles. Examples of moving objects other than vehicles include ships and aircraft.
また以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向」とする。また、車両の直進進行方向であって、ハンドルから運転席に向かう方向を「後方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の右側から左側に向かう方向を「左方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の左側から右側に向かう方向を「右方向」とする。 Further, in the following description, the direction in which the vehicle travels straight from the driver's seat to the steering wheel is referred to as the "forward direction". Further, the direction in which the vehicle travels straight from the steering wheel to the driver's seat is defined as the "rear direction". Further, the direction from the right side to the left side of the driver who is facing the front direction, which is the direction perpendicular to the straight line and the vertical direction of the vehicle, is defined as the "left direction". Further, the direction from the left side to the right side of the driver who is facing the front direction, which is the direction perpendicular to the straight line and the vertical direction of the vehicle, is defined as the "right direction".
<システムの構成>
図1は、本発明の実施の形態に係る車両周辺監視システムSYS1の構成を示すブロック図である。車両周辺監視システムSYS1は、車両ごとに搭載される。車両周辺監視システムSYS1は、当該システムを搭載する車両の周辺状況を監視する機能を有する。図1に示すように、車両監視システムSYS1は、画像処理システムSYS2と、表示装置3と、を備える。
<System configuration>
FIG. 1 is a block diagram showing a configuration of a vehicle peripheral monitoring system SYS1 according to an embodiment of the present invention. The vehicle peripheral monitoring system SYS1 is installed in each vehicle. The vehicle peripheral monitoring system SYS1 has a function of monitoring the peripheral condition of the vehicle equipped with the system. As shown in FIG. 1, the vehicle monitoring system SYS1 includes an image processing system SYS2 and a
画像処理システムSYS2は、車両の周辺を撮影して画像を生成し、生成した画像を表示装置3に出力する機能を有する。また、画像処理システムSYS2は、車両の周辺を撮影して得られた画像に基づいて、検出対象を検出する機能も有する。本実施の形態では、検出対象には駐車枠が含まれる。なお、これは例示であり、検出対象には、移動体等が含まれてよい。検出した駐車枠情報は、例えば駐車支援等を行う運転支援装置(不図示)によって使用される。画像処理システムSYS2は、車両の周囲を撮影する撮影部1と、画像処理装置2とを備える。
The image processing system SYS2 has a function of photographing the surroundings of the vehicle, generating an image, and outputting the generated image to the
撮影部1は、車両に搭載される4つのカメラ11〜14を備える。すなわち、画像処理システムSYS2は、車両に搭載されるカメラ11〜14を備える。図2は、4つのカメラ11〜14が配置された車両4を示す模式図である。本実施の形態において、車両4は自動車である。撮影部1が備えるカメラの数は例示であり、カメラの数は適宜変更されてよい。各カメラ11〜14は、有線又は無線で画像処理装置2に接続されており、撮影画像を画像処理装置2に送信する。
The photographing unit 1 includes four
図2に示すように、カメラ11は車両4の前端に設けられる。このため、カメラ11をフロントカメラ11とも呼ぶ。フロントカメラ11の光軸11aは平面視で車両4の前後方向に沿っている。フロントカメラ11は車両4の前方向を撮影する。カメラ14は車両4の後端に設けられる。このため、カメラ14をバックカメラ14とも呼ぶ。バックカメラ14の光軸14aは平面視で車両4の前後方向に沿っている。バックカメラ14は車両4の後方向を撮影する。フロントカメラ11及びバックカメラ14の取付け位置は、車両4の左右中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
As shown in FIG. 2, the
カメラ12は車両4の左側ドアミラー41に設けられる。このため、カメラ12を左サイドカメラ12とも呼ぶ。また自車両がいわゆるドアミラーレス車である場合には、左サイドカメラは、左サイドドアの回転軸(ヒンジ部)の周辺にドアミラーを介することなく取り付けられる。左サイドカメラ12の光軸12aは平面視で車両4の左右方向に沿っている。左サイドカメラ12は車両4の左方向を撮影する。カメラ13は車両4の右側ドアミラー42に設けられる。このため、カメラ13を右サイドカメラ13とも呼ぶ。また自車両がいわゆるドアミラーレス車である場合には、右サイドカメラは、右サイドドアの回転軸(ヒンジ部)の周辺にドアミラーを介することなく取り付けられる。右サイドカメラ13の光軸13aは平面視で車両4の左右方向に沿っている。右サイドカメラ13は車両4の右方向を撮影する。
The
各カメラ11〜14のレンズとしては、例えば魚眼レンズが使用される。各カメラ11〜14の水平方向の画角θは180度以上である。このため、4つのカメラ11〜14を利用することで、車両4の水平方向における全周囲を撮影することが可能になっている。
As the lens of each camera 11-14, for example, a fisheye lens is used. The horizontal angle of view θ of each
画像処理装置2は、撮影部1によって撮影された撮影画像を取得して、当該撮影画像の処理を行う。また、画像処理装置2は、撮影画像を処理して得られた処理画像を表示装置3に出力する。また、画像処理装置2は、撮影画像を処理して、撮影画像中から検出対象(例えば駐車枠)を検出する。画像処理装置2は、車両4の所定の位置に配置される。すなわち、画像処理装置2は、車両において用いられる。画像処理装置2の詳細については後述する。
The image processing device 2 acquires a photographed image photographed by the photographing unit 1 and processes the photographed image. Further, the image processing device 2 outputs the processed image obtained by processing the captured image to the
表示装置3は、例えばタッチパネル等の操作機能を有する液晶等のディスプレイを備え、画像処理システムSYS2による処理で得られた表示画像を表示する。表示装置3は、車両4の乗員(代表的には運転者)がディスプレイの表示画面を視認できる位置に設けられる。例えば、表示装置3は、車両4のインストルメントパネルに設置される。
The
<画像処理装置の構成>
画像処理装置2は、ECU(Electronic Control Unit)として構成される。図1に示すように、画像処理装置2は、画像生成部21と、制御部22と、合成部23と、通信部24と、記憶部25と、を備える。
<Configuration of image processing device>
The image processing device 2 is configured as an ECU (Electronic Control Unit). As shown in FIG. 1, the image processing device 2 includes an
画像生成部21は、撮影部1で撮影された撮影画像を処理して表示用画像を生成する。本実施の形態では、画像生成部21は、各種の画像処理が可能なハードウェア回路として構成されている。本実施の形態では、画像生成部21は、車両4に搭載されるカメラ11〜14による撮影画像に基づいて、仮想視点から見た車両4の周辺を示す仮想視点画像を生成する。仮想視点画像を生成する手法の詳細については後述する。
The
仮想視点画像は、合成部23によってマスクがスーパーインポーズされた後、通信部24によって表示装置3に出力され、表示装置3の表示画面に表示される。
After the mask is superimposed by the
制御部22は、画像処理装置2の全体を制御する。制御部22は、図示しないCPU(Central Processing Unit)、RAM(Random Access Memory)、及びROM(Read Only Memory)を備えるコンピュータである。本実施の形態では、制御部22は、画像制御部221と、表示制御部222と、調整部223と、検出部224と、を備える。制御部22が備えるこれらの各部は、例えばROMに格納されるプログラムに従ってCPUが演算処理を行うことによって実現される機能である。
The
画像制御部221は、画像生成部21によって実行される画像処理及び合成部23によって実行される画像処理を制御する。例えば、画像制御部221は、画像生成部21に対して、仮想視点画像を生成するために必要となる各種のパラメータ等の指示を行い、合成部23に対して、合成画像を生成するために必要となる各種のパラメータ等の指示を行う。
The
表示制御部222は、主に画像処理装置2の処理によって得られた画像情報を表示装置3で表示させるための制御を行う。例えば、表示制御部222は、合成部23で生成された合成画像を表示装置3に出力する際の制御を行う。
The
調整部223は、仮想視点画像内に映り込んでいる車両を隠すマスクの領域を撮影画像に基づいて調整する。
The
検出部224は、撮影画像に映り込んでいる車両の駐車領域を区画する駐車枠線を検出し、検出された2つの駐車枠間の領域を駐車枠として検出する。駐車枠の検出処理は、適宜実施される。
The
通信部24は、表示装置3との間で通信を行う。通信部24は、例えば、合成部23で生成された合成画像を表示装置3に出力する。また、通信部24は、運転者等が表示装置3の操作を行った場合に操作部(タッチパネル等)から送信される信号を受信する。
The
記憶部25は、例えば、フラッシュメモリ等の不揮発性のメモリであり、各種の情報を記憶する。記憶部25は、例えば、ファームウェアとしてのプログラム、画像生成部21が仮想視点画像を生成するための各種のデータを記憶する。また、記憶部25は、調整部223及び検出部224が処理を実行するために必要となる各種のデータを記憶する。
The
<画像処理装置の構成>
図3は、画像処理装置2の動作を示すフローチャートである。
<Configuration of image processing device>
FIG. 3 is a flowchart showing the operation of the image processing device 2.
まず、画像制御部221の指示に従って、画像生成部21が、仮想視点から見た車両4の周辺の様子を示す仮想視点画像を生成する画像生成処理を実行する。(ステップS10)。仮想視点画像を生成する手法の詳細については後述する。
First, according to the instruction of the
次に、調整部223が、仮想視点画像内に映り込んでいる車両を隠すマスクの領域を撮影画像に基づいて調整する調整処理を実行する(ステップS20)。マスクを調整する手法の詳細については後述する。
Next, the
最後に、画像制御部221の指示に従って、合成部23が、仮想視点画像にマスクをスーパーインポーズする合成処理を実行する(ステップS30)。合成処理を実行することで得られる合成画像の詳細については後述する。なお、ステップS30の後に適宜、駐車枠の検出処理、表示装置3との間で通信を行う通信処理等が実行される。
Finally, according to the instruction of the
<仮想視点画像の生成処理>
画像生成部21が、仮想視点から見た車両4の周辺の様子を示す仮想視点画像を生成する手法について説明する。図4は、画像生成部21が仮想視点画像を生成する手法を説明するための図である。画像生成部21は、仮想視点画像の生成に仮想の立体的な投影面TSを用いることで、現実に近い臨場感のある仮想視点画像を生成する。
<Virtual viewpoint image generation process>
A method in which the
フロントカメラ11、左サイドカメラ12、右サイドカメラ13、及び、バックカメラ14によって、車両4の前方、左側方、右側方、及び、後方をそれぞれ示す4つの撮影画像P11〜P14が同時に取得される。これら4つの撮影画像P11〜P14には、車両4の全周囲のデータが含まれている。画像生成部21は、これら4つの撮影画像P11〜P14を取得する。4つの撮影画像P11〜P14内のベタ塗り部分は、撮影画像に映り込んでいる車両4のボディである。
The
画像生成部21は、これら4つの撮影画像P11〜P14に含まれるデータ(画素の値)を、仮想的な三次元空間における立体的な曲面である投影面TSに投影する。投影面TSは、例えば、略半球状(お椀形状)をしており、その中心部(お椀の底部分)が車両4の位置として定められている。撮影画像P11〜P14に含まれる各画素の位置と、投影面TSの各画素の位置とは予め対応関係が定められている。この対応関係を示すテーブルデータは、記憶部25に記憶されている。投影面TSの各画素の値は、この対応関係と、撮影画像P11〜P14に含まれる各画素の値とに基づいて決定できる。なお、図2に示す斜線領域に対応する投影面TSの領域では、2つのカメラからの撮影画像が投影される。図2に示す斜線領域に対応する投影面TSの領域では、例えば2つのカメラからの撮影画像を所定の割合でブレンドすればよい。
The
次に、画像生成部21は、画像制御部221の制御により、三次元空間に対して仮想視点VPを設定する。仮想視点VPは、視点位置と視線方向とで規定される。画像生成部21は、任意の視点位置、かつ、任意の視線方向の仮想視点VPを三次元空間に設定できる。画像生成部21は、設定された仮想視点VPに応じて投影面TSにおける必要な領域を切り出す。これにより、任意の仮想視点VPから見た仮想視点画像が生成される。
Next, the
例えば、図4に示すように、視点位置を車両4の真上、視線方向を直下とした仮想視点VPaを想定した場合、車両4及び車両4の周辺を俯瞰する仮想視点画像(俯瞰画像)に図5を用いて後述するマスク及び車両4の像をスーパーインポーズした合成画像CPaを得ることができる。また、視点位置を車両4の左後方、視線方向を車両4の前方とした仮想視点VPbを想定した場合、車両4の左後方から見た車両4及び車両4の周辺を示す仮想視点画像にマスク及び車両4の像をスーパーインポーズした合成画像CPbを得ることができる。 For example, as shown in FIG. 4, assuming a virtual viewpoint VPa with the viewpoint position directly above the vehicle 4 and the line-of-sight direction directly below, the virtual viewpoint image (overhead image) that gives a bird's-eye view of the vehicle 4 and the surroundings of the vehicle 4 is obtained. Using FIG. 5, a composite image CPa obtained by superimposing the image of the mask and the vehicle 4 described later can be obtained. Further, assuming a virtual viewpoint VPb in which the viewpoint position is the left rear of the vehicle 4 and the line-of-sight direction is the front of the vehicle 4, the virtual viewpoint image showing the vehicle 4 and the periphery of the vehicle 4 as seen from the left rear of the vehicle 4 is masked. And a composite image CPb in which the image of the vehicle 4 is superimposed can be obtained.
なお、仮想視点画像CP中に示す車両4の像は、予めビットマップなどのデータとして用意され、記憶部25に記憶されている。合成画像の生成の際には、仮想視点画像の仮想視点VPの視点位置と視線方向とに応じた形状の車両4の像のデータが読み出されて、マスクが既にスーパーインポーズされている仮想視点画像に車両4の像がスーパーインポーズされる。
The image of the vehicle 4 shown in the virtual viewpoint image CP is prepared in advance as data such as a bitmap and stored in the
図5は、合成画像における車両4の像が配置される部分を拡大して示した図である。なお、図5では、上述の仮想視点VPaによる仮想視点画像を想定している。図5に示すように、仮想視点画像にマスク5がスーパーインポーズされている。図5において、マスク5は斜線を施した部分である。本実施の形態において、マスク5の領域は、車両4のボディが映り込む可能性がある領域である。詳細には、マスク5の外縁(境界)は、図5に示すように矩形状である。マスク5は、表示装置3においては、例えば黒色等で表示される。これにより、撮影画像内に映り込んでいる車両が車両の近くに存在する障害物と合成画像を見たユーザーに誤認されることを防止することができる。
FIG. 5 is an enlarged view showing a portion of the composite image in which the image of the vehicle 4 is arranged. Note that FIG. 5 assumes a virtual viewpoint image using the above-mentioned virtual viewpoint VPa. As shown in FIG. 5, the
マスク5の領域の初期設定は、車両4のボディ形状及びカメラ11〜14の搭載位置によって決まる。このために、マスク5の領域の初期設定は、例えば車種ごと、又は、グレードごとに設定することができる。本実施の形態では、マスク5の領域の初期設定は、カメラ11〜14の取付誤差及びキャリブレーション誤差を考慮して設定されている。詳細には、マスク5の領域の初期設定は、誤差によって車両4のボディが映り込む範囲が最大となる場合でも、車両4のボディ画像が合成画像中に表示されないような設定になっている。マスク5の領域の初期設定に関するデータは、記憶部25に記憶されている。マスク5は、合成画像の生成の際に、仮想視点画像の仮想視点VPの視点位置と視線方向とに応じて仮想視点画像にスーパーインポーズされる。
The initial setting of the area of the
<マスク領域の調整処理>
調整部223は、例えば画像処理装置2が起動する度に調整処理を実施してもよく、運転者等が表示装置3に対して調整処理の実施を指示する操作を行う度に調整処理を実施してもよい。
<Mask area adjustment process>
The
調整部223は、マスク5の領域を撮影画像に基づいて調整する。詳細には、調整部223は、撮影画像に基づいて、仮想視点画像内の車両4のボディが映り込んでいる領域を推定し、マスク5がボディの映り込み推定領域を全て覆い、且つ、ボディの映り込み推定領域以外の領域を極力覆わないように、マスク5の領域を調整する。したがって、ボディの映り込み推定領域が広ければ、マスク5の領域も広くなり、ボディの映り込み推定領域が狭ければ、マスク5の領域も狭くなる。
The
したがって、例えばユーザーが車両の納車後にエアロパーツ等を取り付けた場合、経年変化や事故等によりバンパー等の形状が変化した場合、経年変化や事故等により車両を基準としたカメラの向き(姿勢)が変化した場合等でも、調整部223によってマスク5の領域が調整された後は仮想視点画像内に映り込んでいる車両を隠すことができるので、仮想視点画像の見栄えを向上させることができる。
Therefore, for example, when the user attaches aero parts or the like after the vehicle is delivered, the shape of the bumper or the like changes due to aging or an accident, the orientation (posture) of the camera with respect to the vehicle changes due to aging or an accident. Even when the area is changed, the vehicle reflected in the virtual viewpoint image can be hidden after the area of the
また、上述した通りマスク5の領域の初期設定では、誤差によって車両4のボディが映り込む範囲が最大となる場合でも、車両4のボディ画像が合成画像中に表示されないようになっている。画像処理装置2によると、調整部223によってマスク5の領域が調整された後は、個々の車両においてマスク5の領域を最適化することができる。つまり、初期設定よりも、仮想視点画像の見栄えを向上させることができる。
Further, as described above, in the initial setting of the area of the
また画像処理装置2によると、マスク5の領域を最適化することができるので、マスク5の領域の初期設定を例えば車種ごと、又は、グレードごとに分けて設定せず、共通設定にすることができる。また画像処理装置2によると、マスク5の領域を最適化することができるので、マスク5の領域の初期設定を大雑把な設定することができ、車両のボディ形状に関する詳細なデータを用いることなくマスク5の領域の初期設定が可能となる。
Further, according to the image processing device 2, since the area of the
なお、調整部223は、俯瞰画像においてマスク5の外縁(境界)が矩形状を保ちつつ、マスク5の領域を調整する。
The adjusting
また、画像生成部21は、図2に示す斜線領域に対応する投影面TSの領域において、一方のカメラからの撮影画像ではボディの映り込み推定領域でなく、他方のカメラからの撮影画像ではボディの映り込み推定領域である箇所では、上述したブレンド処理を実施せず、一方のカメラからの撮影画像のみを投影させる。
Further, in the area of the projection surface TS corresponding to the shaded area shown in FIG. 2, the
調整部223は、例えば車両が走行中に異なる時刻に撮影された複数の撮影画像に基づいて、仮想視点画像内の車両4のボディが映り込んでいる領域を推定すればよい。車両4のボディはカメラ11に対して常に静止し、撮影画像において同じ画素位置に映っているため、複数の撮影画像間で画素値の変化が少なく、形状も変化しないのに対し、景色はカメラ11〜14に対して動いているので、複数の撮影画像間で画素値の変化が激しく、形状も変化する。よって、車両が走行中に異なる時刻にカメラ11で撮影された2フレームの撮影画像の差分、車両が走行中に異なる時刻にカメラ12で撮影された2フレームの撮影画像の差分、車両が走行中に異なる時刻にカメラ13で撮影された2フレームの撮影画像の差分、及び車両が走行中に異なる時刻にカメラ14で撮影された2フレームの撮影画像の差分から、形状や画素値の変化がない領域を仮想視点画像内の車両4のボディが映り込んでいる領域として推定することができる。この推定手法によると、路面に白線がない場合でも仮想視点画像内の車両4のボディが映り込んでいる領域を推定することができる。なお、カメラのレンズに付着した泥などもカメラに対して静止することになるため、例えば、色相や撮影画像内の場所によって調整部223がレンズ付着物と車両4のボディとを識別することが望ましい。具体的には、車両4のボディは図4のP11〜P14に示すように、撮影画像の下辺に沿って映っているため、静止している領域が撮影画像の下辺に沿っている場合は車両4のボディであると推定することができる。
The adjusting
なお、2フレームの撮影画像の差分だけでは、車両4のボディと景色との区別ができない画素も存在し得るので、3フレーム以上の撮影画像の各画素で画素値の分散を算出し、分散が所定値以上であれば景色に分類し、分散が所定値未満であればボディに分類するようにしてもよい。これにより、推定精度が向上する。 Since there may be pixels in which the body of the vehicle 4 and the scenery cannot be distinguished from each other only by the difference between the captured images of 2 frames, the dispersion of the pixel values is calculated for each pixel of the captured images of 3 frames or more, and the variance is calculated. If it is more than a predetermined value, it may be classified as a landscape, and if the variance is less than a predetermined value, it may be classified as a body. This improves the estimation accuracy.
また、画像処理装置2が、例えば車両の速度、車両の位置、車両周辺の明るさ等の情報を取得するようにし、同じ条件下で撮影された撮影画像のみを推定処理に利用することで、さらに推定精度が向上する。 Further, the image processing device 2 acquires information such as the speed of the vehicle, the position of the vehicle, and the brightness around the vehicle, and uses only the captured images taken under the same conditions for the estimation process. Further, the estimation accuracy is improved.
調整部223は、例えば撮影画像内に映り込んでいる白線の端部位置に基づいて、仮想視点画像内の車両4のボディが映り込んでいる領域を推定すればよい。この推定手法では、撮影画像において車両4のボディが白線の一部を隠している場合、車両4のボディが映り込んでいる領域に応じて白線の端部位置が変化することを利用している。例えば、バックカメラ14によって撮影された図6及び図7に示す撮影画像では、車両4のボディが映り込んでいる領域R1によって白線WL1の一部が隠れているため、撮影画像上での白線WL1の端部位置E1は、領域R1と白線WL1との境界となる。図6に示す撮影画像と図7に示す撮影画像とでは、領域R1の形状が互いに異なっているため、撮影画像上での白線WL1の端部位置E1も互いに異なっている。つまり、撮影画像上での白線WL1の端部位置E1と領域R1の形状との間に相関関係があるため、上述したような撮影画像内に映り込んでいる白線の端部位置に基づく仮想視点画像内の車両4のボディが映り込んでいる領域の推定が可能となる。この推定手法によると、車両が走行していない場合でも仮想視点画像内の車両4のボディが映り込んでいる領域を推定することができる。この場合も、画像処理装置2が、例えば車両の位置、車両周辺の明るさ等の情報を取得するようにし、同じ条件下で撮影された撮影画像のみを推定処理に利用することで、推定精度が向上する。
The adjusting
また、調整部223は、マスク5の領域を変更する際に、運転者等が表示装置3に対して変更の承認を示す操作をしてからマスク5の領域の変更を実行するようにしてもよい。これにより、運転者等の意に反してマスク5の領域が調整されることを防止することができる。例えば、エアロパーツ等を取り付けや事故の覚えが無い場合に、運転者等はマスク5の領域が調整されることを承認しないようにすることができる。
Further, when the area of the
また、調整部223は、運転者等が表示装置3に対してリセット要求変更の承認を示す操作をすると、その操作に応じてマスク5の領域を初期設定に戻すようにしてもよい。これにより、マスク5の領域の調整によって不具合が生じた場合でも、元の状態に戻すことができるので、利便性が向上する。
Further, when the driver or the like performs an operation of indicating the approval of the reset request change to the
また、調整部223による調整の結果、マスク5の領域の少なくとも一部が所定範囲を超えたら、制御部22が、表示装置3に異常を報知させる報知部として機能するようにしてもよい。これにより、運転者等が気付いていないカメラ11〜14の位置ずれなどを運転者等に気付かせることができる。この場合、例えば図8に示すフローチャートのように、ステップS20とステップS30との間にステップS21及びS22を追加するとよい。なお、図8に示すフローチャートとは異なり、ステップS30の後にステップS21及びS22を追加してもよい。ステップS21において、制御部22は、マスク5の領域の少なくとも一部が所定範囲を超えた否かを判定する。マスク5の領域の少なくとも一部が所定範囲を超えた場合、制御部22が、表示装置3に異常を報知させる報知処理を実行する(ステップS22)。一方、マスク5の領域の少なくとも一部が所定範囲を超えていない場合、ステップS22の報知処理は実行されない。
Further, when at least a part of the area of the
また、制御部22が、調整部223の最新の調整結果と一つ前の調整結果とを比較した結果を表示装置3に表示させるようにしてもよい。これにより、マスク5の領域が変更したか否かを運転者等に知らせることができる。この場合、例えば図9に示すフローチャートのように、ステップS20とステップS30との間にステップS23及びS24を追加するとよい。なお、図9に示すフローチャートとは異なり、ステップS30の後にステップS23及びS24を追加してもよい。ステップS23において、制御部22は、調整部223の最新の調整結果と一つ前の調整結果とを比較する比較処理を実行する。そして、ステップS24において、制御部22が、調整部223の最新の調整結果と一つ前の調整結果とを比較した結果を表示装置3に表示させる表示処理を実行する。調整部223の最新の調整結果と一つ前の調整結果との間に変化が無い場合にステップS24の表示処理が実行されないようにしてもよい。
Further, the
<留意事項>
本明細書における実施形態や実施例の構成は、本発明の例示にすぎない。実施形態や変形例の構成は、本発明の技術的思想を超えない範囲で適宜変更されてもよい。また、複数の実施形態及び変形例は、可能な範囲で組み合わせて実施されてよい。
<Notes>
The configurations of the embodiments and examples in the present specification are merely examples of the present invention. The configurations of the embodiments and modifications may be appropriately changed without exceeding the technical idea of the present invention. Moreover, a plurality of embodiments and modifications may be carried out in combination to the extent possible.
2 画像処理装置
4 車両
11 フロントカメラ
12 左サイドカメラ
13 右サイドカメラ
14 バックカメラ
21 画像生成部
23 合成部
223 調整部
2 Image processing device 4
Claims (7)
前記仮想視点画像内に映り込んでいる前記移動体を隠すマスクの領域を前記撮影画像に基づいて調整する調整部と、
前記仮想視点画像に前記マスクをスーパーインポーズする合成部と、
を備える、画像処理装置。 An image generator that generates a virtual viewpoint image showing the periphery of the moving body as seen from the virtual viewpoint based on the captured image taken by the camera mounted on the moving body.
An adjustment unit that adjusts the area of the mask that hides the moving object reflected in the virtual viewpoint image based on the captured image, and
A compositing unit that superimposes the mask on the virtual viewpoint image,
An image processing device.
前記仮想視点画像内に映り込んでいる前記移動体を隠すマスクの領域を前記撮影画像に基づいて調整する調整工程と、
前記仮想視点画像に前記マスクをスーパーインポーズする合成工程と、
を備える、画像処理方法。 An image generation process that generates a virtual viewpoint image showing the periphery of the moving body as seen from the virtual viewpoint based on the captured image taken by the camera mounted on the moving body.
An adjustment step of adjusting the area of the mask that hides the moving object reflected in the virtual viewpoint image based on the captured image, and
A compositing step of superimposing the mask on the virtual viewpoint image and
An image processing method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020010330A JP2021118435A (en) | 2020-01-24 | 2020-01-24 | Image processing device and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020010330A JP2021118435A (en) | 2020-01-24 | 2020-01-24 | Image processing device and image processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021118435A true JP2021118435A (en) | 2021-08-10 |
Family
ID=77175280
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020010330A Pending JP2021118435A (en) | 2020-01-24 | 2020-01-24 | Image processing device and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021118435A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022202892A1 (en) * | 2021-03-25 | 2022-09-29 | いすゞ自動車株式会社 | Display control apparatus |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000064175A1 (en) * | 1999-04-16 | 2000-10-26 | Matsushita Electric Industrial Co., Ltd. | Image processing device and monitoring system |
JP4045862B2 (en) * | 2002-06-03 | 2008-02-13 | 日産自動車株式会社 | Optical axis deviation detection device for in-vehicle camera |
JP2011182236A (en) * | 2010-03-02 | 2011-09-15 | Toshiba Alpine Automotive Technology Corp | Camera calibration apparatus |
JP2015090591A (en) * | 2013-11-06 | 2015-05-11 | 株式会社パスコ | Generation device and generation method for road surface ortho-image |
JP2017139654A (en) * | 2016-02-04 | 2017-08-10 | パナソニックIpマネジメント株式会社 | Calibration device and on-vehicle camera system |
JP2018136739A (en) * | 2017-02-22 | 2018-08-30 | クラリオン株式会社 | Calibration device |
-
2020
- 2020-01-24 JP JP2020010330A patent/JP2021118435A/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000064175A1 (en) * | 1999-04-16 | 2000-10-26 | Matsushita Electric Industrial Co., Ltd. | Image processing device and monitoring system |
JP4045862B2 (en) * | 2002-06-03 | 2008-02-13 | 日産自動車株式会社 | Optical axis deviation detection device for in-vehicle camera |
JP2011182236A (en) * | 2010-03-02 | 2011-09-15 | Toshiba Alpine Automotive Technology Corp | Camera calibration apparatus |
JP2015090591A (en) * | 2013-11-06 | 2015-05-11 | 株式会社パスコ | Generation device and generation method for road surface ortho-image |
JP2017139654A (en) * | 2016-02-04 | 2017-08-10 | パナソニックIpマネジメント株式会社 | Calibration device and on-vehicle camera system |
JP2018136739A (en) * | 2017-02-22 | 2018-08-30 | クラリオン株式会社 | Calibration device |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022202892A1 (en) * | 2021-03-25 | 2022-09-29 | いすゞ自動車株式会社 | Display control apparatus |
JP2022149557A (en) * | 2021-03-25 | 2022-10-07 | いすゞ自動車株式会社 | Display control device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7974444B2 (en) | Image processor and vehicle surrounding visual field support device | |
US11336839B2 (en) | Image display apparatus | |
US20150109444A1 (en) | Vision-based object sensing and highlighting in vehicle image display systems | |
KR101766077B1 (en) | System and Method for Providing Vehicle Around View | |
JP5953824B2 (en) | Vehicle rear view support apparatus and vehicle rear view support method | |
JP5341789B2 (en) | Parameter acquisition apparatus, parameter acquisition system, parameter acquisition method, and program | |
US20150042799A1 (en) | Object highlighting and sensing in vehicle image display systems | |
US20020075387A1 (en) | Arrangement and process for monitoring the surrounding area of an automobile | |
JP4248570B2 (en) | Image processing apparatus and visibility support apparatus and method | |
JP2017213933A (en) | Vehicular display device | |
JP2010130646A (en) | Vehicle periphery checking system | |
JP5093611B2 (en) | Vehicle periphery confirmation device | |
JP5697512B2 (en) | Image generation apparatus, image display system, and image display apparatus | |
WO2018159017A1 (en) | Vehicle display control device, vehicle display system, vehicle display control method and program | |
JP3876761B2 (en) | Vehicle periphery monitoring device | |
JP2009105660A (en) | On-vehicle imaging apparatus | |
JP2011217318A (en) | Vehicle-rear recognition system | |
JP2017216509A (en) | Display device for vehicle | |
JP2019028920A (en) | Display control device | |
JP2018533098A (en) | Panel conversion | |
KR101964864B1 (en) | Distortion Correction Method of Around View Image of Vehicle | |
JP2023536976A (en) | Vehicle vision system and method including electronic image display for driver rearview | |
JP2018528514A (en) | Quick look for backward crossing traffic | |
CN112351242A (en) | Image processing apparatus and image processing method | |
CN112046470A (en) | Method, device, medium, controller and vehicle for controlling display of rear view image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20211116 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220407 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230307 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230330 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230718 |