JP2020145548A - Image adjustment device and image adjustment program - Google Patents
Image adjustment device and image adjustment program Download PDFInfo
- Publication number
- JP2020145548A JP2020145548A JP2019039725A JP2019039725A JP2020145548A JP 2020145548 A JP2020145548 A JP 2020145548A JP 2019039725 A JP2019039725 A JP 2019039725A JP 2019039725 A JP2019039725 A JP 2019039725A JP 2020145548 A JP2020145548 A JP 2020145548A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- image adjustment
- vehicle
- missing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 claims abstract description 53
- 238000013519 translation Methods 0.000 abstract description 3
- 238000000034 method Methods 0.000 description 27
- 238000012937 correction Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 18
- 239000011159 matrix material Substances 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、物体に取り付けられたカメラが撮像した画像を調整する、画像調整装置および画像調整プログラムに関する。 The present invention relates to an image adjustment device and an image adjustment program that adjusts an image captured by a camera attached to an object.
車両に取り付けられたリアカメラで車両後方を撮像し、後退操作中の運転者に障害物の情報等を提示する、運転者支援技術が存在する。 There is a driver assistance technology that captures the rear of the vehicle with a rear camera attached to the vehicle and presents information on obstacles to the driver who is operating backward.
特許文献１には、共通の被写領域を有する複数のカメラでそれぞれ撮影されたカメラ画像を受け付ける画像受付部と、前記画像受付部によって受け付けた各カメラ画像のうち、該各カメラ画像内の所定の水平線より下にある画像は、平面の底面を有する無限遠半球の底面に投影し、前記水平線より上にある画像は、前記無限遠半球の半球面に投影する投影部と、前記投影部によって前記無限遠半球に投影された画像に基づいて、パノラマ画像を生成するパノラマ画像生成部とを備える画像生成装置が記載されている。
ところで、車両の背面に備えたリアカメラで後方を撮像し、後退進路中に障害物があるか否かを、モニタ等を介した画像表示によって提示できれば、運転者支援になる。 By the way, if the rear camera provided on the back of the vehicle can capture the rear image and show whether or not there is an obstacle in the reverse course by displaying an image via a monitor or the like, the driver can be assisted.
例えば図１に示すように、リアカメラで撮像した画像に、後退進路をガイドＧとして重ねる。そして、ガイドＧが重ねあわされた出力画像Ｉｏｕｔを、車両のフロントパネルに設けたモニタ等に出力する。そうすれば、車両の運転者は、前記モニタ等を確認しながら、障害物ＯＢＪにぶつからないように、あるいは後退進路中に障害物ＯＢＪがある場合はこれを避けるように、安全に後退操作をすることができる。 For example, as shown in FIG. 1, the backward path is superimposed as the guide G on the image captured by the rear camera. Then, the output image I out on which the guides G are overlapped is output to a monitor or the like provided on the front panel of the vehicle. Then, the driver of the vehicle can safely perform the reverse operation while checking the monitor and the like so as not to hit the obstacle OBJ or to avoid the obstacle OBJ if there is an obstacle OBJ in the reverse course. can do.
ここで、カメラには、取り付け誤差が存在し得る。この取り付け誤差があると、前記モニタ等に表示する出力画像Ｉｏｕｔが適切なものとはならず、運転者の後退支援を適切に行うことができない。 Here, there may be mounting errors in the camera. If there is this mounting error, the output image I out displayed on the monitor or the like will not be appropriate, and the driver will not be able to properly assist the driver in retreating.
また、一般に、車両に取り付けるカメラは小型であり、その計算資源（メモリ、計算時間等）には制限がある。 Further, in general, a camera attached to a vehicle is small, and its computational resources (memory, calculation time, etc.) are limited.
そのため、本開示は、計算資源を節約しながら、カメラの取り付け誤差を解消することを目的とする。 Therefore, the present disclosure aims to eliminate camera mounting errors while conserving computational resources.
物体に取り付けられたカメラが撮像した画像を調整する画像調整装置が、処理部を備え、前記処理部が、前記取得した画像の一部を所定の面へと投影し、前記取得した画像の他の一部を、前記所定の面を内包する、前記カメラを中心とした球欠面へと投影し、前記所定の面および前記球欠面に投影された画像に対して、回転および／または平行移動を行う。前記構成により、取り付け誤差を解消することができる。また、前記球欠面の大きさは前記所定の面を内包する程度のもので良いため、計算資源を節約しながら、上記取り付け誤差を解消することができる。 An image adjusting device that adjusts an image captured by a camera attached to an object is provided with a processing unit, and the processing unit projects a part of the acquired image onto a predetermined surface, and other than the acquired image. Is projected onto a spherical surface centered on the camera, which includes the predetermined surface, and is rotated and / or parallel to the image projected on the predetermined surface and the spherical surface. Make a move. With the above configuration, the mounting error can be eliminated. Further, since the size of the ball missing surface may be such that the predetermined surface is included, the mounting error can be eliminated while saving computational resources.
本発明によれば、計算資源を節約しながら、カメラの取り付け誤差を解消することができる。 According to the present invention, it is possible to eliminate a camera mounting error while saving computational resources.
以下、カメラは、自動車である車両に取り付けられたリアカメラであるという前提で、適宜図面を参照しながら詳細に説明する。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。 Hereinafter, the camera will be described in detail with reference to the drawings on the premise that the camera is a rear camera attached to a vehicle which is an automobile. It should be noted that the accompanying drawings and the following description are provided for those skilled in the art to fully understand the present disclosure, and are not intended to limit the subject matter described in the claims.
図１は、後退支援に用いられる、出力画像Ｉｏｕｔの一例を示す図である。この出力画像Ｉｏｕｔは、車両の背面に取り付けたリアカメラによって撮像した入力画像Ｉｉｎに、図示を省略する画像処理手段が適宜画像処理を行った上で、車両内のモニタ等に表示されるものである。 FIG. 1 is a diagram showing an example of an output image I out used for backward support. This output image I out is displayed on a monitor or the like in the vehicle after the input image I in captured by the rear camera attached to the back of the vehicle is appropriately image-processed by an image processing means (not shown). It is a thing.
図示されているように、出力画像Ｉｏｕｔには、障害物ＯＢＪが映り込んでいる。図１において、障害物ＯＢＪは樹木である。車両の運転者は、車両が障害物ＯＢＪに衝突しないように車両を操縦して、車両を後退させる。 As shown in the figure, the obstacle OBJ is reflected in the output image I out . In FIG. 1, the obstacle OBJ is a tree. The driver of the vehicle steers the vehicle so that the vehicle does not collide with the obstacle OBJ and retracts the vehicle.
この車両の後退を支援するために、出力画像Ｉｏｕｔには２本のガイドＧが重畳的に表示されている。このガイドＧは、車両の車幅を考慮した後退進路を示している。ガイドＧは、リアカメラが撮像した入力画像Ｉｉｎに対して、図示を省略する画像処理手段が重畳的に付加している。なお、ガイドＧは、図示された線状のものでなくともよい。 In order to support the retreat of the vehicle, two guides G are superimposed and displayed on the output image I out . This guide G shows a backward course in consideration of the width of the vehicle. The guide G is superposed with an image processing means (not shown) added to the input image I in captured by the rear camera. The guide G does not have to be the linear one shown in the figure.
運転者はガイドＧを参考にしながら、障害物ＯＢＪが２本のガイドＧの内側に入らないようにハンドルを操作して、車両を後退させる。このようにすれば、車両が障害物ＯＢＪに衝突することは無い。 While referring to the guide G, the driver operates the steering wheel so that the obstacle OBJ does not enter the inside of the two guide Gs to move the vehicle backward. In this way, the vehicle will not collide with the obstacle OBJ.
すなわち、上記ガイドＧが重畳された出力画像Ｉｏｕｔによって、車両の後退支援を行う事ができる。しかしこれは、カメラが誤差なく取り付けられていることが前提条件となっている。 That is, it is possible to support the vehicle from moving backward by the output image I out on which the guide G is superimposed. However, this is a prerequisite that the camera is installed without error.
図２は、カメラの取り付け誤差について説明する概念図であり、（ａ）取り付け誤差を示す図、（ｂ）取り付け誤差がある場合の出力画像の一例を示す図である。 FIG. 2 is a conceptual diagram for explaining a camera mounting error, and is a diagram showing (a) a mounting error and (b) an example of an output image when there is a mounting error.
図２（ａ）に示すように、カメラ１３の取り付け誤差には、角度誤差ＡＥと位置誤差ＰＥとが含まれる。角度誤差ＡＥは、取り付けられたカメラのレンズが向いている角度が、本来想定していた角度に対してずれている事を言う。位置誤差ＰＥは、カメラを取り付けた位置（縦、横、高さ）が、本来想定していた位置に対してずれていることを言う。カメラ取り付けの際に、これらの取り付け誤差を完全に無くすことは、実際上は困難である。
As shown in FIG. 2A, the mounting error of the
図２（ｂ）は、上記の取り付け誤差がある場合の、出力画像Ｉｏｕｔを示している。この例では、カメラに角度誤差ＡＥがあり、カメラ１３が本来よりも上向きに取り付けられた状態である。
FIG. 2B shows an output image I out when there is the above mounting error. In this example, the camera has an angle error AE, and the
図２（ｂ）の補助線Ｌは、実際の路面上の位置を便宜的に示している。カメラが本来よりも上向きに取り付けられている（角度誤差ＡＥがある）為、障害物ＯＢＪは、本来の表示位置よりも下に表示される。 The auxiliary line L in FIG. 2B shows the actual position on the road surface for convenience. Since the camera is mounted upward (there is an angle error AE), the obstacle OBJ is displayed below the original display position.
その一方で、重畳表示されるガイドＧは、カメラ１３が誤差無く取り付けられていることを前提にして重畳表示されている為、本来の表示位置に図２（ｂ）のように表示される。すると、障害物ＯＢＪが、ガイドＧの内側に入った状態となる。言い換えると、ガイドＧが樹木を貫通するかのように表示される。この出力画像Ｉｏｕｔをモニタ越しに見た運転者は、後退進路の中に障害物ＯＢＪが在るため、そのまま車両を後退させることはできないと判断するであろう。
On the other hand, since the guide G to be superposed and displayed is superposed on the premise that the
このように、カメラに取り付け誤差があると、ガイドＧ等によって後退支援を行うのが困難になる。 As described above, if there is a mounting error in the camera, it becomes difficult to provide backward support by the guide G or the like.
このような事態を回避するために、本開示の画像調整装置１は、カメラ１３が撮像した画像に対して調整処理を行い、上記の角度誤差ＡＥと位置誤差ＰＥとを補正する。以下、当該調整処理について詳述する。
In order to avoid such a situation, the image adjusting
図３は、本開示の画像調整装置１の実施例を示す構成図である。本開示の画像調整装置１は、少なくとも処理部１１を備えている。処理部１１以外の構成要素を備えていてもよい。図示しているように、画像調整装置１がメモリ１２等を更に備えるようにすることもできる。
FIG. 3 is a configuration diagram showing an embodiment of the
処理部１１は、画像調整装置１における情報処理を行う構成要素である。処理部１１は画像処理を行い、装置内の他の構成要素や装置外部から入力された指令や信号の処理を行い、逆に、装置内の他の構成要素や装置外部へと指令や信号を送信してよい。
The
メモリ１２は、処理部１１が行う画像処理に用いるプログラムや、各種パラメータ情報等を記憶してよい。メモリ１２は、典型的には不揮発性メモリであってよいが、これには限定されない。
The
カメラ１３は、画像を撮像して入力画像Ｉｉｎを得るための手段である。本実施形態においては、カメラ１３は車両の後方を撮像するためのリアカメラであるが、これには限定されない。例えば、車両の前方や側方を撮像するカメラ等であってもよい。
The
なお、本実施形態においては、カメラ１３は単眼であり、魚眼レンズを用いているものとする。
In this embodiment, the
表示装置１４は、画像調整装置１によって生成された出力画像Ｉｏｕｔを表示することができる装置である。表示装置１４は、典型的には車両内に設けられたモニタ等であるが、これには限定されない。運転者は、この表示装置１４に表示された出力画像Ｉｏｕｔを見ることになる。図３においては、表示装置１４は画像調整装置１とは別体となっている。しかし、表示装置１４を画像調整装置１の中に含めてもよい。
The
なお、画像調整装置１に含まれる構成要素は、さらに一体化されていてもよく、逆に複数のサブコンポーネントへとさらに分割されてもよい。
The components included in the
例えば以上のようなハードウェア構成を備えた画像調整装置１により行われる処理の典型例は、以下の通りである。画像調整装置１の処理部１１が、カメラ１３が取得した入力画像Ｉｉｎに対し、画像処理を行う。画像処理により生成された出力画像Ｉｏｕｔを、表示装置１４によって表示する。
For example, a typical example of the processing performed by the
図４は、本開示の画像調整装置１を用いて行う、調整処理の一例を示す図である。
FIG. 4 is a diagram showing an example of an adjustment process performed by using the
カメラ１３によって撮像された画像が、入力画像Ｉｉｎである。この入力画像Ｉｉｎは、イメージセンサ上の座標系（センサ座標）となっている。処理部１１が、この入力画像Ｉｉｎに対して一般的な像高−画角変換処理（ステップＳ１０１）を行って、センサ上の像高から画角および回転角を算出した後、処理部１１が球欠スクリーン投影処理（ステップＳ１０２）を行う。この球欠スクリーン投影処理の詳細については後述する。
The image captured by the
球欠スクリーンに投影された画像の座標系は、世界座標系となっている。この球欠スクリーンに投影された画像に対して、誤差補正処理（ステップＳ１０３）を行う。すなわち、上述の角度誤差ＡＥ及び位置誤差ＰＥを補正する変換を行う。この誤差補正処理（ステップＳ１０３）の詳細についても後述する。 The coordinate system of the image projected on the sphere-missing screen is the world coordinate system. An error correction process (step S103) is performed on the image projected on the ball-missing screen. That is, the conversion for correcting the above-mentioned angle error AE and position error PE is performed. The details of this error correction process (step S103) will also be described later.
誤差補正処理（ステップＳ１０３）による誤差補正後の画像の座標系は、カメラ座標系である。像高−画角変換処理（ステップＳ１０４）を行って、出力画像Ｉｏｕｔを得る。この出力画像Ｉｏｕｔを、表示装置１４に表示する。
The coordinate system of the image after the error correction by the error correction process (step S103) is the camera coordinate system. The image height-angle of view conversion process (step S104) is performed to obtain an output image I out . This output image I out is displayed on the
次に、球欠スクリーン投影処理（ステップＳ１０２）について説明するのだが、その前段階として、球欠スクリーンおよび球欠スクリーンへの投影について説明する。 Next, the ball-missing screen projection process (step S102) will be described, but as a preliminary step thereof, the ball-missing screen and the projection onto the ball-missing screen will be described.
図５は、図４に示した球欠スクリーン投影処理（ステップＳ１０２）に用いる、球欠スクリーンＳＳを示す概念図である。なお、球欠（Ｓｐｈｅｒｉｃａｌ Ｓｅｇｍｅｎｔ）は、球を一つの平面で切った立体を意味する。この球欠スクリーンＳＳは、処理部１１が用いる仮想的なスクリーンである。球欠スクリーンＳＳは、所定の半径ｒを有する球の下部が切り取られた形状を呈する球欠面部ＳＳ１と、前記球欠面部ＳＳ１に内包される底面部ＳＳ２とを有している。なお、通常、底面部ＳＳ２は平面であり、球欠面部ＳＳ１と底面部ＳＳ２とは互いに接している。
FIG. 5 is a conceptual diagram showing a ball-missing screen SS used in the ball-missing screen projection process (step S102) shown in FIG. In addition, a spherical segment means a solid in which a sphere is cut by one plane. This ball-missing screen SS is a virtual screen used by the
上述の球欠スクリーンＳＳを、本開示の画像調整装置１において以下のように用いる。前記球欠面部ＳＳ１は、車両に取り付けられたカメラ１３の位置を中心Ｏとした、半径ｒを有する球の、下部を切り取ったものに相当する。一方、球欠スクリーンＳＳに含まれる底面部ＳＳ２は、上記球欠面部ＳＳ１に接する底面であり、路面に相当する。
The above-mentioned ball-missing screen SS is used in the
すなわち、車両に取り付けられたカメラ１３について本開示の画像調整装置１を用いる場合、上記球欠スクリーンＳＳは、車両近傍の路面（底面部ＳＳ２）と、その路面を内包するような球欠面（球欠面部ＳＳ１）とに相当するものである。
That is, when the
なお、カメラ１３は通常、車体等に取り付けられるので、前記中心Ｏの、底面部ＳＳ２からの高さは０ではない。また、上記半径ｒの値は有限値である。
Since the
次に、球欠スクリーンＳＳへの投影について説明する。 Next, the projection on the ball-missing screen SS will be described.
図６は、上述の球欠スクリーンＳＳへの投影を示す概念図である。車両１００に、カメラ１３が取り付けられている。本例においては、カメラ１３は単眼であり、魚眼レンズを有する。図示されているように、カメラ１３が、路面から一定の高さになるように取り付けられる。本例においては、この高さは例えば１ｍ前後である。
FIG. 6 is a conceptual diagram showing the projection on the above-mentioned ball-missing screen SS. A
ここでは、障害物ＯＢＪを用いて、投影の一例を示す。樹木である障害物ＯＢＪの表面上の２つの点Ｐ１、Ｐ２について例示する。この２つの点は、カメラ１３によって撮像された入力画像Ｉｉｎに映り込んでいる。
Here, an example of projection is shown using the obstacle OBJ. Two points P1 and P2 on the surface of the obstacle OBJ which is a tree will be illustrated. These two points are reflected in the input image I in captured by the
処理部１１は、点Ｐ１を、球欠面部ＳＳ１上の点Ｃ１へと投影する。また、処理部１１は、点Ｐ２を、底面部ＳＳ２における点Ｃ２へと投影する。
The
以上、本開示の画像調整装置１が用いる球欠スクリーンＳＳと、球欠スクリーンＳＳへの投影について説明した。このような投影を行うには、例えば図４に示したステップＳ１０２１〜Ｓ１０２３を処理部１１が実行すればよい。
The ball-missing screen SS used by the
ステップＳ１０２１で、処理部１１が、入力画像Ｉｉｎを半径ｒの球面に投影する（図６参照）。これは、通常の球面投影処理を行うことで実装することができる。
In step S1021, the
ステップＳ１０２２で、前記球面投影後の画像の座標系を、世界座標系へと変換する。 In step S1022, the coordinate system of the image after the spherical projection is converted into the world coordinate system.
続いて、ステップＳ１０２３で、球面に投影された画像のうち、路面に相当する底面部ＳＳ２より下にある点を、底面部ＳＳ２へと投影し直す。これは、球面に投影された点と、中心Ｏ（カメラ位置）とを結んだ直線と、底面部ＳＳ２との交点を求めれば良い。 Subsequently, in step S1023, of the images projected on the spherical surface, points below the bottom surface portion SS2 corresponding to the road surface are reprojected onto the bottom surface portion SS2. For this, the intersection of the straight line connecting the point projected on the spherical surface and the center O (camera position) and the bottom surface portion SS2 may be obtained.
例えば以上のようにして、球欠スクリーン投影処理（ステップＳ１０２）を行うことができる。 For example, as described above, the ball-missing screen projection process (step S102) can be performed.
ここで、本開示の画像調整装置１が用いる仮想的な球欠スクリーンＳＳに含まれる、球欠面部ＳＳ１および底面部ＳＳ２の大きさは、例えば下記の通りである。
Here, the sizes of the ball-missing surface portion SS1 and the bottom surface portion SS2 included in the virtual ball-missing screen SS used by the
底面部ＳＳ２の大きさは、図６に示した中心Ｏから６メートル以上７メートル未満、あるいは、６メートル以上１０メートル未満であってよい。 The size of the bottom surface portion SS2 may be 6 meters or more and less than 7 meters, or 6 meters or more and less than 10 meters from the center O shown in FIG.
そして、球欠面部ＳＳ１は、上記のサイズの底面部ＳＳ２を内包する程度の大きさであってよい。すなわち、球欠面部ＳＳ１の元となる球の半径ｒは、有限の値である。 The ball-missing surface portion SS1 may be large enough to include the bottom surface portion SS2 having the above size. That is, the radius r of the sphere that is the source of the sphere missing surface portion SS1 is a finite value.
上述のように、本開示の画像調整装置１は、主に車両の後退支援用の画像の作成に用いるものである。これを車両の運転者の視点で考えると、路面（底面部ＳＳ２）の方が、路面の上空（球欠面部ＳＳ１）よりも重要となる。車両の運転者は、主に路面を見ながら車両を後退させるからである。
As described above, the
その為、球欠面部ＳＳ１と底面部ＳＳ２とでは、底面部ＳＳ２の方がより高い精度を求められる。下記はあくまで一例にすぎないが、表示装置１４に表示される出力画像Ｉｏｕｔのサイズが、横６４０ピクセル、縦４８０ピクセルのＶＧＡであったと仮定すると、底面部ＳＳ２については、例えば０．５ピクセル程度の誤差しか許されない。１ピクセルの誤差が、投影先では数十センチの誤差にも相当し得る。車両の運転時における数十センチの誤差は、障害物への予期せぬ衝突が生ずる程のものである。
Therefore, in the ball missing surface portion SS1 and the bottom surface portion SS2, the bottom surface portion SS2 is required to have higher accuracy. The following is just an example, but assuming that the size of the output image I out displayed on the
上述のような高い精度を備えるべき底面部ＳＳ２の大きさを、例えば上述のように設定する。一方で、球欠面部ＳＳ１のサイズは、底面部ＳＳ２を内包する大きさであればよい。球欠面部ＳＳ１に要求される精度は、例えば上記のＶＧＡの画像サイズについて、数ピクセル程度の誤差まで許容される。 The size of the bottom surface portion SS2 that should have high accuracy as described above is set as described above, for example. On the other hand, the size of the ball missing surface portion SS1 may be a size that includes the bottom surface portion SS2. The accuracy required for the spherical face portion SS1 is allowed up to an error of about several pixels with respect to the above VGA image size, for example.
次に、図４に示した誤差補正処理（ステップＳ１０３）について、図７〜図９を参照しつつ説明する。 Next, the error correction process (step S103) shown in FIG. 4 will be described with reference to FIGS. 7 to 9.
図７は、取り付け誤差についての説明図であり、（ａ）が実際に取り付けられたカメラの位置、（ｂ）が設計時のカメラ位置を示している。 7A and 7B are explanatory views of mounting error, in which FIG. 7A shows the position of the actually mounted camera, and FIG. 7B shows the camera position at the time of design.
図７（ａ）と図７（ｂ）とで共通する要素として、車載カメラであるカメラ１３、障害物ＯＢＪ、球欠スクリーンＳＳの球欠面部ＳＳ１および底面部ＳＳ２、そして補助線Ｌがある。補助線Ｌは、車両の後退方向を示している。
Elements common to FIGS. 7 (a) and 7 (b) include a
本来、カメラ１３は、図７（ｂ）の位置及び向きに取り付けられなければならない。しかしながら、実際には、誤差なくカメラを取り付けることは困難である。図２（ａ）に基づき前述したように、カメラ１３には、取り付け誤差（位置誤差ＰＥ、角度誤差ＡＥ）が発生する。図７（ａ）の例では、カメラ１３が、設計時の想定よりも上向きに取り付けられている。
Originally, the
そこで、本開示の画像調整装置１は、入力画像Ｉｉｎを球欠スクリーンＳＳへと投影する（ステップＳ１０２）。
Therefore, the
図８は、上記の投影を行った状態を示す概念図である。この図に示すように、入力画像Ｉｉｎに映り込んだ障害物ＯＢＪは、球欠スクリーンＳＳへと投影される。しかしこの時点では、取り付け誤差（位置誤差ＰＥ、角度誤差ＡＥ）は補正されていない。 FIG. 8 is a conceptual diagram showing a state in which the above projection is performed. As shown in this figure, the obstacle OBJ reflected in the input image I in is projected onto the ball-missing screen SS. However, at this point, the mounting error (position error PE, angle error AE) has not been corrected.
図８に示した状態のまま、誤差補正処理（ステップＳ１０３）を行わずに表示装置１４にＩｏｕｔを表示すると、図２（ｂ）のような状態で表示される。すなわち、障害物ＯＢＪが、ガイドＧの内側に入った状態となる。言い換えると、ガイドＧが樹木を貫通するかのように表示される。この出力画像Ｉｏｕｔを見た運転者は、後退進路の中に障害物が在るため、そのまま車両を後退させることはできないと判断するであろう。
If I out is displayed on the
そこで、処理部１１が、誤差補正処理（ステップＳ１０３）を行う。
Therefore, the
図９は、処理部１１が実行する誤差補正処理を示す概念図である。図示しているように、カメラ１３自体を世界座標系の中で移動させるのではなく、球欠スクリーンＳＳ上に投影された入力画像Ｉｉｎに含まれる各点を移動させる。この移動は、例えば、回転および平行移動を扱うことのできる行列によって実装可能である。
FIG. 9 is a conceptual diagram showing an error correction process executed by the
球欠スクリーンＳＳ上の、図６に示した点Ｃ１の座標を（ｃｘ，ｃｙ，ｃｚ）とする。この点Ｃ１に対して、下記の行列変換をすればよい。 Let (cx, cy, cz) be the coordinates of the point C1 shown in FIG. 6 on the ball-missing screen SS. The following matrix transformation may be performed on this point C1.
式（１）において、Ｒは回転行列であり、３行３列の正方行列である。Ｔは平行移動に相当する３行１列の行列である。なお、行列Ｒを無回転の行例とすることができ、行列Ｔを平行移動しない行列とすることもできる。 In equation (1), R is a rotation matrix, which is a square matrix with 3 rows and 3 columns. T is a 3-by-1 matrix corresponding to translation. The matrix R can be a non-rotating row example, and the matrix T can be a matrix that does not translate.
以上のように、誤差補正処理（ステップＳ１０３）を行うことができる。 As described above, the error correction process (step S103) can be performed.
図１０は、上記の誤差補正処理（ステップＳ１０３）を行った後の状態を示す図であり、（ａ）球欠スクリーンＳＳを含んだ概念図、（ｂ）出力画像Ｉｏｕｔを表示装置１４で表示した状態を示す図である。
FIG. 10 is a diagram showing a state after the above error correction process (step S103) is performed, and (a) a conceptual diagram including a ball-missing screen SS and (b) an output image I out are displayed on the
図１０（ａ）に示すように、カメラ１３の取り付け誤差は補正されている。すなわち、本来より上向きに取り付けられていた（図７（ａ）および図７（ｂ）参照）カメラ１３が、下向きになるよう調整されている。図９に示したように、カメラ１３を中心とした球欠スクリーンＳＳ上に投影された各点を回転および／または平行移動したので、相対的にカメラ１３を移動したのと同様の効果が得られる。
As shown in FIG. 10A, the mounting error of the
上述の誤差補正処理（ステップＳ１０３）を行うことで、座標系は世界座標からカメラ座標へと変わる。そこで、処理部１１が像高−画角変換処理（ステップＳ１０４）をさらに行い、得た出力画像Ｉｏｕｔを表示装置１４で表示すると、図１０（ｂ）のようになる。なお、図１０（ｂ）において、上記の補正処理を行った後の画像に、車両の後退支援用のガイドＧを重畳して出力している。
By performing the error correction process (step S103) described above, the coordinate system changes from the world coordinates to the camera coordinates. Therefore, when the
図１０（ｂ）を、図２（ｂ）と比較しつつ参照すると、図１０（ｂ）では、補助線ＬとガイドＧとが一致しているのが見て取れる。障害物ＯＢＪがガイドＧの外側に映り込んでいる。このような誤差補正後の出力画像Ｉｏｕｔを見た運転者は、障害物ＯＢＪに惑わされずに、適切に車両を後退させることができる。 When FIG. 10B is referred to while comparing with FIG. 2B, it can be seen that the auxiliary line L and the guide G coincide with each other in FIG. 10B. The obstacle OBJ is reflected on the outside of the guide G. The driver who sees the output image I out after such error correction can appropriately move the vehicle backward without being confused by the obstacle OBJ.
図１１は、処理部１１による処理例を示すフロー図である。なお、ステップＳ０１の前に、前処理として、カメラ１３を車両に取り付けた際の位置誤差ＰＥ、角度誤差ＡＥの計測が行われているものとする。
FIG. 11 is a flow chart showing a processing example by the
ステップＳ０１において、処理部１１が、センサ座標（入力画像Ｉｉｎの座標）を取得する。
In step S01, the
ステップＳ０２において、処理部１１が、取得したセンサ座標から、その画角、回転角を入手（図４のステップＳ１０１に相当）して、カメラ１３を中心とした球面に投影（図４のステップＳ１０２１に相当）する。
In step S02, the
ステップＳ０３において、処理部１１が、半径ｒの球面に投影した三次元座標の内、底面部ＳＳ２（路面）より下の点を底面部ＳＳ２（路面）に投影しなおす（図４のステップＳ１０２３に相当）。
In step S03, the
ステップＳ０４において、処理部１１が、ステップＳ０２およびステップＳ０３で投影した球欠スクリーンＳＳ上の三次元座標に対して、事前計測済みの位置誤差ＰＥ、角度誤差ＡＥを補正（図４のステップＳ１０３に相当）する。この補正は、上記の行列変換によって行ってよい。
In step S04, the
ステップＳ０５において、処理部１１が、上記誤差補正後の三次元座標を、センサ上の座標（補正センサ座標）に変換する（図４のステップＳ１０４に相当）。
In step S05, the
ステップＳ０６において、処理部１１による制御の下、表示装置１４に、補正センサ座標の画像信号を出力する。なお、この画像信号は、上記ステップＳ０４において位置誤差ＰＥ、角度誤差ＡＥが補正済みである。
In step S06, the image signal of the correction sensor coordinates is output to the
例えば上記のようにして、入力画像Ｉｉｎの調整および出力画像Ｉｏｕｔの出力を行うことができる。 For example, as described above, the input image I in can be adjusted and the output image I out can be output.
なお、表示装置１４への表示のため、前記ステップＳ０６において画像信号を出力しているが、球欠スクリーンＳＳに画像を投影する前（図４のステップＳ１０１とＳ１０２の間）の座標値と、前記誤差補正処理が行われた後（図４のステップＳ１０３の直後）の座標の値との間の対応関係を示すデータを、例えばメモリ１２に保存してよい。
Although the image signal is output in step S06 for display on the
このような対応関係を示すデータを保存しておけば、次に調整すべき入力画像Ｉｉｎが本開示の画像調整装置１に入力された時に、この入力画像Ｉｉｎと、前記対応関係を示すデータとを用いて、調整後の出力画像Ｉｏｕｔを出力することができる。
If the data showing such a correspondence relationship is saved, when the input image I in to be adjusted next is input to the
ここで、上記処理例の利点について説明する。 Here, the advantages of the above processing example will be described.
処理部１１は、ステップＳ０２およびステップＳ０３によって、半径ｒの球を基とした球欠面部ＳＳ１と、ＳＳ１と接する底面部ＳＳ２からなる球欠スクリーンＳＳに、入力画像Ｉｉｎを投影している。ここで、前記半径ｒの値は、既に述べたような有限値である。よって、各処理に必要な処理リソース（メモリや処理時間等）を節約することができる。特に、車両等に後から取り付けるタイプのカメラは、小型な物も多い。しかし本開示の画像調整装置１を用いれば、小型の装置であっても充分に処理可能な省リソースで、上記の調整処理を実現することが可能である。
In step S02 and step S03, the
また、球欠面部ＳＳ１と底面部ＳＳ２とは互いに接している。よって、上記の処理を行った後に表示される出力画像Ｉｏｕｔにはつなぎ目が無くなる。 Further, the ball missing surface portion SS1 and the bottom surface portion SS2 are in contact with each other. Therefore, the output image I out displayed after performing the above processing has no joint.
さらに、球欠面部ＳＳ１は、カメラ１３の位置を中心Ｏとする球を基にした球欠であり、上記ステップＳ０４における位置誤差ＰＥ、角度誤差ＡＥの補正は、この中心Ｏに基づいて行われる。すなわち、誤差補正処理に先立つ、中心を路面上に移動する為のベクトル演算等が不要となる。
Further, the ball missing surface portion SS1 is a ball missing based on the ball centered on the position of the
本開示の画像調整装置１は、上述のようなものであってよく、装置の計算資源を節約しながら、画像の調整を行うことができる。
The
また、物体に取り付けられたカメラが撮像した画像を調整する画像調整プログラムが、装置が有する処理部に、取得した画像の一部を所定の面へと投影し、取得した画像の他の一部を、前記所定の面を内包する、前記カメラを中心とした球欠面へと投影するステップと、前記所定の面および前記球欠面に投影された画像に対して、回転および／または平行移動を行うステップと、を実行させてよい。前記構成により、装置の計算資源を節約しながら、画像の調整を行うことができる。 Further, an image adjustment program that adjusts an image captured by a camera attached to an object projects a part of the acquired image onto a predetermined surface on a processing unit of the device, and another part of the acquired image. Is projected onto a spherical surface centered on the camera, which includes the predetermined surface, and the image projected on the predetermined surface and the spherical surface is rotated and / or translated. And the steps to perform may be executed. With the above configuration, the image can be adjusted while saving the computational resources of the apparatus.
上記構成において、前記所定の面は、前記カメラの位置から所定の距離に含まれる面であってよい。前記構成により、この面を内包する球欠面部ＳＳ１は、その半径が有限の値となる。その為、計算資源を節約しながら、画像の調整を行うことができる。 In the above configuration, the predetermined surface may be a surface included in a predetermined distance from the position of the camera. With the above configuration, the radius of the spherical missing surface portion SS1 including this surface has a finite value. Therefore, the image can be adjusted while saving computational resources.
上記構成において、前記カメラは、車両に取り付けられるカメラであり、前記所定の距離は、６メートル以上７メートル未満であるか、または７メートル以上１０メートル未満であってよい。前記構成により、車両の後退支援等に適した出力画像を生成することができる。 In the above configuration, the camera is a vehicle-mounted camera, and the predetermined distance may be 6 meters or more and less than 7 meters, or 7 meters or more and less than 10 meters. With the above configuration, it is possible to generate an output image suitable for backward support of the vehicle.
上記構成において、前記回転および／または平行移動が行われた後の画像に、車両の後退支援用のガイドを重畳して出力してよい。前記構成により、車両の運転者に対して、車両の後退支援を適切に行うことができる。 In the above configuration, the guide for backward support of the vehicle may be superimposed and output on the image after the rotation and / or parallel movement is performed. With the above configuration, it is possible to appropriately provide the driver of the vehicle with backward support of the vehicle.
上記構成において、前記所定の面および前記球欠面に画像を投影する前の座標の値と、前記回転および／または平行移動が行われた後の座標の値との間の対応関係を示すデータを、装置のメモリに保存してよい。前記構成により、次に調整すべき入力画像が入力された時に、この入力画像と、前記対応関係を示すデータとを用いて、調整後の出力画像を生成することができる。 In the above configuration, data showing the correspondence between the coordinate values before projecting the image on the predetermined surface and the spherical missing surface and the coordinate values after the rotation and / or parallel movement is performed. May be stored in the memory of the device. With the above configuration, when the input image to be adjusted next is input, the adjusted output image can be generated by using the input image and the data showing the correspondence relationship.
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施形態における各構成要素を任意に組み合わせてもよい。 Although various embodiments have been described above with reference to the drawings, it goes without saying that the present invention is not limited to such examples. It is clear that a person skilled in the art can come up with various modifications or modifications within the scope of the claims, which naturally belong to the technical scope of the present invention. Understood. In addition, each component in the above embodiment may be arbitrarily combined as long as the gist of the invention is not deviated.
１ 画像調整装置
１１ 処理部
１２ メモリ
１３ カメラ
１４ 表示装置
１００ 車両
Ｇ ガイド
Ｌ 補助線
Ｏ 中心
ＯＢＪ 障害物
ＳＳ 球欠スクリーン
ＳＳ１ 球欠面部
ＳＳ２ 底面部
1
Claims (12)
処理部を備え、
前記処理部が、
前記取得した画像の一部を所定の面へと投影し、
前記取得した画像の他の一部を、前記所定の面を内包する、前記カメラを中心とした球欠面へと投影し、
前記所定の面および前記球欠面に投影された画像に対して、回転および／または平行移動を行う、
画像調整装置。 An image adjustment device that adjusts the image acquired by a camera attached to an object.
Equipped with a processing unit
The processing unit
A part of the acquired image is projected onto a predetermined surface,
The other part of the acquired image is projected onto a spherical missing surface centered on the camera, which includes the predetermined surface.
Rotate and / or translate with respect to the image projected on the predetermined surface and the spherical surface.
Image adjustment device.
前記所定の面は、前記カメラの位置から所定の距離に含まれる面である、
画像調整装置。 The image adjusting device according to claim 1.
The predetermined surface is a surface included in a predetermined distance from the position of the camera.
Image adjustment device.
前記カメラは、車両に取り付けられるカメラであり、
前記所定の距離は、６メートル以上７メートル未満である、
画像調整装置。 The image adjusting device according to claim 2.
The camera is a camera mounted on a vehicle.
The predetermined distance is 6 meters or more and less than 7 meters.
Image adjustment device.
前記カメラは、車両に取り付けられるカメラであり、
前記所定の距離は、７メートル以上１０メートル未満である、
画像調整装置。 The image adjusting device according to claim 2.
The camera is a camera mounted on a vehicle.
The predetermined distance is 7 meters or more and less than 10 meters.
Image adjustment device.
前記回転および／または平行移動が行われた後の画像に、車両の後退支援用のガイドを重畳して出力する、
画像調整装置。 The image adjusting device according to claim 3 or 4.
A guide for backward support of the vehicle is superimposed and output on the image after the rotation and / or parallel movement is performed.
Image adjustment device.
メモリを更に備えており、
前記所定の面および前記球欠面に画像を投影する前の座標の値と、前記回転および／または平行移動が行われた後の座標の値との間の対応関係を示すデータをメモリに保存する、
画像調整装置。 The image adjusting device according to any one of claims 1 to 5.
It has more memory
Data showing the correspondence between the coordinate values before projecting the image on the predetermined surface and the sphere missing surface and the coordinate values after the rotation and / or parallel movement is performed is stored in the memory. To do,
Image adjustment device.
装置が有する処理部に、
取得した画像の一部を所定の面へと投影し、取得した画像の他の一部を、前記所定の面を内包する、前記カメラを中心とした球欠面へと投影するステップと、
前記所定の面および前記球欠面に投影された画像に対して、回転および／または平行移動を行うステップと、
を実行させる、
画像調整プログラム。 An image adjustment program that adjusts the image captured by a camera attached to an object.
In the processing unit of the device
A step of projecting a part of the acquired image onto a predetermined surface and projecting the other part of the acquired image onto a spherical surface centered on the camera, which includes the predetermined surface.
A step of rotating and / or translating the image projected on the predetermined surface and the spherical surface.
To execute,
Image adjustment program.
前記所定の面は、前記カメラの位置から所定の距離に含まれる面である、
画像調整プログラム。 The image adjustment program according to claim 7.
The predetermined surface is a surface included in a predetermined distance from the position of the camera.
Image adjustment program.
前記カメラは、車両に取り付けられるカメラであり、
前記所定の距離は、６メートル以上７メートル未満である、
画像調整プログラム。 The image adjustment program according to claim 8.
The camera is a camera mounted on a vehicle.
The predetermined distance is 6 meters or more and less than 7 meters.
Image adjustment program.
前記カメラは、車両に取り付けられるカメラであり、
前記所定の距離は、７メートル以上１０メートル未満である、
画像調整プログラム。 The image adjustment program according to claim 8.
The camera is a camera mounted on a vehicle.
The predetermined distance is 7 meters or more and less than 10 meters.
Image adjustment program.
前記回転および／または平行移動が行われた後の画像に、車両の後退支援用のガイドを重畳して出力する、
画像調整プログラム。 The image adjustment program according to claim 9 or 10.
A guide for backward support of the vehicle is superimposed and output on the image after the rotation and / or parallel movement is performed.
Image adjustment program.
前記所定の面および前記球欠面に画像を投影する前の座標の値と、前記回転および／または平行移動が行われた後の座標の値との間の対応関係を示すデータを前記装置に保存する、
画像調整プログラム。
The image adjustment program according to any one of claims 7 to 11.
Data showing the correspondence between the coordinate values before projecting the image on the predetermined surface and the sphere missing surface and the coordinate values after the rotation and / or parallel movement is performed is supplied to the apparatus. save,
Image adjustment program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019039725A JP2020145548A (en) | 2019-03-05 | 2019-03-05 | Image adjustment device and image adjustment program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019039725A JP2020145548A (en) | 2019-03-05 | 2019-03-05 | Image adjustment device and image adjustment program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020145548A true JP2020145548A (en) | 2020-09-10 |
Family
ID=72355607
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019039725A Pending JP2020145548A (en) | 2019-03-05 | 2019-03-05 | Image adjustment device and image adjustment program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2020145548A (en) |
-
2019
- 2019-03-05 JP JP2019039725A patent/JP2020145548A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108367714B (en) | Filling in areas of peripheral vision obscured by mirrors or other vehicle components | |
| JP4803450B2 (en) | On-vehicle camera calibration device and vehicle production method using the device | |
| JP4690476B2 (en) | Car camera calibration system | |
| CN104460361B (en) | Automatic motion control system for vehicle | |
| JP4751939B2 (en) | Car camera calibration system | |
| US8233045B2 (en) | Method and apparatus for distortion correction and image enhancing of a vehicle rear viewing system | |
| JP4555876B2 (en) | Car camera calibration method | |
| US20180141496A1 (en) | Method and device for displaying an image of the surroundings of a vehicle combination | |
| US20140104424A1 (en) | Imaging surface modeling for camera modeling and virtual view synthesis | |
| US20150103172A1 (en) | Image processing apparatus and method | |
| JP5081313B2 (en) | Car camera calibration system | |
| JPWO2006087993A1 (en) | Perimeter monitoring device and perimeter monitoring method | |
| US10810762B2 (en) | Image processing apparatus | |
| CN111800589A (en) | Image processing method, device and system and robot | |
| US11055541B2 (en) | Vehicle lane marking and other object detection using side fisheye cameras and three-fold de-warping | |
| JP2020502640A (en) | Surround view system for vehicles | |
| AU2022231762B2 (en) | A bundle adjustment system | |
| US9330319B2 (en) | Apparatus for compensating camera image and operating method thereof | |
| JP2006234703A (en) | Image processing device, three-dimensional measuring device, and program for image processing device | |
| KR101504335B1 (en) | Device, method and vehicle for providing around view | |
| JP5173551B2 (en) | Vehicle perimeter monitoring apparatus and camera mounting position / posture information setting correction method applied thereto | |
| KR102227850B1 (en) | Method for adjusting output video of rear camera for vehicles | |
| CN111325799B (en) | Large-range high-precision static looking-around automatic calibration pattern and system | |
| JP2010136082A (en) | Apparatus for monitoring vehicle surroundings, and method of determining position and attitude of camera | |
| JP7311407B2 (en) | Posture estimation device and posture estimation method |