JP2013005032A - On-vehicle camera posture detection device - Google Patents
On-vehicle camera posture detection device Download PDFInfo
- Publication number
- JP2013005032A JP2013005032A JP2011131337A JP2011131337A JP2013005032A JP 2013005032 A JP2013005032 A JP 2013005032A JP 2011131337 A JP2011131337 A JP 2011131337A JP 2011131337 A JP2011131337 A JP 2011131337A JP 2013005032 A JP2013005032 A JP 2013005032A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- movement
- vehicle
- posture
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
本発明は、車両に搭載されて周辺画像を撮影するカメラの取り付け角度等を検出する車載カメラ姿勢検出装置に関する。 The present invention relates to an in-vehicle camera attitude detection device that detects an attachment angle or the like of a camera that is mounted on a vehicle and captures a peripheral image.
車両に搭載されたカメラで撮影した画像に基づいてこの画像に含まれる被写体の位置や大きさを正確に検出する場合や、複数のカメラで隣接した領域を撮影し、得られた画像を領域が連続するように合成する場合などでは、カメラの正確な設置位置および角度を知る必要がある。 When accurately detecting the position and size of the subject included in this image based on the image taken by the camera mounted on the vehicle, or by shooting adjacent areas with multiple cameras, In the case of continuous composition, it is necessary to know the exact installation position and angle of the camera.
一般に、カメラの設置位置や角度は、カメラを含むシステム全体を設計する際にあらかじめ決められることが多いが、実際には取り付け誤差が含まれるため、取り付け後にキャリブレーションを行って正確な設置位置や角度を検出することが行われている。例えば、従来から、車両近傍の所定位置に、複数の校正指標が含まれるキャリブレーションパターンが印刷されたキャリブレーションシートを配置し、このキャリブレーションシートをカメラで撮影した結果得られた画像を用いてカメラの設置位置や角度を検出するようにしたカメラ取り付け角度算出方法が知られている(例えば、特許文献1参照。)。 In general, the installation position and angle of a camera are often determined in advance when designing the entire system including the camera, but in practice, since installation errors are included, calibration is performed after installation to ensure the correct installation position and angle. An angle is detected. For example, conventionally, a calibration sheet on which a calibration pattern including a plurality of calibration indices is printed is arranged at a predetermined position near the vehicle, and an image obtained as a result of photographing the calibration sheet with a camera is used. A camera attachment angle calculation method that detects the installation position and angle of a camera is known (for example, see Patent Document 1).
ところで、上述した従来手法では、キャリブレーションシートが所定位置に正確に配置されることが前提となっており、キャリブレーションシートの設置位置にずれがあると、カメラの姿勢(位置および角度)を正確に検出することができないという問題があった。例えば、車両後方であって、設置位置がリアバンパーの端部に接するようにキャリブレーションシートを配置し、これを車両後方に設置されたカメラで撮影するものとする。このようにキャリブレーションシートの位置が指定された場合であっても、リアバンパーは地面から離れた位置にあるため、その端部にキャリブレーションシートの位置を合わせることは難しい。キャリブレーションの左右位置についても同様であり、車両の中心とキャリブレーションシートの中心を正確に合わせることも容易ではない。 By the way, in the conventional method described above, it is assumed that the calibration sheet is accurately arranged at a predetermined position. If there is a deviation in the installation position of the calibration sheet, the posture (position and angle) of the camera is accurately determined. There was a problem that it could not be detected. For example, it is assumed that the calibration sheet is arranged behind the vehicle so that the installation position is in contact with the end of the rear bumper, and this is photographed with a camera installed behind the vehicle. Even when the position of the calibration sheet is designated in this way, the rear bumper is located away from the ground, and it is difficult to align the position of the calibration sheet with the end portion. The same applies to the left and right positions of calibration, and it is not easy to accurately align the center of the vehicle and the center of the calibration sheet.
本発明は、このような点に鑑みて創作されたものであり、その目的は、カメラの姿勢を正確に検出することができる車載カメラ姿勢検出装置を提供することにある。 The present invention has been created in view of the above points, and an object thereof is to provide an in-vehicle camera posture detection device capable of accurately detecting the posture of a camera.
上述した課題を解決するために、本発明の車載カメラ姿勢検出装置は、車両に搭載されたカメラで車両周辺に配置されたキャリブレーションシートに含まれる複数の校正指標を撮影し、得られた画像に基づいてカメラの姿勢を検出する車載カメラ姿勢検出装置であって、カメラで撮影されたキャリブレーションシートの画像を移動前画像として格納する移動前画像格納手段と、移動前画像格納手段に格納された移動前画像に基づいてカメラの姿勢を推定する第1の姿勢推定手段と、車両を直線状に所定距離移動させた後にカメラで撮影されたキャリブレーションシートの画像を移動後画像として格納する移動後画像格納手段と、移動後画像格納手段に格納された移動後画像に基づいてカメラの姿勢を推定する第2の姿勢推定手段と、第1および第2の姿勢推定手段による推定結果に基づいてキャリブレーションシートの所定位置からのずれ量を算出するシートずれ量算出手段と、第1および第2のカメラ姿勢推定手段の少なくとも一方によって推定された姿勢推定値と、シートずれ量算出手段によって算出されたずれ量とに基づいて、カメラの姿勢を決定するカメラ姿勢決定手段と、移動前画像を取得してから移動後画像を取得するまでの車両の移動が直線状になされたか否かを判定する直線移動判定手段とを備えている。 In order to solve the above-described problem, an on-vehicle camera posture detection device of the present invention photographs a plurality of calibration indices included in a calibration sheet arranged around a vehicle with a camera mounted on the vehicle, and obtained images Is a vehicle-mounted camera posture detection device that detects the posture of a camera based on the pre-movement image storage unit that stores an image of a calibration sheet photographed by the camera as a pre-movement image, and is stored in the pre-movement image storage unit. A first posture estimating means for estimating the posture of the camera based on the pre-movement image, and a movement for storing an image of a calibration sheet photographed by the camera after moving the vehicle in a straight line as a post-movement image Post-image storage means; second posture estimation means for estimating the posture of the camera based on the post-movement image stored in the post-movement image storage means; Posture estimated by at least one of sheet deviation amount calculating means for calculating the deviation amount of the calibration sheet from a predetermined position based on the estimation result by the second posture estimating means, and first and second camera posture estimating means. Based on the estimated value and the amount of deviation calculated by the sheet deviation amount calculation means, camera posture determination means for determining the posture of the camera, and the vehicle from the acquisition of the pre-movement image to the acquisition of the post-movement image Linear movement determination means for determining whether or not the movement has been made linear.
車両を移動させる前後の画像に基づいてキャリブレーションシートの所定位置(設計位置)からのずれ量を算出しているため、このキャリブレーションシートのずれによる影響を取り除くことができ、カメラの姿勢を正確に検出することが可能となる。また、車両の移動を直線状とすることにより、移動の前後でキャリブレーションシートを撮影した際に、キャリブレーションシートの回転方向のずれを一定にすることができ、算出するパラメータの数を減らすことができるため、処理の簡略化が可能となる。さらに、車両の移動が直線状であるか否かを判定しているため、直線状でなかった場合に車両の移動をやりなおすことができ、カメラ姿勢の検出に含まれる誤差の拡大を未然に防ぐことができる。 Since the amount of deviation of the calibration sheet from the specified position (design position) is calculated based on the images before and after the vehicle is moved, the effects of the deviation of the calibration sheet can be removed, and the camera posture can be accurately determined. Can be detected. In addition, by making the movement of the vehicle linear, when the calibration sheet is photographed before and after the movement, the deviation in the rotation direction of the calibration sheet can be made constant, and the number of parameters to be calculated is reduced. Therefore, the process can be simplified. Furthermore, since it is determined whether or not the movement of the vehicle is a straight line, the movement of the vehicle can be redone if it is not a straight line, thereby preventing an increase in errors included in the detection of the camera posture. be able to.
また、上述したカメラによるレンズを通した撮影によって、中央に対して周辺が歪んだ画像が得られ、車両の移動の前後および中間位置に対応する複数箇所においてカメラの撮影によって得られた複数の画像に対して歪み補正を行う歪み補正手段をさらに備え、直線移動判定手段は、歪み補正手段によって歪みが除去された後の複数の画像に基づいて、車両の移動が直線状になされたか否かを判定することが望ましい。具体的には、上述した直線移動判定手段は、歪み除去後の複数の画像について、キャリブレーションシートの同一箇所に対応する特徴点を抽出し、これら複数の画像に含まれる複数の特徴点のそれぞれが直線状に配置されている場合に、車両の移動が直線状になされたものと判定することが望ましい。歪み補正を行って歪みを除去した画像を用いることにより、車両の移動に連動する画像内の被写体(特徴点)の移動が直線状になるため、車両の移動が直線状になされたか否かの判定が容易となる。 In addition, a plurality of images obtained by photographing with the camera at a plurality of positions corresponding to the front and rear and middle positions of the movement of the vehicle are obtained by photographing through the lens by the camera described above. And a straight line movement determining means for determining whether or not the vehicle has been moved linearly based on a plurality of images after the distortion has been removed by the distortion correcting means. It is desirable to judge. Specifically, the above-described linear movement determination unit extracts feature points corresponding to the same part of the calibration sheet for a plurality of images after distortion removal, and each of the plurality of feature points included in the plurality of images. It is desirable to determine that the movement of the vehicle has been made linear. By using distortion corrected images to remove distortion, the movement of the subject (feature point) in the image linked to the movement of the vehicle becomes linear. Judgment becomes easy.
また、上述した歪み補正手段によって歪み補正が行われた画像を、複数の特徴点とともに表示装置に表示する表示処理手段をさらに備えることが望ましい。特に、上述した表示処理手段によって表示装置に表示される画像には、複数の特徴点の中の両端を通る直線状の補助線が含まれていることが望ましい。これにより、車両を移動する運転者自身が画像を見ながら車両の移動が直線状か否かを簡単に確認することができる。 In addition, it is desirable to further include a display processing unit that displays an image on which distortion correction has been performed by the above-described distortion correction unit together with a plurality of feature points on a display device. In particular, it is desirable that the image displayed on the display device by the display processing means described above includes a linear auxiliary line that passes through both ends of the plurality of feature points. As a result, the driver who moves the vehicle can easily check whether the movement of the vehicle is linear while viewing the image.
また、上述した直線移動判定手段は、車両の移動が直線状になされなかった旨の判定を行ったときに、車両の運転者に対して通知を行うことが望ましい。これにより、車両の移動が直線状でないことを確実に車両の運転者にわからせることができ、カメラ姿勢の決定に関する一連の動作のやり直しを促すことができる。 In addition, it is desirable that the above-described linear movement determination means notifies the vehicle driver when it is determined that the vehicle has not been moved linearly. Accordingly, the driver of the vehicle can be surely notified that the movement of the vehicle is not linear, and a series of operations relating to the determination of the camera posture can be urged to be performed again.
以下、本発明を適用した一実施形態の車載カメラ姿勢検出装置について、図面を参照しながら説明する。 Hereinafter, an in-vehicle camera attitude detection device according to an embodiment to which the present invention is applied will be described with reference to the drawings.
図1は、一実施形態の車載カメラ姿勢検出装置の構成を示す図である。図1に示すように、本実施形態の車載カメラ姿勢検出装置100は、カメラ10、画像取込部12、画像メモリ14、移動前画像格納部20、中間画像格納部21、移動後画像格納部22、移動前カメラ姿勢推定部24、移動後カメラ姿勢推定部26、移動距離算出部30、ずれ量算出部32、カメラ姿勢決定部34、表示装置40、表示処理部42、歪み補正部44、直線移動判定部46、操作部50を含んで構成されている。なお、この車載カメラ姿勢検出装置100によって検出されるカメラ姿勢は、カメラを用いた他の装置においてその検出結果を用いるためのものであり、車載カメラ姿勢検出装置100の構成を他の装置に含ませるようにしてもよい。
FIG. 1 is a diagram illustrating a configuration of an in-vehicle camera attitude detection device according to an embodiment. As shown in FIG. 1, the on-vehicle camera
カメラ10は、車両後方の所定位置に所定の角度で取り付けられ、魚眼レンズや広角レンズを通して車両後方を撮影する。魚眼レンズ等を等して被写体を撮影することにより、中央に対して周辺が歪んだ画像が得られる。図2は、カメラ10の具体的な設置例を示す図である。図2に示す例では、カメラ10は、リアバンパーの中央に、水平から下向きに30°の角度で取り付けられている。本実施形態では、このカメラ10の撮影範囲に含まれるように、車両後方の地面上にキャリブレーションシート200が配置されている。
The
図3は、キャリブレーションシート200の具体例を示す図である。図3に示すキャリブレーションシート200は、校正指標(キャリブレーションマーク)としての12個の小黒丸210、6個の大白丸220を含んでいる。大白丸220は、車両側から見て2列に、各列に3個が含まれるように配置されている。また、車両から遠い側の列を構成する3個の大白丸220のそれぞれには、2行2列に配置された4個の小黒丸210が含まれている。これらの小黒丸210や大白丸220は、撮影により取り込まれた画像に基づいて識別され、それぞれの中心(円心)座標が求められて各種の演算に用いられる。
FIG. 3 is a diagram illustrating a specific example of the
画像取込部12は、カメラ10によって車両後方を撮影した画像を取り込む。この取り込んだ画像は、画像メモリ14に一旦格納される。本実施形態では、キャリブレーションシート200を車両後方の所定位置に配置した状態でカメラ10で車両移動前の1回目の撮影を行い、次に、所定距離だけ車両を前進させた後にカメラ10で車両移動後の2回目の撮影を行う。
The
移動前画像格納部20は、車両の移動前に取り込んで画像メモリ14に格納された画像を読み出して移動前画像として格納する。中間画像格納部21は、車両の移動途中に取り込んで画像メモリ14に格納された画像を読み出して中間画像として格納する。また、移動後画像格納部22は、車両の移動後に取り込んで画像メモリ14に格納された画像を読み出して移動後画像として格納する。
The pre-movement
移動前カメラ姿勢推定部24は、移動前画像格納部20に格納された移動前画像に基づいて、キャリブレーションシート200内の校正指標の位置を基準にしてカメラ10の姿勢を推定する。姿勢の推定値として、カメラ位置x1,y1,z1とカメラ角度rv1,rh1,rr1が得られる。ここで、x1はX座標値、y1はY座標値、z1はZ座標値、rv1はピッチ角、rh1はヨー角、rr1はロール角である。また、キャリブレーションシート200が配置された地面と平行な面に沿って、互いに直交するX方向とY方向が設定され、地面と垂直な向きにZ方向が設定されている。
The pre-movement camera
移動後カメラ姿勢推定部26は、移動後画像格納部22に格納された移動後画像に基づいて、キャリブレーションシート200内の校正指標の位置を基準にしてカメラ10の姿勢を推定する。姿勢の推定値として、カメラ位置x2,y2,z2とカメラ角度rv2,rh2,rr2が得られる。x2等の意味は、x1等の意味と同じである。
The post-movement camera
移動距離算出部30は、移動前カメラ姿勢推定部24によって得られた姿勢の推定値と移動後カメラ姿勢推定部26によって得られた姿勢の推定値とに基づいて、実際に車両が移動した距離dを算出する。
The movement
ずれ量算出部32は、移動前カメラ姿勢推定部24によって得られた姿勢の推定値と移動後カメラ姿勢推定部26によって得られた姿勢の推定値とに基づいて、キャリブレーションシート200の正規位置(製品設計時に想定した理想的な設計位置)からのずれ量を算出する。
Based on the estimated posture value obtained by the pre-movement
カメラ姿勢決定部34は、移動前カメラ姿勢推定部24および移動後カメラ姿勢推定部26の少なくとも一方によって得られた推定値と、ずれ量算出部32によって算出されたずれ量とに基づいて、カメラ10の姿勢を決定する。
Based on the estimated value obtained by at least one of the pre-movement camera
表示処理部42は、車両を移動させる際に、カメラ10で撮影された画像を表示装置40に表示する。歪み補正部44は、車両の移動の前後および中間位置に対応する複数箇所においてカメラ10の撮影によって得られた複数の画像(移動前画像格納部20、中間画像格納部21、移動後画像格納部22に格納されている移動前画像、中間画像、移動後画像)に対して歪み補正を行う。歪み補正後の画像上では、直線状に移動した車両の軌跡は直線となる。直線移動判定部46は、歪み補正部44によって歪みが除去された後の複数の画像に基づいて、車両の移動が直線状になされたか否かを判定する。具体的には、直線移動判定部46は、歪み除去後の複数の画像について、キャリブレーションシート200の同一箇所に対応する特徴点を抽出し、これら複数の画像に含まれる複数の特徴点のそれぞれが直線状に配置されている場合に、車両の移動が直線状になされたものと判定する。
The
操作部50は、利用者の操作指示を受け付けるためのものであり、各種のキーを備えている。例えば、画像取込部12による移動前後および中間位置における画像の取り込みは、利用者が操作部50を操作して行った取込指示に対応して行われる。
The
上述した移動前画像格納部20が移動前画像格納手段に、移動後画像格納部22が移動後画像格納手段に、移動前カメラ姿勢推定部24が第1の姿勢推定手段に、移動後カメラ姿勢推定部26が第2の姿勢推定手段に、ずれ量算出部32がシートずれ量算出手段に、カメラ姿勢決定部34がカメラ姿勢決定手段に、表示処理部42が表示処理手段に、歪み補正部44が歪み補正手段に、直線移動判定部46が直線移動判定手段にそれぞれ対応する。
The above-mentioned pre-movement
本実施形態の車載カメラ姿勢検出装置100はこのような構成を有しており、次に、カメラ10によってキャリブレーションシート200を撮影して最終的にカメラ10の姿勢を決定するまでの動作について説明する。
The in-vehicle camera
図4は、カメラ10の姿勢を決定する概略的な動作手順を示す流れ図である。まず、車両後方の所定位置にキャリブレーションシート200を配置した状態で、カメラ10による1回目の撮影が行われる(ステップ100)。例えば、利用者が操作部50を操作して1回目の取込指示を行う。画像取込部12は、この取込指示に応じてカメラ10で撮影された画像を取り込み、画像メモリ14に格納する。また、移動前画像格納部20は、画像メモリ14から画像を読み出して移動前画像として格納する。
FIG. 4 is a flowchart showing a schematic operation procedure for determining the posture of the
また、移動前カメラ姿勢推定部24は、移動前画像格納部20から移動前画像を読み出し、カメラ10の姿勢を推定する(ステップ102)。これにより、カメラ10の姿勢の推定値として、カメラ位置x1,y1,z1とカメラ角度rv1,rh1,rr1が得られる。
Further, the pre-movement camera
次に、車両を所定距離だけ移動させる(ステップ104)。この車両の移動は、車両を直線状に所定距離前進させることにより行われる。所定距離としては、想定している理想値(例えば20cm)があるが、その近傍であれば理想値から多少ずれていても特に問題はない。なお、本実施形態では、車両の移動が直線状になされたか否かを判定(直線判定)し、直線状になされなかった場合には所定の通知が行われるが、これらの動作については後述する。 Next, the vehicle is moved by a predetermined distance (step 104). This movement of the vehicle is performed by advancing the vehicle in a straight line by a predetermined distance. There is an assumed ideal value (for example, 20 cm) as the predetermined distance, but there is no particular problem even if it is slightly deviated from the ideal value in the vicinity thereof. In the present embodiment, it is determined whether or not the movement of the vehicle has been made linear (straight line determination). If the vehicle has not been made linear, a predetermined notification is given, but these operations will be described later. .
次に、カメラ10による2回目の撮影が行われる(ステップ106)。例えば、利用者が操作部50を操作して2回目の取込指示を行う。画像取込部12は、この取込指示に応じてカメラ10で撮影された画像を取り込み、画像メモリ14に格納する。また、移動後画像格納部22は、画像メモリ14から画像を読み出して移動後画像として格納する。
Next, the second shooting is performed by the camera 10 (step 106). For example, the user operates the
また、移動後カメラ姿勢推定部26は、移動後画像格納部22から移動後画像を読み出し、カメラ10の姿勢を推定する(ステップ108)。これにより、カメラ10の姿勢の推定値として、カメラ位置x2,y2,z2とカメラ角度rv2,rh2,rr2が得られる。
The post-movement camera
次に、移動距離算出部30は、ステップ102、108の推定動作によって得られた2つのカメラ位置に基づいて車両の移動距離dを算出する(ステップ110)。具体的には、移動距離算出部30は、1回目の推定結果であるカメラ位置x1,y1と2回目の推定結果であるカメラ位置x2,y2を用いて、距離dを以下の式により算出する。
Next, the moving
d=√((x1−x2)2+(y1−y2)2) …(1)
次に、ずれ量算出部32は、キャリブレーションシート200の設計位置からのずれ量X,Y,Rを算出する(ステップ112)。ここで、XはX方向のずれ量、YはY方向のずれ量、Rは回転方向のずれ量である。図5は、3つのずれ量X,Y,Rの関係を示す図である。図5において、Aは設計位置に配置されたキャリブレーションシート200内の一点を示しており、Bは実際に配置されたキャリブレーションシート200内の対応点を示している。
d = √ ((x1-x2) 2 + (y1-y2) 2 ) (1)
Next, the deviation
車両を移動させる前にキャリブレーションシート200を設計位置に配置したと仮定したときに得られるカメラ10の位置(この位置を「移動前の設計位置」と称する)をx,yとする。なお、z方向の位置はキャリブレーションシート200のずれに関係なく一定であるため、説明を省略する。車両移動前に推定されたカメラ10の位置x1,y1と移動前の設計位置x,yとの間には、
Assume that the position of the
の関係がある。 There is a relationship.
同様に、車両を移動させた後にキャリブレーションシート200を設計位置に配置したと仮定したときに得られるカメラ10の位置(この位置を「移動後の設計位置」と称する)をx’,y’とする。車両移動後に推定されたカメラ10の位置x2,y2と移動後の設計位置x’,y’との間には、
Similarly, the position of the
の関係がある。(2)式と(3)式を展開すると、 There is a relationship. When formulas (2) and (3) are expanded,
となる。(4)式をキャリブレーションシート200のずれ量(X,Y,R)に着目して行列式で表すと、
It becomes. When the expression (4) is expressed by a determinant focusing on the shift amount (X, Y, R) of the
となる。この(5)式を変形すると以下の(6)式を得る。 It becomes. When this equation (5) is modified, the following equation (6) is obtained.
ところで、車両の移動をY方向に沿って行うものとすると、カメラ10の移動前の設計位置x,yと移動後の設計位置x’,y’との間には以下の関係がある。
By the way, if the vehicle is moved along the Y direction, the following relationship exists between the design positions x, y before the
x’=x
y’=y+d …(7)
すなわち、(6)式の右辺は全て既知の値であり、ずれ量算出部32は(6)式を用いることでずれ量X,Y,Rを算出することができる。
x ′ = x
y ′ = y + d (7)
That is, all the right sides of the equation (6) are known values, and the deviation
次に、カメラ姿勢決定部34は、未知の値であるカメラ10の角度rv(ピッチ角)、rh(ヨー角)、rr(ロール角)を算出する(ステップ114)。カメラ10の実際の角度rv,rh,rrと、推定値rv1,rh1,rr1と、キャリブレーションシート200のずれ量Rとの関係は以下のように表すことができる。
Next, the camera
Ry(R)・Rx(rv)・Ry(rh)・Rz(rr)
=Rx(rv1)・Ry(rr1)・Rz(rh1) …(8)
ここで、Rx(rv)、Ry(rh)、Rz(rr)は、以下に示す回転行列である。
Ry (R), Rx (rv), Ry (rh), Rz (rr)
= Rx (rv1) .Ry (rr1) .Rz (rh1) (8)
Here, Rx (rv), Ry (rh), and Rz (rr) are rotation matrices shown below.
(8)式を変形すると、以下のようになる。 When the equation (8) is modified, it becomes as follows.
Rx(rv)・Ry(rh)・Rz(rr)
=Ry(−R)・Rx(rv1)・Ry(rh1)・Rz(rr1) …(12)
(12)式の右辺は全て既知の値なので、展開して以下のように置く。
Rx (rv), Ry (rh), Rz (rr)
= Ry (-R) .Rx (rv1) .Ry (rh1) .Rz (rr1) (12)
Since all the right sides of the equation (12) are known values, they are expanded and placed as follows.
また、(12)式の左辺を展開して(13)式とともに解くと、以下のようになる。 Further, when the left side of the expression (12) is expanded and solved together with the expression (13), the result is as follows.
カメラ姿勢決定部34は、このようにしてカメラ10の角度rv,rh,rrを算出する。
In this way, the camera
次に、移動前カメラ姿勢推定部24および移動後カメラ姿勢推定部26によるカメラ姿勢の推定動作について説明する。なお、移動前カメラ姿勢推定部24と移動後カメラ姿勢推定部26は同じ構成を有しており、以下では移動前カメラ姿勢推定部24の詳細について説明を行うものとする。
Next, camera posture estimation operations by the pre-movement camera
図6は、移動前カメラ姿勢推定部24の詳細構成を示す図である。図6に示すように、移動前カメラ姿勢推定部24は、校正指標中心位置検出部60、校正指標座標記憶部61、63、座標変換部62、構成指標間距離調整部64、構成指標位置調整部65、カメラ姿勢調整部66とを含んで構成されている。
FIG. 6 is a diagram illustrating a detailed configuration of the pre-movement camera
校正指標中心位置検出部60は、移動前画像格納部20に格納された移動前画像を読み出して、この移動前画像に含まれるキャリブレーションシート200内の校正指標の中心位置を検出する。例えば、校正指標中心位置検出部60は、キャリブレーションシート200に含まれる校正指標としての12個の小黒丸210を画像認識により抽出し、それぞれの中心位置の座標値を校正指標座標記憶部61に保存する。なお、この中心位置の座標値は、カメラ10の光軸Sに垂直に画像平面(U−V座標系)が設定された魚眼座標系によって表されたものである。
The calibration index center
座標変換部62は、各校正指標の中心座標値を、魚眼座標系から、地面をX−Y平面、地面に垂直な向きをZ方向とする基準座標系に変換し、校正指標座標記憶部63に保存する。
The coordinate
図7は、座標変換の説明図である。図7において、X−Y−Zは基準座標系を、U−V−Sは魚眼座標系をそれぞれ示している。また、図7において、x1,y1,z1を魚眼座標系U−V−Sと基準座標系X−Y−Zの原点間の距離、rx,ry,rzを基準座標系X−Y−Zに対するカメラ10の各軸周りの回転量とすると、以下の式が成立する。但し、u,v,sは校正指標の魚眼座標系における中心座標値で既知、λは基準座標系の単位を実際の校正指標間距離からmmに変換するための係数である。
FIG. 7 is an explanatory diagram of coordinate conversion. In FIG. 7, XYZ represents a reference coordinate system, and UVS represents a fish-eye coordinate system. In FIG. 7, x1, y1, and z1 are distances between the origins of the fish-eye coordinate system UVS and the reference coordinate system XYZ, and rx, ry, and rz are reference coordinate systems XYZ. Assuming that the amount of rotation about each axis of the
図7(B)より、カメラ10の光軸がX−Y平面上のP点に向いているときのX軸周りの回転量はrv(=rx)、Y軸周りの回転量はrh(=ry)、Z軸周りの回転量はrr(=rz)である。これらのそれぞれが、ピッチ角、ヨー角、ロール角である。
7B, when the optical axis of the
以後、校正指標間距離調整部64、校正指標位置調整部65、カメラ姿勢調整部66は、校正指標間の各軸方向距離が実際の各軸方向距離と等しくなるように、かつ、校正指標位置が実際の校正指標位置と等しくなるようにrv,rh,rr,x1,y1,z1を決定する。すなわち、最初に、校正指標間距離調整部64およびカメラ姿勢調整部66は、x1,y1,z1を固定した状態でrv,rh,rrを変更しながら各校正指標間の中心座標値を(15)式を用いて計算し、各校正指標間の各軸方向距離を計算し、各校正指標間の各軸方向距離が等しくなるrv,rh,rrを求め、これらrv,rh,rrをカメラ角度として出力する。また、校正指標位置調整部65およびカメラ姿勢調整部66は、(15)式より各校正指標の中心座標値を計算し、実際の校正指標の中心位置(既知)と等しくなるx1,y1,z1を求め、カメラ位置として出力する。
Thereafter, the calibration index
具体的には、rrを変更することにより校正指標の傾斜を調整することができ、rhを変更することにより校正指標間の垂直方向の距離を調整することができ、rvを変更することにより校正指標間の水平方向の距離を調整することができる。 Specifically, the inclination of the calibration index can be adjusted by changing rr, the vertical distance between the calibration indices can be adjusted by changing rh, and the calibration can be performed by changing rv. The horizontal distance between the indicators can be adjusted.
したがって、最初、校正指標傾斜調整量決定部64aはx1,y1,z1を一定値(例えば0)としたときの各校正指標の中心座標値を用いて校正指標傾斜角度を計算する。校正指標の並びが傾斜している場合には傾斜角=0となるようにrrを調整し、調整量Δrrをカメラ姿勢調整部66に入力する。カメラ姿勢調整部66は、rr=rr+Δrrにより、新rrを計算して座標変換部62に入力する。これにより、座標変換部62は、(15)式により各校正指標の中心座標を計算し、校正指標傾斜調整量決定部64aは、これらの各校正指標の中心座標値を用いて校正指標傾斜角度を計算する。以後、校正指標傾斜角が0となるまで以上の処理を継続してrrの調整が行われる。
Therefore, first, the calibration index tilt adjustment
校正指標傾斜角度が0となるようにrrの調整が終了すれば、校正指標間距離算出部64bは、各校正指標間のX軸方向の距離を計算し、校正指標間距離調整完了決定部64dは各校正指標間のX軸方向距離が等しいか調べ、等しくなければ校正指標間距離調整量決定部64cに調整指示信号を入力する。これにより、校正指標間距離調整量決定部64cはrhを調整し、調整量Δrhをカメラ姿勢調整部66に入力する。カメラ姿勢調整部66は、rh=rh+Δrhより、新rhを計算して座標変換部62に入力する。これにより、座標変換部62は、(15)式により各校正指標の中心座標値を計算し、校正指標間距離算出部64bは各校正指標の中心座標値を用いて各校正指標間のX軸方向距離を計算し、各校正指標間のX軸方向距離が等しくなるまでrhの調整を行う。
When the adjustment of rr is completed so that the calibration index inclination angle becomes 0, the calibration index
rhの調整が終了すれば、校正指標間距離算出部64bは各校正指標間のY軸方向の距離を計算し、校正指標間距離調整完了決定部64dは各校正指標間のY軸方向距離が等しいか調べ、等しくなければ校正指標間距離調整量決定部64cに調整指示信号を入力する。これにより、校正指標間距離調整量決定部64cはrvを調整し、調整量Δrvをカメラ姿勢調整部66に入力する。カメラ姿勢調整部66はrv=rv+Δrvにより、新rvを計算して座標変換部62に入力する。これにより、座標変換部62は(15)式により各校正指標の中心座標値を計算し、校正指標間距離算出部64bは各校正指標の中心座標値を用いて各校正指標間のY軸方向距離を計算し、各校正指標間のY軸方向の距離が等しくなるまでrvの調整を行う。
When the adjustment of rh is completed, the calibration index
以上により、rv(=rv1),rh(=rh1),rr(=rr1)の調整が完了すれば、校正指標間距離調整完了決定部64dは取り付け角度調整完了信号DAJEDを出力する。
As described above, when adjustment of rv (= rv1), rh (= rh1), and rr (= rr1) is completed, the calibration index distance adjustment
校正指標位置調整部65は、取り付け角度調整完了信号DAJEDが発生すると、実際の校正指標中心位置(Xs,Ys)と等しくなるx1,y1を(15)式より求め、また、校正指標のサイズ(あるいは校正指標間距離)が実際の校正指標サイズ(あるいは校正指標間距離)と等しくなるようにz1を調整し、カメラ位置として出力する。その後、カメラ姿勢調整部66は、算出したカメラ角度rv1,rh1,rr1とカメラ位置x1,y1,z1を、移動前カメラ姿勢推定部24から出力する。
When the attachment angle adjustment completion signal DAJED is generated, the calibration index
このように、本実施形態の車載カメラ姿勢検出装置100では、車両を移動させる前後の画像に基づいてキャリブレーションシート200の所定位置(設計位置)からのずれ量を算出しているため、このキャリブレーションシート200のずれによる影響を取り除くことができ、カメラ10の姿勢を正確に検出することが可能となる。また、車両の移動を直線状とすることにより、移動の前後でキャリブレーションシート200を撮影した際に、キャリブレーションシート200の回転方向のずれを一定にすることができ、算出するパラメータの数を減らすことができるため、処理の簡略化が可能となる。
As described above, the in-vehicle camera
また、車両を移動させる所定距離dは、移動前カメラ姿勢推定部24と移動後カメラ姿勢推定部26によって得られた推定値に基づいて算出しているため車両の移動距離dを正確に把握することが可能となり、移動後画像に基づくカメラ姿勢推定の誤差を低減することが可能となる。
Further, since the predetermined distance d for moving the vehicle is calculated based on the estimated values obtained by the pre-movement camera
次に、車両を移動させる際に行われる直線判定とその結果の通知について説明する。図8は、車両の移動と並行して行われる直線判定の動作手順を示す流れ図である。1回目の撮影が終了して移動前画像が移動前画像格納部20に格納(図4のステップ100)された後、歪み補正部44は、この移動前画像に対して歪み補正を行う(ステップ200)。例えば、この歪み補正は、カメラ10の光軸に垂直な平面に移動前画像を投影変換することにより行われる。歪み補正後の画像は、図示しない画像格納部に格納される(後述する中間画像および移動後画像に対応する歪み補正後の画像についても同様である)。
Next, straight line determination performed when the vehicle is moved and notification of the result will be described. FIG. 8 is a flowchart showing an operation procedure of straight line determination performed in parallel with the movement of the vehicle. After the first shooting is completed and the pre-movement image is stored in the pre-movement image storage unit 20 (
次に、中間画像の撮影および中間画像格納部21への格納が行われる(ステップ202)。これらの動作は、移動前画像の撮影等と同じ手順で行われる。すなわち、車両を一旦停止させた後に利用者が操作部50を操作して中間画像の取込指示を行う。画像取込部12は、この取込指示に応じてカメラ10で撮影された画像を取り込み、画像メモリ14に格納する。また、中間画像格納部21は、画像メモリ14から画像を読み出して中間画像として格納する。また、歪み補正部44は、この中間画像に対して歪み補正を行う(ステップ204)。
Next, an intermediate image is captured and stored in the intermediate image storage unit 21 (step 202). These operations are performed in the same procedure as that for capturing a pre-movement image. That is, after the vehicle is temporarily stopped, the user operates the
また、2回目の撮影が終了して移動後画像が移動後画像格納部22に格納(図4のステップ106)された後、歪み補正部44は、この移動後画像に対して歪み補正を行う(ステップ206)。
In addition, after the second shooting is completed and the moved image is stored in the moved image storage unit 22 (
次に、直線移動判定部46は、移動前画像、中間画像、移動後画像のそれぞれに対応する複数の歪み補正後の画像に含まれるキャリブレーションシート200の対応箇所を特徴点として抽出する(ステップ208)。例えば、直線移動判定部46は、図3に示したキャリブレーションシート200に含まれる12個の校正指標としての小黒丸210の中の3つの中央(円心)を特徴点として抽出する。また、表示処理部42は、抽出した特徴点が含まれる歪み補正後の画像を表示装置40の画面に表示する(ステップ210)。
Next, the straight line
図9は、歪み補正前後の画像の表示例を示す図である。図9(A)には、移動前画像とその歪み補正後の画像が示されている。図9(B)には、中間画像とその歪み補正後の画像が示されている。図9(C)には、移動後画像とその歪み補正後の画像が示されている。ステップ210において表示される歪み補正後の画像は、移動前画像、中間画像、移動後画像のいずれに対応するものでもよいが、抽出した特徴点の表示を妨げないように考慮すると、移動後画像に対応するものが最も望ましい。車両の移動に伴って車両とキャリブレーションシート200の間に路面のスペースが生じるからである。例えば、本実施形態では、図9(C)に示す歪み補正後の画像が表示されるものとする。この表示画像には、移動前画像に含まれるキャリブレーションシート200の3つの校正指標の中心を示すマーカM1と、中間画像に含まれるキャリブレーションシート200の3つの校正指標の中心を示すマーカM2と、移動後画像に含まれるキャリブレーションシート200の3つの校正指標の中心を示すマーカM3と、同一位置に対応するマーカM1、M3を結ぶ補助線Hとが含まれている。各マーカM1、M2、M3は特徴点の位置を示すものであり、車両の移動が直線状である場合にはこれら3つのマーカM1、M2、M3は直線状に配置される。一方、車両の移動が直線状でない場合には、これら3つのマーカM1、M2、M3は直線状には配置されず、中央のマーカM2の位置が補助線Hからずれることになる。したがって、利用者(車両の運転者)は、この表示画像を見ることで、車両の移動が直線状か否かを自分で知ることができる。但し、補助線HからマーカM2がどの程度外れた場合に、車両が直線状に移動しなかったとするかは明確でない場合もあるため、本実施形態では、その判定を直線移動判定部46によって行っている。
FIG. 9 is a diagram illustrating a display example of images before and after distortion correction. FIG. 9A shows an image before movement and an image after distortion correction. FIG. 9B shows an intermediate image and an image after distortion correction. FIG. 9C shows an image after movement and an image after distortion correction. The image after distortion correction displayed in
直線移動判定部46は、車両の移動が直線状になされたか否かを判定する(ステップ212)。判定の手法自体は利用者自身が行うものと基本的に同じであり、補助線HとマーカM2との距離が所定値以下の場合に車両の移動が直線状であると判定され、基準値を超える場合には直線状ではないと判定される。直線状でない場合にはステップ212の判定で否定判断が行われ、次に、直線移動判定部46は、車両の移動が直線状でない旨の通知を行う(ステップ214)。例えば、直線移動判定部46は、表示処理部42を介して表示装置40に車両の移動のやり直しを促すメッセージを表示する。あるいは、ブザーやスピーカからブザー音やメッセージ音声を出力するようにしてもよい。この通知を受け取った車両の運転者は、車両の移動を再度実施する。なお、この場合は、移動前画像を撮影した位置に正確に車両を戻すことはできないため、図4に示す動作手順を最初から実施することになる。
The linear
このように、本実施形態の車載カメラ姿勢検出装置100では、車両の移動が直線状であるか否かを判定しているため、直線状でなかった場合に車両の移動をやりなおすことができ、カメラ姿勢の検出に含まれる誤差の拡大を未然に防ぐことができる。また、その判定に、歪み補正を行って歪みを除去した画像を用いることにより、車両の移動に連動する画像内の被写体(特徴点)の移動が直線状になるため、車両の移動が直線状になされたか否かの判定が容易となる。
Thus, in the vehicle-mounted camera
また、車両の移動の前後と中間位置に対応する特徴点としてのマーカM1〜M3とその両端を通る直線状の補助線Hが含まれる歪み補正後の画像を表示することにより、車両を移動する運転者自身が画像を見ながら車両の移動が直線状か否かを簡単に確認することができる。また、車両の移動が直線状になされなかった旨の判定がなされたときに車両の運転者に対して通知を行うことにより、カメラ姿勢の決定に関する一連の動作のやり直しを促すことができる。 Further, the vehicle is moved by displaying a distortion-corrected image including markers M1 to M3 as feature points corresponding to before and after the movement of the vehicle and an intermediate position and a linear auxiliary line H passing through both ends thereof. The driver himself / herself can easily confirm whether or not the movement of the vehicle is linear while viewing the image. Further, by notifying the vehicle driver when it is determined that the vehicle has not been moved linearly, it is possible to prompt the user to redo a series of operations related to determination of the camera posture.
なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態では、移動前画像格納部20および移動前カメラ姿勢推定部24と、移動後画像格納部22および移動後カメラ姿勢推定部26とを別々に設けたが、これらは基本的に同じ処理を行っているため、一方を省略して他方において同じ処理を繰り返し行うようにしてもよい。
In addition, this invention is not limited to the said embodiment, A various deformation | transformation implementation is possible within the range of the summary of this invention. For example, in the above-described embodiment, the pre-movement
また、上述した実施形態では、車両後方を撮影するカメラ10について説明したが、車両前方あるいは車両側方を撮影するカメラの姿勢を決定する場合にも本発明を適用することができる。
In the above-described embodiment, the
上述したように、本発明によれば、車両を移動させる前後の画像に基づいてキャリブレーションシート200の所定位置(設計位置)からのずれ量を算出しているため、このキャリブレーションシート200のずれによる影響を取り除くことができ、カメラ10の姿勢を正確に検出することが可能となる。また、車両の移動が直線状であるか否かを判定しているため、直線状でなかった場合に車両の移動をやりなおすことができ、カメラ姿勢の検出に含まれる誤差の拡大を未然に防ぐことができる。
As described above, according to the present invention, since the amount of deviation from the predetermined position (design position) of the
10 カメラ
12 画像取込部
14 画像メモリ
20 移動前画像格納部
21 中間画像格納部
22 移動後画像格納部
24 移動前カメラ姿勢推定部
26 移動後カメラ姿勢推定部
30 移動距離算出部
32 ずれ量算出部
34 カメラ姿勢決定部
40 表示装置
42 表示処理部
44 歪み補正部
46 直線移動判定部
50 操作部
100 車載カメラ姿勢検出装置
200 キャリブレーションシート
DESCRIPTION OF
Claims (6)
前記カメラで撮影された前記キャリブレーションシートの画像を移動前画像として格納する移動前画像格納手段と、
前記移動前画像格納手段に格納された移動前画像に基づいて前記カメラの姿勢を推定する第1の姿勢推定手段と、
車両を直線状に所定距離移動させた後に前記カメラで撮影された前記キャリブレーションシートの画像を移動後画像として格納する移動後画像格納手段と、
前記移動後画像格納手段に格納された移動後画像に基づいて前記カメラの姿勢を推定する第2の姿勢推定手段と、
前記第1および第2の姿勢推定手段による推定結果に基づいて前記キャリブレーションシートの所定位置からのずれ量を算出するシートずれ量算出手段と、
前記第1および第2のカメラ姿勢推定手段の少なくとも一方によって推定された姿勢推定値と、前記シートずれ量算出手段によって算出されたずれ量とに基づいて、前記カメラの姿勢を決定するカメラ姿勢決定手段と、
前記移動前画像を取得してから前記移動後画像を取得するまでの車両の移動が直線状になされたか否かを判定する直線移動判定手段と、
を備えることを特徴とする車載カメラ姿勢検出装置。 An on-vehicle camera posture detection device that photographs a plurality of calibration indices included in a calibration sheet arranged around a vehicle with a camera mounted on the vehicle, and detects the posture of the camera based on the obtained image,
A pre-movement image storage means for storing an image of the calibration sheet photographed by the camera as a pre-movement image;
First posture estimation means for estimating the posture of the camera based on the pre-movement image stored in the pre-movement image storage means;
A post-movement image storage means for storing, as a post-movement image, an image of the calibration sheet taken by the camera after moving the vehicle in a straight line a predetermined distance;
Second posture estimation means for estimating the posture of the camera based on the post-movement image stored in the post-movement image storage means;
Sheet deviation amount calculating means for calculating a deviation amount of the calibration sheet from a predetermined position based on estimation results by the first and second posture estimating means;
Camera posture determination for determining the posture of the camera based on the posture estimated value estimated by at least one of the first and second camera posture estimating means and the deviation amount calculated by the sheet deviation amount calculating means. Means,
Linear movement determination means for determining whether or not the movement of the vehicle from the acquisition of the pre-movement image to the acquisition of the post-movement image has been made linear;
A vehicle-mounted camera posture detection device comprising:
前記カメラによるレンズを通した撮影によって、中央に対して周辺が歪んだ画像が得られ、
車両の移動の前後および中間位置に対応する複数箇所において前記カメラの撮影によって得られた複数の画像に対して歪み補正を行う歪み補正手段をさらに備え、
前記直線移動判定手段は、前記歪み補正手段によって歪みが除去された後の複数の画像に基づいて、車両の移動が直線状になされたか否かを判定することを特徴とする車載カメラ姿勢検出装置。 In claim 1,
By photographing through the lens with the camera, an image with a distorted periphery with respect to the center is obtained,
Further comprising distortion correction means for performing distortion correction on a plurality of images obtained by photographing with the camera at a plurality of locations corresponding to before and after movement of the vehicle and an intermediate position;
The in-vehicle camera attitude detection device, wherein the linear movement determination unit determines whether or not the vehicle has moved linearly based on a plurality of images after the distortion is removed by the distortion correction unit. .
前記直線移動判定手段は、歪み除去後の前記複数の画像について、前記キャリブレーションシートの同一箇所に対応する特徴点を抽出し、これら複数の画像に含まれる複数の特徴点のそれぞれが直線状に配置されている場合に、車両の移動が直線状になされたものと判定することを特徴とする車載カメラ姿勢検出装置。 In claim 2,
The linear movement determination unit extracts feature points corresponding to the same part of the calibration sheet for the plurality of images after distortion removal, and each of the plurality of feature points included in the plurality of images is linear. An on-vehicle camera attitude detection device that determines that the movement of a vehicle is linear when it is arranged.
前記歪み補正手段によって歪み補正が行われた画像を、前記複数の特徴点とともに表示装置に表示する表示処理手段をさらに備えることを特徴とする車載カメラ姿勢検出装置。 In claim 3,
An in-vehicle camera attitude detection device further comprising display processing means for displaying an image on which distortion correction has been performed by the distortion correction means together with the plurality of feature points on a display device.
前記表示処理手段によって前記表示装置に表示される画像には、前記複数の特徴点の中の両端を通る直線状の補助線が含まれていることを特徴とする車載カメラ姿勢検出装置。 In claim 4,
The on-vehicle camera attitude detection device characterized in that the image displayed on the display device by the display processing means includes a linear auxiliary line passing through both ends of the plurality of feature points.
前記直線移動判定手段は、車両の移動が直線状になされなかった旨の判定を行ったときに、車両の運転者に対して通知を行うことを特徴とする車載カメラ姿勢検出装置。 In any one of Claims 1-5,
The in-vehicle camera attitude detection device characterized in that the linear movement determination means notifies the driver of the vehicle when it is determined that the vehicle has not been moved linearly.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011131337A JP2013005032A (en) | 2011-06-13 | 2011-06-13 | On-vehicle camera posture detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011131337A JP2013005032A (en) | 2011-06-13 | 2011-06-13 | On-vehicle camera posture detection device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013005032A true JP2013005032A (en) | 2013-01-07 |
Family
ID=47673180
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011131337A Withdrawn JP2013005032A (en) | 2011-06-13 | 2011-06-13 | On-vehicle camera posture detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013005032A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190140202A (en) * | 2018-06-11 | 2019-12-19 | 세메스 주식회사 | Camera posture estimation method and substrate treating apparatus |
WO2021192373A1 (en) * | 2020-03-27 | 2021-09-30 | 株式会社Jvcケンウッド | Display control device, display control method, and program |
JP2021158540A (en) * | 2020-03-27 | 2021-10-07 | 株式会社Jvcケンウッド | Display control device, display control method and program |
JP2021154887A (en) * | 2020-03-27 | 2021-10-07 | 株式会社Jvcケンウッド | Display controller, display control method and program |
US12101580B2 (en) | 2020-03-27 | 2024-09-24 | Jvckenwood Corporation | Display control apparatus, display control method, and program |
-
2011
- 2011-06-13 JP JP2011131337A patent/JP2013005032A/en not_active Withdrawn
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190140202A (en) * | 2018-06-11 | 2019-12-19 | 세메스 주식회사 | Camera posture estimation method and substrate treating apparatus |
KR102075686B1 (en) | 2018-06-11 | 2020-02-11 | 세메스 주식회사 | Camera posture estimation method and substrate treating apparatus |
WO2021192373A1 (en) * | 2020-03-27 | 2021-09-30 | 株式会社Jvcケンウッド | Display control device, display control method, and program |
JP2021158540A (en) * | 2020-03-27 | 2021-10-07 | 株式会社Jvcケンウッド | Display control device, display control method and program |
JP2021154887A (en) * | 2020-03-27 | 2021-10-07 | 株式会社Jvcケンウッド | Display controller, display control method and program |
JP7459607B2 (en) | 2020-03-27 | 2024-04-02 | 株式会社Jvcケンウッド | Display control device, display control method and program |
JP7459608B2 (en) | 2020-03-27 | 2024-04-02 | 株式会社Jvcケンウッド | Display control device, display control method and program |
US12101580B2 (en) | 2020-03-27 | 2024-09-24 | Jvckenwood Corporation | Display control apparatus, display control method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6058256B2 (en) | In-vehicle camera attitude detection apparatus and method | |
JP4803450B2 (en) | On-vehicle camera calibration device and vehicle production method using the device | |
KR101265012B1 (en) | Calibration device, method, and program for onboard camera | |
CN108805934B (en) | External parameter calibration method and device for vehicle-mounted camera | |
JP4803449B2 (en) | On-vehicle camera calibration device, calibration method, and vehicle production method using this calibration method | |
JP6354425B2 (en) | In-vehicle camera mounting attitude detection method and apparatus | |
JP4555876B2 (en) | Car camera calibration method | |
JP4861034B2 (en) | Car camera calibration system | |
JP4751939B2 (en) | Car camera calibration system | |
US20130002861A1 (en) | Camera distance measurement device | |
CN112489136B (en) | Calibration method, position determination device, electronic equipment and storage medium | |
EP2061234A1 (en) | Imaging apparatus | |
WO2015029443A1 (en) | Turning angle correction method, turning angle correction device, image-capturing device, and turning angle correction system | |
KR101583663B1 (en) | Method for generating calibration indicator of camera for vehicle | |
JP2013005032A (en) | On-vehicle camera posture detection device | |
JP5173551B2 (en) | Vehicle perimeter monitoring apparatus and camera mounting position / posture information setting correction method applied thereto | |
US20160121806A1 (en) | Method for adjusting output video of rear camera for vehicles | |
KR101926258B1 (en) | Method of automatic calibration of AVM system | |
JP2013024712A (en) | Method and system for calibrating multiple camera | |
JP2018136739A (en) | Calibration device | |
JP2008177742A (en) | Camera parameter acquisition device | |
KR102477480B1 (en) | Apparatus for calibrating for around view camera and method thereof | |
EP3543951A1 (en) | Image processing device, driving support system, and image processing method | |
CN108038888B (en) | Space calibration method and device of hybrid camera system | |
JP2013005035A (en) | On-vehicle camera posture detection device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140902 |