JP2020177381A

JP2020177381A - 深度算出システム

Info

Publication number: JP2020177381A
Application number: JP2019078316A
Authority: JP
Inventors: 伴俊浦田; Tomotoshi Urata
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 2019-04-17
Filing date: 2019-04-17
Publication date: 2020-10-29
Anticipated expiration: 2039-04-17
Also published as: JP7290454B2

Abstract

【課題】画像中の各座標に映り込んだ実空間上の位置の深度の推定値を適正な深度に補正する「深度算出システム」を提供する。【解決手段】ＣＮＮ深度推定部１２は、予め学習を行わせたＣＮＮ(Convolutional Neural Network）を用いて、カメラ１１が撮影した画像中の各座標に映り込んだ実空間上の位置の深度を推定する。校正処理部１４は、カメラ１１が撮影した画像中の形状、大きさが既知の校正用被撮影体の像を識別し、識別した像の画像中の位置から校正用被撮影体までの深度を算出し、当該識別した像の座標の深度としてＣＮＮ深度推定部１２が推定した深度を、算出した深度に補正する係数を補正係数として設定し、深度補正部１３は、設定された補正係数を用いて、ＣＮＮ深度推定部１２が推定した深度を補正する。【選択図】図１

Description

本発明は、二次元の画像から画像中の各座標に映り込んだ実空間上の位置の深度（depth／奥行き方向の距離）を推定する技術に関するものである。

二次元の画像から画像中の各座標に映り込んだ実空間上の位置の深度を推定する技術としては、画像と当該画像中の各座標に映り込んだ実空間上の位置の実際の深度を教師データとする学習を予め行わせたＣＮＮ（Convolutional Neural Network）を用いて、画像中の各座標に映り込んだ実空間上の位置の深度を推定する技術が知られている（たとえば、特許文献１、非特許文献１）

特開２０１９-１６２７５号公報

I. Laina, C. Rupprecht, V. Belagiannis, F. Tombari, and N. Navab. "Deeper depth prediction with fully convolutional residual networks." In International Conference on 3D Vision, pages 239248, 2016.

上述した学習済みのＣＮＮを用いて画像中の各座標に映り込んだ実空間上の位置の深度を推定する場合、画像を撮影するカメラのズームの有無やピッチ角等が学習時の状況と異なると、推定される深度のスケールがずれる形態の、推定精度の低化が生じてしまう問題があった。

そこで、本発明は、二次元の画像から推定された画像中の各座標に映り込んだ実空間上の位置の深度を、適正な深度を表すように補正することを課題とする

前記課題達成のために、本発明は、カメラで撮影した画像から、画像中の各座標に映り込んだ実空間上の位置の深度を算出する深度算出システムに、前記カメラが撮影した画像中の各座標に映り込んだ実空間上の位置の深度を推定する深度推定手段と、前記カメラが撮影した画像中の、形状、大きさが既知の所定の被撮影体の像を識別し、識別した像の画像中の座標から当該被撮影体までの深度を算出し、当該識別した像の画像中の座標の深度として前記深度推定手段が推定した深度を、算出した深度に補正する係数を補正係数として算定する補正係数算定手段と、前記補正係数算定手段が算定した補正係数を用いて、前記深度推定手段が推定した深度を補正する深度補正手段とを備えたものである。

ここで、このような深度算出システムは、前記深度推定手段は、画像と当該画像中の各座標に映り込んだ実空間上の位置の実際の深度を教師データとする学習を予め行わせたＣＮＮ（Convolutional Neural Network）によって、前記カメラが撮影した画像中の各座標に映り込んだ実空間上の位置の深度を推定するものであってよい。

また、このような深度算出システムは、前記補正係数算定手段において前記カメラが撮影した画像中の前記被撮影体の像上の、前記被撮影体上の直線上に並ぶ間隔が既知の３点が映り込んだ３座標を検出し、検出した３座標から、前記被撮影体上の３点の前記カメラに対する角度を求め、求めた前記被撮影体上の３点の角度と、当該３点の前記間隔と、当該３点までの深度との幾何的との幾何的な関係に従って、当該３点までの深度を算出し、前記３座標の各々について、当該座標の深度として前記深度推定手段が推定した深度を、算出した当該座標に対応する点の深度に補正する係数を求め、求めた係数の平均を前記補正係数として算定するように構成してもよい。

また、このような深度算出システムを、自動車に搭載されたシステムとし、前記カメラを、少なくとも前記自動車の前方を撮影するものしてもよい。
また、この場合には、前記被撮影体を、マンホールの蓋としてもよい。
また、この場合には、深度算出システムに、自動車に関わる状況を検出する状況検出手段と、前記補正係数算定手段が算定した補正係数を、前記深度補正手段に設定すると共に、当該算定された補正係数を前記状況検出手段が検出している状況に対応づけて記憶し、前記状況検出手段が検出している状況が変化したときに、変化後の状況に対応づけて記憶している補正係数を深度補正手段に設定する補正係数設定手段を設け、前記深度補正手段において、前記補正係数設定手段によって設定された補正係数を用いて、前記深度推定手段が推定した深度を補正するようにしてもよい。

また、前記深度推定手段を、ＣＮＮを用いて深度を推定するものとした深度算出システムには、前記カメラで撮影した画像と、当該画像に対して前記深度推定手段が推定した深度を深度補正手段が補正した深度とを教師データとして、前記深度推定手段が用いる前記ＣＮＮを学習させる学習処理手段を設けるようにしてもよい。

以上のような深度算出システムによれば、画像を撮影するカメラのズームの有無やピッチ角等の影響によって、深度推定手段によって推定される深度のスケールがずれている場合に、前記カメラが撮影した形状、大きさが既知の所定の被撮影体の像から算定した深度と、推定された深度との関係より、スケールのずれをキャンセルする補正係数を設定し、推定された深度を適正な深度を表すように補正することができる。

以上のように、本発明によれば、二次元の画像から推定された画像中の各座標に映り込んだ実空間上の位置の深度を、適正な深度を表すように補正することができる。

本発明の実施形態に係る車載システムの構成を示すブロック図である。本発明の実施形態に係るカメラの配置を示す図である。本発明の実施形態に係る補正係数算出の手順を示す図である。本発明の実施形態に係る補正係数算出の手順を示す図である。本発明の実施形態に係る深度計測システムの他の構成例を示す図である。

以下、本発明の実施形態について説明する。
図１に、本実施形態に係る車載システムの構成を示す。
車載システムは、自動車に搭載されるシステムであり、図示するように、深度計測システム１と、深度利用システム２とを備えている。
また、深度計測システム１は、カメラ１１と、ＣＮＮ深度推定部１２と、深度補正部１３と、校正処理部１４と備えている。そして、校正処理部１４は、校正用被撮影体識別部１４１と校正係数算出部１４２を備えている。

カメラ１１は、たとえば、図２ａ、ｂのように自動車の前端に配置されて、自動車の前方の路面を含む、自動車の前方のようすを撮影する。
ＣＮＮ深度推定部１２は、画像と当該画像中の各座標に映り込んだ実空間上の位置の実際の深度を教師データとする学習を予め行わせたＣＮＮ（Convolutional Neural Network）であり、カメラ１１が撮影した画像中の各座標に映り込んだ実空間上の位置の深度を推定する。

深度補正部１３は、ＣＮＮ深度推定部１２が推定したカメラ１１が撮影した画像中の各座標に映り込んだ実空間上の位置の深度を、設定された補正係数を乗じて、カメラ１１が撮影した画像中の各座標に映り込んだ実空間上の位置の深度を補正する。

校正処理部１４は、後述する校正処理動作を行って、補正係数を深度補正部１３に設定する。
そして、深度利用システム２は、深度計測システム１から出力される深度補正部１３が補正したカメラ１１が撮影した画像中の各座標に映り込んだ実空間上の位置の深度を利用した所定の処理を行う。ここで、深度利用システム２が行う深度を利用した処理は、たとえば、当該深度から、自車前方の障害物を検出して障害物の回避を支援する処理や、カメラ１１が撮影した画像中の各座標に映り込んだ実空間上の位置の深度から自車前方の他車や構造物を識別して、自動車の自動運転を行う処理等である。

以下、前述した、校正処理部１４が行う校正処理動作について説明する。
まず、校正処理動作において、校正処理部１４の校正用被撮影体識別部１４１は、カメラ１１が撮影した画像を画像認識し、画像中の校正用被撮影体の像を識別する。
校正用被撮影体は、形状と大きさが既知の物体やパターンであり、校正用被撮影体の画像認識に用いる校正用被撮影体の情報は、予め、校正用被撮影体識別部１４１に設定されている。
ここで、本実施形態では、広く普及している半径３０ｃｍの円形のマンホールの蓋を、校正用被撮影体として用いるものとする。
この場合、校正用被撮影体識別部１４１は、図３ａのように自動車の前方の路面にマンホールが存在した場合に、図３ｂに示すようにカメラ１１が撮影した画像の水平方向（左右方向）の中央に現れるマンホールの蓋３の像を検出する。
ここで、自動車の前方を撮影するカメラ１１は、撮影する画像の水平方向（左右方向）が実空間の水平方向と一致するように配置されており、マンホールの蓋は路面に水平に配置されている。
したがって、図３ｃに示すマンホールの蓋３の中心Ｐａ、マンホールの蓋３の自動車の後ろ方向側の端部Ｐｂ、マンホールの蓋３の自動車の前方向側の端部Ｐｃは、カメラの光軸を鉛直方向に路面に投影した、自動車前後方向にのびる水平な線である計測線上にあり、中心Ｐａ、端部Ｐｂ、端部Ｐｃは、画像の水平画角0°位置の垂直線（画像の中心を通る上下方向の線）上に表れる。

そして、校正用被撮影体識別部１４１は、マンホールの蓋３の中心Ｐａが表れる画像中の位置までの画像下端からの距離Ｄａ、図３ｃに示すマンホールの蓋３の自動車の後ろ方向側の端部Ｐｂが表れる画像中の位置までの画像下端からの距離Ｄｂ、図３ｃに示すマンホールの蓋３の自動車の前方向側の端部Ｐｃが表れる画像中の位置までの画像下端からの距離Ｄｃを算定する。そして、算定した距離Ｄａ、距離Ｄｂ、距離Ｄｃと、検出したマンホールの蓋３の中心Ｐａが表れる画像中の位置、マンホールの蓋３の自動車後ろ方向側の端部Ｐｂが表れる画像中の位置、マンホールの蓋３の自動車前方向側の端部Ｐｃが表れる画像中の位置を校正係数算出部１４２に通知する。

次に、校正処理動作において、校正係数算出部１４２は、校正用被撮影体識別部１４１が算定した、距離Ｄａ、距離Ｄｂ、距離Ｄｃから、図４に示すカメラ１１の位置ｏとマンホールの蓋３の中心Ｐａを結ぶ線分Ａと、カメラ１１の位置ｏとマンホールの蓋３の自動車後ろ方向側の端部Ｐｂを結ぶ線分Ｂとの角度θ１と、線分ａとマンホールの蓋３の自動車の前向側の端部Ｐｃを結ぶ線分Ｃとの角度θ２とを算定する。ここで、距離Ｄａ、距離Ｄｂ、距離Ｄｃが求まれば、カメラ１１の撮影画像のサイズや画角等の特性に従って、マンホールの蓋３の中心Ｐａ、マンホールの蓋３の自動車の後ろ方向側の端部Ｐｂ、マンホールの蓋３の自動車の前方向側の端部Ｐｃのカメラ１１に対する角度は一義的に定まる。

次に、校正係数算出部１４２は、線分Ａの長さａ、線分Ｂの長さｂ、線分Ｃの長さｃを以下のように算定する。
すなわち、ｒが校正用被撮影体識とした円形のマンホールの蓋３の半径を表し、ａが線分Ａの長さを表し、ｂが線分Ｂの長さを表し、ｃが線分Ｃの長さを表すものとして、余弦定理から、
r²=a²+b²-2ab×cosθ1...式１
r²=a²+c²-2ac×cosθ2...式２
(2r)²=b²+ｃ²-2bc×cos(θ1+θ2)...式３
となり、
また、図４に示すように線分Ａと、Ｐｃ、Ｐａ、Ｐｂを通る直線との角度をθ３とすれば、正弦定理から、
r/sinθ1=b/sinθ3...式４
r/sinθ2=c/sin(180-θ3)=c/sinθ3...式５
となり、cosθ1=A1、cosθ2=A2、cos(θ1+θ2)=A3、r/sinθ1=A4、r/sinθ2=A5とおくと、
r²=a²+b²-2ab×A1...式１’
r²=a²+c²-2ac×A2...式２’
(2r)²=b²+ｃ²-2bc×A3...式３’
A4=b/sinθ3...式４’
A5=c/sinθ3...式５’
となり、式４’と式５’から、
c=b×A5/A4となるので、A5/A4をA6とおくと、
c=b×A6...式６
となる。

そして、式６と式３’から、
4r²=b²+(b×A6)²-2b(b×A6)×A3となるので、
4r²=b²(1+A6²-2×A6×A3)
b²=4r²/(1+A6²-2×A6×A3)
b={4r²/(1+A6²-2×A6×A3)}^1/2....式７
となる。

ここで、rの値は定数であり、θ1、θ2の値は確定しているので、A1からA6の値も一義的に求めることができる。
そこで、校正係数算出部１４２は、式７に従ってｂの値を求める。
また、校正係数算出部１４２は、求めたｂと式６より、c=b×A6によりｃの値を求める。
また、式１’より、
a²-(2b×A1)a+(b²-r²)=0...式８
となるので、校正係数算出部１４２は、求めたｂを用いて、
式８を、aについての2次方程式として解を算出し、ａの値を求める。

次に、校正係数算出部１４２は、校正用被撮影体識別部１４１から通知された検出したマンホールの蓋３の中心Ｐａが表れる画像中の位置に対して、ＣＮＮ深度推定部１２が推定した深度をＰａの深度として用いて、カメラ１１の位置ｏとマンホールの蓋３の中心Ｐａを結ぶ線分ａの推定長さａ’を算定する。また、校正用被撮影体識別部１４１から通知された検出したマンホールの蓋３の自動車後ろ方向側の端部Ｐｂが表れる画像中の位置に対して、ＣＮＮ深度推定部１２が推定した深度をＰｂの深度として用いて、カメラ１１の位置ｏとマンホールの蓋３の自動車後ろ方向側の端部Ｐｂを結ぶ線分ｂの推定長さｂ’を算定する。また、校正用被撮影体識別部１４１から通知された検出したマンホールの蓋３の自動車前方向側の端部Ｐｃが表れる画像中の位置に対して、ＣＮＮ深度推定部１２が推定した深度をＰｃの深度として用いて、カメラ１１の位置ｏとマンホールの蓋３の自動車前方向側の端部Ｐｃを結ぶ線分ｃの推定長さｃ’を算定する。

そして、校正係数算出部１４２は、補正係数を、
補正係数＝｛（ａ／ａ’）＋（ｂ／ｂ’）＋（ｃ／ｃ’）｝／３
によって算定し、深度補正部１３に設定する。

以上、校正処理部１４の校正処理動作について説明した。
ここで、このような校正処理部１４の校正処理動作は、オペレータから校正処理の実行を指示されたときにのみ行うようにしてもよいし、自動車の走行中に継続的に行うようにしてもよい。

また、校正処理部１４の校正処理動作は、オペレータから校正処理の実行を指示されたときにのみ行うようにする場合には、校正用被撮影体として、マンホールの蓋３などの道路上にある物体を用いる必要はなく、校正用に用意した形状、大きさが既知の任意のマーカを路面に設置して行うようにしてよい。

以上、本発明の実施形態について説明した。
ここで、以上の実施形態は、校正処理部１４の校正処理動作を継続的に行う場合には、図５に示すように、深度計測システム１に、自動車の周辺状況や走行状況などの自動車に関わる状況を検出する状況検出部１５と、補正係数設定部１６とを設け、補正係数設定部１６において、校正処理部１４の校正処理動作が行われたときに算定された補正係数を深度補正部１３に設定すると共に、算定された補正係数を状況検出部１５が検出している状況に対応づけて記憶し、状況検出部１５が検出している状況が変化したときに、変化後の状況に対応づけて記憶している補正係数を深度補正部１３に設定するようにしてもよい。

なお、自動車の周辺状況としては、雨、晴れ、曇り、夜、昼などの周辺環境の状況等を用いることができ、自動車の走行状況としては、自動車の車速、高速道路や一般道といった自動車が走行している道路の種類などを用いることができる。

また、以上の実施形態は、校正処理部１４の校正処理動作を継続的に行う場合には、図５に示すように、深度計測システム１に、カメラ１１で撮影した画像と、当該画像に対してＣＮＮ深度推定部１２が推定した深度を深度補正部１３が補正した深度とを教師データとして、ＣＮＮ深度推定部１２のＣＮＮを学習させる学習処理部１７を設けるようにしてもよい。

以上のように、本実施形態によれば、画像を撮影するカメラ１１のズームの有無やピッチ角等の影響によって、ＣＮＮ深度推定部１２によって推定される深度のスケールがずれている場合に、前記カメラ１１が撮影した形状、大きさが既知の所定の校正用被撮影体の像から算定した深度と、推定された深度との関係より、スケールのずれをキャンセルする補正係数を設定し、推定された深度を適正な深度を表すように補正することができる。

１…深度計測システム、２…深度利用システム、３…蓋、１１…カメラ、１２…ＣＮＮ深度推定部、１３…深度補正部、１４…校正処理部、１５…状況検出部、１６…補正係数設定部、１７…学習処理部、１４１…校正用被撮影体識別部、１４２…校正係数算出部。

Claims

カメラで撮影した画像から、画像中の各座標に映り込んだ実空間上の位置の深度を算出する深度算出システムであって、
前記カメラが撮影した画像中の各座標に映り込んだ実空間上の位置の深度を推定する深度推定手段と、
前記カメラが撮影した画像中の、形状、大きさが既知の所定の被撮影体の像を識別し、識別した像の画像中の座標から当該被撮影体までの深度を算出し、当該識別した像の画像中の座標の深度として前記深度推定手段が推定した深度を、算出した深度に補正する係数を補正係数として算定する補正係数算定手段と、
前記補正係数算定手段が算定した補正係数を用いて、前記深度推定手段が推定した深度を補正する深度補正手段とを有することを特徴とする深度算出システム。
請求項１記載の深度算出システムであって、
前記深度推定手段は、画像と当該画像中の各座標に映り込んだ実空間上の位置の実際の深度を教師データとする学習を予め行わせたＣＮＮ（Convolutional Neural Network）によって、前記カメラが撮影した画像中の各座標に映り込んだ実空間上の位置の深度を推定することを特徴とする深度算出システム。
請求項１または２記載の深度算出システムであって、
前記補正係数算定手段は、
前記カメラが撮影した画像中の前記被撮影体の像上の、前記被撮影体上の直線上に並ぶ間隔が既知の３点が映り込んだ３座標を検出し、検出した３座標から、前記被撮影体上の３点の前記カメラに対する角度を求め、求めた前記被撮影体上の３点の角度と、当該３点の前記間隔と、当該３点までの深度との幾何的な関係に従って、当該３点までの深度を算出し、
前記３座標の各々について、当該座標の深度として前記深度推定手段が推定した深度を、算出した当該座標に対応する点の深度に補正する係数を求め、求めた係数の平均を前記補正係数として算定することを特徴とする深度算出システム。
請求項１、２または３記載の深度算出システムであって、
当該深度算出システムは、自動車に搭載されており、
前記カメラは、少なくとも前記自動車の前方を撮影することを特徴とする深度算出システム。
請求項４記載の深度算出システムであって、
前記被撮影体は、マンホールの蓋であることを特徴とする深度算出システム。
請求項４記載の深度算出システムであって、
自動車に関わる状況を検出する状況検出手段と、
前記補正係数算定手段が算定した補正係数を、前記深度補正手段に設定すると共に、当該算定された補正係数を前記状況検出手段が検出している状況に対応づけて記憶し、前記状況検出手段が検出している状況が変化したときに、変化後の状況に対応づけて記憶している補正係数を深度補正手段に設定する補正係数設定手段を有し、
前記深度補正手段は、前記補正係数設定手段によって設定された補正係数を用いて、前記深度推定手段が推定した深度を補正することを特徴とする深度算出システム。
請求項２記載の深度算出システムであって、
前記カメラで撮影した画像と、当該画像に対して前記深度推定手段が推定した深度を深度補正手段が補正した深度とを教師データとして、前記深度推定手段が用いる前記ＣＮＮを学習させる学習処理手段を有することを特徴とする深度算出システム。