JP2023113189A - ずれ量検出方法、ずれ量検出装置及びドライバモニタリングシステム - Google Patents

Abstract

【課題】環境光の状態変化に伴うずれ量の算出精度の劣化を抑えることができるようにする。【解決手段】照明装置１０が、車両の外部から車両内に入ってくる光である環境光の影響を抑制するための光を車両の構造物２に照射する工程と、撮像装置１が、照明装置１０によって光が照射されている構造物２を撮影する工程と、ずれ量検出装置３が、撮像装置１により撮像された構造物２の画像に基づいて、撮像装置１の設置位置と、撮像装置１の正しい設置位置とのずれ量を算出する工程とを備えるように、ずれ量検出方法を構成した。【選択図】図１

Description

本開示は、ずれ量検出方法、ずれ量検出装置及びドライバモニタリングシステムに関するものである。

ドライバモニタリングシステムを実装している車両には、乗員を撮影するカメラが取り付けられる。カメラの取付作業者による作業ミス等によって、カメラの設置位置が正しい設置位置からずれてしまうことがある。カメラの正しい設置位置は、例えば、設計値が示す設置位置である。カメラの設置位置が正しい設置位置からずれることで、例えば、カメラにより撮影された画像に映っている乗員が不鮮明になり、その結果として、ドライバモニタリングシステムの監視精度が劣化することがある。

車両に取り付けられた車載カメラの設置位置と、当該車載カメラの正しい設置位置とのずれ量を検出するずれ量検出装置がある（特許文献１を参照）。当該ずれ量検出装置では、電子制御ユニットが、車載カメラにより撮影された画像に映っている物体の特徴点を抽出し、特徴点からずれ量を算出している。物体としては、例えば、窓枠、車両シート、又は、ヘッドレストがある。

特開２０１０－１８１２０９号公報

車両の外部から車両内に入ってくる光である環境光の状態が変化することで、カメラにより撮影される画像に映っている物体の色、物体の輝度、又は、物体の影等に変化が生じることがある。物体の色等に変化が生じることで、物体の形状の見え方に変化が生じることがある。
特許文献１に開示されているずれ量検出装置では、環境光の状態変化に伴って、画像に映っている物体の形状の見え方に変化が生じることで、電子制御ユニットによる物体の特徴点の抽出精度が劣化することがある。特徴点の抽出精度の劣化に伴って、電子制御ユニットによるずれ量の算出精度が劣化してしまうことがあるという課題があった。

本開示は、上記のような課題を解決するためになされたもので、環境光の状態変化に伴うずれ量の算出精度の劣化を抑えることができるずれ量検出方法及びずれ量検出装置を得ることを目的とする。

本開示に係るずれ量検出方法は、照明装置が、車両の外部から車両内に入ってくる光である環境光の影響を抑制するための光を前記車両の構造物に照射する工程と、撮像装置が、照明装置によって光が照射されている構造物を撮影する工程と、ずれ量検出装置が、撮像装置により撮像された構造物の画像に基づいて、撮像装置の設置位置と、撮像装置の正しい設置位置とのずれ量を算出する工程とを備えるものである。

本開示によれば、環境光の状態変化に伴うずれ量の算出精度の劣化を抑えることができる。

実施の形態１に係るずれ量検出装置３及びドライバモニタリングシステム４を示す構成図である。 実施の形態１に係るずれ量検出装置３のハードウェアを示すハードウェア構成図である。 実施の形態１に係るドライバモニタリングシステム４のハードウェアを示すハードウェア構成図である。 ずれ量検出装置３の照明装置１０以外の構成要素が、ソフトウェア又はファームウェア等によって実現される場合のコンピュータのハードウェア構成図である。 図５Ａは、撮像装置１の設置位置が正しい設置位置であるときの撮像画像を示す説明図、図５Ｂは、撮像装置１が車高方向に角度が付いている状態で設置されているときの撮像画像を示す説明図である。 図６Ａは、撮像装置１の設置位置が正しい設置位置であるときの撮像画像を示す説明図、図６Ｂは、撮像装置１が車幅方向に角度が付いている状態で設置されているときの撮像画像を示す説明図である。 図７Ａは、撮像装置１の設置位置が正しい設置位置であるときの撮像画像を示す説明図、図７Ｂは、撮像装置１がＸ－Ｙ平面内で回転している状態で設置されているときの撮像画像を示す説明図である。 実施の形態１に係るずれ量検出方法を示すフローチャートである。 撮像画像ＧＰの一例を示す説明図である。 図１０Ａは、構造物２である窓枠ａと触れる位置に発光面が設置されている光源１０ａを示す説明図、図１０Ｂは、構造物２である窓枠ａから離れている位置に発光面が設置されている光源１０ａを示す説明図である。 図１１Ａは、環境光に伴う物体の影等が窓枠ａの内側に入り込んでいる状態を示す説明図、図１１Ｂは、環境光に伴う物体の影等が映り込んでいる撮像画像ＧＰを示す説明図である。 図１２Ａは、照明装置１０によって、環境光に伴う物体の影等の窓枠ａの内側への入り込みが防止されている状態を示す説明図、図１２Ｂは、環境光に伴う物体の影等が映り込んでいない撮像画像ＧＰを示す説明図である。 照射面に模様が生じる光の一例を示す説明図である。 光源１０ａからの光が点滅している例を示す説明図である。 実施の形態２に係るずれ量検出装置３及びドライバモニタリングシステム４を示す構成図である。 図１６Ａは、構造物２である窓枠ａと触れる位置に反射面が設置されている反射板１０ｃを示す説明図、図１６Ｂは、構造物２である窓枠ａから離れている位置に反射面が設置されている反射板１０ｃを示す説明図である。 実施の形態３に係るずれ量検出装置３及びドライバモニタリングシステム４を示す構成図である。 実施の形態３に係るずれ量検出装置３のハードウェアを示すハードウェア構成図である。 照明装置６０の発光点６０ａ，６０ｂ，６０ｃが窓枠ａの内側に取り付けられている例を示す説明図である。 実施の形態３に係るずれ量検出方法を示すフローチャートである。

以下、本開示をより詳細に説明するために、本開示を実施するための形態について、添付の図面に従って説明する。

実施の形態１．
図１は、実施の形態１に係るずれ量検出装置３及びドライバモニタリングシステム４を示す構成図である。
図２は、実施の形態１に係るずれ量検出装置３のハードウェアを示すハードウェア構成図である。
図３は、実施の形態１に係るドライバモニタリングシステム４のハードウェアを示すハードウェア構成図である。

図１において、撮像装置１は、例えば、車両のセンターコンソール、ハンドルコラム、Ａピラー、ルームミラー、ダッシュボード、インストルメントパネル、又は、天井に設置される。
撮像装置１は、車両内の構造物２あるいは車両の運転者等を撮影するカメラである。当該カメラは、例えば、可視光カメラであってもよいし、赤外線カメラであってもよい。
撮像装置１は、構造物２を撮影した画像である撮像画像をずれ量検出装置３に出力し、車両の運転者等を撮影した画像である撮像画像をドライバモニタリングシステム４に出力する。
撮像装置１からずれ量検出装置３に出力される撮像画像は、ずれ量検出装置３が、撮像装置１の設置位置と正しい設置位置とのずれ量を検出する際に用いる画像である。このため、当該撮像画像は、例えば、撮像装置１が車両に取り付けられた際に、撮像装置１により撮影された画像である。
撮像装置１からドライバモニタリングシステム４に出力される撮像画像は、ドライバモニタリングシステム４が、運転者のわき見運転等を検出する際に用いる画像である。このため、当該撮像画像は、例えば、運転者が車両を運転しているときに、撮像装置１により撮影された画像である。

構造物２は、例えば、車両の窓枠、アシストグリップ、ヘッドレスト、Ｂピラー、ドアフレーム、ショルダーアンカー、又は、サンバイザーである。
実施の形態１では、撮像装置１の撮像画像がドライバモニタリングシステム４で使用されるため、例えば、車両の運転者が運転席に着座しているときに運転者の顔が映り、運転者が運転席に着座していないときに構造物２が映るように、撮像装置１が設置されている必要がある。撮像装置１の撮像画像がドライバモニタリングシステム４で使用されない場合には、運転者の顔が映るように、撮像装置１が設置されている必要はない。

ずれ量検出装置３は、撮像装置１の設置位置と、撮像装置１の正しい設置位置とのずれ量を検出する。撮像装置１の正しい設置位置は、例えば、設計値が示す設置位置である。
ずれ量検出装置３は、ずれ量をドライバモニタリングシステム４に出力する。

ドライバモニタリングシステム４は、撮像装置１から撮像画像を取得し、ずれ量検出装置３からずれ量を取得する。
ドライバモニタリングシステム４は、ずれ量と撮像画像とに基づいて、車両の乗員の状態を監視する。乗員の状態としては、例えば、運転者のわき見運転、又は、運転者の居眠り運転がある。
ドライバモニタリングシステム４は、例えば、運転者のわき見運転、又は、運転者の居眠り運転を検出すれば、運転者に対する警告を示す警告情報を車両の電子制御ユニット等に出力する。

実施の形態１では、ドライバモニタリングシステム４が、運転者のわき見運転、又は、運転者の居眠り運転等を検出する例を説明する。しかし、ドライバモニタリングシステム４は、運転者のわき見運転等を検出するものに限るものではなく、例えば、運転者以外の車両の乗員の様子を検出するものであってもよい。この場合、撮像装置１によって、車両の乗員が撮影される。

ずれ量検出装置３は、照明装置１０、位置検出部１１及びずれ量算出部１２を備えている。
照明装置１０は、車両の外部に設置される。
照明装置１０は、車両の外部から車両内に入ってくる光である環境光の影響を抑制するための光を構造物２に照射する光源１０ａを備えている。
光源１０ａは、面光源である。面光源としては、例えば、白色光を発するディスプレイ、又は、赤外光を発するディスプレイがある。
図１に示すずれ量検出装置３では、光源１０ａの発光面の明るさが、均一であるものとする。明るさが均一とは、例えば、面光源の発光面における輝度計測値の最大値と輝度計測値の最小値との差が±１０％以内であることを意味する。
図１に示すずれ量検出装置３では、光源１０ａが面光源である。しかし、これは一例に過ぎず、例えば、光源１０ａが点光源であってもよい。
図１に示すずれ量検出装置３は、照明装置１０を備えている。しかし、これは一例に過ぎず、照明装置１０は、ずれ量検出装置３の外部に設けられているものであってもよい。

位置検出部１１は、例えば、図２に示す位置検出回路２１によって実現される。
位置検出部１１は、撮像装置１により撮像された構造物２の画像を取得する。
位置検出部１１は、構造物２の画像上の位置である構造物画像位置を検出し、構造物画像位置を示す構造物画像位置情報をずれ量算出部１２に出力する。

ずれ量算出部１２は、例えば、図２に示すずれ量算出回路２２によって実現される。
ずれ量算出部１２は、位置検出部１１から、構造物画像位置情報を取得する。また、ずれ量算出部１２は、外部から、撮像装置１の設置位置が正しい設置位置であるときの、構造物の画像上の正しい位置である基準画像位置を示す基準画像位置情報を取得する。
ずれ量算出部１２は、基準画像位置情報が示す基準画像位置と、構造物画像位置情報が示す構造物画像位置とに基づいて、撮像装置１の設置位置と正しい設置位置とのずれ量を算出する。
ずれ量算出部１２は、算出したずれ量をドライバモニタリングシステム４に出力する。

ドライバモニタリングシステム４は、センシング部３１及び警告出力部３２を備えている。
センシング部３１は、例えば、図３に示すセンシング回路４１によって実現される。
センシング部３１は、撮像装置１から撮像画像を取得し、ずれ量検出装置３のずれ量算出部１２からずれ量を取得する。
センシング部３１は、ずれ量と撮像画像とに基づいて、車両の乗員の状態を監視する。
センシング部３１は、乗員の状態を監視することで、例えば、運転者のわき見運転、又は、運転者の居眠り運転を検出する。

警告出力部３２は、例えば、図３に示す警告出力回路４２によって実現される。
警告出力部３２は、センシング部３１によって、例えば、運転者のわき見運転、又は、運転者の居眠り運転が検出されれば、運転者に対する警告を示す警告情報を車両の電子制御ユニット等に出力する。

図１では、ずれ量検出装置３の照明装置１０以外の構成要素である位置検出部１１及びずれ量算出部１２のそれぞれが、図２に示すような専用のハードウェアによって実現されるものを想定している。即ち、ずれ量検出装置３の一部が、位置検出回路２１及びずれ量算出回路２２によって実現されるものを想定している。
位置検出回路２１及びずれ量算出回路２２のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又は、これらを組み合わせたものが該当する。

ずれ量検出装置３の照明装置１０以外の構成要素は、専用のハードウェアによって実現されるものに限るものではなく、照明装置１０以外の構成要素が、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現されるものであってもよい。
ソフトウェア又はファームウェアは、プログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、あるいは、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）が該当する。

図４は、ずれ量検出装置３の照明装置１０以外の構成要素が、ソフトウェア又はファームウェア等によって実現される場合のコンピュータのハードウェア構成図である。
ずれ量検出装置３の照明装置１０以外の構成要素が、ソフトウェア又はファームウェア等によって実現される場合、位置検出部１１及びずれ量算出部１２におけるそれぞれの処理手順をコンピュータに実行させるためのプログラムがメモリ５１に格納される。そして、コンピュータのプロセッサ５２がメモリ５１に格納されているプログラムを実行する。

また、図２では、ずれ量検出装置３の照明装置１０以外の構成要素のそれぞれが専用のハードウェアによって実現される例を示し、図４では、ずれ量検出装置３の照明装置１０以外の構成要素がソフトウェア又はファームウェア等によって実現される例を示している。しかし、これは一例に過ぎず、ずれ量検出装置３における一部の構成要素が専用のハードウェアによって実現され、残りの構成要素がソフトウェア又はファームウェア等によって実現されるものであってもよい。

図５Ａは、撮像装置１の設置位置が正しい設置位置であるときの撮像画像を示す説明図であり、図５Ｂは、撮像装置１が車高方向に角度が付いている状態で設置されているときの撮像画像を示す説明図である。
図５Ａ及び図５Ｂにおいて、Ｘ軸は、車幅方向と平行な方向であり、Ｙ軸は、車高方向と平行な方向であり、Ｚ軸は、車両の前後方向と平行な方向である。
図５Ａ及び図５Ｂにおけるそれぞれの撮像画像には運転者の顔が映っている。撮像装置１の設置位置が正しい設置位置であれば、撮像画像において、運転者の顔が正しい位置に映される。図５Ａの例では、正しい位置は、撮像画像のほぼ中心であり、運転者の顔が撮像画像のほぼ中心に映っている。
撮像装置１が車高方向に角度が付いている状態で設置されていれば、図５Ｂに示すように、撮像画像において、運転者の顔が、正しい位置から車高方向にずれた位置に映る。
車高方向に付いている角度が大きければ、運転者の顔が、上方向、もしくは、下方向を向いているように見え、その結果として、ドライバモニタリングシステム４が、運転者のわき見運転等を検出することが困難になることがある。

図６Ａは、撮像装置１の設置位置が正しい設置位置であるときの撮像画像を示す説明図であり、図６Ｂは、撮像装置１が車幅方向に角度が付いている状態で設置されているときの撮像画像を示す説明図である。
図６Ａ及び図６Ｂにおいて、Ｘ軸、Ｙ軸及びＺ軸のそれぞれは、図５Ａ及び図５Ｂと同様である。
図６Ａ及び図６Ｂにおけるそれぞれの撮像画像には運転者の顔が映っている。撮像装置１の設置位置が正しい設置位置であれば、撮像画像において、運転者の顔が正しい位置に映される。図６Ａの例では、正しい位置は、撮像画像のほぼ中心であり、運転者の顔が撮像画像のほぼ中心に映っている。
撮像装置１が車幅方向に角度が付いている状態で設置されていれば、図６Ｂに示すように、撮像画像において、運転者の顔が、正しい位置から車幅方向にずれた位置に映る。
車幅方向に付いている角度が大きければ、運転者の顔が、左方向、もしくは、右方向を向いているように見え、その結果として、ドライバモニタリングシステム４が、運転者のわき見運転等を検出することが困難になることがある。

図７Ａは、撮像装置１の設置位置が正しい設置位置であるときの撮像画像を示す説明図であり、図７Ｂは、撮像装置１がＸ－Ｙ平面内で回転している状態で設置されているときの撮像画像を示す説明図である。
図７Ａ及び図７Ｂにおいて、Ｘ軸、Ｙ軸及びＺ軸のそれぞれは、図５Ａ及び図５Ｂと同様である。
図７Ａ及び図７Ｂにおけるそれぞれの撮像画像には運転者の顔が映っている。撮像装置１の設置位置が正しい設置位置であれば、撮像画像において、運転者の顔が正しい位置に、回転が無い状態で映される。図７Ａの例では、正しい位置は、撮像画像のほぼ中心であり、運転者の顔が、撮像画像のほぼ中心に、回転が無い状態で映っている。回転が無い状態とは、運転者の左目と右目とを結ぶ線が、Ｘ軸と概ね平行になるように、運転者の顔が映っている状態である。
撮像装置１がＸ－Ｙ平面内で回転している状態で設置されていれば、図７Ｂに示すように、撮像画像において、運転者の顔が、回転した状態で映る。
回転の角度が大きければ、運転者の顔が、上方向、下方向、左方向、右方向、もしくは、それらの方向を複合した方向を向いているように見え、その結果として、ドライバモニタリングシステム４が、運転者のわき見運転等を検出することが困難になることがある。

図８は、実施の形態１に係るずれ量検出方法を示すフローチャートである。
例えば、撮像装置１の取付作業者は、車両内に撮像装置１を設置する（図８のステップＳＴ１）。
ここでは、取付作業者が、車両内に撮像装置１を設置している。しかしながら、車両内に撮像装置１が既に設置されている状況下では、取付作業者が、車両内に撮像装置１を設置する必要はない。
次に、取付作業者は、車両の外部に照明装置１０を設置する（図８のステップＳＴ２）。
ここでは、取付作業者が、車両の外部に照明装置１０を設置している。しかしながら、車両の外部に照明装置１０が既に設置されている状況下では、取付作業者が、車両の外部に照明装置１０を設置する必要はない。

次に、取付作業者は、照明装置１０を操作する。
取付作業者が、照明装置１０を操作することで、照明装置１０が、車両の外部から車両内に入ってくる光である環境光の影響を抑制するための光を構造物２に照射する（図８のステップＳＴ３）。
環境光の影響を抑制するための光とは、環境光の影響を抑制することが可能な輝度を有する光を意味する。
次に、取付作業者は、撮像装置１を操作する。
取付作業者が、撮像装置１を操作することで、撮像装置１が、照明装置１０によって光が照射されている構造物２を撮影する（図８のステップＳＴ４）。
ずれ量検出装置３は、撮像装置１により撮像された構造物２の画像に基づいて、撮像装置１の設置位置と、撮像装置１の正しい設置位置とのずれ量を算出する。

次に、図１に示すずれ量検出装置３及びドライバモニタリングシステム４の動作について説明する。
撮像装置１は、上記の通り、照明装置１０によって構造物２に光が照射されているときに、車両内の構造物２を撮影し、構造物２を撮影した画像である撮像画像ＧＰをずれ量検出装置３に出力する。
図９は、撮像画像ＧＰの一例を示す説明図である。図９に示す撮像画像ＧＰは、例えば、ダッシュボードに設置されている撮像装置１の撮像画像であり、撮像画像ＧＰには、構造物２として、車両の窓枠ａ、アシストグリップｂ、ヘッドレストｃ、サンバイザーｄ、Ｂピラーｅ、ドアフレームｆ、ショルダーアンカーｇ等が映っている。
撮像装置１からずれ量検出装置３に出力される撮像画像ＧＰは、基本的には、運転者が運転席に着座していないときに撮影された画像である。ただし、運転者が運転席に着座していても、運転者が構造物２を遮らないように着座していれば、撮像画像ＧＰは、運転者が運転席に着座しているときに撮影された画像であってもよい。

位置検出部１１は、撮像装置１から、撮像画像ＧＰを取得する（図８のステップＳＴ５）。
位置検出部１１は、撮像画像ＧＰから、構造物２の画像上の位置である構造物画像位置を検出する（図８のステップＳＴ６）。
位置検出部１１は、構造物画像位置を示す構造物画像位置情報をずれ量算出部１２に出力する。

以下、位置検出部１１による構造物画像位置の検出処理を具体的に説明する。
位置検出部１１は、外部から、撮像装置１の設置位置が正しい設置位置であるときの、構造物２の画像上の正しい位置である基準画像位置を示す基準画像位置情報と、基準画像Ｇ_ＲＥＦとを取得する。基準画像Ｇ_ＲＥＦは、撮像装置１の設置位置が正しい設置位置であるときの画像である。
実施の形態１では、基準画像位置情報及び基準画像Ｇ_ＲＥＦのそれぞれが、ずれ量検出装置３の外部から与えられている。しかし、これは一例に過ぎず、基準画像位置情報及び基準画像Ｇ_ＲＥＦのそれぞれが、位置検出部１１の内部メモリに格納されているものであってもよい。
ここでは、位置検出部１１がテンプレートマッチングを実施することで、構造物画像位置を検出する例を説明する。
テンプレートマッチングでは、例えば、以下の式（１）に示すＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）が用いられる。

式（１）において、Ｉ（ｘ，ｙ）は、撮像画像ＧＰの画素値、Ｔ（ｘ，ｙ）は、基準画像Ｇ_ＲＥＦの画素値である。（ｘ，ｙ）は、基準画像位置情報が示す基準画像位置である。
ｗは、基準画像Ｇ_ＲＥＦの幅、ｈは、基準画像Ｇ_ＲＥＦの高さである。幅ｗ及び高さｈのそれぞれは、既値である。
ｄ_ｘは、撮像画像ＧＰにおけるｘ座標の走査位置、ｄ_ｙは、撮像画像ＧＰにおけるｙ座標の走査位置である。

まず、位置検出部１１は、撮像画像ＧＰの走査位置が（ｄ_ｘ，ｄ_ｙ）であるとして、式（１）に示すＳＡＤ（ｄ_ｘ，ｄ_ｙ）を算出する。
位置検出部１１は、基準画像Ｇ_ＲＥＦを回転させ、あるいは、走査位置（ｄ_ｘ，ｄ_ｙ）を変更することで、ＳＡＤ（ｄ_ｘ，ｄ_ｙ）を繰り返し算出する。
次に、位置検出部１１は、繰り返し算出した複数のＳＡＤ（ｄ_ｘ，ｄ_ｙ）の中で、最小のＳＡＤ（ｄ_ｘ，ｄ_ｙ）を特定する。
位置検出部１１は、最小のＳＡＤ（ｄ_ｘ，ｄ_ｙ）における走査位置（ｄ_ｘ，ｄ_ｙ）が、撮像画像ＧＰの位置である構造物画像位置として、構造物画像位置を示す構造物画像位置情報をずれ量算出部１２に出力する。
また、位置検出部１１は、最小のＳＡＤ（ｄ_ｘ，ｄ_ｙ）が算出されたときの基準画像Ｇ_ＲＥＦの回転量を、撮像装置１の回転方向のずれ量Δφ_ｒｏｌｌとしてずれ量算出部１２に出力する。

ずれ量算出部１２は、位置検出部１１から、構造物画像位置情報及び回転方向のずれ量Δφ_ｒｏｌｌのそれぞれを取得する。
また、ずれ量算出部１２は、外部から、基準画像位置情報及び基準画像Ｇ_ＲＥＦのそれぞれを取得する。
実施の形態１では、基準画像位置情報及び基準画像Ｇ_ＲＥＦのそれぞれが、ずれ量検出装置３の外部から与えられている。しかし、これは一例に過ぎず、基準画像位置情報及び基準画像Ｇ_ＲＥＦのそれぞれが、ずれ量算出部１２の内部メモリに格納されているものであってもよい。

ずれ量算出部１２は、基準画像位置情報が示す基準画像位置と、構造物画像位置情報が示す構造物画像位置とが一致するように、基準画像Ｇ_ＲＥＦを、水平移動、垂直移動、又は、回転させる。
即ち、ずれ量算出部１２は、回転方向のずれ量Δφ_ｒｏｌｌだけ、基準画像Ｇ_ＲＥＦを回転させる。
また、ずれ量算出部１２は、基準画像位置（ｘ，ｙ）と、最小のＳＡＤ（ｄ_ｘ，ｄ_ｙ）における走査位置（ｄ_ｘ，ｄ_ｙ）とが一致するように、基準画像Ｇ_ＲＥＦを、水平移動、又は、垂直移動させる。
ずれ量算出部１２は、基準画像位置と構造物画像位置とが一致したときの、基準画像Ｇ_ＲＥＦの水平移動量Δｄ_ｘ（＝ｘ－ｄ_ｘ）及び基準画像Ｇ_ＲＥＦの垂直移動量Δｄ_ｙ（＝ｙ－ｄ_ｙ）のそれぞれを算出する。

ずれ量算出部１２は、基準画像Ｇ_ＲＥＦの水平移動量Δｄ_ｘから、以下の式（２）に示すように、撮像装置１の設置位置と正しい設置位置とのずれ量Δφ_ｘを算出する（図８のステップＳＴ７）。ずれ量Δφ_ｘは、撮像装置１が正しい位置に設置されているときの撮像装置１におけるＸ軸方向の光軸ΦＸ_ＲＥＦと、撮像装置１におけるＸ軸方向の光軸との光軸ずれ量である。
また、ずれ量算出部１２は、基準画像Ｇ_ＲＥＦの垂直移動量Δｄ_ｙから、以下の式（３）に示すように、撮像装置１の設置位置と正しい設置位置とのずれ量Δφ_ｙを算出する（図８のステップＳＴ７）。ずれ量Δφ_ｙは、撮像装置１が正しい位置に設置されているときの撮像装置１におけるＹ軸方向の光軸ΦＹ_ＲＥＦと、撮像装置１におけるＹ軸方向の光軸との光軸ずれ量である。

式（２）及び式（３）において、ＦＬは、撮像装置１の焦点距離であり、既値である。当該焦点距離は、例えば、撮像装置１に含まれている図示せぬイメージセンサと、撮像装置１に含まれている図示せぬレンズとの間の距離である。

ずれ量算出部１２は、Ｘ軸方向のずれ量Δφ_ｘ、Ｙ軸方向のずれ量Δφ_ｙ及び回転方向のずれ量Δφ_ｒｏｌｌのそれぞれをドライバモニタリングシステム４に出力する。

ドライバモニタリングシステム４のセンシング部３１は、撮像装置１から、撮像画像ＧＰ’を取得する。撮像画像ＧＰ’は、運転者が車両を運転しているときに撮影された画像である。
また、センシング部３１は、ずれ量算出部１２から、Ｘ軸方向のずれ量Δφ_ｘ、Ｙ軸方向のずれ量Δφ_ｙ及び回転方向のずれ量Δφ_ｒｏｌｌのそれぞれを取得する。
センシング部３１は、例えば、撮像画像ＧＰ’に映っている運転者の頭の位置を特定する乗員センシングを実施する。
センシング部３１は、乗員センシングを実施する際、撮像装置１の設置位置が正しい設置位置からずれている可能性があることを考慮する。このため、センシング部３１は、例えば、運転者の頭の位置をセンシングする場合、撮像画像ＧＰ’における運転者の頭の位置から、ずれ量Δφ_ｘ，Δφ_ｙ，Δφ_ｒｏｌｌだけずれている位置をセンシングする。
具体的には、撮像画像ＧＰ’における運転者の頭の位置の座標が（ｘ，ｙ，ｚ）であるとすれば、センシング部３１によりセンシングされる位置の座標（ｘ’，ｙ’，ｚ’）は、以下の式（４）のように表される。

センシング部３１は、撮像画像ＧＰ’における座標（ｘ’，ｙ’，ｚ’）の画素値に基づいて、車両の乗員の状態を監視する。
センシング部３１は、乗員の状態を監視することで、例えば、運転者のわき見運転、又は、運転者の居眠り運転を検出する。
運転者のわき見運転、又は、運転者の居眠り運転を検出する処理自体は、公知の技術であるため詳細な説明を省略する。
警告出力部３２は、センシング部３１によって、例えば、運転者のわき見運転、又は、運転者の居眠り運転が検出されれば、運転者に対する警告を示す警告情報を車両の電子制御ユニット等に出力する。

図１に示すずれ量検出装置３では、照明装置１０の光源１０ａが、構造物２に光を照射している。
構造物２に光が照射されることで、構造物２と他の構造物との境界が際立てられるため、環境光の影響が抑制される。環境光の影響が抑制されることで、撮像画像ＧＰからの構造物画像位置の検出が容易になる。

撮像装置１によって撮影される車両内の構造物２が、例えば、窓枠ａである場合、照明装置１０の光源１０ａは、図１０に示すように、窓枠ａの両側のうち、撮像装置１と向かい合っている側と反対側に設置される。図１０の例では、光源１０ａが車両の外側に設置されている。
特に、図１０Ａの例では、光源１０ａの発光面が、構造物２である窓枠ａと触れる位置に設置されている。
また、図１０Ｂの例では、光源１０ａの発光面が、構造物２である窓枠ａから離れている位置に設置されている。光源１０ａの発光面が、窓枠ａから離れている位置に設置される場合、照明装置１０は、例えば、三脚等によって支持されていてもよいし、車両が入庫されている駐車場の天井等から吊り下げられていてもよい。光源１０ａの発光面が、構造物２から離れている位置に設置される場合、光源１０ａの発光面と構造物２との間に、作業員等が入り込まないように、発光面と構造物２との距離ができるだけ短いことが望ましい。
図１０Ａは、構造物２である窓枠ａと触れる位置に発光面が設置されている光源１０ａを示す説明図である。
図１０Ｂは、構造物２である窓枠ａから離れている位置に発光面が設置されている光源１０ａを示す説明図である。

照明装置１０が設置されていない場合、図１１Ａに示すように、構造物２である窓枠ａの内側に、例えば、車外の風景、作業員、又は、環境光に伴う物体の影が現れることがある。図１１Ａにおいて、破線で囲まれている領域は、撮像装置１の撮影領域である。
この場合、撮像装置１による撮像画像ＧＰには、車外の風景、作業員、又は、物体の影等が映り込むことがある。
環境光に伴う物体の影等が映り込んでいる撮像画像ＧＰでは、構造物２と物体の影等との境界が分からないために、構造物２の位置を検出することが困難であることがある。
図１１Ａは、環境光に伴う物体の影等が窓枠ａの内側に入り込んでいる状態を示す説明図である。
図１１Ｂは、環境光に伴う物体の影等が映り込んでいる撮像画像ＧＰを示す説明図である。
図１１Ｂにおいて、“０”は、窓枠ａを構成している画素、車外の風景を構成している画素、作業員を構成している画素及び物体の影を構成している画素の輝度値である。“１”は、それらの画素以外の画素の輝度値である。
図１１Ａ及び図１１Ｂのそれぞれは、物体の影等の形状がデフォルメされている。このため、図１１Ａに示す物体の影等の形状と、図１１Ｂに示す物体の影等の形状とが完全には一致していない。

一方、照明装置１０が設置されている場合、図１２Ａに示すように、車外の風景、作業員、又は、環境光に伴う物体の影等の、窓枠ａの内側への入り込みが防止される。図１２Ａにおいて、破線で囲まれている領域は、撮像装置１の撮影領域である。したがって、図１２Ｂに示すように、車外の風景、作業員、又は、環境光に伴う物体の影等が、撮像画像ＧＰに映り込むことが防止される。また、照明装置１０の光源１０ａが、構造物２に光を照射することで、構造物２と他の構造物との境界が際立てられる。このため、撮像画像ＧＰに映っている構造物２の位置を容易に検出することができる。
したがって、ずれ量検出装置３が照明装置１０を備えることで、環境光の状態変化に伴うずれ量Δφ_ｘ，Δφ_ｙ，Δφ_ｒｏｌｌの算出精度の劣化を抑えることができる。
図１２Ａは、照明装置１０によって、環境光に伴う物体の影等の窓枠ａの内側への入り込みが防止されている状態を示す説明図である。
図１２Ｂは、環境光に伴う物体の影等が映り込んでいない撮像画像ＧＰを示す説明図である。
図１２Ｂにおいて、“０”は、窓枠ａを構成している画素の輝度値である。“１”は、窓枠ａを構成している画素以外の画素の輝度値である。
図１２Ａ及び図１２Ｂのそれぞれは、窓枠ａの形状がデフォルメされている。このため、図１２Ａに示す窓枠ａの形状と、図１２Ｂに示す窓枠ａの形状とが完全には一致していない。

以上の実施の形態１では、照明装置１０が、車両の外部から車両内に入ってくる光である環境光の影響を抑制するための光を車両の構造物２に照射する工程と、撮像装置１が、照明装置１０によって光が照射されている構造物２を撮影する工程と、ずれ量検出装置３が、撮像装置１により撮像された構造物２の画像に基づいて、撮像装置１の設置位置と、撮像装置１の正しい設置位置とのずれ量を算出する工程とを備えるように、ずれ量検出方法を構成した。したがって、ずれ量検出方法は、環境光の状態変化に伴うずれ量の算出精度の劣化を抑えることができる。

図１に示すずれ量検出装置３では、光源１０ａの発光面の明るさが均一である。しかし、これは一例に過ぎず、図１３に示すように、光源１０ａから照射される光が、構造物２への照射面に模様を生じさせる光であってもよい。
図１３は、照射面に模様が生じる光の一例を示す説明図である。図１３の例では、◇の形状を有する模様が縦横に複数配列されている。
光源１０ａの発光面に模様が描かれることで、構造物２への照射面に模様が生じるようになる。また、光源１０ａの発光面に模様が刻まれることで、構造物２への照射面に模様が生じるようになる。また、光源１０ａの発光面と構造物２との間に、模様の部分の透過率と模様以外の部分の透過率とが異なるシートを配置することで、構造物２への照射面に模様が生じるようになる。
光源１０ａから照射される光が、構造物２への照射面に模様を生じさせる光であるようにすることで、光源１０ａから照射された光と、当該光以外の光である外乱光との区別が容易になる。その結果、位置検出部１１による構造物画像位置の検出精度が向上する。

図１に示すずれ量検出装置３では、光源１０ａが光を連続的に照射している。しかし、これは一例に過ぎず、図１４に示すように、光源１０ａが、構造物２に照射する光を点滅させるようにしてもよい。
図１４は、光源１０ａからの光が点滅している例を示す説明図である。
図１４の例では、撮像装置１の撮像フレームのうち、１フレーム目と３フレーム目とでは、光源１０ａが光を構造物２に照射している。撮像装置１の撮像フレームのうち、２フレーム目では、光源１０ａが、光を構造物２に照射していない。
位置検出部１１は、例えば、１フレーム目の撮像画像ＧＰと、２フレーム目の撮像画像ＧＰとの差分を検出することで、撮像画像ＧＰに映っている構造物２を容易に検出することができる。

図１に示すずれ量検出装置３では、位置検出部１１が、構造物２の画像上の位置である構造物画像位置を検出している。しかし、これは一例に過ぎず、位置検出部１１が、構造物２の画像上の位置を検出する代わりに、特許文献１に記載のずれ量検出装置と同様の方法で、撮像画像ＧＰに映っている構造物２の特徴点を抽出するようにしてもよい。この場合、ずれ量算出部１２は、特許文献１に記載のずれ量検出装置と同様の方法で、構造物２の特徴点からずれ量を算出する必要がある。なお、この場合も、撮像画像ＧＰは、照明装置１０によって構造物２に光が照射されているときに、撮像装置１により撮像された構造物２の画像である。

図１に示すずれ量検出装置３では、構造物２が窓枠ａであるとして、照明装置１０が、光を窓枠ａに照射している。しかし、構造物２は、窓枠ａに限るものではなく、構造物２が、例えば、アシストグリップｂ、ヘッドレストｃ、サンバイザーｄ、Ｂピラーｅ、ドアフレームｆ、又は、ショルダーアンカーｇであってもよい。したがって、照明装置１０が、光をアシストグリップｂ等に照射するようにしてもよい。

実施の形態２．
実施の形態２では、照明装置１０が、光源１０ｂ及び反射板１０ｃを備えているずれ量検出装置３について説明する。

図１５は、実施の形態２に係るずれ量検出装置３及びドライバモニタリングシステム４を示す構成図である。図１５において、図１と同一符号は同一又は相当部分を示すので説明を省略する。
図１５に示すずれ量検出装置３では、照明装置１０が、光源１０ｂ及び反射板１０ｃを備えている。
光源１０ｂは、環境光の影響を抑制するための光を構造物２である窓枠ａに照射する。
光源１０ｂは、面光源であり、面光源の発光面の明るさは均一である。
図１５に示すずれ量検出装置３では、光源１０ｂが面光源である。しかし、これは一例に過ぎず、光源１０ｂが、例えば、点光源であってもよいし、光源１０ｂが、例えば、白熱電球、又は、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）であってもよい。

反射板１０ｃは、例えば、スクリーン、紙、布、木板、樹脂板、又は、金属板である。しかし、これは一例に過ぎず、反射板１０ｃは、スクリーン、紙、布、木板、樹脂板、又は、金属板の組み合わせであってもよい。
反射板１０ｃは、光の反射面が平面である。
反射板１０ｃは、構造物２の両側のうち、撮像装置１と向かい合っている側と反対側に設置される。
反射板１０ｃは、光源１０ｂから照射されたのち、窓枠ａの内側を通過してきた光を窓枠ａに向けて反射させる。反射板１０ｃによる反射後の光は、窓枠ａの内側を通過して、撮像装置１に至る。
図１５に示すずれ量検出装置３では、反射板１０ｃの反射面が平面である。しかし、これは一例に過ぎず、反射板１０ｃの反射面が、例えば、球面、又は、凹凸を有する面であってもよい。
図１５に示すずれ量検出装置３では、光源１０ｂが、車両内に設置されている。しかし、これは一例に過ぎず、光源１０ｂが、車両外に設置されていてもよい。この場合、反射板１０ｃは、光源１０ｂからの光を窓枠ａの方向に反射させる。反射板１０ｃによる反射後の光は、窓枠ａを通過して、撮像装置１に至る。

次に、図１５に示すずれ量検出装置３の動作について説明する。
ただし、照明装置１０以外は、図１に示すずれ量検出装置３と同様である。このため、ここでは、照明装置１０の動作のみを説明する。
撮像装置１によって撮影される車両内の構造物２が、例えば、窓枠ａである場合、照明装置１０の反射板１０ｃは、図１６に示すように、窓枠ａの両側のうち、撮像装置１と向かい合っている側と反対側に設置される。図１６の例では、反射板１０ｃが車両の外側に設置されている。

特に、図１６Ａの例では、照明装置１０の一部である光源１０ｂが、車両内に設置され、照明装置１０の一部である反射板１０ｃが、車両の外部に設置されている。反射板１０ｃの反射面は、構造物２である窓枠ａと触れる位置に設置されている。
また、図１６Ｂの例では、照明装置１０の一部である光源１０ｂが、車両の外部に設置され、照明装置１０の一部である反射板１０ｃが、車両の外部に設置されている。反射板１０ｃの反射面は、構造物２である窓枠ａから離れている位置に設置されている。反射板１０ｃの反射面が、窓枠ａから離れている位置に設置される場合、反射板１０ｃは、例えば、三脚等によって支持されていてもよいし、車両が入庫されている駐車場の天井等から吊り下げられていてもよい。反射板１０ｃの反射面が、構造物２から離れている位置に設置される場合、反射板１０ｃの反射面と構造物２との間に、作業員等が入り込まないように、反射面と構造物２との距離ができるだけ短いことが望ましい。
図１６Ａは、構造物２である窓枠ａと触れる位置に反射面が設置されている反射板１０ｃを示す説明図である。
図１６Ｂは、構造物２である窓枠ａから離れている位置に反射面が設置されている反射板１０ｃを示す説明図である。

光源１０ｂ及び反射板１０ｃを備える照明装置１０が設置されている場合、図１２Ａに示すように、車外の風景、作業員、又は、環境光に伴う物体の影等の窓枠ａの内側への入り込みが防止される。したがって、図１２Ｂに示すように、車外の風景、作業員、又は、環境光に伴う物体の影等が、撮像画像ＧＰに映り込むことが防止される。また、反射板１０ｃが、構造物２に向けて光を反射させることで、構造物２と他の構造物との境界が際立てられるため、環境光の影響が抑制される。環境光の影響が抑制されることで、位置検出部１１による構造物２の位置の検出精度が向上する。
したがって、ずれ量検出装置３が照明装置１０を備えることで、環境光の状態変化に伴うずれ量Δφ_ｘ，Δφ_ｙ，Δφ_ｒｏｌｌの算出精度の劣化を抑えることができる。

以上より、図１５に示すずれ量検出装置３は、図１に示すずれ量検出装置３と同様に、環境光の状態変化に伴うずれ量の算出精度の劣化を抑えることができる。

図１５に示すずれ量検出装置３では、光源１０ｂの発光面の明るさが均一である。しかし、これは一例に過ぎず、図１３に示すように、光源１０ｂから照射される光が、構造物２への照射面に模様を生じさせる光であってもよい。
光源１０ｂの発光面に模様が描かれることで、構造物２への照射面に模様が生じるようになる。また、光源１０ｂの発光面に模様が刻まれることで、構造物２への照射面に模様が生じるようになる。また、光源１０ｂの発光面と構造物２との間に、模様の部分の透過率と模様以外の部分の透過率とが異なるシートを配置することで、構造物２への照射面に模様が生じるようになる。
光源１０ｂから照射される光が、構造物２への照射面に模様を生じさせる光であるようにすることで、光源１０ｂから照射された光と、当該光以外の光である外乱光との区別が容易になる。その結果、位置検出部１１による構造物２の位置の検出精度が向上する。
光源１０ｂから照射される光が、構造物２への照射面に模様を生じさせる光である代わりに、反射板１０ｃに模様が施されているものであってもよい。反射板１０ｃに模様が施されているものであっても、構造物２への照射面に模様が生じるようになる。
反射板１０ｃの反射面が、反射率が互いに異なる複数の素材を有することで、反射板１０ｃに模様が施される。また、反射板１０ｃの反射面が、球面又は凹凸を有することで、反射板１０ｃに模様が施される。

図１５に示すずれ量検出装置３では、光源１０ｂが光を連続的に照射している。しかし、これは一例に過ぎず、図１４に示すように、光源１０ｂが、構造物２に照射する光を点滅させるようにしてもよい。
位置検出部１１は、例えば、１フレーム目の撮像画像ＧＰと、２フレーム目の撮像画像ＧＰとの差分を検出することで、撮像画像ＧＰに映っている構造物２を容易に検出することができる。

図１５に示すずれ量検出装置３では、構造物２が窓枠ａであるとして、反射板１０ｃが、光源１０ｂからの光を窓枠ａに向けて反射させている。しかし、構造物２は、窓枠ａに限るものではなく、構造物２が、例えば、アシストグリップｂ、ヘッドレストｃ、サンバイザーｄ、Ｂピラーｅ、ドアフレームｆ、又は、ショルダーアンカーｇであってもよい。したがって、反射板１０ｃが、光源１０ｂからの光をアシストグリップｂ等に向けて反射させるようにしてもよい。

実施の形態３．
実施の形態３では、複数の発光点を有する照明装置６０を備えるずれ量検出装置３について説明する。

図１７は、実施の形態３に係るずれ量検出装置３及びドライバモニタリングシステム４を示す構成図である。図１７において、図１及び図１５と同一符号は同一又は相当部分を示すので説明を省略する。
図１８は、実施の形態３に係るずれ量検出装置３のハードウェアを示すハードウェア構成図である。図１８において、図２と同一符号は同一又は相当部分を示すので説明を省略する。

照明装置６０は、例えば、車両内に設置される。
照明装置６０は、Ｎ個の発光点を有している。Ｎは、３以上の整数である。図１７に示すずれ量検出装置３では、説明の便宜上、Ｎ＝３であるものとして説明する。
発光点６０ａ，６０ｂ，６０ｃのそれぞれは、照明装置６０の光源から照射された光を外部に出力するための発光部位である。
図１７に示すずれ量検出装置３では、３つの発光点６０ａ，６０ｂ，６０ｃが、一直線上に並んでいないため、３つの発光点６０ａ，６０ｂ，６０ｃのそれぞれが結ばれた場合、三角形が形成される。

位置検出部６１は、例えば、図１８に示す位置検出回路７１によって実現される。
位置検出部６１は、撮像装置１により撮像された３つの発光点６０ａ，６０ｂ，６０ｃの画像を取得する。
位置検出部６１は、３つの発光点６０ａ，６０ｂ，６０ｃの画像上の位置である発光点画像位置を検出する。
位置検出部６１は、発光点画像位置を示す発光点画像位置情報をずれ量算出部６２に出力する。

ずれ量算出部６２は、例えば、図１８に示すずれ量算出回路７２によって実現される。
ずれ量算出部６２は、位置検出部６１から、発光点画像位置情報を取得する。また、ずれ量算出部６２は、外部から、撮像装置１の設置位置が正しい設置位置であるときの、発光点６０ａ，６０ｂ，６０ｃの画像上の正しい位置である基準画像位置を示す基準画像位置情報を取得する。
ずれ量算出部６２は、基準画像位置情報が示す基準画像位置と、発光点画像位置情報が示す発光点画像位置とに基づいて、撮像装置１の設置位置と正しい設置位置とのずれ量を算出する。
ずれ量算出部６２は、算出したずれ量をドライバモニタリングシステム４に出力する。

図１７では、ずれ量検出装置３の照明装置６０以外の構成要素である位置検出部６１及びずれ量算出部６２のそれぞれが、図１８に示すような専用のハードウェアによって実現されるものを想定している。即ち、ずれ量検出装置３の一部が、位置検出回路７１及びずれ量算出回路７２によって実現されるものを想定している。
位置検出回路７１及びずれ量算出回路７２のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、又は、これらを組み合わせたものが該当する。

ずれ量検出装置３の照明装置６０以外の構成要素は、専用のハードウェアによって実現されるものに限るものではなく、照明装置６０以外の構成要素が、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現されるものであってもよい。
ずれ量検出装置３の照明装置６０以外の構成要素が、ソフトウェア又はファームウェア等によって実現される場合、位置検出部６１及びずれ量算出部６２におけるそれぞれの処理手順をコンピュータに実行させるためのプログラムが図４に示すメモリ５１に格納される。そして、図４に示すプロセッサ５２がメモリ５１に格納されているプログラムを実行する。

また、図１８では、ずれ量検出装置３の照明装置６０以外の構成要素のそれぞれが専用のハードウェアによって実現される例を示し、図４では、ずれ量検出装置３の照明装置６０以外の構成要素がソフトウェア又はファームウェア等によって実現される例を示している。しかし、これは一例に過ぎず、ずれ量検出装置３における一部の構成要素が専用のハードウェアによって実現され、残りの構成要素がソフトウェア又はファームウェア等によって実現されるものであってもよい。

図２０は、実施の形態３に係るずれ量検出方法を示すフローチャートである。
例えば、撮像装置１の取付作業者は、車両内に撮像装置１を設置する（図２０のステップＳＴ１１）。
ここでは、取付作業者が、車両内に撮像装置１を設置している。しかしながら、車両内に撮像装置１が既に設置されている状況下では、取付作業者が、車両内に撮像装置１を設置する必要はない。
次に、取付作業者は、車両内に、３つ以上の発光点を有する照明装置６０を設置する（図２０のステップＳＴ１２）。
ここでは、取付作業者が、車両内に照明装置６０を設置している。しかしながら、車両内に照明装置６０が既に設置されている状況下では、取付作業者が、車両内に照明装置６０を設置する必要はない。
図１７に示すずれ量検出装置３では、図１９に示すように、３つの発光点６０ａ，６０ｂ，６０ｃを有する照明装置６０が窓枠ａの内側に設置されている。しかし、これは一例に過ぎず、３つの発光点６０ａ，６０ｂ，６０ｃを有する照明装置６０が車両の外側に設置されていてもよい。
図１９は、照明装置６０の発光点６０ａ，６０ｂ，６０ｃが窓枠ａの内側に取り付けられている例を示す説明図である。

次に、取付作業者は、照明装置６０を操作する。
取付作業者が、照明装置６０を操作することで、照明装置６０が、発光点６０ａ，６０ｂ，６０ｃから光を照射する（図２０のステップＳＴ１３）。発光点６０ａ，６０ｂ，６０ｃは、撮像装置１に向けて光を照射する。
次に、取付作業者は、撮像装置１を操作する。
取付作業者が、撮像装置１を操作することで、撮像装置１が、光を照射している発光点６０ａ，６０ｂ，６０ｃを撮影する（図２０のステップＳＴ１４）。
ずれ量検出装置３は、撮像装置１により撮像された発光点６０ａ，６０ｂ，６０ｃの画像に基づいて、撮像装置１の設置位置と、撮像装置１の正しい設置位置とのずれ量を算出する。

次に、図１７に示すずれ量検出装置３及びドライバモニタリングシステム４の動作について説明する。
撮像装置１は、上記の通り、３つの発光点６０ａ，６０ｂ，６０ｃから光が照射されているときに、３つの発光点６０ａ，６０ｂ，６０ｃを撮影し、発光点６０ａ，６０ｂ，６０ｃを撮影した画像である撮像画像ＧＰをずれ量検出装置３に出力する。
車両内への環境光の入射の有無にかかわらず、発光点６０ａ，６０ｂ，６０ｃからの光の輝度は、発光点６０ａ，６０ｂ，６０ｃの周囲の輝度よりも高い。したがって、撮像画像ＧＰに映っている発光点６０ａ，６０ｂ，６０ｃの形状は、鮮明である。
撮像装置１からずれ量検出装置３に出力される撮像画像ＧＰは、基本的には、運転者が運転席に着座していないときに撮影された画像である。ただし、運転者が運転席に着座していても、運転者が構造物２を遮らないように着座していれば、撮像画像ＧＰは、運転者が運転席に着座しているときに撮影された画像であってもよい。

位置検出部６１は、撮像装置１から、撮像画像ＧＰを取得する（図２０のステップＳＴ１５）。
位置検出部６１は、撮像画像ＧＰから、発光点６０ａ，６０ｂ，６０ｃの画像上の位置である発光点画像位置を検出する（図２０のステップＳＴ１６）。
位置検出部６１は、発光点画像位置を示す発光点画像位置情報をずれ量算出部６２に出力する。
位置検出部６１による発光点画像位置の検出処理は、図１に示す位置検出部１１による構造物画像位置の検出処理と同様であるため、詳細な説明を省略する。

ずれ量算出部６２は、位置検出部６１から、発光点画像位置情報及び回転方向のずれ量Δφ_ｒｏｌｌのそれぞれを取得する。
また、ずれ量算出部６２は、外部から、撮像装置１の設置位置が正しい設置位置であるときの、発光点６０ａ，６０ｂ，６０ｃの画像上の正しい位置である基準画像位置を示す基準画像位置情報と、基準画像Ｇ_ＲＥＦとを取得する。
実施の形態３では、発光点画像位置情報及び基準画像Ｇ_ＲＥＦのそれぞれが、ずれ量検出装置３の外部から与えられている。しかし、これは一例に過ぎず、基準画像位置情報及び基準画像Ｇ_ＲＥＦのそれぞれが、ずれ量算出部６２の内部メモリに格納されているものであってもよい。

ずれ量算出部６２は、基準画像位置情報が示す基準画像位置と、発光点画像位置情報が示す発光点画像位置とが一致するように、基準画像Ｇ_ＲＥＦを、水平移動、垂直移動、又は、回転させる。
即ち、ずれ量算出部６２は、回転方向のずれ量Δφ_ｒｏｌｌだけ、基準画像Ｇ_ＲＥＦを回転させる。
また、ずれ量算出部６２は、基準画像位置（ｘ，ｙ）と、最小のＳＡＤ（ｄ_ｘ，ｄ_ｙ）における走査位置（ｄ_ｘ，ｄ_ｙ）とが一致するように、基準画像Ｇ_ＲＥＦを、水平移動、又は、垂直移動させる。
ずれ量算出部６２は、基準画像位置と発光点画像位置とが一致したときの、基準画像Ｇ_ＲＥＦの水平移動量Δｄ_ｘ（＝ｘ－ｄ_ｘ）及び基準画像Ｇ_ＲＥＦの垂直移動量Δｄ_ｙ（＝ｙ－ｄ_ｙ）のそれぞれを算出する。

ずれ量算出部６２は、基準画像Ｇ_ＲＥＦの水平移動量Δｄ_ｘから、上記の式（２）に示すように、撮像装置１の設置位置と正しい設置位置とのずれ量Δφ_ｘを算出する（図２０のステップＳＴ１７）。ずれ量Δφ_ｘは、撮像装置１が正しい位置に設置されているときの撮像装置１におけるＸ軸方向の光軸ΦＸ_ＲＥＦと、撮像装置１におけるＸ軸方向の光軸との光軸ずれ量である。
また、ずれ量算出部６２は、基準画像Ｇ_ＲＥＦの垂直移動量Δｄ_ｙから、上記の式（３）に示すように、撮像装置１の設置位置と正しい設置位置とのずれ量Δφ_ｙを算出する（図２０のステップＳＴ１７）。ずれ量Δφ_ｙは、撮像装置１が正しい位置に設置されているときの撮像装置１におけるＹ軸方向の光軸ΦＹ_ＲＥＦと、撮像装置１におけるＹ軸方向の光軸との光軸ずれ量である。

ずれ量算出部６２は、Ｘ軸方向のずれ量Δφ_ｘ、Ｙ軸方向のずれ量Δφ_ｙ及び回転方向のずれ量Δφ_ｒｏｌｌのそれぞれをドライバモニタリングシステム４に出力する。

以上の実施の形態３では、３つ以上の発光点を有する照明装置６０が、発光点から光を照射する工程と、撮像装置１が、光を照射している発光点を撮影する工程と、ずれ量検出装置３が、撮像装置１により撮像された発光点の画像に基づいて、撮像装置１の設置位置と、撮像装置１の正しい設置位置とのずれ量を算出する工程とを備えるように、ずれ量検出方法を構成した。したがって、ずれ量検出方法は、環境光の状態変化に伴うずれ量の算出精度の劣化を抑えることができる。

図１７に示すずれ量検出装置３では、照明装置６０が、３つの発光点６０ａ，６０ｂ，６０ｃを有している。しかし、これは一例に過ぎず、ずれ量検出装置３が、１つの発光点を有する照明装置６０を３つ以上備えるようにしてもよい。

なお、本開示は、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは実施の形態において任意の構成要素の省略が可能である。

１ 撮像装置、２ 構造物、３ ずれ量検出装置、４ ドライバモニタリングシステム、１０ 照明装置、１０ａ 光源、１０ｂ 光源、１０ｃ 反射板、１１ 位置検出部、１２ ずれ量算出部、２１ 位置検出回路、２２ ずれ量算出回路、３１ センシング部、３２ 警告出力部、４１ センシング回路、４２ 警告出力回路、５１ メモリ、５２ プロセッサ、６０ 照明装置、６０ａ，６０ｂ，６０ｃ 発光点、６１ 位置検出部、６２ ずれ量算出部、７１ 位置検出回路、７２ ずれ量算出回路。

Claims (19)

1. 照明装置が、前記車両の外部から前記車両内に入ってくる光である環境光の影響を抑制するための光を前記車両の構造物に照射する工程と、
   撮像装置が、前記照明装置によって光が照射されている前記構造物を撮影する工程と、
   ずれ量検出装置が、前記撮像装置により撮像された前記構造物の画像に基づいて、前記撮像装置の設置位置と、前記撮像装置の正しい設置位置とのずれ量を算出する工程と
   を備えたずれ量検出方法。
2. ３つ以上の発光点を有する照明装置が、前記発光点から光を照射する工程と、
   撮像装置が、光を照射している前記発光点を撮影する工程と、
   ずれ量検出装置が、前記撮像装置により撮像された前記発光点の画像に基づいて、前記撮像装置の設置位置と、前記撮像装置の正しい設置位置とのずれ量を算出する工程と
   を備えたずれ量検出方法。
3. 車両の構造物に光を照射する照明装置と、
   前記照明装置によって、前記車両の外部から前記車両内に入ってくる光である環境光の影響を抑制するための光が前記車両の構造物に照射されているときに、撮像装置により撮像された前記構造物の画像を取得し、前記構造物の画像上の位置である構造物画像位置を検出する位置検出部と、
   前記撮像装置の設置位置が正しい設置位置であるときの、前記構造物の画像上の正しい位置である基準画像位置と、前記位置検出部により検出された構造物画像位置とに基づいて、前記撮像装置の設置位置と前記正しい設置位置とのずれ量を算出するずれ量算出部と
   を備えたずれ量検出装置。
4. 前記照明装置は、前記環境光の影響を抑制するための光を前記構造物に照射する光源を備えていることを特徴とする請求項３記載のずれ量検出装置。
5. 前記光源は、前記構造物の両側のうち、前記撮像装置と向かい合っている側と反対側に設置されていることを特徴とする請求項４記載のずれ量検出装置。
6. 前記光源は、面光源であり、
   前記面光源の発光面は、前記構造物と触れる位置、又は、前記構造物から離れている位置に設置されていることを特徴とする請求項５記載のずれ量検出装置。
7. 前記面光源の発光面の明るさが均一であることを特徴とする請求項４記載のずれ量検出装置。
8. 前記光源から照射される光は、前記構造物への照射面に模様を生じさせる光であることを特徴とする請求項４記載のずれ量検出装置。
9. 前記光源は、前記構造物に照射する光を点滅させることを特徴とする請求項４記載のずれ量検出装置。
10. 前記照明装置は、
    前記環境光の影響を抑制するための光を照射する光源と、
    前記光源からの光を前記構造物に向けて反射させる反射板とを備えていることを特徴とする請求項３記載のずれ量検出装置。
11. 前記反射板は、前記構造物の両側のうち、前記撮像装置と向かい合っている側と反対側に設置されていることを特徴とする請求項１０記載のずれ量検出装置。
12. 前記反射板は、前記構造物と触れる位置、又は、前記構造物から離れている位置に設置されていることを特徴とする請求項１１記載のずれ量検出装置。
13. 前記光源は、面光源であり、
    前記面光源の発光面の明るさが均一であることを特徴とする請求項１０記載のずれ量検出装置。
14. 前記光源から照射される光が前記構造物への照射面に模様を生じさせる光であり、あるいは、前記反射板に模様が施されていることを特徴とする請求項１０記載のずれ量検出装置。
15. 前記光源は、前記構造物に照射する光を点滅させることを特徴とする請求項１０記載のずれ量検出装置。
16. 前記反射板は、スクリーン、紙、布、木板、樹脂板、又は、金属板であることを特徴とする請求項１０記載のずれ量検出装置。
17. 前記構造物は、前記車両に取り付けられている窓枠であることを特徴とする請求項３記載のずれ量検出装置。
18. ３つ以上の発光点を有する照明装置と、
    前記照明装置が有している３つ以上の発光点から光が照射されているときに、撮像装置により撮像された前記発光点の画像を取得し、前記発光点の画像上の位置である発光点画像位置を検出する位置検出部と、
    前記撮像装置の設置位置が正しい設置位置であるときの、前記発光点の画像上の正しい位置である基準画像位置と、前記位置検出部により検出された発光点画像位置とに基づいて、前記撮像装置の設置位置と前記正しい設置位置とのずれ量を算出するずれ量算出部と
    を備えたずれ量検出装置。
19. 請求項３から請求項１８のうちのいずれか１項記載のずれ量検出装置のずれ量算出部により算出されたずれ量と、撮像装置により撮像された車両内の画像とを用いて、前記車両の乗員の状態を監視するセンシング部を備えたことを特徴とするドライバモニタリングシステム。

Images