JP2014078776A - 撮像装置、移動体、および設定方法 - Google Patents

Abstract

【課題】姿勢の変動による運転の支援への影響を低減化する。
【解決手段】撮像装置１１は撮像部１４と傾斜検出部１６と制御部１８とを備える。撮像部１４は周辺画像を撮像可能である。傾斜検出部１６は撮像部１４の傾斜を検出する。制御部１８は傾斜検出部１６が検出する傾斜の変化に応じて周辺画像から抽出する領域を定める。
【選択図】図２

Description

本発明は、撮像可能な周辺画像における、使用する領域を設定する撮像装置、移動体、および設定方法に関する。

車両などの移動体に設けて、運転者の運転を支援する撮像装置が知られている。このような撮像装置は、移動体に対して固定されたり、車速に応じて仰俯角が変わるように取付けられ（特許文献１参照）、特定の撮影エリア内の被写体を撮像する。

特開平１１−３１２３００号公報

しかし、撮像装置の姿勢がまったく変動しないように強固に移動体に固定することは困難であり、洗車機による洗車、ユーザによる軽微な接触によって撮像装置の姿勢、すなわち取付け角度が変動する。姿勢の変動の前後に撮像された画像は撮影範囲が変動しており、運転の支援に支障が生じていた。

したがって、かかる事情に鑑みてなされた本発明の目的は、撮像装置の取付け姿勢の変動による運転の支援への影響を低減化する撮像装置、移動体、および設定方法を提供することにある。

上述した諸課題を解決すべく、第１の観点による撮像装置は、
周辺画像を受光する撮像部と、
前記撮像部の傾斜を検出する傾斜検出部と、
前記傾斜検出部が検出する前記撮像部の傾斜の変化に応じて、前記周辺画像から抽出する領域を定める制御部とを備える
ことを特徴とするものである。

また、第２の観点による撮像装置は、
前記制御部は前記周辺画像における前記抽出する領域内の画像を前記撮像部に撮像させる
ことが好ましい。

また、第３の観点による撮像装置は、
前記撮像部が撮像した前記周辺画像に画像処理を施す画像処理部を、さらに備え、
前記制御部は、前記周辺画像における前記抽出する領域内の画像を、前記画像処理部に抽出させる
ことが好ましい。

また、第４の観点による撮像装置は、
周辺画像を撮像する撮像部と、
前記撮像部の傾斜を検出する傾斜検出部と、
前記撮像部が撮像した前記周辺画像上に指標を重畳する画像処理部と、
前記傾斜検出部が検出する前記撮像部の傾斜の変化に応じて、前記周辺画像上における前記指標の重畳位置を定める制御部とを備える
ことを特徴とするものである。

また、第５の観点による撮像装置は、
初期状態において前記傾斜検出部が検出する傾斜を記憶する記憶部を、さらに備え、
前記制御部は、前記記憶部に記憶した傾斜および前記傾斜検出部が検出する傾斜の間の差を前記傾斜の変化として用いる
ことが好ましい。

また、第６の観点による移動体は、
周辺画像を受光する撮像部と、前記撮像部の傾斜を検出する傾斜検出部と、前記傾斜検出部が検出する前記撮像部の傾斜の変化に応じて前記周辺画像から抽出する画像の領域を定める制御部とを有する撮像装置を備える
ことを特徴とするものである。

上述したように本発明の解決手段を装置として説明してきたが、本発明はこれらに実質的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。

また、本発明の第７の観点を方法として実現させた設定方法は、
傾斜を検出する検出ステップと、
前記検出ステップにおいて検出した傾斜の変化に応じて、前記撮像装置が撮像可能な周辺画像から抽出する領域を定める領域設定ステップとを備える
ことを特徴としている。

また、本発明の第８の観点を方法として実現させた設定方法は、
周辺画像を撮像する撮像ステップと、
傾斜を検出する検出ステップと、
前記検出ステップにおいて検出した傾斜の変化に応じて、前記周辺画像上における指標の重畳位置を定める位置設定ステップと、
前期撮像ステップにおいて撮像した前記周辺画像上の、前記位置設定ステップにおいて定められた前記重畳位置に、前記指標を重畳する重畳ステップとを備える
ことを特徴としている。

上記のように構成された本発明に係る撮像装置、移動体、および設定方法によれば、撮像装置の姿勢の変動に関わらず運転の支援への影響を低減化可能である。

本発明の第１の実施形態に係る撮像装置を搭載する移動体の概略構成図である。 第１の実施形態の撮像装置の概略構成を示す機能ブロック図である。 指標を重畳した周辺画像である。 撮像部の傾斜によって、撮影エリアが変動することを説明する図である。 周辺画像全体の中における抽出する領域を示す図である。 第１の実施形態の撮像装置の制御部が実行する設定処理を説明するフローチャートである。 撮像部の傾斜に対して抽出される周辺画像を説明する図である。 第２、第３の実施形態の撮像装置の概略構成を示す機能ブロック図である。 第２の実施形態の撮像装置の制御部が実行する設定処理を説明するフローチャートである。 周辺画像全体の中における指標を重畳する位置を示す図である。 第３の実施形態の撮像装置の制御部が実行する設定処理を説明するフローチャートである。

以下、本発明の実施形態について、図面を参照して説明する。

まず、本発明の第１の実施形態に係る撮像装置について説明する。図１は、第１の実施形態に係る撮像装置を搭載する移動体の概略構成図である。移動体１０は、例えば車両である。

図１に示すように、移動体１０は、撮像装置１１および表示装置１２を有する。撮像装置１１は移動体１０の内部または外部の何処に設けてもよく、本実施形態では、移動体１０の後方における外部に固定される。表示装置１２は、運転席から視認可能な位置に設けられる。撮像装置１１は、移動体の後方の周辺画像を撮像する。表示装置１２は、例えばカーナビゲーションシステムのディスプレイであって、撮像装置１１から取得する画像を表示する。

次に、撮像装置１１の構成について、説明する。図２に示すように、撮像装置１１は、光学系１３、撮像部１４、画像処理部１５、傾斜検出部１６、記憶部１７、および制御部１８を含んで構成される。

光学系１３は複数のレンズを有する。複数のレンズは、車両の後方の周辺画像を入射可能となるように、固定されている。光学系１３は、入射する周辺画像を撮像部１４の受光面に結像させる。

撮像部１４は、例えばＣＭＯＳ撮像素子であって、受光面に結像した周辺画像を撮像する。受光面には７６８列×５７６行の画素が配置されており、撮像部１４では画素の配置された範囲内の任意の領域内に結像する画像を選択的に撮像可能である。撮像部１４は、後述するように、制御部１８が定める位置の、６４０列×４８０行の画素の大きさの領域を制御部１８から取得し、当該領域内に結像する周辺画像を撮像する。本実施形態において撮像部１４はＣＭＯＳ撮像素子であるが、撮像部１４はＣＭＯＳ撮像素子に限定されず、撮像する領域を選択可能な他の撮像手段を用いてもよい。

画像処理部１５は、撮像部１４が撮像した周辺画像に対して色補間処理、ホワイトバランス処理、輪郭強調処理などの所定の画像処理を施す。また、画像処理部１５は周辺画像上の所定の位置に運転支援のための指標を重畳する。

運転支援のための指標１９とは、例えば図３に示すように、車幅延長線２０および距離目安線２１である。車幅延長線２０は、後進時の移動体１０の両端の通過する軌跡である。距離目安線２１は、現在の移動体１０から所定の距離、例えば１ｍおよび３ｍの距離を示す。運転者は指標１９によって移動体１０の後進時の進行方向を認識可能となる。画像処理部１５は、画像処理を施した周辺画像を表示装置１２に送信する（図２参照）。

傾斜検出部１６は、例えばチルトセンサであり、撮像部１４の傾斜、すなわち光学系１３の光軸の水平面からの仰俯角を検出する。また、傾斜検出部１６は、光学系１３の光軸を軸にした撮像部１４の回転角を検出してもよい。

記憶部１７は、後述するように初期設定時に傾斜検出部１６が検出する傾斜を記憶する。

制御部１８は、撮像装置１１の各部位の動作を制御する。例えば、制御部１８は、後述するように、傾斜検出部１６が検出する傾斜および記憶部１７に記憶した傾斜に基づいて、周辺画像全体の中で抽出する領域の位置を設定する。

次に、撮像装置１１における領域の位置の設定について説明する。

移動体１０への撮像装置１１の取付け位置は、予め定められており、例えば、移動体１０の後方で地上からｘｍの高さで車幅の中心位置である。また、移動体１０への撮像装置１１の取付け姿勢も、予め定められており、例えば、光学系１３の光軸が移動体１０の前後方向に沿って俯角がｙ°となる姿勢である。予め定められた取付け位置および取付け姿勢で移動体１０に取付けられたときの撮像部１４の傾斜が基準の傾斜として定められる（図４（ａ）参照）。また、撮像部１４の受光面において中心位置が受光面と一致する領域ａｒが、周辺画像全体の中で抽出する基準の領域に定められる（図５（ａ）参照）。

移動体１０への撮像装置１１の取付け後に、作業者の初期設定操作に応じて、制御部１８は傾斜検出部１６に撮像部１４の傾斜を検出させ、記憶部１７に記憶させる。すなわち、記憶部１７には、予め定められた基準の傾斜となるように取付けられた撮像部１４の実際の傾斜が記憶される。

以後、メンテナンス作業および移動体１０の状態により、撮像装置１１の姿勢が変化し得る。例えば、洗浄などのメンテナンス作業により、撮像装置１１が基準の姿勢より下方に傾斜することがある（図４（ｂ）参照）。また、例えば、移動体１０のトランクに重量物を積載しているときに、移動体１０とともに撮像装置１１が基準の姿勢より下方に傾斜することがある（図４（ｃ）参照）。

このように、撮像装置１１が基準の姿勢より下方に傾斜すると、その変化量に応じて基準の領域を撮像部１４の受光面内で（被写体の上下関係と受光面上に結像する周辺画像の上下関係が反転しない場合において）上方に変位させた領域ａｒが、周辺画像全体の中で抽出する領域として、制御部１８によって定められる（図５（ｂ）参照）。

次に、第１の実施形態において制御部１８が実行する、設定処理について、図６のフローチャートを用いて説明する。制御部１８は、撮像部１４が周辺画像の撮像を実行する前に設定処理を実行する。

ステップＳ１００において、制御部１８は、傾斜検出部１６に撮像部１４の傾斜を検出させ、検出した傾斜を取得する。傾斜を取得すると、プロセスはステップＳ１０１に進む。

ステップＳ１０１では、制御部１８は、記憶部１７から基準の傾斜を読出す。基準の傾斜を読出すと、プロセスはステップＳ１０２に進む。

ステップＳ１０２では、制御部１８は、ステップＳ１０１において読出した基準の傾斜からの、ステップＳ１００において取得した傾斜の変化を算出する。傾斜の変化を算出すると、プロセスはステップＳ１０３に進む。

ステップＳ１０３では、制御部１８は、ステップＳ１０２において算出した傾斜の変化に応じて、撮像部１４の受光面内で抽出するべき領域を決定する。抽出する領域を決定すると、プロセスはステップＳ１０４に進む。

ステップＳ１０４では、制御部１８は、ステップＳ１０３において決定した領域を撮像部１４に通知する。抽出すべき領域を撮像部１４に通知すると、プロセスはステップＳ１０５に進む。

ステップＳ１０５では、制御部１８は、撮像部１４に、ステップＳ１０４において取得させた領域内の周辺画像を撮像させる。周辺画像の撮像後、設定処理を終了する。

以上のような構成の第１の実施形態の撮像装置１１によれば、取付け時からの撮像部１４の姿勢の変動に関わらず、撮像装置１１から送信される周辺画像の、地上に対する撮影エリアを一定に維持することが可能である。撮影エリアを一定に維持することが可能なので、運転の支援に対する影響を低減化可能である。

例えば、基準の傾斜において撮像部１４の受光面に図７（ａ）に示す周辺画像ｐｉが結像していたとすると、基準の傾斜から下方に傾斜した場合には図７（ａ）に示す周辺画像を下方に傾斜させた撮影エリアの周辺画像（図７（ｂ）参照）が結像する。このような現象に対して、第１の実施形態では、基準の傾斜から下方に傾斜すると傾斜の変化量に応じて抽出する領域ｅａを上方に変位させているので、地上に対する撮影エリアは一定となる。

また、第１の実施形態の撮像装置１１によれば、初期設定時に検出した実際の傾斜を基準の傾斜として、撮像時の傾斜と比較するので、傾斜に対する撮影エリアのズレの修正精度を向上させることが可能である。

また、第１の実施形態の撮像装置１１によれば、撮像装置１１単体で傾斜を検出するので、例えば移動体１０のトランクに重量物を積載している場合の撮影エリアのズレ修正においても移動体１０から傾斜の取得が不要であり、ＣＡＮおよびＬＡＮなどの接続が不要で移動体１０のハーネスの簡略化を図ることが可能である。

次に、本発明の第２の実施形態を説明する。第２の実施形態では撮像部の受光面全体の画素を用いて周辺画像を撮像し、画像処理部が出力する画像を抽出する点において第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第２の実施形態について説明する。なお、第１の実施形態と同じ構成を有する部位には同じ符号を付す。

図８に示すように、第２の実施形態の撮像装置１１０は、第１の実施形態と同様に、光学系１３、撮像部１４０、画像処理部１５０、傾斜検出部１６、記憶部１７、および制御部１８０を含んで構成される。光学系１３、傾斜検出部１６、および記憶部１７の構成および機能は第１の実施形態と同様である。

撮像部１４０は、例えばＣＣＤ撮像素子またはＣＭＯＳ撮像素子であって、受光面に結像した周辺画像を撮像する。受光面には７６８列×５７６行の画素が配置されており、撮像部１４０は全画素を用いて周辺画像を撮像する。第１の実施形態と異なり、撮像部１４０は、撮像する領域の選択が不可能であってもよく、任意の撮像手段を適用可能である。

画像処理部１５０は、第１の実施形態と異なり、撮像部１４０が撮像した周辺画像における特定の領域の画像を抽出する。画像処理部１５０は、抽出した周辺画像の一部に対して、第１の実施形態と同様の画像処理および指標の重畳を施す。

制御部１８０は、撮像装置１１０の各部位の動作を制御する。第１の実施形態と同様に、制御部１８０は、傾斜検出部１６が検出する傾斜および記憶部１７に記憶した傾斜に基づいて、周辺画像全体の中で抽出する領域の位置を設定する。第１の実施形態と異なり、制御部１８０は、決定した抽出する領域の位置を画像処理部１５０に通知し、周辺画像全体からの抽出を画像処理部１５０に実行させる。

次に、第２の実施形態において制御部１８０が実行する、設定処理について、図９のフローチャートを用いて説明する。制御部１８０は、撮像部１４０が周辺画像を撮像する度に設定処理を実行する。

ステップＳ２００からＳ２０３までは、制御部１８０は、第１の実施形態におけるステップＳ１００からＳ１０３と同じ処理を実行し、周辺画像全体の中で抽出する領域の位置を決定する。領域の位置を決定すると、プロセスはステップＳ２０４に進む。

ステップＳ２０４では、制御部１８０は、ステップＳ２０３で決定した領域を画像処理部１５０に通知する。抽出すべき領域を画像処理部１５０に通知すると、プロセスはステップＳ２０５に進む。

ステップＳ２０５では、制御部１８０は、画像処理部１５０に、撮像部１４０から取得した周辺画像全体の中から、ステップＳ２０４において取得させた領域内の画像を抽出させる。周辺画像の一部の抽出後、設定処理を終了する。

以上のような構成の第２の実施形態の撮像装置１１０によっても、第１の実施形態と同様に、取付け時からの撮像部１４０の姿勢の変動に関わらず、撮影エリアを一定に維持することが可能であって、運転の支援に対する影響を低減化可能である。また、第２の実施形態の撮像装置１１０によっても、第１の実施形態と同様に、初期設定時に検出した実際の傾斜を基準の傾斜として用いるので、傾斜に対する撮影エリアのズレの修正精度を向上させることが可能である。また、第２の実施形態の撮像装置１１０によっても、第１の実施形態と同様に、撮像装置１１０単体で傾斜を検出するので、移動体１０のハーネスの簡略化を図ることが可能である。

次に、本発明の第３の実施形態を説明する。第３の実施形態では撮像部の傾斜の変化に応じて指標の重畳位置を変位させる点において第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第３の実施形態について説明する。なお、第１の実施形態または第２の実施形態と同じ構成を有する部位には同じ符号を付す。

第３の実施形態の撮像装置１１０は、第１の実施形態と同様に、光学系１３、撮像部１４０、画像処理部１５０、傾斜検出部１６、記憶部１７、および制御部１８０を含んで構成される（図８参照）。光学系１３、傾斜検出部１６、及び記憶部１７の構成および機能は、第１の実施形態と同じである。また、撮像部１４０の構成および機能は、第２の実施形態と同じである。

画像処理部１５０は、第１の実施形態と同様に、撮像部１４０が撮像した周辺画像に対して所定の画像処理を施す。また、画像処理部１５０は、第１の実施形態と同様に、周辺画像上に運転支援のための指標１９を重畳する。ただし、画像処理部１５０は、第１の実施形態と異なり、後述するように制御部１８０が定める位置に、指標１９を重畳する。

制御部１８０は、撮像装置１１０の各部位の動作を制御する。例えば、制御部１８０は、後述するように、傾斜検出部１６が検出する傾斜および記憶部１７に記憶した傾斜に基づいて、周辺画像において指標を重畳する位置を設定する。

以下に、周辺画像において指標１９を重畳する位置の設定について説明する。

第１の実施形態と同様に、移動体１０への撮像装置１１０の取付け位置および取り付け姿勢が予め定められており、当該取付け位置および取付け姿勢で移動体１０に取り付けられたときの撮像部１４０の傾斜が基準の傾斜として定められる（図４（ａ）参照）。また、移動体１０が前後方向および左右方向に傾斜していない状態で撮像装置１１０が当該取付け位置および取付け姿勢で取付けられている状態において、後進時の移動体１０の両端の通過する軌跡の位置および移動体１０からの後方の所定の距離の位置が周辺画像ｐｉにおける指標１９を表示する基準の位置として定められる（図１０（ａ）参照）。

第１の実施形態と同様に、移動体１０への撮像装置１１０の取付け後に、作業者の初期設定操作に応じて、制御部１８０は傾斜検出部１６に撮像部１４０の傾斜を検出させ、記憶部１７に記憶させる。

第１の実施形態と同様に、メンテナンス作業および移動体１０の状態により、撮像装置１１０の姿勢が変化し得る（図４（ｂ）、（ｃ）参照）。

このように、撮像装置１１０が基準の姿勢より下方に傾斜すると、その変化量に応じて指標の重畳位置を基準の位置から上方に変位させた位置が、周辺画像ｐｉ上における指標１９の重畳位置として、制御部１８０によって定められる（図１０（ｂ）参照）。

次に、第３の実施形態において制御部１８０が実行する、設定処理について、図１１のフローチャートを用いて説明する。制御部１８０は、撮像部１４０が周辺画像を撮像する度に設定処理を実行する。

ステップＳ３００からＳ３０２までは、制御部１８０は、第１の実施形態におけるステップＳ１００からＳ１０２と同じ処理を実行する。ステップＳ３０２において傾斜の変化を算出すると、プロセスはステップＳ３０３に進む。

ステップＳ３０３では、制御部１８０は、ステップＳ３０２において算出した傾斜の変化に基づいて、周辺画像上において指標１９を重畳する位置を決定する。重畳する位置を決定すると、プロセスはステップＳ３０４に進む。

ステップＳ３０４では、制御部１８０は、ステップＳ３０３において決定した重畳位置を画像処理部１５０に通知する。重畳位置を通知すると、プロセスはステップＳ３０５に進む。

ステップＳ３０５では、制御部１８０は、画像処理部１５０に、周辺画像上の、ステップＳ３０４において通知した重畳位置に、指標１９を重畳させる。指標１９の重畳後、設定処理を終了する。

以上のような構成の第３の実施形態の撮像装置１１０によれば、取付け時からの撮像部１４０の姿勢の変動に関わらず、周辺画像中の被写体に対して一定の位置に指標１９を重畳させることが可能である。したがって、運転を支援する指標１９が被写体の画像に対して一定の位置に表示されるので、運転の支援に対する影響を低減化可能である。

また、第３の実施形態の撮像装置１１０によっても、第１の実施形態と同様に、初期設定時に検出した実際の傾斜を基準の傾斜として用いるので、傾斜に対する指標１９のズレの修正精度を向上させることが可能である。また、第３の実施形態の撮像装置によっても、第１の実施形態と同様に、撮像装置１１０単体で傾斜を検出するので、移動体１０のハーネスの簡略化を図ることが可能である。

本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。

１０ 移動体
１１、１１０ 撮像装置
１２ 表示装置
１３ 光学系
１４、１４０ 撮像部
１５、１５０ 画像処理部
１６ 傾斜検出部
１７ 記憶部
１８、１８０ 制御部
１９ 指標
２０ 車幅延長線
２１ 距離目安線
ａｒ 領域
ｅａ 抽出する領域
ｐｉ 周辺画像

Claims (8)

1. 周辺画像を撮像可能な撮像部と、
   前記撮像部の傾斜を検出する傾斜検出部と、
   前記傾斜検出部が検出する前記撮像部の傾斜の変化に応じて、前記周辺画像から抽出する領域を定める制御部とを備える
   ことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置であって、前記制御部は前記周辺画像における前記抽出する領域内の画像を前記撮像部に撮像させることを特徴とする撮像装置。
3. 請求項１に記載の撮像装置であって、
   前記撮像部が撮像した前記周辺画像に画像処理を施す画像処理部を、さらに備え、
   前記制御部は、前記周辺画像における前記抽出する領域内の画像を、前記画像処理部に抽出させる
   ことを特徴とする撮像装置。
4. 周辺画像を撮像する撮像部と、
   前記撮像部の傾斜を検出する傾斜検出部と、
   前記撮像部が撮像した前記周辺画像上に指標を重畳する画像処理部と、
   前記傾斜検出部が検出する前記撮像部の傾斜の変化に応じて、前記周辺画像上における前記指標の重畳位置を定める制御部とを備える
   ことを特徴とする撮像装置。
5. 請求項１から請求項４のいずれか１項に記載の撮像装置であって、
   初期状態において前記傾斜検出部が検出する傾斜を記憶する記憶部を、さらに備え、
   前記制御部は、前記記憶部に記憶した傾斜および前記傾斜検出部が検出する傾斜の間の差を前記傾斜の変化として用いる
   ことを特徴とする撮像装置。
6. 請求項１から請求項５のいずれか１項に記載の撮像装置を備える移動体。
7. 傾斜を検出する検出ステップと、
   前記検出ステップにおいて検出した傾斜の変化に応じて、前記撮像装置が撮像可能な周辺画像から抽出する領域を定める領域設定ステップとを備える
   ことを特徴とする設定方法。
8. 周辺画像を撮像する撮像ステップと、
   傾斜を検出する検出ステップと、
   前記検出ステップにおいて検出した傾斜の変化に応じて、前記周辺画像上における指標の重畳位置を定める位置設定ステップと、
   前期撮像ステップにおいて撮像した前記周辺画像上の、前記位置設定ステップにおいて定められた前記重畳位置に、前記指標を重畳する重畳ステップとを備える
   ことを特徴とする設定方法。

Images