JP2020053819A - 撮像システム、撮像装置、および信号処理装置 - Google Patents

Abstract

【課題】信号処理装置において撮像装置から受信したデータを記憶するためのメモリ量、信号処理装置が受信したデータに対する信号処理による演算量、および撮像装置と信号処理装置間でのデータの転送量を削減する。【解決手段】実施形態の撮像システムは、一例として、撮像装置と、信号処理装置と、を備える。撮像装置は、キャッシュメモリと、撮像制御部と、を備える。撮像制御部は、被写体の赤外線画像と、撮像装置から被写体までの距離を示す奥行き情報と、を取得し、赤外線画像を信号処理装置に送信し、かつ奥行き情報をキャッシュメモリに保存する。信号処理装置は、撮像装置から赤外線画像を受信し、当該赤外線画像における所定位置の二次元座標を検出し、キャッシュメモリから、二次元座標に対応する奥行き情報を取得し、二次元座標および取得した奥行き情報に基づいて、三次元空間内における所定位置の三次元座標を生成し、三次元座標に基づいて、外部機器に対して制御信号を出力する。【選択図】図４

Description

本発明の実施形態は、撮像システム、撮像装置、および信号処理装置に関する。

１つの撮像装置によって、被写体までの距離を示す距離情報および被写体の赤外線画像を含む三次元画像を得る技術が開発されている。

特許第４８２０２２１号公報

ところで、１つの撮像装置により得られる距離情報および赤外線画像を、当該距離情報および赤外線画像に基づいて各種処理を実行する信号処理装置に出力する場合、複数のチャネルを用いる。

しかしながら、距離情報および赤外線画像の両方を信号処理装置に出力する場合、赤外線画像のみを信号処理装置に出力する場合と比較して、距離情報および赤外線画像等の各種情報の出力に要するメモリ量や、演算量、データ転送量が増大するため、リッチなシステム構成が必要となる。

そこで、実施形態の課題の一つは、信号処理装置において撮像装置から受信したデータを記憶するためのメモリ量、信号処理装置が受信したデータに対する信号処理による演算量、および撮像装置と信号処理装置間でのデータの転送量を削減できる撮像システム、撮像装置、および信号処理装置を提供することである。

実施形態の撮像システムは、一例として、撮像装置と、信号処理装置と、を備える。撮像装置は、キャッシュメモリと、撮像制御部と、を備える。撮像制御部は、被写体の赤外線画像と、撮像装置から被写体までの距離を示す奥行き情報と、を取得し、赤外線画像を信号処理装置に送信し、かつ奥行き情報をキャッシュメモリに保存する。信号処理装置は、撮像装置から赤外線画像を受信し、当該赤外線画像における所定位置の二次元座標を検出し、キャッシュメモリから、二次元座標に対応する奥行き情報を取得し、二次元座標および取得した奥行き情報に基づいて、三次元空間内における所定位置の三次元座標を生成し、三次元座標に基づいて、外部機器に対して制御信号を出力する。よって、一例として、信号処理装置において撮像装置から受信したデータ（赤外線画像および奥行き情報）を記憶するためのメモリ量、信号処理装置が受信したデータに対する信号処理による演算量、および撮像装置と信号処理装置間でのデータの転送量を削減することができる。

また、実施形態の撮像システムは、一例として、撮像装置は、被写体に対して赤外線を照射する照射部と、赤外線の前記被写体からの反射光を受光する受光部と、を備え、撮像制御部は、反射光に基づいて、被写体の赤外線画像を取得し、キャッシュメモリは、外部の撮像装置によって被写体を撮像して得られるＲＧＢ画像を記憶し、信号処理制御部は、キャッシュメモリからＲＧＢ画像を取得し、取得したＲＧＢ画像を含む制御信号を外部機器に出力する。よって、一例として、信号処理装置において外部の撮像装置ら受信したデータを記憶するためのメモリ量、信号処理装置が受信したデータに対する信号処理による演算量、および外部の撮像装置と信号処理装置間でのデータの転送量を削減することができる。

また、実施形態の撮像装置は、一例として、キャッシュメモリと、撮像制御部と、を備える。撮像制御部は、被写体の赤外線画像と、被写体までの距離を示す奥行き情報と、を取得し、赤外線画像を、信号処理装置に送信し、かつ奥行き情報を前記キャッシュメモリに保存する。よって、一例として、信号処理装置において撮像装置から受信したデータ（赤外線画像および奥行き情報）を記憶するためのメモリ量、信号処理装置が受信したデータに対する信号処理による演算量、および撮像装置と信号処理装置間でのデータの転送量を削減することができる。

また、実施形態の撮像装置は、一例として、被写体に対して赤外線を照射する照射部と、赤外線の被写体からの反射光を受光する受光部と、を備え、撮像制御部は、反射光に基づいて、被写体の赤外線画像を取得し、キャッシュメモリは、外部の撮像装置によって被写体を撮像して得られるＲＧＢ画像を記憶する。よって、一例として、信号処理装置において外部の撮像装置ら受信したデータを記憶するためのメモリ量、信号処理装置が受信したデータに対する信号処理による演算量、および外部の撮像装置と信号処理装置間でのデータの転送量を削減することができる。

また、実施形態の信号処理装置は、一例として、被写体の赤外線画像と被写体までの距離を示す奥行き情報とを取得可能な撮像装置から、赤外線画像を受信し、当該赤外線画像における所定位置の二次元座標を検出し、撮像装置が有するキャッシュメモリから、二次元座標に対応する奥行き情報を取得し、二次元座標および取得した奥行き情報に基づいて、三次元空間内における所定位置の三次元座標を生成し、三次元座標に基づいて、外部機器に対して制御信号を出力する信号処理制御部、を備える。よって、一例として、信号処理装置において撮像装置から受信したデータ（赤外線画像および奥行き情報）を記憶するためのメモリ量、信号処理装置が受信したデータに対する信号処理による演算量、および撮像装置と信号処理装置間でのデータの転送量を削減することができる。

また、実施形態の信号処理装置は、一例として、信号処理制御部は、撮像装置から、赤外線画像を受信し、キャッシュメモリから、撮像装置とは異なる外部の撮像装置によって被写体を撮像して得られるＲＧＢ画像を取得し、取得したＲＧＢ画像を含む制御信号を外部機器に対して出力する。よって、一例として、信号処理装置において外部の撮像装置ら受信したデータを記憶するためのメモリ量、信号処理装置が受信したデータに対する信号処理による演算量、および外部の撮像装置と信号処理装置間でのデータの転送量を削減することができる。

図１は、第１の実施形態にかかる撮像システムを搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。 図２は、第１の実施形態にかかる車両の一例の平面図である。 図３は、第１の実施形態にかかる車両の機能構成の一例を示すブロック図である。 図４は、第１の実施形態にかかる車両が有する車室内カメラおよびＥＣＵの機能構成の一例を示すブロック図である。 図５は、第１の実施形態にかかる車両の信号処理装置において二次元座標を検出する所定位置の一例を示す図である。 図６は、第１の実施形態にかかる車両の信号処理装置における三次元座標の生成処理の一例を説明するための図である。 図７は、第２の実施形態にかかる車両が有する車室内カメラ、撮像部、およびＥＣＵの機能構成の一例を示すブロック図である。 図８は、第２の実施形態にかかる車両によって表示されるＲＧＢ画像の一例を示す図である。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によって実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも１つを得ることが可能である。

本実施形態にかかる撮像装置および信号処理装置を有する撮像システムを搭載する車両は、内燃機関（エンジン）を駆動源とする自動車（内燃機関自動車）であっても良いし、電動機（モータ）を駆動源とする自動車（電気自動車、燃料電池自動車等）であっても良いし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であっても良い。また、車両は、種々の変速装置、内燃機関や電動機の駆動に必要な種々の装置（システム、部品等）を搭載可能である。また、車両における車輪の駆動に関わる装置の方式、個数、レイアウト等は、種々に設定可能である。

（第１の実施形態）
図１は、第１の実施形態にかかる撮像システムを搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。図１に示すように、車両１は、車体２と、操舵部４と、加速操作部５と、制動操作部６と、変速操作部７と、モニタ装置１１と、を備える。車体２は、乗員が乗車する車室２ａを有する。車室２ａ内には、乗員としての運転手が座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールである。加速操作部５は、例えば、運転手の足下に位置されたアクセルペダルである。制動操作部６は、例えば、運転手の足下に位置されたブレーキペダルである。変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。

モニタ装置１１は、例えば、ダッシュボード２４の車幅方向（すなわち、左右方向）の中央部に設けられる。モニタ装置１１は、例えば、ナビゲーションシステムまたはオーディオシステム等の機能を有していても良い。モニタ装置１１は、表示装置８、音声出力装置９、および操作入力部１０を有する。また、モニタ装置１１は、スイッチ、ダイヤル、ジョイスティック、および押しボタン等の各種の操作入力部を有しても良い。

表示装置８は、ＬＣＤ（Liquid Crystal Display）やＯＥＬＤ（Organic Electroluminescent Display）等で構成され、画像データに基づいて各種画像を表示可能である。音声出力装置９は、スピーカ等で構成され、音声データに基づいて各種音声を出力する。音声出力装置９は、車室２ａ内において、モニタ装置１１以外の異なる位置に設けられていても良い。

操作入力部１０は、タッチパネル等で構成され、乗員による各種情報の入力を可能とする。また、操作入力部１０は、表示装置８の表示画面に設けられ、表示装置８に表示される画像を透過可能である。これにより、操作入力部１０は、表示装置８の表示画面に表示される画像を乗員に視認させることを可能とする。操作入力部１０は、表示装置８の表示画面上における乗員のタッチ操作を検出することによって、乗員による各種情報の入力を受け付ける。

図２は、第１の実施形態にかかる車両の一例の平面図である。図１および図２に示すように、車両１は、四輪自動車等であり、左右２つの前輪３Ｆと、左右２つの後輪３Ｒと、を有する。４つの車輪３の全てまたは一部が、転舵可能である。

車両１は、複数の撮像部１５（車載カメラ）を搭載する。本実施形態では、車両１は、例えば、４つの撮像部１５ａ〜１５ｄを搭載する。撮像部１５は、ＣＣＤ（Charge Coupled Device）またはＣＩＳ（CMOS Image Sensor）等の撮像素子を有するデジタルカメラである。撮像部１５は、所定のフレームレートで車両１の周囲を撮像可能である。そして、撮像部１５は、車両１の周囲を撮像して得られた撮像画像を出力する。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には、例えば、１４０°〜２２０°の範囲を撮像可能である。また、撮像部１５の光軸は、斜め下方に向けて設定されている場合もある。

具体的には、撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置し、リアハッチのドア２ｈのリアウィンドウの下方の壁部に設けられている。そして、撮像部１５ａは、車両１の周囲のうち、当該車両１の後方の領域を撮像可能である。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置し、右側のドアミラー２ｇに設けられている。そして、撮像部１５ｂは、車両１の周囲のうち、当該車両の側方の領域を撮像可能である。撮像部１５ｃは、例えば、車体２の前側、すなわち、車両１の前後方向の前方側の端部２ｃに位置し、フロントバンパやフロントグリル等に設けられている。そして、撮像部１５ｃは、車両１の周囲のうち、当該車両１の前方の領域を撮像可能である。撮像部１５ｄは、例えば、車体２の左側、すなわち、車幅方向の左側の端部２ｄに位置し、左側のドアミラー２ｇに設けられている。そして、撮像部１５ｄは、車両１の周囲のうち、当該車両１の側方の領域を撮像可能である。

また、車室２ａ内には、図１および図２に示すように、車室内カメラ１６（撮像装置）が設けられている。車室内カメラ１６は、被写体（車室２ａ内の乗員、座席２ｂ等、車室２ａ内に存在する物体）の赤外線画像と、当該車室内カメラ１６から被写体までの距離を示す奥行き情報と、を取得可能である。本実施形態では、車室内カメラ１６は、ＴＯＦ（Time Of Flight）カメラであり、被写体の赤外線画像および奥行き情報を取得可能な撮像装置である。

図３は、第１の実施形態にかかる車両の機能構成の一例を示すブロック図である。図３に示すように、車両１は、操舵システム１３と、ブレーキシステム１８と、舵角センサ１９と、アクセルセンサ２０と、シフトセンサ２１と、車輪速センサ２２と、車内ネットワーク２３と、ＥＣＵ（Electronic Control Unit）１４と、撮像部１５と、撮像システム１７と、を備える。モニタ装置１１、操舵システム１３、撮像システム１７、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、およびＥＣＵ１４は、電気通信回線である車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、ＣＡＮ（Controller Area Network）等により構成される。

操舵システム１３は、電動パワーステアリングシステムやＳＢＷ（Steer By Wire）システム等である。操舵システム１３は、アクチュエータ１３ａおよびトルクセンサ１３ｂを有する。そして、操舵システム１３は、ＥＣＵ１４等によって電気的に制御され、アクチュエータ１３ａを動作させて、操舵部４に対して、トルクを付加して操舵力を補うことによって、車輪３を転舵する。トルクセンサ１３ｂは、運転者が操舵部４に与えるトルクを検出し、その検出結果をＥＣＵ１４に送信する。

撮像システム１７は、車室内カメラ１６およびＥＣＵ１７ａを備える。ＥＣＵ１７ａは、車室内カメラ１６によって取得される被写体の赤外線画像および奥行き情報に基づいて、車両１が有する制御ユニット４２０（図４参照）等の外部機器を制御する。

ブレーキシステム１８は、車両１のブレーキのロックを制御するＡＢＳ（Anti-lock Brake System）、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：Electronic Stability Control）、ブレーキ力を増強させてブレーキをアシストする電動ブレーキシステム、およびＢＢＷ（Brake By Wire）を含む。ブレーキシステム１８は、アクチュエータ１８ａおよびブレーキセンサ１８ｂを有する。ブレーキシステム１８は、ＥＣＵ１４等によって電気的に制御され、アクチュエータ１８ａを介して、車輪３に制動力を付与する。ブレーキシステム１８は、左右の車輪３の回転差等から、ブレーキのロック、車輪３の空回り、および横滑りの兆候等を検出して、ブレーキのロック、車輪３の空回り、および横滑りを抑制する制御を実行する。ブレーキセンサ１８ｂは、制動操作部６の可動部としてのブレーキペダルの位置を検出する変位センサであり、ブレーキペダルの位置の検出結果をＥＣＵ１４に送信する。

舵角センサ１９は、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。本実施形態では、舵角センサ１９は、ホール素子等で構成され、操舵部４の回転部分の回転角度を操舵量として検出し、その検出結果をＥＣＵ１４に送信する。アクセルセンサ２０は、加速操作部５の可動部としてのアクセルペダルの位置を検出する変位センサであり、その検出結果をＥＣＵ１４に送信する。

シフトセンサ２１は、変速操作部７の可動部（バー、アーム、ボタン等）の位置を検出するセンサであり、その検出結果をＥＣＵ１４に送信する。車輪速センサ２２は、ホール素子等を有し、車輪３の回転量や単位時間当たりの車輪３の回転数を検出するセンサであり、その検出結果をＥＣＵ１４に送信する。

ＥＣＵ１４は、コンピュータ等で構成され、ハードウェアとソフトウェアが協働することにより、車両１の制御全般を司る。具体的には、ＥＣＵ１４は、ＣＰＵ（Central Processing Unit）１４ａ、ＲＯＭ（Read Only Memory）１４ｂ、ＲＡＭ（Random Access Memory）１４ｃ、表示制御部１４ｄ、音声制御部１４ｅ、およびＳＳＤ（Solid State Drive）１４ｆを備える。ＣＰＵ１４ａ、ＲＯＭ１４ｂ、およびＲＡＭ１４ｃは、同一の回路基板内に設けられていても良い。

ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶されたプログラムを読み出し、当該プログラムに従って各種の演算処理を実行する。例えば、ＣＰＵ１４ａは、表示装置８に表示させる画像データに対する画像処理、駐車位置等の目標位置までの目標経路に従った車両１の走行の制御処理等を実行する。

ＲＯＭ１４ｂは、各種プログラムおよび当該プログラムの実行に必要なパラメータ等を記憶する。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種データを一時的に記憶する。表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５から取得してＣＰＵ１４ａへ出力する画像データに対する画像処理、ＣＰＵ１４ａから取得した画像データを表示装置８に表示させる表示用の画像データへの変換等を実行する。音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、ＣＰＵ１４ａから取得して音声出力装置９に出力させる音声の処理を実行する。ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもＣＰＵ１４ａから取得したデータを記憶し続ける。

図４は、第１の実施形態にかかる車両が有する撮像システムの機能構成の一例を示すブロック図である。まず、撮像システム１７が有する車室内カメラ１６の機能的な構成の一例について説明する。

図４に示すように、車室内カメラ１６は、照射部４１０、受光部４１１、ＲＡＭ４１２、および撮像制御部４１３を備える。ＲＡＭ４１２は、奥行き情報等の各種情報を記憶可能なキャッシュメモリである。

照射部４１０は、後述する撮像制御部４１３により制御され、車室２ａ内に存在する乗員等の被写体に対して赤外線を照射可能に設けられる。受光部４１１は、後述する撮像制御部４１３により制御され、照射部４１０から照射される赤外線の被写体からの反射光を受光可能に設けられる。

撮像制御部４１３は、被写体を撮像して得られる、被写体の赤外線画像と、奥行き情報と、を取得（生成）する。本実施形態では、撮像制御部４１３は、照射部４１０および受光部４１１を制御して、受光部４１１により受光した被写体からの反射光に基づいて、被写体の赤外線画像（ＩＲ画像）、および車室内カメラ１６から被写体までの距離を示す奥行き情報を取得する。本実施形態では、撮像制御部４１３は、予め設定されたフレームレートで、予め設定された解像度（例えば、６４０×４８０）の赤外線画像および奥行き情報を取得する。

また、撮像制御部４１３は、取得した赤外線画像を後述する信号処理装置４００に送信する。本実施形態では、撮像制御部４１３は、予め設定されたフレームレートで赤外線画像が取得される度に、当該取得された赤外線画像を信号処理装置４００に送信する。

さらに、撮像制御部４１３は、取得した奥行き情報をＲＡＭ４１２に保存する。これにより、車室内カメラ１６の撮像により得られる全ての奥行き情報が後述する信号処理装置４００に送信されることを防止できる。その結果、信号処理装置４００において車室内カメラ１６から受信したデータ（赤外線画像および奥行き情報）を記憶するためのメモリ量、信号処理装置４００が受信したデータに対する信号処理による演算量、および車室内カメラ１６と信号処理装置４００間でのデータの転送量を削減することができる。

また、信号処理装置４００へのデータの出力に関わる演算量を削減できるので、車室内カメラ１６における消費電力を削減できる。また、信号処理装置４００へ送信するデータの転送量が削減できるので、より高解像度の赤外線画像を信号処理装置４００に送信できる。さらに、信号処理装置４００へのデータの出力に関わる演算量が削減され、車室内カメラ１６が有するＣＰＵ等の演算装置を低スペック化することができるので、車室内カメラ１６を安価に実現でき、かつ車室内カメラ１６を小型化することができる。

本実施形態では、撮像制御部４１３は、ＲＡＭ４１２に記憶される奥行き情報のうち、信号処理装置４００において赤外線画像を用いた外部機器の制御が終わる度に、当該赤外線画像と同期して取得された奥行き情報を、ＲＡＭ４１２から消去するものとする。

次に、撮像システム１７が有するＥＣＵ１７ａの機能的な構成の一例について説明する。

図４に示すように、ＥＣＵ１７ａは、信号処理装置４００、ＲＡＭ４３０、およびＲＯＭ４４０を備える。ＲＯＭ４４０は、各種プログラムおよび当該プログラムの実行に必要なパラメータ等を記憶する。ＲＡＭ４３０は、信号処理装置４００での演算で用いられる各種データを一時的に記憶する。本実施形態では、回路基板に搭載されたＣＰＵ等のプロセッサを有する信号処理装置４００が、ＲＯＭ４４０等の記憶媒体内に格納された制御プログラムを実行することにより、信号処理装置４００は、２Ｄ座標検出部４０１、３Ｄ座標生成部４０２、距離算出部４０３、および制御信号出力部４０４の機能を実現する。信号処理装置４００の一部または全部を回路等のハードウェアによって構成しても良い。本実施形態では、２Ｄ座標検出部４０１、３Ｄ座標生成部４０２、距離算出部４０３、および制御信号出力部４０４が、信号処理制御部として機能する。

２Ｄ座標検出部４０１は、車室内カメラ１６から、赤外線画像を受信する。そして、２Ｄ座標検出部４０１は、受信した赤外線画像における所定位置の座標（以下、二次元座標と言う）を検出する。ここで、所定位置は、赤外線画像上における予め設定された位置である。

図５は、第１の実施形態にかかる車両の信号処理装置において二次元座標を検出する所定位置の一例を示す図である。図５に示す赤外線画像５００において、車両１の車幅方向に対応する横方向をｘ軸とし、車両１の高さ方向に対応する縦方向をｙ軸とする。

例えば、車室内カメラ１６の撮像により得られる赤外線画像５００および奥行き情報を用いて、車両１が有するエアバックを放出する角度や強度の制御や、座席２ｂの位置であるシート位置の検出等を行う場合、２Ｄ座標検出部４０１は、図５に示すように、赤外線画像５００に含まれる人物画像５０１の頭部Ｖ１、右手Ｖ２、右肩Ｖ３、左肩Ｖ４、左手Ｖ５、および腰Ｖ６を所定位置として検出する。

そして、２Ｄ座標検出部４０１は、図５に示すように、赤外線画像５００に含まれる人物画像５０１の頭部Ｖ１、右手Ｖ２、右肩Ｖ３、左肩Ｖ４、左手Ｖ５、および腰Ｖ６のそれぞれの二次元座標であるＶ１：（ｘ１，ｙ１）、Ｖ２：（ｘ２，ｙ２）、Ｖ３：（ｘ３，ｙ３）、Ｖ４：（ｘ４，ｙ４）、Ｖ５：（ｘ５，ｙ５）、およびＶ６：（ｘ６，ｙ６）を検出する。

図４に戻り、３Ｄ座標生成部４０２は、車室内カメラ１６が有するＲＡＭ４１２から、２Ｄ座標検出部４０１により抽出される二次元座標に対応する奥行き情報を取得する。これにより、車室内カメラ１６の撮像により得られる全ての奥行き情報が信号処理装置４００に送信されることを防止できる。その結果、信号処理装置４００において車室内カメラ１６から受信したデータ（赤外線画像および奥行き情報）を記憶するためのメモリ量、信号処理装置４００が受信したデータに対する信号処理による演算量、および車室内カメラ１６と信号処理装置４００間でのデータの転送量を削減することができる。

また、車室内カメラ１６からのデータの入力に関わる演算量を削減できるので、信号処理装置４００における消費電力を削減できる。また、信号処理装置４００へ送信するデータの転送量が削減できるので、より高解像度の赤外線画像を取得可能となる。さらに、車室内カメラ１６からのデータの入力に関わる演算量が削減され、信号処理装置４００が有するＣＰＵ１４ａ等の演算装置を低スペック化することができるので、信号処理装置４００を安価に実現でき、かつ信号処理装置４００を小型化することができる。

ここで、二次元座標に対応する奥行き情報とは、二次元座標を抽出した赤外線画像と同期して車室内カメラ１６により得られる奥行き情報のうち、車室内カメラ１６から、被写体における所定位置に対応する位置までの距離を示す奥行き情報である。

また、３Ｄ座標生成部４０２は、２Ｄ座標検出部４０１により抽出される二次元座標およびＲＡＭ４１２から取得する奥行き情報に基づいて、立体空間（三次元空間、実空間）内における所定位置の座標（以下、三次元座標と言う）を生成する。本実施形態では、３Ｄ座標生成部４０２は、二次元座標および奥行き情報に基づいて、立体空間内における所定位置の三次元座標を生成する。

図６は、第１の実施形態にかかる車両の信号処理装置における三次元座標の生成処理の一例を説明するための図である。図６に示す立体空間６００は、車両１の車幅方向に対応する方向をｘ´軸とし、車両１の高さ方向をｙ´軸とし、および車両１の進行方向をｚ´軸とする立体空間であるものとする。

図５に示す赤外線画像５００に含まれる人物画像５０１から、頭部Ｖ１、右手Ｖ２、右肩Ｖ３、左肩Ｖ４、左手Ｖ５、および腰Ｖ６のそれぞれの二次元座標が検出された場合、３Ｄ座標生成部４０２は、当該二次元座標および奥行き情報に基づいて、図６に示すように、立体空間６００における、頭部Ｖ１、右手Ｖ２、右肩Ｖ３、左肩Ｖ４、左手Ｖ５、および腰Ｖ６のそれぞれの三次元座標であるＶ１：（ｘ１´，ｙ１´，ｚ１´）、Ｖ２：（ｘ２´，ｙ２´，ｚ２´）、Ｖ３：（ｘ３´，ｙ３´，ｚ３´）、Ｖ４：（ｘ４´，ｙ４´，ｚ４´）、Ｖ５：（ｘ５´，ｙ５´，ｚ５´）、およびＶ６：（ｘ６´，ｙ６´，ｚ６´）を生成する。

本実施形態では、信号処理装置４００が赤外線画像および奥行き情報を受信または取得する二次元画像装置が車室内カメラ１６である例について説明するが、赤外線画像および奥行き情報を取得可能でありかつ車室内カメラ１６と同様の構成を有する撮像装置であれば、これに限定するものではない。例えば、信号処理装置４００が赤外線画像および奥行き情報を受信または取得する二次元画像装置が、車両１の周辺を撮像可能な撮像部１５であっても良い。

図４に戻り、距離算出部４０３は、３Ｄ座標生成部４０２により生成される複数の所定位置のそれぞれの三次元座標に基づいて、立体空間内における所定位置間の距離（言い換えると、三次元座標間の距離）を算出する。例えば、距離算出部４０３は、車両１が有するエアバックを放出する角度や強度、座席２ｂの位置であるシート位置、座席２ｂに着座した乗員の骨格の検出等を行う場合、図６に示すように、立体空間６００内における、人物画像の頭部Ｖ１：（ｘ１´，ｙ１´，ｚ１´）と腰Ｖ６：（ｘ６´，ｙ６´，ｚ６´）との間の距離Ｌを算出する。

本実施形態では、信号処理装置４００は、距離算出部４０３を有しているが、制御信号出力部４０４が、３Ｄ座標生成部４０２により生成される三次元座標に基づいて、外部機器に対して制御信号を出力可能であれば、距離算出部４０３を有していなくても良い。

制御信号出力部４０４は、距離算出部４０３により算出される三次元座標間の距離に基づいて、車内ネットワーク２３を介して、制御ユニット４２０等の外部機器に対して制御信号を出力する。本実施形態では、制御信号出力部４０４は、距離算出部４０３により算出される距離に基づいて、外部機器に対して制御信号を出力しているが、３Ｄ座標生成部４０２により生成される三次元座標に基づいて、車内ネットワーク２３を介して、外部機器に対して制御信号を出力するものであれば良い。

例えば、車両１が有するエアバックの制御ユニット（ＳＲＳ（Supplemental Restraint System）エアバックシステム）が制御ユニット４２０である場合、制御信号出力部４０４は、三次元座標間の距離に基づいて、エアバックを飛び出させる向きや、エアバックを飛び出させる際のエアバック内の圧力を制御する制御信号をＳＲＳエアバックシステムである制御ユニット４２０に出力する。

また、例えば、座席２ｂのシート位置を制御する制御ユニットが制御ユニット４２０である場合、制御信号出力部４０４は、三次元座標間の距離に基づいて、算出した三次元座標間の距離に対応する骨格の乗員に適したシート位置に、座席２ｂを移動させるための制御信号を座席２ｂの制御ユニット４２０に出力する。

制御ユニット４２０は、制御信号出力部４０４から入力される制御信号に基づいて、車両１が有する各種機能（例えば、エアバックの制御機能や、座席２ｂの位置の自動調整機能）を実行する。

このように、第１の実施形態にかかる車両１によれば、車室内カメラ１６の撮像により得られる全ての奥行き情報が信号処理装置４００に送信されることを防止できる。その結果、信号処理装置４００において車室内カメラ１６から受信したデータ（赤外線画像および奥行き情報）を記憶するためのメモリ量、信号処理装置４００が受信したデータに対する信号処理による演算量、および車室内カメラ１６と信号処理装置４００間でのデータの転送量を削減することができる。

（第２の実施形態）
本実施形態は、車室内カメラが有するＲＡＭが、外部の撮像装置によって被写体を撮像して得られるＲＧＢ画像を記憶し、信号処理装置が、ＲＡＭからＲＧＢ画像を取得し、三次元座標、および取得したＲＧＢ画像を含む制御信号を外部機器に出力する例である。以下の説明では、第１の実施形態と同様の箇所については説明を省略する。

図７は、第２の実施形態にかかる車両が有する撮像システムの機能構成の一例を示すブロック図である。図７に示すように、本実施形態では、車両１は、車室内カメラ１６とは異なるカメラであり、車両１に乗車した乗員を撮像可能に設けられる撮像部７００を有する。

撮像部７００は、ＣＣＤまたはＣＩＳ等の撮像素子を有するデジタルカメラであり、車室２ａ内を撮像して得られるＲＧＢ画像を、車室内カメラ１６が有するＲＡＭ４１２に保存する。本実施形態では、撮像部７００は、車室内カメラ１６の撮像に同期して、車室２ａ内を撮像するものとする。

本実施形態では、撮像部７００によって車室２ａ内を撮像して得られるＲＧＢ画像をＲＡＭ４１２に保存しているが、これに限定するものではなく、車両１の外部を撮像可能な撮像部１５から出力される撮像画像（ＲＧＢ画像）や、車両１に関する車両情報（例えば、舵角センサ１９により検出される操舵量、車輪速センサ２２により検出される車輪３の回転数）をＲＡＭ４１２に保存しても良い。

本実施形態では、ＥＣＵ７２０が有する信号処理装置７１０の制御信号出力部７１１は、ＲＡＭ４１２からＲＧＢ画像を取得する。その際、制御信号出力部７１１は、ＲＡＭ４１２から、２Ｄ座標検出部４０１により二次元座標を検出した赤外線画像と同期して出力されたＲＧＢ画像を取得するものとする。そして、制御信号出力部７１１は、取得したＲＧＢ画像を含む制御信号を制御ユニット４２０に対して出力する。

これにより、車室内カメラ１６以外の撮像部７００の撮像により得られる撮像画像を制御信号として制御ユニット４２０に出力する場合に、撮像部７００の撮像により得られる全ての撮像画像が信号処理装置７１０に送信されることを防止できる。その結果、信号処理装置７１０において撮像部７００から受信したデータを記憶するためのメモリ量、信号処理装置７１０が受信したデータに対する信号処理による演算量、および撮像部７００と信号処理装置７１０間でのデータの転送量を削減することができる。

本実施形態では、制御信号出力部７１１は、制御ユニット４２０が表示装置８にＲＧＢ画像を表示する機能を有する場合に、取得したＲＧＢ画像および三次元座標を含む制御信号を制御ユニット４２０に出力するものとする。その際、制御信号出力部７１１は、所定位置を識別可能とする位置情報をＲＧＢ画像に重畳し、位置情報が重畳されたＲＧＢ画像を含む制御信号を制御ユニット４２０に出力する。これにより、表示装置８に表示されるＲＧＢ画像から、乗員の体のいずれの位置が、制御ユニット４２０により実行される各種機能の実行に用いられているかを確認することができる。

図８は、第２の実施形態にかかる車両によって表示されるＲＧＢ画像の一例を示す図である。例えば、制御ユニット４２０がＳＲＳエアバックシステムである場合、または制御ユニット４２０が座席２ｂの位置を自動調整する機能を有する場合、制御信号出力部７１１は、図８に示すように、所定位置の一例である頭部Ｖ１、右手Ｖ２、右肩Ｖ３、左肩Ｖ４、左手Ｖ５、および腰Ｖ６のそれぞれの位置を示す位置情報Ｉ１〜Ｉ６が重畳されたＲＧＢ画像８００を含む制御信号を制御ユニット４２０に出力する。

そして、制御ユニット４２０は、制御信号出力部７１１から入力される制御信号に含まれるＲＧＢ画像８００を、表示制御部１４ｄを介して、表示装置８に表示させる。これにより、表示装置８に表示されるＲＧＢ画像から、乗員の体のいずれの位置が、ＳＲＳエアバックシステムおよび座席２ｂの位置の自動調整機能の実行に用いられているかを確認することができる。

このように、第２の実施形態にかかる車両１によれば、車室内カメラ１６以外の撮像部７００の撮像により得られる撮像画像を制御信号として制御ユニット４２０に出力する場合に、撮像部７００の撮像により得られる全ての撮像画像が信号処理装置７１０に送信されることを防止できる。その結果、信号処理装置７１０において撮像部７００から受信したデータを記憶するためのメモリ量、信号処理装置７１０が受信したデータに対する信号処理による演算量、および撮像部７００と信号処理装置７１０間でのデータの転送量を削減することができる。

１…車両、１７ａ，７２０…ＥＣＵ、４４０…ＲＯＭ、４１２，４３０…ＲＡＭ、１５，７００…撮像部、１６…車室内カメラ、４００，７１０…信号処理装置、４０１…２Ｄ座標検出部、４０２…３Ｄ座標生成部、４０３…距離算出部、４０４，７１１…制御信号出力部、４１０…照射部、４１１…受光部、４１３…撮像制御部、４２０…制御ユニット。

Claims (6)

1. 撮像装置と、信号処理装置と、を備える撮像システムであって、
   前記撮像装置は、
   キャッシュメモリと、
   被写体の赤外線画像と、前記撮像装置から前記被写体までの距離を示す奥行き情報と、を取得し、前記赤外線画像を信号処理装置に送信し、かつ前記奥行き情報を前記キャッシュメモリに保存する撮像制御部と、を備え、
   前記信号処理装置は、
   前記撮像装置から前記赤外線画像を受信し、当該赤外線画像における所定位置の二次元座標を検出し、前記キャッシュメモリから、前記二次元座標に対応する前記奥行き情報を取得し、前記二次元座標および取得した前記奥行き情報に基づいて、三次元空間内における前記所定位置の三次元座標を生成し、前記三次元座標に基づいて、外部機器に対して制御信号を出力する信号処理制御部と、
   を備える撮像システム。
2. 前記撮像装置は、
   前記被写体に対して赤外線を照射する照射部と、
   前記赤外線の前記被写体からの反射光を受光する受光部と、を備え、
   前記撮像制御部は、前記反射光に基づいて、前記被写体の前記赤外線画像を取得し、
   前記キャッシュメモリは、外部の撮像装置によって前記被写体を撮像して得られるＲＧＢ画像を記憶し、
   前記信号処理制御部は、前記キャッシュメモリから前記ＲＧＢ画像を取得し、取得した前記ＲＧＢ画像を含む前記制御信号を前記外部機器に出力する請求項１に記載の撮像システム。
3. キャッシュメモリと、
   被写体の赤外線画像と、前記被写体までの距離を示す奥行き情報と、を取得し、前記赤外線画像を、信号処理装置に送信し、かつ前記奥行き情報を前記キャッシュメモリに保存する撮像制御部と、
   を備える撮像装置。
4. 前記被写体に対して赤外線を照射する照射部と、
   前記赤外線の前記被写体からの反射光を受光する受光部と、を備え、
   前記撮像制御部は、前記反射光に基づいて、前記被写体の前記赤外線画像を取得し、
   前記キャッシュメモリは、外部の撮像装置によって前記被写体を撮像して得られるＲＧＢ画像を記憶する請求項３に記載の撮像装置。
5. 被写体の赤外線画像と被写体までの距離を示す奥行き情報とを取得可能な撮像装置から、前記赤外線画像を受信し、当該赤外線画像における所定位置の二次元座標を検出し、前記撮像装置が有するキャッシュメモリから、前記二次元座標に対応する前記奥行き情報を取得し、前記二次元座標および取得した前記奥行き情報に基づいて、三次元空間内における前記所定位置の三次元座標を生成し、前記三次元座標に基づいて、外部機器に対して制御信号を出力する信号処理制御部、
   を備える信号処理装置。
6. 前記信号処理制御部は、前記キャッシュメモリから、前記撮像装置とは異なる外部の撮像装置によって前記被写体を撮像して得られるＲＧＢ画像を取得し、取得した前記ＲＧＢ画像を含む前記制御信号を前記外部機器に対して出力する請求項５に記載の信号処理装置。

Images