JP2022025343A - 赤外線撮像システム、赤外線撮像方法、及び赤外線照射装置 - Google Patents

Abstract

【課題】赤外線撮像装置から補助照明を低コストで高精度に制御する。【解決手段】第１赤外線照射部１１は、被写体に向けて赤外線を照射する。撮像部１２は、赤外線画像を撮像する。第２赤外線照射部２３は、第１赤外線照射部１１より、撮像部１２から離れた位置に設置され、被写体に向けて赤外線を照射する。赤外線受光部２１は、第１赤外線照射部１１から照射された赤外線を受光する。第２赤外線照射部２３は、赤外線受光部２１が第１赤外線照射部１１から照射された赤外線で制御を受け、赤外線を受光している期間に同期して、赤外線を照射する。【選択図】図２

Description

本発明は、赤外線を被写体に照射して、被写体から反射される赤外線を撮像する赤外線撮像システム、赤外線撮像方法、及び赤外線照射装置に関する。

近年、ドライバの顔だけでなく、助手席や後部座席を含む車室全体を監視する車室内モニタリングシステム（In-Cabin Monitoring System）を設置している車両が増えてきている。夜間やトンネル等の周囲が暗い状況でも車室内を高品質に撮像できるように、赤外線照明と赤外線カメラを備える赤外線撮像装置を使用するものが一般的である（例えば、特許文献１参照）。

車室内において後部座席まで撮像できるように、車室内モニタリングシステムを構成する赤外線撮像装置は、センタコンソール上やルームミラーの近傍に設置されることが一般的である。照明光源に近く広画角になる前部座席の領域に対して、照明光源から比較的遠く狭角になる後部座席の領域では明るさが不足しがちである。そこで、後部座席用の補助照明を設置することが考えられる。

特開２０１５－２２８２８４号公報

赤外線撮像装置と補助照明との間を配線で接続すると、配線を設置するための追加コストが必要となる。また、赤外線撮像装置と補助照明の設置位置の自由度が低下する。また、車室内の意匠性が低下する。

また、赤外線撮像装置と補助照明との間をWi-Fi（登録商標）やBluetooth（登録商標）で接続することも考えられる。しかしながら、Wi-FiやBluetoothが遅延すると、補助照明の発光タイミングと、赤外線撮像装置の露光タイミングにずれが生じる可能性がある。また、車室内でスマートフォンやワイヤレスイヤホン等の電子機器を使用していると、干渉する可能性がある。

本実施形態はこうした状況に鑑みてなされたものであり、その目的は、赤外線撮像装置から補助照明を低コストで高精度に制御する技術を提供することにある。

上記課題を解決するために、本実施形態のある態様の赤外線撮像システムは、被写体に向けて赤外線を照射する第１赤外線照射部と、赤外線画像を撮像する赤外線撮像部と、前記第１赤外線照射部と、被写体に向けて赤外線を照射する第２赤外線照射部と、前記第１赤外線照射部から照射された赤外線を受光するための赤外線受光部と、を備える。前記第２赤外線照射部は、前記赤外線受光部が前記第１赤外線照射部から照射された赤外線により制御を受け、赤外線を受光している期間に同期して、赤外線を照射する。

本実施形態の別の態様は、赤外線撮像方法である。この方法は、第１赤外線照射部から被写体に向けて赤外線を照射するステップと、赤外線撮像部で赤外線画像を撮像するステップと、前記第１赤外線照射部から照射された赤外線を赤外線受光部で受光するステップと、前記赤外線受光部が前記第１赤外線照射部から照射された赤外線により制御を受け、赤外線を受光している期間に同期して、前記第１赤外線照射部と、第２赤外線照射部から、被写体に向けて赤外線を照射するステップと、を有する。

本実施形態のさらに別の態様は、赤外線照射装置である。この装置は、赤外線画像を撮像する赤外線撮像部と、被写体に向けて赤外線を照射する第１赤外線照射部とを備える赤外線撮像装置と、別の赤外線照射装置であって、被写体に向けて赤外線を照射する第２赤外線照射部と、前記第１赤外線照射部から照射された赤外線を受光するための赤外線受光部と、を備える。前記第２赤外線照射部は、前記赤外線受光部が前記第１赤外線照射部から照射された赤外線により制御を受け、赤外線を受光している期間に同期して、赤外線を照射する。

なお、以上の構成要素の任意の組合せ、本実施形態の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本実施形態の態様として有効である。

本実施形態によれば、赤外線撮像装置から補助照明を低コストで高精度に制御することができる。

車両内の赤外線撮像装置と補助照射装置の設置例を示す図である。 実施の形態に係る赤外線撮像システムの構成例を示す図である。 補助照射装置の赤外線受光部の物理的な構成例を模式的に示した図である。 代表的な赤外線リモコン規格の通信フォーマットを示す図である。 赤外線通信を使用した赤外線撮像装置による補助照射装置の制御例を示すフローチャートである。

図１は、車両１内の赤外線撮像装置１０と補助照射装置２０の設置例を示す図である。赤外線撮像装置１０と補助照射装置２０は、車室内モニタリングシステムを構成する機器である。

図１では赤外線撮像装置１０は、ルームミラーに取り付けられている。なお、センタバイザーやセンタコンソール上に設置されてもよい。赤外線撮像装置１０を用いた車室内モニタリングシステムは、助手席や後部座席を含む車室全体を監視するシステムである。ドライバの居眠りや脇見に加えて、助手席や後部座席に座っている乗員の数、ドライバを含む乗員全員のシートベルトの着用の有無などを検知することができる。

赤外線撮像装置１０は赤外線照射部を備える。当該赤外線照射部は、主に車室内の前部座席に向けて赤外線を照射する。これにより、前部座席に座っている人物の赤外線画像を高品位に撮像することができる。しかしながら、後部座席に座っている人物の赤外線画像を撮像するには光量が十分でなく、後部座席に座っている人物の赤外線画像は暗い画像になる。そこで実施の形態では、赤外線撮像装置１０から離れた位置に補助照射装置２０を設置する。

図１では補助照射装置２０は、車室天井のルームランプの近傍に設置されている。例えば、ルームランプのフード内の、既存の可視光照明の隣りに補助照射装置２０が設置されてもよい。補助照射装置２０は、主に車室内の後部座席に向けて赤外線を照射する。

図２は、実施の形態に係る赤外線撮像システム５の構成例を示す図である。赤外線撮像システム５は、赤外線撮像装置１０及び補助照射装置２０を備える。赤外線撮像装置１０は、第１赤外線照射部１１、撮像部１２、制御部１３、記録部１４及びスピーカ１５を備える。第１赤外線照射部１１は、例えば赤外線ＬＥＤを含む。

撮像部１２は、赤外線を受光して赤外線画像を生成する。以下、本実施の形態では、第１赤外線照射部１１が照射し、撮像部１２が撮像する赤外線は近赤外線であるとする。遠赤外線画像と異なり、近赤外線画像を撮影する場合、被写体に近赤外線を照射して、被写体からの反射光を撮像する必要がある。

撮像部１２は撮像素子を含む。撮像素子は、入射される光を電気信号に変換する。撮像素子には、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Devices）イメージセンサ等の固体撮像素子が使用される。

撮像素子は、近赤外線域に感度を有する。撮像素子の上に、可視光をカットし、赤外線を透過する可視光カットフィルタを設置する。なお、近赤外線域にのみ感度を有する撮像素子を使用する場合、可視光カットフィルタを省略可能である。

本実施の形態では電子式シャッタを採用している。撮像素子は通常、３０Ｈｚまたは６０Ｈｚのフレームレートで撮像する。撮像素子の後段には信号処理回路が設けられる。信号処理回路は、撮像素子から入力される電気信号に対して、Ａ／Ｄ変換、ノイズ除去などの信号処理を施す。信号処理回路からフレーム単位で出力される画像信号は、制御部１３に供給される。

制御部１３は、画像処理部１３１、画像認識部１３２、同期制御部１３３、発光制御部１３４、露光制御部１３５、記録制御部１３６、警報制御部１３７及び通信制御部１３８を含む。これらの構成要素は、ハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源として、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＩＳＰ(Image Signal Processor)、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、その他のＬＳＩを利用できる。ソフトウェア資源としてファームウェア等のプログラムを利用できる。

画像処理部１３１は、撮像部１２から入力される画像信号に対して、階調補正、輪郭補正などの各種の画像処理を施して出力する。

画像認識部１３２は、辞書データとして、人物が写った多数の画像を学習して生成された人物の識別器、シートベルトが写った多数の画像を学習して生成されたシートベルトの識別器などの各種オブジェクトの識別器を有する。なお、特定の人物を識別するための識別器を有していてもよい。

画像認識部１３２は、画像処理部１３１から入力される赤外線画像内において、各種オブジェクトの識別器を用いて各種オブジェクトを探索する。オブジェクトの検出には例えば、Haar-like特徴量、ＨＯＧ(Histogram of Gradients)特徴量、ＬＢＰ(Local Binary Patterns)特徴量などを用いることができる。

同期制御部１３３は、発光制御部１３４と露光制御部１３５に同期タイミンを供給する。露光制御部１３５は、同期制御部１３３から供給されるタイミングに応じて、撮像部１２の露光タイミングを制御する。ローリングシャッタ方式が採用されている場合、露光制御部１３５は、ライン毎に露光タイミングと読み出しタイミングを制御する。グローバルシャッタ方式が採用されている場合、露光制御部１３５は、全画素同時に露光タイミングと読み出しタイミングを制御する。撮像部１２内においてＣＣＤイメージセンサが使用される場合、グローバルシャッタ方式となる。撮像部１２内においてＣＭＯＳイメージセンサが使用される場合、ローリングシャッタ方式が多く採用されているが、近年、グローバルシャッタ方式のＣＭＯＳイメージセンサも増えてきている。

発光制御部１３４は、露光制御部１３５による撮像部１２の露光タイミングに同期して、第１赤外線照射部１１の発光タイミングを制御する。第１赤外線照射部１１は、撮像部１２が露光している期間にのみ発光していればよく、撮像部１２が露光していない期間に発光していても消費電力の無駄である。通信制御部１３８は、第１赤外線照射部１１の発光パターンを発光制御部１３４に設定することにより、赤外線通信を行うことができる。赤外線通信の詳細は後述する。

記録部１４は、内蔵型または着脱自在な外付け型の不揮発性の記録媒体を備える。内蔵型として、ＮＡＮＤフラッシュメモリ、ＳＳＤ、ＨＤＤなどを使用することができる。外付け型として、フラッシュメモリカード（例えば、ＳＤカード）、光ディスク、磁気テープなどを使用することができる。

記録制御部１３６は、撮像部１２により撮像された画像を、記録部１４内の記録媒体に記録させることができる。記録制御部１３６は、ドライブレコーダのように運転中の動画を記録させることもできるし、画像認識にもとづき所定のイベントが検出された際の静止画を記録させることもできる。イベントの検出として、例えばドライバの居眠りや脇見の検出が挙げられる。

スピーカ１５は、運転者または運転者以外の乗員に向けて、警告音、警告メッセージ、または音声案内を出力する。警報制御部１３７は、画像認識にもとづき所定のイベントが検出された際、検出されたイベントの内容に応じた警告音や音声メッセージをスピーカ１５から出力させる。例えば、ドライバの居眠りや脇見が検出された場合、警報制御部１３７はスピーカ１５に警告音を出力させる。また、後部座席に座っている子供が座席から落下した場合、警報制御部１３７は、スピーカ１５に、”後部座席から落下しました。”といった音声メッセージを出力させる。

補助照射装置２０は、赤外線受光部２１、制御部２２及び第２赤外線照射部２３を備える。赤外線受光部２１は、第１赤外線照射部１１から照射された赤外線を受光するための受光部である。赤外線受光部２１は、赤外線検出用の受光素子（例えば、フォトダイオード）を含み、赤外線の受光パターンを制御部２２に出力する。制御部２２は、例えばマイコンで構成することができる。第２赤外線照射部２３は、例えば赤外線ＬＥＤを含む。

制御部２２は、赤外線受光部２１が第１赤外線照射部１１から照射された赤外線により制御を行い、赤外線を受光している期間に同期して、第２赤外線照射部２３から赤外線を照射させる。これにより、赤外線撮像装置１０が赤外線を露光する期間の、後部座席の赤外線光量を増やすことができ、後部座席を高品位に撮像することができる。

第１赤外線照射部１１と第２赤外線照射部２３との同期を高精度にとるには、赤外線受光部２１が、第１赤外線照射部１１から照射された赤外線以外の外乱光（例えば、太陽光）の影響を受けないようにすることが重要である。

図３は、補助照射装置２０の赤外線受光部２１の物理的な構成例を模式的に示した図である。実線の矢印は、第１赤外線照射部１１及び第２赤外線照射部２３のそれぞれの出射光束を示している。図３に示す赤外線受光部２１は、受光素子２１ｂの入射方向に筒部２１ａが設置されている。筒部２１ａは第１赤外線照射部１１に向かって、第１赤外線照射部１１の光軸と略平行に設置される。これにより、外乱光（図３では点線で描いている）が受光素子２１ｂに入射されることを阻止することができる。

なお図３では、筒部２１ａが補助照射装置２０の筐体内に埋め込まれている構造を描いているが、筒部２１ａが筐体表面から突出した構造であってもよい。また、受光素子２１ｂの入射光路上に狭角レンズを設置してもよい。狭角レンズとして、望遠レンズや長焦点レンズを使用することができる。

本実施の形態では、第１赤外線照射部１１から制御コードに基づいた赤外線照射を行う。例えば、家電製品の赤外線リモコンで使用されているパルス位置変調方式（ＰＰＭ：Pulse-Position Modulation方式）の通信フォーマットを使用することができる。

図４は、代表的な赤外線リモコン規格の通信フォーマットを示す図である。この規格では、９４０ｎｍの波長の赤外線をキャリアとして使用する。当該規格ではパルス位置変調方式を使用する。送信側は、データが１（Ｈ）の場合、点灯期間の後に、点灯期間の３倍の消灯期間を設定する。データ０（Ｌ）の場合、点灯期間の後に、点灯期間と同じ期間の消灯期間を設定する。受信側は、点灯期間の後の消灯期間の長さにより１か０を判断する。当該規格では送信側は、点灯期間の信号を、３８ｋＨｚのサブキャリアでデューティ１／３のパルス信号に変調する。これにより、消費電力を抑制しつつ、ノイズ耐性を高めることができる。太陽光の影響も除去することができる。

図４に示す通信フォーマットでは、フレームが、リーダーコード、データコード、ストップビットで構成される。リーダーコードはデータの始まりを示す。データコードは、制御コードを上述のパルス位置変調方式で変調したデータである。ストップビットはデータの終了を示す。

赤外線撮像装置１０の通信制御部１３８は、図４に示す通信フォーマットに所定の制御コードに基づいた赤外線の発光パターンを発光制御部１３４に設定して、第１赤外線照射部１１から赤外線を照射させる。補助照射装置２０の制御部２２は、赤外線受光部２１により受光された受光パターンを解読して、第１赤外線照射部１１から照射された赤外線による制御コードを復号する。

図５は、赤外線通信を使用した赤外線撮像装置１０による補助照射装置２０の制御例を示すフローチャートである。車室内モニタリング機能がオンの状態において（Ｓ１０のＯＮ）、画像認識部１３２が、撮像部１２により撮像された赤外線画像内において、後部座席に人物を認識した場合（Ｓ１１のＹｅｓ）、通信制御部１３８は、補助照射装置２０のオンを指示する制御コードを重畳した赤外線信号を第１赤外線照射部１１から照射させる（Ｓ１２）。この場合、当該赤外線信号を受光した補助照射装置２０の制御部２２は、第２赤外線照射部２３に赤外線を照射させる。

一方、画像認識部１３２が後部座席に人物を認識しない場合（Ｓ１１のＮｏ）、通信制御部１３８は、補助照射装置２０のオフを指示する制御コードを重畳した赤外線信号を第１赤外線照射部１１に照射させる（Ｓ１３）。この場合、当該赤外線信号を受光した補助照射装置２０の制御部２２は、第２赤外線照射部２３に赤外線を照射させない。

以上の制御が、車室内モニタリング機能がオフの状態になるまで（Ｓ１０のＯＦＦ）、継続して実行される（Ｓ１０のＯＮ）。なお、画像認識部１３２が後部座席に人物を認識した場合（Ｓ１１のＹｅｓ）、通信制御部１３８は、第２赤外線照射部２３の発光強度を上げることを指示する制御コードを重畳した赤外線信号を第１赤外線照射部１１に照射させてもよい。反対に、画像認識部１３２が後部座席に人物を認識しない場合（Ｓ１１のＮｏ）、通信制御部１３８は、第２赤外線照射部２３の発光強度を下げることを指示する制御コードを重畳した赤外線信号を第１赤外線照射部１１に照射させてもよい。

以上説明したように本実施の形態によれば、赤外線撮像装置１０から補助照射装置２０を低コストで高精度に制御することができる。赤外線撮像装置１０と補助照射装置２０を配線で接続しないため、配線コストが発生しない。また、赤外線画像撮影用の赤外線照明に制御コードを重畳して通信するため、Wi-FiやBluetoothの通信ユニットを追加で設ける必要がない。また、車室内でWi-FiやBluetoothを使用している電子機器の無線信号と干渉することもない。

本実施の形態では、補助照射装置２０をルームランプ内に設置している。通常、ルームランプは、車室内の座席領域の中央または後部座席よりの天井に設置されている。したがって、フロントガラスの方向から車室内に向けて照射される第１赤外線照射部１１からの赤外線を、補助照射装置２０の赤外線受光部２１は容易に受光することができる。よって、赤外線撮像装置１０から、補助照射装置２０の第２赤外線照射部２３の点灯／消灯を好適に制御することができる。

また、補助照射装置２０をルームランプ内に設置することにより、第２赤外線照射部２３と後部座席の距離を、第１赤外線照射部１１と前部座席の距離と同等に設定することができ、後部座席を前部座席と同等の明るさで撮影することができる。この点、補助照射装置２０が設置されない場合、後部座席の明るさが前部座席より暗く撮影される。

このように、第１赤外線照射部１１と第２赤外線照射部２３の発光タイミングが同期することにより、赤外線撮像装置１０の撮像部１２の露光タイミングと、第２赤外線照射部２３の発光タイミングを容易かつ高精度に同期させることができ、車室内全体を好適に撮影することができる。

また、第１赤外線照射部１１から制御コードに基づいた赤外線の照射を行うことにより、第２赤外線照射部２３を第１赤外線照射部１１と独立に発光制御することもできる。例えば、後部座席に人が座っていない場合、後部座席を高品位に撮像する必要性が低下する。その場合、補助照射装置２０をオフまたは補助照射装置２０の発光強度を低下させることにより、補助照射装置２０の消費電力を削減することができる。

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば、赤外線撮像装置１０が照度センサを備えていてもよい。その場合、照度センサの出力をもとに車室内の照度を特定し、通信制御部１３８は、特定した照度に応じた発光強度を制御コードとして重畳した赤外線信号を第１赤外線照射部１１に照射させる。当該赤外線信号を受光した補助照射装置２０の制御部２２は、第２赤外線照射部２３に、指定された発光強度の赤外線を照射させる。これにより、車室内の照度に応じて、第２赤外線照射部２３の発光量を最適化することができる。

上述した実施の形態では、画像認識部１３２が後部座席の人物を認識した場合に、通信制御部１３８は、第２赤外線照射部２３をオンまたは発光強度を上げるための制御コードに基づいて赤外線を照射する例を説明した。この点、後部座席に人物が認識されない場合でも、後部座席のドアロックが解除されたことを示す検知信号を車両ネットワーク（例えば、ＣＡＮ）を介して受信したとき、通信制御部１３８は、第２赤外線照射部２３をオンまたは発光強度を上げるための制御コードを赤外線に重畳させてもよい。また、ドアオープンを示す検知信号を受信したとき、通信制御部１３８は、第２赤外線照射部２３をオンまたは発光強度を上げるための制御コードを赤外線に重畳させてもよい。これらの場合、後部座席に人が乗り込んでくる可能性が高いと推定でき、後部座席を高品位に撮像する必要性が高まった状況といえる。この状況に対して、後部座席の赤外線光量を増加させることにより、後部座席を高品位に撮像することができるようになる。

なお、制御コードに基づいて赤外線を照射する赤外線通信機能を実装しないシステム構成も可能である。この場合、単純に第１赤外線照射部１１と第２赤外線照射部２３が同期発光することになる。赤外線撮像装置１０と補助照射装置２０の製造メーカが異なる場合や、赤外線撮像装置１０がアップデートされることなく補助照射装置２０が後付けされる場合にも、本実施の形態の赤外線通信機能以外の部分を適用可能である。

上述した実施の形態では、赤外線撮像装置１０及び補助照射装置２０が車室内に設置される例を説明した。この点、監視カメラとして路上や建物内に設置されてもよい。その場合も、配線を必要とせずに赤外線撮像装置１０から補助照射装置２０を低コストで高精度に制御することができる。

１ 車両、 ５ 赤外線撮像システム、 １０ 赤外線撮像装置、 ２０ 補助照射装置、 １１ 第１赤外線照射部、 １２ 撮像部、 １３ 制御部、 １３１ 画像処理部、 １３２ 画像認識部、 １３３ 同期制御部、 １３４ 発光制御部、 １３５ 露光制御部、 １３６ 記録制御部、 １３７ 警報制御部、 １３８ 通信制御部、 １４ 記録部、 １５ スピーカ、 ２１ 赤外線受光部、 ２１ａ 筒部、 ２１ｂ 受光素子、 ２２ 制御部、 ２３ 第２赤外線照射部。

Claims (5)

1. 被写体に向けて赤外線を照射する第１赤外線照射部と、
   赤外線画像を撮像する赤外線撮像部と、
   前記第１赤外線照射部と、被写体に向けて赤外線を照射する第２赤外線照射部と、
   前記第１赤外線照射部から照射された赤外線を受光するための赤外線受光部と、を備え、
   前記第２赤外線照射部は、前記赤外線受光部が前記第１赤外線照射部から照射された赤外線により制御を受け、赤外線を受光している期間に同期して、赤外線を照射する、赤外線撮像システム。
2. 前記第１赤外線照射部から照射される赤外線には、前記第２赤外線照射部のオン／オフ及び前記第２赤外線照射部の発光強度の少なくとも一方を制御するための制御コードを赤外線で照射する、請求項１に記載の赤外線撮像システム。
3. 前記赤外線撮像部は、車室内の赤外線画像を、フロントガラスの方向から撮像する撮像部であり、
   前記第１赤外線照射部は、前部座席に向けて赤外線を照射する照射部であり、
   前記第２赤外線照射部は、後部座席に向けて赤外線を照射する照射部であり、
   前記第１赤外線照射部は、前記後部座席に人が座っていないとき、前記第２赤外線照射部のオフを指示するコードに基づいて発光制御部で発光パターンを設定し、赤外線を照射する、
   請求項１または２に記載の赤外線撮像システム。
4. 第１赤外線照射部から被写体に向けて赤外線を照射するステップと、
   赤外線撮像部で赤外線画像を撮像するステップと、
   前記第１赤外線照射部から照射された赤外線を赤外線受光部で受光するステップと、
   前記赤外線受光部が前記第１赤外線照射部から照射された赤外線により制御を受け、赤外線を受光している期間に同期して、前記第１赤外線照射部と、第２赤外線照射部から、被写体に向けて赤外線を照射するステップと、
   を有する、赤外線撮像方法。
5. 赤外線画像を撮像する赤外線撮像部と、被写体に向けて赤外線を照射する第１赤外線照射部とを備える赤外線撮像装置と、別の赤外線照射装置であって、
   被写体に向けて赤外線を照射する第２赤外線照射部と、
   前記第１赤外線照射部から照射された赤外線を受光するための赤外線受光部と、を備え、
   前記第２赤外線照射部は、前記赤外線受光部が前記第１赤外線照射部から照射された赤外線により制御を受け、赤外線を受光している期間に同期して、赤外線を照射する、赤外線照射装置。

Images