JP2013041488A - 車載カメラ制御装置、車載カメラ制御システム及び車載カメラシステム - Google Patents

Abstract

【課題】 車両の駆動機構のオンオフ情報に基づいて処理モードを設定することで車両の状況に応じた処理モードを自ら設定し、設定した処理モードに応じた処理を行う車載カメラ制御装置、車載カメラ制御システム及び車載カメラシステム等を提供すること。
【解決手段】 車載カメラ制御装置１００は、赤外線画像データを赤外線画像撮像部２１０から取得する画像取得部１１０と、車両の駆動機構のオンオフ情報を取得するオンオフ情報取得部１３０と、赤線外画像データに基づく処理を行う処理部１２０とを含み、処理部１２０は、第１処理モードと、第１処理モードより処理の実行レートが低い第２処理モードを含む複数の処理モードのうちから、オンオフ情報に基づき１つの処理モードを使用処理モードとして設定し、設定された使用処理モードに従って、対象物の検出処理を実行する。
【選択図】 図１

Description

本発明は、車載カメラ制御装置、車載カメラ制御システム及び車載カメラシステム等に関する。

近年、犯罪の凶悪化、巧妙化に対応するために、防犯対策の強化が望まれており、各種防犯アイテムの充実が望まれている。

例えば住居の防犯に関して言えば、住居の扉や窓への不審者による不正な開閉が検知された時に、赤外線カメラによる撮像又はブザー等の警報を行い、住居人に報知する特許文献１に記載されているような従来技術がある。

しかしながら、単に、防犯アイテムを増加させるのでは、防犯システムの増加に伴い防犯システムに掛かる費用も高くなり、ユーザーの費用負担が増加するという問題がある。

一方で、車載赤外線カメラにより車体前方の近赤外線画像を撮像して表示するとともに、撮像画像から歩行者を検知して、その検知結果を近赤外線画像に重ね合わせて表示する車載用の暗視装置が実用化されている。このような暗視装置に用いられる歩行者検知技術として、特許文献２に記載される従来技術がある。

特許文献２の従来技術では、検知対象物における所定部位の形状と同一形状の部位が、該対象物中に連続して存在するか否かを探索し、同一形状の部位が連続して存在する場合には、該対象物は人工物であると判断して、該対象物を除外した残りの対象物から歩行者を認識する。

このような状況の中で、本出願人は、住居の侵入者防止用途と道路走行中の歩行者検知用途に、車載カメラを兼用して使う手法を検討している。

特開２００２−１５０４３８号公報 特開２００５−３５２９７４号公報

車載赤外線カメラを道路走行中の歩行者検知と住居の侵入者防止の両方の用途に用いようとする場合、それぞれの用途に適切な画像データの処理が異なり、車両が走行中の場合と車両が駐車中の場合にそれぞれの処理モードを使用者が設定する必要がある。

本発明の幾つかの態様によれば、車両の駆動機構のオンオフ情報に基づいて処理モードを設定することで車両の状況に応じた処理モードを自ら設定し、設定した処理モードに応じた処理を行う車載カメラ制御装置、車載カメラ制御システム及び車載カメラシステム等を提供することができる。

また、本発明の幾つかの態様によれば、消費電力を抑制しつつ、車両及の走行状況に応じた監視対象物の監視をすることが可能な車載カメラ制御装置、車載カメラ制御システム及び車載カメラシステム等を提供することができる。

本発明の一態様は、赤外線画像データを赤外線画像撮像部から取得する画像取得部と、車両の駆動機構のオンオフ情報を取得するオンオフ情報取得部と、前記赤線外画像データに基づく処理を行う処理部と、を含み、前記処理部は、第１処理モードと、前記第１処理モードより前記赤外線画像データに基づく処理の実行レートが低い第２処理モードを含む複数の処理モードのうちから、前記オンオフ情報に基づき１つの処理モードを使用処理モードとして設定し、設定された前記使用処理モードに従って、前記赤外線画像データに基づいて対象物の検出処理を実行する車載カメラ制御装置に関係する。

本発明の一態様では、オンオフ情報に基づいて設定した使用処理モードに応じて、適切に処理を切り替えること等が可能になる。

また、本発明の一態様では、前記処理部は、前記オンオフ情報に基づいて前記駆動機構がオフであると判定された場合には、前記使用処理モードを前記第２処理モードに設定し、前記赤外線画像データに基づく防犯用処理を行ってもよい。

これにより、駆動機構がオフの場合には、第２処理モードによる防犯用処理を行うこと等が可能になる。

また、本発明の一態様では、前記処理部は、前記オンオフ情報に基づいて前記駆動機構がオンであると判定された場合には、前記使用処理モードを前記第１処理モードに設定し、前記赤外線画像データに基づいて前記対象物が検出されたか否かを表すアラート表示情報を生成し、前記アラート表示情報を含む表示用画像データを生成してもよい。

これにより、駆動機構がオンである場合には、提示部等に表示される表示用画像データを生成すること等が可能になる。

また、本発明の一態様では、前記画像取得部は、可視画像を表す可視画像データを可視画像撮像部から取得し、前記処理部は、前記可視画像データに対して前記アラート表示情報を付加することで、前記表示用画像データを生成してもよい。

これにより、表示用画像データとして、可視画像データに対してアラート表示情報を付加した画像データを生成すること等が可能になり、ユーザーにとって見やすい画像を提供することができる。

また、本発明の一態様では、前記処理部は、前記オンオフ情報に基づいて前記駆動機構がオフであると判定された場合には、前記可視画像撮像部を動作オフ状態又は省電力状態に設定してもよい。

これにより、駆動機構がオフの場合には、可視画像撮像部を動作オフ状態又は省電力状態にすることで、電力の消費を抑えること等が可能になる。

また、本発明の一態様では、前記処理部は、前記使用処理モードが前記第２処理モードに設定されている場合には、前記使用処理モードが前記第１処理モードに設定されている場合に比べて、前記画像取得部における前記赤外線画像データの取得レートを低く設定してもよい。

これにより、第１処理モードでは第２処理モードに比べて、赤外線画像データの取得レートを低く設定できるため、電力の消費を抑えること等が可能になる。

また、本発明の一態様では、前記画像取得部は、前記使用処理モードが前記第２処理モードに設定されている場合には、前記使用処理モードが前記第１処理モードに設定されている場合とは異なる位置又は方向に設定された前記赤外線画像撮像部により前記赤外線画像データを取得してもよい。

これにより、第１処理モードと第２処理モードで赤外線画像撮像部の位置及び方向を変更することが可能になり、モードにあわせた領域を撮像すること等ができる。

また、本発明の一態様では、前記処理部は、前記使用処理モードが前記第２処理モードに設定されている場合に、前記使用処理モードが前記第１処理モードである場合に用いられるテンプレートを用いて前記対象物の検出処理を行ってもよい。

これにより、第１処理モードと第２処理モードで共通のテンプレートを用いることができるため、保持データ量の削減や、処理の共通化等が可能になる。

また、本発明の一態様では、前記画像取得部は、所与の時間間隔ごとに前記赤外線画像データを取得し、前記処理部は、第１のタイミングで取得された第１の赤外線画像データと、前記第１のタイミングとは異なる第２のタイミングで取得された第２の赤外線画像データとの比較処理を含む前記防犯用処理を行ってもよい。

これにより、防犯用処理として異なるタイミングで取得された赤外線画像データの比較処理が可能になり、簡単な処理で侵入者の検出等ができる。

また、本発明の一態様では、前記処理部は、前記オンオフ情報に基づいて前記駆動機構がオフであると判定された場合には、前記赤外線画像撮像部を動作オフ状態に設定し、所与の時間経過後に前記防犯用処理を行ってもよい。

これにより、防犯用処理を実行する際に、一定時間赤外線画像撮像部を動作オフ状態に設定することが可能になるため、電力の消費を抑えること等が可能になる。

また、本発明の一態様では、前記防犯用処理は、住居防犯処理と、車両防犯処理を有し、前記処理部は、前記使用処理モードが前記第２処理モードに設定されて、前記防犯用処理として前記住居防犯処理を実行中に、前記オンオフ情報に基づいて前記駆動機構がオンであると判定された場合には、前記防犯用処理を前記車両防犯処理に切り替えてもよい。

これにより、車両を駐車しているときにおける車両の盗難を抑止すること等が可能になる。

また、本発明の一態様では、前記処理部は、前記赤外線画像撮像部が住居防犯用の位置又は方向に設定されており、且つ、前記オンオフ情報に基づいて前記駆動機構がオンであると判定された場合には、前記防犯用処理として前記車両防犯処理を実行してもよい。

これにより、車両を駐車しているときにおける車両の盗難を抑止すること等が可能になる。

また、本発明の一態様では、前記画像取得部は、可視画像データを可視画像撮像部から取得し、前記処理部は、前記住居防犯処理では前記可視画像撮像部を動作オフ状態に設定し、前記車両防犯処理では前記可視画像撮像部を動作オン状態に設定してもよい。

これにより、住居防犯処理では可視画像撮像部を動作オフ状態に設定することで、電力の消費を抑えること等が可能になるとともに、車両防犯処理では可視画像撮像部を動作オン状態にすることで、車両の現在位置の情報を取得すること等が可能になる。

また、本発明の一態様では、前記処理部は、前記オンオフ情報に基づいて前記駆動機構がオフであると判定され、且つ、車載電子機器の動作がオフの場合には、前記赤外線画像データに基づく防犯用処理を行ってもよい。

これにより、使用処理モードの設定の際に車載電子機器の動作に関する情報も用いることになるため、必要以上の防犯用処理の実行を抑止すること等が可能になる。

また、本発明の一態様では、前記処理部は、前記オンオフ情報に基づいて前記駆動機構がオフであると判定され、且つ、前記車載電子機器の動作がオフの場合には、前記赤外線画像データを外部に送信する処理を行ってもよい。

これにより、ユーザーに対して効果的に情報を提示すること等が可能になる。

また、本発明の一態様では、前記処理部は、前記オンオフ情報に基づいて前記駆動機構がオフであると判定され、且つ、車載電子機器の動作がオンの場合には、前記車載電子機器の表示部に前記赤外線画像データに基づく画像を表示する処理を行ってもよい。

これにより、ユーザーに対して効果的に情報を提示すること等が可能になり、電力の消費を抑えることもできる。

また、本発明の他の態様は、赤外線画像データを赤外線画像撮像部から取得する画像取得部と、車両の駆動機構のオンオフ情報を取得するオンオフ情報取得部と、前記赤線外画像データに基づく処理を行う処理部と、を含み、前記処理部は、第１処理モードと、前記第１処理モードより前記赤外線画像データに基づく処理の実行レートが低い第２処理モードを含む複数の処理モードのうちから、前記オンオフ情報に基づき１つの処理モードを使用処理モードとして設定し、設定された前記使用処理モードに従って、前記赤外線画像データに基づいて対象物の検出処理を実行する車載カメラ制御システムに関係する。

また、本発明の他の態様は、請求項１乃至１６のいずれかに記載の車載カメラ制御装置と前記赤外線画像撮像部を含む車載カメラシステムに関係する。

本実施形態のシステム構成例。 図２（Ａ）は赤外線画像撮像部及び可視画像撮像部の取付け位置を示す平面図、図２（Ｂ）は図２（Ａ）の側面図。 本実施形態のハードウェア的なシステム構成例。 図４（Ａ）〜図４（Ｄ）は、車両が走行状態である時の処理の説明図。 図５（Ａ）、図５（Ｂ）は、アラート画像の説明図。 図６（Ａ）〜図６（Ｃ）は、住居防犯処理の説明図。 図７（Ａ）〜図７（Ｃ）は、車両防犯処理の説明図。 本実施形態の処理を説明するためのフローチャート。 テンプレート処理を説明するためのフローチャート。 本実施形態の他のシステム構成例。

以下、本実施形態について説明する。まず、本実施形態のシステム構成例を説明し、次に本実施形態の特徴について説明する。そして最後に、フローチャートを用いて本実施形態の処理の流れについて説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．システム構成例
まず、図１に本実施形態の車載カメラ制御装置及びこれを含む車載カメラシステムの構成例を示す。

車載カメラ制御装置１００は、画像取得部１１０と、処理部１２０と、オンオフ情報取得部１３０と、記憶部１５０と、を含む。また、車載カメラ制御装置１００を含む車載カメラシステム２００の例としては、赤外線画像撮像部２１０や、可視画像撮像部２２０、提示部２３０、センサー２４０などを含む車載カメラシステムなどが挙げられる。なお、車載カメラ制御装置１００及びこれを含む車載カメラシステム２００は、図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。例えば、車載カメラ制御装置１００の一部又は全部の機能を、赤外線画像撮像部２１０や、可視画像撮像部２２０により実現してもよい。また、本実施形態の車載カメラ制御装置１００の一部又は全部の機能は、通信により接続されたサーバにより実現されてもよい。

次に各部で行われる処理について説明する。

まず、画像取得部１１０は、赤外線画像撮像部２１０から赤外線画像データを取得し、可視画像撮像部２２０から可視画像データを取得する。

そして、処理部１２０は、オンオフ情報取得部１３０により取得されたオンオフ情報に応じて、記憶部１５０から得られるデータを用いて種々の処理を行う。

さらに、オンオフ情報取得部１３０は、センサー２４０（例えばイグニッション指示検知センサー等）での車両駆動機構のオンオフ情報（駆動機構がオンかオフかを判定する情報）を取得する。

なお、画像取得部１１０及び、処理部１２０、オンオフ情報取得部１３０の機能は、各種プロセッサー（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。

また、記憶部１５０は、データベースを記憶したり、処理部１２０等のワーク領域となるもので、その機能はＲＡＭ等のメモリーやＨＤＤ（ハードディスクドライブ）などにより実現できる。

そして、赤外線画像撮像部２１０は、赤外線画像を撮像する。赤外線画像は、遠赤外線画像及び中赤外線画像を含む。赤外線画像撮像部２１０は、検出対象物に人体を含める場合には、８〜１２μｍの遠赤外線波長域に感度を有するものであっても良く、より遠距離（およそ２００ｍ先）の感度を得る必要がある場合には、赤外線画像撮像部２１０として焦電型赤外線センサーカメラを用いることが望ましい。焦電型センサーカメラを使うことにより、遠距離から近距離までの熱画像（赤外線画像）を１つのセンサー膜で取得可能であり、人体の体温と他の静止物の境界線が明確に表示可能であるため、人体抽出には最適であり、さらに他の赤外線センサーより大幅にコストが低い。

また、本実施形態では、赤外線画像撮像部２１０は、住居侵入防止等の防犯目的において使用されるが、この場合には、監視エリアは住居の窓及び扉を含むエリアとなる。したがって、この監視エリアへの侵入者を検知するためには、赤外線画像撮像部２１０は、前述したように８〜１２μｍの遠赤外線波長域に感度を有するものであることが望ましい。そのため、同一の赤外線画像撮像部を、走行時と住居防犯時に共用することもできる。さらに、車両の走行途中に歩行者を検知する場合に比べ、住居の防犯時に侵入者を検知する場合には、背景画像が時間的に変化せず、侵入者の有無だけを検知するだけで良いため、走行時に比べて画像処理が非常に簡単である。また、侵入者が撮像エリア内を通過する時間も歩行者に比べ長いため、フレームレートを低く設定して、間引き撮像を行いつつ、侵入者を検出することも可能であり、撮像時の電気消費量を抑えることが可能である。

一方、可視画像撮像部２２０は、可視画像を撮像する。可視画像撮像部２２０は、撮像素子としてＣＣＤやＣＭＯＳを用いているカメラであっても良く、また、白黒カメラでもカラーカメラでも良い。白黒カメラを使う場合には、可視画像として濃淡画像が撮像され、カラーカメラを使う場合には、可視画像として色画像が撮像される。

なお、赤外線画像撮像部２１０及び可視画像撮像部２２０は、画像処理用等に用いられるデバイス（プロセッサー）を含んでもよい。本実施形態においては、赤外線画像データまたは可視画像データを、そのまま車載カメラ制御装置１００に出力するが、これに限定されるものではない。例えば、車載カメラ制御装置１００の処理部の一部を、赤外線画像撮像部２１０又は可視画像撮像部２２０に持たせてもよい。その場合、赤外線画像又は可視画像に対して、画像処理が施された後の情報が車載カメラ制御装置１００に出力されることになる。

次に、図２（Ａ）、図２（Ｂ）に、赤外線画像撮像部及び可視画像撮像部等の取り付け位置の一例を示す。

赤外線画像撮像部２１０は、図２（Ａ）、図２（Ｂ）に示すように、レンズの光軸の水平成分方向ＨＬＬ１と車体中心線ＣＬ１がなすパン角がＰＡ１となり、レンズの光軸の垂直成分方向ＰＬＬ１と地上との水平線ＨＬ１がなすチルト角がＴＡ１となるように、車体のバンパーまたはグリル内に取り付けられる。ここで、赤外線画像撮像部２１０は、赤外線画像撮像部２１０を上下、左右に首振り駆動させる電動モーターを備えていてもよい。この場合には、車体進行方向前方の道路又は道路側面を撮像できるように回転角度を自由に調整できる。

可視画像撮像部２２０は、図２（Ａ）、図２（Ｂ）に示すように、レンズの光軸の水平成分方向ＨＬＬ２と車体中心線ＣＬ２がなすパン角がＰＡ２となり、レンズの光軸の垂直成分方向ＰＬＬ２と地上との水平線ＨＬ２がなすチルト角がＴＡ２となるように、フロントウィンドウ上部に取り付けられる。ここで、可視画像撮像部２２０も赤外線画像撮像部２１０と同様に、可視画像撮像部２２０を上下、左右に首振り駆動させる電動モーターを備えていてもよい。この場合には、車体進行方向前方の道路又は道路側面を撮像できるように回転角度を自由に調整できる。

なお、図２（Ａ）では、分かりやすいようにＰＡ１及びＰＡ２は０°以上となっているが、車体進行方向前方を撮像する際には、ＰＡ１＝ＰＡ２＝０°、ＴＡ１＝ＴＡ２とすることが望ましい。また、赤外線画像撮像部２１０及び可視画像撮像部２２０は、車体の側面に設置してもよいし、それぞれの撮像部を複数設置してもよい。

さらに、赤外線画像撮像部２１０及び可視画像撮像部２２０には、運転者が任意に撮影方向や撮影位置を決定するために、車内にセレクタスイッチが設置されていてもよい。セレクタスイッチにより、赤外線画像撮像部２１０又は可視画像撮像部２２０の駆動のＯＮ／ＯＦＦや、赤外線画像撮像部２１０や可視画像撮像部２２０の位置や方向を変更することができる。なお、図１及び図２（Ａ）、図２（Ｂ）においては、セレクタスイッチは省略されている。

次に、提示部２３０は、車載カメラ制御装置１００の処理結果をユーザーに示す。提示部２３０は、警報装置であってもよいし、ディスプレイであってもよい。

提示部２３０が警報装置である場合には、警報装置は、処理部１２０から得られる出力信号に基づいて、歩行者の有無や住居への侵入者を検知した場合に警報（音声）を発する。警報装置として車体のクラクション及びフロントライトを用いれば、住居への侵入者を検知した場合に、クラクションを鳴らしたり、フロントライトを点滅させたりすることができ、新たな設備を設ける必要がないという利点がある。

さらに、提示部２３０がディスプレイである場合には、ディスプレイは、処理部１２０が先行車や歩行者、又は住居への侵入者を検出した場合に、これらの位置を表す画像を表示したり、検出物の輪郭画像等を可視画像に重畳して生成された画像を、処理部１２０から取得し、これを表示してもよい。

また、本実施形態では、センサー２４０には、イグニッション指示検知センサーを使用する。イグニッション指示検知センサーは、イグニッションに対する指示（オンオフの指示）を検知することが可能である。また、本実施形態においては直接用いることはないが、センサー２４０は加速度センサーやＧＰＳセンサー、ジャイロセンサー等を含んでもよい。

また、図３に本実施形態のハードウェア構成図を示す。まず、図１の車載カメラ制御装置１００は、図３のＣＰＵ４５０とメモリー４７０により実現できる。ここで、図１の画像取得部１１０及び処理部１２０、オンオフ情報取得部１３０は、図１のＣＰＵ４５０により実現でき、図１の記憶部１５０は、図３のメモリー４７０により実現できる。

そして、図１の車載カメラシステム２００は、図３の赤外線カメラ４１０と、ＣＰＵ４５０と、メモリー４７０とを含んでいる。ここで、図１の赤外線画像撮像部２１０は、図３の赤外線カメラ４１０により実現され、電動モーター４２０を備えている。

また、図１の可視画像撮像部２２０は、図３の可視カメラ４３０により実現され、電動モーター４４０を備えている。さらに、図１の提示部２３０は、図３のディスプレイ４９０により実現できる。そして、図１のセンサー２４０は、図３のイグニッション指示検知センサー４６０やＧＰＳ４８０等により実現できる。

２．本実施形態の手法
以上の本実施形態では、車載カメラ制御装置１００は、赤外線画像データを赤外線画像撮像部２１０から取得する画像取得部１１０と、赤外線画像データに基づく処理を行う処理部１２０と、車両駆動機構のオンオフ情報を取得するオンオフ情報取得部１３０と、を含む。そして、処理部１２０は、オンオフ情報に基づき設定された処理モード（使用処理モード）に従って、赤外線画像データに基づいた対象物の検出処理を行う。

処理モードとは、車載カメラ制御装置１００の処理状態の総称であり、設定された処理モードによって、車載カメラ制御装置１００が行う一連の処理が決定付けられるものをいう。さらに、車載カメラ制御装置を制御する際に実際に使用される処理モードのことを、使用処理モードと呼ぶ。本実施形態では、処理モードは、少なくとも第１処理モードと第２処理モードを有し、第２処理モードは、第１処理モードに比べて赤外線画像データに基づく処理の実行レートが低いモードである。ここで実行レートとは、処理部１２０において単位時間あたりに実行される処理の量を表すものであり、実行レートが低いとは、単位時間あたりの処理部１２０での処理量が少ないことを意味する。よって、例えば処理部１２０がＣＰＵ等により実現される場合には、第２処理モードは第１処理モードに比べて当該ＣＰＵにかかる負荷が小さいことになり、省電力性等において優位である。

具体的には、以下のような手法により、第２処理モードの実行レートを第１処理モードに比べて低くすることが考えられる。例えば、第１処理モードと第２処理モードが単位時間あたり同数程度の赤外線画像データを取得する場合に、第１処理モードにおいては全画像データに対して対象物検出処理を行うのに対して、第２処理モードでは所定時間間隔で抽出された一部の赤外線画像データに対して対象物検出処理を行うようにする。或いは、第１処理モードに比べて、第２処理モードの赤外線画像データ取得レート（単位時間あたりの赤外線画像データ取得数に対応）を低く設定した上で、対象物検出処理を行ってもよい。

なお、第１処理モードは狭義には走行モード（車両走行時に実行される処理モード）であってもよいし、第２処理モードは狭義には防犯モード（後述する防犯用処理を実行する処理モード）であってもよい。処理部１２０は、後述するように少なくとも防犯モード及び走行モードのうちのいずれか一つを選択することができ、また他の処理モードに切り替えることができる。

これにより、オンオフ情報に基づいて設定された使用処理モードに従って処理を行うことが可能になる。例えば、オンオフ情報に基づいて車両の走行状態を判定するものとすれば、車両が走行状態である場合と、車両が非走行状態である場合で、異なる処理を行うことができる。オンオフ情報は、例えば車体に設けられたセンサー２４０において取得する。センサー２４０がイグニッション指示検知センサーである場合には、イグニッションに対する指示（オン・オフの指示）をオンオフ情報として取得する。イグニッションがオンの場合とは、イグニッションコイルを用いて点火プラグを放電させ、気化したガソリンに点火した場合等のことであり、車両の駆動機構がオンになったと判定することができる。

なお、車両の駆動機構とは、車両を駆動させるための機構のことであり、例えばガソリン車におけるガソリンエンジン等である。駆動機構という用語はギア等の動力伝達機構なども含む概念であると考えられるが、ここではエンジン等の動力生成機構を指すものとする。つまり、エンジンがオンの場合には、クラッチ等の作用により動力伝達機構がオフになっていたとしても、車両の駆動機構はオンであるものとする。

また、処理部１２０は、オンオフ情報に基づいて駆動機構がオフであると判定された場合には、使用処理モードを第２処理モードに設定し、赤外線画像データに基づく防犯用処理を行ってもよい。

ここで、防犯用処理とは防犯時における対象物の検出処理のことであり、例えば住居の侵入に対する防犯時であれば、当該住居への侵入者を検出する処理に対応する。具体的には、後述するように、第１のタイミングで取得された第１の赤外線画像データと第２のタイミングで取得された第２の赤外線画像データの比較による対象物の検出処理等が防犯用処理として考えられる。なお、第１のタイミングと第２のタイミングは、赤外線画像データの取得タイミングとして連続する２タイミングであってもよい。例えば、最新の赤外線画像データと、その１タイミング前の赤外線画像データの比較処理である。或いは、第１のタイミングが所与の基準タイミングであってもよい。例えば、第１のタイミングとして防犯用処理開始後の最初の赤外線画像データ取得タイミングとすることが考えられる。この場合、第１の赤外線画像データとは、侵入者が存在しない監視用固定画像データ（背景画像データ）に対応することになり、当該監視用固定画像データと、最新の赤外線画像データとを比較することになる。

これにより、駆動機構がオフの場合には、赤外線画像データを用いた防犯用処理が可能になる。駆動機構がオフの場合とは、例えば車両が停止中の場合であり、具体的にはユーザーの自宅駐車場に駐車されているケース等が考えられる。この場合には、監視対象物が住居等への侵入者となり、これらの監視に最適な処理を行う。防犯用処理としては、対象物の検出処理だけでなく、赤外線画像撮像部２１０により撮像された赤外線画像データ又は赤外線画像データに基づく検出情報を、提示部２３０において提示する処理を行ってもよい。

ここで、検出情報とは、赤外線画像中に監視対象物が映っていることを示す情報である。例えば、検出情報の一例としては、住居等への侵入者がいることをユーザーに知らせる文字情報や、提示部２３０に警告音を発生させる命令などがある。

この場合には、監視エリア内に侵入者等がいる場合にのみ、提示部２３０に提示すればよい。したがって、非走行状態において、常時、提示部２３０での提示を行う場合に比べて、車載カメラ制御装置１００の消費電力の抑制が可能となる。

なお、ここで、監視エリアとは、車載カメラシステム２００の監視対象物を検出するために、監視することが必要なエリアのことであり、例えば、赤外線画像撮像部２１０又は可視画像撮像部２２０により、撮像される範囲のこという。後述する図６（Ａ）の例で言えば、赤外線画像撮像部２１０により撮像される住居のドアＤＲや窓ＷＤを含む範囲のことである。

また、検出情報は、監視対象物が映っていないことを示す情報であってもよい。この場合には、車両が非走行状態にある時に、原則として常時、車載カメラ制御装置１００は提示部２３０において提示を行う。

また、処理部１２０は、オンオフ情報に基づいて駆動機構がオンであると判定された場合には、使用処理モードを第１処理モードに設定し、赤外線画像データに基づいて対象物が検出されたか否かを表すアラート表示情報を生成し、生成したアラート表示情報を含む表示用画像データの生成処理を行ってもよい。

ここで、表示用画像データとは、表示用画像を表すデータである。また、表示用画像とは、検出した対象物の存在をユーザーに伝えるための画像である。例えば、第１処理モードが走行モード（車両が走行状態であるモード）である場合には、表示用画像とは、歩行者や先行車等の監視対象物の存在をユーザーに伝えるための画像であり、提示部２３０に表示する画像そのものをいう。この場合、アラート表示情報としては、監視対象物の輪郭を表す画像や、監視対象物が近くにいることを通知するための記号等を表す画像ガ考えられる。つまり、アラート表示情報を含む表示用画像データとは、赤外線画像に歩行者や先行車等の輪郭画像を重畳して生成した画像などである。また、表示用画像を表示すると同時に、警告音等を発しても良い。

これにより、監視対象物の存在を強調した画像データを生成し、ユーザーに提示することができ、ユーザーに監視対象物への注意を促すこと等が可能になる。第１処理モードが走行モードであれば、監視対象物が歩行者や先行車となり、これらの監視に最適な処理を行うことになり、例えば、歩行者や先行車の輪郭画像等を、ユーザーに提示して、監視対象物への注意を促すこと等が可能になる。

また、車両が走行状態にあると判定された場合には、赤外線画像データを取得するため、歩行者が多かったり、他の車両が多かったり等の車両の周囲の状況に応じた監視対象物の監視をすることが可能である。

例えば、図４（Ａ）に、車両ＣＡ１が走行しており、走行モードが設定されている場合の様子を示す。この時、車両ＣＡ１に設けられた赤外線画像撮像部２１０が、車両の前方を撮像し、先行車ＣＡ２や歩行者ＷＰ１、自転車に乗っている人ＷＰ２などを撮像する。

ここで、赤外線画像データとは、赤外線画像撮像部２１０により撮像される赤外線画像（熱画像）を表す情報である。赤外線画像については、前述した通りである。例えば、赤外線画像の一例として、図４（Ａ）の車両ＣＡ１に設けられた赤外線画像撮像部２１０により撮像された赤外線画像ＩＩＭを、図４（Ｃ）に示す。赤外線画像ＩＩＭには、歩行者ＷＰ１や先行車ＣＡ２、自転車に乗った人ＷＰ２などが、温度が高い部分が色濃く映し出されている。赤外線画像は、風景等の識別には向かないが、温度分布等を識別することが容易であり、背景と監視対象物とを判別する場合に有用である。

しかし、輪郭画像や赤外線画像に輪郭画像を重畳した画像などの表示用画像は、ユーザーが実際に見ている景色とは、見た目が大きく異なっており、表示用画像から取得した情報を、ユーザーが適切に利用することが困難である可能性がある。例えば、第１処理モードが走行モードの場合には、輪郭画像等が提示されたとしても、ユーザーがすぐに車両の運転に反映できない可能性がある。

そこで、画像取得部１１０は、可視画像データを可視画像撮像部２２０から取得してもよい。そして、処理部１２０は、可視画像データに対してアラート表示情報を付加することで、表示用画像データの生成処理を行ってもよい。

ここで、可視画像データに対してアラート表示情報が付加された表示用画像データとしては、可視画像に対して対象物の輪郭を表す画像を重畳した画像に対応する画像データ等が考えられる。

また、可視画像データとは、可視画像撮像部２２０により撮像される可視画像を表す情報である。可視画像については、前述した通りである。例えば、可視画像の一例として、図４（Ａ）の車両ＣＡ１に設けられた可視画像撮像部２２０により撮像された可視画像ＶＩＭを、図４（Ｂ）に示す。可視画像ＶＩＭにも、歩行者ＷＰ１や先行車ＣＡ２、自転車に乗った人ＷＰ２などが映し出されている。可視画像ＶＩＭは、ユーザーが見た景色とほとんど相違がないため、一見して風景を含む画像の全体像を把握しやすい。逆に、可視画像のみを用いて、風景と監視対象物を区別することは困難である。そこで、本実施形態では、前述したような特徴を持つ赤外線画像を用いて、監視対象物を区別する。

さらに、可視画像を用いて生成した表示用画像の具体例を、図４（Ｄ）に示す。表示用画像ＣＩＭを生成する際には、例えば、図４（Ｃ）に示す赤外線画像ＩＩＭにより表される温度分布の特徴に基づいて、後述するようなテンプレートマッチング処理を行って、人（ＷＰ１とＷＰ２）と人以外（背景や先行車ＣＡ２）を区別する。そして、可視画像上において、人が位置する部分を囲うように、後述するアラート画像（ＡＬＩＭ１とＡＬＩＭ２）等を重畳させて、表示用画像ＣＩＭを生成する。このような画像を提示することにより、歩行者に注意を払うように、ユーザーに警告する。

ここで、アラート画像とは、ユーザーに監視対象物の存在を知らせるための画像であり、提示部２３０に表示する走行用表示画像の一部となる画像のことをいう。アラート画像の例としては、エクスクラメーション・マ−クや、歩行者や先行車を表す模式図、危険が迫っていることを知らせる強調文字などがある。なお、アラート画像とは上述したようにアラート表示情報に含まれるものとする。

具体的には、図４（Ｄ）に示す画像ＡＬＩＭ１やＡＬＩＭ２がアラート画像に該当する。他にも、図５（Ａ）に示す画像ＣＩＭ１上において、歩行者ＷＰ１の頭上に表示したＡＬＩＭ３のようなエクスクラメーション・マ−クや、図５（Ｂ）に示す画像ＣＩＭ２上において、歩行者ＷＰ１の輪郭を強調する画像ＡＬＩＭ４や、危険が迫っていることを文字や記号を用いて強調するＡＬＩＭ５のような帯画像などがある。

これにより、ユーザーが実際に見ている景色と合致する可視画像に、アラート画像を重畳させて走行用表示画像を生成するため、表示用画像を用いた場合にも、ユーザーに違和感を覚えさせずに、監視対象物への注意を促すこと等が可能となる。さらに、アラート画像を用いることにより、ユーザーが背景と監視対象物とを簡単に区別すること等が可能となる。

また、処理部１２０は、オンオフ情報に基づいて駆動機構がオフであると判定された場合には、可視画像撮像部２２０を動作オフ状態又は省電力状態に設定してもよい。

これにより、駆動機構がオフであるとき（第２処理モードに設定されたとき）には、可視画像撮像部２２０を動作オフ状態又は省電力状態に設定できるため、電力の消費を抑えることが可能になる。上述したように、駆動機構がオフである第２処理モードとは、車両が停止しており、侵入者の検出等を行うことが想定される。その際には、侵入者の有無をユーザーに対して提示できれば十分であり、ユーザーにとって見やすい画像である可視画像は必ずしも提供する必要はない。よって、可視画像撮像部２２０については動作オフ状態または省電力状態に設定してもよい。

また、処理部１２０は、使用処理モードが第２処理モードに設定されている場合には、第１処理モードに設定されている場合に比べて、画像取得部１１０における赤外線画像データの取得レートを低く設定してもよい。

これにより、赤外線画像撮像部２１０の駆動及び赤外線画像データの画像処理に用いる電力の消費を抑えること等が可能となる。住居等への侵入者は、住居の様子をみたりするため、一定箇所に留まることが多く、監視エリアの通過時間が歩行者等に対して長いことが分かっている。また、車両が駐車中の場合には、背景画像が時間的に変化しないため、防犯用処理以外の処理が実行される場合（例えば、車両が走行状態である場合等）に比べて画像処理が容易であり、フレームレートを高く設定する必要はない。

また、画像取得部１１０は、使用処理モードが第２処理モードに設定されている場合には、第１処理モードに設定されている場合とは異なる位置又は方向に設定された赤外線画像撮像部２１０により、赤外線画像データを取得してもよい。

これにより、第２処理モードの場合と第１処理モードの場合とで、それぞれ適切な領域を撮像した画像を取得することが可能になる。第１処理モードとは、上述したように第２処理モードに比べて処理の実行レートが高いモードであり、典型的には走行モードが想定される。走行モードにおいては、車両は前方に移動することが想定されるため、歩行者・障害物等の監視対象物は前方にあるものを捉える必要がある。よって、走行モードでは赤外線画像撮像部２１０は車両の前方を撮像可能な位置又は方向に設定される。それに対して第２処理モード（狭義には防犯モード）においては、住居に侵入しようとしている者が監視対象物となるため、住居への侵入経路となりそうな箇所（例えば窓等）や、侵入されることが好ましくない領域（自宅の敷地内等）を撮像する必要がある。よって、防犯モードでは赤外線画像撮像部２１０は、上述のような領域を撮像可能な位置又は方向に設定される。

また、処理部１２０は、使用処理モードが第１処理モードである場合に対象物の検出に用いられるテンプレートを用いて、第２処理モードにおける対象物の検出処理を行ってもよい。これは第１処理モードと第２処理モードの両方で共通のテンプレートを用いると言ってもよい。

これにより、記憶部１５０等に保持しておくテンプレートデータを少なくすることが可能になり、また、第１処理モードと第２処理モードで共通のテンプレートを用いるため処理を共通化することができる。これは、第１処理モードと第２処理モードが走行モードと防犯モードである場合に、走行時にも防犯時にも人が監視対象物に含まれることが想定されるところ、人に特徴的なデータ（例えば温度データ等）は走行時に観察される場合も防犯時に観察される場合も同様であることによる。

また、画像取得部１１０は、所与の時間間隔ごとに赤外線画像データを取得する。そして処理部１２０は、第１のタイミングで取得された第１の赤外線画像データと、第１のタイミングとは異なる第２のタイミングで取得された第２の赤外線画像データとの比較処理を含む防犯用処理を行ってもよい。

ここで、第１の赤外線画像データと第２の赤外線画像データは、互いに異なるタイミングにおいて撮像された赤外線画像を表す赤外線画像データのことをいう。例えば、あるタイミング１についての赤外線画像データを取得し、これを第１の赤外線画像データとし、その後の所定周期毎に取得する赤外線画像データを、第２の赤外線画像データとして、比較処理を行っても良い。他にも、第１の赤外線画像データの次のタイミングに取得する赤外線画像データが第２の赤外線画像データであり、第２の赤外線画像データの次のタイミングに取得する赤外線画像データが第１の赤外線画像データであるとして、比較処理を行ってもよい。

また、防犯用処理の具体例としては、第１の赤外線画像データと、第２の赤外線画像データの比較処理の結果、２つの赤外線画像データに差異があった場合に、監視対象物を検出したと判定してもよい。例えば、図６（Ａ）の例において、あるタイミングｔにおいて、赤外線画像撮像部２１０が撮像した赤外線画像を、図６（Ｂ）に示すＩＩＭ１とし、タイミング（ｔ＋１）に撮像した赤外線画像を図６（Ｃ）に示すＩＩＭ２とする。この場合には、まず赤外線画像ＩＩＭ１を示す赤外線画像データを、第１の赤外線画像データとして記憶部に保存しておき、赤外線画像ＩＩＭ２を示す赤外線画像データを取得した時点で、ＩＩＭ２の赤外線画像データを第２の赤外線画像データとして、第１の赤外線画像データと比較する。その結果、本例では、赤外線画像ＩＩＭ１には、監視対象物が何も映っていないが、赤外線画像ＩＩＭ２には、侵入者ＩＶ２らしき姿が確認されたとする。この場合には、図６（Ａ）において、タイミングｔでは、監視エリア外の位置Ｐ１にいた人物ＩＶが、タイミング（ｔ＋１）までの間に、位置Ｐ２に移動して監視エリア内に侵入したとして、この人物ＩＶを侵入者ＩＶ２として認識する。そして、第１の赤外線画像データと第２の赤外線画像データとに差異があったと判断して、侵入者がいることを提示部２３０において提示する。

これにより、第２処理モードが設定されている場合に、赤外線画像データのみを用いて、監視対象物を検出し、監視対象物が検出された場合には、ユーザーへ侵入者の存在を通知すること等が可能になる。

また、処理部１２０は、オンオフ情報に基づいて駆動機構がオフであると判定された場合には、赤外線画像撮像部２１０を動作オフ状態に設定し、所与の時間経過後に防犯用処理を行ってもよい。

これにより、赤外線画像撮像部２１０を所与の時間動作オフ状態にすることができるため、電力の消費を抑えることが可能になる。これは例えば走行モードから防犯モードへの切り替わり時等に行われることが想定される。つまり、切り替わり前まではユーザーが車両の近く（実際には車両の中）にいると考えられる。よって、モード切り替わり時にはユーザーが車両や住居等の近くにいるため、システムによる防犯用処理は必ずしも優先度が高くない。そのような場合に一定時間赤外線画像撮像部２１０を動作オフ状態に設定しても、特に支障はないと考えられる。

また、防犯用処理は住居防犯処理と車両防犯処理を有してもよい。そして、処理部１２０は、使用処理モードが第２処理モードに設定されており、住居防犯処理の実行時にオンオフ情報に基づいて駆動機構がオンであると判定された場合には、防犯用処理として行う処理を住居防犯処理から車両防犯処理に切り替えてもよい。

ここで、住居防犯処理とは、住居や施設等への侵入者等の検出を目的とする処理のこという。一方、車両防犯処理とは、車両盗難の検出等を目的とする処理のことをいう。

これにより、住居防犯処理を行いつつ、車両が盗難にあった可能性がある時には、車両防犯処理を行うこと等が可能になる。これは、住居等を監視している際中に、車両自体が盗難にあってしまう場合を想定している。具体的には、住居防犯処理が実行されている場合において、駆動機構がオンであると判定された（車両が走行している可能性がある）場合には、車両が盗難にあった可能性が高い。つまり、停止（駐車）して防犯用処理による監視を始めているのに、正規の手続きを取らずに車両を走行させたという状況を持って、その場合の運転者はユーザーではなく窃盗を行ったものを想定していることになる。

また、処理部１２０は、赤外線画像撮像部２１０が住居防犯用の位置又は方向に設定されているときにオンオフ情報に基づいて駆動機構がオンであると判定された場合には、防犯用処理として車両防犯処理を行ってもよい。

これにより、車両が盗難にあった可能性がある時には、車両防犯処理を行うこと等が可能になる。車両が停止（駐車）して防犯用処理による監視を始めているのに、正規の手続きを取らずに車両を走行させたという状況に基づいて、車両防犯処理を実行するという点では上述したケースと同様である。ただし、車両が停止していることを、使用処理モード及び防犯用処理の処理内容から判定するのではなく、赤外線画像撮像部２１０の位置又は方向から判定してもよい。具体的には、図７（Ａ）に示すような場合である。図７（Ａ）には、本来Ｐ１の地点で、車両ＣＡに搭載された車載カメラシステムが、住居防犯処理を行って、住居の周辺を監視していたが、盗難者によって車両ＣＡが盗難され、住居防犯処理を終了させないまま、走り去っていってしまった様子を示している。このような場合には、住居防犯処理を継続する必要はなく、車両盗難への対策を講じる必要がある。

ここで、住居防犯用の位置又は方向とは、例えば、住居や施設等のドアや窓などユーザーが監視したい場所を撮像することが可能な赤外線画像撮像部２１０の位置又は方向である。住居防犯用の位置又は方向は、あらかじめ記憶部１５０等に複数の組み合わせが記憶されており、ユーザーがセレクタスイッチ等を操作して特定し、車載カメラ制御装置１００の制御によって、自動で赤外線画像撮像部２１０を移動させてもよい。他にも、ユーザーが手動で赤外線画像撮像部２１０の位置又は方向を動かして、配置し、車載カメラ制御装置１００に、配置が完了したことを入力してもよい。

具体例を図６（Ａ）に示す。図６（Ａ）は、第２処理モード（防犯モード）が設定されている場合の処理の様子を表すものであり、車両ＣＡが住居の前の駐車上に駐車されている様子を示している。図６（Ａ）では、住居等へ侵入者が侵入する可能性が高いドアＤＲや窓ＷＤを撮像が撮像できるように、赤外線画像撮像部２１０の位置及び方向が調整されている。

また、処理部１２０は、住居防犯処理では可視画像撮像部２２０を動作オフ状態に設定し、車両防犯処理では可視画像撮像部２２０を動作オン状態に設定してもよい。

これにより、住居防犯処理が実行されている場合に、不要な可視画像撮像部２２０を動作オフ状態にし、消費電力を抑える一方で、車両防犯処理では可視画像撮像部２２０を動作オン状態にして、現在車両が位置する場所を撮像し、ユーザーに提示すること等が可能になる。車両が盗難にあった場合には、ユーザー等に車両の現在位置を通知する必要がある。そのためには、一見して場所の判別がつきやすい可視画像の方が、赤外線画像よりも有用であるためである。具体例を図７（Ｂ）に示す。可視画像撮像部２２０を動作オン状態に設定することで、図７（Ｂ）に示したような可視画像を取得することが可能になる。可視画像撮像部２２０が車両に設けられている以上、取得される可視画像は車両の現在位置に対応した位置（例えば車両の前方等）を撮像した画像となる。よって、可視画像を取得することにより、盗難された車両の位置を推定することができる。特に、図７（Ｂ）のように地名や施設等を表す看板などが撮像されていれば、容易に位置を特定することが可能である。なお、取得した可視画像を車両内のディスプレイに表示しても、ユーザー等に伝わることが無く利点は少ない。よってこの場合には、何らかの通信手段を用いて外部機器に対して可視画像の情報を送信することが望ましい。この場合の車載カメラ制御装置及び車載カメラシステムの構成例を図１０に示す。車載カメラ制御装置１００は、図１の構成に加えて通信部１４０を含み、外部機器３００との通信を行う。外部機器としては例えば、ユーザーの所有する携帯電話等が考えられる。また、車載カメラシステムが通信部１４０を有する場合には、外部機器３００に対して送信される情報は可視画像に限定されるものではなく、図７（Ｃ）に示したように文字情報であってもよい。

また、処理部１２０は、オンオフ情報に基づいて駆動機構がオフであると判定され、且つ、車載電子機器が動作オフ状態の場合に、赤外線画像データに基づく防犯用処理を行ってもよい。

これにより、オンオフ情報に基づく判定に加えて、車載電子機器の動作も考慮した上で、防犯用処理を行うことが可能になる。車載電子機器とは、車両の内部に搭載される電子機器のことであり、例えばカーナビゲーションシステムや音楽プレイヤー、及びそれらの情報を表示するためのディスプレイ等である。これらの車載電子機器は車両の駆動機構とは異なる電源系統を持つ場合が考えられ、その場合には駆動機構のオンオフと車載電子機器のオンオフが独立に設定可能となる。よって、駆動機構はオフにされたが、車載電子機器はオンになっている状況が考えられる。その際には、車載電子機器はユーザーにより使用されている、つまりユーザーが車両内に搭乗している或いは車両のすぐ近くにいることが想定される。ユーザーが車両の内部や近くにいるのであれば、システムによる防犯用処理の優先度は高くないと考えられるため、防犯用処理を開始しなくてもよい。以上の理由により、駆動機構がオフであり、且つ、車載電子機器がオフの場合に防犯用処理を行うようにしてもよく、その場合には不必要な防犯用処理を行うことを抑止できるため、電力の消費を抑えることが可能になる。

また、処理部１２０は、オンオフ情報に基づいて駆動機構がオフであると判定され、且つ、車載電子機器の動作がオフの場合に、赤外線画像データを外部に送信する処理を行ってもよい。

これにより、赤外線画像データを、外部機器等を用いて利用することが可能になる。この場合、システム構成例としては図１０に示したように通信部１４０を含むものが考えられる。駆動機構がオフであることに加えて、車載機器の動作もオフであることから、ユーザーは車両に乗っていない可能性が高いと考えられる。よって、車内のディスプレイ（ここでは提示部２３０等、車載電子機器とは異なる電源系統を有するものを想定）等に赤外線画像データ等を表示してもユーザーに対する警告にならない。よって、ユーザーに対して確実に侵入・盗難等の警告を通知するためには、赤外線画像データは外部機器３００等に対して送信されることが望まれる。

また、処理部１２０は、オンオフ情報に基づいて駆動機構がオフであると判定され、且つ、車載電子機器の動作がオンの場合には、車載電子機器の表示部に赤外線画像データに基づく画像を表示してもよい。

これにより、車載電子機器の表示部を用いてユーザーに対して情報を提示することが可能になる。駆動機構がオフであり、車載電子機器がオンである場合には、車両は停止しているもののユーザーは乗車している可能性が高いと考えられる。よって、ユーザーは運転席や助手席等、車載電子機器の表示部を視認できる位置にいることが想定されるため、車載電子機器の表示部に情報を表示すれば十分であり、上述のケースのように通信部１４０を介して外部機器３００に対して情報を送信する処理は必要ない。この場合、通信処理を行わなくてもよいため、電力の消費を抑えること等が可能になる。

なお、本実施形態の車載カメラ制御装置等は、プログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサーがプログラムを実行することで、本実施形態の車載カメラ制御装置等が実現される。具体的には情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサーが実行する。ここで、情報記憶媒体（コンピューターにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリー（カード型メモリー、ＲＯＭ等）などにより実現できる。そしてＣＰＵ等のプロセッサーは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体には、本実施形態の各部としてコンピューター（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピューターに実行させるためのプログラム）が記憶される。

３．処理の流れ
以下では、図８のフローチャートを用いて、本実施形態の処理の流れについて説明する。なお、ここでは第１処理モード及び第２処理モードとして、走行モード及び防犯モードを想定している。

まず、ステップ１（Ｓ１）において、処理に必要なパラメータの初期設定を行う。次に、ステップ２（Ｓ２）において、車体の状態を把握するために、車両駆動機構がオンであるかオフであるかの判定を行う。具体的には、イグニッション指示検知センサー等からのオンオフ情報を検出する。もし駆動機構がオンならば、車体が走行中又は停車中であり、駆動機構がオフならば、駐車中と判断する。

駆動機構がオンの場合、赤外線画像撮像部２１０により車体進行方向前方を撮像して、熱画像を処理領域に取り込む(Ｓ３)。ここで、赤外線画像撮像部２１０は、検出対象物として人体を含めて考える場合には、８〜１２μｍの遠赤外線波長域に感度を有するものであれば良く、より遠距離の感度を得るため、焦電型赤外線センサーカメラであればなおさら良い。

そして、ステップ４（Ｓ４）において、可視画像撮像部２２０により車体進行方向前方を撮像して、可視画像を処理領域に取り込む。ここで、可視画像撮像部２２０は、撮像素子としてＣＣＤやＣＭＯＳを用いているもので良く、また、白黒カメラでもカラーカメラでも構わない。可視画像は、白黒カメラを使う場合は濃淡画像、カラーカメラを使う場合は色画像である。本実施形態では、可視画像撮像部２２０として、色情報が取得できるカラーカメラを用いた場合について説明する。なお、ステップ３（Ｓ３）およびステップ４（Ｓ４）の順序は、ステップ間の間隔が短ければ、どちらが先でも構わない。また、場合によっては両方を並列に処理してしまうことも可能である。

次に、ステップ５（Ｓ５）では、ステップ３（Ｓ３）で得られた熱画像から候補領域を抽出する。すなわち、対象物の特徴を表す温度領域を塊として抽出する。本実施形態においては、検出対象物を先行車および歩行者（人物）として説明するものとする。これ以外のものを検出の対象とする場合には、その対象が有する温度情報を特徴量として、それぞれ本ステップにおいて処理対象に加えればよい。

まず、先行車体の場合は、マフラー領域が１００℃程度の高温になることを利用して、熱画像中から例えば８０℃以上の温度情報を有する領域を探索して、その領域の位置情報と温度情報を検出する。一方、歩行者の場合は、露出している顔の表面温度が３０℃程度の中温になることを利用して、熱画像中から例えば３０℃程度の温度情報を有する領域を探索して、その領域の位置情報と温度情報を検出する。ここで、各領域で検出される結果のうち、位置情報としては例えば塊の重心座標位置とすればよく、温度情報としては例えば塊の平均温度とすればよい。そして、ステップ６（Ｓ６）では、ステップ５（Ｓ５）で得られた各領域の位置情報と温度情報を対応付けした位置および温度リストを作成して以降の処理に進む。

次に、ステップ７（Ｓ７）では、ステップ６（Ｓ６）で作成したリストに基づいて、検出対象である先行車や歩行者の特徴量を示す温度情報が抽出されているかどうかを判定する。リスト内に対象物の候補が一つも抽出されていない場合には、今回の赤外線画像撮像部２１０による撮像画像の中には検出対象である先行車や歩行者が存在しないものと判断して、次回の処理のためにステップ３（Ｓ３）に戻る。一方、リスト内に対象物の候補が一つ以上抽出されている場合には次のステップ（Ｓ８）に進んで、可視画像中からの対象物の検出を行う。

そして、ステップ８（Ｓ８）では、ステップ６（Ｓ６）で作成したリストに基づいて、対象物の検出処理を行う検出領域を可視画像中に設定する。次に、ステップ９（Ｓ９）では、ステップ８（Ｓ８）で設定した検出領域について、テンプレートマッチング処理に用いるテンプレートを選択する。このテンプレート選択処理について、図９を用いて説明する。

まず、ステップ８０１（Ｓ８０１）において、ステップ６（Ｓ６）で作成したリストの温度情報に基づいて、以降の処理で用いるためのテンプレート候補を選択する。具体的には、その候補領域の平均温度情報±ΔＴの範囲内の値を持つテンプレートを一つの候補領域内での対象物検出に用いるテンプレート候補とするものである。先行車存在候補領域に用いるテンプレートとして選択されるのは、例えばテンプレートがもつ温度情報が１００±３℃となる。ただし、高温部分については、通常の走行環境内では特殊な存在であるため、あらかじめ例えば８０℃以上の領域をテンプレートとして選択しても良い。一方、歩行者存在候補領域に用いるテンプレートとして選択されるのは、例えばテンプレートがもつ温度情報が２８±３℃となる。高温部分については、外気温の影響を受けること等を考えると、同一の物体でも所定の範囲では温度が変化することを考慮する必要がある。また、今回の例では中温情報を有する対象物を歩行者としているが、例えば動物（犬等）と区別するためには、本ステップで動物のテンプレートも候補として選択されてもよい。

次に、ステップ８０２（Ｓ８０２）において、ステップ７（Ｓ７）で設定された検出領域毎に、可視画像から特徴量として濃度情報（濃淡情報）および色情報を抽出する。例えば白黒カメラの場合は、濃度情報のみになるが、濃度情報から平均濃度値や濃度ヒストグラムのピークを有する濃度値、またはエッジ情報を利用して、検出領域内の対象物の大きさや種類を推定できる特徴量を抽出するようにすればよい。また、例えばカラーカメラの場合は、濃度情報に加えて色情報が得られるので、検出領域内に先行車体のテールランプに相当する赤い領域が存在するかどうか等を抽出するようにすればよい。

そして、ステップ８０３（Ｓ８０３）において、ステップ８０１（Ｓ８０１）およびステップ８０２（Ｓ８０２）の結果に基づいて、可視画像中に設定された検出領域毎に最適なテンプレートを決定し、テンプレートを用いて、可視画像中でテンプレートマッチング処理を行う。

すなわち、図８のステップ１０（Ｓ１０）では、ステップ８（Ｓ８）で選択されたテンプレートを用いて、可視画像中でテンプレートマッチング処理を行い、各検出領域内での最終的な対象物の有無およびその位置を検出する。ステップ９（Ｓ９）において、先行車存在候補領域については車体テンプレートが選択され、歩行者存在候補領域については人テンプレートが選択されている。本ステップでは、先行車存在候補領域から先行車を検出する場合には、車体テンプレートを用いて、先行車存在候補領域と車体テンプレートでの濃度値（濃淡値）の相関演算によって先行車体の有無とその詳細な位置を検出する。また、歩行者存在候補領域から歩行者を検出する場合には、歩行者存在候補領域と人テンプレートでの濃度値の相関演算によって歩行者の有無とその詳細な位置を検出する。本実施形態では、テンプレートマッチング処理を濃度値での相関演算で行っているが、これに限定されるものではなく、例えばエッジ画像をテンプレートとして持っておき、この相関値で最終的な対象物の有無とその位置を検出するようにしても構わない。

次に、ステップ１１（Ｓ１１）では、ステップ６（Ｓ６）で作成されたリストにある領域の全てに対して検出処理が行われたかどうかを判定する。リストにある領域全ての処理が終了していなければ、処理領域を切り替えるために、ステップ８（Ｓ８）に戻り、検出領域の設定を行う。リストにある領域全ての処理が終了していれば、それまでの処理結果を出力するために次のステップへ進む。

最後に、ステップ１２（Ｓ１２）では、提示部２３０等に対して検出結果を出力して、次回以降の処理を行うためにステップ２（Ｓ２）へ戻る。具体的には、例えばステアリングやアクセルやブレーキ等の制御を行うために、又は例えば歩行者の有無や衝突危険性などの警報を発するため、本処理の検出結果を警報又は画像として提示部２３０において提示する。なお、図１０のように通信部１４０を含む構成であれば、提示部２３０での提示だけでなく、外部機器３００への出力を行ってもよい。

次に、車体が住居に停車し、住居の防犯に使用する方法について、説明する。ステップ２（Ｓ２）において、もし駆動機構がオフであれば、停車中と判断され、ステップ１３(Ｓ１３)において、赤外線カメラ及び可視カメラの駆動が停止される。ステップ１４（Ｓ１４）において、赤外線カメラのみを、事前に設定された画像取得領域を撮像可能な状態になるように回転させる。また、赤外線カメラは手動にて向きが設定されてもよい。ステップ１５（Ｓ１５）及びステップ１６（Ｓ１６）において、タイマーが設定され、一定時間経過後、赤外線カメラが駆動し、設定された前方を撮像し、熱画像の初期画面を取得す
る（Ｓ１７）。タイマーが設定されているのは、赤外線カメラを住居に向けて設定しても、すぐに画像を取得する必要はなく、一定時間経過に画像取得を開始しても十分警戒が可能であるからである。

また通常は、住居の防犯を検知する場所としては、窓及び扉等が考えられる。ここで、侵入者として人を検知する場合には、８〜１２μｍの遠赤外線波長域に感度を有するものであればよく、車体設置の赤外線カメラと共用可能であって問題はない。さらに、車体の走行途中の歩行者の検知に比べ、住居の防犯の検知は、背景画像が固定であり、侵入者の有無だけを検知するだけで良いため、画像処理が非常に簡単にすむ。また、撮像時間も、侵入者の動きも歩行者にくらべ遅いため、間引き撮像が可能で、撮像時の電気消費量も少なくすむ。

そして、ステップ１７（Ｓ１７）において、一定時間経過後、赤外線カメラにより前方を撮像し、画像を取り込む。ここで、赤外線カメラの感度は落としても構わない。車体と目的物（窓・扉）の距離も近いこと、背景部と侵入者の画像の重なりによる、輪郭のボケも少ないことの理由によるものである。さらにステップ１８（Ｓ１８）において、時刻ｔ＋ｉでの熱画像を取り込む。

次に、ステップ１９（Ｓ１９）では、ステップ１７（Ｓ１７）で得られた熱画像とステップ１８（Ｓ１８）の熱画像の温度特徴量の比較を行う。一般に、侵入者の場合は、露出している顔の表面温度が３０℃程度の中温になることを利用して、熱画像中から例えば３０℃程度の温度情報を有する領域を探索して、温度情報の有無を検出する。もし、温度情報が無であれば、ステップ２１（Ｓ２１）において、赤外線カメラが初期位置（走行時に用いられる歩行者検出位置）であるかの判定し、初期値でなければ侵入者検出位置にある、つまり防犯モードによる処理を行っているということであるから、防犯処理を継続し、再度数秒後熱画像を撮像する。

ステップ２１（Ｓ２１）で、赤外線カメラが初期位置に変更されていれば、ステップ１（Ｓ１）に戻り、初期の設定から始められる。また、ステップ１９（Ｓ１９）において、２つの熱画像の比較処理から、侵入者の表面温度３０℃程度の領域を検出できたなら、ステップ２０（Ｓ２０）では、提示部２３０或いは外部機器３００等に対して検出結果を出力して、次回以降の処理を行うステップ１（Ｓ１）へ戻る。

この構成であれば、深夜の車両盗難が発生した場合、ステップ１９（Ｓ１９）にて、画像の差異が大幅に出るため、提示部２３０や外部機器３００に対して、検出結果が出力され、車両の窃盗を検知可能である。また、盗難後はＳ２において駆動機構がオンであると判定されることが想定され、その場合走行モードでの処理が行われることから、赤外線カメラがリセットされ、可視カメラと赤外線カメラが同時に駆動し、現在走行位置に対応する可視画像等を取得することが可能である。なお、上述したように可視画像は外部機器に対して送信されることが望ましい。

以上のように本実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、車載カメラ制御装置、車載カメラ制御システム及び車載カメラシステムの構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。

１００ 車載カメラ制御システム、１１０ 画像取得部、１２０ 処理部、
１３０ オンオフ情報取得部、１５０ 記憶部、２００ 車載カメラシステム、
２１０ 赤外線画像撮像部、２２０ 可視画像撮像部、２３０ 提示部、
２４０ センサー、４１０ 赤外線カメラ、４２０ 電動モーター、
４３０ 可視カメラ、４４０ 電動モーター、
４６０ イグニッション指示検知センサー、４７０ メモリー、４９０ ディスプレイ

Claims (18)

1. 赤外線画像データを赤外線画像撮像部から取得する画像取得部と、
   車両の駆動機構のオンオフ情報を取得するオンオフ情報取得部と、
   前記赤線外画像データに基づく処理を行う処理部と、
   を含み、
   前記処理部は、
   第１処理モードと、前記第１処理モードより前記赤外線画像データに基づく処理の実行レートが低い第２処理モードを含む複数の処理モードのうちから、前記オンオフ情報に基づき１つの処理モードを使用処理モードとして設定し、設定された前記使用処理モードに従って、前記赤外線画像データに基づいて対象物の検出処理を実行することを特徴とする車載カメラ制御装置。
2. 請求項１において、
   前記処理部は、
   前記オンオフ情報に基づいて前記駆動機構がオフであると判定された場合には、前記使用処理モードを前記第２処理モードに設定し、前記赤外線画像データに基づく防犯用処理を行うことを特徴とする車載カメラ制御装置。
3. 請求項２において、
   前記処理部は、
   前記オンオフ情報に基づいて前記駆動機構がオンであると判定された場合には、前記使用処理モードを前記第１処理モードに設定し、前記赤外線画像データに基づいて前記対象物が検出されたか否かを表すアラート表示情報を生成し、前記アラート表示情報を含む表示用画像データを生成することを特徴とする車載カメラ制御装置。
4. 請求項３において、
   前記画像取得部は、
   可視画像を表す可視画像データを可視画像撮像部から取得し、
   前記処理部は、
   前記可視画像データに対して前記アラート表示情報を付加することで、前記表示用画像データを生成することを特徴とする車載カメラ制御装置。
5. 請求項４において、
   前記処理部は、
   前記オンオフ情報に基づいて前記駆動機構がオフであると判定された場合には、前記可視画像撮像部を動作オフ状態又は省電力状態に設定することを特徴とする車載カメラ制御装置。
6. 請求項１乃至５のいずれかにおいて、
   前記処理部は、
   前記使用処理モードが前記第２処理モードに設定されている場合には、前記使用処理モードが前記第１処理モードに設定されている場合に比べて、前記画像取得部における前記赤外線画像データの取得レートを低く設定することを特徴とする車載カメラ制御装置。
7. 請求項１乃至６のいずれかにおいて、
   前記画像取得部は、
   前記使用処理モードが前記第２処理モードに設定されている場合には、前記使用処理モードが前記第１処理モードに設定されている場合とは異なる位置又は方向に設定された前記赤外線画像撮像部により前記赤外線画像データを取得することを特徴とする車載カメラ制御装置。
8. 請求項１乃至７のいずれかにおいて、
   前記処理部は、
   前記使用処理モードが前記第２処理モードに設定されている場合に、前記使用処理モードが前記第１処理モードである場合に用いられるテンプレートを用いて前記対象物の検出処理を行うことを特徴とする車載カメラ制御装置。
9. 請求項２乃至８のいずれかにおいて、
   前記画像取得部は、
   所与の時間間隔ごとに前記赤外線画像データを取得し、
   前記処理部は、
   第１のタイミングで取得された第１の赤外線画像データと、前記第１のタイミングとは異なる第２のタイミングで取得された第２の赤外線画像データとの比較処理を含む前記防犯用処理を行うことを特徴とする車載カメラ制御装置。
10. 請求項２乃至９のいずれかにおいて、
    前記処理部は、
    前記オンオフ情報に基づいて前記駆動機構がオフであると判定された場合には、前記赤外線画像撮像部の動作をオフにし、所与の時間経過後に前記防犯用処理を行うことを特徴とする車載カメラ制御装置。
11. 請求項２乃至１０のいずれかにおいて、
    前記防犯用処理は、住居防犯処理と、車両防犯処理を有し、
    前記処理部は、
    前記使用処理モードが前記第２処理モードに設定されて、前記防犯用処理として前記住居防犯処理を実行中に、前記オンオフ情報に基づいて前記駆動機構がオンであると判定された場合には、前記防犯用処理を前記車両防犯処理に切り替えることを特徴とする車載カメラ制御装置。
12. 請求項１１において、
    前記処理部は、
    前記赤外線画像撮像部が住居防犯用の位置又は方向に設定されており、且つ、前記オンオフ情報に基づいて前記駆動機構がオンであると判定された場合には、前記防犯用処理として前記車両防犯処理を実行することを特徴とする車載カメラ制御装置。
13. 請求項１１又は１２において、
    前記画像取得部は、
    可視画像データを可視画像撮像部から取得し、
    前記処理部は、
    前記住居防犯処理では前記可視画像撮像部の動作をオフに設定し、前記車両防犯処理では前記可視画像撮像部を動作オン状態に設定することを特徴とする車載カメラ制御装置。
14. 請求項１乃至１３のいずれかにおいて、
    前記処理部は、
    前記オンオフ情報に基づいて前記駆動機構がオフであると判定され、且つ、車載電子機器の動作がオフの場合には、前記赤外線画像データに基づく防犯用処理を行うことを特徴とする車載カメラ制御装置。
15. 請求項１４において、
    前記処理部は、
    前記オンオフ情報に基づいて前記駆動機構がオフであると判定され、且つ、前記車載電子機器の動作がオフの場合には、前記赤外線画像データを外部に送信する処理を行うことを特徴とする車載カメラ制御装置。
16. 請求項１乃至１３のいずれかにおいて、
    前記処理部は、
    前記オンオフ情報に基づいて前記駆動機構がオフであると判定され、且つ、車載電子機器の動作がオンの場合には、前記車載電子機器の表示部に前記赤外線画像データに基づく画像を表示する処理を行うことを特徴とする車載カメラ制御装置。
17. 赤外線画像データを赤外線画像撮像部から取得する画像取得部と、
    車両の駆動機構のオンオフ情報を取得するオンオフ情報取得部と、
    前記赤線外画像データに基づく処理を行う処理部と、
    を含み、
    前記処理部は、
    第１処理モードと、前記第１処理モードより前記赤外線画像データに基づく処理の実行レートが低い第２処理モードを含む複数の処理モードのうちから、前記オンオフ情報に基づき１つの処理モードを使用処理モードとして設定し、設定された前記使用処理モードに従って、前記赤外線画像データに基づいて対象物の検出処理を実行することを特徴とする車載カメラ制御システム。
18. 請求項１乃至１６のいずれかに記載の車載カメラ制御装置と前記赤外線画像撮像部を含むことを特徴とする車載カメラシステム。