JP2021071893A - 乗員検出制御装置、乗員検出装置、乗員検出方法およびプログラム - Google Patents

Abstract

【課題】車両のウィンドウを開けている乗員を適切に検出すること。【解決手段】乗員検出制御装置１００は、車両のウィンドウを含む同じ撮像領域を撮像する可視光カメラおよび遠赤外線カメラから撮像画像を取得する画像取得部１２０と、可視光カメラおよび遠赤外線カメラによる撮像画像から人物認識により車両の乗員を各々検出する人物認識部１３２と、可視光カメラによる撮像画像で人物認識できた領域に対する遠赤外線カメラによる撮像画像で人物認識できた領域の比率に基づいてウィンドウの開度を算出する開度算出部１３４と、ウィンドウの開度に基づいて、複数のウィンドウから、所定機能を車両の乗員に実行する被制御装置５０に対して行動する乗員に対応する対象ウィンドウを選定する選定部１３６と、対象ウィンドウの位置情報を含む検出情報を被制御装置５０へ出力する検出情報出力部１５０と、を備える。【選択図】図１

Description

本発明は、乗員検出制御装置、乗員検出装置、乗員検出方法およびプログラムに関する。

赤外線または超音波等による人感センサを利用して所定範囲内の人体を検出した場合に外部装置に所定の操作を実行させる方法が開示されている（例えば、特許文献１参照）。また、カメラで撮像した撮像範囲内に特定の物体または人体を検出するための撮像装置が開示されている（例えば、特許文献２参照）。

特開２００４−２１９２７７号公報 特開２００９−０１０６７５号公報

ところで、車両の乗員を車両外から検出する際に、例えば、ウィンドウのガラスを透過して車内の乗員を検出可能なセンサを用いる場合はガラスの有無が検出できず、ウィンドウのガラスを検出可能なセンサを用いる場合はガラスが遮蔽物となって車内の乗員を検出できない。このため、乗員がウィンドウを開けて車両外に対して行動する状況の検出が困難であった。

本発明は、上記に鑑みてなされたものであって、車両のウィンドウを開けている乗員を適切に検出できる乗員検出制御装置、乗員検出装置、乗員検出方法およびプログラムを提供することを目的とする。

上記の目的を達成するため、本発明の一態様の乗員検出制御装置は、車両のウィンドウを含む同じ撮像領域を撮像する可視光カメラおよび遠赤外線カメラから撮像画像を取得する画像取得部と、前記可視光カメラおよび前記遠赤外線カメラによる撮像画像から人物認識により前記車両の乗員を各々検出する人物認識部と、前記可視光カメラによる撮像画像で人物認識できた領域に対する前記遠赤外線カメラによる撮像画像で人物認識できた領域の比率に基づいて前記ウィンドウの開度を算出する開度算出部と、前記ウィンドウの開度に基づいて、複数の前記ウィンドウから、所定機能を前記車両の乗員に実行する被制御装置に対して行動する乗員に対応する対象ウィンドウを選定する選定部と、前記対象ウィンドウの位置情報を含む検出情報を前記被制御装置へ出力する検出情報出力部と、を備える。

上記の目的を達成するため、本発明の一態様の乗員検出装置は、前記乗員検出制御装置と、車両のウィンドウを含む所定の撮像領域を撮像する前記可視光カメラと前記所定の撮像領域を撮像する前記遠赤外線カメラとを含む複数の撮像装置と、前記検出情報出力部から取得した前記対象ウィンドウの検出情報に基づいて、前記所定機能を前記車両の乗員に実行する前記被制御装置と、を備える。

上記の目的を達成するため、本発明の一態様の乗員検出方法は、車両のウィンドウを含む同じ撮像領域を撮像する可視光カメラおよび遠赤外線カメラから撮像画像を取得する画像取得ステップと、前記可視光カメラおよび前記遠赤外線カメラによる撮像画像から人物認識により前記車両の乗員を各々検出する人物認識ステップと、前記可視光カメラによる撮像画像で人物認識できた領域に対する前記遠赤外線カメラによる撮像画像で人物認識できた領域の比率に基づいて前記ウィンドウの開度を算出する開度算出ステップと、前記ウィンドウの開度に基づいて、複数の前記ウィンドウから、所定機能を前記車両の乗員に実行する被制御装置に対して行動する乗員に対応する対象ウィンドウを選定する選定ステップと、前記対象ウィンドウの位置情報を含む検出情報を前記被制御装置へ出力する検出情報出力ステップと、を含む。

上記の目的を達成するため、本発明の一態様のプログラムは、車両のウィンドウを含む同じ撮像領域を撮像する可視光カメラおよび遠赤外線カメラから撮像画像を取得する画像取得ステップと、前記可視光カメラおよび前記遠赤外線カメラによる撮像画像から人物認識により前記車両の乗員を各々検出する人物認識ステップと、前記可視光カメラによる撮像画像で人物認識できた領域に対する前記遠赤外線カメラによる撮像画像で人物認識できた領域の比率に基づいて前記ウィンドウの開度を算出する開度算出ステップと、前記ウィンドウの開度に基づいて、複数の前記ウィンドウから、所定機能を前記車両の乗員に実行する被制御装置に対して行動する乗員に対応する対象ウィンドウを選定する選定ステップと、前記対象ウィンドウの位置情報を含む検出情報を前記被制御装置へ出力する検出情報出力ステップと、を乗員検出制御装置として動作するコンピュータに実行させる。

本発明によれば、車両のウィンドウを開けている乗員を適切に検出できるという効果を奏する。

図１は、実施形態に係る乗員検出装置の構成の一例を示すブロック図である。 図２は、実施形態に係る乗員検出制御装置の処理の流れの一例を示すフローチャートである。

以下に、本発明に係る乗員検出制御装置および乗員検出装置について実施形態を図面に基づいて詳細に説明する。なお、本発明は、以下の実施形態の記載に限定されるものではない。また、以下の実施形態における構成要素には、当業者が置換可能、且つ、容易なもの、或いは実質的に同一のものが含まれる。さらに、以下に記載した実施形態における構成要素は、本発明の要旨を逸脱しない範囲で構成の種々の省略、置換または変更を行うことができる。以下の実施形態では、本発明に係る乗員検出制御装置および乗員検出装置の実施形態を例示する上で、必要となる構成要素を説明し、その他の構成要素を省略する。

（実施形態）
［装置の構成］
図１を用いて、本発明の実施形態に係る乗員検出装置１について説明する。図１は、本発明の実施形態に係る乗員検出装置１の構成の一例を示すブロック図である。乗員検出装置１は、距離センサ１０と、撮像装置２０と、照明装置４０と、被制御装置５０と、報知装置６０と、乗員検出制御装置１００と、を備える。乗員検出装置１は、被制御装置５０が設置される所定領域に進入した車両に関し、所定機能を実行するべき乗員を検出する装置である。所定機能は、被制御装置５０に対する乗員の行動を容易にする、または、乗員の行動を促すために、被制御装置５０が実行する機能である。被制御装置５０は、例えば、有料駐車場に入庫する際の発券機、料金収受機、または自動洗車機等である。

乗員の行動とは、例えば、被制御装置５０が発券機である場合、被制御装置５０が発券した券を受け取ることである。この場合、被制御装置５０は、乗員による券の受け取りを容易にするために、発券口を乗員の近くに移動させる機能を実行する。

乗員の行動とは、例えば、被制御装置５０が料金収受機である場合、料金を支払ったり釣銭を受け取ったりすることである。この場合、被制御装置５０は、乗員との料金の収受を容易にするために、料金投入口および釣銭返却口を乗員の近くに移動させる機能を実行する。

距離センサ１０は、撮像装置２０の撮像対象の車両との距離を検出するセンサである。距離センサ１０は、被制御装置５０が設置される所定領域に進入した車両の少なくとも側面との距離を検出する。距離センサ１０は、検出結果を、乗員検出制御装置１００の車両距離取得部１１０へ出力する。

撮像装置２０は、ウィンドウを含む車両を車両の外部から撮像する。ウィンドウは、以下の説明においてサイドウィンドウを示すものとする。撮像装置２０は、撮像対象の車両の両側面を撮像可能に複数配置された可視光カメラと、車両の両側面を撮像可能に複数配置された遠赤外線（ＦＩＲ：Far Infrared Rays）カメラと、を含む。可視光カメラは、波長３８０〜７８０ｎｍの可視域を撮像可能なカメラである。可視光カメラは、ウィンドウのガラスを透過して車内の乗員を撮像可能である。撮像装置２０は、反射光による影響を抑制するために各々の可視光カメラに装着される偏光フィルタを含む。遠赤外線カメラは、物体から放射される波長８〜１５μｍの遠赤外線を可視化するためのカメラである。実施形態の遠赤外線カメラは、特に人体の体温が発する波長に特化した特性を備える。遠赤外線カメラは、実施形態において、遠赤外線がウィンドウのガラスを透過しないことを利用して、ガラスが開いている部分のウィンドウの内側の乗員または閉じている部分のウィンドウのガラスを撮像する。

撮像装置２０は、実施形態において、第一可視光カメラ２２と、第一遠赤外線カメラ２４と、第二可視光カメラ２６と、第二遠赤外線カメラ２８と、を含む。第一可視光カメラ２２および第一遠赤外線カメラ２４は、例えば、車両の右側面の同じ撮像領域を撮像するように互いに近接して設置される。第二可視光カメラ２６および第二遠赤外線カメラ２８は、例えば、車両の左側面の同じ撮像領域を撮像するように互いに近接して設置される。撮像領域は、撮像対象の車両が所定位置に到達した際に、撮像対象として想定される種々の車両の少なくとも前席のウィンドウを含む領域である。より好ましくは、撮像領域は、撮像対象の車両が所定位置に到達した際に、撮像対象として想定される種々の車両の全てのサイドウィンドウを含む領域である。撮像装置２０は、第一可視光カメラ２２、第一遠赤外線カメラ２４、第二可視光カメラ２６および第二遠赤外線カメラ２８が撮像した撮像画像を、乗員検出制御装置１００の画像取得部１２０へ出力する。

照明装置４０は、撮像対象の車両を照らす光源を含む。光源は、例えば、ＬＥＤ（light emitting diode）光源を含む。照明装置４０は、乗員検出制御装置１００の照明制御部１４０から出力された制御信号に基づいて、光源を発光させる、または光源の輝度、照射方向を変更させる。照明装置４０は、撮像対象の車両を照らすことによって、夜間等の周囲が暗い場合に撮像装置２０の可視光カメラによる撮像を補助する。

被制御装置５０は、検出情報出力部１５０から出力された検出情報に基づいて、車両の乗員に対する所定機能が実行される。被制御装置５０は、所定領域に停車する車両の側方側に設けられる。被制御装置５０は、車両に対して、少なくとも車両の前後方向と平行な方向に移動可能である。被制御装置５０は、車両の側面に対して近接および離間する方向に移動可能であってもよい。被制御装置５０が発券機または料金収受機等の車両の一方の側方側に対して所定機能を実行する装置である場合、被制御装置５０は、車両の左右両方の側方側にそれぞれ設けられてもよい。この場合、被制御装置５０は、検出情報出力部１５０から出力された検出情報に基づいて、車両の左方側および右方側のいずれかに設けられる被制御装置５０が所定機能を実行する。この場合、所定機能は、例えば、後述する方法によってウィンドウを通じて車両外へ行動しようとしているとみなされた乗員が券を受け取りやすいまたは金銭を投入しやすい位置に、被制御装置５０の発券口または料金収受口を移動する等である。

報知装置６０は、例えば、予め定める報知情報を音声によって通知するスピーカ等によって構成される。報知装置６０は、乗員検出制御装置１００の報知制御部１６０から出力された音声信号等の制御信号に基づいて、報知情報を報知する。報知装置６０は、例えば、液晶ディスプレイ（ＬＣＤ:Liquid Crystal Display）または有機ＥＬ（Organic Electro-Luminescence）ディスプレイ等を含む表示装置を含んでもよい。表示装置は、乗員検出制御装置１００の報知制御部１６０から出力された映像信号に基づいて、映像を表示する。被制御装置５０が料金収受機である場合、表示装置は、例えば、支払料金または釣銭を示す数値を表示する。

乗員検出制御装置１００は、予め定められる制御プログラムを実行する１つまたは複数の演算処理装置を含むＥＣＵ（Electronic Control Unit）である。演算処理装置は、例えば、ＣＰＵ（Central Processing Unit）、ＭＣＵ（Micro Controller Unit）、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）、システムＬＳＩ（Large Scale Integration）等である。乗員検出制御装置１００は、バス１９０に接続された、車両距離取得部１１０と、画像取得部１２０と、画像処理部１２２と、判定部１３０と、照明制御部１４０と、検出情報出力部１５０と、報知制御部１６０と、記憶部１７０と、電源部１８０と、を含む。

車両距離取得部１１０は、距離センサ１０が検出した撮像対象の車両との距離を含む距離情報を取得する。車両距離取得部１１０は、取得した距離情報を、画像処理部１２２および判定部１３０へ出力する。

画像取得部１２０は、撮像装置２０の第一可視光カメラ２２、第一遠赤外線カメラ２４、第二可視光カメラ２６および第二遠赤外線カメラ２８が撮像した撮像画像を取得する。第一可視光カメラ２２および第一遠赤外線カメラ２４が撮像した撮像画像は、撮像対象の車両の同じ撮像領域の撮像画像である。第二可視光カメラ２６および第二遠赤外線カメラ２８が撮像した撮像画像は、撮像対象の車両の同じ撮像領域の撮像画像である。画像取得部１２０は、取得した撮像画像を、画像処理部１２２へ出力する。

画像処理部１２２は、撮像装置２０による撮像画像を所定の方法で画像処理する。画像処理部１２２は、例えば、撮像画像からウィンドウおよび乗員を抽出する。画像処理部１２２が抽出するウィンドウの情報は、ウィンドウの前後方向および高さ方向の位置情報を含む。ウィンドウの高さ方向の位置情報は、ウィンドウの上縁部および下縁部の高さ方向の位置情報を含む。画像処理部１２２は、車両距離取得部１１０から取得した距離情報に基づいて、撮像装置２０に対するウィンドウの距離を示す距離情報を取得する。画像処理部１２２が抽出する乗員の情報は、乗員の姿勢を含んでいてもよい。画像処理部１２２は、処理した画像データを判定部１３０へ出力する。

判定部１３０は、画像処理部１２２が処理した撮像画像に基づいて種々の判定を行う。判定部１３０は、人物認識部１３２と、開度算出部１３４と、選定部１３６と、を含む。

人物認識部１３２は、取得した撮像画像から人物認識により車両の乗員を検出する。人物認識部１３２は、第一可視光カメラ２２、第一遠赤外線カメラ２４、第二可視光カメラ２６および第二遠赤外線カメラ２８がそれぞれ撮像した撮像画像から人物認識により車両の乗員を検出する。人物認識部１３２は、第一可視光カメラ２２による撮像画像で人物認識した領域と、第一遠赤外線カメラ２４による撮像画像で人物認識した領域とが重なる領域を検出する。人物認識部１３２は、第二可視光カメラ２６による撮像画像で人物認識した領域と、第二遠赤外線カメラ２８による撮像画像で人物認識した領域とが重なる領域を検出する。人物認識部１３２は、各々の検出結果を記憶部１７０へ記憶させる。

開度算出部１３４は、ウィンドウの開度を算出する。開度算出部１３４は、各々の可視光カメラの人物認識した領域に対する各々の遠赤外線カメラの人物認識した領域の比率に基づいて、各々のウィンドウの開度を算出する。車両のウィンドウであるガラスは、遠赤外線領域の吸収率が高く遠赤外線が透過できないため、人物認識部１３２は、第一遠赤外線カメラ２４および第二遠赤外線カメラ２８で撮像した撮像画像から人物認識できない。したがって、開度算出部１３４は、同一の領域を撮像した可視光カメラの撮像画像と遠赤外線カメラの撮像画像とからそれぞれ認識できた人物の領域の差に基づいて、ウィンドウの開度を算出することができる。

例えば、開度算出部１３４は、可視光カメラの撮像画像と遠赤外線カメラの撮像画像とからそれぞれ認識できた人物の領域の差がない場合、ウィンドウが全開状態であるものとして、ウィンドウの開度を１００％と算出する。例えば、開度算出部１３４は、可視光カメラの撮像画像から人物を認識した領域において、遠赤外線カメラの撮像画像から人物を全く認識できない場合、ウィンドウが全閉状態であるものとして、ウィンドウの開度を０％と算出する。例えば、開度算出部１３４は、可視光カメラの撮像画像から人物を認識した領域において、遠赤外線カメラの撮像画像から人物の一部を認識した場合、遠赤外線カメラの撮像画像から人物の一部を認識した領域に相当する領域のウィンドウが開いていると算出する。例えば、開度算出部１３４は、可視光カメラの撮像画像から検出されたウィンドウの上縁部と下縁部との高さ方向の長さに対する、遠赤外線カメラの撮像画像から人物の一部を認識した領域の下端部とウィンドウの上縁部との高さ方向の長さの比率をウィンドウの開度として算出する。

選定部１３６は、開度算出部１３４の算出結果に基づいて、開度が所定以上のウィンドウから対象ウィンドウを選定する。対象ウィンドウは、被制御装置５０に対して行動する乗員に対応するウィンドウとして扱われるウィンドウである。実施形態では、ウィンドウの開度が所定以上である場合、車両の乗員がウィンドウを通じて車両外へ行動するものとして扱う。選定部１３６は、開度算出部１３４が算出した各々のウィンドウの開度が、予め記憶部１７０に記憶された所定の閾値以上であるか否かを判定する。選定部１３６は、開度が所定以上のウィンドウのうち、最も開度が大きいウィンドウを判別可能である場合、最も開度が大きいウィンドウを対象ウィンドウとして選定する。選定部１３６は、開度が所定以上のウィンドウのうち、最も開度が大きいウィンドウを判別可能でなく、開度が増加したウィンドウがある場合、開度が増加したウィンドウを対象ウィンドウとして選定する。選定部１３６は、開度が所定以上のウィンドウのうち、最も開度が大きいウィンドウを判別可能でなく、開度が増加したウィンドウがない場合、開度が所定以上のウィンドウから所定の優先順位に基づいて対象ウィンドウを選定する。

選定部１３６は、撮像装置２０に対する距離情報を、被制御装置５０に対する距離情報に変換する。選定部１３６は、選定した対象ウィンドウの左右方向、前後方向および高さ方向を含む位置情報と、被制御装置５０に対する対象ウィンドウの距離情報とを、検出情報出力部１５０へ出力する。対象ウィンドウの左右方向の位置情報とは、対象ウィンドウが車両の左側または右側のいずれかのウィンドウであるかを示す。対象ウィンドウの左右方向の位置は、選定部１３６が対象ウィンドウを選定することにより決定される。対象ウィンドウの前後方向の位置情報は、撮像装置２０による撮像画像と、選定部１３６による対象ウィンドウの選定結果とに対応する。対象ウィンドウの高さ方向の位置情報は、撮像装置２０による撮像画像と、選定部１３６による対象ウィンドウの開度算出部１３４で算出した開度に対応する。

選定部１３６は、開度算出部１３４の算出結果に加えて、撮像装置２０の可視光カメラの撮像画像に画像処理を行って認識した車両の乗員の動作に基づいて、対象ウィンドウを選定してもよい。例えば、選定部１３６は、開度が所定以上のウィンドウのうち、身体の一部を被制御装置５０へ近づけている車両の乗員が認識されたウィンドウを対象ウィンドウとして選定してもよい。例えば、選定部１３６は、開度が所定以上のウィンドウのうち、被制御装置５０の方向を向く車両の乗員が認識されたウィンドウを対象ウィンドウとして選定してもよい。このように、選定部１３６は、開度が所定以上のウィンドウのうち、被制御装置５０に対する動作を行う車両の乗員が認識されたウィンドウを対象ウィンドウとして選定してもよい。

照明制御部１４０は、予め定められた条件および取得した照度情報に基づいて照明装置４０に照明するよう制御する。照明制御部１４０は、照明装置４０が所定の設定で照明するための制御信号を、照明装置４０へ出力する。照明制御部１４０は、撮像装置２０の第一可視光カメラ２２および第二可視光カメラ２６の撮像環境に応じて、照明装置４０の光源の発光、輝度および照射方向を制御する。照明制御部１４０は、例えば、第一可視光カメラ２２および第二可視光カメラ２６による撮像領域内の照度が所定以上になるように撮像対象の車両を照明するように照明装置４０を制御する。第一可視光カメラ２２および第二可視光カメラ２６の撮像領域内の照度を検出する方法としては、例えば、撮像領域内を検出する照度センサによって検出してもよいし、第一可視光カメラ２２および第二可視光カメラ２６による撮像画像に基づいて判定部１３０が判定してもよい。

検出情報出力部１５０は、判定部１３０による検出情報を被制御装置５０へ出力する。検出情報は、車両外へ行動する乗員と、この乗員に対応する選定部１３６によって選定された対象ウィンドウの各種情報を含む。車両外へ行動する乗員の左右、前後、着座高さ等の位置は、対象ウィンドウに対応する。乗員の着座高さは、対象ウィンドウの高さ位置に対応する。対象ウィンドウの各種情報は、対象ウィンドウの左右方向、前後方向および高さ方向を含む位置情報と、被制御装置５０に対する対象ウィンドウの距離情報等とを含む。

報知制御部１６０は、予め定められた条件および取得した報知情報に基づいて報知装置６０に報知するよう制御する。報知制御部１６０は、報知装置６０が所定の報知情報を報知するための制御信号を出力する。報知制御部１６０は、例えば、車両の乗員に対してウィンドウを開けるまたは閉じること、発券機が発券した券を受け取ること、または料金を支払うことを促す報知情報を報知装置６０に通知させる。

記憶部１７０は、種々のデータを記憶する。記憶部１７０は、揮発領域および不揮発領域を有する。記憶部１７０は、乗員検出制御装置１００が取得した各種のデータ、乗員検出制御装置１００が実行する各種の制御プログラム、および各種の制御処理に用いられるデータが記憶される１つまたは複数の記憶装置を含む。記憶装置は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等の不揮発性または揮発性の半導体メモリ、光ディスク、またはネットワークを介した外部記憶装置等である。

電源部１８０は、乗員検出制御装置１００の各部に電力を供給する。電源部１８０は、例えば充電可能なバッテリで構成されている。電源部１８０は、オペレータが操作するスイッチがＯＮの状態では常時通電されていてもよいし、乗員検出装置１が設置される施設の所定の領域に車両が進入したことを検出するセンサ等の検出結果に基づいて通電されてもよい。

［装置による処理］
図２を用いて、実施形態に係る乗員検出制御装置１００における処理の流れについて説明する。図２は、実施形態に係る乗員検出制御装置１００の処理の流れの一例を示すフローチャートである。以下の説明では、被制御装置５０が有料駐車場に入庫する際の発券機を想定するものとして説明する。図２に示す処理は、乗員検出制御装置１００が、予め定められた制御プログラムおよびデータに基づいて実行する。乗員検出制御装置１００は、例えば、所定条件または所定操作により電源部１８０に通電したことによって、図２に示すステップＳＴ２００に移行して処理を開始する。

乗員検出制御装置１００は、撮像装置２０の第一可視光カメラ２２および第二可視光カメラ２６による撮像領域内に車両が進入したか否かを判定する（ステップＳＴ２００）。より詳しくは、乗員検出制御装置１００は、例えば、車両距離取得部１１０に、距離センサ１０による検出結果を取得させてもよい。この場合、乗員検出制御装置１００は、検出結果に基づいて、撮像領域内に車両が進入したか否かを判定する。乗員検出制御装置１００は、撮像領域内に車両が進入したと判定した場合（ステップＳＴ２００；Ｙｅｓ）、ステップＳＴ２０２に移行する。乗員検出制御装置１００は、撮像領域内に車両が進入していないと判定した場合（ステップＳＴ２００；Ｎｏ）、撮像領域内に車両が進入したと判定するまで、ステップＳＴ２００を繰り返し実行する。

乗員検出制御装置１００は、撮像装置２０の第一可視光カメラ２２および第二可視光カメラ２６による撮像領域内の照度が所定以上か否かを判定する（ステップＳＴ２０２）。照度の閾値は、例えば、記憶部１７０に予め記憶されているものとする。乗員検出制御装置１００は、例えば、撮像領域内を検出する照度センサによる検出結果を取得する。乗員検出制御装置１００は、取得した照度の検出結果と、記憶部１７０に予め記憶された閾値に基づいて、撮像領域内の照度が所定以上か否かを判定する。乗員検出制御装置１００は、画像取得部１２０に第一可視光カメラ２２および第二可視光カメラ２６による撮像領域内の撮像画像を取得させ、撮像画像に基づいて判定部１３０に撮像領域内の照度を判定させてもよい。乗員検出制御装置１００は、撮像領域内の照度が所定以上であると判断した場合（ステップＳＴ２０２；Ｙｅｓ）、ステップＳＴ２０６に移行する。乗員検出制御装置１００は、撮像領域内の照度が所定以上でない場合（ステップＳＴ２０２；Ｎｏ）、ステップＳＴ２０４に移行する。

乗員検出制御装置１００は、撮像領域内の照度が所定以上でない場合（ステップＳＴ２０２；Ｎｏ）、撮像領域内の照度が所定以上になるように車両を照明する（ステップＳＴ２０４）。より詳しくは、乗員検出制御装置１００は、照明制御部１４０に、撮像領域内の照度が所定以上になるように照明装置４０の光源の発光、輝度および照射方向を制御する制御信号を照明装置４０へ出力させる。乗員検出制御装置１００は、ステップＳＴ２０６に移行する。

乗員検出制御装置１００は、撮像領域内の照度が所定以上である環境で、撮像装置２０で車両の両側面を撮像する（ステップＳＴ２０６）。より詳しくは、画像取得部１２０は、第一可視光カメラ２２および第一遠赤外線カメラ２４に車両の右側面の同じ撮像領域を撮像させる。画像取得部１２０は、第二可視光カメラ２６および第二遠赤外線カメラ２８に車両の左側面の同じ撮像領域を撮像させる。乗員検出制御装置１００は、第一可視光カメラ２２および第一遠赤外線カメラ２４と第二可視光カメラ２６および第二遠赤外線カメラ２８とが撮像した車両の両側面の撮像画像を、画像取得部１２０に取得させる。乗員検出制御装置１００は、ステップＳＴ２０８に移行する。

乗員検出制御装置１００は、撮像装置２０の可視光カメラの撮像画像から人物認識できたか否かを判定する（ステップＳＴ２０８）。より詳しくは、乗員検出制御装置１００は、まず、画像処理部１２２に、画像取得部１２０が取得した第一可視光カメラ２２および第二可視光カメラ２６による撮像画像を所定の方法で画像処理させる。乗員検出制御装置１００は、次に、人物認識部１３２に、第一可視光カメラ２２および第二可視光カメラ２６がそれぞれ撮像した撮像画像から人物認識により車両の乗員を検出させる。人物認識部１３２は、検出結果を記憶部１７０に記憶させる。乗員検出制御装置１００は、人物認識部１３２が第一可視光カメラ２２および第二可視光カメラ２６の撮像画像から人物認識できたと判定した場合（ステップＳＴ２０８；Ｙｅｓ）、ステップＳＴ２１０に移行する。乗員検出制御装置１００は、人物認識部１３２が第一可視光カメラ２２および第二可視光カメラ２６のいずれの撮像画像からも人物認識できないと判定した場合（ステップＳＴ２０８；Ｎｏ）、ステップＳＴ２１６に移行する。第一可視光カメラ２２および第二可視光カメラ２６のいずれの撮像画像からも人物認識できない場合とは、例えば、撮像領域内に、乗員がいるウィンドウが存在しない場合等である。

乗員検出制御装置１００は、撮像装置２０の可視光カメラの撮像画像から人物認識できた場合（ステップＳＴ２０８；Ｙｅｓ）、可視光カメラの撮像画像で人物認識した領域に対応する、撮像装置２０の遠赤外線カメラの撮像画像の領域から人物認識できたか否かを判定する（ステップＳＴ２１０）。より詳しくは、乗員検出制御装置１００は、まず、画像処理部１２２に、画像取得部１２０が取得した第一遠赤外線カメラ２４および第二遠赤外線カメラ２８による撮像画像を所定の方法で画像処理させる。乗員検出制御装置１００は、次に、人物認識部１３２に、第一可視光カメラ２２の撮像画像で人物認識した領域に対応する第一遠赤外線カメラ２４が撮像した撮像画像の領域から人物認識により車両の乗員を検出させる。また、乗員検出制御装置１００は、人物認識部１３２に、第二可視光カメラ２６の撮像画像で人物認識した領域に対応する第二遠赤外線カメラ２８が撮像した撮像画像の領域から人物認識により車両の乗員を検出させる。人物認識部１３２は、各々の検出結果を記憶部１７０に記憶させる。乗員検出制御装置１００は、人物認識部１３２が第一遠赤外線カメラ２４および第二遠赤外線カメラ２８の撮像画像から人物認識できたと判定した場合（ステップＳＴ２１０；Ｙｅｓ）、ステップＳＴ２１２に移行する。乗員検出制御装置１００は、人物認識部１３２が第一遠赤外線カメラ２４および第二遠赤外線カメラ２８のいずれの撮像画像からも人物認識できないと判定した場合（ステップＳＴ２１０；Ｎｏ）、ステップＳＴ２１６に移行する。

乗員検出制御装置１００は、遠赤外線カメラの撮像画像から人物認識できた場合（ステップＳＴ２１０；Ｙｅｓ）、ウィンドウの開度を算出する（ステップＳＴ２１２）。より詳しくは、乗員検出制御装置１００は、開度算出部１３４に、各々の可視光カメラによる撮像画像で人物認識した領域に対する、各々の遠赤外線カメラによる撮像画像で人物認識した領域の比率に基づいて、各々のウィンドウの開度を算出させる。開度算出部１３４は、各々のウィンドウについての算出結果を記憶部１７０に記憶させる。乗員検出制御装置１００は、ステップＳＴ２１４に移行する。

乗員検出制御装置１００は、開度が所定以上のウィンドウがあるか否かを判定する（ステップＳＴ２１４）。より詳しくは、乗員検出制御装置１００は、選定部１３６に、ステップＳＴ２１２で開度算出部１３４が算出した各々のウィンドウの開度が、予め記憶部１７０に記憶された所定の閾値以上であるか否かを判定させる。選定部１３６は、各々のウィンドウについての判定結果を記憶部１７０に記憶させる。乗員検出制御装置１００は、選定部１３６が各々のウィンドウのうち開度が所定以上のウィンドウが一つ以上あると判定した場合（ステップＳＴ２１４；Ｙｅｓ）、ステップＳＴ２１８に移行する。乗員検出制御装置１００は、選定部１３６が各々のウィンドウのうち開度が所定以上のウィンドウが一つもないと判定した場合（ステップＳＴ２１４；Ｎｏ）、ステップＳＴ２１６に移行する。

乗員検出制御装置１００は、可視光カメラの撮像画像から人物認識できない場合（ステップＳＴ２０８；Ｎｏ）、遠赤外線カメラの撮像画像から人物認識できない場合（ステップＳＴ２１０；Ｎｏ）、または開度が所定以上のウィンドウが一つもない場合（ステップＳＴ２１４；Ｎｏ）、所定の報知情報を通知する（ステップＳＴ２１６）。より詳しくは、乗員検出制御装置１００は、報知制御部１６０に、報知装置６０が所定の報知情報を通知するための制御信号を、報知装置６０へ出力させる。報知制御部１６０は、例えば、車両の乗員に対してウィンドウを開けることを促す報知情報を報知装置６０に通知させる。乗員検出制御装置１００は、ステップＳＴ２０６に移行する。

乗員検出制御装置１００は、開度が所定以上のウィンドウが一つ以上ある場合（ステップＳＴ２１４；Ｙｅｓ）、最も開度が大きいウィンドウを判別可能であるか否かを判定する（ステップＳＴ２１８）。より詳しくは、選定部１３６は、ステップＳＴ２１４の判定結果に基づいて、開度が所定以上のウィンドウが一つである場合、または、開度が所定以上のウィンドウが二つ以上であって各々の開度に差異がある場合、最も開度が大きいウィンドウを判別可能であると判定する。乗員検出制御装置１００は、選定部１３６が最も開度が大きいウィンドウを判別可能であると判定した場合（ステップＳＴ２１８；Ｙｅｓ）、ステップＳＴ２２０に移行する。選定部１３６は、例えば、開度が所定以上のウィンドウが二つであって、各々のウィンドウの開度がほぼ同一である場合、最も開度が大きいウィンドウを判別可能でないと判定する。乗員検出制御装置１００は、選定部１３６が最も開度が大きいウィンドウを判別可能でないと判定した場合（ステップＳＴ２１８；Ｎｏ）、ステップＳＴ２２２に移行する。

乗員検出制御装置１００は、最も開度が大きいウィンドウが判別可能である場合（ステップＳＴ２１８；Ｙｅｓ）、最も開度が大きいウィンドウを対象ウィンドウとして選定する（ステップＳＴ２２０）。より詳しくは、選定部１３６は、最も開度が大きいウィンドウとして判別したウィンドウを、対象ウィンドウとして記憶部１７０に記憶させる。すなわち、最も開度が大きいウィンドウに対応する乗員がウィンドウを通じて車両外へ行動を行うものとして扱う。乗員検出制御装置１００は、ステップＳＴ２３２に移行する。

乗員検出制御装置１００は、最も開度が大きいウィンドウが判別可能でない場合（ステップＳＴ２１８；Ｎｏ）、撮像装置２０で車両の両側面を再度撮像する（ステップＳＴ２２２）。より詳しくは、画像取得部１２０は、第一可視光カメラ２２および第一遠赤外線カメラ２４に車両の右側面の同じ撮像領域を撮像させる。画像取得部１２０は、第二可視光カメラ２６および第二遠赤外線カメラ２８に車両の左側面の同じ撮像領域を撮像させる。乗員検出制御装置１００は、第一可視光カメラ２２および第一遠赤外線カメラ２４と第二可視光カメラ２６および第二遠赤外線カメラ２８とが撮像した車両の両側面の撮像画像を、画像取得部１２０に取得させる。乗員検出制御装置１００は、ステップＳＴ２２４に移行する。

乗員検出制御装置１００は、撮像装置２０の可視光カメラの撮像画像で人物認識した領域に対応する、撮像装置２０の遠赤外線カメラの撮像画像の領域から人物認識できたか否かを判定する（ステップＳＴ２２４）。より詳しくは、乗員検出制御装置１００は、まず、画像処理部１２２に、画像取得部１２０が取得した第一可視光カメラ２２、第一遠赤外線カメラ２４、第二可視光カメラ２６および第二遠赤外線カメラ２８による撮像画像を所定の方法で画像処理させる。乗員検出制御装置１００は、次に、人物認識部１３２に、第一可視光カメラ２２、第一遠赤外線カメラ２４、第二可視光カメラ２６および第二遠赤外線カメラ２８がそれぞれ撮像した撮像画像から人物認識により車両の乗員を検出させる。乗員検出制御装置１００は、開度算出部１３４に、各々の可視光カメラの撮像画像で人物認識した領域に対する、各々の遠赤外線カメラの撮像画像で人物認識した領域の比率に基づいて、各々のウィンドウの開度を算出させる。開度算出部１３４は、各々のウィンドウについての算出結果を記憶部１７０に記憶させる。乗員検出制御装置１００は、ステップＳＴ２２６に移行する。

乗員検出制御装置１００は、開度が増加したウィンドウがあるか否かを判定する（ステップＳＴ２２６）。より詳しくは、選定部１３６は、ステップＳＴ２１２における開度算出部１３４の算出結果と、ステップＳＴ２２４における開度算出部１３４の算出結果とを比較して、開度が増加したウィンドウがあるか否かを判定する。乗員検出制御装置１００は、開度が増加したウィンドウがあると選定部１３６が判定した場合（ステップＳＴ２２６；Ｙｅｓ）、ステップＳＴ２２８に移行する。乗員検出制御装置１００は、開度が増加したウィンドウがないと選定部１３６が判定した場合（ステップＳＴ２２６；Ｎｏ）、ステップＳＴ２３０に移行する。

乗員検出制御装置１００は、開度が増加したウィンドウがある場合（ステップＳＴ２２６；Ｙｅｓ）、開度が増加したウィンドウを対象ウィンドウとして選定する（ステップＳＴ２２８）。より詳しくは、選定部１３６は、開度が増加したウィンドウとして判別したウィンドウを、対象ウィンドウとして記憶部１７０に記憶させる。すなわち、複数のウィンドウが同程度に開いている場合は、開度が増加したウィンドウに対応する乗員がウィンドウを通じて車両外へ行動を行うものとして扱う。乗員検出制御装置１００は、ステップＳＴ２３２に移行する。

乗員検出制御装置１００は、開度が増加したウィンドウがない場合（ステップＳＴ２２６；Ｎｏ）、所定の優先順位に基づいて選定されたウィンドウを対象ウィンドウとして選定する（ステップＳＴ２３０）。より詳しくは、選定部１３６は、開度が所定以上のウィンドウから所定の優先順位に基づいて選定されたウィンドウを、対象ウィンドウとして記憶部１７０に記憶させる。所定の優先順位は、予め記憶部１７０に記憶される。すなわち、選定部１３６は、ウィンドウの開度または開度の変化によっても対象ウィンドウを選定できない場合、予め定められた優先順位に従って対象ウィンドウを選定する。所定の優先順位は、例えば、右方前席、左方前席、右方後席、左方後席の順に高い。乗員検出制御装置１００は、ステップＳＴ２３２に移行する。

乗員検出制御装置１００は、選定された対象ウィンドウの各種情報を被制御装置５０へ出力する（ステップＳＴ２３２）。より詳しくは、乗員検出制御装置１００は、検出情報出力部１５０に、対象ウィンドウの位置情報および車両との距離情報等の各種情報を含む車両外へ行動する乗員に対応する対象ウィンドウの検出情報を被制御装置５０へ出力させる。位置情報は、対象ウィンドウの左右方向、前後方向および高さ方向の位置情報を含む。これにより、例えば発券機である被制御装置５０は、対象ウィンドウの開口部付近へ移動して、乗員が受け取りやすい状態で自動発券する。乗員検出制御装置１００は、ステップＳＴ２３４に移行する。

乗員検出制御装置１００は、所定の報知情報を通知する（ステップＳＴ２３４）。より詳しくは、乗員検出制御装置１００は、報知制御部１６０に、報知装置６０が所定の報知情報を通知するための制御信号を、報知装置６０へ出力させる。報知制御部１６０は、例えば、車両の乗員に対して発券機が発券した券を受け取ることを促す報知情報を報知装置６０に通知させる。乗員検出制御装置１００は、図２に示すフローチャートの処理を終了する。

以上説明したように、乗員検出制御装置１００は、車両の乗員を車両外から可視光カメラによって撮像した撮像画像から人物認識することによって検出する。また、乗員検出制御装置１００は、可視光カメラで撮像した撮像領域と同じ撮像領域を遠赤外線カメラによって撮像した撮像画像から人物認識することによって開いているウィンドウに対応する乗員を車両外から検出する。可視光カメラによる撮像画像で人物認識した領域のうち、遠赤外線カメラによる撮像画像で人物認識できた領域が所定以上ある場合、車両のウィンドウが一部または全て開いているとみなす。乗員検出制御装置１００は、可視光カメラによる撮像画像で人物認識した領域に対する、遠赤外線カメラによる撮像画像で人物認識した領域の比率に基づいて各々のウィンドウの開度を算出する。乗員検出制御装置１００は、各々のウィンドウの開度に基づいて選定した対象ウィンドウの検出情報を、被制御装置５０へ出力する。

これにより、例えば、被制御装置５０が可動式の発券機である場合、対象ウィンドウの検出情報から、券を受け取ろうとしている乗員の左右、前後、着座高さ等の位置がわかるので、乗員が券を受け取りやすい位置に移動する、発券ボタンの操作なしに発券する等が可能である。したがって、乗員は容易な体勢で券を受け取れるので、乗員への負担軽減が図れる。また、例えば、被制御装置５０が自動洗車機である場合、料金が支払われた後のウィンドウ閉め忘れに対して報知装置６０で所定の警告を行う等にも適用可能である。

図示した乗員検出装置１の構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、乗員検出装置の具体的形態は、図示のものに限られず、乗員検出装置の処理負担や使用状況等に応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

乗員検出装置１の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラム等によって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

１ 乗員検出装置
１０ 距離センサ
２０ 撮像装置
２２ 第一可視光カメラ
２４ 第一遠赤外線カメラ
２６ 第二可視光カメラ
２８ 第二遠赤外線カメラ
４０ 照明装置
５０ 被制御装置
６０ 報知装置
１００ 乗員検出制御装置
１１０ 車両距離取得部
１２０ 画像取得部
１２２ 画像処理部
１３０ 判定部
１３２ 人物認識部
１３４ 開度算出部
１３６ 選定部
１４０ 照明制御部
１５０ 検出情報出力部
１６０ 報知制御部
１７０ 記憶部
１８０ 電源部
１９０ バス
ＳＴ２００、ＳＴ２０２、ＳＴ２０４、ＳＴ２０６、ＳＴ２０８、ＳＴ２１０、ＳＴ２１２、ＳＴ２１４、ＳＴ２１６、ＳＴ２１８、ＳＴ２２０、ＳＴ２２２、ＳＴ２２４、ＳＴ２２６、ＳＴ２２８、ＳＴ２３０、ＳＴ２３２、ＳＴ２３４ ステップ

Claims (10)

1. 車両のウィンドウを含む同じ撮像領域を撮像する可視光カメラおよび遠赤外線カメラから撮像画像を取得する画像取得部と、
   前記可視光カメラおよび前記遠赤外線カメラによる撮像画像から人物認識により前記車両の乗員を各々検出する人物認識部と、
   前記可視光カメラによる撮像画像で人物認識できた領域に対する前記遠赤外線カメラによる撮像画像で人物認識できた領域の比率に基づいて前記ウィンドウの開度を算出する開度算出部と、
   前記ウィンドウの開度に基づいて、複数の前記ウィンドウから、所定機能を前記車両の乗員に実行する被制御装置に対して行動する乗員に対応する対象ウィンドウを選定する選定部と、
   前記対象ウィンドウの位置情報を含む検出情報を前記被制御装置へ出力する検出情報出力部と、
   を備える乗員検出制御装置。
2. 前記選定部は、開度が所定以上のウィンドウを対象ウィンドウとして選定する、
   請求項１に記載の乗員検出制御装置。
3. 前記選定部は、開度が所定以上のウィンドウが複数ある場合、最も開度が大きいウィンドウを対象ウィンドウとして選定する、
   請求項１に記載の乗員検出制御装置。
4. 前記画像取得部は、所定時間後に前記可視光カメラおよび前記遠赤外線カメラから前記撮像領域の撮像画像を再度取得し、
   前記選定部は、開度が増加したウィンドウを対象ウィンドウとして選定する、
   請求項１に記載の乗員検出制御装置。
5. 前記画像取得部は、所定時間後に前記可視光カメラおよび前記遠赤外線カメラから前記撮像領域の撮像画像を再度取得し、
   前記選定部は、開度が所定以上のウィンドウが複数ある場合であって、最も開度が大きいウィンドウが判別できない場合かつ開度が増加したウィンドウがない場合、開度が所定以上のウィンドウから所定の優先順位に基づいて対象ウィンドウを選定する、
   請求項１に記載の乗員検出制御装置。
6. 画像取得部は、前記車両の両側面を撮像可能に複数配置された前記可視光カメラおよび前記遠赤外線カメラからそれぞれ撮像画像を取得する、
   請求項１から５のいずれか１項に記載の乗員検出制御装置。
7. 撮像対象の車両との距離を示す距離情報を取得する車両距離取得部を備え、
   前記検出情報出力部は、前記車両との距離情報を前記被制御装置へ出力する、
   請求項１から６のいずれか１項に記載の乗員検出制御装置。
8. 請求項１から７のいずれか１項に記載の乗員検出制御装置と、
   車両のウィンドウを含む所定の撮像領域を撮像する前記可視光カメラと前記所定の撮像領域を撮像する前記遠赤外線カメラとを含む複数の撮像装置と、
   前記検出情報出力部から取得した前記対象ウィンドウの検出情報に基づいて、前記所定機能を前記車両の乗員に実行する前記被制御装置と、
   を備える乗員検出装置。
9. 車両のウィンドウを含む同じ撮像領域を撮像する可視光カメラおよび遠赤外線カメラから撮像画像を取得する画像取得ステップと、
   前記可視光カメラおよび前記遠赤外線カメラによる撮像画像から人物認識により前記車両の乗員を各々検出する人物認識ステップと、
   前記可視光カメラによる撮像画像で人物認識できた領域に対する前記遠赤外線カメラによる撮像画像で人物認識できた領域の比率に基づいて前記ウィンドウの開度を算出する開度算出ステップと、
   前記ウィンドウの開度に基づいて、複数の前記ウィンドウから、所定機能を前記車両の乗員に実行する被制御装置に対して行動する乗員に対応する対象ウィンドウを選定する選定ステップと、
   前記対象ウィンドウの位置情報を含む検出情報を前記被制御装置へ出力する検出情報出力ステップと、
   を含む乗員検出方法。
10. 乗員検出制御装置として動作するコンピュータに、
    車両のウィンドウを含む同じ撮像領域を撮像する可視光カメラおよび遠赤外線カメラから撮像画像を取得する画像取得ステップと、
    前記可視光カメラおよび前記遠赤外線カメラによる撮像画像から人物認識により前記車両の乗員を各々検出する人物認識ステップと、
    前記可視光カメラによる撮像画像で人物認識できた領域に対する前記遠赤外線カメラによる撮像画像で人物認識できた領域の比率に基づいて前記ウィンドウの開度を算出する開度算出ステップと、
    前記ウィンドウの開度に基づいて、複数の前記ウィンドウから、所定機能を前記車両の乗員に実行する被制御装置に対して行動する乗員に対応する対象ウィンドウを選定する選定ステップと、
    前記対象ウィンドウの位置情報を含む検出情報を前記被制御装置へ出力する検出情報出力ステップと、
    を実行させるプログラム。

Images