JP2007186915A - パワーウインドウ装置 - Google Patents

Abstract

【課題】ウインドウによる異物の挟み込みを、実際に異物を挟む前に検出することができるパワーウインドウ装置を提供する。
【解決手段】車両１に、挟み込み検出機能を備えた画像処理装置１５を設け、車両１のドア２に、窓枠周辺を撮影可能な赤外線カメラ１４を取り付ける。画像処理装置１５は、赤外線カメラ１４から画像データＤpicを取得し、この画像データＤpicを用いて挟み込みの有無を判定する。画像処理装置１５は、ウインドウ３に挟み込まれる位置に異物が侵入したと判定すると、挟み込みが生じ得ると認識し、その旨をパワーウインドウＥＣＵ６に通知する。この通知を受けたパワーウインドウＥＣＵ６は、安全動作を実施してウインドウ３の昇降に規制を加え、ウインドウ３による挟み込みを未然に防ぐ。
【選択図】図１

Description

本発明は、ウインドウの開閉動作時において、カメラ等の撮影機器で取得した撮影画像を用い、ウインドウによる人体等の異物の挟み込み有無を検出するパワーウインドウ装置に関する。

近年、多くの車両においては、ウインドウの開閉操作の利便性向上を目的として、ＤＣモータ等を駆動源にウインドウを自動で昇降させるパワーウインドウ装置が搭載されている。この種のパワーウインドウ装置には、ウインドウの開閉動作時においてウインドウによる挟み込みを防止する挟み込み防止機能を有する機種があり、この技術が例えば特許文献１，２に開示されている。この挟み込み防止機能は、挟み込みを検出すると、上昇中のウインドウを停止したり、或いはウインドウガラスを上昇から下降に転じさせたりする。

これら文献で示された挟み込み防止機能は、モータの回転数を検出するパルスセンサのパルス信号を見ることで、ウインドウによる挟み込みの有無を検出する。このパルスセンサは、パルス信号のパルスをカウントすることによってウインドウの位置を見るためのセンサであるが、ウインドウで挟み込みが生じた場合、その時点からウインドウの上昇が規制されてモータの回転数、つまりパルス信号のパルス数が減少する。よって、パルスセンサを備えたパワーウインドウ装置においては、パルスセンサが出力するパルス信号の単位時間当たりのパルス数変化を見ることで、ウインドウによる挟み込みの有無を判定する方式（パルス信号検出式）が採用される。
特開２００４−０９２３１４号公報 特開２００４−２４４９５６号公報

ところが、挟み込み検出がパルス信号検出式の場合は、実際にウインドウで異物が挟み込まれた時に、これを挟み込み有りとして検出する。このように、挟み込み検出がパルス信号検出式の場合、挟み込み検出に際しては異物の挟み込みを前提としていることから、この種の挟み込み防止機能はウインドウによる挟み込みを防止するといっても、実際にユーザは軽微と言えど手等の人体の一部がウインドウに挟まれた状態となる。よって、パワーウインドウ装置に挟み込み防止機能を備え付けて、ウインドウによる挟み込みを防止したとしても、ユーザの不快感解消の解決にはなっていない問題があった。

本発明の目的は、ウインドウによる異物の挟み込みを、実際に異物を挟む前に検出することができるパワーウインドウ装置を提供することにある。

前記問題点を解決するために、本発明によれば、昇降動作中のウインドウにより異物が挟み込まれることを防止する挟み込み防止機能を備えたパワーウインドウ装置において、窓枠周辺を撮影する撮影手段と、前記撮影手段が撮影した画像データを入力し、当該画像データに映り込んだ輝度から求まる特徴量を基に前記挟み込みの有無を検出する画像処理手段と、前記画像処理手段が前記挟み込みを検出した際に、前記挟み込みを防止し得る安全動作を、前記ウインドウの昇降を制御する昇降制御手段に実行させる実行手段とを備えたことを要旨とする。

この構成によれば、撮影手段が起動を開始して窓枠周辺を撮影すると、その画像データが撮影手段から画像処理手段に出力される。この画像データを入力した画像処理手段は、その画像データの輝度から特徴量を算出し、この特徴量と閾値とを比較することで、ウインドウによる挟み込みの有無を検出する。画像処理手段は、挟み込みを検出するとその旨を昇降制御手段に出力し、昇降制御手段に安全動作を実行させる。これにより、例えばウインドウの昇降が停止したり或いは逆転したりしてウインドウの動作に規制が加わり、ウインドウにより人体が挟み込まれる事が抑制される。

従って、本発明のような画像データから挟み込みの有無を検出する手法を用いれば、実際にユーザが例えば手や指等をウインドウで挟まれなくても、挟み込みが発生しそうな状況を検出することが可能となる。よって、ユーザが例えば手や指等をウインドウで挟み込んでしまう前に、未然に挟み込みを検出することが可能となり、ユーザに不快感等を与えることなく、ウインドウによる挟み込みを検出することが可能となる。

本発明によれば、前記画像処理手段は、前記特徴量を基に前記画像データに映り込んだ物体の動きを検出し、当該動きから前記挟み込みの有無を検出することを要旨とする。
この構成によれば、人体の動きはそれ特有の動きをとることから、撮影画像上の物体の動きを見て挟み込み検出を行えば、挟み込み判定時に用いる撮影画像上の基準領域（異物判定基準領域）に人体が侵入したか否かを、より高い精度で判定することが可能となる。よって、撮影手段の画像データを用いて挟み込み有無を検出するに際して、誤検出が生じ難い。

本発明によれば、前記窓枠に、光反射率の高い光反射材料を設け、前記画像処理手段は、前記光反射材料を撮影した画像から当該光反射材料の画像領域を取得し、この領域において前記特徴量を求め、当該特徴量の変化から前記挟み込みの有無を検出することを要旨とする。

この構成によれば、窓枠に光反射材料が設けられているので、撮影手段は光反射材料が映り込んだ画像を撮影する。画像処理手段は、光反射材料の映った画像データから光反射材料の画像領域を取得し、この光反射材料画像領域の特徴量を求めて挟み込みの有無を検出する。この場合、撮影画像に映り込む光反射材料領域を異物判定基準領域として用いることになるので、異物判定基準領域を例えばペイントソフト等でマーキングした画像データをテンプレートデータとして用意しておく必要がなくなり、面倒なデータ編集等の作業を行わずに異物判定基準領域を設定することが可能となる。

本発明によれば、前記撮影手段の前記画像データから前記窓枠周辺の照度を算出する照度算出手段と、挟み込み有無の検出手法が各々異なる複数のアルゴリズムを記憶した記憶手段とを備え、前記画像処理手段は、前記記憶手段内の複数のアルゴリズムの中から前記照度に応じたアルゴリズムを選択し、当該アルゴリズムを用いて前記挟み込みの有無を検出することを要旨とする。

この構成によれば、挟み込み有無を検出するに際して窓枠周辺の照度が算出され、記憶手段に登録された複数のアルゴリズムの中から、その時の照度に応じたアルゴリズムが選択され、そのアルゴリズムを用いて挟み込み検出が行われる。従って、その時の照度に応じた最適のアルゴリズムで挟み込み検出が実施されることになり、挟み込み有無を判定するに際して誤判定防止に非常に効果が高い。

本発明によれば、前記撮影手段は、近赤外線を前記窓枠周辺に発光し、被写体で反射した前記近赤外線を用いて前記挟み込みの有無を検出することを要旨とする。
この構成によれば、人には見えない特性がある近赤外線を窓枠周辺に照射し、窓枠周辺に存在する被写体から跳ね返った反射光を取り込んで窓枠周辺の画像を取得する。従って、夜間などの暗所においても、人の視界に影響を及ぼすことなく窓枠周辺の画像を撮影することが可能となる。ところで、例えば撮影手段が照射する光として赤外線を用いることも可能であるが、赤外線には赤外線カメラに写らない波長領域もあるため、場合によっては画像の映り込まない部分が生じる可能性もある。しかし、本発明のように赤外線カメラが照射する光として近赤外線を用いれば、赤外線を用いた場合に起こり得る問題が生じ難くなる。

本発明によれば、ウインドウによる異物の挟み込みを、実際に異物を挟む前に検出することができる。

以下、本発明を具体化したパワーウインドウ装置の一実施形態を図１〜図２３に従って説明する。
図１に示すように、車両１の各ドア２には、ウインドウ３を昇降させる際に操作するパワーウインドウスイッチ（以下、ＰＷスイッチと記す）４が配設されている。このＰＷスイッチ４は、例えば２段クリック式の揺動型スイッチであって、一端側（下降側）を１段クリックすると、クリック操作されている間においてウインドウ３が下降し、一端側を２段クリックすると作動モードがオート下降状態となり、再スイッチ操作されるまでウインドウ３が連続下降する。なお、ＰＷスイッチ４を上昇操作した時も同様の動きをとる。

車両１には、操作者のスイッチ操作を基にウインドウ３を自動で昇降させるモータユニット５が、運転席、助手席、リヤ右側席及びリヤ左側席の各ドアに各々配設されている。モータユニット５には、ウインドウ３の昇降制御を行うパワーウインドウＥＣＵ(Electric Control Unit)６が搭載されている。パワーウインドウＥＣＵ６には、ウインドウ３が昇降する際の駆動源となる駆動モータ７と、この駆動モータ７の回転数を検出するパルスセンサ８とが接続されている。なお、パワーウインドウＥＣＵ６が昇降制御手段に相当する。

パワーウインドウＥＣＵ６には、このＥＣＵ６を統括制御するＣＰＵ(Central Processing Unit)９が内蔵されている。ＣＰＵ９の入力側には、パワーウインドウＥＣＵ６内のスイッチ回路１０を介してＰＷスイッチ４が接続されるとともに、パワーウインドウＥＣＵ６内のパルス入力回路１１を介してパルスセンサ８が各々接続されている。また、ＣＰＵ９の出力側には、パワーウインドウＥＣＵ６内の駆動回路１２を介して駆動モータ７が接続されている。

ＣＰＵ９は、ＰＷスイッチ４が操作された事を検出すると、駆動モータ７の駆動力をウインドウ３の上下方向の運動力に変換するレギュレータ１３を介し、駆動モータ７の駆動力をウインドウ３に伝達してウインドウ３を昇降させる。このとき、ＣＰＵ９は、パルスセンサ８が出力するパルス信号Ｓpaのパルスをカウントすることで、ウインドウ３の位置を判定する。

各ドア２の内側面には、車内からウインドウ３の昇降動作を撮影可能な赤外線カメラ１４が配設されている。この赤外線カメラ１４は、カメラ撮影領域に近赤外線ＬＥＤ１４ａから近赤外線を照射するとともに、被写体で反射した近赤外線を撮影画像として撮影するカメラである。近赤外線等の赤外線は目に見えない光であることから、この種の赤外線カメラ１４を用いて撮影を行えば、夜間においても運転者等に気付かれることなく、ウインドウ３の窓枠周辺を撮影可能である。なお、赤外線カメラ１４が撮影手段に相当する。

各赤外線カメラ１４には、例えばドア２の内壁などに埋設された画像処理装置１５がケーブル１６を介して接続されている。また、この画像処理装置１５は、信号線１７を介してパワーウインドウＥＣＵ６に接続されている。画像処理装置１５は、赤外線カメラ１４の作動を制御するとともに、赤外線カメラ１４から撮影画像（画像データＤpic）をモノクロ画像で取得し、この画像データDpicを用いて、ウインドウ３による指や手などの人体の挟まれを防止する挟み込み防止制御を行う。なお、画像処理装置１５が画像処理手段、実行手段及び照度算出手段を構成する。

赤外線カメラ１４は、画像処理装置１５からパルス状の画像要求信号Ｓreqを入力すると、その入力タイミングで画像撮影を行い、その撮影画像Ｐicを画像処理装置１５に出力する。よって、画像処理装置１５は、画像要求信号Ｓreを赤外線カメラ１４に出力する度に赤外線カメラ１４から撮影画像Ｐicを取得し、このように画像要求信号発信の度に得られる撮影画像Ｐicを画像データDpicとして取得する。

また、赤外線カメラ１４が単位時間当たりに画像要求信号Ｓreqを多パルス（短い周期）で入力すれば、赤外線カメラ１４は短い周期で撮影画像Ｐicを画像処理装置１５に順次送ることになる。このため、画像処理装置１５が画像要求信号Ｓreqを赤外線カメラ１４に短い周期で出力するように設定すれば、画像処理装置１５が赤外線カメラ１４から取得する撮影画像数はより多くなり、画像処理装置１５は連続的な画像（動画）を得ることが可能でなる。

画像処理装置１５には、同装置１５を統括制御する画像処理制御部(ＣＰＵ)１８が内蔵されている。画像処理制御部１８は、画像処理装置１５内のインターフェース１９を介し、赤外線カメラ１４から延びるケーブル１６と接続されている。画像処理制御部１８とインターフェース１９との間において画像データの入力ライン上には、画像データ内のノイズを除去するノイズ除去回路２０が接続されている。

画像処理制御部１８には、各種プログラムを記憶したＲＯＭ２１と、各種処理実行時において画像処理制御部１８の作業領域として用いられるＲＡＭ２２と、データを書き換え可能な状態で保持するＥＥＰＲＯＭ２３が接続されている。ＲＯＭ２１には、画像処理制御部１８が挟み込み防止制御として実行する挟み込み防止制御プログラム２４が記憶されている。画像処理制御部１８は、挟み込み防止制御プログラム２４に沿って作動することにより、赤外線カメラ１４から取得した画像データから、ウインドウ３による挟み込みの有無を検知する。なお、ＲＯＭ２１が記憶手段に相当する。

画像処理制御部１８は、画像処理装置１５内のインターフェース２５を介し、パワーウインドウＥＣＵ６から延びる信号線１７の一端と接続されている。また、パワーウインドウＥＣＵ６のＣＰＵ９は、パワーウインドウＥＣＵ６内のインターフェース２６を介して、信号線１７の他端と接続されている。異物の挟み込みを検出した画像処理制御部１８は、信号線１７を介してその旨の指令を送り、パワーウインドウＥＣＵ６に各種安全動作を実行させることが可能である。

挟み込み防止制御プログラム２４には、挟み込み検知処理のアルゴリズム（挟み込み有無の検知手法）が複数登録されている。本例のアルゴリズムとしては、以下の４パターンがある。即ち、撮影画像からオプティカルフローを求めて異物の動きを検出する手法（オプティカルフロー検知手法）と、撮影画像の差分を求めて異物の動きを検出する手法（画像差分検知手法）と、撮影画像の特徴量（輪郭、領域面積）の変化を見る手法（特徴量検知手法）と、窓枠に付したマーカの変化を撮影画像から取得する手法（マーカ監視検知手法）とがある。

続いて、これらの検知手法の詳細を以下に順を追って説明する。
ところで、赤外線カメラ１４で取り込んだ撮影画像Ｐicは、図２に示すようにウインドウ３以外の不要な部分（周囲の風景等）も映り込むことから、挟み込み検出時に用いるべき領域を切り出し、それを検知エリアＥとして設定する必要がある。そこで、本例においては、窓枠２７を撮影した撮影画像を予め取得しておき、ペイントソフト等を用いてその画像から窓枠周辺領域を切り出すことによって、この領域を挟み込み検知時に用いる検知エリアＥとして特定する。そして、検知エリアＥを特定した画像データを、テンプレートデータＤtempとして予めＥＥＰＲＯＭ２３に登録しておく。

まず、オプティカルフロー検知手法を説明する。画像処理制御部１８は、信号線１７で繋がれたパワーウインドウＥＣＵ６から、ウインドウ３の現在位置を表す窓位置情報Ｄwiを入力しているため、ウインドウ３が昇降中である事や、ウインドウ３の現在位置を認識可能である。よって、画像処理制御部１８は、ウインドウ３が開いていることを検出すると、赤外線カメラ１４への画像要求信号Ｓreqの出力を開始して窓枠周辺の撮影を開始し、ノイズ除去回路２０でノイズを取った後の画像データＤpicを用いて挟み込み検出を行う。

画像処理制御部１８は、赤外線カメラ１４から画像データＤpicを取得した際、その画像データＤpicから図３に示すようなオプティカルフロー２８を求め、そのオプティカルフロー２８を用いて、画像に映り込む図４に示す物体の動き（移動軌跡２９）を特徴量Ｔとして検出する。そして、画像処理制御部１８は、検出された物体の動きの位置、方向、面積を各々の異物判定閾値と比較し、ウインドウ３により挟み込まれる領域に異物が入り込んだか否かを判定する。なお、ここで言う異物判定閾値は、算出した画像上の特性値がこの値を超えると、その物体を異物と判断することが可能な設定値である。オプティカルフロー２８の算出手法としては、例えば勾配法、ブロックマッチング法、Horn and BG Schunck法、Lucas Kanade法などが用いられる。

オプティカルフロー２８を用いて挟み込みの有無を判定するに際しては、最初に行う処理として、図５（ａ）に示すように、撮影画像Ｐicにおいてピクセル（画素）ごとに輝度を求め、画面縦軸方向の各画素列と画面横軸方向の各画素列で輝度波形３０を求める。例えば、図５（ａ）に示す例のように、ある所定の列において真ん中付近の輝度が低くなると、その真ん中部分で波形の傾きがマイナスになった輝度波形３０が求まる。

オプティカルフロー算出に際しては、前後する撮影画像Ｐicを比較する処理が必要となるため、前後する撮影画像Ｐicに連続性を持たせる、つまり前後する撮影画像Ｐicを連続的に繋がった状態とすべく、図５（ａ）に示す輝度波形３０を、波形傾きを緩やかにした図５（ｂ）に示す補正波形３１に変換する。この補正波形３１は、輝度波形３０の変曲点部分が緩やかに湾曲した波形である。この補正波形３１を求める処理は、画像処理制御部１８が撮影画像Ｐicを取得する度に、画面縦軸方向及び画面横軸方向の全ての列で行う。

そして、連続的に前後する撮影画像Ｐicにおいて、それぞれの列の補正波形３１同士で図５（ｃ）に示すような波形差Ｌa（同図の斜線領域）を算出する。例えば、図５（ｃ）に実線で示す補正波形３１ａを、図５（ｂ）に示す補正波形３１ｂの一つ後の撮影画像Ｐicの補正波形とすると、補正波形３１ａと補正波形３１ｂとの間で差をとることによって波形差Ｌaを算出する。そして、この波形差Ｌaからオプティカルフロー２８を算出する。また、このオプティカルフロー２８は、物体が次の瞬間にどの方向へどれだけ移動するかを表す値であることから、別の言い方をすれば物体の速度として求まる値であるとも言える。そして、画像処理制御部１８は、画面縦軸方向及び画面横軸方向の各画素列から求まる波形差Ｌaを用い、撮影画像Ｐicのピクセルごとに図３に示すようなオプティカルフロー２８を算出する。

ここで、勾配法の詳細について説明する。画像上の画素（ｘ，ｙ）の輝度をf(x,y,z)とし、その点が時刻（ｔ＋ｄｔ）となった時に、輝度がf(x＋dx,y＋dy,t＋dt)に移ったとすると、次式(1)が成立する。

f(x,y,z)＝f(x＋dx,y＋dy,t＋dt) … (1)
そして、式(1)をテーラー展開し、dxとdyとdtとの２次以降を切り捨てると、次式(2)が成立する。

f_x(x,y,z)・u＋f_y(x,y,z)・v＋f_t(x,y,z)＝０ … (2)
これにより、式(2)を解けばf(x＋dx,y＋dy,t＋dt)を求めることができるが、係数uと係数vは未知数の値であるため、まずは係数uと係数vとを求める必要がある。そこで、次式(3)，(4)に示すような２つのフィルタを用いて勾配法の拘束式を作る。

(g＊f)_x・u＋(g＊f)_y・v＋(g＊f)_t＝０ … (3)
(h＊f)_x・u＋(h＊f)_y・v＋(h＊f)_t＝０ … (4)
このフィルタgとフィルタhとには、微分可能であるために連続であることと、これら２つの拘束式が独立であることという２つの条件がある。このうち、微分可能であるために連続であるという条件が、図５（ａ）に示す輝度波形３０を図５（ｂ）に示す補正波形３１に平滑化したという部分に相当する。そして、式(3)と(4)から係数uと係数vを算出し、これら係数uと係数vとを式(2)に代入してこれを解くことにより、f(x＋dx,y＋dy,t＋dt)を算出し、オプティカルフロー２８を求める。

即ち、勾配法の概略を図６に示すと、まず元の画像をｘ方向に強い平滑化を行って平滑画像Ｐxを求めるとともに、元の画像をｙ方向に強い平滑化を行って平滑画像Ｐyを求める。そして、これら平滑画像Ｐx，Ｐyを用いて係数uと係数vとを求め、これら係数u，vを用いて画像の速度や方向等を求めることになる。

オプティカルフロー２８を求めた画像処理制御部１８は、このオプティカルフロー２８を用いて物体の動きを検出し、検出された物体の動きの位置、方向、面積から、ウインドウ３により挟み込まれる領域に異物が入り込んだか否かを判定する。即ち、図４に示すように、同じ方向を成すオプティカルフロー２８を繋げて物体の動き（移動軌跡２９）を求め、この動きの位置、方向、面積を各々の閾値と比較し、全ての項目でこれらパラメータが異物判定閾値を超えると、ウインドウ３により挟み込まれる領域に異物が入り込んだと判定する。

具体的な処理例を挙げると、画像処理制御部１８は、物体の動き（移動軌跡２９）を逐次監視し、その物体が人体の手や指等の動きを伴って検知エリアＥに侵入してきたと検出すると、その物体が異物と判断し得る面積を有するもので、しかも移動軌跡２９から求まる物体の検知エリア侵入方向が手や指の動き方向（例えば画面横軸方向）であるか否かを判定する。画像処理制御部１８は、これら条件が揃うと、ウインドウ３により挟まれる領域に異物が入り込んだと判定し、信号線１７を介して安全動作要求信号ＳsafをパワーウインドウＥＣＵ６に出力する。

安全動作要求信号Ｓsafを受けたパワーウインドウＥＣＵ６は、ウインドウ３による挟み込みを回避すべく安全動作を実行する。この安全動作としては、例えばウインドウ３が停止している場合、所定時間の間においてウインドウの上昇を禁止する動作や、ウインドウ３が上昇している場合、ウインドウ３をその位置で停止させたり、或いはウインドウ３を安全な位置まで下降させたりする動作が挙げられる。また、これら以外の安全動作としては、車内に設置した警報装置によって音声や光で操作者に警告を与える動作でもよい。

次に、画像差分検知手法を説明する。画像処理制御部１８は、赤外線カメラ１４から画像データＤpicを取得すると、図７に示すような連続する２つの撮影画像Ｐic1，Ｐic2との間で、それぞれに映り込んだ認識物体３２ａ，３２ｂの画像差分Ｍをとり、この画像差分Ｍを用いて画像データＤpicに映り込んだ図８に示すような物体の動き（移動軌跡３３）を特徴量Ｔとして検出する。そして、画像処理制御部１８は、検出された物体の動きの位置、方向、面積を各々の異物判定閾値と比較し、ウインドウ３により挟み込まれる領域に異物が入り込んだか否かを判定する。

画像差分Ｍを用いて挟み込み有無を判定するに際して、まず画像処理制御部１８は、撮影画像Ｐicに映り込んだ各個体の大きさや色等から、撮影画像Ｐicに映った映像物が物体であるか否かを認識する。この撮影画像Ｐic上における個体認識は、画像上の輝度と物体判定閾値とを比較することで行い、その物体判定閾値を超える部分を認識物体３２ａ（３２ｂ）として把握する。ここで言う物体判定閾値とは、算出した画像上の特性値がこの値を超えると、それを物体として認識可能な設定値である。物体認識を行った画像処理制御部１８は、連続して前後する撮影画像Ｐicにおいて図７に示すような認識物体の画像差分Ｍをとり、その画像差分Ｍから認識物体の動きを求める処理を、赤外線カメラ１４から画像データＤpicを入手する度に行い、図８に示す物体の動き（移動軌跡３２）を求める。

具体的な処理例を挙げると、赤外線カメラ１４から撮影画像Ｐicを取り込んで物体認識を行った画像処理制御部１８は、その認識物体について画像上の重心Ｇを算出する。この重心Ｇは、撮影画像Ｐicの画素を単位として算出される値であって、以下の方法で算出される。即ち、認識物体のｘ座標値及びｙ座標値の各々において全ての和をとり、これら和をそれぞれ認識物体の画素数で割ることによってｘ座標値及びｙ座標値の平均値を算出し、以上によって求まったｘ座標平均値とｙ座標平均値を重心座標としている。

画像処理制御部１８は、赤外線カメラ１４から撮影画像Ｐicを取得する度に認識物体３２ａ（３２ｂ）の重心演算を行い、これら画像間における重心Ｇ（図８参照）の差を画像差分Ｍとして算出し、これを物体の動きとして導出する。そして、画像処理制御部１８は、連続して前後する認識物体３２ａ，３２ｂ，…の重心Ｇを繋げて認識物体の経路を導き出し、これを物体の動き、つまり移動軌跡３３として求める。

画像処理制御部１８は、オプティカルフロー検知手法の時と同様の手法で物体の動き（移動軌跡３３）の位置、方向、面積を監視し、ウインドウ３により挟み込まれる領域に異物が入り込んだか否かを判定する。画像処理制御部１８は、この判定の際において、ウインドウ３により挟み込まれる領域に異物が入り込んだと判断すると、信号線１７を介して安全動作要求信号ＳsafをパワーウインドウＥＣＵ６に出力する。パワーウインドウＥＣＵ６は、安全動作要求信号Ｓsafを入力すると、オプティカルフロー検知手法の時に述べたような安全動作を実行する。

次に、特徴量検知手法を説明する。画像処理制御部１８は、赤外線カメラ１４から画像データＤpicを入力した際、入力した撮影画像Ｐicごとに検知エリアＥ（図２参照）部分の画像を抽出し、この検知エリアＥにおける画像の特徴量Ｔを求める。この特徴量Ｔとしては、例えば図９（ｃ）に示す窓枠２７の輪郭３４や、図１２（ａ）に示す窓枠２７の領域面積３５などが挙げられ、更には輝度自体（輝度変化）の値を用いてもよい。画像処理制御部１８は、この特徴量Ｔを異物判定閾値と比較し、ウインドウ３により挟み込まれる領域に異物が入り込んだか否かを判定する。

ここで、例えば特徴量Ｔとして図９（ｃ）に示す窓枠２７の輪郭３４を用いる場合、画像処理制御部１８が行う処理としては、まず指や手等の異物が入り込んでいない時の窓枠２７の輪郭（以下、初期輪郭３４ａ（図９（ｃ）参照）と記す）を認識すべく、最初に取り込んだ撮影画像Ｐicから図９（ａ）に示すような輝度波形３６を求める処理を行う。この輝度波形３６は、撮影画像Ｐicの各画素（ピクセル）の輝度を画面横軸方向に沿って繋げた波形であって、画面横軸方向の列ごとに各々求められる。

画像処理制御部１８は、撮影画像Ｐicにおいて画面横軸方向に延びる列ごとに求めた輝度波形３６を、波形傾き（本例は絶対値）をエッジ高さに変えた図９（ｂ）に示す輝度エッジ波形３７に各々変換する。そして、画像処理制御部１８は、図９（ｃ）に示すように互いに画面縦軸方向に隣接する輝度エッジ波形３７において、エッジ３８が物体判定閾値を超える部分を繋げる処理を行い、それを窓枠２７の初期輪郭３４ａとして認識する。画像処理制御部１８は、赤外線カメラ１４から撮影画像Ｐicを取得する度に、窓枠２７の輪郭３４を導出する。

ここで、例えば図１０に示すように窓枠２７が手や指などで遮られた場合、この異物によって通常よりも手前で近赤外線光が反射することから、輝度波形３６は異物部分で輝度が高くなった図１１（ａ）に示す波形（これを輝度波形３６ａと記す）をとる。画像処理制御部１８は、この輝度波形３６ａを輝度エッジ波形に変換することになるが、この輝度波形３６ａを波形変換した際には、初期時に対してエッジ位置が変化した図１１（ｂ）に示す輝度エッジ波形３７ａを導出することになる。従って、画像処理制御部１８は、通常とは異なる窓枠２７の輪郭（以下、変形輪郭３４ｂ（図１１（ｃ）参照）と記す）を得た状態となる。

画像処理制御部１８は、窓枠２７の輪郭３４を常に監視し、変形輪郭３４ｂと初期輪郭３４ａとの輪郭差（例えば、輪郭の線の長さの差）Ｌbが異物判定閾値を超えたか否かを逐次監視する。画像処理制御部１８は、この輪郭差Ｌbが異物判定閾値を超えたと判定すると、ウインドウ３により挟まれる領域に異物が入り込んだと認識し、信号線１７を介して安全動作要求信号ＳsafをパワーウインドウＥＣＵ６に出力する。パワーウインドウＥＣＵ６は、安全動作要求信号Ｓsafを入力すると、オプティカルフロー検知手法や画像差分検知手法の時に述べたような安全動作を実行する。なお、輝度変化を用いて異物検知を行う場合も、エッジで説明した場合と同様の原理から異物判定が可能である。

また、特徴量Ｔとして図１２（ａ）に示す窓枠２７の領域面積３５を用いる場合、画像処理制御部１８は、手や指等の異物が入り込んでいない時の図１２（ａ）に示す物体の初期輪郭３４ａを求め、その輪郭３４ａによって囲まれる領域面積（以下、初期領域面積３５ａと記す）を求める。そして、画像処理制御部１８は、赤外線カメラ１４から撮影画像Ｐicを取得する度に、輪郭３４によって囲まれる領域面積３５を導出する。

画像処理制御部１８は、窓枠２７の領域面積を常に監視し、領域面積３５の面積値が変化した際の領域面積（以下、変形領域面積３５ｂと記す）と初期領域面積３５ａとの面積差Ｌcが異物判定閾値を超えたか否かを逐次監視する。画像処理制御部１８は、図１２（ｂ）に示すように検知エリアＥに手や指等の異物が入り込んで面積差Ｌcが異物判定閾値を超えたと判定すると、ウインドウ３により挟まれる領域に異物が入り込んだと認識し、信号線１７を介して安全動作要求信号ＳsafをパワーウインドウＥＣＵ６に出力し、安全動作要求信号Ｓsafを実行させる。

次に、マーカ監視検知手法を説明する。図１３に示すように、ドア２の窓枠周辺には、赤外線カメラ１４に映り込む位置にマーカ３９が塗布されている。このマーカ３９は、光の反射率が高い塗料や顔料から成るとともに、本例においては近赤外光の反射率が高い材質が用いられている。よって、近赤外線ＬＥＤ１４ａの近赤外線光を窓枠周辺に照射した際には、このマーカ３９の部分において光が多く（強く）反射し、赤外線カメラ１４の撮影画像は、マーカ３９の部分において輝度が高い状態で映り込む。

画像処理制御部１８は、赤外線カメラ１４から画像データＤpicを入力した際、マーカ３９が映り込んだ撮影画像Ｐicから、図１４（ｃ）に示すようなマーカ３９の画像領域を取得し、そのマーカ画像領域４０において画像の特徴量Ｔを求める。この特徴量Ｔとしては、例えば図１４（ｃ）に示すマーカ画像領域４０の輪郭４１や、図１７（ａ）に示すマーカ画像領域４０の領域面積４２などが上げられる。画像処理制御部１８は、この特徴量Ｔを異物判定閾値と比較し、ウインドウ３により挟み込まれる領域に異物が入り込んだか否かを判定する。画像処理制御部１８は、求めた特徴量Ｔを用いてマーカ３９の破断や輪郭変形の有無を判定する。なお、マーカ３９が光反射材料に相当し、マーカ画像領域４０が画像領域に相当する。

この処理の一例を述べると、例えば特徴量Ｔとして図１４（ｃ）に示すマーカ画像領域４０の輪郭４１を用いる場合、画像処理制御部１８が行う処理としては、最初に取り込んだ撮影画像Ｐicから、手や指等の異物がマーカ画像領域４０に入り込んでいない時のマーカ画像領域４０の輪郭（以下、初期輪郭４１ａと記す）を認識する。この処理の際、マーカ３９からは輝度の高い光が反射することから、画像処理制御部１８は輝度の高い部分の光をマーカ画像領域４０として取り込むことになり、図１４（ａ）に示すような輝度波形４３が求まる。この輝度波形４３は、撮影画像の各画素（ピクセル）の輝度を画面横軸方向に沿って繋げた波形であって、画面横軸方向の列ごとに各々求められる。

画像処理制御部１８は、撮影画像において画面横軸方向に延びる列ごとに求めた輝度波形４３を、波形傾き（本例は絶対値）をエッジ高さに変換した図１４（ｂ）に示す輝度エッジ波形４４に各々変換する。そして、画像処理制御部１８は、図１４（ｃ）に示すように互いに画面縦軸方向に隣接する輝度エッジ波形４４において、エッジ４５が物体判定閾値を超える部分を繋げる処理を行い、それをマーカ画像領域４０の初期輪郭４１ａとして認識する。画像処理制御部１８は、赤外線カメラ１４から撮影画像Ｐicを取得する度に、マーカ画像領域４０の輪郭４１を導出する。

ここで、例えば、図１５に示すようにマーカ３９が手などで遮られると、それによってマーカ３９で反射する光が遮断され、赤外線カメラ１４に映り込む輝度がその遮断部分において通常よりも低くなり、輝度波形４３は異物部分で輝度が低くなった波形（これを輝度波形４３ａと記す）をとる。画像処理制御部１８は、この輝度波形４３ａを輝度エッジ波形に変換することになるが、この輝度波形４３ａを波形変換した際には、初期時に対してエッジ位置が変化した図１６（ｂ）に示す輝度エッジ波形４４ａを導出することになる。従って、画像処理制御部１８は、通常とは異なるマーカ画像領域４０の輪郭（以下、変形輪郭４１ｂ（図１６（ｃ）参照）と記す）を得ることになる。

画像処理制御部１８は、マーカ画像領域４０の輪郭４１を常に監視し、変形輪郭４１ｂと初期輪郭４１ａとの輪郭差Ｌdが異物判定閾値を超えたか否かを逐次監視する。画像処理制御部１８は、この輪郭差Ｌdが異物判定閾値を超えたと判定すると、ウインドウ３により挟まれる領域に異物が入り込んだと認識し、信号線１７を介して安全動作要求信号ＳsafをパワーウインドウＥＣＵ６に出力し、パワーウインドウＥＣＵ６に安全動作を実行させる。

また、特徴量Ｔとしてマーカ３９の領域面積を用いる場合、画像処理制御部１８は、特徴量検知手法の場合と同様に、手や指等の異物が入り込んでいない時のマーカ画像領域４０の初期領域面積４２ａ（図１７（ａ）参照）を求める。そして、画像処理制御部１８は、マーカ画像領域４０に手や指等の異物が入り込んだ際の変形領域面積４２ｂ（図１７（ｂ）参照）と初期領域面積４２ａとの間の面積差Ｌeを逐次監視する。画像処理制御部１８は、その面積差Ｌeが異物判定閾値を超えたと判定すると、ウインドウ３により挟まれる領域に異物が入り込んだと認識し、信号線１７を介して安全動作要求信号ＳsafをパワーウインドウＥＣＵ６に出力し、安全動作要求信号Ｓsafを実行させる。

次に、画像処理制御部１８が挟み込み防止制御を行う際の処理を図１８に示すフローチャートに従って説明する。この挟み込み防止制御は、例えば車両のエンジンスイッチがＡＣＣ位置に操作されたことを条件に処理が開始され、所定サイクル単位（例えば、数百μｓ単位）で繰り返し実行される。

ステップ１００では、ウインドウ３が開状態か否かを判定する。即ち、画像処理制御部１８は、パワーウインドウＥＣＵ６から窓位置情報Ｄwiを取り込んでいることから、この窓位置情報Ｄwiを用いてウインドウ３が開状態であるか否かを判定する。このとき、ウインドウ３が閉状態であればステップ１０１に移行し、ウインドウ３が開状態であればステップ１０２に移行する。

ステップ１０１では、赤外線カメラ１４に画像要求信号Ｓreqを出さずに、赤外線カメラ１４の起動をオフ状態のままにする。
ステップ１０２では、赤外線カメラ１４への画像要求信号Ｓreqの出力を開始し、赤外線カメラ１４をオン状態にする。オン状態となった赤外線カメラ１４は、近赤外線ＬＥＤ１４ａから近赤外線光照射を開始するとともに、窓枠周辺の画像撮影を開始する。このとき、画像処理制御部１８は、赤外線カメラ１４に画像要求信号Ｓreqを連続的に繰り返し出力し、赤外線カメラ１４から画像データＤpicを連続的な撮影画像で取得する。

ステップ１０３では、赤外線カメラ１４から得た画像データＤpicを用い、ウインドウ３の周辺の照度Ｋを算出する。例えば、画像処理制御部１８は、連続的に取得した撮影画像のうち最初に得た撮影画像を用いて照度Ｋを算出する。

ステップ１０４では、算出した照度Ｋを用いて、挟み込み検知に使用するアルゴリズムを選択する。本例においては、オプティカルフロー検知手法、画像差分検知手法、特徴量検知手法及びマーカ監視検知手法の４パターンがあるので、これら４パターンの中から、その時の照度Ｋに合った手法を選択する。例えば、ウインドウ３の周辺照度が低いと撮影画像の輪郭が強く浮き出ることから、特徴量Ｔを用いて異物判定するのが好ましく、照度Ｋが低い時の挟み込み検知のアルゴリズムとしては、特徴量検知手法やマーカ監視検知手法が用いられる。一方、ウインドウ３の周辺照度が高い場合には、特徴量Ｔを用いるよりも画像の動きを見た方が異物の誤判定が生じ難いことから、照度Ｋが高い時の挟み込み検知のアルゴリズムとしては、オプティカルフロー検知手法や画像差分検知手法が用いられる。

ステップ１０５では、算出した照度Ｋを用いて、アルゴリズムで使用する際の閾値（物体判定閾値、異物判定閾値）を選択する。即ち、挟み込み検知を行う際に使用する閾値を、照度Ｋに応じた値に設定する。

ステップ１０６では、選択したアルゴリズムを実行することにより、画像データＤpicを用いた挟み込み検知処理を実行する。
ステップ１０７では、挟み込み検知処理を行った結果、ウインドウ３に挟み込まれる位置に異物が侵入したか否かを見ることで、異物の有無を判定する。ここで、異物有りと判定すればステップ１０８に移行し、異物無しと判定すればこのフローチャートを終了する。

ステップ１０８では、パワーウインドウＥＣＵ６に安全動作要求信号Ｓsafを出力し、パワーウインドウＥＣＵ６に安全動作を実行させる。
従って、本例においては、赤外線カメラ１４から取得した画像データＤpicを用いて挟み込みの有無を検知するので、手や指等が実際にウインドウ３に挟まれなくても、ウインドウ３による挟み込みの有無を未然に検知することが可能である。よって、挟み込みを検知するにあたって、その時に手や指等がウインドウ３で挟み込まれるような状況は生じないことから、挟み込み検知に際してユーザに不快感を与えなくて済む。

次に、ペイントソフト等により検知エリアＥを特定したテンプレートデータＤtempを予めメモリ（ＥＥＰＲＯＭ２３）に登録しておくのではなく、赤外線カメラ１４から取得した画像データＤpicを用いて検知エリアＥを自動で抽出する検知エリア抽出機能を以下に説明する。ところで、赤外線カメラ１４の配置位置や窓枠形状は車種ごとに変わることから、検知エリアＥ（窓位置データ）も車種ごとに変わる。そこで、複数車種に対応すべくＥＥＰＲＯＭ２３に複数のテンプレートデータＤtempを登録することも考えられるが、テンプレートデータＤtempは画像データであるため、データサイズが大きく、１つのシステムで複数のテンプレートデータＤtempを登録しておくことは現実的に困難である。

また、実際に赤外線カメラ１４をドア２に組み付ける際、赤外線カメラ１４に組付誤差が生じる場合があり、実際に取得した画像データＤpicと、予め登録しておいたテンプレートデータＤtempとの間に差異が生じることがある。この場合には、赤外線カメラ１４を組み付け直したり、或いはＥＥＰＲＯＭ２３内のテンプレートデータＤtempを修正したりする処理が必要となるが、この手法で組付誤差を解消したとしても、この処理に際して手間がかかることから、実際には実用的でない。

そこで、本例の画像処理制御部１８は、ウインドウ３が映り込んだ画像データＤpicからウインドウ３の画像領域（以下、ウインドウ画像領域４６（図２１参照）と記す）を抽出し、このウインドウ３の画像領域から検知エリアＥを抽出することによって、検知エリアＥを特定する。画像処理制御部１８は、この検知エリア抽出処理を、ウインドウ３が全開状態となった時に開始する。

この検知エリア抽出処理として、画像処理制御部１８は、ウインドウ３を動かし、その動きをオプティカルフロー検知手法や画像差分検知手法と同様の手法で検出し、それに基づき検知エリアＥを抽出する。動き検出に際して画像処理制御部１８は、赤外線カメラ１４から撮影画像Ｐicを取得した際、その撮影画像Ｐicに関するオプティカルフロー２８や、連続する二画像間の輝度変化から、連続する画像間において物体がどの位置へ動いたかという図１９に示すような物体の動きを検出する。このとき、画像処理制御部１８が行う物体認識は、撮影画像Ｐicにおける輝度が、物体判別の基準となる物体判定閾値を超えたか否かを見ることで行う。

そして、画像処理制御部１８は、このように撮影画像Ｐic上で動きがあった動き領域４７を画素数の値で抽出する。画像処理制御部１８は、ウインドウ３が全閉状態となるまで、抽出した動き領域４７を積算する処理を行い、この積算した領域をウインドウ画像領域４６として求める。なお、上述した図１９や後ほど説明する図２１及び図２２においては、説明の便宜上、ドア２を側面から見た画像を撮影画像Ｐicとしているが、実際の撮影画像Ｐicは、ウインドウ３を斜め下側から撮影した図２３に示すような画像となる。

ところで、例えばウインドウ３に外乱光等の他の光が照射されている場合、図２０に示すようにウインドウ３として撮影画像Ｐicに映り込む輝度は、ウインドウ３が昇降する際に変化する。例えば、ウインドウ３が全閉状態から閉じ始めた時は、通常の輝度でウインドウ３の画像を得られるが、ウインドウ３が閉じ切る際にウインドウ上端部分が外乱光に影響を受けた場合、その部分の輝度が低くなった状態でウインドウ３の画像を得ることになる。よって、撮影画像Ｐicからウインドウ３の部分を認識するに際して、例えば全開のウインドウ３が閉じ切るまで１つの閾値を用いて画像認識を行おうとすると、閾値のレベルをできる限り低くする必要がある。このため、実際にはウインドウ３ではない部分をウインドウ画像領域４６として取り込む可能性が高くなり、ウインドウ画像領域４６の誤判定に繋がる。

そこで、本例において画像処理制御部１８は、撮影画像Ｐicを取得して動き領域４７を抽出する際、その都度、撮影画像Ｐicの輝度の値からその時の照度Ｋを算出し、その照度Ｋに応じた値に閾値（物体判定閾値、異物判定閾値）を設定する。このように、動き領域４７を抽出する際に物体判定閾値をその都度設定するようにすれば、動き領域抽出に際して最適な物体判定閾値を使用することが可能となり、ウインドウ３の画像認識において誤認識が生じ難くなる。

ウインドウ画像領域４６を抽出した画像処理制御部１８は、このウインドウ画像領域４６からノイズを除去する。ところで、画像処理制御部１８は、予めウインドウ３のサイズ、つまりウインドウ３が閉じ切った時に取り得るウインドウ画像領域（以下、基準サイズ４６ａと記す）を、画素パターンのデータで把握している。よって、ノイズ除去処理として、まず画像処理制御部１８は、ウインドウ画像領域４６を算出した際、このウインドウ画像領域４６と基準サイズ４６ａとを比較し、図２１に示すように基準サイズ４６ａからはみ出す部分を撮影画像Ｐicに不意に映り込んだ物体と見なしてウインドウ画像領域４６から消去する。

また、画像処理制御部１８は、別のノイズ除去処理として、画像積算方向とは異なる方向に動きのあった部位をノイズと認識し、ウインドウ画像領域４６から消去することも可能である。即ち、本例においては、撮影画像Ｐicに映り込んだ物体の動きを検出することでウインドウ画像領域４６を求めているので、物体の動き方向については認識可能である。よって、画像処理制御部１８は、動き方向の量が多い方向を画像積算方向と認識し、例えば図２２に示す矢印Ａ方向を画像積算方向と認識すると、これ以外の方向の動きから取得した画像（図２２の点領域の画像）についてはウインドウ画像領域４６から消去する。

ウインドウ画像領域４６からノイズを消去した画像処理制御部１８は、ノイズ消去後のウインドウ画像領域４６を用いて検知エリアＥを抽出する。即ち、撮影画像Ｐic上においてウインドウ画像領域４６が分かれば、ウインドウ３が閉じ切った際のウインドウ３の上端縁が認識可能である。よって、画像処理制御部１８は、このウインドウ３の上端縁４８を基準に画面縦軸方向に沿って例えば上側数十画素分の領域（図２３の点領域）を検知エリアＥとして設定し、これをＥＥＰＲＯＭ２３に書き込む。

従って、本例においては、赤外線カメラ１４の画像データＤpicから検知エリアＥを適宜設定することが可能である。よって、画像処理装置１５の搭載先が複数車種に亘ったとしても、車種ごとに検知エリアＥ用のテンプレートデータＤtempを用意せずに済むことから、容量の大きいメモリを用意するなどのコスト増に繋がる問題が生じない。また、赤外線カメラ１４をドア２に組み付ける際に組付誤差が生じたとしても、組付後に検知エリア抽出処理を行って検知エリアＥの設定を行えばよいことから、赤外線カメラ１４を組み付け直したり、或いはテンプレートデータＤtempに修正を加えたりする等の面倒な作業を行わずに済む。

本実施形態の構成によれば、以下に記載の効果を得ることができる。
（１）赤外線カメラ１４から取得した画像データＤpicを用いて挟み込み検出を行うので、実際に手や指等がウインドウ３で挟み込まれる前に、未然に挟み込みを検出することができる。従って、ユーザに不快感等を与えることなく、ウインドウ３による挟み込みを検出することができる。

（２）挟み込み検出のアルゴリズムとしてオプティカルフロー検知手法や画像差分検知手法を用いた場合、撮影画像Ｐicに映り込む物体の動きを見て、挟み込みを検出する。ところで、手や指等の人体の動きはそれ特有の動きをとるため、撮影画像Ｐicに映る物体の動きを見て挟み込み検出を行えば、人体が検知エリアＥに侵入したか否かを、より高い精度で判定することができる。従って、挟み込み検出のアルゴリズムとしてオプティカルフロー検知手法や画像差分検知手法を用いれば、挟み込み検出に際して誤検出を生じ難くすることができる。

（３）挟み込み検出のアルゴリズムとしてマーカ監視検知手法を用いた場合、赤外線カメラ１４の画像データＤpicからマーカ画像領域４０を抽出し、これを異物侵入判定の際の異物判定基準領域として使用する。従って、例えばペイントソフト等で画像にマーキングを付すことで検知エリアＥを特定したテンプレートデータＤtempを、予めＥＥＰＲＯＭ２３等のメモリに登録する作業が不要となり、面倒なデータ編集作業などを行わずに済む。

（４）画像処理を用いた挟み込み検出の手法として複数のアルゴリズムを用意し、これら複数のアルゴリズムの中から、挟み込み検出時におけるその時々の照度に応じた最適なアルゴリズムを選択して挟み込み検出を行う。従って、検知エリアＥ（マーカが画像領域４０）に異物が侵入したか否かの判定を精度よく行うことができ、挟み込みの有無を検出するに際して誤判定が生じ難くなる。

（５）人の目には見えない性質のある近赤外線を近赤外線ＬＥＤ１４ａから照射し、被写体で跳ね返ってきた近赤外線を用いて窓枠周辺の画像を撮影する赤外線カメラ１４を用いた。従って、夜間などの暗所において、人の視界に影響を及ぼしたり、或いは窓枠周囲に不要な光を照らし出したりすることなく、窓枠周辺の画像（動き）を撮影することができる。また、赤外線カメラ１４として赤外線を照射する機種を用いることも考えられるが、赤外線には赤外線カメラ１４に映り込まない波長領域もあるため、場合によっては画像の映り込まない部分が生じる可能性もあるが、近赤外線を用いれば、この種の問題が生じ難くなる。

（６）赤外線カメラ１４の画像データＤpicからウインドウ画像領域４６を抽出し、そのウインドウ画像領域４６から検知エリアＥする検知エリア抽出機能を備えた。従って、画像処理装置１５の搭載先が複数車種に亘ったとしても、車種ごとに検知エリアＥ用のテンプレートデータＤtempを用意せずに済む、容量大のメモリを用意することが原因のコストアップが生じない。また、赤外線カメラ１４をドア２に組み付ける際に組付誤差が生じたとしても、組付後に検知エリア抽出処理を行って検知エリアＥの設定を行えばよいことから、赤外線カメラ１４の組み直し作業や、テンプレートデータＤtempのデータ修正作業などが必要とならずに済む。

（７）ウインドウ３が開状態のときに赤外線カメラ１４が起動するようにしたので、車載バッテリの節電に効果がある。
なお、本実施形態は上記構成に限定されず、例えば以下の態様に変更してもよい。

・ ウインドウ３による挟み込み検出は、検知エリアＥ（マーカ画像領域４０）に異物と思しき物体が侵入した事を条件として、挟み込み有りと判定することに限定されない。例えば、検知エリアＥ（マーカ画像領域４０）に異物と思しき物体が侵入し、しかもその時にウインドウ３が昇降中であることを条件に挟み込み有りと判定するようにしてもよい。

・ 画像処理を用いた本例の挟み込み検出機能と、背景技術で述べたようなパルスセンサ８の出力により挟み込みを検出する従来の挟み込み検出機能とを併用してもよい。この場合、例えば画像処理による挟み込み検出機能が故障しても、パルス出力による挟み込み検出機能により挟み込みの有無が監視可能となるため、フェールセーフを満たすことができる。

・ 挟み込み検出用のアルゴリズムは複数用意することに限らず、実施形態に述べた４パターンの中の１つのみ使用することにしてもよい。
・ 窓枠周辺を撮影する撮影手段は、必ずしも赤外線カメラ１４に限らず、例えばカラーカメラを用いてもよい。撮影手段としてカラーカメラを用い、特徴量検知手法やマーカ監視検知手法で挟み込み検出を行った場合、特徴量Ｔとして色相や彩度を用いて異物判定を行うことが可能である。

・ 検知エリア抽出機能を用いて赤外線カメラ１４の画像データＤpicから検知エリアＥを抽出する際、抽出したウインドウ画像領域４６の上端縁から数十画素分のエリアを検知エリアＥとしたが、どのエリアを検知エリアＥとするかの決め方は自由に適宜設定可能である。

・ ウインドウ３の材質に遮熱ガラスを採用してもよい。この場合、赤外線カメラ１４で撮影を行うと、ウインドウ部分が暗く映り込む状態となり、画像データＤpicから物体判定を行う際の判定精度を向上することができる。

・ 本例の画像処理による挟み込み検出機能の採用対象は、必ずしも車両１のドア２に限定されず、例えば住宅のドアなどの他機器のパワーウインドウ装置を採用対象としてもよい。

次に、上記実施形態及び別例から把握できる技術的思想について、それらの効果とともに以下に追記する。
（１）請求項１〜５のいずれかにおいて、前記撮影手段の前記画像データから前記窓枠周辺の照度を算出する照度算出手段を備え、前記画像処理手段は、前記挟み込み有無を検出する際に実行するアルゴリズムにおいて、そのアルゴリズム内で用いる閾値を前記照度に応じた値に設定し、当該閾値を用いて前記挟み込み有無を検出する。この場合、挟み込みを検出するに際して窓枠周辺の照度が算出され、アルゴリズムを実行して挟み込み検出を行う際に用いる閾値が、その時の照度に応じた値に設定される。従って、アルゴリズムを実行する際、その時の照度に応じた最適の閾値で挟み込み検出を行うことが可能となり、挟み込み有無を判定するに際して誤判定防止に非常に効果が高い。

一実施形態におけるパワーウインドウ装置の構成を示すブロック図。 赤外線カメラが撮影した窓枠周辺の撮影画像図。 撮影画像から求まるオプティカルフローを表した概念図。 オプティカルフロー検知手法による物体の動きの求め方を説明する際の概念図。 オプティカルフロー検知手法の説明図であり、（ａ）は撮影画像の輝度から求めた所定画面横軸方向の画素列の輝度波形図、（ｂ）はその輝度エッジ波形図、（ｃ）は連続する撮影画像間における輝度エッジ波形の波形差を表す波形図。 勾配法を説明するための概略図。 画像差分検知手法の概略を説明する概念図。 画像差分検知手法による物体の動きの求め方を説明する際の概念図。 特徴量として検知エリア内の輪郭を用いた時の特徴量検知手法の説明図であり、（ａ）は撮影画像の輝度から求めた所定画面横軸方向の画素列の輝度波形図、（ｂ）はその輝度エッジ波形図、（ｃ）は連続する撮影画像間における輝度エッジ波形の波形差を表す波形図。 検知エリアに異物が侵入した際の窓枠周辺の撮影画像図。 特徴量検知手法により異物侵入を検出した際の説明図であり、（ａ）はその時の撮影画像の輝度から求めた所定画面横軸方向の画素列の輝度波形図、（ｂ）はその輝度エッジ波形図、（ｃ）は連続する撮影画像間における輝度エッジ波形の波形差を表す波形図。 特徴量として検知エリア内の領域面積を用いた時の特徴量検知手法の説明図であり、（ａ）は検知エリアに異物が侵入していない時の撮影画像図、（ｂ）は検知エリアに異物が侵入した時の撮影画像図。 マーカ監視検知手法の概略を説明する際に用いるドアの側面図。 マーカ監視検知手法の説明図であり、（ａ）は撮影画像の輝度から求めた所定画面横軸方向の画素列の輝度波形図、（ｂ）はその輝度エッジ波形図、（ｃ）はマーカ画像領域に異物が侵入していない時の撮影画像図。 マーカ画像領域に異物が侵入した際の窓枠周辺の撮影画像図。 マーカ監視検知手法により異物侵入を検出した際の説明図であり、（ａ）はその時の撮影画像の輝度から求めた所定画面横軸方向の画素列の輝度波形図、（ｂ）はその輝度エッジ波形図、（ｃ）はその時の撮影画像図。 特徴量としてマーカ画像領域の領域面積を用いた時のマーカ監視検知手法の説明図であり、（ａ）はマーカ画像領域に異物が侵入していない時の撮影画像図、（ｂ）はマーカ画像領域に異物が侵入した時の撮影画像図。 挟み込み検出時に実行する挟み込み防止制御のフローチャート。 検知エリア抽出機能を説明する際に用いるドアの側面図。 ウインドウの所定箇所のウインドウ位置に応じた輝度変化を示す波形図。 ウインドウ画像領域からサイズ的なノイズを消去する際の説明図。 ウインドウ画像領域から積算方向でない部分をノイズとして消去する説明図。 ウインドウ画像領域から検知エリアを特定する際の撮影画像図。

符号の説明

３…ウインドウ、６…昇降制御手段としてのパワーウインドウＥＣＵ、１４…撮影手段としての赤外線カメラ、１５…画像処理手段、実行手段及び照度算出手段を構成する画像処理装置、２１…記憶手段としてのＲＯＭ、２７…窓枠、３９…光反射材料としてのマーカ、４０…画像領域としてのマーカ画像領域、Ｄpic…画像データ、Ｔ…特徴量、Ｋ…照度。

Claims (5)

1. 昇降動作中のウインドウにより異物が挟み込まれることを防止する挟み込み防止機能を備えたパワーウインドウ装置において、
   窓枠周辺を撮影する撮影手段と、
   前記撮影手段が撮影した画像データを入力し、当該画像データに映り込んだ輝度から求まる特徴量を基に前記挟み込みの有無を検出する画像処理手段と、
   前記画像処理手段が前記挟み込みを検出した際に、前記挟み込みを防止し得る安全動作を、前記ウインドウの昇降を制御する昇降制御手段に実行させる実行手段と
   を備えたことを特徴とするパワーウインドウ装置。
2. 前記画像処理手段は、前記特徴量を基に前記画像データに映り込んだ物体の動きを検出し、当該動きから前記挟み込みの有無を検出することを特徴とする請求項１に記載のパワーウインドウ装置。
3. 前記窓枠に、光反射率の高い光反射材料を設け、
   前記画像処理手段は、前記光反射材料を撮影した画像から当該光反射材料の画像領域を取得し、この領域において前記特徴量を求め、当該特徴量の変化から前記挟み込みの有無を検出することを特徴とする請求項１又は２に記載のパワーウインドウ装置。
4. 前記撮影手段の前記画像データから前記窓枠周辺の照度を算出する照度算出手段と、
   挟み込み有無の検出手法が各々異なる複数のアルゴリズムを記憶した記憶手段とを備え、
   前記画像処理手段は、前記記憶手段内の複数のアルゴリズムの中から前記照度に応じたアルゴリズムを選択し、当該アルゴリズムを用いて前記挟み込みの有無を検出することを特徴とする請求項１〜３のうちいずれか一項に記載のパワーウインドウ装置。
5. 前記撮影手段は、近赤外線を前記窓枠周辺に発光し、被写体で反射した前記近赤外線を用いて前記挟み込みの有無を検出することを特徴とする請求項１〜４のうちいずれか一項に記載のパワーウインドウ装置。
   
   

Images