JP2017149211A - 車両用システム及びコンピュータプログラム - Google Patents

Abstract

【課題】コスト高を招くことなく、例えば手や顔等の身体の一部や荷物等の物体が車室内から突出しているか否かを適切に判定する。【解決手段】カメラ３は、単眼カメラにより構成され、開閉可能な車窓を含む範囲と、車窓の周囲を映すサイドミラーのミラー面を含む範囲とを撮影する。画像解析部５ｂは、カメラ３により撮影された画像を解析する。判定部５ｃは、カメラ３により車窓を含む範囲が撮影された直接画像の画像解析部５ｂによる解析結果と、カメラ３によりミラー面を含む範囲が撮影された間接画像の画像解析部５ｂによる解析結果とを用い、物体が車室内から突出しているか否かを判定する。【選択図】図１

Description

本発明は車両用システム及びコンピュータプログラムに関する。

車両走行中に例えば手や顔等の身体の一部や荷物等の物体が車室内から車窓を介して車室外に突出していると、他車両や建造物等と接触する可能性があり危険である。このような事情から、物体が車室内から突出しているか否かを判定する車両用システムが望まれている。この種の車両用システムとして、ステレオカメラを用いて物体の位置を特定し、物体が車室内から突出しているか否かを判定する構成が考えられる。ステレオカメラを用いる構成では、車室内に配置されているステレオカメラから物体までの距離を画像の視差を用いて計算し、ステレオカメラから物体までの距離の方が車窓までの距離よりも大きければ、物体が車室内から突出していると特定する。又、特許文献１には、物体の位置を特定する別の構成として、単眼カメラとソナーやレーダ等のセンサとを併用して物体の位置を特定する構成が開示されている。

特開２０１４−１２７０３２号公報

しかしながら、ステレオカメラを用いたり単眼カメラとセンサとを併用したりする構成では、単眼カメラのみを用いる構成と比較すると、コスト高になる問題がある。

本発明は、上記した事情に鑑みてなされたものであり、その目的は、コスト高を招くことなく、物体が車室内から突出しているか否かを適切に判定し、物体が車室内から突出している旨を適切に報知することができる車両用システム及びコンピュータプログラムを提供することにある。

請求項１に記載した発明によれば、撮影部（３）は、単眼カメラにより構成され、少なくとも開閉可能な車窓（１４〜１７）を含む範囲と、その車窓の周囲を映すサイドミラーのミラー面（１２ａ，１３ａ）を含む範囲とを撮影する。画像解析部（５）は、撮影部により撮影された画像を解析する。判定部（５ｃ）は、撮影部により車窓を含む範囲が撮影された直接画像の画像解析部による解析結果と、撮影部によりミラー面を含む範囲が撮影された間接画像の画像解析部による解析結果とを用い、物体が車室内から車窓を介して車室外に突出しているか否かを判定する。報知指令部（５ｄ）は、判定部による判定結果を報知部（４）により報知する。

車窓を含む範囲が撮影された直接画像の解析結果と、サイドミラーのミラー面を含む範囲が撮影された間接画像の解析結果とを用い、物体が車室内から突出しているか否かを判定するようにした。ステレオカメラを用いたり単眼カメラとセンサとを併用したりする構成とは異なり、単眼カメラのみを用いる構成とすることでコスト高を招くことなく、物体が車室内から突出しているか否かを適切に判定し、物体が車室内から突出している旨を適切に報知することができる。

本発明の一実施形態を示す機能ブロック図 カメラが車室内に配置されている態様を示す図 ステレオカメラを用いて物体の位置を特定する原理を示す図 単眼カメラとミラーとを用いて物体の位置を特定する原理を示す図 フローチャート シーケンス図 物体が車室内から突出していない状況を示す図 物体が車室内から突出している状況を示す図

以下、本発明の一実施形態について図面を参照して説明する。車両用システム１は、車両用装置２と、カメラ３（撮影部に相当する）と、報知デバイス４（報知部に相当する）とを有する。カメラ３は、３６０度の方向を撮影視野（即ち画角）とする単眼カメラであり、図２に示すように、右側ハンドルの車両１１の車室内の天井において運転席の上部に配置されている。即ち、カメラ３は、運転者の目に近い位置に配置されており、車窓を含む範囲及び車両１１の車体側面に取り付けられているサイドミラー１２，１３のミラー面１２ａ，１３ａを含む範囲を撮影する。サイドミラー１２，１３は、それぞれ運転席ドア及び助手席ドアに取り付けられているドアミラーである。

サイドミラー１２，１３のミラー面１２ａ，１３ａは、運転者が車両前方からの少ない視線移動でも車両後方を確認可能となるように車両後方を映すように角度が調整可能である。この場合、運転者が車体側面の一部を含めて車両後方を確認可能となるようにミラー面１２ａ，１３ａの角度を調整していれば、カメラ３は車体側面の一部を映すミラー面１２ａ，１３ａを撮影することになる。即ち、右側サイドミラー１２のミラー面１２ａに運転席の車窓１４の一部及び右側後部座席の車窓１５の一部が映るように運転者がミラー面１２ａの角度を調整していれば、カメラ３は運転席の車窓１４の一部及び右側後部座席の車窓１５の一部を映すミラー面１２ａを撮影する。図２では右側サイドミラー１２のミラー面１２ａが映す範囲を破線Ａ１，Ａ２で示している。

左側サイドミラー１３についても同様であり、左側サイドミラー１３のミラー面１３ａに助手席の車窓１６の一部及び左側後部座席の車窓１７の一部が映るように運転者がミラー面１３ａの角度を調整していれば、カメラ３は助手席の車窓１６の一部及び左側後部座席の車窓１７の一部を映すミラー面１３ａを撮影する。図２では左側サイドミラー１３のミラー面１３ａが映す範囲を破線Ｂ１，Ｂ２で示している。このようにカメラ３は、車窓１４〜１７を含む範囲を直接的に撮影すると共に、車窓１４〜１７を含む範囲をミラー面１２ａ，１３ａを介して間接的に撮影する。尚、車窓１４〜１７は、それぞれ運転者を含む乗員が所定の開閉操作を行うことで上下方向に開閉可能となっている。

カメラ３は、撮影動作を行うと、その撮影した画像を含む画像信号を車両用装置２に出力する。カメラ３から車両用装置２に出力される画像信号には、カメラ３が車窓１４〜１７を含む範囲を直接的に撮影した直接画像と、カメラ３が車窓１４〜１７を含む範囲をミラー面１２ａ，１３ａを介して間接的に撮影した間接画像とが含まれる。図２ではカメラ３が右側後部座席の車窓１５を直接的に撮影する範囲を破線Ｃ１，Ｃ２で示し、カメラ３が左側後部座席の車窓１７を直接的に撮影する範囲を破線Ｄ１，Ｄ２で示している。尚、カメラ３から車両用装置２への画像信号の出力は、有線接続によるデータ通信で行っても良いし無線接続によるデータ通信で行っても良い。有線接続によるデータ通信は、例えばＵＳＢ（Universal Serial Bus）を用いれば良い。無線接続によるデータ通信は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）、ＢＬＥ（Bluetooth Low Energy）、ＷｉＦｉ（Wireless Fidelity）（登録商標）等を用いれば良い。又、カメラ３は、画像信号を連続的に車両用装置２に出力しても良いし所定周期（例えば数ミリ秒間隔の周期）で間欠的に出力しても良い。

報知デバイス４は、車室内に配置されているディスプレイやスピーカー等であり、車両用装置２から報知指令信号を入力すると、報知情報を表示したり音出力したりする等の報知動作を行う。車両用装置２から報知デバイス４への報知指令信号の出力も、有線接続によるデータ通信で行っても良いし無線接続によるデータ通信で行っても良い。

車両用装置２は、制御部５を有する。制御部５は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びＩ／Ｏ（Input／Output）を有するマイクロコンピュータにより構成されている。制御部５は、非遷移的実体的記録媒体に格納されているコンピュータプログラムを実行することで、コンピュータプログラムに対応する処理を実行し、車両用装置２の動作全般を制御する。

制御部５は、本発明に関連する機能として、背景成分除去部５ａと、画像解析部５ｂと、判定部５ｃと、報知指令部５ｄとを有する。これらの各部５ａ〜５ｄは制御部５が実行するコンピュータプログラムにより構成されており、ソフトウェアにより実現されている。背景成分除去部５ａは、カメラ３から車両用装置２に入力された画像信号を信号処理して直接画像及び間接画像を抽出し、その直接画像及び間接画像に対してオプティカルフローの手法を適用して背景成分を除去する。オプティカルフローとは画像内の物体の動きをベクトルで表現する手法である。この場合、具体的には、背景成分除去部５ａは、車両の進行方向に対して逆方向への動きのベクトルが発生している領域を背景成分と見做して除去する。

画像解析部５ｂは、背景成分が除去された直接画像及び背景成分が除去された間接画像を解析する。判定部５ｃは、直接画像の画像解析部５ｂによる解析結果及び間接画像の画像解析部５ｂによる解析結果を用いて物体の位置を特定し、詳しくは後述する手法により物体が車室内から車窓１４〜１７を介して車室外に突出しているか否かを判定する。報知指令部４ｄは、物体が車室内から突出していると判定部５ｃにより判定されると、報知指令信号を報知デバイス４に出力させ、報知動作を報知デバイス４に行わせる。

ここで、判定部５ｃが物体の位置を特定する原理について説明する。最初にステレオカメラにより物体の位置を特定する原理について図３を参照して説明する。図３に示すように、第１のカメラの位置をＭ、第２のカメラの位置をＮ、第１のカメラの位置と第２のカメラの位置との間の距離をＢ、物体の任意の点の位置をＰ、第１のカメラ及び第２のカメラの焦点距離をｆ、第１のカメラが物体を撮影した画像内における物体の任意の点の位置をｐｌ、その画像端からｐｌまでの距離をｘｌ、第２のカメラが物体を撮影した画像内における物体の任意の点の位置をｐｒ、その画像端からｐｒまでの距離をｘｒ、第１のカメラの位置と第２のカメラの位置との中点の位置から物体の任意の点の位置までの距離をＺとすると、視差と奥行きの関係から次式が成立する。

｜ｘｒ−ｘｌ｜／Ｂ＝ｆ／Ｚ
｜ｘｒ−ｘｌ｜はｘｒ−ｘｌの絶対値である。この場合、Ｂ及びｆが既知であるので、視差である｜ｘｒ−ｘｌ｜を画像解析により算出することで、Ｚを算出可能となる。

本実施形態では、図３に示した原理において２個のカメラのうち一方をサイドミラーのミラー面に置換することで成立する。即ち、図４に示すように、ミラー面の位置をＭ、カメラの位置をＮ、ミラー面の位置とカメラの位置との間の距離をＢ、物体の任意の点の位置をＰ、カメラの焦点距離をｆ、カメラが物体を撮影した画像内における物体の任意の点の位置をｐｒ、その画像端からｐｒまでの距離をｘｒ、ミラー面の位置とカメラの位置との中点の位置から物体の任意の点の位置までの距離をＺ、ミラー面が映す画像内における物体の任意の点の位置をｐｌとすると、その画像端からｐｌまでの距離がｘｌ／Ｂとなり、視差と奥行きの関係から次式が成立する。

｜ｘｒ−ｘｌ／Ｂ｜／Ｂ＝ｆ／Ｚ
｜ｘｒ−ｘｌ／Ｂ｜はｘｒ−ｘｌ／Ｂの絶対値である。この場合も、Ｂ及びｆが既知であるので、視差である｜ｘｒ−ｘｌ／Ｂ｜を画像解析により算出することで、Ｚを算出可能となる。

次に、上記した構成の作用について図５から図８を参照して説明する。制御部５は本発明に関連して物体突出判定処理を行う。制御部５は、物体突出判定処理を開始すると、カメラ３から画像信号を入力し（Ｓ１）、その入力した画像信号を信号処理して直接画像及び間接画像を抽出する（Ｓ２）。次いで、制御部５は、その抽出した直接画像及び間接画像に対してオプティカルフローの手法を適用して背景成分を除去する（Ｓ３）。そして、制御部５は、背景成分が除去された直接画像及び背景成分が除去された間接画像を解析する（Ｓ４）。

ここでは、制御部５が、図７及び図８に示すように、カメラ３により右側後部座席の車窓１５を含む範囲が撮影された直接画像と、カメラ３により右側サイドミラー１２のミラー面１２ａを含む範囲が撮影された間接画像とを解析する場合について説明する。尚、図７及び図８で示す破線Ａは、車窓１５の位置の延長線を示し、車室内と車室外とを仕切る境界を示す。制御部５は、背景成分が除去された直接画像及び背景成分が除去された間接画像を解析した結果として、図４に示した原理により、視差である｜ｘｒ−ｘｌ／Ｂ｜を算出し、ミラー面１２ａの位置とカメラ３の位置との中点（基準位置に相当する）から物体の任意の点の位置までの距離であるＺを物体到達距離として算出する（Ｓ５）。ミラー面１２ａの位置とは例えばミラー面１２ａの中央の位置であり、カメラ３の位置とは例えばレンズの中央の位置である。

制御部５は、物体到達距離の算出に成功したか否かを判定し（Ｓ６）、物体到達距離の算出に成功したと判定すると（Ｓ６：ＹＥＳ）、その算出した物体到達距離を、右側後部座席の車窓１５のサイズ（即ち前後方向の長さ及び高さ方向の長さ）に基づいて予め記憶している設定範囲と照合し、物体到達距離が設定範囲内である否かを判定する（Ｓ７）。制御部５は、物体到達距離の算出に失敗したと判定すると（Ｓ６：ＮＯ）、又は物体到達距離が設定範囲内でない（即ち設定範囲外である）と判定すると（Ｓ７：ＮＯ）、右側後部座席の車窓１５の周囲に物体が存在していないと特定し（Ｓ８）、物体突出判定処理を終了する。一方、制御部５は、物体到達距離が設定範囲内であると判定すると（Ｓ７：ＹＥＳ）、図７に示す状況及び図８に示す状況のうち何れかであり、右側後部座席の車窓１５の周囲に物体が存在していると特定する（Ｓ９）。

次いで、制御部５は、前述したｘｒ及びｘｌ／Ｂのうち例えばｘｒを方向判定基準距離として選択する（Ｓ１０）。制御部５は、その選択した方向判定基準距離を、右側後部座席の車窓１５の位置に基づいて予め記憶している設定値と照合し、方向判定基準距離が設定値以上である否かを判定する（Ｓ１１）。この場合、図７に示すように、右側後部座席の車窓１５の周囲であって車室内に物体が存在している、即ち物体が車室内から突出していなければ、方向判定基準距離として選択したｘｒは相対的に長くなり、カメラ３の位置から物体の任意の点の位置に向かう方向が車室内側に傾く方向となる。一方、図８に示すように、右側後部座席の車窓１５の周囲であって車室外に物体が存在している、即ち物体が車室内から突出していれば、方向判定基準距離として選択したｘｒは相対的に短くなり、カメラ３の位置から物体の任意の点の位置に向かう方向が車室外側に傾く方向となる。

制御部５は、方向判定基準距離が設定値以上であると判定すると（Ｓ１１：ＹＥＳ）、車室内に物体が存在しており、即ち物体が車室内から突出していないと特定し（Ｓ１２）、物体突出判定処理を終了する。一方、制御部５は、方向判定基準距離が設定値以上でなく設定値未満であると判定すると（Ｓ１１：ＮＯ）、車室外に物体が存在しており、即ち物体が車室内から突出していると特定する（Ｓ１３）。そして、制御部５は、報知指令信号を報知デバイス４に出力し（Ｓ１４）、物体突出判定処理を終了する。このとき、報知デバイス４は、車両用装置２から報知指令信号を入力すると、報知情報を表示したり音出力したりする等の報知動作を行い、物体が車室内から突出している旨を運転者に報知する。

運転者はサイドミラー１２のミラー面１２ａを目視すれば物体が車室内から突出している旨を認識可能となるが、例えば運転者がサイドミラー１２のミラー面１２ａを習慣的に目視しなかったり何らかの事情で目視することが困難な状況であったりしても前述したように報知デバイス４が報知動作を行うことで、物体が車室内から突出している旨を認識可能となる。上記した一連の処理では、Ｓ４が画像解析手順に相当し、Ｓ５〜Ｓ１３が判定手順に相当し、Ｓ１４が報知指令手順に相当する。

尚、以上は、ｘｒ及びｘｌ／Ｂのうちｘｒを方向判定基準距離として選択した場合を例示したが、ｘｌ／Ｂを方向判定基準距離として選択しても良い。又、ｘｒとｘｌ／Ｂとの両方を方向判定基準距離として選択し、それぞれを設定値と比較することで、物体が車室内から突出しているか否かを判定する精度を高める構成としても良い。

又、以上は、物体が車室内から右側後部座席の車窓１５を介して車室外に突出しているか否かを判定する場合を例示したが、カメラ３により左側後部座席の車窓１７を含む範囲が撮影された直接画像と、カメラ３により左側サイドミラー１３のミラー面１３ａを含む範囲が撮影された間接画像とを解析することで、物体が車室内から車窓１７を介して車室外に突出しているか否かを判定することも可能である。同様に、ミラー面１２ａに運転席の車窓１４が映るようにミラー面１２ａの角度を調整することで、物体が車室内から運転席の車窓１４を介して車室外に突出しているか否かを判定することも可能である。又、ミラー面１３ａに助手席の車窓１６が映るようにミラー面１３ａの角度を調整することで、物体が車室内から助手席の車窓１６を介して車室外に突出しているか否かを判定することも可能である。

以上説明したように本実施形態によれば、次に示す効果を得ることができる。
車両用システム１において、カメラ３により車窓１４〜１７を含む範囲が撮影された直接画像の解析結果と、カメラ３によりサイドミラー１２，１３のミラー面１２ａ，１３ａを含む範囲が撮影された間接画像の解析結果とを用い、物体が車室内から突出しているか否かを判定するようにした。ステレオカメラを用いたり単眼カメラとセンサとを併用したりする構成とは異なり、単眼カメラのみを用いる構成とすることでコスト高を招くことなく、物体が車室内から突出しているか否かを適切に判定し、物体が車室内から突出している旨を適切に報知することができる。又、直接画像や間接画像に対してオプティカルフローの手法を適用して背景成分を除去することで、画像を解析する際に物体を検知する精度を高めることができ、物体が車室内から突出しているか否かを判定する精度を高めることができる。

本発明は、上記した実施形態で例示したものに限定されることなく、その範囲を逸脱しない範囲で任意に変形又は拡張することができる。
サイドミラー１２，１３がドアミラーである構成を例示したが、車体のボンネットの前方に取り付けられているフェンダーミラーであっても良い。サイドミラー１２，１３がフェンダーミラーである構成では、カメラ３からフェンダーミラーまでの距離の方がドアミラーまでの距離よりも大きくなるので、画像解析の能力を高める構成としても良い。

カメラ３は、３６０度の方向を撮影視野とする構成に限らず、少なくとも車窓１４〜１７を含む範囲とサイドミラー１２、１３のミラー面１２ａ，１３ａを含む範囲とを撮影視野とする構成であれば良い。又、カメラ３は、運転者の目に近い位置に配置されていれば良く、ミラー面１２ａ，１３ａまでの撮影視野が運転者の頭で妨げなければ例えば運転席のヘッドレストの脇等に配置されていても良い。

直接画像と間接画像との両方に対してオプティカルフローの手法を適用して背景成分を除去する処理を行う構成を例示したが、直接画像及び間接画像のうち何れかに対して行っても良い。又、必要に応じてオプティカルフローの手法を適用すれば良く、オプティカルフローの手法を適用せずに背景成分を除去する処理を行わなくても良い。

図面中、１は車両用システム、３はカメラ（撮影部）、４は報知デバイス（報知部）、５は制御部、５ａは背景成分除去部、５ｂは画像解析部、５ｃは判定部、５ｄは報知指令部、１２，１３はサイドミラー、１２ａ，１３ａはミラー面、１４〜１７は車窓である。

Claims (5)

1. 開閉可能な車窓（１４〜１７）の周囲を映すサイドミラー（１２，１３）が取り付けられている車両に搭載される車両用システム（１）であって、
   単眼カメラにより構成され、少なくとも前記車窓を含む範囲と前記サイドミラーのミラー面（１２ａ，１３ａ）を含む範囲とを撮影する撮影部（３）と、
   前記撮影部により撮影された画像を解析する画像解析部（５ｂ）と、
   前記撮影部により前記車窓を含む範囲が撮影された直接画像の前記画像解析部による解析結果と、前記撮影部により前記ミラー面を含む範囲が撮影された間接画像の前記画像解析部による解析結果とを用い、物体が車室内から前記車窓を介して車室外に突出しているか否かを判定する判定部（５ｃ）と、
   前記判定部による判定結果を報知部（４）により報知する報知指令部（５ｄ）と、を備えた車両用システム。
2. 請求項１に記載した車両用システムにおいて、
   前記判定部は、前記車窓の位置に対する前記物体の位置を特定することで、前記物体が車室内から前記車窓を介して車室外に突出しているか否かを判定する車両用システム。
3. 請求項２に記載した車両用システムにおいて、
   前記判定部は、前記撮影部の位置と前記サイドミラーの位置とに依存する基準位置から前記物体の位置までの距離と、前記撮影部の位置及び前記ミラー面の位置のうち少なくとも何れかから前記物体の位置に向かう方向とを用い、前記車窓の位置に対する前記物体の位置を特定する車両用システム。
4. 請求項１から３の何れか一項に記載した車両用システムにおいて、
   前記直接画像及び前記間接画像のうち少なくとも何れかの背景成分を除去する背景成分除去部（５ａ）を備え、
   前記画像解析部は、背景成分が除去された前記直接画像及び背景成分が除去された前記間接画像のうち少なくとも何れかを解析する車両用システム。
5. 開閉可能な車窓（１４〜１７）の周囲を映すサイドミラー（１２，１３）が取り付けられている車両に搭載され、少なくとも前記車窓を含む範囲と前記サイドミラーのミラー面（１２ａ，１３ａ）を含む範囲とを撮影する撮影部（３）と、報知部（４）と、を有する車両用システム（１）の制御部（５）に、
   前記撮影部により前記車窓を含む範囲が撮影された直接画像及び前記ミラー面を含む範囲が撮影された間接画像を解析する画像解析手順と、
   前記画像解析手順の解析結果を用い、物体が車室内から前記車窓を介して車室外に突出しているか否かを判定する判定手順と、
   前記判定手順の判定結果を前記報知部により報知する報知指令手順と、を実行させるコンピュータプログラム。

Images