JP2014097781A - 車両用画像システムおよび車両用画像のための表示制御方法 - Google Patents

Abstract

【課題】運転手が、車両用画像におけるあらゆる視野角度を得ることができると共に容易に画像を制御することができる新規な車両用画像システムを提供する。
【解決手段】車両用画像システムは、表示部と、画像取得部と、センシング受信部と、ジェスチャ認識部と、処理部とを含む。画像取得部は、複数のサブ画像を受信するように定められている。センシング受信部は、検出情報を生成するためのセンシングイベントを検出するように定められている。ジェスチャ認識部は、センシング受信部と連動し、検出情報に従ってジェスチャ認識結果を生成するように定められている。処理部は、画像取得部およびジェスチャ認識部と連動し、サブ画像に従って車両用画像を生成し、ジェスチャ認識結果に従って表示部における車両用画像の表示を制御するように定められている。
【選択図】図１

Description

開示される本発明の実施形態は、車両用画像システムに関し、特に、ジェスチャを決定するためのタッチ装置（例えば、静電容量方式の多点タッチパネル）または非接触／非タッチ光学センサを用いることによって、２次元／３次元の車両用画像の表示を制御する車両システム、および関連する制御方法に関する。

通常、アラウンドビューモニタ（ＡＶＭ）システムの車両用画像は、固定された視野角度／位置（すなわち、鳥瞰的視野の画像）にあり、車両の画像が画面の中央にある。ユーザは、車両用画像の視野角度／位置を調整できない。従来の一解決策は、車両用画像の表示を制御するためにジョイスティックまたはキーボードを用いる。しかしながら、これらの装置はいずれも、総費用を増加させるとともに、その制御が不自由である。さらに、ジョイスティックは機械装置であることから、故障確率が高くかつ製品寿命が短く、さらには追加の配置スペースを要求する。ジョイスティックは交通事故において破損する可能性があり、車両内の乗客を傷つける危険性を増大させる。さらに、運転手のための表示モードおよび情報は、次世代の車両用画像システムの要求を満足し得ない機械装置もしくはキーパッドを使用するものに限定される。

上記問題点に関して、運転手が、車両用画像におけるあらゆる視野角度を得ることができると共に容易に画像を制御することができる新規な車両用画像システムは、道路における安全性を向上させる。

上記問題点を解決するために、本発明の一目的は、ジェスチャを決定するためのタッチ装置または非接触光学センサを使用することによって、車両用画像の表示を制御する車両システムおよび関連する制御方法を提供することである。

本発明の一実施形態によれば、例示的な車両用画像システムが開示される。例示的な車両用画像システムは、表示部と、画像取得部と、センシング受信部と、ジェスチャ認識部と、処理部とを備える。画像取得部は、カメラから複数のサブ画像を受信するように配置されている。センシング受信部は、検出情報を生成するためのセンシングイベントを検出するように配置されている。ジェスチャ認識部は、センシング受信部と連動し、検出情報に従ってジェスチャ認識結果（すなわち、ジェスチャの認識情報）を生成するように配置されている。処理部は、画像取得部およびジェスチャ認識部と連動し、サブ画像に従って車両用画像を生成し、ジェスチャ認識部の結果（すなわち、ジェスチャ認識結果）に従って表示部における車両用画像の表示（例えば、表示モードおよび／または視野角度）を制御するように配置されている。

本発明の一実施形態によれば、車両用画像のための例示的な表示制御方法が開示される。例示的な表示制御方法は、以下のステップ：複数のサブ画像を受信するステップと、サブ画像に従って車両用画像を生成するステップと、検出情報を生成するためのセンシングイベントを検出するステップと、検出情報に従ってジェスチャ認識結果を生成するステップと、ジェスチャ認識結果に従って車両用画像の表示（例えば、表示モードおよび／または視野角度）を制御するステップとを含む。

提案される、車両用画像の視野角度を制御する車両用画像システムは、ユーザにとって便利な操作経験を提供するのみならず、あらゆる視野角度からのオブジェクトの表示も提供することができる。提案される車両用画像システムは、追加の費用および余分なスペースをほとんど必要とすることなく、車両に設置することができる。

当業者には、本発明のこれらの目的および他の目的が、多様な図面に示された好ましい実施形態についての以下の詳細な説明を読んだ後、疑いの余地なく明白になるであろう。

本発明の一実施形態に係る例示的な汎用の車両用画像システムを示す図面である。 本発明の第１の実施形態に係る例示的な車両用画像システムを示す図面である。 本発明の一実施形態に係る、図２に示す表示部の例示的な画面レイアウトを示す図面である。 本発明の第１の実施形態に係る、ジェスチャを用いた、車両用画像の例示的な表示ズームイン／アウト制御を示す図面である。 本発明の第２の実施形態に係る、ジェスチャを用いた、車両用画像の例示的な表示回転制御を示す図面である。 本発明の第３の実施形態に係る、ジェスチャを用いた、車両用画像の例示的な表示移動制御を示す図面である。 本発明の第４の実施形態に係る、ジェスチャを用いた、車両用画像の例示的な表示傾斜制御を示す図面である。 本発明の一実施形態に係る、タッチパネルを用いた、車両用画像のための例示的な表示制御方法のフローチャートである。 本発明の第２の実施形態に係る、例示的な車両用画像システムを示す図面である。 本発明の一実施形態に係る、光学センシング部を用いた、車両用画像のための例示的な表示制御方法のフローチャートである。

図１を参照する。図１は、本発明の一実施形態に係る、例示的な汎用車両用画像システムを示す図面である。図１に示すように、車両用画像システムは、表示部１０５と、画像取得部１１０と、センシング受信部１２０と、ジェスチャ認識部１３０と、処理部１４０とを含み得る。ジェスチャ認識部１３０は、センシング受信部１４０と連動し、処理部１４０は、画像取得部１１０およびジェスチャ認識部１３０と連動する。まず、画像取得部１１０は、複数のサブ画像ＩＭＧ＿Ｓ１〜ＩＭＧ＿Ｓｎ（例えば、複数の広角歪曲画像）を受信できる。そして、処理部１４０は、サブ画像ＩＭＧ＿Ｓ１〜ＩＭＧ＿Ｓｎに従って、車両用画像（例えば、３６０°アラウンドビューモニタ（ＡＶＭ）画像）を生成できる。より具体的には、処理部１４０は、複数の補正画像を生成するためにサブ画像ＩＭＧ＿Ｓ１〜ＩＭＧ＿Ｓｎのそれぞれに対して幾何学変換（例えば、広角画像歪曲補正および上方視点変換）を実行し、３６０°ＡＶＭ車両用画像を生成するために該補正画像を合成（例えば、画像結合）できる。車両用画像を生成した後、処理部１４０は、対応する車両表示情報ＩＮＦ＿ＶＤを表示部１５０に送信できる。ここで、車両表示情報ＩＮＦ＿ＶＤは、車両用画像および関連する表示メッセージ（例えば、駐車補助グラフィック）を含み得る。他の設計としては、処理部１４０はさらに車両の画像を記憶し、該車両の画像および３６０°ＡＶＭ画像を含む車両用画像を生成するために、サブ画像ＩＭＧ＿Ｓ１〜ＩＭＧＳｎおよび記憶された該車両の画像を合成してもよい。

センシングイベントＴＥ（例えば、ユーザのジェスチャ）が生じたとき、センシング受信部１２０は、検出情報ＤＲを生成するためにセンシングイベントＴＥを検出でき、ジェスチャ認識部１３０は、検出情報ＤＲに従ってジェスチャ認識結果ＧＲ（すなわち、ジェスチャの認識情報）を生成できる。次に、処理部１４０は、ジェスチャ認識結果ＧＲに従って、表示部１０５における車両用画像の表示（例えば、表示モードおよび／または視野角度）を制御できる（すなわち、車両表示情報ＩＮＦ＿ＶＤを更新する）。センシング受信部１２０は、ジェスチャを取得するためのモーション・キャプチャ装置であってもよいことに留意すべきである。例えば、センシング受信部１２０は、接触式のタッチ受信部（例えば、静電容量方式の多点タッチパネル）、または、非接触センシング受信部（例えば、赤外線近接センサ）であってもよい。

一実装において、処理部１４０は、表示部１０５における車両用画像の表示を制御するために、ジェスチャ認識結果に従って、直接的に車両用画像に対して対応する動作（例えば、画像オブジェクト属性変化動作または幾何学変換）を実行してもよい。例えば、処理部１４０は、ジェスチャ認識結果ＧＲ（例えば、オブジェクト選択ジェスチャ）に従って、車両用画像における選択されたオブジェクトの色を変化させてもよい。さらに、処理部１４０は、ジェスチャ認識結果ＧＲ（例えば、ドラッグジェスチャ）に従って、車両用画像の表示範囲を調整してもよい。他の実行において、処理部１４０は、まず、ジェスチャ認識結果ＧＲに従って、サブ画像ＩＭＧ＿Ｓ１〜ＩＭＧ＿Ｓｎに対して対応する動作（例えば、幾何学変換）を実行し、次に、表示部１０５における車両用画像の表示を制御するために、変換されたサブ画像ＩＭＧ＿Ｓ１〜ＩＭＧ＿Ｓｎを合成できる。上記幾何学変換は、ズームイン動作、ズームアウト動作、回転動作、移動動作、傾斜動作、または、視野角度／位置の変化動作であってもよいことに留意すべきである。

図１に示す車両用画像システム１００のより優れた理解のために、図２を参照する。図２は、本発明の第１の実施形態に係る例示的な車両用画像システムを示す図面である。車両用画像システム２００は、電子制御部（ＥＣＵ）２０２と、ヒューマン・マシンインターフェース２０４と、カメラ装置２０６と、センサ装置２０８とを含み得る。ＥＣＵ２０２は、カメラ装置２０６により提供される複数のサブ画像ＩＭＧ＿Ｓ１〜ＩＭＧ＿Ｓ４と、センサ装置２０８により提供される複数のセンシング結果ＳＲ１〜ＳＲ３とを受信し、それに応じて、車両表示情報ＩＮＦ＿ＶＤをヒューマン・マシンインターフェース２０４に出力できる。一旦、ユーザ／運転手が、ジェスチャをヒューマン・マシンインターフェース２０４に対して実行すれば、ＥＣＵ２０２は、検出情報ＤＲに従って、車両表示情報ＩＮＦ＿ＶＤを更新できる。

本実施形態において、カメラ装置２０６は、複数のカメラ２５１〜２５７を含む。複数のカメラ２５１〜２５７は、車両の周囲のサブ画像ＩＭＧ＿Ｓ１〜ＩＭＧ＿Ｓ４（例えば、車両の前方、後方、左方、右方にそれぞれ対応する複数の広角画像）をそれぞれ取得するように配置されている。センサ装置２０８は、ステアリングセンサ２６１と、車輪速度センサ２６３と、シフト位置センサ２６５とを含む。ＥＣＵ２０２は、画像取得部２１０と、ジェスチャ認識部２３０と、処理部２４０とを含む。ここで、処理部２４０は、表示情報処理回路２４１と、パラメータ設定回路２４３と、オンスクリーン表示・直線生成部２４５と、記憶部２４７とを含み得る。上記装置を用いた初期表示の生成は、以下のとおり説明される。

まず、画像取得部２１０は、サブ画像ＩＭＧ＿Ｓ１〜ＩＭＧ＿Ｓ４を受信し、これらを表示情報処理回路２４１へと送信できる。ステアリングセンサ２６１は、センシング結果ＳＲ１を生成するために車両の旋回角度（例えば、車輪の旋回角度）を検出でき、オンスクリーン表示・直線生成部２４５は、センシング結果ＳＲ１に従って、予測した進路（例えば、駐車補助グラフィック）の表示情報を生成できる。車輪速度センサ２６３は、センシング結果ＳＲ２を生成するための車輪回転速度を検出でき、オンスクリーン表示・直線生成部２４５は、センシング結果ＳＲ２に従って、現在の車両速度における表示情報を生成できる。したがって、表示情報処理回路２４１は、予測進路および車両速度を含むオンスクリーン表示情報ＩＮＦ＿ＯＳＤを受信できる。

シフト位置センサ２６５は、センシング結果ＳＲ３を生成するために変速装置のギア位置情報を検出でき、パラメータ設定回路２４３は、センシング結果ＳＲ３に従って画面レイアウトを決定できる。図２と併せて図３を参照する。図３は、本発明の一実施形態に係る、図２に示す表示部２２５の例示的な画面レイアウトを示す図面である。本実施形態では、車両が前方に移動する（例えば、変速装置のギアが推進位置にある）とき、表示情報処理回路２４１は、３６０°ＡＶＭ画像を生成するためにサブ画像ＩＭＧ＿Ｓ１〜ＩＭＧ＿Ｓ４を結合し、車両用画像ＩＭＧ＿ＶＲを生成するために車両の画像ＩＭＧ＿Ｖ（記憶部２４７に記憶されている）およびＡＶＭ画像を合成し、それにより、表示設定ＤＳに従って、車両表示情報ＩＮＦ＿ＶＤ１を表示部２２５に表示できる。運転手が変速装置のギアを後進の位置へとシフトさせるとき、パラメータ設定回路２４３により生成される表示設定ＤＳは、必要な１つの画像もしくは２／３の画像の表示設定（すなわち、シングルウィンドウまたはマルチウィンドウ表示設定）である。ここで、これら表示設定の表示コンテンツは、３６０°ＡＶＭ画像、上方視点画像などを含み得る。それゆえ、表示情報処理回路２４１は、表示設定ＤＳに従って、車両表示情報ＩＮＦ＿ＶＤ２を表示部２２５に表示できる。ここで、車両表示情報ＩＮＦ＿ＶＤ２は、車両用画像ＩＭＧ＿ＶＲならびに複数の後方視点画像ＩＭＧ＿Ｇ１およびＩＭＧ＿Ｇ２を含み得る。当業者ならば、ギア位置の切り替えを利用した画面レイアウト調整の動作を理解する筈なので、ここでは簡潔さのため、さらなる説明を省略する。

上記説明を考慮すると、表示情報処理回路２４１は、サブ画像ＩＭＧ＿Ｓ１〜ＩＭＧ＿Ｓ４と、オンスクリーン表示情報ＩＮＦ＿ＯＳＤと、表示設定ＤＳとに従って、車両表示情報ＩＮＦ＿ＶＤを出力できる。これによって、シングルウィンドウ画像またはマルチウィンドウ画像を表示部２２５に表示させることを可能とする。ここで、シングルウィンドウ／マルチウィンドウ画像は、駐車補助グラフィック、移動オブジェクト検出、および／または、車両速度などの表示情報を含み得る。簡潔さおよび明瞭さのため、以下の説明では、車両用画像の１つの例示的な表示制御を示すシングルウィンドウ画像を利用する。

図２と併せて図４を参照する。図４は、本発明の第１の実施形態に係る、車両用画像の例示的な表示ズームイン／アウト制御を示す図面である。本実施形態において、初期表示ＤＰ１は、車両オブジェクトＯＢ＿Ｖおよび不明オブジェクトＯＢ＿Ｎを示す。初期表示ＤＰ１における不明オブジェクトＯＢ＿Ｎはとても小さいため、ユーザは、不明オブジェクトＯＢ＿Ｎ（例えば、障害物または床の画像）によって何が表現されているのかが全くわからない。ユーザは、２本の指を互いの指から離れるように移動させる／広げるタッチジェスチャまたは光学センシングジェスチャによって、車両用画像の表示をズームインできる。一実装において、ユーザは、まず、ズームインされる画像領域を表示の中央へとドラッグ（タッチジェスチャまたは光学センシングジェスチャ）し、次に、２本の指を互いの指から離れるように移動させる（タッチジェスチャまたは光学センシングジェスチャ）ことによって、該画像領域をズームインできる。これにより「局所的に画像をズームインする」動作を実現できる。加えて、ユーザはさらに、車両用画像の表示をズームアウトするために、２本の指を同時に近づけてもよい。

画像拡大の一例を挙げると、タッチパネル２２０が、互いの指から離れるように移動する２本の指を検出した後、ジェスチャ認識部２３０は、指の移動量を車両用画像表示における拡大係数として解釈できる。すなわち、ジェスチャ認識結果ＧＲは、車両用画像の表示を調整するためのジェスチャ命令（すなわち、ズームイン命令）および調整パラメータ（すなわち、拡大係数）を含み得る。次に、パラメータ設定回路２４３は、ズームイン命令および調整パラメータを取得できる。また、オンスクリーン表示・直線生成部２４５は、ジェスチャ認識部２３０からズームイン命令を取得できる。パラメータ設定回路２４３は、ジェスチャ認識結果ＧＲと、シフト位置センサ２６５によって検出されたギア位置センシング結果ＳＲ３とに従って、表示情報処理回路２４１への、対応する表示設定ＤＳを生成できる。オンスクリーン表示・直線生成部２４５は、ズームイン命令に従って、表示情報処理回路２４１への、対応するオンスクリーン表示情報ＩＮＦ＿ＯＳＤを生成できる。したがって、表示情報処理回路２４１は、表示設定ＤＳおよびオンスクリーン表示情報ＩＮＦ＿ＯＳＤ（すなわち、「ズームイン」命令を表示する）に従って、初期表示ＤＰ１を表示ＤＰ２へと調整できる。ここで、表示ＤＰ２は、用語「ズームイン」と、拡大された車両オブジェクトＯＢ＿Ｖと、拡大された不明オブジェクトＯＢ＿Ｎとを提示する。

本実施形態では、表示情報処理回路２４１は、まず、表示設定ＤＳに従ってサブ画像ＩＭＧ＿Ｓ１〜ＩＭＧ＿Ｓ４に対して広角歪曲補正および上方視点変換を実行することによって、複数の補正画像を生成し、次に、補正画像に対して画像拡大を実行し、最後に、拡大された車両用画像を生成するために、拡大された補正画像を互いに結合する。ソース画像（すなわち、サブ画像ＩＭＧ＿Ｓ１〜ＩＭＧ＿Ｓ４）に対して幾何学変換を実行することによって車両用画像の表示（例えば、表示モードおよび／または視野角度）を制御すれば、車両用画像に対して直接的に幾何学変換を実行することによって生じる画像情報の欠損を回避し得るので、それによって、２次元／３次元（２Ｄ／３Ｄ）車両用画像における優れた操作経験をユーザに提供する。

表示ＤＰ２の不十分な拡大のせいで、ユーザがまだ不明オブジェクトＯＢ＿Ｎの種類を識別できない場合、ユーザは再び、画像拡大を速やかに実行することができる。識別の効率性および正確性を向上させるために、ジェスチャ命令が記憶されてもよく、タッチパネル２２０に対するタッチ情報を特定するために、２つの連続するジェスチャの間の時間間隔が計測されてもよい。

より具体的には、タッチパネル２２０から指が離れた（表示ＤＰ１が表示ＤＰ２へと調整された）とき、ジェスチャ認識部２３０は、ズームイン命令および調整パラメータをさらに記憶し、指がタッチパネル２２０から離れている間の維持時間の計測を開始してもよい。維持時間が所定時間を超える前に、ユーザがタッチパネル２２０において画像拡大を再び実行する場合（すなわち、表示ＤＰ３）、ジェスチャ認識部２３０は、ズームイン命令をパラメータ設定回路２４３およびオンスクリーン表示・直線生成部２４５へと送信することなく、単に拡大係数を解釈してもよい。あるいは、維持時間が所定時間を超える前にユーザがタッチパネル２２０において画像拡大を再び実行しない場合、ジェスチャ認識部２３０は、タッチ画面２２０に対するタッチ情報の認識を停止してもよい。上記記憶および計測のステップを実行する装置は、ジェスチャ認識部２３０に限定されないことに留意すべきである。例えば処理部２４０は、ジェスチャ命令を記憶し、２つの連続するジェスチャの間の時間間隔を計測し、車両表示情報ＩＮＦ＿ＶＤを更新しないことによって認識を停止するように定められていてもよい。要するに、上記記憶および計測のステップを実行するために、記憶機能を有するあらゆる装置が使用可能である。

タッチパネル２２０上でジェスチャを実行することによって、ユーザは、不明オブジェクトＯＢ＿Ｎの種類を速やかに確認できる。例えば、どの種類の不明オブジェクトＯＢ＿Ｎが表示されているかについて、ユーザが確信を持てない場合、ユーザは、直観的なジェスチャ（例えば、タッチ操作）を実行することによって、表示をズームインすることができ、それによって不明オブジェクトＯＢ＿Ｎを確定させることができる。不明オブジェクトＯＢ＿Ｎが障害物であった場合、ユーザは、障害物を迂回して交通の安全性を向上させることができる。不明オブジェクトＯＢ＿Ｎが子供であった場合、ユーザは、子供の安全を保証することができる。当業者ならば、ジェスチャはズームイン命令に限定されず、ズームイン命令は２本の指が互いの指から離れるような移動に限定されないことについて理解すべきであることに留意したい。さらに、車両用画像システム２００が装甲現金輸送車などのセキュリティシステムに採用される場合、ユーザは、装甲現金輸送車の周辺にいる不審な人物を特定するために、ズームイン／ズームアウト命令を実行してもよい。これにより、セキュリティシステムをより堅牢にすることができる。さらに、処理部２４０は記憶部２４７を含むので、車両用画像システム２００は、イベントデータレコーダ（ＥＤＲ）と統合されることにより、画像表示制御機能を有するイベントデータレコーダへと改良することができる。

上述したように、ジェスチャ認識結果によって示されるジェスチャ命令は、ズームイン命令に限定されない。ジェスチャ命令は、回転命令、移動命令、傾斜命令、または、視野角度／位置変化命令であってもよい。ここで、調整パラメータは、ジェスチャ命令に対応する移動量である。図２と併せて図５を参照する。図５は、本発明の第２の実施形態に係る、車両用画像の例示的な表示回転制御を示す図面である。本実施形態において、ユーザは、彼／彼女の指を用いて、タッチパネル２２０上で反時計方向へと弧を描く。ジェスチャ認識結果ＧＲは「反時計方向へと３０°だけ回転する」ことを示し得る。ここで、ジェスチャ命令は反時計回りの回転命令であり、調整パラメータは３０°である。ジェスチャ認識部２３０の機能に関して、ジェスチャ命令は１つの指に限定されず、複数の指によって実行されてもよいことに留意すべきである。複数の指を用いて弧を描くことによって、すなわち、一方の指を円の中心として用い、他方の指を円周上の一点として用いて回転させることによって、回転命令を実現できる。

図２と併せて図６を参照する。図６は、本発明の第３の実施形態に係る、車両用画像の例示的な表示移動制御を示す図面である。本実施形態において、ユーザの指は下方へとドラッグし、ジェスチャ認識結果ＧＲは下方への移動命令を示し得る。ユーザの指が表示されているオブジェクト（例えば、車両）にタッチしたとき、オブジェクトが選択されたことをユーザに通知するために、オブジェクトは色を変化することができることに留意すべきである。

図２と併せて図７を参照する。図７は、本発明の第４の実施形態に係る、車両用画像の例示的な表示傾斜制御を示す図面である。本実施形態において、ユーザの指は、上方へとドラッグし、ジェスチャ認識結果ＧＲは「前方へと３０°だけ傾斜させる」ことを示し得る。ここで、ジェスチャ命令は傾斜命令であり、調整パラメータは３０°である。望ましい実装において、表示情報処理回路２４１は、表示設定ＤＳに従って、サブ画像ＩＭＧ＿Ｓ１〜ＩＭＧ＿Ｓ４に対する傾斜動作を実行し、その後、車両用画像の視野角度／位置を変化させるために、画像結合および画像合成を実行することができる。図３〜７に示す各車両用画像は、２Ｄ車両用画像または３Ｄ車両用画像であってもよいことに留意すべきである。さらに、車両用画像の表示を制御するために、視覚的な要求に従って、ユーザは前述のジェスチャ命令の組み合わせを実行してもよい（例えば、傾斜命令および回転命令を順番に実行する）。

再び、図１および図２を参照する。図１に示すセンシング受信部１２０は、図２に示すタッチパネル２２０によって実装できる。また、図１に示す処理部１４０は、図２に示す、表示情報処理回路２４１と、パラメータ設定回路２４３と、オンスクリーン表示・直線生成部２４５と、記憶部２４７とによって実装できる。オンスクリーン表示・直線生成部２４５および記憶部２４７は、任意の回路部であることに留意すべきである。図１に示す処理部１４０は、表示情報処理回路２４１およびパラメータ設定回路２４３によって実装できる。さらに、表示部２２５は、タッチパネル２２０に統合されていてもよい。

図８を参照する。図８は、本発明の一実施形態に係る、タッチパネルを用いた、車両用画像のための例示的な表示制御方法のフローチャートである。車両用画像は、複数のサブ画像（すなわち、複数の広角歪曲画像）によって合成される。より具体的には、複数の補正画像を生成するために、サブ画像に対して幾何学補正が実行され、続いて、車両用画像を生成するために、補正画像が合成され得る。一実装において、３６０°ＡＶＭ画像を生成するために補正画像が合成され、その後、車両用画像を生成するために３６０°ＡＶＭ画像および車両の画像が合成され得る。車両用画像が生成された後、図８に示す方法は、車両用画像の表示を制御するために利用できる。結果が実質的に同じであれば、図８に示す正確な順序で各ステップが実行される必要はない。本方法は以下のように要約できる。

ステップ８００：開始する。

ステップ８１０：タッチパネルにおいて生じるタッチイベントを検出し、それに応じてタッチ検出情報を生成する。ここで、タッチ検出情報は、タッチパネルにおけるタッチオブジェクトの数と、動きの経路と、移動量とを含む。

ステップ８２０：対応する表示情報を表示する。

ステップ８３０：タッチ検出情報が、対応するジェスチャ命令を生成するか否かを判定する。Ｙｅｓの場合、ステップ８４０へと進み、そうでなければ、ステップ８３０を繰り返す。

ステップ８４０：ジェスチャ命令に対応する調整パラメータを生成するために、タッチオブジェクトの移動量（例えば、変位ベクトルまたは回転量）を認識する。

ステップ８５０：ジェスチャ命令および調整パラメータに従って車両用画像の表示設定を生成し、それに応じて車両用画像の表示を調整する。

ステップ８６２：タッチオブジェクトがタッチパネルから離れたか否かを判定する。Ｙｅｓの場合、ステップ８６４へと進み、そうでなければ、ステップ８４０へと戻る。

ステップ８６４：ジェスチャ命令および調整パラメータを記憶し、タッチオブジェクトがタッチパネルから離れている間の維持時間の計測を開始する。

ステップ８６６：維持時間が所定時間を超えたか否かを判定する。Ｙｅｓの場合、ステップ８７０へと進み、そうでなければ、ステップ８４０へと戻る。

ステップ８７０：終了する。

ステップ８２０において、上記フローは、ステップ８１０において選択された画像オブジェクトの色を変化させてもよい。ステップ８３０において、上記フローは、タッチ検出情報が対応するジェスチャ命令を生成しないと判定されたとき、ユーザが所定のジェスチャと共にタッチパネルを操作するまでの間、ステップ８３０を繰り返してもよい。ステップ８３０におけるジェスチャ命令と、ステップ８４０における調整パラメータとは、図２に示すジェスチャ認識結果ＧＲに対応し得ることに留意すべきである。ステップ８６２において、タッチオブジェクトがタッチパネルとの接触を維持するとき、ユーザが、同じジェスチャを用いてタッチパネルを連続的に操作することが含まれ得る。したがって、上記フローは、タッチオブジェクトの移動量の認識を維持するために、ステップ８４０を繰り返してもよい。ステップ８６６において、タッチオブジェクトがタッチパネルから離れている間の時間が、所定時間を超えないとき、ユーザが、同じジェスチャを用いてタッチパネルを連続的に操作すること（すなわち、タッチイベントが連続的に生じること）が含まれ得る。したがって、上記フローは、ステップ８４０を繰り返してもよい。当業者ならば、図１〜７に直結する段落を読んだ後、図８に示す各ステップの動作をすぐに理解できるので、簡潔さのために、ここではさらなる説明を省略する。

上述したように、図１に示すセンシング受信部１２０は、赤外線近接センサなどの非接触光学センシング受信部であってもよい。図９を参照する。図９は、本発明の第２の実施形態に係る、例示的な車両用画像システムを示す図面である。図９に示す車両用画像システム９００のアーキテクチャは、図２に示す車両用画像システム２００に基づく。ここで、その差異は、ヒューマン・マシンインターフェース９０４が光学センシング部９２０（例えば、赤外線近接センサ）を含む点である。光学センシング部９２０は、反射光に従ってユーザのジェスチャを検出できる。さらに、ＥＣＵ９０２は、光学センシング結果ＬＲを認識するように定められたジェスチャ認識部９３０を含む。本実施形態では、ユーザは、非接触ジェスチャにより車両用画像の表示を直接的に制御でき、それにより、車両用画像システム９００の制御を円滑にする。非接触センシング受信部は、光学センシング部に限定されないことに留意すべきである。例えば、光学センシング部９２０は、動的な画像取得装置（例えば、カメラ）に交換されてもよい。動的な画像取得装置は、ユーザのジェスチャ画像を取得でき、対応するジェスチャ認識部は、処理部が車両用画像の表示を相応に制御できるように、該ジェスチャ画像を認識できる。

図１０を参照する。図１０は、本発明の一実施形態に係る、光学センシング部を用いた、車両用画像のための例示的な表示制御方法のフローチャートである。図１０に示す本方法は図８に示す方法に基づいており、以下のように要約できる。

ステップ８００：開始する。

ステップ１０１０：光学センシング部において生じる光学センシングイベントを検出し、それに応じて光学検出情報を生成する。ここで、光学検出情報は、光学センシング部におけるセンシングオブジェクトの数と、動きの経路と、移動量とを含む。

ステップ８２０：対応する表示情報を表示する。

ステップ１０３０：光学検出情報が、対応するジェスチャ命令を生成するか否かを判定する。Ｙｅｓの場合、ステップ１０４０へと進み、そうでなければ、ステップ１０３０を繰り返す。

ステップ１０４０：ジェスチャ命令に対応する調整パラメータを生成するために、センシングオブジェクトの移動量（例えば、変位ベクトルまたは回転量）を認識する。

ステップ８５０：ジェスチャ命令および調整パラメータに従って車両用画像の表示設定を生成し、それに応じて車両用画像の表示を調整する。

ステップ１０６２：「終了」に対応するジェスチャが検出されたか否かを判定する。Ｙｅｓの場合、ステップ１０６４へと進み、そうでなければ、ステップ１０４０へと戻る。

ステップ１０６４：ジェスチャ命令および調整パラメータを記憶し、「終了」に対応するジェスチャが検出されている間の維持時間の計測を開始する。

ステップ８６６：維持時間が所定時間を超えたか否かを判定する。Ｙｅｓの場合、ステップ８７０へと進み、そうでなければ、ステップ１０４０へと戻る。

ステップ８７０：終了する。

当業者ならば、図１〜９に直結する段落を読んだ後、図１０に示す各ステップの動作をすぐに理解できるので、簡潔さのために、ここではさらなる説明を省略する。

要約すれば、提案される車両用画像システムは、ユーザにとって便利な操作経験を提供するのみならず、あらゆる視野角度からのオブジェクトの表示も提供できる。提案される車両用画像システムは、追加の費用および余分なスペースをほとんど必要とすることなく、車両に設置できる。さらに、交通の安全性も向上される。

当業者ならば、本発明の教示を保ちながら、本装置および方法の数多くの変形および変更が可能であることに、直ちに気付くであろう。したがって、上記の開示は、添付の特許請求の範囲の境界によってのみ制限されると解釈されるべきである。

Claims (22)

1. 表示部と、
   複数のサブ画像を受信する画像取得部と、
   検出情報を生成するためにセンシングイベントを検出するセンシング受信部と、
   上記センシング受信部と連動し、上記検出情報に従ってジェスチャ認識結果を生成するジェスチャ認識部と、
   上記画像取得部および上記ジェスチャ認識部と連動し、上記サブ画像に従って車両用画像を生成し、上記ジェスチャ認識結果に従って上記表示部における上記車両用画像の表示を制御する処理部とを備える、車両用画像システム。
2. 上記センシング受信部は、接触タッチ受信部または非接触センシング受信部である、請求項１に記載の車両用画像システム。
3. 上記ジェスチャ認識結果は、上記車両用画像の上記表示を調整するために用いられるジェスチャ命令および調整パラメータを含む、請求項１に記載の車両用画像システム。
4. 上記ジェスチャ命令は、ズームイン命令、ズームアウト命令、回転命令、移動命令、傾斜命令、視野角度変化命令、または、視野位置変化命令である、請求項３に記載の車両用画像システム。
5. 上記処理部は、複数のそれぞれの補正画像を生成するために上記サブ画像に対して幾何学補正を実行し、上記車両用画像を生成するために上記補正画像を合成する、請求項１に記載の車両用画像システム。
6. 上記処理部は、上記表示部における上記車両用画像の上記表示を制御するために、上記ジェスチャ認識結果に従って上記サブ画像に対して幾何学変換を実行し、変換された上記サブ画像を合成する、請求項１に記載の車両用画像システム。
7. 上記幾何学変換は、ズームイン動作、ズームアウト動作、回転動作、移動動作、傾斜動作、視野角度変化動作、または、視野位置変化動作である、請求項６に記載の車両用画像システム。
8. 上記処理部は、上記表示部における上記車両用画像の上記表示を制御するために、上記ジェスチャ認識結果に従って上記車両用画像に対して直接的に幾何学変換を実行する、請求項１に記載の車両用画像システム。
9. 上記幾何学変換は、ズームイン動作、ズームアウト動作、回転動作、移動動作、傾斜動作、視野角度変化動作、または、視野位置変化動作である、請求項８に記載の車両用画像システム。
10. 上記処理部は、
    少なくとも上記ジェスチャ認識結果に従って上記車両用画像の表示設定を生成するパラメータ設定回路と、
    上記パラメータ設定回路と連動し、少なくとも上記表示設定に従って上記表示部における上記車両用画像の上記表示を制御する表示情報処理回路とを備える、請求項１に記載の車両用画像システム。
11. 第１のセンシング結果を生成するために旋回角度を検出するステアリングセンサと、
    第２のセンシング結果を生成するために車輪回転速度を検出する車輪速度センサと、
    上記パラメータ設定回路と連動し、上記パラメータ設定回路への第３のセンシング結果を生成するためにギア位置情報を検出するシフト位置センサとをさらに備え、
    上記処理部は、上記第１のセンシング結果および上記第２のセンシング結果に従って上記表示情報処理回路へのオンスクリーン表示情報を生成するための、上記ステアリングセンサ、上記車輪速度センサ、および上記表示情報処理回路と連動するオンスクリーン表示・直線生成部をさらに備え、
    上記パラメータ設定回路は、上記第３のセンシング結果にさらに従って上記車両用画像の上記表示設定を生成し、
    上記表示情報処理回路は、上記オンスクリーン表示情報にさらに従って上記表示部における上記車両用画像の上記表示を制御する、請求項１０に記載の車両用画像システム。
12. 車両用画像のための表示制御方法であって、
    複数のサブ画像を受信するステップと、
    上記サブ画像に従って上記車両用画像を生成するステップと、
    検出情報を生成するためにセンシングイベントを検出するステップと、
    上記検出情報に従ってジェスチャ認識結果を生成するステップと、
    上記ジェスチャ認識結果に従って上記車両用画像の表示を制御するステップとを含む、表示制御方法。
13. 上記センシングイベントは、接触タッチイベントまたは非接触センシングイベントである、請求項１２に記載の表示制御方法。
14. 上記ジェスチャ認識結果は、上記車両用画像の上記表示を調整するために用いられるジェスチャ命令および調整パラメータを含む、請求項１２に記載の表示制御方法。
15. 上記ジェスチャ命令は、ズームイン命令、ズームアウト命令、回転命令、移動命令、傾斜命令、視野角度変化命令、または、視野位置変化命令である、請求項１４に記載の表示制御方法。
16. 上記方法は、上記センシングイベントがトリガを停止することを、上記ジェスチャ認識結果が示すとき、
    上記ジェスチャ命令および上記調整パラメータを記憶するステップと、
    上記センシングイベントがトリガを停止している間の維持時間の計測を開始するステップと、
    上記維持時間に従って上記センシングイベントの認識を停止するか否かを決定するステップとをさらに含み、
    上記維持時間が所定時間を超えるとき、上記センシングイベントの認識を停止すると決定し、上記維持時間が上記所定時間を超えないとき、上記調整パラメータを更新するために上記センシングイベントの認識を継続すると決定する、請求項１４に記載の表示制御方法。
17. 上記サブ画像に従って上記車両用画像を生成する上記ステップは、
    複数のそれぞれの補正画像を生成するために、上記サブ画像に対して幾何学補正を実行するステップと、
    上記車両用画像を生成するために、上記補正画像を合成するステップとを含む、請求項１２に記載の表示制御方法。
18. 上記ジェスチャ認識結果に従って上記車両用画像の上記表示を制御する上記ステップは、上記車両用画像の上記表示を制御するために、上記ジェスチャ認識結果に従って上記サブ画像に対して幾何学変換を実行し、変換された上記サブ画像を合成するステップを含む、請求項１２に記載の表示制御方法。
19. 上記幾何学変換は、ズームイン動作、ズームアウト動作、回転動作、移動動作、傾斜動作、視野角度変化動作、または、視野位置変化動作である、請求項１８に記載の表示制御方法。
20. 上記ジェスチャ認識結果に従って上記車両用画像の上記表示を制御する上記ステップは、上記車両用画像の上記表示を制御するために、上記ジェスチャ認識結果に従って上記車両用画像に対して直接的に幾何学変換を実行するステップを含む、請求項１２に記載の表示制御方法。
21. 上記幾何学変換は、ズームイン動作、ズームアウト動作、回転動作、移動動作、傾斜動作、視野角度変化動作、または、視野位置変化動作である、請求項２０に記載の表示制御方法。
22. 上記ジェスチャ認識結果に従って上記車両用画像の上記表示を制御する上記ステップは、
    上記ジェスチャ認識結果に従って上記車両用画像の表示設定を生成するステップと、
    上記表示設定に従って上記車両用画像の上記表示を制御するステップとを含む、請求項１２に記載の表示制御方法。

Images