JP2015507708A - 自動車用モジュールカメラおよび自動化入口用画像処理システム - Google Patents

Abstract

本発明は、ユーザーがキーを取り出すこと、あるいは手動で作動させる装置を用いることなく、ドア、ゲートまたはその他の装置を作動させるシステムおよび方法を開示する。自動車用モジュールカメラを用いた解決法（ＭＡＣＳ）のモジュールが、画像処理システムと共に、自動化された乗り込み入口のために用いられる。このＭＡＣＳモジュールは、後方視野カメラとして運用され、受動的な乗り込みシステムおよびパワーリフトゲート（ＰＬＧＭ）モジュールと共に用いられて動作する場合、ユーザーの存在を認識してたとえばリフトゲートのオープンを制御する。このＭＡＣＳモジュールは、連続センサとして機能するＣＭＯＳセンサーを用いたカメラを有し、ＮＴＳＣビデオ信号およびデジタルビデオ信号を出力する。画像処理モジュールは、ＰＬＧＭモジュールおよびＭＡＣＳモジュールと通信する。このシステムは、ＬＩＮ通信用に構成されている。【選択図】図１

Description

本出願は、自動車用電子機器に関する。

自動車は、自動パワーリフトゲート、スライドドア、およびドア等の多数の入口を有している。運転者は自動車のリフトゲートまたはトランクに近づくことはできるが、物を持っていたりあるいは寒さにより、入口を開錠してオープンするためにこれらのキーを手に取ることができない可能性がある。

本発明の１つの目的は、ユーザーがキーを取り出すこと、あるいは手動で作動させる装置を用いることなしに、ドア，ゲートまたはその他の装置を作動させるシステムおよび方法を提供することである。

以下に、ユーザーがキーを取り出すこと、あるいは手動で作動させる装置を用いることなしに、自動車の入口を作動させるシステムおよび方法を記載する。１つの実施形態においては、自動車用モジュールカメラを用いた解決法（modular automotive camera solution, ＭＡＣＳ）のモジュールが、画像処理システムと共に、自動化された乗り込み入口（automated portal entry）のために用いられる。このＭＡＣＳモジュールは、たとえばこれが自動車の後方画像カメラとして組み込まれ、受動的な乗り込みシステムおよびパワーリフトゲートモジュール（ＰＬＧＭ）と共に用いられて動作する場合、ユーザーの存在を認識してリフトゲートのオープンを制御するのに使用することができる。このＭＡＣＳモジュールは、リフトゲートのモータ制御機構の一部として、連続動作センサとしてのカメラモジュールを有する。このカメラモジュールは、ＣＭＯＳ（complementary metal-oxide-semiconductor）センサーを用いたカメラであり、ＮＴＳＣ（National Television System Committee）のアナログコンポジットビデオ信号およびＬＶＤＳ（low voltage differential signaling）のデジタルビデオ出力の両方を出力するように構成されてよい。画像処理モジュールは、画像処理を行い、これらのＰＬＧＭおよびＭＡＣＳのモジュールと通信する。このシステムは、ＬＩＮ（local interconnect network）通信用に構成されている。

自動化された乗り込み入口システムの１つの実施形態を示す図である。 自動車用モジュールカメラを用いた解決法（ＭＡＣＳ）の１つの実施形態を示す図である。 画像処理エンジン（ＩＰＥ）モジュールの１つの実施形態を示す図である。 ＭＡＣＳモジュールおよびＩＰＥモジュール用の他の回路と接続されたパワーマネージメント回路の１つの実施形態を示す図である。 ＭＡＣＳモジュールおよびＩＰＥモジュール用の他の回路と接続されたパワーマネージメント回路の１つの実施形態を示す図である。 イネーブル回路およびＭＡＣＳモジュールおよびＩＰＥモジュール用の他の回路と接続されたＬＩＮの１つの実施形態を示す図である。 ＭＡＣＳモジュールおよびＩＰＥモジュール用の他の回路と接続されたマイクロコントローラ回路の１つの実施形態を示す図である。 図６のマイクロコントローラ回路と図８の画像センサーとを相互接続する回路の１つの実施形態を示す図である。 ＭＡＣＳモジュールおよびＩＰＥモジュール用の他の回路と接続された画像センサの１つの実施形態を示す図である。 ＭＡＣＳモジュールおよびＩＰＥモジュール用の他の回路と接続されたシリアライザの１つの実施形態を示す図である。 ＩＰＥモジュールと一体化されたＭＡＣＳモジュールを有する自動化された乗り込み入口システムの１つの実施形態を示す図である。 ＩＰＥモジュールと一体化されたパワーリフトゲートモジュールを有する自動化された乗り込み入口システムの１つの実施形態を示す図である。

なお、図および自動化された乗り込み入口のためのシステムの実施形態の説明では、理解し易いように要素を単純化して示してあり、また分かり易くするために実際の自動車のシステムにある他の多数の要素が削除されている。当業者であれば、本発明を実装するために好ましい、および／または必要な他の要素および／またはステップを認識することができるであろう。しかしながら、そのような要素およびステップは従来良く知られており、また本発明のより良い理解を助けるものではないので、このような要素およびステップの説明はここでは省略する。

ここで説明する実施形態は自動化された自動車乗り込みの入口システムに関して限定するものではない。ここで教示されることに基づいて、ここに記載された主旨あるいは範囲から逸脱することなく、他の電子装置、モジュールおよびアプリケーションを用いることもできる。この自動化された自動車乗り込みの入口システムは、請求項に記載の主旨および範囲で、種々のアプリケーションおよび使用のために変形実施することができる。ここに説明する実施形態および変形例、および／または図示する実施形態および変形例は、単なる例示であり、本発明の主旨および範囲を限定するものではない。ここでは特定の実施形態について説明するが、ここでの記載内容は、自動化された自動車乗り込みの入口システムの全ての実施形態に適用することができる。

以下に、ユーザーがキーを取り出すこと、あるいは手動で作動させる装置を用いることを必要としない、自動化された自動車乗り込みの入口システムの方法を記載する。図１は、自動化された乗り込み入口システムの１つの実施形態を示す図である。この自動化された乗り込み入口システム１０は、通信バス（ＣＯＭＭ）を介して画像処理エンジン（ＩＰＥ）２０と通信するＭＡＣＳモジュール１５を含む。この通信バスはＬＩＮ（local interconnect network）バスまたは配線で入力されるものであってよい。ＩＰＥ２０は、ＣＡＮ（controller area network）を介してパワーリフトゲートモジュール（ＰＬＧＭ）２５および無線周波数（ＲＦ）ハブ３０と通信している。

動作的には、このＲＦハブ３０は、キーフォブ３５または他の同様な装置を検出して認識し、イネーブルまたはウェークアップ信号をＩＰＥ２０に送信する。このＩＰＥ２０は、同様にイネーブル信号またはウェークアップ信号をＭＡＣＳモジュール１５に送信する。このＭＡＣＳモジュール１５は、画像またはビデオ情報をＩＰＥ２０に送信する。この情報は、アナログであってもデジタルであってもよい。たとえば、このアナログ信号はＮＴＳＣ（National Television System Committee）のコンポジットビデオ信号であってよい。ＩＰＥ２０は、人が車の背後に立っているかどうかを判断する画像処理アルゴリズムを用いている。たとえば、このアルゴリズムは、光、輪郭、または色のグラデーション変化に基づいていてよい。このアルゴリズムは、自動車の傍に立っているかまたは通り過ぎるかを充分に安定して区別する。もしこのＩＰＥ２０が、人が自動車の背後に立っていると判断した場合、このＩＰＥ２０は、リフトゲートをオープンするためにＰＬＧＭ２５にオープン信号を送信する。

図２は、ＭＡＣＳモジュール１００のの１つの実施形態を示す。ＭＡＣＳモジュール１００は、マイクロコントローラ１４０に接続されたパワーマネージメントモジュール１２０と、画像センサ１２５と、（もし利用可能な場合は）シリアライザ１３０とを含む。このマイクロコントローラ（ＭＣＵ）１４０は、さらにＬＩＮ（local interconnect network）トランシーバ１５０および画像センサ１２５に接続されてよく、この画像センサは次にシリアライザ１３０に接続されてよい。

ＭＡＣＳモジュール１００は、バッテリ電圧１５５および受動的乗り込みシステム１９５からのイネーブル信号１６０を入力として受信する。パワーマネージメントモジュール１２０は、バッテリ電圧１５５を所要の電圧に変換してＭＣＵ１４０，画像センサ１２５，および（もし利用可能な場合は）シリアライザ１３０に供給する。画像センサ１２５は、ＣＭＯＳ（complementary metal-oxide-semiconductor）センサを用いたカメラである。イネーブル信号１６０は、本人確認が認証あるいは検証された場合（たとえばキーフォブが検出された場合）、パワーマネージメントモジュール１２０およびＭＣＵ１４０に送られる。ＭＡＣＳモジュール１００は、画像センサ１２５からアナログＮＴＳＣ（National Television System Committee）コンポジット信号１８５を出力し、および／またはデジタルビデオ信号１８０をＬＶＤＳ（low voltage differential signaling）でシリアライザ１３０に出力する。ＬＩＮトランシーバ１５０は、ＬＩＮバス１７０を介してこの自動車における他の車載電子部品またはモジュール、たとえば受動的乗り込みシステム／モジュールおよびパワーリフトゲートモジュール（ＰＬＧＭ）１９０と通信するように構成されている。

通常ＭＡＣＳモジュール１００は、ユーザーの存在を認識して、たとえばリフトゲートのオープンを制御するように構成されている。このＭＡＣＳモジュール１００は、この自動車における後方視野カメラモジュールとして搭載され、受動的乗り込みシステムおよびＰＬＧＭと連動して動作する。このＭＡＣＳモジュール１００は、リフトゲートのモータ制御機構の一部として、連続動作センサとしてのカメラモジュールを有する。このＭＡＣＳモジュールは、自動車後方視野カメラとして最小限の構成で用いられてよく、あるいはバードビュー（bird eye view）、死角検出等の運転者をアシストする画像処理用の上位モジュールと連携して用いられてよい。

図３は、画像処理エンジン（ＩＰＥ）モジュール２００の１つの実施形態であり、このＩＰＥモジュールは、ＤＳＰ（digital signal processor）２１５および（もし利用可能な場合は）デシリアライザ２２０に接続されたパワーマネージメントモジュール２１０を含む。ＤＳＰ２１５は、さらにＬＩＮ（local interconnect network）トランシーバ２３０およびデシリアライザ２２０に接続されてよい。このＬＩＮトランシーバ２３０は、ＬＩＮ／ＣＡＮ（controller area network）のバス２４５を介してこの自動車における他の車載電子部品またはモジュール、たとえば受動的乗り込みシステム／モジュールおよびＰＬＧＭ１９０と通信するように構成されている。

ＩＰＥ２００は、入力としてバッテリ電圧２４０およびビデオ情報信号２５０を受信する。パワーマネージメントモジュール２１０は、バッテリ電圧２４０を所要の電圧に変換してＤＳＰ２１５，および（もし利用可能な場合は）デシリアライザ２２０に供給する。このビデオ信号２５０は、デシリアライザ２２０に受信され、このデシリアライザは、さらにこのビデオ情報信号２５０を解析のためにＤＳＰ２１５に送信する。

ＩＰＥ２００は画像処理を行い、ＰＬＧＭ１９０およびＭＡＣＳモジュール１００双方と通信を行う。このＩＰＥ２００は、ビデオ情報信号２５０を受信し、ＤＳＰ２１５における画像処理アルゴリズムに基づいて、車の後ろに人が立っているか否かを判断する。このアルゴリズムは、光、輪郭、または色のグラデーション変化に基づいていてよい。このアルゴリズムは、人が立っていることと通過していることとを区別する。人が立っていることの肯定的な判定が行われた場合、このＩＰＥ２００は、ＬＩＮトランシーバ２３０を介し、ＬＩＮ／ＣＡＮバス２４５を経由してＰＬＧＭ１９０に送信してリフトゲートをオープンさせる。

操作上は、人が適切な識別物、すなわちキーフォブまたは他の同様な識別物を持っており、またＭＡＣＳモジュールの後方視野カメラの視野に入っていることが必要である。受動的乗り込みシステム１９５は、キーフォブを検出および／または認証し、イネーブル信号１６０をＰＬＧＭ１９０，ＩＰＥ２００，およびＭＡＣＳモジュール１００に送信する。ＩＰＥ２００は、ＭＡＣＳモジュール１００の後方視野カメラ／画像センサ１２５によって捉えられた画像を読み、リフトゲートがオープンされるべきか否かを判断する。１つの実施形態においては、人が所定の仕草の身振りをする必要があり、たとえば、後方視野カメラ（これはナンバープレートの上の、ナンバープレートの照明バー（light bar）の下に位置している）の前で膝を揺らすと、検出アルゴリズムの信頼性または安定性を向上あるいは確実にする。この判断は、リフトゲートを制御するＰＬＧＭ１９０に送信される。

図４A〜９は、ＭＡＣＳモジュール１００のの１つの実施形態を示す。パワーマネージメントシステム１２０は、たとえばスイッチング電源回路３００、およびたとえば低ドロップアウト線形レギュレータ回路３０５を含んでよく、これらの実施形態が図４Ａおよび４Ｂに示されている。このスイッチング電源回路３００は、バッテリ電圧をマイクロコントローラ、シリアライザ１３０，および画像センサ１２５のアナログ回路と内部回路の電源に必要な３．３Ｖに変換するように構成されている。低ドロップアウト線形レギュレータ回路３０５は、この３．３Ｖを画像センサ１２５のデジタルコアの電源に必要な１．５Ｖに変換する。

図５は、イネーブル回路４１０およびＬＩＮ回路４２０の１つの実施形態を示す。イネーブル回路４１０は、デジタル入力インターフェースであり、外部からの配線接続による入力に基づいてカメラモジュールを起動することができる。後方視野カメラのアプリケーションの場合は、この入力はバックライト信号であってよい。ＬＩＮ回路４２０は、ＬＩＮトランシーバの集積回路（ＩＣ）４２５を含み、この集積回路は、ＬＩＮバス１７０のＭＣＵ１４０とのインタフェースとなる。このＬＩＮ回路４２０は、バスリクエスト信号によりＭＡＣＳモジュールを起動するのに用いられてよく、またＭＣＵ１４０の再起動（re-flashing）に用いられてよい。これはまた画像センサ１２５のレジスタのリモートアップデートおよびまたはリアルタイムアップデートに用いられてよい。たとえば、バードビューのアプリケーションにおいて、４つのカメラが用いられた場合、各カメラの画像センサのパラメータは、特定の光条件の関数として制御される必要がある。もしＩＰＥ２００がＭＡＣＳモジュール１００／カメラのパラメータを制御／および調整する必要がある場合は、この回路をリフトゲート制御のアプリケーションにも適用することができる。

図６は、マイクロコントローラ回路１４０の１つの実施形態を示し、図７はこの図６のマイクロコントローラ１４０および図８の画像センサ７００を相互接続する回路６００の１つの実施形態を示す。マイクロコントローラ回路１４０は、画像センサ７００にあるレジスタを、パワーオンリセットの後にＰＣバスを介してアップデートする。この回路は、図４Ａに示す電圧分割抵抗ネットワークＲ１，Ｒ２を介して自動車バッテリの電圧をモニターする。この回路はまた、回路６００および図９に示すようなシリアライザ回路１３０のシリアライザＩＣ８０５を介して、（すなわち出力ピン８および２０を介して）画像センサ７００の電源オン／オフの制御を行う。このマイクロコントローラ回路１４０は、図５に示すLIN回路４２０を介してこの自動車における他のモジュールと通信する。

図８は、画像センサ７００の１つの実施形態を示し、この画像センサは、たとえばＯｍｉｎｉｖｉｓｉｏｎ（登録商標）ＯＶ０７９５５、自動車用ビデオグラフィクスアレイ（ＶＧＡ）センサであってよい。この画像センサ７００は、アナログビデオ信号（すなわちＮＴＳＣまたはＰＡＬ）および８ビットデジタルビデオ信号の両方を出力する。たとえば、アナログビデオ信号は図９におけるＮＴＳＣ信号１８５である。

図９はシリアライザＩＣ８０５を含むシリアライザ回路１３０の１つの実施形態を示す。このシリアライザＩＣ８０５は、パラレルデジタルビデオ出力を、垂直同期信号（ＶＳＹＮＣ）、水平同期信号（ＨＳＹＮＣ）およびピクセルクロック情報と共に処理し、２線式の差動シリアル信号を出力する。この信号はＩＰＥ２００に送信され、運転者が自動車の後ろにいることを検出するのに用いられる。

図１０は、ＩＰＥモジュールと一体化されたＭＡＣＳモジュールを有する自動化された乗り込み入口システム１０００の１つの実施形態を示すこの自動化された乗り込み入口システム１０００は、部分的にリフトゲート１００５に配置され、駆動システム１０１５，ＭＡＣＳモジュール１０２０，およびＰＬＧＭ１０１０を含み、これらは上記で説明したように相互接続されている。ＭＡＣＳモジュール１０２０は、ＩＰＥサブモジュール１０３０およびＭＡＣＳサブモジュール１０２５を含む。自動化された乗り込み入口システム１０００は、上記で説明した実施形態のいずれかのように機能あるいは動作する。

図１１は、ＩＰＥモジュールと一体化されたパワーリフトゲートモジュール（ＰＬＧＭ）を有する自動化された乗り込み入口システム１１００の１つの実施形態を示す図である。この自動化された乗り込み入口システム１１００は、部分的にリフトゲート１１０５に配置され、ＰＬＧＭ１１１０，駆動システム１１１５，およびＭＡＣＳモジュール１１２０を含み、これらは上記で説明したように相互接続されている。このＰＬＧＭモジュール１１１０は、ＰＬＧＭサブモジュール１１２５およびＩＰＥサブモジュール１１３０を含む。自動化された乗り込み入口システム１１００は、上記で説明した実施形態のいずれかのように機能あるいは動作する。もう１つの実施形態においては、このＩＰＥは、後部ゾーンのモジュール電子回路パッケージの一部であってよい。

ここで、自動化された乗り込み入口のためのシステムの一般的な説明を行う。このシステムはカメラまたは画像システムを含み、入口およびこの入口をオープンする機械的または電気機械的システムと一緒に配置されている。画像処理エンジン／モジュールは、何時入口をオープンするか判断するように構成されている。この判断は、ユーザーを検出したことの判断、ユーザーの仕草の判断、およびキーフォブの判断を含む。ユーザーを検出したことの判断およびユーザーの仕草の判断は、カメラから受信した画像に基づいており、キーフォブの判断は、無線周波数等の検出に基づいている。このキーフォブは、ユーザー，自動車または双方に関連付けられる。

以上で説明したように、ここで説明した方法は特定の機能を実行する特定の（複数の）要素に限定されるものでなく、提示した方法のいくつかのステップは、必ずしもここに示したような順序で起こる必要はない。たとえば、或る場合には２つ以上の方法ステップが異なる順序または同時に行われてよい。さらに、ここで説明した方法の或るステップは、（あからさまには随意的とは記載されていないが）随意的なものであってよく、したがって省略されてもよい。ここで開示された方法のこのような変形実施例および他の変型実施例は、とりわけここで説明した自動車用モジュールカメラを用いた解決法（ＭＡＣＳ）についての記載を参照してすぐに理解できるものであり、これらは本発明の全範囲内に入ると認められるものである。

上記で説明した特徴および部品は特定の組み合わせにおけるものであるが、各々の特徴または要素は他の特徴および要素無しで単独で使用されてよく、あるいは他の特徴および要素と組み合わせた様々な組み合わせで使用されてよく、あるいは他の特徴および要素と組み合せずに使用されてよい。

（関連出願のクロスリファレンスの記載）
本出願は、２０１２年１２月９日に出願された米国仮出願番号６１／５６８，８２８に基づく優先権を主張し、当該米国出願に記載された全ての記載内容を援用する。

Claims (19)

1. 自動化された自動車乗り込みの入口のためのシステムであって、
   前記入口と一緒に配置されたカメラと、
   前記入口をオープンするように構成された機械システムと、
   何時前記入口をオープンするか判断するように構成された画像処理エンジンであって、前記入口でのユーザーを検出したことの判断が前記カメラから受信する画像に基づいている画像処理エンジンと、を備え、
   前記画像処理エンジンは、前記ユーザーを検出したことの判断に基づいて、前記機械システムを起動して前記入口をオープンさせるように構成されていることを特徴とするシステム。
2. 前記画像処理エンジンは、パワーマネージメント部と、ＬＩＮ（local interconnect network）／ＣＡＮ（control area network）のトランシーバと、ＤＳＰ（digital signal processor）と、デシリアライザとを含むことを特徴とする、請求項１に記載のシステム。
3. 前記ユーザーを検出したことの判断は、前記カメラから受信した画像に基づいたユーザーの仕草の判断をさらに含むことを特徴とする、請求項１に記載のシステム。
4. 前記画像処理エンジンは、ユーザーに関係するキーフォブを検出したことを検証するように構成されていることを特徴とする、請求項１に記載のシステム。
5. 前記画像処理エンジンは、前記カメラまたはパワーリフトゲートの１つと一体化されていることを特徴とする請求項１に記載のシステム。
6. 自動車の入口を自動的に作動させるための方法であって、
   前記入口と一緒に配置されたカメラからの画像を受信するステップと、
   前記画像の処理ステップであって、当該画像に基づいて前記入口をオープンするか否かを判断するステップと、
   を備えることを特徴とする方法。
7. 前記処理ステップは、ユーザーが入口にいるか否かの判断を含むことを特徴とする、請求項６に記載の方法。
8. 前記処理ステップは、ユーザーの仕草の判断を含むことを特徴とする、請求項７に記載の方法。
9. キーフォブが自動車から所定の範囲内にあるか否かを判断するステップをさらに備えることを特徴とする、請求項８に記載の方法。
10. 自動車であって、
    前記自動車の入口と一緒に配置されたカメラシステムと、
    前記入口をオープンするように構成された電気機械システムと、
    前記カメラシステムが受信した画像に基づいてユーザーが検出された場合に、前記入口をオープンさせるように構成されている画像処理システムと、を備え、
    前記画像処理システムは、もし前記ユーザが検出されたら、前記電気機械システムを起動して前記入口をオープンさせるように構成されていることを特徴とするシステム。
11. 前記画像処理システムは、パワーマネージメント部と、ＬＩＮ／ＣＡＮトランシーバと、ＤＳＰと、デシリアライザと、を備えることを特徴とする、請求項１０に記載の自動車。
12. 前記画像処理システムは、また前記ユーザーの仕草が前記カメラシステムから受信した画像に基づいて検出された場合に、前記入口をオープンさせるように構成されていることを特徴とする、請求項１０に記載の自動車。
13. 前記画像処理システムは、前記自動車が関係するキーフォブが認証された場合に、前記入口をオープンさせるように構成されていることを特徴とする、請求項１２に記載の自動車。
14. 前記画像処理システムは、前記カメラシステムと一体化されていることを特徴とする、請求項１０に記載の自動車。
15. 自動化された自動車乗り込みの入口のためのシステムであって、
    前記入口と一緒に配置された画像装置と、
    前記入口をオープンするように構成された電気機械システムと、
    ユーザーの存在を判断するために、前記画像システムからの画像を解析するように構成されている処理モジュールと、を備え、
    前記処理モジュールは、前記ユーザーの存在に基づいて、前記電気機械システムが前記入口をオープンする信号を送るように構成されていることを特徴とするシステム。
16. 前記処理モジュールは、パワーマネージメント部と、ＬＩＮ／ＣＡＮトランシーバと、ＤＳＰと、デシリアライザとを含むことを特徴とする、請求項１５に記載のシステム。
17. 前記処理モジュールは、前記画像システムからの画像に基づいてユーザーの仕草を判断するように構成されていることを特徴とする、請求項１５に記載のシステム。
18. 前記処理モジュールは、前記ユーザーおよび前記自動車が関係するキーフォブが検出されたことを検証するように構成されていることを特徴とする、請求項１７に記載のシステム。
19. 前記処理モジュールは、前記画像システムと一体化されていることを特徴とする、請求項１５に記載のシステム。

Images