JP2021516897A - ロー画像シグナルインターフェースを備えた自動車用カメラ - Google Patents

Abstract

本発明は、以下に関する：特に車両内においてドライバーアシストシステムや自動化された車両用のセンサシステムとして用いることができるカメラシステムである。本発明に係るカメラ手段（１００；１０２；１０４；１０６）は、画像センサ（１１０）、例えば、ＳｏＣ（Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）などの内蔵された処理ユニット（１０１；１２０；１２４）、並びに、例えば、ＬＶＤＳインターフェースなどの出力インターフェースを包含している。該カメラ手段（１００；１０２；１０４；１０６）は、画像センサ（１１０）からロー画像シグナル（乃至、ロー画像データ、或いは、画像ローデータ）を読み込み、続いて、これを内蔵されている処理ユニット（１０１；１２０；１２４）と外部の処理ユニット（２０，２２）へ伝達するための出力インターフェースの双方に供給する一つのスプリッタ（１３０；１３２；１３４；１３６）（シグナル流分配手段）を包含している。該内蔵されている処理ユニット（１０１；１２０；１２４）は、提供されたロー画像シグナルの第１処理により第１オブジェクトデータを割り出すことができるようにコンフィグレーションされている。本発明は、ドライバーアシストシステムとのシナジーを有することで、コストダウンを可能にすることと同時に、自動化された走行の分野における、簡略化された冗長性コンセプトを可能にする。

Description

本発明は、特に車両内においてドライバーアシストシステムや自動化された車両用のセンサシステムとして用いることができるカメラシステムに関する。

自らは画像処理手段を有していないカメラヘッドを備え、ロー画像データ・ストリームを制御装置（ＥＣＵ）に提供するカメラシステムは、既知である。外部乃至中央制御装置が、該ロー画像データの処理を受け持つ。現時点において入手可能なパノラマビュー・カメラシステムは、この原理を用いて作動している。

代案としては、自ら画像処理手段を有し、ロー画像データ・ストリームは、内部のみで、外部インターフェースには、提供されない賢いカメラも既知である。ここでは、画像処理によって得られるデータ、例えば、オブジェクトが出力される。

現在、自動化された走行のためのシステム用のソリューションの一環として画像処理を複数の場所で実施する冗長性コンセプトが考察されている。しかしこれは、高いハードウェア・コスト、並びにそれに伴う、高い価格の要因となる。同時に、自動化された走行（ＡＤ）を実施するためのシステムでは、アシストされた走行（ＡＤＡＳ）を実施するためのシステムからの装置の再利用割合を、今後数年は、このソリューションが、ＡＤシステムよりも有意に高い市場占有率を維持するであろうことから、可能な限り高める様に、求められてもいる。しかし予測によれば、２０２５年になっても、この様なカメラの１０〜２０％のみがＡＤシステム用であろうと見られている。また２０２０年の市場における第一世代ＡＤシステムにおいてこの様な相乗効果は無いに等しく、有るとしても微々たるものに過ぎない。即ち、今後のソリューション（２０２１年以降）では、例えば、ＡＤＡＳとＡＤ用の画像処理機能を共通にバリデーションすることなどによりコストを最適化する必要がある。

よって、本発明の課題は、ＡＤＡＳ用としてのみならずＡＤ用としても採用できる賢いカメラを提供することである。

このソリューションの出発点は、ロー画像データを内部で処理することができるのみならず、他の場所でも処理できるよう出力することもできるようにすることにより、冗長性コンセプトの構成部品となるよう構成された賢いカメラである。

本発明に係るカメラ手段は、一つのカメラセンサ（画像撮影センサ、イメージャ）、例えば、ＳｏＣ（Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）などの一つの内蔵された処理ユニット、並びに、例えば、ＬＶＤＳ（Ｌｏｗ ｖｏｌｔａｇｅ ｄｉｆｆｅｒｅｎｔｉａｌ ｓｉｇｎａｌ）インターフェースなどの一つの出力インターフェースを包含している。該カメラ手段は、ドライバーアシストシステム及び（乃至又は）自動化された走行用のセンサシステムの構成部品として車両内において用いられることに適している。該カメラ手段は、画像センサからロー画像シグナル（乃至、ロー画像データ、ローデータ、或いは、画像ローデータ）を読み込み、続いて、これを内蔵されている処理ユニットと外部の処理ユニットへ伝達するための出力インターフェースの双方に供給する一つのスプリッタ（シグナル流分配手段）を包含している。該内蔵されている処理ユニットは、提供されたロー画像シグナルの第１処理により第１オブジェクトデータを割り出すことができるように構成（乃至、コンフィグレーション）されている。尚、該カメラ手段は、車両内部に配置された一台のフロントカメラ、即ち、前方を向いている車載カメラであることが好ましい。

本発明の長所は、ドライバーアシストシステムとのシナジーを有することで、コストダウンを可能にすることと同時に、自動化された走行の分野における、簡略化された冗長性コンセプトを可能にすることである。

提案されているソリューションは、更に、この様な賢いカメラの画像処理をするＳｏＣが、ロー画像データを出力すると言う負担を負わなくてもよいことも可能にしている。通常であれば、メモリの最大バンド幅が、画像処理と画像ローデータの分配出力との双方には不十分となり得るため、特にＳｏＣの外部メモリへの必要とされるバンド幅に、画像処理のパフォーマンスの低下につながるほどに、極端な例では不可能となるほどに度が過ぎる負荷が、かかり得る。

ある好ましい実施形態によれば、該画像センサは、ロー画像シグナルを、ポイント・ツー・ポイント接続（特に、ＣＳＩ−２）を介して出力する。内蔵された処理ユニットは、ロー画像シグナルを、ポイント・ツー・ポイント接続を介して読み取る。該スプリッタは、画像センサと内蔵された処理ユニット間のデータパス内のポイント・ツー・ポイント接続スプリッタである。ＣＳＩ−２は、（バスシステムとは異なり）ただ一つのポイント・ツー・ポイント接続のみを許す、即ち、二つのパートナー間のみにおけるシリアル接続用の標準である。そのオフィシャルな名称は、ＭＩＰＩ Ａｌｌｉａｎｃｅ（ＭＩＰＩ＝Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ）の「ＭＩＰＩ Ｃａｍｅｒａ Ｓｅｒｉａｌ Ｉｎｔｅｒｆａｃｅ ２」である。ＣＳＩ−２を用いる場合、スプリッタは、ＣＳＩ−２−スプリッタである。

尚、該スプリッタは、該ロー画像シグナルを、ロー画像シグナルをシリアル・シグナルに変換し、外部の出力インターフェース用に提供するシリアライザに伝達する事が好ましい。該シリアライザは、データを、フォーマットに関してのみならず電気的にもＣＳＩ−２から二線ＬＶＤＳ接続に変換する事が特に好ましい。

本発明の好ましい形態においては、該シリアライザは、スプリッタ内に、内蔵されている。

尚、該外部の出力インターフェースは、ロー画像シグナルをＬＶＤＳとして出力できるように構成されていることが好ましい。又、必要に応じて設けられるシリアライザは、外部の出力インターフェースに適合するものになっている。外部の出力インターフェースとしては、例えば、ＭＳＬ（Ｇｉｇａｂｉｔ ｍｕｌｔｉｍｅｄｉａ ｓｅｒｉａｌ ｌｉｎｋ；Ｍａｘｉｍ Ｉｎｔｅｇｒａｔｅｄ）、或いは、ＦＰＤ−Ｌｉｎｋ ＩＩ （ＴＩ）等を用いることができる。ＬＶＤＳは、物理的な伝達レイヤーであり、双方のインターフェース「フォーマット」において共通である。

尚、内蔵された処理ユニットは、制御コマンドを画像センサの制御のためにＩ^２Ｃ−データバスを介して、直接的に、画像センサに伝達することが好ましい。Ｉ^２Ｃ（Ｉｎｔｅｒ−Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）は、例えば、Ａ／ＤコンバータやＥＥＰＲＯＭなどのモジュールをマイクロコントローラ（μＣ）やシステム・オン・チップ（ＳｏＣ）に接続するための比較的低い伝達速度のシリアルバスシステムである。ホストアダプタは、他の全てのサブスクライバに対して問い合わせる、或いは、それらからデータを受け取ることができる。

尚、スプリッタは、ロー画像シグナルを前処理し、内蔵されている処理ユニットに前処理されたローデータを伝達することができるように構成されていることが好ましい。前処理の形式としては、例えば、画像センサのピクセルのビニングを実施することなどが挙げられる。「ビニング」とは、隣接するピクセルを大きなユニットに、例えば、水平に隣り合う二つのピクセルを幅広いピクセルに、或いは、垂直に隣り合う二つのピクセルを背の高いピクセルに統合することを言う。ビニングすることで、最大限の解像度で撮影された画像（ビニングされていない画像）から解像度を低減することで、該画像は、より迅速に処理できる様になる。尚、４つのピクセルスクエアを形成する隣接するピクセルが統合される２ｘ２ビニングが好ましく、同様に、９つのピクセルが統合される３ｘ３ビニングなども可能である。

この場合、スプリッタは、出力インターフェース及び／或いはシリアライザが、ネイティブの、即ち、前処理されていないロー画像シグナルを伝達することができるように構成されている事が好ましい。

ある有利な発展形態によれば、該内蔵された処理ユニットは、画像センサを制御するための制御コマンドをスプリッタへ伝達し、該スプリッタは、該制御コマンドを、調整し、該調整された制御コマンドを画像センサへ伝達することができるように構成されていることができる。例えば、ＳｏＣは、イメージセンサにビニングモードで作動する様に要求することができる。しかしシリアライザには、該スプリッタはイメージセンサの高解像度を伝達しなければならないため、該スプリッタは、イメージセンサにビニングしないモードで作動せよと伝えるように該制御コマンドを調整する。この場合、該スプリッタが、ＳｏＣへの出力用に、ビニングを担当し、前処理（ビニング）されたローデータをＳｏＣへと出力する。

本発明の対象には更に、少なくとも一つのグループが本発明に係るカメラ手段を有しており、他のグループは、スプリッタも出力インターフェースも有していない様なカメラ手段のコスト効率を高めるための基本デザインに関する多数のアッセンブリ・バリエーションも、含まれる。尚、カメラの（高価な）部品を変更することなく全てのバリエーションにおいて使用できる様に、カメラ手段の配線基板のコスト的に最適化されたアッセンブリ・オプションも、想定されている。アッセンブリ・オプションによっては、スプリッタと出力インターフェースは、付加的な部品として、変更のない配線基板に半田付けされる。

更に、ドライバーアシストシステムや自動化された走行用の車載されるセンサシステムも、本発明の対象であるが、該センサシステムは、少なくとも一つの本発明に係るカメラ手段と外部処理ユニットを包含している。

尚、車載センサシステムの該外部処理ユニットは、カメラ手段の出力インターフェースから提供されるロー画像シグナルを処理することで第２オブジェクトデータを割り出すことができるように構成されている。

以下、実施形態並びに更なるアスペクト、図面をより詳細に説明する。図の説明：

図１は、従来の技術に係る賢いカメラを用いない自動化された走行用の冗長性コンセプトを、 図２は、自動化された走行用の新しい冗長性コンセプトを、 図３は、一つのソリューションである賢いカメラの第１バリエーションを 図４は、一つのソリューションである賢いカメラの第２バリエーションを 図５は、一つのソリューションである賢いカメラの第３バリエーションを 図６は、一つのソリューションである賢いカメラの第４バリエーションを、そして、 図７は、ローデータ出力を有さないアッセンブリ・オプションにおける賢いカメラを示している。

図１は、賢いカメラを用いないＡＤ用の「従来の」冗長性コンセプトを模式的に示している。

前方に向けられている第１カメラヘッド１１は、捕捉された画像データをローデータとしてＬＶＤＳを介して、第１画像処理ユニット１２を包含する第１制御装置１０に伝達する。該第１制御装置１０は、第１電源１６と電気的に接続されており第１車両インターフェース１８を介して他の車両制御へと出力される。他の第１センサ類３２は、データを第１制御装置１０へ供給する。

前方に向けられている第２カメラヘッド２１は、ＬＶＤＳによって、第２画像処理ユニットを包含する第２制御装置２０と接続されている。該第２制御装置２０は、第２電源２６と電気的に接続されており第２車両インターフェース２８を介して他の車両制御へと出力される。他の第２センサ類３４は、データを第２制御装置２０へ供給する。これにより、第１及び第２制御装置（１０，２０）は、冗長的になっているが、これには、全ての部品が、ダブルに必要となっている。

図２には、代案的なＡＤ用の冗長性コンセプトが模式的に示されている。図１同様、ここでも、内蔵された画像処理ユニット２２を有する第２制御装置２０、ＬＶＤＳ入力、第２電源２６、第２車両インターフェース２８、並びに、他の第２センサ類３４も存在している。「従来の」冗長性コンセプトとの違いは、前方に向けられている賢いカメラ１００が、ローデータを、ＬＶＤＳを介して第２制御装置２０へと伝達し、加えて、例えばＳｏＣ上の、内蔵された画像処理ユニット（１０１）において、ロー画像データの処理によってオブジェクトデータを割り出すことにある。該割り出されたオブジェクトデータは、画像処理ユニットを有していないモディファイされた第１制御装置１４へ伝送される。該モディファイされた第１制御１４と第１電源１６、第１車両インターフェース１８、及び、他の第１センサ類３２との接続には、変更はない。

言い換えれば、賢いカメラと第２ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ、電子制御装置）内における並列な画像処理を可能にするため、該賢いカメラは、そのイメージセンサのローデータを、好ましくは、加工することなく、外部インターフェースを介してＥＣＵに供給する。尚、該外部インターフェースは、ＬＶＤＳインターフェースで有ることが好ましい。
賢いカメラ内のイメージセンサの該インターフェースは、ポイント・ツー・ポイント接続（ＣＳＩ−２）であるため、イメージセンサのローシグナルには、簡単にアクセスすることはできない。その代わり、イメージセンサのローシグナルを読み、必要に応じて前処理し、賢いカメラの処理ユニット（ＳｏＣ， Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）と外部のＬＶＤＳインターフェース用のシリアライザの双方に提供する賢いハードウェア・エレメント（スプリッタや「ＣＳＩ２スプリッタ」）がこの接続内に挿入されている。

ＳｏＣから見れば、この付加的なハードウェア・エレメントは、透明、即ち、処理ユニットには、イメージセンサが直接つながれているように見えている。

この様な賢いカメラが、構成されていることができるのかは、図３から６を用いて詳細に説明される。

図３は、賢いカメラ１００の第１実施例を模式的に示している。画像撮影センサ（以下、イメージセンサ）１１０は、画像データを捕捉し、これをローシグナルとして、ポイント・ツー・ポイント接続（ＣＳＩ−２）を介して、イメージセンサ１１０のローシグナルを読み込み、内蔵された処理ユニット１２０（Ｓｏｃｃｉ， Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）と、シリアライザ１４０の双方へネイティブ・イメージセンサ・ローデータとして提供するスプリッタ１３０（「ＣＳＩ２スプリッタ」）へと伝達する。該シリアライザは、イメージセンサ・ローデータを、外部ＬＶＤＳインターフェースを介して出力する。該内蔵された処理ユニットは、ネイティブ・イメージセンサ・ローデータを評価し、その際、ＣＡＮ、ＣＡＮ−ＦＤ、フレックスアレーやイーサネットを介して車両ネットワークへと出力されるオブジェクトデータを割り出す。一方、内蔵された処理ユニット１２０乃至ＳｏＣは、制御コマンドをＩ^２Ｃデータバスを介して、イメージセンサ１１０へと送る。

図４は、賢いカメラ１０２の第２実施例を模式的に示している。第１実施例との違いは、シリアライザ１４２が、スプリッタ１３２内に内蔵されており、スプリッタ１３２が、イメージセンサ・ローデータを、ＬＶＤＳを介して直接的に出力することである。

図５は、賢いカメラ１０４の第３実施例を模式的に示している。第１実施例との違いは、該スプリッタ１３４が、ローデータを前処理し、前処理されたイメージセンサ・ローデータが、モディファイされた内蔵処理ユニット１２４にＣＳＩ−２を介して伝達されることである。このモディファイされた内蔵処理ユニット１２４は、前処理されたイメージセンサ・ローデータを評価し、その際、ＣＡＮ、ＣＡＮ−ＦＤ、フレックスアレーやイーサネットを介して車両ネットワークへと出力されるオブジェクトデータを割り出す。一方、モディファイされた内蔵処理ユニット１２４は、制御コマンドをＩ^２Ｃデータバスを介して、スプリッタ１３４へと送る。該スプリッタ１３４は、制御コマンドを調整し、相応に調整された制御コマンドをＩ^２Ｃデータバスを介してイメージセンサ１１０へと伝達する。

多くのケースでは、賢いカメラ内のＳｏＣの処理能力は、並列して接続されている外部ＥＣＵ（図２に係るコンセプトにおいて）低くなっている。特に高解像度のイメージセンサでは、外部インターフェースへは、変更無く伝送しつつも、賢いカメラのＳｏＣ用のイメージセンサのロー画像データ・ストリームは、「ＣＳＩ２スプリッタ」によって前処理（即ち、解像度や画像部分、或いは、フレームレートを下げる）もされることが必要になる場合もある。

図６は、第４の賢いカメラ１０６の実施例を模式的に示している。第３実施例との違いは、シリアライザ１４６が、スプリッタ１３６内に内蔵されており、スプリッタ１３６が、イメージセンサ・ローデータを、ＬＶＤＳを介して出力することである。

図７は、ローデータ出力を持たない賢いカメラ１０８のアッセンブリ・オプションを示している。この場合、賢いハードウェア・エレメント１３８とシリアライザ１４８（破線で囲われた部分）は、必要なくなる。このアッセンブリ・オプションを用いることで、ローデータ出力の有無に関するバリエーションを共通に低コストで製造することが可能になる。

Claims (12)

1. 画像センサ（１１０）、内蔵された処理ユニット（１０１；１２０；１２４）、並びに、出力インターフェースを包含するドライバーアシストシステム及び自動化された走行用のセンサシステムの構成部品として車両内において用いられるカメラ手段であって、
   ロー画像シグナルを画像センサ（１１０）から読み取り、続いてこれを、スプリッタ（１３０；１３２；１３４；１３６）が、内蔵された処理ユニット（１０１；１２０；１２４）と外部の処理ユニット（２０，２２）へ伝達するための出力インターフェースの双方に供給し、且つ、該内蔵された処理ユニット（１０１；１２０；１２４）が、第１オブジェクトデータを、提供されたロー画像シグナルの第１処理により割り出すことができるように構成されていることを特徴とするカメラ手段（１００；１０２；１０４；１０６）。
2. 該画像撮影センサ（１１０）が、ロー画像シグナルを、ポイント・ツー・ポイント接続（ＣＳＩ−２）を介して出力し、該内蔵された処理ユニット（１０１；１２０；１２４）が、ローデータを、該ポイント・ツー・ポイント接続を介して読み込み、そして、該スプリッタ（１３０；１３２；１３４；１３６）が、画像センサ（１１０）と内蔵された処理ユニット（１０１；１２０；１２４）との間のデータパス内のポイント・ツー・ポイント接続スプリッタであることを特徴とする請求項１に記載のカメラ手段（１００；１０２；１０４；１０６）。
3. 該ロー画像シグナルを、該スプリッタ（１３０；１３４）が、該ロー画像シグナルをシリアル・シグナルに変換し、外部の出力インターフェースに提供するシリアライザ（１４０；１４２；１４６）に伝達することを特徴とする請求項１或いは２に記載のカメラ手段（１００；１０２；１０４；１０６）。
4. 該シリアライザ（１４２；１４６）が、該スプリッタ（１３２；１３６）内に内蔵されていることを特徴とする請求項３に記載カメラ手段（１００；１０２；１０６）。
5. ロー画像シグナルが、ＬＶＤＳとして出力される様に該外部の出力インターフェースが構成されていることを特徴とする先行請求項のうち何れか一項に記載のカメラ手段（１００；１０２；１０４；１０６）。
6. 内蔵された処理ユニット（１０１；１２０）が、画像センサ（１１０）を制御するための制御コマンドを、Ｉ^２Ｃデータバスを介して直接的に画像センサ（１１０）に伝達することを特徴とする先行請求項のうち何れか一項に記載のカメラ手段（１００；１０２）。
7. スプリッタ（１３４；１３６）が、該ロー画像シグナルを、前処理し、内蔵された処理ユニット（１０１；１２４）へ、該前処理されたロー画像シグナルを伝達することを特徴とする先行請求項のうち何れか一項に記載のカメラ手段（１００；１０４；１０６）。
8. 該スプリッタ（１３４；１３６）が、出力インターフェース及び／或いはシリアライザにネイティブなロー画像シグナルを伝達する様に構成されていることを特徴とする請求項７に記載のカメラ手段（１００；１０４；１０６）。
9. 該内蔵された処理ユニット（１０１；１２４）が、該画像センサ（１１０）を制御するための制御コマンドを、Ｉ^２Ｃデータバスを介してスプリッタ（１３４；１３６）へ伝達し、該スプリッタ（１３４；１３６）が、該制御コマンドを調整し、該調整された制御コマンドを該画像センサ（１１０）へＩ^２Ｃデータバスを介して伝達できるように構成されていることを特徴とする請求項７或いは８に記載のカメラ手段（１００；１０４；１０６）。
10. 請求項１から９のいずれか１項に記載のカメラ手段（１００；１０２；１０４；１０６）からなる少なくとも一つのグループ、並びに、スプリッタも外部の出力インターフェースのいずれも有していない様なカメラ手段（１０８）からなる他のグループを包含することを特徴とするカメラ手段（１００；１０２；１０４；１０６；１０８）のコスト効率を高めた製造を可能にする基本デザインに関する多数のアッセンブリ・バリエーション。
11. 少なくとも一台の請求項１から９のいずれか１項に記載のカメラ手段並びに外部処理ユニット（２０，２２）を包含するドライバーアシストシステムや自動化された走行用の車載されるセンサシステム。
12. 該外部処理ユニット（２０，２２）が、カメラ手段の出力インターフェースから提供されるロー画像シグナルを処理することで第２オブジェクトデータを割り出すことができるように構成されていることを特徴とする請求項１１に記載の車載されるセンサシステム。

Images