JP2016526340A - 車両用カメラシステム - Google Patents
車両用カメラシステム Download PDFInfo
- Publication number
- JP2016526340A JP2016526340A JP2016515655A JP2016515655A JP2016526340A JP 2016526340 A JP2016526340 A JP 2016526340A JP 2016515655 A JP2016515655 A JP 2016515655A JP 2016515655 A JP2016515655 A JP 2016515655A JP 2016526340 A JP2016526340 A JP 2016526340A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image processing
- image
- network
- cameras
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 claims abstract description 95
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 11
- 230000002457 bidirectional effect Effects 0.000 claims description 10
- 238000012546 transfer Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 abstract description 4
- 230000005540 biological transmission Effects 0.000 description 6
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 244000025254 Cannabis sativa Species 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
- B60R2300/406—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components using wireless transmission
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
- B60R2300/408—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components using a data bus
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/50—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
本発明は、リング状トポロジーのネットワーク(20,22,24,26)を介して互いにネットワーク化された複数のカメラ(12,14,16,18)を備えた車両用のカメラシステム(10)であって、それぞれのカメラが、捕捉された画像の画像処理を実施できるように構成されていること、並びに、ネットワーク内の画像処理の計算負荷を複数のカメラに分散するため、或いは、ネットワーク内の各カメラにおける画像処理の計算負荷を低減するために、それぞれのカメラが、捕捉された画像、及び/或いは、画像処理結果をネットワーク内の他のカメラに対して、該カメラによって画像処理を実施するために、或いは、該カメラによって実施される画像処理をサポートさせるために、伝達できるように構成されていることを特徴とする車両用のカメラシステムに関する。【選択図】 図1
Description
本発明は、車両用のカメラシステムに関する。
所謂「トップ・ビュー・システム」や「サラウンド・ビュー・システム」と呼ばれるカメラシステムは、ドライバーに車両周辺近部を表示し、これにより、例えば、車庫入れなど車両の運転を容易にするために、昨今、車両において頻繁に採用されるようになってきている。将来的なシステムでは、自動化されたドライバー・アシスタント機能が、より頻繁に装備されるようになるであろう。しかしこれには、自動的にオブジェクト、特に、障害物を認識し、例えば、車両の駐車時に認識された障害物の前で自動制動するなど、車両ダイナミクスに介入することを可能にするための画像処理が前提となっている。
従来のシステムアーキテクチャでは、全てのシステムカメラから画像データが送られてくる中央制御装置を備えた星形トポロジーが採用されている。よって該制御装置は、画像データの処理ができる十分な計算能力を有していなければならないが、特に、大量の画像データがある場合、著しい計算能力が必要とされ得る。これに対して、特許文献1は、車載カメラによって撮影された画像データをトランス・コーディングし、該トランス・コーディングされた画像データを画像処理するために無線インターフェースを介してバックエンドへ転送することにより、車両が画像処理に必要とされる計算能力を提供しなくてもよいようにして、煩雑かつ高価な特殊コンポーネントを車両に搭載しなくてもよいようにすることを提案している。
画像処理用の計算能力に対する要求もさることながら、このようなシステムでは、機能的システム安全性に対する要求も重要である。仮に、このようなカメラベースのシステムを、車両ダイナミクスに対して自動的に介入させたいのであれば、このようなシステムの機能的安全性に対する要求は、表示するのみのシステムの場合と比較して有意に高いもとなる。
よって、本発明の課題は、効率的な画像処理に必要な計算能力と機能的安全性を、従来の中央制御装置を備えたアーキテクチャと比較して技術的に簡素且つ低コストに実施できる車両用のカメラシステムを提供することにある。
本発明によれば、上記目的は、独立請求項に記載されている対象によって達成される。本発明の更なる実施形態は、従属請求項に記載されている。
本発明の基になったアイデアは、カメラシステムを、それぞれ独自に自らが撮影した画像だけでなく他のカメラが捉えた画像に対しても画像処理を実施できるカメラを装備したリング状トポロジーとすることにある。これにより画像処理の計算負荷を、複数のコンポーネント、即ち、システムのカメラに分散、及び/或いは、軽減でき、十分な計算能力を有する中央制御装置を車両に搭載する必要がなくなる。本発明に係るカメラシステムのリング状トポロジーは、中央評価ユニットを備えたシステムと比較して、以下の更なる長所を可能にする:
− 対機能停止安全性の向上:リング状トポロジー内の二つの隣接するカメラ間の接続が、停止した場合でも、リング状トポロジーをそれ相応に設計しておけば、通常、全てのカメラが、コミュニケーションできる。
− 分散された計算:全てのカメラの画像を読みださないアプリケーション(例えば、バックアップ扶助、死角検出など)では、画像、或いは、画像処理の作業の一部、或いは、制御を、計算負荷を均一に分散して、効率を向上するために、関与していないカメラ(複数可)に転送/委託することができる。
− 中央ECUを有し、イーサネット(登録商標)を介して接続されているカメラを装備しているシステムでは、バンド幅制限(例えば、100 Mbit/sec)の関係上、映像伝送は、圧縮されて実施される(例えば、MjpegやH264)。しかし、圧縮が、ロスフリーには実施できないため、特に、動きの激しいシーンでは、多くのデータが失われる。リング状トポロジーにおいては、各々のカメラが独自の画像処理を実施できるため、このような情報損失は、リング状トポロジー・システムでは、回避できる。一方、表示する画像では、画像内の情報損失は、観察者にはほとんど見えないため、高度の圧縮を許容できる。
− 対機能停止安全性の向上:リング状トポロジー内の二つの隣接するカメラ間の接続が、停止した場合でも、リング状トポロジーをそれ相応に設計しておけば、通常、全てのカメラが、コミュニケーションできる。
− 分散された計算:全てのカメラの画像を読みださないアプリケーション(例えば、バックアップ扶助、死角検出など)では、画像、或いは、画像処理の作業の一部、或いは、制御を、計算負荷を均一に分散して、効率を向上するために、関与していないカメラ(複数可)に転送/委託することができる。
− 中央ECUを有し、イーサネット(登録商標)を介して接続されているカメラを装備しているシステムでは、バンド幅制限(例えば、100 Mbit/sec)の関係上、映像伝送は、圧縮されて実施される(例えば、MjpegやH264)。しかし、圧縮が、ロスフリーには実施できないため、特に、動きの激しいシーンでは、多くのデータが失われる。リング状トポロジーにおいては、各々のカメラが独自の画像処理を実施できるため、このような情報損失は、リング状トポロジー・システムでは、回避できる。一方、表示する画像では、画像内の情報損失は、観察者にはほとんど見えないため、高度の圧縮を許容できる。
本発明のある実施形態は、リング状トポロジーのネットワークを介して互いにネットワーク化された複数のカメラを備えた車両用のカメラシステムに関するが、これは、それぞれのカメラが、捕捉された画像の画像処理を実施できるように構成され、且つ、ネットワーク内の画像処理の計算負荷を複数のカメラに分散するため、或いは、ネットワーク内の各カメラにおける画像処理の計算負荷を低減するために、それぞれのカメラが、捕捉された画像、及び/或いは、画像処理結果をネットワーク内の他のカメラに対して、該カメラによって画像処理を実施するために、或いは、該カメラによって実施される画像処理をサポートさせるために、伝達できるように構成されていることを特徴としている。リング状トポロジーと、個別の画像処理手段を各カメラに備えさせることにより、分散された画像処理、或いは、分散された計算処理、或いは、システム内の各々のカメラの画像処理・計算負荷の低減が可能となり、既知の、一つの中央画像処理ユニットを備えた、或いは、ましてや特許文献1のように外部で画像処理が行われるシステムと比較して対機能停止安全性がより高い、且つ、部分的には、より効率的なカメラシステムが実現されている。あるカメラからネットワーク内の他のカメラに伝達される画像処理結果は、例えば、それを受信するカメラでの画像処理において、より速く、或いは、より容易にオブジェクトを認識するために使用することが可能なオブジェクト・リストであることができる。
更には、どの時点においてもネットワーク内において該ネットワーク内の一つのカメラのみが画像処理を実施しているようにするため、自らの画像処理が終了した後に、捕捉した画像をネットワーク内の他のカメラに転送するように個々のカメラが構成されていてもよい。これにより、画像処理を複数のカメラに分散するのみならず、例えば、画像処理時間を犠牲にして省エネ化するために、時間的なマルチプレックス化を実施できる。即ちこの形態では、ある時点においては、システムのただ一つのカメラのみが画像処理を実施している。処理が終了すると次のカメラに移行するが、これは、画像処理が完了するまで継続される。これにより、画像処理に必要な時間も同じようなファクターで延びるものの、四つのカメラがある場合、約ファクター4の省出力が可能である。
一つのカメラによる一枚の画像の捕捉にかかる時間と該カメラによる一回の画像処理にかかる時間は、カメラシステムにおいて予め定められているワン・サイクルよりも短くなるように算定されることができる。十分な計算能力が有る場合、例えば、あるカメラによって画像を捕捉するのにかかる時間と、該カメラによる画像処理にかかる時間は、捉えられた全ての画像のシーケンシャルな画像処理が、定められたサイクル内で終了するように算定されることができる。これにより、システム内での特に迅速な画像処理が実現できる。
リング状トポロジー内の隣接する二つのカメラ間のネットワーク内の接続を双方向性とし、各々のカメラは、自らが捉えた画像に加え、ネットワーク内の隣接するカメラが捉えた画像の画像処理にも使用できるように実施されていることができる。例えば、四つのカメラを備えたシステムでは、カメラ1と3は、画像を捕捉する、乃至、撮影すると同時に、隣接するカメラ4と2の画像を受信でき、カメラ2と4は、画像を捕捉している間、カメラ1と3の画像を受信できる。これにより、フレーム毎に、即ち、新しい画像が撮影される毎に、ネットワーク内の伝達方向が、逆転する。各カメラは、画像処理、乃至、計算のために、2フレーム分の時間を使うことができる。これにより、各々のカメラを、複数の画像の画像処理に使えるため、システム内での分散された画像処理をより効率的に構成することが可能である。また、所謂「リアル・ダブルフレーム・コンセプト」も実装可能である:即ち、それぞれのカメラは、常に、二枚の連続する画像AとB(フレームAとB)を捉えることができる。カメラ1と3は、画像A(フレームA)を処理し、画像B(フレームB)を画像処理のためにカメラ2と4に伝達することができる。一方、カメラ2と4は、受信した画像Bを処理し、画像A(フレームA)のみを画像処理のためにカメラ1と3に伝達する。
更に各々のカメラが、二枚の連続する画像の捕捉時間内に、捕捉された画像の画像処理を実施できるように構成されていてもよい。これにより、特に、カメラシステムに略リアルタイムな要求が課せられ、画像処理が重要な役割を果たす場合には、該カメラシステムによる非常に速い画像処理が実現できる。
尚、一枚の捉えられた画像を、ネットワーク内の少なくとも一つの隣接するカメラに、捕捉と同時に転送する、或いは、一枚の捉えられた画像を、画像の捕捉後に、ネットワーク内の少なくとも一つの隣接するカメラに転送するように各々のカメラを構成することも当然ながら可能である。これによれば、一つのカメラが、リング状トポロジー内の隣接するカメラの画像も、例えば、より正確なオブジェクト認識など、より効率的な画像処理の実施に使うことができるため、ダブルフレーム・コンセプトを該カメラシステムに実装することが可能になる。
該カメラシステムの対機能停止安全性を高めるために、これらのカメラは、互いに監視することができる。これは、例えば、車庫入れなど操車中の事故を回避するための人認識など、安全に関連するアプリケーションにおいてより重要になってきている。ここでは、各々のカメラは、ネットワーク内の他の一つ、或いは、複数のカメラに不具合が無いかを監視することができるように構成されていることができる。
一つの、或いは、複数のカメラは、車両バスにコミュニケーション自在に接続されている、及び/或いは、少なくとも一つのカメラは、画像、及び/或いは、画像処理結果を出力することが可能なビデオ出力端子を介して、車両の表示ユニットに接続されていることができる。二つ、或いは、複数のカメラを車両バスに接続することにより、車両バスに接続されているカメラが一つしかないシステムと比較して、その対機能停止安全性を高めることができる。ビデオ出力端子によれば、カメラシステムによって捉えられた、且つ、場合によっては、処理された画像を直接表示することができるため、ドライバーに、例えば、車両の駐車や車庫入れの際に、直接的なフィードバックを与えることが可能になる。
本発明の更なる実施形態は、本発明に係るカメラシステムに使用するための、且つ、ここに記載されているごとく、画像を捉えるための一つの画像センサーと、捕捉された画像を用いた画像計算処理を実施するための画像処理ユニットと、リング状トポロジーを有するネットワーク用であり、該リング状トポロジーを有するネットワーク内の隣接するカメラの画像、及び/或いは、命令、及び/或いは、画像処理結果を受け取るため、並びに、捕捉した画像、及び/或いは、命令、及び/或いは、画像処理結果を、リング状トポロジーを有するネットワーク内の隣接するカメラに送るためのネットワーク・インターフェース・ユニットとを備えたカメラに関する。
該カメラは更に、リング状トポロジーを有するネットワーク内の隣接するカメラへの転送のために、捕捉した、及び/或いは、処理した画像のエンコーディングを実施するための画像データ・エンコーディング・ユニットを備えていてもよい。エンコーディングを実施することにより、画像は、例えば、ネットワーク接続を介したカメラ間における転送に特に適したフォーマットに変換することが可能である。
本件発明は、特に、自律的に車両ダイナミクスに介入するドライバー・アシスタント・システムにおける用途に適している。
本発明の更なる長所と応用例は、以下の図に示されている一例/複数例に基づいた説明によりそれぞれ開示される。
明細書、請求の範囲、要約および図では、後に記載する「符号の説明」に記載されている符号および名称を使用する。
以下の説明においては、同一のおよび/あるいは同じ機能を持つおよび/あるいは機能的に関連しているエレメントには、同一の符号を使用する場合がある。明記されている数値は、例にすぎず、本発明を制限するものではない。
図1には、リング状トポロジーにおいてネットワーク化された四つのカメラ12,14,16と18を備えたカメラシステム10が、示されている。ここでは各々のカメラは、リング状トポロジーにおいて隣接している双方のカメラとコミュニケーション可能に接続されている、即ち、カメラ12は、ネットワーク接続20を介してカメラ14と、ネットワーク接続22を介してカメラ16と接続されている。一方、カメラ16は、カメラ18とネットワーク接続24を介して接続されている。尚、リングは、カメラ18と12の間のネットワーク接続26によって閉じている。各ネットワーク接続20,22,24と26は、単方向性、或いは、双方向性であることができる。但し、双方向性のネットワーク接続には、後に述べるようなある種の長所がある。
カメラ18と14は、例えば、ドライバー・アシスタント・システムと接続されていることができ、且つ、アシスタント・システムの制御コンピューターとデータの交換ができる車両バス(KFZ−Bus/車載バス)28とコミュニケーション可能に接続されている。カメラ12,14,16と18は、トップ・ビュー・システムやサラウンド・ビュー・システムの部品であることができ、車両周辺全体を捕捉することができるように設置されている。
各々のカメラ12,14,16と18は、それぞれのカメラが補足した画像並びに他のカメラが補足した画像を処理することのできる個別の画像処理ユニットを有している。これらユニットによって実施された画像処理は、カメラシステムの用途に適合されている;例えば、車両周辺のオブジェクトを認識し、認識したオブジェクトを、車両バス28を介して能動的に走行ダイナミクスに作用するドライバー・アシスタント・システムへ所謂「オブジェクト・リスト」として伝達するためにリストアップすることができる。またカメラ12,14,16と18は、画像処理によって発生する計算負荷をカメラシステム内において効率的に分散するため、或いは、ネットワーク内の各カメラにおける画像処理の計算負荷を低減するために、画像処理作業をシステム内の他のカメラに委託する、或いは、オブジェクト・リストなどの画像処理結果をシステム内の他のカメラに伝達することができるようにコンフィグレーションされている。
カメラシステム10のリング状トポロジーにより、対機能停止安全性を高めることができる。図1に示すようなシステム10内の双方向性ネットワーク接続20, 22,24と26では、一つのカメラが停止しても、システム内の残りのカメラのコミュニケーションを維持することができる。例えば、カメラ12が停止した場合でも、カメラ14,16と18は、ネットワーク接続22と24を介して互いにコミュニケーションできる。また、図1に示す如く、二つのカメラ14と18が、車両バス28と接続されていれば、これらの双方のカメラ14或いは18のうちの一つが停止しても、車両バス28とのコミュニケーションを補償することができる。
図2は、システム10のカメラ12,14,16と18の構成を詳細に示している:各々のカメラ12,14,16,18は、画像を捉え、捕捉した画像のデジタル画像データを作成するための画像センサー120(イメージャー)、画像センサー120によって作成されたデジタル画像データのある特定のアルゴリズム(例えば、オブジェクト認識、或いは、周辺監視および分析)による処理を実施するための画像処理ユニット122、オプションとして、捕捉された、乃至、処理された画像のデジタル画像データを他のフォーマットに変換するための画像データ・エンコーディング・ユニット126、並びに、システム10の他のカメラとのコミュニケーションのためのネットワーク・インターフェース・ユニット124を有している。全てのカメラは、ハードウェアに関しては、略同一に構成されている。カメラ14と18は更に、車両バス28との接続用のインターフェースも有している。またカメラ18は、(オプションとして)これを介して表示システムと接続されるビデオデータ出力端子30も有している。原則的には、全てのカメラを全く同一に構成でき、特に、全てのカメラが、車両バスインターフェースとビデオ出力端子を有していてもよい。構成には、特に、画像前処理には、大量生産されることから、特別に開発するに値し得るASICs(Application Specific Integrated Circuits)を用いることができる。
既に述べた如く、カメラシステム10からは、画像が出力される。これには、空間的に車両内の表示手段の最も近くに配置されているカメラ18から、システム10によって捉えられた画像(複数のカメラ画像)を表示用に伝達することができる。このようにすることで、車両内の配線を効率よく設計できる。ネットワーク接続20,22,24と26から構成されるリングバスが、イーサネット(登録商標)である場合、車両内伝達用のバンド幅制限は、現時点では、一般的に100MBit/sである。表示用の画像では、高度の圧縮が許されるため、上記の如きバンド幅制限が有っても、車両内の表示の最も近くに配置されているカメラ18(例えば、フロントカメラ)においてビデオ出力30から出力するためにリングバス内を伝達できる。
カメラ12,14,16と18の構成とリングバスによって、カメラシステム10は、既に述べた如く、分散された画像処理を可能にしている(デジタル画像処理には、複雑な演算が包含されるため、ここでは、分散された計算とも呼んでいる)。これに関しては、二つのアスペクトに注目しなければならない:分散された計算とは、空間的な分散である、即ち、画像処理における様々な演算をシステム内の複数のカメラに分散することであることができる;また、分散された計算とは、例えば、画像処理における省エネルギーを達成するための(処理時間の犠牲を伴う)時間的な分散(時間的マルチプレックス)であることもできる。これは例えば、ある特定の時間、一つのカメラのみが作動し、画像処理、乃至、画像計算を実行し、続いて、次のカメラに交代していくと言う方法で実施できる。4つのカメラを使用している場合、これにより、ファクター4に及ぶ省エネすら考え得る。カメラ内に実装されている画像処理ユニットが十分な計算能力を有している場合は、画像の取り入れを含む計算サイクルをシステムサイクルよりも短く設定し、ワン・システムサイクル内における、全カメラ画像のシーケンシャルな計算の実施も考え得る。
カメラシステム10は、予め定められているサイクルタイムにおいて、乃至、タクトに対応するワン・サイクルにおいて作動することができる、即ち、システム10内で実施される全てのオペレーションは、予め定められているサイクルに応じで実施され、カメラ12,14,16と18には、タクト基準のシステム内のタクトピリオドに対応して予め定められているサイクルタイムが与えられている。このサイクルは、カメラの特定のオペレーション、例えば、画像撮影、或いは、画像捕捉、或いは、カメラが実施する画像処理における特定の演算(計算オペレーション)が、ワン・サイクル内で終了する、乃至、実施できるように設定されることができる。よって該サイクルが、予め定められているシステムタクトであると解釈することができる。該サイクルは、システムのカメラからリングバスを介して設定、或いは、車両バス、或いは、対応する各カメラ内のクロックジェネレーターによって設定されることができる。
以下、リング状トポロジー内の隣接するカメラの隣接画像もある一つのカメラにおいて使用される、所謂「ダブルフレーム・コンセプト」による本発明に係るカメラシステムの実施形態を説明する。カメラ間の双方向性伝達と対応するダブルフレーム・コンセプト(フレームシーケンス=A−B−A−B.....)においては、全てのカメラが常に、自らの画像、並びに、双方の隣接するカメラの画像を画像処理のために用いることができるようになっている。ダブルフレーム・コンセプトによれば、例えば、異なるカメラパラメーター、即ち、露出時間、特性曲線、解像度など、を有する画像を捕捉することができる。例えば、一つのカメラは、露出時間が短い、並びに、長いと言った異なるパラメーターの連続する二枚の画像(フレームA乃至B)を捕捉することができる。異なるパラメーターにおいて捕捉された画像は、例えば、走行レーン認識(露出時間の長い画像、フレームA)と交通標識認識(露出時間が短い画像、フレームB)など、様々なアプリケーション用に用いることができる。異なるカメラパラメーターにおいて捕捉された画像、乃至、フレームは、システム上で計算負荷を最適に分散させるために、アプリケーションに応じてシステム内の異なるカメラに分配されることができる。
ダブルフレーム・コンセプトの一例を以下に詳しく説明する。フレームA:カメラ1と3(図1)、乃至、18と14(図2)が、一枚の画像を撮影し、同時に、カメラ4と2(図1)、乃至、16と12(図2)が撮影した画像を受信する。フレームB:カメラ2と4(図1)、乃至、12と16(図2)が、一枚の画像を撮影し、同時に、カメラ1と3(図1)、乃至、18と14(図2)が撮影した画像を受信する。即ち、カメラ間の画像伝達の方向は、フレーム毎に反転する。各カメラは、計算、乃至、画像処理のために、それぞれ2フレーム分の時間を使うことができる。尚、双方のカメラで常にフレームAとBを撮影する真のダブルフレーム・コンセプトも考え得る。しかし、例えばカメラ1と3(18,14)は、画像Aは、計算するが、画像Bは、転送するだけである。一方、カメラ2と4(12,16)は、画像Bは、計算するが、画像Aは、転送するだけである。
本発明に係るカメラシステムの更なる実施形態によれば、時間的にずらされた画像撮影も想定されている。この場合も、異なる事例が想定可能である:例えば、画像は、撮影と同時に転送することができる。逆に画像は、いずれにせよ画像は内部プロセッシングのためにバッファリングされなければならないため、撮影後に出力されてもよい。画像出力は、この場合においては、受信するカメラの画像撮影と同時に実施される。
最後に、捕捉した画像の伝達に対する代案として、或いは、これに付加的に画像処理結果をオブジェクト・リストとしてシステム内の隣接するカメラに伝達する本発明に係る実施例を説明する。ここでは例えば、180°の捕捉範囲をもって車両の前方を捕捉し、オブジェクト認識のために画像処理を実施しているフロントカメラは、例えば、車線や草の生えた側方領域などの認識されたオブジェクトを含むオブジェクト・リストを、該フロントカメラから受信したオブジェクト・リストによって、自らが撮影した画像の自らによる画像処理によって草の生えた路肩を認識することを、例えば、捕捉した画像内において草が生えた路肩を探すのではなく、受信したオブジェクト・リストに基づいて、ガラスの生えた路肩のベリフィケーションを自らが撮影した画像内で直接的に実施することによって、より効率的に実施できる隣接するカメラに伝達することができる。これにより、画像処理・計算負荷を低減することができる。
本発明に係るカメラシステムは、特に、以下の長所を有している:全てのカメラは、ハードウェア的には、略同一に構成されていることができる。システム内では、画像処理の分散された計算が、能力が分散されるように、或いは、個々のカメラの画像処理計算負荷が低減されるように、実施される。該カメラシステムは、原則的に、中央制御装置無しに実装可能である。一つの或いは複数のカメラは、車両バスに接続されていることができ、ドライバー・アシスタント・システムに取り入れられることができる。
10 カメラシステム
12 第一カメラ
120 画像センサー
122 画像処理ユニット
124 ネットワーク・インターフェース・ユニット
126 画像データ・エンコーディング・ユニット
14 第二カメラ
16 第三カメラ
18 第四カメラ
20 双方向性ネットワーク接続
22 双方向性ネットワーク接続
24 双方向性ネットワーク接続
26 双方向性ネットワーク接続
28 車両バス
30 ビデオデータ出力端子
12 第一カメラ
120 画像センサー
122 画像処理ユニット
124 ネットワーク・インターフェース・ユニット
126 画像データ・エンコーディング・ユニット
14 第二カメラ
16 第三カメラ
18 第四カメラ
20 双方向性ネットワーク接続
22 双方向性ネットワーク接続
24 双方向性ネットワーク接続
26 双方向性ネットワーク接続
28 車両バス
30 ビデオデータ出力端子
Claims (10)
- − リング状トポロジーのネットワーク(20,22,24,26)を介して互いにネットワーク化された複数のカメラ(12,14,16,18)を備えた
車両用のカメラシステム(10)であって、
− それぞれのカメラが、捕捉された画像の画像処理を実施できるように構成されていること、並びに、
− ネットワーク内の画像処理の計算負荷を複数のカメラに分散するため、或いは、ネットワーク内の各カメラにおける画像処理の計算負荷を低減するために、それぞれのカメラが、捕捉された画像、及び/或いは、画像処理結果をネットワーク内の他のカメラに対して、該カメラによって画像処理を実施するために、或いは、該カメラによって実施される画像処理をサポートさせるために、伝達できるように構成されていること
を特徴とする車両用のカメラシステム。 - どの時点においてもネットワーク内において該ネットワーク内の一つのカメラのみが画像処理を実施しているようにするため、自らの画像処理が終了した後に、捕捉した画像をネットワーク内の他のカメラに転送するように個々のカメラが、構成されていること
を更に特徴とする請求項1に記載のカメラシステム。 - 一つのカメラによる一枚の画像の捕捉にかかる時間と該カメラによる一回の画像処理にかかる時間が、カメラシステムにおいて予め定められているワン・サイクルよりも短くなるように算定されること
を特徴とする請求項1或いは2に記載のカメラシステム。 - リング状トポロジー内の隣接する二つのカメラ間のネットワーク内の接続が双方向性であり、且つ、各々のカメラが、自らが捉えた画像に加え、ネットワーク内の隣接するカメラが捉えた画像の画像処理にも使用できるように実施されていること
を特徴とする請求項1、2或いは3に記載のカメラシステム。 - 各々のカメラが、二枚の連続する画像の捕捉時間内に、捕捉された画像の画像処理を実施できるように構成されていること
を特徴とする請求項1、2、3或いは4に記載のカメラシステム。 - − 一枚の捉えられた画像を、ネットワーク内の少なくとも一つの隣接するカメラに、捕捉と同時に転送する、或いは、
− 一枚の捉えられた画像を、画像の捕捉後に、ネットワーク内の少なくとも一つの隣接するカメラに転送する
ように各々のカメラが構成されていること
を特徴とする請求項1、2、3、4或いは5に記載のカメラシステム。 - 各々のカメラが更に、ネットワーク内の他の一つ、或いは、複数のカメラに不具合が無いかを監視することができるように構成されていること
を特徴とする先行請求項のうち何れか一項に記載のカメラシステム。 - 一つの、或いは、複数のカメラが、車両バスにコミュニケーション自在に接続されている、及び/或いは、少なくとも一つのカメラが、画像、及び/或いは、画像処理結果を出力することが可能なビデオ出力端子を介して、車両の表示ユニットに接続されていること
を特徴とする先行請求項のうち何れか一項に記載のカメラシステム。 - − 画像を捉えるための一つの画像センサー(120)と、
− 捕捉された画像を用いた画像計算処理を実施するための画像処理ユニット(122)と、
− リング状トポロジーを有するネットワーク用であり、該リング状トポロジーを有するネットワーク内の隣接するカメラの画像、及び/或いは、命令、及び/或いは、画像処理結果を受け取るため、並びに、捕捉した画像、及び/或いは、命令、及び/或いは、画像処理結果を、リング状トポロジーを有するネットワーク内の隣接するカメラに送るためのネットワーク・インターフェース・ユニット(124)とを備えたこと
を特徴とする先行請求項のうち一項に記載のカメラシステム(10)に使用するためのカメラ(12)。 - リング状トポロジーを有するネットワーク内の隣接するカメラへの転送のために、捕捉した、及び/或いは、処理した画像のエンコーディングを実施するための画像データ・エンコーディング・ユニット(126)を備えている
を特徴とする請求項9に記載のカメラ。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102013209940.1A DE102013209940A1 (de) | 2013-05-28 | 2013-05-28 | Kamerasystem für Fahrzeuge |
DE102013209940.1 | 2013-05-28 | ||
PCT/DE2014/200115 WO2014190981A1 (de) | 2013-05-28 | 2014-03-07 | Kamerasystem für fahrzeuge |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016526340A true JP2016526340A (ja) | 2016-09-01 |
Family
ID=50687226
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016515655A Pending JP2016526340A (ja) | 2013-05-28 | 2014-03-07 | 車両用カメラシステム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20160112624A1 (ja) |
EP (1) | EP3005329A1 (ja) |
JP (1) | JP2016526340A (ja) |
DE (2) | DE102013209940A1 (ja) |
WO (1) | WO2014190981A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AT516051B1 (de) * | 2014-12-23 | 2016-02-15 | Ats Datenverarbeitung Ges M B H & Co Kg | Überwachungseinrichtung mit einer Bildauswerteeinrichtung für Kameras in einem Switch |
BR112019027273A2 (pt) * | 2017-06-20 | 2020-07-14 | Nissan Motor Co., Ltd. | método de controle de destino e dispositivo de controle de destino |
DE102017215347A1 (de) * | 2017-09-01 | 2019-03-07 | Conti Temic Microelectronic Gmbh | Verfahren zur vorhersehbaren Belichtungssteuerung zumindest einer ersten Fahrzeugkamera |
DE102019204318A1 (de) * | 2019-03-28 | 2020-10-01 | Conti Temic Microelectronic Gmbh | Automatische Erkennung und Klassifizierung von Adversarial Attacks |
US10816993B1 (en) * | 2019-11-23 | 2020-10-27 | Ha Q Tran | Smart vehicle |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11348659A (ja) * | 1998-04-07 | 1999-12-21 | Matsushita Electric Ind Co Ltd | 車載画像表示装置 |
JP2003319375A (ja) * | 2002-04-25 | 2003-11-07 | Hitachi Ltd | 監視カメラシステム |
JP2004312063A (ja) * | 2003-04-01 | 2004-11-04 | Sumitomo Electric Ind Ltd | 撮像装置、画像表示システム及び画像表示方法 |
JP2004320642A (ja) * | 2003-04-18 | 2004-11-11 | Sumitomo Electric Ind Ltd | 動体通知方法、動体検出方法、撮像装置及び動体検出システム |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2082869B (en) * | 1980-08-22 | 1984-08-30 | Shorrock Security Systems Ltd | Closed-circuit television surveillance system |
JPH10210077A (ja) * | 1997-01-24 | 1998-08-07 | Hitachi Ltd | 通信制御システム |
US5973732A (en) * | 1997-02-19 | 1999-10-26 | Guthrie; Thomas C. | Object tracking system for monitoring a controlled space |
US20030223002A1 (en) * | 2002-03-27 | 2003-12-04 | Hiroaki Minami | Camera body and a detachably coupled digital photography camera back |
US7353086B2 (en) * | 2002-11-19 | 2008-04-01 | Timothy James Ennis | Methods and systems for providing a rearward field of view for use with motorcycles |
JP2006514501A (ja) * | 2003-04-17 | 2006-04-27 | ノキア コーポレイション | 改善されたカメラ付き移動電話機 |
WO2006040687A2 (en) * | 2004-07-19 | 2006-04-20 | Grandeye, Ltd. | Automatically expanding the zoom capability of a wide-angle video camera |
US7822344B1 (en) * | 2004-10-01 | 2010-10-26 | Multidyne Electronics Inc. | System for communication of video, audio, data, control or other signals over fiber in a self-healing ring topology |
US7525568B2 (en) * | 2004-11-09 | 2009-04-28 | International Business Machines Corporation | Personal multi-information recorder |
US8144027B2 (en) * | 2005-07-12 | 2012-03-27 | Avaak, Inc. | Remote meter reader using a network sensor system and protocol |
US8723951B2 (en) * | 2005-11-23 | 2014-05-13 | Grandeye, Ltd. | Interactive wide-angle video server |
US20100020809A1 (en) * | 2008-07-25 | 2010-01-28 | Micrel, Inc. | True Ring Networks Using Tag VLAN Filtering |
US8704903B2 (en) * | 2009-12-29 | 2014-04-22 | Cognex Corporation | Distributed vision system with multi-phase synchronization |
DE102010030068A1 (de) | 2010-06-15 | 2011-12-15 | Bayerische Motoren Werke Aktiengesellschaft | Verarbeitung von Bilddaten, die durch ein Fahrzeug aufgenommen werden |
US20110321104A1 (en) * | 2010-06-24 | 2011-12-29 | Worldplay (Barbados) Inc. | System and method for mass distribution of high quality video |
TWI415427B (zh) * | 2010-11-04 | 2013-11-11 | Ind Tech Res Inst | 同儕即時串流系統與方法 |
US9449233B2 (en) * | 2010-12-01 | 2016-09-20 | The Trustees Of The University Of Pennsylvania | Distributed target tracking using self localizing smart camera networks |
US8988558B2 (en) * | 2011-04-26 | 2015-03-24 | Omnivision Technologies, Inc. | Image overlay in a mobile device |
US9122532B2 (en) * | 2011-04-29 | 2015-09-01 | Nokia Technologies Oy | Method and apparatus for executing code in a distributed storage platform |
JP2013013471A (ja) * | 2011-06-30 | 2013-01-24 | Kyoraku Sangyo Kk | テーブルゲームシステム |
US9489827B2 (en) * | 2012-03-12 | 2016-11-08 | Cisco Technology, Inc. | System and method for distributing content in a video surveillance network |
US8861664B2 (en) * | 2012-06-15 | 2014-10-14 | Smsc Holdings S.A.R.L. | Communication system and method for synchronizing a plurality of network nodes after a network lock condition occurs |
US8817113B2 (en) * | 2012-07-10 | 2014-08-26 | Sony Corporation | Image distribution system and methods |
-
2013
- 2013-05-28 DE DE102013209940.1A patent/DE102013209940A1/de not_active Withdrawn
-
2014
- 2014-03-07 US US14/893,633 patent/US20160112624A1/en not_active Abandoned
- 2014-03-07 DE DE112014002629.8T patent/DE112014002629A5/de active Pending
- 2014-03-07 WO PCT/DE2014/200115 patent/WO2014190981A1/de active Application Filing
- 2014-03-07 EP EP14722985.0A patent/EP3005329A1/de not_active Ceased
- 2014-03-07 JP JP2016515655A patent/JP2016526340A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11348659A (ja) * | 1998-04-07 | 1999-12-21 | Matsushita Electric Ind Co Ltd | 車載画像表示装置 |
JP2003319375A (ja) * | 2002-04-25 | 2003-11-07 | Hitachi Ltd | 監視カメラシステム |
JP2004312063A (ja) * | 2003-04-01 | 2004-11-04 | Sumitomo Electric Ind Ltd | 撮像装置、画像表示システム及び画像表示方法 |
JP2004320642A (ja) * | 2003-04-18 | 2004-11-11 | Sumitomo Electric Ind Ltd | 動体通知方法、動体検出方法、撮像装置及び動体検出システム |
Also Published As
Publication number | Publication date |
---|---|
WO2014190981A1 (de) | 2014-12-04 |
DE102013209940A1 (de) | 2014-12-04 |
DE112014002629A5 (de) | 2016-04-07 |
EP3005329A1 (de) | 2016-04-13 |
US20160112624A1 (en) | 2016-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2016526340A (ja) | 車両用カメラシステム | |
KR102179933B1 (ko) | 복수의 제어 장치에서 센서 데이터를 처리하기 위한 방법, 대응되게 설계된 전처리 유닛 및 차량 | |
US20190394427A1 (en) | System for perceiving and co-processing intelligent connected vehicle-oriented scene image data | |
US20200374449A1 (en) | Intermediate unit and camera system | |
KR102015956B1 (ko) | 기가비트 이더넷 통신망에서의 차량 번호 인식 시스템 및 차량 정보 전송 방법 | |
CN204156887U (zh) | 用于固定重联列车的机车通信系统 | |
WO2016159142A1 (ja) | 撮像装置 | |
CN105208334A (zh) | 一种采用无人机进行电力线巡检的装置和方法 | |
WO2014103272A1 (ja) | カメラシステム、カメラモジュールおよびカメラ制御方法 | |
KR100899892B1 (ko) | 자동차용 카메라 장치 및 안내선 표시방법 | |
CN202686136U (zh) | 一种汽车上的全景摄像系统 | |
JP2014204325A5 (ja) | ||
JP2016092814A (ja) | 360度全景ドライブレコーダー | |
JP5872171B2 (ja) | カメラシステム | |
KR20190037438A (ko) | 차량 주변 감시 장치 | |
EP3671277A1 (en) | 3d imaging apparatus and method | |
CN103139539A (zh) | 一种全景监视系统 | |
JP6054738B2 (ja) | カメラモジュール、カメラシステムおよび画像表示方法 | |
RU87554U1 (ru) | Регистрационно-охранная система видео-, аудионаблюдения | |
KR20040098489A (ko) | 무선랜을 활용한 철도차량의 모니터링 시스템 | |
CN104219508A (zh) | 一种城市智能交通调度系统及方法 | |
KR20140105304A (ko) | Cctv 기반 교통 관제 모듈 | |
CN203179282U (zh) | 多通道视频处理车道控制器与智能停车场管理系统 | |
KR101116796B1 (ko) | Most 네트워크 기반의 자동차 사방 감시 시스템 | |
KR102099120B1 (ko) | 무선망 및 모바일단말을 이용한 철도 영상 전달 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170823 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180322 |