JP2017515332A - 専用のバックチャネルを使用することなくカメラベースのパラメータを送信するためのシステム及び方法 - Google Patents

専用のバックチャネルを使用することなくカメラベースのパラメータを送信するためのシステム及び方法 Download PDF

Info

Publication number
JP2017515332A
JP2017515332A JP2016556925A JP2016556925A JP2017515332A JP 2017515332 A JP2017515332 A JP 2017515332A JP 2016556925 A JP2016556925 A JP 2016556925A JP 2016556925 A JP2016556925 A JP 2016556925A JP 2017515332 A JP2017515332 A JP 2017515332A
Authority
JP
Japan
Prior art keywords
camera
video
analog signal
vehicle
video stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016556925A
Other languages
English (en)
Other versions
JP6526696B2 (ja
Inventor
グラフ パトリック
グラフ パトリック
エイ. ボチェネック ジェフリー
エイ. ボチェネック ジェフリー
シピトコフスキ グレッグ
シピトコフスキ グレッグ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JP2017515332A publication Critical patent/JP2017515332A/ja
Application granted granted Critical
Publication of JP6526696B2 publication Critical patent/JP6526696B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268Signal distribution or switching
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/406Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components using wireless transmission
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

カメラベースのパラメータとビデオデータとを伝送する車両システム及び方法は、車外領域を観察するために車両に配置されたビデオカメラを含む。当該ビデオカメラは、車両の車外領域からのビデオデータストリームを生成するための画像センサと、カメラベースのパラメータを供給するための制御装置と、画像信号処理装置とを含む。当該画像信号処理装置は、画像センサからビデオストリームを受信し、制御装置からカメラベースのパラメータを受信し、ビデオストリーム上にカメラベースのパラメータを伝送して、ビデオストリームとカメラベースのパラメータとを含むアナログ信号を出力するように構成されている。電子制御ユニットは、アナログ信号を受信し、アナログ信号からカメラベースのパラメータを回収する。車両ディスプレイは、ビデオストリームを受信して表示する。

Description

関連出願
本出願は、2014年3月に出願された米国仮出願番号第61/951597号(U.S. Provisional Application No. 61/951,597)の優先権を主張するものであり、その全内容は、参照により本明細書に組み込まれる。
背景技術
本発明は、カメラベースのパラメータを、車両に搭載されたビデオカメラからのビデオ画像と共に車両内の表示用のエンドポイントに送信するための車両システム及び方法に関する。
最新式のカメラシステムでは、カメラからの画像データより多くのものをエンドポイントで受信する必要がある。運転者支援装置では、カメラが周囲環境を走査して潜在的な危険性を検出し、運転者に未然に警告する。この装置では、現実世界での距離と、画像中の画素の座標との関係性が充分に既知であり、且つ、正確であることが求められる。このような装置では、それぞれのカメラを個別的に較正し、これらのカメラのパラメータを、それぞれのカメラの不揮発性メモリに直接的に保存しておくことが求められる。
運転者支援アプリケーションで使用されるカメラの場合にはさらに、機能的な安全性が極めて重要となる。画像センサの機能性を検証するために、特定のカメラ情報が車両のリモート処理ユニットに送信され、このリモート処理ユニットによって画像センサの機能的な性能が検証される。
運転者支援機能を低コストのビデオカメラハードウェアに実装する場合には、いくつかの重要な問題が発生する。第一に、低コストのビデオカメラシステムは、現在のところVGAセンサを中心として開発されており、このVGAセンサは、アナログの全米テレビジョン放送方式標準化委員会(National Television System Committee: NTSC)方式でビデオを伝送する。NTSC方式のビデオ伝送は20世紀半ばに開発されたものであるので、ビデオストリーム(デジタルビデオ伝送において多くの場合に許可されている機能)にメタデータを埋め込むことを伝統的に許可していない。NTSC方式の場合、一つのフレームに対する標準的な線解像度は525本である。一つのフレームは、720水平画素×486垂直画素として表すことができる。デジタルビデオ圧縮を含む圧縮アルゴリズムにより、解像度の改善が可能になる。
種々の国で使用されている別の一つのアナログビデオ伝送方式は、位相反転線(PAL)方式である。PAL方式の場合の標準的な垂直線解像度は、一つのフレームに対して576本である。一つのフレームは、720×576画素である。
自動車システムでは、殆どの電子制御ユニット(ECU)が移動機械用バス(即ち、SPI5,DSI,SENT,CAN,FLEXRAY,LIN)に接続されている。しかしながら、サラウンドビュービデオシステムのようなマルチカメラシステムの中には、コンポーネント数の増加や配線コストの増加が理由で、それぞれのビデオカメラに対するバス接続が望ましくないものもある。従って、別のアプローチが企図される。
概要
ある一つの実施形態では、本発明により、低コストのビデオカメラシステムに関連した制限を克服するために、ビデオカメラに関連したデータが、動的なビデオストリームに埋め込まれ、リモートECUにおいてビデオストリームから分離される。不揮発性メモリに保存されたデータを、配信されるビデオストリーム上に埋め込み、符号化することができる。
本発明のある一つの実施形態では、カメラベースのパラメータと、車両の所定の領域を観察するために配置されたビデオカメラからのビデオストリームとを、前記車両に搭載された電子制御ユニットに伝送する方法において、前記車両に搭載された画像センサを用いてビデオストリームを生成することと、前記ビデオストリーム上にカメラベースのパラメータを伝送して、前記ビデオストリームと前記カメラベースのパラメータとを搬送するアナログ信号を供給することと、前記アナログ信号を前記電子制御ユニットに伝送することと、前記アナログ信号から前記カメラベースのパラメータを回収することと、を含む方法が提示される。
別の一つの実施形態では、前記領域は、前記車両から観察される車外領域を含み、前記ビデオカメラは、前記車両に搭載された前記画像センサと、前記カメラベースのパラメータを受信するための制御装置と、前記ビデオストリーム上に前記カメラベースパラメータを伝送して前記アナログ信号を供給するための画像信号処理装置とを含み、前記方法はさらに、前記カメラベースのパラメータに部分的に基づいて、前記ビデオストリームを車両ディスプレイ上に表示することを含む。
ある一つの実施形態では、前記アナログ信号は、NTSC方式のアナログ信号及びPAL方式のアナログ信号のいずれか一方を含む。別の一つの実施形態では、前記アナログ信号は、NTSC方式のアナログ信号を含み、前記カメラベースのパラメータは、前記NTSC方式のアナログ信号のフレームの初めにある最初の水平線に設けられる画素、及び、前記NTSC方式のアナログ信号の前記フレームの終わりにある最後の水平線に設けられる画素、の一方又は両方として供給される。この画素データは、自動車用途のために下流で復号される。別の一つの実施形態では、前記アナログ信号は、PAL方式のアナログ信号であり、前記カメラベースのパラメータは、前記PAL方式のアナログ信号のフレームの初めにある最初の水平線に設けられる画素、及び/又は、前記PAL方式のアナログ信号の前記フレームの終わりにある最後の水平線に設けられる画素、の一方又は両方として供給される。
別の一つの実施形態では、画像センサから動的な情報が読み出されて画素に変換され、この画素が、配信されるビデオストリーム上に符号化される。非ビデオパラメータを有する画素は、運転者の視野から取得された180度のビデオ画像である、NTSC方式のアナログ信号のフレームの、角領域において符号化される。これらの画素は、自動車用途のために下流のECUにおいて復号される。ある一つの実施形態では、アナログ出力ビデオカメラは、PAL方式のアナログ出力ビデオカメラであり、非ビデオ画素は、PAL方式のアナログ信号のフレームの角領域において符号化される。
本発明の別の一つの実施形態では、非ビデオデータ識別子であるデータのシーケンスが供給される。非ビデオデータ識別子は、カメラベースのパラメータが順次後続することを知らせるものである。
ある一つの実施形態では、前記カメラベースのパラメータは、カメラ較正パラメータ及びカメラ自己監視パラメータの少なくとも一方を含む。ある一つの実施形態では、前記カメラ較正パラメータは、レンズ特性を含み、前記自己監視パラメータは、フレームカウンタ、及び、前記ビデオカメラのための温度値の少なくとも一方を含み、これに加えて、前記ビデオカメラは、前記電子制御ユニットに接続される複数のビデオカメラのうちの一つを含む。
別の一つの実施形態では、前記ビデオカメラは、前記画像センサと、不揮発性メモリを有する制御装置と、前記アナログ信号を前記電子制御ユニットに供給するための画像信号処理装置とを含み、観察される前記領域は、前記車両の室内領域である。
ある一つの実施形態では、前記アナログ信号から回収された前記カメラベースのパラメータが、車両ディスプレイ上における前記ビデオストリームの表示を制御する。別の一つの実施形態では、前記アナログ信号は、前記電子制御ユニットに単一のチャネル上で伝送され、専用のバックチャネルを使用しない。
本発明のある一つの実施形態では、カメラベースのパラメータと、ビデオストリームとを伝送する車両システムにおいて、前記車両システムは、車両の所定の領域を観察するために車両に配置されたビデオカメラを含み、前記ビデオカメラは、前記車両の前記領域のビデオ画像を生成し、ビデオストリームを獲得するための画像センサと、カメラベースのパラメータを供給するための制御装置と、画像信号処理装置とを含み、前記画像信号処理装置は、前記画像センサから前記ビデオストリームを受信し、前記制御装置からカメラベースのパラメータを受信し、前記ビデオストリーム上に前記カメラベースのパラメータを伝送して、前記ビデオストリームと前記カメラベースのパラメータとを含むアナログ信号を出力するように構成されており、前記車両システムはさらに、ビデオ受信器を含む電子制御ユニットを含み、前記電子制御ユニットは、前記ビデオカメラから前記アナログ信号を受信し、前記アナログ信号から前記カメラベースのパラメータを回収するように構成されている。
ある一つの実施形態では、車両ディスプレイは、前記電子制御ユニットによって供給された前記ビデオストリームを受信し、前記車両内の車両操作者に前記ビデオストリームを表示するように構成されており、前記車両の前記領域は、前記車両から観察される車外領域を含む。
ある一つの実施形態では、前記カメラベースのパラメータは、前記アナログ信号のフレームの初めにある最初の水平線に設けられる画素、及び、前記アナログ信号の前記フレームの終わりにある最後の水平線に設けられる画素、の一方又は両方として供給される。
別の一つの実施形態では、前記カメラベースのパラメータは、前記アナログ信号によって搬送される前記ビデオストリームのビデオ画像のフレームの角部に画素として埋め込まれる。
ある一つの実施形態では、前記カメラベースのパラメータは、前記ビデオストリーム上に伝送される非ビデオデータ識別子に後続して、当該ビデオストリーム上に伝送される。
ある一つの実施形態では、前記カメラベースのパラメータは、カメラ較正パラメータ及びカメラ自己監視パラメータの少なくとも一方を含み、前記ビデオカメラは、前記電子制御ユニットに接続される複数のビデオカメラのうちの一つを含む。ある一つの実施形態では、前記ビデオストリームは、前記カメラパラメータに基づいて出力される。
別の一つの実施形態では、前記制御装置は、不揮発性メモリを含み、前記ビデオカメラは、前記アナログ信号を前記電子制御ユニットに単一のチャネル上で伝送するように構成されており、前記車両システムは、専用のバックチャネルを使用しない。
本発明の他の態様は、詳細な説明の考察及び添付図面によって明らかになるであろう。
複数のビデオカメラを有する車両のブロック図である。 ビデオカメラ及び電子制御ユニットのブロック図である。 表示される伝送された非ビデオデータを含む180度のビデオ画像を示す図である。 画像の1本の線上において符号化された非ビデオデータを含む180度のビデオ画像を示す図である。
詳細な説明
本発明のあらゆる実施形態を詳細に説明する前に、本発明が、その応用に関して、以下の記載で説明される又は以下の図面に図示される構造の詳細及び構成要素の配置に限定されるものではないことを理解すべきである。本発明は、その他の実施形態が可能であり、様々な方法で実現又は実施することが可能である。
図1のブロック図に示すように、車両18は、電子制御ユニット(ECU)20を含み、この電子制御ユニット(ECU)20は、車両の周りに配置されたフロントビュービデオカメラ22と、左サイドビュービデオカメラ24と、右サイドビュービデオカメラ26と、リアビュービデオカメラ28とから、それぞれのビデオストリームを受信する。それぞれのビデオカメラは、車両18のそれぞれの車外領域からビデオストリームを獲得する。ECU20は、それぞれのビデオカメラからのビデオ画像を受信し、これらのビデオ画像を処理して車両の一つのサラウンドビュー画像を獲得し、このサラウンドビュー画像が、車両ディスプレイ30上に出力される。このようにして車両システムは、車両18の全体に関する画像を車両ディスプレイ30に供給する。いくつかの実施形態では、単一のビデオカメラがECU20にビデオストリームを供給し、ECU20は、運転席にいる運転者によって観察するために車両ディスプレイ30上に単一のビデオカメラビューを出力する。別の一つの実施形態では、車両18の室内領域を観察するためにビデオカメラが配置される。任意の数のビデオカメラを設けることが企図される。
図2は、カメラベースのパラメータが埋め込まれたビデオ画像を、ECU20のビデオ受信器に供給するためのリアビュービデオカメラ28のブロック図を示す。リアビュービデオカメラ28は、画像センサ40と、不揮発性メモリ44に接続された制御装置42と、ビデオ又は画像信号処理装置46とを含む。ビデオ又は画像信号処理装置46は、ビデオストリームと組み合わせてカメラベースのパラメータをECU20に伝送する。図2は、画像センサ40と、制御装置42と、不揮発性メモリ44と、画像信号処理装置46とがビデオカメラ28内に個々に設けられているリアビュービデオカメラ28を図示しているが、いくつかの実施形態では、これらの装置が単一のコンポーネントとして構成されている。
動作方法では、制御装置42は、メタデータ又は性能測定基準(performance metrics )のようなカメラベースのパラメータを不揮発性メモリ44から獲得して、これを画像信号処理装置46に供給する。カメラベースのパラメータは、ビデオカメラ28に関するメタデータ及び測定性能基準に加えて、カメラ較正パラメータ及び/又は動的なカメラ自己監視パラメータの少なくとも一方とすることができる。いくつかの実施形態では、較正パラメータは、ビデオカメラ28のレンズのレンズ特性を含む。ある一つの実施形態では、自己監視パラメータは、フレームカウンタを含む。ある一つの実施形態では、自己監視パラメータは、画像センサ40の温度検出値、及び/又は、ビデオカメラ28の各コンポーネントの電圧値を含む。これらのパラメータは、ビデオカメラ28のカメラステータスと潜在的故障とを知らせることができる。画像信号処理装置46は、制御装置42によって供給されたデータパラメータを、画像センサ40からのビデオストリーム上に符号化する又は埋め込むように構成されている。画像信号処理装置46は、符号化されたアナログビデオストリーム又はアナログ信号をECU20に伝送するように構成されている。いくつかの実施形態では、画像センサ40からの動的な情報は、アナログ信号を形成するために、ライブ配信又はほぼリアルタイム配信のビデオストリームに変換され、又は、ライブ配信又はほぼリアルタイム配信のビデオストリーム上に埋め込まれる/符号化される。
進行中のビデオストリームに供給されるカメラベースのパラメータを表した非ビデオデータは、ECU20においてアナログ信号から分離される。ECU20は、アナログ信号からカメラベースのパラメータを回収して、ビデオストリームを獲得する。より具体的には、不揮発性メモリ44又は画像センサ40のセンサに由来するカメラベースのパラメータを表した非ビデオデータが復号される。ECU20は、ビデオ受信装置と処理装置とを含み、この処理装置は、カメラベースのパラメータの非ビデオデータとビデオストリームとをアナログ信号から分離するように構成されている。いくつかの実施形態では、ECU20は、非ビデオデータを部分的に考慮して車両ディスプレイ30を制御するようにも構成されており、又は、カメラベースのパラメータに関連した情報を他の装置等に供給する。
伝送された又は埋め込まれた信号は、複数の方法で可視化することができるが、最も適切であると判明しているといってよい種々異なる特定の方法が存在する。ある一つの方法では、伝送された又は埋め込まれた画素が、ビデオストリームのビデオ画像のうちの、システムの機能性を低下させない領域に配置される。例えば図3に示すように、180度のパノラマカメラにおいて、それぞれの画像角部に存在するビネットに、該当するデータが設けられている。図3の角部に示されたこのデータがオーバーレイであると考える者もいるかもしれないが、このような解釈は誤解を招くおそれがある。図3には非ビデオデータが示されているが、このデータは、運転者の視界に設けられる車両ディスプレイ30上には表示されず、従って、オーバーレイとして機能しない。従って、データは、ビデオシステムの顕著な劣化を引き起こすことなく上書きすることが可能である。
どのようなNTSC方式のビデオカメラの場合にも、カメラベースのパラメータに関するデータは、NTSC方式のアナログ信号の1本の線上の画素として符号化することが可能である。埋め込まれた画素は、1本の画像線をマスクし、関連するカメラパラメータのデータを符号化するために公知のNTSCレベルを使用する。この配置構成は図4に図示されており、画像の上端にある最初の水平線が、符号化されたデータである。従って、図4の上端の水平線は、黒一色に見える。フレームの初めに、及び/又は、最後の水平線を表す、フレームの終わりに、カメラベースのパラメータのデータのための水平線が選択された場合には、車両ディスプレイ30が非ビデオデータの線を表示するのを阻止するように、ECU20がプログラミングされている。従って、図3の実施形態のように、符号化された非ビデオデータが車両ディスプレイ30上に表示されることはない。
別の一つの実施形態では、PAL方式のアナログ信号を出力するPAL方式のビデオカメラが設けられている。カメラベースのパラメータは、PAL方式のアナログ信号の1本の線上の画素として、又は、PALフレームの最初の線と最後の線との双方における画素として符号化することができる。埋め込まれた画素は、1本の画像線をマスクし、関連するカメラパラメータのデータを符号化するために公知のPALレベルを使用する。従って、PAL方式のビデオカメラを用いた実施形態は、NTSC方式のビデオカメラと同様の方法で動作する。
別の一つの実施形態では、ビデオカメラ28からのアナログ信号内に設けられる、非ビデオデータ識別子であるデータのシーケンスが、画像信号処理装置46によってビデオストリームに埋め込まれる。その後、画像信号処理装置46は、カメラベースのパラメータをビデオストリーム上に同様に伝送する。非ビデオデータ識別子は、カメラベースのパラメータが後続することを知らせるフラグ/マーカーとして機能する。電子制御ユニット20の処理装置は、アナログ信号の処理中に非ビデオデータ識別子を検索するようにプログラミングされている。非ビデオデータ識別子が特定されると、その後の所定数の画素は表示もされず、その代わりに、カメラベースのパラメータとして処理される。非ビデオデータは、ビデオストリームが表示のために残留するようにアナログ信号から除去される。
カメラパラメータをビデオストリームと組み合わせてアナログ信号を形成することにより、ビデオカメラ28は、その結果として形成されたアナログ信号を、単一のチャネル上でECU20に送信する。従って、専用のバックチャネルを必要としないので、システムは、専用のバックチャネルを使用しない。
従って、本発明は特に、カメラベースのパラメータを、下流で復号されるアナログビデオストリーム上に符号化することに加えて、カメラベースの非ビデオパラメータをアナログビデオストリーム内の“画素”として供給するための車両システム及び方法を提供する。本発明の種々の特徴及び利点は、添付の特許請求の範囲に記載されている。

Claims (20)

  1. カメラベースのパラメータと、車両の所定の領域を観察するために配置されたビデオカメラからのビデオストリームとを、前記車両に搭載された電子制御ユニットに伝送する方法において、
    前記車両に搭載された画像センサを用いてビデオストリームを生成することと、
    前記ビデオストリーム上にカメラベースのパラメータを伝送して、前記ビデオストリームと前記カメラベースのパラメータとを搬送するアナログ信号を供給することと、
    前記アナログ信号を前記電子制御ユニットに伝送することと、
    前記アナログ信号から前記カメラベースのパラメータを回収することと、
    を含むことを特徴とする方法。
  2. 前記方法は、前記ビデオストリームを表示することを含み、
    前記領域は、前記車両から観察される車外領域を含み、
    前記ビデオカメラは、前記車両に搭載された前記画像センサと、前記カメラベースのパラメータを受信するための制御装置と、前記ビデオストリーム上に前記カメラベースのパラメータを伝送して前記アナログ信号を供給するための画像信号制御装置とを含み、
    前記方法はさらに、前記カメラベースのパラメータに部分的に基づいて、前記ビデオストリームを車両ディスプレイ上に表示することを含む、
    請求項1に記載の方法。
  3. 前記アナログ信号は、NTSC方式のアナログ信号及びPAL方式のアナログ信号のいずれか一方を含む、
    請求項1に記載の方法。
  4. 前記アナログ信号は、NTSC方式のアナログ信号を含み、
    前記カメラベースのパラメータは、前記NTSC方式のアナログ信号のフレームの初めにある最初の水平線に設けられる画素、及び、前記NTSC方式のアナログ信号の前記フレームの終わりにある最後の水平線に設けられる画素、の一方又は両方として供給される、
    請求項1に記載の方法。
  5. 前記アナログ信号は、NTSC方式のアナログ信号を含み、
    前記カメラベースのパラメータは、前記NTSC方式のアナログ信号によって搬送される画像のフレームの角部に画素として埋め込まれる、
    請求項1に記載の方法。
  6. 前記カメラベースのパラメータは、前記ビデオストリーム上に伝送される非ビデオデータ識別子に後続して、当該ビデオストリーム上に伝送される、
    請求項1に記載の方法。
  7. 前記カメラベースのパラメータは、カメラ較正パラメータ及びカメラ自己監視パラメータの少なくとも一方を含む、
    請求項1に記載の方法。
  8. 前記カメラ較正パラメータは、レンズ特性を含む、
    請求項7に記載の方法。
  9. 前記方法のための前記自己監視パラメータは、フレームカウンタ、及び、前記ビデオカメラのための温度値の少なくとも一方を含み、
    前記ビデオカメラは、前記電子制御ユニットに接続される複数のビデオカメラのうちの一つを含む、
    請求項7に記載の方法。
  10. 前記ビデオカメラは、前記画像センサと、不揮発性メモリを有する制御装置と、前記アナログ信号を前記電子制御ユニットに供給するための画像信号処理装置とを含み、
    観察される前記領域は、前記車両の室内領域である、
    請求項1に記載の方法。
  11. 前記方法は、前記アナログ信号から回収された前記カメラベースのパラメータを、前記車両ディスプレイ上における前記ビデオストリームの表示を制御するために供給することを含む、
    請求項1に記載の方法。
  12. 前記アナログ信号を前記電子制御ユニットに伝送することは、前記アナログ信号を単一のチャネル上で伝送することを含み、
    前記方法は、専用のバックチャネルを使用しない、
    請求項1に記載の方法。
  13. カメラベースのパラメータと、ビデオストリームとを伝送する車両システムにおいて、
    前記車両システムは、車両の所定の領域を観察するために車両に配置されたビデオカメラを含み、前記ビデオカメラは、
    前記車両の前記領域のビデオ画像を生成し、ビデオストリームを獲得するための画像センサと、
    カメラベースのパラメータを供給するための制御装置と、
    画像信号処理装置と、
    を含み、前記画像信号処理装置は、
    前記画像センサから前記ビデオストリームを受信し、
    前記制御装置からカメラベースのパラメータを受信し、
    前記ビデオストリーム上に前記カメラベースのパラメータを伝送して、前記ビデオストリームと前記カメラベースのパラメータとを含むアナログ信号を出力する
    ように構成されており、
    前記車両システムはさらに、ビデオ受信器を含む電子制御ユニットを含み、前記電子制御ユニットは、
    前記ビデオカメラから前記アナログ信号を受信し、
    前記アナログ信号から前記カメラベースのパラメータを回収する
    ように構成されている、
    ことを特徴とする車両システム。
  14. 前記車両システムはさらに、車両ディスプレイを含み、
    前記車両ディスプレイは、前記電子制御装置によって供給された前記ビデオストリームを受信し、前記車両内の車両操作者に前記ビデオストリームを表示するように構成されており、
    前記車両の前記領域は、前記車両から観察される車外領域を含む、
    請求項13に記載の車両システム。
  15. 前記カメラベースのパラメータは、前記アナログ信号のフレームの初めにある最初の水平線に設けられる画素、及び、前記アナログ信号のフレームの終わりにある最後の水平線に設けられる画素、の一方又は両方として供給される、
    請求項13に記載の車両システム。
  16. 前記カメラベースのパラメータは、前記アナログ信号によって搬送される前記ビデオストリームのビデオ画像のフレームの角部に画素として埋め込まれる、
    請求項13に記載の車両システム。
  17. 前記カメラベースのパラメータは、前記ビデオストリーム上に伝送される非ビデオデータ識別子に後続して、当該ビデオストリーム上に伝送される、
    請求項13に記載の車両システム。
  18. 前記カメラベースのパラメータは、カメラ較正パラメータ及びカメラ自己監視パラメータの少なくとも一方を含み、
    前記ビデオカメラは、前記電子制御ユニットに接続される複数のビデオカメラのうちの一つを含む、
    請求項13に記載の車両システム。
  19. 前記電子制御ユニットは、前記カメラベースのパラメータに少なくとも部分的に基づいて、前記ビデオストリームを出力するように構成されている、
    請求項18に記載の車両システム。
  20. 前記制御装置は、不揮発性メモリを含み、
    前記ビデオカメラは、前記アナログ信号を前記電子制御ユニットに単一のチャネル上で伝送するように構成されており、
    前記車両システムは、専用のバックチャネルを使用しない、
    請求項13に記載の車両システム。
JP2016556925A 2014-03-12 2015-03-09 専用のバックチャネルを使用することなくカメラベースのパラメータを送信するためのシステム及び方法 Active JP6526696B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461951597P 2014-03-12 2014-03-12
US61/951,597 2014-03-12
PCT/US2015/019472 WO2015138331A1 (en) 2014-03-12 2015-03-09 System and method for transmitting camera-based parameters without a dedicated back channel

Publications (2)

Publication Number Publication Date
JP2017515332A true JP2017515332A (ja) 2017-06-08
JP6526696B2 JP6526696B2 (ja) 2019-06-05

Family

ID=52697565

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016556925A Active JP6526696B2 (ja) 2014-03-12 2015-03-09 専用のバックチャネルを使用することなくカメラベースのパラメータを送信するためのシステム及び方法

Country Status (5)

Country Link
US (1) US10027904B2 (ja)
EP (1) EP3117603B1 (ja)
JP (1) JP6526696B2 (ja)
CN (1) CN106233717B (ja)
WO (1) WO2015138331A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170036599A1 (en) * 2015-08-06 2017-02-09 Ford Global Technologies, Llc Vehicle display and mirror
JP2018205988A (ja) * 2017-06-01 2018-12-27 株式会社リコー 画像処理装置、画像処理方法及びプログラム
US11554727B2 (en) * 2017-11-06 2023-01-17 Magna Electronics Inc. Multi-camera vehicle vision system with data synchronization
KR20210045106A (ko) * 2019-10-16 2021-04-26 현대자동차주식회사 차량 및 차량의 제어방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0514869A (ja) * 1991-06-28 1993-01-22 Sony Corp 映像信号伝送方法
JPWO2004106857A1 (ja) * 2003-05-29 2006-07-20 オリンパス株式会社 ステレオ光学モジュール及びステレオカメラ
JP2006304171A (ja) * 2005-04-25 2006-11-02 Aisin Seiki Co Ltd 画像処理システム
JP2008054056A (ja) * 2006-08-24 2008-03-06 Sumitomo Electric Ind Ltd 対象物検出システム、及び対象物検出方法
WO2014017105A1 (ja) * 2012-07-26 2014-01-30 京セラ株式会社 画像監視装置、移動体、プログラム、および故障判定方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5216502A (en) 1990-12-18 1993-06-01 Barry Katz Surveillance systems for automatically recording transactions
US7415718B1 (en) 2000-05-31 2008-08-19 Aol Llc Receiving and processing vertical blanking interval data
US7365772B2 (en) 2001-10-11 2008-04-29 Sanyo Electric Co., Ltd. Communication method and monitoring camera system
US7027101B1 (en) 2002-05-13 2006-04-11 Microsoft Corporation Selectively overlaying a user interface atop a video signal
CN100554878C (zh) * 2003-05-29 2009-10-28 奥林巴斯株式会社 立体光学模块和立体摄像机
CA2476150C (en) 2003-07-30 2016-03-15 I3Dvr International Inc. Method and system for overlaying image with text
TWI279139B (en) 2005-09-16 2007-04-11 Realtek Semiconductor Corp Data recovery device and method
US20080050092A1 (en) 2006-08-25 2008-02-28 Forrest Lee Erickson Video overlay text/ graphic inserter for exception video trigger
GB2451485A (en) 2007-08-01 2009-02-04 Airmax Group Plc Vehicle monitoring system
JP4334591B2 (ja) * 2007-12-27 2009-09-30 株式会社東芝 マルチメディアデータ再生装置
JP5147438B2 (ja) * 2008-02-05 2013-02-20 キヤノン株式会社 出力装置、方法及びプログラム
CN102144237B (zh) * 2008-07-03 2014-10-22 美国唯美安视国际有限公司 压缩媒体的有效水印方法
CN101478661A (zh) * 2008-11-04 2009-07-08 深圳中兴力维技术有限公司 一种在视频流中提供高质量字幕叠加的系统和方法
JP2010188765A (ja) 2009-02-16 2010-09-02 Alpine Electronics Inc 測光領域決定装置および測光領域決定方法
EP2539895B1 (en) * 2010-02-22 2014-04-09 Dolby Laboratories Licensing Corporation Video display with rendering control using metadata embedded in the bitstream.
US9226048B2 (en) * 2010-02-22 2015-12-29 Dolby Laboratories Licensing Corporation Video delivery and control by overwriting video data
US9117123B2 (en) 2010-07-05 2015-08-25 Magna Electronics Inc. Vehicular rear view camera display system with lifecheck function
US20130141572A1 (en) 2011-12-05 2013-06-06 Alex Laton Torres Vehicle monitoring system for use with a vehicle
CN103248964B (zh) * 2013-04-07 2016-04-06 同济大学 基于rtp/rtcp的车载视频传输系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0514869A (ja) * 1991-06-28 1993-01-22 Sony Corp 映像信号伝送方法
JPWO2004106857A1 (ja) * 2003-05-29 2006-07-20 オリンパス株式会社 ステレオ光学モジュール及びステレオカメラ
JP2006304171A (ja) * 2005-04-25 2006-11-02 Aisin Seiki Co Ltd 画像処理システム
JP2008054056A (ja) * 2006-08-24 2008-03-06 Sumitomo Electric Ind Ltd 対象物検出システム、及び対象物検出方法
WO2014017105A1 (ja) * 2012-07-26 2014-01-30 京セラ株式会社 画像監視装置、移動体、プログラム、および故障判定方法

Also Published As

Publication number Publication date
EP3117603A1 (en) 2017-01-18
JP6526696B2 (ja) 2019-06-05
WO2015138331A1 (en) 2015-09-17
CN106233717A (zh) 2016-12-14
CN106233717B (zh) 2020-09-15
EP3117603B1 (en) 2020-05-13
US20170078588A1 (en) 2017-03-16
US10027904B2 (en) 2018-07-17

Similar Documents

Publication Publication Date Title
JP6526696B2 (ja) 専用のバックチャネルを使用することなくカメラベースのパラメータを送信するためのシステム及び方法
CN102273201B (zh) 车辆用周边监视装置以及车辆用周边图像显示方法
JP5341789B2 (ja) パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム
US8797263B2 (en) Apparatus, method for measuring 3 dimensional position of a viewer and display device having the apparatus
KR101521008B1 (ko) 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템
US11516451B2 (en) Imaging apparatus, imaging processing method, image processing device and imaging processing system
WO2013183330A1 (ja) 撮像装置
US20120293654A1 (en) Image transmission apparatus, image transmission method thereof, and storage medium
US8994825B2 (en) Vehicle rear view camera system and method
US20160134808A1 (en) 360-degree panorama driving recorder system and method
US8780171B2 (en) Video signal processor and video signal processing method with markers for indicating correct component connection
US20200055455A1 (en) Vehicular image-display system
KR101874588B1 (ko) 고해상도 카메라를 이용한 다채널 관심영역 표출방법
US10949678B2 (en) Device and method for displaying regions including a portion on a screen that is concealed by an object
JP2012138875A (ja) 画像処理装置、画像表示システム、及び、画像処理方法
JP2016123021A (ja) 画像処理システム及び画像処理装置
KR101552112B1 (ko) 자동차 시스템
JP4513013B2 (ja) 画像処理システム
JP6329505B2 (ja) 固体撮像素子、撮像モジュール、および電子機器
US20220215668A1 (en) Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings
EP3886431A1 (en) Image processing device, camera system, and image processing method
US20220408062A1 (en) Display control apparatus, display control method, and program
KR20100115056A (ko) 듀얼 감시 카메라를 이용한 모니터링 시스템
KR20180022327A (ko) Cctv 카메라의 360도 영상 변환 장치
JP4941406B2 (ja) 表示装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190408

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190508

R150 Certificate of patent or registration of utility model

Ref document number: 6526696

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250