JP2006527354A - 画像センサのキャリブレーションのための装置及び方法 - Google Patents

画像センサのキャリブレーションのための装置及び方法 Download PDF

Info

Publication number
JP2006527354A
JP2006527354A JP2006504237A JP2006504237A JP2006527354A JP 2006527354 A JP2006527354 A JP 2006527354A JP 2006504237 A JP2006504237 A JP 2006504237A JP 2006504237 A JP2006504237 A JP 2006504237A JP 2006527354 A JP2006527354 A JP 2006527354A
Authority
JP
Japan
Prior art keywords
image sensor
reference object
image
scene
calibration parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006504237A
Other languages
English (en)
Inventor
ボーテ ハンス−ディーター
シュテフェン アブラハム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JP2006527354A publication Critical patent/JP2006527354A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512Passenger detection systems
    • B60R21/0153Passenger detection systems using field detection presence sensors
    • B60R21/01538Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R25/1004Alarm systems characterised by the type of sensor, e.g. current sensing means
    • B60R25/1012Zone surveillance means, e.g. parking lots, truck depots

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Air Bags (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

少なくとも1つの画像センサの幾何学的なキャリブレーションの少なくとも1つのキャリブレーションパラメータの監視、トラッキング、決定のための装置及び方法が提案され、少なくとも1つの画像センサは部分において不変のシーンを監視する。実施例においては、少なくとも1つの画像センサが自動車の車内空間の監視のために使用される。

Description

本発明は画像センサのキャリブレーションパラメータ(Kalibrierparameter)の決定のための装置及び方法に関する。
自動車メーカは、自動車の車内空間の監視のためのセンサ装置、とりわけ画像センサの使用を企画している。インテリジェントエアバッグ制御において画像センサの使用が行われる。例えば後ろ向きに組み込まれるチャイルドシートにおけるエアバッグのトリガによる幼児の負傷を良好に阻止するために、インテリジェントエアバッグ制御の枠内では自動車における着座の分類が行われる。他方で、例えば頭又は胴体のような乗員のボディ部分の位置及び/又はエアバッグに関して乗員の着座体勢をいわゆる「アウト・オブ・ポジション(Out-of-Position)検出」によって監視することが企画されており、この結果、とりわけエアバッグモジュールのトリガの際のこのエアバッグモジュールへの頭部の密接した位置決めによる負傷を防止する。
例えばWO01/60662A1からビデオセンサ装置及びフットスペースセンサ装置による着座識別のための方法及び装置が公知である。フットスペースセンサ装置とともにシートにいる人物の頭部の高さをビデオセンサ装置によって検出し、着座の分類を実施し、着座に依存してエアバッグを制御することが提案されている。ビデオセンサ装置の画像センサのキャリブレーションパラメータの決定のための装置及び方法に対する示唆はこのWO01/60662A1には欠けている。
本発明の利点
少なくとも1つの画像センサの少なくとも1つのキャリブレーションパラメータを決定するための以下に記述される装置であって、少なくとも1つの画像センサのデキャリブレーションが識別される場合には少なくとも1つの処理ユニットが少なくとも1つのキャリブレーションパラメータを画像信号に依存して決定し、これらの画像信号を少なくとも1つの画像センサは少なくとも1つの不変パターンから導出する、少なくとも1つの画像センサの少なくとも1つのキャリブレーションパラメータを決定するための以下に記述される装置は、次のような利点を有する。すなわち、少なくとも1つの画像センサの誤作動がデキャリブレーション(Dekalibrierung)によって識別され、さらに自動的に補正されうる。選択的に又は付加的に、有利には、識別されたデキャリブレーションを少なくとも1つの後続のシステム及び/又は自動車の運転者(オペレータ)に通報する。キャリブレーションの自動的な監視は有利には画像センサの信頼できる確実な機能に寄与し、これによってとりわけ自動車内部空間における安全性のクリティカルな適用事例に対する画像センサの使用を可能にする。
さらに有利なやり方では自動車における少なくとも1つの画像センサの取り付けのコストが少なくとも1つのキャリブレーションパラメータの自動的な決定によって低減される。これによって、自動車の製造中に及び/又は修理作業に特別なキャリブレーション方法を実施する必要性がなくなる。さらに、本発明の装置は、もしキャリブレーションパラメータの維持のための以下において記述される本発明の装置が無いならば、詳しく明細を示さなければならないはずの狭い製造トレランスを拡大することに寄与する。これから自動車の製造及び/又は修理におけるとりわけ有利なコスト低下が得られる。要するに、以下において記述される本発明の装置は、有利なやり方で、自動車の安全性に関するクリティカルな適用事例における、とりわけインテリジェントエアバッグ制御における画像センサの大量生産方式による配備(Serieneinsatz)に適している。なぜなら、画像センサの誤作動がとりわけデキャリブレーションの形式において識別されるからである。
少なくとも1つのキャリブレーションパラメータの決定のためにシーンに設けられる少なくとも1つの基準オブジェクトによる少なくとも1つの不変パターンの形成は、とりわけ有利である。少なくとも1つの画像センサのキャリブレーションのためにシグナリングする基準オブジェクトの利用は有利である。自動車の車内空間におけるシグナリングする基準オブジェクトがとりわけ有利である。シグナリングする基準オブジェクトは、センサ装置により簡単に検出可能であり、シグナリングによって信号処理手段により測定データの中から確実に識別可能であるという利点を有する。
基準オブジェクトのシグナリングが特別な輝度によって、LEDダイオード及び/又は赤外線発光ダイオードのような発光手段によってアクティブに又は高い反射率の表面(反射能(Rueckstrahlvermoegen)、アルベド(Albedo))によってパッシブに達成されると有利である。従って、発光手段、とりわけ発光ダイオード(LEDダイオード)として構成される及び/又は高い反射率を有する基準オブジェクトは特別な利点を有する。このように構成される基準オブジェクトは処理ユニットによる少なくとも1つの不変パターンの簡単な検出可能性に寄与する。
さらに、少なくとも1つの基準オブジェクトのシグナリングが特別な形状によって達成されると有利である。例えば点及び/又は円及び/又は三角形及び/又は四角形及び/又は正方形のような幾何学的形状を有する基準オブジェクトはとりわけ有利である。選択的に又は付加的に、文字及び/又は字体及び/又はロゴも基準オブジェクトとして有利である。これは画像信号における少なくとも1つの不変パターンの簡単な識別可能性に寄与する。
さらに、少なくとも1つの2次元(2D)及び/又は少なくとも1つの3次元(3D)の不変パターンへの基準オブジェクトの配置は有利であり、パターンは例えば十字及び/又は円及び/又は字体のような幾何学的形状を有する。とりわけ有利には以下に記述される本発明の装置のこの変形実施形態は、シグナリングする基準オブジェクトに、とりわけ発光ダイオードのような発光手段によりシグナリングする基準オブジェクトに関連している。これは、少なくとも1つの不変パターンが処理ユニットによって簡単に再識別され、場合によっては様々な異なる不変パターンが互いに区別されうることに寄与する。
とりわけ有利には、少なくとも1つの基準オブジェクトは少なくとも1つの画像センサの監視機能に関して重要な少なくとも1つのシーンのオブジェクトに設けられる。とりわけ自動車における本発明の装置の使用の際には、少なくとも1つの既知の基準オブジェクト及び/又は不変パターン(基準パターン)が例えばエアバッグの蓋及び/又は本来のエアバッグ及び/又はハンドルのようなその都度の適用事例にとって重要な少なくとも1つのオブジェクトに存在すると特に有利である。このことは、センサ装置の、すなわち少なくとも1つの画像センサの位置及び配向がこの少なくとも1つの重要なオブジェクトにア・プリオリに例えば更に別のセンサによる測定によって既知となる必要なしに、自動車車内空間の少なくとも1つの又は複数のこれらの重要なオブジェクトと他のシグナリングしないオブジェクトとの間の間隔測定を可能にする。
さらに有利には、少なくとも1つの不変パターンは選択的に又は付加的にシーンの少なくとも1つの自然に存在するオブジェクトによって形成される。とりわけ有利には、キャリブレーションの目的のために、自動車の車内空間内に構造上存在する少なくとも1つのオブジェクトの位置が画像信号において監視され、トラッキングされる。自動車内に構造上存在するオブジェクトは例えば少なくとも1つのドアバー及び/又は少なくとも1つの計器類及び/又は少なくとも1つの自動車ルーフの天井である。
少なくとも1つのCMOS画像センサ及び/又は少なくとも1つのCCD画像センサ及び/又は少なくとも1つの単眼画像センサ及び/又は少なくとも1つのステレオカメラ及び/又は少なくとも1つの距離画像生成画像センサの少なくとも1つのキャリブレーションパラメータの決定のための以下において記述される本発明の装置は有利である。
上述の本発明の装置の利点は少なくとも1つの画像センサの少なくとも1つのキャリブレーションパラメータの決定のための方法に対しても相応に当てはまる。
プログラムがコンピュータで実行される場合に、以下において記述される本発明の方法の全てのステップ又は少なくとも基本的なステップを実施するためのプログラムコード手段を有するコンピュータプログラムはとりわけ有利である。コンピュータプログラムの使用によって、異なる不変パターン及び/又は異なるシーン、とりわけ異なる自動車の車内空間への本発明の方法の迅速かつコスト安な適合が可能となる。
更なる利点は図面を参照する実施例の以下の記述及び従属請求項から得られる。
図面
本発明を次に図面に図示された実施形態に基づいて詳しく説明する。
図1は概略図を示し、
図2はブロック回路図を示し、
図3は有利な実施例の概略図を示し、
図4はフローチャートを示し、
図5は更に別の実施例の概略図を示す。
実施例の記述
以下において少なくとも1つの画像センサの幾何学的なキャリブレーションの少なくとも1つのキャリブレーションパラメータの監視、トラッキング、決定のための装置及び方法が記述され、少なくとも1つの画像センサは部分において不変のシーンを監視するように構成されている。実施例では、この少なくとも1つの画像センサが自動車の車内空間の監視のために使用される。
とりわけ着座の分類及び/又はアウト・オブ・ポジション検出の際の車両内空間におけるインテリジェントエアバッグ制御の枠内での画像センサの使用では、測定データと車両内空間、例えばボディ及び/又はエアバッグモジュールとの間の幾何学的な位置関係の作成が必要不可欠である。このために2つの異なるやり方が考えられる。まず第1には、数学的モデルによって明示的に測定値検出を記述することが可能である。この数学的モデルは自動車に関して少なくとも1つの画像センサの位置を記述する数値的なキャリブレーションパラメータ(外因的(extrinsic)キャリブレーションの外因的キャリブレーションパラメータ)及び/又は少なくとも1つの画像センサにおける測定値検出を特徴付ける数値的キャリブレーションパラメータ(内因的(intrinsic)キャリブレーションの内因的キャリブレーションパラメータ)を含む。内因的キャリブレーションパラメータは例えば少なくとも1つのカメラ定数及び/又は少なくとも1つのカメラ中心点及び/又は少なくとも1つのインデックスパラメータである。第2のやり方では、測定データの直接評価が例えばクラシフィケータを介して行われる。この場合、明示的に数値的キャリブレーションパラメータは全システム画像センサ及び評価において存在しない。分類のためには、処理ユニットにおいて学習能力のあるクラシフィケータ、例えばニューラルネットワークが使用される。クラシフィケータはまず最初にトレーニングされる。このためにセンサによって様々な着座、例えば空席及び/又はチャイルドシートが撮影され、状況に対して手動で例えば空席のような所望の正しい判定が記憶される。正しい判定を有する測定データがクラシフィケータに伝達され、このクラシフィケータはここから分類のためのデータを抽出する(ニューラルネットワークのトレーニング)。その後の使用において、クラシフィケータは入力されてくる測定データから判定を導き出す。クラシフィケータはジオメトリ及びキャリブレーションについては何も知らない。画像センサがその位置を自動車内で変える場合には、このクラシフィケータが新たなトレーニングなしで正確な結果を供給することは保証されない。車内空間の監視のための自動車内画像センサの作動開始の後で、これら2つのやり方に相応してキャリブレーションパラメータが既知でなければならない及び/又は決定されなければならないか、又は、暗黙裡に測定検出の特性は既知なものとしてかつ使用時間に亘って不変なものとして前提される。測定データと監視されるシーンとりわけ自動車の車内空間との間に明示的に及び/又は暗黙裡に既知の幾何学的関係が存在するという少なくとも1つの画像センサのこの特性は、少なくとも1つの画像センサの幾何学的キャリブレーションを表している。
以下に記述される本発明の装置及び方法は、例えば調整不足(Dejustage)及び/又は測定値検出における変化による少なくとも1つの画像センサのデキャリブレーションの自動的な監視及び識別を行う。そのほかに、本発明の装置及び方法は、センサ動作中の少なくとも1つの画像センサの少なくとも1つのキャリブレーションパラメータの自動的な決定及び/又はトラッキングを可能にする。デキャリブレーションの自動的な監視及び少なくとも1つの画像センサのキャリブレーションのためには、少なくとも1つの特別なシグナリングする基準オブジェクトが使用され、この特別なシグナリングする基準オブジェクトは有利な実施例では自動車の車内空間に設けられており及び/又は少なくとも1つの自然に存在するシーンのオブジェクトが有利な実施例では自動車内に構造上存在する少なくとも1つのオブジェクトが基準オブジェクトとして使用される。これらの基準オブジェクトは少なくとも1つの画像センサによって観察される。さらに、これらの基準オブジェクトに所属する少なくとも1つの画像センサの測定データは目標データと比較されることによって評価される。測定データと目標データとの間の差に基づいて、少なくとも1つの画像センサの機能が監視され及び/又は少なくとも1つの画像センサが少なくとも1つのキャリブレーションパラメータの決定の後でキャリブレートされる。
図1は、自動車の車内空間28の監視のために使用される画像センサ12の使用を説明するための有利な実施例の概略図を示す。画像センサ12は自動車の風防ガラス30及びルーフ36の領域に設けられ、この画像センサ12の画像検出領域は自動車の車内空間28を検出する。この場合、画像センサ12はシート38、例えば同乗者シート及び/又はヘッドレスト40を撮影する。さらに、画像センサ12は場合によっては車内空間28内のここには示されていない人物及び/又はとりわけシート38上の他の対象物を検出する。画像センサ12は信号線路26を介して処理ユニット14に接続されている。図1では画像センサ12の位置30は自動車の基準系32に関して図示されている。さらに、図1はエアバッグモジュール50を示し、このエアバッグモジュール50は自動車の事故の際に車内空間28内の人物の保護のために使用される。
図2は図1のブロック回路図を示し、これは監視すべきシーン10、画像センサ12及び処理ユニット14から成る。監視すべきシーン10は自動車の車内空間である。画像センサ12は監視すべきシーン10の光放射20から画像信号22を発生する。画像信号22は測定データとして図1の信号線路26を介して処理ユニット14に伝送される。処理ユニット14では一方で少なくとも1つのキャリブレーションパラメータを決定するための後述する方法が実施される。他方で、処理ユニット14では画像センサ12の監視機能を果たすために画像センサ12の画像信号22の処理が実施される。画像センサ12及び処理ユニット14は測定システム16を形成する。有利な実施例では、画像センサ12はインテリジェントエアバッグ制御のために使用される。処理ユニット14は画像信号22を評価し、この結果、測定システムの信号24を信号線路を介してエアバッグ制御のための後続システム18に転送する。測定システムの信号24は、着座の分類のための情報及び/又は自動車のシート上の人物のアウト・オブ・ポジション検出に関するデータを含んでいる。画像信号22及び/又は測定システムの信号24の信号線路における伝送は電気的に及び/又は光学的に及び/又は無線により行われる。この有利な実施例の変形実施例では、画像センサ12及び/又は処理ユニット14及び/又は後続システム18が1つの又は場合によっては複数のユニットにおいて実現されている。
図3は、画像センサ12の少なくとも1つのキャリブレーションパラメータを決定するための装置を有する有利な実施例の概略図を示す。図3は図1の拡張例である。以下においては図3の付加部分のみを説明する。自動車の車内空間28には特別にシグナリングするオブジェクト42が設けられており、これらのオブジェクト42は画像センサの画像検出領域にある。シグナリングするオブジェクト42はこの有利な実施例では各センサシステム、画像センサ12によって良好に自動的に検出されるオブジェクトである。この有利な実施例では、赤外線発光ダイオード(IR発光ダイオード)が使用される。画像センサ12(ビデオセンサ)の測定データ(画像信号)におけるシグナリングするオブジェクト42の位置は、シグナリングするオブジェクト42の目標位置と処理ユニット14において比較される。偏差によってデキャリブレーションが識別される。さらに、シグナリングするオブジェクト42の位置はセンサ測定データにおいて少なくとも1つのキャリブレーションパラメータのトラッキング及び/又は決定のために使用される。この有利な実施例の変形実施例では、シグナリングする基準オブジェクト42として高い反射率を有する表面を有する基準オブジェクトが使用される。有利には0.5と1.0との間の反射率を有するシグナリングする基準オブジェクト42が使用される。反射率の同義語、反射能(Rueckstrahlvermoegen)すなわちアルベド(Albedo)は表面に入射するビームのうちの反射されるビームの成分を示す。反射率の値は0と1と間の値を取りうる。1の値は入射するビームの100%が反射されることを意味する。さらに、基準オブジェクトは場合によっては幾何学的な形状を有する。幾何学的な形状としては、例えば少なくとも1つの点及び/又は少なくとも1つの円及び/又は少なくとも1つの三角形及び/又は少なくとも1つの四角形及び/又は少なくとも1つの正方形が使用される。幾何学的形状に対して選択的に又は付加的に、更に別の変形実施例では基準オブジェクトとして少なくとも1つの文字及び/又は少なくとも1つの字体及び/又は少なくとも1つのロゴが使用される。更に別の変形実施例では、2D又は3Dパターン、例えば少なくとも1つの十字及び/又は少なくとも1つの円及び/又は少なくとも1つの字体に対して選択的に又は付加的に複数の基準オブジェクトが設けられる。さらに、基準オブジェクト及び/又はパターンが選択的に又は付加的にその都度の適用事例にとって重要な少なくとも1つのオブジェクト、例えばエアバッグの蓋及び/又は本来のエアバッグ及び/又はハンドルに設けられる。処理ユニット14は少なくとも1つのマイクロプロセッサを含み、図4に図示される複数のモジュールから成り、これらの複数のモジュールは少なくとも1つのマイクロプロセッサのプログラム及び/又はプログラムステップとして構成されている。
図4は少なくとも1つの画像センサの幾何学的キャリブレーションの少なくとも1つのキャリブレーションパラメータの自動的な制御及び/又はトラッキング及び/又は決定のための有利な実施例の方法のフローチャートを示す。この方法は、自動車の車内空間における基準オブジェクトの幾何学的位置に関するモデル知識60及び/又は自動車の車内空間の基準オブジェクトの少なくとも1つの画像センサの測定データの目標値64に関するモデル知識を前提とする。使用(動作)中には既知の基準オブジェクトに所属するセンサ測定データが画像信号22の形式で画像センサ12によって検出される。基準オブジェクトのセンサ測定データ(画像信号22)は目標データ64と差形成のためのモジュール66において比較され、これからキャリブレーションデータの決定のためのモジュール68において画像センサのデキャリブレーションが識別され、及び/又は、基準オブジェクトのセンサ測定データ(画像信号22)から少なくとも1つのキャリブレーションパラメータが画像センサイメージングの数学的モデルを介して決定される。自動車内部空間ではユークリッド座標系(車両座標系)が定義される。車両内部空間内には既知の3D座標(x,y,z)を有する点状の基準オブジェクトP(i=1..N)がある。さらに、3D車両座標系に画像センサの目標位置(外因的キャリブレーションパラメータ)が与えられている。この目標位置は、6つのパラメータすなわち自動車内の画像センサの投影中心の位置:(t,t,t)及び回転角度α、ψ、γによって指示される自動車と画像センサとの間の回転から成る。これらの回転角度から回転行列
Figure 2006527354
が得られる。さらに内因的キャリブレーションパラメータ、チャンバ定数c、c及び画像中心点の座標x、yが既知である。点オブジェクトの3D座標(x,y,z)の画像への、画像座標(x’,y’)への投影は数学的に次式により記述される:
Figure 2006527354
結果は画像における点状基準オブジェクトの目標座標(x’Si,y’Si)である。画像における点状基準オブジェクトの測定は画像座標(x’Mi,y’Mi)を供給する。目標位置と実際位置との間の距離
Figure 2006527354
はセンサシステムのデキャリブレーションの識別のために使用される。距離が所定の閾値より上にある(dSMi>dSMmax)ならば、画像センサのデキャリブレーションが存在する。画像センサの外因的キャリブレーションパラメータ(α,ψ,γ,t,t,t)の補正のために、これらのパラメータ(α,ψ,γ,t,t,t)が変化され、この結果、測定された画像座標と投影された画像座標との間の誤差二乗和が最小となる:
Figure 2006527354
画像座標x’(α,ψ,γ,t,t,t)乃至はy’(α,ψ,γ,t,t,t)は上記投影規則(2)から得られる。
図5は画像センサ12の少なくとも1つのキャリブレーションパラメータの決定のための装置を有する更に別の実施例の概略図を示す。図5は図1の拡張例である。以下において図5の付加部分のみを説明する。デキャリブレーションの監視のために及び/又は幾何学的キャリブレーションの少なくとも1つのキャリブレーションパラメータの決定のために、この実施例では自動車内に構造上存在するオブジェクトの位置がセンサ測定データにおいて監視され、トラッキングされる。ドアバー44及び/又は車両ルーフの天井46及び/又は計器類48のような構造上自動車内に存在するオブジェクトが基準オブジェクトとして使用され、これらの基準オブジェクトの位置は画像センサ12の画像信号に依存して測定され、チェックされる。処理ユニット14は図3の有利な実施例の場合のように少なくとも1つのマイクロプロセッサを含み、図4に図示された複数のモジュールから成る。これらの複数のモジュールは少なくとも1つのマイクロプロセッサのプログラム及び/又はプログラムステップとして構成されている。更に別の実施形態では基準オブジェクトとして少なくとも1つのキャリブレーションパラメータの決定のためにシーンに設けられる少なくとも1つの基準オブジェクト(シグナリングする基準オブジェクト)及び少なくとも1つの自然に存在するシーンのオブジェクト、すなわち自動車の車内空間に構造上存在するオブジェクトが使用される。
少なくとも1つの画像センサの少なくとも1つのキャリブレーションパラメータの決定のための上記装置及び方法は、自動車技術における使用に限定されない。むしろ、相応の特徴的構成を有する上記方法は自動車技術以外でも使用される。前提条件は、少なくとも1つの画像センサが部分において不変のシーンの監視に適するように構成されていることだけである。部分において不変のシーンは、シーンの部分が時間的に変化しないことによって特徴付けられる。このようなシーンは例えば監視技術及びセキュリティ技術においてあらわれる。空港、駅又は道路の監視において、シーンは同様に部分において不変である。別の適用事例は、少なくとも1つの画像センサによる部屋の監視、例えば銀行の金庫室の監視である。これらのシーンも部分において不変である。さらに、本発明の方法は自動車の周囲の監視のために使用される少なくとも1つの画像センサにおいて使用される。この場合も、前提条件は、シーンの部分が時間的に不変であることである。時間的に不変の部分は、自動車の構成部材、例えばボンネット及び/又はバンパーが少なくとも1つの画像センサの画像検出領域内にある場合に存在する。
上記装置及び方法の変形実施例では、少なくとも1つの基準オブジェクトが少なくとも1つの画像センサの監視機能に関連してシーンの少なくとも1つの重要なオブジェクトに設けられる。重要なオブジェクトは、これらの重要なオブジェクトが直接的に少なくとも1つの画像センサ12の監視機能のオブジェクトであるか又は選択的に又は付加的に間接的に機能的に画像センサの監視機能と結びつけられているかのいずれかによって特徴付けられる。自動車技術の分野では、エアバッグの蓋が間接的に機能的に画像センサの監視機能と結びつけられている重要なオブジェクトの例である。画像センサは第1にシートの着座状況の監視のために使用されるにもかかわらず、監視機能は機能的にはエアバッグ制御を介してエアバッグの蓋に結びつけられている。セキュリティ技術の分野では、例えば銀行の金庫室の監視の場合には、銀行の金庫は直接的に少なくとも1つの画像センサの監視機能の重要なオブジェクトである。
上述の装置及び方法は更に別の変形実施形態において少なくとも1つの又は1つ以上の画像センサにおいて適用される。画像センサとしては、少なくとも1つの単眼画像センサ及び/又は少なくとも1つのステレオカメラ及び/又は少なくとも1つの距離画像生成画像センサが使用される。ステレオカメラは少なくとも2つの画像センサから成り、これらの少なくとも2つの画像センサは実質的に同一のシーンを撮影する。距離画像生成画像センサは距離画像センサ、例えばタイム・オブ・フライト(Time-of-Flight)光学センサ(レンジビデオカメラ)である。
概略図を示す。 ブロック回路図を示す。 有利な実施例の概略図を示す。 フローチャートを示す。 更に別の実施例の概略図を示す。
符号の説明
10 監視すべきシーン
12 画像センサ
14 処理ユニット
16 測定システム
18 後続システム
20 光放射
22 画像信号
24 測定システムの信号
26 信号線路
28 車内空間
30 風防ガラス
32 自動車の基準系
36 ルーフ
38 シート
40 ヘッドレスト
42 シグナリングする基準オブジェクト
44 ドアバー
46 車両ルーフの天井
48 計器類
50 エアバッグモジュール
60 モデル知識
64 測定データの目標値
66 差形成のためのモジュール
68 キャリブレーションデータの決定のためのモジュール

Claims (10)

  1. 少なくとも1つの画像センサの少なくとも1つのキャリブレーションパラメータを決定するための装置において、
    少なくとも1つの画像センサは、部分において不変のシーン、とりわけ自動車の車内空間を監視し、
    少なくとも1つの処理ユニットは画像信号に依存して少なくとも1つの画像センサの動作においてこの少なくとも1つの画像センサのデキャリブレーションを識別し、
    少なくとも1つの処理ユニットはデキャリブレーションが識別される場合にはこのデキャリブレーションを後続のシステム及び/又は運転者に通報し、及び/又は、少なくとも1つのキャリブレーションパラメータを画像信号に依存して決定し、
    少なくとも1つの画像センサは画像信号を少なくともこの少なくとも1つの画像センサの画像検出領域内の少なくとも1つの不変パターンから導出する、少なくとも1つの画像センサの少なくとも1つのキャリブレーションパラメータを決定するための装置。
  2. 少なくとも1つの不変パターンは少なくとも1つのキャリブレーションパラメータを決定するためにシーンに設けられた少なくとも1つの基準オブジェクトによって形成されることを特徴とする、請求項1記載の装置。
  3. 少なくとも1つの基準オブジェクトは発光手段であり、とりわけ少なくとも1つの基準オブジェクトは赤外線発光ダイオードであり、及び/又は、少なくとも1つの基準オブジェクトは高い反射率を有するように、とりわけ0.5と1.0との間の反射率を有するように構成されていることを特徴とする、請求項2記載の装置。
  4. 少なくとも1つの基準オブジェクトは幾何学的形状、とりわけ点及び/又は円及び/又は三角形及び/又は四角形及び/又は正方形を有し、及び/又は、少なくとも1つの基準オブジェクトは少なくとも1つの文字及び/又は少なくとも1つの字体及び/又は少なくとも1つのロゴであることを特徴とする、請求項2又は3記載の装置。
  5. 少なくとも1つの基準オブジェクトは少なくとも1つの画像センサの監視機能に関して重要なシーンの少なくとも1つのオブジェクトに設けられており、とりわけ少なくとも1つの基準オブジェクトは自動車の車内空間のエアバッグの蓋及び/又は少なくとも1つのエアバッグ及び/又は少なくとも1つのハンドルに設けられていることを特徴とする、請求項2〜4のうちの1項記載の装置。
  6. 少なくとも1つの不変パターンはシーンの少なくとも1つの自然に存在するオブジェクトによって形成され、とりわけ少なくとも1つの不変パターンは自動車の車内空間内に構造上存在する少なくとも1つのオブジェクトによって形成されることを特徴とする、請求項1〜5のうちの1項記載の装置。
  7. 少なくとも1つの画像センサの少なくとも1つのキャリブレーションパラメータを決定するための方法において、
    少なくとも1つの画像センサは、部分において不変のシーン、とりわけ自動車の車内空間を監視し、
    少なくとも1つの画像センサのデキャリブレーションがこの少なくとも1つの画像センサの動作中に画像信号に依存して識別され、
    デキャリブレーションが識別される場合にはこのデキャリブレーションが後続のシステム及び/又は運転者に通報され、及び/又は、少なくとも1つのキャリブレーションパラメータが画像信号に依存して決定され、
    少なくとも1つの画像センサによってこの少なくとも1つの画像センサの画像検出領域内の少なくとも1つの不変パターンから画像信号が導出される、少なくとも1つの画像センサの少なくとも1つのキャリブレーションパラメータを決定するための方法。
  8. 画像信号は、少なくとも1つのキャリブレーションパラメータを決定するためにシーンに設けられた少なくとも1つの基準オブジェクト及び/又は少なくとも1つの自然に存在するシーンのオブジェクトから導出され、少なくとも1つの基準オブジェクトはとりわけ発光手段であり及び/又は少なくとも1つの基準オブジェクトは高い反射率を有することを特徴とする、請求項7記載の方法。
  9. 画像信号は少なくとも1つの基準オブジェクトから導出され、この少なくとも1つの基準オブジェクトは少なくとも1つの画像センサの監視機能に関して重要なシーンのオブジェクトに設けられており、とりわけ少なくとも1つの基準オブジェクトは自動車の車内空間の少なくとも1つのエアバッグの蓋及び/又は少なくとも1つのエアバッグ及び/又は少なくとも1つのハンドルに設けられていることを特徴とする、請求項8記載の方法。
  10. プログラムがコンピュータで実行される場合に請求項7〜9のうちの各々任意の請求項の全てのステップを実施するためのプログラムコード手段を有するコンピュータプログラム。
JP2006504237A 2003-04-24 2004-02-19 画像センサのキャリブレーションのための装置及び方法 Pending JP2006527354A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10318500A DE10318500A1 (de) 2003-04-24 2003-04-24 Vorrichtung und Verfahren zur Kalibrierung eines Bildsensors
PCT/DE2004/000305 WO2004094196A1 (de) 2003-04-24 2004-02-19 Vorrichtung und verfahren zur kalibrierung eines bildsensors

Publications (1)

Publication Number Publication Date
JP2006527354A true JP2006527354A (ja) 2006-11-30

Family

ID=33304899

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006504237A Pending JP2006527354A (ja) 2003-04-24 2004-02-19 画像センサのキャリブレーションのための装置及び方法

Country Status (8)

Country Link
US (1) US7574315B2 (ja)
EP (1) EP1620289B1 (ja)
JP (1) JP2006527354A (ja)
KR (1) KR20060005381A (ja)
CN (1) CN100408385C (ja)
AU (1) AU2004232395B2 (ja)
DE (2) DE10318500A1 (ja)
WO (1) WO2004094196A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019526101A (ja) * 2016-06-29 2019-09-12 シーイング マシーンズ リミテッド シーンにおけるカメラの姿勢を特定するシステム及び方法
WO2019207625A1 (ja) * 2018-04-23 2019-10-31 三菱電機株式会社 乗員検知装置、乗員検知方法及び乗員検知システム

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004028090A1 (de) * 2004-06-09 2005-12-29 Robert Bosch Gmbh Verfahren zur Kalibrierung einer Sensorik zur Fahrzeuginnenraumüberwachung
DE102004056669A1 (de) * 2004-10-13 2006-04-20 Robert Bosch Gmbh Einrichtung für die Kalibrierung eines Bildsensorsystems in einem Kraftfahrzeug
WO2007043452A1 (ja) * 2005-10-12 2007-04-19 Pioneer Corporation 車載撮影装置及び車載カメラの撮影可動範囲測定方法
US7907185B2 (en) * 2007-07-16 2011-03-15 Aptina Imaging Corporation Lens correction logic for image sensors
US8049163B1 (en) * 2008-09-02 2011-11-01 Flir Systems, Inc. Calibration systems and methods for infrared cameras
US8378290B1 (en) 2008-09-02 2013-02-19 Flir Systems, Inc. Sensor calibration systems and methods for infrared cameras
JP4416827B1 (ja) * 2008-09-10 2010-02-17 シャープ株式会社 評価装置、校正方法、校正プログラム、及び、記録媒体
CN103443580B (zh) * 2011-03-29 2016-08-17 罗伯特·博世有限公司 用于校准一车辆测量用的参考系统的系统和方法
US8589014B2 (en) * 2011-06-01 2013-11-19 Google Inc. Sensor field selection
US10444845B2 (en) 2012-12-21 2019-10-15 Qualcomm Incorporated Display of separate computer vision based pose and inertial sensor based pose
TWI511057B (zh) * 2013-01-04 2015-12-01 Shinsoft Co Ltd 能量輸出控制系統與方法
DE102013107578A1 (de) 2013-07-17 2015-01-22 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren und System zum Simulieren von Kameraeigenschaften
DE102013021616A1 (de) * 2013-12-19 2015-06-25 Audi Ag Kraftfahrzeug und Verfahren zur Überprüfung einer Kalibrierung einer Kamera
DE102014214352A1 (de) * 2014-07-23 2016-01-28 Robert Bosch Gmbh Verfahren und Anordnung zum Betreiben eines Insassenbeobachtungssystems
FR3043824A3 (fr) * 2015-11-13 2017-05-19 Renault Sas Procede et dispositif d'etalonnage de parametres extrinseques d'une camera pour habitacle de vehicule automobile
US9674504B1 (en) * 2015-12-22 2017-06-06 Aquifi, Inc. Depth perceptive trinocular camera system
DE102016003021B4 (de) * 2016-03-12 2017-11-23 Audi Ag Kraftfahrzeug-Steuervorrichtung und Verfahren zum Ermitteln einer Position eines in einem Kraftfahrzeug eingebauten optischen Sensors
CN105785066B (zh) * 2016-03-28 2019-03-05 上海理工大学 凸曲面容器内流场微粒成像测速技术的径向畸变校正方法
FR3056171B1 (fr) * 2016-09-20 2020-05-08 Renault S.A.S Methode d'installation d'un referentiel geometrique sur un sol pour la calibration de composants electriques ou electroniques d'un vehicule automobile et un equipement adapte.
US11815915B2 (en) * 2017-03-31 2023-11-14 A'by Airbus LLC Systems and methods for calibrating vehicular sensors
JP7244520B2 (ja) 2017-08-25 2023-03-22 アグネティックス,インコーポレイテッド 制御された環境農業のための流体冷却ledベースの照明方法および装置
DE102018206777B4 (de) * 2018-05-02 2020-12-10 Zf Friedrichshafen Ag Tiefenauswertung zur Lokalisierung eines Fahrzeuginsassen in einem Fahrzeuginnenraum
DE102019201490A1 (de) * 2019-02-06 2020-08-06 Robert Bosch Gmbh Kalibriereinrichtung für eine Überwachungsvorrichtung, Überwachungsvorrichtung zur Man-Overboard-Überwachung sowie Verfahren zur Kalibrierung
WO2021119363A2 (en) * 2019-12-10 2021-06-17 Agnetix, Inc. Multisensory imaging methods and apparatus for controlled environment horticulture using irradiators and cameras and/or sensors
AU2020401384A1 (en) 2019-12-12 2022-07-28 Agnetix, Inc. Fluid-cooled LED-based lighting fixture in close proximity grow systems for controlled environment horticulture
CN112489113B (zh) * 2020-11-25 2024-06-11 深圳地平线机器人科技有限公司 相机外参标定方法、装置及相机外参标定系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04181106A (ja) * 1990-11-15 1992-06-29 Komatsu Ltd 位置寸法計測装置のキャリブレーション装置
JPH06207810A (ja) * 1993-01-12 1994-07-26 Sanyo Mach Works Ltd 三次元測定に於ける測定歪校正方法
JPH06215134A (ja) * 1993-01-19 1994-08-05 Aisin Seiki Co Ltd 車上認識対象画像デ−タの前処理方法
JPH0816999A (ja) * 1994-07-05 1996-01-19 Hitachi Ltd 撮像装置を用いた環境認識装置,撮像装置を備えた車両,車両用の撮像装置,撮像装置を用いた車両用の環境認識装置、及び撮像データから環境を認識する方法
JPH11134480A (ja) * 1997-10-28 1999-05-21 Nissan Motor Co Ltd 車載カメラ位置ずれ検出装置
JPH11325890A (ja) * 1998-05-14 1999-11-26 Fuji Heavy Ind Ltd ステレオカメラの画像補正装置
JP2000097638A (ja) * 1998-09-25 2000-04-07 Honda Motor Co Ltd 乗員の乗車状態検出装置
JP2000135965A (ja) * 1998-10-30 2000-05-16 Fujitsu Ten Ltd 乗員検出装置並びにその装置を使用した乗員保護システム及び空気調和システム
JP2000350239A (ja) * 1999-06-08 2000-12-15 Sony Corp カメラ・キャリブレーション装置及び方法、画像処理装置及び方法、プログラム提供媒体、並びに、カメラ
JP2001116515A (ja) * 1999-10-21 2001-04-27 Matsushita Electric Ind Co Ltd キャリブレーション方法
JP2001272210A (ja) * 2000-03-27 2001-10-05 Toyoda Mach Works Ltd 距離認識装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5825483A (en) * 1995-12-19 1998-10-20 Cognex Corporation Multiple field of view calibration plate having a reqular array of features for use in semiconductor manufacturing
DE19621612C2 (de) * 1996-05-31 2001-03-01 C Vis Comp Vision Und Automati Vorrichtung zur Überwachung eines Gleisabschnittes in einem Bahnhof
US6005958A (en) * 1997-04-23 1999-12-21 Automotive Systems Laboratory, Inc. Occupant type and position detection system
US6529132B2 (en) * 1998-02-27 2003-03-04 Societe Industrielle D'avation Latecoere Device for monitoring an enclosure, in particular the hold of an aircraft
WO2001043072A1 (en) * 1999-12-13 2001-06-14 Princeton Video Image, Inc. 2-d/3-d recognition and tracking algorithm for soccer application
DE10007014C2 (de) 2000-02-16 2002-09-19 Bosch Gmbh Robert Verfahren und Vorrichtung zur Sitzbelegungserkennung
US6553324B2 (en) * 2000-07-18 2003-04-22 Eads Deutschland Gmbh Method and device for detection of a defect in a sensor system
DE10253501A1 (de) * 2002-11-16 2004-05-27 Robert Bosch Gmbh Bildgeber
DE10316450B4 (de) * 2003-04-10 2019-08-08 Robert Bosch Gmbh Vorrichtung zur Bestimmung wenigstens eines Parameters eines in einer Leitung strömenden Mediums

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04181106A (ja) * 1990-11-15 1992-06-29 Komatsu Ltd 位置寸法計測装置のキャリブレーション装置
JPH06207810A (ja) * 1993-01-12 1994-07-26 Sanyo Mach Works Ltd 三次元測定に於ける測定歪校正方法
JPH06215134A (ja) * 1993-01-19 1994-08-05 Aisin Seiki Co Ltd 車上認識対象画像デ−タの前処理方法
JPH0816999A (ja) * 1994-07-05 1996-01-19 Hitachi Ltd 撮像装置を用いた環境認識装置,撮像装置を備えた車両,車両用の撮像装置,撮像装置を用いた車両用の環境認識装置、及び撮像データから環境を認識する方法
JPH11134480A (ja) * 1997-10-28 1999-05-21 Nissan Motor Co Ltd 車載カメラ位置ずれ検出装置
JPH11325890A (ja) * 1998-05-14 1999-11-26 Fuji Heavy Ind Ltd ステレオカメラの画像補正装置
JP2000097638A (ja) * 1998-09-25 2000-04-07 Honda Motor Co Ltd 乗員の乗車状態検出装置
JP2000135965A (ja) * 1998-10-30 2000-05-16 Fujitsu Ten Ltd 乗員検出装置並びにその装置を使用した乗員保護システム及び空気調和システム
JP2000350239A (ja) * 1999-06-08 2000-12-15 Sony Corp カメラ・キャリブレーション装置及び方法、画像処理装置及び方法、プログラム提供媒体、並びに、カメラ
JP2001116515A (ja) * 1999-10-21 2001-04-27 Matsushita Electric Ind Co Ltd キャリブレーション方法
JP2001272210A (ja) * 2000-03-27 2001-10-05 Toyoda Mach Works Ltd 距離認識装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019526101A (ja) * 2016-06-29 2019-09-12 シーイング マシーンズ リミテッド シーンにおけるカメラの姿勢を特定するシステム及び方法
JP7161410B2 (ja) 2016-06-29 2022-10-26 シーイング マシーンズ リミテッド シーンにおけるカメラの姿勢を特定するシステム及び方法
WO2019207625A1 (ja) * 2018-04-23 2019-10-31 三菱電機株式会社 乗員検知装置、乗員検知方法及び乗員検知システム
JPWO2019207625A1 (ja) * 2018-04-23 2020-12-03 三菱電機株式会社 乗員検知装置、乗員検知方法及び乗員検知システム

Also Published As

Publication number Publication date
CN100408385C (zh) 2008-08-06
DE10318500A1 (de) 2004-11-25
AU2004232395B2 (en) 2010-02-04
EP1620289A1 (de) 2006-02-01
EP1620289B1 (de) 2008-04-23
KR20060005381A (ko) 2006-01-17
US20070033999A1 (en) 2007-02-15
WO2004094196A1 (de) 2004-11-04
US7574315B2 (en) 2009-08-11
AU2004232395A1 (en) 2004-11-04
DE502004006917D1 (de) 2008-06-05
CN1777527A (zh) 2006-05-24

Similar Documents

Publication Publication Date Title
JP2006527354A (ja) 画像センサのキャリブレーションのための装置及び方法
US11935248B2 (en) System, device, and methods for detecting and obtaining information on objects in a vehicle
RU2720849C2 (ru) Способ для наблюдения за салоном транспортного средства
US9616809B1 (en) Lane change prediction and turn signal activation upon observation of head and eye movement
US7607509B2 (en) Safety device for a vehicle
Hsu et al. Performance of a time-of-flight range camera for intelligent vehicle safety applications
US6393133B1 (en) Method and system for controlling a vehicular system based on occupancy of the vehicle
US20040032493A1 (en) Method for monitoring the interior and/or exterior of a vehicle, and a vehicle having at least one survaillance camera
US20200406902A1 (en) Vehicle interior and exterior monitoring
US20180186321A1 (en) 3D Time of Flight Active Reflecting Sensing Systems and Methods
US11861867B2 (en) Systems, devices and methods for measuring the mass of objects in a vehicle
KR20010005883A (ko) 탑승자 유형 및 위치 검출 시스템
US20110122520A1 (en) Vehicle mirror adjustment method and system
JP2013205368A (ja) 被測定物情報取得装置
US7295123B2 (en) Method for detecting a person in a space
KR102420289B1 (ko) 자동차 상에 존재하는 적어도 하나의 오브젝트를 검출하기 위한 방법, 제어 장치 및 자동차
CN107791985B (zh) 乘员分类以及提供在机动车中安全装置的乘员分类的方法
US20200231111A1 (en) Vehicle footwell reflector
JP2021103092A (ja) シート姿勢検出装置
US20230406250A1 (en) Vehicle for protecting occupant and operating method thereof
JP7195963B2 (ja) 頭部判別装置、コンピュータプログラム、および記憶媒体
JP6763080B2 (ja) 自動車用ビジョンシステム及び方法
CN118805199A (en) System and method for automatic camera calibration
CN118665496A (zh) 转向装置交互检测
Ramesh et al. Real-Time Video Surveillance and Monitoring for Automotive Applications

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100129

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100426

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100521

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100910