JP2012527026A - ステレオカメラシステムを用いて撮影された少なくとも二つの入力画像から深度情報を検出するための画像処理方法 - Google Patents
ステレオカメラシステムを用いて撮影された少なくとも二つの入力画像から深度情報を検出するための画像処理方法 Download PDFInfo
- Publication number
- JP2012527026A JP2012527026A JP2012510232A JP2012510232A JP2012527026A JP 2012527026 A JP2012527026 A JP 2012527026A JP 2012510232 A JP2012510232 A JP 2012510232A JP 2012510232 A JP2012510232 A JP 2012510232A JP 2012527026 A JP2012527026 A JP 2012527026A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- processing method
- input
- sign
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本発明は、ステレオカメラシステム(10)を用いて撮影された少なくとも二つの入力画像(A1,A2)から深度情報を検出するための画像処理方法に関し、所定の演算子を用いて、前記入力画像(A1,A2)をサイン画像(B1,B2)に変換するステップと、少なくとも二つの前記入力画像(A1,A2)の内の少なくとも一つの入力画像に関する所定の視差レベルについての費用空間を求めるために、ノンパラメトリックな統計的な順位相関基準を用いて、前記サイン画像(B1,B2)に基づき費用を算出するステップ(C)と、前記所定の視差レベルに関する前記費用空間の各点についての対応分析を実行するステップ(D)と、事前に検出された前記視差(d)から視差マップを求めるステップを有する。
Description
本発明は、ステレオカメラシステムを用いて撮影された少なくとも二つの入力画像から深度情報を検出するための画像処理方法に関する。本発明による画像処理方法では、深度情報は、ステレオカメラシステムの幾何学的な特性を含めた視差マップから算出される。更に本発明は、その種の方法を実施又は実行するための、コンピュータプログラム、コンピュータプログラム製品及び装置に関する。
二つのステレオ画像を基礎とした深度の算出は画像処理において一般的に問題であり、この問題を解決するために多数のアルゴリズムが既知である。ステレオ評価法により、時間的に同期しており、且つ、矯正ないし修正されたステレオ画像ペアないしステレオビデオ画像ペア間の視差dが検出される。図1から見て取れるように、視差dは画像ラインの方向における一次元のシフトベクトルとして規定されており、また、左側の画像A1におけるピクセルないし画素xiから出発した、右側の画像A2における相応の画素xjを表す。d = xj - xi'を有する全ての視差dの量は視差マップとも称される。ここで、xi'は左側の画像A1から右側の画像A2に投影された画素を表す。続いて、ステレオ画像の深度情報を、ステレオカメラシステムの幾何学的な特性を含めた視差マップを用いて算出することができる。視差dを検出する際に重要なことは、複数のステレオ画像内の複数の画素の対応を求めることである。視差dを検出するために、指標ベースの方法又はアルゴリズムがしばしば提案される。それらの方法の概要及び対比は、M. Z. Brown,D.Burschka及びG. D. Hagerの「Advances in computational Stereo」,IEEE Transactions on Pattern Analysis and Machine Intelligence,Vol. 25,Nr. 8,pp. 993 - 1008,August 2003(以下では刊行物[1]と記す)、並びに、D. Scharstein及びR. Szeliskiの「A taxonomy and evaluation of dense two-frame stereo correspondence algorithms」,International Journal of Computer Vision,Vol. 47,pp. 7 - 42,April 2002(以下では刊行物[2]と記す)から見て取れる。
視差マップを算出するために、一般的には、図2に示されているアルゴリズムによるステップV,S1からS3(破線の枠内),Nが実行される。選択されたステレオ方式に関する前処理ステップVによって、オリジナルの画像データを処理することができる(例えばメディアンフィルタリング、順位変換)。第1のステップS1においては、距離尺度の算出が行われる。距離尺度又は相関ベースの尺度が頻繁に使用される。その都度使用される距離尺度に依存して、ステップS2においては、費用の集合をピクセル毎に直接的に行うことができるか、窓を使用して行うことができる。特に後者の場合には、ステップS3における対応検索において、視差の平坦性又は一義性に関する仮定、もしくは、視差の等級(オーダ)に関する仮定が二次的な条件として考慮される。ステップS3における対応検索において掛かる手間は、結果の密度、ロバスト性及び信頼性にとって決定的なものであることが多く、使用される最適化技術によって規定されている。従来技術からは、最適化技術として、例えば、動的プログラミング(Dynamic Programming)、スキャンライン最適化(Scan-Line Optimization)、グラフベースの技術(Graph-Based Technique)、シミュレーテッドアニーリング(Simulated Annealing)及び古典的な局所的手法が公知である。続いて、ステップNにおいては、事後処理ないし後処理が実行され、特に、例えば覆いによって生じる可能性がある、明白なエラーのある領域を視差マップから除去するため、又は、事前に求められた費用空間における内挿によって視差評価のサブピクセル精度を達成するために実行される。
公知のステレオ方式ないしステレオ評価方式の核は、ステレオカメラシステムの時間的に同期して撮影された画像ペアに由来する画像ブロック間の差を量子化する費用関数の最小化を基礎としている(刊行物[2]を参照されたい)。このために、差分絶対値和(Sum of Absolute Differences/SAD)、差分二乗和(Sum of Squared Differences/SSD)及び相互相関係数(Cross Correlation Coefficient/CCC)のような距離尺度が頻繁に使用され、また、画像データの適切な変換及び量子化後の符号語間の簡単なハミング距離も使用される(刊行物[1]及び[2]を参照されたい)。距離尺度は非類似性ないし相違性に関する尺度を表す。実際の画像シーケンスデータにおけるステレオ視差を評価するためのそれらの方法の決定的な欠点は、不変性ないしロバスト性が不十分な点にある。つまり、SAD判定基準及びSSD判定基準は暗黙的にデータの平均値の定常性を前提としているが、これは実際の条件下では一般的に満たされていない。それらの判定基準の平均値を用いないバージョンは確かにこの欠点を有していない。それでもやはり不変性は依然として不十分である。何故ならば、例えば広範な照明変化によって惹起される可能性がある、データの簡単なスケーリングは既に補償されないからである。そのような不変性は、かなり計算の手間が掛かる、前述のCCC判定基準を使用することによって漸く達成されるが、このCCC判定基準も、例えば局所的な照明変化によって惹起される可能性があるデータの非線形の障害時にはやはり機能しない。変換及び量子化されたデータの符号語間のハミング距離を基礎とする方法は、一般的に、発見的なアプローチを基礎としているので、相応の不変性を分析によって検出することができない。刊行物[1]において言及されているノンパラメトリック手法の順位変換も発見的手法を表しているに過ぎない。
したがって、ステレオカメラシステムないしステレオビデオシステムを基礎とする深度情報を検出するため、もしくは3D再構成のための公知のステレオ評価方式は、実施のヴァリエーションに応じて以下の一つ又は複数の欠点を有している:
- 計算の複雑性は使用される組み込みシステム(Embedded System)の計算能力を1オーダ又は数オーダ分上回っている。
- 視差評価は画素の一部分、例えば画素の10%未満の部分についてしか行われていない。
- 視差評価は、大まかなエラー測定の相当な割合を示している。
- 視差評価の精度が不十分であり、例えば、数視差レベルのオーダにある標準偏差を有する。
- 計算の複雑性は使用される組み込みシステム(Embedded System)の計算能力を1オーダ又は数オーダ分上回っている。
- 視差評価は画素の一部分、例えば画素の10%未満の部分についてしか行われていない。
- 視差評価は、大まかなエラー測定の相当な割合を示している。
- 視差評価の精度が不十分であり、例えば、数視差レベルのオーダにある標準偏差を有する。
一般的な従来技術に関してはDE 102 19 788 C1に記載されている。
発明の概要
本発明によれば、特に少なくとも二つの画像センサを有している、ステレオカメラシステムを用いて、特に立体撮影された、とりわけ時間的に同期された、及び/又は、矯正された少なくとも二つの入力画像に基づき、ステレオカメラシステムの幾何学的な特性を含めた視差マップから深度情報を検出する画像処理方法が提案され、この画像処理方法では、視差マップを求めるために以下のステップが実行されることを特徴としている:
- 所定の演算子を用いた入力画像のサイン画像への変換。
- 少なくとも二つの入力画像のうちの少なくとも一つの入力画像に関して、所定の視差レベルに関する費用空間を求めるために、パラメータを用いない手法、もしくは、ノンパラメトリック手法の統計的な順位相関尺度を用いた、サイン画像の費用計算。
- 所定の視差レベルに関する費用空間の各点についての対応分析の実行。この際に、その都度検出すべき視差は最小費用との対応を有している。
- 事前に検出された視差から視差マップを求める。
本発明によれば、特に少なくとも二つの画像センサを有している、ステレオカメラシステムを用いて、特に立体撮影された、とりわけ時間的に同期された、及び/又は、矯正された少なくとも二つの入力画像に基づき、ステレオカメラシステムの幾何学的な特性を含めた視差マップから深度情報を検出する画像処理方法が提案され、この画像処理方法では、視差マップを求めるために以下のステップが実行されることを特徴としている:
- 所定の演算子を用いた入力画像のサイン画像への変換。
- 少なくとも二つの入力画像のうちの少なくとも一つの入力画像に関して、所定の視差レベルに関する費用空間を求めるために、パラメータを用いない手法、もしくは、ノンパラメトリック手法の統計的な順位相関尺度を用いた、サイン画像の費用計算。
- 所定の視差レベルに関する費用空間の各点についての対応分析の実行。この際に、その都度検出すべき視差は最小費用との対応を有している。
- 事前に検出された視差から視差マップを求める。
有利には、冒頭で述べたような公知の方法の欠点は、本発明による画像処理方法によって完全に排除される。統計的な順位相関尺度を基礎とした視差ないしステレオビデオ視差を求めるための本発明による画像処理方法には上述の制限は課されない。パラメータを用いない、もしくは、ノンパラメトリックである、使用されるデータの統計量は、単調な非線形の変換に比べて不変である。パラメータを用いない統計量は、パラメータを用いない統計的なモデル及びパラメータを用いない統計的なテストを扱う。その他のものは、ノンパラメトリックな統計量又は分散の無い統計量である。この場合、モデル構造は事前に規定されていない。検査された変数の確立分布に関する仮定は行われない。したがって、順位相関係数ないし順位相関尺度は相関に関するパラメータを用いない尺度を表しているので、これによって、確率的な二つの変数はどの程度良好に一致しているかを測定することができ、この際に、変数の確率分布のパラメータ的な構造の仮定は行われない。本発明による方法により、最新の組み込みシステム、例えばプログラミング可能な集積回路(Field Programmable Gate Arrays/FPGA)における実施、関連する画素の一般的に90%を上回る画素に関する視差の密な評価、一般的に1%を下回る異常値を有する視差のロバストな評価、及び、サブピクセルの範囲の精度での視差評価が実現される。本発明による画像処理方法においては、統計的な尺度もしくは統計的なメトリクスが決定性の距離尺度の代わりに使用される。本発明による方法は正規化された相関係数を基礎とすることができるので、統計的な順位相関の使用は、算術的に強い機付けを与えることができる。
入力画像は、矯正できるものであるか、部分的に矯正できるものであるか、矯正できるものである。矯正ないし訂正とは、一般的に、画像データにおける幾何学的な歪み、例えば、光学系の理想的でない結像特性によって、もしくは、撮像系の僅かな幾何学的な製造公差によって惹起される歪みを除去することを意味する。
ノンパラメトリックな統計的な順位相関尺度として、ケンドールの順位相関係数(Kendall tau rank correlation coefficient)又はこの係数のヴァリエーションが使用される場合には非常に有利である。ケンドールの順位相関尺度は例えば、N. J. Salkind (Ed.):「Encyclopedia of Measurement and Statistics」,Thousand Oaks (CA), 2007におけるH. Abdi,Kendall rank correlation(以下では刊行物[3]と記す)に記載されており、これは既に1938年には算術的な統計量に導入されていたものである。しかしながら、高次データに関する計算に比較的大きな手間が掛かることに起因して、本発明による方法は、信号処理の分野における実際の実施に関して、これまでは使用されることはなかった。現在の組み込みシステムの能力ならびに本発明による画像処理方法の特定用途向けの構成によって、漸く、ここで説明する適用分野ないし類似する適用分野が開かれた。
サイン画像とは、所定の演算子を用いて変換された入力画像と解される。所定の演算子として符号演算子を使用することができる。
符号演算子を用いて、入力画像の任意に選択可能な部分領域におけるそれぞれの入力画像の種々の画素の画像データの差、特にグレー値の差の符号を検出し、サイン画像に記憶することができる。
更に本発明によれば、第1の入力画像及び第2の入力画像の任意に選択な部分領域における、第1の入力画像及び第2の入力画像の相応の位置における第1の画素の画像データと、第1の入力画像及び第2の入力画像の相応の位置における第2の画素の第2の画像データとを有する、観察対象の画像データペアは、第1の入力画像における第1の画素の画像データと、第1の入力画像における第2の画素の画像データとの差の符号と、第2の入力画像における第1の画素の画像データと第2の入力画像における第2の画素の画像データとの差の符号とが一致する場合、もしくは、第1の入力画像のサイン画像における第1の画素の相応の位置における符号と、第2の入力画像のサイン画像における第2の画素の相応の位置における符号とが一致する場合には、合致しているか、又は対応している。
本発明による画像処理方法の実施の形態では、任意に選択可能な部分領域においては、ケンドールの順位相関係数が、
t = 2・(f-g)/n・(n-1) 但し-1 < t < 1
によって得られる。ここで、fは合致する画像データペアの数であり、gは合致しない画像データペアの数であり、nは任意に選択可能な部分領域の考察すべき画像データペアの総数である。
t = 2・(f-g)/n・(n-1) 但し-1 < t < 1
によって得られる。ここで、fは合致する画像データペアの数であり、gは合致しない画像データペアの数であり、nは任意に選択可能な部分領域の考察すべき画像データペアの総数である。
従って、ケンドールの順位相関基準を以下のように使用することができる。ステレオビデオ画像ペアの画像A1及びA2の任意に選択可能な部分領域における画素の観察対象のデータ、例えば、グレー値のペア(A1i, A2i),(A1j, A2j)が得られる。重要な算術演算として、差分sign (A1j - A1i),sign (A2j - A2i)の符号を検出するだけでよい。これらの符号が一致する場合には、考察されるデータペアは合致し、一致しない場合には、考察されるデータペアは合致しない。ここで、fは合致するデータペアの数を表し、gは合致しないデータペアの数をあらわしているので、
t = 2・s/n・(n-1) ; s = f - g 但し- 1 < t < 1
によって、ケンドールの順位相関基準が定義され、この順位相関基準を本発明によるロバストな画像処理方法を実現するために使用することができる。差分が無くなるケースを明示的に処理する、本発明による方法のヴァリエーションはやはり前述のステレオ方式の実施に適しているが、ここでは詳細に検討しない。
t = 2・s/n・(n-1) ; s = f - g 但し- 1 < t < 1
によって、ケンドールの順位相関基準が定義され、この順位相関基準を本発明によるロバストな画像処理方法を実現するために使用することができる。差分が無くなるケースを明示的に処理する、本発明による方法のヴァリエーションはやはり前述のステレオ方式の実施に適しているが、ここでは詳細に検討しない。
ステレオカメラシステムをステレオビデオシステムとして実施することができ、また入力画像を入力ビデオ画像として実施することができる。それに応じて、画像センサとしてもちろんCCDカメラ又はCMOSカメラも考えられる。更には、別の波長領域、例えば赤外線領域の画像センサを使用すること、したがってサーモグラフィックカメラを使用することも可能である。
本発明によれば、本発明による画像処理方法を実施するためにコンピュータ読み取り可能なデータ担体に記憶されている、プログラムコード手段を有するコンピュータプログラム又はプログラムコード手段を有するコンピュータプログラム製品が提供される。
更に、本発明による画像処理方法を実施するため、又は、相応のコンピュータプログラムを実行するために設計されている画像処理装置を有している、少なくとも一つのステレオカメラシステム又はステレオビデオシステムを備えている自動車の装置、特に、ドライバ情報システム又はドライバアシスタントシステムが提供される。
有利には、本発明による画像処理方法は、特に、自動車のドライバ情報システム又はドライバアシスタントシステムの枠内でのステレオカメラシステム又はステレオビデオシステムの画像処理装置におけるコンピュータプログラムとして実現されているが、もちろん別の手段も考えられる。このために、コンピュータプログラムを画像処理装置の記憶媒体(例えばROM,EEPROMなど)に記憶することができる。画像処理装置における処理によって、画像処理方法が実施される。画像処理装置は、マイクロプロセッサを備えているマイクロコンピュータ、プログラミング可能な集積回路(Field Programmable Gate Array/FPGA)、特定用途向け集積回路(Application Specific Integrated Circuit/ASIC)、ディジタルシグナルプロセッサ(DSP)などを有することができる。コンピュータプログラムは、コンピュータ読み取り可能なデータ担体(ディスク、CD、DVD、ハードディスク、USBメモリスティック、メモリカードなど)又はインターネットサーバ上にコンピュータプログラム製品として記憶することができ、また、そこから画像処理装置の記憶媒体に伝送される。
本発明の有利な実施の形態及び発展形態は従属請求項に記載されている。以下では、本発明の実施例の原理を図面を参照しながら説明する。
図3には、二つの画像センサ11,12と、二つの画像センサ信号線13,14と、評価ユニット又は画像処理装置15と、出力信号線16と、後続のシステム17とを備えている、ステレオビデオシステム10として構成されているステレオカメラシステムが示されている。画像センサ11,12として、例えばCCDカメラ又はCMOSカメラを使用することができるが、サーモグラフィック機器なども使用することができる。二つの画像センサ11,12は、それらが同一の光景を撮影するが、僅かに異なる視野角で撮影するように配置されている。画像センサ11,12は観察した光景を画像処理装置15へと伝送する。画像処理装置15は出力信号線16に出力信号を供給し、この出力信号は、表示、情報通知、及び/又は、記憶のために電気的、ディジタル的、音響的、及び/又は、視覚的に後続のシステム17に伝送される。この実施例においては、後続のシステムは、ステレオビデオシステム10を有している、ここでは図示していない自動車のドライバ情報システム17である。別の実施例においては、後続のシステム17が自動車のドライバアシスタントシステムなどであっても良い。
図4には、二つの画像センサ11,12を備えているステレオカメラシステム10を用いて立体撮影された、有利には時間的に同期され、且つ、矯正された、少なくとも二つの入力画像A1,A2から深度情報を検出するための本発明による画像処理方法が示されている。本発明による画像処理方法においては、深度情報が、ステレオカメラシステム10の幾何学的な特性(特に、二つの画像センサ11,12の間の基線長)を含めた視差マップから検出ないし算出される。本発明による画像処理方法は、統計的な順位相関方式を基礎とした、リアルタイムステレオビデオシステムのシーケンスに使用される。視差マップをリアルタイム処理するための入力データとして、矯正されたステレオビデオ画像ないし入力ビデオ画像A1,A2が存在する。本発明による画像処理方法は、視差マップを求めるための以下のステップを有することを特徴とする。
第1のステップにおいては、所定の演算子を用いた入力画像A1,A2のサイン画像B1,B2への変換が行なわれる。第1のステップにおいては、いわば、ビデオ画像A1,A2のグレー値がサイン画像B1,B2に変換される。このために、所定の演算子として、符号演算子が使用される。簡単な符号演算子の他に、図示していない別の実施例においては、複雑な演算子を使用することもできる。そのような複雑な演算子は、例えば、零点のε近傍を別個に符号化し、このε近傍についてのそれぞれの閾値を局所的な画像情報に適応させる、及び/又は、例えば計算時間の理由からサインの適切な部分のみを検出する。
第2のステップCにおいては、少なくとも二つの入力画像A1,A2の内の少なくとも一つの入力画像に関する所定の視差レベルについての費用空間を求めるために、ノンパラメトリックな統計的な順位相関基準を用いて、サイン画像B1,B2に基づく費用算出が実施される。このようにして引き続き行なわれる、サイン画像B1,B2についての費用算出は、統計的な順位相関基準を基礎としているか、もしくは、例えば、別の実施例では計算時間の理由から使用可能なサインの一部しか評価できない、このメトリクスに類似するヴァリエーションを基礎としている。結果として得られる費用空間(視差空間画像(Disparity Space Image/DSI)とも称する)が、個々の視差レベルに関して、例えば左側の出力画像A1に関して層毎に求められる。ノンパラメトリックな統計的な順位関数基準として、ケンドールの順位相関係数、又はそのヴァリエーションが使用される。
続いて、第3のステップDにおいては、所定の視差レベルについての費用空間の各点に関する対応分析が実施される。その都度検出すべき視差dは最小費用との対応を有している。続く第4のステップにおいては、事前に検出された視差dから視差マップが求められる。対応分析又は対応検索は視差次元の方向における各点に関する費用空間内で実行される。求められた視差dは最小費用との対応に相当し、いわば最適なものである。異常値を回避するために、費用最小値の一義性又は費用関数の局所的な発生のような二次的な条件を考慮することができる。本発明による画像処理方法は、差し当たり、ピクセル通りの視差dを供給し、この視差dを、サブピクセル通りの視差マップを検出するための事後処理としての更なる処理ステップにおいて洗練させることができる。
符号演算子を用いることにより、入力ビデオ画像の任意に選択可能な部分領域におけるそれぞれの入力ビデオ画像A1,A2の異なる画素の画像データの差の符号、特にグレー値の差の符号を検出し、サイン画像B1,B2に記憶することができる。
第1の入力ビデオ画像A1及び第2の入力ビデオ画像A2の任意に選択な部分領域における、第1の入力ビデオ画像A1及び第2の入力ビデオ画像A2の相応の位置における第1の画素の画像データと、第1の入力ビデオ画像A1及び第2のビデオ入力画像A2の相応の位置における第2の画素の第2の画像データとを有する、観察対象の画像データペアは、第1の入力ビデオ画像A1における第1の画素の画像データと、第1の入力ビデオ画像A1における第2の画素の画像データとの差の符号と、第2の入力ビデオ画像A2における第1の画素の画像データと第2の入力ビデオ画像A2における第2の画素の画像データとの差の符号とが一致する場合、もしくは、第1の入力ビデオ画像A1のサイン画像B1における第1の画素の相応の位置における符号と、第2の入力ビデオ画像A2のサイン画像B2における第2の画素の相応の位置における符号とが一致する場合には、合致しているか、又は対応している。
任意に選択可能な部分領域においては、ケンドールの順位相関係数が、
t = 2・(f-g)/n・(n-1) 但し-1 < t < 1
によって得られる。ここで、fは合致する画像データペアの数であり、gは合致しない画像データペアの数であり、nは任意に選択可能な部分領域の考察すべき画像データペアの総数である。
t = 2・(f-g)/n・(n-1) 但し-1 < t < 1
によって得られる。ここで、fは合致する画像データペアの数であり、gは合致しない画像データペアの数であり、nは任意に選択可能な部分領域の考察すべき画像データペアの総数である。
有利には、本発明による画像処理方法は、特に、自動車のドライバ情報システム17の枠内でのステレオビデオシステム10の画像処理装置15におけるコンピュータプログラムとして実現されているが、もちろん別の手段も考えられる。このために、コンピュータプログラムを画像処理装置15の記憶媒体(例えばROM,EEPROMなど)に記憶することができる。画像処理装置15における処理によって、画像処理方法が実施される。画像処理装置15は、マイクロプロセッサを備えているマイクロコンピュータ、プログラミング可能な集積回路(Field Programmable Gate Array/FPGA)、特定用途向け集積回路(Application Specific Integrated Circuit/ASIC)、ディジタルシグナルプロセッサ(DSP)などを有することができる。コンピュータプログラムは、コンピュータ読み取り可能なデータ担体(ディスク、CD、DVD、ハードディスク、USBメモリスティック、メモリカードなど)又はインターネットサーバ上にコンピュータプログラム製品として記憶することができ、また、そこから画像処理装置15の記憶媒体に伝送される。
非特許文献リスト:
[1] M. Z. Brown, D. Burschka及びG. D. Hager "Advances in computational stereo", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 25, Nr. 8, 993 - 1008pp, August 2003
[2] D. Scharstein及びR. Szeliski "A taxonomy and evaluation of dense two-frame stereo correspondence algorithms", International Journal of Computer Vision, Vol. 47, 7 - 42pp, April 2002
[3] H. Abdi, Kendall rank correlation. In N. J. Salkind (Ed.): "Encyclopedia of Measurement and Statistics" Thousand Oaks (CA), 2007
[1] M. Z. Brown, D. Burschka及びG. D. Hager "Advances in computational stereo", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 25, Nr. 8, 993 - 1008pp, August 2003
[2] D. Scharstein及びR. Szeliski "A taxonomy and evaluation of dense two-frame stereo correspondence algorithms", International Journal of Computer Vision, Vol. 47, 7 - 42pp, April 2002
[3] H. Abdi, Kendall rank correlation. In N. J. Salkind (Ed.): "Encyclopedia of Measurement and Statistics" Thousand Oaks (CA), 2007
Claims (10)
- ステレオカメラシステム(10)を用いて撮影された少なくとも二つの入力画像(A1,A2)から深度情報を検出するための画像処理方法であって、
前記深度情報を前記ステレオカメラシステム(10)の幾何学的な特性を含めた視差マップから検出する、画像処理方法において、
1.1 所定の演算子を用いて、前記入力画像(A1,A2)をサイン画像(B1,B2)に変換するステップと、
1.2 少なくとも二つの前記入力画像(A1,A2)の内の少なくとも一つの入力画像に関する所定の視差レベルについての費用空間を求めるために、ノンパラメトリックな統計的な順位相関基準を用いて、前記サイン画像(B1,B2)に基づき費用を算出するステップ(C)と、
1.3 前記所定の視差レベルに関する前記費用空間の各点についての対応分析を実行するステップ(D)であって、その都度検出すべき視差(d)は最小費用との対応を有している、ステップと、
1.4 事前に検出された前記視差(d)から視差マップを求めるステップと、
を含むことを特徴とする、画像処理方法。 - ノンパラメトリックな統計的な順位関数基準として、ケンドールの順位相関係数を使用するか、又は、該ケンドールの順位相関係数のヴァリエーションを使用する、請求項1に記載の画像処理方法。
- 所定の演算子として符号演算子を使用する、請求項1又は2に記載の画像処理方法。
- 前記符号演算子を用いて、前記入力ビデオ画像(A1,A2)の任意に選択可能な部分領域におけるそれぞれの入力ビデオ画像(A1,A2)の異なる画素の画像データの差の符号、特にグレー値の差の符号を検出し、前記サイン画像(B1,B2)に記憶する、請求項3に記載の画像処理方法。
- 第1の入力画像(A1)及び第2の入力画像(A2)の任意に選択な部分領域における、第1の入力画像(A1)及び第2の入力画像(A2)の相応の位置における第1の画素の画像データと、第1の入力画像(A1)及び第2の入力画像(A2)の相応の位置における第2の画素の第2の画像データとを有する、観察対象の画像データペアは、第1の入力画像(A1)における第1の画素の画像データと、第1の入力画像(A1)における第2の画素の画像データとの差の符号と、第2の入力画像(A2)における第1の画素の画像データと第2の入力画像(A2)における第2の画素の画像データとの差の符号とが一致する場合、もしくは、第1の入力画像(A1)のサイン画像(B1)における第1の画素の相応の位置における符号と、第2の入力画像(A2)のサイン画像(B2)における第2の画素の相応の位置における符号とが一致する場合には、合致しているか、又は対応している、請求項4に記載の画像処理方法。
- 前記任意に選択可能な部分領域においては、ケンドールの順位相関係数が、
t = 2・(f-g)/n・(n-1) 但し-1 < t < 1
によって得られ、ここで、fは合致する画像データペアの数であり、gは合致しない画像データペアの数であり、nは前記任意に選択可能な部分領域の考察すべき画像データペアの総数である、請求項5に記載の画像処理方法。 - 前記ステレオカメラシステムはステレオビデオシステム(10)として実施されており、且つ、前記入力画像は入力ビデオ画像(A1,A2)として実施されている、請求項1乃至6のいずれか1項に記載の画像処理方法。
- プログラムがステレオカメラシステム(10)の画像処理装置(15)、特に、マイクロコンピュータのマイクロプロセッサ、プログラミング可能な集積回路、特定用途向け集積回路又はディジタルシグナルプロセッサにおいて実行される場合に、請求項1乃至7のいずれか1項に記載の画像処理方法を実施するためのプログラムコード手段を有していることを特徴とする、コンピュータプログラム。
- プログラムがステレオカメラシステム(10)の画像処理装置(15)、特にマイクロコンピュータのマイクロプロセッサ、プログラミング可能な集積回路、特定用途向け集積回路又はディジタルシグナルプロセッサにおいて実行される場合に、請求項1乃至7のいずれか1項に記載の画像処理方法を実施するために、コンピュータ読み取り可能なデータ担体上に記憶されているプログラムコード手段を有していることを特徴とする、コンピュータプログラム製品。
- 請求項8に記載のコンピュータプログラムを実行するよう構成されている画像処理装置(15)を有している少なくとも一つのステレオカメラシステム(10)を備えている自動車の装置、例えばドライバ情報システム(17)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102009003110A DE102009003110A1 (de) | 2009-05-14 | 2009-05-14 | Bildverarbeitungsverfahren zur Bestimmung von Tiefeninformation aus wenigstens zwei mittels eines Stereokamerasystems aufgenommenen Eingangsbildern |
DE102009003110.3 | 2009-05-14 | ||
PCT/EP2010/056270 WO2010130657A1 (de) | 2009-05-14 | 2010-05-07 | Bildverarbeitungsverfahren zur bestimmung von tiefeninformation aus wenigstens zwei mittels eines stereokamerasystems aufgenommenen eingangsbildern |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012527026A true JP2012527026A (ja) | 2012-11-01 |
Family
ID=42262327
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012510232A Pending JP2012527026A (ja) | 2009-05-14 | 2010-05-07 | ステレオカメラシステムを用いて撮影された少なくとも二つの入力画像から深度情報を検出するための画像処理方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20120127275A1 (ja) |
EP (1) | EP2430837A1 (ja) |
JP (1) | JP2012527026A (ja) |
CN (1) | CN102422644A (ja) |
DE (1) | DE102009003110A1 (ja) |
WO (1) | WO2010130657A1 (ja) |
Families Citing this family (57)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011523538A (ja) | 2008-05-20 | 2011-08-11 | ペリカン イメージング コーポレイション | 異なる種類の撮像装置を有するモノリシックカメラアレイを用いた画像の撮像および処理 |
US8866920B2 (en) | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
US11792538B2 (en) | 2008-05-20 | 2023-10-17 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
EP2502115A4 (en) | 2009-11-20 | 2013-11-06 | Pelican Imaging Corp | RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER |
US20120012748A1 (en) | 2010-05-12 | 2012-01-19 | Pelican Imaging Corporation | Architectures for imager arrays and array cameras |
US8878950B2 (en) | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
US8823777B2 (en) * | 2011-03-30 | 2014-09-02 | Intel Corporation | Real-time depth extraction using stereo correspondence |
EP2708019B1 (en) | 2011-05-11 | 2019-10-16 | FotoNation Limited | Systems and methods for transmitting and receiving array camera image data |
US9251562B1 (en) | 2011-08-04 | 2016-02-02 | Amazon Technologies, Inc. | Registration of low contrast images |
US20130070060A1 (en) | 2011-09-19 | 2013-03-21 | Pelican Imaging Corporation | Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion |
US8542933B2 (en) | 2011-09-28 | 2013-09-24 | Pelican Imaging Corporation | Systems and methods for decoding light field image files |
US9661310B2 (en) * | 2011-11-28 | 2017-05-23 | ArcSoft Hanzhou Co., Ltd. | Image depth recovering method and stereo image fetching device thereof |
WO2013126578A1 (en) | 2012-02-21 | 2013-08-29 | Pelican Imaging Corporation | Systems and methods for the manipulation of captured light field image data |
CN103366354B (zh) * | 2012-03-27 | 2016-09-07 | 富士通株式会社 | 用于立体匹配的方法和系统 |
DE102012209316A1 (de) | 2012-06-01 | 2013-12-05 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Verarbeiten von Sensordaten eines Stereosensorsystems |
CN104508681B (zh) | 2012-06-28 | 2018-10-30 | Fotonation开曼有限公司 | 用于检测有缺陷的相机阵列、光学器件阵列和传感器的系统及方法 |
US20140002674A1 (en) | 2012-06-30 | 2014-01-02 | Pelican Imaging Corporation | Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors |
US8619082B1 (en) | 2012-08-21 | 2013-12-31 | Pelican Imaging Corporation | Systems and methods for parallax detection and correction in images captured using array cameras that contain occlusions using subsets of images to perform depth estimation |
US20140055632A1 (en) | 2012-08-23 | 2014-02-27 | Pelican Imaging Corporation | Feature based high resolution motion estimation from low resolution images captured using an array source |
US20140092281A1 (en) | 2012-09-28 | 2014-04-03 | Pelican Imaging Corporation | Generating Images from Light Fields Utilizing Virtual Viewpoints |
TWI526045B (zh) | 2012-12-10 | 2016-03-11 | 聯詠科技股份有限公司 | 立體影像的調整方法與影像處理裝置 |
CN103888744B (zh) * | 2012-12-21 | 2016-08-17 | 联咏科技股份有限公司 | 立体影像的调整方法与影像处理装置 |
US9462164B2 (en) | 2013-02-21 | 2016-10-04 | Pelican Imaging Corporation | Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information |
US9774789B2 (en) | 2013-03-08 | 2017-09-26 | Fotonation Cayman Limited | Systems and methods for high dynamic range imaging using array cameras |
US8866912B2 (en) | 2013-03-10 | 2014-10-21 | Pelican Imaging Corporation | System and methods for calibration of an array camera using a single captured image |
US9888194B2 (en) | 2013-03-13 | 2018-02-06 | Fotonation Cayman Limited | Array camera architecture implementing quantum film image sensors |
WO2014164550A2 (en) | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | System and methods for calibration of an array camera |
US9578259B2 (en) | 2013-03-14 | 2017-02-21 | Fotonation Cayman Limited | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
US10122993B2 (en) | 2013-03-15 | 2018-11-06 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
US9445003B1 (en) | 2013-03-15 | 2016-09-13 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information |
US9497429B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Extended color processing on pelican array cameras |
WO2014151666A1 (en) | 2013-03-15 | 2014-09-25 | Hunter Engineering Company | Method for determining parameters of a rotating object within a projected pattern |
JP2016524125A (ja) | 2013-03-15 | 2016-08-12 | ペリカン イメージング コーポレイション | カメラアレイを用いた立体撮像のためのシステムおよび方法 |
US9898856B2 (en) | 2013-09-27 | 2018-02-20 | Fotonation Cayman Limited | Systems and methods for depth-assisted perspective distortion correction |
US9426343B2 (en) | 2013-11-07 | 2016-08-23 | Pelican Imaging Corporation | Array cameras incorporating independently aligned lens stacks |
WO2015074078A1 (en) | 2013-11-18 | 2015-05-21 | Pelican Imaging Corporation | Estimating depth from projected texture using camera arrays |
US9456134B2 (en) | 2013-11-26 | 2016-09-27 | Pelican Imaging Corporation | Array camera configurations incorporating constituent array cameras and constituent cameras |
US10089740B2 (en) | 2014-03-07 | 2018-10-02 | Fotonation Limited | System and methods for depth regularization and semiautomatic interactive matting using RGB-D images |
WO2016054089A1 (en) | 2014-09-29 | 2016-04-07 | Pelican Imaging Corporation | Systems and methods for dynamic calibration of array cameras |
EP3323237A4 (en) * | 2015-08-26 | 2019-07-31 | Zhejiang Dahua Technology Co., Ltd | METHODS AND SYSTEMS FOR MONITORING TRAFFIC |
CN105357519B (zh) * | 2015-12-02 | 2017-05-24 | 浙江科技学院 | 基于自相似度特征的无参考立体图像质量客观评价方法 |
DE102016200660A1 (de) * | 2015-12-23 | 2017-06-29 | Robert Bosch Gmbh | Verfahren zur Erstellung einer Tiefenkarte mittels einer Kamera |
KR102502451B1 (ko) | 2016-01-07 | 2023-02-22 | 삼성전자주식회사 | 깊이 추정 방법 및 장치, 및 거리 추정기 학습 방법 및 장치 |
DE102016208056A1 (de) * | 2016-05-11 | 2017-11-16 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Verarbeitung von Bilddaten und Fahrerassistenzsystem für ein Fahrzeug |
MX2022003020A (es) | 2019-09-17 | 2022-06-14 | Boston Polarimetrics Inc | Sistemas y metodos para modelado de superficie usando se?ales de polarizacion. |
JP7330376B2 (ja) | 2019-10-07 | 2023-08-21 | ボストン ポーラリメトリックス,インコーポレイティド | 偏光によるセンサシステム及び撮像システムの増強のための方法 |
WO2021108002A1 (en) | 2019-11-30 | 2021-06-03 | Boston Polarimetrics, Inc. | Systems and methods for transparent object segmentation using polarization cues |
KR20220132620A (ko) | 2020-01-29 | 2022-09-30 | 인트린식 이노베이션 엘엘씨 | 물체 포즈 검출 및 측정 시스템들을 특성화하기 위한 시스템들 및 방법들 |
CN115428028A (zh) | 2020-01-30 | 2022-12-02 | 因思创新有限责任公司 | 用于合成用于在包括偏振图像的不同成像模态下训练统计模型的数据的系统和方法 |
CN114868384B (zh) | 2020-04-22 | 2023-10-24 | 华为技术有限公司 | 用于图像处理的设备及方法 |
US11953700B2 (en) | 2020-05-27 | 2024-04-09 | Intrinsic Innovation Llc | Multi-aperture polarization optical systems using beam splitters |
US12069227B2 (en) | 2021-03-10 | 2024-08-20 | Intrinsic Innovation Llc | Multi-modal and multi-spectral stereo camera arrays |
US12020455B2 (en) | 2021-03-10 | 2024-06-25 | Intrinsic Innovation Llc | Systems and methods for high dynamic range image reconstruction |
US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
US11954886B2 (en) | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
US12067746B2 (en) | 2021-05-07 | 2024-08-20 | Intrinsic Innovation Llc | Systems and methods for using computer vision to pick up small objects |
US11689813B2 (en) | 2021-07-01 | 2023-06-27 | Intrinsic Innovation Llc | Systems and methods for high dynamic range imaging using crossed polarizers |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04283881A (ja) * | 1991-03-13 | 1992-10-08 | Takaoka Electric Mfg Co Ltd | 画像処理装置 |
JP2004206164A (ja) * | 2002-12-20 | 2004-07-22 | Sharp Corp | 画像処理方法および装置 |
JP2008236276A (ja) * | 2007-03-20 | 2008-10-02 | Hitachi Ltd | カメラ装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6215898B1 (en) * | 1997-04-15 | 2001-04-10 | Interval Research Corporation | Data processing system and method |
US20040247157A1 (en) * | 2001-06-15 | 2004-12-09 | Ulrich Lages | Method for preparing image information |
US6748341B2 (en) * | 2002-04-12 | 2004-06-08 | George E. Crowder, Jr. | Method and device for machinery diagnostics and prognostics |
DE10219788C1 (de) | 2002-05-03 | 2003-11-13 | Bosch Gmbh Robert | Verfahren und Vorrichtung zur Sichtweitenmessung mit Bildsensorsystemen |
CN101405767A (zh) * | 2006-03-15 | 2009-04-08 | 皇家飞利浦电子股份有限公司 | 从图像确定深度图的方法,用于确定深度图的装置 |
-
2009
- 2009-05-14 DE DE102009003110A patent/DE102009003110A1/de not_active Withdrawn
-
2010
- 2010-05-07 WO PCT/EP2010/056270 patent/WO2010130657A1/de active Application Filing
- 2010-05-07 JP JP2012510232A patent/JP2012527026A/ja active Pending
- 2010-05-07 CN CN2010800209905A patent/CN102422644A/zh active Pending
- 2010-05-07 US US13/320,236 patent/US20120127275A1/en not_active Abandoned
- 2010-05-07 EP EP10718177A patent/EP2430837A1/de not_active Withdrawn
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04283881A (ja) * | 1991-03-13 | 1992-10-08 | Takaoka Electric Mfg Co Ltd | 画像処理装置 |
JP2004206164A (ja) * | 2002-12-20 | 2004-07-22 | Sharp Corp | 画像処理方法および装置 |
JP2008236276A (ja) * | 2007-03-20 | 2008-10-02 | Hitachi Ltd | カメラ装置 |
Non-Patent Citations (5)
Title |
---|
D. SCHARSTEIN ET AL.: ""A taxonomy and evaluation of dense two-frame stereo correspondence algorithms"", PROCEEDINGS. IEEE WORKSHOP ON STEREO AND MULTI-BASELINE VISION, 2001., JPN6013009626, 9 December 2001 (2001-12-09), US, pages 131 - 140, XP010582733, ISSN: 0002469288, DOI: 10.1109/SMBV.2001.988771 * |
K. AMBROSCH ET AL.: ""Extending two non-parametric transforms for FPGA based stereo matching using bayer filtered cameras", IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS, 2008., JPN6013009614, 23 June 2008 (2008-06-23), US, pages 1 - 8, XP031285702, ISSN: 0002469284 * |
村瀬 一朗, 金子 俊一, 五十嵐 悟: ""増分符号相関によるロバスト画像照合"", 電子情報通信学会論文誌, vol. 83, no. 5, JPN6013009617, 25 May 2000 (2000-05-25), JP, pages 1323 - 1331, ISSN: 0002469285 * |
村瀬 一朗,金子 俊一,五十嵐 悟,亀和田 俊一: ""増分符号相関による孔壁ステレオ画像計測"", 電子情報通信学会技術研究報告, vol. 99, no. 305, JPN6013009619, 16 September 1999 (1999-09-16), JP, pages 9 - 16, ISSN: 0002469286 * |
流郷 達人,宮本 敦,金子 俊一,五十嵐 悟: ""標本化順位相関に基づくロバスト画像照合"", 画像電子学会誌, vol. 31, no. 3, JPN6013009623, 25 May 2002 (2002-05-25), JP, pages 363 - 369, ISSN: 0002469287 * |
Also Published As
Publication number | Publication date |
---|---|
US20120127275A1 (en) | 2012-05-24 |
EP2430837A1 (de) | 2012-03-21 |
DE102009003110A1 (de) | 2010-11-18 |
WO2010130657A1 (de) | 2010-11-18 |
CN102422644A (zh) | 2012-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2012527026A (ja) | ステレオカメラシステムを用いて撮影された少なくとも二つの入力画像から深度情報を検出するための画像処理方法 | |
JP7134012B2 (ja) | 視差推定装置及び方法 | |
JP6244407B2 (ja) | 深度測定の品質の向上 | |
CN112927280B (zh) | 深度图像的获取方法及装置、单目散斑结构光系统 | |
US7764284B2 (en) | Method and system for detecting and evaluating 3D changes from images and a 3D reference model | |
JP6646667B2 (ja) | ノイズの多い奥行きまたは視差画像のリアルタイム適応的フィルタリングを行う方法および装置 | |
KR102015706B1 (ko) | 콘크리트 표면 균열 측정 장치 및 방법 | |
CN111047634B (zh) | 场景深度的确定方法、装置、设备及存储介质 | |
CN110462685B (zh) | 三维模型重建方法和系统 | |
CN107590444B (zh) | 静态障碍物的检测方法、装置及存储介质 | |
WO2021108626A1 (en) | System and method for correspondence map determination | |
CN114445480A (zh) | 基于Transformer的热红外图像立体匹配方法及装置 | |
CN113379815A (zh) | 基于rgb相机与激光传感器的三维重建方法、装置及服务器 | |
Dhiman et al. | Road surface distress detection in disparity space | |
CN114072842A (zh) | 从图像中确定深度的方法和相关系统 | |
Cabezas et al. | A measure for accuracy disparity maps evaluation | |
JP2021051347A (ja) | 距離画像生成装置及び距離画像生成方法 | |
KR20180073976A (ko) | 다중 시점 카메라 기반 깊이 영상 추정 방법 | |
JP6359985B2 (ja) | デプス推定モデル生成装置及びデプス推定装置 | |
Paudel et al. | 2D-3D camera fusion for visual odometry in outdoor environments | |
WO2019058487A1 (ja) | 3次元復元画像処理装置、3次元復元画像処理方法及び3次元復元画像処理プログラムを記憶したコンピュータ読み取り可能な記憶媒体 | |
Mahmoud et al. | Fast 3d structure from motion with missing points from registration of partial reconstructions | |
Chater et al. | Robust Harris detector corresponding and calculates the projection error using the modification of the weighting function | |
EP2786344B1 (en) | Hybrid recursive analysis of spatio-temporal objects | |
KR20220146666A (ko) | 화상 검사 장치 및 화상 검사 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130228 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20130527 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20131202 |