JP2013135305A - Signal processor, imaging apparatus, and imaging system - Google Patents
Signal processor, imaging apparatus, and imaging system Download PDFInfo
- Publication number
- JP2013135305A JP2013135305A JP2011283746A JP2011283746A JP2013135305A JP 2013135305 A JP2013135305 A JP 2013135305A JP 2011283746 A JP2011283746 A JP 2011283746A JP 2011283746 A JP2011283746 A JP 2011283746A JP 2013135305 A JP2013135305 A JP 2013135305A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image signal
- value
- imaging
- chromaticity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
この発明は、信号処理装置、撮像装置及び撮像システムに関する。 The present invention relates to a signal processing device, an imaging device, and an imaging system.
撮像装置には、その用途により様々な種類が存在する。例えば、車両の周囲を撮像し、撮像した画像中の物体(車両,歩行者など)や道路標示・標識(区画線などの路面ペイント,止まれなどの標識など)を認識するための車載用カメラが知られている。 There are various types of imaging devices depending on the application. For example, an in-vehicle camera that captures an image of the surroundings of a vehicle and recognizes objects (vehicles, pedestrians, etc.) and road markings / signs (road surface paint such as lane markings, signs such as stops) in the captured image Are known.
車載用カメラは、車両走行中に被写体を撮像し、その撮像結果をリアルタイムで表示するための画像信号を取得している。取得された画像信号には、種々の画像処理が施される。 The vehicle-mounted camera captures an image of a subject while the vehicle is traveling, and acquires an image signal for displaying the imaging result in real time. Various image processing is performed on the acquired image signal.
例えば、画素ごとに明度判定と彩度判定を行い、これらの判定結果に基づいてクロマサプレス処理(彩度補正処理)を行うことにより、自然な色を再現するという技術が知られている(以下の特許文献1参照)。 For example, a technique is known in which lightness determination and saturation determination are performed for each pixel, and a natural color is reproduced by performing chroma suppression processing (saturation correction processing) based on these determination results (hereinafter referred to as the following). Patent Document 1).
ところで、夜間に車載用カメラで前方の被写体を撮影する場合、前方の車のブレーキランプやテールランプが点灯されると、表示部(モニター)に表示される画像が一面真っ赤となり、実際の見た目とは異なる違和感のある画像となってしまう。 By the way, when shooting a front subject with a vehicle-mounted camera at night, if the brake light and tail light of the car in front are turned on, the image displayed on the display (monitor) will turn red, and what is the actual appearance? It becomes an image with a different sense of incongruity.
また、後方を撮影する場合には、自身のブレーキランプやテールランプが後方の物体に反射して、表示部(モニター)に表示される画像が一面真っ赤となり、実際の見た目とは違う違和感のある画像となってしまう。 Also, when shooting the back, your own brake lamp and tail lamp will reflect off the object behind, and the image displayed on the display (monitor) will be completely red. End up.
上記した従来技術では、画素の明度が低い場合に彩度を低減させる補正処理を行っている。しかしながら、点灯しているブレーキランプやテールランプ周辺の明度は高いため、彩度を低減(抑制)させるという補正処理を行うことは困難である。 In the prior art described above, correction processing is performed to reduce the saturation when the brightness of the pixel is low. However, it is difficult to perform a correction process for reducing (suppressing) saturation because the brightness around the lit brake lamp and tail lamp is high.
本発明は上記問題点を解決するものであり、夜間撮影において、実際の見た目に近く、違和感のない画像を得ることができる技術を提供することを目的とする。 The present invention solves the above-described problems, and an object thereof is to provide a technique capable of obtaining an image that is close to an actual appearance and has no sense of incongruity in night photography.
上記課題を解決するために、請求項1記載の信号処理装置は、撮影条件を変更可能な撮像手段により得られた画像信号を処理する信号処理装置であって、抽出部と、決定部と、変更部とを有する。抽出部は、画像信号から色度パラメータを抽出する。決定部は、画像信号が得られたときの撮影条件に基づいて、色度パラメータの変更量を決定する。変更部は、抽出部により抽出された色度パラメータを変更量に基づいて変更する。
In order to solve the above problem, the signal processing device according to
また、上記課題を解決するために、請求項2記載の信号処理装置は、請求項1記載の信号処理装置であって、撮影条件は、撮影視野の明るさに応じて変更される条件パラメータを含む。決定部は、条件パラメータと色透過率とを関連付けた第1の関連付け情報をあらかじめ記憶した記憶部を有し、画像信号が得られたときの条件パラメータの値に関連付けられた色透過率の値を変更量として第1の関連付け情報に基づき特定する。
In order to solve the above problem, the signal processing device according to claim 2 is the signal processing device according to
また、上記課題を解決するために、請求項3記載の信号処理装置は、請求項2に記載の信号処理装置であって、条件パラメータは、撮影感度、絞り値及び/又はシャッター速度を含む。 In order to solve the above problem, a signal processing device according to a third aspect is the signal processing device according to the second aspect, wherein the condition parameter includes a photographing sensitivity, an aperture value, and / or a shutter speed.
また、上記課題を解決するために、請求項4記載の信号処理装置は、請求項2または3に記載の信号処理装置であって、第1の関連付け情報は、所定の閾値より小さい条件パラメータの値に対して色透過率の最大値よりも小さい値を関連付けている。
In order to solve the above problem, a signal processing device according to claim 4 is the signal processing device according to
また、上記課題を解決するために、請求項5記載の信号処理装置は、請求項2〜4に記載の信号処理装置であって、記憶部は、画像信号の画素の輝度値と色透過率とを関連付けた第2の関連付け情報をあらかじめ記憶し、決定部は、画像信号の各画素について、その輝度値に関連付けられた色透過率の値を変更量として第2の関連付け情報に基づき特定する。
In order to solve the above problem, the signal processing device according to
また、上記課題を解決するために、請求項6記載の信号処理装置は、請求項5に記載の信号処理装置であって、前記決定部は、特定の色に対する色透過率のみを前記輝度値に応じて小さくするように、前記変更量を決定する。
In order to solve the above problem, the signal processing device according to claim 6 is the signal processing device according to
また、上記課題を解決するために、請求項7記載の撮像装置は、撮像手段と、請求項1から6のいずれかに記載の信号処理装置とを有する。 In order to solve the above problem, an imaging apparatus according to a seventh aspect includes an imaging unit and the signal processing apparatus according to any one of the first to sixth aspects.
また、上記課題を解決するために、請求項8記載の撮像装置は、請求項7に記載の撮像装置であって、撮像手段が、入射光を画像信号に線形変換する第1の動作と前記線形変換された画像信号を対数変換する第2の動作とを入射光量に応じて切り換え可能な複数の素子を有するリニアログセンサであり、変更部が、第2の動作が行われる対数領域において、撮影条件に基づいて色度パラメータを変更する。
In order to solve the above problem, an imaging apparatus according to claim 8 is the imaging apparatus according to
また、上記課題を解決するために、請求項9記載の撮像システムは、車両に搭載された撮像手段と、前記車両のブレーキの踏込みの有無を検出する検出部と、請求項1から6のいずれかに記載の信号処理装置と、前記ブレーキの踏込が検出された場合に、前記変更部を制御し、前記撮影条件に基づいて前記色度パラメータを変更させる車両制御部とを有する。 In order to solve the above problem, an imaging system according to a ninth aspect includes an imaging means mounted on a vehicle, a detection unit that detects whether or not the brake of the vehicle is depressed, and any one of the first to sixth aspects. And a vehicle control unit that controls the changing unit and changes the chromaticity parameter based on the photographing condition when the depression of the brake is detected.
このように、本発明における信号処理装置(撮像装置、撮像システム)によれば、撮影条件を取得して、この撮影条件に基づいて、抽出された色度パラメータの変更量を決定し、抽出された色度パラメータを前記変更量に基づいて変更している。 Thus, according to the signal processing device (imaging device, imaging system) of the present invention, the imaging condition is acquired, and the change amount of the extracted chromaticity parameter is determined and extracted based on the imaging condition. The chromaticity parameter is changed based on the change amount.
したがって、撮影条件に基づいて被写体周辺の明るさの程度が判断されるので、例えば夜間撮影において被写体近傍の光源から照射される光が単色光(例えば、赤色)であるような場合に、その単色が色抑制される。このため、実際の見た目に近く、違和感のない画像が得られる。 Accordingly, since the degree of brightness around the subject is determined based on the shooting conditions, for example, when the light emitted from the light source near the subject is monochromatic light (for example, red) in night shooting, the monochrome Is color-suppressed. For this reason, an image that is close to the actual appearance and has no sense of incongruity can be obtained.
<第1の実施形態>
図1から図8を用いて実施形態に係る撮像装置1について説明する。撮像装置1は、車載カメラや監視カメラ等として用いることができる。なお、本実施形態における「画像」と「画像信号(映像信号)」は一対一に対応している。
<First Embodiment>
The
[撮像装置の全体構成]
図1に示すように、撮像装置1は、レンズ部2と、撮像手段3と、アンプ4と、A/D変換部5と、処理ユニット6と、メインマイコン(メイン制御部)7とを含んで構成されている。処理ユニット6には、後述する色度パラメータ(Cb、Cr)の変更処理等を行う図示しないサブマイコン(サブ制御部)が含まれている。
[Overall configuration of imaging device]
As shown in FIG. 1, the
なお、図1の例では、撮像手段3、アンプ4、及びA/D変換部5はそれぞれ単独で構成されているが、これに限定されない。例えば、撮像手段3、アンプ4、及びA/D変換部5をワンチップで一体に構成してもよい。
In the example of FIG. 1, the
レンズ部2は、単一のレンズ、或いは複数のレンズからなる光学系から構成されている。レンズ部2は、被写体の光像を取込み、撮像手段3に導く。レンズ部2には、透過光量を調整するための絞りやシャッタ(いずれも図示なし)を設けることも可能である。
The lens unit 2 is composed of an optical system composed of a single lens or a plurality of lenses. The lens unit 2 captures the optical image of the subject and guides it to the
撮像手段3は、複数の素子を含んで構成されている。複数の素子は、レンズ部2において結像された光像を光電変換して、光量に応じたレベルを有する色成分(たとえば、赤(R)、緑(G)、青(B))の画像信号(カラー信号:RGB信号)を生成する。生成された画像信号は、アンプ4へ出力される。本実施形態における撮像手段3は、入射光を画像信号に線形変換する動作と対数変換する動作とを入射光量に応じて切り換え可能な複数の素子を有するセンサ(所謂、リニアログセンサ)を用いている。撮像手段3としては、たとえば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ、CCD(Charge Coupled Device)イメージセンサ等を使用することができる。
The imaging means 3 includes a plurality of elements. The plurality of elements photoelectrically convert the light image formed in the lens unit 2 and image of color components (for example, red (R), green (G), blue (B)) having a level corresponding to the amount of light. A signal (color signal: RGB signal) is generated. The generated image signal is output to the amplifier 4. The imaging means 3 in the present embodiment uses a sensor (so-called linear log sensor) having a plurality of elements that can switch an operation for linearly converting incident light into an image signal and an operation for logarithmic conversion according to the amount of incident light. Yes. For example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, a CCD (Charge Coupled Device) image sensor, or the like can be used as the
アンプ4は、撮像手段3から出力された画像信号を増幅等する。アンプ4は、たとえば、画像信号の増幅を行うAGC(Auto Gain Control)回路、画像信号に含まれるノイズ成分の除去を行うCDS(Correlated Double Sampling)回路等を含む。増幅等された画像信号は、A/D変換部5に出力される。
The amplifier 4 amplifies the image signal output from the
A/D変換部5は、アンプ4により増幅された画像信号をデジタルの画像信号に変換する。A/D変換された画像信号は、処理ユニット6に出力される。
The A /
処理ユニット6は、入力された画像信号に対して後述する各種処理を実行する。なお、本実施形態において、処理ユニット6が「信号処理装置」の一例である。 The processing unit 6 performs various processes described later on the input image signal. In the present embodiment, the processing unit 6 is an example of a “signal processing device”.
メインマイコン7は、撮像装置1全体の動作制御を行うとともに後述する撮影条件を取得し、この撮影条件を後述する処理ユニット6に送出する。
The
図1に示すように、本実施形態における撮像装置1には、表示部10が接続されている。なお、表示部10を含めて撮像装置1を構成してもよい。
As shown in FIG. 1, a
表示部10は、LCD(Liquid Crystal Display)等の任意の表示デバイスによって構成される。たとえば、撮像装置1が車載カメラの場合、車内に設置されるカーナビゲーション装置の表示装置を表示部10として用いることが可能である。表示部10には、処理ユニット6で処理された画像信号(NTSC信号(後述))に基づく画像が表示される。
The
[処理ユニットの構成]
図2に示すように、処理ユニット6は、対数変換処理部61と、圧縮部62と、リニア化処理部63、画像処理部64と、NTSC変換部65とを含んで構成されている。
[Processing unit configuration]
As shown in FIG. 2, the processing unit 6 includes a logarithmic conversion processing unit 61, a
対数変換処理部61は、撮像手段3から入力された画像信号に対して対数変換処理を行う。対数変換処理部61は、図示しない加算器、乗算器及びLUT(Lookup Table)を含んで構成されている。
The logarithmic conversion processing unit 61 performs logarithmic conversion processing on the image signal input from the
圧縮部62は、対数変換処理された画像信号のダイナミックレンジを圧縮する。ダイナミックレンジの圧縮の手法については、たとえば、コニカミノルタテクノロジーレポートVol.4(2007)に記載された手法を用いることができる。
The
具体的に、圧縮部62は、入力された画像信号から照明成分を抽出する。そして、圧縮部62は、抽出した照明成分を所定の圧縮特性に従って圧縮する。更に、圧縮部62は、画像信号を圧縮前の照明成分で除して得られる反射率成分を、圧縮した照明成分に対して乗じる。これにより、ダイナミックレンジが圧縮された画像信号が生成される。
Specifically, the
ダイナミックレンジ圧縮がなされた画像信号は、リニア変換(リニア換算)処理を行うリニア化処理部63に送出される。リニア化処理部63でリニア変換された画像信号は、画像処理部64に入力される。
The image signal subjected to the dynamic range compression is sent to a
画像処理部64では、ダイナミックレンジが圧縮された画像信号に対して輝度処理及び色度処理等を行う。詳細については後述する。画像処理部64で処理された画像信号はNTSC変換部65に送出される。
The
NTSC変換部65は、画像処理部64で処理された画像信号をNTSC信号(映像信号)に変換する。具体的には、NTSC変換部65は、デジタルの画像信号をD/A変換等によりアナログのNTSC信号に変換する。このNTSC信号は、表示部10に出力される。なお、本実施形態におけるNTSC変換部65は、デジタルの画像信号をアナログ映像信号に変換する手段の一例である。この映像信号としては、NTSC信号に限らず、表示部10で画像表示できるフォーマットであればよい。たとえば、PAL(Phase Alternating Line)信号等も「映像信号」に含まれる。
The
[画像処理部64の構成]
図3に示すように、画像処理部64は、色補間処理部81と、RGB変換処理部82と、階調変換処理部83と、色処理部84とを含んで構成されている。
[Configuration of Image Processing Unit 64]
As shown in FIG. 3, the
色補間処理部81は、モザイク状に並んだ画素のそれぞれの位置において欠落した画像信号を補間する処理を行う。
The color
RGB変換処理部82は、色補間処理部81で補間された画像信号に対して3×3のマトリクス演算によりRGB変換を行う。これにより色(カラー)の再現が向上する。
The RGB
階調変換処理部83は、表示部の画面の明るさと画像信号が比例するように画像の階調を補正する。
The gradation
色処理部84は、階調変換処理部83で階調補正された画像信号から色度パラメータを抽出し、後述する撮影条件に基づく色度パラメータの変更量に応じて色度パラメータを変更する。
The
[色処理部84の構成]
図4に示すように、色処理部84は、抽出部90と、決定部91と、変更部92とを含んで構成されている。決定部91と変更部92は、上述したサブマイコンを構成する。
[Configuration of Color Processing Unit 84]
As shown in FIG. 4, the
抽出部90は、階調変換処理部83からの画像信号から画像を構成する画素の輝度成分を示す輝度信号YのY値(輝度値)と、色差成分を示す色度信号(色差信号)Cb,CrのCb値,Cr値(色度パラメータ)を抽出する。
The
抽出部90は、図5に示すように輝度信号Yを生成する輝度生成部95と、色度信号Cb,Crを生成する色度生成部96を備えて構成されている。
As shown in FIG. 5, the
決定部91は、メインマイコン7から送出された撮影条件に基づいて色度パラメータの変更量(以下、「色度変更量」と呼ぶ。)を決定し、変更量情報を送出する。この撮影条件には、例えば、撮影感度(ISO感度)、絞り値(F値)、シャッター速度や、撮影感度(ISO感度)、絞り値(F値)、シャッター速度に基づいて取得される被写体の周囲の明るさの情報(条件パラメータ)が含まれる。
The
また、決定部91は、この条件パラメータと色透過率とが関連付けられた第1の関連付け情報(第1のテーブル)と、画像信号の画素の輝度値と色透過率とが関連付けられた第2の関連付け情報(第2のテーブル)とが格納された記憶部(図示せず)を有する。なお、輝度値と色透過率は一対一で対応している。
The determining
ここで、色透過率とは、色の彩度(明度)を調整するためのパラメータである。例えば、色透過率が等倍(×1)であるときは色の彩度は変更されない。色透過率が半減(×0.5)すると色の彩度も半減する。色透過率がゼロであるときは色の彩度もゼロである。なお、彩度とは、彩度色のあざやかさの度合(色の純度)をいい、色の三属性(彩度、明度、色相)の一つである。 Here, the color transmittance is a parameter for adjusting the color saturation (brightness). For example, when the color transmittance is equal (× 1), the color saturation is not changed. When the color transmittance is halved (× 0.5), the color saturation is also halved. When the color transmittance is zero, the color saturation is also zero. Note that saturation refers to the degree of vividness (color purity) of a saturation color, and is one of the three attributes of color (saturation, lightness, and hue).
変更部92は、抽出部90により抽出された色度パラメータCb値,Cr値を色度変更量に基づいて変更し、変更された色度信号Cb´,Cr´を表示部10に送出する。
The changing
[撮像装置1の動作]
図6を参照して、撮像装置1の動作について説明する。
[Operation of Imaging Device 1]
With reference to FIG. 6, the operation of the
撮像装置1を駆動させると、撮像手段3は、レンズ部2において結像された光像を光電変換し、画像信号を生成する(S10)。メインマイコン7は、撮像手段3を制御し、生成された画像信号をアンプ4へ出力させる。
When the
アンプ4は、S10で生成された画像信号を増幅する(S11)。メインマイコン7は、アンプ4を制御し、増幅された画像信号をA/D変換部5に出力させる。
The amplifier 4 amplifies the image signal generated in S10 (S11). The
A/D変換部5は、S11で増幅された画像信号をデジタルの画像信号に変換する(S12)。メインマイコン7は、A/D変換部5を制御し、A/D変換された画像信号を対数変換処理部61に出力させる。
The A /
対数変換処理部61は、S12でデジタル変換された画像信号に対して対数変換処理を行う(S13)。メインマイコン7は、対数変換処理部61を制御し、対数変換処理がなされた画像信号を圧縮部62に出力させる。
The logarithmic conversion processing unit 61 performs logarithmic conversion processing on the image signal digitally converted in S12 (S13). The
圧縮部62は、S13で対数変換処理された画像信号のダイナミックレンジを圧縮する(S14)。メインマイコン7は、圧縮部62を制御し、ダイナミックレンジ圧縮がなされた画像信号をリニア化処理部63に出力させる。
The
リニア化処理部63は、S14でダイナミックレンジ圧縮がなされた画像信号をリニア変換する(S15)。メインマイコン7は、リニア化処理部63を制御し、リニア化された画像信号を画像処理部64に出力させる。
The
画像処理部64は、S15でリニア変換された画像信号に対して輝度処理及び色度処理を行う(S16)。メインマイコン7は、画像処理部64を制御し、輝度処理及び色度処理がなされた画像信号をNTSC変換部65に出力させる。
The
NTSC変換部65は、S16で輝度処理及び色度処理された画像信号をNTSC信号に変換する(S17)。メインマイコン7は、NTSC変換部65を制御し、NTSC信号を表示部10に出力させる。このNTSC信号は、表示部10の入力レンジに被写体の階調が収まるような画像処理(ダイナミックレンジ圧縮等)がなされている。従って、表示部10は、NTSC信号に基づく画像を表示することができる。
The
なお、メインマイコン7は、例えば、CPU(Central Processing Unit)などの図示しない処理装置と、CPUで実行される制御プログラム等が記憶されたROM(Read Only Memory)、CPUの作業用メモリとして用いられるRAM(Random Access Memory)などの図示しない記憶装置とによって構成されている。上述したサブマイコンも、上記メインマイコンと同様の構成を有している。上記した記憶装置には、上記各ステップで行われる動作制御を実行するための制御プログラム等が記憶されている。CPUなどの処理装置が、記憶装置に記憶されている制御プログラムを実行することで上記各ステップの動作制御が実行される。
The
[色処理部84の動作]
以下に、図4、図7および図8を参照して、色処理部84の動作(S16)について説明する。
[Operation of Color Processing Unit 84]
Hereinafter, the operation (S16) of the
色処理部84に画像信号が入力されると(S20)、抽出部90は、色差成分を示す色度信号(色差信号)Cb,CrのCb値,Cr値(色度パラメータ)を抽出する(S21)。決定部91は、撮影感度(ISO感度)、絞り値(F値)、シャッター速度や、撮影感度、絞り値、シャッター速度に基づく条件パラメータを取得する。そして、決定部91は、あらかじめ記憶された第1のテーブルを参照して、取得した条件パラメータの値に対応する色透過率の値を色度パラメータの変更量として決定(特定)する(S22)。
When an image signal is input to the color processing unit 84 (S20), the
ここで、図8の左下のグラフは条件パラメータと色透過率の関係を示すグラフである。図8の左上のグラフは画素の輝度と色透過率の関係を示すグラフである。図8の右上のグラフは、前記第N列目における輝度の値(輝度値)に対応した色度信号の波形である。点線の波形は、本実施の形態における条件パラメータの変更量に基く信号波形である。実線の波形は、前記変更量に基かない信号波形(第2のテーブルのみに基づいて色抑制された信号波形)である。 Here, the lower left graph of FIG. 8 is a graph showing the relationship between the condition parameter and the color transmittance. The graph on the upper left of FIG. 8 is a graph showing the relationship between pixel luminance and color transmittance. The upper right graph in FIG. 8 is a waveform of the chromaticity signal corresponding to the luminance value (luminance value) in the Nth column. The dotted waveform is a signal waveform based on the change amount of the condition parameter in the present embodiment. The solid line waveform is a signal waveform that is not based on the amount of change (a signal waveform that is color-suppressed based only on the second table).
図8左上のグラフにおいて、細い実線で描かれている波形(以下、「波形A」と呼ぶ。)は、第2のテーブルに格納された第2の関連付け情報のみに基いて色度抑制される様子を示す波形である。つまり波形Aは、第1の関連付け情報が全く適用されていない場合の波形である。 In the graph at the upper left of FIG. 8, the waveform drawn by a thin solid line (hereinafter referred to as “waveform A”) is suppressed in chromaticity based only on the second association information stored in the second table. It is a waveform which shows a mode. That is, the waveform A is a waveform when the first association information is not applied at all.
例えば、図8左下のグラフのb点においては、色透過率が最大値(透過率100%)である(被写体周囲の明るさが所定の明るさより明るい場合)ので、第1の関連付け情報を適用せずに通常の第2の関連付け情報だけに基いて色度抑制処理が行われる。そして、前記色度抑制処理がなされて変更部92から色度信号Cb´,Cr´(図8右上の実線波形)が出力される。
For example, at point b in the lower left graph of FIG. 8, the color transmittance is the maximum value (transmittance 100%) (when the brightness around the subject is brighter than the predetermined brightness), so the first association information is applied. Instead, the chromaticity suppression process is performed based only on the normal second association information. Then, the chromaticity suppression process is performed, and chromaticity signals Cb ′ and Cr ′ (solid line waveform in the upper right of FIG. 8) are output from the changing
一方、図8左上のグラフにおいて、太い実線で描かれている波形(以下、「波形B」と呼ぶ。)は、第1のテーブルに格納された第1の関連付け情報を第2の関連付け情報に適用して色度抑制される様子を示す波形である。 On the other hand, in the graph in the upper left of FIG. 8, the waveform drawn with a thick solid line (hereinafter referred to as “waveform B”) is changed from the first association information stored in the first table to the second association information. It is a waveform which shows a mode that chromaticity suppression is applied and applied.
例えば、図8左下のグラフのa点においては、色透過率が最大値より小さい(被写体周囲の明るさが所定の明るさより暗い場合)ので、第1の関連付け情報を第2の関連付け情報に適用してその適用後の色度パラメータに基いて色度抑制処理(色度パラメータの変更処理(S23))が行われる。なお、適用後の色度パラメータは、第1の関連付け情報を第2の関連付け情報に乗算して得られる。また、色透過率が最大値より小さいか否かは決定部91において判定される。本実施の形態では、最大値を透過率100%として上記判定がなされているが、最大値を透過率100%とせず、任意の透過率に設定してもよい。
For example, at point a in the lower left graph of FIG. 8, the color transmittance is smaller than the maximum value (when the brightness around the subject is darker than the predetermined brightness), so the first association information is applied to the second association information. Then, chromaticity suppression processing (chromaticity parameter changing processing (S23)) is performed based on the chromaticity parameters after the application. The applied chromaticity parameter is obtained by multiplying the second association information by the first association information. In addition, the
そして、前記色度抑制処理がなされて変更部92から色度信号Cb´,Cr´(図8右上の点線波形)が出力される。図8右上の点線波形を見るとわかるように、被写体周囲の明るさが所定の明るさより暗い場合には色度信号Cb,Crが抑制され、抑制された色度信号Cb´,Cr´が出力される。
Then, the chromaticity suppression process is performed, and the chromaticity signals Cb ′ and Cr ′ (dotted line waveform in the upper right in FIG. 8) are output from the changing
なお、本実施の形態では、色処理部84を構成する決定部91がメインマイコン7から送出された撮影条件を受けて条件パラメータを取得し、取得した条件パラメータの値に対応する色透過率の値を色度パラメータの変更量として決定しているが、メインマイコン7に決定部91の機能を持たせる構成とすることも可能である。
In the present embodiment, the
具体的には、メインマイコン7は、前記第1のテーブルと前記第2のテーブルとを格納する記憶部を含む決定部を備え、色処理部84は、抽出部と変更部を備える。これら決定部、色処理部および抽出部の機能は上記と同様である。つまり、メインマイコン7を構成する決定部は、撮影条件を取得するとともに、取得された撮影条件に基づく条件パラメータを取得する。そして、決定部は、あらかじめ記憶された第1のテーブルを参照して、取得した条件パラメータの値に対応する色透過率の値を色度パラメータの変更量として決定し、その変更量の情報を変更部に送出する。以降の変更部92の処理は上記と同様である。
[効果]
以下に、本実施の形態の効果について説明する。
Specifically, the
[effect]
Below, the effect of this Embodiment is demonstrated.
本実施の形態における信号処理装置1は、撮影条件を変更可能な撮像手段により得られた画像信号を処理する信号処理装置であって抽出部90と、決定部91と、変更部92とを有する。
The
抽出部90は、前記画像信号から色度パラメータを抽出する。決定部91は、前記画像信号が得られたときの前記撮影条件に基づいて、色度パラメータの変更量を決定する。変更部92は、抽出部90により抽出された色度パラメータを前記変更量に基づいて変更する。
The
また、前記撮影条件には、撮影視野の明るさに応じて変更される条件パラメータが含まれる。決定部91は、前記条件パラメータと色透過率とを関連付けた第1の関連付け情報(第1のテーブル)をあらかじめ記憶した記憶部を有し、前記画像信号が得られたときの前記条件パラメータの値に関連付けられた色透過率の値を前記変更量として前記第1のテーブルに基づき特定する。ここで、前記条件パラメータは、撮影感度、絞り値及び/又はシャッター速度を含む。
In addition, the shooting conditions include a condition parameter that is changed according to the brightness of the shooting field of view. The
また、前記第1のテーブルは、所定の閾値より小さい前記条件パラメータの値に対して色透過率の最大値よりも小さい値を関連付けている。 In the first table, a value smaller than the maximum value of the color transmittance is associated with the value of the condition parameter smaller than a predetermined threshold.
また、前記記憶部は、画像信号の画素の輝度値と色透過率とを関連付けた第2の関連付け情報(第2のテーブル)をあらかじめ記憶している。決定部91は、前記画像信号の各画素について、その輝度値に関連付けられた色透過率の値を前記変更量として前記第2のテーブルに基づき特定する。
また、本実施形態における撮像装置1は、撮像手段3と、上記信号処理装置とを有する。
The storage unit stores in advance second association information (second table) in which the luminance value of the pixel of the image signal and the color transmittance are associated with each other. The
In addition, the
このように、本発明における信号処理装置(撮像装置1)によれば、被写体周辺の明るさの情報を条件パラメータとして検出して、この条件パラメータと色透過率を関連付けた関連付け情報に基づいて、色度パラメータCb値,Cr値の色度変更量を変更している。 Thus, according to the signal processing device (imaging device 1) of the present invention, brightness information around the subject is detected as a condition parameter, and based on the association information that associates the condition parameter with the color transmittance, The chromaticity change amount of the chromaticity parameters Cb value and Cr value is changed.
したがって、例えば、夜間に車両前方の被写体を撮影する場合において、前方の車のブレーキランプやテールランプが点灯されたとしても、撮像装置は条件パラメータによって被写体周辺が暗いと判断されるので、ブレーキランプやテールランプの光源色(赤色)が色透過される。このため、表示部(モニター)に表示される画像は真っ赤とならず、実際の見た目に近く、違和感のない画像を得ることができる。
また、信号機付近での夜間撮影においては、信号機の光源色(緑色)が色透過されるため、実際の見た目に近く、違和感のない画像を得ることができる。
Therefore, for example, when photographing a subject in front of the vehicle at night, even if the brake lamp and tail lamp of the vehicle in front are turned on, the imaging device determines that the periphery of the subject is dark according to the condition parameter. The light source color (red) of the tail lamp is transmitted through. For this reason, the image displayed on the display unit (monitor) is not red, and an image that is close to the actual appearance and has no sense of incongruity can be obtained.
Further, in night photography near a traffic light, the light source color (green) of the traffic light is transmitted through, so an image that is close to the actual appearance and has no sense of incongruity can be obtained.
<変形例>
上記した第1の実施形態では、マトリクス構成された画素群の第N列目における画素群の色度信号Cb,Crのプラス・マイナス領域(例えば、階調範囲が−128ビット〜+127ビット(256ビット))全域において、色度抑制処理を行っていた。
<Modification>
In the first embodiment described above, the plus / minus regions of the chromaticity signals Cb and Cr of the pixel group in the Nth column of the pixel group configured in a matrix (for example, the gradation range is −128 bits to +127 bits (256 Bit)) The chromaticity suppression process was performed in the entire area.
本変形例では、例えば、赤色のみ抑制したいような場合には、図9に示すように色度信号Crのプラス領域のみ抑制するようにする。なお、例えば青色のみ抑制したいような場合には、色度信号Cbのプラス領域のみ抑制するようにすればよい。 In the present modification, for example, when it is desired to suppress only red, only the plus region of the chromaticity signal Cr is suppressed as shown in FIG. For example, when only blue is desired to be suppressed, only the positive region of the chromaticity signal Cb may be suppressed.
このように特定の色のみ抑制することによって、利用目的に合わせてより的確に抑制することができる。例えば、車載用カメラで前方の被写体を撮影する場合、前方の車のブレーキランプやテールランプが点灯された場合でも、赤色のみ抑制されるので、表示部(モニター)に表示される画像は、より実際の見た目に近く、より違和感のない画像となる。 Thus, by suppressing only a specific color, it can suppress more appropriately according to the purpose of use. For example, when shooting a subject in front with an in-vehicle camera, only the red color is suppressed even if the brake light and tail light of the front car are lit, so the image displayed on the display unit (monitor) is more actual. The image is close to the appearance of the image, and the image is more comfortable.
<第2の実施形態>
本実施形態は、撮像装置1における撮像手段3として、入射光を画像信号に線形変換する動作と対数変換する動作とを入射光量に応じて切り換え可能な複数の素子を有するリニアログセンサを用いたものである。このリニアログセンサについては公知(例えば、国際公報WO2006−103881号公報等参照)であるので、ここではその説明は省略する。
<Second Embodiment>
In this embodiment, a linear log sensor having a plurality of elements that can switch between an operation for linearly converting incident light into an image signal and an operation for logarithmic conversion according to the amount of incident light is used as the image pickup means 3 in the
上記したように、撮像手段3としてリニアログセンサを用いることにより、ダイナミックレンジを拡大させることができる。したがって、高画質な画像を表示部10に表示させることができる。
As described above, the dynamic range can be expanded by using a linear log sensor as the
ところで、撮像手段3としてリニアログセンサを用いた場合には、リニア化処理部63(図2参照)でリニア化処理(リニア換算処理)された画像信号にノイズが発生し易くなる。これは、線形領域(リニア領域)で撮像した画像のデータ(画像信号)の階調(分解能)と対数領域(ログ領域)で撮像した画像のデータ(画像信号)の階調に差が生じるため、対数領域で撮像された画像データをリニア化処理したときに、その画像データが飛び飛びになってしまうからである。 By the way, when a linear log sensor is used as the imaging means 3, noise is likely to occur in the image signal linearized (linear conversion processing) by the linearization processing unit 63 (see FIG. 2). This is because there is a difference between the gradation (resolution) of image data (image signal) captured in the linear region (linear region) and the gradation of image data (image signal) captured in the logarithmic region (log region). This is because when the image data captured in the logarithmic region is linearized, the image data is skipped.
本実施の形態によれば、この対数領域における画素の色抑制処理を、その画素の輝度値と色透過率とが関連付けられた第2のテーブルを用いて行っているので、上記したリニア化処理(リニア換算処理)の際に生じるノイズを抑制することができる。 According to the present embodiment, the color suppression processing of the pixel in the logarithmic region is performed using the second table in which the luminance value of the pixel and the color transmittance are associated with each other. Noise generated during (linear conversion processing) can be suppressed.
<変形例>
ところで、リニアログセンサを用いた場合の画素の輝度値に対する色透過率は、図10に示すように撮像時や信号処理時における線形領域と対数領域の境界位置が変化する。
例えば、図10の境界位置がA点からB点に変化したような場合、対数領域における色透過率は、実線Aのようになる。B点からA点までの間は、対数領域であるにもかかわらず色透過率が一定であるので、本来の抑制処理(点線Bのような変化)がされないことになる。
<Modification>
By the way, the color transmittance with respect to the luminance value of the pixel when the linear log sensor is used changes the boundary position between the linear region and the logarithmic region at the time of imaging or signal processing as shown in FIG.
For example, when the boundary position in FIG. 10 changes from point A to point B, the color transmittance in the logarithmic region is as shown by a solid line A. Between point B and point A, the color transmittance is constant despite the logarithmic region, so that the original suppression process (change as shown by dotted line B) is not performed.
また、図10の境界位置がA点からC点に変化したような場合、A点からC点までの間は、線形領域であるにもかかわらず色透過率が一定であるので、本来の抑制処理(点線Cのような変化)がされず、自然な色再現を図ることができない。 Further, when the boundary position in FIG. 10 changes from the point A to the point C, the color transmittance is constant from the point A to the point C although it is a linear region. Processing (changes like dotted line C) is not performed, and natural color reproduction cannot be achieved.
そこで、本変形例では、決定部91および変更部92に以下のような機能を追加する。決定部91は、撮像時や信号処理時における前記境界位置の情報を受けて、前記境界位置が変化した場合に、その変化した後の境界点から色透過率を変化させるようにその変更量情報を変更部92に送出する。変更部92は、その変更量に応じて色透過率を変化(クロマサプレス領域を変化)させる。
Therefore, in this modification, the following functions are added to the
本変形例によれば、線形領域と対数領域の境界位置が変化しても、その変化に応じてクロマサプレス領域を変化させているので自然な色再現を図ることができる。 According to this modification, even if the boundary position between the linear region and the logarithmic region changes, the chroma suppress region is changed according to the change, so that natural color reproduction can be achieved.
<第3の実施形態>
[全体構成]
本実施の形態に係る撮像システムは、図11に示すように、上記した第1の実施の形態に係る撮像装置1(図1参照)に、検出部102と車両制御部101を追加した構成となっている。なお、撮像装置1の構成については上記同様であるので説明を省略する。
<Third Embodiment>
[overall structure]
As shown in FIG. 11, the imaging system according to the present embodiment has a configuration in which a
ここで、撮像装置1は、車両に搭載される撮像装置である。検出部102は、車両のブレーキの踏込みの有無を検出し、ブレーキの踏込みの有無を示すブレーキ検出信号を車両制御部101に送出する。車両制御部101は、いわゆる車両ECU(エンジンコントロールユニット:Engine Control Unit)であり、運転者によるブレーキの踏込みが検出された場合に、色処理部84を構成する変更部92に変更開始信号を送出する。
Here, the
[動作]
変更部92は、車両制御部101からの変更開始信号を受けた場合に、抽出部90により抽出された色度パラメータCb値,Cr値を色度変更量に基づいて変更し、変更された色度信号Cb´,Cr´を表示部10に送出する。なお、この色度パラメータCb値,Cr値の色度変更量に基づく変更処理については、上記した第1の実施の形態における変更部92における変更処理と同様であるので、その説明を省略する。
[Operation]
When the
[効果]
本実施の形態によれば、変更開始信号を受けた場合に、抽出された色度パラメータCb値,Cr値を色度変更量に基づいて変更し、変更された色度信号Cb´,Cr´を送出するようにしている。このため、ブレーキランプの点灯に連動して色度パラメータCb値,Cr値の色度変更量が変更される。
[effect]
According to the present embodiment, when the change start signal is received, the extracted chromaticity parameter Cb value and Cr value are changed based on the chromaticity change amount, and the changed chromaticity signals Cb ′ and Cr ′. Is sent out. Therefore, the chromaticity change amount of the chromaticity parameters Cb value and Cr value is changed in conjunction with the lighting of the brake lamp.
したがって、例えば、夜間に車両後方の被写体を撮影する場合において、自身のブレーキランプが後方の物体(被写体)に反射されたときに自動的に本撮像システムを構成する撮像装置を起動させることができる。 Therefore, for example, when photographing a subject behind the vehicle at night, the imaging device that constitutes the imaging system can be automatically activated when its own brake lamp is reflected by a rear object (subject). .
このため、ブレーキランプの点灯と同時に、取得した条件パラメータによって被写体周辺が暗いと判断され、ブレーキランプの光源色(赤色)が色透過されるため、実際の見た目に近く、違和感のない画像を得ることができる。 For this reason, simultaneously with the lighting of the brake lamp, it is determined that the surroundings of the subject are dark according to the acquired condition parameter, and the light source color (red) of the brake lamp is transmitted through, so an image that is close to the actual appearance and has no sense of incongruity is obtained. be able to.
1 撮像装置
2 レンズ部
3 撮像手段
4 アンプ
5 A/D変換部
6 処理ユニット
7 メインマイコン
10 表示部
61 対数変換処理部
62 圧縮部
63 リニア化処理部
64 画像処理部
65 NTSC変換部
81 色補間処理部
82 RGB変換処理部
83 階調変換処理部
84 色処理部
90 抽出部
91 決定部
92 変更部
95 輝度生成部
96 色度生成部
101 車両制御部
102 検出部
DESCRIPTION OF
Claims (9)
前記画像信号から色度パラメータを抽出する抽出部と、
前記画像信号が得られたときの前記撮影条件に基づいて、色度パラメータの変更量を決定する決定部と、
前記抽出部により抽出された色度パラメータを前記変更量に基づいて変更する変更部とを有する
ことを特徴とする信号処理装置。 A signal processing device for processing an image signal obtained by an imaging means capable of changing imaging conditions,
An extraction unit for extracting chromaticity parameters from the image signal;
A determination unit that determines a change amount of a chromaticity parameter based on the photographing condition when the image signal is obtained;
A signal processing apparatus comprising: a changing unit that changes the chromaticity parameter extracted by the extracting unit based on the change amount.
前記決定部は、
前記条件パラメータと色透過率とを関連付けた第1の関連付け情報をあらかじめ記憶した記憶部を有し、
前記画像信号が得られたときの前記条件パラメータの値に関連付けられた色透過率の値を前記変更量として前記第1の関連付け情報に基づき特定する
ことを特徴とする請求項1に記載の信号処理装置。 The shooting condition includes a condition parameter that is changed according to the brightness of the shooting field of view,
The determination unit
A storage unit that stores in advance first association information in which the condition parameter and the color transmittance are associated;
2. The signal according to claim 1, wherein a value of color transmittance associated with a value of the condition parameter when the image signal is obtained is specified based on the first association information as the amount of change. Processing equipment.
前記決定部は、前記画像信号の各画素について、その輝度値に関連付けられた色透過率の値を前記変更量として前記第2の関連付け情報に基づき特定する
ことを特徴とする請求項2〜請求項4のいずれか一項に記載の信号処理装置。 The storage unit stores in advance second association information that associates the luminance value of the pixel of the image signal and the color transmittance,
The said determination part specifies the value of the color transmittance linked | related with the luminance value about each pixel of the said image signal as said change amount based on said 2nd correlation information. The Claim 2 characterized by the above-mentioned. Item 5. The signal processing device according to any one of Items 4 to 6.
ことを特徴とする請求項5に記載の信号処理装置。 The signal processing apparatus according to claim 5, wherein the determination unit determines the change amount so that only a color transmittance for a specific color is reduced according to the luminance value.
請求項1から6のいずれかに記載の信号処理装置と、
を有することを特徴とする撮像装置。 Imaging means;
A signal processing device according to any one of claims 1 to 6;
An imaging device comprising:
前記変更部は、前記第2の動作が行われる対数領域において、前記撮影条件に基づいて前記色度パラメータを変更する
ことを特徴とする請求項7に記載の撮像装置。 The imaging unit includes a plurality of elements that can switch between a first operation for linearly converting incident light into an image signal and a second operation for logarithmically converting the linearly converted image signal according to the amount of incident light. Log sensor,
The imaging apparatus according to claim 7, wherein the changing unit changes the chromaticity parameter based on the shooting condition in a logarithmic region in which the second operation is performed.
前記車両のブレーキの踏込みの有無を検出する検出部と、
請求項1から6のいずれかに記載の信号処理装置と、
前記ブレーキの踏込が検出された場合に、前記変更部を制御し、前記撮影条件に基づいて前記色度パラメータを変更させる車両制御部と、
を有することを特徴とする撮像システム。 Imaging means mounted on the vehicle;
A detection unit for detecting presence or absence of depression of the brake of the vehicle;
A signal processing device according to any one of claims 1 to 6;
A vehicle control unit that controls the changing unit when the depression of the brake is detected, and changes the chromaticity parameter based on the shooting condition;
An imaging system comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011283746A JP2013135305A (en) | 2011-12-26 | 2011-12-26 | Signal processor, imaging apparatus, and imaging system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011283746A JP2013135305A (en) | 2011-12-26 | 2011-12-26 | Signal processor, imaging apparatus, and imaging system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013135305A true JP2013135305A (en) | 2013-07-08 |
Family
ID=48911737
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011283746A Pending JP2013135305A (en) | 2011-12-26 | 2011-12-26 | Signal processor, imaging apparatus, and imaging system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013135305A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107707789A (en) * | 2016-08-08 | 2018-02-16 | 谷歌有限责任公司 | Monochromatic color mapping is carried out using monochromatic imager and color mapped sensors |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001006097A (en) * | 1999-06-25 | 2001-01-12 | Fujitsu Ten Ltd | Device for supporting driving for vehicle |
JP2002033934A (en) * | 2000-07-18 | 2002-01-31 | Fuji Photo Film Co Ltd | Apparatus and method for image processing |
JP2005110235A (en) * | 2003-09-09 | 2005-04-21 | Konica Minolta Holdings Inc | Imaging apparatus |
JP2007267170A (en) * | 2006-03-29 | 2007-10-11 | Nikon Corp | Electronic camera with chroma saturation regulating function and image processing program |
JP2007288573A (en) * | 2006-04-18 | 2007-11-01 | Olympus Corp | Chroma suppress processing device |
-
2011
- 2011-12-26 JP JP2011283746A patent/JP2013135305A/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001006097A (en) * | 1999-06-25 | 2001-01-12 | Fujitsu Ten Ltd | Device for supporting driving for vehicle |
JP2002033934A (en) * | 2000-07-18 | 2002-01-31 | Fuji Photo Film Co Ltd | Apparatus and method for image processing |
JP2005110235A (en) * | 2003-09-09 | 2005-04-21 | Konica Minolta Holdings Inc | Imaging apparatus |
JP2007267170A (en) * | 2006-03-29 | 2007-10-11 | Nikon Corp | Electronic camera with chroma saturation regulating function and image processing program |
JP2007288573A (en) * | 2006-04-18 | 2007-11-01 | Olympus Corp | Chroma suppress processing device |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107707789A (en) * | 2016-08-08 | 2018-02-16 | 谷歌有限责任公司 | Monochromatic color mapping is carried out using monochromatic imager and color mapped sensors |
CN107707789B (en) * | 2016-08-08 | 2020-11-03 | 谷歌有限责任公司 | Method, computing device and storage medium for providing a color high resolution image of a scene |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8493502B2 (en) | Image pickup apparatus, image pickup method, and storage medium storing program | |
US10560670B2 (en) | Imaging apparatus and imaging control method | |
TWI416940B (en) | Image processing apparatus and image processing program | |
US9426437B2 (en) | Image processor performing noise reduction processing, imaging apparatus equipped with the same, and image processing method for performing noise reduction processing | |
EP3343912B1 (en) | Imaging device | |
US9936172B2 (en) | Signal processing device, signal processing method, and signal processing program for performing color reproduction of an image | |
JP2009017306A (en) | Image display device and imaging apparatus using the same | |
JP2008160477A (en) | Imaging apparatus, its control method, program, and storage medium | |
US11172173B2 (en) | Image processing device, image processing method, program, and imaging device | |
US9214034B2 (en) | System, device and method for displaying a harmonized combined image | |
JP2003304549A (en) | Camera and image signal processing system | |
US9131199B2 (en) | Imaging apparatus capable of generating an appropriate color image | |
US11798143B2 (en) | Image processing apparatus and control method thereof | |
WO2013118337A1 (en) | Imaging device | |
JP5228717B2 (en) | Image input device | |
JP2005236588A (en) | Image data conversion device and camera device | |
JP6411644B2 (en) | Automatic vehicle camera device with histogram diffusion | |
JP5521927B2 (en) | Imaging device | |
KR102247597B1 (en) | Image processing apparatus and image processing method | |
JP2007288573A (en) | Chroma suppress processing device | |
JP2013135305A (en) | Signal processor, imaging apparatus, and imaging system | |
JP2006060744A (en) | Noise reduction apparatus | |
JP5545596B2 (en) | Image input device | |
JP2007336172A (en) | Image signal processor and image signal processing method | |
JP2010147800A (en) | Image processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20130417 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140317 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141224 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150512 |