JP2003230156A - 電子カメラ - Google Patents
電子カメラInfo
- Publication number
- JP2003230156A JP2003230156A JP2002025712A JP2002025712A JP2003230156A JP 2003230156 A JP2003230156 A JP 2003230156A JP 2002025712 A JP2002025712 A JP 2002025712A JP 2002025712 A JP2002025712 A JP 2002025712A JP 2003230156 A JP2003230156 A JP 2003230156A
- Authority
- JP
- Japan
- Prior art keywords
- control value
- state information
- image
- electronic camera
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012937 correction Methods 0.000 claims abstract description 107
- 238000012545 processing Methods 0.000 claims abstract description 50
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 238000003384 imaging method Methods 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims description 48
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 9
- 238000012935 Averaging Methods 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Exposure Control For Cameras (AREA)
Abstract
理や露光制御を行うことができる電子カメラを提供する
ことを目的とする。 【解決手段】 被写体像を撮像して画像を生成する撮像
手段と、撮像手段によって画像が生成される際の被写体
の状態を示す状態情報を検出する状態情報検出手段と、
状態情報検出手段によって過去に検出された状態情報を
記録する記録手段と、記録手段に記録されている過去の
状態情報と、撮像手段によって画像が生成された際に状
態情報検出手段によって検出される最新の状態情報とに
基づいて、該画像に対して補正処理を行う補正処理手段
とを備えたことを特徴とする。
Description
する補正処理や、撮影時の露光制御を行う電子カメラに
関する。
(例えば、被写体を照明する光源や、コントラストな
ど)に適応した画像を得るため、撮像素子などを介して
生成した画像に対し、ホワイトバランス調整、階調補
正、色補正などの種々の補正処理が施される。
光源の色温度を検出する色温度検出部を備えたものがあ
り、このような電子カメラでは、色温度検出部によって
検出される色温度を制御値として用いたホワイトバラン
ス調整(場合によっては、色補正)が実現されている。
また、被写体のコントラストを検出するコントラスト検
出部を備え、このようなコントラスト検出部によって検
出されるコントラストを制御値として階調補正を実現す
る電子カメラもある。
が押下された時点(または、その直前)の画像を用いて
色温度やコントラストが検出され、このような検出によ
り得られる最新の色温度やコントラストに基づいて各補
正処理が行われる。そのため、連写撮影のように、同じ
被写体を短時間に連続して撮影する際には、被写体の条
件が微妙に変化する場合であっても、このような変化に
追従しつつ、各補正処理を行うことが可能である。
連続して撮影する過程において、画角内における被写体
の位置がずれると、実際の色温度が変化していないにも
拘わらず、色温度検出部によって検出される色温度が変
動してしまうことがある。このように色温度の検出結果
が変動してしまうと、同一の被写体に対する画像であっ
ても、被写体の位置がずれてしまった画像については、
ホワイトバランスが他の画像と相違してしまうという問
題が発生する。そのため、これらの画像を順次再生する
場合、非常に不自然な印象をユーザに与えてしまうこと
になる。特に、赤色の被写体は、ホワイトバランス調整
の影響を受け易いため、走行中の赤い自動車を画角内に
捉えながら連写撮影が行われる場合、上記の問題が顕著
に現れる。
整に限らず、階調補正や色補正であっても発生する。な
お、各補正処理の安定を図る方法として、制御値の変化
量を所定の範囲に制限する方法が従来から考えられてい
る。しかし、このような方法では、例えば、走行中の自
動車が日向から日陰へ移動したり、日陰から日向へ移動
した場合などのように、被写体の条件が実際に変化する
場合には、その変化に追従して各補正処理を行うことが
困難である。
高めると追従性が損なわれ、追従性を高めると安定性が
損なわれてしまう。ところで、電子カメラには、測光セ
ンサなどにより繰り返し検出される輝度に基づき、追従
性の高い露光制御(アナログ画像信号のゲイン調整を含
む)を実現しているものがある。このような電子カメラ
では、同じ被写体を連続して撮影する過程において、被
写体の条件が撮影者の意図に関係なく一時的に変化して
しまった場合であっても、その変化に応じて露光制御が
行われてしまう。
安定性とを同時に兼ね備えることは困難である。そこ
で、本発明は、追従性と安定性とを同時に兼ね備えた補
正処理や露光制御を行うことができる電子カメラを提供
することを目的とする。
メラは、被写体像を撮像して画像を生成する撮像手段
と、前記撮像手段によって画像が生成される際の被写体
の状態を示す状態情報を検出する状態情報検出手段と、
前記状態情報検出手段によって過去に検出された状態情
報を記録する記録手段と、前記記録手段に記録されてい
る過去の状態情報と、前記撮像手段によって画像が生成
された際に前記状態情報検出手段によって検出される最
新の状態情報とに基づいて、該画像に対して補正処理を
行う補正処理手段とを備えたことを特徴とする。
に記載の電子カメラにおいて、前記状態情報検出手段
は、前記補正処理手段によってホワイトバランス調整ま
たは色補正が行われる場合には、前記状態情報として少
なくとも色温度を検出し、前記補正処理手段によって階
調補正が行われる場合には、前記状態情報として少なく
ともコントラストを検出し、前記補正処理手段によって
色補正が行われる場合には、画角内における主要な色を
定量的に示す色彩情報を検出することを特徴とする。
または請求項2に記載の電子カメラにおいて、前記補正
処理手段は、前記撮像手段によって画像が生成される度
に、該画像に対して行う補正処理に用いる制御値を算出
する制御値算出部を有し、前記記録手段は、前記制御値
算出部によって算出された前回の制御値を記録し、前記
制御値算出部は、過去の状態情報と最新の状態情報との
変化に応じて、前記記録手段に記録されている前回の制
御値と最新の状態情報に基づいて得られる制御値とを合
成して、新たな制御値を算出することを特徴とする。
に記載の電子カメラにおいて、前記状態情報は、被写体
の輝度を含み、前記制御値算出部は、輝度の変化量が上
限値以上である場合、最新の状態情報に基づいて得られ
る制御値を新たな制御値とし、輝度の変化量が下限値未
満である場合、前回の制御値を新たな制御値とすること
を特徴とする。
または請求項2に記載の電子カメラにおいて、前記撮像
手段によって画像が生成される度に、撮影時刻を取得す
る撮影時刻取得手段を備え、前記補正処理手段は、前記
撮像手段によって画像が生成される度に、該画像に対し
て行う補正処理に用いる制御値を算出する制御値算出部
を有し、前記記録手段は、前記制御値算出手段によって
算出された前回の制御値を記録し、前記制御値算出部
は、前記撮影時刻取得手段によって取得される撮影時刻
に基づき、前回の撮影から最新の撮影までの経過時間が
上限値以上である場合、最新の状態情報に基づいて得ら
れる制御値を新たな制御値とし、該経過時間が下限値未
満である場合、前記記録手段に記録されている前回の制
御値を新たな制御値とすることを特徴とする。
または請求項2に記載の電子カメラにおいて、閃光を発
する閃光装置を備え、前記補正処理手段は、前記撮像手
段によって画像が生成される度に、該画像に対して行う
補正処理に用いる制御値を算出する制御値算出部を有
し、前記記録手段は、前記制御値算出手段によって算出
された前回の制御値を記録し、前記制御値算出部は、前
回の撮影と最新の撮影とで閃光装置の発光の有無が変化
した場合、最新の状態情報に基づいて得られる制御値を
新たな制御値とし、閃光装置の発光の有無が変化してい
ない場合、前記記録手段に記録されている前回の制御値
を新たな制御値とすることを特徴とする。
に記載の電子カメラにおいて、前記制御値算出部は、前
回の撮影と最新の撮影とで閃光装置の発光の有無が変化
した場合、前記記録手段に記録されている前回の制御値
と過去の状態情報とを初期化することを特徴とする。請
求項8に記載の電子カメラは、被写体像を撮像して画像
を生成する撮像手段と、被写体の状態を示す状態情報を
繰り返し検出する状態情報検出手段と、前記状態情報検
出手段によって過去に検出された状態情報を記録する記
録手段と、前記記録手段に記録されている過去の状態情
報と、前記状態情報検出手段によって検出される最新の
状態情報とに基づいて、前記撮像手段によって画像が生
成される際の露光制御に用いる制御値を繰り返し算出す
る制御値算出手段と、前記撮像手段によって画像が生成
される直前に算出された制御値を用いて、露光制御を行
う露光制御手段とを備えたことを特徴とする。
を撮像して画像を生成する撮像手段と、被写体の状態を
示す状態情報を繰り返し検出する状態情報検出手段と、
前記状態情報検出手段によって過去に検出された状態情
報を記録する記録手段と、前記撮像手段によって生成さ
れる画像に対する補正処理に用いる制御値を、前記記録
手段に記録されている過去の状態情報と、前記状態情報
検出手段によって検出される最新の状態情報とに基づい
て繰り返し算出する制御値算出手段と、前記撮像手段に
よって画像が生成される直前に算出された制御値を用い
て、補正処理を行う補正処理手段とを備えたことを特徴
とする。
9に記載の電子カメラにおいて、前記状態情報検出手段
は、前記補正処理手段によってホワイトバランス調整ま
たは色補正が行われる場合には、前記状態情報として少
なくとも色温度を検出し、前記補正処理手段によって階
調補正が行われる場合には、前記状態情報として少なく
ともコントラストを検出し、前記補正処理手段によって
色補正が行われる場合には、画角内における主要な色を
定量的に示す色彩情報を検出することを特徴とする。
8ないし請求項10の何れか1項に記載の電子カメラに
おいて、前記記録手段は、前記制御値算出手段によって
算出された前回の制御値を記録し、前記制御値算出手段
は、過去の状態情報と最新の状態情報との変化に応じ
て、前記記録手段に記録されている前回の制御値と最新
の状態情報に基づいて得られる制御値とを合成して、新
たな制御値を算出することを特徴とする。
11に記載の電子カメラにおいて、前記状態情報は、被
写体の輝度を含み、前記制御値算出手段は、輝度の変化
量が上限値以上である場合、最新の状態情報に基づいて
得られる制御値を新たな制御値とし、輝度の変化量が下
限値未満である場合、前回の制御値を新たな制御値とす
ることを特徴とする。
8ないし請求項10の何れか1項に記載の電子カメラに
おいて、前記撮像手段によって画像が生成される度に、
撮影時刻を取得する撮影時刻取得手段を備え、前記記録
手段は、前記制御値算出手段によって算出された前回の
制御値を記録し、前記制御値算出手段は、前記撮影時刻
取得手段によって取得される撮影時刻に基づき、前回の
撮影から最新の撮影までの経過時間が上限値以上である
場合、最新の状態情報に基づいて得られる制御値を新た
な制御値とし、該経過時間が下限値未満である場合、前
記記録手段に記録されている前回の制御値を新たな制御
値とすることを特徴とする。
実施形態について詳細を説明する。 《第1の実施形態》図1は、第1の実施形態の電子カメ
ラの機能ブロック図である。図1において、電子カメラ
1は、撮影光学系や絞りや撮像素子などから成り被写体
の画像を生成する撮像部11と、撮像部11によって生
成された画像をディジタル化するA/D変換部12と、
ディジタル化された画像に対してホワイトバランス調
整、階調補正、色補正などの種々の補正処理を施す画像
処理部13と、種々の補正処理が施された画像を圧縮し
て所定の記録媒体に記録する記録部14とを備えてい
る。さらに、電子カメラ1は、色温度を検出する色温度
検出部15と、コントラストを検出するコントラスト検
出部16と、画角内における主要な色を定量的に示す色
彩情報を検出する色彩検出部17と、輝度を検出する測
光センサ18と、閃光を発して被写体を照明する閃光装
置19と、撮影時刻などを計測するタイマ20とを備え
ている。
は、種々の補正処理を実現するための制御値を算出する
制御値算出部30と、前回の撮影の際に制御値算出部3
0によって算出された制御値(以下、「前回制御値」と
称する)や状態情報の過去値(詳細は後述する)などを
記録するためのメモリ31と、制御値算出部30によっ
て新たに算出される制御値を用いて種々の補正処理を画
像に施す補正処理部32とを有している。
に接続され、前回制御値や状態情報の過去値などをやり
とりする。また、制御値算出部30には、前述した色温
度検出部15、コントラスト検出部16、色彩検出部1
7、測光センサ18によって個別に検出される色温度、
コントラスト、色彩情報、輝度とが状態情報の最新値
(詳細は後述する)として供給されると共に、閃光装置
19の発光の有無を示す情報(以下、「閃光情報」と称
する)と、タイマ20によって計測される撮影時刻とが
供給される。
は、制御値算出部30の動作、および、色補正の制御値
として色彩情報が用いられる点を除き、既存の電子カメ
ラと同様に動作する。また、第1の実施形態の特徴は、
色補正の処理の仕方では無く、種々の補正処理を実現す
るための制御値の算出の仕方にある。そこで、以下で
は、制御値算出部30以外の各部については詳細な説明
を省略する。
するため、色温度検出部15、コントラスト検出部1
6、色彩検出部17によって個別に検出される色温度、
コントラスト、色彩情報は、ホワイトバランス調整、階
調補正、色補正に用いられる制御値に適するように規格
化されており、特に、色彩情報は、画角内における色差
に基づいて算出され、主要な色を1〜15に規格化した
値であるとする。
出部30の動作フローチャートであり、特に、レリーズ
ボタンが押されて撮影が行われた際の動作を示す。以
下、第1の実施形態の電子カメラ1のうち、本発明の特
徴である制御値算出部30の動作について、図2を参照
して説明する。制御値算出部30は、撮影が行われる度
に、状態情報の最新値と閃光情報と撮影時刻とを取得す
る(図2S1)。
影が行われた際の色温度、コントラスト、色彩情報、輝
度である。このような状態情報の最新値に対し、状態情
報の過去値は、過去に撮影が行われた際の色温度、コン
トラスト、色彩情報、輝度であり、制御値算出部30に
より、撮影時刻に対応付けられてメモリ31に記録され
る。
ら数えて3世代前までの3回分の撮影に対する過去値が
メモリ31に記録される。また、メモリ31には、1世
代前の撮影における閃光情報が記録されている。次に、
制御値算出部30は、閃光情報が変化したか否かを判定
する(図2S2)。なお、このような判定は、メモリ3
1に記録されている1世代前の撮影における閃光情報
と、最新の撮影における閃光情報とを比較することによ
って実現できる。
変化している場合、メモリ31に記録されている前回制
御値と状態情報の過去値とをリセットし(図2S3)、
状態情報の最新値(輝度を除く)を新たな制御値とする
(図2S4)。さらに、制御値算出部30は、前回制御
値と状態情報の過去値とを再構成する(図2S5)。す
なわち、閃光情報が変化している場合、制御値算出部3
0は、閃光装置19がオンからオフに変えられた、また
は、オフからオンに変えられたと認識し、被写体の条件
が実際に変化したと判断する。そして、補正処理部32
において、被写体の条件の変化に追従した補正処理が行
えるように、最新の色温度をホワイトバランス調整用の
制御値とし、最新のコントラストを階調補正用の制御値
とし、最新の色彩情報を色補正用の制御値とする。ま
た、次に行われる撮影に備えて、前回制御値および状態
情報の過去値を再構成する。
態情報の過去値の再構成は、本来、新たな制御値を前回
制御値とし、状態情報の最新値を1世代前の過去値とし
てメモリ31に記録することを意味する。しかし、後述
する処理では、複数世代分の状態情報の過去値を平均す
る処理が行われるので、過去値の再構成では、このよう
な処理に備えて、状態情報の最新値を全ての世代の過去
値としてメモリ31に記録する必要がある。
御値算出部30は、前回制御値と状態情報の過去値とが
リセット済みか否かを判定する(図2S6)。そして、
制御値算出部30は、前回制御値と状態情報の過去値と
がリセット済みの場合、状態情報の最新値(輝度を除
く)を新たな制御値とし(図2S4)、前回制御値と状
態情報の過去値とを再構成する(図2S5)。
回制御値と状態情報の過去値とがリセット済みの場合、
制御値算出部30は、何からの理由(例えば、工場から
の出荷時の初期化、タイマ20の設定動作に伴う初期化
など)で前回制御値と状態情報の過去値とがリセットさ
れたと判断する。そして、補正処理部32において、現
在の被写体の条件に応じて補正処理が行えるように、状
態情報の最新値として取得した色温度、コントラスト、
色彩情報を各々の補正処理に対応する制御値とする。ま
た、次に行われる撮影に備えて、前回制御値および状態
情報の過去値を再構成する。
リセット済みでない場合、制御値算出部30は、状態情
報の過去値および最新値に基づき状態情報の変化量を算
出する(図2S7)。以下、状態情報の変化量として、
色温度の変化量、コントラストの変化量、色彩情報の変
化量、輝度の変化量を算出する例を説明する。
して1〜15の値を用いており、1と15とを連続的に
取り扱う必要があるため、以下では、色彩情報の変化量
を他の変化量と若干異なる方法で算出する例を示す。ま
た、以下では、説明を簡単にするため、1世代前から3
世代前までの撮影における各々の撮影時刻をTIME(1),TI
ME(2),TIME(3)と示し、最新の撮影における撮影時刻をT
IME(0)と示す。また、同様に、各世代および最新の撮影
における色温度をPK(1),PK(2),PK(3),PK(0)と示し、コ
ントラストをPCN(1),PCN(2),PCN(3),PCN(0)と示し、色
彩情報をPC(1),PC(2),PC(3),PC(0)と示し、輝度をPLA
(1),PLA(2),PLA(3),PLA(0)と示す。さらに、撮影間隔を
評価するための一定期間をTHと示す。
立つ場合、色温度の変化量、コントラストの変化量、色
彩情報の変化量、輝度の変化量を下記の式1〜式4によ
って算出する。 TIME(0)-TIME(3)<TH ・・・条件1 色温度の変化量=|(PK(1)+PK(2)+PK(3))/3-PK(0)| ・・・式1 コントラストの変化量=|(PCN(1)+PCN(2)+PCN(3))/3-PCN(0)| ・・・式2 色彩情報の変化量=(色彩変化量1+色彩変化量2+色彩変化量3)/3 ・・・式3 輝度の変化量=|(PLA(1)+PLA(2)+PLA(3))/3-PLA(0)| ・・・式4 ただし、式3において、色彩変化量1,色彩変化量2,色彩
変化量3は、下記の式5〜式7によって算出される値で
あり、8を上回るものについては補数へ変換される。し
たがって、このような値を用いて算出される色彩情報の
変化量は、0〜8で規格化された数となる。
合、色温度の変化量、コントラストの変化量、色彩情報
の変化量、輝度の変化量を下記の式8〜式11によって
算出する。
は、上記の式5および式6によって算出される値であ
り、8を上回るものについては補数へ変換される。
1および条件2が成り立たない場合、色温度の変化量、
コントラストの変化量、色彩情報の変化量、輝度の変化
量を式12〜式15によって算出する。 色温度の変化量=|PK(1)-PK(0)| ・・・式12 コントラストの変化量=|PCN(1)-PCN(0)| ・・・式13 色彩情報の変化量=色彩変化量1 ・・・式14 輝度の変化量=|PLA(1)-PLA(0)| ・・・式15 ただし、式14において、色彩変化量1は、上記の式5
によって算出される値であり、8を上回るものについて
は補数へ変換される。
は、最新の撮影を含め3回以上の撮影が一定期間内に行
われた場合、その期間内に行われた撮影における状態情
報の過去値を平均し、その結果得られた平均値と状態情
報の最新値との差の絶対値を、状態情報の変化量とす
る。また、一定期間内に行われた撮影が2回以下である
場合、1世代前の状態情報の過去値と状態情報の最新値
との差の絶対値を、状態情報の変化量とする。
た場合には、1世代前の状態情報の過去値の他、2世代
前や3世代前の状態情報の過去値を用いて、状態情報の
変化量が算出されることになり、状態情報の変化量の安
定性が向上される。次に、制御値算出部30は、状態情
報の変化量と、前回の撮影(1世代前の撮影)から最新
の撮影までの経過時間とに基づき、加重率を決定する
(図2S8)。
値の算出処理において、前回制御値と状態情報の最新値
(輝度を除く)とを合成する際に用いられる加重率であ
り、このような加重率は、補正処理部32によって行わ
れる種々の補正処理に対応する制御値毎に決定される。
すなわち、制御値算出部30では、ホワイトバランス調
整用の制御値を算出する際に用いられる最新の色温度の
加重率(以下、「色温度加重率」と称する)と、階調補
正用の制御値を算出する際に用いられる最新のコントラ
ストの加重率(以下、「コントラスト加重率」と称す
る)と、色補正用の制御値を算出する際に用いられる最
新の色彩情報の加重率(以下、「色彩情報加重率」と称
する)とが決定される。
にするため、状態情報の変化量と、前回の撮影から最新
の撮影までの経過時間とに応じて、各々の加重率が対応
付けられたLUT(Look Up Table)が制御値算出部3
0内に予め記録されており、加重率は、このようなLU
Tを参照して決定されるとする。図3は、色温度加重率
を決定する際に参照されるLUTの例を示す図であり、
図4は、コントラスト加重率を決定する際に参照される
LUTの例を示す図であり、図5は、色彩情報加重率を
決定する際に参照されるLUTの例を示す図である。
は、前述したように、0〜8で表される数値に規格化さ
れている。また、色温度の変化量は、0〜255で表さ
れる数値に規格化され、コントラストの変化量は、0〜
6で表される数値に規格化され、輝度の変化量は、0〜
255で表される数値に規格化されている。
変化量が多い場合や、前回の撮影から最新の撮影までの
経過時間が長い場合や、各々の状態情報の変化量が一定
以上の変化を示す場合のように、被写体の条件が実際に
変化した可能性が高くて追従性の高い補正処理を実現す
る必要がある場合には、色温度加重率、コントラスト加
重率、色彩情報加重率は100%となる。
の撮影から最新の撮影までの経過時間が非常に短い場合
や、各々の状態情報の変化量が微少である場合のよう
に、同じ被写体を連続して撮影している可能性が高くて
安定性の高い補正処理を実現する必要がある場合には、
色温度加重率、コントラスト加重率、色彩情報加重率は
0%となる。
新の撮影までの経過時間や、全体的な状態情報の変化量
が段階的に評価され、その評価の結果により、色温度加
重率、コントラスト加重率、色彩情報加重率が20%〜
80%の何れかに決定されることになる。次に、制御値
算出部30は、以上説明したようにして決定した加重率
によって、前回制御値と状態情報の最新値(輝度を除
く)とを合成して新たな制御値を算出する(図2S
9)。
重率、色彩情報加重率が100%の場合には、状態情報
の最新値として取得した色温度、コントラスト、色彩情
報が新たな制御値となり、色温度加重率、コントラスト
加重率、色彩情報加重率が0%の場合には、前回制御値
が新たな制御値となる。また、色温度加重率、コントラ
スト加重率、色彩情報加重率が20%〜80%の場合に
は、状態情報の最新値として取得した色温度、コントラ
スト、色彩情報と、前回制御値とがバランス良く合成さ
れて、新たな制御値が算出されることになる。
る撮影に備えて、前回制御値と状態情報の過去値とを更
新する(図2S10)。すなわち、制御値算出部30
は、新たな制御値を前回制御値とし、状態情報の過去値
を1世代ずつ更新し、状態情報の最新値を1世代前の過
去値とする。以上説明したように、第1の実施形態で
は、最新の撮影によって生成された画像に対する補正処
理に用いられる最新の制御値は、前回制御値と状態情報
の最新値とを、状態情報の変化量に応じて合成すること
によって算出される。このような合成では、上述したよ
うにして決定される加重率が用いられ、追従性の高い補
正処理の必要性が高い程、状態情報の最新値の加重が高
められ、安定性の高い補正処理の必要性が高い程、前回
制御値の加重が高められることになる。したがって、第
1の実施形態における補正処理によれば、追従性と安定
性とが実現される。
化している場合には、被写体の条件が実際に変化したと
判断され、状態情報の最新値により新たな制御値が算出
され、前回制御値と状態情報の過去値とがリセットされ
る。そのため、閃光情報が変化する前の状態情報の過去
値が、次に行われる撮影の際に算出される制御値に影響
を及ぼすことがなく、補正処理の追従性が向上する。
実施形態について説明する。第2の実施形態では、レリ
ーズボタンが押下された際に電子カメラ内の撮像部にお
いて行われる露光制御用の制御値や、ディジタル化され
た画像に対する各種の補正処理(ホワイトバランス調
整、階調補正、色補正など)用の制御値の算出の仕方に
特徴がある。このような制御値の算出は、図1のような
構成の電子カメラ1においては、制御値算出部30によ
って実現することが可能である。
の機能ブロック図として図1を用い、第1の実施形態と
異なる部分について説明を行う。第2の実施形態の電子
カメラ1おいて、制御値算出部30では、レリーズボタ
ンの押下に関係なく、予め決められた時間間隔で、制御
値が繰り返し算出される。また、色温度検出部15、コ
ントラスト検出部16、色彩検出部17、測光センサ1
8では、制御値の算出に合わせて色温度、コントラス
ト、色彩情報、輝度が繰り返し検出される。そして、撮
像部11では、レリーズボタンが押下されると、その直
前に算出された最新の制御値を用いて露光制御が行われ
る。また、同様に、補正処理部32でも、レリーズボタ
ンが押下される直前に算出された最新の制御値を用いて
各種の補正処理が行われる。
15、コントラスト検出部16、色彩検出部17、測光
センサ18における最新の検出から数えて3世代前まで
の3回分の検出結果が、状態情報の過去値としてメモリ
31に記録されるとする。また、第2の実施形態の電子
カメラ1における測光センサ18によって検出される輝
度は、露光制御に用いられる制御値に適するように規格
化されている。
出部30の動作フローチャートである。以下、第2の実
施形態の電子カメラ1のうち、本発明の特徴である制御
値算出部30の動作について、図6を参照して説明す
る。制御値算出部30は、予め決められた時間(例え
ば、1秒〜2秒)が経過したか否かを繰り返し判定し
(図6S1)、予め決められた時間が経過するまで待機
する。
れた時間が経過すると、状態情報の最新値を取得し(図
6S2)、状態情報の過去値および最新値に基づき状態
情報の変化量を算出する(図6S3)。すなわち、制御
値算出部30は、メモリ31に記録されている3世代分
の状態情報の過去値を平均し、その結果得られた平均値
と状態情報の最新値との差の絶対値を、状態情報の変化
量とする。
化量と、前回の撮影(1世代前の撮影)からの経過時間
とに基づき、加重率を決定する(図6S4)。ここで、
加重率とは、後述する新たな制御値の算出処理におい
て、前回制御値と状態情報の最新値とを合成する際に用
いられる加重率であり、色温度加重率、コントラスト加
重率、色彩情報加重率の他、露光制御用の制御値を算出
する際に用いられる最新の輝度の加重率(以下、「輝度
加重率」と称する)が含まれる。
め、状態情報の変化量と、前回の撮影からの経過時間と
に応じて、各々の加重率が対応付けられたLUTが制御
値算出部30内に予め記録されており、加重率は、この
ようなLUTを参照して決定されるとする。また、第2
の実施形態では、色温度加重率、コントラスト加重率、
色彩情報加重率を決定する際に参照されるLUTについ
ては、第1の実施形態と同様に、図3ないし図5に示し
たLUTを用いることが可能であるため、図示および説
明は省略する。
れるLUTの例を示す図である。図7において、各々の
変化量は、図3ないし図5と同様に規格化されている。
図7に示すLUTによれば、図3ないし図5と同様に、
被写体の条件が実際に変化した可能性が非常に高くて追
従性の高い補正処理を実現する必要がある場合には、輝
度加重率は100%となり、同じ被写体を連続して撮影
している可能性が非常に高くて安定性の高い補正処理を
実現する必要がある場合には、輝度加重率は0%とな
る。また、輝度の変化量や、前回の撮影から最新の撮影
までの経過時間や、全体的な状態情報の変化量が段階的
に評価され、その評価の結果により、色温度加重率、コ
ントラスト加重率、色彩情報加重率が20%〜80%の
何れかに決定されることになる。
ようにして決定した加重率によって、前回制御値と状態
情報の最新値とを合成して新たな制御値を算出する(図
6S5)。
状態情報の最新値が新たな制御値となり、加重率が0%
の場合には、前回制御値が新たな制御値となる。また、
加重率が20%〜80%の場合には、状態情報の最新値
と前回制御値とがバランス良く合成されて、新たな制御
値が算出されることになる。そして、制御値算出部30
は、前回制御値と状態情報の過去値とを更新し(図6S
6)、その後、図6S1以降の処理を繰り返す。
は、次に行われる撮影に備えて、露光制御用の制御値や
補正処理用の制御値が繰り返し算出されるが、このよう
な制御値は、前回制御値と状態情報の最新値とを、状態
情報の変化量に応じて合成することによって算出され
る。このような合成では、第1の実施形態と同様に、追
従性の高い補正処理の必要性が高い程、状態情報の最新
値の加重が高められ、安定性の高い補正処理の必要性が
高い程、前回制御値の加重が高められることになる。し
たがって、第2の実施形態における露光制御や補正処理
によれば、追従性と安定性とが図られる。
ラによれば、追従性と安定性とを同時に兼ね備えた補正
処理や露光制御を行うことができる。
である。
ローチャートである。
の例を示す図である。
LUTの例を示す図である。
Tの例を示す図である。
ローチャートである。
例を示す図である。
Claims (13)
- 【請求項1】 被写体像を撮像して画像を生成する撮像
手段と、 前記撮像手段によって画像が生成される際の被写体の状
態を示す状態情報を検出する状態情報検出手段と、 前記状態情報検出手段によって過去に検出された状態情
報を記録する記録手段と、 前記記録手段に記録されている過去の状態情報と、前記
撮像手段によって画像が生成された際に前記状態情報検
出手段によって検出される最新の状態情報とに基づい
て、該画像に対して補正処理を行う補正処理手段とを備
えたことを特徴とする電子カメラ。 - 【請求項2】 請求項1に記載の電子カメラにおいて、 前記状態情報検出手段は、前記補正処理手段によってホ
ワイトバランス調整または色補正が行われる場合には、
前記状態情報として少なくとも色温度を検出し、前記補
正処理手段によって階調補正が行われる場合には、前記
状態情報として少なくともコントラストを検出し、前記
補正処理手段によって色補正が行われる場合には、画角
内における主要な色を定量的に示す色彩情報を検出する
ことを特徴とする電子カメラ。 - 【請求項3】 請求項1または請求項2に記載の電子カ
メラにおいて、 前記補正処理手段は、前記撮像手段によって画像が生成
される度に、該画像に対して行う補正処理に用いる制御
値を算出する制御値算出部を有し、 前記記録手段は、前記制御値算出部によって算出された
前回の制御値を記録し、 前記制御値算出部は、過去の状態情報と最新の状態情報
との変化に応じて、前記記録手段に記録されている前回
の制御値と最新の状態情報に基づいて得られる制御値と
を合成して、新たな制御値を算出することを特徴とする
電子カメラ。 - 【請求項4】 請求項3に記載の電子カメラにおいて、 前記状態情報は、被写体の輝度を含み、 前記制御値算出部は、輝度の変化量が上限値以上である
場合、最新の状態情報に基づいて得られる制御値を新た
な制御値とし、輝度の変化量が下限値未満である場合、
前回の制御値を新たな制御値とすることを特徴とする電
子カメラ。 - 【請求項5】 請求項1または請求項2に記載の電子カ
メラにおいて、 前記撮像手段によって画像が生成される度に、撮影時刻
を取得する撮影時刻取得手段を備え、 前記補正処理手段は、前記撮像手段によって画像が生成
される度に、該画像に対して行う補正処理に用いる制御
値を算出する制御値算出部を有し、 前記記録手段は、前記制御値算出手段によって算出され
た前回の制御値を記録し、 前記制御値算出部は、前記撮影時刻取得手段によって取
得される撮影時刻に基づき、前回の撮影から最新の撮影
までの経過時間が上限値以上である場合、最新の状態情
報に基づいて得られる制御値を新たな制御値とし、該経
過時間が下限値未満である場合、前記記録手段に記録さ
れている前回の制御値を新たな制御値とすることを特徴
とする電子カメラ。 - 【請求項6】 請求項1または請求項2に記載の電子カ
メラにおいて、 閃光を発する閃光装置を備え、 前記補正処理手段は、前記撮像手段によって画像が生成
される度に、該画像に対して行う補正処理に用いる制御
値を算出する制御値算出部を有し、 前記記録手段は、前記制御値算出手段によって算出され
た前回の制御値を記録し、 前記制御値算出部は、前回の撮影と最新の撮影とで閃光
装置の発光の有無が変化した場合、最新の状態情報に基
づいて得られる制御値を新たな制御値とし、閃光装置の
発光の有無が変化していない場合、前記記録手段に記録
されている前回の制御値を新たな制御値とすることを特
徴とする電子カメラ。 - 【請求項7】 請求項6に記載の電子カメラにおいて、 前記制御値算出部は、前回の撮影と最新の撮影とで閃光
装置の発光の有無が変化した場合、前記記録手段に記録
されている前回の制御値と過去の状態情報とを初期化す
ることを特徴とする電子カメラ。 - 【請求項8】 被写体像を撮像して画像を生成する撮像
手段と、 被写体の状態を示す状態情報を繰り返し検出する状態情
報検出手段と、 前記状態情報検出手段によって過去に検出された状態情
報を記録する記録手段と、 前記記録手段に記録されている過去の状態情報と、前記
状態情報検出手段によって検出される最新の状態情報と
に基づいて、前記撮像手段によって画像が生成される際
の露光制御に用いる制御値を繰り返し算出する制御値算
出手段と、 前記撮像手段によって画像が生成される直前に算出され
た制御値を用いて、露光制御を行う露光制御手段とを備
えたことを特徴とする電子カメラ。 - 【請求項9】 被写体像を撮像して画像を生成する撮像
手段と、 被写体の状態を示す状態情報を繰り返し検出する状態情
報検出手段と、 前記状態情報検出手段によって過去に検出された状態情
報を記録する記録手段と、 前記撮像手段によって生成される画像に対する補正処理
に用いる制御値を、前記記録手段に記録されている過去
の状態情報と、前記状態情報検出手段によって検出され
る最新の状態情報とに基づいて繰り返し算出する制御値
算出手段と、 前記撮像手段によって画像が生成される直前に算出され
た制御値を用いて、補正処理を行う補正処理手段とを備
えたことを特徴とする電子カメラ。 - 【請求項10】 請求項9に記載の電子カメラにおい
て、 前記状態情報検出手段は、前記補正処理手段によってホ
ワイトバランス調整または色補正が行われる場合には、
前記状態情報として少なくとも色温度を検出し、前記補
正処理手段によって階調補正が行われる場合には、前記
状態情報として少なくともコントラストを検出し、前記
補正処理手段によって色補正が行われる場合には、画角
内における主要な色を定量的に示す色彩情報を検出する
ことを特徴とする電子カメラ。 - 【請求項11】 請求項8ないし請求項10の何れか1
項に記載の電子カメラにおいて、 前記記録手段は、前記制御値算出手段によって算出され
た前回の制御値を記録し、 前記制御値算出手段は、過去の状態情報と最新の状態情
報との変化に応じて、前記記録手段に記録されている前
回の制御値と最新の状態情報に基づいて得られる制御値
とを合成して、新たな制御値を算出することを特徴とす
る電子カメラ。 - 【請求項12】 請求項11に記載の電子カメラにおい
て、 前記状態情報は、被写体の輝度を含み、 前記制御値算出手段は、輝度の変化量が上限値以上であ
る場合、最新の状態情報に基づいて得られる制御値を新
たな制御値とし、輝度の変化量が下限値未満である場
合、前回の制御値を新たな制御値とすることを特徴とす
る電子カメラ。 - 【請求項13】 請求項8ないし請求項10の何れか1
項に記載の電子カメラにおいて、 前記撮像手段によって画像が生成される度に、撮影時刻
を取得する撮影時刻取得手段を備え、 前記記録手段は、前記制御値算出手段によって算出され
た前回の制御値を記録し、 前記制御値算出手段は、前記撮影時刻取得手段によって
取得される撮影時刻に基づき、前回の撮影から最新の撮
影までの経過時間が上限値以上である場合、最新の状態
情報に基づいて得られる制御値を新たな制御値とし、該
経過時間が下限値未満である場合、前記記録手段に記録
されている前回の制御値を新たな制御値とすることを特
徴とする電子カメラ。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002025712A JP4320998B2 (ja) | 2002-02-01 | 2002-02-01 | 電子カメラ |
US10/352,201 US7355635B2 (en) | 2002-02-01 | 2003-01-28 | Electronic camera capable of having results of previous image pickup processing reflected in current image pickup processing |
EP03001865A EP1335590B1 (en) | 2002-02-01 | 2003-01-29 | Electronic camera using previous image pickup settings for current image pickup |
AT03001865T ATE357813T1 (de) | 2002-02-01 | 2003-01-29 | Elektronische kamera mit benutzung von vorhergehenden bildaufnahmeeinstellungen zur aktuellen bildaufnahme |
DE60312575T DE60312575T2 (de) | 2002-02-01 | 2003-01-29 | Elektronische Kamera mit Benutzung von vorhergehenden Bildaufnahmeeinstellungen zur aktuellen Bildaufnahme |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002025712A JP4320998B2 (ja) | 2002-02-01 | 2002-02-01 | 電子カメラ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003230156A true JP2003230156A (ja) | 2003-08-15 |
JP4320998B2 JP4320998B2 (ja) | 2009-08-26 |
Family
ID=27606470
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002025712A Expired - Fee Related JP4320998B2 (ja) | 2002-02-01 | 2002-02-01 | 電子カメラ |
Country Status (5)
Country | Link |
---|---|
US (1) | US7355635B2 (ja) |
EP (1) | EP1335590B1 (ja) |
JP (1) | JP4320998B2 (ja) |
AT (1) | ATE357813T1 (ja) |
DE (1) | DE60312575T2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005117452A1 (ja) * | 2004-05-26 | 2005-12-08 | Olympus Corporation | 撮影システム |
JP2006262000A (ja) * | 2005-03-16 | 2006-09-28 | Fuji Photo Film Co Ltd | 画像処理装置およびその処理方法 |
KR100849007B1 (ko) * | 2004-05-26 | 2008-07-30 | 올림푸스 가부시키가이샤 | 촬영 시스템 |
JP2009296102A (ja) * | 2008-06-03 | 2009-12-17 | Olympus Corp | 撮像装置 |
JP2012124682A (ja) * | 2010-12-07 | 2012-06-28 | Canon Inc | 画像処理装置およびその制御方法 |
JP2012165069A (ja) * | 2011-02-03 | 2012-08-30 | Canon Inc | 画像処理装置及び方法 |
JP2014042173A (ja) * | 2012-08-22 | 2014-03-06 | Canon Inc | 撮像装置及びその制御方法 |
JP2015106841A (ja) * | 2013-11-29 | 2015-06-08 | 株式会社ニコン | 撮像装置 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8149291B2 (en) * | 2004-05-21 | 2012-04-03 | Canon Kabushiki Kaisha | Image capture apparatus, control method thereof, program, and storage medium |
CN100413322C (zh) * | 2004-06-14 | 2008-08-20 | 富士胶片株式会社 | 图像处理系统及其方法 |
US20060268119A1 (en) * | 2005-05-27 | 2006-11-30 | Akiyoshi Sugawara | Television camera, television camera system and image pickup control method |
KR100849846B1 (ko) * | 2006-09-21 | 2008-08-01 | 삼성전자주식회사 | 이미지 밝기 보정 장치 및 방법 |
KR100855470B1 (ko) * | 2006-09-28 | 2008-09-01 | 삼성전자주식회사 | 광원 추정 방법 및 장치 |
GB2492956A (en) * | 2011-07-14 | 2013-01-23 | St Microelectronics Res & Dev | Method and system for image quality learning with solid state image sensors |
US9521315B2 (en) * | 2011-11-01 | 2016-12-13 | Nokia Technologies Oy | Apparatus and method for forming new images by determining stylistic settings of existing images |
US8698915B2 (en) | 2012-04-20 | 2014-04-15 | Hewlett-Packard Development Company, L.P. | Configuring an image capturing device based on a configuration image |
JP6083974B2 (ja) | 2012-04-24 | 2017-02-22 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP6750519B2 (ja) * | 2016-05-24 | 2020-09-02 | 株式会社Jvcケンウッド | 撮像装置、撮像表示方法および撮像表示プログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5568187A (en) * | 1987-09-10 | 1996-10-22 | Canon Kabushiki Kaisha | Image pickup apparatus including distance measurement |
DE69033646T2 (de) * | 1989-07-18 | 2001-02-22 | Fuji Photo Film Co., Ltd. | Verfahren und Einrichtung zur Steuerung der Belichtungsänderungen einer Videokamera |
JP3339876B2 (ja) * | 1992-04-28 | 2002-10-28 | 株式会社日立製作所 | 撮像装置 |
DE69718227T2 (de) * | 1996-04-02 | 2003-09-25 | Sony Corp., Tokio/Tokyo | Weissabgleichseinstellungsvorrichtung |
DE19701484A1 (de) * | 1997-01-17 | 1998-07-23 | Bosch Gmbh Robert | Verfahren zur Regelung der Belichtung von Videokameras |
JP3595104B2 (ja) | 1997-04-16 | 2004-12-02 | コニカミノルタホールディングス株式会社 | カラー撮像装置のホワイトバランス調整方法 |
JP4063418B2 (ja) * | 1998-09-11 | 2008-03-19 | イーストマン コダック カンパニー | オートホワイトバランス装置 |
DE10064678C1 (de) * | 2000-12-22 | 2002-07-11 | Kappa Opto Electronics Gmbh | Verfahren zur Signalverbesserung in einer mit einer digitalen Farbvideokamera aufgenommenen Bilderfolge |
-
2002
- 2002-02-01 JP JP2002025712A patent/JP4320998B2/ja not_active Expired - Fee Related
-
2003
- 2003-01-28 US US10/352,201 patent/US7355635B2/en active Active
- 2003-01-29 EP EP03001865A patent/EP1335590B1/en not_active Expired - Lifetime
- 2003-01-29 DE DE60312575T patent/DE60312575T2/de not_active Expired - Lifetime
- 2003-01-29 AT AT03001865T patent/ATE357813T1/de not_active IP Right Cessation
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005117452A1 (ja) * | 2004-05-26 | 2005-12-08 | Olympus Corporation | 撮影システム |
KR100849007B1 (ko) * | 2004-05-26 | 2008-07-30 | 올림푸스 가부시키가이샤 | 촬영 시스템 |
JP2006262000A (ja) * | 2005-03-16 | 2006-09-28 | Fuji Photo Film Co Ltd | 画像処理装置およびその処理方法 |
JP4680639B2 (ja) * | 2005-03-16 | 2011-05-11 | 富士フイルム株式会社 | 画像処理装置およびその処理方法 |
JP2009296102A (ja) * | 2008-06-03 | 2009-12-17 | Olympus Corp | 撮像装置 |
JP2012124682A (ja) * | 2010-12-07 | 2012-06-28 | Canon Inc | 画像処理装置およびその制御方法 |
JP2012165069A (ja) * | 2011-02-03 | 2012-08-30 | Canon Inc | 画像処理装置及び方法 |
JP2014042173A (ja) * | 2012-08-22 | 2014-03-06 | Canon Inc | 撮像装置及びその制御方法 |
JP2015106841A (ja) * | 2013-11-29 | 2015-06-08 | 株式会社ニコン | 撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
JP4320998B2 (ja) | 2009-08-26 |
EP1335590B1 (en) | 2007-03-21 |
EP1335590A1 (en) | 2003-08-13 |
ATE357813T1 (de) | 2007-04-15 |
US7355635B2 (en) | 2008-04-08 |
DE60312575T2 (de) | 2007-11-29 |
DE60312575D1 (de) | 2007-05-03 |
US20030146983A1 (en) | 2003-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2003230156A (ja) | 電子カメラ | |
JP4379129B2 (ja) | 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム | |
US7602969B2 (en) | Imaging data processing method, imaging data processing device, and computer program | |
TWI287928B (en) | Image pickup apparatus, exposure control method, and medium for computer program installed in the image pickup apparatus | |
JP4626689B2 (ja) | 撮像装置、補正回路および補正方法 | |
US7280141B1 (en) | Fixed pattern noise subtraction in a digital image sensor | |
JP2012124682A5 (ja) | ||
TW200420118A (en) | Device and method for estimating light source, image pickup device and image processing method | |
JP2005102116A (ja) | 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム | |
US7365778B2 (en) | Electronic camera and white balance correction circuit | |
JP2006270135A (ja) | 電子的撮像装置における色再現補正装置 | |
JP2019129506A (ja) | 撮像装置およびその制御方法 | |
JP2007127781A (ja) | 投射型表示装置 | |
JP4905513B2 (ja) | 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム | |
JP2016076851A (ja) | 撮像装置、画像処理方法、及びプログラム | |
JP2005020048A (ja) | 撮像装置 | |
JP6716295B2 (ja) | 処理装置、撮像装置、処理方法、プログラム、および記録媒体 | |
JP2002290988A5 (ja) | ||
JP6606981B2 (ja) | 出力制御装置、出力制御方法及びプログラム | |
JP2008182369A (ja) | 撮像装置 | |
JP2009159469A (ja) | 撮像装置とその制御方法 | |
JP2007036676A5 (ja) | ||
JP2007189542A (ja) | 撮影装置 | |
JP5253130B2 (ja) | 画像表示装置、撮像装置及び画像表示方法 | |
JP6681593B2 (ja) | 照度取得システム、照明制御システム、及び照度取得プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071002 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090512 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090525 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4320998 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120612 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150612 Year of fee payment: 6 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150612 Year of fee payment: 6 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150612 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |