JP2007049222A - 撮像装置および撮像方法 - Google Patents

撮像装置および撮像方法 Download PDF

Info

Publication number
JP2007049222A
JP2007049222A JP2005228472A JP2005228472A JP2007049222A JP 2007049222 A JP2007049222 A JP 2007049222A JP 2005228472 A JP2005228472 A JP 2005228472A JP 2005228472 A JP2005228472 A JP 2005228472A JP 2007049222 A JP2007049222 A JP 2007049222A
Authority
JP
Japan
Prior art keywords
imaging
image
subject
unit
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005228472A
Other languages
English (en)
Other versions
JP2007049222A5 (ja
Inventor
Hiroshi Suda
浩史 須田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2005228472A priority Critical patent/JP2007049222A/ja
Priority to US11/460,419 priority patent/US7536098B2/en
Priority to EP06015834.2A priority patent/EP1750442B1/en
Priority to CNB2006101095305A priority patent/CN100566384C/zh
Publication of JP2007049222A publication Critical patent/JP2007049222A/ja
Priority to US12/209,342 priority patent/US8229293B2/en
Publication of JP2007049222A5 publication Critical patent/JP2007049222A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Blocking Light For Cameras (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract


【課題】 低輝度または低照度の環境においても、記録契機を好適に検出するとともに、撮影画像から人物等を好適に認識しやすいような高品質の画像を取得する。
【解決手段】 記録契機を検出する際には、赤外除去フィルタを無効にすることで、低輝度または低照度の環境においても、記録契機を好適に検出できるようになる。一方で、画像の記録時には、赤外除去フィルタを有効にして、カラー画像を記録する
【選択図】 図3

Description

本発明は、自動的に静止画や動画等の画像を撮影する技術に関する。
従来、防犯などを目的として、自動的に静止画や動画等の画像を監視カメラにて撮影し、当該画像を記録媒体に記録する監視システムが知られている。撮影される画像は、できるだけ高品質であることが望ましいが、一方で、できるだけ長時間の記録を達成することも望ましい。しかし、画質と記録時間はトレードオフの関係にあるため、高画質と長時間記録とを両立させるのは一般に難しい。
そこで、重要と思われるシーンでは高解像度で記録を行い、一方で、重要と思われないシーンでは低解像度で記録を行う監視システムが提案されている(特許文献1)。この監視システムでは、重要なシーンか否かを、被写体の動きに基づいて判断している。
さらに長時間の監視を行うには、動きのない(平常)シーンでは画像を記録せず、一方で、動きのある(異常)シーンでは画像の記録を行えばよい。これにより、記録媒体の節約が可能なる。
特開2002−016877号公報
しかしながら、異常を検出した時にだけ記録を行う監視システムでは、平常時には記録を行わないため、異常の検出に失敗すると、何も記録されなくなるおそれがある。
異常の検出に失敗しやすい監視環境は、主に、低輝度または低照度の環境である。特に、高解像度化のために撮像素子の画素数を増やすと、通常は、1画素あたりの有効受光面積が低下する。それにつれて感度も低下するため、益々、異常の検出に失敗しやすくなる。
そこで、本発明は、このような課題および他の課題の少なくとも1つを解決することを目的とする。なお、他の課題については明細書の全体を通して理解できよう。
本発明によれば、赤外除去フィルタを無効にすることで、低輝度または低照度の環境においても、記録契機を好適に検出できるようになる。一方で、記録時には、赤外除去フィルタを有効にして、カラー画像を記録する。よって、撮影画像から人物等を好適に認識しやすくなろう。
本発明によれば、赤外除去フィルタを無効にすることで、低輝度または低照度の環境においても、記録契機を好適に検出できるようになる。一方で、撮影時には、カラー撮影を実行することで、撮影画像から人物等を好適に認識しやすくなろう。
[第1の実施形態]
図1は、実施形態に係る撮像装置の構成例を示すブロック図である。ここで言う撮像装置(以下、カメラと称す。)は、いわゆる監視カメラ、ビデオカメラ、およびデジタルスチルカメラなどを意味する。カメラは、例えば、動画や静止画等の画像を撮影し、ネットワークを介して外部に画像を送信するカメラであってもよい。あるいは、映像信号を外部に出力するカメラであってもよい。また、記録媒体(例:テープ、半導体メモリ、光ディスクや磁気ディスクなど)に画像を記録するカメラであってもよい。
図1において、カメラ内の各ユニットは、バス159を介して接続されている。また、各ユニットはメインCPU151によって統括的に制御される。レンズユニット101には、例えば、固定レンズ102、ズームレンズ103、絞り、固定レンズ104、フォーカスレンズ105が含まれる。これらの光学部材を通して、撮像素子141上に被写体の光学像が結像することで、被写体の撮像が行われる。ズーム制御ユニット125は、メインCPU151の指示に従いズームモータ121を介してズームレンズ103を駆動する。
赤外除去フィルタ106は、赤外領域の光成分を低減または遮断する光学フィルタである。赤外除去フィルタ106は、駆動モータ123により駆動されて、レンズユニット101の光路に配置されたり、当該光路から退避したりする。駆動モータ123は、赤外除去制御ユニット126により制御される。駆動モータ123および赤外除去ユニット126は、赤外除去フィルタ106を移動させるための手段である。なお、赤外除去フィルタ106が光路に配置された状態では、撮像素子141上に結像する被写体像には赤外領域の光は含まれない。赤外除去フィルタ106が光路から退避した状態では、撮像素子141上に結像する被写体像に赤外領域の光も含まれることになる。
照明装置124は、CPU151の指示に従い、撮影タイミングに同期して発光または点灯する。これにより、被写体が照明され、低輝度時でも被写体の像を鮮明に記録することが可能となる。なお、静止画撮影用の照明装置としては、例えば、瞬間的に発光させるフラッシュライトがある。また、動画撮影用の照明装置としては、例えば、継続的に照明が可能なビデオライトがある。
撮像素子141に結像された画像は、光電変換され、画像信号として撮像信号処理ユニット142に入力される。撮像素子141は、CCDセンサやCMOSセンサなどを採用できる。撮像信号処理ユニット142は、入力された画像信号をAD変換およびその他の画像処理を適用する。その後、画像信号は、焦点検出ユニット131に入力される。
撮像素子141は、撮像制御ユニット143により撮像解像度、画像信号の読み出し方法、およびフレームレート等が設定される。画像信号の読み出し方法には、例えば、後述する加算読み出しや全画素読み出しなどがある。撮像信号処理ユニット142も、撮像制御ユニット143から指示された、解像度、フレームレート、および赤外除去フィルタ106の無効/有効等の各条件に合わせた信号処理を実行する。
動き検出ユニット152は、被写体の変化を検出するユニットの一例である。被写体の変化など、記録契機を好適に検出できるのであれば、他の検出ユニットを採用してもよい。動き検出ユニット152は、撮像信号処理ユニット142で信号処理された画像を、撮影順にRAM154に何枚か蓄積する。動き検出ユニット152は、複数の画像の相関をとることで、動きがあるか無いかの判別を行う。
焦点検出ユニット131には、1以上の測距ゲート132、1以上のバンドパスフィルタ(BPF)133および1以上の検波器134が含まれている。測距ゲート132は、画像を構成する一部の画像信号を抽出する。バンドパスフィルタ(BPF)133は、当該画像信号に含まれる所定の高域成分を抽出する。この高域成分は、オートフォーカスの評価値を決定する際に有効な周波数成分である。BPF133のカットオフ周波数については経験的に決定される。検波器134は、ピークホールドや積分等の検波処理を行い、AF評価値S1を出力する。AF評価値S1は、フォーカス制御ユニット135に入力される。なお、測距ゲート132、BPF133、および検波器134が複数存在する場合、それに対応してAF評価値S1も複数の信号となる。フォーカス制御ユニット135は、複数の評価値S1の一部または全部に基づいてオートフォーカス制御を実行する。フォーカス制御ユニット135は、AF評価値S1に基づいて、AF評価値S1が最大になる位置(合焦位置)を検出する。次に、フォーカス制御ユニット135は、フォーカスモータ122を駆動させてフォーカスレンズ105を合焦位置へと移動させる。このようにして、オートフォーカス(AF)が実現される。
撮像信号処理ユニット142で整えられた画像信号は、画像データとして一時的にRAM154に蓄積される。RAM154に蓄積された画像データは、画像圧縮/解凍ユニット153にて圧縮処理される。CPU151は、圧縮された画像データを記録メディア156に記録してもよい。また、CPU151は、圧縮された画像データを、ネットワークインターフェース157を介してネットワーク信号S3として外部に送信してもよい。CPU151は、記録処理と並行して、映像出力ユニット158から当該画像データを映像信号S2としてTVモニタやPC用のモニタに出力してもよい。
なお、カメラが起動すると、フラッシュメモリ155に格納されていた制御プログラムがRAM154の一部にロードされる。CPU151は、このRAM154にロードされたプログラムにしたがって、上記のように各ユニットを制御する。
図2Aは、実施形態に係る赤外除去フィルタが光路上に配置されているときの撮像素子との関係を説明する図である。201は、原色フィルタが貼り付けられた撮像素子の有効領域全体を表している。通常の撮影動作時においてはこの有効領域全体が画像を取得するための撮像領域となる。ただし電子防振等、特別な撮影を行う際はこの中の一部が撮像領域となる場合もある。図中の各マスは、1つの光電変換素子を示している。202は、撮像素子の一部の領域を示している。211は、赤のフィルタが貼られた光電変換素子を示している。212および213は、緑のフィルタが貼られた光電変換素子を示している。214は、青のフィルタが貼られた光電変換素子である。撮像信号処理ユニット142は、各光電変換素子から画像信号を読み出し、各光電変換素子と原色フィルタとの関係を考慮して、高解像度のカラー画像を作成する。
図2Bは、実施形態に係る赤外除去フィルタが光路上から退避しているときの撮像素子を説明する図である。204は、202と同様で、撮像素子の有効領域全体を示している。205は,撮像素子の一部の領域を示している。とりわけ、図2Bでは、4つの光電変換素子211、212、213および214からの信号を加算し、R+B+2Gの信号として読み出すことを示している。221は、4つの光電変換素子211、212、213および214からなる光電変換素子グループを示している。図から明らかなように、光電変換素子グループの受光面積は、1つの光電変換素子あたりの受光面積の4倍となっている。これは、感度が改善されることを意味する。
そもそも、赤外除去フィルタ106が光路に配置されていないと、赤外領域の光が全て透過してしまう。そのため、R/G/Bの各フィルタで綺麗に色分離を実現できない。また、4つの光電変換素子からの信号を加算して読み出せば、カラー情報が打ち消しあうため、輝度信号しか得られないことになる。しかしながら、4倍の感度の画像信号を得られる利点がある。そこで、撮像信号処理ユニット142は、この4倍の感度で取得された画像信号を用いて、高感度な白黒画像を作成する。なお、図2Bに示す状態では、読み出す画像信号の数が4分の1になる、そのため、フレームレートを上げ易くなる利点もある。
図3は、実施形態に係る撮像方法の例示的なフローチャートである。ステップS301において、CPU151は、赤外除去制御ユニット126に駆動モータ123を駆動するように命令を送信する。この命令は、赤外除去フィルタ106を光路から退避させるための命令である。赤外除去制御ユニット126は、命令に応じて、駆動モータ123を駆動する。これにより、赤外除去フィルタ106が光路から退避する。
ステップS302において、CPU151は、撮像制御ユニット143に撮像命令を送出する。撮像制御ユニット143は、当該命令に応じて、撮像素子141から画像信号を読み出し、撮像信号処理142に出力する。なお、画像信号から画像データが作成されて、RAM154に書き込まれる。
ステップS303において、CPU151は、被写体に変化があったか否かを判定する。具体的には、動き検出ユニット152を用いて、複数の画像を比較することで、被写体の動きを検出する。被写体に変化がなければ、ステップS302に戻る。被写体に変化があれば、ステップS304に進む。
ステップS304において、CPU151は、赤外除去制御ユニット126を介して駆動モータ123を駆動し、赤外除去フィルタ106を光路に配置させる。
ステップS305において、CPU151は、撮像素子141により取得された画像信号に基づいて、カラー画像を記録する。カラー画像は、記録メディア126に記録されてもよいし、ネットワークインターフェース157を通じて所定のPCに送信されてもよい。
ステップS306において、CPU151は、監視を終了すべきステータスか否かを判定する。監視を継続すべき場合は、ステップS301に戻る。そうでなければ、本撮影処理を終了する。
本実施形態によれば、赤外除去フィルタを無効にすることで、低輝度または低照度の環境においても、記録契機を好適に検出できるようになる。一方で、記録時には、赤外除去フィルタを有効にして、カラー画像を記録する。よって、撮影画像から人物等を好適に認識しやすくなろう。
図4は、実施形態に係る他の静止画撮像方法の例示的なフローチャートである。なお、本撮像方法は、図3で示した撮像方法の下位概念ともいえる。ステップS401において、CPU151は、撮像素子141から読み出した画像信号から被写体の輝度を測定する。
ステップS402において、CPU151は、被写体輝度が低輝度か否かを判定する。例えば、被写体の輝度と所定の閾値とを比較することで、低輝度か否かを判定する。閾値は、経験的に決定される。低輝度であれば、ステップS403に進む。そうでなければ、ステップS404に進み、CPU151は、赤外除去フィルタ106が光路に配置されるよう制御する。ステップS403において、CPU151は、赤外除去フィルタ106が光路から退避するように制御する。
ステップS405において、CPU151は、撮像素子141を構成する全光電変換素子について、4つの光電変換素子を一組とし、該4つの光電変換素子からの画像信号を加算して読み出す。信号の加算ユニットは、撮像素子141に搭載してもよい。この場合、CPU151からの制御信号により、各光電変換素子ごとに画像信号を読み出すか、加算された画像信号を読み出すかを切り替えられるものとする。また、CPU151は、通常のフレームレートよりも高速のフレームレートで画像信号を読み出すよう撮像信号処理ユニット142を設定する。通常のフレームレートは、カラー画像を記録するときのフレームレートであり、相対的に低速のレームレートである。ステップS406において、CPU151は、撮像信号処理ユニット142を制御して、高感度で白黒画像を撮像する。
ステップS407において、CPU151は、この高感度で取得された画像信号を用いて動き検出ユニット152により動き検出を実行させる。動きがないと判断されたときは、S401に戻る。一方、動きがあると判断された場合は、ステップS409に進む。
ステップS409において、CPU151は、フォーカス制御ユニット135に合焦位置を検出させる。ステップS410において、CPU151は、赤外線撮影と可視光撮影との合焦位置補正を実行する。
ステップS420において、CPU151は、カラー撮影を行うために、赤外除去フィルタ106を光路内に配置させる。ステップS421において、CPU151は、全ての光電変換素子から画像信号を読み出すように撮像素子141を設定する。これにより、図2Aで示したように、カラー画像を構成するための画像信号を取得できる。
ステップS422において、CPU151は、画像信号から被写体の輝度を測定する。ステップS423において、CPU151は、被写体の輝度が低輝度か否かを判定する。低輝度でなければ、ステップS425に進む。一方、低輝度であれば、ステップS424に進み、CPU151は、照明装置であるフラッシュライト124をONにする。フラッシュライト124は、撮影と同期して発光することはいうまでもない。
ステップS425において、CPU151は、高解像度のカラー静止画を撮影する。ステップS426において、CPU151は、撮影されたカラー静止画の画像データをRAM154に一時保存する。ステップS427において、CPU151は、画像データをRAM154から読み出して、ネットワークインターフェース157を介して外部に送信する。その後、S401に戻る。なお、画像データをネットワーク配信する代わりに、記録メディア156に記録してもよい。また、映像出力ユニット158を通して、モニタに映像を写しても構わないことは言うまでもない。
以上説明したように、本実施形態によれば、被写体の変化を検出する時は、赤外除去フィルタ106を無効にすることで、低輝度または低照度の環境においても、好適に変化を検出できるようになる。一方で、記録時には、赤外除去フィルタ106を有効にして、カラー画像を記録するので、撮影画像から人物等を好適に認識しやすくなろう。
とりわけ、本実施形態によれば、被写体の変化を検出する際には、撮像素子141を構成する4つの光電変換素子ごとに、これらの光電変換素子から出力される画像信号を加算することで1画素の画像信号として読み出す。そのため、実質的な感度を向上させることができる。また、撮像装置141を構成する全素子の数よりも少ない数の画像信号を出力することになるので、フレームレートを上げやすくなる。すなわち、撮像装置141を構成する全光電変換素子を用いて撮像する時のフレームレートよりも、高速のフレームレートにより撮像を実行できるようになる。これは、画素数が減少すれば、データの転送速度に余裕が生じるからである。また、フレームレートが上昇すれば、AFの動作速度を向上させることもできる。なお、上述の実施形態では、4つの光電変換素子を1グループとしてまとめたが、2以上であればよいことはいうまでもない。
また、上述の実施形態では、複数の光電変換素子からの画像信号を加算することで、画素数を減少させたが、複数の光電変換素子のうち一部の素子からのみ画像信号を読み出すようにしてもよい。これにより、フレームレートを向上させ、AFの動作速度も向上させることができる。
なお、カラー画像を記録するときは、被写体の変化検出時よりも画素数が増えることになるので、高解像度のカラー画像を取得できる。したがって、人物等の特定に有利である。また、高解像度のカラー画像を取得する際は、撮像素子141が相対的に低速のフレームレートに設定される。これによりデータの転送速度の問題も解決できよう。
また、撮像装置141から出力される画像信号のうち高域成分をBPFにより抽出して、撮像光学系の合焦位置を検出してもよい。高域成分を用いれば、低輝度環境下でも合焦位置を検出しやすくなるからである。
さらに、照明装置124は、被写体の変化を検出する際には照明をせず、画像を記録する際には照明を実行してもよい。これにより、照明装置124により消費される電力を節約することができよう。なお、カメラが、記録されたカラー画像を外部に送信するネットワークインターフェース157を備えていれば、RAM154から画像データを消去できるため、長時間記録を実現しやすくなろう。また、着脱可能な記録メディア156に画像データを移すことでも、長時間記録を実現しやすくなろう。
[第2の実施形態]
第2実施形態では、動画撮影の事例を紹介する。図5Aは、実施形態に係る赤外除去フィルタが光路上に配置されているときの撮像素子との関係を説明する図である。501は、補色フィルタが貼り付けられた撮像素子141の有効領域全体を表している。図中の各マスは、1つの光電変換素子を示している。502は、撮像素子141の一部の領域を示している。511は、シアンのフィルタが貼られた光電変換素子を示している。512は、緑のフィルタが貼られた光電変換素子を示している。513は、イエローのフィルタが貼られた光電変換素子を示している。214は、マゼンタのフィルタが貼られた光電変換素子である。撮像信号処理ユニット142は、各光電変換素子から画像信号を読み出し、各光電変換素子と原色フィルタとの関係を考慮して、高解像度のカラー画像を作成する。
図5Bは、実施形態に係る赤外除去フィルタが光路上から退避しているときの撮像素子を説明する図である。504は、502と同様で、撮像素子141の有効領域全体を示している。505は、撮像素子141の一部の領域を示している。とりわけ、図5Bでは、4つの光電変換素子511、512、513および514からの信号を加算し、Cy+Ye+Mg+Gの信号として読み出すことを示している。521は、4つの光電変換素子511、512、513および514からなる光電変換素子グループを示している。図から明らかなように、光電変換素子グループの受光面積は、1つの光電変換素子あたりの受光面積の4倍となっている。これは、感度が改善されることを意味する。
そもそも、赤外除去フィルタ106が光路に入っていないと、赤外領域の光が全て透過するために、Cy/Ye/Mg/Gのフィルタで綺麗に色分離できない。さらに、4つの光電変換素子からの信号を加算して読み出すことで、輝度信号しか得られない。加算により、カラー情報が打ち消しあってしまうからである。しかしながら、4倍の感度の画像信号を得られる利点がある。そこで、撮像信号処理ユニット142は、この4倍の感度で取得された画像信号を用いて、高感度な白黒画像を作成する。なお、図5Bに示す状態では、読み出す画像信号の数が4分の1になる、そのため、フレームレートを上げ安くなる利点もある。
図6は、実施形態に係る動画撮影方法の例示的なフローチャートである。なお、本撮像方法は、図3で示した撮像方法の下位概念ともいえる。ステップS601において、CPU151は、撮像素子141から読み出した画像信号から被写体の輝度を測定する。
ステップS602において、CPU151は、被写体輝度が低輝度か否かを判定する。例えば、被写体の輝度と所定の閾値(通常輝度)とを比較することで、低輝度か否かを判定する。低輝度であれば、ステップS603に進む。そうでなければ、ステップS604に進み、CPU151は、赤外除去フィルタ106が光路に配置されるよう制御する。ステップS603において、CPU151は、赤外除去フィルタ106が光路から退避するように制御する。
ステップS605において、CPU151は、撮像素子141を構成する全光電変換素子について、4つの光電変換素子を一組とし、該4つの光電変換素子からの画像信号を加算して読み出す。信号の加算ユニットは、撮像素子141に搭載してもよい。この場合、CPU151からの制御信号により、各光電変換素子ごとに画像信号を読み出すか、加算された画像信号を読み出すかを切り替えられるものとする。また、CPU151は、通常よりも高いフレームレートで画像信号を読み出すよう撮像信号処理ユニット142を設定する。
ステップS606において、CPU151は、撮像信号処理ユニット142を制御して、高感度で白黒画像を撮像する。ステップS607において、CPU151は、この高感度で取得された画像信号を用いて動き検出ユニット152により動き検出を実行させる。動きがないと判断されたときは、S601に戻る。一方、動きがあると判断された場合は、ステップS609に進む。ステップS609において、CPU151は、フォーカス制御ユニット135に合焦位置を検出させる。ステップS610において、CPU151は、赤外線撮影と可視光撮影との合焦位置補正を実行する。
ステップS620において、CPU151は、カラー撮影を行うために、赤外除去フィルタ106を光路内に配置させる。ステップS621において、CPU151は、全光電変換素子から画像信号を読み出すように撮像素子141を設定する。これにより、図2Aで示したように、カラー画像を構成するための画像信号を取得できる。
ステップS622において、CPU151は、画像信号から被写体の輝度を測定する。ステップS623において、CPU151は、被写体の輝度が低輝度か否かを判定する。低輝度でなければ、ステップS625に進む。一方、低輝度であれば、ステップS624に進み、CPU151は、照明装置であるビデオライト124をONにする。
ステップS625において、CPU151は、高解像度のカラー動画の撮影を開始する。ステップS626において、CPU151は、撮影されたカラー動画像のデータ(動画データ)をRAM154に一時保存する。ステップS627において、CPU151は、動画データをRAM154から読み出して、ネットワークインターフェース157を介して外部の装置(ファイルサーバなど)に送信する。
ステップS628において、CPU151は、動き検出ユニット152を用いて被写体の動き検出を実行する。ステップS629で、CPU151は、動き検出ユニット152が動きを検出したか否かを判定する。動きを検出した場合は、ステップS628に戻り、動画撮影を継続する。一方で、動きが検出されなくなれば、ステップS630に進み、CPU151は、動画の送信を停止する。ステップS631において、CPU151は、動画撮影を停止する。さらに、ステップS632で、CPU151は、ビデオライトをOFFに切り替える。その後、ステップS601に戻る。なお、動画データをネットワーク配信する代わりに、記録メディア156に記録してもよい。また、映像出力ユニット158を通して、モニタに映像を写しても構わないことは言うまでもない。
なお、図6によれば、合焦位置補正(S610)を実行した後で、オートフォーカスを実行するステップが記載されていないが、もちろん、継続的にオートフォーカスを実行してもよいことはいうまでもない。動画撮影では、被写体の距離が逐次変化する可能性もあるからである。この場合、フォーカス制御ユニット135は、S610で決定された合焦位置を開始点とし、動画撮影中も継続してオートフォーカス制御を実行する。
また、第1の実施形態では、原色フィルタを採用した撮像素子141を用いた静止画撮影について説明した。また、第2の実施形態では、補色フィルタを採用した撮像素子141を用いた動画撮影について説明した。もちろん、これらは一例に過ぎない。例えば、補色フィルタを用いて静止画撮影を行ってもよいし、原色フィルタを用いて動画撮影を行ってもよい。
実施形態に係る撮像装置の構成例を示すブロック図である。 実施形態に係る赤外除去フィルタが光路上に配置されているときの撮像素子との関係を説明する図である。 実施形態に係る赤外除去フィルタが光路上から退避しているときの撮像素子を説明する図である。 実施形態に係る撮像方法の例示的なフローチャートである。 実施形態に係る他の静止画撮像方法の例示的なフローチャートである。 実施形態に係る赤外除去フィルタが光路上に配置されているときの撮像素子との関係を説明する図である。 実施形態に係る赤外除去フィルタが光路上から退避しているときの撮像素子を説明する図である。 実施形態に係る動画撮影方法の例示的なフローチャートである。

Claims (12)

  1. 被写体の画像を撮像する撮像手段と、
    前記撮像手段に対応して設けられた可動式の赤外除去フィルタと、
    前記被写体の変化を検出する際には、前記赤外除去フィルタを前記撮像手段に関する光路上から退避させ、前記被写体の画像を記録する際には、前記赤外除去フィルタを前記光路上に移動させる移動手段と、
    前記撮像手段により撮像された複数の画像に基づいて前記被写体の変化を検出する検出手段と、
    前記被写体の変化が検出されると、前記移動手段により前記赤外除去フィルタを前記光路上に移動させ、前記被写体のカラー画像を記録する記録手段と
    を含む、撮像装置。
  2. 前記撮像手段は、前記被写体の変化を検出する際には、前記撮像手段を構成する全素子の数よりも少ない数の画像信号を出力する、請求項1に記載の撮像装置。
  3. 前記撮像手段は、前記被写体の変化を検出する際には、前記撮像手段を構成する2以上の素子ごとに該素子から出力される信号を加算することで1画素の画像信号として出力する、請求項2に記載の撮像装置。
  4. 前記撮像手段は、前記被写体の変化を検出する際には、前記撮像手段を構成する複数の素子のうち一部の素子からの画像信号だけを読み出す、請求項2に記載の撮像装置。
  5. 前記撮像手段は、該撮像手段の撮像領域内の全素子を用いて撮像する時の第1のフレームレートよりも高速の第2のフレームレートにより前記画像を撮像する、請求項2ないし4の何れかに記載の撮像装置。
  6. 前記撮像手段は、該撮像手段の撮像領域内の全素子を用いて前記カラー画像を撮像する、請求項1ないし5の何れかに記載の撮像装置。
  7. 前記撮像手段は、前記第2のフレームレートよりも低速の第1のフレームレートにて前記カラー画像を撮像する、請求項6に記載の撮像装置。
  8. 前記赤外除去フィルタが前記光路上から退避した状態で、前記撮像手段から出力される画像信号に含まれる信号成分のうち高域成分を用いて、撮像光学系の合焦位置を検出する焦点検出手段をさらに含み、
    前記記録手段は、前記検出された合焦位置に応じて、前記撮像手段により撮像されたカラー画像を記録する、請求項1ないし7の何れかに記載の撮像装置。
  9. 前記被写体の変化を検出する際には照明を無効とし、前記画像を記録する際には照明を有効とする照明手段をさらに含む、請求項1ないし8の何れかに記載の撮像装置。
  10. 前記記録されたカラー画像を外部に送信する送信手段をさらに含む、請求項1ないし9の何れかに記載の撮像装置。
  11. 前記記録されたカラー画像を、着脱可能な記録媒体に書き込む手段をさらに含む、請求項1ないし10の何れかに記載の撮像装置。
  12. 撮像手段を用いて被写体の画像を撮像する撮像方法であって、
    前記撮像手段に対応して設けられた可動式の赤外除去フィルタを前記撮像手段に関する光路上から退避させるステップと、
    前記撮像手段により撮像された複数の画像に基づいて前記被写体の変化を検出するステップと、
    前記被写体の変化が検出されると、前記赤外除去フィルタを前記光路上に移動させるステップと、
    前記撮像手段により、前記被写体のカラー画像を記録するステップと
    を含む、撮像方法。
JP2005228472A 2005-08-05 2005-08-05 撮像装置および撮像方法 Pending JP2007049222A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2005228472A JP2007049222A (ja) 2005-08-05 2005-08-05 撮像装置および撮像方法
US11/460,419 US7536098B2 (en) 2005-08-05 2006-07-27 Imaging apparatus and imaging method
EP06015834.2A EP1750442B1 (en) 2005-08-05 2006-07-28 Imaging apparatus and imaging method
CNB2006101095305A CN100566384C (zh) 2005-08-05 2006-08-04 成像设备和成像方法
US12/209,342 US8229293B2 (en) 2005-08-05 2008-09-12 Imaging apparatus and imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005228472A JP2007049222A (ja) 2005-08-05 2005-08-05 撮像装置および撮像方法

Publications (2)

Publication Number Publication Date
JP2007049222A true JP2007049222A (ja) 2007-02-22
JP2007049222A5 JP2007049222A5 (ja) 2010-03-25

Family

ID=37396220

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005228472A Pending JP2007049222A (ja) 2005-08-05 2005-08-05 撮像装置および撮像方法

Country Status (4)

Country Link
US (2) US7536098B2 (ja)
EP (1) EP1750442B1 (ja)
JP (1) JP2007049222A (ja)
CN (1) CN100566384C (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016092684A (ja) * 2014-11-07 2016-05-23 カシオ計算機株式会社 撮像装置、撮像制御方法、及びプログラム

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8031975B2 (en) * 2007-08-06 2011-10-04 Digital Domain Productions, Inc. System and method of image zooming with intensity preservation
CN101841589B (zh) * 2009-03-17 2014-01-15 鸿富锦精密工业(深圳)有限公司 便携式电子装置
JP6071651B2 (ja) * 2012-05-21 2017-02-01 キヤノン株式会社 撮像装置、クライアント装置、撮像システム、撮像装置の制御方法、クライアント装置の制御方法、および撮像システムの制御方法
JP6172428B2 (ja) * 2012-06-15 2017-08-02 株式会社リコー 撮像装置および撮像方法
JP6214178B2 (ja) * 2013-01-25 2017-10-18 キヤノン株式会社 撮像装置、クライアント装置、撮像システム、撮像装置の制御方法、クライアント装置の制御方法、および撮像システムの制御方法
CN105432076B (zh) * 2013-07-25 2017-10-10 日立麦克赛尔株式会社 摄像装置
JP6465566B2 (ja) * 2013-08-21 2019-02-06 キヤノン株式会社 撮像装置及び撮像方法
JP6399766B2 (ja) * 2014-03-07 2018-10-03 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム
CN103826109B (zh) * 2014-03-25 2017-02-08 龙迅半导体(合肥)股份有限公司 一种视频监控图像数据处理方法及系统
CN104202537B (zh) * 2014-09-05 2019-03-01 天彩电子(深圳)有限公司 一种红外摄像机的调光方法
JP7043284B2 (ja) * 2018-02-15 2022-03-29 キヤノン株式会社 撮像装置および撮像システム、および移動体
US11032507B2 (en) * 2018-12-06 2021-06-08 Flir Commercial Systems, Inc. Frame rate and associated device manufacturing techniques for imaging systems and methods
US10931874B2 (en) 2018-12-06 2021-02-23 Flir Commercial Systems, Inc. Burst mode calibration sensing and image mode sensing for imaging systems and methods
CN110445969B (zh) * 2019-08-16 2021-01-12 维沃移动通信(杭州)有限公司 摄像模组及电子设备
CZ2021221A3 (cs) * 2021-05-04 2021-11-03 Workswell S.R.O. Termovizní kamera obsahující termovizní jádro s objektivem

Citations (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4026568Y1 (ja) * 1965-03-15 1965-09-08
JPS4860628A (ja) * 1971-11-27 1973-08-25
JPS5590192A (en) * 1978-12-27 1980-07-08 Minolta Camera Co Ltd Solid-state pickup television camera
JPS57130006A (en) * 1981-02-06 1982-08-12 Nippon Kogaku Kk <Nikon> Focus detector
JPS57133411A (en) * 1981-02-12 1982-08-18 Nippon Kogaku Kk <Nikon> Detecting device for focus of camera
JPS57150808A (en) * 1981-03-13 1982-09-17 Nippon Kogaku Kk <Nikon> Focus detecting device
JPS586678A (ja) * 1981-07-03 1983-01-14 Canon Inc テレビカメラ
JPS59146270A (ja) * 1983-02-09 1984-08-22 Canon Inc 電子カメラ
JPS59222803A (ja) * 1983-05-31 1984-12-14 Canon Inc 自動焦点検出装置
JPS63309072A (ja) * 1987-06-10 1988-12-16 Canon Inc 電子スチルカメラ
JPH0374017U (ja) * 1989-11-17 1991-07-25
JPH0418888A (ja) * 1990-04-02 1992-01-23 Toshiba Corp カラービデオカメラシステム
JPH04117876A (ja) * 1990-09-07 1992-04-17 Canon Inc 画像入力装置
JPH04167684A (ja) * 1990-10-29 1992-06-15 Canon Inc 静止画撮像装置
JPH05145859A (ja) * 1991-11-25 1993-06-11 Hitachi Ltd 固体撮像装置およびその制御方法
JPH0689390A (ja) * 1992-09-07 1994-03-29 Uniden Corp 監視装置
JPH06113191A (ja) * 1992-09-28 1994-04-22 Fuji Photo Film Co Ltd ビデオ・カメラおよびその測光方法
JPH07121789A (ja) * 1993-10-22 1995-05-12 Canon Inc 遠隔監視装置
JPH09186939A (ja) * 1995-12-27 1997-07-15 Canon Inc 撮像装置
JPH11346324A (ja) * 1998-06-02 1999-12-14 Canon Inc 遠隔撮像システム、遠隔撮像方法及び記憶媒体
JP2000132774A (ja) * 1998-10-22 2000-05-12 Data Rinku Kk 侵入者監視システム
JP2000278593A (ja) * 1999-03-24 2000-10-06 Canon Inc 撮像装置
JP2001251607A (ja) * 2000-03-06 2001-09-14 Matsushita Electric Ind Co Ltd 画像監視システム及び画像監視方法
JP2001313933A (ja) * 2000-04-28 2001-11-09 Hotsukoo Kk 監視記録システム
JP2003134444A (ja) * 2001-10-25 2003-05-09 Canon Inc 撮像装置及びその制御方法、プログラム並びに記憶媒体

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US30755A (en) * 1860-11-27 Chables perley
US4437111A (en) * 1981-01-16 1984-03-13 Matsushita Electric Industrial Co., Ltd. Color television camera
US4695878A (en) * 1985-10-31 1987-09-22 Rca Corporation Color television camera with selectively removable infrared rejection filter
JP2580576B2 (ja) 1986-12-03 1997-02-12 キヤノン株式会社 合焦検出装置
US4920369A (en) 1988-05-06 1990-04-24 Canon Kabushiki Kaisha Lens position control device
US5200860A (en) 1988-06-09 1993-04-06 Canon Kabushiki Kaisha Lens position control device
US5488687A (en) * 1992-09-17 1996-01-30 Star Technologies, Inc. Dual resolution output system for image generators
US6819353B2 (en) * 1999-12-23 2004-11-16 Wespot Ab Multiple backgrounds
JP3636291B2 (ja) * 2000-01-31 2005-04-06 オリンパス株式会社 撮像装置
JP3074017U (ja) 2000-06-13 2000-12-19 有限会社 練光電機 簡易監視システム
JP2002016877A (ja) 2000-06-29 2002-01-18 Toshiba Corp タイムラプス記録用エンコードシステム及びタイムラプス記録方法
JP2002084451A (ja) 2000-09-11 2002-03-22 Minolta Co Ltd デジタル撮像装置、画像処理システム、記録媒体、およびデジタル撮像方法
JP3800052B2 (ja) 2001-08-20 2006-07-19 ソニー株式会社 静止画像撮像装置及び方法
JP4325158B2 (ja) * 2002-08-27 2009-09-02 株式会社ニコン 閃光制御装置、電子閃光装置、及び撮影システム
CN2603983Y (zh) 2003-01-29 2004-02-18 张健 图像报警防盗视频终端装置
US7643055B2 (en) 2003-04-25 2010-01-05 Aptina Imaging Corporation Motion detecting camera system
JP2005064887A (ja) * 2003-08-13 2005-03-10 Sankyo Seiki Mfg Co Ltd カメラおよびカメラ付き携帯機器
JP4649128B2 (ja) * 2004-06-15 2011-03-09 キヤノン株式会社 自動焦点調整装置及び当該自動焦点装置を有する撮像装置

Patent Citations (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4026568Y1 (ja) * 1965-03-15 1965-09-08
JPS4860628A (ja) * 1971-11-27 1973-08-25
JPS5590192A (en) * 1978-12-27 1980-07-08 Minolta Camera Co Ltd Solid-state pickup television camera
JPS57130006A (en) * 1981-02-06 1982-08-12 Nippon Kogaku Kk <Nikon> Focus detector
JPS57133411A (en) * 1981-02-12 1982-08-18 Nippon Kogaku Kk <Nikon> Detecting device for focus of camera
JPS57150808A (en) * 1981-03-13 1982-09-17 Nippon Kogaku Kk <Nikon> Focus detecting device
JPS586678A (ja) * 1981-07-03 1983-01-14 Canon Inc テレビカメラ
JPS59146270A (ja) * 1983-02-09 1984-08-22 Canon Inc 電子カメラ
JPS59222803A (ja) * 1983-05-31 1984-12-14 Canon Inc 自動焦点検出装置
JPS63309072A (ja) * 1987-06-10 1988-12-16 Canon Inc 電子スチルカメラ
JPH0374017U (ja) * 1989-11-17 1991-07-25
JPH0418888A (ja) * 1990-04-02 1992-01-23 Toshiba Corp カラービデオカメラシステム
JPH04117876A (ja) * 1990-09-07 1992-04-17 Canon Inc 画像入力装置
JPH04167684A (ja) * 1990-10-29 1992-06-15 Canon Inc 静止画撮像装置
JPH05145859A (ja) * 1991-11-25 1993-06-11 Hitachi Ltd 固体撮像装置およびその制御方法
JPH0689390A (ja) * 1992-09-07 1994-03-29 Uniden Corp 監視装置
JPH06113191A (ja) * 1992-09-28 1994-04-22 Fuji Photo Film Co Ltd ビデオ・カメラおよびその測光方法
JPH07121789A (ja) * 1993-10-22 1995-05-12 Canon Inc 遠隔監視装置
JPH09186939A (ja) * 1995-12-27 1997-07-15 Canon Inc 撮像装置
JPH11346324A (ja) * 1998-06-02 1999-12-14 Canon Inc 遠隔撮像システム、遠隔撮像方法及び記憶媒体
JP2000132774A (ja) * 1998-10-22 2000-05-12 Data Rinku Kk 侵入者監視システム
JP2000278593A (ja) * 1999-03-24 2000-10-06 Canon Inc 撮像装置
JP2001251607A (ja) * 2000-03-06 2001-09-14 Matsushita Electric Ind Co Ltd 画像監視システム及び画像監視方法
JP2001313933A (ja) * 2000-04-28 2001-11-09 Hotsukoo Kk 監視記録システム
JP2003134444A (ja) * 2001-10-25 2003-05-09 Canon Inc 撮像装置及びその制御方法、プログラム並びに記憶媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016092684A (ja) * 2014-11-07 2016-05-23 カシオ計算機株式会社 撮像装置、撮像制御方法、及びプログラム

Also Published As

Publication number Publication date
US7536098B2 (en) 2009-05-19
US20070030382A1 (en) 2007-02-08
EP1750442A3 (en) 2008-12-03
CN1909604A (zh) 2007-02-07
US8229293B2 (en) 2012-07-24
EP1750442B1 (en) 2013-10-09
CN100566384C (zh) 2009-12-02
US20090009655A1 (en) 2009-01-08
EP1750442A2 (en) 2007-02-07

Similar Documents

Publication Publication Date Title
JP2007049222A (ja) 撮像装置および撮像方法
US8416303B2 (en) Imaging apparatus and imaging method
JP3636046B2 (ja) 固体撮像素子の画素欠陥検出方法およびその方法を用いた撮像装置
JP2012119846A (ja) カメラシステムおよびカメラ
US8169511B2 (en) Imaging apparatus and photographing control method
JP2005184391A (ja) 撮像装置およびその異常検出方法
JP2008072682A (ja) 撮像装置
US20100157102A1 (en) Electronic camera
JP2006245815A (ja) 撮像装置
JP2007116372A (ja) デジタルカメラ
JP2009031343A (ja) カメラ
JP2006020022A (ja) モニタ制御装置
JP2010171950A (ja) 撮像装置および撮像装置の色補正方法
JP2009118430A (ja) 撮像装置、該撮像装置の駆動方法、画像生成装置及び画像生成方法
US7570289B2 (en) Electronic camera having a clamp circuit and performing a clamping process on an image signal
WO2011104819A1 (ja) 撮像用トリガ信号生成方法及び装置
JP2013115653A (ja) 撮像装置、その制御方法及びプログラム
JPH0879597A (ja) 撮像装置
JP2005175719A (ja) 撮像装置及び撮像システム
JP4803967B2 (ja) 静止画と動画を撮影可能な撮影装置及び撮影準備方法
JP4756386B2 (ja) 面順次カラー画像の撮像方法及び面順次発光ストロボ付きデジタルカメラ
JP2011029933A (ja) スミア検出装置およびスミア検出方法、スミア補正装置およびスミア補正方法、固体撮像装置、電子情報機器
JPH11261855A (ja) 静止画記録装置
JP4794651B2 (ja) 静止画と動画を撮影可能な撮影装置及び撮影方法
JP2021027485A (ja) 撮像素子及びその制御方法、撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080710

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080710

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100916

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101115