JP2008113126A - 撮像装置および撮像方法 - Google Patents

撮像装置および撮像方法 Download PDF

Info

Publication number
JP2008113126A
JP2008113126A JP2006293836A JP2006293836A JP2008113126A JP 2008113126 A JP2008113126 A JP 2008113126A JP 2006293836 A JP2006293836 A JP 2006293836A JP 2006293836 A JP2006293836 A JP 2006293836A JP 2008113126 A JP2008113126 A JP 2008113126A
Authority
JP
Japan
Prior art keywords
signal processing
screen rate
recording medium
camera signal
imaging data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006293836A
Other languages
English (en)
Other versions
JP4680166B2 (ja
Inventor
Ryota Kosakai
良太 小坂井
Katsutoshi Aiki
勝年 相木
Nobuyuki Sato
伸行 佐藤
Hiroyoshi Nagahama
裕喜 永濱
Masatoshi Sase
昌利 佐瀬
Yutaka Yoneda
豊 米田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2006293836A priority Critical patent/JP4680166B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN2007800405383A priority patent/CN101536491B/zh
Priority to KR1020097008900A priority patent/KR101395433B1/ko
Priority to US12/447,480 priority patent/US8849090B2/en
Priority to EP11181543A priority patent/EP2398228A1/en
Priority to EP07830123.1A priority patent/EP2169947B1/en
Priority to PCT/JP2007/070389 priority patent/WO2008053716A1/ja
Publication of JP2008113126A publication Critical patent/JP2008113126A/ja
Application granted granted Critical
Publication of JP4680166B2 publication Critical patent/JP4680166B2/ja
Priority to US14/462,615 priority patent/US9025929B2/en
Priority to US14/662,291 priority patent/US20150201126A1/en
Priority to US15/001,442 priority patent/US9661291B2/en
Priority to US15/266,287 priority patent/US9538153B1/en
Priority to US15/581,208 priority patent/US9866811B2/en
Priority to US15/855,060 priority patent/US10313648B2/en
Priority to US16/391,771 priority patent/US10708563B2/en
Priority to US16/888,224 priority patent/US10986323B2/en
Priority to US17/203,471 priority patent/US11388380B2/en
Priority to US17/746,810 priority patent/US11750937B2/en
Priority to US18/350,928 priority patent/US20230353887A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B31/00—Arrangements for the associated working of recording or reproducing apparatus with related apparatus
    • G11B31/006—Arrangements for the associated working of recording or reproducing apparatus with related apparatus with video camera or receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/82—Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction
    • H04N23/83—Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction specially adapted for colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7904—Processing of colour television signals in connection with recording using intermediate digital signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0105—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level using a storage device with different write and read speed

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

【課題】高速撮像時にカメラ信号処理回路が高画面レートで信号処理を行うことを不要とし、通常画面レートで信号処理を行うようにする。
【解決手段】高速撮像モード時には、イメージセンサ１０１からの２４０ｆｐｓのＲＡＷデータが変換処理部２０１、記録デバイス制御回路２１０を介して記録デバイス１１１に記録される。間引きおよびサイズ変換がなされたＲＡＷデータが前処理回路２０２を介してカメラ信号処理回路２０３に供給され、カメラ信号処理がなされた信号によって撮像中の画像が表示部１１２に表示される。再生時には、表示部１１２の表示能力にあわせて低画面レートでＲＡＷデータが記録デバイス１１１から読み出され、読み出されたＲＡＷデータが前処理回路２０２およびカメラ信号処理回路２０３によって処理され、表示部１１２によって再生画像が表示される。
【選択図】図２

Description

この発明は、撮像装置および撮像方法に関し、特に高速イメージセンサを用いて画像を撮像する撮像装置および撮像方法に関する。
従来、高速撮影を行う高速度ビデオカメラが知られている。例えば高速レートで処理する１枚あたりの画像サイズを小さいサイズ、たとえば標準画像サイズの４分の１に変換して通常レートの画像に４枚分を埋め込むことにより、高速撮像を実現したものがあった（特許文献１参照）。また、センサからのデータを並列に処理するような回路構造を取ることにより、単位時間あたりの画像データの処理量を増加させて、高速撮像を実現したものもあった（特許文献２参照）。
特開平８−８８８３３号公報 特開平８−２５１４９２号公報
しかしながら、特許文献１または特許文献２に記載されている高速撮像は、撮像画像をＶＴＲ、半導体メモリ等の記憶装置に一旦記憶し、後でスローモーション再生を行い、極めて高速の動きを解析することを目的とするものであり、装置自体が複雑且つ高価なものであった。したがって、これらの特許文献１または特許文献２に記載されているような高速撮像システムは、携帯性の点で、また、消費電力の点で、家庭用として広く普及している携帯型撮像装置、いわゆるカムコーダ（ビデオカメラおよびレコーダが一体化された装置の略称）、ディジタルカメラ等に適用することが難しかった。
このような点を考慮した撮像装置について、図１を参照して説明する。図１の構成は、既存のカムコーダと同様の構成を有している。すなわち、図１に示す撮像装置１００は、イメージセンサ１０１、前処理回路１０２、カメラ信号処理回路１０３、変換処理部１０４、圧縮伸張回路１０５、メモリ制御回路１０６、メモリ１０７、表示処理回路１０８、圧縮伸張回路１０９、記録デバイス制御回路１１０、記録デバイス１１１、表示部１１２、および制御部１１３を備えている。
イメージセンサ１０１は、ＮＴＳＣ方式の仕様である６０ｆｐｓ（フィールド／秒）以上の第１の画面レート（フレームレートとも称される）で高速に信号を読み出す高速撮像モードと、通常の第２の画面レートで信号を読み出す通常撮像モードとが切り換え可能とされている。高速撮像モードの画面レートは、例えば通常レートの４倍の２４０ｆｐｓとされている。イメージセンサ１０１は、ＣＤＳ（Correlated Double Sampling）およびＡ／Ｄコンバータを内蔵し、イメージセンサ１０１から撮像データが出力される。
前処理回路１０２は、イメージセンサ１０１から出力された撮像データに対して、シェーディング補正等の光学的な補正処理を行ってディジタル画像信号を出力する。カメラ信号処理回路１０３は、前処理回路１０２からの撮像データに対して、ホワイトバランス調整処理等のカメラ信号処理を施す。
変換処理部１０４は、カメラ信号処理回路１０３から受け取った画像信号を表示部１１２の表示に適合した画面レートおよび画面サイズに変換するための表示間引きとサイズ調整とを行う。なお、表示間引きは表示処理回路１０８に出力するときのみ行う。ここで表示間引きとは、撮像装置１００が高速撮像モードのときに映し出す表示装置の表示規格で規定されている単位時間あたりのフィールド数（ここでは６０ｆｐｓ）に合うように、フィールドを間引くことである。
圧縮伸張回路１０５は、変換処理部１０４からの撮像データに対して、例えばＪＰＥＧ（Joint Photographic Experts Group）などの静止画像の符号化方式で圧縮符号化処理を行う。また、メモリ制御回路１０６から供給された静止画像の符号化データに対して伸張復号化処理を行う。メモリ制御回路１０６は、メモリ１０７に対する画像データの書き込みおよび読み込みを制御する。メモリ１０７は、メモリ制御回路１０６から受け取った画像データを一時的に保存するＦＩＦＯ（First In First Out）方式のバッファメモリであり、例えば、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などが使用される。
表示処理回路１０８は、変換処理部１０４または圧縮伸張回路１０９から受け取った画像信号から、表示部１１２に表示させるための画像信号を生成して、この信号を表示部１１２に送り、画像を表示させる。表示部１１２は、例えばＬＣＤ（Liquid Crystal Display）からなり、撮像中のカメラスルー画像や記録デバイス１１１に記録されたデータを再生した画像などを表示する。
圧縮伸張回路１０９は、変換処理部１０４から受け取った画像データに対して、例えばＭＰＥＧ（Moving Picture Experts Group）などの動画像の符号化方式で圧縮符号化処理を行う。また、記録デバイス１１１から供給された動画の符号化データに対して伸張復号化処理を行い、表示処理回路１０８に出力する。表示部１１２は、表示処理回路１０８から受け取った動画を表示する。
制御部１１３は、例えば、ＣＰＵ（Central Processing Unit ）、ＲＯＭ（Read Only
Memory ）、ＲＡＭ（Random Access Memory）などから構成されるマイクロコンピュータであり、ＲＯＭなどに記憶されたプログラムを実行することにより、撮像装置の各部を統括的に制御する。
図１の撮像装置において、高速撮像モードでは、イメージセンサ１０１からの２４０ｆｐｓの撮像信号が前処理回路１０２を介してカメラ信号処理回路１０３に供給される。カメラ信号処理回路１０３の出力画像信号が変換処理部１０４において、６０ｆｐｓになるように、４分の１間引きがなされる。間引きおよびサイズ変換がなされた画像信号が表示処理回路１０８に供給され、表示処理回路１０８が表示部１１２に表示させるための画像信号を生成して、この信号を表示部１１２に送り、画像を表示させる。
ユーザ操作に応じて制御部１１３から高速撮像した画像の記録要求を受け取ると、変換処理部１０４が圧縮伸張回路１０５に対しても２４０ｆｐｓの画像信号を送る。変換処理部１０４は、カメラ信号処理回路１０３から受け取った画像信号を、必要に応じて縮小して、圧縮伸張回路１０５へ送る。
圧縮伸張回路１０５は、変換処理部１０４から画像信号をＪＰＥＧ形式で圧縮符号化する。メモリ制御回路１０６は、圧縮伸張回路１０５からの符号化データをメモリ１０７に一時記憶する。このようにして、メモリ１０７には一定時間分の画像データが蓄積される。
メモリ制御回路１０６は、メモリ１０７に一時記憶した符号化データの読み出し要求を制御部１１３から受け取ると、メモリ１０７に記憶されている符号化データを６０ｆｐｓで読み出して圧縮伸張回路１０５へ送る。圧縮伸張回路１０５は、メモリ制御回路１０６から符号化データを伸張復号化し、復号データを変換処理部１０４へ送る。変換処理部１０４は、制御部１１３から記録デバイス１１１への記録要求を受け取ると、圧縮伸張回路１０５から受け取った画像信号を圧縮伸張回路１０９へ送る。圧縮伸張回路１０９は、変換処理部１０４から受け取った画像信号を、ＭＰＥＧ形式で圧縮し、圧縮符号化された信号を記録デバイス制御回路１１０を介して記録デバイス１１１へ記憶する。変換処理部１０４は、圧縮伸張回路１０５から６０ｆｐｓで受け取った画像信号をサイズ調整し、表示処理回路１０８へ送り、表示部１１２に再生画像が表示される。
上述した図１に示す先に提案されている撮像装置では、イメージセンセンサ１０１の高速撮像モード時において、イメージセンサ１０１の出力撮像信号の画面レートが高いので、前処理回路１０２およびカメラ信号処理回路１０３が高速で動作することが要求される。システムをＬＳＩ等で実現する場合、前処理回路１０２およびカメラ信号処理回路１０３は、全システムに対する演算規模が大きいために、高速処理あるいは並列処理は、回路面積および消費電力の面で不利となる。また、図１の構成は、撮像信号をメモリ１０７に一時記憶する構成であるため、高速撮像モード停止後もメモリ１０７に一時記憶されたデータを復号し、通常記録フォーマットに再符号化する処理時間を要する問題があった。
したがって、この発明の目的は、カメラ信号処理回路が高速の画面レートの処理を行う必要がなく、簡単且つローコストで、したがって、携帯性に優れた撮像装置および撮像方法を提供することにある。
この発明では上述した問題を解決するために、固体撮像素子から得られた第１の画面レートの撮像データを記録媒体に記録し、記録媒体から第１の画面レートより低い第２の画面レートで撮像データを読み出す記録媒体制御手段と、
固体撮像素子からの第１の画面レートの撮像データを第２の画面レートの撮像データへ変換する変換手段と、
変換手段または記録媒体制御手段からの第２の画面レートの撮像データに対しカメラ信号処理を行うカメラ信号処理手段と、
カメラ信号処理手段からの画像信号から表示用の画像信号を生成する表示処理手段と
を有することを特徴とする撮像装置である。
この発明は、固体撮像素子から得られた第１の画面レートの撮像データを記録媒体に記録し、記録媒体から第１の画面レートより低い第２の画面レートで撮像データを読み出す記録媒体制御手段と、
固体撮像素子からの第１の画面レートの撮像データを第２の画面レートの撮像データへ変換する変換手段と、
変換手段からの第２の画面レートの撮像データに対しカメラ信号処理を行う第１のカメラ信号処理手段と、
記録媒体制御手段からの第２の画面レートの撮像データに対しカメラ信号処理を行う第２のカメラ信号処理手段と、
第１および第２のカメラ信号処理手段の一方の出力画像信号から表示用の画像信号を生成する表示処理手段とを有し、
第１のカメラ信号処理手段が第２のカメラ信号処理手段に比して簡易な構成とされたことを特徴とする撮像装置である。
この発明は、固体撮像素子から得られた第１の画面レートの撮像データを第１の記録媒体に記録し、第１の記録媒体から第１の画面レートより低い第２の画面レートで撮像データを読み出す第１の記録媒体制御手段と、
固体撮像素子からの第１の画面レートの撮像データを第２の画面レートの撮像データへ変換する変換手段と、
変換手段からの第２の画面レートの撮像データに対しカメラ信号処理を行う第１のカメラ信号処理手段と、
第１の記録媒体制御手段からの第２の画面レートの撮像データに対しカメラ信号処理を行う第２のカメラ信号処理手段と、
第２のカメラ信号処理手段の出力画像信号を第２の記録媒体に記録し、第２の記録媒体から第２の画面レートで画像信号を読み出す第２の記録媒体制御手段と、
第１のカメラ信号処理手段の出力画像信号並びに第２の記録媒体制御手段の出力画像信号の一方から表示用の画像信号を生成する表示処理手段とを有し、
第１のカメラ信号処理手段が第２のカメラ信号処理手段に比して簡易な構成とされたことを特徴とする撮像装置である。
この発明は、固体撮像素子から得られた第１の画面レートの撮像データを記録媒体に記録し、記録媒体から第１の画面レートより低い第２の画面レートで撮像データを読み出す記録媒体制御ステップと、
固体撮像素子からの第１の画面レートの撮像データを第２の画面レートの撮像データへ変換する変換ステップと、
変換ステップまたは記録媒体制御ステップからの第２の画面レートの撮像データに対しカメラ信号処理を行うカメラ信号処理ステップと、
カメラ信号処理ステップからの画像信号から表示用の画像信号を生成する表示処理ステップと
を有することを特徴とする撮像方法である。
この発明は、固体撮像素子から得られた第１の画面レートの撮像データを記録媒体に記録し、記録媒体から第１の画面レートより低い第２の画面レートで撮像データを読み出す記録媒体制御ステップと、
固体撮像素子からの第１の画面レートの撮像データを第２の画面レートの撮像データへ変換する変換ステップと、
変換ステップからの第２の画面レートの撮像データに対しカメラ信号処理を行う第１のカメラ信号処理ステップと、
記録媒体制御ステップからの第２の画面レートの撮像データに対しカメラ信号処理を行う第２のカメラ信号処理ステップと、
第１および第２のカメラ信号処理ステップの一方の出力画像信号から表示用の画像信号を生成する表示処理ステップとを有し、
第１のカメラ信号処理ステップが第２のカメラ信号処理ステップに比して簡易な構成とされたことを特徴とする撮像方法である。
この発明は、固体撮像素子から得られた第１の画面レートの撮像データを第１の記録媒体に記録し、第１の記録媒体から第１の画面レートより低い第２の画面レートで撮像データを読み出す第１の記録媒体制御ステップと、
固体撮像素子からの第１の画面レートの撮像データを第２の画面レートの撮像データへ変換する変換ステップと、
変換ステップからの第２の画面レートの撮像データに対しカメラ信号処理を行う第１のカメラ信号処理ステップと、
第１の記録媒体制御ステップからの第２の画面レートの撮像データに対しカメラ信号処理を行う第２のカメラ信号処理ステップと、
第２のカメラ信号処理ステップの出力画像信号を第２の記録媒体に記録し、第２の記録媒体から第２の画面レートで画像信号を読み出す第２の記録媒体制御ステップと、
第１のカメラ信号処理ステップの出力画像信号並びに第２の記録媒体制御ステップの出力画像信号の一方から表示用の画像信号を生成する表示処理ステップとを有し、
第１のカメラ信号処理ステップが第２のカメラ信号処理ステップに比して簡易な構成とされたことを特徴とする撮像方法である。
この発明の撮像装置によれば、撮像素子の画面レートが高くなっているにもかかわらず、カメラ信号処理回路は常に表示部の表示能力の画面レートを満たせばよく、高速撮像を処理するためだけに高周波駆動、並列処理をする必要が無く、消費電力や回路規模を削減することが可能となる。
以下、この発明の第１の実施の形態を図面を参照して詳細に説明する。図２に示すように、第１の実施の形態に係る撮像装置２００に対して、イメージセンサ１０１からの撮像信号が供給される。
イメージセンサ１０１は、光学系（レンズ、赤外線除去フィルタ、光学的ローパスフィルタ等を含む）を介して取り込まれた被写体からの入射光を光電変換によって電気信号に変換する。例えばＣＭＯＳ(Complementary Metal Oxide Semiconductor)型の撮像素子が
用いられている。ＣＯＭＳ型撮像素子の場合、フォトダイオード、行・列選択ＭＯＳトランジスタ、信号線等が２次元状に配列され、垂直走査回路、水平走査回路、ノイズ除去回路、タイミング発生回路等が形成されている。なお、イメージセンサ１０１として、高速撮像が可能とされたＣＣＤ(Charge Coupled Device) を使用しても良い。
イメージセンサ１０１は、ＮＴＳＣ方式の仕様である通常画面レート（６０ｆｐｓ（フィールド／秒））以上の第１の画面レート（フレームレートとも称される）で高速に信号を読み出す高速撮像モードと、通常の第２の画面レートで信号を読み出す通常撮像モードとが切り換え可能とされている。高速撮像モードの画面レートは、例えば通常レートの４倍の２４０ｆｐｓとされている。イメージセンサ１０１は、ＣＤＳ（Correlated Double
Sampling）、Ａ／Ｄコンバータ等が内蔵され、イメージセンサ１０１の画素の配列と対応したディジタル撮像信号が出力される。
イメージセンサ１０１は、例えば３原色の撮像信号をそれぞれ出力する３枚の撮像素子を使用し、各撮像素子から４行毎に１行の出力を取り出すことによって、通常の画面レート（６０ｆｐｓ）の４倍の２４０ｆｐｓの画面レートを得ることができる。通常の画面レートの１フレームの画素数が例えば６４０万画素とすると、高速撮像モードでは、１６０万画素とされる。。
図３Ａは、この発明を適用できる色フィルタの配列の例を示す。正方格子状の配列を４５°傾けると共に、ＲおよびＢの各フィルタの周囲の全てをＧフィルタで囲んだ構成とされる。この構成によりＲ・Ｂ成分についての人間の視感度特性上、必要十分な空間周波数特性が得られながらも、これらの成分より人間の感度が高いＧ成分の空間周波数特性を従来のベイヤ配列よりも高めることが可能となる。Ｇ成分は、輝度信号を生成する上で主成分となるものであり、これにより無彩色の被写体だけでなく、有彩色の被写体に対する輝度の解像度が高められ画質が向上する。
図３Ａに示すカラーフィルタ配列においては、画面レートが通常の場合、破線で示すように、１水平期間内に隣接する２行の画素を交互に読み出す方法を基本としている。すなわち、通常撮像モードでは、このようにして順に走査して読出しを行う。
高画面レートの場合には、４水平走査線で１本の割合で走査線が間引かれた読み出しがなされる。高画面レートに対応するために、図３Ｂに示すように、隣接する６列の画素の読み出し出力をＣＨ１〜ＣＨ６とした場合に、１列毎に並んだ３列（ＣＨ１，ＣＨ３，ＣＨ５およびＣＨ２，ＣＨ４，ＣＨ６）毎に共通にＡ／Ｄコンバータを配置して、Ａ／Ｄコンバータによって、例えば１サンプルが１４ビットのディジタルデータに変換される。各画素の列毎にＡ／Ｄコンバータを配置するようにしても良い。さらに、図示を省略するが、Ａ／Ｄコンバータと同様にＣＤＳが配置され、高速の読み出しが可能とされている。なお、イメージセンサ１０１としては、他の構成例えば１枚の撮像素子に対して３原色のフィルタが配置された構成も使用できる。さらに、補色フィルタを使用する撮像素子も使用することができる。
撮像装置２００は、変換処理部２０１、前処理回路２０２、カメラ信号処理回路２０３、表示処理回路２０８、記録デバイス制御回路２１０、記録デバイス１１１、表示部１１２、および制御部２１３を備えている。
変換処理部２０１は、イメージセンサ１０１から受け取ったディジタル画像信号に対して、信号の分流と表示間引きを行う。なお、表示間引きは表示処理回路２０８に出力するときのみ行う。ここで表示間引きとは、撮像装置２００が高速撮像モードのときに映し出す表示装置の表示規格で規定されている単位時間あたりのフィールド数（ここでは６０ｆｐｓ）に合うように、フィールドを間引くことである。
前処理回路２０２は、イメージセンサ１０１から出力されたディジタル画像信号に対して、シェーディング補正等の光学的な補正処理を行ってディジタル画像信号を出力する。カメラ信号処理回路２０３は、前処理回路２０２からの画像信号に対して、ホワイトバランス調整処理等のカメラ信号処理（現像処理、絵作り処理等とも称される）を施す。カメラ信号処理回路２０３の出力信号が表示処理回路２０８に対して供給される。
表示処理回路２０８は、カメラ信号処理回路２０３から受け取った画像信号から、表示部１１２に表示するための画像信号を生成して、この信号を表示部１１２に送り、画像が表示される。表示部１１２は、例えばＬＣＤ（Liquid Crystal Display）からなり、撮像中のカメラスルー画像や記録デバイス１１１に記録されたデータを再生した画像などを表示する。なお、表示部１１２を、撮像装置２００の外部に設け、表示部１１２の代わりに外部出力のためのインタフェイスを撮像装置２００に設けておいてもよい。
変換処理部２０１に対して接続された記録デバイス制御回路２１０は、記録デバイス１１１に対する画像データの書き込みおよび読み出しを制御する。記録デバイス１１１に対して蓄積されるデータは、前処理回路２０２およびカメラ信号処理回路２０３の処理を受けていない撮像データであり、この明細書では、ＲＡＷデータと称する。
なお、記録デバイス１１１としては、磁気テープ、フラッシュメモリなどの半導体メモリ、ハードディスクなどを使用できる。記録デバイス１１１としては、基本的には脱着不能なものが使用される。但し、記録デバイス１１１を脱着可能としてＲＡＷデータを外部の取り出すようにしても良い。ＲＡＷデータを外部に取り出す場合、好ましくは、前処理回路２０２で処理されたＲＡＷデータが取り出される。外部の例えばパーソナルコンピュータのソフトウェアによってカメラ信号処理がなされる。
制御部２１３は、例えばＣＰＵ（Central Processing Unit ）、ＲＯＭ（Read Only Memory ）、ＲＡＭ（Random Access Memory）などから構成されるマイクロコンピュータであり、ＲＯＭなどに記憶されたプログラムを実行することにより、撮像装置の各部を統括的に制御する。
変換処理部２０１、前処理回路２０２およびカメラ信号処理回路２０３の一例の構成を図４に示す。イメージセンサ１０１（ＣＤＳ、Ａ／Ｄコンバータを含む）からの撮像データが変換処理部２０１に供給される。変換処理部２０１は、スイッチＳＷ１およびＳＷ２、間引き部２２１およびサイズ調整部２２２とからなる。間引き部２２１が表示間引きを行う。サイズ調整部２２２が表示する画像のサイズを適切なものに変更する。間引き部２２１、または間引き部２２１およびサイズ調整部２２２によって高速撮像時のＲＡＷデータの画面レートが通常レートに下げられる。スイッチＳＷ１およびＳＷ２は、記録時と再生時とで切り換えられるもので、記録時に選択される端子をｒで示し、再生時に選択される端子をｐで示す。
変換処理部２０１のサイズ調整部２２２の出力画像信号が前処理回路２０２のシェーディング補正回路２３１に供給される。シェーディング補正回路２３１は、画面周辺の明るさが暗くなるのを補正する。シェーディング補正回路２３１の出力信号がカメラ信号処理回路２０３に供給される。
カメラ信号処理回路２０３は、一例として、入力側から順に、同時化回路２４１、ホワイトバランス補正部２４２、アパーチャ補正部２４３、ガンマ補正部２４４、ＹＣ生成部２４５を備える構成とされている。但し、カメラ信号処理回路２０３の構成は、図４に示すものに限定されず、例えばこれらの構成要素の順序を変更したり、一部の構成要素を省略することも可能である。
同時化回路２４１は、各色成分について欠落している画素を補間する。同時化回路２４１から３原色信号（Ｒ，Ｇ，Ｂ）が並列的に出力される。同時化回路２４１の出力信号がホワイトバランス補正部２４２に供給される。ホワイトバランス補正部２４２は、被写体の色温度環境の違い、そしてセンサー上の色フィルタによる感度の違いによる各色間のアンバランスが補正される。
ホワイトバランス補正部２４２の出力がアパーチャ補正部２４３に供給される。アパーチャ補正部２４３は、信号変化の大きい部分を取り出して強調する輪郭補正である。アパーチャ補正部２４３の出力信号がガンマ補正部２４４に供給される。
ガンマ補正部２４４は、表示部１１２に対して撮像信号を出力した場合に、階調が正しく再現されるように、入出力特性を補正する。ガンマ補正部２４４の出力信号がＹＣ生成部２４５に供給される。
ＹＣ生成部２４５は、輝度信号（Ｙ）および色差信号（Ｃ）をそれぞれ生成する。輝度信号は、ガンマ補正されたＲＧＢ信号を所定の合成比で合成することによって生成される。色差信号は、ガンマ補正されたＲＧＢ信号を所定の合成比で合成することによって生成される。生成された輝度信号および色差信号が表示処理回路２０８を介して表示部１１２に対して供給される。
図２の撮像装置において、高速撮像モード時には、図４に示すように、変換処理部２０１のスイッチＳＷ１およびＳＷ２が端子ｒ側を選択する状態に制御部２１３によって制御される。図５は、高速撮像モードの信号の流れを示している。図５に示すように、イメージセンサ１０１からの２４０ｆｐｓのＲＡＷデータがスイッチＳＷ１の端子ｒを介して記録デバイス制御回路２１０を介して記録デバイス１１１に対して供給される。ユーザ操作に応じて制御部２１３から高速撮像した画像の記録要求を受け取ると、ＲＡＷデータが記録デバイス１１１に記録される。
また、変換処理部２０１の間引き部２２１によって、ＲＡＷデータが６０ｆｐｓになるように、４分の１間引きがなされる。間引きおよびサイズ変換がなされたＲＡＷデータが前処理回路２０２を介してカメラ信号処理回路２０３に供給される。カメラ信号処理回路２０３でカメラ信号処理がなされた信号が表示処理回路２０８を介して表示部１１２に供給され、撮像中の画像が表示部１１２に表示される。
図２の撮像装置において、再生時には、変換処理部２０１のスイッチＳＷ１およびＳＷ２が端子ｐ側を選択する状態に制御部２１３によって制御される。図６は、再生時の信号の流れを示している。図６に示すように、記録デバイス制御回路２１０の制御によって表示部１１２の表示能力にあわせて低画面レート（たとえば６０ｆｐｓ）でＲＡＷデータが記録デバイス１１１から読み出される。読み出されたＲＡＷデータが記録デバイス制御回路２１０から変換処理部２０１のスイッチＳＷ１、ＳＷ２およびサイズ調整部２２２を介して前処理回路２０２に供給される。
前処理回路２０２の出力信号がカメラ信号処理回路２０３および表示処理回路２０８を介して表示部１１２に供給され、表示部１１２によって再生画像が表示される。例えば画面レートのみが変更されている場合では、再生画像は、時間軸が記録時に比して４倍に拡大されたスローモーション再生画像となる。また、撮像時に撮像条件（露光状態等）を４通りに変えた撮像を行い、再生時に４種類の撮像画像（静止画および動画の何れでも良い）を比較することもできる。さらに、記録デバイス１１１の読み出し時に間引きを行ってコマ送りの再生画像を得ることもできる。
次に、図７を参照してこの発明の第２の実施の形態による撮像装置３００について説明する。撮像装置３００では、変換処理部２０１と記録デバイス制御回路２１０の間に圧縮伸張回路３０１が配されている。圧縮伸張回路３０１は、変換処理部２０１からの高画面レートのＲＡＷデータに対して、例えばＪＰＥＧ（Joint Photographic Experts Group）などの符号化方式で圧縮符号化処理を行う。圧縮符号化データが記録デバイス制御回路２１０の制御によって記録デバイス１１１に書き込まれる。圧縮伸張の符号化方式として、ＪＰＥＧ以外に２進データに対する符号化方式を使用することができる。
図８が記録時の信号の流れを示している。高速撮像モードで得られた高画面レートのＲＡＷデータが圧縮伸張回路３０１で圧縮符号化され、記録デバイス制御回路２１０を介して記録デバイス１１１に記録される。表示部１１２に対しては、第１の実施の形態と同様に、変換処理部２０１によって、通常画面レートに変換され、前処理回路２０２およびカメラ信号処理回路２０３で処理された画像信号が表示される。
図９に示すように、再生時には、記録デバイス１１１から読み出され、記録デバイス制御回路２１０から供給されたＲＡＷデータの符号化データが圧縮伸張回路３０１にて伸張復号化される。伸張復号化されたＲＡＷデータが変換処理部２０１から前処理回路２０２、カメラ信号処理回路２０３、表示処理回路２０８を介して表示部１１２に供給され、再生画像が表示部１１２に表示される。記録デバイス１１１からの読み出しの速度が通常画面レートのＲＡＷデータが読み出されるように設定される。
次に、図１０を参照してこの発明の第３の実施の形態による撮像装置４００について説明する。撮像装置４００では、撮影中のカメラスルー画像を表示部１１２に表示するために、変換処理部２０１の信号の後段に簡易的な前処理回路４０１と簡易的なカメラ信号処理回路４０２を設ける。「簡易的」は、表示部１１２への表示画像生成のみに特化されていることを意味し、表示画像としては、撮像中の被写体を確認する目的を達成できる程度の画質で良い。例えば前処理回路４０１のＡ／Ｄコンバータの出力データのビット数がより少ないものとされる。また、簡易的な前処理回路４０１を省略しても良い。簡易的な構成によって、高速撮像時に画像をモニタしている時の消費電力、発熱を低減できる。
図１１は、撮像装置４００の記録時の信号の流れを示す。高速撮像モードでは、イメージセンサ１０１からの２４０ｆｐｓの画面レートのＲＡＷデータが変換処理部２０１によって６０ｆｐｓの通常画面レートのＲＡＷデータに変換される。通常画面レートのＲＡＷデータが簡易的な前処理回路４０１および簡易的なカメラ信号処理回路４０２とスイッチＳＷ３の端子ｒを介して表示処理回路２０８に供給され、表示部１１２によって表示される。高速撮像モードにおいて、記録指示が与えられると、高画面レートのＲＡＷデータが記録デバイス制御回路２１０を介して記録デバイス１１１に記録される。
図１２に示すように、再生時には、記録デバイス制御回路２１０から記録デバイス１１１から読み出されたＲＡＷデータが前処理回路２０２に供給され、カメラ信号処理回路２０３においてＲＡＷデータが処理され、スイッチＳＷ３の端子ｐおよび表示処理回路２０８を経由して表示部１１２に送られる。前処理回路２０２およびカメラ信号処理回路２０３は、上述した第１および第２の実施の形態におけるものと同様の構成のものであり、撮像時に比して高品質の再生画像が表示部１１２に表示される。
次に、図１３を参照してこの発明の第４の実施の形態による撮像装置５００について説明する。撮像装置５００では、撮影中のカメラスルー画像を表示部１１２に表示するために、変換処理部２０１の信号の後段に簡易的な前処理回路４０１と簡易的なカメラ信号処理回路４０２を有し、上述した第３の実施の形態と同様に、画像をモニタしている時の消費電力、発熱を低減できる。さらに、記録していない期間に、ＲＡＷデータをメモリ５０２から通常画面レートで読み出し、カメラ信号処理を行って記録デバイス５０５に記録することが可能とされている。
この撮像装置５００においては、変換処理部２０１からのＲＡＷデータがメモリ制御回路５０１を介してメモリ５０２に供給される。メモリ制御回路５０１は、メモリ５０２に対する画像データの書き込みおよび読み込みを制御する。メモリ５０２は、メモリ制御回路５０１から受け取った画像データを一時的に保存するＦＩＦＯ（First In First Out）方式のメモリであり、例えば、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などが使用される。メモリ５０２は、前処理回路２０２およびカメラ信号処理回路２０３の処理能力に合わせてバッファリングを行う。
カメラ信号処理回路２０３の出力信号がスイッチＳＷ４の端子ｒに供給される。スイッチＳＷ４の端子ｐがスイッチＳＷ３の端子ｐと共通接続されている。スイッチＳＷ４は、記録デバイス制御回路５０４と接続されている。記録デバイス制御回路５０４に対して記録デバイス５０５が接続されている。
記録デバイス制御回路５０４は、記録デバイス５０５に対するスイッチＳＷ４からの画像データの書き込みおよび読み込みを制御する。記録デバイス５０５に対して蓄積されるデータは、前処理回路２０２およびカメラ信号処理回路２０３の処理を受けた輝度信号および色差信号である。記録デバイス５０５は、磁気テープ、フラッシュメモリなどの半導体メモリ、記録可能な光ディスク、ハードディスクなどを使用できる。記録デバイス５０５としては、基本的には脱着可能なものが適用されるが、脱着不能として、記録したデータを通信インタフェイスを介して外部に出力できるようにしても良い。
図１４は、撮像装置５００の記録時の信号の流れを示す。高速撮像モードでは、イメージセンサ１０１からの２４０ｆｐｓの画面レートのＲＡＷデータが変換処理部２０１によって６０ｆｐｓの通常画面レートのＲＡＷデータに変換される。通常画面レートのＲＡＷデータが簡易的な前処理回路４０１および簡易的なカメラ信号処理回路４０２とスイッチＳＷ３の端子ｒを介して表示処理回路２０８に供給され、表示部１１２によって表示される。高速撮像モードにおいて、記録指示が与えられると、高画面レートのＲＡＷデータがメモリ制御回路５０１を介してメモリ５０２に記録される。
高速撮像モードにおける記録休止期間例えば記録ボタンから手を離している記録スタンバイ状態において、メモリ５０２からＲＡＷデータが読み出され、読み出されたＲＡＷデータが前処理回路２０２およびカメラ信号処理回路２０３で処理され、カメラ信号処理回路２０３の出力信号がスイッチＳＷ４の端子ｒおよび記録デバイス制御回路５０４を介して記録デバイス５０５に記録される。メモリ５０２からＲＡＷデータは、通常画面レートの６０ｆｐｓまたはそれ以下のレートで読み出される。
図１５に示すように、再生時には、記録デバイス５０５から読み出された通常画面レートのＲＡＷデータが記録デバイス制御回路５０４、スイッチＳＷ４の端子ｐおよび表示処理回路２０８を経由して表示部１１２に送られる。表示部１１２によって記録デバイス５０５の再生画像が表示される。かかる撮像装置５００では、前述した実施の形態と比較して再生時にカメラ信号処理を行うことが不要となり、再生時の消費電力を節減できる。
この発明は、上述の実施の形態に限定されるものではなく、この発明の技術的思想に基づく各種の変形が可能である。例えば、第３の実施の形態による撮像装置４００（図１０）における記録デバイス１１１、または第４の実施の形態による撮像装置５００（図１３）におけるメモリ５０２または記録デバイス５０５に格納されるデータを圧縮するようにしても良い。
また、この発明は、カムコーダ、ディジタルスチルカメラに限らず、携帯電話機、ＰＤＡ（Personal Digital Assistants）などの撮像機能を持つ装置に適用可能である。また
、パーソナルコンピュータなどに接続されるテレビ電話用あるいはゲームソフト用などの小型カメラによる撮像信号に対する処理装置や記録装置にも、この発明を適用することができる。
先に提案されている撮像装置の一例のブロック図である。 この発明の第１の実施の形態による撮像装置のブロック図である。 この発明を適用できるイメージセンサの一例の説明に用いる略線図である。 この発明の第１の実施の形態の一部のより詳細な構成を示すブロック図である。 この発明の第１の実施の高速撮像モードにおけるデータフロー図である。 この発明の第１の実施の画像再生時におけるデータフロー図である。 この発明の第２の実施の形態による撮像装置のブロック図である。 この発明の第２の実施の高速撮像モードにおけるデータフロー図である。 この発明の第２の実施の画像再生時におけるデータフロー図である。 この発明の第３の実施の形態による撮像装置のブロック図である。 この発明の第３の実施の高速撮像モードにおけるデータフロー図である。 この発明の第３の実施の画像再生時におけるデータフロー図である。 この発明の第４の実施の形態による撮像装置のブロック図である。 この発明の第４の実施の高速撮像モードにおけるデータフロー図である。 この発明の第４の実施の画像再生時におけるデータフロー図である。
符号の説明
１００，２００、３００，４００，５００・・・撮像装置
１０１・・・イメージセンサ
１０２，２０２・・・前処理回路
１０３，２０３・・・カメラ信号処理回路
１０４，２０１・・・変換処理部
１０５、１０９，３０１・・・圧縮伸張回路
１０６，５０１・・・メモリ制御回路
１０７，５０２・・・メモリ
１０８，２０８・・・表示処理回路
１１１，５０５・・・記録デバイス
１１２・・・表示部
１１３，２１３・・・制御部
４０１・・・簡易前処理回路
４０２・・・簡易カメラ信号処理回路

Claims (8)

  1. 固体撮像素子から得られた第１の画面レートの撮像データを記録媒体に記録し、上記記録媒体から上記第１の画面レートより低い第２の画面レートで撮像データを読み出す記録媒体制御手段と、
    上記固体撮像素子からの上記第１の画面レートの撮像データを上記第２の画面レートの撮像データへ変換する変換手段と、
    上記変換手段または上記記録媒体制御手段からの上記第２の画面レートの撮像データに対しカメラ信号処理を行うカメラ信号処理手段と、
    上記カメラ信号処理手段からの画像信号から表示用の画像信号を生成する表示処理手段と
    を有することを特徴とする撮像装置。
  2. 上記記録媒体に記録される撮像データを圧縮符号化し、上記記録媒体から読み出される撮像データを伸張復号化する圧縮伸張手段をさらに有することを特徴とする請求項１記載の撮像装置。
  3. 固体撮像素子から得られた第１の画面レートの撮像データを記録媒体に記録し、上記記録媒体から上記第１の画面レートより低い第２の画面レートで撮像データを読み出す記録媒体制御手段と、
    上記固体撮像素子からの上記第１の画面レートの撮像データを上記第２の画面レートの撮像データへ変換する変換手段と、
    上記変換手段からの上記第２の画面レートの撮像データに対しカメラ信号処理を行う第１のカメラ信号処理手段と、
    上記記録媒体制御手段からの上記第２の画面レートの撮像データに対しカメラ信号処理を行う第２のカメラ信号処理手段と、
    上記第１および第２のカメラ信号処理手段の一方の出力画像信号から表示用の画像信号を生成する表示処理手段とを有し、
    上記第１のカメラ信号処理手段が上記第２のカメラ信号処理手段に比して簡易な構成とされたことを特徴とする撮像装置。
  4. 固体撮像素子から得られた第１の画面レートの撮像データを第１の記録媒体に記録し、上記第１の記録媒体から上記第１の画面レートより低い第２の画面レートで撮像データを読み出す第１の記録媒体制御手段と、
    上記固体撮像素子からの上記第１の画面レートの撮像データを上記第２の画面レートの撮像データへ変換する変換手段と、
    上記変換手段からの上記第２の画面レートの撮像データに対しカメラ信号処理を行う第１のカメラ信号処理手段と、
    上記第１の記録媒体制御手段からの上記第２の画面レートの撮像データに対しカメラ信号処理を行う第２のカメラ信号処理手段と、
    上記第２のカメラ信号処理手段の出力画像信号を第２の記録媒体に記録し、上記第２の記録媒体から上記第２の画面レートで画像信号を読み出す第２の記録媒体制御手段と、
    上記第１のカメラ信号処理手段の出力画像信号並びに上記第２の記録媒体制御手段の出力画像信号の一方から表示用の画像信号を生成する表示処理手段とを有し、
    上記第１のカメラ信号処理手段が上記第２のカメラ信号処理手段に比して簡易な構成とされたことを特徴とする撮像装置。
  5. 固体撮像素子から得られた第１の画面レートの撮像データを記録媒体に記録し、上記記録媒体から上記第１の画面レートより低い第２の画面レートで撮像データを読み出す記録媒体制御ステップと、
    上記固体撮像素子からの上記第１の画面レートの撮像データを上記第２の画面レートの撮像データへ変換する変換ステップと、
    上記変換ステップまたは上記記録媒体制御ステップからの上記第２の画面レートの撮像データに対しカメラ信号処理を行うカメラ信号処理ステップと、
    上記カメラ信号処理ステップからの画像信号から表示用の画像信号を生成する表示処理ステップと
    を有することを特徴とする撮像方法。
  6. 上記記録媒体に記録される撮像データを圧縮符号化し、上記記録媒体から読み出される撮像データを伸張復号化する圧縮伸張ステップをさらに有することを特徴とする請求項５記載の撮像方法。
  7. 固体撮像素子から得られた第１の画面レートの撮像データを記録媒体に記録し、上記記録媒体から上記第１の画面レートより低い第２の画面レートで撮像データを読み出す記録媒体制御ステップと、
    上記固体撮像素子からの上記第１の画面レートの撮像データを上記第２の画面レートの撮像データへ変換する変換ステップと、
    上記変換ステップからの上記第２の画面レートの撮像データに対しカメラ信号処理を行う第１のカメラ信号処理ステップと、
    上記記録媒体制御ステップからの上記第２の画面レートの撮像データに対しカメラ信号処理を行う第２のカメラ信号処理ステップと、
    上記第１および第２のカメラ信号処理ステップの一方の出力画像信号から表示用の画像信号を生成する表示処理ステップとを有し、
    上記第１のカメラ信号処理ステップが上記第２のカメラ信号処理ステップに比して簡易な構成とされたことを特徴とする撮像方法。
  8. 固体撮像素子から得られた第１の画面レートの撮像データを第１の記録媒体に記録し、上記第１の記録媒体から上記第１の画面レートより低い第２の画面レートで撮像データを読み出す第１の記録媒体制御ステップと、
    上記固体撮像素子からの上記第１の画面レートの撮像データを上記第２の画面レートの撮像データへ変換する変換ステップと、
    上記変換ステップからの上記第２の画面レートの撮像データに対しカメラ信号処理を行う第１のカメラ信号処理ステップと、
    上記第１の記録媒体制御ステップからの上記第２の画面レートの撮像データに対しカメラ信号処理を行う第２のカメラ信号処理ステップと、
    上記第２のカメラ信号処理ステップの出力画像信号を第２の記録媒体に記録し、上記第２の記録媒体から上記第２の画面レートで画像信号を読み出す第２の記録媒体制御ステップと、
    上記第１のカメラ信号処理ステップの出力画像信号並びに上記第２の記録媒体制御ステップの出力画像信号の一方から表示用の画像信号を生成する表示処理ステップとを有し、
    上記第１のカメラ信号処理ステップが上記第２のカメラ信号処理ステップに比して簡易な構成とされたことを特徴とする撮像方法。
JP2006293836A 2006-10-30 2006-10-30 撮像装置および撮像方法 Active JP4680166B2 (ja)

Priority Applications (18)

Application Number Priority Date Filing Date Title
JP2006293836A JP4680166B2 (ja) 2006-10-30 2006-10-30 撮像装置および撮像方法
KR1020097008900A KR101395433B1 (ko) 2006-10-30 2007-10-12 촬상 장치 및 촬상 방법
US12/447,480 US8849090B2 (en) 2006-10-30 2007-10-12 High speed image capturing apparatus and method
EP11181543A EP2398228A1 (en) 2006-10-30 2007-10-12 High speed image capturing apparatus and method
CN2007800405383A CN101536491B (zh) 2006-10-30 2007-10-12 图像捕捉装置和图像捕捉方法
EP07830123.1A EP2169947B1 (en) 2006-10-30 2007-10-12 Imaging device and imaging method
PCT/JP2007/070389 WO2008053716A1 (en) 2006-10-30 2007-10-12 Imaging device and imaging method
US14/462,615 US9025929B2 (en) 2006-10-30 2014-08-19 Image capturing apparatus and image capturing method
US14/662,291 US20150201126A1 (en) 2006-10-30 2015-03-19 Image capturing apparatus and image capturing method
US15/001,442 US9661291B2 (en) 2006-10-30 2016-01-20 Image capturing apparatus and image capturing method
US15/266,287 US9538153B1 (en) 2006-10-30 2016-09-15 Image capturing apparatus and image capturing method
US15/581,208 US9866811B2 (en) 2006-10-30 2017-04-28 Image capturing apparatus and image capturing method
US15/855,060 US10313648B2 (en) 2006-10-30 2017-12-27 Image capturing apparatus and image capturing method
US16/391,771 US10708563B2 (en) 2006-10-30 2019-04-23 Image capturing apparatus and image capturing method
US16/888,224 US10986323B2 (en) 2006-10-30 2020-05-29 Image capturing apparatus and image capturing method
US17/203,471 US11388380B2 (en) 2006-10-30 2021-03-16 Image capturing apparatus and image capturing method
US17/746,810 US11750937B2 (en) 2006-10-30 2022-05-17 Image capturing apparatus and image capturing method
US18/350,928 US20230353887A1 (en) 2006-10-30 2023-07-12 Image capturing apparatus and image capturing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006293836A JP4680166B2 (ja) 2006-10-30 2006-10-30 撮像装置および撮像方法

Publications (2)

Publication Number Publication Date
JP2008113126A true JP2008113126A (ja) 2008-05-15
JP4680166B2 JP4680166B2 (ja) 2011-05-11

Family

ID=39344059

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006293836A Active JP4680166B2 (ja) 2006-10-30 2006-10-30 撮像装置および撮像方法

Country Status (6)

Country Link
US (12) US8849090B2 (ja)
EP (2) EP2169947B1 (ja)
JP (1) JP4680166B2 (ja)
KR (1) KR101395433B1 (ja)
CN (1) CN101536491B (ja)
WO (1) WO2008053716A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5793716B2 (ja) * 2010-05-28 2015-10-14 パナソニックＩｐマネジメント株式会社 撮像装置
JP2016082309A (ja) * 2014-10-10 2016-05-16 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法、コンピュータプログラム

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4680166B2 (ja) * 2006-10-30 2011-05-11 ソニー株式会社 撮像装置および撮像方法
CN101689357B (zh) 2007-04-11 2015-03-04 Red.Com公司 摄像机
US8237830B2 (en) 2007-04-11 2012-08-07 Red.Com, Inc. Video camera
KR101714050B1 (ko) 2010-11-01 2017-03-08 삼성전자주식회사 휴대단말기의 데이터 표시장치 및 방법
EP2716039A4 (en) * 2011-05-27 2014-11-05 Looxcie Inc SCALABLE AUDIOVISUAL STREAMING METHOD AND DEVICE THEREFOR
US8970718B2 (en) 2012-07-12 2015-03-03 Gopro, Inc. Image capture accelerator
JP2016508700A (ja) 2013-02-14 2016-03-22 レッド．コム，インコーポレイテッド ビデオカメラ
EP2974265B1 (en) * 2013-03-15 2019-02-13 Canon Kabushiki Kaisha Imaging apparatus and imaging apparatus control method
JP2015053644A (ja) * 2013-09-09 2015-03-19 オリンパス株式会社 撮像装置
US8879858B1 (en) 2013-10-01 2014-11-04 Gopro, Inc. Multi-channel bit packing engine
WO2016038808A1 (en) * 2014-09-12 2016-03-17 Canon Kabushiki Kaisha Image processing apparatus and image processing method
WO2016139971A1 (ja) * 2015-03-03 2016-09-09 ソニー株式会社 信号処理装置、信号処理システム、信号処理方法、および、プログラム
US9591254B2 (en) * 2015-03-26 2017-03-07 Qualcomm Incorporated Device and method for processing video data
US10863131B2 (en) * 2015-05-20 2020-12-08 Samsung Electronics Co., Ltd. Image sensor including parallel output of pixel signals from a pixel unit and image processing system including the same
DE102016109179B4 (de) * 2015-05-29 2023-08-03 Canon Kabushiki Kaisha Bildaufnahmeeinrichtung und Bildgebungsvorrichtung
CN107710757B (zh) * 2015-06-04 2021-08-10 英特尔公司 用于缓慢运动视频记录的自适应批量编码
CN105323556B (zh) * 2015-11-11 2019-05-17 深圳市阿格斯科技有限公司 监控摄像机影像多通道传送方法及装置
US10846142B2 (en) 2016-02-23 2020-11-24 Intel Corporation Graphics processor workload acceleration using a command template for batch usage scenarios
KR102664014B1 (ko) 2016-12-23 2024-05-09 삼성전자주식회사 이미지를 촬영하는 센서 및 그 제어 방법
KR102620350B1 (ko) 2017-07-05 2024-01-02 레드.컴, 엘엘씨 전자 디바이스에서의 비디오 이미지 데이터 처리
US11533450B2 (en) 2017-09-25 2022-12-20 Comcast Cable Communications, Llc Anti-piracy video transmission and display
KR102499033B1 (ko) * 2018-01-31 2023-02-13 삼성전자주식회사 스택형 이미지 센서 및 스택형 이미지 센서를 포함하는 전자 장치
KR102449185B1 (ko) 2018-02-14 2022-09-29 삼성전자주식회사 피사체와 기준 영역 사이간의 거리에 따라 변경된 프레임 레이트로 획득된 이미지 데이터를 이용하여 선택적으로 동영상을 생성하는 전자 장치 및 그의 운용 방법
KR102531128B1 (ko) 2018-02-23 2023-05-10 삼성전자주식회사 카메라를 이용하여 복수의 프레임 레이트에 따라 영상을 촬영하는 전자 장치 및 그 작동 방법
CN108600668B (zh) * 2018-03-27 2020-09-29 维沃移动通信有限公司 一种录屏帧率调整方法及移动终端
JP2019184725A (ja) * 2018-04-05 2019-10-24 シャープ株式会社 表示装置
RU2716005C2 (ru) * 2018-06-29 2020-03-05 Закрытое акционерное общество "МНИТИ" (ЗАО "МНИТИ") Способ видеосопровождения с улучшенными динамическими характеристиками и устройство для его осуществления

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4496995A (en) * 1982-03-29 1985-01-29 Eastman Kodak Company Down converting a high frame rate signal to a standard TV frame rate signal by skipping preselected video information
US5557424A (en) * 1988-08-26 1996-09-17 Panizza; Janis M. Process for producing works of art on videocassette by computerized system of audiovisual correlation
JPH03154487A (ja) 1989-11-10 1991-07-02 Konica Corp ディジタルスチルビデオカメラ
US5196938A (en) * 1989-11-20 1993-03-23 Eastman Kodak Company Solid state fast frame recorder having independently selectable frame rate and exposure
US5442718A (en) 1992-09-07 1995-08-15 Sony Corporation Apparatus and method for storing and reproducing digital image data yielding high resolution and high quality video image data
US5856845A (en) 1993-01-28 1999-01-05 Sanyo Electric Co., Ltd. Imaging device for recording and reproducing slow motion pictures
USRE43462E1 (en) * 1993-04-21 2012-06-12 Kinya (Ken) Washino Video monitoring and conferencing system
JP3764493B2 (ja) 1993-09-20 2006-04-05 ソニー株式会社 電子スチルカメラ及び画像データ処理方法
US5640202A (en) 1994-04-26 1997-06-17 Canon Kabushiki Kaisha Imaging system which changes the frame rate of the image signal
JP3129599B2 (ja) 1994-04-26 2001-01-31 キヤノン株式会社 動画撮像システム
JPH0888833A (ja) 1994-09-19 1996-04-02 Fuotoron:Kk 変換装置および逆変換装置ならびにこれらを具備したスローモーション表示装置
JP3707820B2 (ja) 1995-03-07 2005-10-19 株式会社フォトロン 高速撮影装置
US5625412A (en) 1995-07-13 1997-04-29 Vision Research High-frame rate image acquisition and motion analysis system
US5568192A (en) 1995-08-30 1996-10-22 Intel Corporation Method and apparatus for processing digital video camera signals
JPH09224221A (ja) 1996-02-19 1997-08-26 Sanyo Electric Co Ltd スロー再生装置
JP4281161B2 (ja) 1999-07-28 2009-06-17 株式会社ニコン 電子カメラ
JP2000050205A (ja) 1998-07-24 2000-02-18 Sony Corp 撮像システム
JP2001036848A (ja) 1999-07-15 2001-02-09 Victor Co Of Japan Ltd カムコーダ
JP4326637B2 (ja) 1999-09-30 2009-09-09 独立行政法人理化学研究所 高速ビデオカメラ
JP2001112012A (ja) 1999-10-06 2001-04-20 Sony Corp 撮像信号処理装置、撮像信号処理方法、データ復号装置、及び撮像装置
JP4323685B2 (ja) 2000-06-09 2009-09-02 キヤノン株式会社 再生装置及び再生方法
DE10033751B4 (de) * 2000-07-12 2004-09-16 Lenz, Reimar, Dr. Digitale, hochauflösende Kinofilm-Kamera
DE10043961C2 (de) * 2000-09-06 2003-03-27 Fraunhofer Ges Forschung Kombinierte Standard-Video- und High-Speed-Kamera
JP2002320203A (ja) 2001-04-19 2002-10-31 Matsushita Electric Ind Co Ltd 映像信号記録装置および映像信号再生装置
JP3924755B2 (ja) 2001-09-13 2007-06-06 本田技研工業株式会社 高速事象撮影装置
US6907345B2 (en) * 2002-03-22 2005-06-14 Maptech, Inc. Multi-scale view navigation system, method and medium embodying the same
JP4277688B2 (ja) 2002-04-04 2009-06-10 ソニー株式会社 撮像画像記録システムおよび信号記録装置と信号記録方法
JP2003324644A (ja) 2002-05-07 2003-11-14 Canon Inc 映像信号処理装置、画像表示制御方法、記憶媒体、及びプログラム
JP2003348429A (ja) 2002-05-27 2003-12-05 Nikon Corp 電子カメラ、および画像処理プログラム
JP2004120384A (ja) 2002-09-26 2004-04-15 Photron Ltd 高速度撮像装置及び撮像速度の変更方法
US7557838B2 (en) 2002-11-15 2009-07-07 Sony Corporation Imaging method and imaging apparatus
EP1420407B1 (en) 2002-11-15 2012-01-04 Sony Corporation Method and apparatus for controlling editing image display
JP4222869B2 (ja) 2002-12-10 2009-02-12 株式会社ソニー・コンピュータエンタテインメント 画像再生装置
JP3818260B2 (ja) 2003-01-15 2006-09-06 松下電器産業株式会社 高速撮像信号記録装置
US7259734B2 (en) * 2003-02-13 2007-08-21 Jae-Jin Lim Multi-scanning control process and LED displaying device
JP3720812B2 (ja) 2003-02-24 2005-11-30 松下電器産業株式会社 テレビジョンカメラ
JP2005006198A (ja) 2003-06-13 2005-01-06 Canon Inc 撮像装置、その制御方法、プログラム及び記録媒体
JP3729189B2 (ja) 2003-07-18 2005-12-21 ソニー株式会社 撮像装置
JP4007276B2 (ja) * 2003-07-18 2007-11-14 ソニー株式会社 撮像装置とその制御装置
JP3800207B2 (ja) 2003-07-18 2006-07-26 ソニー株式会社 撮像装置
JP4518757B2 (ja) 2003-07-18 2010-08-04 ソニー株式会社 撮像装置
JP3731589B2 (ja) * 2003-07-18 2006-01-05 ソニー株式会社 撮像装置と同期信号発生装置
KR101081000B1 (ko) * 2003-10-23 2011-11-09 소니 가부시키가이샤 화상 처리 장치 및 화상 처리 방법과 기록 매체
JP4140518B2 (ja) * 2003-12-15 2008-08-27 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP2005241787A (ja) * 2004-02-25 2005-09-08 Victor Co Of Japan Ltd 画像表示装置
JP2005295423A (ja) * 2004-04-05 2005-10-20 Matsushita Electric Ind Co Ltd 撮像装置
KR100457325B1 (ko) 2004-07-09 2004-11-17 엔에이치엔(주) 메세지 송수신 및 게시 시스템 및 송수신 및 게시 방법
JP2006094145A (ja) 2004-09-24 2006-04-06 Casio Comput Co Ltd 撮影装置及びそのプログラム
JP2006121479A (ja) 2004-10-22 2006-05-11 Sony Corp 信号処理装置およびその方法
JP4569275B2 (ja) 2004-11-25 2010-10-27 ソニー株式会社 撮像装置と撮像方法
JP4424174B2 (ja) 2004-11-25 2010-03-03 ソニー株式会社 撮像装置と撮像方法
US7941029B2 (en) 2004-12-24 2011-05-10 Panasonic Corporation Moving-image shooting device, method of shooting moving-image, recording medium in which video signals are recorded by the same shooting device, moving-image reproducing device for reproducing the video signals recorded in the same medium, and method of reproducing the moving-image
JP2006180315A (ja) 2004-12-24 2006-07-06 Matsushita Electric Ind Co Ltd 動画撮影装置、動画再生装置および動画撮影方法、動画再生方法
JP4481842B2 (ja) * 2005-01-24 2010-06-16 キヤノン株式会社 撮像装置及びその制御方法
JP4306638B2 (ja) 2005-04-14 2009-08-05 ソニー株式会社 画像処理システム，撮像装置，撮像方法，画像再生装置および画像再生方法
JP4282645B2 (ja) * 2005-08-31 2009-06-24 株式会社東芝 撮像装置
US7831137B2 (en) * 2006-03-28 2010-11-09 Nikon Corporation Image apparatus with selective image compensation
JP4680166B2 (ja) 2006-10-30 2011-05-11 ソニー株式会社 撮像装置および撮像方法
JP4958807B2 (ja) * 2008-01-24 2012-06-20 株式会社キーエンス 画像処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5793716B2 (ja) * 2010-05-28 2015-10-14 パナソニックＩｐマネジメント株式会社 撮像装置
JP2016082309A (ja) * 2014-10-10 2016-05-16 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法、コンピュータプログラム

Also Published As

Publication number Publication date
US20190281268A1 (en) 2019-09-12
US9538153B1 (en) 2017-01-03
EP2169947A4 (en) 2011-04-06
US10708563B2 (en) 2020-07-07
US10313648B2 (en) 2019-06-04
EP2398228A1 (en) 2011-12-21
US20230353887A1 (en) 2023-11-02
US20220279154A1 (en) 2022-09-01
US10986323B2 (en) 2021-04-20
US20100061707A1 (en) 2010-03-11
US11750937B2 (en) 2023-09-05
EP2169947B1 (en) 2013-12-25
US9025929B2 (en) 2015-05-05
US11388380B2 (en) 2022-07-12
KR101395433B1 (ko) 2014-05-14
US20170230629A1 (en) 2017-08-10
US8849090B2 (en) 2014-09-30
EP2169947A1 (en) 2010-03-31
US20150201126A1 (en) 2015-07-16
US20160142694A1 (en) 2016-05-19
WO2008053716A1 (en) 2008-05-08
US9661291B2 (en) 2017-05-23
US20200296342A1 (en) 2020-09-17
US9866811B2 (en) 2018-01-09
CN101536491B (zh) 2012-11-28
US20210203902A1 (en) 2021-07-01
US20140355948A1 (en) 2014-12-04
US20180124369A1 (en) 2018-05-03
KR20090074067A (ko) 2009-07-03
US20170019650A1 (en) 2017-01-19
JP4680166B2 (ja) 2011-05-11
CN101536491A (zh) 2009-09-16

Similar Documents

Publication Publication Date Title
JP4680166B2 (ja) 撮像装置および撮像方法
JP4725183B2 (ja) 撮像装置、および方法
JP3822380B2 (ja) 画像信号処理装置
US8094991B2 (en) Methods and apparatus for recording and reproducing a moving image, and a recording medium in which program for executing the methods is recorded
JP2008124671A (ja) 撮像装置および撮像方法
JP5141324B2 (ja) 撮像装置および撮像装置の制御方法、ならびに、信号処理装置および信号処理方法
US20090153704A1 (en) Recording and reproduction apparatus and methods, and a storage medium having recorded thereon computer program to perform the methods
US8379093B2 (en) Recording and reproduction apparatus and methods, and a recording medium storing a computer program for executing the methods
KR101480404B1 (ko) 기록 장치, 재생 장치, 기록 방법, 재생 방법 및 이를수행하는 컴퓨터 프로그램을 기록한 저장매체
JP5131954B2 (ja) ビデオレコーダ並びにカメラシステム
US20100149375A1 (en) Apparatus and method for faster recording and reproduction of digital video images
KR20080041857A (ko) 해상도가 다른 영상을 저장하는 촬영장치
JP2004282444A (ja) 画像処理装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081016

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090126

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090204

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20090227

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110202

R150 Certificate of patent or registration of utility model

Ref document number: 4680166

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140210

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250