JP2010504014A - 改良された画像品質を伴う画像システム及び関連する方法 - Google Patents

改良された画像品質を伴う画像システム及び関連する方法 Download PDF

Info

Publication number
JP2010504014A
JP2010504014A JP2009527927A JP2009527927A JP2010504014A JP 2010504014 A JP2010504014 A JP 2010504014A JP 2009527927 A JP2009527927 A JP 2009527927A JP 2009527927 A JP2009527927 A JP 2009527927A JP 2010504014 A JP2010504014 A JP 2010504014A
Authority
JP
Japan
Prior art keywords
image
capture device
sensing pixels
image capture
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009527927A
Other languages
English (en)
Other versions
JP5247702B2 (ja
Inventor
ガル・シャブテイ
エフライム・ゴールデンバーグ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tessera Technologies Hungary Kft
Original Assignee
Tessera Technologies Hungary Kft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tessera Technologies Hungary Kft filed Critical Tessera Technologies Hungary Kft
Publication of JP2010504014A publication Critical patent/JP2010504014A/ja
Application granted granted Critical
Publication of JP5247702B2 publication Critical patent/JP5247702B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/001Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0015Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design
    • G02B13/002Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design having at least one aspherical surface
    • G02B13/0035Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design having at least one aspherical surface having three lenses
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/001Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0015Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design
    • G02B13/002Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design having at least one aspherical surface
    • G02B13/004Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design having at least one aspherical surface having four lenses
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/001Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/009Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras having zoom function
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/06Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe involving anamorphosis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Lenses (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

画像キャプチャデバイスは、複数の検知ピクセルを含む検出器と、視野内の対象の歪んだ画像を上記検知ピクセル上へ投射するように調整された光学システムとを含んでよく、上記光学システムは、上記視野の中心で上記画像を拡張し上記視野の周辺で上記画像を圧縮し、上記画像キャプチャデバイスの最小限の分解能での最大限ズーム倍率、式1(Z^)を実現するのに要求される第1の数の検知ピクセルが、上記最大限ズーム倍率の平方倍の、上記最小限の分解能に対して要求される第2の数の検知ピクセルよりも、少ない。

Description

実施形態は、画像化システムに関し、特に、改良された映像品質を有する画像化システム及び関連する方法に関する。
近年、カメラ、携帯電話、ウエブカメラ及びノートパソコンなどの、携帯及び非携帯デバイスで、画像キャプチャデバイスが広く利用されてきている。これらの画像キャプチャデバイスは従来、CCD即ちCMOSセンサーなどの電子画像検出器、視界(FOV)内の対象を上記検出器上に投影するレンズシステム、及び、上記検出器により与えられる電子データを受け取り処理し格納する電子回路を含む。分解能及び光学ズームは、その画像キャプチャデバイスに関する2つの重要なパフォーマンスキャラクタである。
画像キャプチャデバイスの分解能は、画像キャプチャデバイスが対象平面の2つの点光源を区別できる、これら点光源の備え得る最小限距離である。回折及び収差により、個々の光学システムは点光源を点としてではなく、所定の幅を有し所与の光強度分布を備える円盤として投射する、という事実に、分解能は依存するのである。点光源に対する光学システムのレスポンスは、点広がり関数(PSF)として知られる。画像キャプチャデバイスの全体の分解能は、光学投射システムの光学分解能と、検出器の分解能との、小さい方に主として依存する。
本明細書では、光学投射システムの光学分解能は、そのPSHの半値全幅(FWHM)として定義される。換言すれば、2つの点光源の投射の光強度分布のピーク値は、画像キャプチャデバイスがその2つの点光源を区別できるように、少なくともPSFのFWHMだけ隔てられねばならない。しかしながら、分解能は、PSFに依存する別の値として、例えば、半値における幅の70%としても、定義されている。光学分解能のこの定義は、検出器の感度及び検出器から受ける信号の評価に依存する。
検出器の分解能は、本明細書では、ピッチとして、即ち、検出器の2つの隣接するセンサピクセルの中心から中心の距離として、定義される。
光学ズームは、非ズーム画像と比べてより良い分解能で元の画像の視野(FOV)の一部をキャプチャできる画像キャプチャデバイスの能力を示す。本明細書では、従来の画像キャプチャデバイスでは、全体の分解能は検出器の分解能により通常限定される、即ち、PSF(点広がり関数)のFWHM(半値全幅)は2つの隣接するセンサピクセルの間の距離よりも小さくなり得る、と考えている。
従って、画像キャプチャデバイスの分解能は、部分的視野(FOV)を選択しこの部分的視野のために光学投射システムの倍率を増大することで、増加しうる。例えば、×2の光学ズームは、画像検出器の全てのセンサピクセルが、×1のズームと比較して、個々の寸法で画像の半分をキャプチャするという状況を示す。
デジタル静止カメラ(DSC)は通常、全体の光学システムに対し様々な焦点距離を生成するために、相互に機械的にシフトするレンズエレメントの複数のグループを使用する。カメラが内部に組み込まれた最も一般的な多目的デバイス、例えば、携帯電話、ノートブックコンピュータ、ウエブカメラなどでは、光学システムは固定焦点システムである、即ち、動く部品がない。つまり、システムの焦点距離を動的に変更することは不可能である。カメラ付き携帯電話に備わる最も広く知られたズームの解決策は、“デジタルズーム”、即ち、画像をより小さいサイズにトリミングしトリミングされた画像を元のサイズに補間するのであるが、欠落した情報は様々に揃えられるという、解決策である。この解決策は、より長い焦点距離の効果をエミュレートするに過ぎず、当然、画像に新たな情報を付加しない。
よって、デジタルズームを利用すると、光学ズームシステムと比べて、ズームイン画像の詳細が明らかに損失することがある。本明細書で用いているように、“デジタルズーム”は情報の追加が実際に為されない信号補間を示し、一方“光学ズーム”はより多くの情報を与えより良い分解能を与える、投射された部分的画像の拡大を示す。
ハイエンドデバイスでは、DSC(デジタル静止カメラ)内のズームメカニズムと同様な機械的ズームメカニズムが利用され得る。これらのシステムは、通常、圧電プレートによる小型モータを組み込むが、この圧電プレートにより(光学軸に沿って)Z方向にレンズが移動しこれにより様々な焦点距離を作成することが可能になる。そのようなモータは直径3mm程であり長さ15mm以上である。更に、大量生産のための予想原価は、固定焦点レンズモジュールと比べて非常に高い。また、機械的ズームの解決策は良質の画像を提供するが、動作する部品が存在するため結局、非常に傷つきやすくなり物理的損傷や目減りに繋がってしまう。
光学ズームを成就するための別の技術は、液体ズームレンズである。そこでは、レンズ内部の液体に圧力若しくは静電力が加えられると、レンズの焦点距離が変化する。しかしながら、液体ズームレンズ技術には、周知の複数の問題がある。例えば、ズームを達成するためにレンズの焦点距離を変更すると、焦点にも影響してしまう、即ち、少なくとも2つのレンズ(ズームのためのものと、焦点矯正のためのもの)のシステムが要求される。従って、連続するズームを可能にするコントロールメカニズムを実装することは困難である。液体レンズは、糸巻形ひずみと色収差の問題も抱えることが知られている。更に、全体のシステムは、低耐久性であり機械的疲労により徐々にパフォーマンスを劣化する、という特徴がある。
従って、実施形態は、従来技術の限界及び欠点による一つ若しくはそれ以上の問題点を実質的に克服する、デジタルカメラ及び関連する方法に関する。
固定焦点レンズを用いる、即ち、機械的移動メカニズムの無い、光学ズームを有する画像システムを設けることが、実施形態の特徴である。
画像センサーにおいて様々な分解能を有する、例えば、画像の周辺で減少した分解能を有し、若しくはより大きいピクセルセンサー領域を有する、画像システムを設けることが、本発明の実施形態の別の特徴である。
後で掛けられる歪みをデジタル的に修正することで、光学ズームを実現する画像システムを設けることが、実施形態の更に別の特徴である。
本発明の上記の及び他の特徴及び利点の少なくとも一つは、画像キャプチャデバイスを設けることで実現可能である。該画像キャプチャデバイスは、
複数の検知ピクセルを含む検出器と、
視野内の対象の歪んだ画像を上記検知ピクセル上へ投射するように調整された光学システムと
を含み、
上記光学システムは、上記視野の中心で上記画像を拡張し上記視野の周辺で上記画像を圧縮し、上記画像キャプチャデバイスの最小限の分解能での最大限ズーム倍率Z^を実現するのに要求される第1の数の検知ピクセルが、上記最大限ズーム倍率の平方倍の、上記最小限の分解能に対して要求される第2の数の検知ピクセルよりも、少ない
ことを特徴とする。
上記第1の数の検知ピクセルが、上記第2の数の検知ピクセル倍の、2ln(Z^)+1より少ない、若しくは等しく、Z^は上記最大限のズーム倍率であってもよい。上記第1の数の検知ピクセルが、約1.75倍の上記第2の数の検知ピクセルに等しくてもよい。
上記視野の周辺内の点広がり関数が、検知ピクセルのサイズの、実質的に半値全幅を有するように、上記光学システムが調整されていてもよい。上記視野の中心における光学倍率が、上記視野の周辺における光学倍率の2倍よりも大きいように、上記光学システムが調整されていてもよい。
上記光学システムが、直交方向に分離可能な歪んだ画像を与えるように調整されていてもよい。上記光学システムが、放射状に対称である歪んだ画像を与えるように調整されていてもよい。上記画像キャプチャデバイスが、更に、上記検出器から出力される電子情報を処理するように設けられたプロセッサを含んでもよい。上記第1の数の検知ピクセルが、上記検出器において等しいピッチを有してもよい。
上記光学システムは、複数のレンズを含む。上記複数のレンズの全てがプラスチックであってもよい。上記複数のレンズの各々が固定焦点レンズであってもよい、即ち、移動するレンズが無くてもよい。
上記の及び他の特徴の少なくとも一つは、固定焦点レンズシステムにズームを設ける方法によって実現可能である。該方法は、
視野の中心に拡張された画像を受けるステップと、
上記視野の周辺に圧縮された画像を受けるステップと、
最小限の分解能での最大限ズーム倍率を実現するのに要求される第1の数の検知ピクセルを処理するステップと
を含み、
上記第1の数の検知ピクセルが、上記最大限ズーム倍率の平方倍の、上記最小限の分解能に対して要求される第2の数の検知ピクセルよりも、少ない
ことを特徴とする。
上記第1の数の検知ピクセルが、上記第2の数の検知ピクセル倍の、2ln(Z^)+1より少ない、若しくは等しく、Z^は上記最大限のズーム倍率であってもよい。上記第1の数の検知ピクセルが、約1.75倍の上記第2の数の検知ピクセルに等しくてもよい。
上記の及び他の特徴の少なくとも一つは、画像キャプチャデバイスを生成する方法によって実現可能である。該方法は、
視野内部の対象の歪んだ画像を投射するように調整された光学システムを作成するステップであって、上記光学システムは上記視野の中心では上記画像を拡張し上記視野の周辺では上記画像を圧縮する、ステップと、
上記光学システムに近接して検出器を設けるステップであって、上記検出器は出力される画像の第2の分解能よりも高い第1の分解能を有する、ステップと、
上記検出器から出力される信号を処理して、連続するズームの範囲に渡って上記第1の分解能の上記画像を与えるステップと
を含む。
上記連続するズームの範囲が、×1から×3までであってもよい。上記第1の分解能が、第1の数の検知ピクセルに対応し、上記第2の分解能が、第2の数の検知ピクセルに対応し、Z^が最大限のズーム倍率であり、上記検出器内の上記第1の数の検知ピクセルが、Z^の2乗倍の、上記第2の数の検知ピクセルより少ない。
添付の図面を参照して詳細な例示の形態を説明することにより、上記及び他の特徴と利点が当業者には即座に明白になる。
夫々、矩形パターンと、X及びY座標で分離可能な歪みを有する歪み矩形パターンとを示す。 夫々、矩形パターンと、X及びY座標で分離可能な歪みを有する歪み矩形パターンとを示す。 夫々、円形対称パターンと歪み円形パターンとの例を示す。 夫々、円形対称パターンと歪み円形パターンとの例を示す。 対象と、実施形態に係る様々なズームレベルのための対応する表示された画像とを示す。 対象と、実施形態に係る様々なズームレベルのための対応する表示された画像とを示す。 対象と、実施形態に係る様々なズームレベルのための対応する表示された画像とを示す。 対象と、実施形態に係る様々なズームレベルのための対応する表示された画像とを示す。 実施形態に係る光学設計の例を示す。 図4Aの光学設計を利用して生成されたグリッド歪みを示す。 図4Aの光学設計のフィールド湾曲を示す。 図4Aの光学設計の歪みを示す。 実施形態に係る、図4Aの画像プロセッサの動作のフローチャートを示す。 実施形態に係るデジタルカメラの分解図を示す。 実施形態に係る、本明細書で統合されるデジタルカメラを伴うポータブルコンピュータの斜視図を示す。 実施形態に係る、本明細書で統合されるデジタルカメラを伴う携帯電話の正面図及び側面図を示す。
2006年9月15日出願の“DIGITAL CAMERA WITH IMPROVED IMAGE QUALITY”という発明名称の、米国仮出願第60/825726号は全体として参照の上本明細書に組み込まれる。
添付の図面を参照しつつ、以下本明細書では実施形態をより十分に記載する。しかしながら、実施形態は様々に具現され得るのであり、本明細書に示す形態に限定されるように構成されるものではない。むしろ、これら実施形態は、ここでの開示が徹底的且つ完全なものとなり、当業者に実施形態を示唆するように、与えられる。図面では、実例の明確さのために層や領域の寸法が誇張されている。全体として同一の参照番号は同一の要素を示す。
実施形態によると、光学ズームは、歪み訂正のための後処理を結合された固定焦点レンズを用いて実現され得る。検出器で利用される多数のピクセルは、ズーム能力をサポートするのに望まれる名目上の分解能を超えて、増加し得る。まず、ズームを実現するために歪みを利用することに関する概念の初期導入を、簡単に説明する。
同一出願人による、同時係属出願であるPCT出願番号EP2006−002864号は、参照の上本明細書に組み込まれるのであるが、検出表面を有する電子画像検出器を含む画像キャプチャデバイス、視野(FOV)内の対象を検出表面上に投射する光学投射システム、及び、上記画像検出器から得られる電子情報を処理する演算器を、開示する。標準的なレンズシステムと比べると、投射される画像がFOVの中央領域では拡張されFOVの周辺領域では圧縮されるように、投射システムは対象を投射して歪める。
本明細書で開示するように、投射システムは、視野(FOV)の周辺領域内の点広がり関数(PSF)が画像検出器の対応するピクセルのサイズに本質的に対応するFWHM(半値全幅)を有するように、適合され得る。換言すれば、この投射システムは、視野(FOV)の中心の分解能が広角入射角における分解能、即ちFOVの周辺の分解能よりも良好である、という事実を利用し得る。これは、レンズの点広がり関数(PSF)は視野(FOV)の中心に比べて視野(FOV)周辺でより広い、という事実による。
軸上と周辺視野(FOV)との間の分解能の差は、約30%と50%の間である。このことは、画像中心に比べると、画像周辺の観察可能な分解能を実効的に限定する。
よって、投射システムは、視野(FOV)の周辺と比べて、視野(FOV)の中心でより高倍率係数を有する固定焦点光学系を含み得る。換言すれば、レンズの有効焦点距離(EFL)は、EFLが画像中心でより長く画像周辺でより短いような、入射角の関数である。そのような投射システムは歪んだ画像を投射し、該歪んだ画像では中心部分では拡張され周辺では圧縮される。画像周辺における拡大係数がより小さいので、画像周辺の点広がり関数(PSF)もより小さくなり、例えば、スクエアの4つのピクセルの代わりの一つのピクセルというように、センサー上でより少ないピクセルで広がる。よって、これらの領域をオーバサンプルすることはなく、点広がり関数(PSF)がピクセルのサイズより小さいときは情報の損失もない。しかしながら、視野(FOV)の中心では、拡大係数は大きく、このことにより分解能はより良いものと成り得る。ピクセルサイズより大きい点広がり関数(PSF)を有するためセンサー上では識別可能とならない2つの識別可能なポイントは、センサー上で識別可能となるように拡大され得る。というのは個々のポイントは異なるピクセルでキャプチャされ得るからである。
検出器で取得される投射された画像はその中心にてその周辺領域よりも高い分解能を有するという事実を活用して、演算器は、投射された画像の中心領域から、ズームされた歪みのない部分画像をトリミングして計算するように、適合され得る。視野全体の通常の写真に対して、中心領域は計算して圧縮される。しかしながら、中心に近接する画像部分のズームされた部分画像を取得するのであれば、単に部分画像をトリミングし更に所望のズーム及び部分画像の歪みの程度によってそれを圧縮し若しくは全く圧縮しないで、そのことを為すことができる。言い換えれば、非ズーム画像であれば、ズーム画像を記述するのにより多くのピクセルが利用され得るように、画像が拡張されトリミングされる。
よって、このズームは、上記の光学ズームの定義に適合する。しかしながら、この光学ズームは、実際上は×2若しくは×3に限定されてしまう。
より大きいズーム倍率を実現するために、利用されるピクセルの数とズーム倍率の間のトレードオフを利用することに、実施形態が向けられる。言い換えれば、より大きなズーム倍率は、周辺部での情報の損失を回避するために、センサー内でピクセル数を増加させることを要求する。連続するズームをサポートするのに要求されるピクセルの数は、離散的倍率から決定され得るが、ここでZは最大拡大係数でありZは最小拡大係数である。これらの離散的ズームモードをサポートするのに要求されるピクセル数は、全体視野(FOV)をカバーするピクセルをN個と考えると、以下の数1の式で与えられる。
Figure 2010504014
数1の式を整理し直すと、以下のように数2の式が得られる。
Figure 2010504014
Zの連続関数を得るためにZi+1をZ−dZで置き換えると、数3の式となる。
Figure 2010504014
例えば、初項より上の高倍率項を捨て、総和を積分に置換すると、数4の式が得られる。
Figure 2010504014
ここで、Z^は所望の最大ズーム倍率である。
換言すれば、L(MP)の画像を生成するKメガピクセル(L<K)の矩形センサーを伴う、歪みのない標準デジタルカメラに対しては、全体画像に(L(MP)画像で)最大限適用可能な光学ズームは、K1/2/L1/2に限定され得る。言い換えれば、所望の光学ズームに対しては、Z、Kは、Z×Lに等しい。
よって、要求されるズームが×2であるとき、標準的なカメラは4倍以上のピクセルを要求する。しかしながら、実施形態によると、より高倍率のズームは、光学系が導入する歪みメカニズムにより、画像の中心にて実現され得る。よって、上記数4の式からわかるように、×2のズームのために、ピクセルの概略2.38倍のみ、必要とされる。例えば、標準的な2MP画像センサーを利用すると、完全に損失のないズームに対して、2×のズームを適用すると、4.77MP要求される。画像周辺部の品質への要求を緩和すると、即ち、情報の損失を許容すると、この数字は減少する、例えば、×2ズームに対して、ピクセルの約1.75倍にまで減少する。
図1Aと図1Bは、夫々、元の矩形パターンと、実施形態に従い歪められた投射された矩形パターンとを示す。この特別の例では、歪みを表す変換は、水平軸と鉛直軸とで分離可能である。図2Aと図2Bは、夫々、元の円形対称パターンと、実施形態に従い歪められた投射された円形対称パターンとを示す。図面からわかるように、パターンは中心領域では拡張され、周辺領域では圧縮される。他のタイプの歪み、例えば、アナモルフィックの歪みが、利用されてもよい。
図3Aから図3Dは、実施形態に従って、図3Aに示す対象を画像化する概略のプロセスを示す。対象は、先ず投射され、実施形態に従ってレンズシステムにより歪められ、図3Bで、より高倍率の分解能で、即ちK[MP]検出器でキャプチャされる。修正されたより低倍率の分解能、即ち、×1のズームを伴うL[MP]画像が、図3Cに示される。×1の画像と同じL[MP]分解能を有する、修正された×2のズームの画像が、図3Dに示される。
図4Aは、投射される光に応答して光信号を出力する、検出器475即ち画像面上に対象(図示せず)を画像化するための、光学システム410を含む例示の画像キャプチャデバイス400を示す。これらの光信号は、プロセッサ485に与えられ、該プロセッサ485は画像を処理し、格納し、及び/又は表示し得る。光学システム410は、第2と第3の表面を有する第1のレンズ420と、第4と第5の表面を有する第2のレンズ430と、第6の表面における開口絞り440と、第7と第8の表面を有する第3のレンズ450と、第9と第10の表面を有する第4のレンズ460と、第11と第12の表面を有する赤外(IR)フィルタ470とを含み、それらの全ては対象を画像面475上に画像化する。
この特別の例では、光学システム410は、6mmの焦点距離とFナンバーを有する。実施形態に係る光学システム410は、標準的な30°の視野(FOV)に対して、中心における画像拡張と周辺における画像圧縮とを有する放射状歪みを与える。
レンズが形成される部材と共に、光学設計係数、及び、全ての光学表面の口径は、以下の表1のように示される。
Figure 2010504014
上記表1において、表面0は対象に対応し、L1は第1のレンズ420に対応し、L2は第2のレンズ430に対応し、APSは開口絞り440に対応し、L3は第3のレンズ450に対応し、L4は第4のレンズに対応し、IRFは赤外(IR)フィルタ460に対応し、IMGは検出器475に対応する。もちろん、十分な歪みを実現する他の構成も利用され得る。
レンズを形成するのに利用されるプラスチックは、例えば、ジオンケミカルカンパニ(Zeon Chemical Company)の製造するE48Rなどのポリカーボネート、アクリル樹脂、ポリメタクリル酸メチルなど、どの適切なプラスチックであってもよい。表1のレンズ部材の全てはプラスチックとして示されているが、例えば、ガラスなどの他の適切な部材も利用され得る。更に、個々のレンズは、所望の性能に従って種々の部材で形成されてもよい。レンズは、例えば、インジェクションモールド、ガラスモールド、複製、水位製造などの、選択した部材のための適切な方法に従って、製造され得る。更に、赤外(IR)フィルタ470は、N−BK7以外の適切な赤外フィルタ部材で作成されてよい。
図4Bは、光学システム410により与えられるグリッド歪みを示す。図4Cは、光学システム410のフィールド湾曲を示す。図4Dは、光学システム410の歪みを示す。
図5は、プロセッサ485により実行され得る動作のフローチャートを示す。プロセッサ485は、検出器475から画像を受ける画像信号処理チェーン510を含み得る。この画像は、例えば、生のバイエル(raw Bayer)データ若しくはビットマップデータであればよい。画像は、インプットインターフェース520を介して動作530に供給され得る。動作530は、動作525から寄与ピクセル指標を受け、該寄与ピクセル指標は、歪みのない出力画像内のあらゆるピクセル指標に対して、歪みのある入力画像からの近接の隣り合うものを決定する。その後、レンズシステム410の歪み関数を所得し、歪みが固定されると、歪み画像内の個々のピクセルは既知の固定された倍率を有するので、動作530は歪みを修正できる。所望の歪みのない画像内のあらゆるピクセルに対して、予め構成された所望のズーム倍率に従って、歪みのある画像からのどのピクセルが修正に寄与するのかを計算する周知の変換を用いて、歪みを修正することがなされてもよい(歪みのある画像と歪みのない画像との間のピクセル対ピクセルのマッチングがない場合には、複数の近接の歪みのあるピクセルの間での補間は、対応する歪みのないピクセルの値を決定するのに利用され得る)。よって、画像の中心のみより圧縮される1×倍率と、所望の区画が画像中心からトリミングされ圧縮無く(若しくは、所望の倍率に従ってより小さい圧縮で)修正されるより高倍率の倍率係数との両方が、実現され得る。
例えば、ズームが×1に設定されると、動作530は、固定のL[MP]分解能で、検出器475から受けた投射された対象データの、歪みのないピクチャを計算するように調整され得る。検出器475は、キャプチャされる対象の歪んだ投射に対応して、データを生成し得る。この目的のために、投射により生成される歪みが取得され、評価され若しくは計測され得る。ズームがより高倍率であるときは、動作530は画像を調整し画像の所望の中心をトリミングし、これにより、同じL[MP]分解能で所望のズームを受けることになる。
動作530は、例えば、双一次、スプライン、セッジセンス、双三次スプラインなどの、適切な補間の方法を用いてよく、出力インターフェース540に結果としてのピクセル値を出力してもよい。所望の最終用途に従って必要とされるならば、出力画像の画像コントラストが動作550で改良され得る。その後、出力画像はISPチェーン510に戻り、そこでは更に、例えば、JPEG圧縮やGIF圧縮などの、ノイズ除去若しくは圧縮の、処理が、画像に実行されてもよい。
画像キャプチャデバイスが、一つ以上の画像キャプチャモード、例えば、通常モードとズームモードで、動作することになっているならば、入力インターフェース520と動作525との間の点線表示の接続がなされる。その場合、入力インターフェース520が動作525に対して画像キャプチャモード情報を与え得るように、個々のモードに対して、種々の歪み修正が必要とされてもよい。
図6は、実施形態に係る光学ズームシステムが利用され得るデジタルカメラ600の分解図を示す。図面に示すように、デジタルカメラ600は、レンズホルダ620に固定され得るレンズシステム610を含み、該レンズホルダ620はセンサー630に固定され得る。更に、全体アセンブリは、エレクトロニクス640に固定され得る。
図7Aは、デジタルカメラ600が内部に統合されたコンピュータ680の斜視図を示す。図7Bは、デジタルカメラ600が内部に統合された携帯電話690の正面図及び側面図を示す。もちろん、デジタルカメラ600は図示の位置以外の位置にて統合されてもよい。
よって、実施形態によると、光学ズームは、歪み修正のための後処理を組み合わされた固定焦点のレンズを用いて、実現され得る。検出器内で利用される多数のピクセルは、ズーム能力をサポートすることを所望して、名目の分解能を超えて増加し得る。
明細書で利用されるように、“及び/又は”の用語は、関連する記載された項目の一つ若しくはそれ以上のあらゆる及び全ての組み合わせを含むものである。更に、“第1”、“第2”、“第3”などの用語は、種々のエレメント、コンポーネント、領域、層、及び/又はセクションを記載すべく本明細書で利用されており、これらエレメント、コンポーネント、領域、層、及び/又はセクションはこれら用語に限定されるものではない。これらの用語は、一つのエレメント、コンポーネント、領域、層、及び/又はセクションを、別のものと区別するためにのみ利用される。よって、第1のエレメント、コンポーネント、領域、層、及び/又はセクションは、第2のエレメント、コンポーネント、領域、層、及び/又はセクションと称してもよく、このように称しても本明細書に記載される実施形態の教示から乖離するものではない。
“真下に”、“下方に”、“低い”、“上方に”、“上部に”などの、空間的な相対的用語は、図面に示されるように、他の要素若しくは特徴に対する、一つの要素若しくは特徴の関係を記述するに当たり、記述を容易にするために本明細書で用いられている。空間的な相対的用語は、図面に示す方向に加えて、利用時若しくは動作時のデバイスの様々な方向を含むことを意図する、ということが理解されるべきである。例えば、図面のデバイスが反転されると、他の要素若しくは特徴の“下方”若しくは“真下”と記載される要素は、該他の要素若しくは特徴の“上方”に設置されることになる。よって、例示の用語“下方”は、上方及び下方の方向を含むことができる。デバイスは、(90°回転したり他の方向に向けたりして)別の方向に設置することもでき、本明細書で利用される空間的な相対的用語は然るべく解釈される。
本明細書に記載されるように、文脈上明確に別意を示すものでない限り、単数形“一つの”、“一つの”及び“その”は同様に複数形も含むことを意図する。“含む”、“含むこと”、“包含する”、“包含すること”の用語は、記載された特徴、完全体、ステップ、動作、エレメント、コンポーネントなどの存在を明記するものであるが、一つ若しくはそれ以上の特徴、完全体、ステップ、動作、エレメント、コンポーネント、グループなどの存在、若しくは追加を、排除するものではないことが、更に理解されるべきである。
本発明の実施形態を本明細書で開示しており、特定の用語を利用しているが、それら用語は一般的且つ記述的な意味で利用され解釈されるべきものであり、限定するべく利用され解釈されるものではない。本発明の実施形態はハードウェアの実装に関して記載されているが、本発明の処理は、例えば、マシンがアクセスする際にそのマシンにデータの歪みを正させる、データを含むマシンアクセス可能な媒体を有する製品により、ソフトウエア内に実装されることも可能である。更に、ピクセルは検出器において等しいピッチを有することを、上記説明では仮定しているが、全ての圧縮のうち、検出器においてピッチを変えることにより、実現されるものが幾つかあってもよい。従って、添付の請求項に示される本発明の精神及び範囲から乖離することなく、形式及び細部において種々の変更が可能であることが、当業者に理解されるべきである。
400・・・画像キャプチャデバイス、410・・・光学システム、420・・・第1のレンズ、430・・・第2のレンズ、440・・・開口絞り、450・・・第3のレンズ、460・・・第4のレンズ、470・・・赤外(IR)フィルタ、475・・・検出器、485・・・プロセッサ、600・・・デジタルカメラ、610・・・レンズシステム、620・・・レンズホルダ、630・・・センサー、640・・・エレクトロニクス、680・・・コンピュータ、690・・・携帯電話。

Claims (20)

  1. 画像キャプチャデバイスであって、
    複数の検知ピクセルを含む検出器と、
    視野内の対象の歪んだ画像を上記検知ピクセル上へ投射するように調整された光学システムと
    を含み、
    上記光学システムは、上記視野の中心で上記画像を拡張し上記視野の周辺で上記画像を圧縮し、上記画像キャプチャデバイスの最小限の分解能での最大限ズーム倍率Z^を実現するのに要求される第1の数の検知ピクセルが、上記最大限ズーム倍率の平方倍の、上記最小限の分解能に対して要求される第2の数の検知ピクセルよりも、少ない
    ことを特徴とする画像キャプチャデバイス。
  2. 上記第1の数の検知ピクセルが、上記第2の数の検知ピクセル倍の、2ln(Z^)+1より少ない、若しくは等しく、
    Z^は上記最大限のズーム倍率である
    ことを特徴とする請求項1に記載の画像キャプチャデバイス。
  3. 上記第1の数の検知ピクセルが、約1.75倍の上記第2の数の検知ピクセルに等しい
    ことを特徴とする請求項1に記載の画像キャプチャデバイス。
  4. 上記視野の周辺内の点広がり関数が、検知ピクセルのサイズの、実質的に半値全幅を有するように、上記光学システムが調整されている
    ことを特徴とする請求項1に記載の画像キャプチャデバイス。
  5. 上記視野の中心における光学倍率が、上記視野の周辺における光学倍率の2倍よりも大きいように、上記光学システムが調整されている
    ことを特徴とする請求項1に記載の画像キャプチャデバイス。
  6. 上記光学システムが、直交方向に分離可能な歪んだ画像を与えるように調整されている
    ことを特徴とする請求項1に記載の画像キャプチャデバイス。
  7. 上記光学システムが、放射状に対称である歪んだ画像を与えるように調整されている
    ことを特徴とする請求項1に記載の画像キャプチャデバイス。
  8. 更に、上記検出器から出力される電子情報を処理するように設けられたプロセッサを含む
    ことを特徴とする請求項1に記載の画像キャプチャデバイス。
  9. 上記第1の数の検知ピクセルが、上記検出器において等しいピッチを有する
    ことを特徴とする請求項1に記載の画像キャプチャデバイス。
  10. 上記光学システムが、複数のレンズを含む
    ことを特徴とする請求項1に記載の画像キャプチャデバイス。
  11. 上記複数のレンズの各々がプラスチックである
    ことを特徴とする請求項10に記載の画像キャプチャデバイス。
  12. 上記複数のレンズの各々が固定焦点レンズである
    ことを特徴とする請求項10に記載の画像キャプチャデバイス。
  13. 請求項1に記載の画像キャプチャデバイスを含む携帯電話。
  14. 請求項1に記載の画像キャプチャデバイスを含む携帯用コンピュータ。
  15. 固定焦点レンズシステムにズームを設ける方法であって、
    視野の中心に拡張された画像を受けるステップと、
    上記視野の周辺に圧縮された画像を受けるステップと、
    最小限の分解能での最大限ズーム倍率を実現するのに要求される第1の数の検知ピクセルを処理するステップと
    を含み、
    上記第1の数の検知ピクセルが、上記最大限ズーム倍率の平方倍の、上記最小限の分解能に対して要求される第2の数の検知ピクセルよりも、少ない
    ことを特徴とする方法。
  16. 上記第1の数の検知ピクセルが、上記第2の数の検知ピクセル倍の、2ln(Z^)+1より少ない、若しくは等しく、
    Z^は上記最大限のズーム倍率である
    ことを特徴とする請求項15に記載の方法。
  17. 上記第1の数の検知ピクセルが、約1.75倍の上記第2の数の検知ピクセルに等しい
    ことを特徴とする請求項15に記載の方法。
  18. 画像キャプチャデバイスを生成する方法において、
    視野内部の対象の歪んだ画像を投射するように調整された光学システムを作成するステップであって、上記光学システムは上記視野の中心では上記画像を拡張し上記視野の周辺では上記画像を圧縮する、ステップと、
    上記光学システムに近接して検出器を設けるステップであって、上記検出器は出力される画像の第2の分解能よりも高い第1の分解能を有する、ステップと、
    上記検出器から出力される信号を処理して、連続するズームの範囲に渡って上記第1の分解能の上記画像を与えるステップと
    を含む方法。
  19. 上記連続するズームの範囲が、×1から×3までである
    ことを特徴とする請求項18に記載の方法。
  20. 上記第1の分解能が、第1の数の検知ピクセルに対応し、
    上記第2の分解能が、第2の数の検知ピクセルに対応し、
    Z^が最大限のズーム倍率であり、上記検出器内の上記第1の数の検知ピクセルが、Z^の2乗倍の、上記第2の数の検知ピクセルより少ない
    ことを特徴とする請求項18に記載の方法。
JP2009527927A 2006-09-15 2007-09-14 改良された画像品質を伴う画像システム及び関連する方法 Active JP5247702B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US82572606P 2006-09-15 2006-09-15
US60/825,726 2006-09-15
PCT/IB2007/004278 WO2008152441A2 (en) 2006-09-15 2007-09-14 Imaging system with improved image quality and associated methods

Publications (2)

Publication Number Publication Date
JP2010504014A true JP2010504014A (ja) 2010-02-04
JP5247702B2 JP5247702B2 (ja) 2013-07-24

Family

ID=40130250

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009527927A Active JP5247702B2 (ja) 2006-09-15 2007-09-14 改良された画像品質を伴う画像システム及び関連する方法

Country Status (6)

Country Link
US (1) US8203644B2 (ja)
EP (1) EP2108231A4 (ja)
JP (1) JP5247702B2 (ja)
KR (1) KR101021607B1 (ja)
CN (1) CN101641951B (ja)
WO (1) WO2008152441A2 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104469161B (zh) * 2014-12-22 2017-11-03 联想(北京)有限公司 图像处理方法以及电子设备
US8525914B2 (en) * 2007-10-25 2013-09-03 DigitalOptics Corporation Europe Limited Imaging system with multi-state zoom and associated methods
US8542289B1 (en) 2008-02-08 2013-09-24 Google Inc. Mapping a two-dimensional image to a cylindrical surface using a tuned distortion curve
WO2011027536A1 (ja) * 2009-09-01 2011-03-10 オリンパス株式会社 光学装置、およびそれを用いた撮像装置、撮像システム
WO2011121840A1 (ja) * 2010-03-31 2011-10-06 富士フイルム株式会社 立体撮像装置
BRPI1008318A2 (pt) * 2010-03-31 2018-03-06 Fujifilm Corp "aparelho de formação de imagem estereoscópica"
TWI419030B (zh) * 2010-08-06 2013-12-11 Quanta Comp Inc 光學觸控系統
US8308379B2 (en) 2010-12-01 2012-11-13 Digitaloptics Corporation Three-pole tilt control system for camera module
US8711245B2 (en) 2011-03-18 2014-04-29 Digitaloptics Corporation Europe Ltd. Methods and systems for flicker correction
US9294667B2 (en) 2012-03-10 2016-03-22 Digitaloptics Corporation MEMS auto focus miniature camera module with fixed and movable lens groups
US9007520B2 (en) 2012-08-10 2015-04-14 Nanchang O-Film Optoelectronics Technology Ltd Camera module with EMI shield
US9001268B2 (en) 2012-08-10 2015-04-07 Nan Chang O-Film Optoelectronics Technology Ltd Auto-focus camera module with flexible printed circuit extension
US9242602B2 (en) 2012-08-27 2016-01-26 Fotonation Limited Rearview imaging systems for vehicle
US9055207B2 (en) 2012-12-31 2015-06-09 Digitaloptics Corporation Auto-focus camera module with MEMS distance measurement
CN104048815B (zh) * 2014-06-27 2017-03-22 歌尔科技有限公司 一种测量透镜畸变的方法及系统
JP2017069776A (ja) * 2015-09-30 2017-04-06 カシオ計算機株式会社 撮像装置、判定方法及びプログラム
KR20180001048A (ko) * 2016-06-24 2018-01-04 삼성전기주식회사 촬상 광학계
JPWO2018155269A1 (ja) * 2017-02-27 2019-12-19 ソニー株式会社 画像処理装置および方法、並びにプログラム
US10607315B2 (en) * 2018-01-09 2020-03-31 Immervision, Inc. Constant resolution continuous hybrid zoom system
CN108363201B (zh) * 2018-01-30 2021-04-30 杭州聚远医疗设备有限公司 使分辨率与传感器像素在全视场范围内匹配的方法及产品
US11032481B2 (en) 2018-07-06 2021-06-08 Medos International Sarl Camera scope electronic variable prism
US11202014B2 (en) 2018-07-06 2021-12-14 Medos International Sari Camera scope electronic variable angle of view
CN109031636A (zh) * 2018-09-11 2018-12-18 中国科学院长春光学精密机械与物理研究所 一种具有可变分辨率的数字全息显微镜

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10233950A (ja) * 1996-12-17 1998-09-02 Eriko Shimizu 電子ズーム画像入力方式
JP2005173501A (ja) * 2003-12-15 2005-06-30 Canon Inc 電子カメラ
JP2005252626A (ja) * 2004-03-03 2005-09-15 Canon Inc 撮像装置および画像処理方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002267923A (ja) * 2001-03-09 2002-09-18 Olympus Optical Co Ltd 撮影レンズのピント調整方法
US6747805B2 (en) * 2001-07-20 2004-06-08 Michel Sayag Design and fabrication process for a lens system optically coupled to an image-capture device
US6950242B2 (en) * 2001-07-20 2005-09-27 Michel Sayag Design and fabrication process for a lens system optically coupled to an image-capture device
US7098949B2 (en) * 2002-07-29 2006-08-29 Hewlett-Packard Development Company, L.P. Apparatus and method for improved-resolution digital zoom in a portable electronic imaging device
US7046924B2 (en) * 2002-11-25 2006-05-16 Eastman Kodak Company Method and computer program product for determining an area of importance in an image using eye monitoring information
JP2005311875A (ja) * 2004-04-23 2005-11-04 Nikon Corp 電子カメラ、カメラシステムおよび画像処理プログラム
US7502063B2 (en) * 2004-08-09 2009-03-10 Aptina Imaging Corporation Camera with scalable resolution
JP2006145849A (ja) * 2004-11-19 2006-06-08 Inter Action Corp 検査用光学装置及び当該光学装置を備えた検査装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10233950A (ja) * 1996-12-17 1998-09-02 Eriko Shimizu 電子ズーム画像入力方式
JP2005173501A (ja) * 2003-12-15 2005-06-30 Canon Inc 電子カメラ
JP2005252626A (ja) * 2004-03-03 2005-09-15 Canon Inc 撮像装置および画像処理方法

Also Published As

Publication number Publication date
CN101641951A (zh) 2010-02-03
WO2008152441A2 (en) 2008-12-18
CN101641951B (zh) 2012-10-24
JP5247702B2 (ja) 2013-07-24
US20090115885A1 (en) 2009-05-07
WO2008152441A3 (en) 2009-08-27
KR20090055635A (ko) 2009-06-02
EP2108231A4 (en) 2011-08-31
US8203644B2 (en) 2012-06-19
EP2108231A2 (en) 2009-10-14
KR101021607B1 (ko) 2011-03-17

Similar Documents

Publication Publication Date Title
JP5247702B2 (ja) 改良された画像品質を伴う画像システム及び関連する方法
US8233073B2 (en) Image capturing device with improved image quality
US8525914B2 (en) Imaging system with multi-state zoom and associated methods
US9654694B2 (en) Dual lens digital zoom
JP4981124B2 (ja) 改良型プレノプティック・カメラ
US20120099005A1 (en) Methods and systems for reading an image sensor based on a trajectory
JP4434653B2 (ja) デジタルズーム機能を備えた携帯電子撮像デバイスおよびデジタルズーム機能を提供するための方法
KR101583646B1 (ko) 전 방위 평면 이미지를 생성하는 방법 및 장치
JP5468404B2 (ja) 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法
KR20070004202A (ko) 디지털카메라에서 렌즈에 의한 화면왜곡 보정 방법
KR101665456B1 (ko) 코드 판독 장치
CN103888641A (zh) 图像处理装置及图像再对焦方法
JP2020043430A (ja) 撮像装置
JP2002171447A (ja) 複眼撮像系、撮像装置および電子機器
JP2007067677A (ja) 画像表示装置
KR100936354B1 (ko) 디지털 줌을 제공하는 장치 및 방법
JP2000287116A (ja) イメージキャプチャシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100823

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20110302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20110302

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120605

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120903

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120910

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20121002

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20121010

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20121105

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20121112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130409

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160419

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250