JP2014078021A - オートフォーカス画像システム - Google Patents
オートフォーカス画像システム Download PDFInfo
- Publication number
- JP2014078021A JP2014078021A JP2013246579A JP2013246579A JP2014078021A JP 2014078021 A JP2014078021 A JP 2014078021A JP 2013246579 A JP2013246579 A JP 2013246579A JP 2013246579 A JP2013246579 A JP 2013246579A JP 2014078021 A JP2014078021 A JP 2014078021A
- Authority
- JP
- Japan
- Prior art keywords
- edge
- focus
- exclusion
- width
- edges
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
- G02B7/365—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals by analysis of the spatial frequency components of the image
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
- G03B3/10—Power-operated focusing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
Abstract
【解決手段】オートフォーカス画像システムであって、フォーカスレンズ104と、画素アレイ回路108と、A/D変換器110と、プロセッサー112と、表示装置114と、メモリカード116と、ドライブモータ/回路118と、入力装置107と、色補間ユニット148と、フォーカス信号発生器120とを備え、画素アレイ回路108は、1つの幅を有するエッジを少なくとも1つ備える1つの画像を取り込み、フォーカス信号発生器120は、エッジ幅及びエッジ幅の種々の統計量の関数であるフォーカス信号を発生し、プロセッサー112が、フォーカス信号及び/又は複数のエッジ幅の統計量を受信してフォーカスレンズの1つのフォーカス位置を調整する。
【選択図】図1
Description
参照番号に基づいて図面をさらに詳しく参照すると、図1は、1つのオートフォーカス画像取込システム102の一実施形態を示す。前記システム102は、1つのデジタルスチルカメラの一部であってもよいが、このシステムが1つの画像の制御されたフォーカスが必要ないずれの装置に実施されてもよいことを理解すべきである。前記システム102は、1つのフォーカスレンズ104と、1つの画素アレイと、回路108と、1つのA/D変換器110と、1つのプロセッサー112と、1つの表示装置114と、1つのメモリカード116と、1つのドライブモータ/回路118とを含んでもよい。1つのシーンからの光が前記レンズ104を介して入射される。前記画素アレイ及び回路108は、前記A/D変換器110により1つのデジタル信号に変換される1つのアナログ信号を発生する。前記画素アレイ108は、例えば、バイエルパターンのようなモザイクカラーパターンを組み入れてもよい。前記デジタル信号は、例えば色補間、フォーカス位置制御、色補正、画像圧縮/解凍、ユーザインターフェース制御及び表示装置制御のような様々な処理を実行する前記プロセッサー112に送信されてもよく、前記フォーカス信号発生器120に送信されてもよい。前記フォーカス信号発生器120及び前記プロセッサー112が異なるパッケージに備わっている場合には、前記デジタル信号130に対して色補間を行って前記フォーカス信号発生器120のためにそれぞれの画素における欠落色信号を見積もるため、1つの色補間ユニット148を利用してもよい。または、前記フォーカス信号発生器120及び前記プロセッサー112が一緒にパッケージ144にある場合には、前記フォーカス信号発生器120は、図2に示すようにバス146における前記プロセッサー112からの補間されたカラー画像、又は、前記A/D変換器110から発生された元の画像信号から導き出された単一画像信号(例えば、階調信号)を入力してもよい。
図3は、1つの画像供給ユニット202から画像を受信する1つのフォーカス信号発生器120の一実施形態を示す。前記画像供給ユニット202は、図1における色補間器148または図2におけるプロセッサー212であってもよい。前記フォーカス信号発生器120は、1つのエッジ検出・幅測定(EDWM)ユニット206と、フォーカス信号算出器210と、長さフィルター212と、幅フィルター209と、排除フィルター207と、排除較正器205とを含んでもよい。それは、それぞれ「精細」222及び「排除」232を出力することにより制御される、1つの精細スイッチ220及び1つの排除スイッチ230をさらに含んでもよい。前記フォーカス信号発生器120は、幅フィルター209からの狭いエッジのカウント、及びフォーカス信号算出器210からのフォーカス信号を供給してもよい。前記フォーカス信号は、「精細」入力222によって選択可能である精細なフォーカス信号と概略フォーカス信号とのいずれか一方に設定可能である。または、精細なフォーカス信号も概略フォーカス信号も、算出されて出力信号134の一部として出力されてもよい。前記エッジ検出・幅測定ユニット206は、画像供給ユニット202に供給される画像を受信する。前記排除較正器205は、前記フォーカス信号発生器120に入力されるコマンド及び制御信号(較正コマンド、インデックス及びR/W)を受信する。図1及び図2の文脈においては、これらのコマンド及び制御信号は、制御信号「精細」222及び「排除」232と共に、プロセッサー112により信号132に供給されてもよい。そして、図1及び図2において、前記出力信号134をプロセッサー112に供給してもよい。前記プロセッサー112は、前記フォーカスレンズ104のフォーカス位置を制御するフォーカスシステムコントローラとして機能し、出力信号134を解析して前記画像における鮮明なオブジェクトを検出することによって、複数のオブジェクトの画像を前記画素アレイ108において鮮明にフォーカスする。以下、前記フォーカス信号発生器120の各種の構成要素について説明する。
それぞれの画素は、その垂直又は水平勾配の大きさが所定の下限(「消去閾値」)(例えば、8ビットの画像の場合には5)を超えている場合に、水平エッジ(「H」)又は垂直エッジ(「V」)とタグ付けられ、或いは、その垂直又は水平勾配の大きさがいずれも当該所定の下限を超えていない場合に、エッジ無しとタグ付けられる。前記下限によって、陰影やノイズの緩和による偽のエッジが消去される。画素は、その水平勾配の大きさがその垂直勾配の大きさを所定のヒステリシス量以上(例えば、8ビットの画像の場合には2)超えている場合に、垂直エッジとタグ付けられ、逆の場合も同様である。これら両方の勾配の大きさの差分が前記ヒステリシス量よりも小さい場合に、前記画素は、その最も近く隣接した、定められた方向タグを有する画素と同じ方向タグを獲得する。例えば、前記画像を行ごとに左から右へかつ1行ずつに下へ走査すると、隣接画素の検査順番として、まずは上の画素、次は左上の画素、次は左の画素、最後は右上の画素であってもよい。このヒステリシスの適用は、隣接画素がそれぞれほぼ同じ水平及び垂直勾配の大きさを有する場合に同様のタグを得ることを確保するのに役立つ。図4は水平及び垂直勾配を有する6×6アレイにおけるタグ付けの結果を示す。それぞれのユニットにおいては、水平勾配が左上方、垂直勾配が右方にあり、また、方向タグが底部にある。このステップで、エッジ画素がボールド体で印刷されて方向タグを得る資格が与えられるものは、5を超えている水平又は垂直勾配の大きさを有する画素のみである。
それぞれのエッジは、勾配の大きさが前記エッジにおけるピーク勾配の大きさの1つの所定の分数よりも小さい画素を除去することによって精細化されてもよい。図5は、エッジのピーク勾配の大きさの3分の1に等しい精細化閾値を利用し、前記エッジ幅を前記元の9から下へ3に精細化する前記ステップを示す。このエッジの精細化は、主な勾配成分を識別することができ、前記主な勾配成分は、見掛けのエッジ幅を設定するものであり、前記見掛けのエッジ幅は、勾配が多くの画素において緩やかに減衰することを起こし得る複数の重なった陰影が画像にあることにもかかわらず、前記エッジの鮮明さの視覚認知を支配する。
1つの画像において、異なる輝度や色相を有する2つの領域間の境界は、前記画像がより多くフォーカスされ又はより少なくフォーカスされる場合に、厚く又は薄くなる。この境界の厚さは、前記境界に垂直した方向における前記境界の幅である。
ステップ502からステップ506において、斜め角fが求められる。それぞれの垂直エッジに対して、ステップ502において、水平勾配の大きさがピークに達する列の位置を位置づけ、水平勾配xを求める。ステップ504において、前記列の位置に沿って、そして、2つの画素以内に最も大きな大きさを有する垂直勾配を求め、そしてyをこの垂直勾配にする。
隣接した複数のエッジは、それらのピーク勾配の大きさが1つの比較的広いエッジのピーク勾配の大きさに隣接する1つの所定の分数より低いと、1つのフォーカス信号に寄与することを全体的に防止され、又はそれらの寄与を衰減させることができる。図9A、9B及び9Cは解決されている問題を示す。
以下、長さフィルター212の機能について説明する。広義では、長さフィルター212はそれぞれが1つの同様の配向の1つ以上のエッジに接続するエッジへの選り好みを作成する。同様の方向を有するその他のエッジのいずれにも接しない独立したエッジに比べて、同様の方向を有しグループの内において互いに接続された1グループのエッジ(「連結エッジ」)は、ノイズに起因する可能性が高くない。従って、同様の方向を有して一緒に連結されたエッジが多ければ、ノイズに起因する可能性が低くなる。ノイズに起因する前記グループの確率は、グループにおけるエッジ数が増えるとともに指数関数的に低下され、また直線的な低下よりずっと早い。この特性は、ノイズの抑制に用いられ、特に、画像において又は対象領域において信号対雑音比が例えば10未満と弱いといった薄暗い照射又は短い露光の場合に用いられることができる。前記選り好みは、何れの適当な方法で実施されて表現されてもよい。後述される複数の方法は単に例示に過ぎない。
次に、図3を参照して前記幅フィルター209の動作を理解する。図11は複数のエッジ幅の一ヒストグラム、即ち、複数のエッジ幅に対する複数のエッジのカウントの一グラフを描いている。エッジ幅2(即ち、上述鮮明_エッジ_幅)には、前記画像に複数の鮮明なエッジが存在することを示唆する1つのピークがある。しかし、エッジ幅4及び5には複数のピークがあり、これは、エッジがぼやけたことを示唆している。その原因としては、たぶん、対応する結像オブジェクトがフォーカスされておらず、これらの結像オブジェクトのフォーカスレンズからの距離が前記鮮明なエッジを生じさせたオブジェクトのフォーカスレンズからの距離と異なっているからである。1つのフォーカス信号を算出するには、幅が1つの所定の範囲(「狭いエッジの範囲」)外にある複数のエッジは、前記幅フィルター209によって、あまり重点を置かないようにしてもよい。前記幅フィルター209は、前記フォーカス信号の算出に用いるために、前記狭いエッジの範囲外にある複数のエッジ幅に対して1つの比較的小さい重みを作成してもよい。例えば、複数のエッジ幅に対して重み1.0が割り当てられるが、上限840の右側にあってそこから+1よりも大きく離れた複数のエッジ幅に対して重み0が割り当てられ、上限840の右側にあってそこから1以下離れた複数のエッジ幅に対して0〜1.0の重みが割り当てられ、具体的な重みは、エッジ幅の増加によって単調に低減される。または、前記幅フィルター209は、それらのエッジをフォーカス信号の計算から完全に排除してもよい。適当な上限及び下限830、840は、画素アレイ108でのクロストーク、フォーカス信号発生器120に受信された画像に対して欠落色を発生する補間方法、及び前記エッジ検出・幅測定ユニット206に採用されるローパスフィルターに用いられるフィルター係数を含む幾つかの要素に依存する。適当な上限及び下限830、840及び前記パラメータの鮮明_エッジ_幅は、前記画像ピックアップ装置102、102’に対して、種々の鮮明度を有する画像を取り込んで前記エッジ幅のヒストグラムを調べることによって決定されてもよい。例えば、1つの鮮明な画像がエッジ幅2に1つのピークを有すると、適当な上限及び下限はそれぞれ1.5及び3で、前記鮮明_エッジ_幅は2.0に設定されてもよい。前記下限と上限及び鮮明_エッジ_幅は上述したように決定され、そして前記プロセッサー112、112’’によって前記フォーカス信号発生器120、120’、120’’に供給されてもよい。「精細コマンド」がオンになると、このように算出された精細なフォーカス信号は、狭いエッジの範囲外にあるエッジ幅にあまり重点を置かないようにする。
次に、図3の前記フォーカス信号算出器210を参照すると、前記フォーカス信号算出器210は、複数のエッジ幅を受信して1つのフォーカス信号を出力する。前記フォーカス信号は、全てのエッジ幅の重み付け平均値として算出されてもよく、前記重みはそれぞれのエッジ幅に対するエッジのカウントであり、即ち、フォーカス信号=Σwiei/Σwi、ただし、eiはエッジ幅、wiは重み、ここで、wi=ci、ciはエッジ幅eiにおけるエッジのカウントであり、iは複数のエッジ幅の一ヒストグラムの区間数である。または、それぞれのエッジ幅における重みは、エッジ幅のエッジのカウントに前記エッジ幅そのものを乗じたもの、即ち、wi=cieiであってもよい。また、前記幅フィルター209からの重みで表される選り好みは、それぞれのエッジ幅を乗じてもよい。例えば、前記幅フィルター209により発生される重みΩiに対しては、ΣΩi=1、フォーカス信号はΣΩiwiei/ΣΩiwiとして算出されてもよい。制御信号「精細」がオン、「排除」がオフになると、図11に示す実例では、前記フォーカス信号は、2.0という鮮明なエッジ幅の値に非常に近い値となり、これは、2.0〜3.0のエッジ幅を発生する焦点距離範囲において、ほとんどのオブジェクトの細部が実質的に鮮明にフォーカスされていることを示唆している。制御信号「精細」がオフ、「排除」がオフになると、前記フォーカス信号は5.0に近い値となり、画像において焦点外れの細部がかなり多く存在していることを示唆している。前記精細スイッチ220をオンにすると、前記フォーカス信号が少しぼやけたオブジェクトにより多く応答し、完全にぼやけたオブジェクトにより少なく応答することが可能になる。前記精細スイッチ220がオンになると、前記フォーカス信号を精細なフォーカス信号と呼び、前記精細スイッチ220がオフになると、概略フォーカス信号と呼ぶことにする。上述したように、前記長さフィルター212により表現される前記重視は、複数の方法のうちの1つにより、前記フォーカス信号に組み込まれてもよい。例えば、フォーカス信号の計算から排除されるように重視をやめたエッジを消去してもよく、または、エッジの、対応するエッジ幅の区間のカウントeiへの寄与において、その対応する重みを低減してもよい。
図12〜16は、狭いエッジのカウント、概略フォーカス信号及び精細なフォーカス信号が鮮明な画像を実現するためにフォーカス制御の実施に如何に用いられるかを示す。
以下、排除フィルター207、910により実施される排除ろ過を説明する。
次に、図3の排除較正器205を参照すると、前記排除較正器205は、複数のエッジ、複数のエッジ幅、及び前記入力画像を受信し、そしてそれらを処理して種々の排除制御パラメータを発生して排除フィルター207を配置する。前記排除較正器205は、制御信号「較正コマンド」、「インデックス」及び「R/W」をさらに受信してもよい。これらの制御信号は、例えば図1又は2のプロセッサー112のようなフォーカスシステムコントローラから来てもよい。
排除較正器205及び排除フィルター207は、1回に取り込まれた1つの画像において鮮明にフォーカスされるオブジェクトに属しない複数のエッジを消去するために、一緒に、1つの排除範囲連鎖を形成することに用いられてもよい。その後、同一の排除範囲連鎖は、前記オブジェクトが前記背景オブジェクトに対して移動しても、それらの他のエッジを消去することに用いられてもよい。こうすると、前記オブジェクトの前記エッジが前記フォーカス信号を支配し続けることが可能になる。排除ろ過は、図3において前記幅フィルター209が前記精細スイッチ220にバイパスされるかどうかにかかわらず、行われることができる。前記幅フィルター209がバイパスされると、すなわち、前記フォーカス信号が概略フォーカス信号であると、図11において、4.0及び5.0のエッジ幅での前記2つの外れピークが消去可能になり、これにより、前記既に焦点が合ったオブジェクトが移動して焦点から遠く離れたことで、関連するピーク820が前記狭いエッジの範囲外に移動したとしても、前記概略フォーカス信号がやはり良いフィードバック信号を前記フォーカス制御システムに供給し、フォーカス位置をどのぐらい調整すれば、係るオブジェクトを狭いエッジの範囲内に入らせることができるかを見積もることができる。前記狭いエッジの範囲では、前記精細なフォーカス信号は、最終的に前記オブジェクトが鮮明にフォーカスされるように、より正確なフィードバック制御信号を供給することができる。
図25は、シーンでオブジェクトの鮮明な画像を提供するフォーカス位置の検索において一端から他端までの範囲でフォーカス位置を移動する際に、図1及び2のプロセッサー112のようなフォーカスシステムコントローラがフォーカス位置を調整し、フォーカス信号を測定する一フローチャートである。ステップ1400において、前記フォーカス位置は遠端に設定される。図3の前記排除較正器205に対する全てのインデックスは、図17及び18のメモリ−2 908における排除範囲データとともに消去されてもよい。ステップ1402において、前記フォーカス位置は1歩近く移動される。ステップ1404において、フォーカス位置が近端であると、走査が完了する。さもなければ、ステップ1406において、狭いエッジのカウントがピークに達したかを確かめる。そうでなければ、ステップ1402に戻して始まるように、次の繰り返しへ進む。そうであれば、このフォーカス位置に対して1つの新しいインデックスを作成し、前記フォーカス位置を記録して、エッジの統計データを収集するように1つの較正コマンドを前記排除較正器205に送信し、複数組の排除範囲の連鎖を形成し、前記排除範囲の連鎖を記憶するようにインデックス及び1つの書き込みコマンドを送信し、そして次の繰り返し、ステップ1402に戻して始まるように、次の繰り返しへ進む。
図31〜33は、前記フォーカス位置により複数のエッジが鮮明にフォーカスされるようにする場合に、図1又は2の表示装置114において複数のエッジが如何にハイライトされるかを示す。ハイライトされた鮮明なエッジ又は十分鮮明なエッジは、1つの十分鮮明ではないフォーカスエッジが表示装置において依然として鮮明に見えるように画像取込解像度が表示装置の解像度よりずっと高い場合に、ユーザに特に有用である。これにより、ユーザはシーンで複数のオブジェクトのうちのどのオブジェクトが鮮明にフォーカスされているかを見分けられないようなよく見られる問題も解決される。このようにどのオブジェクトが鮮明にフォーカスされているかが通知されると、ユーザは、その後、1つの比較的遠いオブジェクトにフォーカスするように図16の画像取込装置102の外向きボタン1912を押し、又は、1つの比較的近いオブジェクトにフォーカスするようにきボタン1910を押し、又は、これらのユーザコマンドを入力可能なユーザ入力装置及び方法のうちの何れか1つを利用することができる。また、前記画像取込装置102は、図33に示すように、エッジにおいてフォーカスされるオブジェクトに重なった1つの点滅する輪郭2100を表示してもよい。一般には、当業者が容易に認識するように、1つ以上の十分鮮明なエッジを示すことができれば、何れの表示方法を利用してもよい。
図34は、所定の方向において第Nのオブジェクトをシークする一フローチャートである。ステップ2200において、前記フォーカスレンズ104は、第N−1のピークを飛び越すまで移動する。ピークの飛び越しは、ピーク検出用の複数の信号(「ピーク検出信号」)のうちの1つを利用して検出されてもよい。候補ピーク検出信号の1つは、図36に示すように、取り込まれた画像において鮮明なエッジが発生された複数のオブジェクトがあるそれぞれの位置に1つの局部的な最小値を得る概略フォーカス信号である。図12のシーンに対して、前記自動車が鮮明にフォーカスされるようにするために、前記フォーカスレンズは、前記人が鮮明にフォーカスされているフォーカス位置FCを跳び越し、前記概略フォーカス信号が1つの局部的な最小値(ほぼ鮮明_エッジ_幅の値2.0に達した)に達したフォーカス位置を過ぎるように、一番裏から外へ移動する。候補ピーク検出信号のもう1つは、狭いエッジのカウントである。図35は、フォーカス位置が、前記人が取り込まれた画像において1つの鮮明な画像を発生した位置を過ぎるように一番裏から外へ移動する時の狭いエッジのカウントを示す。
検索に関するユーザ制御
シークすべきフォーカス位置に関連する数字Nは、複数の方法の1つによって設置されてもよい。
例えば、図1又は2におけるプロセッサー112のようなフォーカスシステムコントローラは、追跡モードが始まる際に1つの精細なフォーカス信号を受信するために、前記フォーカス信号発生器120へ前記「精細」制御信号をオンにしてもよい。それはまた、ほぼフォーカスされたオブジェクトが較正されておいた場合に、対応する排除範囲を取り出すために、「排除」制御信号をオンにし、その対応するインデックスを前記フォーカス信号発生器120における排除較正器205に供給してもよい。そうでなければ、1つの較正コマンドを排除較正器205に発行して較正を行い、1つの新しいインデックスを提供して前記較正された排除範囲を記憶し、その後、前記排除フィルター207に使用されるようにそれらを取り出すことができる。このようにして、不要のオブジェクトによる干渉を大きく減衰させることにより、精細なフォーカス信号の正確性が改善される。
図42A〜42Cは、背景オブジェクトに対して移動するオブジェクト(鳥)を追跡する前記フォーカス制御システムのの能力を示す。図42Aにおいて、前記鳥は鮮明にフォーカスされており、前記フォーカスシステムコントローラは1つの較正コマンドを前記排除較正器205に発行し、前記「精細」制御信号をオンにして1つの精細なフォーカス信号を発生し、前記「排除」制御信号をオンにして図42Aに鮮明ではない郵便箱を排除する。前記排除較正器205は、それぞれ図43及び44に排除範囲が示される連結エッジの長さ及び斜め角という2つの特性を見つけて、前記鳥から前記郵便箱を排除する。
前記フォーカス信号発生器の1つの利点としては、異なる画像の最小フォーカス信号が同一値に近いことである。これにより、前記レンズが同一の位置に保持されることになり、前記カメラが振るえていても、前記画像が依然として鮮明のままである。もう1つの利点としては、異なる焦点距離を有するシーンに対する最大と最小のフォーカス信号の間の範囲が、最適なフォーカスが取得できることを確保するのに十分に広いことである。
図45は、フォーカス信号発生器120’の一代替実施形態を示す。フォーカス信号発生器120’は、複数のエッジ及び複数のエッジ幅の統計データを出力する。コントローラ120’に出力されるエッジ幅の統計データは、異なるエッジ幅におけるエッジのカウントを含む1つのエッジ幅のヒストグラム、エッジ幅のカウントが最大値に達する所での1つのエッジ幅、異なるエッジ幅におけるエッジのカウントに近いスプライン関数を示す1組の係数、及びエッジ幅の関数を示すことができる何れかのデータのうちの1つ以上であってもよい。全数調査ユニット240は、前記フォーカス信号発生器120’の他のユニットのうちの1つ以上で算出されるデータを受信してエッジ幅の統計データを算出することができる。一般に、前記フォーカス信号発生器120’は、1つのエッジ幅分布の指示の信号を出力することができる。
図47は、オートフォーカス画像ピックアップシステム103の代替実施形態を示す。システム102に含まれる素子の外に、前記システム103は、1つのハーフミラー2850と、1つのフルミラー2852と、1つの光学ローパスフィルター2840と、1つの主画素アレイ2808と、1つの主A/D変換器2810とを含んでもよい。前記ハーフミラー2850は、入射される光ビームを、第1のスプリットビーム及び第2のスプリットビームに分割し、その一方を透過させ、他方を反射させることができる。前記第1のスプリットビームは、最後に、前記第1のスプリットビームを検出してアナログ信号に変換する前記主画素アレイ2808に到達する前に、さらに前記光学ローパスフィルター2840を透過してもよい。前記第2のスプリットビームは、最後に、図1に示すシステム102における画素アレイ108に対応する前記補助画素アレイ108’’に到達する前に、前記フルミラー2852により反射されてもよい。前記ハーフミラー2850で分割した後、第2の光ビームに対する第1の光ビームの光度(ジュール/秒の単位で)の比は、1対1、好ましくは2比1よりも大きくなり得る。例えば、この比は4対1になり得る。
Claims (5)
- 複数のエッジの幅の関数であるフォーカス信号を発生する方法において、
複数の鮮明なフォーカス位置において見つけられた複数の十分鮮明なエッジを差別するステップを含むことを特徴とするフォーカス信号の生成の方法。 - 前記複数の十分鮮明なエッジを差別する排除範囲を形成するステップと、
前記排除範囲に属しているエッジを除くまたは抑えるように前記複数のエッジをろ過するステップと
をさらに含むことを特徴とする請求項1に記載の方法。 - 前記複数のエッジ幅が前記ろ過ステップによってろ過された前記フォーカス信号を利用して、前記複数の鮮明なフォーカス位置に属しない鮮明なフォーカス位置の検索を制御するステップ
をさらに含むことを特徴とする請求項2に記載の方法。 - 複数のエッジの幅の関数であるフォーカス信号を発生する方法において、
複数の特性から第1の特性を選択するステップと、
複数の十分鮮明なエッジを差別する前記第1の特性の排除範囲を形成するステップと、
前記フォーカス信号の形成ついては、前記第1の特性の除外範囲に属しているエッジを除くまたは抑えるステップと、
を含むことを特徴とするフォーカス信号の生成の方法。 - 複数のエッジ幅のそれぞれが画像における複数のエッジの中の1つのエッジに属する前記複数のエッジ幅の関数であるフォーカス信号を発生する方法において、
第1の画像から、第1の特性に対して第1グループの排除範囲を求めるステップと、
第2の画像から、前記第1の特性に対して第2グループの排除範囲を求めるステップと、
十分鮮明なエッジの第1の個体数及び十分鮮明なエッジと十分鮮明ではないエッジの第2の個体数を求めるために、前記第1グループの排除範囲を利用して前記第2の画像をろ過するステップと、
十分鮮明なエッジの第3の個体数及び十分鮮明なエッジと十分鮮明ではないエッジの第4の個体数を求めるために、前記第2グループの排除範囲を利用して前記第2の画像をろ過するステップと、
前記第1の個体数と前記第2の個体数との間に第1の比率を求めるステップと、
前記第3の個体数与前記第4の個体数との間に第2の比率を求めるステップと、
前記第1の比率と前記第2の比率とを比較するステップと、
前記第1の比率から前記第2の比率まで著しい変化がある場合に、前記第1の特性を拒むステップと
を含むことを特徴とするフォーカス信号の生成の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US34869910P | 2010-05-26 | 2010-05-26 | |
US61/348,699 | 2010-05-26 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010122100A Division JP5435362B2 (ja) | 2008-11-26 | 2010-05-27 | オートフォーカス画像システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016086331A Division JP2016177293A (ja) | 2010-05-26 | 2016-04-22 | オートフォーカス画像システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014078021A true JP2014078021A (ja) | 2014-05-01 |
Family
ID=45413433
Family Applications (6)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010121175A Expired - Fee Related JP5532415B2 (ja) | 2010-05-26 | 2010-05-27 | オートフォーカス画像システム |
JP2010122100A Expired - Fee Related JP5435362B2 (ja) | 2008-11-26 | 2010-05-27 | オートフォーカス画像システム |
JP2013246579A Pending JP2014078021A (ja) | 2010-05-26 | 2013-11-28 | オートフォーカス画像システム |
JP2014039306A Expired - Fee Related JP5825566B2 (ja) | 2010-05-26 | 2014-02-28 | フォーカス信号を発生する方法 |
JP2015191175A Pending JP2016028294A (ja) | 2010-05-26 | 2015-09-29 | オートフォーカス制御の方法 |
JP2016086331A Pending JP2016177293A (ja) | 2010-05-26 | 2016-04-22 | オートフォーカス画像システム |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010121175A Expired - Fee Related JP5532415B2 (ja) | 2010-05-26 | 2010-05-27 | オートフォーカス画像システム |
JP2010122100A Expired - Fee Related JP5435362B2 (ja) | 2008-11-26 | 2010-05-27 | オートフォーカス画像システム |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014039306A Expired - Fee Related JP5825566B2 (ja) | 2010-05-26 | 2014-02-28 | フォーカス信号を発生する方法 |
JP2015191175A Pending JP2016028294A (ja) | 2010-05-26 | 2015-09-29 | オートフォーカス制御の方法 |
JP2016086331A Pending JP2016177293A (ja) | 2010-05-26 | 2016-04-22 | オートフォーカス画像システム |
Country Status (11)
Country | Link |
---|---|
US (1) | US9031352B2 (ja) |
JP (6) | JP5532415B2 (ja) |
CN (2) | CN102948142B (ja) |
AU (1) | AU2010353808A1 (ja) |
CA (1) | CA2799891A1 (ja) |
DE (1) | DE112010005589T5 (ja) |
GB (6) | GB2505318B (ja) |
HK (3) | HK1171884A1 (ja) |
MY (1) | MY154248A (ja) |
SG (1) | SG185345A1 (ja) |
WO (1) | WO2011148233A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2505318B (en) * | 2010-05-26 | 2014-08-13 | Hiok-Nam Tay | Auto-focus image system |
CN104038699B (zh) * | 2014-06-27 | 2016-04-06 | 努比亚技术有限公司 | 对焦状态的提示方法和拍摄装置 |
DE102014111150B3 (de) * | 2014-08-05 | 2015-07-30 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung, Verfahren und Computerprogramm zur Ermittlung eines Schärfemasses für ein Bild |
EP3467428A4 (en) * | 2016-05-30 | 2019-05-08 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, PROGRAM, AND IMAGE CAPTURE SYSTEM |
CN108803204B (zh) * | 2017-04-28 | 2021-03-12 | 宏碁股份有限公司 | 投影机及投影机的操作方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03154576A (ja) * | 1989-11-13 | 1991-07-02 | Canon Inc | 焦点調節装置、ブレ検出装置、動き検出装置、並びに、被写体位置検出装置 |
JP2002214513A (ja) * | 2001-01-16 | 2002-07-31 | Minolta Co Ltd | 光学系制御装置、光学系制御方法および記録媒体 |
JP2003262783A (ja) * | 2002-03-08 | 2003-09-19 | Minolta Co Ltd | オートフォーカス装置および撮像装置 |
JP2009218806A (ja) * | 2008-03-10 | 2009-09-24 | Seiko Epson Corp | 画像処理装置及び方法、並びに、そのためのプログラム |
Family Cites Families (63)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60143311A (ja) | 1983-12-29 | 1985-07-29 | Asahi Optical Co Ltd | Ttlオ−トフオ−カスビデオカメラの光学系 |
JPS6119211U (ja) | 1984-07-06 | 1986-02-04 | 株式会社 コシナ | オ−トフオ−カス付ズ−ムレンズ |
JPH083579B2 (ja) * | 1986-07-09 | 1996-01-17 | キヤノン株式会社 | 自動合焦装置 |
JPH0779434B2 (ja) | 1986-05-16 | 1995-08-23 | キヤノン株式会社 | 合焦検出装置 |
EP0455444B1 (en) | 1990-04-29 | 1997-10-08 | Canon Kabushiki Kaisha | Movement detection device and focus detection apparatus using such device |
US5790710A (en) * | 1991-07-12 | 1998-08-04 | Jeffrey H. Price | Autofocus system for scanning microscopy |
US5488429A (en) | 1992-01-13 | 1996-01-30 | Mitsubishi Denki Kabushiki Kaisha | Video signal processor for detecting flesh tones in am image |
US5496106A (en) * | 1994-12-13 | 1996-03-05 | Apple Computer, Inc. | System and method for generating a contrast overlay as a focus assist for an imaging device |
US5880455A (en) | 1995-08-08 | 1999-03-09 | Nikon Corporation | Focal position detection apparatus having a light reflecting member with plural reflecting films |
US5875040A (en) | 1995-12-04 | 1999-02-23 | Eastman Kodak Company | Gradient based method for providing values for unknown pixels in a digital image |
JP3630880B2 (ja) * | 1996-10-02 | 2005-03-23 | キヤノン株式会社 | 視線検出装置及び光学機器 |
US6094508A (en) | 1997-12-08 | 2000-07-25 | Intel Corporation | Perceptual thresholding for gradient-based local edge detection |
JP4018218B2 (ja) * | 1997-12-25 | 2007-12-05 | キヤノン株式会社 | 光学装置及び測距点選択方法 |
US6151415A (en) * | 1998-12-14 | 2000-11-21 | Intel Corporation | Auto-focusing algorithm using discrete wavelet transform |
US6337925B1 (en) | 2000-05-08 | 2002-01-08 | Adobe Systems Incorporated | Method for determining a border in a complex scene with applications to image masking |
JP2001331806A (ja) * | 2000-05-22 | 2001-11-30 | Nec Corp | 画像処理方式 |
JP2002189164A (ja) | 2000-12-21 | 2002-07-05 | Minolta Co Ltd | 光学系制御装置、光学系制御方法および記録媒体 |
US7088474B2 (en) | 2001-09-13 | 2006-08-08 | Hewlett-Packard Development Company, Lp. | Method and system for enhancing images using edge orientation |
JP2003125198A (ja) * | 2001-10-18 | 2003-04-25 | Sharp Corp | 画像処理装置および画像処理方法、並びにそれを備えた画像形成装置、プログラム、記録媒体 |
JP3555607B2 (ja) * | 2001-11-29 | 2004-08-18 | ミノルタ株式会社 | オートフォーカス装置 |
JP3628648B2 (ja) * | 2001-12-18 | 2005-03-16 | コニカミノルタフォトイメージング株式会社 | 光学系制御装置 |
US6917901B2 (en) | 2002-02-20 | 2005-07-12 | International Business Machines Corporation | Contact hole profile and line edge width metrology for critical image control and feedback of lithographic focus |
JP4208563B2 (ja) | 2002-12-18 | 2009-01-14 | キヤノン株式会社 | 自動焦点調節装置 |
SG115540A1 (en) | 2003-05-17 | 2005-10-28 | St Microelectronics Asia | An edge enhancement process and system |
US7720302B2 (en) | 2003-09-25 | 2010-05-18 | Fujifilm Corporation | Method, apparatus and program for image processing |
JP2005269604A (ja) * | 2004-02-20 | 2005-09-29 | Fuji Photo Film Co Ltd | 撮像装置、撮像方法、及び撮像プログラム |
JP2005309559A (ja) | 2004-04-19 | 2005-11-04 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びにプログラム |
US20050249429A1 (en) | 2004-04-22 | 2005-11-10 | Fuji Photo Film Co., Ltd. | Method, apparatus, and program for image processing |
US20050244077A1 (en) | 2004-04-22 | 2005-11-03 | Fuji Photo Film Co., Ltd. | Method, apparatus and program for image processing |
JP2005332383A (ja) | 2004-04-23 | 2005-12-02 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びにプログラム |
US20060078217A1 (en) | 2004-05-20 | 2006-04-13 | Seiko Epson Corporation | Out-of-focus detection method and imaging device control method |
JP2006024193A (ja) | 2004-06-07 | 2006-01-26 | Fuji Photo Film Co Ltd | 画像補正装置、画像補正プログラム、画像補正方法、および画像補正システム |
EP1624672A1 (en) | 2004-08-07 | 2006-02-08 | STMicroelectronics Limited | A method of determining a measure of edge strength and focus |
JP2006115446A (ja) * | 2004-09-14 | 2006-04-27 | Seiko Epson Corp | 撮影装置、及び画像評価方法 |
JP4487805B2 (ja) | 2004-11-16 | 2010-06-23 | セイコーエプソン株式会社 | 画像評価方法、画像評価装置、及び印刷装置 |
JP4539318B2 (ja) * | 2004-12-13 | 2010-09-08 | セイコーエプソン株式会社 | 画像情報の評価方法、画像情報の評価プログラム及び画像情報評価装置 |
GB0505443D0 (en) * | 2005-03-17 | 2005-04-20 | Dmist Technologies Ltd | Image processing methods |
JP4759329B2 (ja) * | 2005-06-23 | 2011-08-31 | Hoya株式会社 | オートフォーカス機能を有する撮影装置 |
GB2427974A (en) * | 2005-07-01 | 2007-01-10 | Univ Cardiff | Resolving boundaries in a medical image using histological data |
US7590288B1 (en) | 2005-11-07 | 2009-09-15 | Maxim Integrated Products, Inc. | Method and/or apparatus for detecting edges of blocks in an image processing system |
CN1971616B (zh) * | 2005-11-23 | 2012-10-10 | 索诺塞特公司 | 多分辨率自适应滤波 |
US8208047B2 (en) | 2005-12-16 | 2012-06-26 | Thomson Licensing | Imager and imaging method for digital cinematography |
US7792420B2 (en) | 2006-03-01 | 2010-09-07 | Nikon Corporation | Focus adjustment device, imaging device and focus adjustment method |
JP4182990B2 (ja) | 2006-06-02 | 2008-11-19 | セイコーエプソン株式会社 | 印刷装置、画像がぼやけているか否かを決定する方法、およびコンピュータプログラム |
US20080021665A1 (en) | 2006-07-20 | 2008-01-24 | David Vaughnn | Focusing method and apparatus |
JP2008072696A (ja) * | 2006-08-14 | 2008-03-27 | Seiko Epson Corp | 合焦情報の視覚化装置、その方法、プログラム及び記録媒体 |
JP2009044757A (ja) * | 2006-08-14 | 2009-02-26 | Seiko Epson Corp | 合焦情報の視覚化装置、その方法、プログラム及び記録媒体 |
US7924468B2 (en) | 2006-12-20 | 2011-04-12 | Seiko Epson Corporation | Camera shake determination device, printing apparatus and camera shake determination method |
KR20080081693A (ko) | 2007-03-06 | 2008-09-10 | 삼성전자주식회사 | 카메라의 자동초점조절 방법 |
US7672531B2 (en) | 2007-04-26 | 2010-03-02 | Geostudio Consultants Limited | System and method for determining edges of objects in an image |
JP2009065224A (ja) * | 2007-09-04 | 2009-03-26 | Seiko Epson Corp | 画像データ解析装置、画像データ解析方法、およびプログラム |
US8264591B2 (en) | 2007-10-22 | 2012-09-11 | Candela Microsystems (S) Pte. Ltd. | Method and system for generating focus signal |
JP2009156946A (ja) | 2007-12-25 | 2009-07-16 | Sanyo Electric Co Ltd | 撮像装置の防振制御回路 |
CN100557657C (zh) * | 2007-12-28 | 2009-11-04 | 北京航空航天大学 | 一种基于视频图像特征的车辆检测方法 |
JP2009260411A (ja) | 2008-04-11 | 2009-11-05 | Olympus Corp | 撮像装置 |
US8184196B2 (en) | 2008-08-05 | 2012-05-22 | Qualcomm Incorporated | System and method to generate depth data using edge detection |
JP5158202B2 (ja) * | 2008-08-19 | 2013-03-06 | 富士通株式会社 | 画像補正装置および画像補正方法 |
JP2010122100A (ja) | 2008-11-20 | 2010-06-03 | Fis Inc | 防水型ガスセンサ |
WO2010061250A1 (en) * | 2008-11-26 | 2010-06-03 | Hiok-Nam Tay | Auto-focus image system |
WO2010061352A2 (en) * | 2008-11-26 | 2010-06-03 | Hiok Nam Tay | Auto-focus image system |
WO2010128144A1 (de) * | 2009-05-08 | 2010-11-11 | Basf Se | Verfahren zur herstellung eines partikelförmigen nanokompositmaterials |
BR112012013721A2 (pt) * | 2009-12-07 | 2016-03-15 | Hiok Nam Tay | sistema de imagem de auto-focagem |
GB2505318B (en) * | 2010-05-26 | 2014-08-13 | Hiok-Nam Tay | Auto-focus image system |
-
2010
- 2010-05-27 GB GB1314740.0A patent/GB2505318B/en not_active Expired - Fee Related
- 2010-05-27 GB GB1222601.5A patent/GB2495424B/en not_active Expired - Fee Related
- 2010-05-27 JP JP2010121175A patent/JP5532415B2/ja not_active Expired - Fee Related
- 2010-05-27 CA CA2799891A patent/CA2799891A1/en not_active Abandoned
- 2010-05-27 SG SG2012000816A patent/SG185345A1/en unknown
- 2010-05-27 CN CN201080066987.7A patent/CN102948142B/zh not_active Expired - Fee Related
- 2010-05-27 MY MYPI2012005018A patent/MY154248A/en unknown
- 2010-05-27 GB GB1203294.2A patent/GB2487143B/en not_active Expired - Fee Related
- 2010-05-27 GB GB1200088.1A patent/GB2484223B/en not_active Expired - Fee Related
- 2010-05-27 JP JP2010122100A patent/JP5435362B2/ja not_active Expired - Fee Related
- 2010-05-27 GB GB1203296.7A patent/GB2487144B/en not_active Expired - Fee Related
- 2010-05-27 WO PCT/IB2010/052375 patent/WO2011148233A1/en active Application Filing
- 2010-05-27 CN CN201610286776.3A patent/CN105898146A/zh active Pending
- 2010-05-27 AU AU2010353808A patent/AU2010353808A1/en not_active Abandoned
- 2010-05-27 DE DE112010005589T patent/DE112010005589T5/de not_active Withdrawn
- 2010-05-27 GB GB1203290.0A patent/GB2487142B/en not_active Expired - Fee Related
-
2011
- 2011-09-26 US US13/112,212 patent/US9031352B2/en not_active Expired - Fee Related
-
2012
- 2012-12-04 HK HK12112477.3A patent/HK1171884A1/xx not_active IP Right Cessation
- 2012-12-04 HK HK12112478.2A patent/HK1171885A1/xx not_active IP Right Cessation
-
2013
- 2013-10-10 HK HK13111418.6A patent/HK1185149A1/xx not_active IP Right Cessation
- 2013-11-28 JP JP2013246579A patent/JP2014078021A/ja active Pending
-
2014
- 2014-02-28 JP JP2014039306A patent/JP5825566B2/ja not_active Expired - Fee Related
-
2015
- 2015-09-29 JP JP2015191175A patent/JP2016028294A/ja active Pending
-
2016
- 2016-04-22 JP JP2016086331A patent/JP2016177293A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03154576A (ja) * | 1989-11-13 | 1991-07-02 | Canon Inc | 焦点調節装置、ブレ検出装置、動き検出装置、並びに、被写体位置検出装置 |
JP2002214513A (ja) * | 2001-01-16 | 2002-07-31 | Minolta Co Ltd | 光学系制御装置、光学系制御方法および記録媒体 |
JP2003262783A (ja) * | 2002-03-08 | 2003-09-19 | Minolta Co Ltd | オートフォーカス装置および撮像装置 |
JP2009218806A (ja) * | 2008-03-10 | 2009-09-24 | Seiko Epson Corp | 画像処理装置及び方法、並びに、そのためのプログラム |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8462258B2 (en) | Focus signal generation for an auto-focus image system | |
JP6179827B2 (ja) | フォーカス信号を生成する方法 | |
US9237270B2 (en) | Auto-focus image system | |
US20130083232A1 (en) | Auto-focus image system | |
JP5825566B2 (ja) | フォーカス信号を発生する方法 | |
WO2010061250A1 (en) | Auto-focus image system | |
US20160094782A1 (en) | Auto-focus image system | |
JP5920608B2 (ja) | 画像の鮮明度を評価する撮像システムおよび方法 | |
JP2014504375A5 (ja) | ||
JP2014504375A (ja) | オートフォーカス画像システム | |
JP6057086B2 (ja) | 画像の鮮明さ度合いを決定する方法および画像ピックアップ装置 | |
GB2495423A (en) | Image pickup apparatus with partial mirror |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150113 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20150410 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20150512 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20150612 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150713 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20151222 |