JP2012014691A - モノクロ画像データおよびカラー画像データを出力する端末 - Google Patents
モノクロ画像データおよびカラー画像データを出力する端末 Download PDFInfo
- Publication number
- JP2012014691A JP2012014691A JP2011140656A JP2011140656A JP2012014691A JP 2012014691 A JP2012014691 A JP 2012014691A JP 2011140656 A JP2011140656 A JP 2011140656A JP 2011140656 A JP2011140656 A JP 2011140656A JP 2012014691 A JP2012014691 A JP 2012014691A
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- pixels
- color
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 176
- 238000003384 imaging method Methods 0.000 claims abstract description 18
- 239000000872 buffer Substances 0.000 claims description 68
- 238000000034 method Methods 0.000 claims description 43
- 239000002131 composite material Substances 0.000 claims description 16
- 230000004044 response Effects 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 9
- 230000003139 buffering effect Effects 0.000 claims description 3
- 230000001413 cellular effect Effects 0.000 abstract 1
- 230000000875 corresponding effect Effects 0.000 description 67
- 238000004364 calculation method Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 18
- 238000005286 illumination Methods 0.000 description 12
- 238000012935 Averaging Methods 0.000 description 9
- 238000001914 filtration Methods 0.000 description 8
- 239000000758 substrate Substances 0.000 description 8
- 230000004913 activation Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 238000012015 optical character recognition Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000007667 floating Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
- G06K7/10712—Fixed beam scanning
- G06K7/10722—Photodetector array or CCD scanning
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
- H01L27/14607—Geometry of the photosensitive area
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
Abstract
【解決手段】カラー・フィルタエレメントのないモノクロ・ピクセルによって提供されるピクセルの第1のサブセットと、カラー・フィルタエレメントを有するカラーピクセルにより提供されるピクセルの第2のサブセットを備える複合型モノクロおよびカラー・イメージ・センサ・ピクセルアレイを含むイメージセンサおよび処理回路を有するイメージング端末を提供する。CPUアドレス指定可能なイメージ・フレームメモリにストアするためのイメージセンサおよび処理回路によってイメージデータ出力のフレームが、イメージセンサピクセルアレイのカラーピクセル位置に対応するモノクロピクセル位置を含むことができるように、イメージセンサおよび処理回路は作動可能である。
【選択図】図3
Description
[0001] 本出願は、「Terminal Outputting Monochrome Image Data And Color Image Data(モノクロ画像データおよびカラー画像データを出力する端末)」と題して2010年6月30日に出願された米国特許出願番号第12/827,619号に対して優先権を主張する。上記の出願の優先権が請求され、完全に本願明細書にリファレンスとして組み入れられる。
カラーピクセル位置に対応する欠落ピクセルを保管するための例示のコード
% MsetInterpolation: interpolates missing M-set pixels
%input I_Mset: M-set image
%input method: 1:first derivative correlation; 2: simple correlation; 3:
%simple averaging
%input p: sample period
%output Im: interpolated monochrome image
function Im=MsetInterpolation(I_Mset,method,p)
Isz=size(I_Mset);
%M-set topology
% ^
% MMMMMMMMM
% MxMxMxMxM
% MMMMMMMMM
% MxMxMxMxM
%(MMMMMMMMM)
% v
Im=double(I_Mset);
m=Isz(1);
n=Isz(2);
%correlated averaging
for i=p:p:m
for j=p:p:n
if i+1 <=m & j+1 <=n
if method == 2
%simple correlation
if abs(Im(i-1,j)-Im(i+1,j)) < abs(Im(i,j-1)-Im(i,j+1))
Im(i,j)=(Im(i-1,j)+Im(i+1,j))/2;
else
Im(i,j)=(Im(i,j-1)+Im(i,j+1))/2;
end
else if method == 1
%first derivative correlation
if OneDcorrelate(Im(i-1,j-1:j+1),Im(i+1,j-1:j+1)) > OneDcorrelate(Im(i-1:i+1,j-1),Im(i-1:i+1,j+1))
Im(i,j)=(Im(i-1,j)+Im(i+1,j))/2;
else
Im(i,j)=(Im(i,j-1)+Im(i,j+1))/2;
end
else %method==3
%simple averaging
Im(i,j)=(Im(i-1,j)+Im(i+1,j)+Im(i,j-1)+Im(i,j+1))/4;
end
else if i+1 <=m & j+1 > n
Im(i,j)=(Im(i-1,j)+Im(i+1,j))/2;
else if i+1 > m & j+1 <=n
Im(i,j)=(Im(i,j-1)+Im(i,j+1))/2;
else if i+1 > m & j+1 > n
Im(i,j)=(Im(i-1,j)+Im(i,j-1))/2;
end
end
end
Im=uint8(Im);
[0042] イメージ感知および処理回路502を更に参照すると、イメージ感知および処理回路502は、制御/タイミング回路1092、セレクタ回路1108およびマスク・データ回路1110を含むことができる。起動しているトリガ信号に応答して、制御/タイミング回路1092は、露出制御、リセットおよび読み出し信号をイメージ・センサ・ピクセルアレイ182のピクセルのイメージ信号読み出しを遂行するためのイメージ・センサ・ピクセルアレイ182に送信できる。制御/タイミング回路1092から伸びているさまざまな制御ラインにより示されているように、制御/タイミング回路1092は列バッファ回路1102、ブロック・アクセス回路1104および計算回路1106と連絡することがありえる。ある実施形態では、CPU 1060およびイメージ感知および処理回路502は、I2Cインタフェース1028を介した通信にあることができる。CPU 1060は、種々の命令(例えば、リセット命令、露出セッティングコマンド、スリープ命令など)をI2Cインタフェース1028上のイメージ感知および処理回路502に送信できる。CPU 1060はまた、フィルタ・マスク・カーネル・データおよび他のコンフィギュレーションデータをI2Cインタフェース1028の上のイメージ感知および処理回路502に送信できる。例えば、トリガー3408が作動するとき、トリガーコマンドが外部デバイスのユーザによって始められる外部デバイスから受け取られるとき、端末1000が電源を入れられるとき、または、イメージ・センサ・ピクセルアレイ182の視野の目的の存在が検出されるときに起動されるトリガ信号が受信されるように、端末1000を、構成することができる。例えば、CPU 1060と連通してトリガー3408の手動作動として受け取られる初期化に反応して、外部デバイスのユーザによって初期化された外部デバイスから受け取られるトリガーコマンドに反応して、または、イメージ・センサ・ピクセルアレイ182の視野の目的物の検出に反応して、トリガ信号が起動するように、端末1000を構成できる。
[0056] C22 = P11K11 + P12K12 + P13K13 + P21K21 + P22K22 + P31K31 + P32K32 + P33K33 式1
[0057] 代わりの候補ガウスのフィルタ・マスクが、図9、10および11に示される。別の実施形態のラプラシアン・フィルタ・マスクが、図12、13および14に示される。別の実施形態のLoGフィルタ・マスクが、図15、16および17に示される。
デュアルピクセル値出力インターフェースを有することができ、それはすなわち、行ピクセル値を出力するための第1の出力インターフェース586、および、フィルタリングされたピクセル値を出力するための第2の出力インタフェース588である。イメージ感知および処理回路502は、インタフェース586、588で行および処理されたピクセル値を同時に出力でき、例えば、少なくとも出力時間のいくつかのオーバーラップで、同時に行および処理されたピクセル値を出力し、および/または、インタフェース586およびインタフェース588でそれぞれクロックアウトピクセル値に対して共通のピクセルクロックを同期をとって用いることによってなされる。画像データを出力するとき、インタフェース586、588は画像データ出力インターフェースと考えられることが可能である。イメージ感知および処理回路502は、画像データの同時に出力された行およびフィルタリングされたフレームの平行な「ペア」において、
連続的に出力するように形成されることができる。各々のインタフェース586、588は、別の実施形態では、「バス」、「ポート」、「コンタクトのセット」、「コンタクトセット」または、ピンのセットによって構成される「ピンのセット」(「ピン・セット」)と称されることができる。インタフェース590が、インタフェース586で出力を繰り返すことができ、インタフェース592がインタフェース588で出力を繰り返すことができると述べてきた。インタフェース586およびインタフェース588と同様に各インタフェース590およびインタフェース592は、「バス」、「ポート」、「コンタクトのセット」、「コンタクトセット」または、ピンのセットによって構成される「ピンのセット」(「ピン・セット」)と称されることができる。本願明細書において記載された「ピクセル値」は、マルチビット(multibit)ピクセル値であってよい。イメージ・センサ・ピクセルアレイ182がカラーフィルタが欠けているピクセル位置に関して、かかるピクセル値は、「グレイスケール」ピクセル値と一般に称される。イメージ・センサ・ピクセルアレイ182がカラーフィルタを有するピクセル位置に関して、物理的なフィルタを有するピクセルに対応するとき、かかるピクセル値は、カラースケール値と一般に称される。
イメージ感知および処理回路502は、例えば、図4に関して記載される方法のように、カラーピクセル位置に対応するモノクロ・ピクセル値を決定できる。
[0083] 本願明細書において記載されているシステム、方法および装置の場合の少しのサンプルを以下に説明する:
A1.
複合型モノクロ及びカラーイメージセンサピクセルアレイを備えたイメージ感知および処理回路であって、複合型モノクロ及びカラーイメージセンサピクセルアレイがピクセルの第1のサブセット及びピクセルの第2のサブセットを備え、前記ピクセルの第1のサブセットがカラーフィルタエレメントの欠落したモノクロピクセルであり、前記ピクセルの第2のサブセットがカラーフィルタエレメントを包含するピクセルのカラー高感度サブセットであり、前記ピクセルの第1のサブセットがモノクロピクセル位置を備え、前記ピクセルの第2のサブセットがカラーピクセル位置を備えることを特徴とするイメージ感知および処理回路と、
イメージセンサピクセルアレイ上にイメージをフォーカスするのに用いるためのレンズアセンブリと、
ハンドヘルドハウジングであって、複合型モノクロ及びカラーイメージセンサピクセルアレイが前記ハンドヘルドハウジング内でサポートされるように端末が構成されることを特徴とする、ハンドヘルドハウジングと、
中央演算処理装置(CPU)と、
前記CPUによりアドレス可能なイメージフレームメモリと、
を有することを特徴とする端末であって、
イメージ感知および処理回路が、ストレージに関するイメージデータのCPUアドレス可能なフレームをCPUアドレス可能なイメージフレームメモリ内に出力するように作動し、イメージ感知および処理回路が、イメージセンサピクセルアレイの複数のカラーピクセル位置に対応するモノクロピクセル値を決定するように作動し、そして、ストレージに関するイメージ感知および処理回路によるイメージフレームメモリ内へのイメージデータ出力のCPUアドレス可能なフレームが、イメージセンサピクセルアレイのカラーピクセル位置に対応する複数のモノクロピクセル値を含む、ことを特徴とする端末。
イメージ感知および処理回路が、N行バッファを含むことを特徴とするA1に記載の端末。
イメージ感知および処理回路が、イメージセンサピクセルアレイのピクセルのN行に対応するイメージデータを同時にストアするように作動するN行バッファを包含することを特徴とするA1に記載の端末。
イメージ感知および処理回路が、イメージセンサピクセルアレイのピクセルのN行に対応するイメージデータを同時にストアするように作動するN行バッファを包含し、イメージフレームメモリが、イメージセンサピクセルアレイのピクセルのM行に対応するイメージデータを同時にストアするように作動し、M>Nであり、N行バッファがCPUによってアドレス可能でない、ことを特徴とするA1に記載の端末。
イメージデータのCPUアドレス可能フレームがモノクロイメージデータだけを包含し、カラーイメージデータが欠落しているように、イメージ感知および処理回路が作動することを特徴とするA1に記載の端末。
イメージ感知および処理回路が、第1のフォーマットのフレームおよび第2のフォーマットのフレームを出力するように作動し、前記第1のフォーマットが前記第2のフォーマットと異なることを特徴とするA1に記載の端末。
イメージ感知および処理回路が、第1のフォーマットのフレームおよび第2のフォーマットのフレームを出力するように作動し、前記第1のフォーマットが前記第2のフォーマットと異なり、前記第1のフォーマットがモノクロフレームフォーマットであり、前記第2のフォーマットがモノクロ及びカラーフレームフォーマットであることを特徴とするA1に記載の端末。
イメージ感知および処理回路が、第1のフォーマットのフレームおよび第2のフォーマットのフレームを出力するように作動し、前記第1のフォーマットが前記第2のフォーマットと異なり、イメージ感知および処理回路が、前記第1のフォーマットのフレームおよび前記第2のフォーマットのフレームを同時に出力するように作動することを特徴とするA1に記載の端末。
イメージ感知および処理回路が、第1のフォーマットのフレームおよび第2のフォーマットのフレームを出力するように作動し、前記第1のフォーマットが前記第2のフォーマットと異なり、前記第1のフォーマットがモノクロフレームフォーマットであり、前記第2のフォーマットがモノクロ及びカラーフレームフォーマットであり、イメージ感知および処理回路が、前記第1のフォーマットのフレームおよび前記第2のフォーマットのフレームを同時に出力するように作動することを特徴とするA1に記載の端末。
CPUがCPUアドレス可能フレームを使用して復号化証印を復号化するのを試みるように前記端末が作動することを特徴とするA1に記載の端末。
イメージ感知および処理回路が、前記イメージセンサピクセルアレイと共通の集積回路に組み込まれたN行バッファを含むことを特徴とするA1に記載の端末。
複合型モノクロ及びカラーイメージセンサピクセルアレイを備えたイメージ感知および処理回路であって、複合型モノクロ及びカラーイメージセンサピクセルアレイがピクセルの第1のサブセットおよびピクセルの第2のサブセットを備え、前記ピクセルの第1のサブセットがカラーフィルタエレメントの欠落したモノクロピクセルであり、前記ピクセルの第2のサブセットがカラーフィルタエレメントを包含するピクセルのカラー高感度サブセットであり、前記ピクセルの第1のサブセットがモノクロピクセル位置を備え、前記ピクセルの第2のサブセットがカラーピクセル位置を備える、ことを特徴とするイメージ感知および処理回路と、
前記イメージセンサピクセルアレイのピクセルのN行に対応するイメージデータをバッファする際に使用するためのN行バッファを備えたイメージ感知および処理回路と、
を有し、
前記イメージ感知および処理回路が、前記イメージセンサピクセルアレイのピクセルのK行に対応するイメージデータを備えたイメージデータのフレームを出力するように作動し、K>Nであり、前記イメージ感知および処理回路が、N行バッファを利用してイメージセンサピクセルアレイの複数のカラー行くセル位置に対応するモノクロピクセル値を決定するように作動し、そして、イメージ感知および処理回路によってイメージデータ出力のフレームが、イメージセンサピクセルアレイのカラーピクセル位置に対応する複数のモノクロピクセル位置を含む、ことを特徴とする装置。
N行バッファが、イメージセンサピクセルアレイの行の数の10パーセントよりも小さいものに対応するイメージデータをバッファするように作動することを特徴とするB1に記載の装置。
前記イメージ感知および処理回路が、第1のフォーマットのフレームおよび第2のフォーマットのフレームを出力するように作動し、前記第1のフォーマットが前記第2のフォーマットとは異なることを特徴とするB1に記載の装置。
前記イメージ感知および処理回路が、第1のフォーマットのフレーム及び第2のフォーマットのフレームを出力するように作動し、前記第1のフォーマットが前記第2のフォーマットとは異なり、前記第1のフォーマットがモノクロフレームフォーマットであり、前記第2のフォーマットがモノクロ及びカラーフレームフォーマットであることを特徴とするB1に記載の装置。
前記イメージ感知および処理回路が、第1のフォーマットのフレーム及び第2のフォーマットのフレームを出力するように作動し、前記第1のフォーマットが前記第2のフォーマットとは異なり、前記イメージ感知および処理回路が、第1のフォーマットのフレームと第2のフォーマットのフレームとを同時に出力するように作動することを特徴とするB1に記載の装置。
前記イメージ感知および処理回路が、第1のフォーマットのフレーム及び第2のフォーマットのフレームを出力するように作動し、前記第1のフォーマットが前記第2のフォーマットとは異なり、前記第1のフォーマットがモノクロフレームフォーマットであり、前記第2のフォーマットがモノクロ及びカラーフレームフォーマットであり、前記イメージ感知および処理回路が、第1のフォーマットのフレームと第2のフォーマットのフレームとを同時に出力するように作動することを特徴とするB1に記載の装置。
N行バッファがイメージセンサピクセルアレイと共通の集積回路に組み込まれることを特徴とするB1に記載の装置。
イメージセンサピクセルアレイと、トリガと、マイクロプロセッサアドレス可能なイメージフレームメモリと、マイクロプロセッサアドレス可能なイメージフレームメモリと連通したマイクロプロセッサとを備えたハンドヘルドイメージング端末を提供するステップであって、前記イメージセンサピクセルアレイが複合型モノクロ及びカラーイメージセンサピクセルアレイを備え、複合型モノクロ及びカラーイメージセンサピクセルアレイがピクセルの第1のサブセット及びピクセルの第2のサブセットを備え、前記ピクセルの第1のサブセットがカラーフィルタエレメントの欠落したモノクロピクセルであり、前記ピクセルの第2のサブセットがカラーフィルタエレメントを包含するピクセルのカラー高感度サブセットであり、前記ピクセルの第1のサブセットがモノクロピクセル位置を備え、前記ピクセルの第2のサブセットがカラーピクセル位置を備えることを特徴とする、提供するステップと、
トリガ信号を初期化するように前記トリガを動作させるステップと、
前記トリガ信号の初期化に応答して、前記イメージセンサアレイのピクセルの隣接するグループからイメージ信号を読み出すステップであって、前記イメージ信号が前記グループの各ピクセルに関するアナログ強度値を備え、各ピクセルに関するアナログ強度値がピクセルの入射光を示すことを特徴とする、読み出すステップと、
イメージデータのフレームを作るピクセル値のセットを形成するようにピクセル値内に読み出されたアナログ強度値をデジタル化するステップと、
イメージデータの前記フレームを前記イメージフレームメモリ内にストレージするためのイメージデータの前記フレームを出力する前に、イメージデータの前記フレームを処理し、ピクセルの第2のサブセットのピクセルに対応するモノクロピクセル値を決定するステップと、
処理されたフレームイメージデータを前記イメージフレームメモリ内にストアするステップであって、前記イメージデータの処理されたフレームがカラーピクセル位置に対応する前記決定されたモノクロピクセル値を備えることを特徴とするストアするステップと、
前記イメージフレームメモリ内にストアされたイメージデータの前記処理されたフレームのピクセル値をアドレスするステップと、
を有する方法。
前記決定するステップが、カラーピクセル位置についてのピクセル位置に対応するモノクロピクセル値を利用してモノクロピクセル値を補間するステップを含むことを特徴とするC1に記載の方法。
前記決定するステップが、単純平均を含むことを特徴とするC1に記載の方法。
C4.
前記決定するステップが、相関を含むことを特徴とするC1に記載の方法。
前記アドレスするステップが、前記復号化可能な証印を復号化するように試みるために前記ピクセル値をアドレスすることを含むことを特徴とするC1に記載の方法。
Claims (15)
- 複合型モノクロ及びカラーイメージセンサピクセルアレイを備えたイメージ感知および処理回路であって、複合型モノクロ及びカラーイメージセンサピクセルアレイがピクセルの第1のサブセット及びピクセルの第2のサブセットを備え、前記ピクセルの第1のサブセットがカラーフィルタエレメントの欠落したモノクロピクセルであり、前記ピクセルの第2のサブセットがカラーフィルタエレメントを包含するピクセルのカラー高感度サブセットであり、前記ピクセルの第1のサブセットがモノクロピクセル位置を備え、前記ピクセルの第2のサブセットがカラーピクセル位置を備えることを特徴とするイメージ感知および処理回路と、
イメージセンサピクセルアレイ上にイメージをフォーカスするのに用いるためのレンズアセンブリと、
ハンドヘルドハウジングであって、複合型モノクロ及びカラーイメージセンサピクセルアレイが前記ハンドヘルドハウジング内でサポートされるように端末が構成されることを特徴とする、ハンドヘルドハウジングと、
中央演算処理装置(CPU)と、
前記CPUによりアドレス可能なイメージフレームメモリと、
を有することを特徴とする端末であって、
イメージ感知および処理回路が、ストレージに関するイメージデータのCPUアドレス可能なフレームをCPUアドレス可能なイメージフレームメモリ内に出力するように作動し、イメージ感知および処理回路が、イメージセンサピクセルアレイの複数のカラーピクセル位置に対応するモノクロピクセル値を決定するように作動し、そして、ストレージに関するイメージ感知および処理回路によるイメージフレームメモリ内へのイメージデータ出力のCPUアドレス可能なフレームが、イメージセンサピクセルアレイのカラーピクセル位置に対応する複数のモノクロピクセル値を含む、ことを特徴とする端末。 - イメージ感知および処理回路が、N行バッファを含むことを特徴とする請求項1に記載の端末。
- イメージ感知および処理回路が、イメージセンサピクセルアレイのピクセルのN行に対応するイメージデータを同時にストアするように作動するN行バッファを包含することを特徴とする請求項1に記載の端末。
- イメージ感知および処理回路が、イメージセンサピクセルアレイのピクセルのN行に対応するイメージデータを同時にストアするように作動するN行バッファを包含し、イメージフレームメモリが、イメージセンサピクセルアレイのピクセルのM行に対応するイメージデータを同時にストアするように作動し、M>Nであり、N行バッファがCPUによってアドレス可能でない、ことを特徴とする請求項1に記載の端末。
- イメージデータのCPUアドレス可能フレームがモノクロイメージデータだけを包含し、カラーイメージデータが欠落しているように、イメージ感知および処理回路が作動することを特徴とする請求項1に記載の端末。
- CPUがCPUアドレス可能フレームを使用して復号化証印を復号化するのを試みるように前記端末が作動することを特徴とする請求項1に記載の端末。
- 複合型モノクロ及びカラーイメージセンサピクセルアレイを備えたイメージ感知および処理回路であって、複合型モノクロ及びカラーイメージセンサピクセルアレイがピクセルの第1のサブセットおよびピクセルの第2のサブセットを備え、前記ピクセルの第1のサブセットがカラーフィルタエレメントの欠落したモノクロピクセルであり、前記ピクセルの第2のサブセットがカラーフィルタエレメントを包含するピクセルのカラー高感度サブセットであり、前記ピクセルの第1のサブセットがモノクロピクセル位置を備え、前記ピクセルの第2のサブセットがカラーピクセル位置を備える、ことを特徴とするイメージ感知および処理回路と、
前記イメージセンサピクセルアレイのピクセルのN行に対応するイメージデータをバッファする際に使用するためのN行バッファを備えたイメージ感知および処理回路と、
を有し、
前記イメージ感知および処理回路が、前記イメージセンサピクセルアレイのピクセルのK行に対応するイメージデータを備えたイメージデータのフレームを出力するように作動し、K>Nであり、前記イメージ感知および処理回路が、N行バッファを利用してイメージセンサピクセルアレイの複数のカラー行くセル位置に対応するモノクロピクセル値を決定するように作動し、そして、イメージ感知および処理回路によってイメージデータ出力のフレームが、イメージセンサピクセルアレイのカラーピクセル位置に対応する複数のモノクロピクセル位置を含む、ことを特徴とする装置。 - N行バッファが、イメージセンサピクセルアレイの行の数の10パーセントよりも小さいものに対応するイメージデータをバッファするように作動することを特徴とする請求項7に記載の装置。
- 前記イメージ感知および処理回路が、第1のフォーマットのフレームおよび第2のフォーマットのフレームを出力するように作動し、前記第1のフォーマットが前記第2のフォーマットとは異なることを特徴とする請求項7または1に記載の装置。
- 前記イメージ感知および処理回路が、第1のフォーマットのフレーム及び第2のフォーマットのフレームを出力するように作動し、前記第1のフォーマットが前記第2のフォーマットとは異なり、前記第1のフォーマットがモノクロフレームフォーマットであり、前記第2のフォーマットがモノクロ及びカラーフレームフォーマットであることを特徴とする請求項7または1に記載の装置。
- 前記イメージ感知および処理回路が、第1のフォーマットのフレーム及び第2のフォーマットのフレームを出力するように作動し、前記第1のフォーマットが前記第2のフォーマットとは異なり、前記イメージ感知および処理回路が、第1のフォーマットのフレームと第2のフォーマットのフレームとを同時に出力するように作動することを特徴とする請求項7または1に記載の装置。
- 前記イメージ感知および処理回路が、第1のフォーマットのフレーム及び第2のフォーマットのフレームを出力するように作動し、前記第1のフォーマットが前記第2のフォーマットとは異なり、前記第1のフォーマットがモノクロフレームフォーマットであり、前記第2のフォーマットがモノクロ及びカラーフレームフォーマットであり、前記イメージ感知および処理回路が、第1のフォーマットのフレームと第2のフォーマットのフレームとを同時に出力するように作動することを特徴とする請求項7または1に記載の装置。
- イメージセンサピクセルアレイと、トリガと、マイクロプロセッサアドレス可能なイメージフレームメモリと、マイクロプロセッサアドレス可能なイメージフレームメモリと連通したマイクロプロセッサとを備えたハンドヘルドイメージング端末を提供するステップであって、前記イメージセンサピクセルアレイが複合型モノクロ及びカラーイメージセンサピクセルアレイを備え、複合型モノクロ及びカラーイメージセンサピクセルアレイがピクセルの第1のサブセット及びピクセルの第2のサブセットを備え、前記ピクセルの第1のサブセットがカラーフィルタエレメントの欠落したモノクロピクセルであり、前記ピクセルの第2のサブセットがカラーフィルタエレメントを包含するピクセルのカラー高感度サブセットであり、前記ピクセルの第1のサブセットがモノクロピクセル位置を備え、前記ピクセルの第2のサブセットがカラーピクセル位置を備えることを特徴とする、提供するステップと、
トリガ信号を初期化するように前記トリガを動作させるステップと、
前記トリガ信号の初期化に応答して、前記イメージセンサアレイのピクセルの隣接するグループからイメージ信号を読み出すステップであって、前記イメージ信号が前記グループの各ピクセルに関するアナログ強度値を備え、各ピクセルに関するアナログ強度値がピクセルの入射光を示すことを特徴とする、読み出すステップと、
イメージデータのフレームを作るピクセル値のセットを形成するようにピクセル値内に読み出されたアナログ強度値をデジタル化するステップと、
イメージデータの前記フレームを前記イメージフレームメモリ内にストレージするためのイメージデータの前記フレームを出力する前に、イメージデータの前記フレームを処理し、ピクセルの第2のサブセットのピクセルに対応するモノクロピクセル値を決定するステップと、
処理されたフレームイメージデータを前記イメージフレームメモリ内にストアするステップであって、前記イメージデータの処理されたフレームがカラーピクセル位置に対応する前記決定されたモノクロピクセル値を備えることを特徴とするストアするステップと、
前記イメージフレームメモリ内にストアされたイメージデータの前記処理されたフレームのピクセル値をアドレスするステップと、
を有する方法。 - 前記決定するステップが、カラーピクセル位置についてのピクセル位置に対応するモノクロピクセル値を利用してモノクロピクセル値を補間するステップを含むことを特徴とする請求項13に記載の方法。
- 前記アドレスするステップが、前記復号化可能な証印を復号化するように試みるために前記ピクセル値をアドレスすることを含むことを特徴とする請求項13に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/827,619 US8345117B2 (en) | 2010-06-30 | 2010-06-30 | Terminal outputting monochrome image data and color image data |
US12/827,619 | 2010-06-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012014691A true JP2012014691A (ja) | 2012-01-19 |
JP6039889B2 JP6039889B2 (ja) | 2016-12-07 |
Family
ID=44789299
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011140656A Active JP6039889B2 (ja) | 2010-06-30 | 2011-06-24 | モノクロ画像データおよびカラー画像データを出力する端末 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8345117B2 (ja) |
EP (1) | EP2410463A1 (ja) |
JP (1) | JP6039889B2 (ja) |
CN (2) | CN105893903B (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105830090A (zh) * | 2013-10-04 | 2016-08-03 | 伊克莱瑞迪公司 | 使用阵列传感器以传感器的全分辨率测量多种类型数据的方法 |
US10624583B2 (en) * | 2012-11-09 | 2020-04-21 | Nonin Medical, Inc. | Reactance sensing for improved sensor placement |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7780089B2 (en) | 2005-06-03 | 2010-08-24 | Hand Held Products, Inc. | Digital picture taking optical reader having hybrid monochrome and color image sensor array |
US7568628B2 (en) | 2005-03-11 | 2009-08-04 | Hand Held Products, Inc. | Bar code reading device with global electronic shutter control |
US7611060B2 (en) | 2005-03-11 | 2009-11-03 | Hand Held Products, Inc. | System and method to automatically focus an image reader |
US7770799B2 (en) | 2005-06-03 | 2010-08-10 | Hand Held Products, Inc. | Optical reader having reduced specular reflection read failures |
US8218027B2 (en) * | 2009-04-09 | 2012-07-10 | Hand Held Products, Inc. | Imaging terminal having color correction |
US20100316291A1 (en) * | 2009-06-11 | 2010-12-16 | Shulan Deng | Imaging terminal having data compression |
TWI438699B (zh) * | 2009-10-09 | 2014-05-21 | Primax Electronics Ltd | 條碼的處理方法與其相關裝置 |
US9047531B2 (en) | 2010-05-21 | 2015-06-02 | Hand Held Products, Inc. | Interactive user interface for capturing a document in an image signal |
US8600167B2 (en) | 2010-05-21 | 2013-12-03 | Hand Held Products, Inc. | System for capturing a document in an image signal |
US8657200B2 (en) | 2011-06-20 | 2014-02-25 | Metrologic Instruments, Inc. | Indicia reading terminal with color frame processing |
US8526720B2 (en) | 2011-11-17 | 2013-09-03 | Honeywell International, Inc. | Imaging terminal operative for decoding |
US9251392B2 (en) | 2012-06-01 | 2016-02-02 | Honeywell International, Inc. | Indicia reading apparatus |
US8978983B2 (en) | 2012-06-01 | 2015-03-17 | Honeywell International, Inc. | Indicia reading apparatus having sequential row exposure termination times |
JP2015065270A (ja) * | 2013-09-25 | 2015-04-09 | ソニー株式会社 | 固体撮像装置およびその製造方法、並びに電子機器 |
US10754924B2 (en) | 2013-12-11 | 2020-08-25 | Antisep-Tech Ltd. | Method and system for monitoring activity of an individual |
CN105847770B (zh) * | 2015-01-15 | 2017-08-08 | 展讯通信(上海)有限公司 | 图像处理芯片以及该芯片中图像数据的缓存方法 |
DE102016113010A1 (de) * | 2015-12-15 | 2017-06-22 | Basler Ag | Bestimmung von Helligkeitswerten virtueller Pixel |
US11110191B2 (en) | 2016-03-08 | 2021-09-07 | Antisep—Tech Ltd. | Method and system for monitoring activity of an individual |
US10713997B2 (en) * | 2018-03-23 | 2020-07-14 | Valve Corporation | Controlling image display via mapping of pixel values to pixels |
US10834352B2 (en) * | 2019-01-14 | 2020-11-10 | Omnivision Technologies, Inc. | Configurable interface alignment buffer between DRAM and logic unit for multiple-wafer image sensors |
US20210044742A1 (en) * | 2019-08-05 | 2021-02-11 | Facebook Technologies, Llc | Dynamically programmable image sensor |
DE102019130865A1 (de) * | 2019-11-15 | 2021-05-20 | Sick Ag | Codeleser und Verfahren zum Lesen von optischen Codes |
CN114666521B (zh) * | 2020-12-07 | 2024-02-27 | 旭景科技股份有限公司 | 具有用于影像取样的可调整参数的影像感测装置 |
US20220303515A1 (en) * | 2021-03-17 | 2022-09-22 | Mediatek Inc. | High Sensitivity Color Image Generation Using Hybrid Sensor |
DE102021110388B4 (de) | 2021-04-23 | 2023-04-06 | Sick Ag | Helligkeits- und Farbkorrektur von Bilddaten einer Zeilenkamera |
DE102021111639A1 (de) | 2021-05-05 | 2022-11-10 | Sick Ag | Kamera und Verfahren zur Erfassung von Bilddaten |
CN116842117B (zh) * | 2023-06-19 | 2024-03-12 | 重庆市规划和自然资源信息中心 | 一种基于geotools工具修复自相交的地理图像输出方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000023174A (ja) * | 1998-07-01 | 2000-01-21 | Ricoh Co Ltd | 画像処理装置及び画像処理方法 |
JP2005348170A (ja) * | 2004-06-03 | 2005-12-15 | Ricoh Co Ltd | 画像読み取り装置、画像処理装置、画像形成装置、画像処理方法、コンピュータプログラム及び記録媒体 |
JP2006165975A (ja) * | 2004-12-07 | 2006-06-22 | Konica Minolta Photo Imaging Inc | 撮像素子、撮像装置、画像処理方法 |
US20060283952A1 (en) * | 2005-06-03 | 2006-12-21 | Wang Ynjiun P | Optical reader having reduced specular reflection read failures |
JP2006350544A (ja) * | 2005-06-14 | 2006-12-28 | Hitachi Omron Terminal Solutions Corp | 画像読み取り装置 |
JP2008533590A (ja) * | 2005-03-11 | 2008-08-21 | ハンド ヘルド プロダクツ インコーポレーティッド | 単色およびカラーのハイブリッドイメージセンサアレイを持つデジタル画像取得光学式リーダー |
JP2009504012A (ja) * | 2005-07-28 | 2009-01-29 | イーストマン コダック カンパニー | カラー画素とパンクロ画素の処理 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6292212B1 (en) * | 1994-12-23 | 2001-09-18 | Eastman Kodak Company | Electronic color infrared camera |
US6999119B1 (en) * | 1998-04-10 | 2006-02-14 | Nikon Corporation | Image-capturing element, image-capturing circuit for processing signal from image-capturing element, image-capturing device, driving method of image-capturing element |
US7961235B2 (en) * | 2003-10-31 | 2011-06-14 | Hewlett-Packard Development Company, L.P. | Imaging apparatuses, image data processing methods, and articles of manufacture |
US7293712B2 (en) | 2004-10-05 | 2007-11-13 | Hand Held Products, Inc. | System and method to automatically discriminate between a signature and a dataform |
US7568628B2 (en) * | 2005-03-11 | 2009-08-04 | Hand Held Products, Inc. | Bar code reading device with global electronic shutter control |
CN201117008Y (zh) * | 2005-06-27 | 2008-09-17 | 手持产品公司 | 条形码读取设备、标记阅读设备和数据采集设备 |
US7978240B2 (en) * | 2005-10-03 | 2011-07-12 | Konica Minolta Photo Imaging, Inc. | Enhancing image quality imaging unit and image sensor |
US7740176B2 (en) | 2006-06-09 | 2010-06-22 | Hand Held Products, Inc. | Indicia reading apparatus having reduced trigger-to-read time |
US7784696B2 (en) | 2006-06-09 | 2010-08-31 | Hand Held Products, Inc. | Indicia reading apparatus having image sensing and processing circuit |
JP2008306379A (ja) * | 2007-06-06 | 2008-12-18 | Toshiba Corp | 固体撮像素子 |
-
2010
- 2010-06-30 US US12/827,619 patent/US8345117B2/en active Active
-
2011
- 2011-06-23 EP EP11171200A patent/EP2410463A1/en not_active Withdrawn
- 2011-06-24 JP JP2011140656A patent/JP6039889B2/ja active Active
- 2011-06-29 CN CN201610222910.3A patent/CN105893903B/zh active Active
- 2011-06-29 CN CN201110226286.1A patent/CN102316328B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000023174A (ja) * | 1998-07-01 | 2000-01-21 | Ricoh Co Ltd | 画像処理装置及び画像処理方法 |
JP2005348170A (ja) * | 2004-06-03 | 2005-12-15 | Ricoh Co Ltd | 画像読み取り装置、画像処理装置、画像形成装置、画像処理方法、コンピュータプログラム及び記録媒体 |
JP2006165975A (ja) * | 2004-12-07 | 2006-06-22 | Konica Minolta Photo Imaging Inc | 撮像素子、撮像装置、画像処理方法 |
JP2008533590A (ja) * | 2005-03-11 | 2008-08-21 | ハンド ヘルド プロダクツ インコーポレーティッド | 単色およびカラーのハイブリッドイメージセンサアレイを持つデジタル画像取得光学式リーダー |
US20060283952A1 (en) * | 2005-06-03 | 2006-12-21 | Wang Ynjiun P | Optical reader having reduced specular reflection read failures |
JP2006350544A (ja) * | 2005-06-14 | 2006-12-28 | Hitachi Omron Terminal Solutions Corp | 画像読み取り装置 |
JP2009504012A (ja) * | 2005-07-28 | 2009-01-29 | イーストマン コダック カンパニー | カラー画素とパンクロ画素の処理 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10624583B2 (en) * | 2012-11-09 | 2020-04-21 | Nonin Medical, Inc. | Reactance sensing for improved sensor placement |
CN105830090A (zh) * | 2013-10-04 | 2016-08-03 | 伊克莱瑞迪公司 | 使用阵列传感器以传感器的全分辨率测量多种类型数据的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105893903B (zh) | 2019-02-12 |
EP2410463A1 (en) | 2012-01-25 |
US20120002066A1 (en) | 2012-01-05 |
US8345117B2 (en) | 2013-01-01 |
CN105893903A (zh) | 2016-08-24 |
CN102316328B (zh) | 2016-04-13 |
CN102316328A (zh) | 2012-01-11 |
JP6039889B2 (ja) | 2016-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6039889B2 (ja) | モノクロ画像データおよびカラー画像データを出力する端末 | |
US9609241B2 (en) | Image sensor pixel array having output response curve including logarithmic pattern for image sensor based terminal | |
EP3145173B1 (en) | Apparatus comprising image sensor array having global shutter shared by a plurality of pixels | |
JP5592643B2 (ja) | フレーム処理を含む証印読取端末 | |
US9519815B2 (en) | Optical indicia reading terminal with color image sensor | |
US9407840B2 (en) | Imaging apparatus comprising image sensor array having shared global shutter circuitry | |
US8910875B2 (en) | Indicia reading terminal with color frame processing | |
US8903172B2 (en) | Imaging terminal operative for decoding | |
US20110080500A1 (en) | Imaging terminal, imaging sensor having multiple reset and/or multiple read mode and methods for operating the same | |
EP2284766B1 (en) | Indicia reading terminal having multiple exposure periods | |
US8218027B2 (en) | Imaging terminal having color correction | |
WO2013033866A1 (en) | Terminal having image data format conversion | |
EP2562680B1 (en) | Optical indicia reading terminal with color image sensor | |
US20230231979A1 (en) | Image signal processor processing image data having non-bayer pattern and image processing device including same | |
CN116506747A (zh) | 图像传感器、图像处理系统及其操作方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140624 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150219 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20150519 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150619 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151111 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20160212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160511 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161007 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161107 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6039889 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |