JP2010041349A - Image processor and image forming apparatus provided with same - Google Patents
Image processor and image forming apparatus provided with same Download PDFInfo
- Publication number
- JP2010041349A JP2010041349A JP2008201420A JP2008201420A JP2010041349A JP 2010041349 A JP2010041349 A JP 2010041349A JP 2008201420 A JP2008201420 A JP 2008201420A JP 2008201420 A JP2008201420 A JP 2008201420A JP 2010041349 A JP2010041349 A JP 2010041349A
- Authority
- JP
- Japan
- Prior art keywords
- image
- color
- identification
- unit
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Color, Gradation (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
Description
本発明は、画像入力部により原稿画像が光電変換された画像データをカラー画像として処理するかモノクロ画像として処理するかを識別する画像識別部を備えている画像処理装置及び当該画像処理装置を備えた画像形成装置に関する。 The present invention includes an image processing apparatus including an image identification unit that identifies whether image data obtained by photoelectrically converting a document image by an image input unit is processed as a color image or a monochrome image, and the image processing apparatus. The present invention relates to an image forming apparatus.
特許文献1には、スキャナなどの画像入力部により原稿画像が光電変換された画像データを構成する各画素の彩度を求め、当該彩度がある閾値以上の画素の存在個数が予め定められた個数以上であるか否かに基づいて当該画像データのカラー判定を行なう画像処理装置が開示されている。このように画像データのカラー判定を自動で行なう機能は、オートカラーセレクト(Auto Color Select:以下、「ACS」と記載する。)と呼ばれている。 In Patent Document 1, the saturation of each pixel constituting image data obtained by photoelectrically converting a document image by an image input unit such as a scanner is obtained, and the number of pixels whose saturation is equal to or greater than a threshold value is determined in advance. An image processing apparatus that performs color determination of the image data based on whether or not the number is greater than or equal to the number is disclosed. The function of automatically determining the color of the image data in this way is called auto color select (hereinafter referred to as “ACS”).
ところで、画像入力部で原稿画像を画像データに光電変換する際に、CCD特性やレンズ特性などに基づくノイズ成分が当該画像データに重畳し、各画素の彩度が変化することがある。画像データに施される画像処理によっても、同様に各画素の彩度が変化することがある。 By the way, when a document image is photoelectrically converted into image data by the image input unit, noise components based on CCD characteristics, lens characteristics, and the like are superimposed on the image data, and the saturation of each pixel may change. Similarly, the saturation of each pixel may change depending on the image processing performed on the image data.
このような現象により彩度が変化して、当該彩度がACSによるカラー判定の閾値を超えた画素は、モノクロ画素として判断されるべきであるにも関わらずカラー画素であるものとして誤判断されてしまう。ACSでは、誤判断されたカラー画素と本来のカラー画素を区別できないため、画像データに含まれるカラー画素の存在個数が予め定められた個数に近い値になると、誤ったカラー判定が下されることがある。 A pixel whose saturation has changed due to such a phenomenon and whose saturation has exceeded the threshold for color determination by ACS is erroneously determined as a color pixel even though it should be determined as a monochrome pixel. End up. In ACS, since an erroneously determined color pixel cannot be distinguished from the original color pixel, an erroneous color determination is made when the number of color pixels included in the image data is close to a predetermined number. There is.
このような誤ったカラー判定が生じる可能性を低下させるものとして、特許文献2には、原稿画像がカラー画像かモノクロ画像か、あるいは、両者の判別が微妙な不定画像かを、所定のレベルに基づいて判定する判定手段と、前記判定手段による判定結果を表示する第1の表示手段とを備えた、画像判定装置が開示されている。 As a technique for reducing the possibility of such erroneous color determination, Patent Document 2 discloses whether a document image is a color image or a monochrome image, or whether the determination of both is an indefinite image, at a predetermined level. An image determination apparatus is disclosed that includes a determination unit that makes a determination based on a first display unit that displays a determination result obtained by the determination unit.
特許文献1に開示された画像処理装置に特許文献2に開示された画像判定装置を備えることで、ACSによるカラー判定が困難な画像データに対する判定結果を第1の表示手段で表示して当該カラー判定に対するオペレータの判断を仰ぎ、誤判定を防止することができる。
しかし、特許文献2に開示された画像判定装置を用いる場合、オペレータは、ACSでカラー判定が困難な画像データを扱う毎に、原稿画像を確認して判断を下さねばならず、作業効率や生産性の著しい低下を招いていた。 However, when using the image determination device disclosed in Patent Document 2, every time the operator handles image data for which it is difficult to perform color determination by ACS, the operator must check the document image to make a determination. It has caused a significant decline in sex.
本発明の目的は、上記の問題点に鑑み、オペレータの手を煩わせることなく、オペレータの所望の識別基準に基づいて画像データのカラー判定を行なうことができる画像処理装置及び当該画像処理装置を備えた画像形成装置を提供する点にある。 In view of the above problems, an object of the present invention is to provide an image processing apparatus and an image processing apparatus that can perform color determination of image data based on an operator's desired identification standard without bothering the operator. An image forming apparatus provided is provided.
上記目的を達成するために、本発明による画像処理装置の第一の特徴構成は、特許請求の範囲の書類の請求項1に記載した通り、画像入力部により原稿画像が光電変換された画像データをカラー画像として処理するかモノクロ画像として処理するかを識別する画像識別部を備えている画像処理装置であって、前記画像入力部により予めカラー画像またはモノクロ画像と識別されるべき基準原稿が光電変換された基準画像データに対する色空間特性を算出し、当該色空間特性を識別基準データとして記憶部に記憶する画像識別学習部を備え、前記画像識別部は前記識別基準データに基づいて前記画像データをカラー画像として処理するかモノクロ画像として処理するかを識別する点にある。 In order to achieve the above object, a first characteristic configuration of an image processing apparatus according to the present invention is image data obtained by photoelectrically converting a document image by an image input unit as described in claim 1 of the claims. The image processing apparatus includes an image identification unit that identifies whether the image is to be processed as a color image or a monochrome image, and a reference document that should be previously identified as a color image or a monochrome image by the image input unit is photoelectric. An image identification learning unit that calculates color space characteristics for the converted reference image data and stores the color space characteristics as identification reference data in a storage unit, and the image identification unit includes the image data based on the identification reference data Is to be processed as a color image or a monochrome image.
任意の基準画像を画像入力部で光電変換させることで、画像識別部が画像データを識別する際の基準となる識別基準データを任意に変更することができ、所望の識別結果を得ることができる。 By subjecting an arbitrary reference image to photoelectric conversion at the image input unit, it is possible to arbitrarily change the identification reference data used as a reference when the image identification unit identifies image data, and a desired identification result can be obtained. .
同第二の特徴構成は、同請求項2に記載した通り、上述の第一特徴構成に加えて、前記基準画像データの構成画素が所定の色空間を分割した複数の領域の何れに属するかを示すヒストグラムで前記色空間特性が定義され、前記画像識別部は前記画像データに対する色空間特性と前記基準画像データに対する色空間特性の類似度に基づいて前記画像データをカラー画像として処理するかモノクロ画像として処理するかを識別する点にある。 In the second feature configuration, as described in claim 2, in addition to the first feature configuration described above, which of the plurality of regions into which the constituent pixels of the reference image data are divided into a predetermined color space belongs The color space characteristic is defined by a histogram indicating the image data, and the image identification unit processes the image data as a color image based on a similarity between the color space characteristic for the image data and the color space characteristic for the reference image data, or a monochrome image. The point is to identify whether to process as an image.
ヒストグラムで色空間特性を定義することで、画像データの色空間特性と基準画像データの色空間特性の類似度を容易に識別することができる。 By defining the color space characteristics with the histogram, the similarity between the color space characteristics of the image data and the color space characteristics of the reference image data can be easily identified.
同第三の特徴構成は、同請求項3に記載した通り、上述の第一または第二の特徴構成に加えて、前記識別基準データの何れを採用するかを選択する識別基準データ選択部を備えている点にある。 In addition to the first or second feature configuration described above, the third feature configuration includes an identification reference data selection unit that selects which of the identification reference data is to be used. It is in the point to have.
画像識別学習部により予め複数の識別基準データを記憶部に記憶し、識別基準データ選択部で任意の識別基準データを選択することで、画像識別部で所望の識別結果を得ることができる。 By storing a plurality of identification reference data in the storage unit in advance by the image identification learning unit and selecting arbitrary identification reference data by the identification reference data selection unit, a desired identification result can be obtained by the image identification unit.
同第四の特徴構成は、同請求項4に記載した通り、上述の第一から第三の何れかの特徴構成に加えて、前記画像識別部は、前記画像データを構成する所定画素がカラー画素であるかモノクロ画素であるかを識別し、識別されたカラー画素数またはモノクロ画素数に基づいて前記画像データをカラー画像として処理するかモノクロ画像として処理するかを識別するように構成され、前記カラー画素数またはモノクロ画素数に基づいて識別できないときに、前記識別基準データに基づいて識別する点にある。 In the fourth feature configuration, as described in claim 4, in addition to any of the first to third feature configurations described above, the image identification unit is configured such that a predetermined pixel constituting the image data is a color. Identifying whether it is a pixel or a monochrome pixel, and configured to identify whether to process the image data as a color image or a monochrome image based on the number of identified color pixels or the number of monochrome pixels; When identification cannot be performed based on the number of color pixels or the number of monochrome pixels, identification is performed based on the identification reference data.
カラー画素数またはモノクロ画素数に基づいてカラー画像であるのかモノクロ画像であるのかを識別することが困難な画像データであっても、画像識別部で確実に識別することができる。 Even image data that is difficult to identify whether it is a color image or a monochrome image based on the number of color pixels or the number of monochrome pixels can be reliably identified by the image identification unit.
本発明による画像形成装置の特徴構成は、同請求項5に記載した通り、上述の第一から第四の何れかの特徴構成を備えた画像処理装置を備え、前記画像識別部による識別結果に基づいて前記画像データをカラープリントするかモノクロプリントするかを切り替えて出力する画像出力部を備えている点にある。 The characteristic configuration of the image forming apparatus according to the present invention includes the image processing apparatus having any one of the first to fourth characteristic configurations described above, and includes the identification result obtained by the image identification unit. On the basis of this, an image output unit is provided that outputs the image data by switching between color printing and monochrome printing.
例えば、カラー画像とモノクロ画像が混在した複数の画像データを画像出力部で出力するようなときに、画像出力部で各画像データをカラープリントするかモノクロプリントするかを手動で切り替える必要はなく、作業効率や生産性が向上する。 For example, when outputting a plurality of image data in which a color image and a monochrome image are mixed with the image output unit, there is no need to manually switch between color printing and monochrome printing of each image data in the image output unit, Work efficiency and productivity are improved.
上述のように、本発明によれば、オペレータの手を煩わせることなく、オペレータの所望の識別基準に基づいて画像データのカラー判定を行なうことができる画像処理装置及び当該画像処理装置を備えた画像形成装置を提供することができるようになった。 As described above, according to the present invention, an image processing apparatus capable of performing color determination of image data based on an operator's desired identification standard without bothering the operator and the image processing apparatus are provided. An image forming apparatus can be provided.
以下、本発明の画像処理装置を備えた画像形成装置の一例としてのデジタル
複写機(以下、単に「複写機」と記載する。)について説明する。
A digital copying machine (hereinafter simply referred to as “copying machine”) as an example of an image forming apparatus provided with the image processing apparatus of the present invention will be described below.
図1に示すように、複写機1は、原稿画像を光電変換して画像データを入力するスキャナ3と、マンマシンインタフェースである操作部6と、スキャナ3から入力された画像データを操作部6で設定された画像処理条件に基づいて変換処理する画像処理部4と、画像処理部4で画像処理された画像データをプリントするプリントエンジン7を備えている。 As shown in FIG. 1, the copying machine 1 includes a scanner 3 that photoelectrically converts a document image and inputs image data, an operation unit 6 that is a man-machine interface, and an operation unit 6 that receives image data input from the scanner 3. The image processing unit 4 that performs conversion processing based on the image processing conditions set in step 1 and the print engine 7 that prints the image data image-processed by the image processing unit 4 are provided.
スキャナ3は、原稿に光束を照射する光源と、原稿からの反射光を集光してCCDに導く複数のミラーとレンズと、反射光を受光してRGB成分を有するアナログ画像データを生成するCCDを備えている。画像処理部4は、画像処理用ASICで構成されている。 The scanner 3 includes a light source that irradiates a light beam on a document, a plurality of mirrors and lenses that collect reflected light from the document and guides it to the CCD, and a CCD that receives the reflected light and generates analog image data having RGB components. It has. The image processing unit 4 is composed of an image processing ASIC.
操作部6は、コピー枚数を設定する数値キーやコピー動作の開始時などに操作するコピーキーなどのハードウェアキーと、拡縮設定や濃度設定などの画像処理条件を設定する操作画面を表示する液晶パネルなどで構成される表示部を備えている。プリントエンジン7は、電子写真方式を採用し、感光体と露光装置と現像装置などを備えた感光体ユニットと、定着装置などを備えている。 The operation unit 6 displays a numeric key for setting the number of copies, a hardware key such as a copy key operated at the start of a copy operation, and an operation screen for setting image processing conditions such as enlargement / reduction setting and density setting. A display unit including a panel or the like is provided. The print engine 7 employs an electrophotographic system, and includes a photoconductor unit including a photoconductor, an exposure device, and a developing device, and a fixing device.
複写機1はシステム制御部2を備えている。システム制御部2は、コマンドデータを伝送するコマンドバス10または画像データを伝送する画像バス11を介して、スキャナ3を制御するスキャナ制御部30と、画像処理部4と、半導体メモリなどでなるメモリ5への画像データの記憶を制御するメモリ制御部5と、操作部6を制御する操作制御部60と、プリントエンジン7を制御するエンジン制御部70と接続されている。 The copying machine 1 includes a system control unit 2. The system control unit 2 includes a scanner control unit 30 that controls the scanner 3 via the command bus 10 that transmits command data or the image bus 11 that transmits image data, an image processing unit 4, and a memory including a semiconductor memory. 5 is connected to a memory control unit 5 that controls storage of image data in 5, an operation control unit 60 that controls the operation unit 6, and an engine control unit 70 that controls the print engine 7.
システム制御部2は、スキャナ制御部30とメモリ制御部5と操作制御部60とエンジン制御部70を介して、複写機1を統括制御する。システム制御部2とスキャナ制御部30とメモリ制御部5と操作制御部60とエンジン制御部70は、CPUとCPUの動作プログラムが格納されたROMとCPUの作業領域となるRAMとインタフェース回路などの周辺回路を備えた制御基板で構成されている。 The system control unit 2 controls the copier 1 through the scanner control unit 30, the memory control unit 5, the operation control unit 60, and the engine control unit 70. The system control unit 2, the scanner control unit 30, the memory control unit 5, the operation control unit 60, and the engine control unit 70 are a ROM storing a CPU, a CPU operation program, a RAM serving as a work area of the CPU, an interface circuit, and the like. It consists of a control board with peripheral circuits.
原稿画像を複写するため操作部6に備えられたコピーキーが操作されると、当該操作を検出した操作制御部60からシステム制御部2に複写動作開始要求のコマンドが入力される。また、操作部6で設定された画像処理条件が操作制御部60からシステム制御部2に入力される。 When a copy key provided in the operation unit 6 is operated to copy a document image, a copy operation start request command is input to the system control unit 2 from the operation control unit 60 that has detected the operation. Further, the image processing conditions set by the operation unit 6 are input from the operation control unit 60 to the system control unit 2.
システム制御部2は、スキャナ制御部30にスキャナ3からの画像データの入力を要求するコマンドを出力する。画像処理部4にスキャナ3から入力された画像データに実行すべき画像処理条件をセットする。エンジン制御部70に画像処理部4で画像処理された画像データのプリントを要求するコマンドを出力する。 The system control unit 2 outputs a command requesting the scanner control unit 30 to input image data from the scanner 3. An image processing condition to be executed is set on the image data input from the scanner 3 in the image processing unit 4. A command requesting printing of the image data processed by the image processing unit 4 is output to the engine control unit 70.
スキャナ制御部30は、原稿画像をスキャナ3で光電変換したアナログデータでなる画像データを画像処理部4に入力する。 The scanner control unit 30 inputs image data composed of analog data obtained by photoelectrically converting a document image by the scanner 3 to the image processing unit 4.
図2に示すように、画像処理部4は、複数の画像処理ブロックを備えている。夫々の画像処理ブロックは、スキャナ3から入力された画像データをA/D変換してデジタルデータでなる画像データを生成する。当該画像データにシェーディング補正、ライン補正及び空間周波数などを補正するMTF補正を施す。また、写真領域、文字領域、網点領域に当該画像データを像域分離するとともに、ACS機能により当該画像データがカラー画像であるかモノクロ画像であるかを自動判別する。 As shown in FIG. 2, the image processing unit 4 includes a plurality of image processing blocks. Each image processing block A / D converts the image data input from the scanner 3 to generate image data composed of digital data. The image data is subjected to shading correction, line correction, and MTF correction for correcting the spatial frequency. In addition, the image data is separated into a photo area, a character area, and a halftone dot area, and whether the image data is a color image or a monochrome image is automatically determined by an ACS function.
ACS機能による判別結果に基づいて、画像データの色空間をRGBからKまたはCMYKに変換し、当該画像データをモアレ除去し、変倍処理し、墨入れ処理し、ガンマ補正し、像域分離した各領域に応じてフィルタ処理し、2値化処理してメモリ50へDMA転送する。 Based on the determination result by the ACS function, the color space of the image data is converted from RGB to K or CMYK, the image data is demoired, scaled, inked, gamma corrected, and image area separated. Filter processing according to each area, binarization processing, and DMA transfer to the memory 50.
エンジン制御部70は、画像処理部4で画像処理された画像データをメモリ50から読み出し、当該画像データに基づいて、感光体ユニットで用紙にトナー画像を転写し、定着部で当該用紙にトナー画像を熱定着して当該用紙を排紙する。 The engine control unit 70 reads out the image data image-processed by the image processing unit 4 from the memory 50, transfers the toner image onto the paper by the photosensitive unit based on the image data, and the toner image on the paper at the fixing unit. The sheet is discharged after heat fixing.
図3に示すように、複写機1は画像処理装置8を備えている。画像処理装置8は、スキャナ3により原稿画像が光電変換された画像データをカラー画像として処理するかモノクロ画像として処理するかを識別する画像識別部80を備えている。具体的に、画像識別部80は、画像処理部4に備えられた画像処理ブロックで構成されている。 As shown in FIG. 3, the copying machine 1 includes an image processing device 8. The image processing apparatus 8 includes an image identification unit 80 that identifies whether image data obtained by photoelectrically converting a document image by the scanner 3 is processed as a color image or a monochrome image. Specifically, the image identification unit 80 includes image processing blocks provided in the image processing unit 4.
画像識別部80は、画像データを構成する所定画素がカラー画素であるかモノクロ画素であるかを識別し、識別されたカラー画素数に基づいて画像データをカラー画像として処理するかモノクロ画像として処理するかを識別する。 The image identification unit 80 identifies whether the predetermined pixel constituting the image data is a color pixel or a monochrome pixel, and processes the image data as a color image or a monochrome image based on the identified number of color pixels Identify what to do.
図4(a)に示すように、画像識別部80は、画像データを同一サイズの複数領域に分割する。なお、図4(a)は、同一サイズの36個の領域に分割された画像データを示しているが、分割数は36個に限定するものではなく、任意の数でよい。 As shown in FIG. 4A, the image identification unit 80 divides the image data into a plurality of regions having the same size. FIG. 4A shows image data divided into 36 regions of the same size, but the number of divisions is not limited to 36 and may be any number.
画像識別部80は、画像データを構成する各画素のRGB成分の最大値と最小値の差分値を求め、当該差分値が所定閾値以上の画素をカラー画素と識別し、当該差分値が所定閾値未満の画素をモノクロ画素と識別する。 The image identification unit 80 obtains a difference value between the maximum and minimum RGB components of each pixel constituting the image data, identifies a pixel having the difference value equal to or greater than a predetermined threshold value as a color pixel, and the difference value is determined to be the predetermined threshold value. Pixels less than that are identified as monochrome pixels.
所定個数以上のカラー画素を含む領域をカラー領域と識別し、カラー画素数が所定個数未満である領域をモノクロ領域と識別する。画像データが所定数を超えるカラー領域を含んでいるとき、当該画像データはカラー画像として処理する画像データであると識別する。カラー領域数が所定数未満である画像データはモノクロ画像として処理する画像データであると識別する。 An area including a predetermined number or more of color pixels is identified as a color area, and an area where the number of color pixels is less than the predetermined number is identified as a monochrome area. When the image data includes a color area exceeding a predetermined number, the image data is identified as image data to be processed as a color image. Image data whose number of color areas is less than a predetermined number is identified as image data to be processed as a monochrome image.
このとき、画像データに含まれるカラー領域数が所定数と同一であると、画像識別部80は、上述の方法に従って当該画像データを識別することができない。そこで、このような画像データを識別する際の基準となる基準原稿をスキャナ3で光電変換して生成した基準画像データに基づいて、画像識別部80は、当該画像データの識別を行なうように構成されている。 At this time, if the number of color regions included in the image data is the same as the predetermined number, the image identification unit 80 cannot identify the image data according to the above-described method. Therefore, the image identification unit 80 is configured to identify the image data based on the reference image data generated by photoelectrically converting the reference document serving as a reference for identifying such image data with the scanner 3. Has been.
図3に示すように、画像処理装置8は、スキャナ3により予めカラー画像と識別されるべき基準原稿が光電変換された基準画像データに対する色空間特性を算出し、当該色空間特性を識別基準データとして記憶部82に記憶する画像識別学習部81を備えている。画像識別学習部81は、画像処理部4に備えられた画像処理ブロックで構成され、記憶部82はメモリ50で構成されている。 As shown in FIG. 3, the image processing apparatus 8 calculates color space characteristics for reference image data obtained by photoelectrically converting a reference document to be identified as a color image by the scanner 3 in advance, and uses the color space characteristics as identification reference data. The image identification learning part 81 memorize | stored in the memory | storage part 82 is provided. The image identification learning unit 81 includes an image processing block provided in the image processing unit 4, and the storage unit 82 includes a memory 50.
画像識別部80は、カラー画素数に基づいて識別できないときに、識別基準データに基づいて画像データをカラー画像として処理するかモノクロ画像として処理するかを識別する。つまり、カラー領域数が所定数と同一である画像データについて、画像識別部80は、識別基準データに基づいて画像データを識別するように構成されている。 When the image identification unit 80 cannot identify based on the number of color pixels, the image identification unit 80 identifies whether to process the image data as a color image or a monochrome image based on the identification reference data. That is, the image identification unit 80 is configured to identify image data based on the identification reference data for image data having the same number of color regions as the predetermined number.
図4(b)に示すように、画像識別学習部81は、RGB色空間を同一サイズの複数のブロックに分割し、画像データを構成する各画素が何れのブロックに属するか判断して、各画素をブロック毎に分類する。図4(b)では、各RGB成分を夫々8ビットで表現し、RGB色空間を同一サイズの64個のブロックに分割している。例えば、ブロックCxには、(R<191〜255>,G<191〜255>,B<191〜255>)の色成分を有する画素が分類される。 As shown in FIG. 4 (b), the image identification learning unit 81 divides the RGB color space into a plurality of blocks of the same size, determines which block constituting each pixel of the image data belongs, The pixels are classified into blocks. In FIG. 4B, each RGB component is represented by 8 bits, and the RGB color space is divided into 64 blocks of the same size. For example, in the block Cx, pixels having color components of (R <191 to 255>, G <191 to 255>, B <191 to 255>) are classified.
カラー画像として識別すべき画像データの基準となる識別基準データを記憶部82に記憶するため、オペレータがスキャナ3で基準原稿を読み取らせると、画像識別学習部81は、当該基準原稿がスキャナ3で光電変換された基準画像データの構成画素が所定の色空間を分割した複数の領域の何れに属するかを示すヒストグラムで当該基準画像データの色空間特性を定義する。 In order to store identification reference data serving as a reference for image data to be identified as a color image in the storage unit 82, when the operator causes the scanner 3 to read the reference document, the image identification learning unit 81 uses the scanner 3 to read the reference document. A color space characteristic of the reference image data is defined by a histogram indicating which of the plurality of regions obtained by dividing the predetermined color space the constituent pixels of the reference image data subjected to photoelectric conversion belong to.
つまり、図5(a)に示すように、画像識別学習部81は、図4(b)に示すRGB色空間の各ブロックのブロック番号と、各ブロックに属する基準画像データの構成画素数の関係を示すヒストグラムを生成し、当該ヒストグラムを基準画像データの色空間特性として定義する。そして、当該色空間特性を識別基準データとして記憶部82に記憶する。 That is, as shown in FIG. 5A, the image identification learning unit 81 has a relationship between the block number of each block in the RGB color space shown in FIG. 4B and the number of constituent pixels of the reference image data belonging to each block. Is generated, and the histogram is defined as the color space characteristic of the reference image data. The color space characteristics are stored in the storage unit 82 as identification reference data.
画像識別部80は、図4(b)に示すRGB色空間の各ブロックのブロック番号と、各ブロックに属する画像データの構成画素数の関係を示すヒストグラムを画像データの色空間特性として生成し、当該画像データに対する色空間特性と基準画像データに対する色空間特性の類似度に基づいて画像データをカラー画像として処理するかモノクロ画像として処理するかを識別する。 The image identification unit 80 generates a histogram showing the relationship between the block number of each block in the RGB color space shown in FIG. 4B and the number of constituent pixels of the image data belonging to each block as the color space characteristics of the image data, Whether the image data is processed as a color image or a monochrome image is identified based on the similarity between the color space characteristic for the image data and the color space characteristic for the reference image data.
図5(b)に示すように、画像識別部80は、識別基準データ及び識別すべき画像データのヒストグラムの夫々から、画素数が多い上位二つのブロックのブロック番号を夫々の特徴ブロック番号として求める。なお、図5(b)は識別基準データから求めた特徴ブロック番号を示している。特徴ブロック番号が一致するとき、画像識別部80は、基準画像データと識別すべき画像データは類似していると判別し、当該識別すべき画像データをカラー画像として処理するものとして識別する。 As shown in FIG. 5B, the image identification unit 80 obtains the block numbers of the upper two blocks having the largest number of pixels as the respective characteristic block numbers from the identification reference data and the histogram of the image data to be identified. . FIG. 5B shows the characteristic block number obtained from the identification reference data. When the feature block numbers match, the image identification unit 80 determines that the image data to be identified is similar to the reference image data, and identifies that the image data to be identified is to be processed as a color image.
画像データの色空間を変換する画像処理部4の画像処理ブロックは、画像識別部80の識別結果に基づいて、画像データの色空間をRGBからKまたはCMYKを変換する。エンジン制御部70は、プリントエンジン7を制御して、当該画像データをプリントする。 The image processing block of the image processing unit 4 that converts the color space of the image data converts the color space of the image data from RGB to K or CMYK based on the identification result of the image identification unit 80. The engine control unit 70 controls the print engine 7 to print the image data.
つまり、プリントエンジン7は本発明の画像出力部であり、画像識別部80による識別結果に基づいて画像データをカラープリントするかモノクロプリントするかを切り替えて出力する。 That is, the print engine 7 is an image output unit of the present invention, and switches and outputs whether the image data is color printed or monochrome printed based on the identification result by the image identifying unit 80.
以下、図6に示すフローチャートを用いて、画像処理装置8による画像データの識別動作について説明する。 Hereinafter, the image data identifying operation by the image processing apparatus 8 will be described with reference to the flowchart shown in FIG.
複写機1で一連の原稿の複写を行なうに際して、識別基準データを設定するための操作が操作部6で行われて基準原稿がスキャナ3で読み取られ、当該基準原稿が光電変換された基準画像データがスキャナ3から入力されるとともに、画像識別学習部81が起動する(S1)。 When copying a series of originals by the copying machine 1, an operation for setting identification reference data is performed by the operation unit 6, the reference original is read by the scanner 3, and the reference image data is obtained by photoelectrically converting the reference original. Is input from the scanner 3 and the image identification learning unit 81 is activated (S1).
画像識別学習部81は、当該基準画像データに対する色空間特性を示すヒストグラムを生成し、当該ヒストグラムを識別基準データとして記憶部82に記憶する(S2)。画像識別学習部81は、当該記憶作業が完了すると停止する。 The image identification learning unit 81 generates a histogram indicating color space characteristics for the reference image data, and stores the histogram in the storage unit 82 as identification reference data (S2). The image identification learning unit 81 stops when the storage operation is completed.
不図示の原稿載置部に一連の原稿がセットされて、コピーキーが操作されると(S3)、画像識別部80が起動するとともに、スキャナ3により原稿画像が光電変換された画像データが入力される(S4)。 When a series of documents is set on a document placement unit (not shown) and the copy key is operated (S3), the image identification unit 80 is activated and image data obtained by photoelectrically converting the document image by the scanner 3 is input. (S4).
画像識別部80は、画像データの構成画素のカラー識別を行い、カラー画素数に基づいてカラー領域数を計数する(S5)。画像識別部80は、カラー領域数が所定数より多いとき(S6)、当該画像データをカラー画像として処理すべき画像データと識別する(S7)。カラー領域数が所定数より少ないとき(S8)、当該画像データをモノクロ画像として処理すべき画像データと識別する(S9)。 The image identification unit 80 performs color identification of the constituent pixels of the image data, and counts the number of color areas based on the number of color pixels (S5). When the number of color areas is greater than the predetermined number (S6), the image identification unit 80 identifies the image data as image data to be processed as a color image (S7). When the number of color areas is smaller than the predetermined number (S8), the image data is identified as image data to be processed as a monochrome image (S9).
画像識別部80は、カラー領域数が所定数と同数であるとき(S8)、当該画像データの色空間特性を示すヒストグラムを生成する(S10)。画像識別部80は、当該ヒストグラムと記憶部82に記憶された識別基準データが類似するとき(S11)、当該画像データをカラー画像として処理すべき画像データと識別する(S7)。類似しないとき(S11)、当該画像データをモノクロ画像として処理すべき画像データと識別する(S9)。 When the number of color regions is the same as the predetermined number (S8), the image identification unit 80 generates a histogram indicating the color space characteristics of the image data (S10). When the histogram and the identification reference data stored in the storage unit 82 are similar (S11), the image identification unit 80 identifies the image data as image data to be processed as a color image (S7). When they are not similar (S11), the image data is identified as image data to be processed as a monochrome image (S9).
一連の原稿の複写が完了するまで(S12)、ステップS5からS11までの動作を繰り返し、当該複写が完了すると(S12)、画像識別部80は停止する。 Until the copying of a series of originals is completed (S12), the operations from steps S5 to S11 are repeated. When the copying is completed (S12), the image identification unit 80 stops.
以下に別実施形態を説明する。 Another embodiment will be described below.
上述の実施形態では、画像識別部80は、スキャナ3から入力された基準画像データから画像識別学習部81が算出して記憶部82に記憶した色空間特性に基づいて、画像データの識別を行なうものとして説明したが、画像処理装置8に識別基準データの何れを採用するかを選択する識別基準データ選択部を備え、当該識別基準データ選択部が記憶部82から選択した識別基準データに基づいて、画像識別部80が画像データを識別するものであってもよい。以下に詳述する。 In the above-described embodiment, the image identification unit 80 identifies image data based on the color space characteristics calculated by the image identification learning unit 81 from the reference image data input from the scanner 3 and stored in the storage unit 82. As described above, the image processing apparatus 8 includes an identification reference data selection unit that selects which of the identification reference data is to be adopted, and the identification reference data selection unit selects the reference data selected from the storage unit 82 based on the identification reference data. The image identification unit 80 may identify image data. This will be described in detail below.
識別基準データ選択部は、例えば、システム制御部2に備えられる。当該識別基準データ選択部は、CPUが動作プログラムを実行してシステム制御部2に具現化される機能ブロックである。 The identification reference data selection unit is provided in the system control unit 2, for example. The identification reference data selection unit is a functional block embodied in the system control unit 2 by the CPU executing an operation program.
識別基準データを記憶部82に記憶する操作画面が操作されると、当該操作を検出した操作制御部60からの指令によって画像識別学習部81が起動する。当該操作は、任意のタイミングで行えばよい。 When the operation screen for storing the identification reference data in the storage unit 82 is operated, the image identification learning unit 81 is activated by a command from the operation control unit 60 that detects the operation. The operation may be performed at an arbitrary timing.
複写機1で複写を行なうに際して、識別基準データを選択する操作画面を呼び出す操作が操作部6で行われると、識別基準データ選択部が起動する。識別基準データ選択部は、記憶部82に記憶された識別基準データの一覧を表示する操作画面を、操作制御部60を介して操作部6に表示し、当該操作画面に対する操作に基づいて識別基準データを選択する。 When copying is performed by the copying machine 1, when an operation for calling an operation screen for selecting identification reference data is performed on the operation unit 6, the identification reference data selection unit is activated. The identification reference data selection unit displays an operation screen that displays a list of identification reference data stored in the storage unit 82 on the operation unit 6 via the operation control unit 60, and is based on an operation on the operation screen. Select data.
画像識別部80は、識別基準データ選択部が選択した識別基準データを記憶部82から読み出し、当該識別基準データに基づいて画像データを識別する。当該構成によれば、複写機1で複写を行う度に基準画像をスキャナ3で読み取らせる必要がなく、操作性や生産性が向上する。 The image identification unit 80 reads the identification reference data selected by the identification reference data selection unit from the storage unit 82, and identifies image data based on the identification reference data. According to this configuration, it is not necessary to read the reference image with the scanner 3 every time copying is performed with the copying machine 1, and operability and productivity are improved.
さらに、各オペレータに対して記憶部82に区画された領域が指定され、画像識別学習部81は、オペレータに対して指定された領域に当該識別基準データを記憶し、識別基準データ選択部は、オペレータに対応する領域から採用する識別基準データを選択するように画像処理装置8が構成されていてもよい。 Further, an area partitioned by the storage unit 82 is designated for each operator, the image identification learning unit 81 stores the identification reference data in the area designated for the operator, and the identification reference data selection unit The image processing apparatus 8 may be configured to select identification reference data to be adopted from a region corresponding to the operator.
この場合、画像識別学習部81及び識別基準データ選択部は、複写機1に備えられたオペレータを認証する認証部の認証結果に基づいて、操作を行なうオペレータを把握する。画像識別学習部81は、把握したオペレータに指定された領域に識別基準データを記憶し、識別基準データ選択部は、当該領域に記憶された識別基準データから採用する識別基準データを選択する。 In this case, the image identification learning unit 81 and the identification reference data selection unit grasp the operator who performs the operation based on the authentication result of the authentication unit that authenticates the operator provided in the copying machine 1. The image identification learning unit 81 stores the identification reference data in the area designated by the grasped operator, and the identification reference data selection unit selects the identification reference data to be adopted from the identification reference data stored in the area.
この構成により、不要な識別基準データに目を通すことなく、オペレータに指定された記憶部82の領域に記憶した識別基準データの中から、容易に採用する識別基準データを選択することができる。 With this configuration, it is possible to easily select the identification reference data to be adopted from the identification reference data stored in the area of the storage unit 82 designated by the operator without looking through unnecessary identification reference data.
上述の実施形態では、画像識別部80は、スキャナ3により予めカラー画像と識別されるべき基準原稿が光電変換された基準画像データに対する色空間特性に基づいて、画像データをカラー画像として処理するかモノクロ画像として処理するか識別するものとして説明したが、スキャナ3により予めモノクロ画像と識別されるべき基準原稿が光電変換された基準画像データに対する色空間特性に基づいて、画像データをカラー画像として処理するかモノクロ画像として処理するか識別するものであってもよい。 In the above-described embodiment, the image identification unit 80 processes the image data as a color image based on the color space characteristics with respect to the reference image data obtained by photoelectrically converting the reference document to be identified as a color image by the scanner 3 in advance. Although described as identifying whether to process as a monochrome image, the image data is processed as a color image based on the color space characteristics with respect to the reference image data obtained by photoelectrically converting a reference document to be identified as a monochrome image by the scanner 3 in advance. It is also possible to identify whether to process as a monochrome image.
上述の実施形態では、画像識別部80は、画像データを構成する所定画素がカラー画素であるかモノクロ画素であるかを識別し、識別されたカラー画素数またはモノクロ画素数に基づいて画像データをカラー画像として処理するかモノクロ画像として処理するかを識別できないときに、識別基準データに基づいて識別するものとしたが、常に識別基準データに基づいて識別するものであってもよい。 In the above-described embodiment, the image identification unit 80 identifies whether the predetermined pixel constituting the image data is a color pixel or a monochrome pixel, and outputs the image data based on the identified number of color pixels or monochrome pixels. When it is not possible to identify whether the image is processed as a color image or a monochrome image, the identification is performed based on the identification reference data. However, the identification may be always performed based on the identification reference data.
上述の実施形態では、RGB色空間を同一サイズの複数のブロックに分割し、画像データを構成する画素が何れのブロックに属するかに基づいて、当該画像データに対する色空間特性として定義するヒストグラムを生成するものとしたが、RGB色空間以外の色空間を複数のブロックに分割して、当該色空間に変換した画像データを構成する画素が当該ブロックの何れに属するかに基づいて、当該画像データに対する色空間特性として定義するヒストグラムを生成するものであってもよい。 In the above-described embodiment, the RGB color space is divided into a plurality of blocks of the same size, and a histogram that is defined as a color space characteristic for the image data is generated based on which block the pixels constituting the image data belong to. Although the color space other than the RGB color space is divided into a plurality of blocks and the pixels constituting the image data converted into the color space belong to the block, A histogram defined as a color space characteristic may be generated.
例えば、HSB色空間や、CMY色空間、YUV色空間などであってもよい。具体的に、HSB色空間を用いる場合には、画像データを構成する画素が、図7に示すようなマンセル表色系の色立体を構成する各ブロックの何れに属するかに基づいて、当該画像データに対する色空間特性として定義するヒストグラムを生成するものであってもよい。 For example, an HSB color space, a CMY color space, a YUV color space, or the like may be used. Specifically, when the HSB color space is used, the image data is determined based on which of the blocks constituting the Munsell color system color solid as shown in FIG. A histogram defined as color space characteristics for data may be generated.
また、円柱状に表現され、H成分を円柱の外周に沿って変化させ、S成分を円柱の軸心からの距離によって変化させ、B成分を軸芯に沿って変化させるHSB色空間を各成分で等間隔に分割してブロックを形成し、画像データを構成する画素が各ブロックの何れに属するかに基づいて、当該画像データに対する色空間特性として定義するヒストグラムを生成するものであってもよい。 In addition, each component represents an HSB color space that is expressed in a cylindrical shape, changes the H component along the outer periphery of the cylinder, changes the S component according to the distance from the axis of the cylinder, and changes the B component along the axis. The block may be divided into equal intervals to form a block, and a histogram defined as color space characteristics for the image data may be generated based on which block the pixels constituting the image data belong to. .
CMY色空間やYUV色空間を用いる場合にもHSB色空間と同様に、夫々の空間を各成分で等間隔に分割してブロックを形成し、画像データを構成する画素が各ブロックの何れに属するかに基づいて、当該画像データに対する色空間特性として定義するヒストグラムを生成するものであってもよい。 Similarly to the HSB color space, when the CMY color space and the YUV color space are used, blocks are formed by dividing each space at equal intervals with each component, and the pixels constituting the image data belong to any of the blocks. On the basis of this, a histogram defined as color space characteristics for the image data may be generated.
上述の実施形態では、画像識別部80は、識別基準データ及び識別すべき画像データのヒストグラムの夫々から、画素数が多い上位二つのブロックのブロック番号を夫々の特徴ブロック番号として求め、特徴ブロック番号が一致するとき、基準画像データと識別すべき画像データは類似していると判別するものとしたが、これに限定するものではない。 In the above-described embodiment, the image identification unit 80 obtains the block numbers of the upper two blocks having the largest number of pixels as the feature block numbers from the identification reference data and the histogram of the image data to be identified, and the feature block numbers. When they match, it is determined that the image data to be identified is similar to the reference image data. However, the present invention is not limited to this.
例えば、閾値画素数を超える画素を含み、かつ、画素数が多い上位二つのブロックのブロック番号を夫々の特徴ブロック番号として求めるものであってもよい。この場合、画像データと基準画像データの類似度がより厳密に判断される。 For example, the block numbers of the upper two blocks that include pixels that exceed the threshold pixel number and that have a large number of pixels may be obtained as the feature block numbers. In this case, the similarity between the image data and the reference image data is determined more strictly.
上述の実施形態では、本発明の画像処理装置8を備えた画像形成装置の一例としてのデジタル複写機1について説明したが、画像処理装置8はデジタル複写機以外の画像形成装置(例えば、スキャナ機能を備えた所謂複合機など)に対して搭載可能である。 In the above-described embodiment, the digital copying machine 1 as an example of an image forming apparatus including the image processing apparatus 8 of the present invention has been described. However, the image processing apparatus 8 is an image forming apparatus other than the digital copying machine (for example, a scanner function). It can be mounted on a so-called multi-function machine equipped with the above.
なお、上述した実施形態は何れも本発明の一実施例に過ぎず、当該記載により本発明の範囲が限定されるものではなく、各部の具体的構成は本発明による作用効果を奏する範囲において適宜変更設計することができることは言うまでもない。 Each of the above-described embodiments is merely an example of the present invention, and the scope of the present invention is not limited by the description. The specific configuration of each part is appropriately selected within the scope of the effects of the present invention. It goes without saying that changes can be designed.
1:画像形成装置(複写機)
3:画像入力部(スキャナ)
7:プリントエンジン
8:画像処理装置
80:画像識別部
81:画像識別学習部
82:記憶部
1: Image forming device (copier)
3: Image input unit (scanner)
7: Print engine 8: Image processing device 80: Image identification unit 81: Image identification learning unit 82: Storage unit
Claims (5)
前記画像入力部により予めカラー画像またはモノクロ画像と識別されるべき基準原稿が光電変換された基準画像データに対する色空間特性を算出し、当該色空間特性を識別基準データとして記憶部に記憶する画像識別学習部を備え、前記画像識別部は前記識別基準データに基づいて前記画像データをカラー画像として処理するかモノクロ画像として処理するかを識別する画像処理装置。 An image processing apparatus including an image identification unit that identifies whether image data obtained by photoelectrically converting a document image by an image input unit is processed as a color image or a monochrome image,
Image identification for calculating a color space characteristic for reference image data obtained by photoelectrically converting a reference document to be identified as a color image or a monochrome image in advance by the image input unit, and storing the color space characteristic in the storage unit as identification reference data An image processing apparatus comprising a learning unit, wherein the image identification unit identifies whether the image data is processed as a color image or a monochrome image based on the identification reference data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008201420A JP4994326B2 (en) | 2008-08-05 | 2008-08-05 | Image processing apparatus and image forming apparatus including the image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008201420A JP4994326B2 (en) | 2008-08-05 | 2008-08-05 | Image processing apparatus and image forming apparatus including the image processing apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010041349A true JP2010041349A (en) | 2010-02-18 |
JP4994326B2 JP4994326B2 (en) | 2012-08-08 |
Family
ID=42013424
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008201420A Expired - Fee Related JP4994326B2 (en) | 2008-08-05 | 2008-08-05 | Image processing apparatus and image forming apparatus including the image processing apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4994326B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020010163A (en) * | 2018-07-06 | 2020-01-16 | シャープ株式会社 | Image processing apparatus, image processing method, computer program, and recording medium |
JP2021087202A (en) * | 2019-11-29 | 2021-06-03 | キヤノン株式会社 | Image processing device, and image processing method, and program |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004088663A (en) * | 2002-08-28 | 2004-03-18 | Sharp Corp | Image processing apparatus, image forming apparatus, and image processing method |
JP2005039805A (en) * | 2003-06-27 | 2005-02-10 | Konica Minolta Business Technologies Inc | Color image forming apparatus and color image forming method |
JP2005045373A (en) * | 2003-07-23 | 2005-02-17 | Kyocera Mita Corp | Color image processing apparatus |
JP2007274287A (en) * | 2006-03-31 | 2007-10-18 | Toshiba Corp | Image input device, image forming apparatus and image processing method |
JP2008028883A (en) * | 2006-07-25 | 2008-02-07 | Konica Minolta Business Technologies Inc | Image processing apparatus |
-
2008
- 2008-08-05 JP JP2008201420A patent/JP4994326B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004088663A (en) * | 2002-08-28 | 2004-03-18 | Sharp Corp | Image processing apparatus, image forming apparatus, and image processing method |
JP2005039805A (en) * | 2003-06-27 | 2005-02-10 | Konica Minolta Business Technologies Inc | Color image forming apparatus and color image forming method |
JP2005045373A (en) * | 2003-07-23 | 2005-02-17 | Kyocera Mita Corp | Color image processing apparatus |
JP2007274287A (en) * | 2006-03-31 | 2007-10-18 | Toshiba Corp | Image input device, image forming apparatus and image processing method |
JP2008028883A (en) * | 2006-07-25 | 2008-02-07 | Konica Minolta Business Technologies Inc | Image processing apparatus |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020010163A (en) * | 2018-07-06 | 2020-01-16 | シャープ株式会社 | Image processing apparatus, image processing method, computer program, and recording medium |
JP7050599B2 (en) | 2018-07-06 | 2022-04-08 | シャープ株式会社 | Image processing device and image processing method |
JP2021087202A (en) * | 2019-11-29 | 2021-06-03 | キヤノン株式会社 | Image processing device, and image processing method, and program |
JP7358218B2 (en) | 2019-11-29 | 2023-10-10 | キヤノン株式会社 | Image processing device, image processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP4994326B2 (en) | 2012-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010093684A (en) | Image processor | |
JP2008017014A (en) | Image processor, image processing method, and program | |
JP2017130811A (en) | Image processing apparatus, image processing method, image processing program, and recording medium | |
JP2011024116A (en) | Image processing apparatus, image processing method, and program | |
US11172096B2 (en) | Image processing performing edge enhancement based on pixel isolation | |
US11196874B2 (en) | Image processing device, image forming apparatus, image reading device, control method, and recording medium | |
JP4994326B2 (en) | Image processing apparatus and image forming apparatus including the image processing apparatus | |
JP5975945B2 (en) | Image processing device | |
JP2011130416A (en) | Image processing apparatus, image processing method, and program | |
US8547612B2 (en) | Image processing apparatus, image forming apparatus, and image processing method that read color image data from a document | |
JP2011176463A (en) | Image processor and image forming apparatus | |
JP2013074314A (en) | Image processing method, image reader, and image processing program | |
JP6681033B2 (en) | Image processing device | |
JP4994325B2 (en) | Image processing apparatus and image forming apparatus including the image processing apparatus | |
JP2010088048A (en) | Image processing apparatus, image forming apparatus, computer program, recording medium, and image processing method | |
JP2008205967A (en) | Image processor | |
JP6293466B2 (en) | Image processing apparatus, image forming apparatus, image processing method, image processing program, and recording medium | |
JP7077925B2 (en) | Image processing equipment, image processing methods, and programs | |
JP5266182B2 (en) | Image reading apparatus and image processing method | |
JP2009302761A (en) | Image processor | |
JP2008092323A (en) | Image processing equipment, and image reading apparatus and image forming apparatus equipped with the same | |
JP6350877B2 (en) | Image forming apparatus | |
JP2015149545A (en) | Image processing apparatus, control method of the same, and program | |
JP6210322B2 (en) | Image forming apparatus | |
JP2020123898A (en) | Image processing apparatus, image forming apparatus, image processing program, and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120319 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120410 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120508 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150518 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4994326 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |