JP2022126367A - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP2022126367A
JP2022126367A JP2021024396A JP2021024396A JP2022126367A JP 2022126367 A JP2022126367 A JP 2022126367A JP 2021024396 A JP2021024396 A JP 2021024396A JP 2021024396 A JP2021024396 A JP 2021024396A JP 2022126367 A JP2022126367 A JP 2022126367A
Authority
JP
Japan
Prior art keywords
image
embedded information
document
printed matter
print
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021024396A
Other languages
English (en)
Other versions
JP2022126367A5 (ja
Inventor
寛康 國枝
Hiroyasu Kunieda
顕季 山田
Akitoshi Yamada
洋一 橿渕
Yoichi Kashibuchi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2021024396A priority Critical patent/JP2022126367A/ja
Priority to US17/673,002 priority patent/US11785164B2/en
Publication of JP2022126367A publication Critical patent/JP2022126367A/ja
Publication of JP2022126367A5 publication Critical patent/JP2022126367A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00838Preventing unauthorised reproduction
    • H04N1/00856Preventive measures
    • H04N1/00864Modifying the reproduction, e.g. outputting a modified copy of a scanned original
    • H04N1/00867Modifying the reproduction, e.g. outputting a modified copy of a scanned original with additional data, e.g. by adding a warning message
    • H04N1/0087Modifying the reproduction, e.g. outputting a modified copy of a scanned original with additional data, e.g. by adding a warning message with hidden additional data, e.g. data invisible to the human eye
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203Spatial or amplitude domain methods
    • H04N1/32208Spatial or amplitude domain methods involving changing the magnitude of selected pixels, e.g. overlay of information or super-imposition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00323Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a measuring, monitoring or signaling apparatus, e.g. for transmitting measured information to a central location
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00838Preventing unauthorised reproduction
    • H04N1/0084Determining the necessity for prevention
    • H04N1/00843Determining the necessity for prevention based on recognising a copy prohibited original, e.g. a banknote
    • H04N1/00846Determining the necessity for prevention based on recognising a copy prohibited original, e.g. a banknote based on detection of a dedicated indication, e.g. marks or the like
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00838Preventing unauthorised reproduction
    • H04N1/00856Preventive measures
    • H04N1/00864Modifying the reproduction, e.g. outputting a modified copy of a scanned original
    • H04N1/00867Modifying the reproduction, e.g. outputting a modified copy of a scanned original with additional data, e.g. by adding a warning message
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00838Preventing unauthorised reproduction
    • H04N1/00883Auto-copy-preventive originals, i.e. originals that are designed not to allow faithful reproduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3872Repositioning or masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00838Preventing unauthorised reproduction
    • H04N1/00856Preventive measures
    • H04N1/00859Issuing an alarm or the like
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3269Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs
    • H04N2201/327Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs which are undetectable to the naked eye, e.g. embedded codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Transmission Control (AREA)

Abstract

【課題】埋込情報の強度が担保された複写機能を提供することを目的とする。【解決手段】印刷物を複写する際に、対象となる印刷物をスキャンして得られたスキャン画像から埋込情報を抽出する。そして、抽出された埋込情報によって、複写対象の印刷物が真正な文書であることが確認できた場合に、スキャン画像から抽出された埋込情報を再構成して印刷出力する。【選択図】 図8

Description

本開示の技術は、印刷物を複写する技術に関する。
従来、日本をはじめとする各国の社会では紙の文書が正式な原本として扱われてきた。しかし、高度情報通信社会の進展の中で、電子文書を原本として扱えるようにするための法整備(電子署名法)や制度改正・規制緩和が進められ、また、電子文書を原本として活用・保存するための技術も実現されてきた。このような社会背景により、現在では電子文書が原本となり、それを紙に印刷したものはその写しとして扱われること(例えば、住民票の写しなど)も珍しくなくなっている。そして、そのような印刷物には視認されにくい態様で情報を埋め込むことも行われている。例えば、特許文献1には、印刷物に電子透かしデータを埋め込むことで当該印刷物に対する改竄を検出する技術が開示されている。
特開2020-088780号公報 特開2006‐270972号公報
情報の埋め込みが施された原本の印刷物をコピー機で複写する際、出力される印刷物(原本の複写物)において、埋込情報が適切に再現できないことがある。そもそも印刷物への情報の埋め込みは、所定のパターンを人間の眼には認識し辛い濃度で用紙上に形成することで実現される。ここで、例えば原本の印刷時点で十分な強度で所定のパターンが形成されていなかったりすると、原本の印刷物を読み取る際に埋込情報を表す所定のパターンを適切に読み取れないことになる。また、スキャナ装置の性能の限界から、埋込情報を表す所定のパターンを適切に読み取れない場合もある。このように、原本の印刷物に埋め込まれた情報の強度に劣化が生じていると、その複写物における埋込情報も劣化したものになってしまう。本開示の技術は掛かる点に鑑みてなされたものであり、埋込情報の強度が担保された複写機能を提供することを目的とする。
本開示に係る画像処理装置は、複写機能を有する画像処理装置であって、複写対象の印刷物をスキャンしてスキャン画像を取得する取得手段と、前記スキャン画像から埋込情報を抽出する抽出手段と、前記スキャン画像に基づき印刷画像を生成する生成手段と、前記印刷画像を用いて印刷処理を行う印刷手段と、を備え、前記生成手段は、前記抽出手段にて抽出された埋込情報によって前記複写対象の印刷物が真正な文書であることが確認された場合に、前記スキャン画像から抽出された埋込情報を再構成して、前記印刷画像を生成する、ことを特徴とする。
本開示の技術によれば、原本の印刷物に埋め込まれていた情報に劣化が生じていても、十分な強度で必要な情報が埋め込まれた複写物を得ることができる。
印刷システムの構成を示すブロック図 原本の電子文書を印刷する際の流れを示すフローチャート ページ画像の一例を示す図 (a)及び(b)は、マスクの一例を示す図 (a)及び(b)は、マスクによって形成されるパターンを示す図 (a)及び(b)は、マスクの一例を示す図 (a)及び(b)は、マスクによって形成されるパターンを示す図 原本の印刷物を複写する際の流れを示すフローチャート 埋め込みに用いたパターンの空間周波数の特性を表す図 改竄チェック処理の詳細を示すフローチャート (a)及び(b)は、文書ID情報をQRコード(登録商標)化して埋め込む場合の説明図 (a)はパターンが劣化していた場合の一例を示す図、(b)は図11(a)に対応するパターン補強マスクを示す図
以下、本開示の技術を実施するための形態について図面を用いて説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものでなく、また実施形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。
なお、本明細書において、「原本」とは、その内容が真正なものであることを示す情報と共に登録・管理された電子文書(デジタル文書)を意味し、「原本の印刷物」とは、当該電子文書のデータを用いて印刷された印刷物を意味するものとする。したがって、例えば役所から交付される前述の“住民票の写し”のような公的文書は「原本の印刷物」に該当する。また、「原本の複写物」とは、複写機能を備えた画像処理装置で「原本の印刷物」を複写して得られた印刷物を意味するものとする。したがって、例えば上述の“住民票の写し”をコピーしたものは「原本の複写物」に該当する。
[実施形態1]
<システム構成>
図1は、本実施形態に係る、印刷システムの構成を示すブロック図である。図1に示すように、この印刷システムは、印刷装置としてのMFP(Multi Function Printer)10と、そのホスト装置としてのPC20を有している。MFP10は、プリンタ機能やスキャナ機能といった複数の機能を有し、両機能を連携させて行うコピー機能も具備している。MFP10は、さらに、印刷対象の画像データを保存・送信する機能やFAXの送受信を行う機能を有していてもよい。以下、MFP10及びPC20それぞれのハードウェア構成を説明する。
MFP本体10は、主に以下の要素で構成される。CPU11は、MFP10全体を統括的に制御する演算処理装置であり、ROM13やRAM12に保持されているプログラムに従い、例えば後述する複写処理等を実行する。RAM12は、揮発性のストレージであり、プログラムやデータを一時的に保持する。また、ROM13は不揮発性のストレージであり、後述する各種処理で使用されるテーブルデータやプログラムを保持する。データ転送インタフェース(DATA TRANSFER I/F)14はPC20との間におけるデータの送受信を制御する。ヘッドコントローラ(HEAD Controller)15は、不図示の記録ヘッドに搭載されたヒータの加熱動作を印刷データに基づいて制御し、インクを吐出する。画像処理アクセラレータ(Image Processing Accelerator)16は、CPU11よりも高速に画像処理を実行可能な演算処理装置である。なお、画像処理アクセラレータ16は必ずしも必要ではなく、プリンタの仕様などに応じて、CPU11による処理のみで上記テーブルパラメータの作成処理や画像処理を実行してもよい。スキャナコントローラ(SCANNER Controller)17は、不図示のスキャナユニットに搭載されたLEDの発行制御、スキャナユニットからの光量情報の取得、RAM12への書き込み制御などを行なう。これにより不図示の原稿台にセットされた原稿の画像を読み取る。モーターコントローラ(MOTOR Controller)18は、不図示の複数のモーターユニットを制御し、記録ヘッドを記録用紙に対して相対的に移動させたり、スキャナユニットを原稿に対して相対的に移動させたりする。MFP10の構成は図示されたものに限定される訳ではなく、例えば外部ネットワークと接続し他の外部PC等と通信を行うネットワークインタフェースを備えていてもよい。
PC20は、主に以下の要素で構成される。CPU21は、PC20全体を統括的に制御する演算処理装置であり、HDD23やRAM22に保持されているプログラムに従い、例えば後述する原本の印刷処理などを実行する。RAM22は、揮発性のストレージであり、プログラムやデータを一時的に保持する。また、HDD23は、不揮発性のストレージであり、同じくプログラムやデータを保持する。データ転送インタフェース(DATA TRANSFER I/F)24は、MFP10との間におけるデータの送受信を制御する。このデータ送受信の接続方式としては、USB、IEEE1394、LAN等の有線接続や、Bluetooth、WiFi等の無線接続を用いることができる。キーボード・マウスインタフェース(KEY BOARD MOUSE I/F)25は、キーボードやマウス等のHID(Human Interface Device)を制御するインタフェースである。ディスプレイインタフェース(DISPLAY I/F)26は、不図示のディスプレイにおける表示制御を行う。ネットワークインタフェース(Network I/F)27は、PC20を外部ネットワークと接続し、単数若しくは複数の外部PCと通信を行い、文書IDの照合依頼・結果要求、文書データ要求等を行う。
<原本の印刷処理>
続いて、原本である電子文書を印刷する際の流れについて、図2のフローチャートを参照して説明する。図2のフローチャートに示す一連の処理は、PC20にインストールされた所定の印刷アプリケーションのUIを介してユーザが、印刷対象となる電子文書を選択し、その真正性を示す情報の埋め込みを伴う印刷を指示することで開始する。なお、以下の説明において記号「S」はステップを意味する。
S201では、印刷対象に指定された電子文書のデータが取得される。本実施形態では、各種原本の電子文書を不図示の外部PCにて保存・管理している。PC20は、ネットワークインタフェース27経由で特定の電子文書の取得リクエストを外部PCに送信し、指定された電子文書を印刷するためのデータ、具体的にはPDLデータを外部PCから受信して取得する。ここで、PDLとはページ記述言語(PageDescriptionLanguage)の略であり、ページ単位の、描画命令の組によって構成される。描画命令の種類はPDL仕様毎に定義されており、本実施形態では、主に以下の3種類を例として用いる。
TEXT描画命令:(X1、Y1、色、フォント情報、文字列情報)
BOX描画命令:(X1、Y1、X2,Y2、色、塗り形状)
IMAGE描画命令:(X1、Y1、X2,Y2、画像ファイル情報)
上記3種類の他にも、点を描くDOT描画命令、線を描くLINE描画命令、円弧を描くCIRCLE描画命令等が存在し、用途に応じてこれら描画命令が用いられる。一般的によく用いられるPDLとして、Adobe社提案のPDF(PortableDocumentFormat)や、MicroSoft社提案のXPS、HP社提案のHP-GL/2等が存在する。
図3は、電子文書1ページ分の画像(以下、「ページ画像」と呼ぶ。)の一例を示す図である。いま、図3に示すページ画像300のサイズは、横幅600画素、縦幅900画素であるものとする。以下にページ画像300に対応するPDLを示す。
<PAGE=001>
<TEXT> 50,50, 200, 100, BLACK, STD-18,
“ABCDEFGHIJKLMNOPQR” </TEXT>
<TEXT> 50,100, 200, 150, BLACK, STD-18,
“abcdefghijklmnopqrstuv” </TEXT>
<TEXT> 50,150, 200, 825, BLACK, STD-18,
“1234567890123456789” </TEXT>
<BOX> 50, 300, 200, 450, GRAY, STRIPE </BOX>
<IMAGE> 250, 300, 550, 800, “PORTRAIT.jpg” </IMAGE>
</PAGE>
上記PDLの1行目の<PAGE=001>は、ページ数を表すタグである。通常、PDLは複数ページを記述可能に設計されており、PDL中にページの区切りを示すタグが記述される。上記の例では、9行目の</PAGE>までが1ページ目であることを表す。2ページ目が存在する場合には、<PAGE=002>が記述されることとなる。2行目の<TEXT>から3行目の</TEXT>までがTEXT描画命令である。TEXT描画命令において、最初の2つの座標が描画領域左上の座標(X1、Y1)を示し、続く2つの座標が描画領域右下の座標(X2,Y2)を示す。続いて、色は“BLACK(黒色:R=0, G=0, B=0)”、文字のフォントが“STD(標準)”、文字サイズが18ポイント、描画すべき文字列が“ABCDEFGHIJKLMNOPQR”であることが記述されている。4行目の<TEXT>から5行目の</TEXT>まで及び6行目の<TEXT>から7行目の</TEXT>までもTEXT描画命令である。それぞれ描画すべき文字列が、“abcdefghijklmnopqrstuv”と“1234567890123456789”に対応している。8行目の<BOX>から</BOX>までがBOX描画命令であり、最初の2つの座標が描画開始点である左上の座標(X1、Y1)を示し、続く2つの座標が描画終了点である右下の座標(X2,Y2)を示す。続いて、色は“GRAY(灰色:R=128, G=128, B=128)”、塗り形状は“STRIPE(縞模様)”が指定されている。9行目はIMAGE描画命令である。最初の2つの座標が描画領域左上の座標(X1、Y1)を示し、続く2つの座標が描画領域右下の座標(X2,Y2)を示す。そして、指定された描画領域に存在する画像のファイル名が“PORTRAIT.jpg”であることが記述されている。なお、“.jpg”は拡張子であり、一般的に普及している画像圧縮フォーマットであるJPEGファイルであることを表している。そして、10行目の</PAGE>は、当該ページの描画が終了したことを示す記述である。なお、実際に取得する文書データは、PDLデータにフォントデータや画像ファイルが追加され一体になっているケースが多い。これは、フォントデータや画像ファイルを別に管理する場合、描画命令だけでは文字・画像部分が形成出来ず、印刷対象の画像を形成するのに情報が不十分だからである。本ステップでは、このようなPDLデータを含む文書データを、外部PCにアクセスして取得する。
S202では、印刷対象の電子文書の真正性を示す情報が取得される。本実施形態では、上述の外部PCに対し、ネットワークインタフェース27経由で電子文書の真正性を示す情報の取得リクエストを送信して、受信・取得するものとする。電子文書の真正性を示す情報としては、ここでは文書ID情報を用いる。文書ID情報は、上述の文書データ(PDLデータ、フォントデータ、画像ファイルが一体になったデータ)を元にハッシュ関数を用いて算出される所定bit数(本実施形態では32bit)の情報である。電子文書を構成するデジタルデータのうち1byteでも変更が生じると、異なった文書ID情報が算出されることになるので、1つの電子文書に対して一意の文書IDが紐付くことになる。なお、電子文書ファイルと文書ID情報の保存・管理を複数の外部PCで協働して行い、ブロックチェーンの様なシステム構成を採用することで、文書ID情報の改竄リスクを低減させてもよい。また、PC20が十分なリソースを有し、文書ID情報の管理をPC20内で行い得る場合には、内部的に照合処理を行うことも可能である。
S203では、S201で取得した文書データに基づきレンダリング処理が実行される。このレンダリング処理では、PDLデータに含まれる各描画命令を実行することで、画素毎の色情報で構成されるBitmap形式の画像データが生成される。例えば上記図3のページ画像300の場合、600x900画素のBitmap画像が生成されることになる。本実施形態では、Bitmap画像の各画素はRGB各8bitの256諧調とする。
S204では、S203で生成したBitmap画像に対し、S202で取得した文書ID情報を埋め込む処理が実行される。文書ID情報をBitmap画像に埋め込む処理は、「多重化処理」或いは「多重化エンコード処理」などと呼ばれる。この多重化処理が施されたBitmap画像を印刷して得られた印刷物については、これを複写しようとする際に当該印刷物のスキャン画像から文書ID情報を抽出(復号)して、当該複写対象の印刷物が「原本の印刷物」であるか否かの判定が可能になる。
そもそもPC20のような情報処理装置で情報を扱うということはバイナリデータを扱うということである。バイナリデータとは「0」と「1」の組合せで表現される情報であり、この「0」もしくは「1」の情報が連続で繋がることにより、特定の意味を持つようになる。例えば、“hello”という英単語をバイナリデータで扱う場合、文字コードの中の一つであるシフトJISを例にとると、アルファベット“h”はバイナリデータの「01101000」に対応している。同様に“e”は「01100101」、“l”は「01101100」、“o”は「01101111」というバイナリデータに対応している。つまり“hello”という文字列はバイナリデータで「0110100001100101011011000110110001101111」と表現できる。逆に「0110100001100101011011000110110001101111」というバイナリデータを取得できれば“hello”という英単語を表す文字情報を取得することができる。この考えに基づけば、多重化は、「0」もしくは「1」を判定できるように所定のデータを画像内に埋め込むことで実現可能であることがわかる。
<多重化処理>
図4の(a)及び(b)は、「0」、「1」を生成するために用いる8x8画素で構成されたマスクの一例である。図4(a)が「0」を生成用のマスク、同(b)が「1」を生成用のマスクである。Bitmap画像の画素値に対してマスク内の値を加算することで、画像内の8x8画素の各領域に対して周期性を持ったパターンを与えることができる。上述のとおり、本実施形態のBitmap画像は1色8bitで表現され、0~255のいずれかの値が各画素に割り当てられる。0~255の範囲外にある値は画像データとしては使えないため、加算結果が0未満の場合や256以上の値になった場合には、当該加算結果の値を0もしくは255に差し替えて有効範囲内に収めることが一般的には行われる。図4(a)及び(b)のマスクでは画素値に“-10”若しくは“0”の変化を与えているが、マスク領域に対応するBitmap画像内の画素値が全て“0”であった場合、その領域の値は全て“0”となる。なお、ここでは1色8bitの場合を説明しているが、これに限定されない。デジタル画像を扱う場合、何bitで表現しようが有効範囲は存在し、その範囲外になる変化は与えられない。
図5の(a)及び(b)は、上記図4の(a)及び(b)のマスクによってBitmap画像にどのようなパターンが形成されるのかを視覚的に示した図である。図4(a)及び(b)それぞれのマスクにおける“-10”の位置を黒ベタ、“0”の位置をハッチングで表現している。図5(a)及び(b)から分かるように、マスク適用後のBitmap画像においては、「0を表すパターン」として左下がりの斜め線、「1を表すパターン」として右下がりの斜め線が現れることとなる。
ここで、図4(a)のマスクと図4(b)のマスクをBitmap画像全体に対して交互に適用する際の疑似コードを下記に示す。
01: int i, j, k, l;
02: int width = 600, height=900;
03: unsigned char *data = 画像データ;
04: int **maskA = マスクデータ;
05: bool isMaskA = true;
06: for(j = 0; j < height; j+=8){
07: for(i = 0; i < width; i+=8){
08: for(k = 0; k < 8; k++){
09: for(l = 0; l < 8; l++){
10: if(isMaskA == true){
11: data[(i+k)+(j+l)*width] += maskA[k][l];
12: }
13: }
14: }
15: }
16: }
本実施形態においては、上記パターンデータの埋め込みを、Bitmap画像の各画素が持つRGB値のうちB値に対してだけ行う。これは、用紙の紙白領域に対してCMYKの4種類のインクで記録する場合、YインクがCMKの各インクに比べて被視認性が低い為である。多重化の際には、埋め込まれる上記パターンが元々の画像に影響をなるべく与えないように、すなわち、極力視認されないようにすることが好ましい。光の三原色であるRGBと色の三原色であるCMYは互いに補色の関係にあり、RとC、GとM、BとYがそれぞれ逆の色相となっている。これは、RGB値のうちB値を変調するとYインクの使用量が大きく変化することを意味する。よって本実施形態では、RGB値のうちB値だけを変調することで、Yインクの濃度変動が大きくなるように制御している。
ここで、前述の図3に示すページ画像300の場合は紙白領域が十分広く、TEXT描画領域301、BOX描画領域302、IMAGE描画領域303を除く領域が紙白領域となる。この場合、図4の(a)及び(b)に示すマスクでは紙白領域以外の各描画領域に対して上手くパターンデータの埋め込みが行われないことがある。例えば黒ベタ(R=0,G=0,B=0)の描画領域に対しては埋め込み後の結果も同じ黒ベタ(R=0,G=0,B=0)となる。そこで、紙白領域以外、特にイメージ描画領域にパターンデータの埋め込みを行う場合には例えば図6の(a)及び(b)に示す様なマスクを適用するのが好ましい。図6の(a)及び(b)のマスクは、Bitmap画像の各画素に“-10”、“0”及び“+10”の変化を与えるマスクとなっている。図6の(a)及び(b)のマスクの場合、マスク領域に対応するBitmap画像の画素値が全て“0”であったとしても、当該領域の画素値は結果的に“0”又は“+10”となる。よって、Bitmap画像内の全ての画素に対してパターンデータの埋め込みを行うことができる。図7の(a)及び(b)は、図6(a)及び(b)のマスクによってBitmap画像にどのようなパターンを与えるかを視覚的に示した図である。図6(a)及び(b)それぞれのマスクにおける“-10”の位置を黒ベタ、“0”の位置をハッチング、“+10”の位置を白ベタで表現している。図7(a)及び(b)から分かるように、マスク適用後のBitmap画像においては、「0を表すパターン」として濃度の異なる複数の左下がりの斜め線、「1を表すパターン」として濃度の異なる複数の右下がりの斜め線が現れることとなる。なお、TEXT描画領域やBOX描画領域については通常は紙白領域が多く存在する可能性が高いため、図4(a)及び(b)のマスクを適用するのが好ましい。但し、TEXT描画領域やBOX描画領域であっても、指定された色や文字の太さ等によって、図6(a)及び(b)のマスクが好適な場合もある。また、IMAGE描画領域であっても紙白領域に極めて近い場合もある。その為、各描画領域における濃度ヒストグラムを取得する等して適用するマスクのタイプを決定してもよい。例えば、RGB値の最大値が、閾値より大きければ図4(a)及び(b)のマスクを適用し、閾値以下であれば図6(a)及び(b)のマスクを適用するといった具合である。或いは入力色空間がL***の場合であれば、輝度を表すL*値と閾値との比較を行って適用するマスクを切り替えてもよい。これにより、確実な埋め込みを実現することが可能となる。
図2のフローチャートの説明に戻る。
S205では、S204で生成された多重化が施されたBitmap画像(以下、「多重化画像」と表記。)に基づき印刷画像が生成される。この印刷画像の生成には、公知の手法を用いればよい。本実施形態では、多重化画像の各画素に対して、色変換処理、色分解処理、出力特性変換処理、量子化処理の各処理を行うものとする。以下、各処理について簡単に説明する。
≪色変換処理≫
色変換処理は、多重化画像の画素値(RGB値)を、MFP10で好適に再現できるように変換する処理である。一般的にPDLの描画命令で指定されている色値は、ディスプレイで好適に表現できるように設定された色値であり、その色値のままプリンタで出力した場合にはディスプレイで見たときと異なる色味で出力されてしまう。そこで両者の色の違いを吸収するための色変換処理を行なう。この色変換処理には、多重化画像における入力画素値(Rin,Gin,Bin)の組み合わせに、好適な出力画素値(Rout,Gout,Bout)の組み合わせを対応付けた3次元のルックアップテーブル(LUT)を用いる。いま、入力値であるRin、Gin、Binがそれぞれ256諧調を持っている。その為、256×256×256の合計16,777,216組の、以下に示す出力値(Rout,Gout,Bout)を持つテーブル(Table1[256][256][256][3])が準備するのが理想的である。
Rout = Table1[Rin][Gin][Bin][0]
Gout = Table1[Rin][Gin][Bin][1]
Bout = Table1[Rin][Gin][Bin][2]
ただし、LUTのグリッド数を256グリッドから例えば16グリッド等に減らし、グリッド間のテーブル値を補間して出力値を決定する等、テーブルサイズを小さくする公知の工夫を用いてもよい。
≪色分解処理≫
色分解処理は、色変換処理の出力値であるRout,Gout,Boutを、インクジェット方式で用紙に記録する各インク色(ここではCMYKの4色)の出力値に変換する処理である。この色分解処理にも種々の実現方法がある。本実施形態では、上述の出力画素値(Rout,Gout,Bout)の組み合わせに、以下に示すインク色画素値(C,M,Y,K)の組み合わせを対応付けた3次元のルックアップテーブル(Table2[256][256][256][4])を用いる。
C = Table2[Rout][Gout][Bout][0]
M = Table2[Rout][Gout][Bout][1]
Y = Table2[Rout][Gout][Bout][2]
K = Table2[Rout][Gout][Bout][3]
この際、S204の多重化処理にて紙白領域を変調した結果に対応するCMYK値のうちY値だけが0より大きな値を持つことが好ましい。より詳細には、R=255,G=255,B=255の画素値が、R=255,G=255,B=245の画素値に変換された領域に対応するCMYK値は、Y値は0を超える値とし、CMK値はY値よりも小さい0に近い値とすることが好ましい。その理由はS204で説明したとおり、埋め込まれるパターンの被視認性を低くしたいからである。なお、上述の色変換処理の場合と同様、テーブルサイズを小さくする公知の工夫を用いてもよい。
≪出力特性変換処理≫
出力特性変換処理は、CMYK各インク色の濃度を記録ドット数率に変換する処理である。具体的には、例えば各色256諧調の濃度を、各色1024諧調のドット数率に変換する。この出力特性変換処理には、各インク色の濃度に対応する以下に示す記録ドット数率(Cout,Mout,Yout,Kout)を設定した1次元のルックアップテーブル(Table3[4][256])を用いる。
Cout = Table3[0][C]
Mout = Table3[1][M]
Yout = Table3[2][Y]
Kout = Table3[3][K]
なお、上述の色変換処理や色分解処理の場合と同様、テーブルサイズを小さくする公知の工夫を用いてもよい。
≪量子化処理≫
量子化処理は、上述した各インク色の記録ドット数率(Cout,Mout,Yout,Kout)を、各画素の記録ドットのオン又はオフを表す、以下に示す量子化値(Cdot,Mdot,Ydot,Kdot)に変換する処理である。
Cdot = Halftone[Cout][x][y]
Mdot = Halftone[Mout][x][y]
Ydot = Halftone[Yout][x][y]
Kdot = Halftone[Kout][x][y]
上記はディザ法の場合の量子化値であり、各画素位置に応じたディザマトリクス内の閾値と比較することで、各インク色の記録ドットのオン又はオフを表す値を得ることができる。ここでは、各記録ドットの発生確率は、Cout/1023、Mout/1023、Yout/1023、Kout/1023となる。なお、量子化処理の手法はディザ法に限定されるものではなく、例えば誤差拡散法など他の手法でもよい。
以上説明した各処理を順に実行することで、多重化画像から印刷画像が生成される。図2のフローチャートの説明に戻る。
S206では、S205で生成された印刷画像のデータがその印刷指示と共にMFP10或いは不図示の他のプリンタに送信され、送信先のプリンタにて印刷処理が実行される。
以上が、原本の印刷物が生成されるまでの流れである。なお、多重化処理(S204)において本実施形態ではRGB値のうちのB値を変調していたが、CMYK値に対して変調を行なってもよい。この場合、紙白領域の画素値がY=0,M=0,C=0,K=0となるので、変調にはプラスの値を用いる必要がある。前述の図4及び図6に例示したマスクの場合、マスク内の変調値の符号を反転、すなわち、“-10”は“+10”に、“+10”は“-10”にすればよい。このように変調をCMYK値に対して行った場合は、紙白領域への付与インクをYインクのみに限定する際の制御性が高くなる。一方、変調をRGB値に対して行なう場合はイメージ描画領域への埋め込みを行う際の色相の変動を抑える制御性が高くなる。よって、電子写真やインクジェット等の記録プロセスの特性や、印刷対象のページ画像内の紙白・テキスト・イメージの領域比率等に応じて好適な変調方法を選択することが好ましい。
<「原本の印刷物」の複写処理>
続いて、上述した原本の印刷処理の結果物である「原本の印刷物」を、MFP10で複写する際の流れについて、図8のフローチャートを参照して説明する。図8のフローチャートに示す一連の処理は、MFP10のUI(ユーザインタフェース)を介してユーザが、原本の印刷物を不図示の原稿台にセットして、複写指示を行うことで開始する。なお、以下の説明において記号「S」はステップを意味する。
まず、S811では、MFP10にセットされた複写対象の印刷物が、内蔵のスキャナユニット(不図示)によって読み取られる。この印刷物の読み取りでは、原稿台に載置された印刷物にLED光を照射し、その反射光を各画素に対向したCCD等の撮像素子でアナログ電気信号に変換することが行われる。
次のS812では、S811で得られたアナログ電気信号がデジタル化されて、RGB色空間のBitmap画像が取得される。この際、Bitmap画像の各画素に対して、MTF補正処理、入力補正処理、シェーディング補正処理、色変換処理といった画像処理が行われる。以下、各処理について簡単に説明する。
≪MTF補正処理≫
MTF(Modulation Transfer Function)補正処理は、スキャナユニットの読取り性能のうち、解像度に関する補正処理である。スキャナユニットによって光学的に画像を読み取る場合、フォーカス位置からのズレやレンズ自体の性能限界等により、画像がボケてしまう為、フィルタ処理等である程度の復元を行う。この際、完全に復元する程の強い強調処理をしてしまうと、白飛びや画像ノイズ・ゴミ画素の強調等、画像弊害の方が目立ってしまう為、画質改善と弊害とのバランスを取ってフィルタ強度を設計する必要がある。以下は、画像中央部を5倍し、上下左右の画素値を-1倍するエッジ強調フィルタの例である。
R’[x][y] = R[x][y]×5-R[x-1][y]-R[x+1][y]-R[x][y-1]-R[x][y+1]
G’[x][y] = G[x][y]×5-G[x-1][y]-G[x+1][y]-G[x][y-1]-G[x][y+1]
B’[x][y] = B[x][y]×5-B[x-1][y]-B[x+1][y]-B[x][y-1]-B[x][y+1]
≪入力補正処理≫
入力補正処理は、元々が光子量であるCCD(撮像素子)の出力値を、人間の眼の感度に合った明度に変換する処理である。これにより、例えば各色4096諧調のR'G’B’信号を、各色1024諧調の色強度値(R”,G”,B”)に変換する。この変換には、各インク色の濃度に対する好適な記録ドット数率を設定した、以下に示す1次元のルックアップテーブル(Table4[4][4096])が用いられる。
R” = Table4[0][R’]
G” = Table4[1][G’]
B” = Table4[2][B’]
ただし、LUTのグリッド数を4096グリッドから例えば256グリッド等に減らし、グリッド間のテーブル値を補間して出力値を決定する等、テーブルサイズを小さくする公知の工夫を用いてもよい。
≪シェーディング補正処理≫
シェーディング補正処理は、スキャナ装置を構成するレンズ、LED、CCDといった部品の製造ばらつきや組付けのばらつきに起因して生ずる各画素位置での読取感度の違いによって生ずる色・濃度ムラを低減する処理である。例えば各色1024諧調のR”G”B”信号を、各色256諧調の色強度値(R”’,G”’,B”’)に変換する。この変換には、X方向(スキャナレンズの配置されている方向)の画素位置毎の濃度調整値を規定した、以下に示す1次元ルックアップテーブル(Table5[x][3][1024])が用いられる。
R”’ = Table5[x][0][R”]
G”’ = Table5[x][1][G”]
B”’ = Table5[x][2][B”]
なお、上述の入力補正処理の場合と同様、テーブルサイズを小さくする公知の工夫を用いてもよい。
≪色変換処理≫
ここまでの処理で算出された各色256諧調の色強度値(R”’, G”’, B”’)は、印刷時とは逆に、スキャナユニットに固有の値となっている。ここでの色変換処理は、スキャナユニットに固有の値をディスプレイ上で表示する為に好適なRGB値(Rout,Gout,Bout値)に変換する処理である。いま、入力値であるR”’、G”’、B”’はそれぞれ256諧調を持つ。そこで、この変換には、256×256×256の合計16,777,216組の出力値を持つ、以下に示す3次元のルックアップテーブル(Table6[256][256][256][3])が用いられる。
Rout = Table1[R”’][G”’][B”’][0]
Gout = Table1[R”’][G”’][B”’][1]
Bout = Table1[R”’][G”’][B”’][2]
なお、上述の入力補正処理やシェーディング補正処理の場合と同様、テーブルサイズを小さくする公知の工夫を用いてもよい。こうして、Bitmap画像が取得される。
続くS813では、S812で取得されたBitmap画像に対して、文書ID情報を抽出する処理が実行される。具体的には、前述の「0」或いは「1」を示すパターンがBitmap画像内に形成されているかを所定領域(ここでは8x8画素)単位で判定し、「0」と「1」で表される数列情報を取り出す処理が行われる。これをBitmap画像全体に繰り返し適用することで、原本の印刷時に多重化処理によって埋め込まれた文書ID情報を復号する。多重化処理によって埋め込まれた情報は、「埋込情報」や「多重化情報」と呼ばれることがある。ここで、埋込情報の復号処理について詳しく説明する。
≪埋込情報の復号処理≫
まず、取得されたBitmap画像内の埋込情報が埋め込まれている位置の検出を行う。埋め込み位置は、単位領域(ここでは8x8画素の領域)毎の空間周波数特性を解析することで検出できる。図9は、埋め込みに用いたパターンの空間周波数の特性を表す図である。横軸が水平方向の周波数、縦軸が垂直方向の周波数を表し、原点から遠ざかるにつれて高周波域となる。本実施形態では、それぞれ「0」と「1」に対応した2種類のパターンを画像に埋め込んでいる(前述の図5及び図7を参照)。その際、RGBの各色成分のうちB成分について値“10”の減算(図4のマスクの場合。図6のマスクの場合は加算及び減算。)を行っている。これにより、例えば図4(a)のマスクによって画像内に形成される左下がりのパターンは、ラインA02に大きなパワースペクトルを発生させる。同様に、図4(b)のマスクによって画像内に形成される右下がりのパターンはラインA01に大きなパワースペクトルを発生させる。よって、このパワースペクトルを検出することにより、「0」又は「1」のデータを抽出することができる。なお、パワースペクトル検出の前処理として、エッジ検出を行うことにより、パワースペクトルの強調をすることも可能である。
上述した周波数解析によるデータ抽出では、画像データからの解析エリアの正確な切り出しが必要となる為、座標位置のずれを補正する処理も行われる。例えば、まず、Bitmap画像からの単位領域の切り出しと周波数解析とを1画素ずつずらしながら縦横に繰り返す。画像サイズが横幅600画素、縦幅900画素の場合であれば、計64回繰り返す。そして、最もスペクトルが強くなる箇所を切り出しの基準位置とする。そして、基準位置を基に埋込情報の抽出を行うことで、埋め込まれていた「0」又は「1」の数列を精度よく得ることができる。
本実施形態では、S204で説明したとおり、埋め込み対象となる埋込情報をテキストデータとし、その文字コードを「シフトJIS」で数値化した値としている。この場合、シフトJISの1バイトコード(半角文字)では、例えばアルファベットの“h”はバイナリデータ「01101000」、“e”は「01100101」、“l”は「01101100」、“o”は「01101111」にそれぞれ対応している。よって、抽出した埋込情報の数列が、「0110100001100101011011000110110001101111」であれば、英単語の文字列「hello」が得られることになる。こうして、埋込情報として埋め込まれた文書ID情報が抽出される。
図8のフローチャートの説明に戻る。
続くS814では、S813において文書ID情報の抽出に成功したか否かが判定される。文書ID情報の抽出に成功していた場合はS815に進み、失敗していた場合はS820に進む。ここで、抽出に失敗するケースとして、以下の2つの可能性が考えられる。1つは、そもそも複写対象の印刷物自体に文書ID情報が埋め込まれていなかったケース(可能性1)である。もう1つは、複写対象の印刷物に文書ID情報は埋め込まれていたが、当該印刷物が汚れていたり、後から手書きで文字等が加筆されたりして、埋込情報を表す所定のパターンを正しく検出できなかったケース(可能性2)である。ここで、可能性1の場合にはそのままS820に進めばよい。一方、可能性2の場合にはユーザに対して、「文書IDが埋め込まれた真正文書(原本の印刷物)を複写しようとしている」旨のメッセージ表示などを介してユーザに通知するようにしてもよい。これによりユーザは、真正なものではない可能性のある印刷物を複写しようとしていたことを知ることができ、複写作業の中止等の選択機会が与えられる。例えば、抽出処理で得られた結果が、全32bitの文書ID情報のうち、1bit以上31bit以下であった場合に可能性2であると判定し、このような通知を行えばよい。なお、上記所定のパターンに類似するパターンが偶然に1パターンだけ画像内に含まれていることも全くあり得ない訳ではない。このようなレアケースを考慮すると、32bitの半分である16Bit未満しか抽出できなかった場合に可能性1と判定し、16bit以上31bit以下が抽出された場合に可能性2と判定することが好ましい。
続くS815では、抽出に成功した文書ID情報の照合処理が行われる。本実施形態では、S202の文書ID取得処理と同様、MFP10が外部PCにアクセスして照合を依頼し、照合結果を取得するものとする。具体的には、抽出された文書ID情報が正式に登録された有効なものであるかの照合リクエストをネットワークI/F17経由で送信して、外部PCから照合結果を受信・取得するものとする。なお、文書ID情報の管理を複数の外部PCで協働して行い、ブロックチェーンの様なシステム構成を採用してもよいことは、前述のS202と同様である。
次に、S816では、上記照合の結果、S813で抽出された文書ID情報が正式に登録されている有効なものであったか否かによって処理が振り分けられる。有効な文書IDであった場合にはS817に進み、無効な文書IDであった場合にはS820に進む。ここで、無効な文書IDであった場合に、「文書IDが無効な非真正文書を複写しようとしている」旨のメッセージ表示などを介してユーザに通知するようにしてもよい。これによりユーザは、複写作業の中止等の選択機会が与えられる。
S817では、複写対象の印刷物が改竄されたものであるか否かのチェック処理(改竄チェック処理)が行われる。この改竄チェック処理の大まかな流れは以下のとおりである。まず、MFP10がネットワークI/F17経由で外部PCに対し、文書データの取得リクエストを文書ID情報と共に送信する。そして、文書ID情報に紐付く文書データ(PDLデータ)を外部PCから受信・取得し、当該文書データに対しレンダリング処理を行う。ここまでが前処理である。そして、レンダリング処理で得られたBitmap画像とS812で取得されたBitmap画像とを比較して、改竄の有無を判定する。ここで、図10に示す別フローチャートに沿って、改竄チェック処理について詳しく説明する。なお、図10のフローの説明において、レンダリング処理で得られたBitmap画像を「レンダリング画像」と表記し、原稿の読取処理で得られたBitmap画像を「スキャン画像」と表記することとする。
<改竄チェック処理の詳細>
S1001では、後述のS1010にて改竄有りと判定された画素をカウントするカウンタの初期化処理がなされる。具体的には、カウンタのカウント数(改竄画素数)が“0”に設定される。
次のS1002では、S812で取得されたスキャン画像に対し正規化処理が行われる。この正規化処理は、スキャン画像とレンダリング画像との間でダイナミックレンジを合わせるために行う。例えば、スキャン画像の最も明るい部分は一般的に、読取対象の印刷物の紙の色であり、原理的には何らかの濃度を持った値となっている。一方、レンダリング画像の最も明るい部分は画素値がR=255、G=255、B=255の画素である。また、スキャン画像の最も暗い部分は一般的にインク若しくはトナーの黒色であり、原理的には何らかの反射光による明度を持った値となっている。一方、レンダリング画像の最も明るい部分は画素値がR=0、G=0、B=0の画素である。このように、両者の最も明るい色と最も暗い色に元々違いが有る。また、印刷物がカラーで出力されている場合にはその色味においても両者には違いがある。例えば、印刷可能な最も鮮やかな赤色についても、レンダリング画像上の最も鮮やかな赤色を示す画素値(R=255、G=0、B=0)と比べると、スキャン画像における彩度は低くなっている。そこで、スキャン画像の各画素値(RGB値)に対して、以下の式(1)~式(3)を用いて正規化し、新たな画素値(Rnorm, Gnorm, Bnorm)を求める。
Rnorm = (R - Rd)/(Rw-Rd)×255 ・・・式(1)
Gnorm = (G - Gd)/(Gw-Gd)×255 ・・・式(2)
Bnorm = (B - Bd)/(Bw-Bd)×255 ・・・式(3)
上記式(1)~式(3)を用いた正規化処理により、スキャン画像の最も明るい色(白)のRGB値はR=255、G=255、B=255となり、最も暗い色(黒)のRGB値はR=0、G=0、B=0となる。
次のS1003では、正規化処理後のスキャン画像に対しフィルタ処理が行われる。これは、レンダリング画像との比較をしやすくするために、より強いエッジ強調を行うものである。
続くS1004では、フィルタ処理後のスキャン画像から埋込情報を表現している画像パターンを除去する処理が行われる。前述の図2のフローにおけるS205で生成される印刷画像には、多重化処理(S203)によって本来の文書画像(原本である電子文書の画像)と差異が生じている。そこで、当該差異を極力除去する為に本処理が行われる。具体的には、多重化処理によって埋め込まれたパターンデータをスキャン画像から減算する処理を行う。これにより、スキャン画像を多重化処理が施される前の状態に近づける。本実施形態では、前述の図4や図6のマスクにおける各値に“-1”を乗じた値をスキャン画像に更に埋め込むことによってこれを実現する。
次に、S1005では、埋込情報が除去されたスキャン画像と、レンダリング画像との比較処理が行われる。具体的には、レンダリング画像と埋込情報除去後のスキャン画像とを画素単位で比較して、以下の式(4)~式(6)で表される差分値(ΔR,ΔG,ΔB)を求める処理が行われる。
ΔR=|レンダリング画像のR[x][y]-スキャン画像のR[x][y]| ・・・式(4)
ΔG=|レンダリング画像のG[x][y]-スキャン画像のG[x][y]| ・・・式(5)
ΔB=|レンダリング画像のB[x][y]-スキャン画像のB[x][y]| ・・・式(6)
次に、S1006では、S1005で得られた差分値(ΔR,ΔG,ΔB)が閾値を超えているか否かが判定される。本実施形態では、RGBそれぞれのチャネル毎に予め設けた閾値(Rth、Gth、Bth)と比較し、ΔR,ΔG,ΔBのいずれかが対応する閾値を超えていればS1007に進み、超えていなければS1008に進む。なお、閾値はスキャナユニットや印刷装置の特性などを考慮して決定され、本実施形態の場合であれば例えばRth=Gth=Bth=64といった値を設定すればよい。
S1007では、改竄画素数を示すカウンタのカウント値がインクリメント(+1)される。カウンタのインクリメント後はS1008に進む。そして、S1008では、全画素について画素値の比較が完了したか否かが判定される。未処理の画素があればS1005に戻って処理を続行し、全画素について画素値の比較が完了していればS1009に進む。
S1009では、改竄画素数を示すカウンタのカウント値が閾値を超えているか否かが判定される。この場合の閾値は、スキャン画像取得時にゴミが混入するケース等を想定し、例えば全画素数の3%といった値を設定すればよい。カウント値が閾値を超えていればS1010に進み、超えていなければS1011に進む。
S1010では、改竄チェック処理の結果を改竄無しに決定し、本処理を抜ける。一方、S1011では、改竄チェック処理の結果を改竄有りに決定し、本処理を抜ける。
以上が、改竄チェック処理の内容である。なお、本実施形態では画素単位で比較を行っているがこれに限定されず、例えば複数の画素塊単位で平均値を比較するなどより大きなサイズで行ってもよい。改竄チェック処理が終了すると図8のS818に進むことになる。
図8のフローチャートの説明に戻る。
S818では、S812で得られたBitmap画像が、改竄チェック処理の結果に従い、処理が振り分けられる。改竄無しであった場合はS819に進み、改竄有りであった場合はS820に進む。なお、改竄チェック処理の結果が改竄有りであった場合、「改竄された文書を複写しようとしている」旨のメッセージ表示などを介してユーザに通知するようにしてもよい。これによりユーザは、複写作業の中止等の選択機会が与えられる。
次に、S819では、S812で取得されたBitmap画像に埋め込まれていた文書の真正性を示す情報を再構成する処理が行われる。具体的には、Bitmap画像に埋め込まれた所定のパターンデータのうち強度が弱くなっている部分を補強する処理を行う。解決課題で述べたとおり、印刷物から読み取って得られる埋め込まれたパターンデータが劣化している可能性があるためである。図11(a)は、図5(a)の「0」を表すパターンが劣化していた場合の一例を示す図である。図5(a)の本来のパターンでは、黒ベタの画素によって左下がりの斜め線が現れるはずが、その一部にハッチングの画素1101が出現している。これは所期の濃度が実現できなかった画素を示している。こうなると、他のハッチングの画素との差が小さくなり、左下がりの斜め線が途切れて形成されることになる。つまり、その分だけパターンデータの埋め込み強度が弱まっていることになる。S812で取得されたBitmap画像から図11(a)に示すようなパターンが検出された場合は、埋込情報の強度が弱まっていると判定できる。このように埋込情報の強度がが弱まっている場合、パターン補強マスクを用いて抽出されたパターンデータの劣化している部分を補強する処理を行う。図11(b)は、図11(a)に対応するパターン補強マスクを示している。図11(b)のパターン補強マスクは、所期の濃度が実現できなかった画素位置1102にさらに“-5”の変化を与えるマスクとなっている。なお、どの程度変化を与えるかは、所期の濃度が実現できなかった画素1101と黒ベタの画素との差分値に基づき設定してもよいし、予め所定値を設定してもよい。そして、Bitmap画像のうち埋込情報の強度が弱いと判断された画像領域に対して、上述のようなパターン補強マスクを適用して、パターンデータを補強する処理を実施する。なお、S813の文書ID抽出時に誤り訂正を実施した場合にも同様に埋込情報が弱まっていると判定して、訂正がなされた箇所に同様の補強処理を行ってもよい。また、パターンデータが特定の色プレーンにだけに埋め込まれている当該特定プレーンだけにパターン補強マスクを適用すればよい。
次のS820では、S819で埋込情報の再構成処理が施されたBitmap画像に基づき印刷画像が生成される。この処理は、前述の図2のフローにおけるS205に相当し特に異なるところはないので説明を省略する。続く821ではS820で生成された印刷画像を用いた印刷処理が行われる。
以上が、原本の印刷物を複写する際の処理の流れである。本実施形態では、S812で読み取ったBitmap画像に対してパターン補強マスクを適用して既に埋め込まれているパターンデータを補強することで、十分な強度の埋込情報を複写物において実現する例を説明したが以下のような方法によっても実現可能である。
<変形例1>
S812で取得したBitmap画像から埋め込まれているパターンデータを除去した上で、新たに多重化処理を行って文書の真正性を示す情報を埋め込んでもよい。Bitmap画像に埋め込まれているパターンデータを除去する方法としては、S812で読み取ったBitmap画像に対して所定サイズの平滑フィルタを掛ける方法がある。この際のフィルタサイズは、例えば埋め込まれているパターンのサイズ(例えば、8x8画素)に基づいて設定する。また、埋め込まれているパターンから逆フィルタを算出して、これをBitmap画像に適用してもよい。また、用紙の紙白領域にパターンが埋め込まれている場合は下地除去などによって紙白の状態にまで画素値を戻す処理を行ってもよい。こうして、埋め込まれていたパターンを除去した後のBitmap画像に対して、前述の図2のフローにおけるS204と同様の方法で、S813で抽出した文章ID情報を埋め込んでもよい。なお、パターンデータが特定の色プレーンにだけに埋め込まれている場合は、パターンデータの除去処理を当該特定プレーンだけに適用すればよい。
<変形例2>
S813で抽出された文書ID情報に基づき元の文書データを取得して、それに新たに文書ID情報を埋め込む方法がある。この場合、S813で抽出された文書ID情報を外部PCに送信して、当該文書ID情報に紐付く文書データ(PDLデータ)を取得し、取得したPDLデータを用いてレンダリング処理を行ってBitmap画像を得て、それに対し多重化処理を行って新たに文書ID情報を埋め込めばよい。
上述したいずれの方法に依っても、十分な強度の埋込情報を複写物において実現可能となる。
[実施形態2]
実施形態1では、8x8画素の領域単位で文書ID情報を多重化して埋め込む例を説明した。この手法では、画像内の高周波領域に所定のパターンが形成されるので、ユーザが視認しにくい形での情報の埋め込みが可能となる。次に、文書ID情報をQRコード化し、それを視認されにくい形で埋め込む態様を、実施形態2として説明する。なお、以下では実施形態1との差異点である埋め込み方法について説明を行い、その他の説明は省略するものとする。
図12(a)はQRコードの一例を示し、同(b)はそれに対応する実際の印刷パターンを示している。図12(b)の例では、8x8画素の領域毎に1ドットを形成するパターンとなっている。図12(a)のQRコード中の黒画素1201に対応するドットが、図12(b)に示す印刷パターン中の1ドット1202に対応する。つまり、図12(a)のQRコード中の白画素に対応する位置に、印刷パターンのドットが形成されることはない。これを実現する具体的な処理の流れとしては、前述の図2のフローにおける多重化処理(S204)にて、まず文書ID情報をQRコード化して、その後、離間したドット群のパターンデータに変換してレンダリング画像に所定の領域単位で埋め込めばよい。そして、次の印刷画像生成処理(S205)では、Yインクのみで離間ドットが形成されるようにすることで、より視認されにくくすることができる。
そして、本実施形態の手法で文書ID情報が埋め込まれた印刷物の複写処理においては、それを読み取ったBitmap画像に8x8画素単位でイエロードットが形成されていれば、QRコードパターンを抽出してそれを復号することで文書ID情報を抽出すればよい。
また、QRコード以外の埋め込み手法として、例えば量子化処理時に閾値変調を行って多重化してもよい(特許文献2を参照)。
(その他の実施例)
本開示の技術は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

Claims (15)

  1. 複写機能を有する画像処理装置であって、
    複写対象の印刷物をスキャンしてスキャン画像を取得する取得手段と、
    前記スキャン画像から埋込情報を抽出する抽出手段と、
    前記スキャン画像に基づき印刷画像を生成する生成手段と、
    前記印刷画像を用いて印刷処理を行う印刷手段と、
    を備え、
    前記生成手段は、前記抽出手段にて抽出された埋込情報によって前記複写対象の印刷物が真正な文書であることが確認された場合に、前記スキャン画像から抽出された埋込情報を再構成して、前記印刷画像を生成する、
    ことを特徴とする画像処理装置。
  2. 前記生成手段は、前記抽出手段にて抽出された埋込情報によって前記複写対象の印刷物が真正な文書であることが確認された場合に、前記スキャン画像から抽出された埋込情報を補強することで再構成して、前記印刷画像を生成することを特徴とする請求項1に記載の画像処理装置。
  3. 前記抽出手段は、前記スキャン画像から所定のパターンを検出することで、前記埋込情報を抽出し、
    前記生成手段は、前記スキャン画像から検出された前記所定のパターンのうち強度が弱くなっている部分を補強して、前記印刷画像を生成する、
    ことを特徴とする請求項2に記載の画像処理装置。
  4. 前記生成手段は、前記所定のパターンを形成する画素のうち所期の濃度が実現できなかった画素に変化を与えるマスクを用いて前記補強を行うことを特徴とする請求項3に記載の画像処理装置。
  5. 前記埋込情報は、0と1の組合せで表現されるバイナリデータで表現され、
    前記所定のパターンは、0又は1を示すパターンである、
    ことを特徴とする請求項3又は4に記載の画像処理装置。
  6. 前記埋込情報は、QRコードで表現され、
    前記所定のパターンは、前記QRコードに対応する離間ドットのパターンである、
    ことを特徴とする請求項3又は4に記載の画像処理装置。
  7. 前記生成手段は、前記抽出手段にて抽出された埋込情報によって前記複写対象の印刷物が真正な文書であることが確認された場合に、前記スキャン画像内の埋込情報を除去し、新たに真正な文書であることを示す情報を埋め込むことで再構成して、前記印刷画像を生成する、ことを特徴とする請求項1に記載の画像処理装置。
  8. 前記抽出手段は、前記スキャン画像から所定のパターンを検出することで、前記埋込情報を抽出し、
    前記生成手段は、前記スキャン画像に対して、平滑フィルタを掛けることによって又は前記所定のパターンから求めた逆フィルタを掛けることによって前記埋込情報を除去する、
    ことを特徴とする請求項7に記載の画像処理装置。
  9. 前記埋込情報は、0と1の組合せで表現されるバイナリデータで表現され、
    前記所定のパターンは、0又は1を示すパターンである、
    ことを特徴とする請求項8に記載の画像処理装置。
  10. 前記埋込情報は、QRコードで表現され、
    前記所定のパターンは、前記QRコードに対応する離間ドットのパターンである、
    ことを特徴とする請求項8に記載の画像処理装置。
  11. 複写機能を有する画像処理装置であって、
    複写対象の印刷物をスキャンしてスキャン画像を取得する取得手段と、
    前記スキャン画像から埋込情報を抽出する抽出手段と、
    前記抽出手段にて抽出された埋込情報に基づき印刷画像を生成する生成手段と、
    前記印刷画像を用いて印刷処理を行う印刷手段と、
    を備え、
    前記生成手段は、前記抽出手段にて抽出された埋込情報によって前記複写対象の印刷物が真正な文書であることが確認された場合に、前記スキャン画像から抽出された埋込情報に基づき前記真正な文書のPDLデータを取得し、当該PDLデータをレンダリングして得られた画像に新たに真正な文書であることを示す情報を埋め込んで、前記印刷画像を生成する、
    ことを特徴とする画像処理装置。
  12. 文書データを文書の真正性を示す情報と紐付けて管理する外部装置とネットワークを介して接続され、
    抽出された埋込情報と前記管理されている文書の真正性を示す情報との照合を前記外部装置に依頼して、照合結果を受け取る通信手段をさらに備え、
    前記生成手段は、前記外部装置から受け取った照合結果によって前記複写対象の印刷物が真正な文書であるか否かを確認する、
    ことを特徴とする請求項1又は11に記載の画像処理装置。
  13. 複写機能を有する画像処理装置の制御方法であって、
    複写対象の印刷物をスキャンしてスキャン画像を取得する取得ステップと、
    前記スキャン画像から埋込情報を抽出する抽出ステップと、
    前記スキャン画像に基づき印刷画像を生成する生成ステップと、
    前記印刷画像を用いて印刷処理を行う印刷ステップと、
    を含み、
    前記生成ステップでは、前記抽出ステップにて抽出された埋込情報によって前記複写対象の印刷物が真正な文書であることが確認された場合に、前記スキャン画像から抽出された埋込情報を再構成 して、前記印刷画像を生成する、
    ことを特徴とする制御方法。
  14. 複写機能を有する画像処理装置の制御方法であって、
    複写対象の印刷物をスキャンしてスキャン画像を取得する取得ステップと、
    前記スキャン画像から埋込情報を抽出する抽出ステップと、
    前記抽出ステップにて抽出された埋込情報に基づき印刷画像を生成する生成ステップと、
    前記印刷画像を用いて印刷処理を行う印刷ステップと、
    を含み、
    前記生成ステップでは、前記抽出ステップにて抽出された埋込情報によって前記複写対象の印刷物が真正な文書であることが確認された場合に、前記スキャン画像から抽出された埋込情報に基づき前記真正な文書のPDLデータを取得し、当該PDLデータをレンダリングして得られた画像に新たに真正な文書であることを示す情報を埋め込んで、前記印刷画像を生成する、
    ことを特徴とする制御方法。
  15. コンピュータを、請求項1乃至12のいずれか一項に記載の画像処理装置として機能させるためのプログラム。
JP2021024396A 2021-02-18 2021-02-18 画像処理装置、画像処理方法及びプログラム Pending JP2022126367A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021024396A JP2022126367A (ja) 2021-02-18 2021-02-18 画像処理装置、画像処理方法及びプログラム
US17/673,002 US11785164B2 (en) 2021-02-18 2022-02-16 Image processing apparatus, method and product that reinforces a portion of a predetermined pattern detected from a scanned image at which intensity has become low

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021024396A JP2022126367A (ja) 2021-02-18 2021-02-18 画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2022126367A true JP2022126367A (ja) 2022-08-30
JP2022126367A5 JP2022126367A5 (ja) 2024-02-28

Family

ID=82800674

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021024396A Pending JP2022126367A (ja) 2021-02-18 2021-02-18 画像処理装置、画像処理方法及びプログラム

Country Status (2)

Country Link
US (1) US11785164B2 (ja)
JP (1) JP2022126367A (ja)

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2288476A (en) * 1994-04-05 1995-10-18 Ibm Authentication of printed documents.
AU2002211634A1 (en) 2000-10-11 2002-04-22 Digimarc Corporation Halftone watermarking and related applications
JP2008017271A (ja) * 2006-07-07 2008-01-24 Fuji Xerox Co Ltd 画像形成装置及びその方法
JP4777278B2 (ja) 2007-02-28 2011-09-21 キヤノン株式会社 画像処理装置およびその方法
US8542867B2 (en) * 2007-07-31 2013-09-24 Canon Kabushiki Kaisha Image processing for reproducing code image from original information
US8595503B2 (en) * 2008-06-30 2013-11-26 Konica Minolta Laboratory U.S.A., Inc. Method of self-authenticating a document while preserving critical content in authentication data
JP5340234B2 (ja) * 2009-09-14 2013-11-13 キヤノン株式会社 装置、方法およびプログラム
JP5264945B2 (ja) * 2011-03-01 2013-08-14 キヤノン株式会社 装置、方法、およびプログラム
JP7180327B2 (ja) 2018-11-30 2022-11-30 株式会社リコー システム、画像形成装置、方法およびプログラム
US11157639B2 (en) * 2019-09-10 2021-10-26 Kyocera Document Solutions Inc. Systems, processes, and computer program products for authentication of documents based on invisible information in documents
US10855868B1 (en) * 2019-09-10 2020-12-01 Kyocera Document Solutions Inc. Systems, processes, and computer program products for detecting and verifying invisible information in documents
JP2022126334A (ja) * 2021-02-18 2022-08-30 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2023067165A (ja) * 2021-10-29 2023-05-16 キヤノン株式会社 画像処理装置及び画像処理方法
JP2023067164A (ja) * 2021-10-29 2023-05-16 キヤノン株式会社 画像処理装置及び画像処理方法
JP2023067166A (ja) * 2021-10-29 2023-05-16 キヤノン株式会社 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
US20220263965A1 (en) 2022-08-18
US11785164B2 (en) 2023-10-10

Similar Documents

Publication Publication Date Title
KR100805594B1 (ko) 농도 결정 방법, 화상 형성 장치 및 화상 처리 시스템
JP4732315B2 (ja) 画像処理装置及び方法
US7982913B2 (en) Image processing apparatus and image processing method for suppressing jaggies in the edge portions of image
US11889038B2 (en) Image processing apparatus and image processing method
US11818310B2 (en) Image processing apparatus and method for determining image data from reading printed document with or without applying light to extract embedded information
US8184344B2 (en) Image processing apparatus and image processing method, computer program and storage medium
US11818316B2 (en) Image processing apparatus and method for embedding specific information based on type of designated printing apparatus
US11295407B2 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium storing program
JP2000175031A (ja) 画像処理装置、画像処理方法および画像入力装置
US20240040060A1 (en) Information processing apparatus, image processing method, and medium
US11677894B2 (en) Information processing apparatus, image processing method, and medium
JP4663682B2 (ja) 画像処理装置、画像処理方法、プログラム及び記憶媒体
US11706365B2 (en) Image processing apparatus that adds information indicating a copy is of an authentic document
JP2022139238A (ja) 画像処理システム及び画像処理方法
JP2008211332A (ja) 画像形成装置及びその制御方法、並びにプログラム及び記憶媒体
JP4653006B2 (ja) 潜像画像、背景画像の濃度信号値を決定する方法及び装置及びプログラム
JP2022126367A (ja) 画像処理装置、画像処理方法及びプログラム
US11968343B2 (en) Image processing apparatus and image processing method that obtain multiplexed images and output print data using multiplexed image
US20230291858A1 (en) Image processing apparatus and image processing method
US20060092439A1 (en) Printer controller, image forming apparatus, image forming program
JP2022123580A (ja) 多重化処理を実行する情報処理装置、その制御方法およびプログラム
JP2023157163A (ja) 画像形成システム、スキャナ、プリンタ、及びプログラム
JP2010288144A (ja) 画像処理装置及び画像処理装置の制御方法及びプログラム及び記憶媒体
JP2004255820A (ja) 画像形成装置及びその方法
JP2009188682A (ja) 画像処理システム、送信装置、出力装置、および画像処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240219

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240219