JP2015039153A - 画像処理装置、画像読み取り装置およびプログラム - Google Patents

画像処理装置、画像読み取り装置およびプログラム Download PDF

Info

Publication number
JP2015039153A
JP2015039153A JP2013169954A JP2013169954A JP2015039153A JP 2015039153 A JP2015039153 A JP 2015039153A JP 2013169954 A JP2013169954 A JP 2013169954A JP 2013169954 A JP2013169954 A JP 2013169954A JP 2015039153 A JP2015039153 A JP 2015039153A
Authority
JP
Japan
Prior art keywords
information
image information
luminance
image
reduced image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013169954A
Other languages
English (en)
Inventor
洋 劉
Hiroshi Ryu
洋 劉
木村 俊一
Shunichi Kimura
俊一 木村
越 裕
Yutaka Koshi
裕 越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2013169954A priority Critical patent/JP2015039153A/ja
Publication of JP2015039153A publication Critical patent/JP2015039153A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Studio Devices (AREA)

Abstract

【課題】算出された輝度情報による画像にモアレが生じにくい画像処理装置等を提供する。
【解決手段】予め定められた第1の配列位置に位置する複数の色成分の画像情報を縮小することで生成され、縮小することで第2の配列位置に位置するようになった複数の色成分の画像情報である縮小画像情報を取得する縮小画像情報取得部121と、取得された縮小画像情報を第1の配列位置に当てはめたときに、縮小画像情報を第1の配列位置において等間隔となる輝度算出点に線形補間する処理を行うとともに、線形補間したそれぞれの画像情報に基づき輝度算出点における輝度情報を算出する処理を行う輝度情報算出部122と、を備えることを特徴とする画像処理部12。
【選択図】図6

Description

本発明は、画像処理装置、画像読み取り装置、プログラムに関する。
従来、撮像素子により取得された画像情報を縮小し、縮小画像情報として出力する画像読み取り装置が知られている。
特許文献1では、ディジタルカメラは、固体撮像素子において受光素子に蓄積した各色属性の信号電荷をラインメモリまで転送し、メモリから読み出した信号電荷を水平転送レジスタで同色同士水平混合を行して水平間引きし、これにより、完全市松パターンと異ならせてしまう色属性の信号電荷に対して電極に分けた電極の内、電極と信号線を接続させ、電極にだけ信号電荷を読み出す信号を供給して電極と接続された所定の列の信号電荷を間引きし、この間引きした信号電荷の水平混合に対応する信号電荷をそのままに読み出す固体撮像装置が開示されている。
また特許文献2では、5×5の画素ブロックを単位画素ブロックとし、単位画素ブロックのa行a列目の出力として画素配列の1,3,5行目の1,3,5列目の画素情報を加算して出力し、次いで単位画素ブロックのa行b列目の出力として画素配列の1,3,5行目の6,8,10列目の画素情報を加算して出力し、以下同様に最終列または最終列付近まで加算して出力し、しかる後、単位画素ブロックのb行a列目の出力として画素配列の6,8,10行目の1,3,5列目の画素情報を加算して出力し、以下同様の操作を繰り返して間引き加算しながら、任意の全画素を読み出すようにする固体撮像装置が開示されている。
特開2003−264844号公報 特開2004−266369号公報
縮小画像情報を基にして輝度情報を算出する場合、輝度情報による画像にモアレが生じにくいことが望ましい。
請求項1に記載の発明は、予め定められた第1の配列位置に位置する複数の色成分の画像情報を縮小することで生成され、縮小することで第2の配列位置に位置するようになった複数の色成分の画像情報である縮小画像情報を取得する縮小画像情報取得部と、前記縮小画像情報取得部により取得された前記縮小画像情報を前記第1の配列位置に当てはめたときに、当該縮小画像情報を当該第1の配列位置において等間隔となる輝度算出点に線形補間する処理を行うとともに、線形補間したそれぞれの画像情報に基づき当該輝度算出点における輝度情報を算出する処理を行う輝度情報算出部と、を備えることを特徴とする画像処理装置である。
請求項2に記載の発明は、前記第1の配列位置は、複数の色成分をベイヤー配列により配列させた場合の配列位置であり、前記第2の配列位置は、前記ベイヤー配列により市松模様状に配列する複数の色成分について、行方向および列方向に隣接する4個の同色の画素を中心部に縮小したときに生ずるベイヤー配列による配列位置であることを特徴とする請求項1に記載の画像処理装置である。
請求項3に記載の発明は、前記輝度情報算出部は、4つの前記輝度算出点における前記縮小画像情報を線形補間する処理と前記輝度情報を算出する処理とをまとめて行うことを特徴とする請求項1または2に記載の画像処理装置である。
請求項4に記載の発明は、前記輝度情報算出部は、4つの前記輝度算出点における前記縮小画像情報を線形補間する処理を行う数式において複数の色成分のいずれか一色についての係数をまとめた行列を、他色にも適用させた項を含む数式を用いることで、前記縮小画像情報を線形補間する処理と前記輝度情報を算出する処理とをまとめて行うことを特徴とする請求項3に記載の画像処理装置である。
請求項5に記載の発明は、ドット配列により情報を表す画像が印刷された媒体から当該画像を読み取る読み取り手段と、前記読み取り手段により読み取られた画像に対して画像処理を行い、当該画像の輝度情報を算出する画像処理手段と、前記画像処理手段により算出された前記輝度情報に基づいて前記ドット配列を検出する検出手段と、を備え、前記画像処理手段は、予め定められた第1の配列位置に位置する複数の色成分の画像情報を縮小することで生成され、縮小することで第2の配列位置に位置するようになった複数の色成分の画像情報である縮小画像情報を取得する縮小画像情報取得部と、前記縮小画像情報取得部により取得された前記縮小画像情報を前記第1の配列位置に当てはめたときに、当該縮小画像情報を当該第1の配列位置において等間隔となる輝度算出点に線形補間する処理を行うとともに、線形補間したそれぞれの画像情報に基づき当該輝度算出点における輝度情報を算出する処理を行う輝度情報算出部と、を備えることを特徴とする画像読み取り装置である。
請求項6に記載の発明は、コンピュータに、予め定められた第1の配列位置に位置する複数の色成分の画像情報を縮小することで生成され、縮小することで第2の配列位置に位置するようになった複数の色成分の画像情報である縮小画像情報を取得する機能と、取得された前記縮小画像情報を前記第1の配列位置に当てはめたときに、当該縮小画像情報を当該第1の配列位置において等間隔となる輝度算出点に線形補間する処理を行うとともに、線形補間したそれぞれの画像情報に基づき当該輝度算出点における輝度情報を算出する処理を行う機能と、を実現させるプログラムである。
請求項1の発明によれば、本構成を採用しない場合に比較して、算出された輝度情報による画像にモアレが生じにくい画像処理装置を提供することができる。
請求項2の発明は、本構成を採用しない場合に比較して、輝度算出点の設定がより容易になる。
請求項3の発明は、本構成を採用しない場合に比較して、輝度情報の算出時間を短縮することができる。
請求項4の発明は、本構成を採用しない場合に比較して、輝度情報の算出時間をさらに短縮することができる。
請求項5の発明は、本構成を採用しない場合に比較して、ドット配列の検出の精度がより向上する画像読み取り装置を提供することができる。
請求項6の発明は、本構成を採用しない場合に比較して、算出された輝度情報による画像にモアレが生じにくくする機能をコンピュータにより実現できる。
9Cn方式における単位符号パターンの一例を示した図である。 9Cn方式における単位符号パターンの他の例を示した図である。 9C2方式における単位符号パターンとパターン値の対応を示した図である。 9C2方式における同期パターンの例を示した図である。 符号ブロックの一例を示したものである。 画像読み取り装置の構成例を示したブロック図である。 ペンデバイスの機構を示した図である。 コンピュータのハードウェア構成を示した図である。 カラーフィルタの配列について説明した図である。 (a)〜(c)は、CCDやCMOSで得られた画像情報を縮小する方法について説明した図である。 (a)は、縮小後におけるR、Gb、Gr、Bの配列位置(第2の配列位置)を縮小前のR、Gb、Gr、Bの配列位置(第1の配列位置)に当てはめた場合を示した図である。(b)は、図11(a)に示すR、Gb、Gr、Bの配列を等間隔に配列するように補間した場合の例である。 (a)〜(d)は、画像処理部が行う処理の概念図である。 (a)は、第1の配列配置において、R、G、Bの画像情報を補間し、輝度情報を算出する位置を示した図である。(b)は、図13(a)うち4つの輝度算出点を抽出した図である。 データV、V、V、Vの位置を示した図である。
以下、添付図面を参照して、本発明の実施の形態について説明する。
<符号パターンの説明>
まず、読み込む符号画像を構成する符号パターンについて説明する。
本実施の形態では、m(m≧3)箇所から選択したn(1≦n<m)箇所に単位画像を配置してなるパターン画像(以下、「単位符号パターン」という)によってmCn(=m!/{(m−n)!×n!})通りの情報を表現する。つまり、1つの単位画像を情報に対応させるのではなく、複数の単位画像を情報に対応させている。仮に1つの単位画像を情報に対応させたとすると、単位画像が欠損したり、ノイズが加わったりした場合に、誤った情報を表現してしまうという欠点がある。これに対して、例えば2つの単位画像を情報に対応させたとすると、単位画像が1つであったり3つであったりした場合に、容易に誤りであることが分かる。更に、1つの単位画像で1ビット、又は、高々2ビットを表現する方法では、情報を表現するパターンと視覚的に似たパターンで、情報パターンの読出しを制御する同期パターンを表現することができない。このようなことから、本実施の形態では、上記のような符号化方式を採用している。以下では、このような符号化方式をmCn方式と称する。
ここで、単位画像としては、如何なる形状のものを用いてもよい。本実施の形態では、単位画像の一例としてドット画像(以下、単に「ドット」という)を用いるが、例えば、斜線パターン等、他の形状の画像であってもよい。
図1に、mCn方式における単位符号パターンの例を示す。
図では、黒色の領域と斜線の領域をドット配置可能な領域とし、その間にある白色の領域をドット配置不可能な領域としている。そして、ドット配置可能な領域のうち、黒色の領域にドットが配置され、斜線の領域にはドットが配置されていないことを示している。即ち、図1は、縦3ドット、横3ドットの合計9ドットを配置可能な領域を設けた例を示しており、(a)は、ドット配置可能な領域に2ドットを配置する9C2方式における単位符号パターンであり、(b)は、ドット配置可能な領域に3ドットを配置する9C3方式における単位符号パターンである。
図1で配置されるドット(黒色の領域)は、あくまで情報表現のためのドットであり、画像を構成する最小単位であるドット(図1の最小の四角)とは必ずしも一致しない。本実施の形態において、「ドット」というときは前者のドットを指し、後者のドットは「ピクセル」と呼ぶことにすれば、ドットは、600dpiにおける2ピクセル×2ピクセルの大きさを有することになる。600dpiにおける1ピクセルの大きさは0.0423mmなので、ドットの一辺は、84.6μm(=0.0423mm×2)である。ドットは、大きくなればなるほど目に付きやすくなるため、できるだけ小さいほうが好ましい。ところが、あまり小さくすると、プリンタで印刷できなくなってしまう。そこで、ドットの大きさとして、50μmより大きく100μmより小さい上記の値を採用している。但し、上記の値84.6μmは、あくまで計算上の数値であり、実際に印刷されたトナー像では100μm程度になる。
また、図2(a)〜(b)に、単位符号パターンの他の例を示す。なおこの図では、ドット間の空白を省略している。
図2(a)は、図1(a)に示した9C2方式における全ての単位符号パターンを示している。9C2方式では、これらの単位符号パターンを用いて、36(=)通りの情報を表現する。また、図2(b)は、図1(b)に示した9C3方式における全ての単位符号パターンを示している。9C3方式では、これらの単位符号パターンを用いて、84(=)通りの情報を表現する。
なお単位符号パターンは、m=9の場合に限定されるものではなく、mの値として、例えば、4、16等の値を採用してもよい。また、nの値も1≦n<mを満たしていれば如何なる値を採用してもよい。
また、mの値としては、平方数(整数の2乗)だけでなく、異なる2つの整数の積を採用してもよい。つまり、ドットを配置可能な領域は、3ドット×3ドットを配置する場合のような正方形の領域に限らず、3ドット×4ドットを配置する場合のような長方形の領域であってもよい。なお本実施の形態において、長方形とは、隣り合う2辺の長さが等しくない矩形のことをいうものとする。
ところで、mCn方式における全ての単位符号パターンには、各単位符号パターンを識別するための番号であるパターン値が付されている。
図3に、9C2方式における単位符号パターンとパターン値との対応を示す。9C2方式における単位符号パターンは36個であるので、パターン値としては0〜35が用いられる。但し、図3に示した対応はあくまで一例であり、どの単位符号パターンにどのパターン値を割り当ててもよい。なお9C3方式については、図示しないが、各単位符号パターンに0〜83のパターン値が付されることになる。
このように、m箇所からn箇所を選択することでmCn種類の単位符号パターンを用意しているが、本実施の形態では、これらの単位符号パターンのうち、特定のパターンを情報パターンとして利用し、残りを同期パターンとして利用する。ここで、情報パターンとは、媒体に埋め込む情報を表現するパターンである。また、同期パターンとは、媒体に印刷された情報パターンを取り出すために用いられるパターンである。例えば、情報パターンの位置を特定したり、画像の回転を検出したりするために用いられる。なお媒体としては、画像を印刷することが可能であれば、如何なるものを用いてもよい。紙が代表例なので、以下では媒体を紙として説明するが、金属、プラスチック、繊維等であってもよい。
ここで、同期パターンについて説明する。
図4は、9C2方式における同期パターンの例である。このようにmCn方式におけるmが平方数である場合は、画像の回転の検出のために4種類の単位符号パターンを同期パターンとして用意する必要がある。ここでは、パターン値32の単位符号パターンを正立した同期パターンとしている。また、パターン値33の単位符号パターンを右に90度回転した同期パターン、パターン値34の単位符号パターンを右に180度回転した同期パターン、パターン値35の単位符号パターンを右に270度回転した同期パターンとしている。この場合、36種類の単位符号パターンからこの4種類の同期パターンを除いた残りを情報パターンとし、5ビットの情報を表現するとよい。但し、36種類の単位符号パターンの情報パターンと同期パターンへの振り分け方は、これには限らない。例えば、4種類で1組を構成する同期パターンの組を5つ用意し、残りの16種類の情報パターンで4ビットの情報を表現してもよい。
なお図示しないが、mCnにおけるmが異なる2つの整数の積である場合は、画像の回転の検出のために2種類の単位符号パターンを同期パターンとして用意すればよい。例えば、縦3ドット×横4ドットを配置可能な領域が検出されるべきなのに、縦4ドット×横3ドットを配置可能な領域が検出された場合は、その時点で画像が90度又は270度回転していることが分かるからである。
次に、このような符号パターンを配置して識別情報と座標情報を表現する方法を述べる。
まず、上述した単位符号パターンから構成される符号ブロックについて説明する。
図5は、符号ブロックの一例を示したものである。図では、9C2方式における単位符号パターンを使用していることも同時に示している。即ち、36種類の単位符号パターンを、例えば、同期パターンとして使用する4パターンと、情報パターンとして使用する32パターンとに分け、各パターンをレイアウトに従って配置する。
図では、レイアウトとして、3ドット×3ドットを配置可能な領域(以下、「ブロック」という)を5個×5個の25個並べたものを採用している。そして、この25個のブロックのうち、左上の1ブロックに同期パターンを配置している。また、同期パターンの右の4ブロックに紙面上のX方向の座標を特定するX座標情報を表す情報パターンを配置し、同期パターンの下の4ブロックに紙面上のY方向の座標を特定するY座標情報を表す情報パターンを配置している。更に、これらの座標情報を表す情報パターンで囲まれた16ブロックに、紙面又は紙面に印刷される文書の識別情報を表す情報パターンを配置している。
なお9C2方式における単位符号パターンはあくまで例であり、図の左下に示すように、9C3方式における単位符号パターンを使用してもよい。
<画像読み取り装置の説明>
次に、紙面に形成された符号画像を読み取って出力する画像読み取り装置10について説明する。
図6は、画像読み取り装置10の構成例を示したブロック図である。
図示するように、画像読み取り装置10は、画像読み取り部11と、画像処理部12と、ドット配列検出部13と、単位符号パターン検出部14と、復号部15と、情報出力部16とを備える。
画像読み取り部11は、ドット配列により情報を表す画像が印刷された紙面から画像を読み取る読み取り手段として機能する。画像読み取り部11は、CCD(Charge Coupled Devices)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を用いて、紙面に印刷された符号画像を読み取る。画像読み取り部11については、後で詳しく説明を行う。
画像処理部12は、画像読み取り部11により読み取られた画像に対して画像処理を行い、画像の輝度情報を算出する画像処理手段として機能する。画像処理部12については、後で詳しく説明を行う。
ドット配列検出部13は、画像処理部12により算出された輝度情報を基づいてドット配列を検出する検出手段として機能する。ドット配列検出部13は、読み取った符号画像からドットを検出し、ドットの位置を参照して、ドット配列を生成する。なお符号画像からのドット検出の前処理として、読み取った画像に含まれるノイズを除去するための処理も行う。
単位符号パターン検出部14は、ドット配列から各単位符号パターンの種類を検出する。
復号部15は、単位符号パターン検出部14で検出した単位符号パターンの種類から、識別情報、X座標情報、Y座標情報を復号する。
情報出力部16は、復号部15で復号した識別情報、X座標情報、Y座標情報を出力する。
次に、本実施の形態における画像読み取り装置10の具体的なハードウェア構成について説明する。
まず、画像読み取り装置10を実現するペンデバイス60について説明する。
図7は、ペンデバイス60の機構を示した図である。
図示するように、ペンデバイス60は、ペン全体の動作を制御する制御回路61を備える。
そして、制御回路61には、ペンデバイス60による筆記動作をペンチップ69に加わる圧力によって検出する圧力センサ62が接続されている。また、媒体上に赤外光を照射する赤外LED63と、画像を入力する赤外CMOS64も接続されている。更に、識別情報及び座標情報を記憶するための情報メモリ65と、外部装置と通信するための通信回路66と、ペンを駆動するためのバッテリ67と、ペンの識別情報(ペンID)を記憶するペンIDメモリ68も接続されている。
なお図6に示した画像読み取り部11は、例えば、図7の赤外CMOS64にて実現される。また、画像処理部12、ドット配列検出部13、単位符号パターン検出部14、復号部15、情報出力部16は、例えば、図7の制御回路61にて実現される。
また、画像読み取り装置10にて実現される処理は、例えば、汎用のコンピュータで実現してもよい。そこで、かかる処理をコンピュータ90で実現するものとし、コンピュータ90のハードウェア構成について説明する。
図8は、コンピュータ90のハードウェア構成を示した図である。
図示するように、コンピュータ90は、演算手段であるCPU(Central Processing Unit)91と、記憶手段であるメインメモリ92及び磁気ディスク装置(HDD:Hard Disk Drive)93とを備える。ここで、CPU91は、OS(Operating System)やアプリケーション等の各種ソフトウェアを実行し、上述した各機能を実現する。また、メインメモリ92は、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、磁気ディスク装置93は、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域である。
更に、コンピュータ90は、外部との通信を行うための通信I/F94と、ビデオメモリやディスプレイ等からなる表示機構95と、キーボードやマウス等の入力デバイス96とを備える。
<画像読み取り部の説明>
次に画像読み取り部11についてさらに詳しく説明する。
画像読み取り部11は、上述の通り撮像素子として、例えば、CCDやCMOSを使用している。そしてこのCCDやCMOSが、紙面から反射された光を検出し、紙面に印刷された符号画像を読み取る。このときCCDやCMOSは光の強度しか検出できないため、色を検出するためには、カラーフィルタをCCDやCMOSの前に並べ、このカラーフィルタを通過した光を検出する必要がある。このカラーフィルタは、赤色(R)、緑色(G)、青色(B)の3色を使用するのが一般的である。
図9は、カラーフィルタの配列について説明した図である。
図示するカラーフィルタは、赤色(R)、緑色(G)、青色(B)のそれぞれのカラーフィルタが、いわゆるベイヤー配列により配列したものである。そしてCCDやCMOSの一画素毎に赤色(R)、緑色(G)、青色(B)のカラーフィルタの何れかが配置される。
ベイヤー配列では、赤色(R)、緑色(G)、青色(B)のカラーフィルタが、市松模様状(チェック柄の模様状)に配列する。また赤色(R)と青色(B)のカラーフィルタに対し、緑色(G)のカラーフィルタは数として2倍存在する。図9では、赤色(R)のカラーフィルタをR、青色(B)のカラーフィルタをBとして図示するともに、緑色(G)のカラーフィルタを便宜上GbとGrに分けて図示している。また図9の場合、図中縦方向にM個のカラーフィルタが配列し、図中横方向にN個のカラーフィルタが配列するものとする。即ち、このカラーフィルタは、M行×N列の画素に対応するR、Gb、Gr、Bのカラーフィルタがベイヤー配列で配列したものである。
またこのときカラーフィルタのそれぞれにCCDやCMOSの一画素が対応しているため、CCDやCMOSにより得られる画像情報も、ベイヤー配列による配列位置(第1の配列位置)に位置するR、Gb、Gr、Bの画素の画像情報として得られる。
ここで画像読み取り部11から出力される画像情報は、処理速度や転送速度の高速化、ダイナミックレンジの拡大のために縮小された縮小画像情報として出力されることが多い。
図10(a)〜(c)は、CCDやCMOSで得られた画像情報を縮小する方法について説明した図である。
図10(a)は、図9で示したベイヤー配列で配列するカラーフィルタと同じものである。また図10(b)は、図10(a)で示したRのカラーフィルタに位置する画素から得られた画像情報を縮小する方法を概念的に示している。
図10(b)に示すように、この縮小方法では、まず市松模様状に配列するRの画素について、行方向および列方向に隣接する4個の画素を抽出する。そしてこの4個の画素の画像情報を加算する。さらにこの加算後の画像情報を縮小画像情報とし、さらにその縮小画像情報が得られる位置として4個の画素の中心部の位置を設定する。
図10(b)では、Rの画素について説明を行ったが、この処理は、他のGb、Gr、Bの画素についても同様に行われる。つまりここでは、ベイヤー配列により市松模様状に配列する複数の色成分について、行方向および列方向に隣接する4個の同色の画素を中心部に縮小する処理を行う。
図10(c)は、縮小画像情報におけるR、Gb、Gr、Bの配列について示している。この縮小方法では、画像情報がM行×N列の画素によるものから、M/2行×N/2列の画素によるものに縮小される。即ち、画素数は1/4になる。なおこの縮小後におけるR、Gb、Gr、Bの配列位置(第2の配列位置)についても、本実施の形態では、ベイヤー配列となる。
しかしながらこの縮小方法では、縮小後におけるR、Gb、Gr、Bの配列位置(第2の配列位置)を縮小前のR、Gb、Gr、Bの配列位置(第1の配列位置)に当てはめたときにR、Gb、Gr、Bのそれぞれが等間隔に配列しない問題が生ずる。
図11(a)は、縮小後におけるR、Gb、Gr、Bの配列位置(第2の配列位置)を縮小前のR、Gb、Gr、Bの配列位置(第1の配列位置)に当てはめた場合を示した図である。
図示するように第2の配列位置におけるR、Gb、Gr、Bは、4行×4列の画素領域の中央に集まり、それが4行×4列の画素領域毎に行方向および列方向に繰り返し配列する。
そしてこのようにR、Gb、Gr、Bのそれぞれが等間隔に配列せず、配列に偏りが生じることにより、縮小後の画像情報により生成される画像にモアレが生じることがある。そのためこの画像により輝度情報を生成し、この輝度情報に基づきドット配列検出部13によるドット配列の検出、単位符号パターン検出部14による各単位符号パターンの種類の検出、および復号部15による識別情報、X座標情報、Y座標情報の復号を行う処理において、支障が生じ、復号に失敗することがある。
よってR、Gb、Gr、Bの画像情報の配列を図11(a)に示すような偏った配列とせず、例えば、図11(b)の「○」の位置に示すように等間隔に配列するように補間し、さらにこの補間した画像情報から輝度情報を生成する必要がある。
そこで本実施の形態では、画像処理部12を設け、画像処理部12にて補間および輝度情報を生成する処理を行い、上記問題の抑制を図っている。
<画像処理部の説明>
図6に示すように画像処理部12は、縮小画像情報を取得する縮小画像情報取得部121と、縮小画像情報取得部121により取得された縮小画像情報から輝度情報を算出する輝度情報算出部122とを備える。
図12(a)〜(d)は、画像処理部12が行う処理の概念図である。
まず縮小画像情報取得部121が、図12(a)で示すように縮小した後の画像情報である図12(b)で示す縮小画像情報を取得する。
そして輝度情報算出部122が、図12(c)に示すように、図12(b)においてR、Gb、Gr、B各々の画像情報が存在しない画素においてもR、G、B毎に補間を行い、縮小後の画素のそれぞれについてR、G、Bの画像情報を算出する。この具体的な算出方法については後述する。
さらに輝度情報算出部122が、図12(d)に示すように図12(c)のR、G、Bの画像情報からそれぞれに画素毎に輝度情報Yを算出、生成する。
図13(a)は、第1の配列配置において、R、G、Bの画像情報を補間し、輝度情報を算出する位置を示した図である。実際には、この位置は、円形で示した箇所の中心点となる。なおこれは図11(b)と同様の図である。なおこれらの点を本実施の形態では、以後、輝度算出点と言う。これらの輝度算出点は、このように等間隔となるように配置される。
そして図13(b)は、図13(a)うち4つの輝度算出点を抽出した図である。この本実施の形態では、この4つの輝度算出点における縮小画像情報を線形補間する処理と輝度情報を算出する処理とをまとめて行う。
本実施の形態では、以後、この4つの輝度算出点を図示するようにα、β、γ、δと言う。また図13(b)において図中縦方向および横方向について4画素分の長さを1とする。
そして以下の算出方法により、縮小画像情報を線形補間する処理と輝度情報を算出する処理とをまとめて行う。
<画像処理部で行う具体的な処理の説明>
まず縮小画像情報を補間する数式を下記数1式に挙げる。
数1式は、縮小画像情報を線形補間するのに使用する数式である。数1式は、図14に示すように、データV、V、V、Vがあり、その中でデータVの位置とデータVの位置に対しp:1−pに位置するとともに、データVの位置とデータVの位置に対しq:1−qに位置するxについての線形補間値Vを、関数f(V,p,q)を使用して求める数式である。数1式によりデータV、V、V、Vから線形補間値Vを求めることができる。
Figure 2015039153
また輝度情報を算出する数式を下記数2式に挙げる。
数2式により、Rの値、Gの値、Bの値から輝度情報であるg(R,G,B)を、係数θ、η、ψを使用して求めることができる。
Figure 2015039153
そして下記数3式のうち第1行目の式は、数1式を適用し、図13(b)の輝度算出点αにおいてR、Gr、Gb、Bの縮小画像情報を線形補間するための数式である。さらに数2式を適用し、輝度算出点αにおける輝度情報を求めるための数式である。ここでRαは、輝度算出点αにおけるRの線形補間値を示す。同様にしてGrαは、輝度算出点αにおけるGrの線形補間値を示し、Gbαは、輝度算出点αにおけるGbの線形補間値を示し、Bαは、輝度算出点αにおけるBの線形補間値を示す。さらにYαは、輝度算出点αにおける輝度情報である。
ここで、1/8、3/8等の値は、数1式に示したように輝度算出点αとR、Gr、Gb、Bの画素との距離を示す。
同様にして数3式のうち他の第2行目〜第4行目に記載した式は、輝度算出点αの替わりに、それぞれ輝度算出点β、輝度算出点γ、輝度算出点δついての数式である。
Figure 2015039153
また下記数4式は、4つの数3式をまとめて記述した式である。ここでY’、R’、Gb’、Gr’、B’は、それぞれ後述する数9式で示す4行1列の行列である。またK、L、M、Nは、それぞれ後述する数10式で示す4行4列の行列である。この行列Kは、縮小画像情報を線形補間する処理を行う数式である上記数3式において、Rについての係数をまとめた行列である。また同様にして、行列Lは、縮小画像情報を線形補間する処理を行う数式である上記数3式において、Grについての係数をまとめた行列であり、行列Mは、縮小画像情報を線形補間する処理を行う数式である上記数3式において、Gbについての係数をまとめた行列であり、行列Nは、縮小画像情報を線形補間する処理を行う数式である上記数3式において、Bについての係数をまとめた行列である。
Figure 2015039153
そして数4式は、下記数5式に変形を行うことができる。ここでR”、Gb”、Gr”、B”は、それぞれ後述する数11式で示すものとなる。
Figure 2015039153
数5式によれば、Y’で表される輝度情報Yα、Yβ、Yγ、Yδのそれぞれが、1つの数式により一度にまとめて算出することができる。つまり4つの輝度算出点において、縮小画像情報を線形補間する処理と輝度情報を算出する処理とをまとめて行うことができる。
なお数5式は、さらに変形が可能である。
即ち、数5式から下記数6式、数7式、数8式に順に変形を行うことができる。
Figure 2015039153
Figure 2015039153
Figure 2015039153
ここで数6式におけるP13、P24、P12、P34、P14、P23は、それぞれ後述する数12式で示す4行4列の行列である。
また数7式におけるR’”、Gb’”、Gr’”、B’”は、後述する数13式で示す行列式である。
さらに数8式におけるP13*P24*K−K、P12*P34*K−K、P14*P23*K−Kは、それぞれ後述する数14式で示す4行4列の行列である。
ここで上述したように行列Kは、縮小画像情報を線形補間する処理を行う数式である上記3式において、Rについての係数をまとめた行列である。そして数8式の第1項は、この行列Kを、他色にも適用させた項である。つまりこの項は、行列KとR’”、Gb’”、Gr’”、B’”の和を乗算する計算を行っている。数5式を参照すると、Gb”、Gr”、B”にはそれぞれ行列L、M、Nが乗算されていたが、数5式から数8式へ変形する課程において、行列Kを、他色にも適用させている。
これは、行列Kのみならず、他の行列L、M、Nについても可能な変形である。よって数8式によれば、4つの輝度算出点α、β、γ、δにおける縮小画像情報を線形補間する処理を行う数式である数3式においてR、Gr、GbおよびBのいずれか一色についての係数をまとめた行列を、他色にも適用させた項を含む数式であると言うことができる。
Figure 2015039153
Figure 2015039153
Figure 2015039153
Figure 2015039153
Figure 2015039153
Figure 2015039153
<具体的な計算方法の説明>
上述したように数5式によれば、Y’で表される輝度情報Yα、Yβ、Yγ、Yδのそれぞれが、1つの数式により一度にまとめて算出することができる。これにより輝度情報Yα、Yβ、Yγ、Yδの算出が簡単となる。また本実施の形態では、数8式を使用することで、輝度情報Yα、Yβ、Yγ、Yδの算出がさらに簡単となり、算出時間を短縮することができる。
そこで、以下に数5式を使用した場合と、数8式を使用した場合との計算方法を比較する説明を行う。
まず数5式により計算をする場合について説明する。ただし説明をわかりやすくするため、数5式を、いったん下記数15式に変形した場合で説明を行う。
Figure 2015039153
ここで数15式におけるK’、L’、M’、N’を、それぞれ下記数16式で示す。
Figure 2015039153
つまりK’、L’、M’、N’は、K、L、M、Nに定数を乗算したものである。そしてK、L、M、Nは、4行4列の行列であるため、K’、L’、M’、N’も同様に4行4列の行列となる。またR’、Gb’、Gr’、B’は、数9式に示す通り、4行1列の行列となる。
そのため数15式の第1項のK’*R’を行う計算において、乗算は、4×4=16回行う必要がある。これは、数15式の第2項、第3項、第4項の計算を行う場合も同様であるので、数15式全体の計算を行うのには、16回×4=64回の乗算を行う必要がある。つまりY’で表される輝度情報Yα、Yβ、Yγ、Yδを求めるのに数15式を使用した場合、64回の乗算を行う必要がある。
次に数8式を使用して計算をする場合について説明する。
数8式の第1項において、R’”、Gb’”、Gr’”、B’”は、数13式に示され、これは、下記数17式とすることもできる。
Figure 2015039153
ここでP13、P24、P12、P34、P14、P23は、シフト操作を行う行列であるので、実質的に定数である。またθ、η、ψも定数である。つまりR’”、Gb’”、Gr’”、B’”は、R’、Gb’、Gr’、B’に定数を乗算したものである。
R’、Gb’、Gr’、B’は、数9式に示す通り、4行1列の行列となる。そのため数17式の第1項のR’”を行う計算において、乗算は、4回行う必要がある。これは、Gb’”、Gr’”、B’”についても同様であるので、数17式全体の計算を行うのには、4回×4=16回の乗算を行う必要がある。そしてその結果は、4行1列の行列となる。これをここでは、便宜上Aとする。
よって、数8式の第1項の計算は、KとAの乗算となり、下記数18式で表される。
Figure 2015039153
なお数18式においてAで示した4行1列の行列の要素を便宜上a、b、c、dとしている。
この計算において、必要となる乗算は、通常4回×4=16回行う必要がある。ただし行列の要素が同じ箇所がある関係上、7b×7cを7(b+c)へ、また15b×15cを15(b+c)とすることができ、そのためそれぞれ2回の乗算を1回とすることができる。さらにeで表した21a+5dの計算が2回あるため、これにより4回の乗算を2回とすることができる。結局数18式全体では、乗算は、3回+2回+2回+3回+2回=12回ですむ。
数8式の第2項におけるP13*P24*K−K、第3項におけるP12*P34*K−K、第4項におけるP14*P23*K−Kについては、下記数19式で表される4行4列の行列となる。
Figure 2015039153
よって数8式の第2項は、数17式で説明した事項を加えると、下記数20式となる。
Figure 2015039153
このとき計算結果となる4行1列の行列の要素をf、g、−f、−gとして示している。
そしてf、g(−f、−g)を計算するためには、行列の要素が同じ箇所がある関係上、乗算は、それぞれ2回ですむ。よって数20式で示した数8式の第2項に必要な乗算は、2回+2回=4回ですむ。
また数8式の第3項は、数17式で説明した事項を加えると、下記数21式となる。
Figure 2015039153
このとき計算結果となる4行1列の行列の要素をm、−m、n、−nとして示している。
そしてm、n(−m、n)を計算するためには、行列の要素が同じ箇所がある関係上、乗算は、それぞれ2回ですむ。よって数21式で示した数8式の第3項に必要な乗算は、2回+2回=4回ですむ。
さらに数8式の第4項は、数17式で説明した事項を加えると、下記数22式となる。
Figure 2015039153
このとき計算結果となる4行1列の行列の要素をp、q、−q、−pとして示している。
そしてp、q(−p、q)を計算するためには、行列の要素が同じ箇所がある関係上、乗算は、それぞれ3回および1回ですむ。よって数22式で示した数8式の第3項に必要な乗算は、3回+1回=4回ですむ。
つまり数8式の第2項〜第4項を算出するために必要な乗算の数は、4回×3=12回である。
まとめると数8式を算出するために必要な乗算の数は、16回+12回+12回=40回となる。
この乗算の数は、数5式(数15式)を使用した場合の64回に比較して、大きく減少している。
即ち、数5式(数15式)を使用する場合より、数8式を使用した場合の方が、輝度情報Yα、Yβ、Yγ、Yδの算出がさらに簡単となり、算出時間を短縮することができる。
このように乗算の数が減少するのは、数8式の第1項として、行列Kを、他色にも適用させた項を作成した効果である。そしてこのようにすることで、数18式や数19式で見るように4行4列の行列の要素として絶対値が同じものが多くなる。そのため乗算の数を減らすことができる。
また数5式(数15式)や数8式の何れを使用する場合でも、Y’で表される輝度情報Yα、Yβ、Yγ、Yδについては、第1の配列において等間隔となる輝度算出点において算出される輝度の情報となる。よってこの方法により算出された輝度情報は、配列に偏りがないため、輝度情報から構成される画像にモアレが生じることが少ない。よって画像読み取り装置10(図6参照)においても復号に失敗することが少なくなる。
なお以上詳述した説明では、画像処理部12は、画像読み取り装置10の一部であったが、これに限られるものではなく、画像処理装置として単独でも使用することができる。
また以上詳述した説明では、画像処理部12により生成された輝度情報は、ドット配列検出部13においてドットを検出するために用いたがこれに限られるものではない。例えば、OCR(Optical Character Reader)の中にこの画像処理部12を設け、得られた輝度情報を基に、前もって記憶されたパターンとの照合により輝度情報に含まれる文字を特定するようにしてもよい。またはバーコード読み取り装置野中に画像処理部12を設け、得られた輝度情報を基に、QRコード(登録商標)等のパターン認識を行ってもよい。また他に画像縮小を行うために用いたり、輝度信号と色差信号の分離に用いることもできる。
<プログラムの説明>
また以上説明した画像処理部12が行う処理は、図7で説明したようなペンデバイス60や図8で説明したようなコンピュータ90において、アプリケーション等の各種ソフトウェアとして実現することもできる。
よって画像処理部12が行う処理は、コンピュータに、予め定められた第1の配列位置に位置する複数の色成分の画像情報を縮小することで生成され、縮小することで第2の配列位置に位置するようになった複数の色成分の画像情報である縮小画像情報を取得する機能と、取得された縮小画像情報を第1の配列位置に当てはめたときに、縮小画像情報を第1の配列位置において等間隔となる輝度算出点に線形補間する処理を行うとともに、線形補間したそれぞれの画像情報に基づき輝度算出点における輝度情報を算出する処理を行う機能と、を実現させるプログラムとして捉えることができる。
なお本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、CD−ROM等の記録媒体に格納して提供することも可能である。
10…画像読み取り装置、11…画像読み取り部、12…画像処理部、13…ドット配列検出部、14…単位符号パターン検出部、15…復号部、16…情報出力部、121…縮小画像情報取得部、122…輝度情報算出部

Claims (6)

  1. 予め定められた第1の配列位置に位置する複数の色成分の画像情報を縮小することで生成され、縮小することで第2の配列位置に位置するようになった複数の色成分の画像情報である縮小画像情報を取得する縮小画像情報取得部と、
    前記縮小画像情報取得部により取得された前記縮小画像情報を前記第1の配列位置に当てはめたときに、当該縮小画像情報を当該第1の配列位置において等間隔となる輝度算出点に線形補間する処理を行うとともに、線形補間したそれぞれの画像情報に基づき当該輝度算出点における輝度情報を算出する処理を行う輝度情報算出部と、
    を備えることを特徴とする画像処理装置。
  2. 前記第1の配列位置は、複数の色成分をベイヤー配列により配列させた場合の配列位置であり、
    前記第2の配列位置は、前記ベイヤー配列により市松模様状に配列する複数の色成分について、行方向および列方向に隣接する4個の同色の画素を中心部に縮小したときに生ずるベイヤー配列による配列位置であることを特徴とする請求項1に記載の画像処理装置。
  3. 前記輝度情報算出部は、4つの前記輝度算出点における前記縮小画像情報を線形補間する処理と前記輝度情報を算出する処理とをまとめて行うことを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記輝度情報算出部は、4つの前記輝度算出点における前記縮小画像情報を線形補間する処理を行う数式において複数の色成分のいずれか一色についての係数をまとめた行列を、他色にも適用させた項を含む数式を用いることで、前記縮小画像情報を線形補間する処理と前記輝度情報を算出する処理とをまとめて行うことを特徴とする請求項3に記載の画像処理装置。
  5. ドット配列により情報を表す画像が印刷された媒体から当該画像を読み取る読み取り手段と、
    前記読み取り手段により読み取られた画像に対して画像処理を行い、当該画像の輝度情報を算出する画像処理手段と、
    前記画像処理手段により算出された前記輝度情報に基づいて前記ドット配列を検出する検出手段と、
    を備え、
    前記画像処理手段は、
    予め定められた第1の配列位置に位置する複数の色成分の画像情報を縮小することで生成され、縮小することで第2の配列位置に位置するようになった複数の色成分の画像情報である縮小画像情報を取得する縮小画像情報取得部と、
    前記縮小画像情報取得部により取得された前記縮小画像情報を前記第1の配列位置に当てはめたときに、当該縮小画像情報を当該第1の配列位置において等間隔となる輝度算出点に線形補間する処理を行うとともに、線形補間したそれぞれの画像情報に基づき当該輝度算出点における輝度情報を算出する処理を行う輝度情報算出部と、
    を備えることを特徴とする画像読み取り装置。
  6. コンピュータに、
    予め定められた第1の配列位置に位置する複数の色成分の画像情報を縮小することで生成され、縮小することで第2の配列位置に位置するようになった複数の色成分の画像情報である縮小画像情報を取得する機能と、
    取得された前記縮小画像情報を前記第1の配列位置に当てはめたときに、当該縮小画像情報を当該第1の配列位置において等間隔となる輝度算出点に線形補間する処理を行うとともに、線形補間したそれぞれの画像情報に基づき当該輝度算出点における輝度情報を算出する処理を行う機能と、
    を実現させるプログラム。
JP2013169954A 2013-08-19 2013-08-19 画像処理装置、画像読み取り装置およびプログラム Pending JP2015039153A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013169954A JP2015039153A (ja) 2013-08-19 2013-08-19 画像処理装置、画像読み取り装置およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013169954A JP2015039153A (ja) 2013-08-19 2013-08-19 画像処理装置、画像読み取り装置およびプログラム

Publications (1)

Publication Number Publication Date
JP2015039153A true JP2015039153A (ja) 2015-02-26

Family

ID=52631979

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013169954A Pending JP2015039153A (ja) 2013-08-19 2013-08-19 画像処理装置、画像読み取り装置およびプログラム

Country Status (1)

Country Link
JP (1) JP2015039153A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105070273A (zh) * 2015-09-02 2015-11-18 深圳市华星光电技术有限公司 Mura区域的亮度补偿方法及Mura像素点亮度的设计方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105070273A (zh) * 2015-09-02 2015-11-18 深圳市华星光电技术有限公司 Mura区域的亮度补偿方法及Mura像素点亮度的设计方法
CN105070273B (zh) * 2015-09-02 2017-07-28 深圳市华星光电技术有限公司 Mura区域的亮度补偿方法及Mura像素点亮度的设计方法

Similar Documents

Publication Publication Date Title
JP6397977B2 (ja) ドットパターン、ドットパターン形成媒体、ドットパターンの画像データを生成するプログラム、ドットパターン形成装置、光学装置、光学読み取り装置、情報入出力装置、ドットパターン読み取り装置
JP6045752B2 (ja) 二次元コード、二次元コードの解析システム及び二次元コードの作成システム
US20070277150A1 (en) Program, information storage medium, two-dimensional code generation system, image generation system and printed material
WO2004097717A1 (ja) 2次元コード読取方法、表示方法、および実行プログラム
CN112184826B (zh) 一种标定板和标定方法
WO2016166914A1 (ja) 二次元コード,二次元コード記録担体,二次元コード読取り方法,二次元コード読取用プログラムおよび二次元コード読取り装置
JP6150675B2 (ja) 位置情報表示システム及び方法
KR101332689B1 (ko) 이미지 센서 및 이미지 센서의 출력 패턴 변환 방법
JP2015049753A (ja) 2次元コードを表示する装置、方法、およびプログラムならびに2次元コードを読み取る装置、方法、およびプログラム
JP5609469B2 (ja) 画像処理装置、識別装置、電子筆記具及びプログラム
JP2015039153A (ja) 画像処理装置、画像読み取り装置およびプログラム
JP4985436B2 (ja) 位置検出装置及びプログラム
JP2011054211A (ja) 2次元コード分割表示方法、2次元コード読取方法および2次元コード読取装置
JP2008299508A (ja) 位置検出装置及びプログラム
JP2012065124A (ja) 画像処理装置、識別装置及びプログラム
CN112184803A (zh) 一种标定板和标定方法
JP2010282530A (ja) 2次元バーコード並びにその読取システム及び生成システム
JP2000235632A (ja) デジタル情報記録担体、デジタル情報記録方法および装置、並びにデジタル情報解読方法および装置
JP4549355B2 (ja) 帳票識別方法及び記録媒体
JP2007052471A (ja) 2次元パターン読み取り装置、2次元パターン読み取り方法
JP2009181341A (ja) 位置検出装置及びプログラム
CN107408214A (zh) M进制循环编码
JP4973317B2 (ja) 画像処理装置及びプログラム
JP2008299442A (ja) 画像処理装置及びプログラム
JP2009176207A (ja) 画像生成装置、画像処理装置、プログラム、及び印刷媒体