JP2008299781A - 制御プログラム及び制御方法並びに画像形成装置 - Google Patents

Abstract

【課題】印刷物に複数の１次元バーコードや２次元コードなどのコードが印刷されている場合であっても、所望のコードを利用した処理を容易に実行することができる制御プログラム及び制御方法並びに画像形成装置の提供。
【解決手段】スキャナ機能を備える画像形成装置に、ハードウェア又はソフトウェアとして、印刷物をスキャンしたスキャン画像から１次元バーコードや２次元コード等のコードを検出するコード検出部と、検出したコードが複数の場合に、複数のコードの中から所望のコードをユーザに選択させるための画面を作成し、該画面を表示部に表示させる表示制御部と、選択されたコードを読み取り、該コードに記録された情報、又は該コードに記録されたＵＲＬに保存されている情報を取得する情報取得部とを設け、取得した情報に対して表示、プリント、保存、送信などの処理を行う。
【選択図】図４

Description

本発明は、１次元バーコードや２次元コードなどのコードに基づく処理を制御するプログラム及び方法並びに画像形成装置に関する。

近年の雑誌やフリーペーパー等の印刷物は、店舗等のＵＲＬ（Uniform Resource Locator）情報を記録した１次元バーコードやＱＲコード（登録商標）等の２次元コード（以下、コードと呼ぶ。）が印刷されているものが多く、ユーザは、携帯電話機の撮影機能を用いてコードを読み込み、ネットワーク接続機能を用いてコードに記録されたＵＲＬにアクセスすることにより、割引券等を入手するなどのサービスを受けることができる。しかしながら、例えば、操作を容易にするために機能を簡略化した携帯電話機やビジネス用途の携帯電話機には撮影機能が搭載されていない機種もあり、このような携帯電話機を利用するユーザは上記サービスを受けることができない。

一方、インターネット等の通信ネットワークに接続する機能を備えた画像形成装置が普及しており、様々な場所に設置されていることから、撮影機能の無い携帯電話機を利用するユーザは、コンビニエンスストア等に設置された画像形成装置でフリーペーパー等をスキャンして、画像形成装置にコードを読み取らせ、コードに記録されたＵＲＬにアクセスさせることにより、上記サービスを受けることが可能となる（例えば、下記特許文献１参照）。

特開２００４−２２７２４７号公報

ここで、雑誌やフリーペーパー等の印刷物にコードが一つ印刷されている場合は、画像形成装置側で処理の対象となるコードを特定することができるが、上記印刷物には通常、複数のコードが印刷されており、このような場合には、画像形成装置側でどのコードを読み取って処理を行えばよいかを判断することはできない。

そのため、ユーザ自身が、印刷物を折り込んだり不用なコードを隠すなどの処理を行って、所望のコードのみが読み取られるようにしなければならず、作業が繁雑になり、割引券をプリントするなど、コードに基づく処理を容易に実行することができないという問題があった。

本発明は上記問題点に鑑みてなされたものであり、その主たる目的は、印刷物に、複数の１次元バーコードや２次元コードなどのコードが印刷されている場合であっても、所望のコードを利用した処理を容易に実行することができる制御プログラム及び制御方法並びに画像形成装置を提供することにある。

上記目的を達成するため、本発明の制御プログラムは、コンピュータを、印刷物をスキャンして得られたスキャン画像から複数のコードを検出するコード検出部、前記複数のコードを選択可能に表示部に表示させる表示制御部、選択されたコードを読み取り、該コードに記録された情報、又は、該コードに記録されたＵＲＬに保存された情報を取得する情報取得部、として機能させるものである。

本発明においては、前記表示制御部は、前記スキャン画像を前記表示部に表示すると共に、各々のコードと前記表示部の画面の座標とを対応付け、前記情報取得部は、前記画面で指示された位置の座標に基づいて、前記選択されたコードを識別する構成とすることができる。

また、本発明においては、前記表示制御部は、前記画面で指示された場合に、指示された位置近傍の領域を拡大した画像に切り替えて表示する構成、又は、指示された位置近傍の領域を拡大した画像を前記スキャン画像に重ねて表示する構成とすることができる。

また、本発明においては、前記表示制御部は、前記スキャン画像から各々のコードを含む領域を切り取り、切り取った前記領域を前記表示部に表示すると共に、各々のコードと前記表示部の画面の座標とを対応付け、前記情報取得部は、前記画面で指示された位置の座標に基づいて、前記選択されたコードを識別する構成とすることができる。

また、本発明は、印刷物に印刷されたコードに基づく処理を制御する制御方法であって、前記印刷物をスキャンして、スキャン画像を取得する画像取得ステップと、前記スキャン画像から複数のコードを検出するコード検出ステップと、前記複数のコードを選択可能に表示部に表示する表示ステップと、選択されたコードを読み取り、該コードに記録された情報、又は、該コードに記録されたＵＲＬに保存されている情報を取得する情報取得ステップと、取得した情報を出力する出力ステップと、を少なくとも有するものである。

また、本発明は、少なくともスキャナ部を備える画像形成装置であって、印刷物をスキャンして得られたスキャン画像から複数のコードを検出するコード検出部と、前記複数のコードを選択可能に表示部に表示させる表示制御部と、選択されたコードを読み取り、該コードに記録された情報、又は、該コードに記録されたＵＲＬに保存されている情報を取得する情報取得部と、取得した情報を出力する出力部と、を少なくとも備えるものである。

このように、本発明は上記構成により、印刷物に複数のコードが印刷されている場合であっても、所望のコードを利用した処理を容易に実行することができる。

本発明の制御プログラム及び制御方法並びに画像形成装置によれば、印刷物に複数のコードが印刷されている場合であっても、所望のコードを利用した処理を容易に実行することができる。

その理由は、スキャナ機能を備える画像形成装置で、印刷物のスキャン画像から１次元バーコードや２次元コード等のコードを検出し、複数のコードの中から所望のコードを選択させるための画面を表示し、該画面で選択されたコードを読み取り、該コードに記録された情報又は該コードに記録されたＵＲＬに保存されている情報を取得し、取得した情報を出力する制御を行うからである。

本発明は、その好ましい一実施の形態において、スキャナ機能を備える画像形成装置に、ハードウェア又はソフトウェアとして、印刷物をスキャンしたスキャン画像から１次元バーコードや２次元コード等のコードを検出するコード検出部と、複数のコードの中から所望のコードをユーザに選択させるための選択画面、拡大画面、ポップアップ画面等を作成し、該画面を表示部に表示させる表示制御部と、選択されたコードを読み取り、該コードに記録された情報、又は該コードに記録されたＵＲＬに保存されている情報を取得する情報取得部とを設け、取得した情報を表示したり、取得した情報に基づいて割引券等をプリントしたり、取得した情報を保存したり、取得した情報を所望の機器に送信するなど、コードを利用した処理を実行する。

なお、上記コード検出部でスキャン画像からコードを検出する手法は特に限定されないが、二項ウェーブレット変換やハフ変換を利用することによって効率的にコードを検出することが可能となる。以下、本発明の理解を容易にするために、二項ウェーブレット変換及びハフ変換の概要を説明する。

［二項ウェーブレット］
ウェーブレット変換とは図１３に示すような有限範囲で振動するウェーブレット関数（式（１））を用いて、入力信号ｆ（ｘ）に対するウェーブレット変換係数〈ｆ，ψａ，ｂ〉を式（２）で求める事により、入力信号を式（３）のようなウェーブレット関数の総和に分解する変換である。

上式で、ａはウェーブレット関数のスケールを表し、ｂはウェーブレット関数の位置を示す。図１３に例示するように、スケールａの値が大きいほどウェーブレット関数ψａ，ｂ（ｘ）の周波数は小さくなり、また、位置ｂの値に従ってウェーブレット関数ψａ，ｂ（ｘ）が振動する位置が移動する。従って式（３）は、入力信号ｆ（ｘ）を種々のスケールと位置を持つウェーブレット関数ψａ，ｂ（ｘ）の総和に分解する事を意味している。

上記のような変換を可能にするウェーブレット関数は多くのものが知られているが、画像処理分野では計算が高速な直交ウェーブレット（Orthogonal Wavelet）・双直交ウェーブレット（Biorthogonal Wavelet）が広く用いられている。直交ウェーブレット・双直交ウェーブレットのウェーブレット関数は式（４）のように定義される。

式（４）と式（１）を比べると、直交ウェーブレット・双直交ウェーブレットではスケールａの値が２のｉ乗で離散的に定義され、また、位置ｂの最小移動単位が２ｉで離散的に定義されている事が判る。このｉの値はレベルと呼ばれる。

一方、本発明で利用する二項ウェーブレット（Dyadic Wavelet）のウェーブレット関数は式（５）のように定義される（例えば、特開平９−２１２６２３号公報）。

ここで、直交ウェーブレット・双直交ウェーブレットのウェーブレット関数は前述のようにレベルｉにおける位置の最小移動単位が２ｉで離散的に定義されていたのに対し、二項ウェーブレットはレベルｉにかかわらず位置の最小移動単位が一定である。この相違により、二項ウェーブレット変換には下記の特徴が生じる。

特徴１：式（６）に示す１レベルの二項ウェーブレット変換で生成する、高周波数帯域成分Ｗ_ｉと低周波数帯域成分Ｓ_ｉの各々の信号量は、変換前の信号Ｓ_ｉ−１と同一である。

特徴２：スケーリング関数φ_ｉ，ｊ（ｘ）とウェーブレット関数ψ_ｉ，ｊ（ｘ）の間に式（７）の関係が成立する。

従って二項ウェーブレット変換で生成する、高周波数帯域成分Ｗ_ｉは、低周波数帯域成分Ｓ_ｉの一次微分（勾配）を表す。

特徴３：ウェーブレット変換のレベルｉに応じて定められた係数γ_ｉを高周波数帯域成分に乗じたＷ_ｉ・γ_ｉ（以下、これを補正済高周波数帯域成分と呼ぶ。）について、入力信号の信号変化の特異性（singularity）に応じて、前記変換後の補正済高周波数帯域成分Ｗ_ｉ・γ_ｉの信号強度のレベル間の関係が一定の法則に従う。すなわち、なだらかな（微分可能な）信号変化に対応する補正済高周波数帯域成分Ｗ_ｉ・γ_ｉはレベル数ｉが増大するほど信号強度が増大するのに対して、ステップ状の信号変化に対応する補正済高周波数帯域成分Ｗ_ｉ・γ_ｉはレベル数ｉに関わらず信号強度が一定となり、δ関数状の信号変化に対応する補正済高周波数帯域成分Ｗ_ｉ・γ_ｉはレベル数ｉが増大するほど信号強度が減少する。

特徴４：画像信号のような２次元信号における１レベルの二項ウェーブレット変換の方法は、前述の直交ウェーブレット・双直交ウェーブレットの方法と異なり、１レベルのウェーブレット変換により、低周波数帯域成分Ｓ_ｎ−１は２つの高周波数帯域成分Ｗｘ_ｎ，Ｗｙ_ｎと１つの低周波数帯域成分Ｓ_ｎに分解される。２つの高周波数帯域成分は低周波数帯域成分Ｓ_ｎの２次元における変化ベクトルＶ_ｎのｘ成分とｙ成分に相当する。変化ベクトルＶ_ｎの大きさＭ_ｎと偏角Ａ_ｎは式（８）、式（９）で与えられる。

以上の特徴より、処理の対象となる情報の種類に応じて補正済高周波数帯域成分Ｗ_ｉ・γ_ｉの信号強度の大きさが異なるため、スキャナ画像の中から、なだらかな曲線で構成される画像情報を除外することが可能となる。

［ハフ変換］
ハフ変換とは、特定の点を通る直線の中から、画像の特徴点を最も多く通る直線を決定する処理であり、標準的なハフ変換では、式（１０）に示すように、１つの直線は２つのパラメータ（その直線に引いた法線の長さと角度、ｒとθ）で表される。

ここで、θ∈［０、π］かつｒ∈Ｒとするか、若しくは、θ∈［０、２π］かつｒ≧０とすると、ある直線に対する（ｒ、θ）の組は一意に決定する。いいかえれば、θに対して直角で、原点からｒの距離にあるものとして直線が表現される。

そこで、二項ウェーブレット変換で抽出したエッジに対してハフ変換を行い、ハフ変換したデータ上で投票数が少ないデータをカットし、その後、逆変換することにより、特定のエッジを直線として抽出することができ、投票数が最も多いデータを最も長い直線と見なすことにより、二項ウェーブレット変換で抽出したエッジの中から枠線や仕切り線などを基準線として特定することができ、この基準線に基づいてパターンマッチングの方向を設定したり、候補領域を特定することにより、パターンマッチングを迅速且つ容易に実行することが可能となる。

上記した本発明の実施の形態についてさらに詳細に説明すべく、本発明の第１の実施例に係る制御プログラム及び制御方法並びに画像形成装置について、図１乃至図１０を参照して説明する。図１は、本実施例の情報提供システムの構成を模式的に示す図であり、図２は、本実施例の画像形成装置の構成を示すブロック図、図３は、画像形成装置の制御部の構成を示すブロック図である。また、図４は、本実施例の情報提供システムを用いた制御方法を示すフローチャート図であり、図５は、本実施例の印刷物の構成例を示す図、図６乃至図８は、本実施例の画像形成装置に表示される画面の構成例を示す図である。また、図９は、本実施例のコード検出手順を示すフローチャート図であり、図１０は、その具体例を示す図である。

図１（ａ）に示すように、本実施例の情報提供システムは、雑誌やフリーペーパーのように、紙やプラスチックなどの印刷媒体に各種情報が印刷された印刷物３０をスキャンして、印刷物３０に印刷された１次元バーコードや２次元コード、カラー２次元コードなど（以下、これらを総称してコードと呼ぶ。）を検出する、スキャナ機能を備えたコピー機やプリンタなど（以下、これらを総称して画像形成装置１０と呼ぶ。）で構成される。また、コードにＵＲＬが記録されており、そのＵＲＬにアクセスして情報を取得する場合は、図１（ｂ）に示すように、画像形成装置１０とユーザに提供する情報を記憶したサーバ２０とがＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）などの通信ネットワークで接続されて構成される。

なお、上記１次元バーコードは、JAN、CODE39、ITF、NW-7、CODE128、CODE93などがあり、また、上記２次元コードはスタック型２次元コードとマトリクス型２次元コードに分類され、スタック型２次元コードは、PDF417、CODE49、CODE16Kなどがあり、マトリクス型２次元コードは、ＱＲコード、DATA MATRIX、VERI CODE、MAXI CODE、CP CODE、CODE1、ボックス図形コード、ULTRA CODE、AZTECH CODEなどがあるが、本実施例におけるコードは情報をコード化して記録したものであればよく、その規格は特に限定されない。また、本実施例のコードには、情報を光学的に記録するホログラムなども含むものとする。

また、図２に示すように、本実施例の画像形成装置１０は、制御部１１と、操作・表示部１２と、スキャナ部１３と、画像処理部１４と、プリンタ部１５と、記憶部１６と、ネットワーク接続部１７などを備え、各部はバスにより接続されている。

制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などにより構成される。ＣＰＵは、操作・表示部１２の操作により、ＲＯＭに記憶されている各種プログラムを読み出してＲＡＭに展開し、展開されたプログラムに従って、画像形成装置１０の各部の動作を制御する。

操作・表示部１２は、ＬＣＤ（Liquid Crystal Display）等の表示部上に、透明電極が格子状に配置された感圧式の操作部（タッチパネル）を設けたものであり、制御部１１からの表示信号に従って表示部上に各種操作ボタンや装置の状態表示、各機能の動作状況等の表示を行う。また、手指やタッチペン等で押下された力点のＸＹ座標を電圧値で検出し、検出された位置信号を操作信号として制御部１１に出力する。なお、ここでは操作・表示部１２を表示部と操作部とが一体となった構成としているが、表示部とは別に各種操作ボタンを配置した操作部を設けてもよい。

スキャナ部１３は、印刷物３０を載置するガラスの下部に配置され、印刷物３０に記録された情報を読み取るものであり、印刷物３０を走査する光源と、印刷物３０で反射された光を電気信号に変換するＣＣＤ（Charge Coupled Devices）と、電気信号をＡ／Ｄ変換するＡ／Ｄ変換器等により構成される。

画像処理部１４は、スキャナ部１３で読み取った画像（以下、スキャン画像と呼ぶ。）に対して、拡大／縮小、回転、周波数変換、ＲＧＢデータからＹＭＣＫデータへの色変換、階調補正等の各種画像処理を施してプリンタ部１５へ出力する。

プリンタ部１５は、転写紙に印刷する画像を形成する画像形成部、形成した画像を転写紙に転写する転写部、転写した画像を定着させる定着部、転写紙を搬送する搬送部、画像形成部や転写部、定着部をクリーニングするクリーニング部などを備え、電子写真方式により、入力されたデータに基づいて、転写紙上に画像を形成して出力する。

記憶部１６は、フラッシュメモリやハードディスク等により構成され、各種データや設定条件等を記憶する。

ネットワーク接続部１７は、ＮＩＣ（Network Interface Card）、モデム、ＬＡＮアダプタ、ルータ、ＴＡ（Terminal Adapter）等により構成され、通信ネットワークを介して接続されたサーバ２０等との通信制御を行う。

なお、図１は本実施例の画像形成装置１０の一例であり、少なくとも印刷物３０を読み取ってコードを検出する機能を備えていればよく、印刷機能のないスキャナ装置としてもよいし、自動原稿送り装置（ＡＤＦ：Auto Document Feeder）や後処理装置（フィニッシャ）などを備えた複合機（ＭＦＰ：Multi Function Peripheral）としてもよい。

ここで、図５に示すように、雑誌やフリーペーパー等の印刷物３０（１枚であっても複数枚を冊子状に綴じたものでもよい。）には、写真やイラスト、図形などの画像情報３２や、ひらがなやカタカナ、漢字、アルファベット、記号などのテキスト情報３３と共に、ＵＲＬ等が記録されたコード３１などが印刷されており、印刷物３０に複数のコード３１が印刷されている場合には、印刷物３０をスキャナ部１３で読み取っても、画像形成装置１０では、どのコード３１に基づく処理を実行すればよいかが分からない。

そこで、本実施例では、複数のコード３１が印刷された印刷物３０がスキャンされた場合であっても、所望のコード３１を利用した処理が実行されるように、スキャン画像から複数のコード３１を検出し、検出したコード３１が複数の場合は複数のコード３１を選択可能に表示し、選択されたコード３１を利用した処理が実行されるようにする。

具体的には、図３に示すように、制御部１１に、スキャン画像から複数のコード３１を検出するコード検出部１１ａと、複数のコード３１の中から所望のコードをユーザに選択させるための画面を作成し、該画面を操作・表示部１２に表示させる表示制御部１１ｂと、選択されたコード３１を読み取り、該コード３１に記録された情報又は該コード３１に記録されたＵＲＬで特定されるサーバ２０等に保存されている情報を取得する情報取得部１１ｃとを設ける。

なお、上記コード検出部１１ａ、表示制御部１１ｂ及び情報取得部１１ｃはハードウェアとして構成してもよいし、コンピュータを、コード検出部１１ａ、表示制御部１１ｂ及び情報取得部１１ｃとして機能させる制御プログラムとして構成し、該制御プログラムを制御部１１上で動作させる構成としてもよい。

以下、上記構成の画像形成装置１０を用いて、印刷物３０を読み取って割引券等をプリントするまでの手順について、図４乃至図１０を参照して説明する。

まず、図４のステップＳ１０１で、１又は複数のコード３１が印刷された印刷物３０を画像形成装置１０にセットし、ユーザが操作・表示部１２を操作してスキャンを指示すると、スキャナ部１３は、光源で印刷物３０を走査し、印刷物３０で反射された光をＣＣＤで受光して電気信号に変換し、その電気信号をＡ／Ｄ変換して印刷物３０の情報が記録されたスキャン画像を作成する。このスキャンはモノクロ又はカラーのいずれでもよいが、スキャン画像の処理はモノクロの方が簡易であるため、コード３１がカラー２次元コードでなければ、モノクロでスキャンする方が好ましい。

次に、ステップＳ１０２で、制御部１１のコード検出部１１ａは、スキャン画像から１又は複数のコード３１を検出する。このコード検出方法は特に限定されないが、図５に示すように、雑誌やフリーペーパーなどの印刷物３０には、通常、デザインや見やすさ等を考慮して、境界を示す枠線３４ａや仕切り線などの長い直線が印刷されており、コード３１は、その直線に対して平行及び／又は直角に印刷されていることから、この直線を利用することによりコード３１を効率的に検出することが可能となる。

図９及び図１０を参照して具体的に説明すると、まず、図９のステップＳ１０２ａで、制御部１１は、スキャナ部１３からスキャン画像を取得する。このスキャン画像は、輝度、濃度、明度データ等、明るさを表す画像であれば特に限定されず、スキャナ部１３で得た画像としてもよいし、画像処理部１４で処理した画像としてもよい。

次に、ステップＳ１０２ｂで、コード検出部１１ａは、スキャン画像に対して、１レベルのみの二項ウェーブレット変換を行って、水平高周波成分（Ｗｘ）、垂直高周波成分（Ｗｙ）を取得し、上述した式（８）、（９）に従って、高周波強度（すなわち、変化ベクトルＶ_ｎの大きさＭ_ｎ）、エッジ角度（すなわち、偏角Ａ_ｎ）を演算する。

模式的に説明すると、図１０（ａ）はスキャン画像の構成を模式的に示しており、このスキャン画像に対して二項ウェーブレット変換を行うとエッジが検出されて、図１０（ｂ）に示すようなエッジ画像が生成される。その際、枠線３４ａや仕切り線３４ｂ、コード３１はほとんど変化しないが、テキスト情報３３は、様々な傾きの短い直線群となり、画像情報３２はなだらかな曲線となる。

次に、ステップＳ１０２ｃで、コード検出部１１ａは、二項ウェーブレット変換で得られるエッジの内、高周波強度（すなわち、濃度変動）が所定値以上のエッジを選別する。ここで、画像情報は通常なだらかな曲線であり、上述した二項ウェーブレット変換の特徴により、１レベルの二項ウェーブレット変換では、なだらかな曲線の高周波強度は小さくなるため、図１０（ｃ）に示すように、スキャン画像から画像情報３２が除外される。

次に、ステップＳ１０２ｄで、コード検出部１１ａは、特定強度以上のエッジに対してハフ変換を行う。このハフ変換において投票数が少ないエッジをカットし、その後、逆変換して直線を抽出すると、図１０（ｄ）に示すように、枠線３４ａや仕切り線３４ｂは長い直線として抽出され、テキスト情報３３及びコード３１のエッジの内、投票数が規定値以上のエッジは短い直線として抽出される。そして、これらの直線の中から最も長い直線（すなわち、最も投票数が多い直線）を選択することによって枠線３４ａや仕切り線３４ｂが基準線３４として特定される。

次に、ステップＳ１０２ｅで、コード検出部１１ａは、ハフ変換で抽出された複数の直線の中から、上記ステップで特定した基準線３４に対して、特定の方向（ここでは、基準線３４に平行及び／又は直角）の直線のみを抽出する。この処理により、テキスト情報３３の中の斜めの直線が除外されてスキャン画像は図１０（ｅ）のようになる。

次に、ステップＳ１０２ｆで、コード検出部１１ａは、スキャン画像を縦横の線で複数の領域に分割し、ステップＳ１０２ｇで、分割した複数の領域の中から、エッジが所定数以上の領域を選別し、その領域を候補領域として特定する。例えば、図１０（ｆ）に示すように、縦横線で分割した領域の内、網掛けで示した領域が、基準線３４に平行及び／又は直角の直線が所定数以上含まれる候補領域となる。なお、候補領域はいくつかの領域の集合となるので、その集合と非候補領域との境目で切り出しシンボル３１ａを探すことになる。

次に、ステップＳ１０２ｈで、コード検出部１１ａは、公知の手法を用いてスキャン画像の候補領域近傍でパターンマッチングを行い、予め設定された図形と切り出しシンボル３１ａとを比較することによって切り出しシンボル３１ａを検出する。なお、DATA MATRIXの場合はＬ型のガイドセルを検出すればよく、他のマークを使用するコードの場合はそのマークを検出すればよい。

なお、図９のフローチャート図では、候補領域を特定し、スキャン画像の候補領域に対してパターンマッチングを行っているが、図９のステップＳ１０２ｄで基準線３４を特定した後、その基準線３４に対して特定の向き（例えば、基準線３４に平行及び／又は直角）でスキャン画像に対してパターンマッチングを行う構成とすることもでき、特定の向きでのみパターンマッチングを行うことにより、コード３１を簡単且つ迅速に検出することができる。

また、コード３１の検出に際して、印刷物３０に枠線３４ａや仕切り線３４ｂを備える構成としたが、これらが印刷されていないものであっても、スキャナ部１３で印刷物３０をスキャンする際に、用紙のエッジを抽出することができることから、用紙のエッジを基準線３４として利用して、コード３１を検出することもできる。

次に、図４に戻って、ステップＳ１０３で、コード検出部１１ｃは、パターンマッチングの結果に基づいて、スキャン画像にコード３１があるか否かを判断し、コード３１が見つけられなかった場合は、ユーザは印刷物３０にコード３１が印刷されているか、印刷物３０がスキャナ部１３に適切にセットされているかを調べ、ステップＳ１０４で再スキャンが指示されたら、ステップＳ１０２に戻って同様の処理を繰り返す。

一方、コード３１がある場合は、ステップＳ１０５で、コード検出部１１ｃは、コード３１が複数であるかを判断し、コード３１が複数の場合は、ステップＳ１０６で、表示制御部１１ｂは、複数のコード３１の中から所望のコード３１をユーザに選択させるための選択画面を作成し、ステップＳ１０７で、作成した選択画面を操作・表示部１２のタッチパネル画面に表示させる。

この選択画面は様々な構成が考えられるが、例えば、図６に示すように、スキャン画像の全体が操作・表示部１２のタッチパネル画面に収まるように縮小した選択画面３５ａを作成し、選択画面３５ａ上のコード３１の位置とタッチパネルのＸＹ座標とを対応付けて記憶しておくことにより、タッチパネルで指示された場合に、指示位置に予め対応付けられたコード３１（例えば、指示位置近傍のコード３１）を選択されたコード３１として識別することができる。

また、通常、画像形成装置１の操作・表示部１２の画面はあまり大きくはなく、タッチパネル画面上にスキャン画像全体を表示すると個々の情報が読み取りにくくなり、ユーザが間違ったコード３１を選択する恐れがある。そこで、表示制御部１１ｂは、図６の選択画面３５ａでユーザがタッチした位置近傍の領域（例えば、枠線３４ａ内の領域）を拡大して、図７（ａ）に示すような拡大画面３６を表示することもでき、このような拡大画面３６を表示することによってコード３１の誤選択を防止して操作性を向上させることができる。また、図７（ｂ）に示すように、表示制御部１１ｂは、選択画面３５ａ上でユーザがタッチした位置近傍の領域（例えば、枠線３４ａ内の領域）を拡大したポップアップ画面３７を重ねて表示することもでき、このようなポップアップ画面３７を表示することによってもコード３１の誤選択を防止して操作性を向上させることができる。

また、図６では、タッチパネル画面上にスキャン画像全体を表示したが、コード３１近傍のテキスト情報３３や画像情報３２を確認することによってコード３１を識別することができる場合は、表示制御部１１ｂは、図８に示すように、各々のコード３１近傍の領域を切り取って選択可能に配列した選択画面３５ｂを作成し、選択画面３５ｂ上のコード３１又は切り取った領域の位置とタッチパネルのＸＹ座標とを対応付けて記憶しておくことにより、タッチパネルで指示された場合に、指示位置近傍のコード３１を選択されたコード３１として識別することができる。

なお、ここではタッチパネル画面をタッチすることによってコード３１を選択したが、マウスやキーボードなどを用いてコード３１を選択してもよい。また、印刷物３０をスキャンする場合に、印刷物３０が正しい方向に配置されなかった場合には、選択画面３５ａ、３５ｂや拡大画面３６、ポップアップ画面３７が正しい向きに表示されないことも考えられるが、例えば、ステップＳ１０２でコード３１を検出する際に、３箇所の切り出しシンボル３１ａの配置に基づいて天地を判断したり、公知の文字認識機能（ＯＣＲ機能）を利用してスキャン画像から特定の文字（例えば、「http://」の文字など）を認識して天地を判断することによって、上記画面を正しい向きに表示することができる。また、上記説明では、コード３１を選択させるための画面を表示したが、「http://」の文字を認識する場合は、コード３１に代えて、又はコード３１と共に、ＵＲＬを選択可能に表示することもできる。

そして、ステップＳ１０８で、選択画面３５ａ、３５ｂで１又は複数のコード３１が選択された場合、又は、ステップＳ１０５でコード３１が１つの場合は、ステップＳ１０９で、情報取得部１１ｃは、コード３１を読み取る。そして、コード３１にＵＲＬが記録されている場合は、ステップＳ１１０で、ネットワーク接続部１７を用いて通信ネットワークに接続し、ＵＲＬで特定されるサーバ２０にアクセスして、サーバ２０に保存されている割引券等の情報を取得する。なお、コード３１に割引券等の情報が記録されている場合は、ステップＳ１１０の処理を省略することができる。

そして、ステップＳ１１１で、制御部１１は、取得した情報を操作・表示部１２に表示してユーザの指示を待ち、割引券等をプリントしないで終了する指示がされた場合（例えば、ユーザが希望する割引券等でない場合）は、一連の処理を終了し、割引券等をプリントする指示がされた場合は、コード３１に記録された情報又はサーバ２０から取得した情報をプリンタ部１５に転送し、ステップＳ１１２で、プリンタ部１５は割引券等のプリントを実行して処理を終了する。

なお、上記フローでは、印刷物３０をスキャンした画像形成装置で割引券等をプリントする構成としたが、通信ネットワークで接続される他の画像形成装置でプリントする構成としてもよい。また、取得した情報を画像形成装置１の記憶部１６などに保存したり、取得した情報を通信ネットワークを介してコンピュータ端末や携帯端末などに送信するなど、プリント以外の処理を実行する構成としてもよい。

このように、画像形成装置１０にハードウェア又はソフトウェアとして、コード検出部１１ａ、表示制御部１１ｂ及び情報取得部１１ｃを設け、スキャン画像から複数のコード３１を検出し、検出した複数のコード３１を操作・表示部１２に選択可能に表示させ、選択されたコード３１を読み取り、該コード３１に記録された情報又は該コード３１に記録されたＵＲＬに保存されている情報を取得し、取得した情報を表示、印刷、保存、送信する制御を行うことにより、所望のコード３１を利用した処理を容易に実行することができる。

次に、本発明の第２の実施例に係る制御プログラム及び制御方法並びに画像形成装置について、図１１及び図１２を参照して説明する。図１１は、本実施例の情報提供システムを用いた制御方法を示すフローチャート図であり、図１２は、本実施例の画像形成装置に表示される画面の構成例を示す図である。

前記した第１の実施例では、ユーザがコード３１を選択した後に画像形成装置１０がサーバ２０にアクセスする構成としたが、複数のコード３１が検出された時点でサーバ２０にアクセスして、各々のコード３１に対する特定の情報（例えば、タイトルなど）を取得して、選択画面に特定の情報を表示することもでき、選択画面にこのような特定の情報を表示することによって、ユーザの選択を容易にすることができる。

この場合、情報提供システムは、図１（ｂ）のように、画像形成装置１０とユーザに提供する情報を記憶したサーバ２０とが通信ネットワークで接続された構成となる。また、画像形成装置１０の制御部１１の情報取得部１１ｃは、コード検出部１１ａで検出したコード３１を読み取り、検出した全てのコード３１に対応する特定の情報をコード３１又はサーバ２０から取得すると共に、選択されたコード３１に対応する全情報をコード３１又はサーバ２０から取得し、表示制御部１１ｂは、コード３１が複数の場合に、情報取得部１１ｃで取得した特定の情報をユーザに選択させるための画面を作成し、該画面を操作・表示部１２に表示させる制御を行う。

以下、上記構成の画像形成装置１０を用いて、印刷物３０を読み取って割引券等をプリントするまでの手順について、図１１及び図１２を参照して説明する。

前記した第１の実施例と同様に、ステップＳ２０１で、コード３１が印刷された印刷物３０を画像形成装置１０にセットし、ユーザが操作・表示部１２を操作してスキャンを指示すると、スキャナ部１３は、光源で印刷物３０を走査し、印刷物３０で反射された光をＣＣＤで受光して電気信号に変換し、その電気信号をＡ／Ｄ変換して印刷物３０の情報が記録されたスキャン画像を作成する。

次に、ステップＳ２０２で、制御部１１のコード検出部１１ａは、スキャン画像から１又は複数のコード３１を検出する。このコード検出方法は特に限定されず、第１の実施例と同様の方法で検出することができる。また、コードの検出に際して、スキャン画像の天地を判断してもよいし、コード３１に代えて、又はコード３１と共に、ＵＲＬを検出してもよい。

次に、ステップＳ２０３で、コード検出部１１ｃは、パターンマッチングの結果に基づいて、コード３１があるか否かを判断し、コード３１が見つけられなかった場合は、ユーザは印刷物３０にコード３１が印刷されているか、印刷物３０がスキャナ部１３に適切にセットされているかを調べ、ステップＳ２０４で再スキャンが指示されたら、ステップＳ２０２に戻って同様の処理を繰り返す。

一方、コード３１がある場合は、ステップＳ２０５で、コード検出部１１ｃは、コード３１が複数であるかを判断し、コード３１が複数の場合は、ステップＳ２０６で、情報取得部１１ｃは、複数のコード３１を読み取る。そして、コード３１にＵＲＬが記録されている場合は、ステップＳ２０７で、ネットワーク接続部１７を用いて通信ネットワークに接続し、ＵＲＬで特定されるサーバ２０にアクセスして、サーバ２０に保存されたタイトル等の特定の情報を取得する。なお、コード３１にタイトル等の特定の情報が記録されている場合は、ステップＳ２０７の処理を省略することができる。また、特定の情報はタイトルに限らず、各々のコード３１に対応する情報を特定可能な情報であればよく、例えば、文章の一部や代表画像などとすることもできる。

次に、ステップＳ２０８で、表示制御部１１ｂは、複数のコード３１の中から所望のコード３１をユーザに選択させるためにタイトル等の特定の情報が表示される選択画面を作成し、ステップＳ２０９で、作成した選択画面を操作・表示部１２のタッチパネル画面に表示させる。この選択画面の構成は特に限定されないが、例えば、図１２に示すように、各々のコード３１に対応するタイトル等が表示されると共に、各々のタイトル等を選択するためのボタン等が配置される選択画面３５ｃとすることができ、タッチパネル画面をタッチしたり、マウスやキーボードを操作することによって所望のタイトル等を選択することができる。

そして、ステップＳ２１０で、選択画面３５ｃで１又は複数のタイトルが選択された場合、又は、ステップＳ２０５でコード３１が１つの場合は、ステップＳ２１１で、情報取得部１１ｃは、ネットワーク接続部１７を用いて通信ネットワークに接続し、選択されたタイトルに対応するコード３１に記録されたＵＲＬで特定されるサーバ２０にアクセスして、サーバ２０から該コード３１に対応する全情報（例えば、割引券等の情報）を取得する。なお、コード３１に割引券等の情報が記録されている場合は、ステップＳ２１１の処理を省略することができる。また、ステップＳ２０７で、各々のコード３１に対応する全情報を取得することもでき、この場合も、ステップＳ２１１の処理を省略することができる。

そして、ステップＳ２１２で、制御部１１は、取得した情報を操作・表示部１２に表示してユーザの指示を待ち、割引券等をプリントしないで終了する指示がされた場合（例えば、ユーザが希望する割引券等でない場合）は、一連の処理を終了し、割引券等をプリントする指示がされた場合は、コード３１に記録された情報又はサーバ２０から取得した情報をプリンタ部１５に転送し、ステップＳ２１３で、プリンタ部１５は割引券等のプリントを実行して処理を終了する。

なお、上記フローでは、印刷物３０をスキャンした画像形成装置で割引券等をプリントする構成としたが、通信ネットワークで接続される他の画像形成装置でプリントする構成としてもよい。また、取得した情報を画像形成装置１の記憶部１６などに保存したり、取得した情報を通信ネットワークを介してコンピュータ端末や携帯端末などに送信するなど、プリント以外の処理を実行する構成としてもよい。

このように、画像形成装置１０にハードウェア又はソフトウェアとして、コード検出部１１ａ、表示制御部１１ｂ及び情報取得部１１ｃを設け、スキャン画像から複数のコード３１を検出し、検出した複数のコード３１に記録された特定の情報、又は検出した複数のコード３１に記録されたＵＲＬに保存されている特定の情報を取得し、特定の情報を選択させるための選択画面３５ｃを操作・表示部１２に表示させ、選択された特定の情報に対応するコード３１を読み取り、該コード３１に記録された全情報又は該コード３１に記録されたＵＲＬに保存されている全情報を取得し、取得した情報を表示、印刷、保存、送信する制御を行うことにより、所望のコード３１を利用した処理を容易に実行することができる。

なお、上記各実施例では、印刷物３０からコード３１やＵＲＬを検出する場合について説明したが、本発明は上記実施例に限定されるものではなく、印刷物３０を利用するユーザに提供する情報を取得可能にする任意のマークや記号、文字などを検出する場合に対しても同様に適用することができる。

本発明は、印刷物から１次元バーコードや２次元コードなどのコードを検出するプログラム、方法及び画像形成装置に利用可能である。

本発明の第１の実施例に係る情報提供システムの構成を模式的に示す図である。 本発明の第１の実施例に係る画像形成装置の構成を示すブロック図である。 本発明の第１の実施例に係る画像形成装置の制御部の構成を示すブロック図である。 本発明の第１の実施例に係る情報提供システムを用いた制御方法を示すフローチャート図である。 本発明の第１の実施例に係る印刷物の構成例を示す図である。 本発明の第１の実施例に係る画像形成装置に表示される画面の構成例を示す図である。 本発明の第１の実施例に係る画像形成装置に表示される示画面の構成例を示す図である。 本発明の第１の実施例に係る画像形成装置に表示される画面の構成例を示す図である。 本発明の第１の実施例に係るコード検出手順を示すフローチャート図である。 本発明の第１の実施例に係るコード検出手順の具体例を示す図である。 本発明の第２の実施例に係る情報提供システムを用いた制御方法を示すフローチャート図である。 本発明の第２の実施例に係る画像形成装置に表示される画面の構成例を示す図である。 ウェーブレット変換関数を示す図である。

符号の説明

１０ 画像形成装置
１１ 制御部
１１ａ 基準線特定部
１１ｂ 候補領域特定部
１１ｃ コード検出部
１２ 操作・表示部
１３ スキャナ部
１４ 画像処理部
１５ プリンタ部
１６ 記憶部
１７ ネットワーク接続部
２０ サーバ
３０ 印刷物
３１ コード
３１ａ 切り出しシンボル
３２ 画像情報
３３ テキスト情報
３４ 基準線
３４ａ 枠線
３４ｂ 仕切り線
３５ａ、３５ｂ、３５ｃ 選択画面
３６ 拡大画面
３７ ポップアップ画面

Claims (15)

1. コンピュータを、
   印刷物をスキャンして得られたスキャン画像から複数のコードを検出するコード検出部、
   前記複数のコードを選択可能に表示部に表示させる表示制御部、
   選択されたコードを読み取り、該コードに記録された情報、又は、該コードに記録されたＵＲＬに保存された情報を取得する情報取得部、として機能させることを特徴とする制御プログラム。
2. 前記表示制御部は、前記スキャン画像を前記表示部に表示すると共に、各々のコードと前記表示部の画面の座標とを対応付け、
   前記情報取得部は、前記画面で指示された位置の座標に基づいて、前記選択されたコードを識別することを特徴とする請求項１記載の制御プログラム。
3. 前記表示制御部は、前記画面で指示された場合に、指示された位置近傍の領域を拡大した画像に切り替えて表示することを特徴とする請求項２記載の制御プログラム。
4. 前記表示制御部は、前記画面で指示された場合に、指示された位置近傍の領域を拡大した画像を前記スキャン画像に重ねて表示することを特徴とする請求項２記載の制御プログラム。
5. 前記表示制御部は、前記スキャン画像から各々のコードを含む領域を切り取り、切り取った前記領域を前記表示部に表示すると共に、各々のコードと前記表示部の画面の座標とを対応付け、
   前記情報取得部は、前記画面で指示された位置の座標に基づいて、前記選択されたコードを識別することを特徴とする請求項１記載の制御プログラム。
6. 印刷物に印刷されたコードに基づく処理を制御する制御方法であって、
   前記印刷物をスキャンして、スキャン画像を取得する画像取得ステップと、
   前記スキャン画像から複数のコードを検出するコード検出ステップと、
   前記複数のコードを選択可能に表示部に表示する表示ステップと、
   選択されたコードを読み取り、該コードに記録された情報、又は、該コードに記録されたＵＲＬに保存されている情報を取得する情報取得ステップと、
   取得した情報を出力する出力ステップと、を少なくとも有することを特徴とする制御方法。
7. 前記表示ステップでは、前記スキャン画像を前記表示部に表示すると共に、各々のコードと前記表示部の画面の座標とを対応付け、
   前記情報取得ステップでは、前記画面で指示された位置の座標に基づいて、前記選択されたコードを識別することを特徴とする請求項６記載の制御方法。
8. 前記表示ステップでは、前記画面で指示された場合に、指示された位置近傍の領域を拡大した画像に切り替えて表示することを特徴とする請求項７記載の制御方法。
9. 前記表示ステップでは、前記画面で指示された場合に、指示された位置近傍の領域を拡大した画像を前記スキャン画像に重ねて表示することを特徴とする請求項７記載の制御方法。
10. 前記表示ステップでは、前記スキャン画像から各々のコードを含む領域を切り取り、切り取った前記領域を前記表示部に表示すると共に、各々のコードと前記表示部の画面の座標とを対応付け、
    前記情報取得ステップでは、前記画面で指示された位置の座標に基づいて、前記選択されたコードを識別することを特徴とする請求項６記載の制御方法。
11. 少なくともスキャナ部を備える画像形成装置であって、
    印刷物をスキャンして得られたスキャン画像から複数のコードを検出するコード検出部と、
    前記複数のコードを選択可能に表示部に表示させる表示制御部と、
    選択されたコードを読み取り、該コードに記録された情報、又は、該コードに記録されたＵＲＬに保存されている情報を取得する情報取得部と、
    取得した情報を出力する出力部と、を少なくとも備えることを特徴とする画像形成装置。
12. 前記表示制御部は、前記スキャン画像を前記表示部に表示すると共に、各々のコードと前記表示部の画面の座標とを対応付け、
    前記情報取得部は、前記画面で指示された位置の座標に基づいて、前記選択されたコードを識別することを特徴とする請求項１１記載の画像形成装置。
13. 前記表示制御部は、前記画面で指示された場合に、指示された位置近傍の領域を拡大した画像に切り替えて表示することを特徴とする請求項１２記載の画像形成装置。
14. 前記表示制御部は、前記画面で指示された場合に、指示された位置近傍の領域を拡大した画像を前記スキャン画像に重ねて表示することを特徴とする請求項１２記載の画像形成装置。
15. 前記表示制御部は、前記スキャン画像から各々のコードを含む領域を切り取り、切り取った前記領域を前記表示部に表示すると共に、各々のコードと前記表示部の画面の座標とを対応付け、
    前記情報取得部は、前記画面で指示された位置の座標に基づいて、前記選択されたコードを識別することを特徴とする請求項１１記載の画像形成装置。

Images