JP2016081133A - 画像処理装置、画像処理システム、画像処理方法及びプログラム - Google Patents

Abstract

【課題】撮像対象物に付されるシンボルコードが少なくとも１つ以上で、かつ非矩形の領域を検出可能な画像処理装置を提供する。【解決手段】原稿を読み取り、読取モジュールにより読み取った画像をスキャンして１つ以上のシンボルコードを検出し、シンボルコードの読取画像の水平成分に対する傾きから読取画像の傾きを算出し、読取画像の傾きを補正し、傾きが補正された読取画像から、シンボルコードを基準にして水平及び垂直方向に一定の規則にしたがって配置された、所定のパターンが印刷されたパターンブロックを検出し、パターンブロックが配置されている領域を付加領域として判定し、表示モジュールは付加領域を所定の画像に変換して表示する。【選択図】図１

Description

本発明は、撮像対象物上のマークを読み取る画像処理装置、画像処理システム、画像処理方法及びプログラムに関する。

従来から、撮像対象物にシンボルコードとなるパターンを埋め込み、埋め込んだパターンを読み取ることで読取画像に種々の処理を行う画像処理装置が知られている。例えばＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）と呼ばれる現実拡張の分野では、マーカを読み取り、表示系に読み取ったマーカの位置に現実にはない物体を重畳させる方法が知られている。

特許文献１には、画像の四隅に設けられたマーカを読み取り、画像の補正を行う際の位置合わせをマーカによって行う方法が記載されている。

特許文献２には、撮像対象物となるドキュメントの四隅に少なくとも２点の多値化された図形からなるシンボルコードを埋め込み、画像処理を行うことで、画像切り出し、回転、台形補正する方法が開示されている。

しかし、特許文献１及び２に記載の技術においては、２箇所、３箇所ないしは４箇所に置かれたシンボルコードを読み取り出すことにより、矩形領域を検出することはできても、その実現手段上、矩形以外の領域を抽出することはできないという問題があった。

本発明の目的は、撮像対象物に付されるシンボルコードが少なくとも１つ以上で、かつ非矩形の領域を検出可能な画像処理装置を提供することにある。

本発明の画像処理装置は、原稿を読み取り、読取画像として取得する読取手段と、前記読取画像から１つ以上のシンボルコードを検出するシンボルコード検出手段と、前記シンボルコードの読取画像の水平成分に対する傾きから前記読取画像の傾きを算出し、前記読取画像の傾きを補正する傾き補正手段と、前記傾き補正手段によって傾きが補正された前記読取画像から、前記シンボルコードを基準にして水平及び垂直方向に一定の規則にしたがって配置された、所定のパターンが印刷されたパターンブロックを検出するパターンブロック検出手段と、前記パターンブロックが配置されている領域を付加領域として判定する付加領域判定手段と、前記付加領域を所定の画像に変換する付加領域変換手段と、を有することを特徴とする。

本発明によれば、撮像対象物に付されるシンボルコードが少なくとも１つ以上で、かつ非矩形の領域を検出可能な画像処理装置を提供することができる。

本発明の画像処理装置の実施形態１のハードウェア構成図である。 本発明の画像処理装置の実施形態１で使用する付箋の例を示す図である。 本発明の画像処理装置の実施形態１で使用するシンボルコードの例を示す図である。 本発明の画像処理装置の実施形態１で使用するパターンの例を示す図である。 本発明の画像処理装置の実施形態１で使用するシンボルコードとパターンの位置関係の例を示す図である。 本発明の画像処理装置の実施形態１で抜き出される領域の例を示す図である。 本発明の画像処理装置の実施形態１で読み取った原稿を確認するための装置の配置例を示す図である。 本発明の画像処理装置の実施形態１で読み取る注釈入り画像の例である。 本発明の画像処理装置の実施形態１で読み取った注釈入り画像の表示例である。 本発明の画像処理装置の実施形態１で使用する付箋のその他の例を示す図である。 本発明の画像処理装置の実施形態１で使用する付箋のその他の例を示す図である。 本発明の画像処理装置の実施形態１の動作を示すフローチャート図である。

＜実施形態１の構成及び動作＞
図１は、実施形態１における画像処理装置１０のハードウェア構成図である。読取手段である読取モジュール１０４は原稿を読み取って読取画像を取得する。読取画像は一時的にメモリ１０２に記録される。操作モジュール１０６は、ユーザからの操作を受け取り、設定を保持、もしくは伝達する。表示モジュール１０５は、ユーザからの操作、読み取った結果等、ユーザに知らせる情報を表示する。

ハードディスク１０３には、加工後の読取画像、抜き出された画像情報等が保存される。ＣＰＵ１０１は、メモリ１０２上に展開されたプログラムを実行し、各モジュールから伝達された情報を基に処理を行い、各モジュールに指示を与える。

図１２は、実施形態１における画像処理装置１０における処理の流れを示すフローチャート図である。実施形態１においては、メモリ１０２上に展開されたプログラムをＣＰＵ１０１が実行するものとする。以降、ＣＰＵ１０１はプログラムを実行することにより、シンボルコード検出手段、傾き補正手段、パターンブロック検出手段、付加領域判定手段、付加領域変換手段等として機能する。

また、図１２に示すフローでは、読み取り時に非矩形領域の抜き出しを行う場合のみを記載している。図１２に示すフローに入るまでに、表示モジュール１０５、操作モジュール１０６の相互の働きにより、ユーザから画像読み取りに際し、付箋の領域を抜き出すことを指定されているものとする。

図１２の画像読取（ステップＳ１１）では、ＣＰＵ１０１から読取モジュール１０４を制御して、読取モジュール１０４で原稿を読み取る。読み取られた画像は、メモリ１０２上に一時保存される。

次に未スキャン領域のシンボルコードのスキャン（ステップＳ１２）を行う。この時、ＣＰＵ１０１は、メモリ１０２上に一時保存された画像データを読み取り、シンボルコードを検出し、シンボルコード検出手段として機能する。ここで、シンボルコードとは、図３の５０１に示すような、色、形状、大きさがあらかじめ決められた図形である。

シンボルコード５０１の色は黒である必要はない。また、シンボルコード５０１は、原稿領域中にどのような角度に配置しても検出できるように手順が構成される。また、シンボルコード５０１の検出は、原稿画像中の付箋の存在を認知し、付箋の角度を検出するためのものである。このため、ＱＲコード（登録商標）の切り出しシンボルのような、水平な位置以外に付箋を貼ったとしても簡単に検出できるような、単純化されたシンボルが望ましい。

シンボルコードを検出する方法の１つの例として、ＱＲコード（登録商標）の切り出しシンボルの検出を参考にした方法を用いても良い。即ち、二値化した画像を走査し、０：１の比をもとにシンボルを検出する。その際に、原稿読取位置とシンボルコードとの相対角度を算出する。これを読み取られた画像に対してすべて行う。

未スキャン領域でシンボルコードが発見されなかった場合（ステップＳ１３、Ｎｏ）、処理を終了する。未スキャン領域でシンボルコードが発見された場合（ステップＳ１３、Ｙｅｓ）、画像回転（ステップＳ１４）以降のパターンマッチング処理を行う。

図２は、実施形態１において検出する対象の非矩形の付箋等によって形成される付加領域５０を示している。図２のシンボルコード５０１に示すように、付加領域５０には、少なくとも１つのシンボルコードを配置する。また、付加領域５０一面に、パターンをブロック化したパターンブロック５０２を、シンボルコード５０１を基準にして水平及び垂直方向に一定の規則に沿って配置するものとする。パターンブロック５０２は例えば図４に示すようなものである。

なお、検出対象となる付加領域を形成する手段の例として付箋を挙げているが、シンボルコード及びパターンを有する矩形または非矩形領域を形成する手段であれば、付箋に限られるものではない。例えば、シール等の貼付可能なものを貼付しても良いし、紙片等を撮像対象物に載せただけのものであっても良い。また、撮像対象物上に領域を直接印刷するようにしても良い。

また、パターンブロックのパターンとしては、図４に示すような点から構成されるものであっても良いし、直線や曲線を用いたものであっても良い。また、複数の色等によって形成されたパターンであっても良い。

ここで、例えば図５に示すように、シンボルコード５０１とパターンブロック５０２の位置関係は決まっているものとする。まず、図５のＡに示す位置にパターンブロック５０２を配置する。他のパターンブロック５０２は、配置したシンボルコード５０１を基準に、水平垂直の関係を保ちながら格子状に配置するものとする。

パターンマッチングによる領域抽出は、見た目の劣化が少ない反面、原稿に対してパターンが傾いた場合、検出出来なくなってしまうという問題がある。この問題を解決するために、前述のようにシンボルコード５０１とパターンブロック５０２を組み合わせ、シンボルコード５０１による傾き補正を加えることで解決させるためである。

図１２の画像回転（ステップＳ１４）では、対象としているシンボルコード５０１の相対角度、即ちシンボルコードの読取画像の水平成分に対する傾きぶんだけ、読み取られた画像を回転させ、メモリ１０２上に一時保存する。この時、ＣＰＵ１０１は傾き補正手段として機能している。パターンマッチング（ステップＳ１５）では、画像回転（ステップＳ１４）で回転させた画像に対してパターンマッチングを行う。

パターンマッチングは、図５に示す対象としているシンボルコード５０１のＡに示す位置から開始するものとし、画面全体、もしくは、パターンが検出されないと判断されるまで行う。パターンマッチングの方法としては、ブロック内のパターン部の画素値比較でブロック内の誤差を算出し、閾値以内であれば、その部分のブロックは、領域内と判断する。これを探索領域内で繰り返す。

領域補間（ステップＳ１６）では、パターンマッチング（ステップＳ１５）で検出されなかった領域を周囲ブロックの結果から判断し、ブロックが領域内であるか否かを判断する。

パターンマッチング（ステップＳ１５）だけでは、パターンがある位置に文字等を上書きした場合、領域外と判断される場合があるため、領域補間（ステップＳ１６）ではこのような領域を見つけることを目的とする。この処理に当たっては、画像処理のいわゆる太線化処理を用いる。

パターンマッチング（ステップＳ１５）の誤差値を用いない方法の例として、非線形信号処理の１つである、モルフォロージフィルタを用いても良い。また、誤差値を用いるのであれば、周囲ブロックとの誤差値とのメディアンフィルタを用い、誤差を再計測するようにしても良い。

孤立点領域削除（ステップＳ１７）では、ラベリングの手法等を用いて、該当のシンボルコードに接続されないブロックを、除去し、取り出したい領域を抜き出す。

画像回転（ステップＳ１４）からの一連の処理により、図６の斜線部に示すような検出結果を得ることができる。矩形領域抜き出し（ステップＳ１８）では、図６のように検出された非矩形画像領域をハードディスク１０３に保存する。これらの一連の処理（ステップＳ１５〜Ｓ１７）を行う際、ＣＰＵ１０１は付加領域判定手段として機能している。

これらの処理により、付加領域を抜き出すことが可能となり、抜き出した付加領域は、注釈等の所定の画像に変換し、再び読取画像に付加し、例えば注釈入り画像を作成するようにしても良い。この場合、ＣＰＵ１０１は付加領域変換手段として機能する。

以降、実際に実施形態１で読み取る画像の例を挙げて説明する。図７の（ａ）は、画像処理装置１０により取り込んだ注釈入りの画像ファイルの効果を確認するための画像処理システムの構成である。画像処理装置１０は、イーサネット（登録商標）経由でＰＣ２０に接続されている。画像処理装置１０で指定により、読取操作時に読み取った注釈入り画像はＰＣ２０に内蔵されたハードディスクに保存されるものとする。保存された注釈入り画像はＰＣ２０に備えられたディスプレイ等の表示手段に表示される。

また、図７の（ｂ）に示すように、画像処理システムは、画像処理装置１０と、ＰＣ２０とは、ネットワーク８０を通して接続されるようにしても良い。この場合、例えば注釈入り画像をネットワーク上のサーバ９０等に保存される。そして、ＰＣ２０はサーバ９０から画像を受信して表示することも可能である。なお、図７の（ａ）及び（ｂ）においては、ＨＵＢを介して画像処理装置１０、ＰＣ２０、サーバ９０が接続される構成としても良い。

図８は、画像読取装置に読み込ませる原稿である注釈入り画像の例である。図８に示す注釈入り画像６０の右側にある矢印の図形は、原稿に添付された付箋を意味している。この付箋６０１は、シンボルパターンを有し、また、付箋６０１一面にパターンが配されている。付箋には、集合時間の９：００を８：００に訂正したことに注意を喚起するための「注意！時間変更！」という文字が手書きで書かれているものとする。

注釈入り画像６０を読みとった結果は、ファイルとして保存される。ファイルの形式は例えばＡｄｏｂｅＰＤＦ形式を下地としても良い。ＰＤＦは、１ページごとに描写のための情報が保存されており、内容としては、付箋６０１を除く部分が画像として保存されているものとする。

また、ＰＤＦは、内容とは別に注釈を保存できる。この機能を用い、付箋を読みとったあと、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）により、付箋に記載した内容をテキストデータにし、注釈データとする。また、その際、矢印の先端が注釈を入れる点と対応していることも記載される。

図９は、図７におけるＰＣ２０上のディスプレイで図８に示す原稿の読取結果を表示した図である。ＰＣ２０上のモニタ７０には、”ＤｏｃｕｍｅｎｔＶｉｅｗｅｒＰｒｏｇｒａｍ”のウインドウが全画面で表示されている。注釈入り画像６０のうち、付箋６０１以外の部分は、画面上に読みとったのと同じ状態で表示されている。

一方、付箋６０１は矢印型付箋の先端を指すポップアップウインドウ７０１上にＯＣＲで読みとられたテキストデータが表示され、読取原稿に重畳される。これにより、ＰＣ２０上で原稿を見る人に対してより強い注意を喚起することができる。

＜実施形態１の効果＞
実施形態１によれば、読み取った画像における非矩形の領域を検出することが可能である。また、撮像対象中には複数のシンボルコードを配置する必要はなく、１つのシンボルコードを配置するだけで済むという効果を奏している。

なお、上記の実施形態は、本発明の好適な実施形態であり、上記実施形態のみに本発明を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。

例えば、前述のように、パターンブロックのパターンは、図２に示すような点を使用したものに限られない。図１０に示すように、第１の異なるパターン５０３、第２の異なるパターン５０４等を設けるようにしても良い。その場合、ディスプレイで読取結果を表示する際に、背景色を分ける等のパターン毎に異なる表示方法を採用することが可能となる。

なお、図１０に示すように、第１の異なるパターン５０３はパターンの形状がパターンブロック５０２と異なっており、第２の異なるパターン５０４はパターンの色がパターンブロック５０２と異なっている場合の例である。このように、形状や色が異なる複数の種類のパターンブロックを別々に検出するようにしても良い。

また、図１１に示すように、シンボルコードを２次元バーコード５０５としても良い。この場合、シンボルコードにはより多くの情報を持たせることが可能となる。例えば、ディスプレイで読取結果を表示する際の背景色やフォントを指定することも可能である。

１０ 画像処理装置
２０ ＰＣ
５０ 付加領域
６０ 注釈入り画像
７０ モニタ
８０ ネットワーク
９０ サーバ
１０１ ＣＰＵ
１０２ メモリ
１０３ ハードディスク
１０４ 読取モジュール
１０５ 表示モジュール
１０６ 操作モジュール
５０１ シンボルコード
５０２ パターンブロック
５０３ 第１の異なるパターン
５０４ 第２の異なるパターン
５０５ ２次元バーコード
６０１ 付箋
７０１ ポップアップウインドウ

特開２０１０−９３４６６号公報 特開２０１２−６９０８２号公報

Claims (10)

1. 原稿を読み取り、読取画像として取得する読取手段と、
   前記読取画像から１つ以上のシンボルコードを検出するシンボルコード検出手段と、
   前記シンボルコードの読取画像の水平成分に対する傾きから前記読取画像の傾きを算出し、前記読取画像の傾きを補正する傾き補正手段と、
   前記傾き補正手段によって傾きが補正された前記読取画像から、前記シンボルコードを基準にして水平及び垂直方向に一定の規則にしたがって配置された、所定のパターンが印刷されたパターンブロックを検出するパターンブロック検出手段と、
   前記パターンブロックが配置されている領域を付加領域として判定する付加領域判定手段と、
   前記付加領域を所定の画像に変換する付加領域変換手段と、を有することを特徴とする画像処理装置。
2. 前記所定の画像は、読取画像に付加される注釈であることを特徴とする請求項１記載の画像処理装置。
3. 前記原稿は、前記シンボルコードと、前記パターンブロックと、が前記付加領域として印刷されていることを特徴とする請求項１または２記載の画像処理装置。
4. 前記原稿は、前記シンボルコードと、前記パターンブロックと、が印刷された付箋が前記付加領域として貼付されていることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記パターンブロック検出手段は、パターンの形状が異なる複数の種類のパターンブロックをそれぞれ別々に検出することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記パターンブロック検出手段は、パターンの色が異なる複数の種類のパターンブロックをそれぞれ別々に検出することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記シンボルコード検出手段は、２次元バーコードを検出し、読み取ることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 請求項１から７に記載の画像処理装置と、
   前記読取画像に前記所定の画像を付加した画像を表示する表示手段と、がネットワークにより接続された画像処理システム。
9. 原稿を読み取り読取画像として取得する読取ステップと、
   前記読取画像から１つ以上のシンボルコードを検出するシンボルコード検出ステップと、
   前記シンボルコードの読取画像の水平成分に対する傾きから前記読取画像の傾きを算出し、前記読取画像の傾きを補正する傾き補正ステップと、
   前記傾き補正ステップによって傾きが補正された前記読取画像から、前記シンボルコードを基準にして水平及び垂直方向に一定の規則にしたがって配置された、所定のパターンが印刷されたパターンブロックを検出するパターンブロック検出ステップと、
   前記パターンブロックが配置されている領域を付加領域として判定する付加領域判定ステップと、
   前記付加領域を所定の画像に変換する付加領域変換ステップと、を有することを特徴とする画像処理方法。
10. 画像処理装置に、
    原稿を読み取り読取画像として取得する読取処理と、
    前記読取画像からシンボルコードを検出するシンボルコード検出処理と、
    前記シンボルコードの読取画像の水平成分に対する傾きから前記読取画像の傾きを算出し、前記読取画像の傾きを補正する傾き補正処理と、
    前記傾き補正処理によって傾きが補正された前記読取画像から、前記シンボルコードを基準にして水平及び垂直方向に一定の規則にしたがって配置された、所定のパターンが印刷されたパターンブロックを検出するパターンブロック検出処理と、
    前記パターンブロックが配置されている領域を付加領域として判定する付加領域判定処理と、
    前記付加領域を所定の画像に変換する付加領域変換処理と、を実行させることを特徴とするプログラム。