JP2018120511A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】複数の画像を撮像して全体画像として合成する場合に、適切なタイミングで該複数の画像を撮像する。【解決手段】本発明の情報処理装置は、入力画像から紙文書の紙辺を検出する紙辺検出手段と、検出された紙辺の形状が紙辺の検出条件に適合するか否かを判定する紙辺形状判定手段と、紙辺の検出条件に適合すると判定されたことを条件に、入力画像から紙文書の画像特徴量を抽出する特徴量抽出手段と、紙文書の移動前に撮像された撮像画像から抽出された紙文書の画像特徴量と、紙文書の移動後の入力画像から抽出された紙文書の画像特徴量とから算出される、紙文書の移動量及び移動方向が移動量及び移動方向に関する条件に適合するか否かを判定する移動量及び方向判定手段と、移動量及び移動方向に関する条件に適合すると判定されたことを条件に、移動後の紙文書の一部を局所画像として撮像するように制御する撮像制御手段を備える。【選択図】図９

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

従来、紙文書に記載された文字等の情報を電子的に取り込むためにスキャナ等が利用されている。また、近年では、スマートフォンやタブレット等のモバイル端末のカメラを利用することで、紙文書を画像データとして電子的に取り込み、その取り込んだ画像データに対して、ＯＣＲ処理を実行することも行われている。さらにこのとき、モバイル端末による影を避ける等のため、紙文書に対して斜め方向から撮影することが考えられる。

特許文献１では、書類に対して斜め方向から撮像する際に、複数の異なるフォーカス位置で撮像し、該撮像したフォーカス位置の異なる複数の画像を合成することで被写界深度の深い合成画像を生成するようにしている。一方で、特許文献１のようにカメラ画角に紙文書全体を収めようとすると、紙文書からある程度離れた位置から撮影する必要が生じる。しかしながら、離れた位置から撮影すると、文書画像が小さくなり、所定の解像度（例えば、文書画像をＯＣＲ処理する上で必要な解像度）を担保できない場合がある。これに対しては、パノラマ撮影のように、紙文書の一部を拡大撮影して複数の部分画像を取得し、それらの部分画像を合成して解像度の高い合成画像を得ることが考えられる。

特開２０１５−１９７８９６号公報

また、モバイル端末のカメラで撮像した画像は、モバイル端末を手持ちで撮像していることから、スキャナ等で電子的に取り込んだ画像と比較して、画像細部において手振れによるピントのボケが発生しやすい。そこで、後述する本発明の実施形態では、手振れを防止するために、モバイル端末を固定して配置し、紙文書の方を机上で動かしながら撮像する形態を考えている。しかしながら、このような形態では、ユーザは紙文書を動かす操作を行っているので、ユーザにとっては、該紙文書の操作と同時に、適切なタイミングや位置で文書の部分画像を撮像する操作を行うことは難しい。

本発明は、このような課題を鑑みてなされたものであって、その目的は、複数の画像を撮像して全体画像として合成する場合に、適切なタイミングで該複数の画像を撮像することである。

上記目的を達成するために、本発明の情報処理装置は、紙文書を局所的に撮像した複数の局所画像を合成し、前記紙文書の全体画像を生成する情報処理装置であって、入力画像から前記紙文書の紙辺を検出する紙辺検出手段と、前記検出された紙辺の形状が紙辺の検出条件に適合するか否かを判定する紙辺形状判定手段と、前記紙辺の検出条件に適合すると判定されたことを条件に、前記入力画像から前記紙文書の画像特徴量を抽出する特徴量抽出手段と、前記紙文書の移動前に撮像された撮像画像から抽出された前記紙文書の画像特徴量と、前記紙文書の移動後の入力画像から抽出された前記紙文書の画像特徴量とから算出される、前記紙文書の移動量及び移動方向が移動量及び移動方向に関する条件に適合するか否かを判定する移動量及び方向判定手段と、前記移動量及び移動方向に関する条件に適合すると判定されたことを条件に、移動後の前記紙文書の一部を局所画像として撮像するように制御する撮像制御手段とを備えることを特徴とする。

本発明の情報処理装置によれば、複数の画像を撮像して全体画像として合成する場合に、適切なタイミングで該複数の画像を撮像することができる。

本発明の実施形態に係る情報処理装置の外観を示す図である。 本発明の実施形態に係る情報処理装置のハードウェア構成図である。 本発明の実施形態に係る情報処理装置のソフトウェア構成図である。 モバイルアプリケーションのＵＩの画面例を示す図である。 紙辺検出と局所画像を示す図である。 画像特徴量の移動量及び移動方向を説明するための図である。 本発明の実施形態に係る情報処理装置の撮像処理の手順を示すフローチャートである。 紙面の回転に関するガイド表示例を示す図である。 本発明の実施形態に係る情報処理装置の局所画像取得処理の手順を示すフローチャートである。 紙面の移動に関するガイド表示例を示す図である。 ユーザの手が撮影領域にかかっているか否かを判定する処理を説明するための図である。 その他の実施形態に係る情報処理装置における移動量・方向判定処理を説明するための図である。

以下、本発明の実施形態について、図面等を参照して説明する。なお、以下の実施形態は、本発明を限定するものではなく、また、本実施形態で説明されている全ての構成が本発明の課題を解決するための手段に必須であるものとは限らない。

（外観）
図１は、本発明の実施形態に係る情報処理装置の外観を示す図である。なお、図１では、モバイル端末１００を、情報処理装置の一例として示している。ここで、図１（ａ）は、モバイル端末１００を表側から見た外観を示している。また、図１（ｂ）は、モバイル端末１００を裏側から見た外観を示している。

モバイル端末１００は、各種のユニット（カメラ１０１、タッチパネル１０２、スタンド１０３、キーボード１０４）を含んで構成される。カメラ１０１は、被写体１０５を撮像し、画像として取得するための撮像手段である。タッチパネル１０２は、ディスプレイ等の表示手段の一例として示されるものであり、入力と出力（表示）の２つの機能を有している。スタンド１０３は、モバイル端末１００を支持する支持手段であり、後述のモバイルアプリケーションによる撮像時にカメラを固定することができる。キーボード１０４は、入力手段の一例として示されるものであり、図１では、モバイル端末と着脱可能なキーボードを示している。

また、図１では、カメラ１０１で撮像する被写体１０５として、注文書（Ａ４サイズの紙文書）をその一例として示しているが、被写体１０５としては、必ずしもこれに限定されず、例えば、名刺、写真、免許証等を被写体として設定することもできる。なお、モバイル端末１００には、モバイルアプリケーションがインストールされており、モバイルアプリケーションを起動した状態で、カメラ１０１により被写体１０５を撮像すると、タッチパネル１０２に撮像した画像を表示させることができる。

（ハードウェア構成）
図２は、本発明の実施形態に係る情報処理装置（モバイル端末１００）のハードウェア構成図である。モバイル端末１００は、各種のユニット（ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、Ｉｎｐｕｔ／Ｏｕｔｐｕｔインタフェース２０４、ＮＩＣ２０５、カメラユニット２０６）を含んで構成される。なお、これらのユニットは、バス２０７を介して、データの送受信が可能なように接続されている。

ＣＰＵ（Central Processing Unit）２０１は、モバイル端末１００全体を制御する中央演算装置である。ＣＰＵ２０１は、ＲＯＭ２０３に記憶されている各種プログラムを実行することにより、後述のシーケンスの各ステップの処理を実行する各処理部として機能する。なお、ＣＰＵ２０１に、フラッシュメモリ、又はＨＤＤ等の外部記憶装置に記憶されているプログラムを実行させることで、ＣＰＵ２０１を後述のシーケンスの各ステップの処理を実行する各処理部として機能させることもできる。また、後述のシーケンスに係る処理の全部又は一部については専用のハードウェアを用いて実現することもできる。

ＲＡＭ（Random Access Memory）２０２は、各種情報の記憶領域、また、ＣＰＵ２０１の一時的な作業記憶領域として用いられる。ＲＯＭ（Read Only Memory）２０３は、ＣＰＵ２０１により実行される各種プログラム等を記憶する。Ｉｎｐｕｔ／Ｏｕｔｐｕｔインタフェース２０４は、タッチパネル１０２からのデータを送受信する。ＮＩＣ（Network Interface Card）２０５は、ネットワークインタフェースであり、モバイル端末１００を所定のネットワーク（不図示）に接続する。カメラユニット２０６は、カメラ１０１に接続され、カメラ１０１により撮像された、被写体１０５の画像をモバイル端末１００に取り込む。

（ソフトウェア構成）
次に、モバイル端末１００におけるソフトウェア構成について説明する。図３は、本発明の実施形態に係る情報処理装置（モバイル端末１００）のソフトウェア構成図である。図３に示される各ソフトウェア（アプリケーション）における機能を実現するプログラムは、前述のようにモバイル端末１００のＲＯＭ２０３等に記憶される。

モバイル端末１００のＯＳ（Operating System）は、データ管理部３０１を有する。データ管理部３０１は、画像やアプリケーションデータを管理する。ＯＳは、データ管理部３０１を利用するための制御ＡＰＩ（Application Programming Interface）を提供している。各アプリケーションは、その制御ＡＰＩを利用することで、データ管理部３０１が管理する画像やアプリケーションデータの取得や保存を実行する。

モバイルアプリケーション３０２は、所定の配信サービス（例えば、Ａｐｐｌｅ ＳｔｏｒｅやＧｏｏｇｌｅ Ｐｌａｙ等）よりダウンロードされ、ＯＳのインストール機能によりインストールされることにより実行可能なアプリケーションである。モバイルアプリケーション３０２は、カメラユニット２０６を介して取得した被写体１０５の画像に対して、各種データ処理を実行する。また、メイン制御部３０３、情報表示部３０４、操作情報取得部３０５、画像解析部３０６、記憶部３０７、画像特徴量抽出部３０８、移動量・方向判定部３０９、マッチング処理部３１０、撮像制御部３１１、撮像枚数設定部３１２、条件決定部３１３を備える。

メイン制御部３０３は、モバイルアプリケーション３０２を制御する。メイン制御部３０３は、各モジュール部に対する指示及び管理を行う。情報表示部３０４は、本発明のガイド表示手段に対応し、メイン制御部３０３の指示に従って、モバイルアプリケーション３０２のユーザインタフェース（ＵＩ）をユーザに提供する。操作情報取得部３０５は、情報表示部３０４により提供されたモバイルアプリケーション３０２のＵＩにおいて、ユーザが操作した情報を取得し、その取得した情報をメイン制御部３０３に通知する。具体的には、ユーザがタッチパネル１０２の表示及び操作領域（後述の４０１）に触れると、操作情報取得部３０５は、触れられた画面上の位置の情報を感知し、感知した位置の情報をメイン制御部３０３に送信する。

画像解析部３０６は、カメラユニット２０６を介して取得した被写体１０５の画像を解析して、後述の紙辺検出処理を実行し、さらに検出された紙辺の形状及び位置より紙面を判別する。そして、画像解析部３０６は、紙面と判別された領域が画面（即ち、入力画像）に対して８０％以上占有していることを条件に、検出された紙辺の形状が事前に設定された紙辺の検出条件に適合するか否かを判定する。また、画像解析部３０６は、入力画像を解析することで、ユーザの手が被写体１０５である注文書にかかっているか否かを判定する。即ち、画像解析部３０６は、本発明の紙辺検出手段、紙辺形状判定手段、紙面判別手段、及び手判定手段に対応する。

記憶部３０７は、操作情報取得部３０５（即ち、モバイルアプリケーション３０２のＵＩ）を介して、ユーザにより入力された設定値を記憶（永続化）する。画像特徴量抽出部３０８は、カメラ１０１の入力画像に対して、画像特徴量の抽出処理を実行する。移動量・方向判定部３０９は、図６で後述する画像特徴点の移動量（即ち、どの程度、移動したか）、移動方向（即ち、どの方向に移動したか）が事前に設定された画像特徴点の移動量及び移動方向に関する条件に適合するか否かを判定する。マッチング処理部３１０は、移動前の画像特徴点と移動後の画像特徴点のマッチング処理を実行する。なお、具体的なマッチング処理として、例えば、ＢｒｕｔｅＦｏｒｃｅ−Ｈａｍｍｉｎｇ等がある。撮像制御部３１１は、移動量・方向判定部３０９において画像特徴点の移動量及び移動方向に関する条件に適合すると判定されたことを条件に、被写体１０５である注文書の一部を局所的に撮像するように制御する。

撮像枚数設定部３１２は、被写体１０５である注文書を局所画像（部分画像）として撮像する枚数を設定する。なお、局所画像として撮像する枚数は、相応の解像度を担保できること、また、各々の局所画像に画像特徴量が含まれることを前提に設定される。条件決定部３１３は、撮像枚数設定部３１２において設定された撮像枚数の各々に対して、紙辺の検出条件、及び画像特徴点の移動量及び移動方向に関する条件を、撮像する枚数に応じて決定する。

図４は、モバイルアプリケーション３０２のＵＩの画面例を示す図である。図４（ａ）において、モバイル端末画面４００は、モバイル端末１００のタッチパネル１０２に表示される。タッチパネル１０２は、前述のように、表示及び操作領域４０１にカメラ１０１を介して取得した画像を表示し、表示及び操作領域４０１においてユーザからの操作を受け付ける。

また、注文書４０２は、カメラ１０１の被写体１０５の一例として示されるものである（図４（ｂ））。撮像領域４０３は、カメラ１０１により撮像される領域の一例として示されるものである。表示例４０４は、カメラ１０１で撮像領域４０３を撮像することにより取得した画像を、モバイル端末画面４００に表示した例として示されるものである。なお、モバイルアプリケーション３０２のＵＩの形態（例えば、位置、大きさ、範囲、配置、表示内容等）は、図４（ｃ）に示す形態に必ずしも限定されるものではなく、モバイル端末１００の機能を実現するために任意の適切な構成を採用することができる。

（紙辺検出と局所画像）
図５は、紙辺検出と局所画像を示す図である。なお、ここで、紙辺検出とは被写体１０５である注文書４０２の紙辺を検出する処理であり、紙辺検出するための処理としては、例えば、画像から直線成分を抽出するハフ変換処理等がある。また、局所画像とは、被写体１０５の一部をカメラ１０１により撮像することで取得される画像のことであり、例えば、図５の５３１〜５３６等で示される。また、図５では、局所画像を合成することにより生成される全体画像についても示している。

表示例５１１は、カメラ１０１で撮像領域５０１を撮像することにより取得した画像をモバイル端末１００のタッチパネル１０２に表示した例である。表示例５２１は、取得した画像に対して、画像解析部３０６により紙辺検出処理を実行し、紙辺（図中、太線）を検出した結果を表示した例である。さらに、局所画像５３１は、紙辺検出結果により得られた紙辺座標情報を用いて、被写体１０５以外の領域を除外した画像として示されるものである。

同様に、表示例５１２は、カメラ１０１で撮像領域５０２を撮像することにより取得した画像をモバイル端末１００のタッチパネル１０２に表示した例である。表示例５２２は、取得した画像に対して、画像解析部３０６により紙辺検出処理を実行し、紙辺を検出した結果を表示した例である。さらに、局所画像５３２は、紙辺検出結果により得られた紙辺座標情報を用いて、被写体１０５以外の領域を除外した画像として示されるものである。

同様に、表示例５１３は、カメラ１０１で撮像領域５０３を撮像することにより取得した画像をモバイル端末１００のタッチパネル１０２に表示した例である。表示例５２３は、取得した画像に対して、画像解析部３０６により紙辺検出処理を実行し、紙辺を検出した結果を表示した例である。さらに、局所画像５３３は、紙辺検出結果により得られた紙辺座標情報を用いて、被写体１０５以外の領域を除外した画像として示されるものである。

同様に、表示例５１４は、カメラ１０１で撮像領域５０４を撮像することにより取得した画像をモバイル端末１００のタッチパネル１０２に表示した例である。表示例５２４は、取得した画像に対して、画像解析部３０６により紙辺検出処理を実行し、紙辺を検出した結果を表示した例である。さらに、局所画像５３４は、紙辺検出結果により得られた紙辺座標情報を用いて、被写体１０５以外の領域を除外した画像として示されるものである。

同様に、表示例５１５は、カメラ１０１で撮像領域５０５を撮像することにより取得した画像をモバイル端末１００のタッチパネル１０２に表示した例である。表示例５２５は、取得した画像に対して、画像解析部３０６により紙辺検出処理を実行し、紙辺を検出した結果を表示した例である。さらに、局所画像５３５は、紙辺検出結果により得られた紙辺座標情報を用いて、被写体１０５以外の領域を除外した画像として示されるものである。

同様に、表示例５１６は、カメラ１０１で撮像領域５０６を撮像することにより取得した画像をモバイル端末１００のタッチパネル１０２に表示した例である。表示例５２６は、取得した画像に対して、画像解析部３０６により紙辺検出処理を実行し、紙辺を検出した結果を表示した例である。さらに、局所画像５３６は、紙辺検出結果により得られた紙辺座標情報を用いて、被写体１０５以外の領域を除外した画像として示されるものである。

このようにして生成された複数の局所画像５３１〜５３６は、画像合成処理により、画像解析部３０６において１枚の画像（即ち、被写体１０５の全体画像５４０）として合成される。なお、局所画像の画像合成処理としては、例えば、ステッチング等がある。また、紙辺検出処理に関しては、後述の図９に示すように、撮像する前処理としても実行される。

（画像特徴量の移動量及び移動方向）
図６は、画像特徴量の移動量及び移動方向を説明するための図である。より詳細には、図６は、注文書４０２を撮像した２枚の撮像画像６１１、６１２を用いて、２枚の撮像画像間で紙面がどの程度、移動したか（移動量）、どちらの方向に移動したか（移動方向）を判定する処理について説明するための図である。

撮像画像６１１は、撮像領域５０１を撮像した画像である。画像特徴量６２１は、検出した局所画像５３１から画像特徴量抽出部３０８で抽出した画像特徴量である。特徴量表示画像６３１は、画像特徴量６２１を撮像画像６１１にオーバレイした画像である。画像特徴点６４１は、画像特徴点の集合（即ち、画像特徴量６２１）のうちの１点として示される特徴点である。画像特徴量の例としては、ＳＵＲＦ、ＳＩＦＴ、ＡＫＡＺＥ、ＯＲＢ等がある。座標６５１は、撮像画像６１１における画像特徴点６４１の座標である。撮像画像６１２は、注文書４０２をカメラ１０１に対して右方向に移動させ、撮像領域５０２を撮像した画像である。画像特徴量６２２は、検出した局所画像５３２から画像特徴量抽出部３０８で抽出した画像特徴量である。

マッチング処理部３１０は、画像特徴量６２１と画像特徴量６２２でマッチング処理を実行し（即ち、各々の対応する画像特徴点でマッチング処理を実行し）、同一の画像特徴点を検出する。画像特徴点６４２は、画像特徴点６４１に対応する画像特徴点である。即ち、画像特徴点６４１と画像特徴点６４２は、注文書４０２における同一の位置として示される。座標６５２は、撮像画像６１２における画像特徴点６４２の座標を表す。

移動量・方向判定部３０９は、座標６５１と座標６５２の座標比較により、画像特徴量（即ち、注文書４０２）の移動量と移動方向を算出する。図６に示す例では、画像特徴点６４１がｘ軸方向にマイナス４００移動しているので、注文書４０２をカメラ１０１に対して右方向に４００移動させたものと認識される。

なお、移動量・方向判定部３０９は、その後に、その算出した特徴点の移動量と移動方向が、撮像枚数（例えば、６枚の局所画像のうちの２枚目、３枚目等）に応じて事前に設定された特徴点の移動量と移動方向に一致するか否かを判定する。また、図６では、撮像画像間で移動量と移動方向を算出する例を示したが、局所画像の取得処理では、移動前後の入力画像、又は移動前の撮像画像と移動後の入力画像を比較することで、移動量と移動方向を算出する。

（全体フロー）
図７は、本発明の実施形態に係る情報処理装置（モバイル端末１００）の撮像処理の手順を示すフローチャートである。なお、図７に示す撮像処理では、注文書４０２の局所画像を合成し、注文書４０２の全体画像を生成した際に、相応の解像度を担保することを前提に、局所画像として６枚を撮像する例を示している。

したがって、ＯＣＲ（Optical Character Recognition）で認識する上で充分な解像度を担保することができれば、局所画像として撮像する枚数は、必ずしも６枚に限定されず、２枚以上であればよい。ここで、局所画像として撮像する枚数を例えば、２枚、３枚とする場合には、被写体１０５である注文書４０２を横方向に移動させて撮像すればよい。また、局所画像として撮像する枚数が４枚以上であって、かつ偶数枚である場合には、撮影枚数の半分を撮像し終えた時点で、注文書４０２を回転させ、その後に残りの画像を横方向に移動させて撮像すればよい。さらに、図７に示すフローチャートでは、処理を実行する事前に撮影枚数を固定した上で撮像するケースを示しているが、撮像装置、撮像方法、紙辺検出結果により、撮像枚数を動的に変更することもできる。

図７に示すフローチャートは、ユーザによりモバイルアプリケーション３０２で各種設定（例えば、撮像枚数、図９において後述する特徴点の移動量及び移動方向等に関する設定）を行い、カメラ１０１を起動すると開始される。モバイルアプリケーション３０２は、注文書４０２の局所画像の取得処理を実行する（Ｓ７０１）。なお、ここで、局所画像は前述の図５の５３１〜５３６で示される画像であり、局所画像の取得処理は後述の図９のステップＳ９０１〜Ｓ９１２の処理として説明される。また、図７に示すフローチャートでは前述のように６枚の局所画像を撮像することから、モバイルアプリケーション３０２は、ユーザに注文書４０２を移動させるようにガイドし、６回に分けて局所画像を撮像する。

モバイルアプリケーション３０２は、６枚全ての局所画像を撮像したか否かを判定し（Ｓ７０２）、６枚全ての局所画像を撮像済みの場合はステップＳ７０５に処理を移行し、６枚全ての局所画像を撮像済みでない場合はステップＳ７０３に処理を移行する。モバイルアプリケーション３０２は、６枚全ての局所画像を撮像済みでない場合（Ｓ７０２ Ｎｏ）、撮像枚数の総計が、その半分である３枚であるか否かを判定する（Ｓ７０３）。モバイルアプリケーション３０２は、撮像枚数の総計が３枚でない場合にはステップＳ７０１に処理を移行し、撮像枚数の総計が３枚である場合にはステップＳ７０４に処理を移行させる。

モバイルアプリケーション３０２は、撮像枚数の総計が３枚であると判定した場合（Ｓ７０３ Ｙｅｓ）、ユーザに対して、注文書４０２を回転するように促すガイドを表示する（Ｓ７０４）。具体的には、モバイルアプリケーション３０２は、図８のガイド表示例８０１に示されるように「紙面を回転させて下さい」と表示させる。また、ステップＳ７０２において、６枚全ての局所画像を撮像済みであると判定すると、画像解析部３０６において、ステップＳ７０１で取得した局所画像を合成し、画像生成処理を施すことで、注文書４０２の全体画像を生成する（Ｓ７０５）。

なお、図７には示していないが、ステップＳ７０１からＳ７０３、又はステップＳ７０１からＳ７０４までの処理が完了すると、撮像枚数をカウントアップし、図９において後述するように、撮像枚数に応じた処理を選択して実行する。

（局所画像取得処理）
図９は、本発明の実施形態に係る情報処理装置（モバイル端末１００）の局所画像取得処理の手順を示すフローチャートである。図９に示すフローチャートは、図７で前述したように、ユーザによりモバイルアプリケーション３０２で各種設定を行い、カメラ１０１を起動すると開始される。

モバイルアプリケーション３０２は、カメラ１０１により注文書４０２の画像を取得する（Ｓ９０１）。なお、この場合、ユーザは、６枚の局所画像のうちの１枚目の局所画像５３１を撮像することを前提に、撮像領域が撮像領域５０１におおよそ設定されるように、注文書４０２を配置しておく。

モバイルアプリケーション３０２は、取得した画像（即ち、表示例５１１として示される画像）に対して、画像解析部３０６により紙辺検出処理を実行する（Ｓ９０２）。モバイルアプリケーション３０２は、紙辺検出処理の実行結果（即ち、紙辺検出結果）を、紙辺座標情報に従って表示する（Ｓ９０３）。なお、ここでの紙辺検出結果は表示例５２１として示され、また、紙辺座標情報とは、例えば、表示例５２１に示す画面において、画面（即ち、長方形）の左上の頂点を原点に設定し、さらに画面の横方向をｘ軸方向、縦方向をｙ軸方向として示されるものである。

モバイルアプリケーション３０２は、メイン制御部３０３により、紙辺検出結果が撮像条件に一致するか否かを判定する（Ｓ９０４）。具体的には、紙辺検出結果（即ち、紙辺の数と傾き）が、その撮像枚数（例えば、１枚目、２枚目等）に応じて事前に設定された紙辺の数と傾きと一致するか否かを判定する。ここでは、６枚の局所画像のうちの１枚目の局所画像５３１を撮像することを前提としていることから、モバイルアプリケーション３０２は、紙辺が２本であって、かつ、その２本の紙辺の傾きがおおよそ表示例５２１のように、検出できているか否かを判定する。また、モバイルアプリケーション３０２は、被写体１０５である注文書４０２が、画面において、おおよそ８０％以上占有しているか否かに関しても、併せて判定する。モバイルアプリケーション３０２は、紙辺検出結果が撮像条件に一致しない場合（Ｓ９０４ Ｎｏ）、ステップＳ９０１に処理を移行させ、紙辺検出結果が撮像条件に一致する場合（Ｓ９０４ Ｙｅｓ）、ステップＳ９０５に処理を移行させる。

モバイルアプリケーション３０２は、ステップＳ９０５において、撮像済み画像があるか否かを判定する。即ち、モバイルアプリケーション３０２は、１枚目の撮像画像であるか否かを判定する。モバイルアプリケーション３０２は、撮影済み画像がある場合（Ｓ９０５ Ｙｅｓ）、ステップＳ９０６に処理を移行させ、撮影済み画像がない場合（即ち、１枚目の撮像画像である場合）（Ｓ９０５ Ｎｏ）、ステップＳ９０８に処理を移行させる。なお、この場合、１枚目の撮像画像であることから、モバイルアプリケーション３０２は、ステップＳ９０８に処理を移行させる。

モバイルアプリケーション３０２は、フレーム間の移動量を判定し、フレーム間の移動量が所定の範囲内に収まっているか否かを判定する（Ｓ９０８）。具体的には、注文書４０２を移動させた直後だとフレーム間の移動量が所定の範囲内に収まっていないと判定し、ユーザが注文書４０２から手を離し、注文書４０２が静止した状態になると、フレーム間の移動量が所定の範囲内に収まっていると判定する。

モバイルアプリケーション３０２は、フレーム間の移動量が所定の範囲内に収まっていれば、ステップＳ９１０に処理を移行させ、フレーム間の移動量が所定の範囲内に収まっていなければ、ステップＳ９０９に処理を移行させる。モバイルアプリケーション３０２は、フレーム間の移動量が所定の範囲内に収まっていないと判定すると（Ｓ９０８ Ｎｏ）、ユーザに紙面を静止するように、撮影ガイドを提示する（Ｓ９０９）。

モバイルアプリケーション３０２は、フレーム間の移動量が所定の範囲内に収まっていると判定すると（Ｓ９０８ Ｙｅｓ）、次に、ユーザの手が撮影領域（即ち、被写体１０５である注文書４０２）にかかっているか否かを判定する（Ｓ９１０）。モバイルアプリケーション３０２は、ユーザの手が撮影領域にかかっていなければ（Ｓ９１０ Ｙｅｓ）、ステップＳ９１２に処理を移行させ、ユーザの手が撮影領域にかかっていれば（Ｓ９１０ Ｎｏ）、ステップＳ９１１に処理を移行させる。モバイルアプリケーション３０２は、ユーザの手が撮影領域にかかっていると判定すると（Ｓ９１０ Ｎｏ）、ユーザに手を退けるように、撮影ガイドを表示する（Ｓ９１１）。また、モバイルアプリケーション３０２は、ユーザの手が撮影領域にかかっていないと判定すると（Ｓ９１０ Ｙｅｓ）、注文書４０２を撮像し（Ｓ９１２）、撮像した局所画像を記憶部３０７に記憶する。

モバイルアプリケーション３０２は、注文書４０２に関して、６枚の局所画像のうちの１枚目の局所画像５３１を撮像すると、次に、図７及び図９のフローチャートに従って、６枚の局所画像のうちの２枚目の局所画像５３２を撮像するための処理を実行する。モバイルアプリケーション３０２は、注文書４０２に関して、６枚の局所画像のうちの２枚目の局所画像５３２を撮像することを前提に、ユーザにより撮像領域５０２におおよそ配置された注文書４０２の画像を取得する（Ｓ９０１）。モバイルアプリケーション３０２は、取得した画像（即ち、表示例５１２として示される画像）に対して、画像解析部３０６により紙辺検出処理を実行する（Ｓ９０２）。モバイルアプリケーション３０２は、紙辺座標情報に従って、紙辺検出結果を表示する（Ｓ９０３）。なお、ここでの紙辺検出結果は、表示例５２２として示される。

モバイルアプリケーション３０２は、メイン制御部３０３により、紙辺検出結果が撮像条件に一致するか否かを判定する（Ｓ９０４）。ここでは、６枚の局所画像のうちの２枚目の局所画像５３２を撮像することを前提としていることから、モバイルアプリケーション３０２は、紙辺が１本であって、かつ、その１本の紙辺の傾きがおおよそ表示例５２２のように、検出できているか否かを判定する。また、モバイルアプリケーション３０２は、被写体１０５である注文書４０２が、画面において、おおよそ８０％以上占有しているか否かに関しても、併せて判定する。モバイルアプリケーション３０２は、紙辺検出結果が撮像条件に一致しない場合（Ｓ９０４ Ｎｏ）、ステップＳ９０１に処理を移行させ、紙辺検出結果が撮像条件に一致する場合（Ｓ９０４ Ｙｅｓ）、ステップＳ９０５に処理を移行させる。

モバイルアプリケーション３０２は、ステップＳ９０５において、撮像済み画像があるか否かを判定する。この場合、モバイルアプリケーション３０２は、１枚目が既に撮像済みであることから、撮影済み画像があると判定し（Ｓ９０５ Ｙｅｓ）、ステップＳ９０６に処理を移行させる。ステップＳ９０６において、モバイルアプリケーション３０２は、先ず、直前に撮像された画像（ここでは、６枚の局所画像のうちの１枚目の局所画像５３１）とステップＳ９０１で取得した入力画像から、特徴点を抽出する。モバイルアプリケーション３０２は、次に、その特徴点の移動量と移動方向を計算し、その撮像枚数（ここでは、６枚の局所画像のうちの２枚目）に応じて事前に設定された特徴点の移動量と移動方向に一致するか否かを判定する（Ｓ９０６）。

なお、このステップＳ９０６における判定は、相応の精度を担保するために、前述の図６で示した移動量・方向判定処理に従って、複数の特徴点を対象に実行される。そのため、例えば、６枚の局所画像のうちの２枚目の局所画像の撮影画面において１枚目の局所画像の撮影画面のおおよそ３分の１がオーバーラップして表示されるように２枚目の局所画像を撮影する位置を設定する。そして、その２枚目の局所画像の撮影画面において、複数の特徴点の移動が確認できるようにする。

モバイルアプリケーション３０２は、撮像条件に一致する場合（Ｓ９０６ Ｙｅｓ）、ステップＳ９０８に処理を移行させ、撮像条件に一致していない場合（Ｓ９０６ Ｎｏ）、ステップＳ９０７に処理を移行させる。モバイルアプリケーション３０２は、撮像条件に一致していないと判定すると（Ｓ９０６ Ｎｏ）、撮影ガイドを表示する（Ｓ９０７）。注文書４０２のシフト量が適切でない場合、撮像枚数が徒に増加したり、また画像を適切に合成できなかったりする。そのため、モバイルアプリケーション３０２は、図１０（ａ）に示されるガイド表示例１００１のように「紙面を移動させて下さい」等のガイドを表示する。また、図１０（ａ）では、シフト量が充分でない場合を示していることから、ガイド表示例１００２に示されるように、紙面（注文書４０２）を移動させる方向に関してもガイドし、ユーザに右方向にシフトさせるように促している。なお、モバイルアプリケーション３０２は、ユーザが撮像を予定する方向とは反対方向に注文書４０２を移動させた場合、「紙面を反対方向に移動させて下さい」等のガイドを表示することもできる。

また、モバイルアプリケーション３０２は、撮像条件に一致していると判定すると、図１０（ｂ）に示されるガイド表示例１００３のように「紙面を静止させて下さい」と表示させ、その後に、ステップＳ９０８からステップＳ９１２までの処理を実行する。したがって、モバイルアプリケーション３０２は、ステップＳ９１０において、ユーザの手が撮像領域にかかっていると判定すると（Ｓ９１０ Ｙｅｓ）、ステップＳ９１１に処理を移行する。

図１１は、ユーザの手が撮影領域にかかっているか否かを判定する処理に関して、説明するための図である。図１１（ａ）において、画像領域１１０１は撮影済みである画像領域を、また、画像領域１１０２は未だ撮像されていない画像領域を示している。なお、撮像済みである画像領域であるか、又は未だ撮像されていない画像領域であるかは、画像特徴点の移動量及び移動方向に基づいて判定される。ここで、図１１（ａ）において、未だ撮像されていない画像領域であって、かつ、撮像を予定する画像領域に、手１１０３がかかっている。そのため、モバイルアプリケーション３０２は、例えば、図１１（ｂ）に示すように「手を退けて下さい」と表示させ、ユーザに注意を喚起する。なお、手を認識する技術として、既知の物体認識技術を用いる。

モバイルアプリケーション３０２は、注文書４０２に関して、６枚の局所画像のうちの２枚目の局所画像５３２を撮像すると、同様に、図９のフローチャートに従って３枚目から６枚目の局所画像を撮像し、その後に局所画像から全体画像を生成する。以上のように、本実施形態の情報処理装置によれば、紙辺と紙面移動量・方向を用いた撮像条件判定で、撮像条件を充足した場合にのみ自動的に撮像するため、適切なタイミングで複数の局所画像を撮像することができる。さらに、入力画像に紙面が映っていない場合において、不要な撮像を防止することができる。

（その他の実施形態）
ここでは、移動量・方向の判定精度を向上させるための移動量・方向判定処理について説明する。なお、移動量・方向判定処理以外の処理に関して、上述の実施形態で説明した構成及び手順と同様であることから、それらの詳細な説明は省略する。

図１２は、移動量・方向判定処理を説明するための図である。上述の実施形態では、直前に撮像された局所画像１２０１と入力画像１２０２から直接、移動量及び移動方向を算出することで、移動量・方向に関する判定処理を実行していた。但し、局所画像１２０１と入力画像１２０２では、被写体１０５を移動させて撮像していることから、被写体１０５において同じ領域が撮像された場合であっても、その位置に関係して、撮像画像において、その領域が異なる形状として示される。図１２において、局所画像１２０１の画像特徴点１２０１（ａ）、（ｂ）及び（ｃ）と入力画像１２０２の画像特徴点１２０２（ａ）、（ｂ）及び（ｃ）は、被写体１０５の対応する特徴点である。しかしながら、それらの画像特徴点により形成される領域は、局所画像１２０１と入力画像１２０２で異なっている。このように、移動量及び移動方向を算出すると、誤差が生じる場合がある。

そこで、本実施形態では、局所画像１２０１及び入力画像１２０２を同一の座標系に射影し、射影した画像１２１１、１２１２を用いて、移動量及び移動方向を算出する。同一の座標系に射影し、移動量及び移動方向を算出することで、その誤差を低減し、さらには、移動量・方向判定処理の精度を向上させることができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し、実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (9)

1. 紙文書を局所的に撮像した複数の局所画像を合成し、前記紙文書の全体画像を生成する情報処理装置であって、
   入力画像から前記紙文書の紙辺を検出する紙辺検出手段と、
   前記検出された紙辺の形状が紙辺の検出条件に適合するか否かを判定する紙辺形状判定手段と、
   前記紙辺の検出条件に適合すると判定されたことを条件に、前記入力画像から前記紙文書の画像特徴量を抽出する特徴量抽出手段と、
   前記紙文書の移動前に撮像された撮像画像から抽出された前記紙文書の画像特徴量と、前記紙文書の移動後の入力画像から抽出された前記紙文書の画像特徴量とから算出される、前記紙文書の移動量及び移動方向が移動量及び移動方向に関する条件に適合するか否かを判定する移動量及び方向判定手段と、
   前記移動量及び移動方向に関する条件に適合すると判定されたことを条件に、移動後の前記紙文書の一部を局所画像として撮像するように制御する撮像制御手段と
   を備えることを特徴とする情報処理装置。
2. 前記紙文書の一部を局所画像として撮像する枚数を設定する撮像枚数設定手段と、
   前記撮像する枚数の各々に対して、前記紙辺の検出条件及び前記移動量及び移動方向に関する条件を、 前記撮像する枚数に応じて決定する条件決定手段と
   を備え、
   前記紙辺の検出条件は、前記紙文書の一部の紙辺の形状として設定され、
   前記紙辺形状判定手段は、前記局所画像を撮像する枚数に対応する前記紙辺の検出条件に従って判定し、
   前記移動量及び方向判定手段は、前記局所画像を撮像する枚数に対応する前記移動量及び移動方向に関する条件に従って判定することを特徴とする請求項１に記載の情報処理装置。
3. 前記紙辺検出手段により検出された紙辺の形状及び位置より、紙面を判別する紙面判別手段を備え、
   前記紙辺形状判定手段は、前記紙面判別手段により紙面と判別された領域が前記入力画像に対して８０％以上占有していることを条件に、前記検出された紙辺の形状が前記紙辺の検出条件に適合するか否かを判定することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記移動量及び方向判定手段は、前記紙文書の移動量及び移動方向を算出する事前に、前記紙文書の移動後の入力画像を、前記紙文書の移動前に撮像した局所画像と同一の座標系に変換することを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記移動量及び方向判定手段により、前記算出された移動量及び移動方向が前記移動量及び移動方向に関する条件に適合していると判定されると、前記紙文書を静止させるためのガイドを表示するガイド表示手段を備えることを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
6. 前記入力画像において、ユーザの手が前記紙文書にかかっているか否かを判定する手判定手段を備え、
   前記ガイド表示手段は、前記手判定手段により前記ユーザの手が前記紙文書にかかっていると判定されると、手を退けるようにガイドを表示することを特徴とする請求項５に記載の情報処理装置。
7. 前記ガイド表示手段は、前記局所画像として撮像する枚数が４枚以上であって、かつ偶数枚である場合に、前記局所画像として撮像する枚数の半分の撮像が完了すると、前記紙文書を回転させるようにガイド表示することを特徴とする請求項５に記載の情報処理装置。
8. 紙辺検出手段により、入力画像から紙文書の紙辺を検出する紙辺検出ステップと、
   紙辺形状判定手段により、前記検出された紙辺の形状が紙辺の検出条件に適合するか否かを判定する紙辺形状判定ステップと、
   特徴量抽出手段により、前記紙辺の検出条件に適合すると判定されたことを条件に、前記入力画像から前記紙文書の画像特徴量を抽出する特徴量抽出ステップと、
   移動量及び方向判定手段により、前記紙文書の移動前の入力画像から抽出された前記紙文書の画像特徴量と、前記紙文書の移動後の入力画像から抽出された前記紙文書の画像特徴量とから算出される、前記紙文書の移動量及び移動方向が移動量及び移動方向に関する条件に適合するか否かを判定する移動量及び方向判定ステップと、
   撮像制御手段により、前記移動量及び移動方向に関する条件に適合すると判定されたことを条件に、前記紙文書の一部を局所画像として撮像するように制御する撮像制御ステップと
   画像生成手段により、前記撮像した局所画像を合成し、前記紙文書の全体画像を生成する画像生成ステップと
   を備えることを特徴とする情報処理装置における情報処理方法。
9. コンピュータを、請求項１から７のいずれか一項に記載の情報処理装置の各手段として機能させるためのプログラム。