JP2018045368A - 画像処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】オブジェクトの種類に応じて画像に対する処理を変更することを目的とする。【解決手段】複数のオブジェクトが撮影された第１の撮影画像を取得する第１の取得手段と、第１の撮影画像とは異なる角度から複数のオブジェクトが撮影された第２の撮影画像を取得する第２の取得手段と、第１の撮影画像の複数のオブジェクトのそれぞれのオブジェクトのオブジェクト画像と第２の撮影画像の複数のオブジェクトのそれぞれのオブジェクトのオブジェクト画像とを生成する生成手段と、複数のオブジェクトのそれぞれのオブジェクトのオブジェクト種別に応じて、それぞれのオブジェクトに関するオブジェクト画像に対する処理を変更する制御手段と、を有することによって課題を解決する。【選択図】図３

Description

本発明は、画像処理装置、情報処理方法及びプログラムに関する。

従来、スキャナを用いて文書を１枚ずつ光学的に読み取り、画像や文字を認識してデジタルデータ化して保管することが一般的だったが、複数の文書を同時に読み取る装置が提案されている。
特許文献１では、複数の文書を両面同時にスキャンし、両面の画像から、各文書をクロップし、位置情報から文書ごとの両面クロップ画像を関連付ける手法が提案されている。

特開２００９−１００２１１号公報

しかし、特許文献１の方法では、複数の文書の両面スキャンをし、その両面画像の関連付けが可能であるが、スキャン対象となる物体の種別によって、画像の合成や後処理の方法を変えたい場合に、対処することができない。例えば、円筒形状の物体を複数面から撮影した場合、円筒形状の側面に書かれた文字やバーコードを認識したい場合は、その側面を展開した１枚の画像へと合成する必要がある。
本発明は、オブジェクトの種類に応じて画像に対する処理を変更することを目的とする。

本発明の画像処理装置は、複数のオブジェクトが撮影された第１の撮影画像を取得する第１の取得手段と、前記第１の撮影画像とは異なる角度から前記複数のオブジェクトが撮影された第２の撮影画像を取得する第２の取得手段と、前記第１の撮影画像の複数のオブジェクトのそれぞれのオブジェクトのオブジェクト画像と前記第２の撮影画像の複数のオブジェクトのそれぞれのオブジェクトのオブジェクト画像とを生成する生成手段と、前記複数のオブジェクトのそれぞれのオブジェクトのオブジェクト種別に応じて、前記それぞれのオブジェクトに関するオブジェクト画像に対する処理を変更する制御手段と、を有する。

本発明によれば、オブジェクトの種類に応じて画像に対する処理を変更することができる。

情報処理システムのシステム構成の一例を示す図である。 情報処理システムのハードウェア構成の一例を示す図である。 情報処理の一例を示すフローチャートである。 ルールテーブルの一例を示す図（その１）である。 第一面撮影画像及び第二面撮影画像の一例を示す図（その１）である。 オブジェクト配列の一例を示す図（その１）である。 画像合成の一例を示す図である。 オブジェクト配列の一例を示す図（その２）である。 ルールテーブルの一例を示す図（その２）である。 第一面撮影画像及び第二面撮影画像の一例を示す図（その２）である。 オブジェクト画像及び画像合成の一例を示す図である。 ルールテーブルの一例を示す図（その３）である。

以下、本発明の実施形態について図面に基づいて説明する。

＜第１の実施形態＞
図１は、情報処理システムのシステム構成の一例を示す図である。
作業台１０１は、撮影対象物を置き、読み取り作業を行うための作業台である。作業台は、ガラスやアクリル等の可視光を透過する物体で構成され、対象物を下方からも撮影可能なようになっている。
第一撮影装置１０２は、作業台１０１に置かれた対象物を含めて、作業台１０１の全域を上面から撮影する機能を有する撮影装置である。
第二撮影装置１０３は、作業台１０１に置かれた対象物を含めて、作業台１０１の全域を下面から撮影する機能を有する撮影装置である。
画像処理装置１０４は、第一撮影装置１０２、第二撮影装置１０３で得られた画像を処理する画像処理装置である。
第一撮影装置１０２、第二撮影装置１０３、画像処理装置１０４は、同一のハードウェアとして構成されていてもよいし、別々のハードウェアとして構成されていてもよい。例えば、第一撮影装置１０２、第二撮影装置１０３はネットワークで接続されており、画像処理装置１０４は同ネットワーク上にサーバーやＰＣとして配置されていてもよい。本実施形態では説明の簡略化のために情報処理システムに含まれる撮影装置を２つとしているが、３方向、４方向から撮影対象物を撮影できるように更に撮影装置を含むようにしてもよい。
作業台１０１に置かれた複数の撮影対象物は、複数のオブジェクトの一例である。

図２は、情報処理システムのハードウェア構成の一例を示す図である。本実施形態では説明の簡略化のため、第一撮影装置１０２、第二撮影装置１０３、画像処理装置１０４は同一の装置として構成されているものとする。画像処理装置１０４は、ハードウェア構成として、ＣＰＵ２０１、メモリ２０３、記憶装置２０４、入力装置２０７を含む。
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１は、各種処理のための演算や論理判断等を行い、バス等に接続された各種要素を制御する。
メモリ２０３は、プログラムメモリとデータメモリとを保持する。プログラムメモリには、プログラムが格納される。メモリ２０３はＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）であってもよいし、外部記憶装置等からプログラムがロードされるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であってもよい。又は、メモリ２０３は、ＲＯＭ、ＲＡＭの組合せで実現されてもよい。
記憶装置２０４は、本実施形態に係るデータやプログラムを記憶しておくためのハードディスク等の装置である。
第一撮影装置１０２、第二撮影装置１０３は、レンズと撮像素子を持ち、レンズから入射する光を撮影し画像データに現像する装置である。本実施形態では、第一撮影装置１０２、第二撮影装置１０３は、作業台１０１を上面、下面からそれぞれ撮影し、画像データ取得に利用される。
入力装置２０７は、ユーザからの指示を入力するための装置である。ユーザは入力装置２０７を介して、当該情報処理システムに指示を行う。入力装置２０７は、例えば、ユーザの押下を検知する物理ボタンやユーザのジェスチャー指示を検出可能なセンサにより実現することができる。
ＣＰＵ２０１がメモリ２０３又は記憶装置２０４に記憶されたプログラムに基づき処理を実行することにより情報処理システムの機能及び後述する図３のフローチャートの各処理が実現される。

図３は、情報処理の一例を示すフローチャートである。
Ｓ３０１では、第一撮影装置１０２は、作業台１０１上を上面から撮影し、作業台１０１上に置かれた物体を含んだ第一面撮影画像を生成する。画像処理装置１０４は、第一撮影装置１０２より第一面撮影画像を取得する。
Ｓ３０２では、第二撮影装置１０３は、作業台１０１上を下面から撮影し、作業台１０１上に置かれた物体を含んだ第二面撮影画像を生成する。画像処理装置１０４は、第二撮影装置１０３より第二面撮影画像を取得する。第二面撮影画像は、第一面撮影画像とは異なる角度から作業台１０１上に置かれた物体が撮影された画像の一例である。
本実施形態では説明のためにＳ３０１、Ｓ３０２と順に実行しているが、同時に撮影してもよいし、順序が逆になってもよい。
Ｓ３０３では、画像処理装置１０４は、Ｓ３０１で得た第一面撮影画像から対象となる物体を検出し、第一面オブジェクト座標値を算出する。画像処理装置１０４は、第一撮影装置１０２、第二撮影装置１０３により、予め作業台１０１を撮影しておいて、画素差分から、物体を検出する。また、画像処理装置１０４は、実物体が紙文書等、四辺を持つ場合には、用紙の辺を直線抽出により抽出し、原稿四辺を推定する方法を用いてもよい。画像処理装置１０４は、撮影画像をグレースケールへと変換し、ＳｏｂｅｌやＬａｐｌａｃｉａｎフィルタ等のエッジ強調をかけ、ハフ変換や最小近似法等の手法により直線の線分を抽出すればよい。その他、画像処理装置１０４は、専用のセンサによって検出してもよい。
画像処理装置１０４は、Ｓ３０２で得た第二面撮影画像に対しても同様にオブジェクトを抽出し、第二面オブジェクト座標値を算出する。ここでは、作業台上に物体がＮ個置かれた場合は、Ｎ個の第一面オブジェクト座標値、Ｎ個の第二面オブジェクト座標値が得られることになる。

Ｓ３０４では、画像処理装置１０４は、Ｓ３０１で得た第一面画像から、Ｓ３０３で得た第一面オブジェクト座標値に基づいてクロップ（ｃｒｏｐ）し、第一面オブジェクト画像を生成する。同様に、画像処理装置１０４は、Ｓ３０２で得た第二面画像から、Ｓ３０３で得た第二面オブジェクト座標値に基づいてクロップし、第二面オブジェクト画像を生成する。
Ｓ３０５では、画像処理装置１０４は、Ｓ３０４で得られたＮ個の第一面オブジェクト画像と、Ｎ個の第二面オブジェクト画像と、を作業台平面に対する二次元座標を算出し、座標の重なりからそれぞれ対応関係を算出する。
対応する第一面オブジェクト画像と第二面オブジェクト画像とは、併せてオブジェクトデータとし、画像処理装置１０４は、Ｎ個のオブジェクトデータ配列を作成する。
第一面と第二面とは、逆方向から撮影しているため、Ｘ軸、又はＹ軸方向に反転しているはずである。そのため、画像処理装置１０４は、何れかの面を反転し、座標系を統一した上で、重なりの判定を行う。

Ｓ３０６では、画像処理装置１０４は、オブジェクトデータ配列から、１つのオブジェクトデータを選択し、全オブジェクトデータ配列に対して、Ｓ３０７からＳ３１１までの処理を終わるまで繰り返す。本実施形態では説明のために逐次処理にしているが、すべて、又はいくつか並列に処理してもよい。
Ｓ３０７では、画像処理装置１０４は、オブジェクトの種別認識を行う。ここでの種別は、面形状（例えば紙等）なのか、直方体なのか、円筒形なのかという形状や、内容による種別、例えば写真なのか、文書なのかといったものを指す。例えば、画像処理装置１０４は、画像認識により、エッジ情報や形状、色等を画像特徴量として画像認識により形状を識別してもよいし、距離センサにより３Ｄ形状を認識し、厚みのあるなしで形状を識別してもよい。また、例えば、画像処理装置１０４は、文字認識結果から特定の単語の存在により紙の内容の認識、識別してもよいし、単語の頻度等を特徴量として事前に学習させ、紙の内容の認識、識別してもよい。
Ｓ３０８では、画像処理装置１０４は、種別に応じて後段の処理を記述したルールを予め用意したルールテーブルから取得する。
本実施形態ではＳ３０９からＳ３１１までの処理内容を記述した情報をオブジェクトの種別ごとにルールとしてテーブル化されているものとする。ルールについての詳細は後述する。Ｓ３０９からＳ３１１までの処理は、オブジェクト種別に応じて、オブジェクトに関するオブジェクト画像に対する処理を変更する処理の一例である。

Ｓ３０９では、画像処理装置１０４は、Ｓ３０８で取得したルールに従い、処理対象オブジェクトデータの持つ第一面、第二面のオブジェクト画像の関連付け方法を決定する。本実施形態では関連付けとは、２面の画像が同じオブジェクトとして処理されるべきか否かの情報である。画像処理装置１０４は、ルールにより、関連付けなしと指定された場合は、第一面オブジェクト画像と、第二面オブジェクト画像とをそれぞれ別のオブジェクトデータとして分離し、Ｓ３１０、Ｓ３１１の処理は、独立して行う。
Ｓ３１０では、画像処理装置１０４は、Ｓ３０８で取得したルールに従い、処理対象オブジェクトデータの持つ第一面、第二面のオブジェクト画像の再構成を行い、処理対象オブジェクトデータの情報を更新する。画像処理装置１０４は、ルールにより、再構成の指定があれば、その方法に従い再構成する。画像処理装置１０４は、再構成の指定がなければ何もしない。
Ｓ３１１では、画像処理装置１０４は、Ｓ３０８で取得したルールに従い、処理対象オブジェクトデータの持つ第一面、第二面のオブジェクト画像、又はＳ３１０で再構成したオブジェクト画像に対する処理を行う。画像処理装置１０４は、その結果を処理対象オブジェクトデータに追加する。
画像処理装置１０４は、すべてのオブジェクトデータ配列に対してＳ３０７からＳ３１１までの処理を終えたら、図３のフローチャートの処理を終了する。

次に、本実施形態の処理のより具体的な適用例として、病院での薬剤識別を例に説明する。
病院では、入院患者に、入院時に処方されている薬剤を持参させ、その薬剤の種別や量を識別するという作業がある。
図４は、お薬手帳や薬剤を作業台上に置き、薬剤を認識するためのルールテーブルの一例を示す図である。
種別として、薬剤説明書、お薬手帳、シート形状、アンプル形状のルール４０１〜４０４があり、それぞれに対して関連付け方法、画像再構成方法、固有処理の方法が設定されている。
関連付け方法では、関連付けのあり、なしが定義されている。関連付けありとは、一つのオブジェクトデータに第一面オブジェクト画像、第二面オブジェクト画像が紐付いている状態である。関連付けなしとは、第一面オブジェクト画像、第二面オブジェクト画像をそれぞれ別個のオブジェクトデータとして、データを構成する状態である。
画像再構成方法では、画像再構成のあり、なし、ありの場合はどのように行うのかが定義されている。画像再構成なしの場合は、一つのオブジェクトデータに対して、第一面オブジェクト画像、第二面オブジェクト画像を合成することなく複数の画像データが紐付いている状態となる。例えば、オブジェクト種別が紙で、画像再構成がなしと指定された場合は、裏表の２ページの文書を持つオブジェクトデータとなる。画像再構成がありと指定された場合は、複数の撮影装置で得られた複数のオブジェクト画像が指定の方法で合成される。
固有処理の方法とは、画像再構成が完了したオブジェクトデータに対してどのような処理を行うのかが定義されている。例えば、バーコード認識や、文字認識、更にその認識結果から任意の情報抽出を行うことが定義されている。デジタルデータ化が目的であれば、任意の電子フォーマット変換や指定データベースやシステムへの保存等が定義されていてもよい。
本実施形態では、説明のために薬剤を認識する例を用いているが、薬剤の認識に限定されるものではない。

図５（ａ）は、作業台１０１上に薬剤や薬剤説明書、お薬手帳を置いた状態を第一面撮影部方向から撮影した画像の例である。以下、本画像の例を用いて、図４のルールテーブルを適用した場合の本実施形態の処理の詳細を説明する。
Ｓ３０１では、画像処理装置１０４は、図５（ａ）の画像５００を第一面撮影画像として取得する。
Ｓ３０２では、画像処理装置１０４は、図５（ｂ）の画像５１０を第二面撮影画像として取得する。
Ｓ３０３では、画像処理装置１０４は、オブジェクト座標値を算出することで図５のオブジェクトを抽出する。画像処理装置１０４は、第一面撮影画像の例である画像５００からは、オブジェクト５０１、５０２、５０３、５０４、５０５の５個のオブジェクトを抽出する。また、画像処理装置１０４は、第二面撮影画像の例である画像５１０からはオブジェクト５１１、５１２、５１３、５１４、５１５の５個のオブジェクトを抽出する。
Ｓ３０４では、画像処理装置１０４は、Ｓ３０３で算出したオブジェクト座標を基にオブジェクト画像を生成する。
Ｓ３０５では、画像処理装置１０４は、各オブジェクトの座標値を基に第一面撮影画像のオブジェクトと第二面撮影画像のオブジェクトとの対応関係を求める。

図６は、Ｓ３０５の処理終了時のオブジェクト配列の一例を示す図である。５個のオブジェクトからオブジェクト配列が構成されている。配列の１個目であるオブジェクト［１］は、第一面撮影画像のオブジェクト５０１と第二面撮影画像のオブジェクト５１５とが関連付けられ構成されている。配列の２個目であるオブジェクト［２］は、第一面撮影画像のオブジェクト５０２と第二面撮影画像のオブジェクト５１３とが関連付けられ構成されている。配列の３個目であるオブジェクト［３］は、第一面撮影画像のオブジェクト５０３と第二面撮影画像のオブジェクト５１４とが関連付けられ構成されている。配列の４個目であるオブジェクト［４］は、第一面撮影画像のオブジェクト５０４と第二面撮影画像のオブジェクト５１１とが関連付けられ構成されている。配列の５個目であるオブジェクト［５］は、第一面撮影画像のオブジェクト５０５と第二面撮影画像のオブジェクト５１２とが関連付けられ構成されている。

Ｓ３０６では、画像処理装置１０４は、オブジェクト配列のオブジェクト［１］からオブジェクト［５］まで順にＳ３０７からＳ３１１までの処理を繰り返す。まず画像処理装置１０４は、オブジェクト［１］を処理対象オブジェクトとする。
Ｓ３０７では、画像処理装置１０４は、処理対象オブジェクトの種別を識別する。例えば、画像処理装置１０４は、ルールテーブルの情報等に基づき、画像認識等により処理対象オブジェクトの種別を識別する。図４のルールテーブルの例では、画像処理装置１０４は、形状に関して、紙、薬剤のシート形状、アンプル形状の判別を行う。また、画像処理装置１０４は、形状が紙の場合は内容が薬剤説明書なのか、お薬手帳なのかの識別を行う。
例えば、画像処理装置１０４は、オブジェクト識別の結果、オブジェクト［１］は、薬剤説明書と識別する。
Ｓ３０８では、画像処理装置１０４は、オブジェクト［１］は、薬剤説明書であるため、図４のルールテーブルからルール４０１を処理対象オブジェクトに対するルールとしてロードする。
Ｓ３０９では、画像処理装置１０４は、オブジェクト［１］に対して、ルール４０１に従い、関連付けをありとする。既に、オブジェクト［１］に対して２面の画像は関連付けされている状態であるため、画像処理装置１０４は、何も処理を行わない。
Ｓ３１０では、画像処理装置１０４は、オブジェクト［１］に対して、ルール４０１に従い、画像合成を行わない。
Ｓ３１１では、画像処理装置１０４は、オブジェクト［１］に対して、ルール４０１に従い、文字認識を行いオブジェクト［１］のデータに認識結果を格納する。

Ｓ３０６に戻り、画像処理装置１０４は、オブジェクト［２］を処理対象オブジェクトとする。
Ｓ３０７では、例えば、画像処理装置１０４は、オブジェクト［２］をシートと識別する。
Ｓ３０８では、画像処理装置１０４は、ルール４０３をロードする。
Ｓ３０９では、画像処理装置１０４は、オブジェクト［２］に対して、ルール４０３に従い、関連付けをありとし、何も処理を行わない。
Ｓ３１０では、画像処理装置１０４は、オブジェクト［２］に対して、ルール４０３に従い、画像合成を行わない。
Ｓ３１１では、画像処理装置１０４は、オブジェクト［２］に対して、ルール４０３に従い、バーコード認識を行いオブジェクト［２］のデータに認識結果を格納する。
Ｓ３０６に戻り、画像処理装置１０４は、オブジェクト［３］を処理対象オブジェクトとする。
Ｓ３０７では、例えば、画像処理装置１０４は、オブジェクト［３］をシートと識別する。
Ｓ３０８では、画像処理装置１０４は、ルール４０３をロードする。以下Ｓ３０９からＳ３１１までの処理はオブジェクト［２］の処理と同様であるため、説明を省略する。

Ｓ３０６に戻り、画像処理装置１０４は、オブジェクト［４］を処理対象オブジェクトとする。
Ｓ３０７では、例えば、画像処理装置１０４は、オブジェクト［４］をお薬手帳と識別する。
Ｓ３０８では、画像処理装置１０４は、ルール４０２をロードする。
Ｓ３０９では、画像処理装置１０４は、オブジェクト［４］に対して、ルール４０２に従い、関連付けをなしとする。オブジェクト［４］として、２面のオブジェクト５０４、５１１が関連付けされている状態であるため、画像処理装置１０４は、２つのオブジェクト［４ａ］と［４ｂ］とに分割し、それぞれに対してＳ３１０、Ｓ３１１の処理を行う。
Ｓ３１０では、画像処理装置１０４は、２個のオブジェクト［４ａ］、［４ｂ］に対して、ルール４０２に従い、画像合成を行わない。
Ｓ３１１では、画像処理装置１０４は、２個のオブジェクト［４ａ］、［４ｂ］に対して、ルール４０２に従い、文字認識を行いオブジェクト［４］のデータに認識結果を格納する。

Ｓ３０６に戻り、画像処理装置１０４は、オブジェクト［５］を処理対象オブジェクトとする。
Ｓ３０７では、例えば、画像処理装置１０４は、オブジェクト［５］をアンプルと識別する。
Ｓ３０８では、画像処理装置１０４は、ルール４０４をロードする。
Ｓ３０９では、画像処理装置１０４は、オブジェクト［５］に対して、ルール４０４に従い、関連付けをありとし、何も処理を行わない。
Ｓ３１０では、画像処理装置１０４は、オブジェクト［５］に対して、ルール４０４に従い、画像合成を行う。本実施形態では、アンプル形状のラベルが必要情報となるため、画像処理装置１０４は、ラベルを第一面オブジェクト画像、第二面オブジェクト画像から合成し、１枚の画像としてオブジェクト［５］に追加する。円筒形状となるラベル部分の合成については、断面が真円であると仮定することで、第一面オブジェクト画像と第二面オブジェクト画像とを展開することができる。第一撮影装置１０２と第二撮影装置１０３とがオブジェクトに対して真逆に位置していれば、画像処理装置１０４は、第一面オブジェクト画像の右端と第二面オブジェクト画像の左端、第一面オブジェクト画像の左端と第二面オブジェクト画像の右端、を接続する。このことで画像処理装置１０４は、展開画像を生成することができる。図７（ａ）の画像７０１は、オブジェクト５０５のラベル部分画像、画像７０２はオブジェクト５１２のラベル部分画像である。ラベルは円筒形上の円周状に貼られているため、第一面の両端共に第二面に接続可能である。図７（ｂ）の画像７０３が図７（ａ）、（ｂ）の画像を、画像合成をした例である。本実施形態では、画像処理装置１０４は、画像７０１の両端に画像７０２を接続して合成している。本実施形態の例ではバーコードが検出することが目的であるため、画像処理装置１０４は、このように冗長となる合成を行っている。画像処理装置１０４は、ラベルを正確に元の二次元画像に展開するために、本来の接合部分を、Ｙ軸方向の画素値合計をとったヒストグラムを作成し、ヒストグラムの最小となる部分をラベルの切れ目として推測して画像合成してもよい。また、円筒形状となるラベルの両端に関しては解像度が減少してしまうが、情報処理システムに含まれる撮影装置を増やし、三面以上からの撮影を行うようにしてもよい。そして、画像処理装置１０４は、スティッチング手法により画像を合成してもよい。
Ｓ３１１では、画像処理装置１０４は、オブジェクト［５］に対して、ルール４０４に従い、合成画像のバーコード認識を行いオブジェクト［５］のデータに認識結果を格納する。
すべて処理が完了したため、画像処理装置１０４は、図３のフローチャートの処理を終了する。

図８は、すべての処理を終えた後のオブジェクト配列の一例を示す図である。オブジェクト［４］が分割されて、全部で６個のオブジェクが存在し、それぞれの認識結果が追加で格納されている。また、オブジェクト［５］に対してラベルを展開した画像７０３が新たに追加されている。
本実施形態では説明の簡略化のため、各種別の固有処理を簡潔なものとしているが、複雑な処理が設定されていてもよい。例えば、画像処理装置１０４は、バーコード認識し、識別のコードを認識したのち、薬剤のデータベースと照合することで、薬剤の種別を識別するようにしてもよい。また、画像処理装置１０４は、薬剤説明書やお薬手帳の文字認識を行い、薬剤種別辞書とのマッチングをすることで薬剤種別を複数取り出すことができる。

以上説明した通り、本実施形態の情報処理により、複数方向から撮影することで、片面にしかバーコードが存在しない様な対象物を、ユーザの手により方向を変える等の負担をかけずに認識可能となる。更に、オブジェクトの種別ごとのルールと種別の認識方法を設定することで、複数オブジェクトをまとめて、画像の関連付けや、合成が可能となる。例えば、アンプルであればラベルの展開画像等のユーザの所望するバーコード認識可能にオブジェクトの画像を再構成することが可能となる。

＜第２の実施形態＞
図９は、折りたたまれた文書を両面から同時に撮影する場合におけるルールテーブルの一例を示す図である。
ルール９０１は、折りたたまれていない通常の文書を撮影した場合のルールであり、関連付けだけ行い、２ページの文書として処理を行うことが設定されている。
ルール９０２は、折りたたまれている文書を撮影した場合のルールであり、２ページの文書を再構成して１枚の文書として合成することが設定されている。

図１０は、折りたたまれた文書を含む複数文書を作業台１０１において撮影した画像の一例を示す図である。図１０（ａ）の第一面撮影画像１０００は第一撮影装置１０２により、図１０（ｂ）の第二面撮影画像１０１０は第二撮影装置１０３によりそれぞれ撮影された画像である。
Ｓ３０１では、画像処理装置１０４は、第一面撮影画像１０００を得る。
Ｓ３０２では、画像処理装置１０４は、第二面撮影画像１０１０を得る。
Ｓ３０３では、画像処理装置１０４は、第一面オブジェクト１００１、１００２を抽出し、第二面オブジェクト１０１１、１０１２を抽出する。
Ｓ３０４では、画像処理装置１０４は、第一面撮影画像１０００から第一面オブジェクト画像を生成する。また、画像処理装置１０４は、第二面撮影画像１０１０から第二面オブジェクト画像を生成する。
Ｓ３０５では、画像処理装置１０４は、関連付けにより、第一面オブジェクト１００１と第二面オブジェクト１０１２とを同一のオブジェクトとして関連付ける。また、画像処理装置１０４は、関連付けにより、第一面オブジェクト１００２と第二面オブジェクトとを同一のオブジェクトとして関連付ける。その結果、画像処理装置１０４は、２つのオブジェクトデータ配列を得る。

Ｓ３０６では、画像処理装置１０４は、Ｓ３０７からＳ３１１までの処理を２つのオブジェクトデータ配列に対してそれぞれ行う。
Ｓ３０７では、画像処理装置１０４は、オブジェクトの種別認識において、折りたたまれた文書か否かを識別する。折りたたまれた紙は、複数枚が重なっている状態となっている。したがって、例えば、画像処理装置１０４は、エッジ検出により、複数の文書エッジがあるか否かに基づき、折りたたまれた文書か否かを識別する。また、画像処理装置１０４は、文書内の画素値を連結していき文字やイラストの画素塊を生成し、ある一定方向の辺において、二面の画素塊が連続しているか否かに基づき折りたたまれた文書か否かを識別するようにしてもよい。その他、画像処理装置１０４は、文書の内容解析の結果から、二面の画像が意味的に連続しているか否かに基づき、折りたたまれた文書か否かを識別してもよい。
画像処理装置１０４は、第一面オブジェクト１００１のオブジェクト画像、第二面オブジェクト１０１２のオブジェクト画像から構成されるオブジェクトデータについて、Ｓ３０７の処理において、通常の文書と判別する。そして、Ｓ３０８では、画像処理装置１０４は、ルール９０１をロードする。Ｓ３０９では、画像処理装置１０４は、ルール９０１に従い、２面のオブジェクト画像に関して関連付けありとする。Ｓ３１０では、画像処理装置１０４は、２面のオブジェクト画像に関して再構成しない。そして、Ｓ３１１では、画像処理装置１０４は、２面のオブジェクト画像に対して文字認識を行う。

一方、画像処理装置１０４は、第一面オブジェクト１００２のオブジェクト画像、第二面オブジェクト１０１１のオブジェクト画像から構成されるオブジェクトデータについて、Ｓ３０７の処理において、連続する文書、即ち折りたたまれた文書と判別する。
図１１（ａ）の第一面オブジェクト画像１１０１は第一面オブジェクト１００２のオブジェクト画像であり、第二面オブジェクト画像１１０２は第二面オブジェクト１０１２のオブジェクト画像である。
本実施形態では、画像処理装置１０４は、まず第一面オブジェクト画像１１０１と第二面オブジェクト画像１１０２との各辺近傍に画素が存在するかを判別する。次に、画像処理装置１０４は、画素が存在した第一面オブジェクト画像１１０１の辺と、第二面オブジェクト画像１１０２の辺とを合わせた場合に画素が連続するかどうかを判別し、折りたたまれた文書かどうかの判定を行う。第一面オブジェクト画像１１０１の辺１１０３と第二面オブジェクト画像１１０２の辺１１０４との近傍に画素が存在し、画素が連続している場合、画像処理装置１０４は、折りたたまれた文書であると判定する。
Ｓ３０８では、画像処理装置１０４は、ルール９０２をロードする。Ｓ３０９では、画像処理装置１０４は、ルール９０２に従い、２面のオブジェクト画像に関して関連付けありとする。Ｓ３１０では、画像処理装置１０４は、２面のオブジェクト画像に関して再構成をする。
図１１（ｂ）の画像１１０５は、第一面オブジェクト１００２、第二面オブジェクト１０１１の画像を再構成した例である。画像処理装置１０４は、辺１１０３と辺１１０４とを合成して一つの画像である画像１１０５を構成している。
Ｓ３１０では、画像処理装置１０４は、画像１１０５に対して文字認識の処理を行う。

以上説明した通り、本実施形態の情報処理により、折りたたみ画像用のルールテーブルを適用することで、作業台１０１上に載らない大きな画像を折りたたんで撮影し、再構成することが可能となる。

＜第３の実施形態＞
図１２のルールテーブルは、ある商品の梱包の際に内容物が充足しているかどうかを判別するアプリケーションに対応するルールテーブルである。
オブジェクトが充足しているか、リストと照合するために、部品やマニュアルといった梱包物を特定する必要がある。図１２のルールテーブルには、その場合に最適な画像再構成の処理、固有処理がルールとして設定されている。
例えば、部品、即ち立体物であれば、画像処理装置１０４は、ルール１２０１に従い、複数面の画像を再構成はせずにそれぞれに類似画像検索をかけ、部品種別の特定を固有処理で行う。例えば上部からの撮影により同様のことをすると、部品の特徴となる部分が下面になってしまった場合は、類似画像検索の精度がでないが、本実施形態の処理では複数面から撮影されるため、特徴となる部分が撮影できる可能性が増え、画像検索精度があがる。文書の場合、画像処理装置１０４は、ルール１２０２に従い、画像の再構成をせずにそれぞれ文字認識により文書種別の特定を行う。

以上説明した通り、本実施形態の情報処理により、多面からの撮影しオブジェクトの種別を特定し、オブジェクトの種別により、画像再構成の方法や固有処理を行うことで、様々なユースケースに対応することが可能となる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。

以上、上述した各実施形態の情報処理によれば、オブジェクトの種類に応じて画像に対する処理を変更することができる。

１０４ 画像処理装置
２０１ ＣＰＵ
２０２ メモリ

Claims (20)

1. 複数のオブジェクトが撮影された第１の撮影画像を取得する第１の取得手段と、
   前記第１の撮影画像とは異なる角度から前記複数のオブジェクトが撮影された第２の撮影画像を取得する第２の取得手段と、
   前記第１の撮影画像の複数のオブジェクトのそれぞれのオブジェクトのオブジェクト画像と前記第２の撮影画像の複数のオブジェクトのそれぞれのオブジェクトのオブジェクト画像とを生成する生成手段と、
   前記複数のオブジェクトのそれぞれのオブジェクトのオブジェクト種別に応じて、前記それぞれのオブジェクトに関するオブジェクト画像に対する処理を変更する制御手段と、
   を有する画像処理装置。
2. 前記複数のオブジェクトのそれぞれのオブジェクトのオブジェクト種別を識別する識別手段を更に有し、
   前記制御手段は、前記識別手段により識別された前記オブジェクト種別に応じて、前記それぞれのオブジェクトに関するオブジェクト画像に対する処理を変更する請求項１記載の画像処理装置。
3. 前記オブジェクト種別には、オブジェクトの形状とオブジェクトの内容とが含まれる請求項１又は２記載の画像処理装置。
4. 前記オブジェクトの形状には、紙か、シートか、アンプルか、が含まれる請求項３記載の画像処理装置。
5. 前記オブジェクトの内容には、前記オブジェクトの形状が紙の場合、薬剤説明書か、お薬手帳かが含まれる請求項４記載の画像処理装置。
6. 前記オブジェクトの内容には、前記オブジェクトの形状が紙の場合、折り曲げられているか、折り曲げられていないか、が含まれる請求項４記載の画像処理装置。
7. 前記オブジェクトの形状には、立体物か、文書か、が含まれる請求項３記載の画像処理装置。
8. 前記オブジェクト画像に対する処理には、処理対象のオブジェクトの前記第１の撮影画像のオブジェクト画像と前記第２の撮影画像のオブジェクト画像との関連付けを制御する処理が含まれる請求項１乃至７何れか１項記載の画像処理装置。
9. 前記関連付けを制御する処理とは、処理対象のオブジェクトの前記第１の撮影画像のオブジェクト画像と前記第２の撮影画像のオブジェクト画像との関連付けをありとする処理と前記関連付けをなしとする処理とである請求項８記載の画像処理装置。
10. 前記オブジェクト画像に対する処理には、処理対象のオブジェクトの前記第１の撮影画像のオブジェクト画像と前記第２の撮影画像のオブジェクト画像とを再構成する処理が含まれる請求項１乃至７何れか１項記載の画像処理装置。
11. 前記再構成する処理とは、処理対象のオブジェクトの前記第１の撮影画像のオブジェクト画像と前記第２の撮影画像のオブジェクト画像とを合成する処理と合成しない処理とである請求項１０記載の画像処理装置。
12. 前記オブジェクト画像に対する処理には、処理対象のオブジェクトに関するオブジェクト画像に対する固有処理が含まれる請求項１乃至７何れか１項記載の画像処理装置。
13. 前記固有処理とは、前記オブジェクト画像に対する文字認識とバーコード認識とである請求項１２記載の画像処理装置。
14. 前記固有処理には、前記オブジェクト画像に対する類似画像検索による部品種別の特定が更に含まれる請求項１３記載の画像処理装置。
15. 複数のオブジェクトが撮影された第１の撮影画像を取得する第１の取得手段と、
    前記第１の撮影画像とは異なる角度から前記複数のオブジェクトが撮影された第２の撮影画像を取得する第２の取得手段と、
    前記第１の撮影画像の複数のオブジェクトのそれぞれのオブジェクトのオブジェクト画像と前記第２の撮影画像の複数のオブジェクトのそれぞれのオブジェクトのオブジェクト画像とを生成する生成手段と、
    前記複数のオブジェクトのそれぞれのオブジェクトが折り曲げられているか否かに応じて、前記それぞれのオブジェクトに対応する前記第１の撮影画像のオブジェクト画像と前記第２の撮影画像のオブジェクト画像とに対して、画像合成を行うか否か処理を変更する制御手段と、
    を有する画像処理装置。
16. 前記制御手段は、処理対象のオブジェクトが折り曲げられている場合、前記処理対象のオブジェクトに対応する前記第１の撮影画像のオブジェクト画像と前記第２の撮影画像のオブジェクト画像とオブジェクトとに対して、画像合成を行い、処理対象のオブジェクトが折り曲げられていない場合、前記処理対象のオブジェクトに対応する前記第１の撮影画像のオブジェクト画像と前記第２の撮影画像のオブジェクト画像とオブジェクトとに対して、画像合成を行わない請求項１５記載の画像処理装置。
17. 前記オブジェクトは、紙である請求項１５又は１６記載の画像処理装置。
18. 画像処理装置が実行する情報処理方法であって、
    複数のオブジェクトが撮影された第１の撮影画像を取得する第１の取得ステップと、
    前記第１の撮影画像とは異なる角度から前記複数のオブジェクトが撮影された第２の撮影画像を取得する第２の取得ステップと、
    前記第１の撮影画像の複数のオブジェクトのそれぞれのオブジェクトのオブジェクト画像と前記第２の撮影画像の複数のオブジェクトのそれぞれのオブジェクトのオブジェクト画像とを生成する生成ステップと、
    前記複数のオブジェクトのそれぞれのオブジェクトのオブジェクト種別に応じて、前記それぞれのオブジェクトに関するオブジェクト画像に対する処理を変更する制御ステップと、
    を含む情報処理方法。
19. 画像処理装置が実行する情報処理方法であって、
    複数のオブジェクトが撮影された第１の撮影画像を取得する第１の取得ステップと、
    前記第１の撮影画像とは異なる角度から前記複数のオブジェクトが撮影された第２の撮影画像を取得する第２の取得ステップと、
    前記第１の撮影画像の複数のオブジェクトのそれぞれのオブジェクトのオブジェクト画像と前記第２の撮影画像の複数のオブジェクトのそれぞれのオブジェクトのオブジェクト画像とを生成する生成ステップと、
    前記複数のオブジェクトのそれぞれのオブジェクトが折り曲げられているか否かに応じて、前記それぞれのオブジェクトに対応する前記第１の撮影画像のオブジェクト画像と前記第２の撮影画像のオブジェクト画像とに対して、画像合成を行うか否か処理を変更する制御ステップと、
    を含む情報処理方法。
20. コンピュータを、請求項１乃至１７何れか１項記載の画像処理装置の各手段として機能させるためのプログラム。

Images