JP2020177355A - 情報処理装置およびプログラム - Google Patents

Abstract

【課題】第１の物体と、第１の物体に対応付けられて設置された第２の物体が記録された撮影画像の入力から、第２の物体を第１の物体に対して移動できる、または、第１の物体とは独立させて、第２の物体に編集を行うことが可能な画像を表示できるようにする。【解決手段】第１物体画像および第２物体画像の両者を表示する表示制御手段であって、当該第１物体画像に対する当該第２物体画像の移動が可能な状態又は、当該第２物体画像の編集が可能な状態で、当該第１物体画像および当該第２物体画像を表示する表示制御手段を備える情報処理装置。【選択図】図３

Description

本発明は、情報処理装置およびプログラムに関する。

特許文献１には、手書部分を含む文書媒体を電子化した画像データから、手書部分を抽出し、抽出された画像データの内容を、付箋情報として、画像データに付加する処理が開示されている。

特開２０１２−２０３４９１号公報

第１の物体と、第１の物体に対応付けられて設置された第２の物体とを撮影等することにより得られた撮影画像においては、第２の物体を第１の物体に対して移動させたり、第１の物体とは独立させて第２の物体に編集を行うことができない。
本発明の目的は、第１の物体と、第１の物体に対応付けられて設置された第２の物体が記録された撮影画像の入力から、第２の物体を第１の物体に対して移動できる、または、第１の物体とは独立させて、第２の物体に編集を行うことが可能な画像を表示できるようにすることにある。

請求項１に記載の発明は、第１の物体と、当該第１の物体に対応付けられて設置された第２の物体とがともに記録されている撮影画像の入力を受け付ける入力受付手段と、前記撮影画像から抽出された前記第１の物体の画像である第１物体画像を取得する第１画像取得手段と、前記撮影画像から抽出された前記第２の物体の画像である第２物体画像を取得する第２画像取得手段と、前記第１物体画像および前記第２物体画像の両者を表示する表示制御手段であって、当該第１物体画像に対する当該第２物体画像の移動が可能な状態又は、当該第２物体画像の編集が可能な状態で、当該第１物体画像および当該第２物体画像を表示する表示制御手段と、を備える情報処理装置である。
請求項２に記載の発明は、前記撮影画像から予め定められた第１の特徴を有する前記第１の物体を抽出し、かつ当該第１の特徴とは異なる予め定められた第２の特徴を有する前記第２の物体を抽出する抽出手段をさらに有する請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記表示制御手段は、前記撮影画像における前記第１の物体と前記第２の物体との位置関係が保たれた状態で、前記第１物体画像および前記第２物体画像を表示する請求項１に記載の情報処理装置である。
請求項４に記載の発明は、前記表示制御手段は、前記撮影画像における前記第１の物体の大きさと当該撮影画像における前記第２の物体の大きさとの比率が保たれた状態で、前記第１物体画像および前記第２物体画像を表示する請求項１に記載の情報処理装置である。
請求項５に記載の発明は、前記表示制御手段は、前記撮影画像にて前記第１の物体と前記第２の物体とが重なっている場合、前記第１物体画像と前記第２物体画像とを重ねて表示する請求項１に記載の情報処理装置である。
請求項６に記載の発明は、前記表示制御手段は、前記撮影画像にて前記第１の物体に対して前記第２の物体が上から付されている場合、前記第１物体画像と前記第２物体画像とを重ね且つ当該第１物体画像の上に当該第２物体画像が位置するように当該第１物体画像および第２物体画像を表示する請求項１に記載の情報処理装置である。
請求項７に記載の発明は、前記表示制御手段は、前記入力受付手段による前記撮影画像の受け付けによらず予め登録された前記第２の物体を表す登録画像の表示を行うことができ、前記表示制御手段は、前記第２物体画像を、前記登録画像と同じ形式で表示する請求項１に記載の情報処理装置である。
請求項８に記載の発明は、前記表示制御手段は、前記登録画像として、付箋を表す登録画像を表示でき、前記表示制御手段は、前記第２物体画像を、前記付箋を表す前記登録画像と同じ形式で表示する請求項７に記載の情報処理装置である。
請求項９に記載の発明は、前記表示制御手段は、前記第１物体画像と前記第２物体画像とを異なる形式で表示する請求項１に記載の情報処理装置である。
請求項１０に記載の発明は、前記表示制御手段は、前記第２物体画像を前記登録画像と同じ形式で表示するにあたり、前記第２の物体の大きさ、色、および、形のうちの少なくとも１つを当該第２物体画像に反映して当該第２物体画像を表示する請求項７に記載の情報処理装置である。
請求項１１に記載の発明は、前記表示制御手段は、前記第２物体画像を前記登録画像と同じ形式で表示するにあたり、前記第２の物体の上に文字の画像が存在する場合、当該文字の画像を、編集可能な文字情報として表示する請求項７に記載の情報処理装置である。
請求項１２に記載の発明は、前記表示制御手段は、前記撮影画像が複数ページ分の画像により構成されている場合、各ページに対応した画像であるページ画像を複数表示するとともに、当該ページ画像の元となった一のページに前記第１の物体および前記第２の物体が存在する場合には、当該一のページに対応する一のページ画像に、前記第１物体画像および前記第２物体画像の両者を表示する請求項１に記載の情報処理装置である。
請求項１３に記載の発明は、前記表示制御手段は、前記撮影画像が複数ページ分の画像により構成されている場合、各ページに対応した画像であるページ画像を複数表示するとともに、複数のページに亘って前記第２の物体が記録されている場合、複数表示する当該ページ画像のうちの特定の一のページ画像上に複数の前記第２物体画像を表示する請求項１に記載の情報処理装置である。
請求項１４に記載の発明は、前記表示制御手段は、前記第１の物体と前記第２の物体とが重なり当該第１の物体の一部が当該第２の物体の背後に位置する場合、前記第１物体画像のうちの当該一部に対応する部分の画像を他の画像に変更する請求項１に記載の情報処理装置である。
請求項１５に記載の発明は、前記表示制御手段は、前記一部に対応した部分の前記画像を、前記第１の物体の他の部分に対応した画像に変更する請求項１４に記載の情報処理装置である。
請求項１６に記載の発明は、前記表示制御手段は、前記一部に対応した部分の前記画像を、前記他の部分であって当該一部から予め定められた範囲内に位置する当該他の部分に対応した画像に変更する請求項１５に記載の情報処理装置である。
請求項１７に記載の発明は、前記表示制御手段は、前記第１の物体が印刷文書である場合、前記一部に対応した部分の前記画像を、当該印刷文書の元となった画像データの一部に基づく画像に変更する請求項１４に記載の情報処理装置である。
請求項１８に記載の発明は、前記表示制御手段は、前記第１の物体が印刷文書である場合、前記第１物体画像として、当該印刷文書の元となった画像データに基づく画像を表示する請求項１に記載の情報処理装置である。
請求項１９に記載の発明は、第１の物体と、当該第１の物体に対応付けられて設置された第２の物体とがともに記録されている撮影画像の入力を受け付ける入力受付機能と、前記撮影画像から抽出された前記第１の物体の画像である第１物体画像を取得する第１画像取得機能と、前記撮影画像から抽出された前記第２の物体の画像である第２物体画像を取得する第２画像取得機能と、前記第１物体画像および前記第２物体画像の両者を表示する表示制御機能であって、当該第１物体画像に対する当該第２物体画像の移動が可能な状態又は、当該第２物体画像の編集が可能な状態で、当該第１物体画像および当該第２物体画像を表示する表示制御機能と、をコンピュータに実現させるためのプログラムである。

請求項１の発明によれば、第１の物体と、第１の物体に対応付けられて設置された第２の物体が記録された撮影画像の入力から、第２の物体を第１の物体に対して移動できる、または、第１の物体とは独立させて、第２の物体に編集を行うことが可能な画像を表示できるようにすることができる。
請求項２の発明によれば、撮影画像から予め定められた第１の特徴を有する第１の物体を抽出でき、第１の特徴とは異なる予め定められた第２の特徴を有する第２の物体を抽出できる。
請求項３の発明によれば、撮影画像における第１の物体と第２の物体との位置関係を、第１物体画像と第２物体画像で表現することができる。
請求項４の発明によれば、撮影画像における第１の物体と第２の物体との大きさの比率を、第１物体画像と第２物体画像で表現することができる。
請求項５の発明によれば、撮影画像における第１の物体に第２の物体が付された状態にあることを、第１物体画像と第２物体画像で表現することができる。
請求項６の発明によれば、撮影画像における第１の物体の上に第２の物体が付されている状態を、第１物体画像と第２物体画像で表現することができる。
請求項７の発明によれば、第２の物体画像に対して、登録画像に対する操作と同様の操作を実行することが可能となる。
請求項８の発明によれば、第２の物体画像に対して、付箋を表す登録画像に対する操作と同様の操作を実行することが可能となる。
請求項９の発明によれば、第１物体画像と第２物体画像の形式を区別して表示させることができる。
請求項１０の発明によれば、第２物体画像に対応する登録画像を、第２の物体の大きさ、色、および、形のうちの少なくとも１つを反映させて表示することができる。
請求項１１の発明によれば、第２物体画像に対応する登録画像で表示しつつ、文字を編集可能な状態で表示することができる。
請求項１２の発明によれば、ページ画像に対応させて、第１物体画像と第２物体画像の両者を表示させることができる。
請求項１３の発明によれば、特定の一のページに、第２物体画像をまとめて表示させることができる。
請求項１４の発明によれば、第２の物体の背後に位置する第１の物体の画像を他の画像で表現することができる。
請求項１５の発明によれば、第２の物体の背後に位置する第１の物体の画像を、第１の物体の他の部分に対応した画像で表現することができる。
請求項１６の発明によれば、第２の物体の背後に位置する、第１の物体の画像の一部を、当該一部から予め定められた範囲内に位置する、他の部分に対応した画像で表現することができる。
請求項１７の発明によれば、第２の物体の背後に位置する第１の物体の画像を、印刷文書の元となった画像データの一部で表現することができる。
請求項１８の発明によれば、第２の物体の背後に位置する第１の物体の画像を、印刷文書の元となった画像データの一部で表現する場合と比べて、該当箇所の抽出処理を行わなくて良い。
請求項１９の発明によれば、第１の物体と、第１の物体に対応付けられて設置された第２の物体が記録された撮影画像の入力から、第２の物体を第１の物体に対して移動できる、または、第１の物体とは独立させて、第２の物体に編集を行うことが可能な画像を表示できるようにすることができる。

情報処理装置の構成を説明する図である。 情報処理装置のハードウエアの構成を示した図である。 情報処理装置のＣＰＵ等により実現される機能部を示した図である。 入力受付部が受け付けた撮影画像の一例を示した図である。 撮影画像に関して情報処理装置が実行する処理の流れを示したフローチャートである。 撮影画像に関して情報処理装置が実行する処理の流れを示したフローチャートである。 撮影画像に関して情報処理装置が実行する処理を説明する図である。 （Ａ）、（Ｂ）は、情報処理装置における表示処理を説明する図である。 第２物体画像の表示形態を示した図である。 表示処理が実行される際の処理の詳細を示したフローチャートである。 撮影画像に関する処理の他の一例を示した図である。 （Ａ）、（Ｂ）は、撮影画像に関する処理の他の一例を示した図である。 情報処理装置における他の表示例を示した図である。 情報処理装置における他の表示例を示した図である。

以下、添付図面を参照して、本発明の実施の形態について説明する。
図１は、情報処理装置の構成を説明するである。
本実施形態の情報処理装置２００は、図１に示すように、いわゆるスマートフォンやタブレット端末などの装置により構成されている。
なお、情報処理装置２００は、スマートフォンやタブレット端末に限らず、ノート型のコンピュータ装置やデスクトップ型のコンピュータ装置などにより構成してもよい。
また、本実施形態では、以下で説明するように、操作者が行う操作を、タッチパネルにより構成された表示装置にて受け付けるが、マウスなどの情報入力機器にて、操作者の操作を受け付けるようにしてもよい。

図２は、情報処理装置２００のハードウエアの構成を示した図である。
本実施形態の情報処理装置２００には、ＣＰＵ（Central Processing Unit）２０１、ＲＡＭ（Random Access Memory）２０２、ＲＯＭ（Read Only Memory）２０３が設けられている。また、フラッシュメモリなどにより構成される記憶装置２０４が設けられている。

また、情報処理装置２００には、外部との通信を行うための通信インタフェース（通信Ｉ／Ｆ）２０５、情報を表示する表示装置２０６、撮影対象を撮影するカメラ２０８が設けられている。
表示装置２０６は、例えば、タッチパネル方式のディスプレイにより構成される。また、カメラ２０８は、例えば、ＣＣＤなどのイメージセンサにより構成される。

ＣＰＵ２０１によって実行されるプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータが読取可能な記録媒体に記憶した状態で、情報処理装置２００へ提供しうる。
また、ＣＰＵ２０１によって実行されるプログラムは、インターネットなどの通信手段を用いて情報処理装置２００へダウンロードしてもよい。

図３は、情報処理装置２００のＣＰＵ２０１等により実現される機能部を示した図である。なお、この図３では、後述する第１物体画像、第２物体画像の表示に関する機能部を表示している。
図３に示すように、情報処理装置２００は、入力受付部２１０、第１画像情報取得部２１１、第２画像情報取得部２１２、表示制御部２１３、抽出部２１４、情報記憶部２１５を備える。

本実施形態では、ＲＯＭ２０３や記憶装置２０４に格納されたプログラムをＣＰＵ２０１が実行することで、入力受付部２１０、第１画像情報取得部２１１、第２画像情報取得部２１２、表示制御部２１３、抽出部２１４の各機能部が実現される。また、情報記憶部２１５は、記憶装置２０４により実現される。

入力受付手段の一例としての入力受付部２１０は、カメラ２０８などにより得られた撮影画像の入力を受け付ける。
第１画像情報取得手段の一例としての第１画像情報取得部２１１は、撮影画像から抽出された第１の物体の画像である第１物体画像を取得する。
第２画像情報取得手段の一例としての第２画像情報取得部２１２は、撮影画像から抽出された第２の物体の画像である第２物体画像を取得する。
表示制御手段の一例としての表示制御部２１３は、表示装置２０６における表示の制御を行う。
抽出手段の一例としての抽出部２１４は、撮影画像から予め定められた特徴を有する物体の抽出を行う。
情報記憶部２１５は、撮影画像に関する情報などの記憶を行う。

図４は、入力受付部２１０が受け付けた撮影画像の一例を示した図である。
本実施形態では、入力受付部２１０が、カメラ２０８により得られた撮影画像７０を取得する。言い換えると、本実施形態では、カメラ２０８により得られた撮影画像７０が、入力受付部２１０へ入力され、入力受付部２１０が、撮影画像７０のこの入力を受け付ける。

ここで、本実施形態では、カメラ２０８により得られた撮影画像７０が、入力受付部２１０に入力される場合を一例に説明する。
ところで、これに限らず、情報処理装置２００以外に設けられた撮影手段により得られた撮影画像７０を、情報処理装置２００へ送信して、撮影画像７０が入力受付部２１０に入力されるようにしてもよい。

図４にて示す撮影画像７０は、第１の物体７１と、第１の物体７１に対応付けられて設置された第２の物体７２とがともに記録されている撮影画像７０となっている。
より具体的には、この撮影画像７０は、第１の物体７１の一例である矩形状の文書と、第２の物体７２の一例である矩形状の付箋とがともに記録されている撮影画像７０となっている。本実施形態のこの撮影画像７０では、付箋（第２の物体７２）が複数記録されている。

なお、本実施形態では、第１の物体７１として、文書を例示し、第２の物体７２として、この文書よりも小さい付箋を例示するが、第１の物体７１、第２の物体７２は、これらに限られるものではない。
例えば、第１の物体７１としては、商品などの立体物を一例に挙げることができ、第２の物体７２としては、この立体物に付随して設置される物体を一例に挙げることができる。付随して設置されるこの物体としては、平面状の物体に限らず、立体物もあり得る。

また、以下では、第１の物体７１と第２の物体７２とが重なった状態の撮影画像７０が入力受付部２１０に入力された場合の処理を一例に説明するが、第１の物体７１と第２の物体７２との間に重なりが生じていない撮影画像７０であっても、以下の処理は行える。

図５、図６は、撮影画像７０に関して情報処理装置２００が実行する処理の流れを示したフローチャートである。また、図７は、撮影画像７０に関して情報処理装置２００が実行する処理を説明する図である。
本実施形態では、入力受付部２１０が撮影画像７０の入力を受け付け、さらに、操作者が予め定められた操作を行うと、図５のステップＳ１０１に示すように、抽出部２１４が、撮影画像７０に含まれる矩形形状の画像（以下、「矩形画像」）を抽出する。
具体的には、抽出部２１４は、撮影画像７０の二値化処理、輪郭や角部の抽出処理などの公知の処理を行って、矩形画像を抽出する。

図７は、抽出部２１４により矩形画像が抽出された後の状態を示した図である。
本実施形態では、図７に示すように、抽出部２１４により、大きいサイズの矩形画像（符号７Ａ参照）が抽出され、また、この大きいサイズよりも小さいサイズの矩形画像（符号７Ｂ参照）が抽出される。

なお、本実施形態では、操作者による手動の調整処理であって、抽出された上記の矩形画像の形状を変更するための調整処理を操作者から受け付けることができるようになっている。より具体的には、矩形画像の形状を変更するための操作者の操作を、表示装置２０６（タッチパネル）を介して受け付けることができるようになっている。
本実施形態では、この調整処理を受け付けた場合、図５に示すように、抽出された矩形画像の形状（輪郭）を変更する（ステップＳ１０２）。

次いで、本実施形態では、図５のステップＳ１０３に示すように、抽出部２１４が、撮影画像７０から、予め定められた第１の特徴を有する第１の物体７１を抽出する。
具体的には、抽出部２１４は、撮影画像７０から、文書としての特徴を有する第１の物体７１を抽出する。

より具体的には、抽出部２１４は、ステップＳ１０１にて抽出した複数の矩形画像の中から、予め定められた特徴を有する矩形画像を抽出し、抽出したこの矩形画像（以下、「第１抽出矩形画像」と称する）により表わされている物体を、文書としての特徴を有する第１の物体７１として抽出する。

そして、本実施形態では、抽出部２１４が、文書としての特徴を有するこの第１の物体７１を抽出すると、第１画像情報取得部２１１が、この第１の物体７１を表している上記第１抽出矩形画像を、第１物体画像８１（図７参照）として取得する。
次いで、第１画像情報取得部２１１は、図５に示すように、取得したこの第１物体画像８１の透視射影を行う（ステップＳ１０４）。言い換えると、第１画像情報取得部２１１は、第１物体画像８１が有する互いに対向する辺が、表示画面上にて互いに沿うように、第１物体画像８１の変形を行う。

また、第１画像情報取得部２１１は、必要に応じ、取得したこの第１物体画像８１の補正処理を行う（ステップＳ１０５）。
より具体的には、第１画像情報取得部２１１は、本実施形態の撮影画像７０（図４参照）のように、第１の物体７１の一部が第２の物体７２の背後に位置しこの一部が隠れている場合、第１物体画像８１の補正処理を行う。この補正処理の詳細は後述する。

次いで、本実施形態では、図５のステップＳ１０６に示すように、抽出部２１４が、撮影画像７０から、予め定められた第２の特徴を有する第２の物体７２を抽出する。
具体的には、抽出部２１４は、撮影画像７０から、付箋としての特徴を有する第２の物体７２を抽出する。

より具体的には、抽出部２１４は、ステップＳ１０１にて抽出した複数の矩形画像の中から、予め定められた特徴を有する矩形画像を抽出し、抽出したこの矩形画像（以下、「第２抽出矩形画像」と称する）により表わされている物体を、付箋としての特徴を有する第２の物体７２として抽出する。

そして、本実施形態では、抽出部２１４が、付箋としての特徴を有するこの第２の物体７２を抽出すると、第２画像情報取得部２１２が、この第２の物体７２を表している上記の第２抽出矩形画像を、第２物体画像８２（図７参照）として取得する。
次いで、第２画像情報取得部２１２は、図５に示すように、取得したこの第２物体画像８２の各々の透視射影を行う（ステップＳ１０７）。言い換えると、上記と同様、第２画像情報取得部２１２は、第２物体画像８２が有する互いに対向する辺が、表示画面上にて互いに沿うように、第２物体画像８２の変形を行う。

その後、第２画像情報取得部２１２は、第２物体画像８２の各々の位置情報を取得する（ステップＳ１０８）。言い換えると、第２画像情報取得部２１２は、第１物体画像８１に対する第２物体画像８２の位置についての情報を取得する。
より具体的には、第２画像情報取得部２１２は、例えば、第１物体画像８１の左上の角部を原点として、複数存在する第２物体画像８２の各々の位置についての情報を取得する。

ここで、本実施形態では、図４に示すように、第２の物体７２の一例としての付箋は、第１の物体７１の一例としての文書に接触し、また、この文書に付された状態となっている。
付言すると、第２の物体７２の一例としての付箋は、第１の物体７１の一例としての文書に接触し、また、接着によりこの文書に固定されている。
言い換えると、本実施形態の付箋は、この付箋よりも大きい文書の一部を構成し文書に属する物体となっている。

ここで、本実施形態では、上記のとおり、抽出部２１４により、撮影画像７０から、文書としての特徴を有する第１の物体７１が抽出される。また、抽出部２１４により、撮影画像７０から、付箋としての特徴を有する第２の物体７２が抽出される。
言い換えると、抽出部２１４により、撮影画像７０から、文書である可能性が高い第１の物体７１が抽出され、付箋である可能性が高い第２の物体７２が抽出される。
ここで、抽出部２１４は、撮影画像７０から、第１の物体７１、第２の物体７２を抽出するにあたり、例えば、撮影画像７０における各物体の位置に基づき、第１の物体７１、第２の物体７２を抽出する。

具体的には、抽出部２１４は、例えば、撮影画像７０から抽出した複数の上記の矩形画像（抽出要素）のうち、撮影画像７０の中央部に位置しあるいは中央部に最も近い箇所に位置する矩形画像を、第１の物体７１を表す矩形画像として抽出する。
そして、抽出部２１４は、抽出したこの矩形画像により表わされている物体を、第１の物体７１として抽出する。

また、例えば、抽出部２１４は、撮影画像７０から抽出した複数の矩形画像のうち、撮影画像７０の中央部よりも、撮影画像７０の縁部側に位置する他の矩形画像を、第２の物体７２を表す矩形画像として抽出する。
そして、抽出部２１４は、抽出したこの矩形画像により表わされている物体を、第２の物体７２として抽出する。

その他に、抽出部２１４は、例えば、撮影画像７０における各矩形画像の大きさに基づき、第１の物体７１、第２の物体７２を抽出する。
具体的には、抽出部２１４は、例えば、撮影画像７０から抽出した複数の矩形画像のうち、最も大きい矩形画像を、第１の物体７１を表す矩形画像として抽出し、この矩形画像により表わされている物体を、第１の物体７１として抽出する。

また、抽出部２１４は、例えば、撮影画像７０から抽出した複数の矩形画像のうち、最も大きい矩形画像よりも小さい矩形画像を、第２の物体７２を表す矩形画像として抽出し、この矩形画像により表わされている物体を、第２の物体７２として抽出する。

また、抽出部２１４は、例えば、撮影画像７０から抽出した複数の矩形画像のうち、撮影画像７０の面積に占める面積の割合が予め定められた割合を超え且つ最も大きい矩形画像を、第１の物体７１を表す矩形画像として抽出する。
そして、抽出部２１４は、この矩形画像により表わされている物体を、第１の物体７１として抽出する。

また、抽出部２１４は、例えば、撮影画像７０から抽出した複数の矩形画像のうち、上記の最も大きい矩形画像よりも小さい矩形画像であって撮影画像７０の面積に占める面積の割合が予め定められた割合よりも小さい矩形画像を、第２の物体７２を表す矩形画像として抽出する。
そして、抽出部２１４は、この矩形画像により表わされている物体を、第２の物体７２として抽出する。

また、抽出部２１４は、例えば、撮影画像７０における各矩形画像の色に基づき、第１の物体７１、第２の物体７２を抽出する。
具体的には、抽出部２１４は、例えば、撮影画像７０に含まれる矩形画像のうち、白色の矩形画像を、第１の物体７１を表す矩形画像として抽出し、この矩形画像により表わされている物体を、第１の物体７１として抽出する。
また、抽出部２１４は、例えば、撮影画像７０に含まれる矩形画像のうち、蛍光色の矩形画像を、第２の物体７２を表す矩形画像として抽出し、この矩形画像により表わされている物体を、第２の物体７２として抽出する。

言い換えると、本実施形態では、抽出部２１４は、例えば、撮影画像７０に含まれる矩形画像のうち、文書である可能性が高い矩形画像を、第１の物体７１を表す矩形画像として抽出する。そして、抽出部２１４は、抽出したこの矩形画像により表わされている物体を、第１の物体７１として抽出する。
ここで、文書である可能性が高い矩形画像であるか否かは、例えば、矩形画像の位置、矩形画像の大きさ、矩形画像の色などの情報に基づき判断する。また、その他に、機械学習などを利用して、文書である可能性が高い矩形画像であるか否かの判断を行ってもよい。

また、本実施形態では、抽出部２１４は、例えば、撮影画像７０に含まれる矩形画像のうち、付箋である可能性が高い矩形画像を、第２の物体７２を表す矩形画像として抽出する。そして、抽出部２１４は、抽出したこの矩形画像により表わされている物体を、第２の物体７２として抽出する。
ここで、付箋である可能性が高い矩形画像であるか否かは、上記と同様、矩形画像の位置、矩形画像の大きさ、矩形画像の色などの情報に基づき判断する。また、その他に、機械学習などを利用して、付箋である可能性が高い矩形画像であるか否かの判断を行ってもよい。

本実施形態では、抽出部２１４により、第１の物体７１、第２の物体７２が自動で抽出される。このため、本実施形態では、情報処理装置２００を操作する操作者は、第１の物体７１と第２の物体７２の指定（抽出）を自身で行わないでよい。
付言すると、本実施形態では、操作者が表示装置２０６（タッチパネル）に対する操作を行わないでも（第１の物体７１と第２の物体７２の指定を行わないでも）、第１の物体７１、第２の物体７２が抽出される。
本実施形態では、抽出部２１４により抽出される物体が、予め定められており、抽出される条件を満たす物体が、第１の物体７１、第２の物体７２として抽出される。

その後、本実施形態では、図５のステップＳ１０９に示すように、第１画像情報取得部２１１が、第１物体画像８１に対するＯＣＲ（Optical character recognition）処理を行い、第１物体画像８１に含まれる文字情報（テキスト情報）を取得する。
また、第２画像情報取得部２１２が、第２物体画像８２に対するＯＣＲ処理を行い、第２物体画像８２に含まれる文字情報（テキスト情報）を取得する。

その後、上記のステップＳ１０１〜ステップＳ１０９における処理により得られた情報が、互いに対応付けられた状態で、情報記憶部２１５に記憶される（ステップＳ１１０）。
具体的には、第１物体画像８１、第１物体画像８１の属性情報（第１物体画像８１により表されている物体が文書であることを示す情報などの第１物体画像８１に関する情報）、第１物体画像８１から得られた文字情報、第２物体画像８２、第２物体画像８２の属性情報（第２物体画像８２により表されている物体が付箋であることを示す情報などの第２物体画像８２に関する情報）、第２物体画像８２から得られた文字情報、および、第２物体画像８２の位置情報が、互いに対応付けられた状態で、情報記憶部２１５に記憶される。
なお、以下、本明細書では、互いに対応付けられた状態で情報記憶部２１５に記憶されたこれらの情報（１つの撮影画像７０に関するこれらの情報）を、撮影画像対応情報と称する。

図６を参照し、撮影画像対応情報が取得された後の処理の流れを説明する。
ステップ２０１では、情報記憶部２１５に撮影画像対応情報が格納されているか否かの判断を行う。
そして、ステップＳ２０１にて、撮影画像対応情報が格納されていると判断された場合、ステップＳ２０２の処理に進み、撮影画像対応情報に含まれる第１物体画像８１を取得する。

そして、この第１物体画像８１のフォーマットを、特定のフォーマットに変換する（ステップＳ２０３）。より具体的には、第１物体画像８１のフォーマットを、例えば、DocuWorks（登録商標）のフォーマットや、ＰＤＦ（登録商標）のフォーマットに変換する。
そして、本実施形態では、撮影画像対応情報に、フォーマットを変換した後の第１物体画像８１を追加する。

次いで、本実施形態では、撮影画像対応情報に含まれる第２物体画像８２を取得する（ステップＳ２０４）。
そして、本実施形態では、第２物体画像８２を解析して、この第２物体画像８２の色の情報を取得する（ステップＳ２０５）。
次いで、本実施形態では、この色の情報を、撮影画像対応情報に追加する。より具体的には、第２物体画像８２の属性情報に、この色の情報を含める。

その後、本実施形態では、表示制御部２１３により、第１物体画像８１および第２物体画像８２の表示処理が行われる。
図８（情報処理装置２００における表示処理を説明する図）の（Ａ）は、情報処理装置２００の表示装置２０６に、第１物体画像８１および第２物体画像８２が表示された後の状態を示した図である。

図８（Ａ）に示すように、表示制御部２１３は、表示装置２０６に、第１物体画像８１および第２物体画像８２を表示する。
また、表示制御部２１３は、表示装置２０６に、第１物体画像８１および第２物体画像８２を表示するにあたり、撮影画像７０（図４参照）における第１の物体７１と第２の物体７２との位置関係が保たれた状態で、第１物体画像８１および第２物体画像８２を表示する。

より具体的には、表示制御部２１３は、第１物体画像８１を表示するとともに、上記の位置情報により特定される位置に、第２物体画像８２を表示する。
これにより、本実施形態では、撮影画像７０における、第１の物体７１と第２の物体７２との位置関係が保たれた状態で、第１物体画像８１および第２物体画像８２が、表示装置２０６に表示される。

さらに、表示制御部２１３は、表示装置２０６に、第１物体画像８１および第２物体画像８２を表示するにあたり、撮影画像７０（図４参照）における、第１の物体７１の大きさと第２の物体７２の大きさとの比率が保たれた状態で、第１物体画像８１および第２物体画像８２を表示する。

言い換えると、表示制御部２１３は、撮影画像７０における、第１の物体７１の大きさと第２の物体７２の大きさとの比率と、表示装置２０６の表示画面における、第１物体画像８１の大きさと第２物体画像８２の大きさとの比率とが一致するように、第１物体画像８１および第２物体画像８２を表示する。

また、表示制御部２１３は、撮影画像７０にて、第１の物体７１と第２の物体７２とが重なっている場合（図４参照）、図８（Ａ）に示すように、表示装置２０６にて、第１物体画像８１と第２物体画像８２とを重ねて表示する。
付言すると、表示制御部２１３は、撮影画像７０にて第１の物体７１に対して第２の物体７２が上から付されている場合、第１物体画像８１と第２物体画像８２とを重ね且つ第１物体画像８１の上に第２物体画像８２が位置するように、第１物体画像８１および第２物体画像８２を表示する。

ここで、「上」とは、撮影画像７０を撮影する際の撮影者や、情報処理装置２００を参照する操作者から見て手前側に位置する状態をいう。
表示制御部２１３は、撮影画像７０にて、第１の物体７１と第２の物体７２とが重なり且つ第２の物体７２が第１の物体７１よりも手前側に位置する場合、表示装置２０６にて、第１物体画像８１と第２物体画像８２とを重ね、さらに、第２物体画像８２を第１物体画像８１よりも手前側に表示する。

さらに、本実施形態では、表示制御部２１３は、第２物体画像８２を第１物体画像８１と同じ形式で表示してもよいが、異なる形式で表示してもよい。その場合、第２物体画像８２を、予め登録された第２登録画像を表示する際の形式と同じ形式で表示してもよい。
本実施形態では、付箋を表す登録画像である第２登録画像が、情報処理装置２００に予め登録され、上記の第２物体画像８２とは別に、この予め登録された第２登録画像の表示を行えるようになっている。たとえば、情報処理装置２００には、DocuWorks（登録商標）のフォーマット（すなわちxdw形式）の画像に対して付加できる、付箋を表す登録画像が予め登録されている。表示制御部２１３は、xdw形式の画像に付加する態様で、アノテーションという予め登録された形式の、付箋を表す画像の表示を行える。

表示制御部２１３は、第２物体画像８２を表示するにあたり、第２物体画像８２を、この第２登録画像が表示される際の形式と同じ形式で表示してもよい。
本実施形態では、表示制御部２１３は、入力受付部２１０による撮影画像７０の受け付けによらずに（入力受付部２１０による撮影画像７０の受け付けが無くても）、表示装置２０６に、登録済みの第２登録画像の表示を行えるようになっている。
そして、本実施形態の表示制御部２１３は、第２物体画像８２の表示に際し、そのままの形式で表示するのに限らず、第２登録画像を表示する際の表示形式と同じ形式で、この第２物体画像８２の表示を行ってもよい。

ここで、「第２物体画像８２を、第２登録画像と同じ形式で表示する」とは、操作者が第２登録画像に対して行える操作と同じ操作を、第２物体画像８２に対しても行える状態で、第２物体画像８２を表示することを指す。
言い換えると、「第２物体画像８２を、第２登録画像と同じ形式で表示する」とは、操作者が第２登録画像に対して行える操作のうちの少なくとも１つ以上の操作を、第２物体画像８２に対しても行える状態で、第２物体画像８２を表示することを指す。

例えば、本実施形態では、付箋を表す第２登録画像に関し、操作者は、この第２登録画像の大きさ、色、形状、位置の変更を行える。
これに応じ、本実施形態では、第２物体画像８２の大きさ、色、形状、位置の何れか１つ以上の変更を行えるように、第２物体画像８２の表示を行えるようになっている。

また、本実施形態は、付箋を表す第２登録画像に関し、操作者は、第２登録画像に付された文字情報（テキスト情報）の編集を行える。
これに応じ、本実施形態では、第２物体画像８２に付された文字情報（テキスト）の編集を行えるように、第２物体画像８２の表示が行われる。

付言すると、第２登録画像では、この第２登録画像を構成する複数の要素の各々についての変更を行えるようになっている。
そして、本実施形態では、第２物体画像８２においても、この複数の要素に含まれる要素の変更を行えるようになっている。言い換えると、第２物体画像８２においても、第２登録画像にて変更可能な複数の要素のうちの少なくとも一つの要素の変更を行えるようになっている。

ここで、表示制御部２１３は、第２物体画像８２を、第２登録画像と同じ形式で表示する場合、例えば、第２の物体７２の大きさ、色、および、形のうちの少なくとも１つを、この第２物体画像８２に反映して第２物体画像８２を表示する。

また、表示制御部２１３は、第２物体画像８２を第２登録画像と同じ形式で表示する際、この第２物体画像８２に含まれる文字を、編集可能な文字情報として表示する。言い換えると、テキスト化された文字情報として表示する。

言い換えると、本実施形態では、第２物体画像８２を表示する際、第２物体画像８２の編集が可能な状態で、第１物体画像８１および第２物体画像８２の表示を行えるようになっている。
ここで、「編集が可能」とは、第２物体画像８２の大きさ、色、形、第２物体画像８２上に表示された文字など、第２物体画像８２を構成する要素の変更が可能な状態を指す。
具体的には、本実施形態では、操作者は、情報処理装置２００に対して予め定められた操作を行うことで（例えば、表示装置２０６に対する操作を行うことで）、第２物体画像８２を構成する要素の変更を行える。

ここで、本実施形態では、例えば、図８（Ａ）にて示した表示画面にて、操作者が、例えば、符号８Ｃで示す第２物体画像８２を押圧すると、図８（Ｂ）で示す画面が表示される。
ユーザは、この図８（Ｂ）で示す画面に対する操作を行うことで、文字の編集を行える。具体的には、文字の削除や、文字の追加や、フォントの変更や、文字サイズの変更などを行える。

また、図示は省略するが、本実施形態では、操作者が、表示装置２０６に対する操作を行って、第２物体画像８２の角部や辺などの輪郭を構成する要素を移動させると、第２物体画像８２の大きさ、形などが変更される。
さらに、本実施形態では、操作者が、表示装置２０６に対して予め定められた操作（不図示）を行うと、第２物体画像８２の色を指定するための画面が表示される。そして、この画面に対する操作を行うと、第２物体画像８２の色が変更される。
なお、第１物体画像８１についても編集が可能であってもよいが、第１物体画像８１が第２物体画像８２と異なる形式である場合、編集が可能な要素や程度にも違いがある。第１物体画像８１は、編集可能な要素が第２物体画像８２よりも少なくてもよい。たとえば、第１物体画像８１については、文字の削除ができなくてもよいし、色の変更ができなくてもよい。

本実施形態では、さらに、第２登録画像と同じ形式で第２物体画像８２を表示する表示態様と、第２物体画像８２そのものを表示する表示形態との切り替えを行えるようになっている。
付言すると、本実施形態では、ユーザが、表示装置２０６に表示された切り替えボタン（不図示）の押圧など、予め定められた操作を行う。
これにより、本実施形態では、図９（第２物体画像８２の表示形態を示した図）に示すように、第２登録画像と同じ形式で第２物体画像８２を表示する第１表示形態と、第２物体画像８２そのものを表示する第２表示態様との切り替えを行える。

ここで、第２物体画像８２そのものを表示する第２表示形態では、ＯＣＲ処理がなされる前の文字情報が表示されている。言い換えると、ユーザにより手書きで筆記された文字の画像（イメージとしての画像）が表示されている。
一方、第２登録画像と同じ形式で第２物体画像８２を表示する第１表示態様では、テキスト化された文字が表示され、さらに、この文字の編集が可能な状態でこの文字が表示されている。

図１０は、図８（Ｂ）にて説明した表示処理が実行される際の処理の詳細を示したフローチャートである。
本実施形態では、まず、第２物体画像８２がユーザにより選択された否かを判断する（ステップＳ３０１）。そして、第２物体画像８２が選択された場合は、ユーザによる、テキストモードの選択がなされた否かを判断する（ステップＳ３０２）。言い換えると、選択ボタン（不図示）の押圧などの、テキストモードの選択を行うための予め定められた操作が操作者により行われたか否かを判断する。
そして、ステップＳ３０２にて、テキストモードが選択されたと判断された場合は、テキストモードに変更する（ステップＳ３０３）。

その後、本実施形態では、操作者により第２物体画像８２が再び選択されたか否かを判断し（ステップＳ３０４）、再び選択された場合には、図８（Ｂ）にて示したように、文字の編集を受け付けるための画面を表示する。
言い換えると、本実施形態では、操作者によって、予め定められた操作がなされたら、文字の編集を受け付けるための画面を表示する。

そして、ユーザによる編集があると、この編集を受け付ける（ステップＳ３０５）。そして、編集後の内容を、保存する（ステップＳ３０６）。より具体的には、編集後の内容を、上記の撮影画像対応情報に含めるようにする（反映するようにする）。

一方、ステップ３０２にて、テキストモードが選択されず、例えば、画像モードが選択された場合は、画像モードに変更される（ステップＳ３０７）。この画像モードでは、第２物体画像８２そのものが表示される。
言い換えると、この画像モードでは、図９にて示した、第２表示形態で、第２物体画像８２が表示される。この場合、ユーザによる手書きの筆記内容が表示される。

なお、本実施形態では、ステップＳ３０５にて、文字の編集がなされ文字情報の内容が変更された場合は、以後、画像モードへの変更を行えないようにする。
言い換えると、第２物体画像８２そのものを表示する第２表示形態での、第２物体画像８２の表示を行えないようにする。
これにより、テキストモードのときに表示される文字の内容と、画像モードのときに表示される文字の内容とが不一致となることが抑制される。

また、本実施形態では、表示制御部２１３は、第１物体画像８１および第２物体画像８２を表示するにあたり、第１物体画像８１に対する第２物体画像８２の移動が可能な状態で、第１物体画像８１および第２物体画像８２を表示する。
これにより、本実施形態では、操作者は、例えば、第２物体画像８２のドラッグアンドドロップを行うことで、図８（Ａ）の符号８Ｅで示すように、第２物体画像８２の移動を行えるようになる。

付言すると、撮影画像７０の状態では、第２物体の移動は行えないが、本実施形態では、上記の処理を行うことで、第２物体画像８２の移動を行えるようになり、第１物体画像８１に対する第２物体画像８２の位置の変更を行える。
なお、本実施形態では、複数の第２物体画像８２が表示されているが、この複数の第２物体画像８２の各々は、個別に移動できるようになっている。
また、本実施形態では、第１物体画像８１についても、第２物体画像８２とは別に移動を行えるようになっている。

次に、図５のステップＳ１０５にて説明した、第１物体画像８１の補正処理について説明する。
表示制御部２１３は、撮影画像７０にて、第１の物体７１と第２の物体７２とが重なり、第１の物体７１の一部が第２の物体７２の背後に位置する場合（図４参照）、第１物体画像８１のうちのこの一部に対応する部分の画像（図８（Ａ）の符号８Ｘの斜線で示している画像）（以下、「対応画像８Ｘ」と称する）を変更する。
具体的には、表示制御部２１３は、例えば、この対応画像８Ｘを、第１物体画像８１の他の部分の画像に変更する。

ここで、本実施形態では、上記のように、第２物体画像８２の移動が行われることがあり、第２物体画像８２の移動が行われると、第１物体画像８１に欠けが生じてしまう。そこで、本実施形態では、この欠けが生じる箇所を、他の画像で補完する。

なお、第１物体画像８１に含まれる上記の対応画像８Ｘを、第１物体画像８１の他の部分の画像に変更する場合、この他の部分の画像は、この対応画像８Ｘから予め定められた範囲内に位置する画像とすることが好ましい。
言い換えると、第１物体画像８１の対応画像８Ｘを、第１物体画像８１の他の部分の画像の変更する場合は、この対応画像８Ｘを、この対応画像８Ｘから予め定められた距離内に位置する他の画像に変更することが好ましい。
言い換えると、対応画像８Ｘを、この対応画像８Ｘの近くに位置し、置換しても、違和感が生じにくい他の画像に置換することが好ましい。

また、表示制御部２１３は、第１物体画像８１が印刷文書を撮影した画像である場合、上記の対応画像８Ｘを、この印刷文書の元となった画像データの一部に基づく画像に変更してもよい。
付言すると、第１物体画像８１が印刷文書を撮影した画像である場合、上記の対応画像８Ｘを、この印刷文書の元となった画像データに基づく画像のうちの、この対応画像８Ｘに対応する箇所に位置する画像に変更してもよい。
なお、印刷文書の元となった画像データの取得は、例えば、この印刷文書を撮影した画像である第１物体画像８１を解析して、例えば、印刷文書に付されているコード画像などの識別情報を取得する。

そして、この識別情報を元に、データベース等を検索して、印刷文書の元となった画像データを特定して取得する。そして、表示制御部２１３は、上記の対応画像８Ｘを、取得したこの画像データの一部に基づく画像に変更する。
なお、印刷文書の元となった画像データの取得は、例えば、機械学習などを利用して、この印刷文書に近似した画像を有する画像データをデータベース等から抽出することで、この画像データの取得を行ってもよい。

また、上記では、第１物体画像８１の表示にあたり、第１物体画像８１そのものを表示し、あるいは、第１登録画像を表示する際の形式で第１物体画像８１を表示する場合を説明した。
ところで、これに限らず、例えば、上記のように、印刷文書の元となった画像データを取得し、第１物体画像８１として、この画像データに基づく画像を表示してもよい。
言い換えると、表示制御部２１３は、第１物体画像８１が印刷文書を撮影した画像である場合、この第１物体画像８１に替えて、この印刷文書の元となった画像データに基づく画像を表示してもよい。

（その他）
表示制御部２１３は、図１１（撮影画像に関する処理の他の一例を示した図）の符号１１Ａに示すように、撮影画像７０が複数ページ分の画像により構成されている場合、符号１１Ｂに示すように、表示装置２０６に、各ページに対応した画像であるページ画像を複数表示する。
また、表示制御部２１３は、ページ画像の元となる一のページに第１の物体７１および第２の物体７２が存在する場合（符号１１Ｃ参照）には、符号１１Ｄで示すように、この一のページに対応するページ画像に、第１物体画像８１および第２物体画像８２の両者を表示する。

図１２（Ａ）、（Ｂ）は、撮影画像に関する処理の他の一例を示した図である。
また、その他に、表示制御部２１３は、図１２（Ａ）に示すように、撮影画像７０が複数ページ分の画像により構成され、さらに、複数のページに亘って第２の物体７２が記録されている場合、図１２（Ｂ）に示すように、複数のページ画像のうちの特定の一のページ画像上に、複数の第２物体画像８２を表示するようにしてもよい。

言い換えると、表示制御部２１３は、撮影画像７０が複数ページ分の画像により構成され、表示装置２０６に、各ページに対応した画像であるページ画像を複数表示するにあたり、特定の一のページ画像上に、複数の第２物体画像８２をまとめて表示してもよい。
より具体的には、図１２（Ｂ）に示すこの例では、先頭のページに、複数の第２物体画像８２をまとめて表示している。

ここで、撮影画像７０では、図１２（Ａ）に示すように、複数のページに亘って第２の物体７２が記録されている場合があり得る。
この場合、上記のように、特定の一のページ画像上に、複数の第２物体画像８２をまとめて表示すると、操作者は、第２物体画像８２の全ての参照をより短い時間で行える。

また、上記では、第１物体画像８１および第２物体画像８２を、共通の画面に表示したが、第１物体画像８１および第２物体画像８２の各々を、図１３（情報処理装置における他の表示例を示した図）に示すように、個別に且つ互いに異なる画面に表示するようにしてもよい。
図１３に示す表示形態では、操作者が、予め定められた操作を行うことで、画面が切り替わり、表示される物体画像が切り替わる。具体的には、この表示形態では、操作者が、いわゆるスワイプ操作を表示画面に対して行うことで、表示される物体画像が切り替わる。

また、上記では、第２物体画像８２が、第１物体画像８１の上に載った状態で、第１物体画像８１および第２物体画像８２が表示される場合を示した。
ところで、これに限らず、例えば、図１４（情報処理装置における他の表示例を示した図）に示すように、第１物体画像８１の表示箇所とは異なる箇所に、第２物体画像８２を表示してもよい。

図１４では、第１物体画像８１の表示箇所の下方に、第２物体画像８２が表示される表示形態となっている。
さらに、この表示形態では、操作者が、予め定められた操作を行うことで、表示される第２物体画像８２が切り替わるようになる。
具体的には、この表示形態では、操作者が、いわゆるスワイプ操作を表示画面に対して行うと、第２物体画像８２が横方向へスライド移動し、表示される第２物体画像８２が切り替わる。

（その他）
上記では、第１物体画像８１、第２物体画像８２の表示にあたり、第１物体画像８１、第２物体画像８２そのもの、あるいは、第１物体画像８１、第２物体画像８２を、第１登録画像、第２登録画像と同じ形式で表示する場合を一例に説明した。
ところで、これに限られず、第１物体画像８１、第２物体画像８２の表示にあたり、第１物体画像８１、第２物体画像８２に替えて、第１登録画像、第２登録画像を表示するようにしてもよい。
なお、この場合は、第１物体画像８１の特徴の少なくとも一部、第２物体画像８２の特徴の少なくとも一部を、第１登録画像、第２登録画像に反映する。

具体的には、この場合、例えば、第１物体画像８１、第２物体画像８２の色、形状、サイズなどの複数の要素のうちの何れか１つ以上の要素を、第１登録画像、第２登録画像に反映する。
また、第１物体画像８１、第２物体画像８２に替えて、第１登録画像、第２登録画像を表示するにあたり、第１物体画像８１、第２物体画像８２に、文字の画像が存在する場合には、この文字の画像を、第１登録画像上、第２登録画像上に表示してもよい。

また、上記では、第１物体画像８１、第２物体画像８２の双方において、物体画像そのものでの表示、登録画像と同じ形式での物体画像の表示、物体画像を登録画像に置換しての表示を、行える場合を説明した。
但し、これに限らず、第１物体画像８１、第２物体画像８２の一方のみについて、これらの表示態様の何れかで表示が行われるようにし、他方については、これらの表示態様の数よりも少ない数の表示態様での表示が行われるようにしてもよい。
具体的には、例えば、第１物体画像８１については、第１物体画像８１そのものだけが表示されるようにし、第２物体画像８２については、例えば、第２物体画像そのものでの表示、登録画像と同じ形式での表示、登録画像に置換しての表示の何れもが可能なようにしてもよい。

７０…撮影画像、７１…第１の物体、７２…第２の物体、２００…情報処理装置、２１０…入力受付部、２１１…第１画像情報取得部、２１２…第２画像情報取得部、２１３…表示制御部

Claims (19)

1. 第１の物体と、当該第１の物体に対応付けられて設置された第２の物体とがともに記録されている撮影画像の入力を受け付ける入力受付手段と、
   前記撮影画像から抽出された前記第１の物体の画像である第１物体画像を取得する第１画像取得手段と、
   前記撮影画像から抽出された前記第２の物体の画像である第２物体画像を取得する第２画像取得手段と、
   前記第１物体画像および前記第２物体画像の両者を表示する表示制御手段であって、当該第１物体画像に対する当該第２物体画像の移動が可能な状態又は、当該第２物体画像の編集が可能な状態で、当該第１物体画像および当該第２物体画像を表示する表示制御手段と、
   を備える情報処理装置。
2. 前記撮影画像から予め定められた第１の特徴を有する前記第１の物体を抽出し、かつ当該第１の特徴とは異なる予め定められた第２の特徴を有する前記第２の物体を抽出する抽出手段をさらに有する請求項１に記載の情報処理装置。
3. 前記表示制御手段は、前記撮影画像における前記第１の物体と前記第２の物体との位置関係が保たれた状態で、前記第１物体画像および前記第２物体画像を表示する請求項１に記載の情報処理装置。
4. 前記表示制御手段は、前記撮影画像における前記第１の物体の大きさと当該撮影画像における前記第２の物体の大きさとの比率が保たれた状態で、前記第１物体画像および前記第２物体画像を表示する請求項１に記載の情報処理装置。
5. 前記表示制御手段は、前記撮影画像にて前記第１の物体と前記第２の物体とが重なっている場合、前記第１物体画像と前記第２物体画像とを重ねて表示する請求項１に記載の情報処理装置。
6. 前記表示制御手段は、前記撮影画像にて前記第１の物体に対して前記第２の物体が上から付されている場合、前記第１物体画像と前記第２物体画像とを重ね且つ当該第１物体画像の上に当該第２物体画像が位置するように当該第１物体画像および第２物体画像を表示する請求項１に記載の情報処理装置。
7. 前記表示制御手段は、前記入力受付手段による前記撮影画像の受け付けによらず予め登録された前記第２の物体を表す登録画像の表示を行うことができ、
   前記表示制御手段は、前記第２物体画像を、前記登録画像と同じ形式で表示する請求項１に記載の情報処理装置。
8. 前記表示制御手段は、前記登録画像として、付箋を表す登録画像を表示でき、
   前記表示制御手段は、前記第２物体画像を、前記付箋を表す前記登録画像と同じ形式で表示する請求項７に記載の情報処理装置。
9. 前記表示制御手段は、前記第１物体画像と前記第２物体画像とを異なる形式で表示する請求項１に記載の情報処理装置。
10. 前記表示制御手段は、前記第２物体画像を前記登録画像と同じ形式で表示するにあたり、前記第２の物体の大きさ、色、および、形のうちの少なくとも１つを当該第２物体画像に反映して当該第２物体画像を表示する請求項７に記載の情報処理装置。
11. 前記表示制御手段は、前記第２物体画像を前記登録画像と同じ形式で表示するにあたり、前記第２の物体の上に文字の画像が存在する場合、当該文字の画像を、編集可能な文字情報として表示する請求項７に記載の情報処理装置。
12. 前記表示制御手段は、前記撮影画像が複数ページ分の画像により構成されている場合、各ページに対応した画像であるページ画像を複数表示するとともに、当該ページ画像の元となった一のページに前記第１の物体および前記第２の物体が存在する場合には、当該一のページに対応する一のページ画像に、前記第１物体画像および前記第２物体画像の両者を表示する請求項１に記載の情報処理装置。
13. 前記表示制御手段は、前記撮影画像が複数ページ分の画像により構成されている場合、各ページに対応した画像であるページ画像を複数表示するとともに、複数のページに亘って前記第２の物体が記録されている場合、複数表示する当該ページ画像のうちの特定の一のページ画像上に複数の前記第２物体画像を表示する請求項１に記載の情報処理装置。
14. 前記表示制御手段は、前記第１の物体と前記第２の物体とが重なり当該第１の物体の一部が当該第２の物体の背後に位置する場合、前記第１物体画像のうちの当該一部に対応する部分の画像を他の画像に変更する請求項１に記載の情報処理装置。
15. 前記表示制御手段は、前記一部に対応した部分の前記画像を、前記第１の物体の他の部分に対応した画像に変更する請求項１４に記載の情報処理装置。
16. 前記表示制御手段は、前記一部に対応した部分の前記画像を、前記他の部分であって当該一部から予め定められた範囲内に位置する当該他の部分に対応した画像に変更する請求項１５に記載の情報処理装置。
17. 前記表示制御手段は、前記第１の物体が印刷文書である場合、前記一部に対応した部分の前記画像を、当該印刷文書の元となった画像データの一部に基づく画像に変更する請求項１４に記載の情報処理装置。
18. 前記表示制御手段は、前記第１の物体が印刷文書である場合、前記第１物体画像として、当該印刷文書の元となった画像データに基づく画像を表示する請求項１に記載の情報処理装置。
19. 第１の物体と、当該第１の物体に対応付けられて設置された第２の物体とがともに記録されている撮影画像の入力を受け付ける入力受付機能と、
    前記撮影画像から抽出された前記第１の物体の画像である第１物体画像を取得する第１画像取得機能と、
    前記撮影画像から抽出された前記第２の物体の画像である第２物体画像を取得する第２画像取得機能と、
    前記第１物体画像および前記第２物体画像の両者を表示する表示制御機能であって、当該第１物体画像に対する当該第２物体画像の移動が可能な状態又は、当該第２物体画像の編集が可能な状態で、当該第１物体画像および当該第２物体画像を表示する表示制御機能と、
    をコンピュータに実現させるためのプログラム。

Images