JP2013196630A

JP2013196630A - 情報処理装置および画像データ取得方法

Info

Publication number: JP2013196630A
Application number: JP2012066099A
Authority: JP
Inventors: Wataru Funato; 渉舟戸
Original assignee: NTT Docomo Inc
Current assignee: NTT Docomo Inc
Priority date: 2012-03-22
Filing date: 2012-03-22
Publication date: 2013-09-30

Abstract

【課題】どのような媒体に書き込まれているものに対しても傾きのないデータを取得することができるどのような媒体に書き込まれているものに対しても傾きのないデータを取得することができる情報処理装置および画像データ取得方法を提供することを目的とする。
【解決手段】マーカ照射部１０２はマーカを被写体に対して照射し、画像撮影部１０１は、ここで照射されたタイミングで被写体を撮影して、マーカ有画像データを取得し、また、マーカの照射を行わずに、被写体を撮影して、取得されたマーカ無画像データを取得する。そして、傾き率算出部１０７は、取得されたマーカ有画像データに映し出されたマーカの傾きを算出し、傾き補正部１０８は、そのマーカの傾きに基づいて、マーカ無画像データを補正する。
【選択図】図３

Description

本発明は、名刺などの画像データを記憶する情報処理装置および画像データ取得方法に関する。

名刺や、ドキュメントを携帯電話などのカメラ機能を用いて読み取ることが行われている。この際、名刺の文字列や編の傾きなどを認識して画像を補正することにより、名刺を傾きなく保存することができる。例えば、特許文献１には、デジタルカメラでカタログ、名刺等を撮影して取得し、その傾き補正を、補正の対象となる四角形の画像を抽出することでゆがみのない画像に補正することが記載されている。

また、あらかじめマーカを印刷した紙にメモをとり、このメモをマーカに基づいて傾き補正を行うことで、平面のドキュメントとして保存する方法が一般に知られている。例えば、ShotNote（株式会社キングジムの商標：非特許文献１）やCamiapp（コクヨＳ＆Ｔ株式会社製、非特許文献２）などの、マーカ付ノートおよびそのノートを撮影するためのアプリケーションが知られている。

特開２００３−５８８７７号公報

"ShotNote"［online］、平成２４年２月２８日検索」、インターネット＜http://www.kingjim.co.jp/sp/shotnote/＞ "Camiapp＜キャミアップ＞"［online］、平成２４年２月２８日検索」、インターネット＜http://www.kokuyo-st.co.jp/stationery/camiapp/＞

この特許文献１においては、名刺等に記載されている文字列や、名刺の辺が直線であることが前提であり、また一定方向の補正しかすることができない。また、非特許文献１および２におけるマーカを前提に補正する技術においては、マーカをあらかじめ印刷しておく必要がある。よって、名刺などのマーカが形成されていないものについては、認識することができず、データ取り込み対象となる媒体の種別を限定することになる。また、ホワイトボードなどに書き込まれた絵や文字を取り込むことが困難である。

そこで、本発明においては、どのような媒体に書き込まれているものに対しても傾きのないデータを取得することができる情報処理装置および画像データ取得方法を提供することを目的とする。

上述の課題を解決するために、本発明の情報処理装置は、被写体に対してマーカを照射する照射手段と、前記照射手段によりマーカが照射されたタイミングで前記被写体を撮影して、マーカ有画像データを取得するとともに、前記照射手段によるマーカの照射を行わずに、前記被写体を撮影して、マーカ無画像データを取得する撮影手段と、前記撮影手段により取得されたマーカ有画像データに映し出されたマーカの傾きを算出する傾き算出手段と、前記傾き算出手段により算出されたマーカの傾きに基づいて、前記マーカ無画像データを補正する補正手段と、を備える。

また、本発明の画像データ取得方法は、被写体に対してマーカを照射する照射ステップと、前記照射ステップによりマーカが照射されたタイミングで前記被写体を撮影して、マーカ有画像データを取得するとともに、前記照射ステップによるマーカの照射を行わずに、前記被写体を撮影して、マーカ無画像データを取得する撮影ステップと、前記撮影ステップにより取得されたマーカ有画像データに映し出されたマーカの傾きを算出する傾き算出ステップと、前記傾き算出ステップにより算出されたマーカの傾きに基づいて、前記マーカ無画像データを補正する補正ステップと、を備える。

この発明によれば、マーカが照射されたタイミングで被写体を撮影して、マーカ有画像データを取得するとともに、マーカの照射を行わずに、被写体を撮影して、マーカ無画像データを取得し、取得されたマーカ有画像データに映し出されたマーカの傾きを算出し、そのマーカの傾きに基づいて、マーカ無画像データを補正する。これにより、どのような被写体に対して、また、その被写体に対して傾いて撮影したとしても、正面から撮影したものと同等の形に補正することができる。よって、補正のためマーカをあらかじめ印刷しておく必要もないため、その被写体を限定することなく、傾き補正を行うことができる。例えば、名刺のほか、ホワイトボードにおいてもその傾きを補正することができる。

また、本発明の情報処理装置は、被写体に対して異なる位置に時間差をもって複数のマーカを照射する照射手段と、前記照射手段によりマーカが照射されたタイミングで前記被写体を複数回撮影して、マーカ有画像データを複数取得するとともに、前記照射手段によるマーカの照射を行わずに、前記被写体を撮影して、マーカ無画像データを取得する撮影手段と、前記撮影手段により取得された複数のマーカ有画像データを合成して、複数のマーカからなるマーカ群を取得する合成手段と、前記合成手段により合成されて取得されたマーカ群の傾きを判断する判断手段と、前記判断手段により判断されたマーカ群の傾きに基づいて、前記マーカ無画像データを補正する補正手段と、を備える。

また、本発明の画像データ取得方法は、被写体に対して異なる位置に時間差をもって複数のマーカを照射する照射ステップと、前記照射ステップによりマーカが照射されたタイミングで前記被写体を複数回撮影して、マーカ有画像データを複数取得するとともに、前記照射ステップによるマーカの照射を行わずに、前記被写体を撮影して、マーカ無画像データを取得する撮影ステップと、前記撮影ステップにより取得された複数のマーカ有画像データを合成して、複数のマーカからなるマーカ群を取得する合成ステップと、前記合成ステップにより合成されて取得されたマーカ群の傾きを算出する傾き算出ステップと、前記傾き算出ステップにより判断されたマーカ群の傾きに基づいて、前記マーカ無画像データを補正する補正ステップと、を備える。

この発明によれば、マーカが照射されたタイミングで被写体を複数回撮影して、マーカ有画像データを複数取得するとともに、マーカの照射を行わずに、被写体を撮影して、マーカ無画像データを取得し、複数のマーカ有画像データを合成して、合成データを取得し、この合成データにおけるマーカ群の傾きを判断し、そのマーカ群の傾きに基づいて、マーカ無画像データを補正する。これにより、どのような被写体に対して、また、その被写体に対して傾いて撮影したとしても、正面から撮影したものと同等の形に補正することができる。よって、補正のためマーカをあらかじめ印刷しておく必要もないため、その被写体を限定することなく、傾き補正を行うことができる。例えば、名刺のほか、ホワイトボードにおいてもその傾きを補正することができる。さらに、複数のマーカから一つのマーカ群を生成し、それを傾きの判断対象とすることで、マーカ群の大きさを大きくすることができ、傾きの判断精度を向上させることができる。

また、本発明の情報処理装置は、マーカ有画像データにおけるマーカが、基準となるマーカと相似であるか否かを判断するマーカ比較手段をさらに備え、前記補正手段は、前記マーカ比較手段により、相似であると判断される場合には、補正処理を実行しないようにしてもよい。

この発明によれば、マーカ有画像データにおけるマーカが、基準となるマーカと相似であるか否かを判断し、その結果によって、補正の要否を判断することで、無駄な補正処理を行うことがなく、効率的な処理を実行することができる。

また、本発明の情報処理装置は、前記合成手段により得られたマーカ群が、基準となるマーカ群と相似であるか否かを判断するマーカ比較手段をさらに備え、前記補正手段は、前記マーカ比較手段により、相似であると判断される場合には、補正処理を実行しないようにしてもよい。

この発明によれば、合成して得られたマーカ群が、基準となるマーカ群と相似であるか否かを判断し、その結果によって、補正の要否を判断することで、無駄な補正処理を行うことがなく、効率的な処理を実行することができる。

また、本発明の情報処理装置は、マーカ有画像データとマーカ無画像データとが同じであるか否かを判断する画像比較手段と、前記画像比較手段により同じではないと判断されると、再撮影指示を行う出力手段とをさらに備えてもよい。

この発明によれば、マーカ有画像データとマーカ無画像データとが同じであるか否かを判断し、同じではないと判断すると、マーカ有画像データと、マーカ無画像データとの撮影角度がずれていると判断することができる。よって、その場合には、マーカに基づいた補正を行うことはせず、再撮影指示を行うことで、誤った補正処理を行うことを防止することができる。

本発明によれば、どのような被写体に対して、また、その被写体に対して傾いて撮影したとしても、正面から撮影したものと同等の形に補正することができる。よって、補正のためマーカをあらかじめ印刷しておく必要もないため、その被写体を限定することなく、傾き補正を行うことができる。例えば、名刺のほか、ホワイトボードにおいてもその傾きを補正することができる。

本実施形態の情報処理装置１００を用いた名刺の読み取りの様子を示した説明図である。マーカが照射された名刺を示す説明図である。本実施形態の情報処理装置１００の機能を示すブロック図である。情報処理装置１００のハードウェア構成図である。他のマーカの例示を示す説明図である。傾き率を算出する現地を示す模式図である。情報処理装置１００の処理内容を示すフローチャートである。撮影しているときのその表示部（図示せず）に表示されている撮影画像を示す説明図である。変形例における情報処理装置１００ａの機能構成を示すブロック図である。マーカの照射位置と照射タイミングとそれぞれ変えて撮影された画像データを示す説明図である。変形例における情報処理装置１００ａの処理内容を示すフローチャートである。

添付図面を参照しながら本発明の実施形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。

図１は、本実施形態の情報処理装置１００を用いた名刺の読み取りの様子を示した説明図である。図１に示される通り、この情報処理装置１００は、たとえば携帯電話や携帯端末であって、操作者に携帯可能に構成されたものである。そして、この情報処理装置１００は、名刺などの被写体に対してマーカを照射し、このマーカに基づいて被写体の傾きを検出し、この被写体の傾き具合に基づいて画像データを補正して、傾きのない被写体の画像データを取り込むことができる。

図２は、マーカが照射された名刺を示す説明図であり、図２（ａ）は、マーカが歪むことなく、正面から撮影された名刺を示し、図２（ｂ）は、名刺が下方から撮影された名刺であって、そのマーカが楕円に歪んでいることを示し、図２（ｃ）は、同様に名刺が右斜め下方から撮影された名刺であって、そのマーカが斜めに歪んでいることを示している。

本実施形態では、このように名刺等の被写体（画像取り込みの対象物）に照射されたマーカの傾き度合いに基づいて、名刺等の被写体の画像データを補正するものである。以下、その画像取り込みを行う情報処理装置１００の構成について説明する。

図３は、本実施形態の情報処理装置１００の機能を示すブロック図である。図３に示されるように、この情報処理装置１００は、画像撮影部１０１（撮影手段）、マーカ照射部１０２（照射手段）、画像読込部１０３、画像比較部１０４、マーカ識別部１０５、マーカ比較部１０６、傾き率算出部１０７（マーカ傾き手段）、傾き補正部１０８（補正手段）およびマーカ形状記憶部１０９を含んで構成されている。

図４は、情報処理装置１００のハードウェア構成図である。図３に示される情報処理装置１００は、物理的には、図４に示すように、ＣＰＵ１１、主記憶装置であるＲＡＭ１２及びＲＯＭ１３、入力デバイスであるキーボード及びマウス等の入力装置１４、ディスプレイ等の出力装置１５、ネットワークカード等のデータ送受信デバイスである通信モジュール１６、半導体メモリ等の補助記憶装置１７などを含むコンピュータシステムとして構成されている。この情報処理装置１００には、ハードウェアとして、カメラ撮影を可能にする画像撮影部１０１、およびマーカ画像を照射するためのマーカ照射部１０２をさらに備えている。

図３において説明した各機能は、図４に示すＣＰＵ１１、ＲＡＭ１２等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１１の制御のもとで入力装置１４、出力装置１５、通信モジュール１６を動作させるとともに、ＲＡＭ１２や補助記憶装置１７におけるデータの読み出し及び書き込みを行うことで実現される。以下、図３示す機能ブロックに基づいて、各機能ブロックを説明する。

画像撮影部１０１は、画像撮影を行うことで被写体の画像データを取得する部分であり、連続撮影機能を有している。例えば、１秒の間に数枚の静止画の撮影を可能にする。

マーカ照射部１０２は、被写体に対してマーカを照射する部分であり、ユーザ操作により、画像取り込み操作が行われると、画像撮影部１０１の撮影動作に同期してマーカを照射する。後述するように、このマーカ照射部１０２は、画像撮影部１０１の撮影動作に同期して、連続的に照射してもよいし、画像撮影部１０１の撮影動作に同期して、１回のみ照射するようにしてもよい。

本実施形態におけるマーカとは、非拡散光を用いて、被写体に対して何らかの形状が映し出されたものであり、格子、円、４点以上の点（シンボル）、放射形状などの傾斜面の傾きによって、そのマーカに傾きが生じるものが好ましい。例えば、図５に示されるものがマーカの例示である。図５（ａ）は、格子状のマーカを示し、図５（ｂ）は、円形のマーカを示し、図５（ｃ）は、４点以上の複数の点からなるマーカを示し、図５（ｄ）は、放射形状のマーカを示している。

画像読込部１０３は、画像撮影部１０１により取得された被写体の画像データを取り込み、一時格納するバッファとして機能する部分である。この画像読込部１０３は、画像撮影部１０１により取得された画像データ（マーカ無画像データ）と、マーカ照射部１０２によりマーカが照射された被写体を画像撮影部１０１が取得した画像データ（マーカ有画像データ）とを取得し、それぞれを記憶する。

画像比較部１０４は、画像読込部１０３に記憶されているマーカ無画像データとマーカ有画像データとを比較する部分である。ここでは、マーカ部分を含めて、その一致度を判断する。マーカ部分ですでに不一致部分が多いため、そのことを考慮して、画像のずれ具合を判断するための単位面積当たりの一致度判断の閾値Ａを調整しておく必要がある。

マーカ識別部１０５は、被写体に照射されたマーカ部分を識別する部分である。マーカ識別部１０５は、画像比較部１０４により比較された画像データのうち一致していない部分または、単位面積当たりの不一致度が所定値Ｂ（所定値Ｂ＞閾値Ａ）以上の部分の画像をマーカ部分と識別してもよいし、マーカ形状記憶部１０９に記憶されている基準となるマーカ形状に基づいて、マーカ部分を識別してもよい。

マーカ比較部１０６は、マーカ識別部１０５により識別されたマーカ部分と、マーカ形状記憶部１０９に記憶されている基準マーカとを比較する部分であり、変形があるか否かを判断する部分である。すなわち、正対していない位置から撮影したものか、否かを判断する。よって、マーカ部分が基準マーカの相似形である場合には、それは正対した位置からの撮影であると判断することができる。

傾き率算出部１０７は、マーカ比較部１０６により変形があると判断された場合に、そのマーカ部分の傾きの程度を算出する部分である。ここでは、被写体の傾きの角度を、傾き率として表す。具体的には、図６に示す原理に従って傾き率（傾き）を算出する。図６に示す通り、マーカ照射部１０２から照射されたマーカ端部に対する照射軸とマーカの中心に対する軸との角度αは、その装置の設定に基づいたものであり既知の値である。よって、その照射されるマーカの中心位置からマーカの上端部および下端部までのそれぞれ距離ａおよびｂに基づいて被写体の傾きβを算出することができる。これを縦方向および横方向、または必要に応じて斜め方向（４５度）における傾き率を算出する。

傾き補正部１０８は、傾き率算出部１０７により算出されたマーカ部分の傾きの程度に基づいて補正を行う部分である。なお、一般的には、被写体に対するマーカの中心位置とその距離を利用してオルソン補正といった既知の傾き補正技術を行うことにより、マーカ部分を正面からみたものと同様の形に補正することができる。このような傾き補正は、一般に３次元ＣＡＤなどで用いられているアルゴリズムを利用してもよい。

マーカ形状記憶部１０９は、マーカ識別部１０５およびマーカ比較部１０６において、マーカ部分の識別や判断の基準となる基準マーカを記憶する部分である。例えば、図２に示されるマーカの場合、円形のマーカを記憶することになる。

このように構成された情報処理装置１００の動作について説明する。図７は、情報処理装置１００の処理内容を示すフローチャートである。

まず、ユーザ操作により名刺読み取りモードが起動される（Ｓ１１）。なお、当然に、その対象物は名刺に限るものではない。そして、マーカ照射部１０２によりマーカが名刺などの被写体に照射される（Ｓ１２）。つぎに、ユーザ操作によりシャッター操作がなされると（Ｓ１３）、マーカ照射部１０２によるマーカ照射が停止され（消灯状態）、画像撮影部１０１による被写体の撮影が行われる（Ｓ１４）。撮影されて取得された画像データは、マーカ無画像データとして画像読込部１０３に記憶される（Ｓ１５）。

つぎに、マーカ照射部１０２によるマーカ照射が行われ（点灯状態）、画像撮影部１０１による被写体の撮影が行われる（Ｓ１６）。撮影されて取得された画像データは、マーカ有画像データとして画像読込部１０３に記憶される（Ｓ１７）。

そして、画像比較部１０４により、マーカ無画像データと、マーカ有画像データとがそれぞれ画像読込部１０３から取り出され、比較される（Ｓ１８）。そして、その比較の結果、マーカ無画像データと、マーカ有画像データとの一致度が所定値未満である場合には、たとえば表示部やスピーカ部などの出力部（図示せず）にユーザに再撮影の指示がなされる（Ｓ１９）。

また、Ｓ１８において、その一致度が所定値以上である場合には、マーカ有画像データにおけるマーカ部分は、基準マーカと相似であるか否かが、マーカ比較部１０６により判断される（Ｓ２０）。ここで、マーカ比較部１０６により、相似であると判断されると撮影して得た画像データの補正は必要なしと判断される（Ｓ２１）。

また、マーカ比較部１０６により、相似ではないと判断されると、傾き率算出部１０７により、そのマーカの傾き率が算出され（Ｓ２２）、傾き補正部１０８により、そのマーカの傾き率に基づいてマーカ無画像データの傾きが補正され、正面から撮影したのと同じ形の画像データとなるように補正される（Ｓ２３）。

この処理の様子を、画面遷移をもって説明する。図８は、撮影しているときのその表示部（図示せず）に表示されている撮影画像を示す説明図である。図８（ａ）は、マーカが照射された被写体の表示画面を示す。これは、上述図７におけるＳ１２の処理に対応したものである。また、図８（ｂ）は、シャッターを切った時の表示画面を示す。上述図７におけるＳ１４およびＳ１６の処理に対応したものである。また、図８（ｃ）は、解析中表示を示したものである。これは、図７におけるＳ１８、Ｓ２０およびＳ２２の処理に対応したものである。図８（ｄ）は、補正後の名刺を示した表示画面を示す。図７におけるＳ２２の処理後に表示されるものである。

このようにして、名刺等の被写体に対する傾き補正を行うことができる。

つぎに、本実施形態の変形例について説明する。上述実施形態においては、一つのマーカで、その傾きを把握することができる程度の大きさであったため、１回のみのマーカ照射により、その傾きを判断することができた。この変形例においては、複数の小さなマーカをその位置およびタイミングを変えて照射し、それらを合成した画像データを利用することで、マーカ群の傾きを判断しようとするものである。以下、詳細に説明する。

図９は、変形例における情報処理装置１００ａの機能構成を示すブロック図である。図９に示されるように、この変形例における情報処理装置１００ａは、画像撮影部１０１（撮影手段）、画像合成部１０１ａ（合成手段）、マーカ照射部１０２（照射手段）、マーカ駆動部１０２ａ、画像読込部１０３、画像比較部１０４（画像比較手段）、マーカ識別部１０５、マーカ比較部１０６（マーカ比較手段）、傾き率算出部１０７（傾き算出手段）、傾き補正部１０８（補正手段）およびマーカ形状記憶部１０９を含んで構成されている。上述実施形態とは、複数のマーカを連射して、そのマーカ有画像データを合成するための画像合成部１０１ａおよびマーカ駆動部１０２ａを備えている点で相違する。なお、ハードウェア構成は図４にて示したものと同様の構成をとる。以下、その相違点に着目して、変形例における情報処理装置１００ａの構成について説明する。

画像合成部１０１ａは、画像撮影部１０１にて撮影して取得した画像データのうち、マーカ有画像データを合成する部分である。なお、厳密にマーカ部分以外の画像データ部分について合成すると、そのずれ等からきれいに合成することはできないが、ここでは、複数のマーカ部分からなるマーカ群を画像データ上に構成して、その傾きを検出することを目的とするものであるため、画像データについての鮮明さを求めることはしない。

マーカ駆動部１０２ａは、マーカ照射部１０２に対して、所定時間内（たとえば０．５秒以内に）に、複数回のマーカ照射を行うよう、マーカ照射部１０２に対する駆動制御を行う部分である。さらに、マーカ駆動部１０２ａは、上述した通り、マーカ群を構成するために、そのマーカの照射位置および照射タイミングを変え、時間差をもってマーカを異なる位置に照射するように、マーカ照射部１０２を制御する。そして、画像撮影部１０１は、マーカ照射部１０２およびマーカ駆動部１０２ａのマーカ照射に同期して、撮影処理を行う。

このようにして、画像合成部１０１ａによりマーカ有画像データが合成され、画像比較部１０４は、マーカ無画像データと、合成されたマーカ有画像データとを比較して、その一致度を判断する。一致度が所定値未満であると判断する場合には、再撮影の指示がなされる。そして、マーカ識別部１０５は、合成されたマーカ有画像データからマーカ群を識別して、マーカ比較部１０６は、識別して得られたマーカ群と、マーカ形状記憶部１０９に記憶されているマーカとを比較し、その傾き程度を判断して、補正処理を行う。なお、マーカ形状記憶部１０９は、あらかじめマーカ群を正対した位置から取得したものと同じものをマーカデータとして記憶しておく。画像の比較処理や、マーカの識別処理については上述本実施形態と同じである。

図１０は、マーカの照射位置と照射タイミングとそれぞれ変えて撮影された画像データを示す説明図である。図１０（ａ）〜図１０（ｄ）は、マーカの照射位置を左上隅、左下隅、右上隅、および左下隅と順次変えていったときの状態遷移を示す。画像撮影部１０１およびマーカ照射部１０２は、マーカ駆動部１０２ａの駆動制御に従って、そのマーカの照射位置およびタイミングを変え、これに同期して画像撮影部１０１はマーカが照射された被写体の撮影処理を行う。

図１０（ｅ）は、図１０（ａ）〜図１０（ｄ）で示されたマーカ有画像データを合成した画像データを示す。図１０（ｅ）に示される通り、４つのマーカなるマーカ群は被写体の四隅に照射されたものと同等のものとなり、マーカ比較部１０６等は、これを用いてマーカ群の傾きの程度を判断することができる。

つぎに、この変形例における情報処理装置１００ａの動作について説明する。図１１は、変形例における情報処理装置１００ａの処理内容を示すフローチャートである。

上述図７に示される処理と同様に、ユーザ操作により名刺読み取りモードが起動され（Ｓ１１）、マーカ照射部１０２によりマーカが名刺などの被写体に照射される（Ｓ１２）。そして、ユーザ操作によりシャッター操作がなされる（Ｓ１３）。

ユーザによりシャッター操作がなされると、マーカ照射部１０２によるマーカ照射が停止され（消灯状態）、画像撮影部１０１による被写体の撮影が行われる（Ｓ１４）。撮影されて取得された画像データは、マーカ無画像データとして画像読込部１０３に記憶される（Ｓ１５）。

つぎに、マーカ群を生成するための撮影処理が行われる（Ｓ１６ａ〜Ｓ１７ｄ）。すなわち、マーカ照射部１０２によるマーカ照射が行われ（点灯状態）、画像撮影部１０１による被写体の撮影が行われる（Ｓ１６ａ）。ここでは、被写体の左隅に対してマーカが照射され、そのマーカが照射された被写体が撮影され、マーカ有画像データが取得される（Ｓ１６ａ）。撮影されて取得された画像データは、マーカ有画像データとして画像読込部１０３に記憶される（Ｓ１７ａ）。これら処理が、マーカの照射位置を変えて順に行われる（Ｓ１６ｂ〜Ｓ１７ｄ）。そして、マーカ有画像データの合成処理が、画像合成部１０１ａにより行われる（Ｓ１７ｅ）。

このようにして、マーカ有画像データが合成されて生成されると、画像比較部１０４により、マーカ無画像データが画像読込部１０３から取り出され、その比較処理が行われる（Ｓ１８）。そして、その比較の結果、マーカ無画像データと、マーカ有画像データとの一致度が所定値未満である場合には、たとえば表示部やスピーカ部などの出力手段（図示せず）にユーザに再撮影の指示がなされる（Ｓ１９）。

また、Ｓ１８において、その一致度が所定値Ａ以上である場合には、マーカ有画像データにおけるマーカ群部分は、基準マーカと相似であるか否かが、マーカ比較部１０６により判断される（Ｓ２０）。ここで、マーカ比較部１０６により、相似であると判断されると撮影して得た画像データの補正は必要なしと判断される（Ｓ２１）。

また、マーカ比較部１０６により、相似ではないと判断されると、傾き率算出部１０７により、そのマーカ群の傾き率が算出され（Ｓ２２）、傾き補正部１０８により、そのマーカ群の傾き率に基づいてマーカ無画像データの傾きが補正され、正面から撮影したのと同じ形の画像データとなるように補正される（Ｓ２３）。

このようにして、マーカの照射位置および照射タイミングを変え、合成することにより、マーカ群の傾きを把握して補正することができる。

つぎに、本実施形態の情報処理装置１００および変形例における情報処理装置１００ａの作用効果について説明する。まず、本実施形態の情報処理装置１００によれば、マーカ照射部１０２はマーカを被写体に対して照射し、画像撮影部１０１は、ここで照射されたタイミングで被写体を撮影して、マーカ有画像データを取得し、また、マーカの照射を行わずに、被写体を撮影して、取得されたマーカ無画像データを取得する。そして、傾き率算出部１０７は、取得されたマーカ有画像データに映し出されたマーカの傾きを算出し、傾き補正部１０８は、そのマーカの傾きに基づいて、マーカ無画像データを補正する。これにより、どのような被写体に対して、また、その被写体に対して傾いて撮影したとしても、正面から撮影したものと同等の形に補正することができる。よって、補正のためマーカをあらかじめ印刷しておく必要もないため、その被写体を限定することなく、傾き補正を行うことができる。例えば、名刺のほか、ホワイトボードにおいてもその傾きを補正することができる。

また、変形例における情報処理装置１００ａによれば、画像撮影部１０１は、マーカ照射部１０２によりマーカが照射されたマーカ有画像データを複数取得するとともに、マーカの照射を行わずに、被写体を撮影して、マーカ無画像データを取得する。そして、画像合成部１０１ａは、複数のマーカ有画像データを合成して、合成データを取得し、傾き率算出部１０７は、この合成データにおけるマーカ群の傾きを判断し、傾き補正部１０８は、そのマーカ群の傾きに基づいて、マーカ無画像データを補正する。これにより、どのような被写体に対して、また、その被写体に対して傾いて撮影したとしても、正面から撮影したものと同等の形に補正することができる。よって、補正のためマーカをあらかじめ印刷しておく必要もないため、その被写体を限定することなく、傾き補正を行うことができる。例えば、名刺のほか、ホワイトボードにおいてもその傾きを補正することができる。さらに、複数のマーカから一つのマーカ群を生成し、それを傾きの判断対象とすることで、マーカ群の大きさを大きくすることができ、傾きの判断精度を向上させることができる。

また、本実施形態または変形例における情報処理装置１００および１００ａにおいて、画像比較部１０４が、マーカ有画像データとマーカ無画像データとが同じであるか否かを判断し、同じではないと判断すると、マーカ有画像データと、マーカ無画像データとの撮影角度がずれていると判断することができる。よって、その場合には、マーカに基づいた補正を行うことはせず、再撮影指示を行うことで、誤った補正処理を行うことを防止することができる。

また、本実施形態または変形例における情報処理装置１００または１００ａにおいて、マーカ比較部１０６が、マーカ有画像データにおけるマーカと、基準となるマーカとが相似であるか否かを判断し、その結果によって、補正の要否を判断することで、無駄な補正処理を行うことがなく、効率的な処理を実行することができる。

１００…情報処理装置、１００ａ…情報処理装置、１０１…画像撮影部、１０１ａ…画像合成部、１０２…マーカ照射部、１０２ａ…マーカ駆動部、１０３…画像読込部、１０４…画像比較部、１０５…マーカ識別部、１０６…マーカ比較部、１０７…率算出部、１０８…補正部、１０９…マーカ形状記憶部。

Claims

被写体に対してマーカを照射する照射手段と、
前記照射手段によりマーカが照射されたタイミングで前記被写体を撮影して、マーカ有画像データを取得するとともに、前記照射手段によるマーカの照射を行わずに、前記被写体を撮影して、マーカ無画像データを取得する撮影手段と、
前記撮影手段により取得されたマーカ有画像データに映し出されたマーカの傾きを算出する傾き算出手段と、
前記傾き算出手段により算出されたマーカの傾きに基づいて、前記マーカ無画像データを補正する補正手段と、
を備える情報処理装置。
被写体に対して異なる位置に時間差をもって複数のマーカを照射する照射手段と、
前記照射手段によりマーカが照射されたタイミングで前記被写体を複数回撮影して、マーカ有画像データを複数取得するとともに、前記照射手段によるマーカの照射を行わずに、前記被写体を撮影して、マーカ無画像データを取得する撮影手段と、
前記撮影手段により取得された複数のマーカ有画像データを合成して、複数のマーカからなるマーカ群を取得する合成手段と、
前記合成手段により合成されて取得されたマーカ群の傾きを算出する傾き算出手段と、
前記傾き算出手段により判断されたマーカ群の傾きに基づいて、前記マーカ無画像データを補正する補正手段と、
を備える情報処理装置。
マーカ有画像データにおけるマーカが、基準となるマーカと相似であるか否かを判断するマーカ比較手段をさらに備え、
前記補正手段は、前記マーカ比較手段により、相似であると判断される場合には、補正処理を実行しないことを特徴とする請求項１に記載の情報処理装置。
前記合成手段により得られたマーカ群が、基準となるマーカ群と相似であるか否かを判断するマーカ比較手段をさらに備え、
前記補正手段は、前記マーカ比較手段により、相似であると判断される場合には、補正処理を実行しないことを特徴とする請求項２に記載の情報処理装置。
マーカ有画像データとマーカ無画像データとが同じであるか否かを判断する画像比較手段と、
前記画像比較手段により同じではないと判断されると、再撮影指示を行う出力手段とをさらに備えることを特徴とする請求項１から４のいずれか一項に記載の情報処理装置。
被写体に対してマーカを照射する照射ステップと、
前記照射ステップによりマーカが照射されたタイミングで前記被写体を撮影して、マーカ有画像データを取得するとともに、前記照射ステップによるマーカの照射を行わずに、前記被写体を撮影して、マーカ無画像データを取得する撮影ステップと、
前記撮影ステップにより取得されたマーカ有画像データに映し出されたマーカの傾きを算出する傾き算出ステップと、
前記傾き算出ステップにより算出されたマーカの傾きに基づいて、前記マーカ無画像データを補正する補正ステップと、
を備える画像データ取得方法。
被写体に対して異なる位置に時間差をもって複数のマーカを照射する照射ステップと、
前記照射ステップによりマーカが照射されたタイミングで前記被写体を複数回撮影して、マーカ有画像データを複数取得するとともに、前記照射ステップによるマーカの照射を行わずに、前記被写体を撮影して、マーカ無画像データを取得する撮影ステップと、
前記撮影ステップにより取得された複数のマーカ有画像データを合成して、複数のマーカからなるマーカ群を取得する合成ステップと、
前記合成ステップにより合成されて取得されたマーカ群の傾きを算出する傾き算出ステップと、
前記傾き算出ステップにより判断されたマーカ群の傾きに基づいて、前記マーカ無画像データを補正する補正ステップと、
を備える画像データ取得方法。