JP2015219821A - 情報処理装置、管理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、管理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP2015219821A
JP2015219821A JP2014104402A JP2014104402A JP2015219821A JP 2015219821 A JP2015219821 A JP 2015219821A JP 2014104402 A JP2014104402 A JP 2014104402A JP 2014104402 A JP2014104402 A JP 2014104402A JP 2015219821 A JP2015219821 A JP 2015219821A
Authority
JP
Japan
Prior art keywords
character
recognized
information
imaging
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014104402A
Other languages
English (en)
Inventor
山田 英樹
Hideki Yamada
英樹 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014104402A priority Critical patent/JP2015219821A/ja
Priority to PCT/JP2015/057462 priority patent/WO2015178073A1/ja
Publication of JP2015219821A publication Critical patent/JP2015219821A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Character Discrimination (AREA)

Abstract

【課題】撮像画像から認識する文字の認識精度の向上を図ることが可能な、情報処理装置、管理装置、情報処理方法、およびプログラムを提供する。【解決手段】文字が認識される対象の撮像画像である対象画像に対応する、撮像された位置を示す情報を含む撮像に関する情報に基づいて、撮像に関する情報と文字とが対応付けて記憶される参照情報から、撮像に関する情報に対応する文字を、対象画像から認識する文字の候補である文字候補として抽出させる文字候補抽出制御部と、抽出された文字候補に基づいて、対象画像から認識された文字を選択的に訂正して、対象画像から認識する文字を決定する文字決定処理部とを備え、参照情報に記憶される文字には、過去に撮像画像から認識された文字に基づく文字が含まれる、情報処理装置が提供される。【選択図】図6

Description

本開示は、情報処理装置、管理装置、情報処理方法、およびプログラムに関する。
画像が撮像された場所や時間を利用して、撮像された画像を処理する技術が開発されている。画像が撮像された場所や時間を利用して、撮像された画像を分類する技術としては、例えば下記の特許文献1に記載の技術が挙げられる。
国際公開第2010/047336号
例えば、スマートフォンや携帯電話などの機器に搭載されている撮像デバイスの高機能化に伴い、撮像デバイスにより撮像された画像(以下、「撮像画像」と示す。)が、画像から文字を認識する対象となる機会が増えてきている。しかしながら、撮像画像から文字が認識される場合には、例えば、文字に歪みが生じていることや、文字の一部が欠けていることなどによって、文書を示す文書画像から文字が認識される場合よりも、文字の誤認識が生じ易い。そのため、撮像画像から文字を認識する場合における認識精度の向上が求められている。
本開示では、撮像画像から認識する文字の認識精度の向上を図ることが可能な、新規かつ改良された情報処理装置、管理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、文字が認識される対象の撮像画像である対象画像に対応する、撮像された位置を示す情報を含む撮像に関する情報に基づいて、上記撮像に関する情報と文字とが対応付けて記憶される参照情報から、上記撮像に関する情報に対応する文字を、上記対象画像から認識する文字の候補である文字候補として抽出させる文字候補抽出制御部と、抽出された上記文字候補に基づいて、上記対象画像から認識された文字を選択的に訂正して、上記対象画像から認識する文字を決定する文字決定処理部と、を備え、上記参照情報に記憶される文字には、過去に撮像画像から認識された文字に基づく文字が含まれる、情報処理装置が提供される。
また、本開示によれば、撮像画像から認識された文字と、上記撮像画像に対応する、撮像された位置を示す情報を含む撮像に関する情報とが取得された場合に、取得された上記文字と上記撮像に関する情報とを対応付けて記録する処理部を備える、管理装置が提供される。
また、本開示によれば、文字が認識される対象の撮像画像である対象画像に対応する、撮像された位置を示す情報を含む撮像に関する情報に基づいて、上記撮像に関する情報と文字とが対応付けて記憶される参照情報から、上記撮像に関する情報に対応する文字を、上記対象画像から認識する文字の候補である文字候補として抽出させるステップと、抽出された上記文字候補に基づいて、上記対象画像から認識された文字を選択的に訂正して、上記対象画像から認識する文字を決定するステップと、を有し、上記参照情報に記憶される文字には、過去に撮像画像から認識された文字に基づく文字が含まれる、情報処理装置により実行される情報処理方法が提供される。
また、本開示によれば、文字が認識される対象の撮像画像である対象画像に対応する、撮像された位置を示す情報を含む撮像に関する情報に基づいて、上記撮像に関する情報と文字とが対応付けて記憶される参照情報から、上記撮像に関する情報に対応する文字を、上記対象画像から認識する文字の候補である文字候補として抽出させるステップ、抽出された上記文字候補に基づいて、上記対象画像から認識された文字を選択的に訂正して、上記対象画像から認識する文字を決定するステップ、をコンピュータに実行させ、上記参照情報に記憶される文字には、過去に撮像画像から認識された文字に基づく文字が含まれる、プログラムが提供される。
本開示によれば、撮像画像から認識する文字の認識精度の向上を図ることができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
撮像画像から文字を認識する処理を行う画像処理装置の構成の一例を示すブロック図である。 本実施形態に係る参照情報の一例を示す説明図である。 本実施形態に係る参照情報の一例を示す説明図である。 本実施形態に係る情報処理方法に係る処理の一例を示す流れ図である。 本実施形態に係る情報処理方法に係る処理による文字の認識の一例を示す説明図である。 本実施形態に係る情報処理方法に係る処理により決定された文字の利用例を示す説明図である。 本実施形態に係る情報処理装置の構成の一例を示すブロック図である。 本実施形態に係る管理装置の構成の一例を示すブロック図である。 本実施形態に係る管理装置のハードウェア構成の一例を示す説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下では、下記に示す順序で説明を行う。
1.本実施形態に係る情報処理方法
2.本実施形態に係る情報処理装置
3.本実施形態に係る管理装置
4.本実施形態に係るプログラム
(本実施形態に係る情報処理方法)
まず、本実施形態に係る情報処理方法について説明する。以下では、本実施形態に係る情報処理方法に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げて、本実施形態に係る情報処理方法について説明する。
撮像画像から文字が認識される場合には、例えば下記に示すような原因により、文書画像から文字が認識される場合よりも、文字の誤認識が生じ易い。
・文字が正面から撮像されないことに起因して、撮像画像に含まれる文字に歪みが生じること
・背景と文字との境界が不明瞭であること
・建物や人物などによって文字が遮られ、文字の一部しか撮像画像に含まれていないこと
・撮像時の天候や撮像場所などによって、文字に陰影が映り込み、文字部分が一様とならないこと
・撮像画像に特殊なフォントが含まれていること(例えば、特殊なフォントが用いられている看板などが、撮像された場合)
[1]撮像画像から文字を認識する場合における処理の一例
ここで、本実施形態に係る情報処理方法に係る処理を説明する前に、撮像画像から文字を認識する場合における処理の一例について説明する。
[1−1]撮像画像から文字を認識する場合における処理の第1の例
図1は、撮像画像から文字を認識する処理を行う画像処理装置10の構成の一例を示すブロック図である。
画像処理装置10は、文字領域検出処理部12と、文字認識処理部14と、文字特定処理部16とを備える。画像処理装置10では、例えば、MPU(Micro Processing Unit)などの演算回路で構成されるプロセッサが、文字領域検出処理部12、文字認識処理部14、および文字特定処理部16の役目を果たす。また、文字領域検出処理部12、文字認識処理部14、および文字特定処理部16は、各部の処理を実現可能な専用の(または汎用の)回路で構成されていてもよい。
文字領域検出処理部12は、撮像画像から文字が含まれる文字領域を検出する。文字領域検出処理部12は、例えば、文字の間隔や文字の大きさなどを利用する方法など、文字領域を検出することが可能な任意の方法を用いて、文字領域を検出する。また、文字領域検出処理部12は、例えば、撮像画像に対して、例えば、二値化やノイズ除去などの処理(前処理)を行って、以降の処理が行い易い状態に加工した上で、文字領域を検出することも可能である。また、文字領域検出処理部12は、例えば、撮像画像を、文字領域と図形を含む領域とに分類してもよい。
文字認識処理部14は、検出された文字領域から文字を認識する。文字認識処理部14は、例えば、文字領域に対して歪み補正や行の分割を行った上で、文字領域を文字ごとに分割する。また、文字認識処理部14は、分割された領域は、字体やかすれなどによって大きさが異なる場合があるので、分割された領域を正規化する。そして、文字認識処理部14は、例えば、正規化された領域から文字の特徴を示す特徴量を抽出し、特徴量と文字とが対応付けて記憶されたパターン辞書(例えば、パターン辞書データベース)から、抽出された特徴量に対応する文字を特定することによって、各領域から文字を認識する。
文字特定処理部16は、文字領域から認識された文字を訂正して、撮像画像から認識される文字を決定する。文字特定処理部16は、例えば、単語が記憶された単語辞書(例えば、単語データベース)から、文字領域から認識された文字に対応する単語を特定して、文字領域から認識された文字を訂正する。文字特定処理部16による訂正によって、例えば、誤認識された文字の訂正や誤検出された文字の除去が実現される。そして、文字特定処理部16は、訂正された文字を、撮像画像から認識される文字として決定する。
画像処理装置10は、例えば図1に示す構成によって、撮像画像から文字を認識する。画像処理装置10は、例えば、文字特定処理部16において単語辞書を用いて文字領域から認識された文字を訂正する。よって、撮像画像から文字が認識される場合における、文字の認識精度の向上を図ることができる可能性がある。
しかしながら、文字特定処理部16における処理(いわゆる、言語処理、知識処理)は、認識された意味不明な文字を訂正する場合には有効であるが、例えば、既存の異なる単語などの、既存の異なる文字列として認識された場合には訂正を行うことができないことが起こりうる。よって、第1の例に係る処理が行われたとしても、文字の認識精度の向上に繋がるとは限らない。
[1−2]撮像画像から文字を認識する場合における処理の第2の例
また、上記第1の例に係る処理よりもさらに、撮像画像から認識される文字の認識精度の向上を図る方法としては、例えば、撮像画像が撮像された位置を示す情報(例えば、緯度および経度を示すデータ)を用いる方法が考えられる。
例えば図1に示す画像処理装置10が第2の例に係る処理を行う場合を例に挙げると、画像処理装置10は、位置を示す情報と、地名や店舗名、建物名などの単語とが対応付けて記憶された辞書(例えば、地図データベースなど)から、撮像画像が撮像された位置を示す情報に対応する単語を特定する。画像処理装置10は、撮像画像が撮像された位置を示す情報に基づき特定された単語をさらに用いて、文字領域から認識された文字を訂正する。そして、画像処理装置10は、訂正された文字を、撮像画像から認識される文字として決定する。
第2の例に係る処理が行われることによって、撮像画像が撮像された位置に対応する地名などを認識する精度を、より向上させることができる可能性がある。
しかしながら、第2の例に係る処理は、撮像された位置の付近に存在する建物などにおける文字の認識に対しては有効であるが、例えば、撮像された位置から離れた位置に存在する建物や場所への誘導案内に係る文字(例えば、誘導案内標識の文字)や、“XX方面”などの遠方の地名を示す文字などの認識に適用することができない。よって、第2の例に係る処理が用いられたとしても、文字の認識精度の向上に繋がるとは限らない。
[2]本実施形態に係る情報処理方法
[2−1]本実施形態に係る情報処理方法の概要
そこで、本実施形態に係る情報処理方法では、一のユーザが撮像画像から認識させたいと考える文字は、他のユーザも同様に認識させたいと考えるであろうという点に着目し、本実施形態に係る情報処理方法に係る処理を行う本実施形態に係る情報処理装置は、過去に撮像画像から認識された文字に基づく文字を、いわゆる集合知として用いて、撮像画像から認識された文字を決定する。
より具体的には、本実施形態に係る情報処理装置は、例えば、過去に撮像画像から認識された文字に基づく文字が記憶された参照情報から抽出された、文字が認識される対象の撮像画像から認識する文字の候補を用いて、撮像画像から認識された文字を選択的に訂正する。そして、本実施形態に係る情報処理装置は、選択的に訂正された文字を、撮像画像から認識された文字として決定する。
以下では、文字が認識される対象の撮像画像を「対象画像」と示す。また、以下では、対象画像から認識する文字の候補を「文字候補」と示す。
ここで、本実施形態に係る参照情報とは、1または2以上の本実施形態に係る情報処理装置において、過去に撮像画像から認識された文字に基づく文字が、撮像に関する情報と対応付けて記憶されたデータ(または、データ群)である。本実施形態に係る参照情報は、本実施形態に係る情報処理装置それぞれが文字候補を得るための、いわゆる集合知の役目を果たす。
本実施形態に係る参照情報としては、例えば、撮像に関する情報と文字とが対応付けて記憶されるデータベース(またはテーブル)が挙げられる。なお、本実施形態に係る参照情報は、上記に限られず、撮像に関する情報と文字とを対応付けて記憶することが可能な任意の方式に係るデータ(または、データ群)であってもよい。本実施形態に係る参照情報に記憶される文字としては、例えば、1文字や、複数の文字からなる単語、1文、文章などが挙げられる。
また、本実施形態に係る“過去に撮像画像から認識された文字に基づく文字”としては、例えば、対象画像に対して本実施形態に係る情報処理方法に係る処理が行われる以前に、撮像画像から認識された文字、または、当該撮像画像から認識された文字が、参照情報を管理するユーザなどにより手動で変更された文字が挙げられる。
また、本実施形態に係る撮像に関する情報とは、撮像された位置を示す情報を含む、撮像画像の撮像に関連するデータである。本実施形態に係る撮像された位置を示す情報としては、例えば、緯度および経度を示すデータなど、位置を示すデータが挙げられる。なお、本実施形態に係る撮像された位置を示す情報は、緯度および経度を示すデータに限られず、本実施形態に係る情報処理装置などの装置において撮像された位置を特定することが可能な、任意のデータであってもよい。
なお、本実施形態に係る撮像に関する情報に含まれる情報は、撮像された位置を示す情報に限られない。例えば、本実施形態に係る撮像に関する情報には、下記に示す各種情報の1または2以上が、さらに含まれていてもよい。以下では、本実施形態に係る撮像に関する情報に含まれうる、下記に示す各種情報1または2以上を、総称して「付加情報」と示す場合がある。
・撮像デバイスに関する情報(例えば、ズーム倍率や画角、焦点距離など、撮像デバイスにおける撮像の設定を示すデータ)
・撮像される領域に関する情報(例えば、撮像された方向を示すデータや、撮像された方位を示すデータ、撮像時における撮像デバイスの仰俯角を示すデータ、撮像時における撮像デバイスの高度を示すデータ、撮像時における撮像デバイスの角速度を示すデータなど)
・撮像される状況に関する情報(撮像時における撮像デバイスの加速度を示すデータなど)
・撮像される時間に関する情報(撮像時における時刻を示すデータなど)
ここで、撮像デバイスに関する情報が用いられることによって、撮像デバイスにより撮像される範囲を限定することが可能である。また、撮像される領域に関する情報が用いられることによって、撮像デバイスにより撮像される領域を限定することが可能である。よって、本実施形態に係る付加情報には、例えば、対象画像が撮像された可能性がある領域(以下、「撮像可能領域」と示す。)の特定に用いることが可能なデータが含まれうる。
また、撮像可能領域が特定されることによって、例えば、“高速道路上から見える文字と高架下で見える文字”や“建物の屋上から見える文字と、1階から見える文字”(例えば高度を示すデータが用いられる場合)や、“カメラに対して近い文字と遠方にある文字”や“大きな文字と小さな文字”(例えば、焦点距離の設定を示すデータが用いられる場合)などがより認識し易くなる。
また、撮像される状況に関する情報が用いられることによって、例えば歩きでの撮像や乗り物で移動しての撮像など、撮像デバイスにより撮像される状況を限定することが可能である。撮像される状況が限定されることによって、例えば、歩行者が見える文字と電車から見える文字とがより認識し易くなる。
また、撮像される時間に関する情報が用いられることによって、撮像デバイスにより撮像された時間、または、時間帯を特定することができるので、撮像デバイスにより撮像された環境を限定することが可能である。撮像された環境が限定されることによって、例えば、“夜だけライトアップされた街頭ディスプレイ文字”や、“ランチメニューとディナーメニュー”、“季節によって異なる看板の文字”などがより認識し易くなる。
つまり、参照情報に付加情報が含まれる場合には、付加情報によって、参照情報から抽出される文字候補を、限定される撮像可能領域に対応する文字や、限定される撮像される状況に対応する文字、限定される撮像された環境に対応する文字に絞ることができる。すなわち、参照情報に付加情報が含まれる場合には、付加情報によって参照情報から抽出される文字候補をフィルタリングすることができる。
よって、参照情報に付加情報が含まれる場合には、集合知の役目を果たす参照情報から、対象画像に含まれる文字により近い文字候補を抽出することが可能となる。
図2A、図2Bそれぞれは、本実施形態に係る参照情報の一例を示す説明図である。図2A、図2Bでは、参照情報が、データベース(またはテーブル)である例を示している。
参照情報には、例えば、文字(図2AのA、図2BのA)と、撮像された位置を示す情報(図2AのB、図2BのB)と、付加情報(図2AのC、図2BのC)が対応付けて記憶される。また、参照情報には、例えば図2A、図2Bに示すように、文字の言語を示すデータ(図2AのD、図2BのD)が、文字などと対応付けて記憶されていてもよい。
参照情報に記憶される文字としては、例えば図2Aに示すような、地名が挙げられる。また、参照情報に記憶される文字は、地名に限られない。例えば、参照情報には、図2Bの“芋蔵”や“黒豚豚骨しゃぶしゃぶ”のような店名や、建物名、商品名など、撮像画像に含まれうる任意の文字が記憶されていてもよい。
また、図2A、図2Bでは、付加情報として、方向を示すデータ(例えば、基準方向に対する角度を示すデータ)と、高度を示すデータ、加速度を示すデータ、角速度を示すデータ、…が、参照情報に記憶されている例を示している。なお、参照情報に記憶される付加情報の例が、図2A、図2Bに示す例に限られないことは、言うまでもない。
上記のように、本実施形態に係る情報処理装置は、文字候補を用いて撮像画像から認識された文字を選択的に訂正して、撮像画像から認識された文字を決定する。よって、参照情報に付加情報が含まれる場合には、撮像画像から認識する文字の認識精度をより向上させることができる。
なお、本実施形態に係る参照情報は、図2A、図2Bに示す例に限られない。例えば、本実施形態に係る参照情報には、付加情報(図2AのC、図2BのC)と、文字の言語を示すデータ(図2AのD、図2BのD)との一方または双方が含まれていなくてもよい。
[2−2]本実施形態に係る情報処理方法に係る処理
次に、本実施形態に係る情報処理方法に係る処理について、より具体的に説明する。本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば(1)文字候補抽出制御処理、および(2)文字決定処理を行う。
(1)文字候補抽出制御処理
本実施形態に係る情報処理装置は、対象画像に対応する撮像に関する情報に基づいて、参照情報から、撮像に関する情報に対応する文字を、文字候補として抽出させる。
本実施形態に係る情報処理装置は、例えば、撮像を行った撮像デバイスから撮像に関する情報を取得し、取得された撮像に関する情報を、対象画像に対応する撮像に関する情報として用いる。
本実施形態に係る情報処理装置は、例えば、撮像を行った撮像デバイスが主体的に送信した撮像に関する情報を、通信部(後述する)などを介して受信することによって、撮像デバイスから撮像に関する情報を取得する。また、本実施形態に係る情報処理装置は、例えば、撮像を行った撮像デバイスに対して、対象画像に対応する撮像に関する情報の送信要求を送信させ、撮像デバイスが当該送信要求に応じて送信した撮像に関する情報を、通信部(後述する)などを介して受信することによって、撮像デバイスから撮像に関する情報を取得してもよい。上記送信要求には、例えば、撮像に関する情報の送信命令と、対象画像を示す情報(例えば、対象画像の名前を示すデータや、対象画像のID、対象画像のタイムスタンプなど、対象画像を特定することが可能なデータ)とが含まれる。
本実施形態に係る情報処理装置は、例えば、撮像デバイスが備える撮像に関する情報の生成に係る各種デバイスや、撮像デバイスに接続された撮像に関する情報の生成に係る各種デバイスの検出データを、撮像デバイスから取得し、取得された当該検出データを撮像に関する情報として用いる。また、本実施形態に係る情報処理装置は、例えば、撮像の設定を示すデータ(撮像デバイスに関する情報の一例)を撮像デバイスから取得し、取得された当該撮像の設定を示すデータを撮像に関する情報として用いる。
ここで、撮像に関する情報の生成に係る各種デバイスとしては、例えば下記に示すデバイスが挙げられる。なお、撮像に関する情報の生成に係るデバイスは、下記に示す例に限られず、撮像に関する情報を生成することが可能な、任意のデバイスであってもよい。
・GPS(Global Positioning System)デバイス:位置を示す情報を生成するデバイスの一例
・ジャイロセンサ:撮像される領域に関する情報を生成するデバイスの一例
・加速度センサ:撮像される状況に関する情報を生成するデバイスの一例
・時計:撮像される時間に関する情報を生成するデバイスの一例
なお、撮像に関する情報は、撮像デバイスが備えるデバイスや、撮像デバイスに接続されたデバイスにより生成されることに限られない。
例えば、撮像デバイスまたは撮像デバイスを備える装置が、基地局(撮像デバイスの外部装置の一例)と通信を行うことが可能な場合、基地局は、セルベース測位などにより撮像を行った撮像デバイスの位置を特定することができ、また、基地局は、通信により撮像が行われた時間を特定することができる。また、例えば、撮像デバイスまたは撮像デバイスを備える装置が、IEEE802.11などを利用した無線LAN(Local Area Network)による通信を行うことが可能な場合には、撮像を行った撮像デバイスなどと通信を行うことが可能なアクセスポイントのMACアドレス(Media Access Control address)のデータや電波強度を示すデータを利用することによって、サーバ(撮像デバイスの外部装置の一例)は、撮像を行った撮像デバイスの位置を特定することができる。よって、撮像に関する情報は、基地局やサーバなどの、撮像デバイスの外部装置において生成されるデータであってもよい。
撮像に関する情報が上記のような外部装置において生成される場合、本実施形態に係る情報処理装置は、例えば、外部装置において生成された撮像に関する情報を、外部装置から取得し、または、生成された当該撮像に関する情報を、撮像デバイスまたは撮像デバイスを備える装置を介して取得する。そして、本実施形態に係る情報処理装置は、取得された撮像に関する情報を、対象画像に対応する撮像に関する情報として用いる。
また、例えば、本実施形態に係る情報処理装置が備える記憶部(後述する)や本実施形態に係る情報処理装置に接続されている外部記録媒体などの記録媒体に、撮像画像と撮像に関する情報とが対応付けられて記憶されている場合には、本実施形態に係る情報処理装置は、当該記録媒体から対象画像である一の撮像画像に対応付けられている撮像に関する情報を読み出し、読み出された撮像に関する情報を用いてもよい。なお、本実施形態に係る情報処理装置における対象画像に対応する撮像に関する情報の取得方法が、上記に示す例に限られないことは、言うまでもない。
例えば、対象画像に対応する撮像に関する情報が取得されたときに、記憶部(後述する)や外部記録媒体に参照情報が記憶されている場合には、本実施形態に係る情報処理装置は、参照情報から、取得された撮像に関する情報に対応付けられた文字を抽出する。そして、本実施形態に係る情報処理装置は、参照情報から抽出された文字を、文字候補とする。
ここで、本実施形態に係る情報処理装置は、例えば、参照情報から、取得された撮像に関する情報と一致する撮像に関する情報を検索し、検索された撮像に関する情報に対応付けられた文字を抽出する。
また、本実施形態に係る情報処理装置は、例えば、取得された撮像に関する情報が示す各値から、取得された撮像に関する情報が示す各値に設定された値を加減算した値の範囲内に含まれる値を示す、撮像に関する情報を、参照情報から検索し、検索された撮像に関する情報に対応付けられた文字を抽出してもよい。
また、例えば、対象画像に対応する撮像に関する情報が取得されたときに、本実施形態に係る情報処理装置とネットワークを介して(または直接的に)通信が可能な外部装置が備える記録媒体、または、当該外部装置に接続された外部記録媒体に、参照情報が記憶されている場合には、本実施形態に係る情報処理装置は、当該外部装置に対して、文字候補を送信させる文字候補送信要求を送信させる。本実施形態に係る情報処理装置が文字候補送信要求を送信させる対象の外部装置としては、例えば、後述する本実施形態に係る管理装置などが挙げられる。
本実施形態に係る情報処理装置は、例えば、本実施形態に係る情報処理装置が備える通信部(後述する)や、本実施形態に係る情報処理装置に接続されている外部通信デバイスに、文字候補送信要求を送信させる。
ここで、本実施形態に係るネットワークとしては、例えば、LANやWAN(Wide Area Network)などの有線ネットワーク、無線LAN(WLAN:Wireless Local Area Network)や基地局を介した無線WAN(WWAN:Wireless Wide Area Network)などの無線ネットワーク、あるいは、TCP/IP(Transmission Control Protocol/Internet Protocol)などの通信プロトコルを用いたインターネットなどが挙げられる。
また、本実施形態に係る文字候補送信要求には、例えば、文字候補を参照情報から抽出して送信させるための命令と、対象画像に対応する撮像に関する情報とが含まれる。
文字候補送信要求を受信した外部装置は、文字候補送信要求に応じて、例えば本実施形態に係る情報処理装置が参照情報から文字を抽出する場合と同様に、参照情報から受信された撮像に関する情報に対応付けられた文字を抽出する。また、上記外部装置は、抽出された文字を、本実施形態に係る情報処理装置に対して送信する。そして、本実施形態に係る情報処理装置は、文字候補送信要求に応じて外部装置から送信された文字(参照情報から抽出された文字)を、文字候補とする。
参照情報に、取得された撮像に関する情報に対応する1または2以上の文字が含まれる場合、本実施形態に係る情報処理装置が文字候補抽出制御処理として上記のような処理を行うことによって、1または2以上の文字候補が得られる。また、参照情報に取得された撮像に関する情報に対応する文字が含まれない場合には、文字候補は得られない。
また、本実施形態に係る情報処理装置は、例えば、対象画像に対応する撮像に関する情報が取得されない場合には、文字候補を抽出させない。よって、対象画像に対応する撮像に関する情報が取得されない場合には、文字候補は得られない。
(2)文字決定処理
本実施形態に係る情報処理装置は、上記(1)の処理(文字候補抽出制御処理)において参照情報から抽出された文字候補に基づいて、対象画像から認識された文字を選択的に訂正して、対象画像から認識する文字を決定する。
ここで、対象画像から認識された文字としては、例えば、本実施形態に係る情報処理装置の外部装置が、対象画像である撮像画像から認識した文字が挙げられる。また、対象画像から認識された文字は、例えば、本実施形態に係る情報処理装置が、対象画像である撮像画像から認識した文字であってもよい。上記外部装置、本実施形態に係る情報処理装置は、対象画像に対して、例えば、図1に示す文字領域検出処理部12における処理および文字認識処理部14における処理を行うことによって、対象画像から文字を認識する。
以下では、対象画像から文字を認識する処理を「文字認識処理」と示す。また、以下では、対象画像から認識された文字を「認識された文字」と示す場合がある。
本実施形態に係る情報処理装置は、認識された文字と文字候補との類似度に基づいて、認識された文字を選択的に訂正する。
ここで、本実施形態に係る類似度とは、認識された文字と文字候補とがどの位類似しているかを定量的に示す指標である。本実施形態に係る類似度は、例えば、認識された文字と文字候補との間におけるジャロ・ウィンクラー距離やレーベンシュタイン距離を算出することによって、求められる。
なお、本実施形態に係る類似度の算出方法は上記に限られない。例えば、本実施形態に係る情報処理装置は、認識された文字と文字候補とがどの位類似しているかを定量的に求めることが可能な任意の方法を用いて、類似度を算出することが可能である。
より具体的には、本実施形態に係る情報処理装置は、類似度に基づく処理として、例えば下記の(2−1)〜(2−4)に示す処理を行う。
ここで、上記(1)の処理(文字候補抽出制御処理)において複数の文字候補が得られた場合には、本実施形態に係る情報処理装置は、得られた文字候補それぞれに対して類似度を算出する。そして、本実施形態に係る情報処理装置は、例えば、得られた複数の文字候補のうち、最も高い類似度に対応する文字候補に対して、下記の(2−1)〜(2−4)に示す処理を行う。
(2−1)文字決定処理の第1の例
類似度が、認識された文字と文字候補とが一致することを示さず、かつ、類似度が所定の閾値よりも大きい場合(または、類似度が、認識された文字と文字候補とが一致することを示さず、かつ、類似度が閾値以上の場合。以下、同様とする。)には、本実施形態に係る情報処理装置は、認識された文字を、文字候補に訂正する。ここで、本実施形態に係る“認識された文字を文字候補に訂正する”とは、例えば、認識された文字を文字候補と一致するように訂正することや、認識された文字を文字候補に置き換えることによって、認識された文字を文字候補と一致させることをいう。
そして、本実施形態に係る情報処理装置は、訂正された文字を、対象画像から認識する文字として決定する。
ここで、例えば、類似度が0≦類似度≦1の値で表される場合には、類似度が1を示すときに、類似度が認識された文字と文字候補とが一致することを示す。
また、本実施形態に係る閾値としては、例えば、予め設定された固定値や、ユーザ操作などにより変更可能な可変値が挙げられる。類似度が0≦類似度≦1の値で表される場合における本実施形態に閾値としては、例えば、0.7や0.8などが挙げられる。なお、本実施形態に閾値が、上記に示す例に限られないことは、言うまでもない。
類似度が、認識された文字と文字候補とが一致することを示さず、かつ、類似度が所定の閾値よりも大きい場合とは、認識された文字が文字候補と一致はしていないが、文字候補に似ている文字である場合に該当する。よって、上記の場合、本実施形態に係る情報処理装置は、認識された文字を、文字候補に訂正して、訂正された文字を、対象画像から認識する文字として決定する。
(2−2)文字決定処理の第2の例
類似度が、認識された文字と文字候補とが一致することを示す場合には、本実施形態に係る情報処理装置は、認識された文字を訂正しない。そして、本実施形態に係る情報処理装置は、認識された文字を、対象画像から認識する文字として決定する。
文字候補は、過去に撮像画像から認識された文字に基づく文字が含まれる参照情報から抽出された文字であるので、類似度が、認識された文字と文字候補とが一致することを示す場合には、認識された文字が、対象画像から正しく文字が認識された文字である可能性が高い。よって、上記の場合、本実施形態に係る情報処理装置は、認識された文字を訂正せず、認識された文字を、対象画像から認識する文字として決定する。
(2−3)文字決定処理の第3の例
類似度が所定の閾値以下である場合(または、類似度が当該閾値より小さい場合。以下、同様とする。)には、本実施形態に係る情報処理装置は、文字候補を用いずに認識された文字を訂正する。そして、本実施形態に係る情報処理装置は、訂正された文字を、対象画像から認識する文字として決定する。
類似度が所定の閾値以下である場合とは、認識された文字が文字候補に似ている文字ではない場合に該当する。よって、上記の場合には、本実施形態に係る情報処理装置は、認識された文字を文字候補で訂正しない。本実施形態に係る情報処理装置は、例えば、図1の文字決定処理部16と同様の処理を行うことによって、認識された文字を訂正する。
(2−4)文字決定処理の第4の例
本実施形態に係る情報処理装置は、上記(2−1)に示す第1の例に係る処理〜上記(2−3)に示す第3の例に係る処理のうちの2以上を組み合わせた処理を行うことも可能である。
本実施形態に係る情報処理装置は、類似度に基づく処理として、例えば上記(2−1)に示す第1の例に係る処理〜上記(2−4)に示す第4の例に係る処理のいずれかの処理を行うことによって、類似度に基づいて認識された文字を選択的に訂正する。
なお、本実施形態に係る文字決定処理は、上記に限られない。
例えば、上記(1)の処理(文字候補抽出制御処理)において文字候補が抽出されない場合には、本実施形態に係る情報処理装置は、上記(2−3)に示す第3の例に係る処理と同様に、文字候補を用いずに認識された文字を訂正する。そして、本実施形態に係る情報処理装置は、訂正された文字を、対象画像から認識する文字として決定する。
本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば、上記(1)の処理(文字候補抽出制御処理)、および上記(2)の処理(文字決定処理)を行う。
ここで、本実施形態に係る情報処理装置は、上記(2)の処理(文字決定処理)において、文字候補に基づいて認識された文字を選択的に訂正して、対象画像から認識する文字を決定する。また、本実施形態に係る文字候補は、上記(1)の処理(文字候補抽出制御処理)によって、集合知の役目を果たす参照情報から抽出された文字である。
よって、集合知を利用して対象画像から認識する文字を決定するので、本実施形態に係る情報処理装置は、例えば、認識された文字が、既存の異なる文字列として認識された場合であっても、文字候補に基づいて認識された文字を訂正して、対象画像から認識する文字を決定することができる。また、本実施形態に係る情報処理装置は、例えば、対象画像に含まれる文字が、撮像された位置から離れた位置に存在する建物や場所への誘導案内に係る文字や、“XX方面”などの遠方の地名を示す文字などであっても、文字候補に基づいて認識された文字を訂正して、対象画像から認識する文字を決定することができる。また、本実施形態に係る情報処理装置は、例えば、対象画像に含まれる文字の一部が欠けていたり、かすれていることによって、対象画像から正常に文字が認識されない場合であっても、字候補に基づいて認識された文字を訂正して、対象画像から認識する文字を決定することができる。
したがって、本実施形態に係る情報処理装置は、撮像画像から認識する文字の認識精度の向上を図ることができる。
また、本実施形態に係る情報処理装置は、集合知を利用して対象画像から認識する文字を決定するので、撮像画像から認識する文字の認識速度をより速めることができる。
また、撮像に関する情報に付加情報が含まれ、参照情報に付加情報が含まれる場合には、付加情報によって撮像時の状況などが考慮された上で、参照情報から文字候補が抽出される。よって、上記の場合には、本実施形態に係る情報処理装置は、例えば参照される集合知が絞り込まれた上で得られた文字候補によって、対象画像から認識する文字を決定することができるので、より高速に、かつ、より高精度に、対象画像から認識する文字を決定することができる。
なお、本実施形態に係る情報処理方法に係る処理は、上記(1)の処理(文字候補抽出制御処理)、および上記(2)の処理(文字決定処理)に限られない。本実施形態に係る情報処理装置は、例えば、下記に示す(3)の処理、下記に示す(4)の処理の一方、または双方の処理を、本実施形態に係る情報処理方法に係る処理としてさらに行うことも可能である。
(3)記録制御処理
本実施形態に係る情報処理装置は、上記(2)の処理(文字決定処理)において決定された文字を、対象画像に対応する撮像に関する情報と対応付けて、参照情報に記録させる。
例えば、記憶部(後述する)や外部記録媒体に参照情報が記憶されている場合には、本実施形態に係る情報処理装置は、上記(2)の処理(文字決定処理)において決定された文字を、対象画像に対応する撮像に関する情報とを、参照情報に対応付けて記録する。
ここで、本実施形態に係る情報処理装置は、例えば、上記(2)の処理(文字決定処理)において文字が決定されるごとに、当該文字と対象画像に対応する撮像に関する情報とを参照情報に記録する。
なお、本実施形態に係る記録制御処理は、上記に限られない。
例えば、本実施形態に係る情報処理装置は、決定された文字と対象画像に対応する撮像に関する情報との組み合わせが、設定されている回数以上得られた場合(または、当該組み合わせが当該回数より多く得られた場合)に、決定された文字と対象画像に対応する撮像に関する情報とを、参照情報に対応付けて記録してもよい。上記のように参照情報への記録を制御することによって、例えば、より正確な文字を参照情報に記憶させることができ、また、悪意などによる恣意的な文字が参照情報に記録される可能性を低減することができる。
本実施形態に係る設定されている回数は、予め設定された固定値であってもよいし、ユーザ操作などに基づき変更可能な可変値であってもよい。
また、例えば、本実施形態に係る情報処理装置とネットワークを介して(または直接的に)通信が可能な外部装置が備える記録媒体、または、当該外部装置に接続された外部記録媒体に、参照情報が記憶されている場合には、本実施形態に係る情報処理装置は、当該外部装置に対して、参照情報を更新させる更新要求を送信させる。本実施形態に係る情報処理装置が更新要求を送信させる対象の外部装置としては、例えば、後述する本実施形態に係る管理装置などが挙げられる。
本実施形態に係る情報処理装置は、例えば、本実施形態に係る情報処理装置が備える通信部(後述する)や、本実施形態に係る情報処理装置に接続されている外部通信デバイスに、更新要求を送信させる。
ここで、本実施形態に係る更新要求には、例えば、決定された文字と対象画像に対応する撮像に関する情報とを対応付けて参照情報に記録させるための命令と、決定された文字と、対象画像に対応する撮像に関する情報とが含まれる。
更新要求を受信した外部装置は、例えば、更新要求が受信されるごとに、更新要求に含まれる文字と撮像に関する情報とを参照情報に記録する。
なお、更新要求を受信した外部装置における処理は、上記に限られない。
例えば、更新要求を受信した外部装置は、更新要求に含まれる文字と撮像に関する情報との組み合わせが、設定されている回数以上得られた場合(または、当該組み合わせが当該回数より多く得られた場合)に、更新要求に含まれる文字と撮像に関する情報とを、参照情報に対応付けて記録してもよい。上記のように参照情報への記録が制御されることによって、例えば、より正確な文字を参照情報に記憶させることができ、また、悪意などによる恣意的な文字が参照情報に記録される可能性を低減することができる。
(4)文字認識処理
本実施形態に係る情報処理装置は、対象画像から文字を認識する。本実施形態に係る情報処理装置は、上述したように、例えば、図1に示す文字領域検出処理部12における処理および文字認識処理部14における処理を行うことによって、対象画像から文字を認識する。
本実施形態に係る文字認識処理を行う場合、本実施形態に係る情報処理装置は、上記(2)の処理(文字決定処理)において、本実施形態に係る文字認識処理により認識された文字を選択的に訂正して、対象画像から認識する文字を決定する。
本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば、(I)“上記(1)の処理(文字候補抽出制御処理)、および上記(2)の処理(文字決定処理)”、(II)“上記(1)の処理(文字候補抽出制御処理)、上記(2)の処理(文字決定処理)、および上記(3)の処理(記録制御処理)”、(III)“上記(1)の処理(文字候補抽出制御処理)、上記(2)の処理(文字決定処理)、および上記(4)の処理(文字認識処理)”、(IV)“上記(1)の処理(文字候補抽出制御処理)〜上記(4)の処理(文字認識処理)”を行う。
本実施形態に係る情報処理装置が、本実施形態に係る情報処理方法に係る処理として上記(I)の処理〜上記(IV)の処理のいずれかの処理を行う場合であっても、本実施形態に係る情報処理装置は、上記(1)の処理(文字候補抽出制御処理)、および上記(2)の処理(文字決定処理)によって、文字候補に基づいて認識された文字を選択的に訂正して、対象画像から認識する文字を決定することができる。
なお、上記(1)の処理(文字候補抽出制御処理)、上記(2)の処理(文字決定処理)、上記(3)の処理(記録制御処理)、および上記(4)の処理(文字認識処理)は、便宜上、本実施形態に係る情報処理方法に係る処理を切り分けたものである。よって、本実施形態に係る情報処理方法に係る処理は、上記(I)の処理〜上記(IV)の処理それぞれを1つの処理と捉えることもでき、または、上記(I)の処理〜上記(IV)の処理それぞれを、(任意の切り分け方によって)2以上の処理と捉えることも可能である。
[2−3]本実施形態に係る情報処理方法に係る処理の具体例
図3は、本実施形態に係る情報処理方法に係る処理の一例を示す流れ図である。ここで、図3では、例えばステップS100、S102の処理が、上記(4)の処理(文字認識処理)に該当する。また、図3では、例えばステップS104、S112の処理が、上記(1)の処理(文字候補抽出制御処理)に該当する。また、図3では、例えばステップS108の処理、およびステップS114〜S120の処理が、上記(2)の処理(文字決定処理)に該当する。
本実施形態に係る情報処理装置は、対象画像から文字領域を検出する(S100)。本実施形態に係る情報処理装置は、例えば図1に示す文字領域検出処理部12と同様の処理を行うことによって、対象画像から文字領域を検出する。
ここで、本実施形態に係る情報処理装置は、例えば、撮像デバイスから主体的に送信される撮像画像を、通信部(後述する)などを介して受信することによって、対象画像を取得する。また、本実施形態に係る情報処理装置は、例えば、撮像画像を示すデータが記憶されている記録媒体から、当該データを読み出すことによって、対象画像を取得してもよい。
本実施形態に係る情報処理装置は、対象画像から文字を認識する(S102)。本実施形態に係る情報処理装置は、例えば図1に示す文字認識処理部14と同様の処理を行うことによって、対象画像から文字を認識する。
本実施形態に係る情報処理装置は、対象画像に対応する撮像に関する情報を取得する(S104)。本実施形態に係る情報処理装置は、例えば、撮像デバイスから主体的に送信される撮像に関する情報を、通信部(後述する)などを介して受信することによって、対象画像に対応する撮像に関する情報を取得する。また、本実施形態に係る情報処理装置は、例えば、撮像画像を示すデータと撮像に関する情報とが対応付けて記憶されている記録媒体から、対象画像に対応する撮像に関する情報を読み出すことによって、撮像に関する情報を取得してもよい。
本実施形態に係る情報処理装置は、対象画像に対応する撮像に関する情報が取得されたか否かを判定する(S106)
ステップS106において対象画像に対応する撮像に関する情報が取得されたと判定されない場合には、本実施形態に係る情報処理装置は、例えば図1に示す文字決定処理部16と同様に、単語辞書を用いて認識された文字を訂正する(S108)。そして、本実施形態に係る情報処理装置は、訂正された文字を、対象画像から認識する文字として決定する。
また、ステップS106において対象画像に対応する撮像に関する情報が取得されたと判定された場合には、本実施形態に係る情報処理装置は、取得された撮像に関する情報に基づいて、参照情報から文字情報を抽出させる(S110)。本実施形態に係る情報処理装置は、例えば、参照情報を検索することや、外部装置に参照情報を検索させることによって、参照情報から文字情報を抽出させる。
本実施形態に係る情報処理装置は、文字候補が得られたか否かを判定する(S112)。ここで、参照情報には、過去に撮像画像から認識された文字に基づく文字が含まれるので、ステップS112の処理は、例えば、撮像に関する情報に対応する撮像可能領域などにおいて、過去に認識された文字があるか否かを判定する処理であるといえる。
ステップS112において文字候補が得られない場合には、本実施形態に係る情報処理装置は、ステップS108の処理を行い、訂正された文字を、対象画像から認識する文字として決定する。
また、ステップS112において文字候補が得られた場合には、本実施形態に係る情報処理装置は、認識された文字と文字候補との類似度を算出する(S114)。本実施形態に係る情報処理装置は、例えば認識された文字と文字候補との間におけるジャロ・ウィンクラー距離などを算出し、算出の結果得られた値を類似度とする。
本実施形態に係る情報処理装置は、類似度が、認識された文字と文字候補とが完全に一致していることを示しているか否かを判定する(S116)。本実施形態に係る情報処理装置は、例えば類似度が0≦類似度≦1の値で表されるときには、類似度が“1”を示す場合に、認識された文字と文字候補とが完全に一致していることを示していると判定する。
ステップS116において認識された文字と文字候補とが完全に一致していることを示していると判定された場合には、本実施形態に係る情報処理装置は、認識された文字を訂正せず、認識された文字を対象画像から認識する文字として決定する。
また、ステップS116において認識された文字と文字候補とが完全に一致していることを示していると判定されない場合には、本実施形態に係る情報処理装置は、類似度が所定の閾値以上であるか否かを判定する(S118)。なお、本実施形態に係る情報処理装置は、ステップS118において、類似度が所定の閾値より大きいか否かを判定してもよい。
ステップS118において類似度が所定の閾値以上であると判定された場合には、本実施形態に係る情報処理装置は、文字候補を用いて認識された文字を訂正する(S120)。そして、本実施形態に係る情報処理装置は、訂正された文字を、対象画像から認識する文字として決定する。
また、ステップS118において類似度が所定の閾値以上であると判定されない場合には、本実施形態に係る情報処理装置は、ステップS108の処理を行い、訂正された文字を、対象画像から認識する文字として決定する。
本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば図3に示す処理を行うことによって、対象画像から認識する文字を決定する。
次に、本実施形態に係る情報処理方法に係る処理による文字の認識を、具体例を挙げて説明する。
図4は、本実施形態に係る情報処理方法に係る処理による文字の認識の一例を示す説明図である。図4に示すAは、対象画像の一例を示しており、図4に示すBは、対象画像から認識された文字の一例を示している。また、図4に示すCは、本実施形態に係る情報処理方法に係る処理により決定された、対象画像から認識する文字の一例を示している。
例えば図4のBに示すように認識された文字が“桜本町”であり、取得された撮像に関する情報が下記を示す場合を例に挙げる。
・緯度:35.450918(位置を示す情報の一例)
・経度:139.631073(位置を示す情報の一例)
・方向:115[°](付加情報の一例)
・高度:N/A(付加情報の一例)
本実施形態に係る情報処理装置は、撮像に関する情報に含まれる位置を示す情報および付加情報に基づいて、例えば、位置から半径X[Km]以内であり、北方向を基準方向として時計回りに“115−t[°]<θ<115+t[°]”の範囲(tは、方向に係る閾値であり、Xは、撮像デバイスの解像度と相関する閾値。)を、撮像可能領域として特定する。
本実施形態に係る情報処理装置は、例えば図2Aに示す参照情報から、撮像に関する情報に基づき特定された撮像可能領域に対応する文字を抽出させて、文字候補を得る。例えば図2Aに示す参照情報からは、“桜木町”、“野毛方面”、
“横浜ワールドポーターズ”、“横浜美術館”が、文字候補として得られる。
本実施形態に係る情報処理装置は、得られた文字候補それぞれに対して類似度を算出する。そして、図4の例では、本実施形態に係る情報処理装置は、認識された文字“桜本町”との類似度が最も高い“桜木町”を用いて、当該認識された文字“桜本町”を“桜木町”に訂正する。そして、本実施形態に係る情報処理装置は、訂正された文字である“桜木町”を、対象画像から認識する文字として決定する。
本実施形態に係る情報処理方法では、上述したように、いわゆる集合知を利用して撮像画像から認識された文字を選択的に訂正する。よって、本実施形態に係る情報処理方法が用いられることによって、例えば“rn”(rとn)と“m”となど、人間でも誤認識しやすい文字が撮像画像に含まれる場合であっても、撮像画像から認識された文字を正しい文字に訂正することができる。
[2−4]本実施形態に係る情報処理方法に係る処理により決定された文字の利用例
次に、本実施形態に係る情報処理方法に係る処理により決定された文字の利用例を挙げる。
(i)第1の利用例:参照情報の更新(集合知の更新)
例えば、本実施形態に係る情報処理装置が上記(3)の処理(記録制御処理)を行うことによって参照情報が更新され、その結果、集合知が更新される。
なお、本実施形態に係る参照情報の更新方法は、本実施形態に係る情報処理装置が上記(3)の処理(記録制御処理)を行う方法に限られない。例えば、本実施形態に係る情報処理装置は、決定された文字と対象画像に対応する撮像に関する情報とを、外部装置に送信し、当該外部装置が参照情報を更新してもよい。本実施形態に係る参照情報を更新することが可能な上記外部装置の構成の一例については、後述する本実施形態に係る管理装置を例に挙げて説明する。
(ii)第2の利用例:翻訳
本実施形態に係る情報処理方法では、上述したように、いわゆる集合知を利用して撮像画像から認識された文字を選択的に訂正するので、本実施形態に係る情報処理方法が用いられることによって、撮像画像から認識する文字の認識精度の向上が図られる。そのため、本実施形態に係る情報処理方法に係る処理により決定された文字に対して、翻訳処理が行われた場合には、より正しい翻訳結果が得られる可能性が高い。
よって、本実施形態に係る情報処理方法に係る処理により決定された文字が、例えば、案内板や、標識、観光地案内、飲食施設のメニュー、公共交通機関の路線図や駅周辺地図などに記載された文字である場合には、これらに記載された文字が翻訳された文字を、ユーザに対して提示することが可能となる。
図5は、本実施形態に係る情報処理方法に係る処理により決定された文字の利用例を示す説明図である。図5は、標識に記載された文字が翻訳された文字が、ユーザが有する機器の表示画面に表示された例を示している。
(iii)第3の利用例:決定された文字と同一の文字が記載された位置の提示
例えば、公共交通機関の路線図や駅周辺地図などを示す画像の中から、本実施形態に係る情報処理方法に係る処理により決定された文字と同一の文字が検索されて、検索された文字の位置が、ユーザに提示される。
(iv)第4の利用例:決定された文字に基づく検索結果の提示
例えば、決定された文字と同一の文字が含まれる画像が検索され、検索された画像が、一覧表示などの任意の提示方法によって、ユーザに提示される。また、決定された文字に基づいて、Webページなどが検索されてもよい。
(v)第5の利用例:撮像画像のメタデータとしての利用
本実施形態に係る情報処理方法に係る処理により決定された文字は、対象画像である撮像画像のメタデータとして、当該撮像画像と対応付けて記録媒体に記録される。上記記録媒体に記憶されたメタデータは、画像の分類や、画像の検索、画像のフィルタリングなどに用いられる。
(本実施形態に係る情報処理装置)
次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な、本実施形態に係る情報処理装置の構成の一例について説明する。以下では、本実施形態に係る情報処理方法に係る処理として、上記(1)の処理(文字候補抽出制御処理)、上記(2)の処理(文字決定処理)、および上記(4)の処理(文字認識処理)が行われる場合における、本実施形態に係る情報処理装置の構成を例に挙げる。
図6は、本実施形態に係る情報処理装置100の構成の一例を示すブロック図である。情報処理装置100は、例えば、文字認識部102と、文字候補抽出制御部104と、文字決定処理部106とを備える。
また、情報処理装置100は、例えば、制御部(図示せず)や、ROM(Read Only Memory。図示せず)、RAM(Random Access Memory。図示せず)、外部装置と通信を行うための通信部(図示せず)、記憶部(図示せず)などを備えていてもよい。
制御部(図示せず)は、例えば、MPUなどの演算回路で構成されるプロセッサや、各種回路などで構成され、情報処理装置100全体を制御する。また、制御部(図示せず)は、例えば、情報処理装置100において、文字認識部102、文字候補抽出制御部104、および文字決定処理部106のうちの1または2以上の役目を果たしてもよい。なお、文字認識部102、文字候補抽出制御部104、および文字決定処理部106のうちの1または2以上が、各部の処理を実現可能な専用の(または汎用の)回路で構成されていてもよいことは、言うまでもない。
ROM(図示せず)は、制御部(図示せず)が使用するプログラムや演算パラメータなどの制御用データを記憶する。RAM(図示せず)は、制御部(図示せず)により実行されるプログラムなどを一時的に記憶する。
通信部(図示せず)は、情報処理装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、外部装置と無線または有線で通信を行う役目を果たす。ここで、通信部(図示せず)としては、例えば、通信アンテナおよびRF(Radio Frequency)回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11ポートおよび送受信回路(無線通信)、あるいはLAN(Local Area Network)端子および送受信回路(有線通信)などが挙げられる。
記憶部(図示せず)は、情報処理装置100が備える記憶手段であり、例えば、アプリケーションなど様々なデータを記憶する。また、記憶部(図示せず)には、例えば、撮像画像を示す画像データや、当該画像データに対応する撮像に関する情報、参照情報など、本実施形態に係る情報処理方法に係る処理に係るデータが記憶されていてもよい。
ここで、記憶部(図示せず)としては、例えば、ハードディスク(Hard Disk)などの磁気記録媒体や、フラッシュメモリ(flash memory)などの不揮発性メモリ(nonvolatile memory)などが挙げられる。また、記憶部(図示せず)は、情報処理装置100から着脱可能であってもよい。
文字認識部102は、上記(4)の処理(文字認識処理)を主体的に行う役目を果たし、対象画像である撮像画像から文字を認識する。
文字認識部102は、例えば、図1に示す文字領域検出処理部12と同様の機能を有する文字領域検出処理部108と、文字認識処理部14と同様の機能を有する文字認識処理部110とを備え、図1に示す画像処理装置10と同様に、撮像画像から文字を認識する。
文字候補抽出制御部104は、上記(1)の処理(文字候補抽出制御処理)を主体的に行う役目を果たし、対象画像に対応する撮像に関する情報に基づいて、参照情報から、撮像に関する情報に対応する文字を文字候補として抽出させる。図6では、撮像に関する情報に、位置に関する情報と付加情報とが含まれる例を示している。
また、文字候補抽出制御部104は、対象画像に対応する撮像に関する情報が取得されない場合には、文字候補を抽出させない。
文字決定処理部106は、上記(2)の処理(文字決定処理)を主体的に行う役目を果たし、文字候補抽出制御部104により得られた文字候補に基づいて、対象画像から認識された文字を選択的に訂正して、対象画像から認識する文字を決定する。文字決定処理部106は、例えば、例えば上記(2−1)に示す第1の例に係る処理〜上記(2−4)に示す第4の例に係る処理のいずれかの処理を行うことによって、対象画像から認識する文字を決定する。
図6では、文字決定処理部106が、第1の文字決定処理部112と、第2の文字決定処理部114とを有し、上記(2−4)に示す第4の例に係る処理を行う例を示している。ここで、第1の文字決定処理部112は、例えば図3のステップS106の処理、およびステップS110〜S120の処理を行う。また、第2の文字決定処理部114は、例えば図3のステップS108の処理を行う。
情報処理装置100は、例えば図6に示す構成によって、本実施形態に係る情報処理方法に係る処理(例えば、上記(1)の処理(文字候補抽出制御処理)、上記(2)の処理(文字決定処理)、および上記(4)の処理(文字認識処理))を行う。
したがって、情報処理装置100は、例えば図6に示す構成によって、撮像画像から認識する文字の認識精度の向上を図ることができる。
また、例えば図6に示す構成によって、情報処理装置100は、例えば上述したような、本実施形態に係る情報処理方法に係る処理が行われることにより奏される効果を、奏することができる。
なお、本実施形態に係る情報処理装置の構成は、図6に示す構成に限られない。
例えば、本実施形態に係る情報処理装置は、図6に示す文字認識部102を備えない構成をとることが可能である。
文字認識部102を備えない構成をとる場合であっても、本実施形態に係る情報処理装置は、上記(1)の処理(文字候補抽出制御処理)において得られた文字候補と、外部装置において対象画像である撮像画像から認識された文字とを用いて、上記(2)の処理(文字決定処理)を行うことが可能である。よって、文字認識部102を備えない構成をとる場合であっても、本実施形態に係る情報処理装置は、撮像画像から認識する文字の認識精度の向上を図ることができる。
また、本実施形態に係る情報処理装置は、上記(3)の処理(記録制御処理)を主体的に行う役目を果たす記録制御部(図示せず)をさらに備えていてもよい。記録制御部(図示せず)を備える場合には、参照情報を更新させることにより、いわゆる集合知を更新させることが可能となる。よって、記録制御部(図示せず)をさらに備える場合には、文字候補によって認識された文字が訂正される頻度を、より高めることができる可能性が高まるので、撮像画像から認識する文字の認識精度の向上を図ることができる。
また、本実施形態に係る情報処理装置は、上述した本実施形態に係る情報処理方法に係る処理により決定された文字の利用例に係る各処理を行う、処理部をさらに備えていてもよい。
また、上述したように、上記(1)の処理(文字候補抽出制御処理)、上記(2)の処理(文字決定処理)、上記(3)の処理(記録制御処理)、および上記(4)の処理(文字認識処理)は、便宜上、本実施形態に係る情報処理方法に係る処理を切り分けたものである。よって、本実施形態に係る情報処理方法に係る処理を実現するための構成は、図12に示す構成や、上記変形例に係る構成に限られず、本実施形態に係る情報処理方法に係る処理の切り分け方に応じた構成をとることが可能である。
(本実施形態に係る管理装置)
上記(i)に示す第1の利用例(参照情報の更新)において示したように、本実施形態に係る参照情報は、本実施形態に係る情報処理方法に係る処理により決定された文字と、対象画像に対応する撮像に関する情報とによって、更新することが可能である。また、参照情報が更新されることによって、文字候補によって認識された文字が訂正される頻度を、より高めることができる可能性が高まるので、撮像画像から認識する文字の認識精度の向上を図ることができる。
また、上記(i)に示す第1の利用例(参照情報の更新)において示したように、参照情報の更新に係る処理は、本実施形態に係る情報処理装置の外部装置において行われてもよい。
そこで、次に、参照情報を更新することが可能な装置として、本実施形態に係る管理装置について説明する。
図7は、本実施形態に係る管理装置200の構成の一例を示すブロック図である。図7では、管理装置200とネットワーク300を介して接続される情報処理装置100、…をさらに示している。つまり、図7は、管理装置200と、情報処理装置100、…とが、ネットワーク300を介して接続される情報処理システム1000を示している。ここで、本実施形態に係る“一の装置と他の装置とが接続される”とは、例えば、一の装置と他の装置とが通信を行うことが可能な状態であることをいう。
管理装置200は、例えば、通信部202と、記憶部204と、制御部206とを備える。
また、管理装置200は、例えば、ROM(図示せず)や、RAM(図示せず)、記憶部(図示せず)、ユーザが操作可能な操作部(図示せず)、様々な画面を表示画面に表示する表示部(図示せず)などを備えていてもよい。管理装置200は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
ROM(図示せず)は、制御部206が使用するプログラムや演算パラメータなどの制御用データを記憶する。RAM(図示せず)は、制御部206により実行されるプログラムなどを一時的に記憶する。
操作部(図示せず)としては、後述する操作入力デバイスが挙げられる。また、表示部(図示せず)としては、後述する表示デバイスが挙げられる。
[管理装置200のハードウェア構成例]
図8は、本実施形態に係る管理装置200のハードウェア構成の一例を示す説明図である。管理装置200は、例えば、MPU250と、ROM252と、RAM254と、記録媒体256と、入出力インタフェース258と、操作入力デバイス260と、表示デバイス262と、通信インタフェース264とを備える。また、管理装置200は、例えば、データの伝送路としてのバス266で各構成要素間を接続する。
MPU250は、例えば、MPUなどの演算回路で構成される、1または2以上のプロセッサや、各種処理回路などで構成され、管理装置200全体を制御する制御部206として機能する。また、MPU250は、管理装置200において、例えば、後述する処理部210の役目を果たす。
ROM252は、MPU250が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。RAM254は、例えば、MPU250により実行されるプログラムなどを一時的に記憶する。
記録媒体256は、記憶部204として機能し、例えば、参照情報などの本実施形態に係る情報処理方法に係るデータや、各種アプリケーションなど様々なデータを記憶する。ここで、記録媒体256としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体256は、管理装置200から着脱可能であってもよい。
入出力インタフェース258は、例えば、操作入力デバイス260や、表示デバイス262を接続する。操作入力デバイス260は、操作部(図示せず)として機能し、また、表示デバイス262は、表示部(図示せず)として機能する。ここで、入出力インタフェース258としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)(登録商標)端子、各種処理回路などが挙げられる。
また、操作入力デバイス260は、例えば、管理装置200上に備えられ、管理装置200の内部で入出力インタフェース258と接続される。操作入力デバイス260としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。
また、表示デバイス262は、例えば、管理装置200上に備えられ、管理装置200の内部で入出力インタフェース258と接続される。表示デバイス262としては、例えば、液晶ディスプレイ(Liquid Crystal Display)や有機ELディスプレイ(Organic Electro-Luminescence Display。または、OLEDディスプレイ(Organic Light Emitting Diode Display)ともよばれる。)などが挙げられる。
なお、入出力インタフェース258が、管理装置200の外部装置としての外部操作入力デバイス(例えば、キーボードやマウスなど)や外部表示デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス262は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスであってもよい。
通信インタフェース264は、管理装置200が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、情報処理装置100などの外部装置と無線または有線で通信を行うための通信部202として機能する。ここで、通信インタフェース264としては、例えば、通信アンテナおよびRF回路や、IEEE802.15.1ポートおよび送受信回路、IEEE802.11ポートおよび送受信回路、あるいはLAN端子および送受信回路などが挙げられる。
管理装置200は、例えば図8に示す構成によって、参照情報を更新する処理を行う。なお、本実施形態に係る管理装置200のハードウェア構成は、図8に示す構成に限られない。
例えば、管理装置200は、接続されている外部通信デバイスを介して、情報処理装置100などの外部装置と通信を行う場合には、通信インタフェース264を備えていなくてもよい。また、管理装置200は、記憶媒体256や、操作デバイス260、表示デバイス262を備えない構成をとることも可能である。
再度図7を参照して、管理装置200の構成の一例について説明する。通信部202は、管理装置200が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、情報処理装置100などの外部装置と無線または有線で通信を行う。また、通信部202は、例えば制御部206により通信が制御される。
ここで、通信部202としては、例えば、通信アンテナおよびRF回路や、LAN端子および送受信回路などが挙げられるが、通信部202の構成は、上記に限られない。例えば、通信部202は、USB端子および送受信回路など通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成をとることができる。
記憶部204は、管理装置200が備える記憶手段であり、例えば、参照情報などの本実施形態に係る情報処理方法に係るデータや、各種アプリケーションなど様々なデータを記憶する。図7では、参照情報220が記憶部204に記憶されている例を示している。
ここで、記憶部204としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記憶部204は、管理装置200から着脱可能であってもよい。
制御部206は、例えばMPUなどで構成され、管理装置200全体を制御する役目を果たす。また、制御部206は、例えば処理部210を備える。
処理部210は、参照情報を更新する処理を主導的に行う。処理部210は、例えば、撮像画像から認識された文字と、撮像画像に対応する撮像に関する情報とが取得された場合に、取得された文字と撮像に関する情報とを、参照情報に対応付けて記録する。
ここで、処理部210は、例えば、情報処理システム1000を構成する情報処理装置100それぞれから、撮像画像から認識された文字と、撮像画像に対応する撮像に関する情報とが取得されるごとに、当該文字と対象画像に対応する撮像に関する情報とを対応付けて参照情報に記録する。
なお、処理部210における参照情報を更新する処理は、上記に限られない。
例えば、処理部210は、取得された文字と対象画像に対応する撮像に関する情報との組み合わせが、設定されている回数以上得られた場合(または、当該組み合わせが当該回数より多く得られた場合)に、取得された文字と対象画像に対応する撮像に関する情報とを、参照情報に対応付けて記録してもよい。処理部210が、上記のように参照情報への記録を制御することによって、例えば、より正確な文字を参照情報に記憶させることができ、また、悪意などによる恣意的な文字が参照情報に記録される可能性を低減することができる。
処理部210は、例えば上記のような処理を行うことによって、参照情報を更新する。
なお、処理部210が行う処理は、参照情報を更新する処理に限られない。例えば、処理部210は、参照情報から文字候補となる文字を抽出する処理を行ってもよい。
処理部210は、例えば、情報処理システム1000を構成する情報処理装置100から送信された文字候補送信要求に基づいて、文字候補送信要求に含まれる撮像に関する情報に対応する文字を参照情報から検索して、参照情報から、文字候補となる文字を抽出する。そして、処理部210は、抽出された文字候補を、通信部202に、文字候補送信要求を送信した情報処理装置100に対して送信させる。
本実施形態に係る管理装置200は、例えば図7に示す構成によって、参照情報を更新する。
なお、本実施形態に係る管理装置の構成は、図7に示す構成に限られない。
例えば、本実施形態に係る管理装置は、図7に示す処理部210を、制御部206とは個別に備える(例えば、別の処理回路で実現する)ことができる。
また、参照情報から文字候補となる文字を抽出する処理を行う機能を有する場合、本実施形態に係る管理装置は、例えば、参照情報から文字候補となる文字を抽出する処理を行う抽出処理部(図示せず)を、処理部210とは別体の処理回路で実現してもよい。
また、通信部202と同様の機能、構成を有する外部の通信デバイスを介して、情報処理装置100などの外部装置と通信を行う場合には、本実施形態に係る管理装置は、通信部202を備えない構成をとることも可能である。
以上、本実施形態として、情報処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、携帯電話やスマートフォンなどの通信装置、タブレット型の装置、PC(Personal Computer)やサーバなどのコンピュータ、表示装置、映像/音楽再生装置(または映像/音楽記録再生装置)、ゲーム機など、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理IC(Integrated Circuit)に適用することもできる。
また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティングなどのように、ネットワークへの接続(または各装置間の通信)を前提とした、複数の装置からなるシステムにより実現されてもよい。つまり、上述した本実施形態に係る情報処理装置は、例えば、複数の装置からなるシステムとして実現することも可能である。
また、本実施形態として、管理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、PCやサーバなどのコンピュータなど、参照情報の更新することが可能な、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ICに適用することもできる。
(本実施形態に係るプログラム)
[I]本実施形態に係る情報処理装置として機能させるためのプログラム
コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム(例えば、上記(I)の処理、上記(II)の処理、上記(III)の処理、上記(IV)の処理など、本実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム)が、コンピュータにおいてプロセッサなどにより実行されることによって、撮像画像から認識する文字の認識精度の向上を図ることができる。
また、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る情報処理方法に係る処理によって奏される効果を、奏することができる。
[II]本実施形態に係る管理装置として機能させるためのプログラム
コンピュータを、本実施形態に係る管理装置として機能させるためのプログラム(例えば、“上記参照情報を更新する処理”や、“上記参照情報を更新する処理、および上記参照情報から文字候補となる文字を抽出する処理”)が、コンピュータにおいてプロセッサなどにより実行されることによって、参照情報を更新することができる。
ここで、参照情報が更新されることによって、文字候補によって認識された文字が訂正される頻度を、より高めることができる可能性が高まる。よって、コンピュータを、本実施形態に係る管理装置として機能させるためのプログラムによって、撮像画像から認識する文字の認識精度の向上を図ることが可能な情報処理システムを実現することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記では、コンピュータを、本実施形態に係る情報処理装置、または、本実施形態に係る管理装置として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本実施形態は、さらに、上記プログラムをそれぞれ記憶させた記録媒体、または、上記プログラムを共に記憶させた記録媒体も併せて提供することができる。
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
文字が認識される対象の撮像画像である対象画像に対応する、撮像された位置を示す情報を含む撮像に関する情報に基づいて、前記撮像に関する情報と文字とが対応付けて記憶される参照情報から、前記撮像に関する情報に対応する文字を、前記対象画像から認識する文字の候補である文字候補として抽出させる文字候補抽出制御部と、
抽出された前記文字候補に基づいて、前記対象画像から認識された文字を選択的に訂正して、前記対象画像から認識する文字を決定する文字決定処理部と、
を備え、
前記参照情報に記憶される文字には、過去に撮像画像から認識された文字に基づく文字が含まれる、情報処理装置。
(2)
前記文字決定処理部は、前記認識された文字と前記文字候補との類似度に基づいて、前記認識された文字を選択的に訂正する、(1)に記載の情報処理装置。
(3)
前記文字決定処理部は、
前記類似度が、前記認識された文字と前記文字候補とが一致することを示さず、かつ、前記類似度が所定の閾値よりも大きい場合、または、前記類似度が、前記認識された文字と前記文字候補とが一致することを示さず、かつ、前記類似度が前記閾値以上の場合に、前記認識された文字を前記文字候補に訂正し、
訂正された文字を、前記対象画像から認識する文字として決定する、(2)に記載の情報処理装置。
(4)
前記文字決定処理部は、
前記類似度が、前記認識された文字と前記文字候補とが一致することを示す場合には、前記認識された文字を訂正せず、
前記認識された文字を、前記対象画像から認識する文字として決定する、(2)または(3)に記載の情報処理装置。
(5)
前記文字決定処理部は、
前記類似度が所定の閾値以下である場合、または、前記類似度が前記閾値より小さい場合には、前記文字候補を用いずに前記認識された文字を訂正し、
訂正された文字を、前記対象画像から認識する文字として決定する、(2)〜(4)のいずれか1つに記載の情報処理装置。
(6)
前記文字決定処理部は、前記文字候補が抽出されない場合には、前記文字候補を用いずに前記認識された文字を訂正し、
訂正された文字を、前記対象画像から認識する文字として決定する、(1)〜(5)のいずれか1つに記載の情報処理装置。
(7)
前記文字候補抽出制御部は、前記対象画像に対応する前記撮像に関する情報が取得されない場合には、前記文字候補を抽出させない、(1)〜(6)のいずれか1つに記載の情報処理装置。
(8)
前記撮像に関する情報には、撮像デバイスに関する情報、撮像される領域に関する情報、撮像される状況に関する情報、撮像される時間に関する情報のうちの、1または2以上がさらに含まれる、(1)〜(7)のいずれか1つに記載の情報処理装置。
(9)
決定された文字を、前記対象画像に対応する前記撮像に関する情報と対応付けて、前記参照情報に記録させる記録制御部をさらに備える、(1)〜(8)のいずれか1つに記載の情報処理装置。
(10)
前記対象画像から文字を認識する文字認識部をさらに備え、
前記文字決定処理部は、前記文字認識部において認識された文字を選択的に訂正して、前記対象画像から認識する文字を決定する、(1)〜(9)のいずれか1つに記載の情報処理装置。
(11)
撮像画像から認識された文字と、前記撮像画像に対応する、撮像された位置を示す情報を含む撮像に関する情報とが取得された場合に、取得された前記文字と前記撮像に関する情報とを対応付けて記録する処理部を備える、管理装置。
(12)
文字が認識される対象の撮像画像である対象画像に対応する、撮像された位置を示す情報を含む撮像に関する情報に基づいて、前記撮像に関する情報と文字とが対応付けて記憶される参照情報から、前記撮像に関する情報に対応する文字を、前記対象画像から認識する文字の候補である文字候補として抽出させるステップと、
抽出された前記文字候補に基づいて、前記対象画像から認識された文字を選択的に訂正して、前記対象画像から認識する文字を決定するステップと、
を有し、
前記参照情報に記憶される文字には、過去に撮像画像から認識された文字に基づく文字が含まれる、情報処理装置により実行される情報処理方法。
(13)
文字が認識される対象の撮像画像である対象画像に対応する、撮像された位置を示す情報を含む撮像に関する情報に基づいて、前記撮像に関する情報と文字とが対応付けて記憶される参照情報から、前記撮像に関する情報に対応する文字を、前記対象画像から認識する文字の候補である文字候補として抽出させるステップ、
抽出された前記文字候補に基づいて、前記対象画像から認識された文字を選択的に訂正して、前記対象画像から認識する文字を決定するステップ、
をコンピュータに実行させ、
前記参照情報に記憶される文字には、過去に撮像画像から認識された文字に基づく文字が含まれる、プログラム。
10 画像処理装置
12、108 文字領域検出処理部
14、110 文字認識処理部
16、106 文字決定処理部
100 情報処理装置
102 文字認識部
104 文字候補抽出部
112 第1の文字決定処理部
114 第2の文字決定処理部
200 管理装置
202 通信部
204 記憶部
206 制御部
210 処理部
220 参照情報
300 ネットワーク
1000 情報処理システム

Claims (13)

  1. 文字が認識される対象の撮像画像である対象画像に対応する、撮像された位置を示す情報を含む撮像に関する情報に基づいて、前記撮像に関する情報と文字とが対応付けて記憶される参照情報から、前記撮像に関する情報に対応する文字を、前記対象画像から認識する文字の候補である文字候補として抽出させる文字候補抽出制御部と、
    抽出された前記文字候補に基づいて、前記対象画像から認識された文字を選択的に訂正して、前記対象画像から認識する文字を決定する文字決定処理部と、
    を備え、
    前記参照情報に記憶される文字には、過去に撮像画像から認識された文字に基づく文字が含まれる、情報処理装置。
  2. 前記文字決定処理部は、前記認識された文字と前記文字候補との類似度に基づいて、前記認識された文字を選択的に訂正する、請求項1に記載の情報処理装置。
  3. 前記文字決定処理部は、
    前記類似度が、前記認識された文字と前記文字候補とが一致することを示さず、かつ、前記類似度が所定の閾値よりも大きい場合、または、前記類似度が、前記認識された文字と前記文字候補とが一致することを示さず、かつ、前記類似度が前記閾値以上の場合に、前記認識された文字を前記文字候補に訂正し、
    訂正された文字を、前記対象画像から認識する文字として決定する、請求項2に記載の情報処理装置。
  4. 前記文字決定処理部は、
    前記類似度が、前記認識された文字と前記文字候補とが一致することを示す場合には、前記認識された文字を訂正せず、
    前記認識された文字を、前記対象画像から認識する文字として決定する、請求項2に記載の情報処理装置。
  5. 前記文字決定処理部は、
    前記類似度が所定の閾値以下である場合、または、前記類似度が前記閾値より小さい場合には、前記文字候補を用いずに前記認識された文字を訂正し、
    訂正された文字を、前記対象画像から認識する文字として決定する、請求項2に記載の情報処理装置。
  6. 前記文字決定処理部は、前記文字候補が抽出されない場合には、前記文字候補を用いずに前記認識された文字を訂正し、
    訂正された文字を、前記対象画像から認識する文字として決定する、請求項1に記載の情報処理装置。
  7. 前記文字候補抽出制御部は、前記対象画像に対応する前記撮像に関する情報が取得されない場合には、前記文字候補を抽出させない、請求項1に記載の情報処理装置。
  8. 前記撮像に関する情報には、撮像デバイスに関する情報、撮像される領域に関する情報、撮像される状況に関する情報、撮像される時間に関する情報のうちの、1または2以上がさらに含まれる、請求項1に記載の情報処理装置。
  9. 決定された文字を、前記対象画像に対応する前記撮像に関する情報と対応付けて、前記参照情報に記録させる記録制御部をさらに備える、請求項1に記載の情報処理装置。
  10. 前記対象画像から文字を認識する文字認識部をさらに備え、
    前記文字決定処理部は、前記文字認識部において認識された文字を選択的に訂正して、前記対象画像から認識する文字を決定する、請求項1に記載の情報処理装置。
  11. 撮像画像から認識された文字と、前記撮像画像に対応する、撮像された位置を示す情報を含む撮像に関する情報とが取得された場合に、取得された前記文字と前記撮像に関する情報とを対応付けて記録する処理部を備える、管理装置。
  12. 文字が認識される対象の撮像画像である対象画像に対応する、撮像された位置を示す情報を含む撮像に関する情報に基づいて、前記撮像に関する情報と文字とが対応付けて記憶される参照情報から、前記撮像に関する情報に対応する文字を、前記対象画像から認識する文字の候補である文字候補として抽出させるステップと、
    抽出された前記文字候補に基づいて、前記対象画像から認識された文字を選択的に訂正して、前記対象画像から認識する文字を決定するステップと、
    を有し、
    前記参照情報に記憶される文字には、過去に撮像画像から認識された文字に基づく文字が含まれる、情報処理装置により実行される情報処理方法。
  13. 文字が認識される対象の撮像画像である対象画像に対応する、撮像された位置を示す情報を含む撮像に関する情報に基づいて、前記撮像に関する情報と文字とが対応付けて記憶される参照情報から、前記撮像に関する情報に対応する文字を、前記対象画像から認識する文字の候補である文字候補として抽出させるステップ、
    抽出された前記文字候補に基づいて、前記対象画像から認識された文字を選択的に訂正して、前記対象画像から認識する文字を決定するステップ、
    をコンピュータに実行させ、
    前記参照情報に記憶される文字には、過去に撮像画像から認識された文字に基づく文字が含まれる、プログラム。
JP2014104402A 2014-05-20 2014-05-20 情報処理装置、管理装置、情報処理方法、およびプログラム Pending JP2015219821A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014104402A JP2015219821A (ja) 2014-05-20 2014-05-20 情報処理装置、管理装置、情報処理方法、およびプログラム
PCT/JP2015/057462 WO2015178073A1 (ja) 2014-05-20 2015-03-13 情報処理装置、管理装置、情報処理方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014104402A JP2015219821A (ja) 2014-05-20 2014-05-20 情報処理装置、管理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2015219821A true JP2015219821A (ja) 2015-12-07

Family

ID=54553750

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014104402A Pending JP2015219821A (ja) 2014-05-20 2014-05-20 情報処理装置、管理装置、情報処理方法、およびプログラム

Country Status (2)

Country Link
JP (1) JP2015219821A (ja)
WO (1) WO2015178073A1 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01311390A (ja) * 1988-06-10 1989-12-15 Toshiba Corp 文字置換制御方式
JP2000348142A (ja) * 1999-06-08 2000-12-15 Nippon Telegr & Teleph Corp <Ntt> 文字認識装置,文字認識方法,および文字認識方法を実行するプログラムを記録した記録媒体
EP1703445A4 (en) * 2004-01-08 2011-07-27 Nec Corp CHARACTER RECOGNITION DEVICE, MOBILE COMMUNICATION SYSTEM, MOBILE TERMINAL DEVICE, FIXED STATION DEVICE, CHARACTER RECOGNITION METHOD, AND CHARACTER RECOGNITION PROGRAM
JP2014063300A (ja) * 2012-09-20 2014-04-10 Casio Comput Co Ltd 文字認識装置及び文字認識処理方法並びにプログラム

Also Published As

Publication number Publication date
WO2015178073A1 (ja) 2015-11-26

Similar Documents

Publication Publication Date Title
JP6208383B2 (ja) プレビューモードにおける画像キャプチャリングパラメータ調整
US10677596B2 (en) Image processing device, image processing method, and program
CN105318881B (zh) 地图导航方法、装置及系统
CN105517679B (zh) 用户地理位置的确定
CN109582880B (zh) 兴趣点信息处理方法、装置、终端及存储介质
JP4591353B2 (ja) 文字認識装置、移動通信システム、移動端末装置、固定局装置、文字認識方法および文字認識プログラム
US10460587B2 (en) Information processing apparatus, information processing method, and program
US10606824B1 (en) Update service in a distributed environment
JP6614335B2 (ja) 画像表示システム、端末、方法およびプログラム
KR101790655B1 (ko) 버스 정보 조회, 피드백 방법, 모바일 단말 및 서버
JP2016146187A (ja) コンテキスト情報を用いるカメラocr
US11373410B2 (en) Method, apparatus, and storage medium for obtaining object information
KR20110126180A (ko) 로컬 맵들 및 위치-측정 주석추가된 데이터를 제공하기 위한 인간-보조 기술
WO2019105457A1 (zh) 图像处理方法、计算机设备和计算机可读存储介质
WO2020258935A1 (zh) 定位方法及装置、电子设备和存储介质
CN111832579B (zh) 地图兴趣点数据处理方法、装置、电子设备以及可读介质
US20210295550A1 (en) Information processing device, information processing method, and program
US20130339271A1 (en) Evaluation system, evaluation method, and storage medium
WO2015178073A1 (ja) 情報処理装置、管理装置、情報処理方法、およびプログラム
US20190073791A1 (en) Image display system, terminal, method, and program
Vo et al. WhereAmI: Energy efficient positioning using partial textual signatures
CN102968611A (zh) 信息处理器和信息处理方法
JP2018159978A (ja) 情報処理装置、方法及びプログラム
US10952023B2 (en) Information processing apparatus and non-transitory computer readable medium
JP2016170790A (ja) 撮像装置