JP2012221095A - 情報処理装置および方法、プログラム、並びに撮像装置 - Google Patents

情報処理装置および方法、プログラム、並びに撮像装置 Download PDF

Info

Publication number
JP2012221095A
JP2012221095A JP2011084501A JP2011084501A JP2012221095A JP 2012221095 A JP2012221095 A JP 2012221095A JP 2011084501 A JP2011084501 A JP 2011084501A JP 2011084501 A JP2011084501 A JP 2011084501A JP 2012221095 A JP2012221095 A JP 2012221095A
Authority
JP
Japan
Prior art keywords
character string
character
display
information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011084501A
Other languages
English (en)
Other versions
JP2012221095A5 (ja
Inventor
Satoshi Kobayashi
聡 小林
Hiroshi Yamazaki
洋 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011084501A priority Critical patent/JP2012221095A/ja
Priority to US13/404,702 priority patent/US20120257832A1/en
Priority to CN2012100904365A priority patent/CN102737241A/zh
Publication of JP2012221095A publication Critical patent/JP2012221095A/ja
Publication of JP2012221095A5 publication Critical patent/JP2012221095A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • G06V30/36Matching; Classification
    • G06V30/387Matching; Classification using human interaction, e.g. selection of the best displayed recognition candidate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Character Discrimination (AREA)
  • Character Input (AREA)

Abstract

【課題】文字認識処理の結果をより容易に確認する。
【解決手段】文字認識処理部は、画像における文字列領域に対して文字認識処理を行い、文字列情報抽出部は、文字認識処理部によって文字認識された文字列から、文字列に関する情報である文字列情報を抽出し、表示用文字列生成部は、文字列情報抽出部によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成し、表示制御部は、表示用文字列を、画像における文字列領域の近傍に表示するよう制御する。本技術は、デジタルスチルカメラに適用することができる。
【選択図】図1

Description

本技術は、情報処理装置および方法、プログラム、並びに撮像装置に関し、特に、文字認識処理の結果を確認することができるようにする情報処理装置および方法、プログラム、並びに撮像装置に関する。
従来、画像に含まれる文字列の文字を認識する文字認識処理を行い、その文字認識処理の結果を、その文字列を含む画像上の所定の位置に表示する技術がある(例えば、特許文献1,2参照)。
特開2000−207487号公報 特開2004−206548号公報
しかしながら、上述した技術においては、画像に含まれる文字列の位置と、文字認識処理の結果としての文字列の位置とが離れていたり、画像に含まれる文字列の書体とは異なる書体で、文字認識処理の結果としての文字列が表示されていた。
したがって、画像に含まれる文字列と、文字認識処理の結果としての文字列とを比較しにくく、文字認識処理の結果に、誤認識された文字が含まれていたとしても、ユーザは、その誤認識された文字に気づかない恐れがあった。
本技術は、このような状況に鑑みてなされたものであり、文字認識処理の結果をより容易に確認することができるようにするものである。
本技術の一側面の情報処理装置は、画像における文字列領域に対して文字認識処理を行う文字認識処理部と、前記文字認識処理部によって文字認識された文字列から、前記文字列に関する情報である文字列情報を抽出する文字列情報抽出部と、前記文字列情報抽出部によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成する表示用文字列生成部と、前記表示用文字列を、前記画像における前記文字列領域の近傍に表示するよう制御する表示制御部とを備える。
前記文字列情報抽出部には、前記文字列情報として、前記文字列における文字それぞれの文字サイズおよび文字コードを抽出させ、前記表示用文字列生成部には、前記文字サイズに基づいて前記文字フォントを決定し、前記文字コードに基づいて、前記文字フォントの前記表示用文字列を生成させることができる。
前記文字列情報抽出部には、前記文字列情報として、前記画像における前記文字列領域の位置を抽出させ、前記表示制御部には、前記文字列領域の位置に基づいて、前記表示用文字列を、前記画像における前記文字列領域の近傍に表示するよう制御させることができる。
前記文字列情報抽出部には、前記文字列情報として、前記画像の所定方向に対する前記文字列領域の傾きを抽出させ、前記表示制御部には、前記文字列領域が前記画像の所定方向に対して傾いている場合、傾きを補正した前記文字列領域の画像を表示するよう制御させるとともに、前記表示用文字列を、傾きが補正された前記文字列領域の画像の近傍に表示するよう制御させることができる。
前記情報処理装置には、前記画像における前記文字列領域の色を識別する色識別部をさらに設け、前記表示用文字列生成部には、前記色識別部によって識別された前記文字列領域の色に基づいて、前記文字フォントの表示用文字列を生成させることができる。
前記色識別部には、前記文字列領域における文字部分の色、および前記文字部分以外の背景部分の色を識別させ、前記表示用文字列生成部には、前記文字部分の色および前記背景部分の色に基づいて、前記文字フォントの表示用文字列を生成させることができる。
本技術の一側面の情報処理方法は、画像における文字列領域に対して文字認識処理を行う文字認識処理ステップと、前記文字認識処理ステップの処理によって文字認識された文字列から、前記文字列に関する情報である文字列情報を抽出する文字列情報抽出ステップと、前記文字列情報抽出ステップの処理によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成する表示用文字列生成ステップと、前記表示用文字列を、前記画像における前記文字列領域の近傍に表示する表示ステップとを含む。
本技術の一側面のプログラムは、画像における文字列領域に対して文字認識処理を行う文字認識処理ステップと、前記文字認識処理ステップの処理によって文字認識された文字列から、前記文字列に関する情報である文字列情報を抽出する文字列情報抽出ステップと、前記文字列情報抽出ステップの処理によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成する表示用文字列生成ステップと、前記表示用文字列を、前記画像における前記文字列領域の近傍に表示するよう制御する表示制御ステップとを含む処理をコンピュータに実行させる。
本技術の一側面の撮像装置は、被写体を撮像する撮像部と、前記撮像部による撮像によって得られた撮像画像における文字列領域に対して文字認識処理を行う文字認識処理部と、前記文字認識処理部によって文字認識された文字列から、前記文字列に関する情報である文字列情報を抽出する文字列情報抽出部と、前記文字列情報抽出部によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成する表示用文字列生成部と、前記表示用文字列を、前記撮像画像における前記文字列領域の近傍に表示するよう制御する表示制御部とを備える。
本技術の一側面においては、画像における文字列領域に対して文字認識処理が行われ、文字認識された文字列から、文字列に関する情報である文字列情報が抽出され、抽出された文字列情報に応じた文字フォントの表示用文字列が生成され、表示用文字列が、画像における文字列領域の近傍に表示されるよう制御される。
本技術の一側面によれば、文字認識処理の結果をより容易に確認することが可能となる。
本技術を適用した情報処理装置としての撮像装置の一実施の形態の機能構成例を示すブロック図である。 文字列情報抽出部の機能構成例を示すブロック図である。 文字列領域色識別部の機能構成例を示すブロック図である。 表示用文字列生成部の機能構成例を示すブロック図である。 認識文字列表示処理について説明するフローチャートである。 文字列情報抽出処理について説明するフローチャートである。 文字列情報について説明する図である。 文字列情報の構成を示す図である。 文字列領域色識別処理について説明するフローチャートである。 表示用文字列生成処理について説明するフローチャートである。 表示用文字列の表示の例について説明する図である。 表示用文字列の表示の例について説明する図である。 コンピュータのハードウェアの構成例を示すブロック図である。
以下、本技術の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
1.撮像装置の機能構成
2.認識文字列表示処理
<1.撮像装置の機能構成>
図1は、本技術を適用した情報処理装置としての撮像装置の一実施の形態の構成を示している。
図1の撮像装置11は、例えば、デジタルスチルカメラとして構成され、ユーザの操作にしたがって、被写体を撮像し、その被写体の撮像画像(静止画像)を蓄積したり、ユーザに提示する。また、撮像装置11は、ユーザの操作にしたがって、撮像画像に含まれる文字列に対して文字認識処理を行い、文字認識処理の結果をユーザに提示する。なお、撮像装置11は、被写体の撮像画像として、動画像を蓄積したり、ユーザに提示するデジタルビデオカメラとして構成されるようにしてもよい。
図1の撮像装置11は、レンズ31、撮像部32、文字列領域抽出部33、文字パターンデータベース34、文字認識処理部35、文字列情報抽出部36、文字列領域色識別部37、表示用文字列生成部38、表示制御部39、および表示部40から構成される。
撮像部32は、撮像素子やA/D(Analog/Digital)変換部を含むように構成され、レンズ31からの光を受光して光電変換することにより被写体を撮像し、得られたアナログの画像信号をA/D変換する。撮像部32は、A/D変換の結果得られたデジタルの画像データ(以下、撮像画像という)を文字列領域抽出部33および表示制御部39に供給する。
文字列領域抽出部33は、被写体の撮像時に、図示せぬ操作部に対するユーザの操作によって設定される、認識対象となる文字列を含む領域(文字列領域)の画像(文字列領域画像)を、撮像部32からの撮像画像から抽出し、文字認識処理部35および表示制御部39に供給する。
文字パターンデータベース34は、文字認識処理部35によって行われる文字認識処理の結果となる文字の候補である文字パターンを記憶している。
文字認識処理部35は、文字パターンデータベース34に記憶されている文字パターンを用いて、文字列領域抽出部33からの文字列領域画像に対して文字認識処理を行い、その文字認識処理の結果を文字列領域画像とともに、文字列情報抽出部36および文字列領域色識別部37に供給する。
文字列情報抽出部36は、文字認識処理部35からの文字認識処理の結果に基づいて、文字認識処理部35からの文字列領域画像から、文字認識された文字列に関する情報である文字列情報を抽出し、表示用文字列生成部38および表示制御部39に供給する。
文字列領域色識別部37は、文字認識処理部35からの文字認識処理の結果と文字列領域画像とに基づいて、文字列領域の色を識別し、識別された色を示す情報である文字列領域色情報を、表示用文字列生成部38に供給する。
表示用文字列生成部38は、文字列領域色識別部37からの文字列領域色情報に基づいて、文字列情報抽出部36からの文字列情報に応じた文字フォントの文字列である表示用文字列を生成し、表示制御部39に供給する。ここで、文字フォントは、文字の書体を表すデータ(書体データ)を示すものとする。
表示制御部39は、表示用文字列生成部38からの表示用文字列を、撮像部32からの撮像画像における文字列領域の近傍に表示するように、表示部40の表示を制御する。
表示部40は、表示制御部39の制御の下、表示用文字列が重畳された撮影画像を表示する。
[文字列情報抽出部の構成]
ここで、図2を参照して、文字列情報抽出部36の構成について説明する。
図2の文字列情報抽出部36は、文字列サイズ測定部51、文字列位置測定部52、文字サイズ測定部53、文字コード化処理部54、および文字列情報生成部55から構成される。
文字列サイズ測定部51は、文字認識処理部35からの文字列領域画像に基づいて、撮像画像における文字列領域のサイズ(文字列サイズ)を測定し、文字列情報生成部55に供給する。
文字列位置測定部52は、文字認識処理部35からの文字列領域画像に基づいて、撮像画像における文字列領域の位置(文字列位置)を測定し、文字列情報生成部55に供給する。
文字サイズ測定部53は、文字認識処理部35からの文字認識処理の結果および文字列領域画像に基づいて、文字列領域画像における文字列の文字それぞれのサイズ(文字サイズ)を測定し、文字列情報生成部55に供給する。
文字コード化処理部54は、文字認識処理部35からの文字認識処理の結果および文字列領域画像に基づいて、文字列領域画像における文字列の文字それぞれを、所定の文字コードに変換し、文字列情報生成部55に供給する。
文字列情報生成部55は、文字列サイズ測定部51からの文字列サイズ、文字列位置測定部52からの文字列位置、文字サイズ測定部53からの文字サイズ、および文字コード化処理部54からの文字コードを構成要素とする文字列情報を生成する。
[文字列領域色識別部の構成]
次に、図3を参照して、文字列領域色識別部37の構成について説明する。
図3の文字列領域色識別部37は、文字色判定部71、背景色判定部72、および文字列領域色情報生成部73から構成される。
文字色判定部71は、文字認識処理部35からの文字認識処理の結果および文字列領域画像に基づいて、文字列領域における文字列の文字部分の色を判定し、判定された文字部分の色を表す文字色情報を文字列領域色情報生成部73に供給する。
背景色判定部72は、文字認識処理部35からの文字認識処理の結果および文字列領域画像に基づいて、文字列領域における文字列の文字部分以外の背景部分の色を判定し、判定された背景部分の色を表す背景色情報を文字列領域色情報生成部73に供給する。
文字列領域色情報生成部73は、文字色判定部71からの文字色情報および背景色判定部72からの背景色情報を構成要素とする文字列領域色情報を生成する。
[表示用文字列生成部の構成]
次に、図4を参照して、表示用文字列生成部38の構成について説明する。
図4の表示用文字列生成部38は、文字フォント決定部91および文字列生成部92から構成される。
文字フォント決定部91は、文字列情報抽出部36からの文字列情報に基づいて、表示用文字列の文字フォントを決定し、文字列生成部92に供給する。
文字列生成部92は、文字フォント決定部91からの文字フォント、文字列情報抽出部36からの文字列情報、および文字列領域色識別部37からの文字列領域色情報に基づいて、表示用文字列を生成する。
<2.認識文字列表示処理>
次に、図5を参照して、撮像装置11による認識文字列表示処理について説明する。
撮像装置11の動作モードが被写体を撮像する撮像モードで、表示部40において、撮像対象となる被写体をユーザに確認させるためのスルー画像上に、文字列領域として設定された領域を示す枠が表示され、その枠内に所定の文字列が含まれた状態で、ユーザにより、例えば、図示せぬシャッタボタンが半押しされることで、認識文字列表示処理が開始される。
ステップS11において、撮像部32は、ユーザによりシャッタボタンが半押しされたときの被写体を撮像し、得られた撮像画像を、文字列領域抽出部33および表示制御部39に供給する。
ステップS12において、文字列領域抽出部33は、撮像部32からの撮像画像において、文字列領域の文字列領域画像を抽出し、文字認識処理部35および表示制御部39に供給する。
ステップS13において、文字認識処理部35は、文字パターンデータベース34に記憶されている文字パターンを用いて、文字列領域抽出部33からの文字列領域画像に対して文字認識処理を行い、その文字認識処理の結果を文字列領域画像とともに、文字列情報抽出部36および文字列領域色識別部37に供給する。
ステップS14において、文字列情報抽出部36は、文字認識処理部35からの文字認識処理の結果に基づいて、文字認識処理部35からの文字列領域画像から文字列情報を抽出する文字列情報抽出処理を実行する。
[文字列情報抽出処理の例]
ここで、図6のフローチャートを参照して、文字列情報抽出部36による文字列情報抽出処理について説明する。
ステップS31において、文字列サイズ測定部51は、文字認識処理部35からの文字列領域画像に基づいて、撮像画像における文字列領域のサイズ(文字列サイズ)として、文字列領域の高さ、幅、および傾きを測定し、文字列情報生成部55に供給する。
図7は、撮像装置11の表示部40において、撮像画像(スルー画像)に設定された文字列領域の例を示している。図7においては、文字列領域を示す枠150内には、「DSG−TX7」の文字列が含まれている。
すなわち、ステップS31においては、例えば、文字列領域の高さおよび幅として、図7Aに示される、文字列領域を示す枠150の高さおよび幅が測定される。また、例えば、文字列領域の傾きとしては、図7Bに示されるように、撮像画像の水平方向に対する、文字列領域を示す枠150の傾きが測定される。
次に、ステップS32において、文字列位置測定部52は、文字認識処理部35からの文字列領域画像に基づいて、撮像画像における文字列領域の位置(文字列位置)として、図7Aに示されるように、表示部40(撮像画像)の左上の頂点を原点としたときの、文字列領域を示す枠150の左上の頂点の位置(縦位置および横位置)を測定し、文字列情報生成部55に供給する。なお、文字列位置は、撮像画像における文字列領域の位置を特定するものであればよく、文字列領域を示す枠150の左上の頂点以外の位置であってもよい。
ステップS33において、文字サイズ測定部53は、文字認識処理部35からの文字認識処理の結果および文字列領域画像に基づいて、文字列領域画像における文字列の文字それぞれのサイズ(文字サイズ)として、文字列の文字それぞれの高さおよび幅を測定し、文字列情報生成部55に供給する。
すなわち、ステップS33においては、例えば、図7Aの右側に示されるように、文字認識処理された文字列「DSG−TX7」の文字「D」、「S」、「G」、「−」、「T」、「X」、「7」それぞれ高さおよび幅が測定される。
ステップS34において、文字コード化処理部54は、文字認識処理部35からの文字認識処理の結果および文字列領域画像に基づいて、例えば、図7に示される、文字認識処理された文字列「DSG−TX7」の文字「D」、「S」、「G」、「−」、「T」、「X」、「7」それぞれを、例えばUnicode等の文字コードに変換し、文字列情報生成部55に供給する。
ステップS35において、文字列情報生成部55は、文字列サイズ測定部51からの文字列サイズ、文字列位置測定部52からの文字列位置、文字サイズ測定部53からの文字サイズ、および文字コード化処理部54からの文字コードを構成要素とする文字列情報を生成する。
図8は、文字列情報生成部55によって生成される文字列情報の構成例を示している。
図8に示されるように、文字列情報は、文字列の高さ、幅、および傾きからなる文字列サイズ、文字列位置、文字の高さおよび幅からなる文字サイズ、並びに文字コードから構成される。図8の文字列情報においては、文字サイズおよび文字コードは、文字列に含まれるn個の文字それぞれについて存在する。
このようにして生成された文字列情報は、表示用文字列生成部38および表示制御部39に供給され、処理は、図5のフローチャートのステップS14に戻る。
ステップS14の後、処理はステップS15に進み、文字列領域色識別部37は、文字認識処理部35からの文字認識処理の結果と文字認識処理部35からの文字列領域画像とに基づいて、文字列領域色識別処理を実行し、文字列領域色情報を生成する。
[文字列情報抽出処理の例]
ここで、図9のフローチャートを参照して、文字列領域色識別部37による文字列領域色識別処理について説明する。
ステップS51において、文字色判定部71は、文字認識処理部35からの文字認識処理の結果および文字列領域画像に基づいて、文字列領域における文字列の文字部分の色を判定し、判定された文字部分の色を表す文字色情報を文字列領域色情報生成部73に供給する。
ステップS52において、背景色判定部72は、文字認識処理部35からの文字認識処理の結果および文字列領域画像に基づいて、文字列領域における文字列の文字部分以外の背景部分の色を判定し、判定された背景部分の色を表す背景色情報を文字列領域色情報生成部73に供給する。
ステップS53において、文字列領域色情報生成部73は、文字色判定部71からの文字色情報および背景色判定部72からの背景色情報を構成要素とする文字列領域色情報を生成する。
このようにして生成された文字列領域色情報は、表示用文字列生成部38に供給され、処理は、図5のフローチャートのステップS15に戻る。
ステップS15の後、処理はステップS16に進み、表示用文字列生成部38は、文字列領域色識別部37からの文字列領域色情報に基づいて、文字列情報抽出部36からの文字列情報に応じた文字フォントの文字列である表示用文字列を生成する表示用文字列生成処理を実行する。
[表示用文字列生成処理の例]
ここで、図10のフローチャートを参照して、表示用文字列生成部38による表示用文字列生成処理について説明する。
ステップS71において、文字フォント決定部91は、文字列情報抽出部36からの文字列情報に基づいて、表示用文字列の文字フォントを決定し、文字列生成部92に供給する。
具体的には、文字フォント決定部91は、文字列情報における文字列の文字それぞれの文字サイズ(高さおよび幅)および文字コードに基づいて、文字列領域の文字の縦横比に近似し、文字列領域の文字の高さが略一致する文字フォントを決定する。
ステップS72において、文字列生成部92は、文字フォント決定部91からの文字フォント、文字列情報抽出部36からの文字列情報、および文字列領域色認識部37からの文字列領域色情報に基づいて、表示用文字列を生成する。
具体的には、文字列生成部92は、文字列情報抽出部36からの文字列情報における文字列の文字それぞれの文字コードに基づいて、文字フォント決定部91からの文字フォントの文字列である表示用文字列を生成する。また、文字列生成部92は、文字列情報の文字列サイズ(高さおよび幅)に基づいて、表示用文字列を表示するための表示領域を設定する。そして、文字列生成部92は、表示領域における表示用文字列の文字の色を、文字列領域色識別部37からの文字列領域色情報の文字色情報で表わされる色とし、表示領域における表示用文字列の背景の色を、文字列領域色情報の背景色情報で表わされる色とした表示用文字列画像を生成する。
このようにして生成された表示用文字列(表示用文字列画像)は、表示制御部39に供給され、処理は、図5のフローチャートのステップS16に戻る。
ステップS16の後、処理はステップS17に進み、表示制御部39は、表示用文字列生成部38からの表示用文字列(表示用文字列画像)を、撮像画像における文字列領域の近傍に表示するように、表示部40の表示を制御する。
具体的には、表示制御部39は、文字列情報の文字列位置に基づいて、表示用文字列生成部38からの表示用文字列画像を、撮像画像における文字列領域に並べて表示するように、表示部40の表示を制御する。
例えば、図11に示されるように、表示部40において、撮像画像における文字列領域を示す枠150内の文字列の最初の文字「D」と、表示用文字列画像200における最初の文字「D」の水平方向の位置が揃うように、表示用文字列画像200が、文字列領域を示す枠150内の下側に配置され表示される。
また、文字列情報抽出部36からの文字列情報の文字列サイズにおいて、文字列の傾きがある場合、すなわち、図7Bで説明したように、撮像画像の水平方向に対して文字列領域を示す枠150が傾いている場合、表示制御部39は、表示用文字列生成部38からの表示用文字列(表示用文字列画像)を、文字列領域抽出部33からの文字列領域画像の傾きを補正した傾き補正文字列領域画像の近傍に表示するように、表示部40の表示を制御する。
例えば、図12に示されるように、表示部40において、撮像画像における文字列領域を示す枠150で示される文字列領域画像の傾きを補正した傾き補正文字列領域画像250が、撮像画像の所定の位置に表示され、傾き補正文字列領域画像250における文字列の最初の文字「D」と、表示用文字列画像200における最初の文字「D」の水平方向の位置が揃うように、表示用文字列画像200が、傾き補正文字列領域画像250の下側に配置され表示される。
なお、表示用文字列画像200は、文字列領域を示す枠150内や傾き補正文字列領域画像250の下側に配置されるようにしたが、例えば、それぞれの上側等、文字列領域の文字列と表示用文字列画像200の文字列とを比較しやすくなる位置に配置されればよい。
以上の処理によれば、撮像画像において、文字認識処理が行われた文字列領域の近傍に、文字認識された文字列の文字のサイズに応じた文字フォントの文字列が表示されるようになる。これにより、画像に含まれる文字列と、文字認識処理の結果としての文字列とを比較しやすくなり、ユーザは、文字認識処理の結果を容易に確認することができるようになる。したがって、例えば、文字認識処理の結果に、誤認識された文字が含まれていたとしても、ユーザは、その誤認識された文字を簡単に見つけること可能となる。
また、表示用文字列画像における文字部分の色および背景部分の色を、それぞれ、撮像画像における文字列領域画像の文字部分の色および背景部分の色とすることで、画像に含まれる文字列と、文字認識処理の結果としての文字列をより比較しやすくなるので、ユーザに、文字認識処理の結果をより容易に確認させることができるようになる。
なお、文字列領域画像や撮像画像全体が、白黒画像かまたはそれに近い場合には、撮像装置11において、文字列領域色識別部37を設けないようにし、文字列領域色識別処理を行わないようにしてもよい。
また、以上においては、文字列領域は、撮像時にユーザにより設定されるものとしたが、スルー画像に含まれる複数の文字列を認識し、その中で所定の条件を満たす文字列が含まれる領域を文字列領域として設定するようにしてもよい。
さらに、以上においては、本技術を、撮像部を備える撮像装置に適用した構成について説明したが、撮像装置に限らず、本技術を、入力された画像に対して所定の処理を施して表示する情報処理装置に適用することができる。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
図13は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)901,ROM(Read Only Memory)902,RAM(Random Access Memory)903は、バス904により相互に接続されている。
バス904には、さらに、入出力インタフェース905が接続されている。入出力インタフェース905には、キーボード、マウス、マイクロホン等よりなる入力部906、ディスプレイ、スピーカ等よりなる出力部907、ハードディスクや不揮発性のメモリ等よりなる記憶部908、ネットワークインタフェース等よりなる通信部909、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア911を駆動するドライブ910が接続されている。
以上のように構成されるコンピュータでは、CPU901が、例えば、記憶部908に記憶されているプログラムを、入出力インタフェース905およびバス904を介して、RAM903にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU901)が実行するプログラムは、例えば、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等)、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア911に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア911をドライブ910に装着することにより、入出力インタフェース905を介して、記憶部908にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部909で受信し、記憶部908にインストールすることができる。その他、プログラムは、ROM902や記憶部908に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
さらに、本技術は以下のような構成をとることができる。
(1) 画像における文字列領域に対して文字認識処理を行う文字認識処理部と、
前記文字認識処理部によって文字認識された文字列から、前記文字列に関する情報である文字列情報を抽出する文字列情報抽出部と、
前記文字列情報抽出部によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成する表示用文字列生成部と、
前記表示用文字列を、前記画像における前記文字列領域の近傍に表示するよう制御する表示制御部と
を備える情報処理装置。
(2) 前記文字列情報抽出部は、前記文字列情報として、前記文字列における文字それぞれの文字サイズおよび文字コードを抽出し、
前記表示用文字列生成部は、前記文字サイズに基づいて前記文字フォントを決定し、前記文字コードに基づいて、前記文字フォントの前記表示用文字列を生成する
(1)に記載の情報処理装置。
(3) 前記文字列情報抽出部は、前記文字列情報として、前記画像における前記文字列領域の位置を抽出し、
前記表示制御部は、前記文字列領域の位置に基づいて、前記表示用文字列を、前記画像における前記文字列領域の近傍に表示させる
(1)または(2)に記載の情報処理装置。
(4) 前記文字列情報抽出部は、前記文字列情報として、前記画像の所定方向に対する前記文字列領域の傾きを抽出し、
前記表示制御部は、前記文字列領域が前記画像の所定方向に対して傾いている場合、傾きを補正した前記文字列領域の画像を表示させるとともに、前記表示用文字列を、傾きが補正された前記文字列領域の画像の近傍に表示させる
(1)または(2)に記載の情報処理装置。
(5) 前記画像における前記文字列領域の色を識別する色識別部をさらに備え、
前記表示用文字列生成部は、前記色識別部によって識別された前記文字列領域の色に基づいて、前記文字フォントの表示用文字列を生成する
(1)乃至(4)のいずれかに記載の情報処理装置。
(6) 前記色識別部は、前記文字列領域における文字部分の色、および前記文字部分以外の背景部分の色を識別し、
前記表示用文字列生成部は、前記文字部分の色および前記背景部分の色に基づいて、前記文字フォントの表示用文字列を生成する
(5)に記載の情報処理装置。
(7) 画像における文字列領域に対して文字認識処理を行う文字認識処理ステップと、
前記文字認識処理ステップの処理によって文字認識された文字列から、前記文字列に関する情報である文字列情報を抽出する文字列情報抽出ステップと、
前記文字列情報抽出ステップの処理によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成する表示用文字列生成ステップと、
前記表示用文字列を、前記画像における前記文字列領域の近傍に表示する表示ステップと
を含む情報処理方法。
(8) 画像における文字列領域に対して文字認識処理を行う文字認識処理ステップと、
前記文字認識処理ステップの処理によって文字認識された文字列から、前記文字列に関する情報である文字列情報を抽出する文字列情報抽出ステップと、
前記文字列情報抽出ステップの処理によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成する表示用文字列生成ステップと、
前記表示用文字列を、前記画像における前記文字列領域の近傍に表示するよう制御する表示制御ステップと
を含む処理をコンピュータに実行させるプログラム。
(10) 被写体を撮像する撮像部と、
前記撮像部による撮像によって得られた撮像画像における文字列領域に対して文字認識処理を行う文字認識処理部と、
前記文字認識処理部によって文字認識された文字列から、前記文字列に関する情報である文字列情報を抽出する文字列情報抽出部と、
前記文字列情報抽出部によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成する表示用文字列生成部と、
前記表示用文字列を、前記撮像画像における前記文字列領域の近傍に表示するよう制御する表示制御部と
を備える撮像装置。
11 撮像装置, 31 レンズ, 32 撮像部, 33 文字列領域抽出部, 35 文字認識処理部, 36 文字列情報抽出部, 37 文字列領域色識別部, 38 表示用文字列生成部, 39 表示制御部, 40 表示部

Claims (9)

  1. 画像における文字列領域に対して文字認識処理を行う文字認識処理部と、
    前記文字認識処理部によって文字認識された文字列から、前記文字列に関する情報である文字列情報を抽出する文字列情報抽出部と、
    前記文字列情報抽出部によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成する表示用文字列生成部と、
    前記表示用文字列を、前記画像における前記文字列領域の近傍に表示するよう制御する表示制御部と
    を備える情報処理装置。
  2. 前記文字列情報抽出部は、前記文字列情報として、前記文字列における文字それぞれの文字サイズおよび文字コードを抽出し、
    前記表示用文字列生成部は、前記文字サイズに基づいて前記文字フォントを決定し、前記文字コードに基づいて、前記文字フォントの前記表示用文字列を生成する
    請求項1に記載の情報処理装置。
  3. 前記文字列情報抽出部は、前記文字列情報として、前記画像における前記文字列領域の位置を抽出し、
    前記表示制御部は、前記文字列領域の位置に基づいて、前記表示用文字列を、前記画像における前記文字列領域の近傍に表示するよう制御する
    請求項1に記載の情報処理装置。
  4. 前記文字列情報抽出部は、前記文字列情報として、前記画像の所定方向に対する前記文字列領域の傾きを抽出し、
    前記表示制御部は、前記文字列領域が前記画像の所定方向に対して傾いている場合、傾きを補正した前記文字列領域の画像を表示するよう制御するとともに、前記表示用文字列を、傾きが補正された前記文字列領域の画像の近傍に表示するよう制御する
    請求項1に記載の情報処理装置。
  5. 前記画像における前記文字列領域の色を識別する色識別部をさらに備え、
    前記表示用文字列生成部は、前記色識別部によって識別された前記文字列領域の色に基づいて、前記文字フォントの表示用文字列を生成する
    請求項1に記載の情報処理装置。
  6. 前記色識別部は、前記文字列領域における文字部分の色、および前記文字部分以外の背景部分の色を識別し、
    前記表示用文字列生成部は、前記文字部分の色および前記背景部分の色に基づいて、前記文字フォントの表示用文字列を生成する
    請求項5に記載の情報処理装置。
  7. 画像における文字列領域に対して文字認識処理を行う文字認識処理ステップと、
    前記文字認識処理ステップの処理によって文字認識された文字列から、前記文字列に関する情報である文字列情報を抽出する文字列情報抽出ステップと、
    前記文字列情報抽出ステップの処理によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成する表示用文字列生成ステップと、
    前記表示用文字列を、前記画像における前記文字列領域の近傍に表示する表示ステップと
    を含む情報処理方法。
  8. 画像における文字列領域に対して文字認識処理を行う文字認識処理ステップと、
    前記文字認識処理ステップの処理によって文字認識された文字列から、前記文字列に関する情報である文字列情報を抽出する文字列情報抽出ステップと、
    前記文字列情報抽出ステップの処理によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成する表示用文字列生成ステップと、
    前記表示用文字列を、前記画像における前記文字列領域の近傍に表示するよう制御する表示制御ステップと
    を含む処理をコンピュータに実行させるプログラム。
  9. 被写体を撮像する撮像部と、
    前記撮像部による撮像によって得られた撮像画像における文字列領域に対して文字認識処理を行う文字認識処理部と、
    前記文字認識処理部によって文字認識された文字列から、前記文字列に関する情報である文字列情報を抽出する文字列情報抽出部と、
    前記文字列情報抽出部によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成する表示用文字列生成部と、
    前記表示用文字列を、前記撮像画像における前記文字列領域の近傍に表示するよう制御する表示制御部と
    を備える撮像装置。
JP2011084501A 2011-04-06 2011-04-06 情報処理装置および方法、プログラム、並びに撮像装置 Pending JP2012221095A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011084501A JP2012221095A (ja) 2011-04-06 2011-04-06 情報処理装置および方法、プログラム、並びに撮像装置
US13/404,702 US20120257832A1 (en) 2011-04-06 2012-02-24 Information processing apparatus and method, program, and imaging apparatus
CN2012100904365A CN102737241A (zh) 2011-04-06 2012-03-30 信息处理设备及方法,程序和成像设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011084501A JP2012221095A (ja) 2011-04-06 2011-04-06 情報処理装置および方法、プログラム、並びに撮像装置

Publications (2)

Publication Number Publication Date
JP2012221095A true JP2012221095A (ja) 2012-11-12
JP2012221095A5 JP2012221095A5 (ja) 2014-04-10

Family

ID=46966193

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011084501A Pending JP2012221095A (ja) 2011-04-06 2011-04-06 情報処理装置および方法、プログラム、並びに撮像装置

Country Status (3)

Country Link
US (1) US20120257832A1 (ja)
JP (1) JP2012221095A (ja)
CN (1) CN102737241A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015045686A1 (ja) * 2013-09-26 2015-04-02 シャープ株式会社 表示処理装置、並びにその制御方法および制御プログラム
WO2015079790A1 (ja) * 2013-11-28 2015-06-04 シャープ株式会社 文字列認識装置および文字列認識方法
WO2024053411A1 (ja) * 2022-09-05 2024-03-14 ダイキン工業株式会社 情報端末、文字認識方法及び文字認識プログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102245706B1 (ko) * 2013-09-17 2021-04-28 삼성전자주식회사 데이터 처리 방법 및 그 전자 장치
US9983870B2 (en) 2016-06-27 2018-05-29 International Business Machines Corporation Automated generation and identification of screenshots for translation reference

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146454A (ja) * 2004-11-18 2006-06-08 Sony Corp 情報変換装置および情報変換方法
JP2010231648A (ja) * 2009-03-27 2010-10-14 Sharp Corp 画像処理装置、画像形成装置、画像処理方法、プログラムおよびその記録媒体

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4404649A (en) * 1980-11-03 1983-09-13 Recognition Equipment Incorporated Document processing system
US6434581B1 (en) * 1991-03-20 2002-08-13 Microsoft Corporation Script character processing method for interactively adjusting space between writing element
JP4071328B2 (ja) * 1997-11-18 2008-04-02 富士通株式会社 文書画像処理装置および方法
US6600482B1 (en) * 2000-01-11 2003-07-29 Workonce Wireless Corporation Method and system for form recognition and digitized image processing
JP4655335B2 (ja) * 2000-06-20 2011-03-23 コニカミノルタビジネステクノロジーズ株式会社 画像認識装置、画像認識方法および画像認識プログラムを記録したコンピュータ読取可能な記録媒体
CN1278533C (zh) * 2003-12-17 2006-10-04 大唐移动通信设备有限公司 可自动录入文字、图像的手机及其录入与处理方法
US8588528B2 (en) * 2009-06-23 2013-11-19 K-Nfb Reading Technology, Inc. Systems and methods for displaying scanned images with overlaid text
US8189961B2 (en) * 2010-06-09 2012-05-29 Microsoft Corporation Techniques in optical character recognition
US8626236B2 (en) * 2010-10-08 2014-01-07 Blackberry Limited System and method for displaying text in augmented reality

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146454A (ja) * 2004-11-18 2006-06-08 Sony Corp 情報変換装置および情報変換方法
JP2010231648A (ja) * 2009-03-27 2010-10-14 Sharp Corp 画像処理装置、画像形成装置、画像処理方法、プログラムおよびその記録媒体

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015045686A1 (ja) * 2013-09-26 2015-04-02 シャープ株式会社 表示処理装置、並びにその制御方法および制御プログラム
JP2015069234A (ja) * 2013-09-26 2015-04-13 シャープ株式会社 表示処理装置、並びにその制御方法および制御プログラム
WO2015079790A1 (ja) * 2013-11-28 2015-06-04 シャープ株式会社 文字列認識装置および文字列認識方法
JP2015106182A (ja) * 2013-11-28 2015-06-08 シャープ株式会社 文字列認識装置および文字列認識方法
WO2024053411A1 (ja) * 2022-09-05 2024-03-14 ダイキン工業株式会社 情報端末、文字認識方法及び文字認識プログラム

Also Published As

Publication number Publication date
US20120257832A1 (en) 2012-10-11
CN102737241A (zh) 2012-10-17

Similar Documents

Publication Publication Date Title
US9547791B2 (en) Image processing system, image processing apparatus, image processing method, and program
US8879639B2 (en) Adaptive video capture decode system
CN102893595B (zh) 图像处理装置和方法以及程序
US9781396B2 (en) Projector and adjustment method using a plurality of patterns having different lightness values
CN1928887A (zh) 图像处理装置及其方法
JP4412214B2 (ja) パターン認識装置、パターン認識方法およびそのパターン認識装置をもつ電子機器
JP4862934B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5201203B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2009130845A5 (ja)
JP2012221095A (ja) 情報処理装置および方法、プログラム、並びに撮像装置
JP2009100084A (ja) 情報処理装置、指示システム及び制御プログラム
JP2011135400A (ja) 画像処理装置、画像処理方法及びプログラム
JP2012027572A (ja) 画像処理装置および方法、並びにプログラム
JP2009111716A (ja) 撮像装置、プログラムおよびテンプレート生成方法
US10430660B2 (en) Image processing apparatus, control method thereof, and storage medium
JP2008061184A (ja) 画像処理装置および方法、プログラム、並びに撮像装置
JP2014027580A (ja) 撮像装置、及び画像処理方法
US9565358B2 (en) Apparatus and method for scanning and recognizing
JP5131399B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2010171774A (ja) 携帯型画像投影装置、画像投影方法及び画像投影プログラム
JP2012119798A (ja) 画像生成方法、画像生成装置及びプログラム
US20180373951A1 (en) Image processing apparatus, image processing method, and storage medium
JP6668646B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4853571B2 (ja) 境界設定方法、境界設定装置、プログラム及びプリントシステム
JP2012109823A (ja) 被写体領域特定方法、被写体領域特定装置及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141030

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141222

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150512