JP2006134156A - 画像文字列検索装置及びそのプログラム - Google Patents

Abstract

【課題】画像中から少なくとも１つの文字よりなる所定の文字列を検索し、該当文字列を明示的に表示することが可能な画像文字列検索装置及びそのプログラムを提供する。
【解決手段】画像入力手段１から入力され、第１の記憶手段４に記憶された画像に対して文字認識手段８１により文字認識処理を実行し、認識結果の候補文字と、当該候補文字の位置情報とを含む多数の文字候補を第２の記憶手段５に記憶し、検索手段８２により多数の文字候補からユーザが文字入力手段２から入力した所定の文字列中の文字に対応する候補文字を含む文字候補を検索して第４の記憶手段７に記憶し、検索結果画像作成手段８３により検索結果の文字候補の位置情報に従い当該検索結果の文字候補を第１の記憶手段４に記憶された画像上で特定する検索結果画像を作成し、第１の記憶手段４に記憶された画像とともに表示手段３に表示する。
【選択図】図１

Description

本発明は、画像中から少なくとも１つの文字よりなる所定の文字列を検索する技術に関する。

従来、名称等が判っている店の所在地を知りたいような場合、住所もしくは経度緯度情報を名称等に対応付けて蓄積したデータベースを元に位置を特定していた。こういったシステムの場合、例えば「山田医院」を探すには、検索システムに文字列「山田医院」を入力し、データベースから得られた「山田医院」の住所情報を元に、その所在地を地図上に重畳表示することにより、位置をユーザに指し示していた。また、ユーザを目的地へ誘導するには、カーナビゲーションシステムのようにＧＰＳなどで得たユーザの位置情報を元に、目的地の方向や距離を表示していた。

また、情報検索システムの中には、ユーザの母国語と異なる言語の情報を検索することが可能、例えば日本語のデータベースに英語でアクセスするといったことが可能な情報検索システムがあった（特許文献１参照）。
特開２００１−２２７８７号公報

このように、従来の目的地同定技術では、その絶対位置の検索は所在地データベースを用いることにより可能であったが、ユーザを目的地へ誘導したり、ユーザの近傍の目的地を検索するにはＧＰＳなどの位置情報取得機能が必要であり、大掛かりなシステムが必要であった。また、精緻な所在地データベースを整備・維持するには膨大なコストを要するという問題があった。

本発明の目的は、ユーザをその名称等が判っている目的地へ簡易に誘導可能とするため、画像中から少なくとも１つの文字よりなる所定の文字列を検索し、該当文字列を明示的に表示することが可能な画像文字列検索装置及びそのプログラムを提供することにある。

本発明は、上記の問題に鑑みてなされたものであり、画像中から少なくとも１つの文字よりなる所定の文字列を検索する装置であって、画像を入力するための画像入力手段と、画像入力手段から入力された画像を記憶する第１の記憶手段と、第１の記憶手段に記憶された画像に対して文字認識処理を実行し、認識結果の候補文字と、当該候補文字の前記画像中での位置情報とを少なくとも含む多数の文字候補を生成する文字認識手段と、文字認識手段によって生成された多数の文字候補を記憶する第２の記憶手段と、ユーザの操作に基づいて所定の文字列を入力するための文字入力手段と、文字入力手段から入力された所定の文字列を記憶する第３の記憶手段と、第２の記憶手段から多数の文字候補を読み出すとともに第３の記憶手段からユーザが入力した所定の文字列を読み出し、多数の文字候補から所定の文字列中の文字に対応する候補文字を含む文字候補を検索する検索手段と、検索手段によって検索された検索結果の文字候補を記憶する第４の記憶手段と、第４の記憶手段から検索結果の文字候補を読み出し、その位置情報に従い当該検索結果の文字候補を第１の記憶手段に記憶された画像上で特定する検索結果画像を作成する検索結果画像作成手段と、第１の記憶手段に記憶された画像及び検索結果画像作成手段によって作成された検索結果画像を表示するための表示手段とを備えたことを特徴とする。

また、前記画像文字列検索装置において、文字入力手段から入力された検索対象言語以外の言語による所定の文字列を検索対象言語による所定の文字列に翻訳する翻訳手段を備えたことを特徴とする。

本発明によれば、画像中からユーザが入力した所定の文字列を検索し、該当文字列を明示的に表示することができるため、所定の文字列としてユーザの目的とする店等の名称を入力すれば、画像、特にユーザの視界程度の範囲の画像内にある当該名称を含む看板、標識、ネオンサイン等を特定することができ、これによってユーザを目的とする店等を誘導することが可能となる。また、この際、検索対象言語以外の言語で所定の文字列を入力することもでき、検索対象言語が非母国語であっても使用することができる。

以下、図面を用いて本発明の実施の形態を説明する。

＜第１の実施の形態＞
図１は本発明の第１の実施の形態にかかる画像文字列検索装置を示すもので、図中、１は画像入力手段、２は文字入力手段、３は表示手段、４は第１の記憶手段、５は第２の記憶手段、６は第３の記憶手段、７は第４の記憶手段、８は中央演算処理装置（ＣＰＵ）である。

画像入力手段１は、ユーザの視界程度の範囲の画像を入力するためのものであり、デジタルカメラ、ビデオカメラ等が用いられる。文字入力手段２は、ユーザの操作に基づいて少なくとも１つの文字よりなる所定の文字列を入力するためのものであり、キーボード、デジタイザ等が用いられる。表示手段３は、第１の記憶手段４に記憶された画像及び後述する検索結果画像作成手段によって作成された検索結果画像を表示するためのものであり、ＣＲＴや液晶ディスプレイ等が用いられる。

第１の記憶手段４は、画像入力手段１から入力された画像を記憶する。第２の記憶手段５は、後述する文字認識手段によって生成された多数の文字候補を記憶する。第３の記憶手段６は、文字入力手段２から入力された所定の文字列を記憶する。第４の記憶手段７は、後述する検索手段によって検索された検索結果の文字候補を記憶する。

中央演算処理装置（ＣＰＵ）８は、図２にフローチャートで示すプログラムに従って前述した各部を制御するとともに、この際、文字認識手段８１、検索手段８２及び検索結果画像作成手段８３を構成する。

文字認識手段８１は、第１の記憶手段４に記憶された画像に対して文字認識処理を実行し、認識結果の候補文字と、当該候補文字の前記画像中での位置情報と、当該候補文字の大きさ情報とを含む多数の文字候補を生成する。検索手段８２は、第２の記憶手段５から多数の文字候補を読み出すとともに第３の記憶手段６からユーザが入力した所定の文字列を読み出し、多数の文字候補から所定の文字列中の文字に対応する候補文字を含み、各候補文字の相対位置がほぼ直線状で且つ各候補文字の大きさがほぼ等しい文字候補を検索する。検索結果画像作成手段８３は、第４の記憶手段７から検索結果の文字候補を読み出し、その位置情報及び大きさ情報に従い当該検索結果の文字候補を第１の記憶手段４に記憶された画像上で特定する検索結果画像を作成する。

以下、本発明装置による文字列の検索方法を説明する。

まず、ＣＰＵ８は、ユーザの視界程度の範囲の画像が画像入力手段１から入力されると、これを第１の記憶手段４に記憶する（ｓ１）。

図３は画像入力手段１から入力され、第１の記憶手段４に記憶された画像の一例を示すもので、当該画像１００中には、それぞれ「小山田医院」、「鈴木商店」、「田中病院」、「小山田駅」の文字列を含む看板１０１，１０２，１０３，１０４が存在している（なお、実際の画像中には、看板以外の建物や道路、車両、人、その他景観を構成する物体が存在するが、簡単化のため省略した。）。

次に、ＣＰＵ８は、その文字認識手段８１により、第１の記憶手段４に記憶された画像に対して文字認識処理を実行し、認識結果の候補文字と、当該候補文字の前記画像中での位置情報と、大きさ情報とを含む多数の文字候補を生成し（ｓ２）、これらを第２の記憶手段５に記憶する（ｓ３）。

図４は前記文字認識手段８１において生成された多数の文字侯補（文字候補リスト）の一例、ここでは図３の画像１００に対応する例を示すもので、項番と、候補文字（実際には対応する文字コード）と、画像１００の左上隅を（ｘ０，ｙ０）とした候補文字の画像の左上座標（ｘ１，ｙ１）及び右下座標（ｘ２，ｙ２）とからなるデータとして生成される。なお、ここでは候補文字の画像の左上座標及び右下座標により、候補文字の画像中での位置情報と、当該候補文字の大きさ情報とを表しているが、候補文字の画像の重心座標により位置情報を表し、候補文字の画像の大きさにより大きさ情報を表すようにしても良い。また、項番は説明のために記載した情報であり必須ではない。

次に、ＣＰＵ８は、ユーザの操作に基づいて所定の文字列が文字入力手段２から入力されると、これを第３の記憶手段６に記憶する（ｓ４）。

次に、ＣＰＵ８は、その検索手段８２により、第２の記憶手段５から多数の文字候補を読み出すとともに第３の記憶手段６からユーザが入力した所定の文字列を読み出し、多数の文字候補から所定の文字列中の各文字に対応する候補文字を含み、各候補文字の相対位置がほぼ直線状で且つ各候補文字の大きさがほぼ等しい文字候補を検索し（ｓ５）、これらを第４の記憶手段７に記憶する（ｓ６）。

所定の文字列として、例えば「小山田」が入力された場合を例に取ると、検索手段８２は図４の文字侯補リストから文字列「小山田」になり得る文字候補の組み合わせを検索（抽出）する。抽出に当たっては、文字候補が所定の文字列中の各文字に対応する候補文字を含む、即ち所定の文字列の文字と候補文字とが一致していることに加えて、各候補文字の相対位置がほぼ直線状であること、各候補文字の大きさがほぼ等しいことによって判定する。その結果、ここでは図３における看板１０１上の文字列「小山田医院」に基づく項番１，２，３の文字侯補の組み合わせと、図３における看板１０４上の文字列「小山田駅」に基づく項番２０１，２０２，２０３の文字侯補の組み合わせとが文字列「小山田」の検索結果として抽出される。また、項番１，２，１０１の組み合わせは、候補文字は文字列と一致するものの、各候補文字の相対位置が直線状でないこと、項番１０１の候補文字だけが極端に小さいことから抽出されない。

なお、本装置が字形の似ている文字に関するデータベースを有しており、当該データベース中に「田」と「由」が似ていると記載されていれば、項番１，２，４の文字侯補の組み合わせを検索結果として抽出することも可能である。

次に、ＣＰＵ８は、その検索結果画像作成手段８３により、第４の記憶手段７から検索結果の文字候補を読み出し、その位置情報及び大きさ情報に従い当該検索結果の文字候補を第１の記憶手段４に記憶された画像上で特定する検索結果画像、例えば当該検索結果の文字候補を囲む大きさ及び位置を備えた矩形枠状の検索結果画像を作成する（ｓ７）。

最後に、ＣＰＵ８は、第１の記憶手段５に記憶された画像１００及び前記作成した検索結果画像を表示手段３に重畳して表示する（ｓ８）。

図５は表示画面の一例を示すもので、前述した項番１，２，３の文字侯補の組み合わせに対応する文字列を含む看板１０１の画像上に当該文字列を囲む矩形枠状の検索結果画像２０１が重畳して表示され、前述した項番２０１，２０２，２０３の文字侯補の組み合わせに対応する文字列を含む看板１０４の画像上に当該文字列を囲む矩形枠状の検索結果画像２０２が重畳して表示される。

なお、本実施の形態では、所定の文字列の文字と候補文字との一致、各候補文字の相対位置が直線状、各候補文字の大きさがほぼ同一の３つを検索の際の判定基準としたが、候補文字の一致のみ、あるいは候補文字の一致と相対位置が直線状のみで判定することも可能である（勿論、判定精度は悪くなる。）。一方、文字認識手段において候補文字の色やフォント種別の情報を文字候補の情報に含めるようにすれば、検索手段において各候補文字の色やフォントが同一であることなども判定基準とすることができ、より判定精度を上げることができる。また、「特開２０００−１３２６３９：文字抽出認識方法及び装置及びこの方法を記録した記録媒体」記載の技術を用いれば、直線以外の並び方の規則性を基に判定することも可能である。

＜第２の実施の形態＞
図６は本発明の第２の実施の形態にかかる画像文字列検索装置、ここでは第１の実施の形態において検索対象言語と入力時の言語とが異なる場合であっても検索可能とした例を示すもので、図中、第１の実施の形態と同一構成部分は同一符号をもって表す。即ち、１は画像入力手段、２は文字入力手段、３は表示手段、４は第１の記憶手段、５は第２の記憶手段、６は第３の記憶手段、７は第４の記憶手段、８ａは中央演算処理装置（ＣＰＵ）である。

中央演算処理装置（ＣＰＵ）８ａは、図７にフローチャートで示すプログラムに従って前述した各部を制御するとともに、この際、文字認識手段８１、検索手段８２、検索結果画像作成手段８３及び翻訳手段８４を構成する。

翻訳手段８４は、文字入力手段２から入力された検索対象言語以外の言語による所定の文字列を検索対象言語による所定の文字列に翻訳する。

以下、本発明装置による文字列の検索方法を説明するが、検索対象言語は日本語、入力言語は英語であり、入力画像は第１の実施の形態の場合と同じであるとする。

ステップｓ１〜ｓ３の処理は、第１の実施の形態の場合と同じであり、第１の記憶手段４に記憶される画像及び第２の記憶手段５に記憶される多数の文字侯補（文字候補リスト）も第１の実施の形態の場合と同じである。

ＣＰＵ８ａは、ユーザの操作に基づいて検索対象言語以外の言語、ここでは英語による所定の文字列が文字入力手段２から入力されると、その翻訳手段８４により、検索対象言語による所定の文字列に翻訳する（ｓ１１）。

英語による所定の文字列として、例えば「hospital」が入力された場合を例に取ると、翻訳手段８４は「hospital」を検索対象言語である日本語、即ち「病院」、「医院」、「診療所」等に翻訳する。

次に、ＣＰＵ８ａは、翻訳後の所定の文字列を第３の記憶手段６に記憶し（ｓ１２）、以後、第１の実施の形態の場合と同様のステップｓ５〜ｓ８の処理を行う。

この場合、ステップｓ５の処理により、図４の文字侯補リストから文字列「病院」、「医院」、「診療所」になり得る文字候補の組み合わせ、即ち図３における看板１０１上の文字列「小山田医院」に基づく項番５，６の文字候補の組み合わせと、図３における看板１０３上の文字列「田中医院」に基づく項番１０３，１０４の文字候補の組み合わせとが検索（抽出）され、また、ステップｓ６の処理により、これらの検索結果が第４の記憶手段７に記憶され、また、ステップｓ７，ｓ８の処理により、表示手段３には図８に示すように、前述した項番５，６の文字侯補の組み合わせに対応する文字列を含む看板１０１の画像上に当該文字列を囲む矩形枠状の検索結果画像３０１が重畳して表示され、前述した項番１０３，１０４の文字侯補の組み合わせに対応する文字列を含む看板１０３の画像上に当該文字列を囲む矩形枠状の検索結果画像３０２が重畳して表示される。

＜第３の実施の形態＞
図９は本発明の第３の実施の形態にかかる画像文字列検索装置、ここでは第１の実施の形態において検索対象言語と入力時の言語とが異なる場合であっても検索可能とするとともに、検索結果の文字候補を入力時の言語でも表示可能とした例を示すもので、図中、第１の実施の形態と同一構成部分は同一符号をもって表す。即ち、１は画像入力手段、２は文字入力手段、３は表示手段、４は第１の記憶手段、５は第２の記憶手段、６は第３の記憶手段、７は第４の記憶手段、８ｂは中央演算処理装置（ＣＰＵ）である。

中央演算処理装置（ＣＰＵ）８ｂは、図１０にフローチャートで示すプログラムに従って前述した各部を制御するとともに、この際、文字認識手段８１、検索手段８２、翻訳手段８５及び検索結果画像作成手段８６を構成する。

翻訳手段８５は、文字入力手段２から入力された検索対象言語以外の言語による所定の文字列を検索対象言語による所定の文字列に翻訳するとともに、第４の記憶手段７から検索結果の文字候補を読み出して前記入力時の言語による検索結果の文字候補に翻訳する。検索結果画像作成手段８６は、第４の記憶手段７から検索結果の文字候補を読み出し、その位置情報及び大きさ情報に従い当該検索結果の文字候補を第１の記憶手段４に記憶された画像上で特定するとともに、翻訳手段８５によって翻訳された入力時の言語による検索結果の文字候補を含む検索結果画像を作成する。

以下、本発明装置による文字列の検索方法を説明するが、検索対象言語は日本語、入力言語は英語であり、入力画像は第１、第２の実施の形態の場合と同じであり、入力文字列及び検索結果は第２の実施の形態の場合と同じであるとする。

ステップｓ１〜ｓ６（ｓ１１，ｓ１２を含む）の処理は、第２の実施の形態の場合と同じであり、第１の記憶手段４に記憶される画像、第２の記憶手段５に記憶される多数の文字侯補（文字候補リスト）、第３の記憶手段６に記憶される翻訳後の所定の文字列及び第４の記憶手段７に記憶される検索結果も第２の実施の形態の場合と同じである。

ＣＰＵ８ｂは、翻訳手段８５により、第４の記憶手段７から検索結果の文字候補を読み出し、前記入力時の言語による検索結果の文字候補に翻訳する（ｓ２１）。

前述したように第４の記憶手段７に記憶された検索結果の文字候補は、項番５，６の文字候補の組み合わせである「医院」と、項番１０３，１０４の文字候補の組み合わせである「病院」とであるから、両者はいずれも入力時の言語（英語）の該当する言葉「hospital」に翻訳される。

次に、ＣＰＵ８ｂは、その検索結果画像作成手段８６により、第４の記憶手段７から検索結果の文字候補を読み出し、その位置情報及び大きさ情報に従い当該検索結果の文字候補を第１の記憶手段４に記憶された画像上で特定するとともに、翻訳手段８５によって翻訳された入力時の言語による検索結果の文字候補を含む検索結果画像、例えば当該検索結果の文字候補を囲む大きさ及び位置を備えた矩形枠とともに入力時の言語による検索結果の文字候補からなる検索結果画像を作成する（ｓ２２）。

最後に、ＣＰＵ８ｂは、第１の記憶手段５に記憶された画像１００及び前記作成した検索結果画像を表示手段３に重畳して表示する（ｓ８）。

図１１は表示画面の一例を示すもので、前述した項番５，６の文字侯補の組み合わせに対応する文字列を含む看板１０１の画像上に当該文字列を囲む矩形枠並びに入力時の言語による検索結果の文字候補「hospital」からなる検索結果画像４０１が重畳して表示され、前述した項番１０３，１０４の文字侯補の組み合わせに対応する文字列を含む看板１０３の画像上に当該文字列を囲む矩形枠並びに入力時の言語による検索結果の文字候補「hospital」からなる検索結果画像４０２が重畳して表示される。

＜第４の実施の形態＞
図１２は本発明の第４の実施の形態にかかる画像文字列検索装置、ここでは第１の実施の形態において検索対象言語と入力言語とが異なる場合であっても検索可能とするとともに、検索結果の文字候補及びその近傍の文字列を入力時の言語で表示するようにした例を示すもので、図中、第１の実施の形態と同一構成部分は同一符号をもって表す。即ち、１は画像入力手段、２は文字入力手段、３は表示手段、４は第１の記憶手段、５は第２の記憶手段、６は第３の記憶手段、７は第４の記憶手段、８ｃは中央演算処理装置（ＣＰＵ）である。

中央演算処理装置（ＣＰＵ）８ｃは、図１３にフローチャートで示すプログラムに従って前述した各部を制御するとともに、この際、文字認識手段８１、検索手段８２、翻訳手段８７及び検索結果画像作成手段８８を構成する。

翻訳手段８７は、文字入力手段２から入力された検索対象言語以外の言語による所定の文字列を検索対象言語による所定の文字列に翻訳するとともに、第４の記憶手段７から検索結果の文字候補を読み出して前記入力時の言語による検索結果の文字候補に翻訳し、第２の記憶手段５から当該検索結果の文字候補の近傍の文字候補を読み出して前記入力時の言語による文字候補に翻訳する。検索結果画像作成手段８８は、第４の記憶手段７から検索結果の文字候補を読み出し、その位置情報及び大きさ情報に従い当該検索結果の文字候補を第１の記憶手段４に記憶された画像上で特定するとともに、翻訳手段８７によって翻訳された入力時の言語による検索結果の文字候補及びその近傍の文字候補を含む検索結果画像を作成する。

以下、本発明装置による文字列の検索方法を説明するが、検索対象言語は日本語、入力言語は英語であり、入力画像は第１、第２の実施の形態の場合と同じであり、入力文字列及び検索結果は第２の実施の形態の場合と同じであるとする。

ステップｓ１〜ｓ６（ｓ１１，ｓ１２を含む）の処理は、第２の実施の形態の場合と同じであり、第１の記憶手段４に記憶される画像、第２の記憶手段５に記憶される多数の文字侯補（文字候補リスト）、第３の記憶手段６に記憶される翻訳後の所定の文字列及び第４の記憶手段７に記憶される検索結果も第２の実施の形態の場合と同じである。

ＣＰＵ８ｃは、翻訳手段８７により、第４の記憶手段７から検索結果の文字候補を読み出し、前記入力時の言語による検索結果の文字候補に翻訳し、第２の記憶手段５から当該検索結果の文字候補の近傍の文字候補を読み出し、前記入力時の言語による文字候補に翻訳する（ｓ３１）。

前述したように第４の記憶手段７に記憶された検索結果の文字候補は、項番５，６の文字候補の組み合わせである「医院」と、項番１０３，１０４の文字候補の組み合わせである「病院」とであるから、両者はいずれも入力時の言語（英語）の該当する言葉「hospital」に翻訳される。また、項番５，６の文字候補の近傍にある文字候補は項番１，２，３の文字候補の組み合わせである「小山田」であり、項番１０３，１０４の文字候補の近傍にある文字候補は項番１０１，１０２の文字候補の組み合わせである「田中」であるから、それぞれ入力時の言語（英語（但し、ここではローマ字））の該当する言葉「Oyamada」と「Tanaka」とに翻訳される。

なお、前述した近傍の文字候補の判定は、単にある距離内にある文字集合を対象にしたり、「特開２０００−１３２６３９：文字抽出認識方法及び装置及びこの方法を記録した記録媒体」のように並び方の規則性に基づいたり、さらに、言語モデルを備えて「特開平０８−３１５０７８：日本語文字認識方法及び装置」のように単語として妥当なもののみを抽出すること等により可能である。

次に、ＣＰＵ８ｃは、その検索結果画像作成手段８８により、第４の記憶手段７から検索結果の文字候補を読み出し、その位置情報及び大きさ情報に従い当該検索結果の文字候補を第１の記憶手段４に記憶された画像上で特定するとともに、翻訳手段８７によって翻訳された入力時の言語による検索結果の文字候補及びその近傍の文字候補を含む検索結果画像、例えば当該検索結果の文字候補を囲む大きさ及び位置を備えた矩形枠とともに入力時の言語による検索結果の文字候補及びその近傍の文字候補からなる検索結果画像を作成する（ｓ３２）。

最後に、ＣＰＵ８ｃは、第１の記憶手段５に記憶された画像１００及び前記作成した検索結果画像を表示手段３に重畳して表示する（ｓ８）。

図１４は表示画面の一例を示すもので、前述した項番５，６の文字侯補の組み合わせに対応する文字列を含む看板１０１の画像上に当該文字列を囲む矩形枠並びに入力時の言語による検索結果の文字候補「hospital」及びその近傍の文字候補「Oyamada」からなる検索結果画像５０１が重畳して表示され、前述した項番１０３，１０４の文字侯補の組み合わせに対応する文字列を含む看板１０３の画像上に当該文字列を囲む矩形枠並びに入力時の言語による検索結果の文字候補「hospital」及びその近傍の文字候補「Tanaka」からなる検索結果画像５０２が重畳して表示される。

なお、本発明中の第１乃至第４の記憶手段という記載は、どのようなデータを記憶するかという機能上の違いに基づく表現であり、ハードウェア的に４つの個別の記憶装置が必要であるという意味ではない。また、実施の形態では、文字認識手段、検索手段、検索結果画像作成手段及び翻訳手段を中央演算処理装置（ＣＰＵ）上でプログラムにより構成した例を示したが、それぞれハードウェアで構成しても良いことはいうまでもない。

本発明の第１の実施の形態にかかる画像文字列検索装置を示すブロック図 第１の実施の形態にかかる画像文字列検索装置のプログラムに対応するフローチャート 入力画像の一例を示す説明図 検索された多数の文字候補の一例を示す説明図 表示画面の一例を示す説明図 本発明の第２の実施の形態にかかる画像文字列検索装置を示すブロック図 第２の実施の形態にかかる画像文字列検索装置のプログラムに対応するフローチャート 表示画面の他の例を示す説明図 本発明の第３の実施の形態にかかる画像文字列検索装置を示すブロック図 第３の実施の形態にかかる画像文字列検索装置のプログラムに対応するフローチャート 表示画面のさらに他の例を示す説明図 本発明の第４の実施の形態にかかる画像文字列検索装置を示すブロック図 第４の実施の形態にかかる画像文字列検索装置のプログラムに対応するフローチャート 表示画面のさらに他の例を示す説明図

符号の説明

１：画像入力手段、２：文字入力手段、３：表示手段、４：第１の記憶手段、５：第２の記憶手段、６：第３の記憶手段、７：第４の記憶手段、８，８ａ，８ｂ，８ｃ：中央演算処理装置（ＣＰＵ）、８１：文字認識手段、８２：検索手段、８３，８６，８８：検索結果画像作成手段、８４，８５，８７：翻訳手段、１００：入力画像、１０１，１０２，１０３，１０４：看板、２０１，２０２，３０１，３０２，４０１，４０２，５０１，５０２：検索結果画像。

Claims (11)

1. 画像中から少なくとも１つの文字よりなる所定の文字列を検索する装置であって、
   画像を入力するための画像入力手段と、
   画像入力手段から入力された画像を記憶する第１の記憶手段と、
   第１の記憶手段に記憶された画像に対して文字認識処理を実行し、認識結果の候補文字と、当該候補文字の前記画像中での位置情報とを少なくとも含む多数の文字候補を生成する文字認識手段と、
   文字認識手段によって生成された多数の文字候補を記憶する第２の記憶手段と、
   ユーザの操作に基づいて所定の文字列を入力するための文字入力手段と、
   文字入力手段から入力された所定の文字列を記憶する第３の記憶手段と、
   第２の記憶手段から多数の文字候補を読み出すとともに第３の記憶手段からユーザが入力した所定の文字列を読み出し、多数の文字候補から所定の文字列中の文字に対応する候補文字を含む文字候補を検索する検索手段と、
   検索手段によって検索された検索結果の文字候補を記憶する第４の記憶手段と、
   第４の記憶手段から検索結果の文字候補を読み出し、その位置情報に従い当該検索結果の文字候補を第１の記憶手段に記憶された画像上で特定する検索結果画像を作成する検索結果画像作成手段と、
   第１の記憶手段に記憶された画像及び検索結果画像作成手段によって作成された検索結果画像を表示するための表示手段とを備えた
   ことを特徴とする画像文字列検索装置。
2. 請求項１記載の画像文字列検索装置において、
   文字入力手段から入力された検索対象言語以外の言語による所定の文字列を検索対象言語による所定の文字列に翻訳する翻訳手段を備えた
   ことを特徴とする画像文字列検索装置。
3. 請求項１記載の画像文字列検索装置において、
   文字入力手段から入力された検索対象言語以外の言語による所定の文字列を検索対象言語による所定の文字列に翻訳するとともに、第４の記憶手段から検索結果の文字候補を読み出して前記入力時の言語による検索結果の文字候補に翻訳する翻訳手段と、
   第４の記憶手段から検索結果の文字候補を読み出し、その位置情報に従い当該検索結果の文字候補を第１の記憶手段に記憶された画像上で特定するとともに、翻訳手段によって翻訳された入力時の言語による検索結果の文字候補を含む検索結果画像を作成する検索結果画像作成手段とを備えた
   ことを特徴とする画像文字列検索装置。
4. 請求項１記載の画像文字列検索装置において、
   文字入力手段から入力された検索対象言語以外の言語による所定の文字列を検索対象言語による所定の文字列に翻訳するとともに、第４の記憶手段から検索結果の文字候補を読み出して前記入力時の言語による検索結果の文字候補に翻訳し、第２の記憶手段から当該検索結果の文字候補の近傍の文字候補を読み出して前記入力時の言語による文字候補に翻訳する翻訳手段と、
   第４の記憶手段から検索結果の文字候補を読み出し、その位置情報に従い当該検索結果の文字候補を第１の記憶手段に記憶された画像上で特定するとともに、翻訳手段によって翻訳された入力時の言語による検索結果の文字候補及びその近傍の文字候補を含む検索結果画像を作成する検索結果画像作成手段とを備えた
   ことを特徴とする画像文字列検索装置。
5. 請求項１乃至４いずれか記載の画像文字列検索装置において、
   第２の記憶手段から多数の文字候補を読み出すとともに第３の記憶手段からユーザが入力した所定の文字列を読み出し、多数の文字候補から所定の文字列中の各文字に対応する候補文字を含み、各候補文字の相対位置がほぼ直線状である文字候補を検索する検索手段を備えた
   ことを特徴とする画像文字列検索装置。
6. 請求項１乃至４いずれか記載の画像文字列検索装置において、
   第１の記憶手段に記憶された画像に対して文字認識処理を実行し、認識結果の候補文字と、当該候補文字の前記画像中での位置情報と、当該候補文字の大きさ情報とを少なくとも含む多数の文字候補を生成する文字認識手段と、
   第２の記憶手段から多数の文字候補を読み出すとともに第３の記憶手段からユーザが入力した所定の文字列を読み出し、多数の文字候補から所定の文字列中の各文字に対応する候補文字を含み、各候補文字の相対位置がほぼ直線状で且つ各候補文字の大きさがほぼ等しい文字候補を検索する検索手段とを備えた
   ことを特徴とする画像文字列検索装置。
7. 請求項６記載の画像文字列検索装置において、
   第４の記憶手段から検索結果の文字候補を読み出し、その位置情報及び大きさ情報に従い当該検索結果の文字候補を第１の記憶手段に記憶された画像上で特定する検索結果画像を作成する検索結果画像作成手段を備えた
   ことを特徴とする画像文字列検索装置。
8. 画像中から少なくとも１つの文字よりなる所定の文字列を検索するプログラムであって、
   第１の記憶手段、第２の記憶手段、第３の記憶手段、第４の記憶手段、画像入力手段、文字入力手段及び表示手段を備えた計算機に、
   画像入力手段から入力された画像を第１の記憶手段に記憶する工程と、
   第１の記憶手段に記憶された画像に対して文字認識処理を実行し、認識結果の候補文字と、当該候補文字の前記画像中での位置情報とを少なくとも含む多数の文字候補を生成する工程と、
   前記生成した多数の文字候補を第２の記憶手段に記憶する工程と、
   ユーザの操作に基づいて文字入力手段から入力された所定の文字列を第３の記憶手段に記憶する工程と、
   第２の記憶手段から多数の文字候補を読み出すとともに第３の記憶手段からユーザが入力した所定の文字列を読み出し、多数の文字候補から所定の文字列中の文字に対応する候補文字を含む文字候補を検索する工程と、
   前記検索結果の文字候補を第４の記憶手段に記憶する工程と、
   第４の記憶手段から検索結果の文字候補を読み出し、その位置情報に従い当該検索結果の文字候補を第１の記憶手段に記憶された画像上で特定する検索結果画像を作成する工程と、
   第１の記憶手段に記憶された画像及び前記作成した検索結果画像を表示手段に表示する工程とを実行させる
   ことを特徴とする画像文字列検索プログラム。
9. 請求項８記載の画像文字列検索プログラムにおいて、
   文字入力手段から入力された検索対象言語以外の言語による所定の文字列を検索対象言語による所定の文字列に翻訳する工程を含む
   ことを特徴とする画像文字列検索プログラム。
10. 請求項８記載の画像文字列検索プログラムにおいて、
    文字入力手段から入力された検索対象言語以外の言語による所定の文字列を検索対象言語による所定の文字列に翻訳する工程と、
    第４の記憶手段から検索結果の文字候補を読み出し、前記入力時の言語による検索結果の文字候補に翻訳する工程と、
    第４の記憶手段から検索結果の文字候補を読み出し、その位置情報に従い当該検索結果の文字候補を第１の記憶手段に記憶された画像上で特定するとともに、入力時の言語による検索結果の文字候補を含む検索結果画像を作成する工程とを含む
    ことを特徴とする画像文字列検索プログラム。
11. 請求項８記載の画像文字列検索プログラムにおいて、
    文字入力手段から入力された検索対象言語以外の言語による所定の文字列を検索対象言語による所定の文字列に翻訳する工程と、
    第４の記憶手段から検索結果の文字候補を読み出し、前記入力時の言語による検索結果の文字候補に翻訳し、第２の記憶手段から当該検索結果の文字候補の近傍の文字候補を読み出し、前記入力時の言語による文字候補に翻訳する工程と、
    第４の記憶手段から検索結果の文字候補を読み出し、その位置情報に従い当該検索結果の文字候補を第１の記憶手段に記憶された画像上で特定するとともに、入力時の言語による検索結果の文字候補及びその近傍の文字候補を含む検索結果画像を作成する工程とを含む
    ことを特徴とする画像文字列検索プログラム。

Images